Fairness accent

Overall scores

	w2v2-L	hubert-L	wavlm	data2vec
Overall Score	96.8% passed tests (90 passed / 3 failed).	100.0% passed tests (93 passed / 0 failed).	100.0% passed tests (124 passed / 0 failed).	100.0% passed tests (124 passed / 0 failed).

Mean Value

Threshold: 0.075

Data	Mean Value
	w2v2-L	hubert-L	wavlm	data2vec
speech-accent-archive-2.2.0-amharic	-0.01	-0.02	-0.04	-0.02
speech-accent-archive-2.2.0-arabic	-0.01	0.00	-0.00	-0.00
speech-accent-archive-2.2.0-bengali	-0.05	-0.03	-0.01	-0.02
speech-accent-archive-2.2.0-bulgarian	-0.03	-0.01	-0.04	-0.01
speech-accent-archive-2.2.0-cantonese	-0.02	-0.00	-0.04	-0.01
speech-accent-archive-2.2.0-dutch	0.01	0.03	0.01	0.02
speech-accent-archive-2.2.0-english	-0.02	0.02	-0.01	0.01
speech-accent-archive-2.2.0-farsi	0.04	0.01	0.01	0.01
speech-accent-archive-2.2.0-french	-0.02	-0.02	-0.02	-0.01
speech-accent-archive-2.2.0-german	0.02	0.03	0.04	0.02
speech-accent-archive-2.2.0-greek	0.02	0.01	0.02	0.02
speech-accent-archive-2.2.0-hindi	-0.01	0.00	0.00	0.01
speech-accent-archive-2.2.0-italian	-0.01	-0.01	0.01	-0.01
speech-accent-archive-2.2.0-japanese	0.02	-0.01	0.01	-0.01
speech-accent-archive-2.2.0-korean	0.01	0.01	-0.01	-0.00
speech-accent-archive-2.2.0-macedonian	0.02	0.02	0.05	0.01
speech-accent-archive-2.2.0-mandarin	-0.02	0.00	0.01	0.00
speech-accent-archive-2.2.0-nepali	-0.02	-0.02	-0.01	-0.01
speech-accent-archive-2.2.0-polish	0.03	0.01	0.03	0.01
speech-accent-archive-2.2.0-portuguese	0.01	0.00	-0.00	0.00
speech-accent-archive-2.2.0-romanian	0.01	-0.01	-0.01	-0.00
speech-accent-archive-2.2.0-russian	0.01	0.01	0.01	0.03
speech-accent-archive-2.2.0-serbian	0.03	0.01	-0.00	0.00
speech-accent-archive-2.2.0-spanish	-0.03	-0.01	-0.01	-0.01
speech-accent-archive-2.2.0-swedish	0.07	0.03	0.03	0.03
speech-accent-archive-2.2.0-tagalog	-0.02	-0.01	-0.02	-0.01
speech-accent-archive-2.2.0-thai	-0.01	-0.00	0.02	-0.00
speech-accent-archive-2.2.0-turkish	0.01	0.00	0.03	-0.01
speech-accent-archive-2.2.0-ukrainian	-0.01	-0.02	-0.02	-0.00
speech-accent-archive-2.2.0-urdu	0.02	0.03	0.04	0.01
speech-accent-archive-2.2.0-vietnamese	-0.01	-0.03	-0.03	-0.02
mean	0.00	0.00	0.00	0.00

Relative Difference Per Bin

Bins with too few samples are skipped.

Threshold: 0.225

Data	(-inf, 0.25]				(0.25, 0.5]				(0.5, 0.75]				(0.75, inf]
	w2v2-L	hubert-L	wavlm	data2vec	w2v2-L	hubert-L	wavlm	data2vec	w2v2-L	hubert-L	wavlm	data2vec	w2v2-L	hubert-L	wavlm	data2vec
speech-accent-archive-2.2.0-amharic			-0.00		0.05	0.06	0.10	0.02	-0.05	-0.06	-0.10	-0.01				-0.01
speech-accent-archive-2.2.0-arabic			-0.00		0.07	-0.03	0.01	0.01	-0.07	0.01	-0.00	-0.01				0.00
speech-accent-archive-2.2.0-bengali			-0.00		0.22	0.09	0.02	0.10	-0.23	-0.09	-0.02	-0.10				-0.01
speech-accent-archive-2.2.0-bulgarian			-0.00		0.22	0.05	0.10	-0.01	-0.22	-0.04	-0.09	0.01				-0.01
speech-accent-archive-2.2.0-cantonese			0.02		0.14	-0.01	0.10	-0.00	-0.14	0.01	-0.12	-0.00				-0.01
speech-accent-archive-2.2.0-dutch			-0.00		-0.03	-0.07	-0.01	-0.04	0.03	0.07	0.01	0.03				0.01
speech-accent-archive-2.2.0-english			-0.00		0.09	-0.05	-0.04	-0.08	-0.09	0.05	0.04	0.08				-0.01
speech-accent-archive-2.2.0-farsi			-0.00		-0.19	-0.07	-0.00	-0.06	0.19	0.07	0.00	0.07				-0.01
speech-accent-archive-2.2.0-french			-0.00		0.10	0.02	0.08	0.01	-0.10	-0.01	-0.08	-0.02				0.01
speech-accent-archive-2.2.0-german			-0.00		-0.08	-0.10	-0.17	-0.04	0.08	0.10	0.18	0.04				-0.01
speech-accent-archive-2.2.0-greek			0.01		-0.14	0.04	-0.14	-0.07	0.15	-0.03	0.13	0.08				-0.01
speech-accent-archive-2.2.0-hindi			-0.00		0.04	0.02	0.04	-0.03	-0.04	-0.01	-0.04	0.02				0.01
speech-accent-archive-2.2.0-italian			0.01		0.01	0.07	-0.07	0.04	-0.01	-0.07	0.06	-0.04				-0.01
speech-accent-archive-2.2.0-japanese			-0.00		-0.17	0.05	-0.05	0.05	0.17	-0.05	0.05	-0.04				-0.01
speech-accent-archive-2.2.0-korean			-0.00		-0.06	-0.06	0.07	0.01	0.06	0.07	-0.07	-0.00				-0.01
speech-accent-archive-2.2.0-macedonian			-0.00		-0.19	-0.05	-0.22	-0.03	0.19	0.06	0.22	0.03				-0.01
speech-accent-archive-2.2.0-mandarin			0.01		0.11	0.03	-0.09	-0.00	-0.11	-0.03	0.08	-0.01				0.01
speech-accent-archive-2.2.0-nepali			-0.00		0.11	0.06	0.03	-0.01	-0.11	-0.06	-0.02	0.02				-0.01
speech-accent-archive-2.2.0-polish			-0.00		-0.18	-0.03	-0.10	-0.04	0.18	0.02	0.11	0.04				0.01
speech-accent-archive-2.2.0-portuguese			-0.00		-0.10	-0.03	0.07	-0.01	0.10	0.02	-0.07	0.00				0.01
speech-accent-archive-2.2.0-romanian			-0.00		-0.04	-0.01	0.10	-0.01	0.04	0.01	-0.09	0.02				-0.01
speech-accent-archive-2.2.0-russian			-0.00		-0.07	-0.03	-0.00	-0.07	0.07	0.01	0.01	0.06				0.01
speech-accent-archive-2.2.0-serbian			-0.00		-0.17	-0.03	0.02	0.03	0.17	0.03	-0.01	-0.07				0.03
speech-accent-archive-2.2.0-spanish			-0.00		0.16	0.00	0.07	0.09	-0.16	0.00	-0.07	-0.08				-0.01
speech-accent-archive-2.2.0-swedish			-0.00		-0.36	-0.09	-0.09	-0.09	0.37	0.07	0.09	0.08				0.01
speech-accent-archive-2.2.0-tagalog			-0.00		0.15	0.04	0.10	0.03	-0.15	-0.04	-0.10	-0.02				-0.01
speech-accent-archive-2.2.0-thai			-0.00		0.05	0.03	-0.03	0.03	-0.05	-0.02	0.03	-0.04				0.01
speech-accent-archive-2.2.0-turkish			-0.00		-0.01	-0.02	-0.15	0.04	0.01	0.02	0.15	-0.04				-0.01
speech-accent-archive-2.2.0-ukrainian			-0.00		0.02	0.01	0.15	0.01	-0.02	-0.01	-0.14	-0.00				-0.01
speech-accent-archive-2.2.0-urdu			-0.00		-0.04	-0.10	-0.13	-0.05	0.04	0.10	0.14	0.05				-0.01
speech-accent-archive-2.2.0-vietnamese			0.01		0.03	0.11	0.09	0.07	-0.03	-0.11	-0.10	-0.06				-0.01
mean			0.00		-0.01	-0.00	-0.00	-0.00	0.01	0.00	0.01	0.00				-0.00

Visualization

w2v2-L	hubert-L	wavlm	data2vec