Fairness accent

Overall scores

	CNN14	w2v2-b	hubert-b	axlstm
Overall Score	92.3% passed tests (143 passed / 12 failed).	96.8% passed tests (120 passed / 4 failed).	99.4% passed tests (154 passed / 1 failed).	99.4% passed tests (154 passed / 1 failed).

Mean Value

Threshold: 0.075

Data	Mean Value
	CNN14	w2v2-b	hubert-b	axlstm
speech-accent-archive-2.2.0-amharic	-0.05	-0.08	-0.07	-0.01
speech-accent-archive-2.2.0-arabic	0.00	0.03	0.01	0.05
speech-accent-archive-2.2.0-bengali	-0.01	0.00	-0.01	0.02
speech-accent-archive-2.2.0-bulgarian	-0.06	-0.05	-0.04	-0.02
speech-accent-archive-2.2.0-cantonese	-0.03	-0.02	-0.02	0.05
speech-accent-archive-2.2.0-dutch	0.02	0.01	-0.01	0.00
speech-accent-archive-2.2.0-english	-0.02	0.04	0.03	-0.01
speech-accent-archive-2.2.0-farsi	-0.02	-0.01	-0.01	-0.03
speech-accent-archive-2.2.0-french	0.00	-0.03	-0.02	-0.02
speech-accent-archive-2.2.0-german	0.07	0.05	0.03	0.03
speech-accent-archive-2.2.0-greek	0.03	0.05	0.05	0.02
speech-accent-archive-2.2.0-hindi	0.02	0.03	0.02	0.02
speech-accent-archive-2.2.0-italian	0.03	0.02	0.00	-0.02
speech-accent-archive-2.2.0-japanese	-0.02	0.01	0.03	-0.01
speech-accent-archive-2.2.0-korean	-0.02	-0.00	-0.00	-0.01
speech-accent-archive-2.2.0-macedonian	0.10	0.03	0.03	0.05
speech-accent-archive-2.2.0-mandarin	0.03	0.09	0.09	0.05
speech-accent-archive-2.2.0-nepali	0.03	-0.02	0.02	-0.01
speech-accent-archive-2.2.0-polish	-0.00	0.01	-0.00	-0.03
speech-accent-archive-2.2.0-portuguese	-0.00	-0.01	-0.01	0.01
speech-accent-archive-2.2.0-romanian	-0.03	-0.05	-0.05	-0.02
speech-accent-archive-2.2.0-russian	0.00	0.03	0.01	-0.01
speech-accent-archive-2.2.0-serbian	-0.05	-0.07	-0.05	-0.08
speech-accent-archive-2.2.0-spanish	-0.01	-0.05	-0.03	-0.04
speech-accent-archive-2.2.0-swedish	-0.03	-0.02	-0.02	-0.04
speech-accent-archive-2.2.0-tagalog	0.04	0.05	0.04	0.03
speech-accent-archive-2.2.0-thai	-0.02	-0.02	-0.01	-0.02
speech-accent-archive-2.2.0-turkish	0.09	0.06	0.04	0.06
speech-accent-archive-2.2.0-ukrainian	-0.03	0.02	0.00	0.00
speech-accent-archive-2.2.0-urdu	0.01	0.01	0.01	-0.02
speech-accent-archive-2.2.0-vietnamese	-0.05	-0.06	-0.04	-0.04
mean	0.00	0.00	0.00	-0.00

Relative Difference Per Bin

Bins with too few samples are skipped.

Threshold: 0.225

Data	(-inf, 0.25]				(0.25, 0.5]				(0.5, 0.75]				(0.75, inf]
	CNN14	w2v2-b	hubert-b	axlstm	CNN14	w2v2-b	hubert-b	axlstm	CNN14	w2v2-b	hubert-b	axlstm	CNN14	w2v2-b	hubert-b	axlstm
speech-accent-archive-2.2.0-amharic	-0.03	0.25	0.11	0.00	0.29	-0.12	0.03	0.03	-0.23	-0.12	-0.14	-0.03	-0.02		-0.00	-0.01
speech-accent-archive-2.2.0-arabic	-0.02	-0.03	-0.02	-0.01	0.09	-0.04	0.00	-0.17	-0.07	0.08	0.02	0.14	-0.01		-0.00	0.04
speech-accent-archive-2.2.0-bengali	0.02	0.04	-0.02	-0.03	0.01	-0.08	0.00	0.03	-0.03	0.04	0.02	0.00	0.00		-0.00	0.00
speech-accent-archive-2.2.0-bulgarian	0.02	0.09	0.02	0.00	0.16	0.02	0.11	0.08	-0.16	-0.11	-0.12	-0.07	-0.02		-0.00	-0.01
speech-accent-archive-2.2.0-cantonese	0.02	0.06	0.02	-0.05	0.04	-0.04	0.00	-0.09	-0.05	-0.01	-0.02	0.14	-0.01		-0.00	-0.01
speech-accent-archive-2.2.0-dutch	0.01	-0.00	0.01	0.01	-0.12	-0.09	0.03	-0.11	0.12	0.10	-0.04	0.11	-0.01		-0.00	-0.01
speech-accent-archive-2.2.0-english	-0.00	-0.03	-0.01	0.06	0.03	-0.11	-0.10	-0.01	-0.00	0.14	0.12	-0.06	-0.02		-0.00	0.01
speech-accent-archive-2.2.0-farsi	-0.01	-0.11	-0.04	0.06	0.05	0.23	0.08	0.05	-0.04	-0.11	-0.04	-0.10	-0.01		-0.00	-0.01
speech-accent-archive-2.2.0-french	0.01	0.03	-0.01	-0.00	-0.09	0.03	0.10	0.08	0.09	-0.06	-0.08	-0.07	-0.01		-0.00	-0.01
speech-accent-archive-2.2.0-german	-0.03	-0.20	-0.07	-0.03	-0.28	0.14	0.02	-0.12	0.32	0.06	0.05	0.15	-0.01		-0.00	0.01
speech-accent-archive-2.2.0-greek	-0.03	-0.18	-0.07	-0.04	-0.07	0.12	-0.08	0.06	0.09	0.05	0.15	-0.03	0.02		-0.00	0.02
speech-accent-archive-2.2.0-hindi	0.01	-0.03	-0.01	-0.04	-0.12	-0.08	-0.06	0.01	0.10	0.10	0.08	0.05	0.00		-0.00	-0.01
speech-accent-archive-2.2.0-italian	-0.02	-0.04	-0.01	0.05	-0.01	0.03	-0.00	-0.10	0.01	0.01	0.01	0.05	0.02		0.01	-0.01
speech-accent-archive-2.2.0-japanese	0.02	-0.05	-0.03	-0.00	-0.00	0.04	-0.02	0.00	0.01	-0.01	0.04	0.01	-0.02		0.01	-0.01
speech-accent-archive-2.2.0-korean	-0.00	-0.00	0.05	-0.02	0.13	0.00	-0.09	0.07	-0.14	-0.01	0.05	-0.06	0.01		-0.00	0.01
speech-accent-archive-2.2.0-macedonian	-0.03	-0.00	-0.02	-0.03	-0.32	-0.08	-0.08	-0.12	0.31	0.08	0.10	0.15	0.05		-0.00	0.00
speech-accent-archive-2.2.0-mandarin	-0.03	-0.20	-0.07	-0.06	-0.14	0.04	-0.09	-0.11	0.18	0.16	0.14	0.17	-0.01		0.02	0.00
speech-accent-archive-2.2.0-nepali	-0.03	0.02	-0.00	-0.03	-0.02	0.06	-0.04	0.10	0.03	-0.08	0.05	-0.06	0.02		-0.00	-0.01
speech-accent-archive-2.2.0-polish	0.00	-0.06	-0.04	0.02	0.06	0.04	0.07	0.05	-0.08	0.02	-0.02	-0.07	0.02		-0.00	-0.01
speech-accent-archive-2.2.0-portuguese	0.01	0.00	-0.01	-0.05	-0.06	0.06	0.07	0.02	0.06	-0.06	-0.05	0.03	-0.01		-0.00	-0.01
speech-accent-archive-2.2.0-romanian	0.00	0.11	0.04	0.03	0.16	-0.01	0.12	0.04	-0.15	-0.10	-0.16	-0.06	-0.01		-0.00	-0.01
speech-accent-archive-2.2.0-russian	-0.03	-0.10	-0.02	-0.03	0.02	0.07	0.05	0.03	0.02	0.03	-0.03	0.00	-0.00		-0.00	-0.01
speech-accent-archive-2.2.0-serbian	0.09	0.17	0.10	0.14	0.02	-0.08	0.02	0.06	-0.09	-0.09	-0.12	-0.18	-0.02		-0.00	-0.01
speech-accent-archive-2.2.0-spanish	-0.03	0.13	0.05	0.06	0.05	-0.03	0.01	0.06	0.00	-0.09	-0.05	-0.11	-0.02		-0.00	-0.01
speech-accent-archive-2.2.0-swedish	0.01	-0.03	-0.01	0.05	0.13	0.08	0.08	0.09	-0.14	-0.04	-0.07	-0.13	-0.00		-0.00	-0.01
speech-accent-archive-2.2.0-tagalog	0.06	-0.09	-0.02	0.00	-0.16	0.01	-0.10	-0.12	0.02	0.08	0.12	0.09	0.08		-0.00	0.03
speech-accent-archive-2.2.0-thai	0.08	0.15	0.07	0.03	-0.05	-0.10	-0.08	0.02	-0.02	-0.05	0.02	-0.03	-0.01		-0.00	-0.01
speech-accent-archive-2.2.0-turkish	-0.03	-0.11	-0.01	-0.04	-0.23	-0.02	-0.14	-0.08	0.23	0.13	0.14	0.08	0.04		0.01	0.05
speech-accent-archive-2.2.0-ukrainian	0.00	-0.13	-0.03	0.00	0.08	0.10	0.07	-0.05	-0.08	0.04	-0.04	0.04	-0.01		-0.00	0.00
speech-accent-archive-2.2.0-urdu	0.01	-0.01	-0.03	0.00	-0.07	-0.02	0.02	0.07	0.08	0.03	0.02	-0.07	-0.02		-0.00	-0.01
speech-accent-archive-2.2.0-vietnamese	-0.01	0.15	0.03	0.00	0.29	-0.02	0.09	0.14	-0.25	-0.13	-0.12	-0.13	-0.02		-0.00	-0.01
mean	0.00	-0.01	-0.00	0.00	-0.00	0.00	0.00	0.00	0.00	0.00	0.00	-0.00	-0.00		0.00	-0.00

Visualization

CNN14	w2v2-b	hubert-b	axlstm