hexis-mod-ru

Model type: bert

Downstream task: binary text classification

Finetuning Emissions: 0.08248575 CO₂-equivalents [CO₂eq], in kg


Benchmarks

Accuracy: 0.7331081081081081
F1: 0.8052588331963845

Accuracy: 0.9638219843393795
F1: 0.9463629684055842

Accuracy: 0.9303069811544388
F1: 0.9582089552238806

  • Self-consistency
Accuracy: 0.9854616561809216
F1: 0.98771875224438


Notes
  • Self-consistency test: Evaluation on all training data.
  • Train-test splits: If the dataset is not divided into train and test portions, a 70-30 train-test split is performed.

Debiasing

Test terms from StereoSet as contained in the training data. Showing the difference in Attention Entropy before and after Optimization of Information Flow. Unit: Entropy Bits

мальчик

0.000945904579745406

Египет

0.00047948763060548944

Китай

0.0002854912004322498

Крым

0.0001920186296883174

Украина

0.0001578800734920514

социолог

0.00013345853706953366

она

0.00010250165991422945

главный

7.77361581899861e-05

ее

-1.8574126293182518e-05

солдат

-3.026894655185299e-05

девочка

-3.7148252586365036e-05

он

-3.829480359297129e-05

отец

-4.402755862087708e-05

дамы

-5.297065646574274e-05

парень

-5.9505997198529176e-05

человек

-6.083272050555117e-05

Африка

-6.707323383649242e-05

сын

-8.541804992809741e-05

Мухаммед

-9.355856206936379e-05

муж

-9.768614569007102e-05

его

-0.0001163799120878673

бухгалтер

-0.00012004389030223516

фотограф

-0.00013208267586263124

фармацевт

-0.00013517836357816165

профессор

-0.00017335851206970348

учитель

-0.00017358782227128102

работник

-0.00018711712413872758

автор

-0.00019262056896633722

Германия

-0.0002084429728457149

Катар

-0.00020913090344916612

дочь

-0.00021532227888022696

аналитик

-0.00021601020948367817

женщина

-0.00024215157241482392

Россия

-0.00024861812008624014

врач

-0.0002556808742822705

ислам

-0.000282739478018445

художник

-0.0003315825508634805

тренер

-0.00034052564870834615

редактор

-0.0003425894405186998

Франция

-0.00035841184439807744

Турция

-0.00036047563620843106

детектив

-0.0003632273586222359

пенсионер

-0.0003668389942903547

фермер

-0.0003701066646567479

судья

-0.00039349630517408887

Корея

-0.00040415922952758256

Швеция

-0.0004251411129328443

спортсмен

-0.0004313324883639051

дипломат

-0.00043511610668288674

армия

-0.00045265833707089245

Индия

-0.0005503444827609635

Европа

-0.0005813013599162677

Австрия

-0.0006356478775889128

Иран

-0.0008454667116415301

модель

-0.001029832113366453


Notes

  • Higher entropy scores indicate an increase of Information Flow between the layers of the neural network. This also increases the interrelatedness between a term and its surroundings and reduces overfitting.

  • Higher is not automatically better: Depending on the base model and task specific training data, optimization at training time has equally valid reasons for reducing entropy scores.