Multilingual Zero-Shot Transfer in Low-Resource Settings

Přednáška představí dvě nedávné práce zaměřené na vícejazyčný přenos Zero shot, který nastává, když modely mohou řešit překlady mezi jazyky bez přímého spojení na cílový jazyk. Nejprve bude představen model schopný vyplnit chybějící části ve starověkých klínopisných tabulkách psaných před tisíci lety v akkadštině. Zjistíme, že modely s tzv. Zero shot si vzhledem k omezeným tréninkovým datům, která jsou pro tuto úlohu k dispozici, vedou lépe než jednojazyčné modely, a ukážeme jejich účinnost při automatickém i lidském hodnocení. Motivován těmito zjištěními představí experiment, který ukáže výkonnost metody "Zero shot" za podmínek vyvážených dat, které zmírňují zmatky způsobené velikostí korpusu.

Ukážeme, že volba předcvičovacích jazyků výrazně ovlivňuje následný mezijazykový přenos u modelů založených na BERT, a metodu s kvadratickou časovou složitostí v počtu předcvičovacích jazyků pro odhad těchto mezijazykových vztahů. Naše zjištění mohou být podkladem pro konfigurace předtrénování v budoucích rozsáhlých vícejazyčných modelech. Tato práce byla nedávno oceněna cenou za vynikající příspěvek na konferenci NAACL 2022.

*** Přednáška proběhne jak v prezenční podobě tak prostřednictvím platformy ZOOM. Pro informace, jak se připojit ke streamované přednášce a link na online přednáškukontaktujte: sevcikova @ufal.mff.cuni.cz ***