Let’s Make a Cinephile Search Tool!

Druhá datová výzva centra HERMES je zaměřena na zlepšení přístupu ke kulturním audiovizuálním datům. Cílem je vytvořit multimodální vyhledávací nástroj, který umožní prohledávání videí i metadat z těchto evropských institucí:

Deutsches Filminstitut und Filmmuseum (Německý filmový institut a Filmové muzeum)
Das Bundesarchiv (Spolkový archiv Německa)
Nederlands Instituut voor Beeld en Geluid (Nizozemský institut pro zvuk a obraz)

Popis výzvy
Filmoví a mediální vědci stále častěji pracují s rozsáhlými a komplexními soubory digitálních dat
o pohyblivých obrazech. Kromě zkoumání souvisejících metadat - jako jsou členové filmového štábu, data výroby a místa - provádějí vizuální a zvukové analýzy. Exponenciální růst veřejných i soukromých audiovizuálních archivů téměř znemožňuje ruční prohlížení všech dostupných videí při hledání specifických vizuálních nebo zvukových vzorů.

Přesto jsou nástroje pro multimodální vyhledávání v těchto souborech dat stále vzácné. Žádná běžně dostupná aplikace neumožňuje uživatelům prohledávat místní nebo institucionální sbírky videí a najít klipy, které zobrazují třeba ženu obsluhující stroje v historickém filmu v konkrétním národním kontextu. Chybí také možnost nahrát obrázek a vyhledat scény s podobnou vizuální kompozicí.

Zde přichází vaše příležitost. Cílem této výzvy je vytvořit přesně takový komplexní multimodální vyhledávací nástroj.

Cíl
Vytvořte vyhledávací systém, který zvládne alespoň dvě z následujících funkcí (čím více, tím lépe):

• Vyhledávání podle metadat (tvůrci, datum, lokace)
• Detekce typů záběrů (např. celkový, detailní)
• Detekce přechodů (např. střihy)
• Rozpoznávání objektů, lidí, akcí a míst ve scénách
• Vyhledávání scén podle zadaného obrázku (vizuální podobnost)
• Bonus: Kombinace všech funkcí do chatbota, který zodpoví složité dotazy, např.:
„Najdi scénu z 40. let v Německu, kde žena obsluhuje stroj v polodetailu.“
„Najdi film, kde záběr na vojáka přechází do detailu jeho obličeje.“

Kdo se může zúčastnit?
Studenti, doktorandi, akademici a výzkumníci v oblastech filmových studií, digitálních humanitních věd a datové vědy. Týmy by měly spojovat technické a oborové znalosti. Na Kickoffu bude možnost vytvořit interdisciplinární týmy.

Harmonogram:

25. května 2025 – Kickoff (Zoom)
do 31. května 2025 – Registrace týmu
červen–srpen 2025 – Vývoj řešení
do 31. srpna 2025 – Odevzdání
1. prosince 2025 – Vyhlášení výsledků
březen 2026 – Závěrečná prezentace, Philipps University v Marburgu (Cestovní náklady budou dle potřeby částečně/zcela hrazeny)

Více informací o projektu, dataset a registrace zde.