Falcon-Emirati učí AI rozumět jazyku i zvykům Emirátů

Model pro dialekt, ne jen pro arabštinu

Arabština není v praxi jeden jednotný jazyk. Moderní spisovná arabština, známá také jako MSA, se používá ve zpravodajství, školách nebo úředních textech. Každodenní komunikace ale probíhá v místních dialektech. Emirátenská arabština má vlastní slovní zásobu, rytmus řeči i ustálené výrazy.

To vytváří problém pro obecné jazykové modely. Mohou správně přeložit jednotlivá slova, ale přesto nerozumět tomu, co mluvčí skutečně naznačuje. U přísloví, humoru nebo poezie je rozdíl ještě výraznější. Doslovný překlad může být gramaticky správný a významově úplně mimo.

Falcon-Emirati-7B vznikl jako specializovaná úprava rodiny Falcon-H1-Arabic. Má 7 miliard parametrů a byl trénován tak, aby zvládal emirátenskou slovní zásobu, gramatiku a kulturní odkazy. Nejde tedy pouze o model, který dostal několik ukázek dialektu do promptu. Vývojáři upravovali také tréninková data a způsob dalšího učení.

Základní architektura Falcon-H1-Arabic kombinuje mechanismus Mamba se standardní pozorností Transformeru. Mamba je navržená pro efektivní zpracování dlouhých sekvencí, zatímco pozornost Transformeru pomáhá modelu sledovat vztahy mezi vzdálenými částmi textu. Pro běžného uživatele to není parametr, který by měl řešit při každé konverzaci. Důležitější je, že Falcon-Emirati nevyrůstá z čistě obecného modelu, ale z arabského základu.

Tréninková data pocházejí z místního prostředí

Vývojáři z TII použili několik typů dat. První část tvořil autentický obsah z emirátenských webů a fór. Podstatné je, že nešlo jen o překlady ze spisovné arabštiny nebo přepis latinkou. Model se měl učit způsob, jakým lidé v SAE skutečně píší a komunikují online.

Druhou část tvořily texty ve spisovné arabštině o emirátenské kultuře, historii, zvycích a společenských normách. Tato data modelu nepomáhají pouze s tvorbou dialektu. Dodávají mu také znalosti o tématech, o kterých má odpovídat.

Vývojáři přidali také syntetická data. Ta vznikala podle slovníků, glosářů a pravidel pro emirátenskou slovní zásobu a gramatiku. Bez těchto omezení by generátor mohl vytvářet obecnou „arabštinu odněkud z Perského zálivu“, která by byla na papíře správná, ale rodilému mluvčímu by zněla nepřirozeně.

Taková úprava je pracnější než pouhé zvětšování modelu. Tým testoval různé poměry autentických a syntetických dat i různé fáze tréninku. Výstupy posuzovali rodilí mluvčí, protože automatické skóre samo o sobě nepozná přirozený tón, vhodnost výrazu nebo kulturní význam krátké věty.

Výsledky v dialektu a kulturních otázkách

Hlavním měřítkem byl benchmark Alyah. Obsahuje 1 173 otázek připravených s pomocí rodilých mluvčích emirátenské arabštiny. Test se věnuje běžným pozdravům, etiketě, obrazným výrazům, kulturním znalostem, dědictví a poezii.

Falcon-Emirati-7B v tomto testu dosáhl skóre 84,83 %. Podle autorů článku na Hugging Face tím překonal všechny srovnávané arabské a vícejazyčné open-source modely, včetně několika podstatně větších systémů.

Samotná správná odpověď ale nestačí. Model může znát fakt, jen ho napsat ve spisovné arabštině místo v požadovaném dialektu. Proto tým měřil také věrnost emirátenskému způsobu vyjadřování. Při otevřených odpovědích hodnotil výsledky model Gemini 3.7 Flash.

Falcon-Emirati získal v hodnocení dialektové věrnosti skóre 0,52. Srovnávané modely ALLaM-7B-Instruct-preview, gemma-3-27b-it, Jais-2-8B-Chat a Fanar-2-27B-Instruct se pohybovaly mezi 0,00 a 0,05. Podle zveřejněné metodiky ostatní modely často odpověděly správně, ale automaticky přešly do moderní spisovné arabštiny.

V samostatném testu kulturního porozumění model dosáhl výsledku 85,57 %. Hodnocení vycházelo z 283 scénářů týkajících se SAE a zahrnovalo emirátenskou i spisovnou arabštinu. ALLaM-7B dosáhl 83,39 %, Jais-2-8B 73,79 % a Fanar-2-27B 71,50 %.

Čísla je potřeba číst přesně. Neříkají, že Falcon-Emirati je nejlepší jazykový model pro všechny úkoly. Ukazují, že specializovaný model může mít výhodu v úzké oblasti, kde obecné systémy často používají nesprávný jazykový rejstřík.

Dostupnost a limity pro české uživatele

Falcon-Emirati-7B je veřejně dostupný prostřednictvím platformy Falcon Chat. Model je poskytován bezplatně komunitě a vývojářům. Z dostupných informací ale nevyplývá samostatná česká lokalizace, české rozhraní ani podpora pro český trh. Český uživatel si jej může vyzkoušet online, jeho hlavní přínos se však týká emirátenské arabštiny.

Součástí stejné rodiny jsou také modely Falcon-ASR pro přepis emirátenské řeči a Falcon-OCR-Arabic pro práci s arabskými dokumenty. Falcon-ASR má 1,6 miliardy parametrů. Tyto modely ukazují, že TII nestaví pouze chatovací systém, ale širší jazykovou výbavu pro řeč, dokumenty a text.

Pro firmy v EU může být zajímavá především možnost pracovat s veřejně dostupným modelem a jeho specializovanými variantami. Z článku však není možné vyvodit konkrétní podmínky pro komerční nasazení, hosting v Evropské unii ani právní soulad s evropskými pravidly. Před použitím v zákaznické podpoře nebo při zpracování citlivých dat by bylo nutné ověřit licenci, způsob provozu a nakládání s údaji.

Omezení přiznávají i samotní autoři. Model může chybovat u vzácných výrazů, lokálních narážek nebo situací, pro které měl málo tréninkových dat. Kulturní vhodnost navíc není vždy otázkou jediné správné odpovědi. I rodilí mluvčí se mohou lišit v tom, co považují za přirozené.

Falcon-Emirati proto dává největší smysl jako model pro konkrétní jazykové prostředí, nikoli jako obecná náhrada hlavních chatbotů. Benchmark Alyah potvrzuje jeho výkon v emirátenském dialektu. Mimo tuto oblast je potřeba výsledky ověřit samostatně.

FAQ