Prilagodljiva obdelava naravnega jezika s pomočjo velikih jezikovnih modelov (PoVeJMo)

Izjemno veliki jezikovni modeli, kot sta ChatGPT in GPT-4, so za nekatere naloge pokazali izjemen napredek in sprožili plaz razvoja aplikacij umetne inteligence. Zaradi zaprtosti in netransparentnosti, visokih računskih zahtev in visoke cene prilagoditev pa so nedosegljivi za večino raziskovalnih organizacij in podjetij. Po drugi strani so se v zadnjem času pojavili bistveno manjši, odprtodostopni modeli, kot je LLaMA-2, ki jih je možno naučiti ali prilagoditi za posamezne naloge na običajnih GPU računalnikih, in dosegajo (skoraj) enako kakovost delovanja.

V programu bomo razvili več računsko učinkovitih odprtodostopnih velikih jezikovnih modelov. Zgrajen odprtodostopen model SloLLaMa za slovenščino bo prvi tak model za morfološko bogat jezik z malo viri. Pripravili bomo korpus za sledenje ukazom, ki bo osnova za nadaljnje prilagoditve modela SloLLaMa specifičnim potrebam aplikacij, na voljo pa bo tudi za širšo akademsko in industrijsko rabo. V aplikativnih projektih bomo osnovni model SloLLaMa prilagajali na naslednje načine.

Za pripravo predstavitvenih gradiv in predstavitve podatkov v muzejski rabi ter za napredne muzejske interaktivne aplikacije. Za uporabo pri prepoznavanju in sintezi slovenskega govora, kjer bomo z računsko učinkovito inačico modela SloLLaMa omogočili integracijo govornih tehnologij v napredne industrijske aplikacije. Za uporabo v medicini, kjer bomo model SloLLaMa prilagodili z medicinskimi besedili in ukazi s področja klinične in ambulantne rabe. Za uporabo pri generiranju infrastrukturne kode, kjer bomo tehnologije za računsko učinkovite velike jezikovne modele in razvite cevovode za izgradnjo ukaznih in dialoških učnih množic uporabili za generiranje opisa računalniške infrastrukture v programski kodi. Poleg aplikacij bo projekt zgradil še temeljno infrastrukturo za aplikacije umetne inteligence v slovenščini ter razvil rešitve, ki bodo koristne za druge jezike z malo viri

Več informacij o projektu: https://www.cjvt.si/povejmo/