Technologie wyszukiwania w dużych zbiorach danych mają coraz większe znaczenie wraz ze wzrostem popularności systemów opartych na generatywnej sztucznej inteligencji (AI). Jak napisano w komunikacie nadesłanym w poniedziałek z OPI do PAP, jakość odpowiedzi generowanych przez modele językowe coraz częściej zależy od skuteczności mechanizmów odnajdywania właściwych dokumentów i źródeł wiedzy. „Właśnie dlatego AI Lab OPI rozwija zaawansowane modele typu dense retriever (z ang. gęsta wyszukiwarka), które umożliwiają wyszukiwanie treści na podstawie ich znaczenia, a nie jedynie dopasowania słów kluczowych” – zaznaczono w materiale.

EuroDense umożliwia wyszukiwanie w językach: polskim, angielskim, niemieckim, francuskim, hiszpańskim, włoskim, portugalskim, niderlandzkim i rosyjskim. Na rynku jest dostępnych wiele zaawansowanych modeli dla języka angielskiego, ale znacznie mniej rozwiązań oferuje równie wysoką jakość dla pozostałych języków europejskich. „EuroDense powstał właśnie po to, aby wypełnić tę lukę. To jednocześnie pierwszy model językowy opracowany w AI Lab, który wykracza poza domenę języka polskiego” – podano w komunikacie.

Jak poinformował cytowany w komunikacie kierownik AI Lab w OPI dr inż. Marek Kozłowski, stworzony tam EuroDense liczy 435 mln parametrów i w kategorii modeli wielojęzycznych mających mniej niż 1 mld parametrów osiągnął najlepsze rezultaty w siedmiu z dziewięciu języków. EuroDense został wytrenowany na ok. 200 mln tekstów.

„Szczególny nacisk położono na zachowanie wysokiej jakości reprezentacji semantycznych we wszystkich obsługiwanych językach, co pozwala modelowi skutecznie realizować zadania wyszukiwania informacji i wspierać aplikacje wykorzystujące architekturę RAG (ang. Retrieval Augmented Generation)” – zapewnił róznież cytowany w materiale dr inż. Sławomir Dadas, zastępca kierownika AI Lab w Ośrodku Przetwarzania Informacji.

RAG to wykorzystujący AI system wyszukiwania informacji, który najpierw gromadzi pulę potencjalnych źródeł przez wiele równoległych zapytań, potem je rankuje, by wybierać fragmenty, które stworzą najlepszą odpowiedź.

Model EuroDense został udostępniony jako rozwiązanie open source. Może być wykorzystywany przez instytucje naukowe, administrację publiczną i przedsiębiorstwa do budowy wielojęzycznych systemów wyszukiwania informacji, inteligentnych baz wiedzy i nowoczesnych aplikacji AI.

EuroDense został opracowany w ramach projektu Large Language Models for the European Union (LLMs4EU) realizowanego przez konsorcjum Alliance for Language Technologies – ALT-EDIC. Celem projektu jest rozwój i udostępnianie modeli, narzędzi oraz usług opartych na sztucznej inteligencji dla pięciu sektorów: nauki, usług publicznych, turystyki, telekomunikacji i energetyki. Projekt ma zachęcać do wykorzystywania europejskich technologii AI przez instytucje publiczne oraz małe i średnie przedsiębiorstwa. LLMs4EU jest współfinansowany ze środków UE i Ministerstwa Cyfryzacji.

Nowy model jest dostępny za darmo na platformie Hugging Face.

Ośrodek Przetwarzania Informacji – Państwowy Instytut Badawczy (OPI) to centrum technologii informatycznych, sztucznej inteligencji i analiz. Wspiera rozwój polskiej nauki i szkolnictwa wyższego, dostarcza narzędzia cyfrowe, prowadzi badania i analizy, tworzy innowacyjne rozwiązania z wykorzystaniem sztucznej inteligencji i wspomaga medycynę cyfrową. (PAP)

abu/ agt/