Cosmos T1: Модел за обработка на природен јазик со 9 милијарди параметри, отворен код и способност за размислување на турски јазик

Јилдиз Техник Универзитетот од тимот за истражување Cosmos разработи и го реализираше Cosmos T1, нова улога во полето на природната јазична обработка на турски јазик, достапен како проект со отворен извор. Ова модел со 9 милијарди параметри ги привлекува вниманието со својата способност да ги научи длабинските граматички структури и културните контексти на турскиот јазик.

Cosmos T1 се издвојува како проект што се базира на моделот Gemma 2 од Google и претставува тврдење за одговори со подобрени процеси на размислување врз турскиот јазик. Во тестот GSM8K за турскиот јазик постигна точност од 77,41 проценти, израмнувајќи се над моделите Llama-3.1-70B со 70 милијарди параметри и Gemma-2-9B. За време на обуката беа употребени повеќе од 200 милијарди турскки податоци, а моделот се насочи кон специфичните структури на турскиот јазик преку методот Masked Language Modeling (MLM).

Cosmos T1 е изграден со архитектура од 12 слоја од декодер тип Transformer и е оптимизиран за ефективна обработка на соодветните наставки и одделните синтаксички структури со користење на наставки од крај на крај. Исто така, може да се проба бесплатно на платформата Hugging Face и на официјалната веб страница на Cosmos LLM, како проект со отворен извор.

Професорот др. Мехмет Фатих Амасјали од Одделот за вештачка интелигенција и инженерство на податоци при Јилдиз Техник Универзитетотху нагласува дека има потенцијал да ги покаже фазите на работа на ChatGPT преку чекори, велејќи: „Т1 нуди различен процес на размислување од другите модели и тоа го прикажува на турски јазик. Во позадина е можноста да се видат фазите на создавање на одговорите во меѓујазичната комуникација. Овие модели што се објавуваат со отворен пристап и тежини може да работат на сопствените машини и да овозможат корпоративна употреба.“ Амасјали истакна дека Cosmos T1 претставува структура што одговара со одговори засновани на процесот на размислување, додавајќи дека механизамот со кој Gemma 2 ја обработува прашањата и создава одговори е поефикасен и различен од прогнозираниот модел.