Taalas: Купување на посебен чип за сите модели – револуција во вештачката интелигенција или инвестиција?

Гејтинг процесирањето и моќта за пресметување целосно на врвот, GPU-те одамна станаа клучен столб во областа на вештачката интелигенција. Иметата како Nvidia и AMD издвојуваат секако, додека TPU-те на Google и специјалните ASIC-устройства на облачните провајдери нудат ефикасни решенија. Но, неодамна Taalas, што ја привлекува вниманието, доаѓа со пристап кој може да ги промени рамнотежите во индустријата.

Хардкор AI архитектурата, Taalas моделите ги транспортираше од софтверот на хардверот, наместо да се пренесат преку софтвер, тие се целосно вградени во чиповите. Значи, тежините и параметрите на моделот се интегрираат во силиконот и се извршуваат. Ова значи дека традиционалниот внес од софтверот на хардверот се заменува со модели кој е целосен хардвер од себе.

Првиот производ на компанијата, ASIC наречен HC1, го остварува овој пристап. На спротивната страна на традиционалната флексибилност, Taalas тврди дека секој чип е дизајниран само за еден модел. Во првиот тест, HC1 работи на отворениот Llama 3.1 8B модел на Meta, и привлекува внимание со обработка од околу 14.357 токени во секунда. Долгите одговори кај некои случаи можат да паднат до 0,138 секунди, а оваа перформанса претставува неколкукратна предност во споредба со решенијата на Cerebras.

И во економскиот дел, има впечатливи тврдења. Taalas сподели дека цената за милион токени за Llama 8B е околу 0,75 центи, и тврди дека во споредба со GPU-базираните решенија, оваа цена е многу повисока. За енергетската потрошувачка, податоците се охрабрувачки: системите кои работат на 12–15 kW бараат помалку енергија отколку сегашните GPU процесори и можноста за работа со воздухно ладење може да донесе оперативни предности.

Вкупно, овие тврдења се возбудливи, но независни докази сè уште се ограничени. Доколку нема надворешна верификација, останува неизвесно дали Taalas ќе остане силен играч или ќе биде само краткотраен бегалец. Сепак, овој пристап носи можност за нова конкуренција во индустријата.

Некои важни недостатоци ги има и архитектурата на Taalas. Ограничувањето во флексибилноста е сериозно, бидејќи работењето со разни модели и работни оптоварувања на една инфраструктура е во противречност со ова. Изнајмувањето на различен чип за секој модел може да ја зголеми оперативната тежина во управувањето и одржувањето. За ажурирањето, најавата за замена на два метални слоја за ажурирање на чипот, иако не бара целосна редизајн, претставува сериозно разгледување на лесното ажурирање. Големите играчи сè уште ги предпочитаат генерален хардвер за убрзување, што значи дека пристапот на Taalas може да не се прифати масовно веднаш на пазарот.