Локални мрежи и вештачка интелигенција: Нов баланс со EPFL и Anyway Systems
Денес, центри за податоци за вештачка интелигенција се појавуваат како главен извор на пресметовна моќ. Сепак, оваа структура носи грижи околу енергетската густина и контролата врз податоците. Иновативните решенија на Швајцарија се фокусираат на повторно размислување за овој баланс.
EPFL и Anyway Systems ги имаат здружено силите за да овозможат работата на вештачката интелигенција во локални мрежи наместо на традиционалните централни сервери. Основната иновација на проектот е тоа што големите јазични модели како ChatGPT можат брзо да се симнат и прашањата да се обработуваат на локална опрема. На тој начин, корисниците не се зависни од глобалниот модел и не мора да ги праќаат своите податоци на далечните сервери.
Системот динамично распоредува работната тежина меѓу постојачките компјутери за да создаде ефикасен баланс. На пример, модел со милијарди параметри може да се пренесе во мала локална мрежа со само неколку GPU-ѕвезди. Се посочува дека овој пристап може да создаде мала разлика во одговорните времиња во однос на централните дата центри. Од друга страна, развивачите тврдат дека резултатите се еднакви по точност. Времето за поставување од околу 30 минути е значајна предност што ја олеснува практичната употреба.
Тредовно се дискутираат големите модели за вештачка интелигенција да се работат во распределена инфраструктура која служи повеќе корисници, но ова уште останува како предизвик. Меѓутоа, примерот со Anyway Systems покажува дека постои можност за силна алтернатива на централизираните структури. Како што напредуваат капацитетите на хардверот и цените се намалуваат, се очекува локалните решенија за вештачка интелигенција да бидат поприфатени од поширокиот круг луѓе.
