Ограничувања на учењето од контекст: истражување Tencent CL-bench и предизвиците во реалниот свет
Во денешно време, според брзите напредоци во областа на вештачката интелигенција, се забележува дека високите модели се уште се кревки во реални услови. Новиот технички труд објавен од кинеската технолошка компанија Tencent нагласува дека вештачката интелигенција има значајни ограничувања во учењето од контекстот. Додека луѓето учат веднаш, моделите се обидуваат да се сетат и оваа разлика создава видлива оска во практичната имплементација.
Истражувањето тврди дека за идните системи на вештачка интелигенција, излез од контролираните средини треба да стави учењето од контекстот на централно место во дизајнот. Тековните големи модели за обработка на јазик најчесто се фокусираат на повик на вгнездени информации од предобуката и во фазата на донесување на одлуки се потпираат на статична меморија наместо активно да учат нови информации. Овој различен пристап се дефинира како резултат од систематска несовршеност во нивната структура.
За мерење на учењето од контекст, тимот од Tencent разви нов стандард за евалуација наречен CL-bench. Испитувани се 19 водејќи модели преку 500 сложени контексти, 1.899 задачи и 31.607 критериуми за проверка. Овие задачи се насочени кон проверка на способноста на моделите да „разбирате“ од контекстот во реално време и да се прилагодат на нови ситуации; секоја задача им овозможува на моделите да добијат свој контекст и оваа методологија поблиску се приближува до начинот на учење на луѓето.
Оваа работа нагласува дека моделирање на учењето од контекстот не треба да остане само на моделот; бидејќи тежините се постојано ажурирани, додека основните параметри остануваат непроменети. Меѓутоа, практичните резултати се далеку од охрабрувачки: резултатите со просечна успешност од %17 покажуваат дека реалниот свет сè уште е многу сложен. Просечната успешност на најдобрите 10 модели на CL-bench е пресметана на %17.2. Највисоките резултати ги постигнуваат модели како GPT-5.1 и Claude Opus 4.5; Moonshot AI и решенијата од Tencent се на средниот ранг.
Од една страна, напредокот во учењето од контекстот може да трансформира човечко-вештачката комуникација и да отвори нов екосистем каде што ќе победи корисничкиот интерфејс и пружачите на контекст. Меѓутоа, според Tencent, учењето од контекстот е привремен процес: кога ќе се затвори контекстуалното окно, информациите може да се заборават. Главното прашање е како можеме да ги направиме овие информации трајни и како да ги понесеме вештините, искуството и шаблоните до длабоко ниво на учење.
Повеќе информации за CL-Bench можете да најдете преку GitHub или Hugging Face.
