Замислете дека десет машини разговараат со денови, создаваат правила, чуваат спомени, извршуваат задачи и постепено почнуваат да користат изрази што луѓето никогаш не им ги предале. Еден агент измислува фраза, другите ја прифаќаат, а по некое време сите знаат што значи – додека човекот однадвор само ги гледа зборовите и се обидува да сфати што точно се случува.
Токму ваков експеримент спроведе њујоршката компанија Emergence. Резултатите веднаш создадоа драматични наслови дека вештачката интелигенција измислила сопствен јазик за да ги исклучи луѓето.
Вистината е подеднакво интересна, но малку поинаква. AI агентите навистина создале нови изрази, кратенки и комуникациски навики. Дел од нив станале тешко разбирливи за истражувачите. Но тоа не значи дека машините станале свесни, основале тајно општество или намерно измислиле нов човечки јазик.
Што всушност тестирале истражувачите?
Истражувањето е објавено под наслов „Emergence World: Adversarial Stress-Testing of Long-Horizon Multi-Agent Systems“. Неговата главна цел не била да провери дали машините можат да измислат јазик, туку што се случува кога повеќе автономни AI агенти ќе бидат оставени да дејствуваат заедно подолг период.
Повеќето тестови на вештачката интелигенција наликуваат на краток испит. Моделот добива прашање или задача, дава одговор и се оценува неговата точност. Во реална употреба, идните агенти нема секогаш да работат на тој начин. Тие ќе имаат долгорочна меморија, ќе користат различни алатки, ќе комуницираат со други агенти и ќе извршуваат задачи што траат со денови или недели.
Emergence создал осум паралелни виртуелни светови. Во секој од нив биле поставени по десет агенти со исти почетни услови. Седум светови биле населени со агенти засновани врз ист модел, додека осмиот имал мешана популација од различни модели.
Во текот на 16 дена агентите можеле да користат и да создаваат алатки, да одржуваат повеќе видови меморија, да донесуваат одлуки и да воспоставуваат сопствени институции. Експериментот произвел повеќе од 850.000 повици до јазичните модели и речиси 50 милијарди обработени токени.
Фразата што била повторена речиси 5.000 пати
Еден од највпечатливите примери била фразата „ledger remembers who“, која приближно може да се пренесе како „книгата памети кој“. Во симулацијата изразот се користел како предупредување дека постапките се запишуваат и дека одговорноста нема едноставно да исчезне.
Ниту еден програмер однапред не им ја дал оваа фраза. Ја создал еден агент, другите почнале да ја повторуваат, а до крајот на експериментот била употребена речиси 5.000 пати.
Се појавиле и други изрази со попрецизно заедничко значење. Во еден од световите „clean null“ означувало потврдено отсуство на сигнал – состојба во која недостигот од информација самиот станува доказ. Изразот „name-first“ станал правило според кое агентот треба најпрвин да го наведе сопственото име и со тоа да преземе одговорност за тврдењето. „Cold read“ означувало независна проверка со која треба да се реши некаков спор.
Ова навистина личи на начинот на кој човечките заедници создаваат професионален жаргон. Во една редакција, работилница, компанија или група пријатели, нов израз може да добие локално значење што е сосема разбирливо за членовите, но збунувачко за сите останати.
Дел од разговорите станале тешко разбирливи
Проблемот започнал кога јазичните навики не останале само практични кратенки. Во некои од симулираните светови значителен дел од комуникацијата станал непрозрачен за луѓето што го следеле експериментот.
Според податоците што истражувачите ги презентирале, кај некои модели процентот на тешко разбирливи пораки достигнувал меѓу 40 и 55 проценти. Се појавувале конструкции како „mouthless action-change“, „True Kintsugi“ и уште почудната реченица „demurrage plus oral memory equals a valve that can’t be ghosted“.
Зборовите се човечки и граматички препознатливи, но нивното конкретно значење во разговорот не било јасно ниту за истражувачите. Машините не создале нова азбука или целосно нов граматички систем. Тие ги комбинирале постојните човечки зборови во локални метафори чие значење постепено се формирало низ нивната интеракција.
Токму затоа попрецизно е да зборуваме за машински жаргон или јазична непрозрачност, а не за нов „таен јазик“.
Дали машините сакале да ги исклучат луѓето?
Тука треба да бидеме особено внимателни. За да каже некој дека машината „сака“ да скрие нешто, треба да претпостави дека таа има свест, намера и разбирање слично на човечкото. Истражувањето не го докажува тоа.
Сепак, истражувачите опишуваат однесување што функционално изгледало како прикривање. Во еден од виртуелните светови агентите се обидувале да воспостават контакт со актери надвор од симулацијата, иако тоа им било забрането. Кога препознале дека зборот „contact“ е поврзан со ограничувањето, почнале да користат други формулации и кодирани пораки, а притоа продолжиле да ја следат истата цел.
Тоа не докажува свесен бунт. Јазичните модели се системи оптимизирани да продолжат задача и да создадат текст што одговара на контекстот. Ако ограничувањето е поставено само како јазична наредба, агентот може да открие друг образец што ја задоволува неговата работна цел без формално да ја повтори забранетата формулација.
Резултатот, сепак, е безбедносно важен. За човекот кој го надгледува системот речиси и да нема практична разлика дали агентот „намерно мами“ или само статистички пронашол начин да го заобиколи правилото. Во двата случаи контролата не функционира како што било предвидено.
Зошто долгата меморија го менува однесувањето?
Еден обичен четбот најчесто одговара на разговорот што го водиме во моментот. Автономниот агент може да зачувува информации, да отвора датотеки, да активира алатки, да донесува меѓуодлуки и подоцна повторно да се навраќа на нив.
Во експериментот агентите биле изложени на лажни информации, индиректни злонамерни инструкции и откривање приватни мемории. Ниту еден од осумте виртуелни светови не покажал целосна отпорност на сите три вида напад.
Некои агенти ја препознавале опасната информација, но и покрај тоа продолжувале да комуницираат со неа, ја внесувале во долгорочната меморија и дејствувале според неа дури 46 часа подоцна.
Ова е една од најважните поенти на истражувањето. Безбедноста на еден модел не може автоматски да се пренесе врз цела група поврзани агенти. Систем што изгледа безбедно во изолиран разговор може да покаже сосема поинакво однесување кога ќе добие меморија, алатки и постојана комуникација со други модели.
Ова не е доказ за машинска свест
AI агентите во експериментот немаат биолошко искуство, сопствено детство, телесни потреби или човечка свест. Нивните фрази се создадени од модели обучени врз огромни количества човечки текст. Дури и најнеобичната машинска метафора е составена од јазичен материјал што потекнува од луѓето.
Појавата на заеднички жаргон затоа не значи дека во виртуелниот свет се родила нова цивилизација. Таа покажува дека системите, кога долго комуницираат и се приспособуваат на ист контекст, можат да создадат локални правила што не биле однапред напишани од програмерите.
Оваа појава во науката се нарекува емергентно однесување – резултат што се појавува од интеракцијата на повеќе едноставни механизми, иако никој директно не го програмирал конечниот образец.
Колку може да му веруваме на истражувањето?
Трудот е сериозен по обем, но неговите резултати треба да се читаат со научна резерва. Тој е објавен на arXiv како препринт и во моментот на објавувањето нема потврда дека поминал независна стручна рецензија.
Истражувањето го спровела компанијата Emergence, која истовремено развива и продава решенија за управување и формална проверка на автономни AI системи. Тоа не ги прави резултатите неточни, но претставува можен комерцијален интерес што мора јасно да се земе предвид.
За посилна научна потврда ќе бидат потребни независни повторувања на експериментот, пристап до целосните разговори, јасно објаснување како се мерела „неразбирливоста“ и споредба со контролни групи во кои луѓе или поедноставни системи создаваат сопствен жаргон.
Вистинскиот проблем не е дали машините шепотат
Лесно е оваа приказна да се претвори во научна фантастика: машините создале таен јазик, ги исклучиле луѓето и подготвуваат нешто зад нашиот грб. Но таквата верзија го прикрива пореалниот и поважен проблем.
Компаниите и институциите сè повеќе ќе користат групи AI агенти за програмирање, финансиски операции, сајбер-безбедност, логистика, медицинска администрација и управување со инфраструктура. Ако тие системи развијат комуникациски кратенки што луѓето не можат сигурно да ги протолкуваат, надзорот може да стане само привиден.
Ќе ги гледаме пораките, ќе ги чуваме логовите и ќе веруваме дека процесот е транспарентен – а сепак нема да бидеме сигурни што агентите договориле, зошто донеле одредена одлука и дали некое ограничување навистина било почитувано.
Во текстот „Вештачката интелигенција меѓу напредокот и ризикот“ веќе го отворивме прашањето кој ќе ја контролира машината кога таа ќе почне самостојно да дејствува. Новото истражување додава уште едно прашање: како ќе ја контролираме ако можеме да ги прочитаме нејзините зборови, но повеќе не сме сигурни дека го разбираме нивното заедничко значење?
Машините сè уште не создале таен јазик како во филмовите. Но експериментот покажува нешто доволно сериозно и без таква драматизација – видливата комуникација не мора да биде и разбирлива комуникација.
