Истражувачот Џејкоб Коксон објави дека го напушта Anthropic, откако претходно работел и во OpenAI, со предупредување дека водечките лаборатории за вештачка интелигенција пребрзо се движат кон системи способни самостојно да се подобруваат. Неговото заминување не е обично кадровско поместување во технолошката индустрија: Коксон тврди дека трката кон суперинтелигенција се води иако луѓето што ја создаваат технологијата сериозно разговараат за можноста таа еден ден да излезе од човечка контрола. }
Најсилниот дел од приказната, сепак, не е апокалиптичната формулација што лесно станува наслов. Тоа е фактот дека предупредувањето веднаш доби поддршка од Еван Хубингер, раководител на Alignment Science во Anthropic. Хубингер јавно ја процени веројатноста вештачката интелигенција да доведе до исчезнување на човештвото во следната деценија на повеќе од 10 проценти и призна дека компанијата сè уште нема решен план за усогласување на евентуална суперинтелигенција со човечките цели и вредности.
Коксон не предупредува за денешниот четбот
Тука е потребна разлика што лесно се губи во драматичните наслови. Коксон не тврди дека денешните јавно достапни четботови утре ќе решат да го уништат човештвото. Неговиот аргумент се однесува на правецот во кој се движи индустријата – кон системи способни да извршуваат сè посложени задачи без непосредна човечка интервенција, а потоа и кон можноста ВИ да учествува во создавањето на следните, помоќни генерации ВИ.
Во објавата со која ја соопшти оставката, Коксон вели дека во изминатите три години работел на преттренирање модели во OpenAI и Anthropic. Неговата суштинска критика е дека конкурентската динамика создава опасна логика: секоја компанија може да верува дека забавувањето би било разумно, а сепак да продолжи да забрзува затоа што се плаши дека некој друг ќе стигне прв.
Тоа е стар проблем во ново технолошко издание. Кога добивката од победата е огромна, а цената на едностраното запирање изгледа како загуба на целата трка, индивидуално рационните одлуки можат колективно да произведат исход што никој од учесниците не го посакува. Кај вештачката интелигенција влогот е дополнително зголемен затоа што истите компании што зборуваат за можните цивилизациски придобивки паралелно градат процедури за ризици што самите ги опишуваат како потенцијално катастрофални.
Anthropic јавно признава дека ризиците не се теоретска декорација
Предупредувањето не доаѓа од човек кој првпат слушнал за безбедноста на ВИ. Anthropic со години го гради својот идентитет токму околу ова прашање. Во својата Responsible Scaling Policy компанијата наведува дека сè поспособните гранични модели носат големи можности, но и ризици што бараат посилни заштитни механизми, процени и правила што се менуваат заедно со способностите на моделите.
Нејзината Frontier Safety Roadmap ги издвојува безбедноста, спречувањето опасна употреба, усогласувањето на моделите и јавната политика како области во кои подготовката мора брзо да се подобрува. Тоа е важен контекст: Коксон не ја обвинува компанијата дека воопшто не размислува за ризикот. Напротив, неговата критика е понепријатна – дека разбирањето на ризикот само по себе не е доволно ако конкурентската трка сепак го диктира темпото.
И Хубингер направи суштинска разлика меѓу сегашните модели и идното сценарио од кое стравува. Според неговото објаснување, непосредниот ризик од денешните системи е низок, додека поголемата загриженост се однесува на суперинтелигенција што би произлегла од рекурзивно самоподобрување. Значи, бројката „повеќе од 10 проценти“ не е статистички измерена веројатност и не треба да се третира како научно утврдена прогноза. Таа е лична проценка на истражувач кој професионално работи токму на проблемот со усогласувањето на напредните системи.
Во исто време, способностите растат со темпо што до вчера звучеше неверојатно
Речиси симболично, дебатата за ризикот се отвора во истиот момент кога OpenAI објавува резултат што покажува зошто технолошката трка е толку тешко да се запре. Компанијата на 8 септември соопшти дека нејзин внатрешен систем, организиран во околу 10.000 паралелни ВИ-агенти, за приближно 88 часа дошол до предложено решение на проблемот Навиер-Стокс – еден од седумте Милениумски проблеми во математиката. OpenAI наведува дека агентите размениле милиони пораки и дека доказот потоа бил формализиран со Lean.
Тоа, сепак, сè уште не значи дека еден од најголемите математички проблеми официјално е решен. На страницата на Clay Mathematics Institute Навиер-Стокс и натаму се води меѓу нерешените проблеми. Правилата на институтот бараат предложеното решение да биде објавено во квалификуван извор, да помине најмалку две години и да добие општо прифаќање од светската математичка заедница пред воопшто да биде разгледано за Милениумската награда.
Токму оваа комбинација ја прави денешната приказна поважна од уште една сензационална прогноза за „крајот на човештвото“. Од една страна, системите демонстрираат способности што неодамна би биле тешко замисливи. Од друга, луѓе кои работат во самото средиште на нивниот развој велат дека механизмите со кои би требало да се контролира многу помоќна ВИ не напредуваат со истата сигурност.
Прашањето веќе не е само колку ВИ може, туку кој го одредува темпото
Во целата расправа постои и спротивен аргумент што не треба да се игнорира. Екстремните сценарија за човечко исчезнување се спорни, нивната веројатност не може денес емпириски да се измери, а преголемата фиксација врз идната суперинтелигенција може да ги потисне веќе видливите проблеми – манипулација, дезинформации, надзор, губење работни места, концентрација на моќ и злоупотреба на автоматизирани системи. Затоа предупредувањето на Коксон не е доказ дека катастрофалното сценарио ќе се случи.
Но ниту неговото заминување може едноставно да се отфрли како технолошка паника. Кога истражувач од една од најнапредните лаборатории си заминува затоа што смета дека темпото е неодговорно, а раководителот на тимот што работи на усогласување јавно признава дека немаат сигурно решение за суперинтелигенцијата, се отвора политичко прашање што е пошироко од самата технологија: кој има право да одлучи колкав ризик е прифатлив за сите останати?
Во моментов одговорот во голема мера го даваат неколку компании со огромен капитал, компјутерска инфраструктура и најбараните истражувачи во светот. Ако нивните системи продолжат да напредуваат со сегашното темпо, тогаш расправата за безбедноста на ВИ веќе не може да остане интерна дискусија меѓу инженерски тимови. Коксон можеби е во право, а можеби неговата проценка е премногу мрачна. Поважното е што индустријата влегува во фаза во која ни самите нејзини луѓе не се согласуваат дали брзината е доказ за напредок – или предупредување дека контролата почнува да заостанува.
