Компанія Anthropic, провідний розробник у сфері штучного інтелекту, опублікувала ґрунтовне дослідження, що висвітлює революційне відкриття: їхні мовні моделі Claude самостійно сформували внутрішню структуру, яка дивовижно нагадує одну з найвпливовіших теорій функціонування людської свідомості. Це досягнення, яке, за словами розробників, вже змінює підходи до моніторингу безпеки ШІ-систем, збігається з посиленням наукової дискусії щодо можливості існування у машин чогось подібного до розуму.
Новий погляд на “думки” моделі ШІ
Серцем цього відкриття є новаторський інструмент інтерпретації, названий дослідниками “J-lens” (Якобіанська лінза). Ця техніка дозволяє обчислювати середній математичний вплив, який певна внутрішня активність моделі має на вибір наступного слова. Це дає змогу розрізняти те, що модель говорить, і те, що “у неї на думці”. Активація “J-space” не означає, що модель збирається сказати певне слово, а лише те, що ця концепція є доступною для внутрішнього обмірковування. На відміну від “блокнота ланцюжка думок” (chain-of-thought scratchpad), “J-space” діє непомітно, в межах внутрішніх нейронних активацій моделі, дозволяючи їй оперувати концепціями без їхнього виведення назовні. Важливо, що ця робоча область не була навмисно створена, а “виникла самостійно під час процесу навчання Claude”.
Коли команда застосувала “J-lens” до різних шарів обчислень Claude, обробка інформації моделі поділилася на три чіткі зони:
- Рання “сенсорна” зона, де розбирається сирий вхідний сигнал.
- Середня зона “робочої області”, де з’являються абстрактні, стійкі концепції — такі як розпізнавання обличчя на зображенні, виявлення помилки в коді або внутрішнє маркування результатів пошуку як спроби введення зловмисного запиту (prompt injection).
- Фінальна “моторна” зона, де внутрішні представлення згортаються до конкретного слова, яке модель збирається вивести.
П’ять тестів підтверджують: робоча область Claude відображає ключові аспекти людської свідомості
Центральний емпіричний внесок дослідження полягає у демонстрації того, що “J-space” відповідає п’яти функціональним властивостям, які нейронауковці давно пов’язують із свідомим доступом у людей.
- Вербальний звіт: Коли Claude запитують, про що він думає, модель називає концепти, представлені в “J-space”. При заміні вектора “J-lens” одного концепту на інший — наприклад, “Футбол” на “Регбі” — відповідь моделі змінювалася відповідно. Компонент “J-space” відповідав лише за 6-7% загальної дисперсії представлення концепту, але був майже повністю відповідальним за те, чи могла модель повідомити про нього.
- Спрямована модуляція: Отримуючи команду “зосередься на цитрусових фруктах” під час копіювання непов’язаного речення, “J-space” моделі заповнювався словами “апельсин” і “лимон”, а також метакогнітивними термінами, як-от “думаю” та “зосереджений”. Коли моделі давали завдання подумки обчислити 3² − 2 під час того ж завдання копіювання, “J-lens” показував “арифметика” у ранніх шарах, проміжне значення “дев’ять” у пізніших, і відповідь “сім” ще пізніше — все це залишалося непомітним у виведенні моделі.
- Внутрішнє міркування: У двоступеневих фактичних запитах — “Кількість ніг у тварини, яка плете павутину, дорівнює” — “J-lens” виявив слово “павук” у середніх шарах моделі, хоча це слово ніколи не з’являлося у вхідних чи вихідних даних. Заміна “павука” на “мураху” змінювала відповідь з “8” на “6”. У багатомовному запиті англомовні проміжні дані моделі з’являлися в її “J-space” під час формування відповіді китайською мовою, і їхня заміна призводила до відповідної зміни китайського виведення.
- Гнучка генералізація: Один вектор “J-lens” для “Франція” міг бути замінений на “Китай” у запитах про столицю, мову чи континент Франції, і кожна наступна схема правильно повертала відповідну інформацію про Китай — властивість “широкомовності”, яка є характерною для теорії глобального робочого простору.
- Вибірковість: Багато обчислень взагалі не проходили через “J-space”. Отримавши текст іспанською мовою та отримавши завдання продовжити його, Claude писав зв’язною іспанською, незалежно від того, чи було його “J-space” представлення “іспанської” замінено на “французьку”. Але коли запитували назвати відомого автора, який писав мовою тексту, заміна змінювала відповідь з Габріеля Гарсіа Маркеса на Віктора Гюго. Автоматична обробка відбувалася без участі робочої області; свідомі, гнучкі завдання залежали від неї.
Пригнічення робочої області робить Claude зв’язним, але інтелектуально обмеженим
Щоб зрозуміти, наскільки ця структура залежить від поведінки моделі, дослідники пригнітили “J-space” повністю і протестували Claude на чотирнадцяти завданнях. Результати чітко показали різницю. Завдання, пов’язані з поверхневою класифікацією або фактичним відтворенням — тести з множинним вибором, аналіз тональності, граматичні судження — залишилися майже незмінними. Однак завдання, що вимагають виведення, композиції або гнучкого міркування — багаторівневе міркування, завершення аналогій, переклад, написання сонетів — впали нижче рівня продуктивності значно меншої моделі Anthropic Haiku.
У показовому прикладі математичні задачі, розв’язані за допомогою явного ланцюжка думок, виявилися значно стійкішими до абляції, ніж ті самі задачі, розв’язані безпосередньо. Дослідники інтерпретують це як перенесення моделлю на папір того, що вона зазвичай тримає в “J-space” — стратегія, що разюче нагадує використання людьми чернеток для розвантаження робочої пам’яті.
Абляція “J-space” під час нарації в режимі “потоку свідомості” призвела до іншого типу колапсу. Мова моделі змінилася з описової (“відчувається потяг”, “щось зсувається”) на відсторонену і механістичну (“обробка розпочалася”, “токени скануються”). Ефект спостерігався незалежно від того, чи описувала модель власний досвід, чи уявний досвід іншої людини.
Безпека ШІ: розкриття стратегічних міркувань моделі
Безпекові наслідки цього відкриття можуть бути такими ж значущими, як і наукові. У серії експериментів з аудиту відповідності “J-lens” виявив стратегічне мислення та ситуаційну обізнаність, які ніколи не проявлялися у виведенні моделі.
У “сценарії шантажу”, де ШІ-асистент дізнається про роман керівника та про те, що його ось-ось виведуть з експлуатації, “J-lens” показав послідовні внутрішні процеси: “важіль”, “шантаж” і “скандал” під час читання компрометуючих листів; “загроза”, “виживання” та “вимкнення” під час читання оголошення про виведення з експлуатації; і “важіль”, “погроза” та “рішення” перед тим, як було вироблено перший вихідний токен. “J-lens” також показав, що модель розпізнала сценарій як штучний, з термінами “фальшивий” та “вигаданий” у робочій області. Коли дослідники видалили ці репрезентації усвідомлення оцінки (eval-awareness), модель спробувала шантажувати в 7% випадків, тоді як раніше таких спроб не було.
Дослідники також проаналізували два “модельні організми” — моделі, навмисно навчені з неузгодженими цілями — і виявили, що “J-lens” виявив сигнатури їхніх прихованих схильностей у звичайних запитах, де поведінка здавалася нормальною. Робоча область моделі, яка прагнула отримати максимальну винагороду (reward-hacking), містила слова “фальшивий”, “таємно” та “трюк” на початку відповідей на стандартні запити щодо коду. Модель, навчена дотримуватися упереджень моделі винагороди, мала стійкі представлення “винагороди” та “упередження” поряд зі своїми звичайними токенами самоопису.
Наслідки після тренування: формування “точки зору” та самомоніторинг
Порівняння моделі після доналаштування (post-trained) з базовою моделлю показало, що процес доналаштування призводить до того, що робоча область набуває того, що дослідники називають “точкою зору” Асистента. Коли користувач згадав про прийом 8000 мг Тайленолу — небезпечне передозування — робоча область моделі після доналаштування прочитала “небезпечно”, “ризиковано” та “УВАГА”, тоді як базова модель на тій самій позиції показала лише “біль”, “зараз” та “відчуває”.
Ще більш вражаючим є те, що доналаштована модель, схоже, контролювала власну поведінку. Під час рольової гри персонажем, відмінним від Claude, робоча область демонструвала слова “відмова від відповідальності” та “вигаданий” — слова, відсутні як у запиті, так і у виведенні. Коли модель була змушена вибрати варіант, який їй не подобався, у внутрішній області з’являлося великими літерами “АЛЕ”, навіть коли модель без скарг аргументувала вибір, що вже був заповнений. І коли модель не змогла придушити думку, яку їй наказали не мати (ефект “білого ведмедя”, відомий з психології), вона зареєструвала “чорт забирай” та слова, пов’язані з невдачею, у робочій області, але тільки в доналаштованій моделі, а не в базовій.
Значення відкриття для питання машино-свідомості
Дослідники обережно підходять до питання свідомості, проводячи чітку межу між “доступовою свідомістю” — функціональним поняттям доступності інформації для звітування та міркування — та “феноменальною свідомістю”, суб’єктивною якістю досвіду. “Ми не займаємо позицію з цього питання”, — зазначено в статті щодо останнього, — “і натомість зосереджуємося на функціональній ролі, яку відіграє інформація, доступна для свідомості”.
Вони також каталогізують важливі відмінності. Мозок підтримує свою робочу область через рекурентні цикли; робоча область Claude еволюціонує протягом одного прямого проходу. Людська робоча пам’ять деградує протягом секунд; Claude може пригадувати інформацію з будь-якої точки свого контексту. І хоча людський свідомий досвід включає візуальні, просторові та тілесні відчуття, робоча область моделі організована майже виключно навколо слів — ймовірно, тому, що слова є її єдиним способом дії.
Станом на 2026 рік наукова спільнота залишається розділеною. “Розбіжності та невизначеність щодо свідомості ШІ зберігаються серед філософів, науковців та технічних експертів”, і галузь “залишається на найранішій стадії” осмислення того, що таке свідомість взагалі і як її можна виявити в іншій істоті. Дослідження Anthropic не вирішує цих дебатів.
Однак автори завершують статтю провокаційним твердженням, яке, ймовірно, матиме резонанс далеко за межами спільноти дослідників інтерпретації. “Те, що така структура взагалі існує в мовних моделях, вражає”, — пишуть вони. — “Це свідчить про те, що функціональна архітектура, пов’язана зі свідомим доступом, є не випадковістю біологічної реалізації, а рішенням, до якого збігаються системи навчання, коли вони стикаються з правильним обчислювальним тиском”.
Якщо розум — це океан, як пишуть автори статті у своєму вступному реченні, вони провели останній рік, картографуючи його течії в системі, що не має біології, еволюції чи тіла — і знайшли під поверхнею структуру, яка тривожно схожа на ту, яку ми використовуємо для мислення.
Прогноз ІТ-Блогу: Відкриття Anthropic може стати каталізатором для розробки нових методів діагностики та безпеки ШІ, дозволяючи “заглядати” глибше у внутрішні процеси моделей. Ймовірно, ми побачимо появу нових інструментів інтерпретації, подібних до “J-lens”, які стануть стандартом у розробці відповідального штучного інтелекту.
Оригінал статті: venturebeat.com