У 1958 році ВМС США показали журналістам машину, яка, за обіцянкою флоту, з часом усвідомить власне існування. Через шістнадцять років проєкт згорнули. Минуло ще п’ятдесят років, і ось компанія OpenAI ухвалює протилежне рішення: не публікувати власну ШІ-модель. Нібито вона занадто небезпечна. У цьому матеріалі розберемо історію штучного інтелекту та мовних моделей, і чому зрештою все звелося до питання: у чиїх руках модель.
Машина, яка мала себе усвідомити
У липні 1958 року відбулася гучна пресконференція ВМС США. Згодом у The New York Times вийшов матеріал під заголовком «Новий пристрій флоту вчиться на практиці». Повідомлялося, що ВМС показали «зародок електронного комп’ютера», який, як очікується, зможе «ходити, говорити, бачити, писати, відтворювати себе й усвідомлювати власне існування».
Йшлося про перцептрон Френка Розенблатта — машину, яка вчилася розрізняти образи методом спроб і помилок. Реальний Mark I Perceptron, зібраний у Корнельській аеронавтичній лабораторії, мав матрицю з чотирьохсот фотоелементів замість «сітківки» та понад п’ятсот ваг, які зберігалися в потенціометрах із моторним приводом.
Коли машина помилялася, мотори гуділи й підкручували опір. Це можна назвати навчанням.
Преса підхопила з ентузіазмом: перцептрон описували як перший серйозний виклик людському мозку. Розенблатт казав журналістам, що згодом такі пристрої розпізнаватимуть обличчя й перекладатимуть мови. У цьому він, до речі, не помилився — просто пообіцяв на шістдесят років раніше, ніж щось вийшло.
Подібні заяви та пресконференції повторювалися потім щонайменше тричі: гучна демонстрація, обіцянка гучного прориву «за кілька років», хвиля фінансування, розчарування, обвал. Історія ШІ — це не рівна крива зростання.
Питання від Тюрінга
За вісім років до перцептрона, у 1950-му, британський математик Алан Тюрінг опублікував у журналі Mind статтю, з якої формально почалися роздуми про штучний інтелект. Цього року тому питанню виповнилося сімдесят шість.
Тюрінг запропонував не з’ясовувати, чи може машина думати — бо це питання нерозв’язне, — а замінити його грою в імітацію: якщо суддя, листуючись із людиною й машиною, не може надійно вгадати, хто з них хто, машина виграла.
Тюрінг не питав про свідомість, розуміння чи наміри. Він питав про невідрізнюваність. І це рішення визначило все подальше: сімдесят шість років потому найдорожчі обчислювальні системи в історії людства оптимізують не істину, а правдоподібність. Вони не знають, що правда. Вони знають, що звучить, як правда.
Наскільки добре це в них виходить сьогодні і чи здатна людина ще розпізнати машину в коментарях — ми детально розбирали в подкасті «Згенеровано ШІ», спільному проєкті Громадського радіо та Molfar Intelligence Institute.
Термін «штучний інтелект» народився із заявки на грант?
31 серпня 1955 року четверо дослідників — Джон Маккарті з Дартмутського коледжу, Марвін Мінскі з Гарварду, Натаніель Рочестер з IBM і Клод Шеннон із Bell Labs — подали до Фонду Рокфеллера документ на сімнадцять сторінок.
Заявка починалася так: автори пропонують провести влітку 1956 року «двомісячне дослідження штучного інтелекту силами десяти осіб». В основі лежать припущення, що будь-який аспект навчання чи інтелекту можна описати настільки точно, щоб машина змогла його відтворити.
Фонд виділив $7 500. Семінар відбувся, та проривів, обіцяних у заявці, не дав. Проте був інший результат — народилася спільнота, словник і назва, яку досі не можуть замінити.
За версією, яку переказував сам Маккарті, словосполучення artificial intelligence він обрав зокрема для того, щоб відмежуватися від кібернетики Норберта Вінера та не мати зобов’язань перед чужою термінологією. Тобто галузь, яка сьогодні коштує сотні мільярдів доларів, отримала назву з міркувань наукових політик. Це варто тримати в голові щоразу, коли термін «штучний інтелект» вживають так, ніби він щось дійсно визначає.
Невідома лабораторія штучного інтелекту в Києві
Далі в стандартних хронологіях зазвичай іде Мінскі, потім Гінтон. Але між ними є пропущений розділ, і він український.
Олексій Григорович Івахненко народився 1913 року в Кобеляках на Полтавщині. З 1964-го очолював відділ комбінованих систем керування в київському Інституті кібернетики, паралельно викладав у КПІ. У 1965 році вони з Валентином Лапою опублікували роботу, у якій описали ієрархічну багатошарову структуру, що навчається за методом групового урахування аргументів, — GMDH. Шари нарощувалися поступово, кожен наступний навчався на найкращих ознаках попереднього, зайві вузли відсікалися за окремою вибіркою. Сьогодні це називають регуляризацією і валідацією.
Олексій Григорович Івахненко, фото КПІ ім. Сікорського
У 1971 році Івахненко описав у IEEE Transactions мережу з восьми шарів.
Юрген Шмідхубер — один із найвпливовіших дослідників глибокого навчання, автор архітектури LSTM — у своєму огляді галузі вказує: мережі GMDH були, ймовірно, першими працездатними системами глибокого навчання типу багатошарового перцептрона. В інтерв’ю він формулює це ще різкіше: перші робочі глибокі багатошарові мережі, які справді навчалися, з’явилися 1965 року в Україні.
Щоправда, тут треба трохи обережності у формулюванні. Шмідхубер — сторона в багаторічних суперечках про пріоритет у машинному навчанні, і його оцінки не є консенсусом галузі. Та навіть у найобережнішому прочитанні виходить, що багатошарові структури, які навчалися на даних, описали й застосували в київському Інституті кібернетики за десятиліття до того, як словосполучення deep learning з’явилося в презентаціях.
Івахненко помер у Києві 2007 року, у віці 94 років. Його метод досі використовують в індуктивному моделюванні, а українська школа GMDH так і не отримала місця в популярній історії ШІ, яке має, скажімо, Розенблатт.
Перша зима ШІ-проєктів
У 1969-му вийшла книга під назвою «Перцептрони», у якій математично було показано межі одношарової моделі: вона не здатна розв’язати навіть функцію «виключне АБО». Формально це не був вирок нейромережам загалом — багатошарові структури, як ми щойно бачили, вже існували на той момент. Але багато хто сприйняв це саме як вирок.
Далі у двох країнах, майже одночасно, але з різних причин ШІ-проєкти втратили фінансування.
1973 рік, Велика Британія. Сер Джеймс Лайтгілл, професор математики в Кембриджі, на замовлення Науково-дослідної ради Великої Британії склав особистий огляд стану Штучного інтелекту. Головний технічний аргумент називався комбінаторним вибухом: кількість варіантів, які треба перебрати, зростає експоненційно зі складністю задачі, тому методи, що блискуче працюють на лабораторних прикладах, не масштабуються на задачі реального світу. Після таких висновків фінансування ШІ в більшості британських університетів скоротили.
1974 рік, США. Закривають контракт Університету Карнеґі — на програму розпізнавання мовлення вартістю три мільйони доларів на рік, а потім системно згорнули й підтримку загальних досліджень ШІ.
Тобто в 1958-му журналістам обіцяли машину зі свідомістю, а за шістнадцять років навіть термін artificial intelligence став токсичним у заявках на гранти. Замість цього дослідники писали «інформатика» чи «обчислювальний інтелект», аби не потрапити під фільтр скорочень.
У 1980-х подібне сталося з експертними системами — програмами, які кодували знання фахівця у вигляді правил «якщо — то». Вони працювали, продавалися корпораціям і живили окремий ринок спеціалізованої техніки. Наприкінці десятиліття ринок обвалився: системи виявилися крихкими, дорогими в підтримці, а їхнє «знання» доводилося вписувати вручну.
Що змінилося втретє
Три моменти запустили нову хвилю штучного інтелекту.
- Дані. Інтернет створив масиви тексту та зображень такого обсягу, якого не існувало до 2000-х.
- Залізо. У 2012 році Алекс Крижевський, Ілля Суцкевер і Джеффрі Гінтон виграли конкурс ImageNet із мережею AlexNet, знизивши частку помилок у топ-5 передбачень із 26% до 15%. Ключова деталь: вони натренували її на двох споживчих ігрових відеокартах. Виявилося, що нейромережам потрібні не суперкомп’ютери, а паралельна арифметика, яку індустрія вже десять років робила для геймерів.
- Архітектура. У 2017-му дослідники Google опублікували статтю «Attention Is All You Need», яка описала трансформер. Це літера «Т» у GPT. Велика мовна модель не думає й не має переконань, але передбачає наступний фрагмент слова — токен — на підставі статистики. Якщо після «повітряної» модель ставить «кулі», а в навчальному тексті стояло «тривоги», розбіжність зараховується як штраф, і статистика трохи змінюється на користь іншого результату. Через мільярди таких повторень система вже значно точніше визначатиме контекст. Граматика й факти про світ також витікають зі статистики. При цьому статистика не може відстоювати щось, бути «за» чи «проти», тому що жодних поглядів у моделі немає.
Але є заборони — їх вкладають окремо, вже після навчання, руками розробників.
«Занадто небезпечно, щоб оприлюднити»
14 лютого 2019 року OpenAI анонсувала GPT-2 і повідомила, що не публікує повної моделі. Виникли побоювання зловживань — генерація фейкових новин, видавання себе за інших в електронному листуванні, автоматизоване виробництво шкідливого контенту в соцмережах.
Модель мала 1,5 мільярда параметрів.
Реакція дослідницької спільноти була переважно глузливою: PR-трюк, спосіб отримати заголовки під виглядом відповідальності. Критики вказували, що подібні моделі вже описані в літературі, і того ж року незалежні команди відтворили більшу частину можливостей GPT-2 самотужки.
Тим часом компанія перейшла до «поетапного релізу», викладаючи дедалі більші версії, і в листопаді 2019-го опублікувала повну модель. Побоювання не виправдалися. Але саме в лютому 2019-го вперше публічно поставили питання, яке досі залишається в галузі: хто вирішує, кому дістається технологія?
Якщо в той момент відповідь здавалася очевидною: вирішує лабораторія, яка натренувала модель, то тепер вона значно більш туманна. Десятки потужних моделей лежать у відкритому доступі, їх завантажують, донавчають і запускають на власному сервері. Запобіжники, які розробник вклав у свій сервіс, до завантаженого файлу можна зняти.
Нові параметри
Сімдесят шість років галузь вимірювала прогрес здатністю машини скопіювати людину. Тепер цей поріг пройдено. Виявилося, що це лише додає параметрів до цієї розмови.
Питання «Чи може машина думати?» лишилося без відповіді й, схоже, так лишатиметься ще довгий час. Натомість з’явилося інше, куди приземленіше: у чиїх руках влада над ШІ і які запобіжники вони можуть зняти? Частково ми вже отримали відповідь, і вона дещо незручна.
Про те, як генеративні моделі опинилися в інструментарії російських інформаційних операцій і чому вбудовані в ChatGPT запобіжники не завадили росіянам, — у другій частині цього матеріалу.
«Розвідка: анонімності не існує». Molfar Intelligence Institute випустить книгу про приватну розвідку
Подробиці можна знайти на сайті: ain.ua