“Більшість людей зовсім забули, наскільки хаотичним це насправді було.”
У середині 90-х веб вибухово розширювався, але знайти на ньому щось дійсно цінне здавалося витонченою угодою з будь-яким прото-пошуковиком, що траплявся найближче до дверей. На відміну від сьогодення, коли Google вважається одночасно порталом і воротарем, сайти на кшталт AltaVista, Lycos, Excite, HotBot та Ask Jeeves обіцяли приборкати хаос, кожен зі своїми особливостями, принадами та недоліками.
Справжня історія догуглівського пошуку полягає не в тому, що ранні пошуковики були неякісними. А в тому, що вони відображали зовсім інший Інтернет, де каталоги мали значення, сканування було мистецтвом, ранжування — крихким, а ідея «пошуку» ще не закріпилася в одному домінантному інтерфейсі.
Інший тип вебу
Перше, що варто пам’ятати про догуглівський Інтернет, — це те, що не було припущення, що можна шукати все. Багато користувачів знаходили сторінки через каталоги в стилі Yahoo, закладки, групи новин, підписи в електронних листах та посилання з одного сайту на інший, оскільки веб був ще достатньо малим, щоб людська організація могла конкурувати з машинним індексуванням. Це була ера «дикого заходу» у виявленні інформації. Пошукові системи існували, але вони були лише частиною ширшої екосистеми, що поєднувала кураторство та випадковість.
До того, як ці пошуковики стали основним публічним інтерфейсом до вебу, ресурси на кшталт Usenet показували людям, як організовувати та знаходити інформацію онлайн. Створений у 1979 році, він надавав користувачам тематичні групи новин та культуру розподілених обговорень, що робило онлайн-інформацію соціальною та спільною ще до появи перших великих веб-пошуковиків. Usenet допоміг сформувати звичку навігації величезними, хаотичними цифровими просторами через категорії та спільноти, а не через єдине поле пошуку.
Ніколь М. Редзівілл у 90-х працювала системним адміністратором, програмістом, менеджером проєктів та іншими спеціальностями. Вона згадує Usenet як портал для виявлення цікавого контенту онлайн. «Це був *той* спосіб дізнатися про вебсайти, які могли б вас зацікавити», — сказала вона. «Я потрапила в Usenet у 1990 році як студентка в Даремі, Північна Кароліна… це було чудово, особливо групи alt.* та misc.*. Люди залишали посилання внизу своїх повідомлень, і обізнаність зростала органічно. А якщо ви хотіли безпечніших або надійніших рекомендацій, ви могли обмежитися модераторськими групами».
Це була ера, коли термін «виявлення» мав реальну вагу, коли ви могли бути одним з перших людей, хто переглядає контент, незалежно від його якості або того, як довго він існував — ера, сповнена як подиву, так і розчарування.
«Потім, через кілька років, з’явилися вебінги», — сказала Редзівілл. «Ви отримували блок коду і розміщували його внизу сторінки свого сайту, і він вбудовував посилання на наступний пов’язаний сайт. Хтось інший керував списком того, що могло йти далі, тож це був чудовий спосіб збільшити охоплення. Люди, які складали списки для вебінгів, загалом були досить порядними, тож ми навіть не думали про саботаж».
Вебінги — це ще один артефакт догуглівської епохи, що нагадує про часи, коли виникали мікроспільноти, подібні до тих, що існували в епоху BBS, з груп людей, які ділилися нішевими інтересами, іноді навіть пов’язаними між собою в реальному світі. До появи монолітних агрегаторів на кшталт Reddit, вебінги були одним із небагатьох способів знайти сайти, присвячені темам, які вас цікавили.
Це було важливо, тому що веб ще не став суто машиною для отримання даних. Він ще мав культуру дослідження, і багато сервісів були розроблені, щоб допомогти користувачам переглядати тематичні категорії, а не надсилати запит до універсального індексу. У тому світі вебінг або каталог були не компромісом. Вони часто були головною подією.
Каталоги до алгоритмів
Yahoo є найвідомішим прикладом цієї ранньої логіки. Вона почалася як керований людьми посібник до вебу, організований у вкладені тематичні категорії та підтримуваний людьми, а не повністю автоматизованими системами ранжування. Для молодого вебу такий підхід був напрочуд ефективним: людські редактори могли визначати якісні сайти, відфільтровувати очевидний непотріб і нав’язувати відчуття порядку середовищу, що стрімко розширювалося.
«Я була системним адміністратором для «інтернет-магазину» у 1995 і 1996 роках», — розповіла мені Редзівілл, — «і коли ми знаходитимемо вебсайти для нових клієнтів, головною частиною нашого процесу було подання сайту в Yahoo. Yahoo був схожий на «Жовті сторінки», але тільки для вебсайтів. Була форма, яку потрібно було заповнити, і вам доводилося обґрунтовувати реальним людям у Yahoo, що бізнес, який ви подаєте, є законним і достатньо важливим, щоб потрапити до основного каталогу Yahoo».
Такий вид людського кураторства зараз майже немислимий.
«Я пам’ятаю, як одного разу подавала вебсайт регіональної філії Американського онкологічного товариства та отримала відмову, бо він «не був достатньо значущим»», — сказала Редзівілл. «Вони рекомендували нам зв’язатися з головним ACS і попросити їх розмістити посилання на сайт зі своєї сторінки… якої у них ще не було».
Це був час, коли потрапляння до каталогу на кшталт Yahoo завдяки людським модераторам було величезною честю. Але модель мала очевидні обмеження. Людський кураторський підхід не міг масштабуватися назавжди, і він ставав дорожчим і менш своєчасним, оскільки веб роздувався, а контент випереджав кураторство. У той момент, коли кількість сторінок перевищила кількість людей, які могли їх розумно класифікувати, майбутнє належало сканерам та системам ранжування.
Поява сканерів
Пошукові системи тієї епохи вирішували проблему масштабу за допомогою програмного забезпечення. Багато перших великих комерційних систем, як-от AltaVista, Lycos, Excite та HotBot, використовували сканери та індекси для автоматичного відображення зростаючого вебу, а не покладалися на редакторів для ручної класифікації кожного сайту. Хоча ці пошуковики не всі працювали однаково, їх об’єднувало спільне прагнення: зібрати якомога більшу частину вебу і дозволити алгоритму розібратися в хаосі.
Це може здатися очевидним зараз, але тоді це був прорив. AltaVista, зокрема, представляла великий крок уперед, поєднуючи швидкий сканер із масштабованим програмним забезпеченням для індексування, і незабаром після запуску вже обробляла мільйони HTTP-запитів на день. Пошук перестав нагадувати перегляд каталогу і став більше схожим на запит до гігантської машини.
Момент AltaVista
AltaVista стала одним з визначальних пошукових систем 1990-х років, тому що вона була швидкою, широкою та незвично потужною для свого часу. Пізніші версії підтримували пошук у стилі природної мови та давали користувачам відчуття, що до вебу нарешті можна підійти як до індексованого цілого, навіть якщо результати були ще сирими. У десятиліття, коли багато людей ще вивчали, що таке веб, і боролися з його безмежністю, це здавалося близьким до дива. Але це все ще був дуже обмежений інструмент порівняно з гіперсучасністю розвиненого пошуковика на кшталт сучасного Google.
Марк Френд, директор ІТ-фірми Classroom365 Limited, працював системним оператором наприкінці 90-х. Він пам’ятає, що в догуглівську епоху пошук у вебі був як технічною навичкою, так і мистецтвом.
«Більшість людей зовсім забули, наскільки хаотичним це насправді було», — сказав Френд. «Тоді, якщо ви вводили запитання в AltaVista, шанси були проти вас, якщо ви шукали щось конкретне. Ви отримували 40 000 результатів, які залишали вас такими ж розгубленими, як крик у переповненій кімнаті».
Порівняно з колись зручним інтерфейсом Google та більш релевантними результатами, перегляд сторінки результатів AltaVista вимагав терпіння та справжньої майстерності, яка відточувалася з часом. Але AltaVista досягла одного важливого результату: вона встановила очікування, що пошук має бути миттєвим. Це очікування виявилося вирішальним. Як тільки користувачі відчули пошукову систему, яка могла швидко сканувати величезний індекс, вони перестали задовольнятися повільними, частковими системами. AltaVista не виграла пошукову війну, але вона прояснила правила гри.
Lycos, Excite та ера порталів
Lycos та Excite займали важливе проміжне місце. Вони були пошуковими брендами, але також і порталами, що означало, що вони прагнули бути призначеннями так само, як і інструментами. Пошук співіснував із новинами, електронною поштою, спортом, погодою, фінансами та іншим контентом, призначеним для того, щоб утримати користувачів на сайті, а не перенаправляти їх на сторінки результатів.
Ці компанії продемонстрували, наскільки нестійкою була ця категорія. Деякі пошуковики наголошували на широті охоплення, деякі — на швидкості, а деякі поєднували редакційні канали з автоматизованими результатами так, як це сьогодні здається дивним. Назва «пошукова система» охоплювала широкий спектр продуктів, від сервісів каталогів та сканерів до порталів із пошуком, доданим як другорядний елемент.
HotBot, Inktomi та технічна достовірність
HotBot заслужив репутацію однієї з найсерйозніших технічно пошукових систем тієї епохи. Він з’явився в період, коли користувачі почали помічати, що якість пошуку залежить як від розміру індексу, так і від складності системи ранжування — масштабовану серверну частину забезпечувала Inktomi. Швидкого сканування було недостатньо; люди хотіли отримати релевантні, актуальні та очевидно не маніпульовані результати.
Ця напруга виявила слабкість у ранніх поколіннях машинно-орієнтованого пошуку. Якщо система занадто сильно покладалася на текстові сигнали на сторінці, люди могли просто перевантажувати свій контент словами, щоб штучно підвищити рейтинг. Якщо пошуковик покладався переважно на легко маніпульовані сигнали на сторінці, маркетинг міг пересилити якість. Ранній веб швидко став лабораторією для маніпуляцій, ще до того, як хтось використав термін «оптимізація для пошукових систем» (SEO) у сучасному розумінні.
Ask Jeeves та інтерфейс запитань
Ask Jeeves виділявся тим, що намагався зробити пошук розмовним — ідея, яка здається особливо пророчою в епоху чат-ботів зі штучним інтелектом, хоча Ask Jeeves, очевидно, не пропонував нічого схожого на розмовний інтерфейс, заснований на сучасних великих мовних моделях. Марк Френд сказав, що Ask Jeeves здавався справді футуристичним, тому що замість того, щоб просити користувачів думати ключовими словами, він запрошував їх ставити запитання природною мовою, створюючи враження вебу, яким керує обізнаний помічник.
Проблема полягала в тому, що природна мова — це складно. Користувачі не завжди ставили чіткі запитання, а базові системи ще не були достатньо добрими, щоб надійно виводити намір у великому масштабі. Ask Jeeves запам’ятався тим, що, не маючи під собою глибокого навчання та LLM, він нібито краще розумів досвід користувача, ніж дозволяли сучасні технології.
Пошук до SEO
Догуглівський веб також був доіндустріальним середовищем SEO. Власники сайтів намагалися покращити видимість, але сучасна система оптимізації пошуку ще не стала такою масштабною, професійною дисципліною, якою вона стала пізніше, з цілими відділами «експертів», що вистежували ефемерні сигнали від Google і намагалися передбачити його наступний таємничий поворот. Ранні пошуковики були ще відносно легкими для впливу за допомогою очевидних сигналів, таких як повторення ключових слів, метадані та тактика подання.
«Тоді про ранжування не говорили», — згадував Френд. «Вони надсилали свою URL-адресу і терпляче чекали, щоб побачити, чи з’явиться вона в пошуку. Всі серйозно ставилися до тегу Meta keywords, а використання «білого тексту на білому тлі» для приховування ключових слів було законною тактикою, яку вебмайстри використовували для включення ключових слів у свої вебсайти для пошукових систем. Не було страху покарань, ви створювали вебсайт, складали руки і сподівалися на краще».
До кінця 90-х пошуковики вже почали вважати підхід «білий на білому» спамдексингом і вживали заходів. У будь-якому разі, це означало, що ранжування було одночасно простішим і менш стабільним, ніж сьогодні. Ранній пошуковий веб був експериментальною стадією, де правила ще не затвердилися, а зворотний зв’язок між видавцями та пошуковиками ще був керованим і легшим для тестування та інтерпретації. Як тільки пошук став основним шлюзом до вебу, це відкрите середовище згорнулося в більш конфронтаційне.
«Жорстка правда, яку більшість людей не хочуть визнавати, полягає в тому, що скрейпінг та ранжування перетворили Інтернет на виробничу установку контенту», — сказав Френд. «Вебсайти перестали писатися для людей і стали писатися в першу чергу для пошукових систем».
PageRank змінює все
Ключовим внеском Google було не те, що він відкрив пошук; це те, що він змінив логіку ранжування. Серед іншого, PageRank розглядав посилання як сигнали авторитетності, що робило релевантність частково питанням того, як сам веб посилався на сторінку. Це було значним зсувом, оскільки це робило результати більш надійними та ускладнювало прості маніпуляції, хоча, очевидно, не робило їх неможливими.
Що так само важливо, Google поєднав цей підхід до ранжування з мінімалістичним інтерфейсом та сторінкою результатів, яка не заважала. Чистий дизайн мав значення, тому що він підсилював відчуття, що пошук має бути утилітою, а не портальним парком розваг. На практиці Google зробив поле пошуку схожим на передні двері до всього вебу, з тією ж невід’ємною, життєво важливою важливістю, яку передні двері мають у домі.
Чому старий веб мав значення
Озираючись назад, догуглівська ера була повільнішою, хаотичнішою і в багатьох аспектах менш ефективною. Але вона також мала більше конкурентних ідей щодо того, як інформація має знаходитися, класифікуватися та оцінюватися, разом із беззаконною атмосферою, що навіювала необмежений потенціал. Деякі системи довіряли людям. Деякі — сканерам. Деякі — каталогам, а деякі — запитанням, сформульованим простою англійською мовою.
«Інтернет містив невід’ємний рівень безладу та хаосу», — згадував Френд. «Але в той же час він був значно більш гуманізованим місцем раніше. Ось чому багато хто з нас ностальгує за тим часом. Інтернет мав ремісниче відчуття. Він був створений реальними людьми за допомогою текстових редакторів, як-от Notepad і Dreamweaver. Ви могли почати з одного місця і опинитися на фан-сайті маловідомого гурту, потім потрапити на форум, де обговорювали вінтажні синтезатори, і врешті-решт опинитися на сторінці NASA».
Цю різноманітність варто пам’ятати, тому що вона показує, що пошук ніколи не був обов’язково приречений виглядати так, як він виглядає зараз. Догуглівські пошуковики були не просто невдалими попередниками. Вони були серйозними спробами вирішити проблему, яку веб зробив нагальною, але ще не розв’язною одним очевидним способом. Google переміг, поєднавши технічне ранжування, зручність використання та масштаб саме в той момент, коли решта Інтернету була готова відмовитися від старого порядку.
За даними порталу: arstechnica.com