“Більшість людей зовсім забули, наскільки хаотичним це насправді було”.
У середині 90-х років веб вибухав, але знайти на ньому щось цінне було схоже на складні переговори з будь-якою пошуковою системою, що траплялася під руку. На відміну від сьогодення, коли Google розглядається і як портал, і як «воротар», сайти на кшталт AltaVista, Lycos, Excite, HotBot і Ask Jeeves обіцяли приборкати цей хаос, кожен зі своїми особливостями, принадами та недоліками.
Справжня історія пошуку до Google полягає не в тому, що ранні пошуковики були недосконалими. А в тому, що вони відображали зовсім інший Інтернет, де каталоги мали значення, сканування було мистецтвом, ранжування — крихким, а сама ідея «пошуку» ще не затвердилася в єдиному домінуючому інтерфейсі.
Інший вид вебу
Перше, що слід пам’ятати про Інтернет до Google, — це відсутність припущення, що ви можете шукати все. Багато користувачів знаходили сторінки через каталоги типу Yahoo, закладки, групи новин, підписи електронних листів та посилання з сайту на сайт, оскільки веб був ще достатньо малим, щоб людська організація могла конкурувати з машинним індексуванням. Це була ера «дикого заходу» у сфері виявлення інформації. Пошукові системи існували, але вони були лише частиною ширшої екосистеми, що поєднувала кураторство та випадковість.
До того, як ці системи стали основним публічним інтерфейсом до вебу, такі ресурси, як Usenet, показували людям, як організовувати та знаходити інформацію в Інтернеті. Заснований у 1979 році, він надавав користувачам тематичні групи новин та культуру розподілених обговорень, завдяки чому онлайн-інформація відчувалася соціальною та спільною ще до появи перших великих веб-пошуковиків. Usenet допоміг сформувати звичку навігації величезними, хаотичними цифровими просторами через категорії та спільноти, а не через єдине поле пошуку.
Ніколь М. Радзівілл у 90-х роках працювала системним адміністратором, програмістом і менеджером проєктів. Вона згадує Usenet як портал для пошуку цікавого контенту онлайн. «Це був *основний* спосіб дізнатися про веб-сайти, які могли б вас зацікавити, — каже вона. — Я приєдналася до Usenet у 1990 році як студентка з Дарема, Північна Кароліна… це було чудово, особливо групи alt.* та misc.*. Люди залишали посилання внизу своїх повідомлень, і обізнаність зростала органічно. А якщо ви хотіли безпечніших або надійніших рекомендацій, ви могли обмежитися модераторськими групами».
Це була ера, коли термін «виявлення» мав реальну вагу, коли ви могли бути справді одними з перших людей, хто переглядав контент, незалежно від його якості чи того, як довго він існував — ера, сповнена як дива, так і розчарування.
«Потім, через пару років, з’явилися webrings, — розповідає Радзівілл. — Ви отримували блок коду і розміщували його внизу HTML-сторінки вашого сайту, і він вбудовував посилання на наступний пов’язаний сайт. Хтось інший керував списком того, що могло йти далі, тож це був чудовий спосіб збільшити свою присутність. Люди, які складали списки для webrings, були, як правило, цілком порядними, тому ми навіть не думали про саботаж».
Webrings — це ще один артефакт до Google, який нагадує про епоху, коли виникали мікроспільноти, подібні до тих, що існували в епоху BBS, з груп людей, які ділилися нішевими інтересами, іноді навіть локальними. До появи монолітних агрегаторів на кшталт Reddit, webrings були одним із кількох способів знайти сайти, зосереджені на темах, які вас цікавили.
Це було важливо, тому що веб ще не став чистою пошуковою машиною. Він ще мав культуру дослідження, і багато сервісів були розроблені, щоб допомогти користувачам переглядати тематичні категорії, а не надсилати запит до універсального індексу. У такому світі webring або каталог не були компромісом. Часто це була головна подія.
Каталоги перед алгоритмами
Yahoo є найвідомішим прикладом цієї ранньої логіки. Вона почалася як керований людьми посібник з вебу, організований у вкладені категорії тем і підтримуваний людьми, а не повністю автоматизованими системами ранжування. Для молодого вебу такий підхід був напрочуд ефективним: людські редактори могли ідентифікувати якісні сайти, фільтрувати явне сміття та насаджувати почуття порядку в середовищі, що швидко розширювалося.
«Я був системним адміністратором в ‘інтернет-магазині’ у 1995 та 1996 роках, — розповіла мені Радзівілл, — і коли ми знаходили веб-сайти для нових клієнтів, головним етапом нашого процесу була подача сайту в Yahoo. Yahoo був схожий на «Жовті сторінки», але тільки для веб-сайтів. Була форма, яку ви заповнювали, і ви мали обґрунтувати реальним людям у Yahoo, що цей бізнес, який ви подаєте, є законним і достатньо важливим, щоб бути в головному каталозі Yahoo».
Таке людське кураторство сьогодні майже неможливо уявити.
«Я пам’ятаю, як одного разу подав веб-сайт регіонального відділення Американського онкологічного товариства і отримав відмову, тому що він «не був достатньо значущим», — розповіла Радзівілл. — Вони порекомендували нам зв’язатися з головним ACS і попросити їх посилатися на сайт зі своєї сторінки… якої у них тоді ще не було».
Це був час, коли потрапити до каталогу на кшталт Yahoo через їхніх людських модераторів було величезною честю. Але модель мала очевидні обмеження. Людське кураторство не могло масштабуватися вічно, і воно ставало дорожчим і менш своєчасним, оскільки веб зростав, а контент випереджав кураторство. Як тільки кількість сторінок перевищила кількість людей, які могли б їх розумно класифікувати, майбутнє належало краулерам і системам ранжування.
Зростання краулерів
Пошукові системи тієї епохи вирішували проблему масштабу за допомогою програмного забезпечення. Багато перших великих комерційних систем, як-от AltaVista, Lycos, Excite та HotBot, використовували краулери та індекси для автоматичного відображення зростаючого вебу, а не покладалися на редакторів для ручної класифікації кожного сайту. Хоча ці системи не всі працювали однаково, їх об’єднувало спільне прагнення: зібрати якомога більше вебу та дозволити алгоритму розібратися в безладі.
Зараз це може здатися очевидним, але тоді це був стрибок. AltaVista, зокрема, була значним кроком вперед, поєднуючи швидкий краулер зі масштабованим програмним забезпеченням для індексації, і незабаром після запуску вже обробляла мільйони HTTP-запитів на день. Це робило пошук менш схожим на перегляд каталогу, а більше — на запит до гігантської машини.
Момент AltaVista
AltaVista стала однією з визначальних пошукових систем 1990-х років, оскільки вона була швидкою, широкою та надзвичайно потужною для свого часу. Пізніші версії підтримували пошук у стилі природної мови та давали користувачам відчуття, що до вебу нарешті можна поставитися як до індексованого цілого, навіть якщо результати були ще «сирими». У десятиліття, коли багато людей ще вчилися, що таке веб, і боролися з його величезністю, це здавалося майже дивом. Але це все ще був дуже обмежений інструмент порівняно з гіперсучасністю еволюційного пошуковика, як-от сучасний Google.
Марк Френд, директор IT-компанії Classroom365 Limited, працював системним оператором наприкінці 90-х. Він згадує, що в епоху до Google пошук у вебі був як технічною навичкою, так і мистецтвом.
Altavista у 1999 році. Джерело: Web Design Museum «Більшість людей зовсім забули, наскільки хаотичним це насправді було, — каже Френд. — Тоді, якщо ви вводили запитання в AltaVista, шанси були проти вас, якщо ви шукали щось конкретне. Ви отримували 40 000 результатів, які залишали вас так само спантеличеними, як крик у переповненій кімнаті».
Порівняно з колись зручним інтерфейсом Google і більш релевантними результатами, перегляд сторінки результатів AltaVista вимагав терпіння та справжньої майстерності, яка відточувалася з часом. Але AltaVista зробила одне важливе досягнення: вона встановила очікування, що пошук має бути миттєвим. Це очікування виявилося вирішальним. Як тільки користувачі відчули пошукову систему, яка могла швидко просканувати величезний індекс, вони перестали приймати повільні, неповні системи як достатні. AltaVista не виграла пошукову війну, але вона уточнила правила гри.
Lycos, Excite та епоха порталів
Lycos і Excite займали важливий проміжний простір. Вони були пошуковими брендами, але також і порталами, тобто вони прагнули бути не стільки інструментами, скільки пунктами призначення. Пошук співіснував з розділами новин, електронної пошти, спорту, погоди, фінансів та іншого контенту, які були розроблені, щоб утримувати користувачів на сайті, а не перенаправляти їх на сторінки з результатами.
Excite у 1997 році. Джерело: Web Design Museum Ці компанії продемонстрували, наскільки невизначеною була ця категорія. Деякі пошуковики робили акцент на ширині, деякі — на швидкості, а деякі поєднували редакційні канали з автоматизованими результатами так, як сьогодні здається дивним. Назва «пошукова система» охоплювала широкий спектр продуктів, від каталогів та краулерів до порталів, де пошук був лише другорядною функцією.
HotBot, Inktomi та технічна достовірність
HotBot здобув репутацію однієї з найбільш технічно серйозних пошукових систем епохи. Він з’явився в період, коли користувачі почали помічати, що якість пошуку залежить як від розміру індексу, так і від складності системи ранжування — масштабований бекенд надавала Inktomi. Швидкого сканування було недостатньо; люди хотіли релевантних, актуальних результатів, які не були очевидно маніпульованими.
Hotbot у 1999 році. Джерело: Web Design Museum Ця напруженість виявила слабкість у ранніх поколіннях машинного пошуку. Якщо система надто сильно покладалася на текстові сигнали на сторінці, люди могли просто перенаповнювати свій контент словесними надмірностями, щоб штучно підвищити рейтинг. Якщо пошуковик покладався в основному на легко маніпульовані сигнали на сторінці, маркетинг міг переважити якість. Ранній веб швидко став лабораторією маніпуляцій, ще до того, як термін «пошукова оптимізація» (SEO) почали вживати в сучасному розумінні.
Ask Jeeves та інтерфейс запитань
Ask Jeeves виділявся тим, що намагався зробити пошук розмовним, ідея, яка здається особливо пророчою в епоху чат-ботів зі штучним інтелектом — хоча Ask Jeeves, очевидно, не пропонував нічого близького до розмовного інтерфейсу на основі сучасних великих мовних моделей. Марк Френд сказав, що Ask Jeeves здавався справді футуристичним, тому що замість того, щоб просити користувачів думати ключовими словами, він запрошував їх ставити запити природною мовою, створюючи враження вебу, керованого обізнаним помічником.
Ask Jeeves у 1999 році. Джерело: Web Design Museum Проблема полягала в тому, що природна мова — це складно. Користувачі не завжди ставили чіткі запитання, а базові системи ще не були достатньо добрими, щоб надійно розуміти наміри в масштабі. Ask Jeeves запам’ятався тим, що, не маючи під собою глибокого навчання та LLM, він претендував на краще розуміння досвіду користувача, ніж технології того часу могли підтримати.
Пошук до SEO
Веб до Google також був доіндустріальним середовищем SEO. Власники сайтів намагалися покращити видимість, але сучасна система пошукової оптимізації ще не стала масивною, професійною дисципліною, якою вона стала пізніше, з цілими відділами «експертів», що женуться за ефемерними сигналами від Google і намагаються передбачити його наступний загадковий поворот. Ранні пошуковики все ще були відносно легкими для впливу за допомогою очевидних сигналів, таких як повторення ключових слів, метадані та тактика подання.
«Тоді про ранжування не говорили, — згадує Френд. — Вони подавали свою URL-адресу і терпляче чекали, чи з’явиться вона в пошуку. Всі серйозно ставилися до тегу Meta keywords, а використання «білого тексту на білому тлі» для приховування прихованих ключових слів було законною тактикою, яку вебмайстри використовували для включення ключових слів у свій вебсайт для пошукових роботів. Не було страху перед штрафами, ви створювали вебсайт, схрещували пальці та сподівалися на краще».
До кінця 90-х пошуковики почали ідентифікувати підхід «білий на білому» як спамдексинг і вживати заходів. У будь-якому випадку, це означало, що ранжування було як простішим, так і більш крихким, ніж сьогодні. Ранній пошуковий веб був експериментальним етапом, де правила ще не затвердилися, а зворотний зв’язок між видавцями та пошуковиками був ще керованим і легшим для тестування та інтерпретації. Як тільки пошук став головним шлюзом до вебу, це відкрите середовище колапсувало в більш вороже.
«Жорстка правда, яку більшість людей не хочуть визнавати, полягає в тому, що скрейпінг та ранжування перетворили Інтернет на виробничу потужність контенту, — каже Френд. — Веб-сайти перестали писатися для людей і почали писатися переважно для пошукових роботів».
PageRank змінює все
Ключовим внеском Google було не те, що він відкрив пошук; а те, що він змінив логіку ранжування. Серед іншого, PageRank розглядав посилання як сигнали авторитетності, що робило релевантність частково питанням того, як сам веб посилається на сторінку. Це було значним зрушенням, оскільки результати здавалися більш надійними, а прості маніпуляції — складнішими, хоча, очевидно, не неможливими.
Так само важливо, що Google поєднав цей підхід до ранжування зі спрощеним інтерфейсом та сторінкою результатів, яка не заважала. Чистий дизайн мав значення, тому що він підсилював відчуття, що пошук має бути утилітою, а не парком розваг-порталом. На практиці Google зробив поле пошуку схожим на парадні двері до всього вебу, з такою ж внутрішньою, життєво важливою важливістю, як вхідні двері в будинку.
Чому старий веб мав значення
Озираючись назад, епоха до Google була повільнішою, хаотичнішою і в багатьох аспектах менш ефективною. Але вона також мала більше конкуруючих ідей щодо того, як інформація має знаходитися, класифікуватися та оцінюватися, разом із беззаконною атмосферою, що свідчила про необмежений потенціал. Деякі системи довіряли людям. Деякі — краулерам. Деякі — каталогам, а деякі — запитанням, сформульованим простою англійською мовою.
«Інтернет містив притаманний рівень безладу та хаосу, — згадує Френд. — Але водночас це було набагато більш гуманізоване місце раніше. Ось чому багато хто з нас ностальгує за тим часом. Інтернет мав ремісниче відчуття. Він був створений реальними людьми за допомогою текстових редакторів, як-от Notepad та Dreamweaver. Ви могли почати з одного місця і опинитися на фан-сайті невідомого гурту, потім потрапити на форум, де обговорювали вінтажні синтезатори, і врешті-решт опинитися на сторінці NASA».
Цю різноманітність варто пам’ятати, тому що вона показує, що пошук ніколи не був приречений виглядати так, як зараз. Пошукові системи до Google були не просто невдалими попередниками. Це були серйозні спроби вирішити проблему, яку веб зробив нагальною, але ще не вирішеною одним очевидним шляхом. Google виграв, поєднавши технічне ранжування, зручність використання та масштаб саме в той момент, коли решта Інтернету була готова відмовитися від старого порядку.
За даними порталу: arstechnica.com