«Більшість людей повністю забули, яким хаотичним усе це було».
У середині 90-х Інтернет вибухово розвивався, але знайти на ньому щось справді цінне було схоже на складні переговори з будь-яким прото-пошуковим рушієм, що випадково опинився найближче до дверей. На відміну від сьогодні, коли Google вважається і порталом, і «привратником», такі сайти, як AltaVista, Lycos, Excite, HotBot та Ask Jeeves, обіцяли приборкати цей хаос, кожен зі своїм набором особливостей, привабливостей та недоліків.
Справжня історія догуглівського пошуку полягає не в тому, що ранні рушії були гіршими. А в тому, що вони відображали зовсім інший Інтернет – той, де каталоги мали значення, сканування було мистецтвом, ранжування було крихким, а сама ідея «пошуку» ще не затвердилася в єдиному домінантному інтерфейсі.
Інший вид вебу
Перше, що варто пам’ятати про догуглівський Інтернет, це те, що не було припущення, ніби можна шукати все. Багато користувачів знаходили сторінки через каталоги в стилі Yahoo, закладки, новинні групи, підписи в електронних листах і посилання з сайту на сайт, оскільки веб був ще достатньо малим, щоб людська організація могла конкурувати з машинним індексуванням. Це була ера «Дикого Заходу» для можливостей виявлення. Пошукові рушії існували, але вони були лише частиною ширшої екосистеми, що поєднувала кураторство та випадковість.
До того, як ці рушії стали основним публічним інтерфейсом до вебу, такі ресурси, як Usenet, показували людям, як організовувати та знаходити інформацію онлайн. Започаткований у 1979 році, він надавав користувачам новинні групи за темами та культуру розподілених обговорень, що робила онлайн-інформацію соціальною та спільною ще до появи перших великих веб-рушіїв. Usenet допоміг сформувати звичку навігації величезними, хаотичними цифровими просторами через категорії та спільноти, а не через єдине поле пошуку.
Ніколь М. Радзівілл у 90-х роках працювала системною адміністраторкою, програмісткою та менеджеркою проєктів. Вона згадує Usenet як портал для пошуку цікавого контенту онлайн. «Це був той спосіб дізнатися про вебсайти, які могли б вас зацікавити», – сказала вона. «Я приєдналася до Usenet у 1990 році як студентка в Даремі, штат Північна Кароліна… це було чудово, особливо групи alt.* та misc.*. Люди залишали посилання внизу своїх повідомлень, і обізнаність зростала органічно. А якщо ви хотіли безпечніших або надійніших рекомендацій, ви могли обмежитися модераними групами».
Це була ера, коли термін «відкриття» мав реальну вагу, коли ви могли бути одним із перших людей, хто переглянув певний контент, незалежно від його якості чи того, як довго він існував – ера, сповнена як подиву, так і розчарування.
«Потім, через кілька років, з’явилися веб-кільця (webrings)», – розповіла Радзівілл. «Ви отримували блок коду і розміщували його внизу HTML-сторінки свого сайту, і він вбудовував посилання на наступний вебсайт, пов’язаний з цим. Хтось інший керував списком того, що могло йти далі, тому це був чудовий спосіб збільшити охоплення. Люди, які складали списки для веб-кілець, були загалом досить порядними, тому ми навіть не думали про саботаж».
Веб-кільця – це ще один догуглівський артефакт, який нагадує про епоху, коли виникали мікроспільноти, схожі на ті, що були в епоху BBS, від груп людей, які ділилися нішевими інтересами, іноді навіть локально один з одним у реальному світі. До появи монолітних агрегаторів, як-от Reddit, веб-кільця були одним із небагатьох способів знайти сайти, присвячені темам, що вас цікавили.
Це було важливо, тому що веб ще не став чистою машиною для отримання інформації. Він все ще мав культуру дослідження, і багато сервісів були розроблені, щоб допомогти користувачам переглядати тематичні категорії, а не надсилати запит до універсального індексу. У тому світі веб-кільце чи каталог не були компромісом. Часто це була головна подія.
Каталоги перед алгоритмами
Yahoo є найвідомішим прикладом цієї ранньої логіки. Він почався як керований людьми посібник з веб, організований у вкладені категорії предметів і підтримуваний людьми, а не повністю автоматизованими системами ранжування. Для молодого вебу такий підхід був напрочуд ефективним: людські редактори могли ідентифікувати якісні сайти, фільтрувати очевидний сміття та нав’язувати відчуття порядку середовищу, що швидко розширювалося.
«Я був системним адміністратором для «інтернет-магазину» у 1995 і 1996 роках», – розповіла мені Радзівілл, – «і коли ми знаходив вебсайти для нових клієнтів, родзинкою нашого процесу було подання сайту до Yahoo. Yahoo був як «Жовті сторінки», але тільки для вебсайтів. Там була форма, яку ви заповнювали, і ви мали обґрунтувати справжнім людям в Yahoo, що цей бізнес, який ви подаєте, є легітимним і достатньо важливим, щоб бути в головному каталозі Yahoo».
Такий вид людського кураторства майже неможливо уявити зараз.
«Пам’ятаю, одного разу я подав вебсайт регіонального відділення Американського онкологічного товариства і отримав відмову, бо він «не був достатньо значущим», – розповіла Радзівілл. «Вони порекомендували нам зв’язатися з головним ACS і попросити їх додати посилання на сайт зі своєї сторінки… якої в них ще не було».
Це був час, коли потрапити до каталогу, як-от Yahoo, через їхніх людських модераторів було величезним знаком престижу. Але модель мала очевидні обмеження. Людський кураторство не могло масштабуватися вічно, і воно ставало все дорожчим і менш своєчасним, оскільки веб зростав, а контент випереджав кураторство. У той момент, коли кількість сторінок перевищила кількість людей, які могли їх розумно класифікувати, майбутнє належало сканерам і системам ранжування.
Зростання сканерів
Пошукові рушії того часу вирішували проблему масштабу за допомогою програмного забезпечення. Багато перших великих комерційних систем, як-от AltaVista, Lycos, Excite та HotBot, використовували сканери та індекси для автоматичного відображення зростаючого вебу, а не покладалися на редакторів для ручної класифікації кожного сайту. Хоча ці рушії не всі працювали однаково, вони мали спільну головну мету: зібрати якомога більше вебу та дозволити алгоритму розібратися в цьому хаосі.
Це може здатися очевидним зараз, але тоді це був прорив. AltaVista, зокрема, була значним кроком вперед, поєднуючи швидкий сканер із масштабованим програмним забезпеченням для індексування, і незабаром після запуску вже обробляла мільйони HTTP-запитів на день. Вона давала відчуття, що пошук – це менше схоже на перегляд каталогу, а більше – на запит до гігантської машини.
Момент AltaVista
AltaVista стала одним із визначальних пошукових рушіїв 90-х років, оскільки вона була швидкою, широкою та надзвичайно потужною для свого часу. Пізніші версії підтримували пошук у стилі природної мови та давали користувачам відчуття, що до вебу нарешті можна підійти як до індексованого цілого, навіть якщо результати були ще «сирими». У десятилітті, коли багато людей ще вчилися, що таке веб, і боролися з його неосяжністю, це здавалося майже дивом. Але це все ще був дуже обмежений інструмент порівняно з гіперсучасною складністю розвиненого рушію, як-от сучасний Google.
Марк Френд, директор IT-підтримки компанії Classroom365 Limited, працював системним оператором наприкінці 90-х. Він згадує, що в догуглівську епоху пошук у вебі був як технічною навичкою, так і мистецтвом.
«Більшість людей повністю забули, яким хаотичним усе це було», – сказав Френд. «Тоді, якщо ви вводили запитання в AltaVista, шанси були проти вас, якщо ви шукали щось конкретне. Ви отримували 40 000 результатів, які залишали вас так само спантеличеними, як крик у переповненій кімнаті».
Порівняно з колись зручним інтерфейсом Google і більш релевантними результатами, перегляд сторінки результатів AltaVista вимагав терпіння та справжньої майстерності, яка відточувалася з часом. Але AltaVista досягла однієї важливої речі: вона встановила очікування, що пошук має бути миттєвим. Це очікування виявилося вирішальним. Як тільки користувачі відчули пошуковий рушій, який міг швидко сканувати величезний індекс, вони перестали задовольнятися повільними, неповними системами. AltaVista не виграла пошукову війну, але вона прояснила правила гри.
Lycos, Excite та ера порталів
Lycos та Excite займали важливе проміжне місце. Це були пошукові бренди, але також і портали, що означало, що вони прагнули бути призначеннями так само, як і інструментами. Пошук співіснував з блоками новин, електронної пошти, спорту, погоди, фінансів та іншого контенту, що було розроблено, щоб утримати користувачів на сайті, а не перенаправляти їх на сторінки з результатами.
Ці компанії продемонстрували, наскільки невизначеною була ця категорія. Деякі рушії наголошували на широті, інші – на швидкості, а деякі поєднували редакторські канали з автоматизованими результатами так, як сьогодні це здається дивним. Назва «пошуковий рушій» охоплювала широкий спектр продуктів: від каталогів та сканерів до порталів з пошуком, доданим як третинна функція.
HotBot, Inktomi та технічна достовірність
HotBot завоював репутацію одного з найтехнічніших пошукових рушіїв того часу. Він з’явився в період, коли користувачі почали помічати, що якість пошуку залежить як від розміру індексу, так і від складності системи ранжування, що стоїть за ним – масштабована серверна частина була надана Inktomi. Швидкого сканування було недостатньо; люди хотіли релевантних, актуальних і не явно «накручених» результатів.
Це напруження виявило слабкість у ранніх поколіннях машинного пошуку. Якщо система надто сильно покладалася на текстові сигнали на сторінці, люди могли просто перевантажити свій контент повтореннями слів, щоб штучно підвищити рейтинг. Якщо рушій покладався переважно на легко маніпульовані сигнали на сторінці, маркетинг міг пересилити якість. Ранній веб швидко став лабораторією для маніпуляцій, ще до того, як хтось використав термін «пошукова оптимізація» (SEO) у сучасному розумінні.
Ask Jeeves та інтерфейс запитань
Ask Jeeves виділявся тим, що намагався зробити пошук розмовним – ідея, яка видається особливо прогностичною в епоху чат-ботів зі штучним інтелектом, хоча Ask Jeeves, очевидно, не пропонував нічого близького до розмовного інтерфейсу на основі сучасних великих мовних моделей. Марк Френд сказав, що Ask Jeeves відчувався справді футуристичним, тому що замість того, щоб просити користувачів думати ключовими словами, він запрошував їх ставити запитання природною мовою, створюючи враження вебу, керованого обізнаним помічником.
Проблема полягала в тому, що природна мова – це складно. Користувачі не завжди ставили чіткі запитання, а базові системи ще не були достатньо досконалими, щоб надійно визначати намір у масштабі. Ask Jeeves запам’ятався тим, що, не маючи підґрунтя глибокого навчання та LLM, він претендував на краще розуміння досвіду користувача, ніж це могла підтримати технологія того часу.
Пошук до SEO
Догуглівський веб також був середовищем допромислового SEO. Власники сайтів намагалися покращити видимість, але сучасна система пошукової оптимізації ще не стала такою масовою, професіоналізованою галуззю, якою вона стала пізніше, з цілими відділами «експертів», що полюють за ефемерними сигналами від Google і намагаються передбачити його наступний таємничий поворот. Ранні рушії все ще було відносно легко вплинути за допомогою очевидних сигналів, як-от повторення ключових слів, метаданих і тактики подання.
«Тоді про ранжування не говорили», – згадував Френд. «Вони подавали свою URL-адресу і терпляче чекали, щоб побачити, чи з’явиться вона в пошуку. Всі серйозно ставилися до тегу Meta keywords, а практика використання «білого тексту на білому тлі» для приховування ключових слів була законною тактикою, яку вебмайстри використовували для включення ключових слів у свої вебсайти для пошукових рушіїв. Не було страху перед санкціями, ви створювали вебсайт, хрестили пальці і сподівалися на краще».
До кінця 90-х рушії вже визначали підхід «білий на білому» як спамдексинг і вживали заходів. У будь-якому разі, це означало, що ранжування було як простішим, так і більш крихким, ніж сьогодні. Ранній пошуковий веб був експериментальною стадією, де правила ще не затвердилися, а зворотний зв’язок між видавцями та рушіями все ще був керованим і легшим для тестування та інтерпретації. Як тільки пошук став основним шлюзом до вебу, це відкрите середовище згорнулося до більш конфронтаційного.
«Гірка правда, яку більшість людей не хочуть визнавати, полягає в тому, що скрейпінг і ранжування перетворили Інтернет на виробниче підприємство контенту», – сказав Френд. «Вебсайти перестали писатися для людей і стали писатися переважно для пошукових рушіїв».
PageRank змінює все
Ключовим внеском Google стало не те, що він відкрив пошук, а те, що він змінив логіку ранжування. Серед іншого, PageRank розглядав посилання як сигнали авторитету, що робило релевантність частково питанням того, як сам веб вказував на сторінку. Це був великий зсув, оскільки він робив результати більш надійними і ускладнював прості маніпуляції, хоча, очевидно, не унеможливлював їх.
Так само важливо, що Google поєднав цей підхід до ранжування зі спрощеним інтерфейсом і сторінкою результатів, яка не заважала. Чистий дизайн мав значення, оскільки він підсилював відчуття, що пошук має бути інструментом, а не парком розваг-порталом. На практиці Google зробив так, що пошукове поле відчувалося як парадні двері до всього вебу, з тією ж невід’ємною, життєво важливою важливістю, яку парадні двері мають у домі.
Чому старий веб мав значення
Оглядаючись назад, догуглівська епоха була повільнішою, хаотичнішою і в багатьох аспектах менш ефективною. Але вона також мала більше конкуруючих ідей про те, як слід знаходити, класифікувати та оцінювати інформацію, поряд з беззаконною атмосферою, що свідчила про необмежений потенціал. Деякі системи довіряли людям. Деякі – сканерам. Деякі – каталогам, а деякі – запитанням, сформульованим простою англійською.
«Інтернет містив невід’ємний рівень безладу та хаосу», – згадував Френд. «Але водночас це було набагато більш гуманізоване місце. Ось чому багато хто з нас ностальгує за тим часом. Інтернет мав ремісниче відчуття. Він створювався реальними людьми за допомогою текстових редакторів, таких як Notepad та Dreamweaver. Ви могли почати з одного пункту призначення і опинитися на фан-сайті маловідомого гурту, потім перейти на форум, де обговорювали вінтажні синтезатори, і врешті-решт опинитися на сторінці NASA».
Ця різноманітність заслуговує на згадку, тому що вона показує, що пошук ніколи не був приречений виглядати так, як він виглядає зараз. Догуглівські рушії були не просто невдалими попередниками. Це були серйозні спроби вирішити проблему, яку Інтернет зробив нагальною, але ще не вирішеною одним очевидним способом. Google переміг, поєднавши технічне ранжування, зручність використання та масштаб саме в той момент, коли решта Інтернету була готова відмовитися від старого порядку.
Інформація підготовлена на основі матеріалів: arstechnica.com