Шукай і знаходь

Як пробігти марафон разом із Google?

Яка найвища будівля у світі? Чого найбільше бояться комарі? Як швидко запам’ятовувати іноземні слова? Ще двадцять років тому вам довелося б витратити не одну годину на пошук відповідей на ці запитання. Та з появою інтернет-пошуковиків їх можна знайти за лічені секунди. Інтернет зробив справжню революцію в пошуку інформації. У світі зареєстровано понад мільярд сайтів (станом на серпень 2016 року). Фантастичне зростання кількості інформації — це водночас погана й хороша новина. Погана — бо неякісної інформації більшає, й це ускладнює пошук якісної. Хороша — бо існують пошуковики, які за двадцять років навчилися ефективно фільтрувати необхідну інформацію.

Звідки взялися пошуковики й навіщо їх придумали

У 1990 році двох молодих канадських програмістів Алана Емтажа і Біла Хеела попросили розробити програму для внутрішнього користування, щоби студенти монреальського Університету Макгілла могли шукати інформацію в інтернеті (тоді ще малопопулярному). Програма приблизно раз на місяць сканувала й записувала назви файлів, які знаходила. Так з’явився Archie — прототип сучасних пошуковиків. Сайт існує й досі, але радше як музейний експонат.

1993 року з’явився World Wide Web Wanderer — сайт, який уперше використав програму-робота, що автоматично сканувала сторінки одна за одною і зберігала в своєму індексі під назвою Wandex. Розробили пошуковик у кембриджському Массачусетському технологічному інституті з простою метою — виміряти обсяг інтернету.

Наступного, 1994 року запустився потужний Webcrawler, який уже сканував інформацію з усієї (!) сторінки. Свого часу він був настільки ефективним і популярним, що в години-пік сайт зависав від кількості користувачів. Того ж року з’явився дотепер популярний американський сервіс Yahoo.

Проблема більшості ранніх версій пошуковиків полягала в низькій якості збору й аналізу інформації: власники сайтів не завжди знали, як потрапити в пошукову видачу; щоби знайти необхідний файл чи сторінку, треба було знати точну послідовність ключових слів; рейтинг сайту базувався на частоті вживання ключового слова на сторінці (що дозволяло штучно піднімати рейтинг власника сайтів) тощо.

Як виглядали нинішні пошукові сайти в перші роки свого існування, можна побачити на унікальному сайті Internet Archive. Він зберігає більшість інформації про інтернет із 1995 року. Введіть адресу сайту, наприклад yahoo.com, і побачите, як він виглядав 1999 року.

1996 року виник BackRub — батько google-пошуковика. Він використовував PageRank — рейтинг сайтів, що базується на тому, скільки і яких за якістю інших сайтів містять посилань на нього. Що більше згадок — то вищий рейтинг. Однак продукт виявився комерційно непривабливим для інвесторів.

Авторами сайту були двоє американських студентів Стенфордського університету Ларрі Пейдж та Сергій Брін. 1998 року в каліфорнійському гаражі вони зареєстрували компанію Google і отримали інвестиції на розвиток проекту. По суті, це був їхній спільний науковий проект. 

Про Google знає, мабуть, кожен, хто заходив в інтернет. Нині це інструмент № 1 для загального пошуку інформації й найбільш відвідуваний сайт в Україні та світі. Згідно з даними міжнародної IT-компанії Internet Live Stats, яка збирає й показує в реальному часі дані про користування інтернетом, цієї миті Google показує 55 тисяч результатів.

Натомість деякі інструменти, що звужують результати пошуку, не лежать на поверхні і знає про них менше користувачів, а вміють ними користуватися — й поготів.

Як працює Google

Що означає слово "Google"

Математичний термін «гугол» (англ. «googol») означає одиничку зі ста нулями.

Назад

Google, як і всі пошуковики, має багатьох роботів-павуків. Їх так назвали через стиль роботи, що нагадує плетіння павутини: від вузлика до вузлика. Ці павуки таємно відвідують сайт і з кожної сторінки зберігають інформацію про її назву, адресу, заголовок, текст, активність користувачів і ще близько двохсот інших параметрів. Якщо роботи бачать посилання на іншу сторінку — неодмінно переходять і починають збір інформації з початку. Фактично Google шукає не за сторінками інтернету, як може здатися на перший погляд, а за своїм внутрішнім індексом (як у книзі), який у результаті діяльності роботів нескінченно поповнюється новими інтернет-сторінками. У цьому індексі міститься інформація про слова з прив’язкою до інтернет-сторінок. Цей процес називається індексуванням.

Джерело зображення: materialdesignblog.com via GIPHY

Після натискання кнопки «Пошук» тисячі комп’ютерів за менш ніж секунду видають результати. 1998 року на один пошук витрачалося до 10 секунд.

На результати пошуку впливає не лише збіг ключових слів, а й рейтинг сайту. Цей рейтинг визначається популярністю, згадуваністю, тривалістю перебування, глибиною сайту тощо. Логіка така: якщо сайт цікавий багатьом користувачам — має сподобатися й вам. Особливу вагу має заголовок на сторінці. Що точніше він збігається із запитом, то більше шансів побачити його першим у результатах.