Читати книгу - "ХЗ. Хто знає, яким буде майбутнє"

2008 року Ді Джей Патиль з LinkedIn та Джефф Гаммербахер з Facebook ввели в обіг термін «даталогія». Так вони визначили галузь, у якій працювали. За кілька років Harvard Business Review назвала їхню роботу «найсексуальнішою у ХХІ столітті»180. Усі, хто намагається осмислити виклики ХХІ століття, мають розуміти основи даталогії та відмінність нового підходу від старих методів програмування.

Багато про що свідчить принцип роботи пошуковика Google. Google починала з того, що видавала результати пошуку за допомогою статистики і категорично не визнавала виправлення проблем вручну. На пошуковий запит «Пітер Норвіґ» перші посилання, які має отримати користувач, — стаття у «Вікіпедії» та біонота на сайті компанії, де працює ця людина. Якщо натомість першим вигулькує якийсь неважливий ресурс, це можна виправити так: додати правило «на запит “Пітер Норвіґ” не видавати цей URL в топ-10 результатів». Проте Google вирішила не робити цього — ліпше завжди шукати причину помилки. У нашому прикладі виправлення може бути таким: «На запит про будь-яку відому людину першими видавати високоякісні енциклопедичні джерела, як-от “Вікіпедія”».

«Функцією пристосування» відділу з контролю за якістю пошукової системи Google завжди була доцільність інформації: чи знаходять користувачі те, що шукають? Один із сигналів, яким нині послуговується Google, щоб це з’ясувати, є «довгий клік» і «короткий клік». Якщо користувач клікає на перше посилання й не повторює запиту, припускається, що результат пошуку виявився задовільним. Якщо користувач клікає на перше посилання, а за деякий час повертається до результатів пошуку й клікає на друге, швидше за все пошук виявився незадовільним. Якщо користувач повертається до пошуку відразу, це сигнал, що знайдена інформація зовсім не відповідала меті пошуку. Коли «довгий клік» трапляється після другого, третього чи п’ятого посилання в пошуку частіше, ніж після першого, припускається, що той результат надав доцільнішу інформацію. Якщо так вчиняє один користувач, можливо, це сталося випадково. Та коли мільйони користувачів однаково реагують на результати пошуку, випливають важливі висновки.

Статистичні методи — не тільки ефективніші, а ще й швидші, а також не такі помітні. Якщо раніше наші працівники-програми були скрипучими роботизованими механізмами, то тепер вони нагадують джинів — могутніх і самодостатніх духів з арабської міфології, яких можна змусити виконувати твої бажання, але які майстерно їх перекручують на шкоду господареві. Як мітла в діснеєвському фільмі «Учень чаклуна» (The Sorcerer’s Apprentice), алгоритмічні джини роблять усе, що ми наказуємо, але тлумачать наші забаганки надто буквально. Це призводить до неочікуваних і часом жахливих наслідків. Як змусити їх виконувати саме те, чого нам треба?

Для управління джинами треба порівнювати результати роботи програм та алгоритмів із визначеними завданнями і тестуванням, щоб розуміти, які зміни наблизять нас до кінцевої мети. У деяких випадках, скажімо при роботі з «веб-павуком» Google, треба оцінювати такі функції, як швидкість пошуку, доцільність та актуальність інформації. 1998 року, коли Google починала працювати, «павук» й індекс веб-сторінок оновлювалися раз на кілька тижнів. Нині це відбувається майже миттєво. Для оцінки доцільності інформації треба порівнювати результати роботи програми з очікуваннями пронозливого користувача. На початкових етапах діяльності Google йшлося про досить примітивні операції. У першій публікації про пошуковик Google студенти Стенфорду Ларрі і Сергій писали: «Функція ранжування має багато параметрів... У тому, щоб визначити доцільні значення для цих параметрів, є щось від чорної магії»181.

Як повідомляє Google, сигналів, що використовуються для оцінки доцільності інформації, нині вже 200. За підрахунками гуру маркетингу в галузі пошукових систем Денні Саллівана, підсигналів може налічуватися до 50-ти тисяч182. Кожний із сигналів визначається й оцінюється низкою програм та алгоритмів із власними «функціями пристосування», які вони намагаються оптимізувати. Результатом цих функцій є підсумковий показник, який можна назвати кінцевою метою «мегафункції пристосування», покликаної надати найдоцільнішу інформацію.

Деякі з цих функцій, як-от PageRank, мають назви, а розробники присвячують цілі статті, де пояснюють, як їх застосовувати. Деякі є комерційними таємницями, відомими лише командам розробників, які ними й управляють. Багато функцій істотно вдосконалюють систему пошуку. Наприклад, Google додала технологію Knowledge Graph (Графа знань). Ця функція дозволила асоціювати різноманітні відомі дані: дати, імена, місця і назви організацій. Отож система розуміє, що людина народилася в певну дату, працює в певній компанії, є дочкою, сином чи матір’ю, живе в певному місті тощо. Ця технологія заснована на базі даних компанії Metaweb, яку Google купила 2010 року. Коли Metaweb повідомила про свій проект у березні 2007 року, я захоплено написав: «Вони конструюють новий синапс глобального мозку»183.

Змінювалися умови в глобальному мозку, що об’єднує мільярди під’єднаних до мережі людей, тому розроблялися інші компоненти загального пошукового алгоритму. Наприклад, Google спершу не могла пристосуватися до потоку свідомості в реальному часі, що надходив із Twitter. Алгоритми довелося підлаштовувати, коли смартфони зробили відеозаписи і зображення такими ж поширеними в інтернеті, як текст. Коли дедалі більше пошукових запитів надсилалися з мобільних телефонів — пристроїв, які дозволяють відстежувати точне місце перебування власників, — результати локального значення стали важливішими. Із появою інтерфейсів розпізнавання мовлення пошукові запити стали більше нагадувати реальну розмову.

Google постійно випробовує нові ідеї, сподіваючись на кращі результати. В інтерв’ю 2009 року Уді Манбер, тодішній віце-президент із питань пошукових продуктів Google, наголосив, що за рік компанія провела понад п’ять тисяч експериментів: «успішному запуску кожного продукту передує близько десяти експериментів»184. Google випускає тонке налаштування алгоритмів або новий фактор ранжування 100–120 разів на квартал або в середньому один раз на день. Відтоді ритм роботи пошукового гіганта лише прискорився. Ще більше експериментів проводять у галузі реклами.

Як дізнатися, що зміни сприяють доцільності інформації? Один спосіб оцінити оновлення — коротка відповідь користувачів: на яке посилання вони клікають? Другий — довга відповідь користувачів: чи повертаються вони на Google для подальших пошуків? Третій спосіб — безпосереднє спілкування з користувачами, щоб з’ясувати їхню думку.

До того ж Google має цілу команду оцінювачів, які перевіряють стандартизовані списки найпоширеніших пошукових запитів. Ці списки формуються автоматично. Коли Google починала, списки запитів складали програмісти, і вони ж оцінювали результати. Десь 2003 чи 2004 року Google створила окремий відділ із контро­лю за якістю пошукової системи, який відповідає за оцінювання.