Поисковик Google станет более «понимающим»

Новая технология, которая будет основана на искусственном интеллекте, станет более «понимающей», поскольку будет проводить анализ не отдельных слов, а запросов пользователей целиком.

По сообщению издания Financial Times : «это первый случай применения на практике технологии естественной обработки языка, которая привлекла внимание ученых еще в 2018 году».

Как отмечает газета, понимание языка является одной из самых больших сложностей для искусственного интеллекта по причине его изменчивости. При этом значение слов может изменяться в зависимости от контекста их использования.

По сей день алгоритм поисковика Google старался определить наиболее значимое слово в пользовательском запросе, при этом короткие слова или наиболее часто встречающиеся он попросту игнорировал. Таким образом поисковая система определяла основную тему запроса, однако чаще всего это мешало понять конкретное желание пользователя.

Новая технология BERT основывается на языковой модели, которая была собрана по итогу анализа огромных объемов текста в сети. BERT анализирует слова пользователя одновременно, в том числе и короткие слова. В пример приведем запрос, с которым поисковая система точно сможет справиться: «Сколько лет было Тэйлор Свифт, когда Канье прыгал на сцене?»

Представители компании Google сообщают, что изменения не заметят большинство пользователей, поскольку обновление повлияет на один из десяти запросов, поясняет FT вице-президент по вопросам поиска Панду Найак.

В данный момент Google уже начала обновление программного обеспечения своих дата-центров для изменения процесса обработки запросов на английском языке. А в скором времени будут обновлены программы на других языках.

При этом Найак добавил, что встречаются случаи, когда новый алгоритм производит поиск информации хуже, чем старый. Однако работа над проектом продолжается.

Пресс-служба «Яндекса» прокомментировала данное сообщение:

Что, в отличие от Google качество поиска «Яндекса» исторически обеспечивали именно алгоритмы машинного обучения. Ещё в 2009 году «Яндекс» начал применять для ранжирования документов технологию MatrixNet.

В 2016 году «Яндексом» был запущен алгоритм «Палех», который впервые стал использовать глубокие нейронные сети для поиска связей между текстами пользовательских запросов, а также текстами документов, что позволило искать фильмы по неточным описаниям сюжета. В 2017 году данную технологию развили в алгоритме Королёв.

В настоящее время разработка новых алгоритмов машинного обучения в «Яндексе» - каждодневная практика.