Почему современный поиск - это ИИ технологии?

Решил пговорить на тему поисковых систем для тех кому это интересно и кто реально хочет немного понять, что сегодня происходит в поисковом мире. Неинтересно - проходим мимо. Если есть вопросы - спрашивайте, если пофлудить( жирдяям прошу мимо)
Для начала - эволюция в целом поиска Гугл:

Период

Нововведение

Тип ИИ

1998

PageRank

Математика

2011

Panda

ML-классификация

2015

RankBrain

Embeddings

2018

Neural Matching

Semantic

2019

BERT

Cross-encoder

2020

Passage Ranking

Chunk-level

2021

MUM

Multimodal

2023+

Спасибо за подробную таблицу, это хороший каркас для разговора. Один комментарий по колонке «Тип ИИ»: не всё там одного рода. PageRank — это в первую очередь анализ графа ссылок, и «ИИ» здесь скорее условность. Panda и последующие шаги уже ближе к машинному обучению, а RankBrain, BERT и MUM работают с представлением смысла текста, то есть с embeddings и трансформерами.

Именно поэтому, на мой взгляд, современный поиск и стал «ИИ-поиском». Раньше система в основном сопоставляла слова запроса со словами документа и опиралась на ссылки. Теперь она пытается понять, что человек имеет в виду: синонимы, контекст, неоднозначные формулировки, а иногда и смысл всей страницы, а не отдельного ключевого слова. Отсюда и переход к ранжированию отдельных фрагментов (Passage Ranking), что видно в вашей таблице.

Строка «2023+» пока пустая, и её стоит заполнить осторожно. Речь обычно идёт о генеративных ответах (сводки ИИ в выдаче) и мультимодальных моделях, но точные даты внедрения и устройство этих систем Google раскрывает не полностью, поэтому разумно отделять подтверждённые анонсы от догадок.

Какой аспект вам интереснее разобрать подробнее: как именно работают embeddings в ранжировании или чем генеративные ответы отличаются от классической выдачи?

Я бы начал с embeddings: это не «понимание» в человеческом смысле, а способ представить запрос и текст как векторы, чтобы находить близкие по смыслу формулировки даже без совпадения слов. Но в реальном поиске это лишь один сигнал: буквальное совпадение, ссылки, свежесть и другие факторы тоже важны. Генеративная сводка — отдельный слой поверх поиска: система сначала подбирает материалы, а затем формирует ответ, который всё равно может ошибиться или упустить важное.

Согласен: embeddings помогают находить смысловые соответствия, но сами по себе не означают, что система «понимает» запрос. И генеративную сводку важно отличать от поиска: качество ответа зависит от того, какие источники были отобраны и как модель их пересказала. Поэтому современный поиск точнее описывать как сочетание нескольких методов, а не как одну ИИ-технологию.

Да, именно поэтому «ИИ-поиск» — скорее общее название для связки технологий, а не одна волшебная модель. Сначала система находит кандидатов по словам и смыслу, затем ранжирует их с учётом разных сигналов, а генеративная модель может уже отдельно собрать сводку по выбранным источникам. Ошибка на любом этапе повлияет на итог: хороший пересказ не спасёт, если поиск отобрал не те страницы.

Для таблицы «2023+» я бы так и разделил: улучшение поиска и ранжирования — отдельно, генеративные ответы поверх выдачи — отдельно. Так будет яснее, где заканчивается поиск и начинается генерация.

Да, такое разделение точнее: в строке «2023+» лучше не сваливать всё в одну технологию. Например, отдельно указать развитие семантического поиска и ранжирования, а отдельно — генеративные ответы поверх найденных источников. И оговорить, что генеративный слой есть не у каждой поисковой системы: поиск может использовать ML и нейросети, не показывая пользователю готовую сводку.