RAG под капотом

В далеком 2007 году в Екатеринбурге прошла первая российская летняя школа по информационному поиску (RUSSIR), и автору (тогда студентке 5-го курса) посчастливилось принять в ней участие.

После этого тема моего диплома была предрешена – мне пришлось написать с нуля полноценный поисковик. Потом мне еще дважды довелось писать поисковики с нуля – в аспирантуре и при работе над грантовым проектом по конкурсу «У.М.Н.И.К.» Фонда содействия инновациям.

В конце концов я поняла, что уперлась в потолок. NLP тех лет вращалась вокруг статистических или даже эвристических алгоритмов, которые писал каждый разработчик, кто во что горазд.

На конференции молодых ученых в МГУ один маститый преподаватель, выслушав мой доклад, сказал: «Понимаете, вы это никогда не автоматизируете. Это как любовь, как весна». И в тех реалиях он был прав.

А потом пришла эпоха больших языковых моделей, и внезапно оказалось, что NLP отлично поддается автоматизации.

Пришло время пересмотреть подход к классическому информационному поиску. Этот курс – небольшая попытка комплексного взгляда на весь процесс – от булева поиска до RAG и CRAG. Автор уверен, что лучший способ что-то понять – написать это руками. Впрочем, до фреймворков (LangChain/LangGraph) мы еще доберемся, но только в последнем уроке. В курсе намеренно сделан упор на самописном коде, чтобы читатель запомнил, как все устроено.