LLM Fundamentals

Как работают LLM под капотом и как долго мы шли к этой архитектуре? Как обучаются LLM и имеет ли смысл обучать свою LLM с нуля? Какие ограничения есть у LLM и откуда они берутся? Как строить современные LLM-продукты и почему LLM это не самое важное? Как скоро наступит AGI и приведут ли LLM к этому? На эти и другие…
Начальный уровень
10

Чему вы научитесь

  • Понимать различия между архитектурами нейронных сетей RNN, Encoder-Decoder и Transformer
  • Различать этапы обучения LLM (Pretrain, SFT, Alignment) и объяснять назначение каждого
  • Оценивать целесообразность обучения LLM с нуля против использования готовых моделей
  • Использовать корректную терминологию при обсуждении AI-проектов с коллегами и заказчиками
  • Критически оценивать возможности LLM
  • Применять знания об ограничениях LLM для проектирования надежных LLM-продуктов.

О курсе

Цель курса — сформировать целостное, интуитивно понятное представление о том, как работают большие языковые модели (LLM), какими они обладают возможностями и ограничениями.

Почему стоит выбрать этот курс?
Существует много курсов по использованию LangChain и Prompt Engineering, однако все они упускают из виду понимание устройства и работы LLM. А это является ключевым как для ученых в области AI/LLM, так и инженеров, которые разрабатывают LLM-продукты.

Что вы приобретете:
Вы получаете фундаментальные знания, на которые будет просто наслаивать специфику LLM-продуктов и подходы LLM-инженерии.

Особенности курса:
- Текстовый формат курса из последовательно связанных лонгридов
- Уроки содержат теоретические и практические задания для закрепления материалов
- Каждый урок писался вручную живым человеком без использования ИИ

Что нужно будет делать:
- Изучать уроки, постепенно формируя картину устройства LLM в голове
- Проходить тесты на понимание 
- Выполнять небольшие практические задания для закрепления логики

Структура курса:
1. Введение в нейронные сети (от биологического нейрона до матричного представления MLP )
2. Особенности работы нейросетей с текстом (токенизация, векторизация)
3. Эволюция архитектур (RNN → Seq2Seq → Transformer)
4. Обучение LLM (Pretrain, SFT, RLHF)
5. Продвинутые техники (MoE, Reasoning, Knowledge Distillation, Multimodal)
6. Философия, ограничения и опасность LLM
7. Краткий обзор для закрепления и погружение в надежные AI/LLM-приложения

Для кого этот курс

- Для всех тех, кто хочет разобраться с тем, как работают большие языковые модели под капотом. - Для всех тех, кто называет современные LLM искусственным интеллектом и считает, что AGI будет уже через несколько лет. - Для всех тех, кто разрабатывает или планирует разрабатывать LLM-продукт или LLM-фичу. - И для всех остальных, кто решил изучить для себя что-то новое.

Начальные требования

Достаточно иметь уровень образования 10-11 класса, немного знать Python (на нем будут примеры) и иметь достаточное упорство для освоения материала.

Если вы уже знакомы с фреймворком PyTorch, то очень рекомендую параллельно с курсом читать книгу Себастьяна Рашки и подкреплять свой опыт примерами кода на этом фреймворке.

Наши преподаватели

Аватар пользователя

Как проходит обучение

Вы читаете текстовые уроки, решаете тестовые задания и пишите небольшие кусочки кода на Python для закрепления материалов. В конце каждого урока вы можете перейти для ознакомления с дополнительными материалами (статьи, видео).

Никаких дедлайнов — учитесь в своем темпе. Вы учитесь только для себя!

Программа курса

загружаем...

Что вы получаете

  • Вы получаете фундаментальное понимание по устройству и работе LLM.
  • Вы сможете присоединиться к закрытому telegram-сообществу участников специализации по разработке AI/LLM-приложений и общаться со своими единомышленниками.
Price: Бесплатно

Расскажите о курсе друзьям

Price: Бесплатно