Чему вы научитесь
- Разберетесь в теоретическом устройстве механизма внимания
- Узнаете как работают трансформеры
- Научитесь обучать трансформеры на PyTorch самостоятельно
- Познакомитесь с библиотекой huggingface
- Создадите приложение при помощи streamlit
О курсе
Курс стартует 25 февраля 2024 года.
Важно! Основные материалы курса будут даваться преподавателями на вебинарах в декабре. На этих онлайн-занятиях вы сможете взаимодействовать с преподавателями и задавать им в режиме реального времени любые вопросы. Также на протяжении курса вы будете общаться с коллегами и командой курса в закрытом телеграм-чате.
Важно! Записи занятий, тесты, практические задания и весь дополнительный материал выкладываются на Stepik. Смотреть вебинары и сдавать практику можно в любое время!
В курсе подробно разобрана схема работы механизма внимания и различные архитектуры трансформеров. Кроме теории в курсе много практических заданий, требующих использования библиотеки PyTorch. На протяжении курса слушатели будут работать над проектом - обучат трансформер для решения NLP-задачи и представят решение в виде готового веб-приложения.
Также в курсе разобраны различные задачи из области NLP, для успешного решения которых необходимы трансформерные архитектуры.
Для кого этот курс
Курс подойдет слушателям, увлеченным областью NLP и Deep Learning в целом. Мы ожидаем, что слушатели знакомы с классическими ML- и DL-моделями, а также имеют хороший опыт обучения моделей в Python.
Начальные требования
Для успешного прохождения курса от участников ожидается знание классических алгоритмов машинного обучения и базовых DL-архитектур, а также умение обучать ML- и DL-модели в Python.
Рекомендуются к прохождению первые два курс из линейки: "Основы нейронных сетей и NLP" и "Рекуррентные сети в NLP и приложениях".
Наши преподаватели
Как проходит обучение
Курс проходит в смешанном формате:
- вебинары в Zoom с преподавателями 1 раз в неделю
- после каждого занятия открывается соответствующий модуль на степике с материалами занятия, квизами и домашним заданием
- для слушателей курса есть закрытый чат в телеграме для оперативного взаимодействия с командой и ответов на любые вопросы по темам курса
- ревью проектного задания в конце курса!
Программа курса
