🟥🟨🟩Революция в ML.От «чёрного ящика» к полному пониманию математики машинного обучения через реверс-инжиниринг ML-модели. Вывод с нуля всех формул + Python.Меня зовут Руслан Сенаторов и в 2025 году я разработал новую систему обучения в области Data Science. Вместо традиционного "сверху вниз через теорию" мы начинаем с готовых решений в scikit-learn и разбираем их "изнутри",чтобы понять принципы работы и математику которая лежит в их основе с полного нуля.Это позволяет значительно сократить время обучения

10 СФЕР ПРИМЕНЕНИЯ LBFGS/L-BFGS-B:

1.  Логистическая регрессия и Ridge-регрессия 
2.  Нейронные сети 
3.  Ограниченная оптимизация (Box Constraints)
4.  Компьютерное зрение
5.  Обработка естественного языка (NLP)
6.  Гиперпараметрическая оптимизация
7.  image registration
8.  camera calibration
9.  калибровки моделей
10.  matrix factorization

ОСОБЕННОСТИ КУРСА:

• Разбор коммерческого кода действующих проектов по Data Science с сайта kaggle.com
• Способность понимать L-BFGS-B в разделе "Методы второго порядка" в учебнике от Школы Анализа Данных(ШАД) Яндекс education.yandex.ru/handbook/ml/article/metody-vtorogo-poryadka
• Способность понимать L-BFGS-B в разделе "Методы второго порядка и условная оптимизация" в учебнике Математика для анализа данных Яндекс education.yandex.ru/handbook/math/article/metodi-vtorogo-poriadka-i-uslovnaia-optimizatsiia
• Глубокое понимание темы "Метод касательных (Ньютона-Рафсона)": http://www.machinelearning.ru/wiki/index.php?title=Метод_касательных_(Ньютона-Рафсона)
• Способность начать понимать научную статью: https://arxiv.org/pdf/2310.07296
• Применения знаний на новейших моделях машинного обучения и нейросетей на сайте архив: arxiv.org/list/stat.ML/recent
• Способность понимать лекции от Воронцова К.В. http://machinelearning.ru/wiki/index.php?title=Участник:Vokov
• Адаптация полученных знаний по математике и программированию под специфику бизнеса вашего работодателя или стартапа.
• Навык выведения математических формул с нуля
• Имплементация математических формул в Python
• Глубокое понимание математики которая используется в Python
• Фундаментальное понимание алгоритма L-BFGS-B
• Фундаментальные знания для подготовки к собеседованию в Data Science

Этот курс - лучший способ начать с нуля и стать специалистом по Машинному Обучению в Python и МАТЕМАТИКЕ!

Курс разработан с акцентом на простой и понятный вход в машинное обучение — без необходимости сразу углубляться в сложную математику. Теоретическая база вводится постепенно, по мере необходимости, что делает обучение комфортным даже для тех, кто не имеет технического образования. Многие участники с гуманитарным бэкграундом успешно проходят курс и отмечают это в своих отзывах.

Если в процессе обучения у вас возникнут вопросы, вы можете задать их в комментариях к урокам — я, как автор курса, регулярно просматриваю комментарии и с радостью помогу вам разобраться
 

В этом курсе Вы изучите следующие темы:

1. Введение в алгоритм L-BFGS-B
2. Реверс-инжиниринг исходников scikit-learn
3. Введение в Newton. Quasi-Newton. BFGS. LBFGS. LBFGSB
4. Анализ графиков схождения алгоритмов.Ньютон VS Градиентный спуск
5. Что видит Ньютон?
6. Условная и безусловная оптимизация
7. тестирование оптимизация УБ
8. Процедура градиентного спуска
9. Уравнение касательной
10. Линейная аппроксимация.
11. Разложение в ряд Тейлора первого порядка
12. Первый и второй порядок. Гессиан.
13. Квадратичная аппроксимация. Ряд Тейлора второго порядка
14. Общая формула Тейлора и Маклорена
15. Остаточный член. Радиус сходимости.
16. Геометрический смысл: Аппроксимация полиномом vs рядом тейлора
17. Аналитический смысл: Аппроксимация полиномом vs рядом тейлора
18. Как шагают методы первого и второго порядка?
19. Сравнение градиентного спуска и метода Ньютона
20. Зачем вообще аппроксимировать?
21. Выпуклая и невыпуклая оптимизация. Гессиан.
22. Алгоритм Ньютона
23. Пример на линейной регрессии
24. Теорема Клеро. Смешенная производная. LOSS второго порядка.
25. Аффинная инвариантность: Преимущества и Проклятие Размерности
26. Метод касательной (Ньютона)
27. Broyden–Fletcher–Goldfarb–Shanno algorithm. BFGS
28. Метод секущих
29. BFGS: Уравнение секущей. Bs = y
30. BFGS: Разбор условий для уравнения секущей. Bs = y
31. Аналитический разбор: Уравнение секущей
32. Формула Шермана-Моррисона-Вудбери (Обновление обратной матрицы)
33. Линейный поиск (Line Search) и Условия Вольфе(Армихо и Кривизны)
34. Анализ графиков Newton vs BFGS
35. Идея алгоритма LBFGS
36. Реверс-инжиниринг: Скользящее окно памяти. Двухцикловая рекурсия
37. Сравнительная таблица. Анализ сложности.
38. Идея алгоритма L-BFGS-B (Limited-memory BFGS with Bound)
39. Точка Коши. Мин. в подпространстве. Active set vs Free set
40. Сравнительная таблица. Анализ сложности.

и много другое!

Курс сопровождается набором Jupyter Notebook — с примерами кода и подробными пояснениями. Для каждой лекции подготовлен отдельный блокнот, структурированный по разделам курса. Это позволяет не только смотреть видео, но и быстро находить нужную информацию в текстовом виде — удобно для повторения и навигации по материалу.

Курс доступен без ограничений по времени: вы можете проходить его в удобном для себя темпе.

Присоединяйтесь к обучению и развивайте свои навыки — добро пожаловать на курс!