Модуль 2

Безумовна нелінійна оптимізація

Другий модуль переходить від функцій однієї змінної до багатовимірної оптимізації. Ви послідовно проходите похідні, градієнт, вибір кроку, матрицю Гессе та Newton/BFGS.

10лекційних занять

7лабораторних

100питань із поясненнями

7змістових блоків

Що ви опануєте

аналізувати функції через похідні, градієнт і кривизну;

реалізовувати та перевіряти чисельні методи пошуку мінімуму;

Як проходити модуль

Рухайтеся за блоками зверху вниз. Спочатку прочитайте лекцію або кілька пов’язаних лекцій, потім пройдіть усі збережені тести відповідних тематичних частин. Після цього виконайте лабораторну, яка закріплює саме щойно вивчену теорію.

Почати модуль

Детальний маршрут

Блок 1. Функція однієї змінної та її екстремуми

Після блоку. Після блоку ви маєте вміти читати поведінку функції однієї змінної, використовувати похідну для пошуку кандидатів на екстремум і не забувати перевіряти межі допустимого інтервалу.

Л10Функції однієї змінної та екстремумиЛекція. Починаємо нелінійну оптимізацію з функції однієї змінної. Ви розберете область допустимих значень, локальні та глобальні екстремуми й навчитеся читати графік функції як задачу пошуку найкращого режиму. Л11Похідна як інструмент одновимірної оптимізаціїЛекція. Лекція показує, як похідна описує напрям і швидкість зміни функції. Ви навчитеся знаходити стаціонарні точки, аналізувати знак похідної та не забувати про межі інтервалу під час пошуку мінімуму. ЛР08Коли проводити профілактичне обслуговуванняЛабораторна. Ви знайдете економічно доцільний інтервал профілактичного обслуговування. Потрібно дослідити функцію витрат, використати похідну, перевірити стаціонарну точку та порівняти її з допустимими межами.

Блок 2. Чисельний пошук мінімуму на відрізку

Після блоку. Ви маєте розуміти, як працюють bounded-пошук, золотий переріз і Brent, навіщо потрібні інтервал і критерій зупинки та як порівнювати чисельні результати.

Л12Чисельна одновимірна оптимізація: обмежений пошук, золотий переріз і метод БрентаЛекція. Тут мінімум шукається чисельно, коли зручної аналітичної формули немає. Ви порівняєте обмежений пошук, золотий переріз і метод Брента та навчитеся контролювати інтервал, точність і критерій зупинки. ЛР09Пошук найкращого режиму насосної станціїЛабораторна. Ви чисельно знайдете найкращий режим насосної станції на заданому інтервалі. Потрібно реалізувати або відтворити кроки золотого пошуку, порівняти результат із bounded та Brent і пояснити роль tolerance.

Блок 3. Кілька змінних і напрям зміни функції

Після блоку. Після блоку ви маєте вміти обчислювати часткові похідні, збирати градієнт і використовувати його для прогнозу зміни функції в обраному напрямі.

Л13Функції багатьох змінних і часткові похідніЛекція. Лекція переносить оптимізацію на функції кількох змінних. Ви навчитеся читати часткові похідні, розглядати зміну однієї координати за фіксованих інших і пов’язувати математичний запис зі змістом параметрів моделі. Л14Градієнт і геометрія напрямів зміниЛекція. Ви зберете часткові похідні у вектор градієнта та побачите його геометричний зміст. Лекція пояснює напрям найшвидшого зростання, напрям спадання та прогноз зміни функції вздовж заданого вектора. ЛР10У який бік змінювати два параметриЛабораторна. Ви дослідите, як два параметри калібрування впливають на помилку приладу. Потрібно обчислити градієнт, зробити кілька прогнозів для різних напрямів і перевірити ці прогнози реальними значеннями функції.

Блок 4. Градієнтний спуск

Після блоку. Ви маєте вміти виконати ітерації градієнтного спуску, відстежувати значення цілі та пояснювати, чому занадто малий або занадто великий крок погіршує роботу алгоритму.

Л15Градієнтний спуск: алгоритм і критерії зупинкиЛекція. Лекція перетворює напрям антиградієнта на повний ітераційний алгоритм. Ви розберете вибір початкової точки, роль кроку, журнал ітерацій та кілька критеріїв зупинки градієнтного спуску. ЛР11Градієнтний спуск: як крок змінює поведінку алгоритмуЛабораторна. Ви запустите градієнтний спуск з різними довжинами кроку та порівняєте поведінку траєкторій. Завдання вимагає не лише отримати мінімум, а й пояснити, чому один крок стабільний, а інший викликає повільний рух або коливання.

Блок 5. Вибір довжини кроку

Після блоку. Після блоку ви маєте розуміти line search і правило Armijo, перевіряти прийнятність пробного кроку та будувати журнал прийнятих і відхилених спроб.

Л16Вибір кроку, пошук довжини кроку і збіжністьЛекція. Тут головне питання — як вибрати довжину кроку, щоб рух уздовж хорошого напряму справді зменшував функцію. Ви познайомитеся з line search, умовою Armijo та практичними ознаками занадто малого або великого кроку. ЛР12Автоматичний підбір кроку за правилом ArmijoЛабораторна. Ви реалізуєте backtracking за правилом Armijo для автоматичного вибору кроку. Потрібно вести журнал пробних значень, розрізняти прийняті й відхилені кроки та перевірити, що прийнятий рух справді дає достатнє зменшення функції.

Блок 6. Кривизна і матриця Гессе

Після блоку. Ви маєте вміти побудувати Гессіан у стаціонарній точці, прочитати його власні значення та відрізнити локальний мінімум, максимум і сідлову точку.

Л17Другі похідні, матриця Гессе і кривизнаЛекція. Лекція вводить другі похідні та матрицю Гессе як опис локальної кривизни. Ви навчитеся за власними значеннями та квадратичною формою розрізняти локальний мінімум, максимум і сідлову точку. ЛР13Мінімум, максимум чи сідлова точкаЛабораторна. Ви класифікуєте кілька стаціонарних точок однієї нелінійної моделі. Потрібно обчислити Гессіан, дослідити його власні значення та обґрунтувати, де знаходиться мінімум, максимум або сідлова точка.

Блок 7. Newton і квазіньютонівські методи

Після блоку. Після блоку ви маєте розуміти Newton-крок, роль локальної квадратичної моделі, ідею BFGS і практично порівнювати поведінку двох методів на одній задачі.

Л18Метод Ньютона: локальна квадратична модельЛекція. Ви побачите, як метод Ньютона використовує градієнт і Гессіан для побудови локальної квадратичної моделі. Лекція пояснює Newton-крок, швидку локальну збіжність і ситуації, коли кривизна робить крок небезпечним. Л19BFGS і L-BFGS: практичні квазіньютонівські методиЛекція. Лекція показує, як використовувати інформацію про кривизну без прямого обчислення повного Гессіана на кожній ітерації. Ви розберете ідею BFGS, L-BFGS та практичний вибір між Newton і квазіньютонівськими методами. ЛР14Newton чи BFGS для нелінійного калібруванняЛабораторна. Ви розв’яжете одну задачу нелінійного калібрування двома методами — Newton і BFGS. Потрібно порівняти траєкторії, кількість кроків, фінальні значення та пояснити, яку інформацію про кривизну використовує кожен метод.

Практика в браузері

Для лабораторних використовується JupyterLite. Відкрийте notebook потрібної лабораторної, задайте свій STUDENT_X, виконайте роботу та запустіть точну самоперевірку.

Відкрити JupyterLite