Посоветуйте литературу по метоптам

toptygin-bear

Ищется литература по методам квадратичной оптимизации. Посоветуйте что-нибудь. Будет здорово, если в электронном виде, но можно и в бумажном (если книга, конечно, есть в продаже)

toptygin-bear

это оптимизация выпуклых функций. мне кажется, я не могу этого гарантировать (задача svm).

babygirl

это оптимизация выпуклых функций. мне кажется, я не могу этого гарантировать (задача svm).
Как ты думаешь, почему квадратичная оптимизация называется квадратичной? Напиши на листочке оптимизируемую функцию и посмотри, не будет ли она выпуклой. Ответ тебя приятно удивит.
Вообще, зачем ты пишешь тренировщик svm? Лучше чем state-of-art (например, SVMLight) все равно не получится.

babygirl

К слову, в книжке, на которую я ссылку давал, есть раздел про QP (стр. 152)

toptygin-bear

Как ты думаешь, почему квадратичная оптимизация называется квадратичной? Напиши на листочке оптимизируемую функцию и посмотри, не будет ли она выпуклой.
ну.. в общем случае квадратичная функция совсем не обязана быть выпуклой (пример: x^2 - y^2)
Другое дело, что способ задания матрицы A в методе svm гарантирует, что все диагональные элементы будут неотрицательны. А значит, лагранжиан действительно будет выпуклой функцией. (верно?)
Дальше. если рассматривать svm с линейно неразделимой выборкой. Ядровых функций я пока не касаюсь, просто допускаю некоторый процент ошибок в обучающей выборке. Симплекс-метод позволяет найти решение на границе области. Таким образом, могу ли я свести решение задачи к следующему алгоритму:
1) ищем глобальный минимум лагранжиана
2) если он не попадает в гиперкуб <=C, то начинаем искать симплекс-методом на границах области.
так?

toptygin-bear

К слову, в книжке, на которую я ссылку давал, есть раздел про QP (стр. 152)
как раз эти страницы там вырезаны :(

babygirl

 
ну.. в общем случае квадратичная функция совсем не обязана быть выпуклой (пример: x^2 - y^2)
В квадратичном программировании квадратичный член оптимизируемой функции имеет вид x^T Q x, где Q - неотрицательно определенная матрица.
как раз эти страницы там вырезаны
Страниц действительно не хватает. Вот тут тут есть PDF.
Как лучше всего решать оптимизационную задачу именно в SVM - почитай у Thorsten Joachims.

toptygin-bear

О. спасибо. сейчас буду читать.
Оставить комментарий
Имя или ник:
Комментарий: