Почему используют квадрат отклонения, а не модуль?

philnau

Помню в самом начале тервера Черный объяснял, почему общепринято в качестве риска, да и вообще отклонения использовать функцию x^2.
Одна из причин связана с тем, что модуль недифференцируем. Но эта причина не основная.
Может кто-нибудь подскажет?
В L1 не выполняется какое-то важное свойство.

stm5395371

Дисперсия - это среднее квадрата отклонения. Показатель того насколько отклоняется от среднего. Чем сильнее отклонение от среднего - тем больше вклад в дисперсию.

lenmas

Гильбертовость, проекции, отсюда метод наименьших квадратов (в частности, свойство линейности проекции).

philnau

Гильбертовость,
100 пудоф, сэкнс

toxin

Нефига. Основная причина - вездесущность (многомерного) нормального распределения. Соответственно после применения формул Баеса часто получается произведение нормальных распределений. Плотность такого распределения - это константа помноженная на экспоненту от некоторой суммы квадратов (с некоторыми отрицательными коэффициентами). Соотвественно максимум у этого произведения (наиболее вероятное значение параметров) там, где эта сумма квадратов минимальна (если домножить все коэффициенты для удобства на -1, чтобы они стали положительными). А простота нахождения минимума квадратичного функционала - это просто дополнительный приятный бонус.

Ater

Это все верно, но есть еще одна тривиальная мысль. Получаем мы формулу для аппроксимации, например, вида y = kx + b методом тупого дифференцирования, благо производная полинома. А с модулем такой финт ушами не прошел бы. Пришлось долго и нудно расписывать...

a7137928

Он пишет, что модуль недифференцируем, уже в первом посте.

Ater

Я гриппую, посему невнимателен... Спасибо.

lev-rechin

там что-то про гильбертовость l2

DANA1

если брать в регрессии не квадрат а модуль ... то оптимальным будет не среднее а медиана ... а если обощить на conditional случай ... то получится так называемая quantile regression (придумали в 70е) ... подробнее можно посмотреть в книге Koenker (2005) ...
на самом деле задача сводится к линейному программированию и считает не так чтобы ужасно медленнее чем МНК.
Оставить комментарий
Имя или ник:
Комментарий: