метод наименьших квадратов

Verochka

Есть формулы для
y = ax + b, интересует формула для R^2 = RSS / TSS.
Считаются ли для R^2 RSS и TSS точно также, за исключением того, что параметр b везде равен нулю?
Считается ли точно так же данная величина, если мы подгоняем с помощью МНК параболы и логарифмы? И значит ли то же самое этот параметр во всех этих случаях (если для ax + b R^2 — характеристика удачности приближения, то является ли R^2 характеристикой удачности приближения при y = ax, y = alnx + b, y = a*exp(x) + b?

sashok01

вообще вроде как r^2=1-rss/tss, если rss - остаточная сумма квадратов, а tss - полная сумма квадратов. Вообще это не коэффициент удачности приближения, а коэффициент детерминированности - примерно вероятность того, что x и y на самом деле кореллируют.
В случае y=ax+b tss считается как сумма квадратов разностей между y фактическими и средним значением y, в случае y=ax - tss считается просто как сумма квадратов значений y.
Вообще я бы не стал применять r^2 как характеристику удачности приближения. Например, аппроксимируй синус прямой линией, получишь r^2, близкое к нулю, какой бы малой амплитуды этот синус не был бы. Я для практических целей вместо этого брал бы что-то другое, например, корень из остаточной суммы квадратов, деленное на n, или максимальную погрешность оценки, или еще что-нибудь, характеризующее именно приближение, а не статистическую модель

griz_a

Слушайте, ну нельзя же статистикой так сурово пользоваться, вообще без матбазы. МНК ведь совсем простой метод - минимизируем квадратичное отклонение, для этого считаем это самое квадратичное отклонение. О чем вообще речь - может ли квадратичное отклонение плохо оценивать степень приближения?

Verochka

Хорошо, спасибо за ответ. А какие можешь сказать навскидку наиболее простые методы кроме МНК? Или где можно покопаться, чтобы узнать о таковых?
Например, есть векторы
(х1, х2, х3, х4 ) и (у1, у2, у3, у4). Какими методами можно сравнивать, зависимы ли они друг от друга и какие методы наименее чувствительны к выбросам?

griz_a

Если конкретный вид зависимости проверяется, то есть методы "типа" Тейла, которые основаны на статистиках типа медианы, а не среднем. Если просто вопрос есть ли зависимость, то регрессия тут вообще не причем. Данные могут быть зависимыми, но вокруг кривой не быть сосредоточенными.
Тут либо есть данные о нормальности, можно воспользоваться корреляционным анализом, если нет - ранговым корреляционным. Почитать на уровне для незнакомого с вероятностью\статистикой не знаю где, в каких-нибудь книгах "статистика для инженеров" или типа того. Гуглится, я думаю, легко.

kshangin

Почитать на уровне для незнакомого с вероятностью\статистикой не знаю где, в каких-нибудь книгах "статистика для инженеров" или типа того.
Деррфель - Статистика в аналитической химии
Насколько мне помнится, несложная книга с большим количеством примеров.

Verochka

Со статистикой и тервером я знаком. Только вот это не совсем понял
Если просто вопрос есть ли зависимость, то регрессия тут вообще не причем. Данные могут быть зависимыми, но вокруг кривой не быть сосредоточенными.

Имеется ввиду, что зависимость есть ( например, положительная корреляция но она не определяется, как конкретная функция?

griz_a

Ну вот есть две переменных. Если они независимы, то должно получиться облако точек в форме суть декартового произведения носителей распределений. Квадрат там какой-нибудь. А получается, скажем, эллипс. Отсюда следует зависимость, но не прямая же функциональная, правда.

Verochka

Ну вот есть две переменных. Если они независимы, то должно получиться облако точек в форме суть декартового произведения носителей распределений. Квадрат там какой-нибудь. А получается, скажем, эллипс. Отсюда следует зависимость, но не прямая же функциональная, правда.
Так они же здесь сосредоточенны вокруг кривой, нет? (Если эллипс разбить на 2 кривых, то можно однозначно задать ф-ю у = f(x) на каждой из них).
Если просто вопрос есть ли зависимость, то регрессия тут вообще не причем.

А что тогда в деле? Корреляция? Так в случае эллипса она равна нулю. Что имелось ввиду? Что при деле?

lenmas

Так они же здесь сосредоточенны вокруг кривой, нет? (Если эллипс разбить на 2 кривых, то можно однозначно задать ф-ю у = f(x) на каждой из них).
Они будут сосредоточены вокруг среднего. Как они могут быть сосредоточены вокруг кривой?

griz_a

Эллипс - в смысле внутренность эллипса, а не граница.
На остальные вопросы я уже ответил.
Оставить комментарий
Имя или ник:
Комментарий: