Оценка эффективности оценщика

dragan24

Задача:
Есть человек, оценивающий вероятность успеха некоторого события.
Есть история: предсказания человека и фактические результаты (успех/неуспех).
Требуется каким-либо образом оценить, насколько можно доверять мнению данного человека.

WYRASUK

число благоприятных исходов/общее число

traffic_speed

идея про ошибки 1-го и 2-го рода ..
Гипотеза... Проверки гипотез.. Открой учебник на этих главах

nasteniw

тут более тонко все. оценщик же тоже с какой-то вероятностью предсказывал исходы событий, упоминающихся
в истории

Trewester

мнение истинного метеоролога!

WYRASUK

я так понимаю что каждый раз он предсказывает не зависимое от предыдущих событие, кроме того его предсказания либо успешны/либо нет
оценка ni/N - самое простое и верное

nasteniw

нет. одно дело, если человек говорил всегда: "стопудово будет ДА". другое, если он говорил: "ДА будет с
вероятностью 0.6, а с вероятностью 0.4 будет НЕТ". в первом случае он серьезнее ошибается, да и вообще,
первый случай, я бы не слушал вовсе

dragan24

идея про ошибки 1-го и 2-го рода ..
Гипотеза... Проверки гипотез.. Открой учебник на этих главах
Проблема в том, что у нас не определена оцениваемая случайная величина и выборка от нее.
Что считать успешным предсказанием, а что - нет.
Кузнец вполне точно заметил, что ответа 100% эксперт не даст.
Мои соображения на интуитивном уровне.
По идее, эксперт нам нужен для уменьшения энтропии вероятностной схемы. Допустим, априори мы считаем, что успех любого события = 1/2 (энтропия максимальна). Тогда вердик эксперта "1/2" нам вообще ничего не дает.
Возможно, следует ввести "вес" предсказания: к примеру, abs(1/2 - экспертная_оценка).
А потом сделать следующее. Просуммировать все веса, где экспертная_оценка > 1/2)&&(событие_совершилось||экспертная_оценка < 1/2)&&(событие_не_свершилось и поделить на сумму всех весов.
Что-то мы получим. Но будет ли это адекватной оценкой "качества" эксперта? И как ею потом пользоваться?
В идеале, конечно, хорошо бы получить погрешность эксперта. В виде функции: эксперт сказал х, значит принимаем вероятность за f(x). Если f(x) > a, событие случится с допустимой для нас вероятностью.

traffic_speed

Есть человек, оценивающий вероятность успеха некоторого события.
Есть история: предсказания человека и фактические результаты (успех/неуспех).
Что считать успешным предсказанием, а что - нет.
упрости себе и людям процесс понимания вопроса:
приводи примеры,какими КОНКРЕТНО высказываниями эксперт оперирует
если тебе важно соответствие успех\неуспех- это одно,
если тебе важна мера близости к точному значению у данного эксперта- открой для себя нечеткую логику.

dragan24

приводи примеры,какими КОНКРЕТНО высказываниями эксперт оперирует
По каждому событию эксперт называет число от 0 до 1, которое понимается как экспертная оценка вероятности данного события.
Исходная задача.
У меня есть куча денег и желание вложить их наиболее прибыльным образом в какой-либо проект. Есть эксперт, который оценивает как-то вероятность успешности проекта. Есть система принятия решения о целесообразности инвестирования. Она учитывает потенциальную прибыль, потенциальные убытки, оценку успеха проекта экспертом, мою оценку "качества" эксперта.
Единственное неизвестное тут - "качество" эксперта.
Мне важно вложить деньги в проект и получить максимальную прибыль. Остальное не важно %)

griz_a

Никак нельзя оценить. Потому что единственный случай, когда ты можешь поймать эксперта на ошибке - если он сказал 100%, а эффекта не было или сказал 0%, а он был, при этом ты тоже не можешь сказать на сколько он ошибся. Эксперименты все разные, насколько я понимаю, а оценка вероятности, данная экспертом, дается только для того эксперимента, про который его спрашивают.
В остальных случаях его оценка могла быть совершенно точной, а могла быть и ошибочной, но этого нельзя узнать

Sanych

Можно оценить, потому что предсказание массовое. А как оценивать? Для этого нужно иметь какую-то априорную вероятность, и отклонения эксперта от неё в ту или иную сторону в случае удачи дают бонус доверия, а в случае неудачи - штраф. И тем больший, чем больше отклонение.
Математически невозможно оценить эксперта только в том случае, когда нет никакой альтернативы его предсказаниям. Потому что в этом случае непонятно, зачем. А впрочем, в качестве такой априорной оценки можно взять граничную (безразличную) вероятность "успеха", то есть такую, которая не повлияла бы на наш выбор.

griz_a

Насколько я понимаю, система неоднородная, т.е. есть грубо говоря по одному элементу из выборок с разными вероятностями успеха. А эксперт дает оценку вероятности в каждом случае. В таком случае надо иметь много априорных вероятностей Иначе я не понимаю, что ты предлагаешь.

WYRASUK

По каждому событию эксперт называет число от 0 до 1, которое понимается как экспертная оценка вероятности данного события.
как то не уловил как высказывание согласуется с условиями задачи
Задача:
Есть человек, оценивающий вероятность успеха некоторого события.
Есть история: предсказания человека и фактические результаты (успех/неуспех).
Требуется каким-либо образом оценить, насколько можно доверять мнению данного человека

из формулировки задачи следует что эксперт может либо ошибиться, либо нет, какой критерий выделения ошибки?

WYRASUK

Можно оценить, потому что предсказание массовое. А как оценивать? Для этого нужно иметь какую-то априорную вероятность, и отклонения эксперта от неё в ту или иную сторону в случае удачи дают бонус доверия, а в случае неудачи - штраф. И тем больший, чем больше отклонение.
Математически невозможно оценить эксперта только в том случае, когда нет никакой альтернативы его предсказаниям. Потому что в этом случае непонятно, зачем. А впрочем, в качестве такой априорной оценки можно взять граничную (безразличную) вероятность "успеха", то есть такую, которая не повлияла бы на наш выбор.

если так, то что мешает взять в качестве оценки эксперта стандартное отклонение предсказания эксперта от порогового уровня ошибки?

WYRASUK

если тебе важна мера близости к точному значению у данного эксперта- открой для себя нечеткую логику.
это раздел мат.логики?

griz_a

Это вариант штрафа

dragan24

из формулировки задачи следует что эксперт может либо ошибиться, либо нет, какой критерий выделения ошибки?
Откуда конкретно это следует?
Эксперт ошибется с вероятностью 1 (так как истина - единственная точка отрезка [0,1]). Он не ошибется с ненулевой вероятностью в двух случаях: дискретное распределение (не наш случай эксперт точно знает вероятность (ну тогда он оракул %.
если так, то что мешает взять в качестве оценки эксперта стандартное отклонение предсказания эксперта от порогового уровня ошибки?
Что такое "стандартное отклонение предсказания"? Среднее? средне-взвешенное?
Что такое "пороговый уровень ошибки"? То, что мы принимаем за критический уровень, влияющий на принятие решения?

griz_a

Ты не на то отвечаешь =)
Ответь нам лучше, есть ли какие-то априорные оценки в каждом случае?

dragan24

Если они есть, зачем нам тогда оценщик? %)
Предположим, есть априорные оценки, и есть оценщик.
Мы определяем "качество" оценщика по его отклонению от априорной оценки. Тогда, лучшим будет считаться тот, кто выдает в точности априорную оценку вероятности. Вывод, лучший оценщик - отсутствие оного
Я так полагаю, все что у нас есть - пороговое значение вероятности успеха. Если оценщик говорит, что вероятность успеха больше этого нашего порога, мы принимаем положительное решение. Это, конечно, в условиях идеального оценщика, который дает "достаточно хорошую" оценку вероятности %)

griz_a

Я имел ввиду априорную оценку по уже прошедшим событиям...
Скажем, после окончания события у нас получается априорная оценка вероятности.
Иначе нам просто не с чем сравнивать. Массовость сходит на нет.

griz_a

Последний абзац не понял.

dragan24

Я имел ввиду априорную оценку по уже прошедшим событиям...
Скажем, после окончания события у нас получается априорная оценка вероятности.
Иначе нам просто не с чем сравнивать. Массовость сходит на нет.
Не уверен, что правильно понял. Мы о какой вероятности говорим сейчас?
Если о вероятности успеха/неуспеха каждого отдельного события, то то, что мы получаем после наступления события должно бы называться апостериорной оценкой (а зачем она нам, если событие уже произошло?).
Если о вероятности попадания экспертом в правильное значение оценки, то где бы нам еще взять фактическую вероятность события (которая вряд ли стала более известна нам после свершения события).

dragan24

Попробую перефразировать последний абзац (и сократить) %)
У нас есть потенциальное событие A. Если мы предполагаем, что оно наступит, то совершаем некоторое действие.
А предполагаем мы, что событие наступит, если наша итоговая оценка вероятности его успеха больше некоторого t из (0,1).

griz_a

Понятно. Теперь надо понять какая связь между разными испытаниями. Я так понимаю, вероятность у них разная, она случайно распределена? Или детерминирована?
Довольно трудно понять модель, объединяющую все эти испытания, ведь эксперта практически нельзя охарактеризовать. Я понять задачу если можно считать, что есть однородные независимые классы, в которых условия и вероятность можно считать одинаковыми. Тогда по этим классам, если они достаточно крупные, можно смотреть примерное фактическое значение и сравнивать его с экспертным...
Еще один обозримый случай - если эксперт называет p+sigma*ksi, ksi - стандартная нормальная. Тогда можно, вероятно, оценить sigma.

dragan24

Все события, оцениваемые экспертом, связаны: эксперт оценивает только те события, которые в ходят в узкую область его компетенции (например, инвестиционные проекты).

dragan24

Есть такие варианты оценки эксперта:
1.
http://en.wikipedia.org/wiki/Correlation_coefficient#The_sam...
2.
1) разбить все исторические события на N классов по предсказаниям эксперта:
например, в первый класс входят все события, по которым вероятность была оценена числом в интервале (0, 0.2], во второй - (0.2, 4], ... итд., в 5-ый - (0.8, 1].
2) В каждом таком класе посчитать долю успехов из всех оцененных событий.
3) вычислить отклонение этой доли от середины интервала, соответствующего классу.
4.а) взять среднее отклонение.
или
4.б) средневзвешенное (то есть доля вклада класса в итоговую оценку пропорциональна числу экспериментов в нем).
Какие будут комментарии у кого?

Lokomotiv59

А если упростить исходную задачу - оцениваемые случайные величины одинаково распределены и независимы (пусть хотя бы эксперт оценивает выпадение орел/решка с некоторой вероятностью).
Если он предсказал вероятности p_1, ..., p_n, а случились события x_1, ..., x_n.
Какой тогда будет оценка качества эксперта ?

griz_a

Я тебе уже говорил. Если все проекты идейно одинаковые и у них только один параметр p, то можешь объединять их близкими классами, как у тебя в 2)
Только лучше возьми поправку на редкие классы, т.е. 4б
Оставить комментарий
Имя или ник:
Комментарий: