Статистическое обоснование event sampling

luherstag

Допустим, есть индикатор, цвет которого - случайный процесс. Я хочу оценить вероятность определённого цвета в случайно выбранный момент времени, т.е. грубо говоря долю времени, когда он окрашен в этот цвет. Измерять цвет дорого, поэтому берём пуассоновский процесс допустим с 1/lambda = 12 часов и в течение суток меряем цвет только когда процесс триггерится.
Допустим, он стриггерился дважды, и в первый раз цвет был фиолетовый в крапинку, а во второй раз - нет. Обозначим вероятность фиолетового в случайно выбранный момент времени за p, тогда вероятность пронаблюдать то, что мы пронаблюдали, при условии что пуассоновский процесс повел себя так, как он себя повёл, p*(1-p). Применяем метод максимального правдоподобия, получаем логичную оценку p = 0.5.
Теперь другая ситуация. Допустим, измерять цвет во второй половине суток дороже, чем в первой. Поэтому в первую половину суток мы используем пуассоновский процесс с 1/lambda = 1 час, а во вторую - с 1/lambda = 12 часов. В первую половину суток произошло 12 наблюдений, и каждый раз индикатор оказывался фиолетовым в крапинку. Во вторую половину произошло одно наблюдение, и индикатор был не фиолетовым.
Интуиция говорит, что тут тоже p = 0.5, или, в общем случае, что если в ходе эксперимента менять лямбду как угодно, а результаты наблюдений брать с весом, обратно пропорциональным значению лямбды в момент наблюдения, то получится unbiased estimate.
С другой стороны, если я пытаюсь записать это формально, то получается p^12 * (1-p и соответственно p = 12/13.
Интуиция врёт? Или в формализме не хватает какого-то дополнительного предположения, например о характере случайного процесса, управляющего цветом?

griz_a

Как индикатор-то устроен?
Как марковская цепь с непрерывным временем у которой подолгу горит один цвет? Как процесс с независимыми значениями?
Если второе, то, конечно же, никакой одной второй не будет, интуиция у вас что-то странное говорит. Там вообще ничего не зависит от того, какой пуассоновский или не пуассоновский процесс. Мы взяли 13 независимых наблюдений, в 12 из них успех.

luherstag

Я не знаю как в точности устроен. Скорее всего, значения в разные моменты времени не совсем независимы, а то бы он дико мерцал.
Марковская цепь наверное должна неплохо его описывать, но никаких предположений о состояниях и вероятностях переходов сходу сделать не могу. Кроме того, состояния запросто могут оказаться скрытыми.
Ещё возможное осложнение что вероятности переходов зависят от времени суток.
Могут ли какие-то разумные предположения спасти интуитивный вывод?
Цели восстановить точное устройство индикатора нет - хочется только оценить вероятность определённого цвета в случайный момент времени.

griz_a

хочется только оценить вероятность определённого цвета в случайный момент времени

Для этого как минимум нужно, чтобы вероятность увидеть тот или иной цвет в каждый момент была одной и той же. Для этого нужно что-то типа стационарности процесса.
То есть или процесс сам по себе стационарен, или же он просто эргодическая марковская цепь, которая ''вошла в стационарный режим''.
Или хочется именно долю времени, когда горит тот или иной цвет оценить?

luherstag

Мне нужна оценка вероятности определённого цвета в _случайный_ (а не в произвольный) момент времени. Я не понимаю чем это отличается от доли времени, когда зажжён этот цвет.
И я бы просто мерял цвет в случайные (равномерно распределённые на интересующем интервале) моменты времени, но стоимость измерения зависит от разных факторов, например от времени и может быть даже от цвета. Пуассоновский процесс из-за своей memorylessness производит впечатление непредсказуемого и неподкупного, поэтому я подумал что может быть варьируя лямбду правильным образом можно будет получить более узкий доверительный интервал за меньшие деньги.
Я в принципе допускаю, что марковость, стационарность или эргодичность могут потребоваться, но не вижу пока для чего именно. Кроме того, полной стационарности не будет (поведение индикатора может зависеть от времени суток но наверное можно сказать что при сдвиге на целое число суток совместное распределение цветов не меняется.
Вот формальное рассуждение в основе первоначального интуитивного вывода. Зафиксируем цвет индикатора как детерминированную функцию от времени. Теперь будем его мерить пуассоновским процессом, у которого лямбда может меняться (более того, ей даже не запрещено зависеть от цвета!). Утверждение, которое легко проверить: матожидание доли наблюдений, показавших фиолетовый (взвешенных как 1/lambda в соответствующие моменты) равно доле времени, когда горел фиолетовый.
Я бы в принципе на этом и остановился, но хочется не только долю оценивать, но и доверительный интервал для неё. Как это делать я не понимаю, поэтому и пытаюсь разобраться с формализацией.
(Я кстати понял почему процесс с независимыми значениями обламывает этот вывод - там множество моментов времени, когда горит фиолетовый, не особо измеримо; такие патологии можно исключить - резонно предположить, что цвет меняется конечное или счётное число раз)

griz_a

А несмещенность - это сильно приятно в данном случае?
У меня процесс каждый день заново перезапускается независимо и одинаково распределенно? :)
Я бы интересовался, скорее, состоятельностью, а для этого хорошо бы представлять, что у процесса какая-то регулярная структура, чтобы он себя вел более-менее однообразно с течением времени.
Ну а доверительные интервалы и подавно тяжело строить, не имея никакого представления о структуре происходящего.
И рассмотренный в первом посте пример хорошо показывает проблему. По сути ты считаешь, что цвет, измеренный в точках пуассоновского процесса, будет независимым и одинаково распределенным. Но это нифига не так. Пока я один раз померял цвет - все было хорошо, он в среднем показывал, как часто горит фиолетовый. А вот когда я много раз померял цвет на одной траектории, у меня все стало зависимым. Скажем, если фиолетовый просто взял с какого-то момента и зажегся, то зависимость цвета в случайные последовательные моменты сильно зависимы - как только один стал фиолетовым, так и все потом будут.

demiurg

Измерять цвет дорого, поэтому берём пуассоновский процесс допустим с 1/lambda = 12 часов и в течение суток меряем цвет только когда процесс триггерится.
Я не понимаю этого утверждения. Ты предполагаешь, что процесс который ты измеряешь, пуассоновский на каком основании? Ты ниже пишешь "мне он понравился своей неподкупностью". То есть просто потому что хочется чтоб был пуассоновский? И задача превращается в задачу "как измерить параметр пуассоновского процесса"?

griz_a

Ты о чем-то своем сейчас, совсем не о том, о чем топикстартер.
Раскладка в основе лежит разумная - измерять цвет в случайный пуассоновские моменты. При этом не делается предположения о том, что процесс пуассоновский, просто замер в случайные моменты делается по принципу - померю в точках пуассоновского потока.
Это логично, ибо пуассоновский поток это что-то типа ''последовательности равномерно распределенных величин на прямой'', в том смысле, что первые n точек пуассоновского потока распределены также как вариационный ряд равномерного распределения на промежутке от 0 до n+1 точки.

demiurg

А, понятно
Оставить комментарий
Имя или ник:
Комментарий: