Двойной слепой метод в домашних условиях

sashok01

Возник практический вопрос, который хотелось бы разрешить в домашних условиях с соблюдением максимальной объективности. Нам с мамой захотелось сравнить сливки от двух производителей, одни условно дешёвые (Останкинские, 10%, 200 мл, 25р90коп) и условно дорогие (Простоквашино, 10%, 350 мл, 52р90коп).
Оба продукта изготовлены по ГОСТу, так что состав должен быть примерно одинаковым. Поэтому имело смысл сравнивать вкусовые качества.
Эксперимент организовали следующим образом: мама взяла шесть чайных ложек, в три из них налила сливки одной марки, в другие три - сливки другой марки, примерно случайным образом. Я не знал, куда что налито, таблицу соответствия номера ложки и марки сливок мама записала на листочке и спрятала. Я должен был оценить содержимое каждой ложки по десятибалльной системе. После этого эксперимент повторили, только теперь я был "экспериментатором", а мама - "дегустатором".
Результаты получились такие:
1) Я - "дегустатор", мама - "экспериментатор"

Номер ложки | Оценка | Марка сливок
1 |5 |Простоквашино
2 |6 |Простоквашино
3 |5 |Останкинские
4 |7 |Останкинские
5 |5 |Останкинские
6 |7 |Простоквашино

2) Я - "'экспериментатор", мама - "дегустатор"

Номер ложки | Оценка | Марка сливок
1 |10 |Простоквашино
2 |9 |Останкинские
3 |10 |Простоквашино
4 |10 |Останкинские
5 |9 |Останкинские
6 |9 |Простоквашино

Получается, что в обоих случаях сливки Простоквашино оказались суммарно на 1 балл вкуснее Останкинских.
Вопрос - как эти результаты правильно интерпретировать? Матстат уже очень забыл, вроде бы сначала нужно сформулировать нулевую гипотезу - "между сливками нет разницы", и гипотезы "Простоквашино лучше, чем Останкинские" и "Простоквашино хуже, чем Останкинские", после этого посчитать вероятности того, что верна нулевая гипотеза, а также вероятности, что верна каждая из гипотез "Простоквашино лучше" или "Останкинские лучше" при условии, что нулевая гипотеза неверна... Или ещё что-то нужно считать. Буду рад, если кто-нибудь даст гайд, как правильно это всё обсчитывать.

an242

точек слишком мало для статистической значимости различий

shale60

Матстат никогда и не знал (еле на 3 сдал в своё время, да и то на тервере выехал :) но попробую исходя из здравого смысла ответить.
Первый вопрос: три ложки взяты из разных банок или из одной?
Если из разных — то выборка чрезмерно мала, ответа адекватного точно не получим. А вот вопрос о достаточности выборки тут уже интересен.
Если из одной — то если эксперт ошибается на 2 балла при определении одинакового товара, то отклонение в 1 балл по сумме явно статистически незначимо.
Также интересно понять, как решать такие задачи, что-то вроде "Методика проведения эксперимента, обработка результатов и введение в матстат для домохозяек" :)

Rastreador

пригласите дузей/подруг и на них протестируйте. Используйте более разумную шкалу - 0 и 1.

shale60

пригласите дузей/подруг и на них протестируйте. Используйте более разумную шкалу - 0 и 1.
Тогда мы узнаем, какие сливки любит в среднем окружение ТС.
А мы хотим максимизировать вкусноту внутри семьи, эти вещи будут различаться.

Malakh

По-моему, получилось, что вы на вкус не можете отличить одни сливки от других.

sashok01

Я тоже так считаю. Различие в баллах меньше чем разброс оценок продукта. Но это всё рассуждения "на пальцах". Вопрос в том, как правильно это показать опираясь на стандартный математический аппарат для подобных экспериментов.

Rastreador


А мы хотим максимизировать вкусноту внутри семьи
нет, мы хотим:

хотелось бы разрешить в домашних условиях с соблюдением максимальной объективности.

Rastreador

Это если бы они не были скореллированы, то да. А там чёткая зависимость.

Rastreador

Стандартный мат аппарат пляшет от фонаря - при помощи него можно навести умность и псевдонаучность, но нельзя однозначно и просто ответить на твой вопрос.

sn0wsky

Доебусь. Это не двойное слепое тестирование, это два обычных слепых тестирования. Двойное слепое тестирование от обычного отличается тем, что о том, какие сливки в какой ложке, не знает ни дегустатор, ни экспериментатор.

tester1

Имхо тут есть два момента: радость от покупки и радость от потребления. Так что имхо пусть просто все покупают себе что нравится и едят что нравится. Явно суммы не так велики, чтобы заморочиваться.

sashok01

влияние экспериментатора сведено к минимуму, поскольку как он разливает сливки в произвольном порядке (можно считать псевдослучайном так и дегустатор выпивает их в произвольном порядке.

zombzone

В первом эксперименте:
для "простаквашино":
выборочное среднее = 6
Несмещенное выборочное среднеквадратичное отклонение = 1
для "останкино":
выборочное среднее = 5.67
Несмещенное выборочное среднеквадратичное отклонение = 1.15
Грубо говоря, разброс результатов в 3 или более раз превышает разницу в оценках. Очевидно, что с точки зрения дегустатора сливки неразличимы. Для получения значимого различия разброс должен быть наоборот меньше, а лучше - существенно меньше, чем разница оценок.
Во втором эксперименте картина отличается не сильно:
для "простаквашино":
выборочное среднее = 9.67
Несмещенное выборочное среднеквадратичное отклонение = 0.58
для "останкино":
выборочное среднее = 9.33
Несмещенное выборочное среднеквадратичное отклонение = 0.58
Опять же, разброс результатов почти в 2 раза больше разницы оценок => различие слишком мало, чтобы быть значимым.

Martika1

Манн-Уитни

griz_a

По текущему количеству данных, конечно, невозможно отвергнуть гипотезу о том, что сливки одинаковые. На таком маленьком количестве данных наверняка отказаться от гипотезы согласия можно только если данные так сильно разведены друг относительно друга, что визуально будет совершенно тривиально ясно, что они разные.
Даже если я сейчас зафигачу очень конкретную гипотезу (например, что обе выборки из равномерного распределения на множестве {5,6,7} то не увижу причин ее отвергать.
Математический аппарат тут работает практически никак. Для этого все-таки сначала нужно подвести статистическую базу, даже необязательно именно много сливок, а натестировать всяких разных продуктов, чтобы представить себе, а какое распределение оценок вы даете. Если оно похоже на нормальное, то тогда можно Стьюдентом пользоваться.
Пользоваться тут конкретными критериями (Стьюдента или Манна-Уитни, которые предлагают ниже) довольно дохлый номер, поскольку выборка уж очень маленькая (всего 3 оценки).

sashok01

Всем большое спасибо! Всё стало ясно

FieryRush

Не правильно в принципе жрать все сливки сразу, потому что после первой ложки вкус следующих изменится.
Еще в дешевые могут зафигачить сахарку или другого усилителя вкуса, поэтому они могут быть вкусными на языке, но херней на самом деле.

tester1

Имхо один из самых правильных коментов в треде.

avgustinka

я бы так сделал:
1. ранжируем результаты по оценке (для каждого эксперимента отдельно)
2. делим обе выборки пополам: "вкусную" и "невкусную" половины
3. сливаем вкусные и невкусные половины обоих экспериментов (это всё чтобы выборка побольше была)
4. применяем точный тест Фишера для гипотезы "простоквашино == вкусно"

avgustinka

выборка уж очень маленькая (всего 3 оценки).
а как у тебя три оценки получилось?
их же там шесть. а если шкалы отнормировать, то вообще 12.
для Фишера/Манна-Уитни должно хватить, имхо.

griz_a

) Нельзя сливать оценки обоих оценивающих - они, во-первых, зависимы, во-вторых, неодинаково распределены.
2) Тест Фишера очень слабенький, на выборке такого размера заорет "караул" только если там будет 3 невкусных против 0 вкусных у одного и наоборот у другого.
3) Данные изначально не категориальные и казалось бы проблематично приводятся к категориальному виду.
Оставить комментарий
Имя или ник:
Комментарий: