Как провести эксперимент? (над людьми)

mamishka

Дано:

  • Тысячи людей которые занимаются однообразной работой. (процесс А)
  • Существует предложение концептуально поменять работу этих людей. (процесс Б)
  • Предполагается, что с новым подходом люди будут работать быстрее и качественнее.
  • Произведён пилотный запуск процесса Б для проверки его эффектов на небольшой группе людей - 36 человек.
  • Был проведён контрольный замер эффективности работы контрольной группы по процессу А до начала обучения;
  • В данный момент проходит обучение новому процессу;
  • По окончании обучения будет один месяц для произведения замеров по контрольной группе, которые предполагается использовать для определения эффективности процесса А;;

Вопрос:

  • Как правильно произвести замеры, что бы получить картину максимально приближенную к реальности?

Варианты:

  • 1. После обучения просто измерять эффективность работы контрольной группы, по новому процессу (Б)
  • 2. После обучения полмесяца измерять эффективность работы контрольной группы, по новому процессу (Б а затем полмесяца измерять эффективность работы контрольной группы по старому процессу (А);
  • 3. После обучения поделить группу пополам и измерять эффективность работы у одних по (А) у других по (Б);
  • 4. После обучения поделить группу пополам и измерять полмесяца эффективность работы у одних по (А) у других по (Б вторую пололвину месяца всех перевести на новый процесс (Б);

Насколько я понимаю, риск неверной оценки проекта в том, что он окажется слишком эффективным из-за Хоторнского эффекта у контрольной группы; Нужно сделать правильные измерения.

mamishka


Если только хоторнский эффект хочется исключить, то почему бы не взять другую контрольную группу, ничему ее не обучать и измерить ее эффективность по старому процессу?
Новую контрольную группу взять уже нельзя. Осталось времени ровно неделя и месяц: неделя - заверешение обучения, месяц - измерения. Если брать новую группу, то нужно 6 недель, только на их обучение. В рамки проекта не влезает.
Ну и потом, если взять ещё одну контрольную группу, то для исключения Хоторнского эффекта их получается нужно обучать и уделять все то же внимание, что и первой группе.

Vlad128

Да я не заметил, что над этой группой уже провели измерения по процессу А, я же удалил сообщение :)

philnau

Поставить незаметные проги для отслеживания времени, потраченного в интернете.
Если будет выполняться та же работа, но свободного времени прибавится - значит, работа более эффективна стала.

mamishka


Поставить незаметные проги для отслеживания времени, потраченного в интернете.
Если будет выполняться та же работа, но свободного времени прибавится - значит, работа более эффективна стала.
Это грузчики - у них нет интернета. ;)

dmitry131

Думаю, что после обучения возвращаться к "А" не стоит - это даст влияние личных предпочтений на результат.
Так что п.1, а лучше п.1 и через какое-то время - опять п.1 (чтобы проверить динамику).

Mapiar

// Насколько я понимаю, риск неверной оценки проекта в том, что он окажется слишком эффективным из-за Хоторнского эффекта у контрольной группы; Нужно сделать правильные измерения.
:lol:
"А с восьми до пяти сам не пробовал?" (c)
Может, если попробовать на собственной шкуре, и идеи раньше появятся? :)

mamishka

Что толку с того, что я буду уверен, что проект эффективен или не эффективен? Нужно что бы это можно было доказать еопровержимыми аргументами.

Anna23

Стандартный процесс оценки эффективности, происходит обычно так:
1. Замеряют старый процесс A
2. Проводят пилот на котрольной группе по процессу B и замеряют процесс B.
3. Переводят процесс А на процесс В целиком, если В эффективнее.
Я так понимаю, что пункт 1 был исключен, и его хотят провести после 2 пункта.
На контрольной группе, уже прошедшей обучение процессу В, я бы не стал проводить замеры по процессу А, могут саботировать.
Лучше выделить схожую группу С, которая еще не знакома с процессом В.

n0izr

Как правильно произвести замеры, что бы получить картину максимально приближенную к реальности?
гы - тебе защититься надо или шашечки? :D

Vlad128

Я так понимаю, что пункт 1 был исключен, и его хотят провести после 2 пункта.
там написано, что замеры процесса А уже проведены, до начала обучения.

Anna23

И правда:) Ну уж как написано:)
Ну если проблема в том, чтобы получить картину максимально приближенную к реальности, нужно проводить замеры через полгода на произвольной группе.
Так как это не в скоупе, то для данного случая я бы взял новую группу С, которая работает по процессу А и сравнил с контрольной по процессу В.
Имхо, тут скорее будет недобор эффекта, так как люди еще не втянулись в новый процесс, и он в автоматические навыки еще не вписался.
Если конечно замеры, это не "стояние над душой с секундомером". С этой точки зрения, замеры лучше проводить так, чтобы о них не знали.
Оставить комментарий
Имя или ник:
Комментарий: