Недостоверность социологических исследований

zuzaka

Недостоверность социологических исследований.
В этом треде я хотел бы изложить свой взгляд на вопрос, затронув лишь непреднамеренную недостоверность. Фальсификации я коснусь лишь вскользь и в самом конце. Поводом для этого текста послужил .
Хотел бы подчеркнуть, что я никоим образом не пытаюсь раскритиковать всю социологию и т.п. Во-первых, гуманитарные и социологические аспекты этой науки мне почти незнакомы, и я не считаю себя вправе высказываться на эту тему. Во-вторых, такие аспекты мне совершенно не интересны. Я хочу затронуть лишь ту часть социологии, которая претендует на стыковку методов практической социологии с математикой.
И еще надо оговориться, что я вовсе не отрицаю методы практической социологии и не считаю, что они неспособны давать адекватные результаты. Напротив, я полагаю, что социология вполне справляется с поставленными задачами. Я хочу лишь рассмотреть слабые места, которые могут давать погрешность, а также лазейки для целеустремленных фальсификаторов, желающих оставаться в рамках формально корректных исследований.
Все цитаты даны по единственному имеющемуся у меня в данный момент учебнику Кравченко А.И., "Социология. Общий курс". Буду считать, что там верно изложены задачи и методы социологических исследований. Если специалисты полагают, что указанный учебник лженаучен и дискредитирует социологию, прошу изложить соответствующие мнения. Я постараюсь воспользоваться другим пособием и, возможно, поменяю свое мнение.
Часть 1. Общие недостатки социологических исследований.
Под общими недостатками я подразумеваю те, которые неизбежны и не зависят от старательности и скрупулезности исследователей.
1.
выборочного обследования, или выборочного опроса, в котором ученый просит респондентов вспомнить, что они чувствовали, где были, как вели себя или что делали прежде в какое-то время. Полученные таким способом данные оторваны от реальности
Хотя познавательные возможности опроса безграничны, информация, полученная с его помощью, отражает изучаемую реальность лишь в том виде, как она преломилась в сознании респондента.
Опрос с необходимостью связан с ложной информацией. Например, человек склонен преувеличивать свои достижения и сваливать проблемы на обстоятельства или других людей. Социолог может лишь попытаться хитростью обойти эту трудность. Либо каким-то образом нивелировать такую систематическую ошибку. Как физик, могу заявить, что избавление от систематических ошибок - дело в общем случае практически неосуществимое. Если не веришь, я постараюсь найти соответствующие ссылки в метрологических пособиях.
Приведу пример.
Анкетирование бывает также очным и заочным. Наиболее распространенные формы последнего: почтовый опрос, опрос через газету.
Данные, полученные через газетный или почтовый опрос, характеризуются одним общим свойством: большинство потенциальных респондентов не будет тратить время на такие опросы, и полученные данные обязательно будут относиться только к респондентам:
а) с определенным характером;
б) обладающим свободным временем.
Также (совсем очевидное утверждение) узкий выбор психологических типов респондентов определяется конкретной газетой.
Такая систематическая ошибка, несомненно, известна всем социологам, но я уверен, что качественных методов постпроцессорного устранения этой ошибки нет. Если я заблуждаюсь, опиши, пожалуйста, такие методы.
2.
В специализированных опросах главный источник информации – компетентные лица (знатоки, эксперты обладающие необходимыми для исследователя профессиональными и теоретическими знаниями либо жизненным опытом, которые позволяют им давать авторитетные заключения. Называют такие опросы экспертными.
Здесь, полагаю, комментарии излишни. Недостатки экспертных опросов, а именно, невозможность дать даже приблизительную оценку валидности утверждений экспертов, несомненны.
3.
Специалисты считают, что психологическая основа ответа на закрытый вопрос существенно иная, чем при ответе на открытый вопрос. Соответственно не совпадает и содержание полученной информации. Формулируя ответ на открытый вопрос, респондент руководствуется только собственными представлениями. Следовательно, такой ответ будет более индивидуализирован и даст более подробную и разнообразную информацию о структуре представлений респондентов. Поэтому открытый вопрос является незаменимым инструментом, если познавательная задача – получение данных о структуре представлений опрашиваемых по изучаемой проблеме, об особенностях словарного запаса их языка, о круге ассоциаций в связи с предметом опроса, о вербальных навыках, связанных со способностью формулировать свое мнение и аргументировать его.
Выбор вопроса является либо задачей экспериментатора, либо задачей респондента. В любом хоть каплю творческом вопросе (например, о приверженности политическим взглядам в первом случае налицо навязывание социологом своего некомпетентного мнения за счет ограниченного числа вариантов. Мнение социолога некомпетентно, потому что в противном случае не было бы смысла проводить опрос: достаточно было бы опубликования этого самого мнения.
Во втором случае, если вопрос открытый, социолог сталкивается с большой выборкой субъективных ответов на субъективные произвольные вопросы. Эти ответы автоматически иррелевантны опросу. Точнее, некомпетентно-субъективно релевантны. И тут возникают две трудности. Первая: социолог имплицитно пользуется необоснованной гипотезой, будто эти ответы в среднем дают действительное среднее значение исследуемой величины. Или любой другой гипотезой, касающейся распределения ответов на открытые вопросы – в любом случае, такая гипотеза не обоснована, а принята исследователем интуитивно. Вторая проблема связана с самим измерением среднего.
Впрочем, проблема усреднения касается далеко не только открытых вопросов. Простейший пример: когда исследователь принимает решение использовать матожидание, а когда медиану? Есть ли четкие критерии или опять основываетесь на интуиции? Или даже на привычке? В тех редких случаях, когда четкие критерии есть, можешь ли ты дать математическое обоснование этих критериев?
На самом деле, естественно, все еще гораздо сложнее. Выбор между медианой и матожиданием является лишь очень грубым приближением простейшей методологической задачи по отысканию корректного значения среднего по совокупности. И даже этому выбору не уделяется внимания.
К сожалению, пособие по матстатистике для социологов (книжка советского издания, годов этак 70-80-х. Думаю, ее материал не сильно отличается от материала современных или западных учебников) – к сожалению, это пособие у меня не под рукой. На память я не смогу воспроизвести критические комментарии. Ограничусь тем, что скажу: при прочтении этого пособия года четыре назад я обнаружил большое количество математически нестрого обоснованных утверждений, что, конечно, уменьшает значение и без того не вполне методологически обоснованного математического аппарата социологии.
4.Ну, и еще цитата.
Мы рассуждали теоретически, пользуясь своим жизненным опытом, здравым смыслом.
В этой цитате речь идет о концептуализации.
Естественно, и здесь почти вся работа ложится на интуицию. Нет никаких четких алгоритмов, не говоря уже об их обосновании, позволяющих осуществить концептуализацию.
Думаю, достаточно для общих проблем. Повторю, что описанные сложности касаются метода социологии как такового, они неустранимы и не имеют отношения к халатности исследователей.
Часть 2. Проблемы, связанные с реальными нарушениями корректных правил.
Теперь перейду к халатности. Ссылки буду делать на тот же учебник, воспринимая их как некоторую правдивую данность.
Итак, какие нарушения социологических методов я встречал в реальных опросах.
1.
Никто в мире не изобрел более совершенного способа соединить несоединимое, огонь и воду, лед и пламень. Это маленькое чудо научного познания совершает математическая статистика. Правда, она требует за это дорогую цену – совершенное владение методикой и техникой социологического исследования, все тонкости которых можно познать только за долгие годы непрерывной работы.
Данные соцопросов регулярно обрабатываются людьми, не владеющих соответствующими методикой и техникой и не набравшие необходимого опыта. Например, социологами-второкурсниками. Или даже психологами-первокурсниками. Отмечу, что среди таких исследований с некомпетентной обработкой был и совершенно официальный опрос – перепись населения несколько лет назад.
2.
Закрытые легче обрабатывать на компьютере, но они требуют от социологов исчерпывающего знания предмета
Тем не менее, очень часто социологи не имеют требуемого исчерпывающего знания предмета. Приведу пример. Закрытые опросы о сфере деятельности часто не включают мою предыдущую специальность.
3.Приведу пример из учебника.
Хватает ли Вам времени? (Хватает, Не хватает, Когда как):
На учебу
На общественную работу
На отдых и развлечения
На занятия физкультурой
Казалось бы, все учтено. По крайней мере, так считал автор опроса, и с ним согласны преподаватели социологии. Этот пример приведен в нескольких учебниках. На самом деле, я не смогу ответить на вопрос про общественную работу. Потому что все три варианта ответа предполагают, что я занимался бы общественной работой, имей я неограниченное время. Это не так. Я не могу сказать, хватает ли мне времени на общественную работу, поскольку я бы не стал ею заниматься, даже обладай я любым количеством времени.
Связанная с этим проблема. Обычно социологи предполагают, что тест проходят все испытуемые. Если отказы и учитываются, то рассматриваются материальные причины ("боится, что его сдадут в милицию"). Однако я, скажем, не буду сдавать анкету, содержащую заметное количество вопросов, на которые затрудняюсь ответить. Естественно, такие отказы, как у меня, дают не случайную, а систематическую ошибку. Тем не менее, исследователи либо игнорируют отказы, либо, по меньшей мере, не уделяют внимания психологическим факторам отказов.
4. Другая связанная проблема. Вы считаете, что внесение варианта "иное, расшифровать" даст именно иное. На самом деле, некоторые респонденты (я, например поленившись дать расшифровку, предпочитают выбрать один из фиксированных ответов, даже если он к ним не относится.
5.
Если же предмет опроса им мало знаком или непривычен, сложен для анализа, то респонденты уклоняются от ответов: либо дают неопределенный ответ, либо отвечают не по существу. В этом случае, применяя открытый вопрос, исследователь рискует совсем не получить содержательной информации и сможет лишь выяснить, что по данному вопросу совокупность опрошенных не имеет сформировавшегося мнения.
Несмотря на столь здравую рекомендацию, интервьюеры и анкетеры часто задают именно подобные сложные вопросы. Примеры, думаю, излишни: каждый вспомнит множество подтверждений.
6.
Вопросы-фильтры – относятся к классу неосновных вопросов социологической анкеты, поскольку в их задачу входит не выяснение содержания изучаемого социального явления, а установление основного адресата вопроса. Необходимость в них возникает тогда, когда исследователю нужно получить данные, характеризующие не всю совокупность опрашиваемых, а только некоторую ее часть. Для того чтобы отделить интересующую исследователя часть респондентов от всех других, и задаются вопросы-фильтры.
Хороший совет, не правда ли? Так почему же ему сплошь и рядом не следуют?
7.
Не вызовет ли вопрос отрицательных эмоций у опрашиваемого (опасения за последствия опроса, неприятные ассоциации, печальные воспоминания и другие негативные эмоциональные состояния, нарушающие психологический комфорт ситуации опроса).
Пример из жизни: опрос выпускников в закрытом помещении в здании факультета. Вопросы:
а) ваш уровень доходов?
б) если вы идете в аспирантуру, собираетесь ли вы в дальнейшем защищаться и работать по специальности?
Как ты считаешь, можно ли назвать такие вопросы "не вызывающими отрицательных эмоций"? Не говоря уже о том, что ответ на эти вопросы будет заведомо ложным, возникает сомнение в честности ответов на последующие вопросы.
8.
Нет ли логического несоответствия между смыслом формулировки вопроса и шкалой измерения.
Здесь сразу два примера. Во-первых, шкалы доходов обычно делают линейными. Очевидно, это некорректно. Конечно, подобные шкалы должны быть компандированы. К сожалению, не видел ни одной разумной шкалы. Еще большее недоумение вызывают линейные шкалы количества сертификатов, числа знакомых и т.д. – конечно, такое случается реже.
Во-вторых, в некоторых случаях имхо целесообразно выкидывать нейтральную оценку. Например, с моей точки зрения, среди возможных ответов на вопрос "как вы относитесь к ограничению рабочей иммиграции в Москву" следует исключать вариант "затрудняюсь ответить". Почти никто не затрудняется ответить на этот вопрос, если идет разговор за кружкой пива. Никто не затрудняется с ответом на этот вопрос, когда поддерживает или критикует политика. Логично, что ответ "затрудняюсь ответить" является заведомо ложным. Пример удачного опроса подобного рода, как мне кажется, находится на известном сайте "Политический компас". Ответы делятся на "согласен", "всецело согласен", "против", "категорически против". Отсутствие нейтрального варианта представляется очень разумным.
9.-12.
Нет ли влияния предшествующих вопросов на последующие.
Нет ли скоплений однотипных вопросов, вызывающих ощущение монотонности и утомления у респондента.
Нет ли нарушений в верстке и графическом оформлении анкеты (перенос части вопроса на другую страницу; неразлинованные таблицы; "слепой" текст анкеты; недостаточное место для ответов на открытые вопросы и т.п.).
Вопросы в анкете формулируются максимально конкретно и точно. Нельзя допускать неясностей и двусмысленности.
Во многих реальных опросах мы встречаем нарушение каждого из этих пунктов.
13.
Окончательный вердикт качеству всей анкеты выносит пилотажное (пробное) исследование. Оно вскрывает все недочеты анкеты и особенно в составлении вопросов. Один из верных показателей непригодности вопроса – большая доля не ответивших или затруднившихся ответить на него. Значение данного показателя интерпретируется в зависимости от познавательной задачи вопроса. Если изучается распространенное явление, о котором должны знать все или подавляющее большинство людей, а доля затруднившихся ответить высока, то это свидетельство методической погрешности в составлении вопроса. А если измеряется информированность опрашиваемых о достаточно редком явлении и доля не ответивших или затруднившихся ответить высока, то вполне можно заключить, что вопрос соответствует поставленной задаче.
Во-первых, пилотажное исследование проводится далеко не всегда. Во-вторых, на практике оно, если и выполняется, то проводится с серьезными нарушениями репрезентативности выборки.
Часть 3. Возвращаясь к данным Госкомстата и центра Левады.
Я не знаю, какими критериями пользуются упомянутые центры при контроле репрезентативности выборки. Сошлюсь на соответствующие данные для института Гэллапа и ВЦИОМа.
В опросах института Дж. Гэллапа репрезентативность контролируется по имеющимся в национальных переписях данным о распределении населения по полу, возрасту, образованию, доходу, профессии, расовой принадлежности, месту проживания, величине населенного пункта. Всероссийский центр изучения общественного мнения (ВЦИОМ) использует для подобных целей такие показатели, как пол, возраст, образование, тип поселения, семейное положение, сфера занятости, должностной статус респондента, которые заимствуются в Государственном комитете по статистике РФ. В том и другом случае известна генеральная совокупность. Ошибку выборки невозможно установить, если не известны значения переменной в выборочной и генеральной совокупностях.
Будем считать, что центр Левады и Госкомстат пользуются аналогичными критериями.
При оценке благосостояния населения, очевидно, нельзя оценивать репрезентативность выборки по доходу, потому что сам этот доход является исследуемой величиной.
Все остальные критерии вполне индифферентны моему примеру (провести опрос на выходе Крокус-Сити-Молла или казино и провести опрос рядом с пунктом приема стеклотары или собеса). Единственных критерий, релевантный доходу и явно нарушаемый на моих примерах – должностной статус. Так вот, при оценке доходов невозможно получить честные данные по этому пункту. Потому что директор банка, сообщив, что он директор банка, откажется назвать свой доход. Единственное, что возможно сделать в данной ситуации – опросить сначала сто респондентов на предмет должностного статуса, а затем, убедившись в репрезентативности выборки, провести повторное исследование – уже касательно доходов – с новой выборкой.
И вот тут очевидная лазейка для формально честных, но реально фальсифицированных исследований. Допустим, собес и казино находятся в одном доме. Днем не работает казино, а ночью собес. Центр Левады проводил контроль выборки ночью, а опрос о доходах днем, а Госкомстат наоборот. Места проведения опросов совпадают, выборки откалиброваны формально верным образом. Данные, конечно, разнятся.
Жду ваших комментариев.
_______________________________________
Вы знаете, теперь принято интервьюировать каждого, кто добился известности.
— Вот как, в первый раз слышу. Это, должно быть, очень интересно. И чем же вы действуете?
— Ну, знаете... В некоторых случаях следовало бы действовать дубиной, но обыкновенно интервьюер задает человеку вопросы, а тот отвечает. Теперь это как раз в большой моде.
М. Твен

Paramon1

ниасилил. Возможно не по теме, но, имхо, многие "соц.исследования", если не сказать большинство, проводятся в неких временно снятых помещениях, премущественно подвалах, с привлечением студентов младших курсов разных ВУЗов, занимающихся за некие деньги заполнением анкет. За анкету n-ое кол-во денег. В оставшихся случаях, если имеет место, действительно "интервьюрование"(надеюсь не ошибся то "интревьюверы" с хорошим процентом халтурят. Самовольно заполняют часть анкет.
Из практики моих прошлых занятий.

730097993416

По большому счету ты прав, что касается недостоверности и сомнительности соц. опросов.
То есть я далеко не во всех моментах согласен с твоими аргументами, но что касается общих выводов - несомненно.
Твои цитаты из Кравченко, особенно в части мат. статистики, убедительно демонстрируют насколько это дурацкий учебник. Если тебе действительно интересна методология - лучший отечественный учебник по моему убеждению - Г.С. Батыгин "Лекции по методологии социологических исследований". (Его еще и интересно читать - рекомендую )
Однако эти цитаты хорошо демонстрируют чрезвычайно распространенную среди социологов болезнь: завороженность цифрой. Я знал только одного социолога, который умел эффективно "лечить" от этого недуга - Александра Крыштановского, но он недавно умер.
Кроме того, что большинство соц. опросов некачественно изготовлены, или ангажированы в самой постановке, они сомнительны еще и с теоретической точки зрения (подчеркиваю - именно с точки зрения теоретической социологии). Но это уже совсем другая история.

PETERPETER

> Жду ваших комментариев.
Букв много, а тема "причём тут математика" совершенно не раскрыта.

Всё понятно, конечно. И про то, что обеспечить репрезентативность на практике не реально, и что участвовать в опросах будут не все, а только люди определённого склада ума, причём зависит это не только от формы опроса, но и от тематики опроса и от конкретного опрашивающего. Причём факторов, влияющих на данные, может быть так много, что понять, что из них сильнее повлияло может быть нереально, особенно при учёте того, что проводить анкетирование и интерпретировать результаты будут разные люди. Ну об этом надо спорить с теми, кто защищает истинность полученных с помощью опросов цифр, imho здесь всё от конкретной ситуации зависит.
Выбор вопроса является либо задачей экспериментатора, либо задачей респондента. В любом хоть каплю творческом вопросе (например, о приверженности политическим взглядам в первом случае налицо навязывание социологом своего некомпетентного мнения за счет ограниченного числа вариантов. Мнение социолога некомпетентно, потому что в противном случае не было бы смысла проводить опрос: достаточно было бы опубликования этого самого мнения.
Не согласен. Социолог выдвигает некоторую гипотезу, на основе этой гипотезы составляет вопросы и делает замер. Далее его задача состоит в том, чтобы проанализировав ответы в том числе и понять, насколько корректно были составлены вопросы, как их интерпретировать, возможно их нужно оценивать иначе, чем он предполагал и т.п.
а) ваш уровень доходов?
б) если вы идете в аспирантуру, собираетесь ли вы в дальнейшем защищаться и работать по специальности?

У нас такой опрос тоже проводили (только там скорее про ожидания доходов и т.п. но он был анонимен. Если опрос письменный, анонимный и при этом выборка контролируется (известно, что отвечающие - с одного курса то такой опрос может быть весьма точным. Хотя в том опросе, который был у нас (на мм был просто пункт о желаемых доходах. При этот не было сказано, доходы на первое время подразумеваются, или в перспективе, при каких условиях и т.п., между тем как такие факторы очень сильно влияют на ответ.
Никто не затрудняется с ответом на этот вопрос, когда поддерживает или критикует политика. Логично, что ответ "затрудняюсь ответить" является заведомо ложным. Пример удачного опроса подобного рода, как мне кажется, находится на известном сайте "Политический компас". Ответы делятся на "согласен", "всецело согласен", "против", "категорически против". Отсутствие нейтрального варианта представляется очень разумным.

Категорически не согласен. Из твоих слов следует, что всегда есть выраженность мнения, и оно всегда одномерно. Допустим с политиком: подразумевается, что я хорошо знаю, что это за политик, и мнение о нём у меня однозначно. Между тем, я могу про кого-то практически не иметь мнения вообще (то есть я знаю, кто это, но не более того либо мнение о нём у меня может быть очень противоречивым, то есть по одним вопросам я его поддерживаю, а по другим - нет.

zuzaka

спасибо за ответы

agroprom

в основном согласна
соц. опросы и соц. исследования в целом призваны подтвердить точку зрения того, кто их оплачивает (или проводит)
и для этого есть 2 возможности:
1. формулировка вопросов
2. метод формирования "репрезентативной" выборки
методы мат. статистики и квалификация тех, кто обрабатывает собранную информацию - это уже не так важно

spiritmc

> Букв много, а тема "причём тут математика" совершенно не раскрыта.
При том, что полностью отсутствует физика.

> И про то, что обеспечить репрезентативность на практике не реально,
Если это так, то социология наукой быть вряд ли сможет.
По крайней мере, в той части, которая касается опросов и связанными вопросами.
> и что участвовать в опросах будут не все, а только люди определённого склада ума,
Против этого можно бороться, но так не делают.
> Причём факторов, влияющих на данные, может быть так много,
> что понять, что из них сильнее повлияло может быть нереально,
?
Многофакторный анализ прекратил своё существование?
Когда произошло это великое закрытие?
> особенно при учёте того, что проводить анкетирование и интерпретировать результаты будут разные люди.
Объединение выборок тоже не вчера открыто.
>> Выбор вопроса является либо задачей экспериментатора, либо задачей респондента.
>> В любом хоть каплю творческом вопросе (например, о приверженности политическим взглядам
>> в первом случае налицо навязывание социологом своего некомпетентного мнения
>> за счет ограниченного числа вариантов.
>> Мнение социолога некомпетентно, потому что в противном случае не было бы смысла проводить опрос: достаточно было бы опубликования этого самого мнения.
(Здесь я сделаю небольшую вставку относящуюся к Каиафе, ибо так удобнее.)
Социолог может взаимодействовать с другими исследователями,
обладающими экспертным мнением.
Если (то, что) этого не делается, другой вопрос.
> Не согласен. Социолог выдвигает некоторую гипотезу,
> на основе этой гипотезы составляет вопросы и делает замер.
Замер должен проводиться так, чтобы он действительно относился к проверке предположения.
При некотором умении можно составить выборку так,
чтобы показать, что все нечётные числа простые.
Ну, или добавить несколько составных, чтобы привнести "естественный шум".
> Далее его задача состоит в том, чтобы проанализировав ответы в том числе и понять,
> насколько корректно были составлены вопросы,
> как их интерпретировать, возможно их нужно оценивать иначе, чем он предполагал и т.п.
Я всегда считал, что задача состоит в исследовании действительной картины мира, а не в "интерпретации".
Толкуют священные писания,
> Если опрос письменный, анонимный и при этом выборка контролируется
> (известно, что отвечающие - с одного курса то такой опрос может быть весьма точным.
И полученные данные можно экстраполировать?
На кого/что?
Всё дело именно в том, чтобы получить более или менее внятную экстраполяцию,
иначе зачем все рассуждения про выборки?
>> Никто не затрудняется с ответом на этот вопрос,
>> когда поддерживает или критикует политика.
>> Логично, что ответ "затрудняюсь ответить" является заведомо ложным.
>> Пример удачного опроса подобного рода, как мне кажется,
>> находится на известном сайте "Политический компас".
>> Ответы делятся на "согласен", "всецело согласен", "против", "категорически против".
>> Отсутствие нейтрального варианта представляется очень разумным.
> Категорически не согласен.
> Из твоих слов следует, что всегда есть выраженность мнения, и оно всегда одномерно.
Нет, не следует.
Отыщи этот тест, он легко должен быть доступен.
> Допустим с политиком: подразумевается, что я хорошо знаю,
> что это за политик, и мнение о нём у меня однозначно.
> Между тем, я могу про кого-то практически не иметь мнения вообще
> (то есть я знаю, кто это, но не более того либо мнение о нём
> у меня может быть очень противоречивым,
> то есть по одним вопросам я его поддерживаю, а по другим - нет.
Спрашивают не про политика, а про отношение к политическим вопросам.
---
...Я работаю антинаучным аферистом...

wingless

зачастую соц. исследования, а конкретно те, которые проводятся по телефону ориентированы на агитацию и рекламу, то есть они не заданы целью выявить общественное мнение

spiritmc

>> Фальсификации я коснусь лишь вскользь и в самом конце.
А то, про что говоришь ты, это даже не фальсификация исследований.
---
...Я работаю антинаучным аферистом...

PETERPETER

>> И про то, что обеспечить репрезентативность на практике не реально,
> Если это так, то социология наукой быть вряд ли сможет.
> По крайней мере, в той части, которая касается опросов и связанными вопросами.
Ну вообще говоря, социология это не опросы, это не что-то, что изучает общественное мнение, это скорее наука об изучении различных отношений в обществе. Опросы - лишь один из инструментов, причём не единственный и не самый важный. Кроме того, так ли уж страшно, что не будет репрезентативности? Это ещё не значит, что нельзя получить цифры, с которыми можно работать.
>> Причём факторов, влияющих на данные, может быть так много,
>> что понять, что из них сильнее повлияло может быть нереально,
> Многофакторный анализ прекратил своё существование?
> Когда произошло это великое закрытие?
Как ты себе это представляешь, когда есть много неформальных факторов, и когда работа идёт с явлениями, на которых меру фактически ввести нельзя? Ты проводишь опрос, но в зависимости от того, в какое время ты проводишь опрос, что произошло в том день (например, показали по телевизору какую-то передачу кто опрашивает (молодой/старый и т.п., весёлый/угрюмый) - всё это практически не формализуется, в то время как на результат влияет.
>> Не согласен. Социолог выдвигает некоторую гипотезу,
>> на основе этой гипотезы составляет вопросы и делает замер.
> Замер должен проводиться так, чтобы он действительно относился к проверке предположения.
Это не так просто, задать вопрос так, чтобы большинство его правильно поняло, и поняло одинаково. Как минимум, нужно очень хорошо понимать, что из себя представляет общественное восприятие конкретной темы, иметь опыт сложных опросов именно по этой теме, чтобы суметь учесть нюансы. Ты не можешь проанализировать каждого опрошенного, не можешь понять, как он воспринял твой вопрос, только косвенно как-то.
> Я всегда считал, что задача состоит в исследовании действительной картины мира, а не в "интерпретации".
А, по большому счёту, нафиг это нужно? Что тебе дадут формальные цифры, пусть даже точные? Нужно понять мотивацию, примерно какое распределение по обществу есть, как будет дальше развиваться ситуация, какие факторы будут влиять, какие не будут. Цифры - не главное.
>> Если опрос письменный, анонимный и при этом выборка контролируется
>> (известно, что отвечающие - с одного курса то такой опрос может быть весьма точным.
> И полученные данные можно экстраполировать?
> Всё дело именно в том, чтобы получить более или менее внятную экстраполяцию,
> иначе зачем все рассуждения про выборки?
Не всегда нужно экстраполировать, тебе нужно понять, что происходит и чего люди ждут каким-нибудь доступным образом. Подобные опросы хороши тем, что они дёшевы, и если их правильно составить, можно получить довольно точную картину среди опрошенных. Тем самым ты можешь просто больше опросить людей, и лучше понимать картину в целом (здесь - ожидания по работе/будущему среди выпускников высокоранговых ВУЗов).
>> Категорически не согласен.
>> Из твоих слов следует, что всегда есть выраженность мнения, и оно всегда одномерно.
> Нет, не следует.
> Отыщи этот тест, он легко должен быть доступен.
Конкретный тест оказался англоязычным, http://www.politicalcompass.org/, проходить было лень. Далеко не на все вопросы я могу ответить, на многие ответ будет "в зависимости от ситуации", например.

zuzaka

> Ну вообще говоря, социология это не опросы, это не что-то, что изучает общественное мнение, это скорее наука об изучении различных отношений в обществе. Опросы - лишь один из инструментов, причём не единственный и не самый важный.
Я и не утверждал, что социология это опросы. Я даже не утверждал, что социология - это практические исследования. Тем не менее, я обсуждал именно их, о чем сразу сообщил в посте. И неспроста: именно этот инструмент используется как при экзит-поллах, так и при оценке доходов населения (см. тред, послуживший причиной моего текста).
> Кроме того, так ли уж страшно, что не будет репрезентативности? Это ещё не значит, что нельзя получить цифры, с которыми можно работать.
Не значит. Но в пособиях сказано, что репрезентативность - главное основание того, что с полученными цифрами можно работать. Я не настаиваю, гуманитариям виднее. Если ты видишь другие основания - назови их.
> Это не так просто, задать вопрос так, чтобы большинство его правильно поняло, и поняло одинаково. Как минимум, нужно очень хорошо понимать, что из себя представляет общественное восприятие конкретной темы, иметь опыт сложных опросов именно по этой теме, чтобы суметь учесть нюансы. Ты не можешь проанализировать каждого опрошенного, не можешь понять, как он воспринял твой вопрос, только косвенно как-то.
Вот именно об этом я и говорил.
> Далеко не на все вопросы я могу ответить, на многие ответ будет "в зависимости от ситуации", например.
Эта трудность, во-первых, касается абсолютно любого вопроса, включая вопрос "назовите ваш возраст". Во-вторых, она очень легко устраняется примечанием "в данный момент".

spiritmc

>>> И про то, что обеспечить репрезентативность на практике не реально,
>> Если это так, то социология наукой быть вряд ли сможет.
> Кроме того, так ли уж страшно, что не будет репрезентативности?
> Это ещё не значит, что нельзя получить цифры, с которыми можно работать.
Работать можно, но соответствие действительности сомнительно.
Со всеми вытекающими последствиями.
>>> Причём факторов, влияющих на данные, может быть так много,
>>> что понять, что из них сильнее повлияло может быть нереально,
>> Многофакторный анализ прекратил своё существование?
>> Когда произошло это великое закрытие?
> Как ты себе это представляешь, когда есть много неформальных факторов,
> и когда работа идёт с явлениями, на которых меру фактически ввести нельзя?
Есть методы учёта и неформальных факторов.
Я не вдавался в подробности, но методы есть.
Конечно, чем-то пренебрегать всё равно придётся,
но принято, что исследователь пишет о том,
какие допущения он сделал, что отбросил и т.п.
В физической химии за невыполнение этого могут съесть.
Могут, конечно, и не съесть, но не без последствий.
> Ты проводишь опрос, но в зависимости от того,
> в какое время ты проводишь опрос, что произошло в том день
Когда возникают сомнения, данные перепроверяют.
Кроме того, можно устранить некоторые следствия,
или даже извлечь из всего этого дополнительные сведения.
>>> Не согласен. Социолог выдвигает некоторую гипотезу,
>>> на основе этой гипотезы составляет вопросы и делает замер.
>> Замер должен проводиться так, чтобы он действительно относился к проверке предположения.
> Это не так просто,
Если бы это было просто, то не называлось бы наукой.
Мы почти обо всём судим по косвенным данным,
однако мосты, в подавляющем большинстве своём, не падают
и двигатели просто так не взрываются.
>> Я всегда считал, что задача состоит в исследовании действительной картины мира, а не в "интерпретации".
> А, по большому счёту, нафиг это нужно?
> Что тебе дадут формальные цифры, пусть даже точные?
Исходно утверждение так и сделано: к итогам соц. исследований относятся как к отражению действительности,
но на деле цифры формальные.
Этот твой вопрос совершенно не относится к обсуждению.
> Цифры - не главное.
"Всё определяется мерой, числом и весом."
Фон Гогенгейм.
>>> Если опрос письменный, анонимный и при этом выборка контролируется
>>> (известно, что отвечающие - с одного курса то такой опрос может быть весьма точным.
>> И полученные данные можно экстраполировать?
>> Всё дело именно в том, чтобы получить более или менее внятную экстраполяцию,
>> иначе зачем все рассуждения про выборки?
> Не всегда нужно экстраполировать,
?
> тебе нужно понять, что происходит и чего люди ждут
> каким-нибудь доступным образом.
Какие люди?
Опрошенные?
Они и так сказали, чего они ждут.
> Тем самым ты можешь просто больше опросить людей,
> и лучше понимать картину в целом
Что даёт тебе право утверждать, что цифры не будут совершенно другими?
> Конкретный тест оказался англоязычным,
Это мешает?
> на многие ответ будет "в зависимости от ситуации", например.
Там нет таких вопросов.
По крайней мере, я не помню, чтобы они были.
---
...Я работаю антинаучным аферистом...

disepa

Прочитал поперек.
Такое можно сказать про все исследования,
встречал не только в социологии, но и медицине,
в частности, подгонка данных, замена средним (хотя если правильно делать,
то это нормально) и т.д.
Поэтому и должно быть четкое описание исследования,
типа опрашивались те-то при таких-то уссловиях, в
такой-то больнице и т.д. По нему и становится понятно,
что делалось, корректны ли результаты везде или только в некоторых
случаях.
Также встречается неправильное использование стат. методов
(совсем бездумно, даже в инете можно встретить, что примерно в 80%
исследований в медицине (тут про дисеры) не правильно применялись некоторые методы).
Но понять их можно, провести достаточно полный и правильный опрос (измерения) достаточно
сложно и дорого, поэтому поступают попроще. Но и из таких данных можно получить результаты, если
есть голова на плечах.

PETERPETER

> Кроме того, так ли уж страшно, что не будет репрезентативности? Это ещё не значит, что нельзя получить цифры, с которыми можно работать.
Не значит. Но в пособиях сказано, что репрезентативность - главное основание того, что с полученными цифрами можно работать. Я не настаиваю, гуманитариям виднее. Если ты видишь другие основания - назови их.
Главное, чтобы опросы более-менее покрывали целевую группу, и чтобы выборка в различных опросах была более-менее постоянной. Главное ведь не получить абсолютные цифры, главное - либо установить динамику во времени, либо сравнивать различные опросы, либо хотя бы примерно представлять картину.
Например: допустим, мы проводим опрос по политическим симпатиям, выборка проводится по принципу "по 100 стариков, средний и молодых, которые согласятся отвечать на вопросы, выловленный в будний день в центре". Мы получаем какие-то цифры, которые реальность отражают, но со смещение каким-то. Сравнивая распределения цифр во времени, можно понять про эффективность избирательной кампании, например, хотя точно спрогнозировать итого голосования врят ли возможно. Но имея более-менее одинаковый принцип выборки, и зная старые итоги голосований, можно уже пытаться спрогнозировать итоги будущих голосований, внеся в данные опросов соответствующие поправки. Таким образом ты получаешь механизм, как на практике использовать результаты, не смотря на то, что выборка была сделана некорректно (слои населения неправильно учтены, не все хотят отвечать, кто-то врёт и т.п.). Естественно, ключевой фактор здесь - одинаковый принцип выборки (что обеспечить тоже очень сложно).
> Далеко не на все вопросы я могу ответить, на многие ответ будет "в зависимости от ситуации", например.
Эта трудность, во-первых, касается абсолютно любого вопроса, включая вопрос "назовите ваш возраст". Во-вторых, она очень легко устраняется примечанием "в данный момент".
В таком одномерном случае - да. В более сложных случаях возмножно потребуется оговаривать слишком много разных условий. Так, если позиция какого-то политика по одним вопросам меня устраивает, а по другим - совершенно не устраивает, то как определиться с отношением к политику? Максимум, я могу сравнить его с другими, и сказать, кто меня больше устраивает.

spiritmc

> Мы получаем какие-то цифры, которые реальность отражают, но со смещение каким-то.
Напомнить анекдот про гробовщиков, которые обещают переход на работу в две смены?
---
...Я работаю антинаучным аферистом...

PETERPETER

>> Цифры - не главное.
> "Всё определяется мерой, числом и весом."
> Фон Гогенгейм.
Вот в этом и проблема, что ты пытаешься переносить механизмы из одной области, например из физической химии, в другую, такую как социология. Между тем, не везде можно произвести более-менее достоверный численный замер, не всё можно измерить, хотя работать с такими величинами нужно. Можно ли сказать, например, что какой-то человек удовлетворён чем-то на 30% больше, чем другой? Или, хотя бы, что он просто больше удовлетворён, чем другой? Человека нельзя разложить в пространство от каких-то координат, ни в метрическое, ни в топологическое, по крайней мере никто не знает, как это делать. А так как ты не знаешь, как это делать, что и исследовать ты можешь что-то только наугад, надеясь что твои способы исследований не сводятся на нет неучтёнными ошибками. Ты можешь предложить, как измерить у конкретного человека какую-нибудь величину, отличную от физиологических?
>> тебе нужно понять, что происходит и чего люди ждут
>> каким-нибудь доступным образом.
> Какие люди?
> Опрошенные?
> Они и так сказали, чего они ждут.
А тебе что нужно? Только ведь нужно ещё правильно спросить, чтобы тебя правильно поняли, захотели отвечать честно, и отвечали бы именно на тот вопрос, который ты задал. А далее, если ты можешь потянуть полный опрос - то тем лучше, если не можешь полный - то придётся думать, как правильно интерполировать.
>> на многие ответ будет "в зависимости от ситуации", например.
> Там нет таких вопросов.
> По крайней мере, я не помню, чтобы они были.
Утверждение "враг твоего врага - твой друг"? Вот, в зависимости от ситуации. Но это не самое сложное утверждение.

spiritmc

>>> Цифры - не главное.
>> "Всё определяется мерой, числом и весом."
>> Фон Гогенгейм.
> Вот в этом и проблема, что ты пытаешься переносить механизмы
> из одной области, например из физической химии, в другую, такую как социология.
Фон Гогенгейм не занимался физической химией.
> Между тем, не везде можно произвести более-менее достоверный численный замер,
> не всё можно измерить, хотя работать с такими величинами нужно.
Фон Гогенгейм как раз и говорил, что нужно учиться измерять, считать и взвешивать.
> Можно ли сказать, например, что какой-то человек удовлетворён чем-то на 30% больше, чем другой?
> Или, хотя бы, что он просто больше удовлетворён, чем другой?
Прикинь?
> Человека нельзя разложить в пространство от каких-то координат,
> ни в метрическое, ни в топологическое, по крайней мере никто не знает, как это делать.
Первое --- проблемы математики, второе --- психологии.
Однако мы сейчас говорим не о математике и не о психологии.
Общество состоит не из одного человека и так уж вышло,
что общественные явления существуют и не складываются
из особенностей отдельных людей. Но и весомость общественных
явлений вполне хорошо определяется охватом людей.
Таким образом, вполне есть, что измерять.
> Ты можешь предложить, как измерить у конкретного человека
> какую-нибудь величину, отличную от физиологических?
Да, поскольку общественная деятельность не сводится к физиологическим.
>>> тебе нужно понять, что происходит и чего люди ждут
>>> каким-нибудь доступным образом.
>> Какие люди?
>> Опрошенные?
>> Они и так сказали, чего они ждут.
> А тебе что нужно?
Мне нужно, чтобы ты ясно понимал слова, которые произносишь:
> придётся думать, как правильно интерполировать.
Чуть выше ты говорил, что не можешь ввести порядка на множестве людей.
Что и как ты тогда хочешь интерполировать?
>>> на многие ответ будет "в зависимости от ситуации", например.
>> Там нет таких вопросов.
>> По крайней мере, я не помню, чтобы они были.
> Утверждение "враг твоего врага - твой друг"?
> Вот, в зависимости от ситуации.
Нет, это не в зависимости.
> Но это не самое сложное утверждение.
Неопределённость политических воззрений --- да,
скорее всего будет препятствовать получению осмысленного итога.
Скорее всего, ты окажешься нулём.
---
...Я работаю антинаучным аферистом...

MickNich

не хватило терпения всё прочитать.
но главную мысль, кажется, уловила.
вообще, целиком согласна с тем, что у социологов действительно большие проблемы с математикой. Хуже то, что большинство из них уже со студенческой скамьи думают о том, что математика - это не так уж и важно в их профессии. отсюда результат.
есть, правда, ещё качественная социология, но это отдельная тема невалидности данных

PETERPETER

но главную мысль, кажется, уловила.
вообще, целиком согласна с тем, что у социологов действительно большие проблемы с математикой. Хуже то, что большинство из них уже со студенческой скамьи думают о том, что математика - это не так уж и важно в их профессии. отсюда результат.
есть, правда, ещё качественная социология, но это отдельная тема невалидности данных

Имхо хуже недооценки роли математики в социологических исследованиях может быть только её переоценка. Нужно хорошо ощущать, откуда берутся какие-либо математические модели, и когда они применимы, а когда нет, и почему так. А математическое образование этого совершенно не даёт, к сожалению...

zuzaka

как это не дает? почему? у нас, например, всегда дают границы применимости моделей

PETERPETER

Мне нужно, чтобы ты ясно понимал слова, которые произносишь:
> придётся думать, как правильно интерполировать.
Чуть выше ты говорил, что не можешь ввести порядка на множестве людей.
Что и как ты тогда хочешь интерполировать?
Не совсем так. Я говорил о сложности/невозможности введения порядков по поводу каких-либо "психологических" оценок на одном человеке (оценок класса нравится/не нравится и, соответственно, на людях в среднем. Например, сложно ввести оценку для того, какая работа больше нравится. Но можно ввести (и то, с ограничениями) оценку, например, на ожидание зарплаты, на желаемую зарплату, и то, при учёте того, что ты максимально равняешь другие условия (возраст, образование). Тогда эти данные будут полезными (ты будешь знать, чего хотят выпускники). На основе подобных критериев и проводится интерполяция.
Неопределённость политических воззрений --- да,
скорее всего будет препятствовать получению осмысленного итога.
Скорее всего, ты окажешься нулём.
Ничего хорошего в подобной категоричности нет.

PETERPETER

> как это не дает? почему? у нас, например, всегда дают границы применимости моделей
В физике, может быть и дают... Например, вопрос "чему равна масса (в ньютоновской механике если кинетическая энергия равна 2i, а скорость - sqrt(2i+1)" для меньшего процента математиков покажется бредом, чем для физиков, скажем... К сожалению

730097993416

Можно ли сказать, например, что какой-то человек удовлетворён чем-то на 30% больше, чем другой? Или, хотя бы, что он просто больше удовлетворён, чем другой? Человека нельзя разложить в пространство от каких-то координат, ни в метрическое, ни в топологическое, по крайней мере никто не знает, как это делать.
Справедливости ради здесь стоит возразить. Есть множество классических методов измерения установок (вроде шкалограммного анализа Гуттмана или формирования шкал равных интервалов по методике Терстоуна). Есть, наконец, Вильгельм Вундт, потзитивистски разложивший эмоции человека, и Осгуд, разработавший на его основе методику "объективной" оценки восприятий (раскладывающую их как раз-таки в пространство признаков).
К этим методам можно (и, по-моему, стоит ) относится с большим скептицизмом, но они существуют, и активно применяются.

a7137928

Александра Крыштановского, но он недавно умер

Батыгин тоже недавно умер (года три назад). Говорят, хороший был дядька.

a7137928

Ну у тебя в целом правильно (за исключением деталей, например, для пилотного исследования не надо сильно контролировать репрезентативность, на то оно и пилотное).
Но Ротт очень хорошо написал про это с точки зрения социолога. Хорошие социологи понимают, что полученные результаты могут не проецироваться на генеральную совокупность, потому что выборка у нас кривая, интервьюеры влияют на респондентов, респонденты неправильно понимают вопросы (несмотря на все старания и так далее. Но хорошие социологи также понимают, что делать с результатами опросов, как их можно корректно интерпретировать использовать.
(Правда, платят за цифру, а не за понимание. Поэтому приходится выдавать цифру, несмотря на все погрешности метода. Вот и выдают...)
И еще про переоценку значимости математиков верно подмечено
Я участвовал в опросах, которые проводили профессиональные социологи с большим опытом работы. Они делали анкету и писали отчет, а я им данные обрабатывал.
Надо сказать, что у тех, с кем я работал, получалось составить нормальные вопросы, которые респонденты понимали правильно. И пилотажные исследования там проводились, и
фокус-группы (перед началом опроса, чтобы понять, что спрашиваем вообще и как могут отвечать и фильтрующие вопросы были. Они довольно серьезно парились над тем, чтобы не внести какую-нибудь погрешность некорректно сформулированным вопросом, чтобы вопросы были в нужном порядке, и вся такая хрень. Короче, все как надо. Результаты этих опросов выглядели довольно убедительно.
Правда, еще они занимались выборами. Кандидаты часто заказывают опросы, чтобы узнать, какими словами агитировать. Денег платят много, сроки поджимают, анализировать особо некогда... бывало, обламывались потом, кандидат проигрывал.

geva

Пару раз меня просили помочь в социологических исследованиях (бесплатно, по дружбе). Анкеты я выбрасывал, потом писал за две минуты в Экселе макрос, который раскидывал значения случайным образом, и отдавал результаты.
Совесть моя была чиста, потому что эти опросы были нацелены только на то, чтобы мои друзья получили хороший оценки с любой наперёд заданной точностью.
Неслучайно Гаусс сам подбрасывал монетку десять тысяч раз, а не доверил это дело студентам.

frostenrus

Хороших социологов в России остается все меньше...

Я бы с удовольствием послушал мнение о Зиновьеве как о социологе.
А также "почему он на философском, а не на социологическом?", "за что ему дали премию Токвиля" и "каков его вклад в социологию", "какие отношения с нашими социологами", "котируются ли наши социологи за бугром? и почему?"

spiritmc

>> Мне нужно, чтобы ты ясно понимал слова, которые произносишь:
>>> придётся думать, как правильно интерполировать.
>> Чуть выше ты говорил, что не можешь ввести порядка на множестве людей.
>> Что и как ты тогда хочешь интерполировать?
> Я говорил о сложности/невозможности введения порядков
> по поводу каких-либо "психологических" оценок на одном человеке
Я тебе уже говорил, что это вопрос психологии, и его решают.
Социологи, если они учёные, а не случайные люди,
вполне способны воспользоваться достижениями смежных наук.
> На основе подобных критериев и проводится интерполяция.
Ты не понял, в чём дело.
Основная проблема --- это не интеполяция, здесь вообще нет интерполяции.
Основная задача, на что указывает Каиафа,--- это экстраполяция данных:
полученные значения пытаются распространить на значительно большее число людей,
чем участвовавшее в опросе.
Вот здесь у социологов-практиков прокол.
>> Неопределённость политических воззрений --- да,
>> скорее всего будет препятствовать получению осмысленного итога.
>> Скорее всего, ты окажешься нулём.
> Ничего хорошего в подобной категоричности нет.
В этой категоричности --- вся суть исследования:
нерешительный человек, будучи принуждён к выбору,
даст ответ, хоть как-то отражающий его воззрения.
Если у тебя нет чётких и ясных воззрений, ты и будешь
давать слабо ("скорее это, чем то") определённые ответы.
Но это будут смысловые ответы, в отличие от ничего не дающих "не знаю" или "отказываюсь отвечать."
---
...Я работаю антинаучным аферистом...

Admiral

Готов подписаться под каждым сказанным словом.
Следует сказать, что я не успокоился после того злосчастного треда и полез копать дальше.
Я общался с профессорами из нашего университета, ездил в РАН... И в итоге пришел к одному выводу: других данных у нас всеравно нет.
Да, выборки не репрезентативны, не всегда обеспечены формальные правила качественного проведения исследования. Исходя из этого, можно заключить, что социология позволяет нам лишь определить тренд проблемы - качество, но не количество. Но самое страшное не это.
Плохо то, что на данных статистики строятся расчеты и рисуются карты. По картам проводятся обобщения итд. Используя, то, что в принципе не может быть достоверным исследователи строят прогнозы и делают отчетные графики. И все это на уровне регионов и страны, и именно поэтому так опасно.

730097993416

У массового опроса куча проблем. Проблем теоретических - на уровне постановки вопроса. Проблем процедурных. Но наименьшая из этих проблем - это как раз распространение выводов и результатов исследования на генеральную совокупность (конечно, при достаточно "смиренной" постановке вопросов и хорошо сконструированной выборке).
Однако непрофессионалов именно этот момент всегда жутко смущает: "как же так, по полуторатысячной выборке делать выводы по огромной (!) стране..."
Довольно странно, что это смущает и тех людей, которые явно знакомы со статистикой не понаслышке.
Повторюсь: смущать должно другое - это как раз небольшая проблема!

Admiral

У меня есть данные по стране, в том числе самые последние, они дают мне не ответы, но ставят только новые вопросы.
Если методы опроса приблизительно одинаковые и результаты выборки легко распространяются на всю страну, то почему такие большие расхождения в данных из различных источников?

spiritmc

> Довольно странно, что это смущает и тех людей,
> которые явно знакомы со статистикой не понаслышке.
Это не странно, если учитывать, что эти люди, в большинстве своём,
не гуманитарии и уж тем более не психологи и не социологи.
Они не знают, насколько разнообразны воззрения населения в целом.
Кроме того, им известно, что статистические методы не умеют
применять и в более близких науках, например, в медицине.
---
"...Чтобы наука действительно входила в плоть и кровь,
превращалась в составной элемент быта вполне и настоящим образом."

zuzaka

вопрос не в том, достаточно ли тысячи человек для экстраполяции на сто миллионов (хотя мое личное мнение, что тысячи недостаточно. Достаточно десяти тысяч. Впрочем, неважно). Вопрос в том, адекватно ли определяется состав выборки, действительно ли она репрезентативна. Тут даже не математика играет роль, а здравый смысл. И общие социологические знания.
Например, если опросят десять миллионов россиян и убедятся, что все они по параметру А хорошо разделяются на семь категорий, то я без малейших колебаний поверю, что при дальнейших исследованиях смежного параметра А' достаточно опросить тысячу, даже двести человек.
Но, во-первых, никто не проводил исследования с десятью миллионами. Даже однократного исследования.
Во-вторых, параметр А, про который полагается, что он делит людей на семь категорий (скажем, уровень образования - логично предположить, что все люди делятся по этому критерию на пять-шесть более или менее однородных групп этот параметр может не иметь ничего общего с исследуемым параметром Б. И даже если для А действительно есть всего 5 групп, отсюда нельзя делать вывод, что по параметру Б групп будет не сто. А сто групп, конечно, тысячей респондентов не опишешь.
Это если от здравого смысла отталкиваться.

730097993416

В каждом конкретном случае нужно смотреть методику. По умолчанию, если не предприняты специальные усилия, различные исследования дают взаимно несопоставимые результаты.
Кроме того, у нас доволько мало контор, которые хоть как-то выдерживают процедурные требования.

730097993416

В целом твои соображения совершенно справедливы. Однако при решении большинства задач не нужна выборка 10 000.
Чисто статистически, в идеальной ситуации - а именно, когда известно в точности взаимосвязи между некоторыми параметрами, и можно составить идеальную по репрезентативности выборку, достаточно тысячи, или даже нескольких сотен.
Объем выборки вообще не зависит от объема генеральной совокупности. Он зависит от сложности (однородности) изучаемого объекта и конкретных задач (грубо говоря, нужно чтобы при построении кросс-таблиц все ячейки были заполнены минимально достаточно, при выбранном уровне точности).
Далее, что касается десятимиллионных выборок - это не нужно, т.к. существует куча специальных методических исследований и экспериментов, которые исследуют взаимосвязи между параметрами. По хорошему социологи опираются на эти работы при конструировании инструментария. По плохому это сконденсировано в их опыте

730097993416

Решил запостить классическую социологическую байку на эту тему:
Осенью 1936 г. в истории социологических исследований произошло событие, радикально изменившее представления о построении выборки для массовых опросов. В первые десятилетия XX в. американские газеты и журналы соревновались за то, чтобы стать выразителями общественного мнения. Журнал 'Литерэри Дайджест' проводил 'соломенные опросы' перед выборами с 1925 г. и никогда не ошибался. Рассылались миллионы почтовых бюллетеней - тем, кто числился в телефонных справочниках и списках автовладельцев. Система работала хорошо до тех пор, пока избиратели со средними и высокими доходами голосовали в равной степени и за демократов, и за республиканцев. И наоборот: избиратели с низкими доходами были склонны голосовать за любого кандидата.
С началом 'Нового курса' американский электорат стал резко стратифицироваться: люди с доходами выше среднего, придерживавшиеся демократических взглядов, переменили их на республиканские, а те, кто принадлежал к малодоходным группам, стали симпатизировать демократической партии.
В 1936 г. на пост президента США претендовали Франклин Рузвельт - демократ и Альфред Лэндон - республиканец. Журнал 'Литерэри Дайджест' разослал по почте десять миллионов бюллетеней - была охвачена примерно треть американских семей. Вернули бюллетени 2 376 523 человека. Очевидно, выборка 'Литерэри Дайджест', состоящая из владельцев телефонов и автомобилей, была обречена на смещение в пользу республиканцев. Так и получилось. Предвыборный опрос показал, что за Лэндона собираются проголосовать 57% избирателей, а за Рузвельта - 43%. На выборах же победил Рузвельт с результатом 62,5%, а за Лэндона было подано 37,5% голосов.
К этому времени службы Дж. Гэллапа, Э. Роупера и А. Кроссли уже давно вели эксперименты с выборочными опросами. В частности, Гэллап в 1935 г. установил сдвиг политических ориентации состоятельных избирателей вправо, а бедных - влево. В 1936 г. он обнаружил, что большинство владельцев телефонов предпочитают Лэндона Рузвельту, в то время как только 18% получающих пособие собираются голосовать за Лэндона. 12 июля 1936 г., когда началась предвыборная кампания, Гэллап опубликовал статью с предупреждением об ошибке 'Литерэри Дайджест', который, как считал автор, по всей вероятности, предскажет победу Лэндона над Рузвельтом со счетом 56: 44. Гэллап получил этот прогноз, разослав по почте всего 3 тыс. бюллетеней. Он подробно проанализировал причины возможной ошибки. В ответ в 'Литерэри Дайджест' была опубликована сердитая статья, где редактор писал: 'Никогда и никто еще не предсказывал результаты наших опросов еще до того, как они начались... Нашему доброму статистическому другу (имелся в виду Гэллап. - Г. Б.) можно было бы напомнить, что эти старомодные методы обеспечивают 'Дайджесту' правильные прогнозы с точностью до одной сотой процента'10...
<...> [тут на паре страниц объясняется почему LD ошиблись; если интересно - могу запостить отдельно - H.A.]
...Тогда же, в июле 1936 г., молодые и еще неизвестные поллстеры (так стали называть тех, кто проводит массовые опросы, в отличие от социологов опросив несколько тысяч человек, точно предсказали победу Рузвельту. С этого времени начался институциональный период в истории обследований общественного мнения. Институты Гэллапа, Роупера и Харриса к началу 1960-х гг. уже были международными корпорациями.
Г.С. Батыгин
Оставить комментарий
Имя или ник:
Комментарий: