Ежедневный всероссийский опрос «СПУТНИК»
ЧТО ТАКОЕ «ВЦИОМ-СПУТНИК»? Общие сведения
«ВЦИОМ-СПУТНИК» - ежедневный всероссийский телефонный опрос ВЦИОМ. Каждый день мы опрашиваем 600 респондентов не менее чем в 80 регионах РФ и получаем надёжные данные.
Новая технология позволяет оперативно измерить общественное мнение по любому вопросу – всего за 3 дня объём выборки составит 1800 респондентов. Каждую неделю мы опрашиваем 4200 респондентов во всех регионах страны, это составляет 16800 респондентов каждый месяц, а за год мы опросим более 200 тысяч россиян.
«ВЦИОМ-СПУТНИК» - опрос омнибусного типа. Это значит, что анкета каждого опроса включает в себя разные темы (от политики и экономики до маркетинга). В том числе есть блоки вопросов, которые включаются в опрос регулярно (еженедельно или раз в месяц, квартал, год) и позволяют проследить динамику изменения показателей.
В «ВЦИОМ-СПУТНИК» реализована классическая методология построения случайной (вероятностной) выборки. Это позволяет генерализовать полученные данные на всё население страны и оценить размер статистической погрешности.
«ВЦИОМ-СПУТНИК» проводят профессиональные интервьюеры – – сотрудники колл-центров, которые проходят обучение и инструктажи. В результате объем брака минимален - даже самый строгий контроль выявляет нарушения менее, чем в 1% анкет.
«ВЦИОМ-СПУТНИК» сопровождается многоуровневым контролем качества данных: наблюдение супервайзеров, прослушивание записей, логический контроль. Это позволяет нам гарантировать 100% соблюдение технологии опроса, предусмотренной инструкцией.
ВЫБОРКА ИССЛЕДОВАНИЯ
Как мы выбираем номера телефонов
Для построения выборки мы берём все диапазоны стационарных и мобильных телефонных номеров с сайта Россвязи. Совокупная ёмкость этих диапазонов составляет более 650 млн. телефонных номеров – в неё попадают АБСОЛЮТНО ВСЕ телефонные номера, которые уже используются операторами или которые могут быть введены по действующим правилам.
Для опроса мы случайно (датчиком случайных чисел) отбираем из этой базы 40-45 тысяч номеров в зависимости от сезона (летом и в новогодние каникулы больше, а осенью и весной меньше) – это наша основа выборки. Телефонные номера для прозвона выбираются из нее также датчиком случайных чисел.
Почему именно такой объём основы выборки? Он рассчитан нами по результатам длительных экспериментов таким образом, чтобы обеспечить возможность попадания в выборку в том числе тех респондентов, которым не дозвонились с первого раза. При большой основе выборке велика вероятность, что мы наберем нужное число респондентов, прозвонив все номера только по одному разу. При слишком маленькой основе выборки возникает обратный риск – мы можем многократно прозвонить все номера и не набрать нужное число респондентов. В «ВЦИОМ-СПУТНИК» по каждому телефонному номеру мы делаем не менее 8 попыток дозвониться до нужного нам респондента (если номер не отвечает, если звонок «сорвался», если респонденту в это время неудобно говорить).
При формировании основы выборки мы учитываем два важных правила.
Во-первых, 40% номеров мы отбираем из стационарных диапазонов, 60% - из мобильных диапазонов. Такое соотношение номеров рассчитано на основе экспериментов – соблюдая его, мы получаем распределение основных социально-демографических характеристик, близкое к данным Росстата. Однако доли стационарных и мобильных телефонов не квотированы; в итоговом массиве доля мобильных телефонов составляет около 70% (сохраняя соотношение социально-демографических характеристик, близкое к данным Росстата).
Более высокая доля мобильных телефонов в итоговом массиве по сравнению с долей в основе выборки рассматривается нами как допустимая. С учетом расширения в РФ зоны покрытия мобильной связью, доля мобильных телефонов будет в выборке постепенно увеличиваться, а некоторые исследователи уже сегодня выступают за проведение всероссийских репрезентативных опросов полностью на основе мобильных телефонов.
Во-вторых, мы сохраняем пропорцию номеров по федеральным округам. Это важно, поскольку уровень достижимости респондентов заметно отличается между федеральными округами (например, москвичи гораздо реже соглашаются на интервью, а вот жители Крыма, наоборот, делают это охотнее остальных россиян). Кроме того, необходимо учитывать значительную разницу в часовых поясах. Если ее не учитывать, при опросе возникнет систематическое смещение в пользу тех регионов, где время на момент начала опроса будет дневным или вечерним.
Какие регионы и населённые пункты попадают в выборку?
Как показано в предыдущем разделе, телефонные номера для дозвона выбираются случайно из всего массива телефонных номеров России.
Поэтому у нас нет и не может быть фиксированного списка точек опроса (конкретных населенных пунктов) заранее, мы можем его получить только по завершении опроса.
Однако часть точек опроса попадает практически в каждый опрос – например, крупные города. Это связано с тем, что там большая численность населения, это повышает вероятность попадания их жителей в выборку.
В каждом опросе представлены все федеральные округа, не менее 80 регионов. Доля сельских жителей среди опрошенных составляет 18-20%.
Как мы выбираем респондентов?
Для высокой репрезентативности данных нам необходимо обеспечить всем респондентам равные шансы попадания в выборку. Для этого мы соблюдаем несколько условий:
Мы делаем не менее 8 попыток дозвониться до каждого респондента. Если телефон у респондента занят - система автоматически перезванивает респонденту через 30 минут. Если номер не отвечает, мы перезваниваем ему каждые 2 часа. Если респонденту неудобно сейчас отвечать, мы перезвоним ему в назначенное им время в другой день. Если респондент отказался отвечать в момент первого контакта, мы перезвоним ему на следующий день.
У нас единое местное время звонков - в каждой часовой зоне обзвон идет с 16 до 21 часа.
Если мы звоним на мобильный номер, мы опрашиваем того, кто взял трубку.
Если мы звоним на стационарный номер, респондента отбирает датчик случайных чисел. Если респондент дома один или если дома 4 человека и больше, то мы проводим интервью с тем, кто взял трубку. Если дома 2 или 3 человека, респондента случайно отбирает компьютер: это или сам ответивший на звонок, или старший по возрасту из находящихся дома, или младший по возрасту из находящихся дома.
Если отобранному респонденту неудобно разговаривать, мы перезваниваем ему в удобное время. Интервьюерам запрещено соглашаться на интервью с другим человеком.
Мы проводим конвертацию отказов – если респондент отказался от участия в опросе, на следующий день мы ему перезваниваем и повторно просим принять участие в опросе. Около 10% соглашаются.
Репрезентативность данных и статистическая погрешность
Репрезентативность данных обеспечивается равной вероятностью попадания в нашу выборку всех россиян старше 18 лет вне зависимости от места их проживания.
В теории из нашей выборки исключены только те россияне, у которых нет ни мобильного, ни стационарного телефона. По данным исследований, их число менее 1%.
Описанными выше процедурами мы реализуем случайный отбор телефонных номеров и случайный отбор респондента в домохозяйстве.
Закон больших чисел в теории вероятностей утверждает, что эмпирическое среднее (среднее арифметическое) достаточно большой конечной выборки из фиксированного распределения близко к теоретическому среднему (математическому ожиданию) этого распределения.
Используемая нами в опросе выборка достаточно велика, чтобы закон больших чисел начал действовать, и распределения различных признаков (например, доля мужчин) в опросе и среди совершеннолетнего населения России совпадали. Наши данные получаются близкими к данным Росстата - это обеспечено технологией случайного отбора.
Мы снижаем систематическую ошибку повторными звонками и конвертацией отказов (см. предыдущий раздел).
Для данной случайной (вероятностной) выборки максимальный размер ошибки с вероятностью 95% не превышает следующих величин:
Для данных, собранных в течение одного дня (600 респондентов) – 4,5%
Для данных, собранных в течение 2 дней (1200 респондентов) – 3,5%
Для данных, собранных в течение 3 дней (1800 респондентов) – 2,5%
Помимо ошибки выборки смещение в данные опросов могут вносить формулировки вопросов и различные обстоятельства, возникающие в ходе полевых работ.
Контроль качества данных
Данные – наш основной продукт, и мы уделяем огромное внимание их качеству. Мы реализуем многоуровневый контроль, который начинается на этапе подготовки к опросу, продолжается в ходе всего опроса, а на завершающем этапе включает в себя разные методы проверки качества собранных данных.
Как мы обеспечиваем качество данных:
Для каждой анкеты составляется инструкция по проведению исследования и каждый интервьюер проходит инструктаж, на котором разбираются все сложные вопросы.
Опрос проходит под контролем специально подготовленных супервайзеров, которые следят за соблюдением инструкций и консультируют интервьюеров при необходимости.
Электронное программирование анкеты защищает от ошибок ввода: интервьюер не может ввести в текстовое поле цифры или отметить несколько вариантов там, где предусмотрен только один.
100% интервью записываются. Далее проводится прослушивание 20% случайно отобранных интервью. Если у интервьюера обнаружены нарушения хотя бы в одной отобранной анкете, прослушиваются все его анкеты.
По собранному массиву проводится логический контроль данных. Выявляются и отправляются на прослушивание все анкеты, по которым зафиксировано слишком короткое время интервью. Выявляются интервьюеры, анкеты которых показывают распределение данных, существенно отличное от среднего – такие анкеты также отправляются на прослушивание. Все отбракованные анкеты удаляются из массива, по ним проводится доопрос.
Взвешивание
Соблюдение технологии случайного отбора теоретически даёт распределение основных признаков, близкое к их распределению в генеральной совокупности.
Однако для измерения ряда социально-политических или экономических показателей важно убедиться не только в том, что распределения отдельных показателей являются достаточно точными, но и в том, что соблюден комплексный баланс основных социально-демографических переменных. Поэтому при расчёте социально-политических индикаторов мы используем взвешивание по социально-демографическим показателям. Социальные группы, оказавшиеся в массиве ответов респондентов слишком малочисленными, получают таким образом строго рассчитанный бонус к "весу" своей точки зрения.
Переменные, на которые мы взвешиваем:
Тип населенного пункта. Массив поделен на 7 типов населенных пунктов, отражающих генеральную совокупность: (1) Москва и Санкт-Петербург, (2) Город с численностью жителей миллион и более человек, (3) Город с численностью от 500 тысяч до 950 тысяч человек, (4) Город с численностью от 100 тысяч до 500 тысяч человек, (5) Город с численностью от 50 тысяч до 100 тысяч человек, (6) Город с численностью менее 50 тысяч человек, (7) Поселок городского типа и Село;
Пол. Массив отражает половую структуру генеральной совокупности: Мужской пол, Женский пол;
Возраст. Массив поделен на пять возрастных групп, отражающих генеральную совокупность: 18-24 года, 25-34 года, 35-44 года, 45-59 лет и 60 лет и старше;
Уровень образования. Массив поделен на две группы согласно уровню образования и отражает генеральную совокупность: Есть высшее образование и Нет высшего образования.
Показатели достижимости телефонного опроса
Для «ВЦИОМ-СПУТНИК» мы рассчитываем показатели достижимости по технологии AAPOR (Standard definitions, revised 2016).
Основными показателями достижимости являются
Коэффициент кооперации – доля респондентов, которые согласились дать нам интервью, из числа тех, до кого нам удалось дозвониться. Этот показатель (COOP1) в среднем для «ВЦИОМ-СПУТНИК» составляет 0,2 (при максимальном значении 1).
Response rate – доля результативных интервью в общем числе попыток провести интервью. Этот показатель (RR5) для «ВЦИОМ-СПУТНИК» в среднем близок к значению 0,04 (при максимальном значении 1).
Было бы неверно предполагать, что повышение response rate напрямую ведет к улучшению качества данных. Например, мы могли бы повысить response rate, используя не случайный отбор номеров, а готовую базу телефонных номеров. Но за повышение достижимости мы бы заплатили качеством выборки – случайным отбором и покрытием территории (никто не знает, какая часть номеров не попала в эту базу).
В настоящее время исследованиями не было найдено каких-либо значимых свидетельств того, что исследования с разным уровнем достижимости дают разные результаты. Смещение выборки возникает в том случае, если опрошенные отличаются по каким-либо параметрам от тех, кого опросить не удалось – технология случайной выборки минимизирует эту вероятность.
Однако теоретически высокий процент неответов (по сравнению со средним показателем недостижимости для данного исследования) может показывать низкое качество опроса в целом и наличие серьезных смещений в результатах опроса. Смещение выборки возникает в том случае, если опрошенные отличаются по каким-либо параметрам от тех, кого опросить не удалось. Поэтому фиксация и анализ недостижимости является стандартной нормой проведения наших опросов, направленной на минимизацию риска ошибки неответов.