Как найти людей для выборки

Будьте готовы что потребуется перебрать много гипотез каналов поиска респондентов

Процесс поиска респондентов часто требует перебора большого количества гипотез. Ниже я перечислю стандартные способы искать респондентов, но будьте готовы, что стандартные способы для вас могут не сработать и нужно будет учиться находить респондентов для вашего продукта с нуля.

Принципы поиска респондентов

1. Люди классные и они соглашаются поговорить с вами. Это принцип на случай, если у вас есть сомнения «Да зачем им со мной разговаривать?», «Врядли согласятся»—вспоминайте принцип, что люди классные. Действительно, % людей, которые будут соглашаться на интервью в онлайне может быть не очень большим, но вы всё равно сможете найти себе респондентов.
2. Люди в среднем готовы и любят общаться на волнующие их темы. Если работа [в коммуникации с потенциальными респондентами используйте термин «потребность», так как он понятен людям] и проблема, которую вы хотите обсудить и потенциально решить, есть у человека, у вас хорошие шансы, что он согласится с вами пообщаться.
3. Старайтесь не платить за интервью. Почему:
   • для нашей психики возможность заплатить—это короткий лёгкий путь. При этом, если вы попробуете заинтересовать человека поговорить с вами БЕЗ денег, многие люди с высокой вероятностью согласятся. Я не плачу за 95% интервью, которые я провожу.
   • Когда вы платите за интервью, вы покупаете у респондента услугу «я тебе деньги, ты мне информацию», что может влиять на искренность респондента, но я меньше переживаю за этот фактор, чем за..
   • то, что на платные интервью часто приходят «ходоки»—люди, у которых нет потребности или опыта решения потребности с конкретным продуктом. Поскольку платных респондентов привлекают рекрутеры, которые работают со своей базой респондентов—в этих базах есть % ходоков, то одна из задач на интервью с платными респондентами—убедиться, что у этих людей действительно есть потребность и опыт её решения с конкретным продуктом

Где искать респондентов если среди вашего продукта нет нужных вам респондентов [продукта нет, мало клиентов или ищете новый сегмент]

1. Друзья и друзья друзей

Это один из самых легких способов, по которому тянет пойти начинающих исследователей, но у него есть два риска. Первый: друзья могут быть более лояльны и позитивно настроены к вам, но если вы проводите JTBD-интервью, этот риск нивелируется. Второй риск—ваши друзья могут быть не репрезентативны, то есть не представлять всю выборку вашей потенциальной аудитории из-за смещения по уровню дохода, образования и опыта.

Тем не менее это хороший способ начать, когда совсем непонятно, что делать. Друзья могут сами стать респондентами или порекомендовать того, кто больше подходит для исследования.

Более того, друзья—это волшебные люди, которым можно написать с просьбой «Слушай, ты знаешь кого-то, кто %нанимает решение для гипотезы нашего сегмента%, если да—можешь познакомить?», и они познакомят! Если вы напишите 30 людям—вас познакомят с 10-20.

2. На площадках для поиска респондентов

Периодически встречается комбинация ситуаций: «команда не умеет искать респондентов» и «сложная тема, не удаётся просто найти респондентов»—тогда вы можете заплатить за поиск респондентов. Я использую следующие площадки:

• Для респондентов в России—Rus-opros [менеджер Анна Ившина]. В среднем, простой респондент [бухгалтер, фитнес-тренер] будет стоить около 1500 руб за поиск и 1500-2000 руб. вознаграждения респонденту, то есть от 3000 руб.
• Для респондентов в США и Европе—Respondent.io и User Interviews. В среднем, возграграждение синему воротничку [водитель, кассир] будет $60, Respondent.io возьмут +30%, то есть +$20, белые воротнички—$80+, айтишники и топы—от $100+ + комиссия Respondent.io. Типичный B2B респондент будет стоить $150

Не рекомендую начинать с поиска респондентов через платные площадки, так как тогда вы не тренируетесь искать респондентов самостоятельно и бесплатно [условно бесплатно, так как ваше время стоит денег].

3. В своих аккаунтах в социальных сетях

Вы можете находить респондентов через посты в собственном аккаунте в Facebook/Instagram/Linkedin/Twitter, особенно если у вас большое количество подписчиков.

Самый эффективный призыв—оставить «+» в комментариях, если человек готов пройти интервью. Это позволяет минимизировать инвестицию человека в отклик. Всем, кто оставил плюсики вы пишете в личку «выбирайте слот для интервью» и прикладываете ссылку на Calendly или похожий сервис.

4. Инфлюенсеры

Часто самый эффективный и быстрый способ набрать респондентов—купить платный пост у инфлюенсера, на которого подписана ваша целевая аудитория. Механика поиска респондентов такая же как и в своих соцсетях, но инфлюенсер обычно хорошо знает какая мотивация подойдёт для его подписчиков: инфлюенсер пишет пост в котором пишет что-то похожее на: «Мои кореша их Х хотят поговорить с людьми, которые %требования к поиску респондентов%, оставьте «+» в комментариях если готовы поговорить с ними», дальше менеджер аккаунта инфлюенсера пишет в личку всем кто оставил плюсы—сообщения от инфлюенсера не попадут в requests.

5. Таргетированная реклама

В соцсетях можно размещать не только посты в лентах и группах, но и дать рекламное объявление с таргетингом по определенным параметрам. Такой способ больше подойдет для аудитории, которую можно описать формальными признаками (пол, возраст, география, должность и т.д.).

6. Тематические группы, сообщества и чаты

Это могут быть группы в соц.сетях, мессенджерах, форумы или другие площадки, на которые заходит ваша потенциальная аудитория. Это более точный таргетинг, но более холодная аудитория. Хак: если ты знаешь, что тебе предстоит искать респондентов в определенной среде, лучше вступить в нужные сообщества заранее и проявить там некоторую активность, чтобы тебя не считали за чужака—это повысит доверие к тебе и как следствие конверсию в интервью.

В сообществах можно найти иногда очень сложные сегменты. Например, стояла задача найти людей, которые занимаются сельским хозяйством. На посты в социальных сетях (Facebook, LinkedIn) отклика не было. Нашли несколько тематических групп в Viber. Разместили посты там: «Очень нужна помощь людей из Украины, которые занимаются выращиванием сельскохозяйственных культур. Пожалуйста, уделите нам до 30 минут своего времени для интервью». ​​На призыв откликнулись пара человек, но у каждого спросили рекомендации, с кем еще поговорить, и в итоге получилось провести 7-8 интервью.

7. Конференции, бизнес-завтраки, выставки.

Можно находить респондентов среди спикеров, которые выступят на определенные темы и посетителей, которым эти темы интересны. Если подходящего мероприятия нет, его можно организовать самостоятельно.

К спикеру, который выступал с темой, можно подойти с каким-то вопросом по его выступлению и плавно перевести разговор в нужное русло. Например:

«Вы очень интересно рассказали про автоматизацию логистики в вашей компании, расскажите с какими сложностями вы столкнулись, внедряя новую систему автоматизации? [Дождаться ответа] Мы сейчас исследуем как компании автоматизируют складной учет и ваш опыт был бы нам очень полезен. Могли бы вы уделить мне полчаса-час вашего времени в удобном для вас формате?».

Будьте готовы, что сразу интервью провести не получится, тогда вы можете договориться о встрече/созвоне позже. Но если человек может уделить вам 15-20 минут прямосейчас—имейте список вопросов и блокнот/ноутбук под рукой.

К посетителям конференции подход примерно такой же. Можно обсудить выступление кого-то из спикеров, спросить мнение по темам мероприятия и т.д. и так же перейти к приглашению на интервью. Если это выставка, то можно подойти на стенд компании и познакомится с сотрудниками.

Tyler Bosmeny в SS18 рассказывает что конференции—мощный, самый недооценённый и самый непонятный канал нахождения клиентов. Как готовить конференции:

• 1. Найдите все отраслевые конференции
• 2. Получите список участников СИЛЬНО ЗАРАНЕЕ—пишите организаторам и спонсорам, иногда список вывешивают на сайтах.
• 3. Напишите ВСЕМ потенциально интересным клиентам и договоритесь с ними о 30–минутной встрече на конференции
• 4. в итоге, дни конференций для продажников оказываются самыми результативными днями в году

Вы можете привлекать респондентов по той же самой механике как и сейлзы находят клиентов на конференциях.

8. В местах скопления людей — бизнес-центрах, торговых центрах, на улице.

Такой способ подходит, если у вас достаточно широкая аудитория. Например, для проверки гипотезы о проблемах в розничной сети, исследователи подходили к покупателям и просили поучаствовать в опросе:

«Здравствуйте, мы проводим исследование о проблемах, с которыми вы сталкиваетесь, делая покупки в нашей розничной сети. Эта информация поможет нам стать лучше. Можете уделить нам 15 минут?»

Хотя если подойти к вопросу с фантазией, можно найти и достаточно узкий сегмент—например, родителей с детьми определенного возраста, посещающими секции, можно искать в этих секциях, мам с маленькими детьми—на детских площадках, офисных сотрудников, пьющих кофе—в кофе пойнтах бизнес-центров и т.д.

«Здравствуйте, мы исследуем, как сотрудники офисов выбирают и покупают кофе. Хотите поучаствовать? Потребуется буквально 15-20 минут вашего времени»

9. Собрать рекомендации

Если вы совсем не представляете, где искать респондентов, обратитесь к тем, кто может это знать: знакомым, экспертам, инфлюенсерам, лидерам мнений и т.д. Они могут порекомендовать вам конкретных респондентов или разместить ваш запрос на свою аудиторию.

«Я знаю, что ты как PR-директор много общается с разными журналистами и редакторами. Мы исследуем как можно улучшить работу редакции и хотим поговорить с ними об их ежедневных задачах. Можешь меня познакомить с несколькими или дать их контакты?»

«Мария, здравствуйте! Знаю вас как эксперта в области управления персоналом с широкой сетью профессиональных контактов. Посоветуйте, пожалуйста, с кем можно пообщаться на тему долгосрочной мотивации в компании. Мы ищем HR-специалистов, которые отвечают за построение мотивационных схем, чтобы провести с ними интервью о том, как устроен этот процесс и что вызывает самые большие сложности в этом вопросе. Хотим сделать продукт, который облегчит построение мотивации».

Рекомендации особенно хорошо работают для B2B продуктов. В конце каждого интервью можно задавать вопрос «А с кем еще вы порекомендуете поговорить по это теме?».

10. Собрать аудиторию заранее

Если вы знаете, что вам предстоит проводить много интервью, лучше начать собирать аудиторию в отдельном месте, чтобы обращаться к ней по мере необходимости. Чаты в телеграм или других мессенджерах, группы в фб или соц.сетях. В них поддерживать определенную активность, чтобы быстро не выгорели.

11. Еще несколько неочевидных источников

• Сайты вакансий—можно найти респондентов с определенным опытом, например, начинающих продактов с бэкграундом из маркетинга, или учителей русского языка со стажем более 10 лет.
• Сайты типа profi.ru и youdo—тоже хороши для поиска профессионалов в разных областях.
• Сайты знакомств. Если через Тиндер хантят сотрудников, почему бы не поискать там респондентов?

Как рекрутить респондентов среди клиентов вашего продукта

Для B2C-продуктов

Если у вас есть своя аудитория (база подписчиков на рассылку, клиенты сервиса, пользователей приложения и т.д.), обращайтесь к ней. В зависимости от того, какие контакты пользователей у вас есть, можете связаться с ними через  разные каналы:

• официальные аккаунты компании в соц.сетях
• email-рассылка
• push-уведомления в приложениях или на сайте
• сообщения в мессенджер или в интерфейсе системы
• звонки
• чаты с пользователями
• для B2B (особенно enterprise)—общение через аккаунт-менеджеров

Канал общения зависит от объема базы и специфики бизнеса. Рассылки дают небольшую конверсию (обычно от 0.1% до 1% в интервью), но требуют небольших затрат, соответственно подойдут, если у вас база от нескольких десятков тысяч пользователей.

Более персональные сообщения (мессенджеры, push-уведомления, сообщения внутри системы, уведомления в интерфейсе и т.д.) дают более высокую конверсию. В зависимости от сферы и лояльности клиентов можно получить 10-30% конверсии.

Самую большую конверсию дают звонки—можно найти подход к каждому респонденту и получить конверсию 50-70%.

Примеры:

«Здравствуйте, в общении с нашими менеджерами вы упоминали, что испытываете проблемы при использовании нашего сервиса. Могли бы вы уделить нам 30-40 минут вашего времени для интервью? Это поможет нам сделать использование нашего сервиса более удобным и полезным для вас».

«%Имя%, здравствуйте! Хотим пообщаться с вами как со специалистом рынка новостроек Москвы / экспертом в области проектирования организационных структур / [любое другое описание сегмента]. Нам важно ваше экспертное мнение. Интервью займет от получаса до часа».

«%Имя%, добрый день. Мы заметили, что вы начали процесс регистрации в нашем сервисе, но не завершили его. Нам очень интересно узнать причины, чтобы сделать нашу платформу удобнее. Пожалуйста, уделите нам 20-30 минут вашего времени, чтобы рассказать, что пошло не так. Просто напишите нам ответное сообщение или запишитесь на интервью можно по ссылке [ссылка на Calendly]».

Хорошо работает микс нескольких каналов. Например, в одном образовательном проекте отправляли push-уведомление тем, кто забросил курс: «Привет, с тобой хочет поговорить [название компании]. Хочешь поучаствовать?». Если человек нажимал «да», его данные попадали к сейлзам, и сейлзы прозванивали каждого, приглашая на интервью.

Для B2B-продуктов

Общайтесь через менеджера клиента

Для B2B-аудитории очень важен личный контакт, поэтому к существующим клиентам лучше всего выходить через аккаунт-менеджеров, которые ведут их проекты. Можете написать примерный скрипт или объяснить задачу, для которой нужны респонденты, чтобы аккаунты сами договорились о встрече.

«%Имя%, добрый день. Мы хотим понять, какие функции платформы самые важные для наших клиентов и какие проблемы возникают при их использовании. Помню, что вы говорили, про аналитику заказов. Можете уделить полчаса-час для общения с нашим продакт-менеджером?»

Проводите дни открытых дверей, чтобы клиенты сами пришли к вам

Многим клиентам интересно, как устроена ваша компания изнутри, поэтому приглашение в офис может послужить мощным стимулом.

Кейс Ильи Лукьянкина

Когда нам нужно пообщаться с определенным сегментом клиентов, которые не соглашаются на интервью, мы иногда зовем их в офис компании. «Заманиваем» их экскурсией по офису — так респонденты чувствуют свою важность: нам настолько нужно узнать их мнение, что мы показываем им «внутреннюю кухню». Для нас это возможность изменить негативное мнение, если оно есть, а также провести с человеком сразу несколько интервью по разным направлениям. Как правило, мы собираем несколько человек сразу и каждого «проводим» по нескольким продактам. Называем такие дни «User day».

Особенности и кейсы рекрута респондентов в B2B

Теперь немного поговорим о том, чем отличается рекрутинг респондентов в B2B сфере.

Во-первых, если говорить о платных интервью, то корпоративным клиентам нужно платить в несколько раз больше, чтобы это их мотивировало. При этом многие из них готовы тратят время на интервью безо всякой оплаты, потому что сильно зависят от твоего продукта (если говорить о существующих клиентах) или когда из действительно сильно беспокоит проблема, которую ты хочешь решить. Они рассказывают более структурировано и по полочкам раскладывают что на что влияет.

У B2B респондентов часто мало времени, поэтому для личного интервью лучше приезжать к ним. Интервью на «их» территории хороши тем, что дают отличное понимание контекста, в котором бизнес существует каждый день. Многие исследователи представляют себе предпринимателей в центре Москвы и со смузи, а в реальности многие производства и склады находятся за пределами города, и попадание один раз в реальную обстановку дает гораздо больше информации, чем несколько онлайн-интервью—это все совершенно другие контексты, которые ты не сможешь представить себе, если в них не побываешь.

В целом рекрутинг B2B респондентов не сильно отличается от B2C. Их также можно найти:

• в социальных сетях—у многих специалистов достаточно публичные аккаунты, они состоят в профильных сообществах и часто пишут о работе
• на конференциях и митапах — здесь точно большая концентрация нужных контактов, и сразу есть что обсудить, т.е. заход уже не в холодную
• в B2B отлично работает нетворк и рекомендации. Если не знаете, к кому обратиться, подумайте про экспертов и лидеров мнений в этой отрасли и попросите у них совета. Как правило, в каждой среде сильно развиты профессиональные связи и обратившись к кому-то одному, вы легко выйдете на нужный вам сегмент.
• Не стесняйтесь просить тех, с кем вы уже поговорили, рекомендовать вам других респондентов. Лучше всего сработает, если вас представят—это сильно повышает конверсию. Такую просьбу лучше включить в скрипт интервью, чтобы не забыть.

К общению с B2B респондентами лучше готовиться тщательнее—отработать скрипт, убедиться, что вы спрашиваете все, что нужно—потому что они ценят свое время и уважают профессионализм. Да и в абсолютных значениях количество респондентов меньше.

В остальном, применяются все же принципы, что и в B2С.

Кейс Юрия Кисильчука

Нужно было найти респондентов для исследования мотивации в компании. Посты на личных страницах (facebook, LinkedIn) не дали никакого результата. Посты в тематических каналах в телеграм дали всего пару откликов. Когда стало понятно, что простыми способами не обойтись, Юрий составил список всех компаний, которые интересны для исследования и нашел их сотрудников в LinkedIn. Написал каждому сообщение с предложением поучаствовать в исследовании:

«%Имя%, добрый день! Меня зовут Юрий, я занимаюсь созданием новых продуктов. Сейчас я провожу продуктовые исследования на тему долгосрочной мотивации в различных компаниях. Мне очень интересен именно опыт сотрудников по этому вопросу. Могли бы вы уделить мне до 30 минут на общение в формате видеоинтервью?»

Писал респондентам в течение нескольких дней. По итогам из выборки около 50 человек удалось провести 13 интервью.

Кейс Алексея Вокуева

Для исследования учета рабочего времени нужно было провести интервью с ЛПР и руководителями диджитал-агентств. Для поиска использовали рейтинговые площадки, например, Тэглайн: выбирали подходящие компании, на сайте компаний находили основателей и руководителей, искали их в соцсетях или обращались по контактам, которые были на сайтах. Каждому писали личное сообщение:

Такой способ дал примерно 5-8% конверсии. Но многие их тех, кто не соглашался на интервью рекомендовал того, с кем можно поговорить:

Кейс Наталии Моклюк

Задача: найти несколько типов респондентов:

• ЛПРов, РОПов и собственников малого и среднего бизнеса которые пробовали не менее 2х CRM;
• экспертов и консультантов по автоматизации в среднем и малом бизнесе;
• экспертов в автоматизации процессов инфобизнеса;
• продюсеров и РОПов инфобизнеса тех кто занимается запусками.

Был бюджет, поэтому интервью для респондентов оплачивались.

Поиск в профильных группах в соцсетях не дал результатов, решили пойти на сайты вакансий—hh.ru. Искали резюме по ключевым словам, которые обозначали работу с той или иной CRM-системой. Затем связывались в мессенджерах или звонили. Подготовили скрипт и общались по этому скрипту:

Кейс Михаила Акрамова

Идея продукта: Система лояльности и геймификации на корпоративном портале?

Задача. Найти сегмент для которого будет актуален продукт. Продукт в B2B. Частично реализовано под внутренние нужды компании на MS SharePoint.

Подзадача: понять, нужно пилить продукт с нуля или можно строить на базе MS SharePoint.

Михаил начал с холодных звонков—провел 40+ холодных звонков, но это не привело к результату, «я выдохся, выгорел и отчаялся».

Михаил обратился в рекрутинговые агентства. В одном агентстве была озвучена цена от 1 млн рублей за все исследование под ключ, в двух других агентствах был предложен рекрутинг с ценником 14-16 тыс рублей за одного респондента, включая вознаграждение. Решили что дорого и страшно рисковать с небольшим бюджетом.

Тогда Михаилу пришла идея—запилить лендинг, с описанием продукта, приукрасив тем, что наиболее часто встречалось в ответах экспертов.Михаил сделал лендинг, провел 3 итерации UX тестирования лендинга [на UX тест люди ищутся заметно легче] прежде, чем он стал понятен пользователям. По оценке Михаила он получился емким, понятным и пробивающим на эмоции.

Михаил настроил рекламу в Яндекс Директ, Google Ads, Facebook. Самым эффективным каналом оказался Facebook (когда он еще работал нормально в РФ) и приводил несколько целевых респондентов которые оставляли номер телефона.

Это оказались ЛПР (представители и ТОП) менеджеры крупных компаний с целевым оборотом и проблемами, а также [БОНУС!] в большинстве случаев у них использовался MS SharePoint! Такое стечение обстоятельств позволило понять:

1. Спрос есть, отклик был 4-6 компаний в неделю
2. Есть проблема и компании готовы инвестировать время — компании соглашались на встречу и рассказывали о своих проблемах и соглашались на демо

Респондент, в итоге, обошелся в среднем в 6 тыс рублей, что было дешевле более чем в 2 раза, чем плата за респондента рекрутинговым агентствам, а респонденты были мотивированы и находили нас сами.

Особенности рекрутинга на зарубежных рынках

Кейс поиска Amazon-селлеров в США Шамиля Магомедова

Задача: найти американских продавцов на Амазоне с опытом продаж больше года—тех, кто имеет свой бизнес на площадке, или помогает при ведении бизнеса (агентства, фрилансеры, копирайтеры, ассистенты и т.д.).

Попробовали:

• Поиск в профильных группах в Фейсбуке. Очень мало откликов и почти все от русскоязычных пользователей
• Конференции. Изначально планировалось, что это будет один из главных каналов поиска, но была весна 2020 и все мероприятия отменили
• Пробовали форум самого Амазона: «Привет, я разработчик из [название компания], проводу исследование проблем, с которыми сталкиваются селлеры» и давали ссылку на Calendly. Получили всего пару откликов.
• Поиск LinkedIn. Сработал лучше всего. Писали всем подходящим людям, показанным по запросу «amazon sellers». Поскольку в LinkedIn много закрытых профилей, которым нельзя напрямую написать большое сообщение, сначала писали небольшое сообщение-приветствие, чтобы установить контакт: «Привет, я разрабатываю инструмент, который помогает амазон селлерам и хотел бы пообщаться, какие у вас есть проблемы». Протестировали несколько похожих сообщений, выбрали то, на которое откликались лучше всего. Если пользователь был готов установить контакт, писали личное сообщение с подробностями, и если человек соглашался — отправляли приглашение в Calendly. В итоге конверсия из холодных сообщений в интервью составила около 2%.

Кейс поиска респондентов в США (Илья Пухов)

Задача: назначить 20 интервью с целевыми потребителями в Америке для российской компании, которая продает услуги в области сельского хозяйства. Целевая персона—сертифицированный Кроп Адвайзер, работающий в Америке, при этом работающий с определенными культурами и специализирующийся по системам питания.

Решения:

• Попробовали LinkedIn. Поиск не дал результатов хороший результатов — стало понятно, что американские агрономы особо не пользуются LinkedIn.
• «Хакнуть лидогенерацию». Нашли агентство, сертифицирующее кроп адвайзеров, и обнаружили что на их сайте есть база данных всех сертифицированных специалистов. Сайт совершенно бесплатно позволяет посмотреть профили сертифицированных специалистов, часто с указанием номера телефона. Оставалось только прозвонить их и квалифицировать каждого, задавая вопросы: 1) …позвольте я уточню, вы работаете именно с зерновыми культурами — пшеница, кукуруза, ячмень, верно?… 2) …и вы разрабатываете стратегии питания для ваших клиентов, верно?…

Получили хорошую конверсию из звонков во встречи—около 50%.

Кейс поиска респондентов в Индии (Алексей Вокуев)

Задача: найти компании, которые использовали индийские CRM-системы.

Решения:

• LinkedIn. Поиск сотрудников по компаниям. Для скорости задачу поиска контактов на LinkedIn делегировали фрилансерам на биржах Upwork и kwork: найти респондентов, подходящих под определенные параметры и собрать в табличке их контакты. А уже сообщения писали непосредственно сотрудники компании.
• «Нанять местных». Для рекрутинга респондентов на зарубежных рынках можно нанимать местных жителей, особенно, если их рабочее время стоит дешевле. Они лучше знают местный рынок, особенности менталитета и часто им легче войти в контакт. Разместили в LinkedIn и на местных сайтах вакансий объявление о найме сейлзов. Набрали около 100 резюме, организовали общий звонок, где рассказали об условиях (нужно организовать созвон с такими-то людьми). Из 70 пришедших на звонок, на работу соглашается около 20, из тех, кто начнет, останется 5, кто готов работать.

Как составить приглашение, чтобы респонденты соглашались на интервью

Поставьте себя на место человека, с которым вы хотите поговорить: зачем ему это? Что он получит от общения с вами?

Есть множество людей, которые готовы потратить свое время на интервью с вами. Для этого у них есть несколько мотивов:

1. Эго-мотив—желание выступить экспертом, почувствовать важность своего мнения. Таким людям нужно говорить о важности их опыта для вас.
   • «Ваш экспертный опыт очень важен для нас», «Помогите нам разобраться в [тема исследования]», «Ваше мнение очень значимо», «Вы один из самых опытных пользователей нашего сервиса и нам важно узнать ваше мнение», «Как эксперт в [сфера или тематика] вы наверняка можете многое рассказать о [тема исследования]», «Мы читали вашу статью /слушали выступление о [тема] и нас очень заинтересовало [тезис, близкий к теме исследования]. Могли вы поговорить с нами об этом подробнее?».
   • Если результаты исследования пойдут в публичную плоскость, например станут частью исследования или статьи, можно предложить упомянуть человека: «По вашему экспертному комментарию мы подготовим исследование и укажем вас в числе соавторов», «Мы поставим ссылку на ваш профиль в публикации по итогам исследования» и т.д.
2. Узнать про продукт, который может лучше решать мою потребность. Если у человека есть потребность и он страдает с текущим решением—поговорить с человеком, который делает что-то, что может лучше удовлетворить мою потребность:
   • Один из признаков того, что вы делаете ценный продукт—если сообщением с приглашением на интервью вы попадаете в работу и проблему людей. Это видно на большей конверсии из сообщение в интервью. У экспертов, которые привлекают респондентов через Linkedin, есть эвристика, что если из десяти сообщений двое соглашаются пройти интервью—значит сообщение попало в работу и боль.
     • Эта мотивация больше подходит для B2B-продуктов, так как с B2B-продуктами инвестиция в нахождение решения лучше текущего проблемного окупается значительно сильнее, чем инвестиция человека в продукт для индивидуального использования.
3. Альтруизм, желание помочь. Прежде всего на запросы откликаются люди, для которых основной мотивацией является желание помочь. Им нужно обязательно рассказывать, кто ты, зачем ты это делаешь, куда это затем пойдет—чтобы человек понимал, как его «усилия» помогут изменить жизнь людей и конкретный продукт.
   • Работают такие фразы как: «Ваш опыт поможет нам стать лучше», «Хотим облегчить вам жизнь», «Хотим сделать вашу работу проще/быстрее/эффективнее», «Вы сможете повлиять на то, каким станет наш продукт», «Хотим сделать подбор персонала быстрее и удобнее» и т.д.
4. Получить плюшки за интервью—эта мотивация работает, если вы привлекаете респондентов платно или если другие мотивации не работают. Что тут может сработать:
   • Денежное вознаграждение за интервью или Amazon Gift Certificate [обычная практика для респондентов из США]
   • Сущесвтенная скидка на покупку продукта
   • «Вы получите X бонусных баллов в программе лояльности»
   • Бесплатный месяц-два-Y использования вашего продукта.
   • Ранний доступ к продукту
5. Интерес—классно проведённое интервью помогает человеку раскрыться, посмотреть на свою жизнь под другим углом, возможно узнать о себе что-то новое. В этом глубинные интервью немного напоминают психотерапевтическую сессию. Поэтому постарайтесь превратить интервью в интересный для двух сторон опыт.

Если вам предстоят интервью с респондентами, которых сложно найти (например, очень редкий и немногочисленный сегмент), лучше сделать домашнюю работу и заранее узнать мотивы, которые движут твоими потенциальными собеседниками — посмотреть соц.сети, что и как человек пишет о себе. Такая подготовка, конечно, требует больше времени, но зато значительно увеличивает конверсию.

Соедините несколько мотивов в своем сообщении, чтобы получить идеальный скрипт:

• Представьтесь и постарайтесь заинтересовать [чтобы было понятно, кто вы и какую интересную штуку вы делаете]
• Расскажите о ценности исследования [как оно улучшит жизнь респондента или других людей]
• Расскажите о ценности для респондента [что конкретно он может получить]: плюшки и/или узнает про продукт, который лучше решит его потребность
• Апеллируйте к эго-мотиву или альтруизму
• Опишите формат: очно или в онлайне, сколько времени займет и другие важные детали

Например:

• Эго-мотив: «У вас очень интересный опыт, я бы хотел про ваш опыт узнать побольше». Показываем, что человек важен и интересен
• Решим вашу проблему: «Мы делаем продукт, который поможет людям лучше %работа, которую вы выполняете%». Особенно хорошо заходит для b2b-шников
• Плюшки: «В благодарность за интервью мы дадим вам %плюшка вашего сервиса%»

Скрипт для поиска респондентов среди людей, кто писал посты в соцсетях про то как они покупали люксовую одежду

• «Добрый день, меня зовут Ваня Замесин, мы хотим помочь людям быстрее и проще покупать б/у брендовую одежду. Я увидел, что вы писали пост про свой опыт покупки б/у люксовой одежды, это было супер-интересно! Мы бы хотели побольше узнать про этот опыт.
• Вы готовы поговорить с нами 30 минут по зуму?
• В благодарность за интервью у вас будет 20% скидка на первые три покупки в нашем сервисе»

Недостаток информации о потенциальных клиентах – проблема, с которой сталкиваются многие компании. Запустить успешный продукт, не зная потребностей и мнения целевой аудитории, невозможно. Протестировать идею, доработать предложение, найти боли, выявить триггеры – всё это может сделать правильно проведённый опрос.

Самое сложное в организации исследования – добиться точности. Некорректные данные, полученные в результате обработки ответов, искажают картину и снижают эффективность будущих рекламных кампаний. Ошибки совершают даже учёные, посвятившие десятки лет изучению социальных процессов. Никто не застрахован от недочётов, но минимизировать их поможет глубокая проработка анкеты и корректно составленная выборка респондентов.

Виды выборок

Респонденты отбираются в зависимости от задач опроса. В первую очередь необходимо понять, чьё мнение сможет упростить решение проблемы, а после – определить тип выборки, подходящей для этой цели. В научных исследованиях распространены вероятностные методы:

• случайный отбор: используется при однородной генеральной совокупности – респонденты выбираются из общего списка рандомным образом;
• механический: логика та же, но список для выбора упорядочен по определённому критерию;
• стратифицированный: вся аудитория разбивается на несколько страт, из которых опрашивают по несколько человек;
• серийный: по смыслу похож на предыдущий метод, но здесь для анкетирования отбираются не отдельные люди, а целые группы.

Описанные виды выборки чаще используются в научных исследованиях. Для маркетинговых целей участников фильтруют по субъективным критериям. Самый популярный тип – отбор людей по квотам. В рамках этого метода людей разбивают на группы по социально-демографическим характеристикам. В каждой из них устанавливается требование по количеству релевантных респондентов.

Широко распространён и стихийный вид. Его логика заключается в том, что на вопросы отвечают все те, кто может это сделать. Для поиска труднодоступных категорий людей используется метод снежного кома, который в процессе анкетирования предполагает сбор контактов знакомых, подходящих под цели опроса.

Мало респондентов — много вопросов

Перед проведением опроса исследователь рынка сталкивается с двумя задачами: составлением выборки и созданием анкеты. Многие ошибочно думают, что результат целиком зависит от количественных факторов, стараясь задать как можно больше вопросов и опросить максимальное количество людей. В реальности всё зависит от содержательных параметров.

За качество отобранной аудитории отвечает репрезентативность. Этот параметр показывает, насколько корректно генеральная совокупность представлена в выбранной группе респондентов. Для создания репрезентативной выборки необходимо выделить важные для исследования характеристики людей и сегментировать ЦА по этим параметрам. Проведя эту работу, можно оценить, сколько человек необходимо опросить для получения объективных показателей.

Длина анкеты также не отражает её эффективность. Одни виды опроса предполагают большой список вопросов, а данные для других можно получить с помощью 2-3-х развёрнутых ответов.

Нужно ли много респондентов

Какое количество респондентов для опроса считать правильным? Этот вопрос вызывает сложности у многих исследователей рынка, поскольку от него зависят стоимость работы и результаты исследований. Многие убеждены, что масштабы выборки должны быть пропорциональны общей численности группы. На деле размер зависит от двух параметров:

• допустимой статистической погрешности;
• количества сегментов аудитории.

Результаты с точностью 90% дают репрезентативные группы в размере 100 человек. Свыше тысячи респондентов набирают крупные аналитические центры для проведения опросов по всей России. Таких масштабов требует только социологическое исследование, для маркетинговых целей разумнее сокращать количество для экономии бюджета. Увеличивать размеры опрашиваемой аудитории имеет смысл, когда сегменты сильно отличаются по социально-демографическим характеристикам.

Важные рекомендации

Чтобы анкетирование участников принесло пользу компании, необходимо поставить чёткие задачи исследования. Полученная информация должна помогать в достижении маркетинговых целей, поэтому при подготовке подробно опишите портреты клиентов, а затем переходите к организационной работе.

Проанализируйте:

• каким параметрам должны соответствовать респонденты, чтобы минимизировать случайные ошибки;
• где найти эту аудиторию и нужно ли делить её на группы;
• сколько человек требуется для воссоздания реальной картины;
• как убедить людей участвовать в опросе.

На последнем пункте часто совершаются ошибки. Нередко потенциальным участникам предлагается вознаграждение за заполнение анкеты. Однако этот подход не даёт объективных данных. Другая сложность, с которой сталкиваются организаторы – труднодоступная выборка. Достучаться до такой аудитории сложнее, поэтому при подготовке нужно подумать над мотивационными стимулами и продумать ситуацию, в которой объясняется необходимость их участия.

Как привлечь нужных людей

Анализ ЦА – полезный инструмент проработки мотивации для респондентов. Каждой группе нужна своя легенда, которая вовлечёт их и поможет получить честные ответы. Для сбора релевантных людей можно использовать соответствующие их характеристикам способы:

• Демонстрация важности: работает для рациональной аудитории, которой нужен смысл. Задача – объяснить необходимость опроса.
• Нацеленность на результат: человеку нужно понимать, в чём заключается цель исследования и для чего нужны его ответы. Задача – рассказать, какую проблему решает анкетирование.
• Нематериальное вознаграждение: здесь работает логика взаимопомощи – вы даёте что-то взамен. Задача – пообещать полезный бонус за честные ответы.

Процесс привлечения и мотивации определяет метод выборки. К каждому типу группы нужен свой подход. Для упрощения задачи сокращайте количество вопросов в анкете и говорите время, которое нужно потратить на ее заполнение. Если задача займёт всего 5-10 минут, то и возражений от респондентов будет меньше.

Распространённые ошибки

Правильная организация опроса не исключает ошибок в сборе аудитории, которые можно разбить на две категории: систематические и случайные.

Первый тип наиболее опасен, поскольку искажает результат. Обычно это происходит, когда вместо соответствующих целям исследования людей опрашиваются наиболее доступные респонденты. При таком способе происходит смещение выборки. Главная причина этой ошибки – способ проведения анкетирования. Например, вместо общего среза водителей опрашиваются только владельцы дорогих машин. Второй тип вызван статистической погрешностью. Её вероятность снижается с увеличением количества опрошенных людей.

Ошибки можно разделить также по источникам их возникновения:

• концептуальные – связаны с неверной гипотезой;
• процедурные – происходят от неправильной модели отбора;
• организационные – появляются на стадии реализации в результате работы исполнителей.

Для сокращения количества недочётов необходимо проводить опрос под строгим наблюдением. Исполнители должны быть заинтересованы в получении объективных данных.

Заключение

Корректно собранная выборка – это единственная гарантия точных результатов опроса. При этом главную роль играет содержательная работа, потому что корректность данных зависит не от количества участников, а от метода сбора информации. За отбором респондентов должен быть глубокий анализ аудитории, соответствующей маркетинговой задаче.

Перед запуском рекламной кампании принято проводить A/B-тестирование. Однако не всякий тест может считаться показательным. И первая ошибка – неверно определена репрезентативная выборка. Следствие такой ошибки – впустую потраченные деньги на запуск неэффективной рекламы.

Что такое репрезентативная выборка и как ее правильно посчитать, рассказываем в статье.

Что такое репрезентативная выборка 

С понятиями «генеральная совокупность» и «репрезентативная выборка» сталкиваются все, кто запускают A/B-тесты и хотят получить статистически значимые результаты. Ведь чаще всего провальные тесты случаются по двум причинам: маленькая выборка и недостаточный объем данных.

Для расчета репрезентативной выборки сейчас совсем не нужно знать сложные формулы и рассчитывать их вручную. Для этого есть удобные онлайн-калькуляторы (Optimizely, Mindbox, VWO) и методика SurveyMonkey.

Для работы со всеми перечисленными инструментами надо знать правила проведения тестов, оперировать основными понятиями и понимать, как работают инструменты расчета репрезентативной выборки.

Вот основные понятия, которые нужно знать для расчета выборки:

1. Генеральная совокупность. Вся группа людей, мнение/действия которых для нас имеют значение. Для рекламодателей это все люди, на которых распространяются результаты A/B-теста. Это может быть аудитория ремаркетинга, подписчики в социальных сетях, покупатели в оффлайн-магазинах или даже просто мужчины в возрасте от 25 до 40 лет;

2. Репрезентативная выборка. Определенный процент людей из генеральной совокупности, который будет проходить A/B-тестирование. То есть это часть нашей целевой аудитории;

3. Достоверность (уровень доверия). Этот показатель характеризует вероятность того, что выборка окажется значимой для отобранных результатов. Задается в пределах 80–99%. Если достоверность ниже 80%, то таким данным нельзя доверять. Чаще всего достоверность задают на уровне 95%;

4. Погрешность. Отображает уверенность в том, что полученные результаты характеризуют мнение (для контекста – поведение) генеральной совокупности. Допустимый процент ошибки в результатах. Обычно составляет от 1 до 10%. Наиболее часто используемый предел погрешности равен 5%.

Каждый из перечисленных онлайн-калькуляторов имеет свою специфику. Об этом мы расскажем ниже.

Читайте также нашу статью «A/B-тесты с низким трафиком – не миф, а реальность».

Выборка в тестах: зачем считать и что еще влияет на результаты

Перед запуском рекламной кампании принято запускать тестирование. Это позволяет определить наиболее эффективный вариант объявления. В объявлении может тестироваться любой элемент: заголовки, креативы, описания, расширения, CTA-кнопки и т. д.

Тестирование разных вариантов объявлений может проводиться для повышения кликабельности объявления, увеличения коэффициента конверсии. Однако, по данным AppSumo, значимые результаты дают только 1 из 8 тестов.

Правильное определение репрезентативной выборки для тестовых групп обеспечивает достоверные результаты по тестам. Ниже рассмотрим причины, по которым тест может не дать значимых результатов.

1. Недостаточно данных

Допустим, мы запустили тестирование двух вариантов объявлений с разными заголовками. Вечером получаем такие результаты:

По результатам первого дня может показаться, что текущее объявление работает более эффективно.

В этом случае у рекламодателя возникают такие вопросы:

• достаточно ли данных собрано в аналитике, чтобы делать выводы об эффективности текущего объявления;

• останавливать ли тест или продолжать эксперимент.

Нельзя делать выводы об эффективности кампании по нескольким десяткам переходов и паре кликов. Для принятия решения необходимо собрать достаточное количество аналитических данных.

Для определения размера нашей выборки воспользуемся онлайн-калькулятором Optimizely.

Проводим такие действия:

• указываем коэффициент конверсии по текущему объявлению. Допустим, 18%;

• задаем статистическую значимость на уровне 95%;

• указываем минимальное относительное изменение коэффициента конверсии, которое хотелось бы получить – 20%.

Расчеты показывают, что для получения статистически значимых данных выборка для тестируемой группы должна состоять из 1300 человек.

2. Неправильно поставлена гипотеза

Это еще одна распространенная причина получения непоказательных результатов тестирования.

Например, в ходе теста была выдвинута гипотеза, что новое описание в объявлении принесет больше трафика на целевую страницу и мы получим более высокую конверсию. Но в результате тестирования трех вариантов описания не было обнаружено значительной разницы.

В таких ситуациях возникает вопрос о том, как сделать тест показательным и улучшить результаты. Один из способов — заинтересовать целевую аудиторию. Для этого может быть недостаточно просто изменить описание в объявлении или заголовок. Нужны более значимые изменения. Можно поменять креатив или изменить торговое предложение (увеличить скидку, изменить цену, предложить покупателям рассрочку).

3. Выбрана не та метрика

Для получения значимых результатов важно выбрать только один показатель, который надо улучшить. Например, цель – повысить коэффициент конверсии к покупке для новых посетителей. Именно с учетом этого показателя и рассчитывают выборку большинство онлайн-калькуляторов.

Однако если данных по конверсиям недостаточно, то нужно ориентироваться на другие метрики. Например, на рост CTR. В таких случаях расчет выборки можно провести с помощью онлайн-калькулятора Mindbox.

С помощью Mindbox можно определить размер выборки для 2–5 вариантов тестирования по таким показателям:

• Open Rate. Отношение открытых за период писем к общему количеству доставленных писем;

• Click Rate. Кликнутые письма (были открыты хотя бы один раз) к общему количеству доставленных писем. По сути, для рекламных объявлений это CTR;

• Conversion Rate. Конверсия в заказы. Для объявлений рассчитывается как количество конверсий к общему количеству посетителей сайта;

• Конверсия в другие целевые действия.

Размер выборки напрямую зависит от выбранного тестируемого показателя и количества тестируемых вариантов.

Например, посмотрим, какой размер выборки понадобится нам при тестировании показателя Open Rate. При таких условиях: средний Open Rate – 15%, ожидаемый прирост показателя – 30%.

Получается, размер выборки для каждого варианта объявления составляет 2 224 человека.

А вот скольким людям надо показать объявление при тестировании показателя конверсия в заказы при средней конверсии по истории 5%:

Размер выборки для каждой тестируемой группы составляет 29 827 человек.

Вывод: чем ближе к деньгам, тем более показательны результаты. Поэтому все A/B-тесты измерялись бы по Conversion Rate. Но проблема в том, что чем ниже по этой воронке продаж, тем больше людей потребуется для проведения теста. Для расширения охвата и получения достоверных данных в этом случае надо ориентироваться на повышение показателя Click Rate или Open Rate.

Читайте также нашу статью «Конверсии в Google Analytics и Яндекс Метрике: ставим правильные цели».

Как определить размер выборки

Метод SurveyMonkey

Компания SurveyMonkey предложила метод определения репрезентативной выборки с учетом предела погрешности и уровня доверия.

Сделать это можно с помощью такой таблицы:

Методика расчета репрезентативной выборки состоит из пяти этапов. Показываем, как это сделать на примере интернет-магазина электроинструментов.

Исходные данные: магазин находится в Курске и хочет запустить рекламу для привлечения новых клиентов на сайт.

Перед запуском кампания проводит A/B-тест и тестирует два объявления с разными вариантами заголовков. Выдвигается гипотеза, что второй вариант объявления понравится целевой аудитории больше и по нему будет больше кликов и конверсий.

1 этап – определяем генеральную совокупность. Интернет-магазин собрал достаточно данных о покупателях. И знает, что их целевая аудитория – это мужчины в возрасте от 25 до 70 лет, которые живут в Курске и интересуются ремонтом, строительством, обустройством дома.

Для оценки приблизительного размера целевой аудитории воспользуемся myTarget. Эта платформа предоставляет гибкие настройки таргетинга и позволяет приблизительно определить рекламный охват, который мы и примем как генеральную совокупность.

В примере мы не будем запускать кампанию через myTarget, а просто используем его для определения размера ЦА. Подробнее о том, как запустить рекламу в системе, читайте в пошаговом гайде «Как настроить рекламу в myTarget».

Заходим в профиль myTarget. Выбираем цель – «Конверсии» – «Трафик», ниже указываем URL. Слева появится прогноз аудитории за 7 дней. По мере настройки таргетинга рекламный охват будет сокращаться.

Сократим рекламный охват. Для этого указываем такие настройки:

• пол – мужчины;

• возраст – 25–70 лет;

• география – Курск.

Уже после этих настроек размер аудитории сократится до 43 000 – 144 000 человек:

Указываем интересы. Потенциальные покупатели интересуются автомобилями, ремонтными и строительными работами, благоустройством дома:

Таким образом размер нашей целевой аудитории находится в пределах 34 000 – 108 000 человек.

2. Определяем точность теста. Для получения статистически значимых результатов рекомендуется устанавливать предел погрешности в районе 1–5%, а уровень доверия – 95–99%.

Например, мы поставили гипотезу, что пользователи чаще будут кликать по второму объявлению. Уровень погрешности принимаем 1%, значит, уровень доверия составляет 99%. Это означает, что фактически 98–100% пользователям второй вариант объявления понравится больше, чем первый.

3. Определяем размер выборки с помощью таблицы. Приблизительно наша генеральная совокупность составляет 100 000 человек. Подходящая нам выборка составляет – от 383 до 8763 человек. Для получения максимально значимых данных устанавливаем уровень доверия на уровне 99%. Поэтому остановимся на 660.

4. Прикидываем ожидаемую конверсию по объявлению. Средний показатель по предыдущим кампаниям составлял 12%. Поэтому принимаем CR = 12%.

5. Узнаем, скольким людям надо показать наши объявления, чтобы получить статистически значимые результаты:

660/0,12=5500 пользователям

То есть выборка для одного тестовой группы составляет 5500 человек. Мы тестируем два варианта объявления. Поэтому и второе объявление (при распределении аудитории 50/50) должно увидеть 5500 пользователей.

Optimizely

Сравним, насколько размер выборки, полученный методом SurveyMonkey, будет отличаться от результатов онлайн-калькуляторов.

Заходим в онлайн-калькулятор и задаем там такие значения:

1. Ожидаемую конверсию (Conversation rate). Берем средний показатель ожидаемой конверсии, учитывая предыдущий опыт. CR = 12% (как и в примере выше);

2. Минимальное относительное изменение конверсии после изменения заголовка объявления. Принимаем этот показатель на уровне 14%. Поскольку максимальный показатель конверсии по предыдущим кампаниям был 13,7% ((13,7/12-1)*100%=14%);

3. Уровень доверия. В предыдущем примере мы устанавливали его на уровне 99%. Для сравнения результатов также установим его на этом уровне.

Вводим все эти значения и получаем, что контрольная группа должна состоять из 5300 человек.

В результате мы получили почти такие же числа, как и методом SurveyMonkey. Только во втором расчете контрольная группа должна состоять из 5300 человек, а не 5500 человек.

Mindbox

Посмотрим, какой размер тестируемой выборки для нашего примера получится с помощью калькулятора Mindbox.

Вносим свои показатели в калькулятор:

1. Тестируемый показатель – конверсия в заказы;

2. Средняя конверсия по истории – 12%;

3. Количество вариантов тестирования – 2;

4. Ожидаемый абсолютный прирост конверсии – приблизительно 2%;

5. Достоверность – 99%. Этот показатель демонстрирует, какой процент уверенности в верности результатов теста, если он показал разницу;

• Мощность – 80%. Это процент уверенности в результатах теста, если он не показал разницу.

По результатам Mindbox размер выборки для каждой тестируемой группы должен составлять 6 166 человек. Это больше, чем мы получили по методу SurveyMonkey (5500 человек в контрольной группе) или с помощью калькулятора Optimezely (5300 человек). Однако цифры вполне сопоставимы.

По настройке Mindbox отличается от Optimezely следующими моментами:

• ожидаемый прирост конверсии в Mindbox указывается в абсолютных величинах, а в Optimizely – в относительных;

• указывается показатель мощности. В Optimezely этот показатель не учитывается;

• в Optimezely можно проследить изменения только по показателю конверсии. Mindbox же позволяет получить выборку для тестов, в которых тестируются показатели Click rate и Open rate;

• в Mindbox можно посчитать выборку для 2–5 тестовых групп. Optimezely не предоставляет такой возможности.

Таким образом, на примере мы показали как тремя способами посчитать размер репрезентативной выборки для тестовых кампаний.

Читайте также нашу статью «Оплата за конверсии в Яндекс.Директе: как подключить и настроить [и что может пойти не так]».

Основные сложности в тестах при расчете выборки

Недостаточное количество просмотров

Зачастую для получения статистически значимых результатов размер выборки должен составлять от 2000–3000 человек. И это большая проблема в том случае, если за неделю было всего несколько сотен переходов.

Один из вариантов сократить размер выборки – понизить уровень доверия в настройках онлайн-калькулятора до приемлемых величин (не ниже 80%). А если репрезентативная выборка определяется калькулятором Mindbox, то можно уменьшить еще и показатель мощности. В этом случае данные будут менее достоверными, но все еще не утратят своей статистической значимости.

Например, в Mindbox задаем уровень доверия 99% и мощность 98%. В результате размер выборки для одной тестируемой группы составляет 5 030 человек:

Понижаем уровень достоверности до 85%, а мощность до 80%. Остальные данные оставляем без изменений.

В результате требуемый размер выборки уменьшился почти в 5 раз. Это очень ощутимое сокращения с учетом низкого трафика по рекламе.

Узкая тематика

Основная проблема узкой тематики заключается в том, что всего несколькими десятками ключевых фраз можно описать все запросы, по которым пользователи ищут услугу. Отсюда и низкий трафик.

Решить проблему можно так:

• понизить уровень доверия при расчете выборки. Как это работает, мы описали выше;

• не запускать тест на конверсию в заказы. Для рекламы в узкой тематике эта метрика не подходит. При небольшом количестве переходов и уровень конверсии в заказы будет очень низкий. При этом для получения статистически значимых результатов надо показать рекламу большему количеству пользователей, чем при выборе показателя Click Rate.

Например, при средней конверсии по истории 3% размер выборки составит 18 273 человека:

Оставляем тот же уровень достоверности и мощности. В показателях выбираем Click Rate. Устанавливаем средний по истории показатель и ожидаемый абсолютный прирост:

Получаем, что выборка для одной тестируемой группы составляет 2213 человек. Это все равно очень много для узкой тематики. Поэтому понижаем достоверность и мощность:

Таким образом, изменение тестируемой метрики и уменьшение показателей достоверности позволило нам сократить размер выборки с 18 273 до 1200 человек.

Рекламироваться в узкой тематике сложно, но есть способы, позволяющие увеличить трафик по объявлениям. Подробнее об этом читайте в нашей статье «Реклама в узкой тематике: 9 советов по повышению эффективности».

Низкий бюджет

В условиях ограниченного бюджета у рекламодателя нет возможности тестировать каждый заголовок, креатив или текст объявления.

Вот советы, которые помогут сэкономить бюджет:

1. Сравнивайте разные объявления. На поступательное тестирование сначала заголовков, потом текстов объявлений, креативов и других элементов потребуется время и немалые бюджеты. Поэтому в условиях ограниченных средств лучше кардинально менять заголовки, тесты, креативы и сравнивать радикально разные варианты объявлений;

2. Используйте системы автоматизации. Если стоит цель сэкономить, то можно создать тестовые объявления самостоятельно, а не платить деньги специалистам. Это позволит высвободить дополнительный ресурс на тестирование большей выборки. Быстро составить объявления можно с помощью систем автоматизации.

Например, для составления объявлений по ключевым словам можно воспользоваться инструментом медиапланирования Click.ru. Он собирает семантику исходя из контента вашего сайта, слов конкурентов или данных счетчиков статистики. А потом на основании отобранных слов составляет объявления:

Вам остается только отредактировать их и запустить тестовые кампании.

Еще один вариант – использовать генератор объявлений из YML. Этот инструмент подходит интернет-магазинам, которые используют выгрузку товаров/услуг в XML.

Подробнее о том, как работать с генератором объявлений из YML, читайте в статье «Как быстро составить 1000 объявлений контекстной рекламы из YML-файла».

Высокий бюджет

При высоком бюджете открываются дополнительные возможности: можно тестировать отдельно разные элементы объявления, запускать больше тестов, настраивать не две, а три и более тестовых групп – в этом случае размер выборки увеличивается.

Вот какой размер выборки может быть при двух тестовых группах:

А вот размер выборки при тестировании трех групп (при этом остальные настройки остаются неизменными же):

Но при высоком бюджете важно помнить об эффективности мероприятий. Нельзя допускать того, чтобы затраты превосходили ожидаемый эффект от тестирования. Дополнительные средства можно перенаправить на SEO или другие каналы привлечения клиентов.

Советы по расчету выборки

Вот несколько рекомендаций, которые помогут правильно рассчитать репрезентативную выборку и получить показательное тестирование.

• Наберитесь терпения. Для получения результатов может потребоваться несколько тысяч посещений или 2 недели. Лучше тестировать более крупные изменения, чтобы не ждать небольших улучшений.

• Будьте последовательны. Определите, кто ваша целевая аудитория, кому показывать рекламу, чтобы достигнуть поставленных целей. Неверный таргетинг израсходует ваш тестовый бюджет и результаты по тестовым группам будут не показательны.

• Помните о правилах подсчета выборки. При расчетах устанавливайте высокий уровень достоверности данных. Помните, что уменьшение этого показателя приводит к снижению значимости результатов.

Помогаете клиентам запускать контекстную и таргетированную рекламу? Тогда для вас актуален вопрос эффективного управления кампаниями. Подключите аккаунты ваших клиентов к Click.ru и получайте по партнерской программе вознаграждение до 18%.