Как составить часть б в тесте

Тесты выполняют одновременно целый ряд функций:
1. Контролирующую;
2. Обучающую;
3. Развивающую;
4. Воспитывающую;
5. Диагностическую;
6. Прогностическую.

Тесты можно использовать как на любом этапе урока, так и так и при изучении
нового материала, его закреплении и обобщении и при итоговом контроле.

При изучении нового материала тесты применяются для организации
самостоятельной работы учащихся, при этом тестовое задание может не только
опираться на знания, полученными учащимися на предыдущих уроках, но иметь
поисковый, эвристический, проблемный характер.

При закреплении или проверки текущего материала используются тесты-минутки
рассчитанные на 10–15 мин урока и содержащие 5–10 вопросов.

При итоговом контроле тестирование проводится довольно часто, при этом тесты
охватывают материал по крупным блокам (определенную тему, раздел). Их выполнение
рассчитано на целый урок. Экзаменационный тест должен охватывать материал всего
курса географии России в 9 классе или экономической и социальной географии мира
в 10–11-х классах. Школьные экзаменационные тесты проводятся, как правило, в
течении 2 часов и содержат от 25 до вопросов и заданий.

Тесты пригодны как для фронтальной, так и для групповой и индивидуальной
работе учащихся. С помощью тестовых заданий и вопросов значительно проще
подобрать материал, для каждого конкретного ученика, соответствующий уровню его
развития, возрастным мотивационным особенностям.

Тесты можно использовать не только на уроке в классе, но и в качестве
домашнего Задания, в отдельных случаях можно предложить учащимся составить
тестовые задания, что научит ребят правильно формулировать вопросы, будет
способствовать формированию умений обобщать и анализировать полученные знания
применять их на практике.

Основными этапами любого тестирования являются:

1. Целеполагание т.е постановка конкретных целей перед тестированием и
   понятных учащимся.
2. Подготовка и сбор информации для составления теста, соответствующей
   школьной программе, учебникам и пройденному материалу.
3. Разработка и конструирование теста, т.е. выбор определенных видов
   тестовых вопросов и заданий с учетом определенных требований:
   надежность, точность, лаконичность;
   недопустимость применения двусмысленных вопросов;
   использование дополнительной литературы, энциклопедий, справочников для
   составления тестов и их решения допустимо лишь для специализированных
   классов и школ, а также для индивидуальной работы с сильными учащимися.
4. Подготовка участников тестирования заключается в мотивации, настрое и
   тренинге.
5. Непосредственно тестирование должно стать одним из видов учебной
   деятельности учащихся.
6. После проведения тестирования наступает обработка теста, т.е. проверка с
   помощью ключа
7. Итогом результатов тестирования должен стать анализ результатов.
8. Публикация результатов тестирования. Учащиеся должны быть ознакомлены с
   результата тестирования, они должны быть допущены к просмотру выполненных
   работ и имеют право на апелляцию.

При всем многообразии тестовых задании можно выделить всего четыре основных
группы тестов:

1. задание на выбор правильного ответа;
2. приведение в соответствие или классификацию объектов;
3. расположение объектов в определенном порядке;
4. “открытые” тесты, где необходимо вписать “пропущенные” слова.

Наиболее простыми при составлении и самыми распространенными видами тестовых
заданий являются тесты-определители, составленные по принципу вопрос – ответ.

1. Тесты – определители с одним правильным ответом.

Сложность данного типа тестового задания зависит, от количества указанных
ответов: два, три и т. д. Например: выделите страну, господствующей религией в
которой является ислам: 1. Ангола, 2. Италия, 3. Пакистан, 4. Канада, 5. Перу,
6. Фиджи.

Кооперирование – это:

а) выпуск предприятием соответствующей продукции;
6) сосредоточение на одном предприятии технологически последовательно связанных
производств;
в) сосредоточение предприятий на одной территории;
г) объединение предприятий с целью производства единой конечной продукции.

Ли6о наоборот: вопросом является определение, а ответом – само понятие.
Объединение предприятий с целью производства единой конечной продукции – это:

1. специализация;
2. комбинирование;
3. кооперирование;
4. концентрация.

Летом тропические ВМ господствуют:

1) в тропическом климатическом поясе;
2) в тропическом и субтропическом климатических поясах;
3) в тропическом, субтропическом и субэкваториальном климатических поясах.

3. Тесты – определители, где все ответы правильные.

Крупными производителями автомобилей являются:

1) Япония;
2) Западная Европа;
3)США;
4 )все указанные регионы.

В данном списке выделите два региона России, в которых нет городов –
миллионеров:

1. Центральный;
2. Дальневосточный;
3. Западно-Сибирский;
4. Центрально-Черноземный;
5. Волго-Вятский;
6. Северо-Кавказский.

Выделите объекты, относящийся к формам рельефа:

1) холм;
2) ветер;
3) песок;
4) равнина;
5) овраг;
6) гранит.

Выделите объект, не относящийся к Средней Сибири:

1) траппы;
2) Саяны;
3) Таймыр;
4) лиственница;
5) Путорана.

На какой из приведенных диаграмм верно указано соотношение суши и воды на
Земле:

В развитых капиталистических странах ввиду высокого уровня жизни наблюдается
высоки естественный прирост населения.

1)да; 2)нет.

Определите физико-экономический район России по данной характеристике:
занимает большую площадь территории, большая часть которой занята древней
платформой, преобладают плоскогорья, особенностью геологического строения
являются траппы, на большей части территории климат резко – континентальный, на
территории района находится “полюс холода; широко распространены мерзлотно –
таежные почвы и лиственничные леса.

1) Русская равнина;
2) Горы Южной Сибири;
3) 3аподно – Сибирская равнина;
4) Средняя и Севере – Восточная Сибирь.

По данной характеристике определите страну Европы: внутриконтинентальная
страна, федеративная республика, член ЕС, проводит политику постоянного
нейтралитета, столица является крупнейшим городом страны.

———————————————————————————————————

Ответ: Австрия

По списку типичных животных определите природную зону Африки (Горилла,
шимпанзе леопард, карликовый бегемот, окапи, птица – носорог):

1) влажные экваториальные леса;
2) средиземноморская;
3) саванны;
4) пустыни.

12. Определение объекта по списку других объектов без вариантов ответа.
По списку приграничных государств определите страну Азии (Исламабад, Пекин,
Дакка, Катманду).Ответ:

————————————————————————————————————-

Ответ: Индия

Приведите в соответствие горные системы и их геологический возраст:

Ответ: 1-в; 2-а; З-б

Приведите в соответствие формы рельефа и тектонические структуры:

Ответ: 1-в;2-а;3-б;4-д

15. Приведите в соответствие, подразумевающее вариативность правильных
ответов.
Приведите в соответствие климатические пояса и характерные для них ВМ:

Ответ: 1– а;2-а;3-а;4-а,б

16. Тесты на приведение в соответствие. В одном из столбиков есть “лишний”
вариант. Приведите в соответствие отрасли промышленности и факторы их
размещения:

Ответ: 1-б;2-г;3-а;4-б

В отличие от тестовых заданий, предполагающих необходимость самостоятельно
вписать верный ответ, в “открытых” тестах в отдельных случаях не “связан” одним
верным ответом, а имеет право самостоятельного выбора объектов, отвечающим
названным требованиям.

Вставить пропущенные слова. При данной постановке вопроса у тестируемого, как
правило нет самостоятельного выбора – необходимо вписать конкретные слова.
Вставьте пропущенные слова: Низменность – это вид ______, с ____ высотой до __
метров, (равнины, абсолютной, 2000.)

Самостоятельно вписать примеры – данный вид тестового задания подразумевает
полную свободу действий тестируемого.

Назовите три основных государства Азии:

————————————————————————————————

—————————————————————————————————-

на выбор: Бахрейн, Бруней, Кипр, Мальдивские о-ва, Сингапур, Тайвань, Шри –
Ланка, Филиппины, Япония.

Варианты ответов: Чехия, Швейцария, Норвегия, Маскат, Оттава, Берн, Осло,
республика, абсолютная монархия, государство Британского Содружества, унитарное,
федеративное.

Заполните схему, используя следующие слова:

1. Мировой океан;
2. болота;
3. ледники;
4. горные;
5. подземные воды;
6. реки;
7. покровные.
8. моря;
9. заливы.

21. Тесты, связанные с заполнением схемы без вариантов ответов.

Заполните схему:

Используя рисунок 60 на странице 96 (Суханов В.П. Физическая география. 6
класс.) или рисунок 80 на странице 144 (Герасимова Т.П. и Неклюкова Н.П.
География. Начальный курс.).
Определите, сколько выделится воды, если температура воздуха снизится с 20 С до
10 С при условии, что относительная влажность воздуха равнялась 100%: 1) 9 г; 2)
8 г; 3) 17 г.

Определите коэффициент увлажнения, если известно, что в городе Н испаряемость
равна 31 мм. и в течении года выпадает 488 мм. осадков:

Ответ 1,3

Тесты – классификаторы формулируются в виде набора определенных объектов,
и тестируемый должен провести их классификацию по указанному критерию или
выбрать критерий классификации самостоятельно. Данный вид теста наиболее удобен
для установления внутрипредметных или межпредметных связей.

Разделите горные породы, приведенные в данном списке, на три группы:
а) известняк; б) гранит; в) мрамор; г) базальт; д) туф; е) ракушечник; ж) гнейс;
з)галька; и) уголь; к) обсидиан; л) графит; м) доломит.

Проклассифицируйте указанные объекты по природным зонам России и результаты
занесите в таблицу: Лиственница, лемминг, ковыль, бурундук, ягель, песец,
соболь, дрофа, кедр, кролик.

25. Тесты на самостоятельную классификацию.

Сгруппируйте по языковым семьям народы России:

Русские, карелы, татары, осетины, якуты, украинцы, коми, буряты, башкиры,
удмурты.

В каждой паре подчеркните страну, расположенную севернее:

Норвегия – Дания;
Испания – Бельгия;
Чехия – Венгрия;
Швейцария – Германия.

Распределите горные страны по мере увеличения их высоты:

Гималаи – _____ 4
Уральские –____ 1
Альпы – ________2
Кордильеры – ____3

Укажите правильную последовательность причинно – следственных связей:

Развитие земледелия – __________ 4
Агроклиматические ресурсы – ___1
Географическая широта – _______2
Плодородие почв – ____________ 3

В данном списке выделите народ, отличающийся от остальных по религиозному
признаку: Русские, сербы, грузины, греки, поляки

В данном списке выберите ответ отличающийся от остальных: Гранит, базальт,
пемза, обсидиан, мрамор.

Формат тестов на установление соответствий позволяет учащимся связать слово, предложение или фразу в одном столбце с соответствующим словом, предложением или фразой во втором столбце. 

Элементы в первом столбце называются предпосылками, а во втором столбце  – ответами. Идея заключается в том, чтобы ученики сопоставляли предпосылку слева с заданным ответом справа. Как правило, элементы в левом столбце (A) пронумерованы, а элементы в столбце справа (Б) помечены заглавными буквами.

Многие инструменты для разработки тестов и современные LMS (в том числе и  «АнтиТренинги») имеют в своем функционале готовые шаблоны тестовых заданий на соответствие. Ученики  могут перетаскивать ответы из правого столбца, совмещая их в левом столбце с нужной предпосылкой, или вводить буквы из столбца Б в столбец A.

Когда использовать тесты на соответствие

Формат тестовых заданий на установление соответствия позволяет менять темп, особенно в рамках самостоятельной проверки и оценки деятельности. Они эффективны, когда вам нужно измерить способность учащегося идентифицировать связи или ассоциации между похожими предметами/категориями/понятиями. 

Данный тип тестов работает лучше всего, когда содержание курса имеет много параллельных концепций, например:

• Термины и определения
• Объекты или изображения
• Символы и имена собственные
• Причины и следствия
• Сценарии и ответы
• Принципы и сценарии, к которым они применяются

Правила создания тестов на соответствие

Если вы решили использовать данный формат тестов, найдите время, чтобы продумать и создать достоверные и надежные элементы.

Вот несколько рекомендаций:

1. Формулируйте тестовые вопросы из 2 частей

Ваши четкие указания в начале каждого вопроса должны состоять из двух частей: 

• как найти соответствие 
• основа для сопоставления ответа с предпосылкой

Вы также можете указать, можно ли повторно использовать элементы, но часто готовые шаблоны этого не позволяют.

Пример: перетащите каждое название профессии в столбце Б к лучшему определению в столбце A. Никакие элементы не могут использоваться более одного раза.

2. Параллельное содержание

В рамках одного тестового элемента используйте общий подход, например, все термины и определения или все принципы и сценарии, к которым они применяются.

3. Правдоподобные ответы 

Все варианты в столбце Б должны быть правдоподобными ответами на предпосылки в столбце А. В противном случае тест теряет часть своей надежности, потому что некоторые ответы будут слишком простыми и ученикам будет легче догадаться какие варианты верные.

4. Бестолковые и глупые варианты

Убедитесь, что ваши предпосылки не включают намеки через грамматику (например, подразумевающие, что ответ должен быть множественным числом) или намеки в выборе слова (например, использование самого термина в определении).

5. Больше ответов

В идеале вы должны подобрать больше ответов, чем предпосылок, чтобы остальные (лишние) ответы не работали как подсказки к правильному ответу. При использовании шаблона это не всегда возможно.

6. Ограниченное количество элементов в левом столбце предпосылок

Избегайте длинного списка предпосылок в левом столбце. Сократите их количество до 6 пунктов. Возможно в вашем случае лучшим вариантом будет даже меньшее количество, в зависимости от характеристик вашей аудитории.

7. Один правильный ответ

Каждая предпосылка должна иметь только один правильный ответ. На первый взгляд очевидная вещь, но проверьте несколько раз, чтобы убедиться, что каждый ответ работает только для одной предпосылки.

Преимущества и недостатки данного типа тестов

Формат тестов на установление соответствий позволяет охватить больше контента в одном вопросе, чем при множественном выборе. Поэтому он отлично подходит для периодической проверки знаний. 

Данный тип тестовых заданий также является очень эффективным подходом к тестированию и может обеспечить отличное объективное измерение. Кроме того, он дает возможность разнообразить ваше обучение и систему его оценивания.

Недостатком является тенденция использовать этот формат для простого запоминания информации. Взрослые учащиеся часто нуждаются в практике и проверке навыков мышления более высокого порядка, таких как решение проблем. 

Не ограничивайте использование этого формата только для актуализации знаний. Попробуйте найти способы использовать установление соответствий для анализа и практического применения. Например, представить краткий сценарий и запросить лучшее решение.

Будущее человека в школе, университете или во взрослой жизни частенько определяется тестами. В этой статье мы попытаемся раскрыть стратегию их решения и поделимся некоторыми секретами, которые вполне могут помочь сдать тесты, не зная предмета.

Основные стратегии

Тесты – один из способов проверки уровня знаний учащегося, который подразумевает необходимость выбора одного или нескольких правильных ответов. 

Рано или поздно каждого человека настигают промежуточные и выпускные экзамены по учебным дисциплинам, тестирование по правилам дорожного движения, экзамены на профессиональную квалификацию и так далее. Большинство из этих тестов разработаны по принципу выбора правильных ответов из нескольких вариантов. 

Однако частенько бывает так, что вы не знаете истинно верного ответа на вопрос и вынуждены гадать. Рассмотрим пять основных стратегий и одно «секретное оружие», которые помогут получить высокий результат за тест с вариантами ответов. 

Первый метод

Не следует «накидываться» на тестовое задание сразу же после того, как вы его получили. Также не стоит разбирать вопросы по одному в их изначальном порядке.

Соблюдайте следующий порядок действий:

• Сделайте глубокий вдох, а затем не спеша пробегитесь глазами по всему тесту, чтобы просто ознакомиться со всеми вопросами. 
• В процессе отвечайте на вопросы, на которые вы точно знаете правильный ответ. 
• Займитесь более сложными заданиями, но не тратьте на них слишком много времени. Самые трудные вопросы оставьте на конец. 

Ваша задача – дать как можно больше правильных ответов на вопросы, в которых уверены. Учеными доказано: когда вы бегло просматриваете весь тест, еще перед тем, как всерьез заняться его решением, в вашей голове уже «маячат» нерешенные вопросы. Это очень полезно по целому ряду причин.

• Во-первых, вы подсознательно начинаете обдумывать решение для самых сложных вопросов теста;
• Во-вторых, в тестах нередко попадаются вопросы, содержащие подсказки, а иногда даже полный ответ на другие вопросы этого же теста.

В любом случае, прежде чем приступать к решению тестовых заданий, сначала пробегитесь глазами по его вопросам и дайте ответы там, где это вам под силу. Затем начинайте «ломать голову» над более сложными заданиями.

Второй метод

Сначала отвечайте на сложные вопросы. 

В своей книге «Думай, как математик» Барбара Оакли охарактеризовала данную методику как «сначала сложное, а затем простое». Согласно ее выводам, сначала следует браться за решение сложных вопросов, выделяя на каждый из них по пару минут для размышлений. Но если ответ так и не приходит в голову, тогда следует продолжать двигаться дальше, оставив каверзные задания напоследок.

Согласно исследованиям, если какое-то время размышлять над трудным и серьезным вопросом, мозг человека концентрируется на нем и пытается решить его всеми силами. Если ответ не найден, то мы переходим к другому вопросу, но наше подсознание все еще продолжает пытаться решить предыдущую задачу. В результате, когда мы позже возвращаемся к решению этого вопроса, у нас будет больше шансов найти правильный ответ.

Третий метод

Читайте каждый тестовый вопрос как минимум дважды. 

Это очень полезный совет, поскольку в тестах очень часто встречаются вопросы с подвохом. Когда мы на экзамене, хочется как можно быстрее решить задания, так как кажется, что времени не хватит. Поэтому очень частая ошибка многих учащихся заключается в том, что они мельком читают вопрос и сразу же принимаются за разборку ответов.

Дело в том, что разработчики тестов стараются перехитрить студентов и разбавить стандартные задания каверзными вопросами. Рассмотрим некоторые из них:

• В тестах нередко можно встретить такой вопрос: Что из перечисленного не содержит «а», «б», или «с»? Если невнимательно прочитать задание, вполне можно легко пропустить частицу «не» и дать абсолютно неверный ответ. 
• Другие задания могут содержать сразу несколько правильных вариантов ответа, и ваша задача подразумевает выбор наиболее верного из них. 
• Также существует немало вопросов с вариантами выбора по такому типу: все перечисленное «верно» или «неверно». Оттого, насколько внимательно вы прочитаете и осмыслите задание, зависит правильный выбор.

Подводя итог, следует сказать, не стоит терять свою бдительность, поскольку невнимательность зачастую приводит к непоправимым ошибкам. Так что не ленитесь и перечитывайте задания как минимум дважды.

Четвертый метод

Закончив отвечать на вопросы, расположенные на одной странице, сразу же перепроверяйте ответы, а не откладывайте проверку до самого конца. 

Дело в том, что как только вы ответили на все вопросы, находящиеся на одной станице, информация, относящаяся к ним, еще очень свежа в голове. Поэтому быстро проверив свои ответы, вы значительно снизите вероятность того, что случайно пропустите одну глупую ошибку или какой-то очевидный нюанс, который может обеспечить высокую оценку за тест. 

Однако это не означает, что вам не следует проверять свои ответы еще раз после решения всех тестовых заданий. Наоборот, старайтесь всегда оставлять немного времени на финальную проверку. Добавив данную методику в свой арсенал, вы непременно сможете повысить шанс на получение достойной оценки.

Пятый метод

Если вам попался вопрос, ответ на который вы не помните или чувствуете, что он буквально «вертится на языке», но никак не приходит в голову, постарайтесь мысленно перенестись в то место, где вы впервые о нем услышали.

Исследования 1984 года показали, что люди быстрее вспоминают информацию, когда мысленно оказываются там, где впервые узнали о ней. Это может быть вузовская или школьная аудитория, ваша комната дома, библиотека или любое другое место. Ученые утверждают, что вызывая в голове образ места, где вы первый раз услышали о чем-то, вы активируете контекстно-зависимую память. Другими словами, людям проще вспоминать какую-либо информацию, находясь в том месте, где они впервые о ней услышали. 

Как сдать тесты, не зная предмета

Однако если ни одна из перечисленных методик не помогла или вам попался вопрос, на который вы не знаете ответа, либо не можете выбрать ответ методом исключения, тогда самое время применить «секретное оружие».

Уильям Паундстоун написал книгу «Камень ломает ножницы», которая является практическим руководством по получению выгоды от предсказуемого поведения окружающих и использования этого умения в обычной жизни. Люди, как правило, склонны придерживаться определенных закономерностей при осуществлении случайного или стратегического выбора. Автор разоблачает мифы, связанные с неверным пониманием случайности, и легко извлекает советы из психологии и поведенческой экономики, доказывая простоту и прибыльность прогнозирования.

Для своего исследования Уильям Паундстоун собрал более 100 различных тестов из колледжей, школ, автошкол, сети Интернет и других источников. В сумме у него оказалось около 2,5 тысяч вопросов. Проведя их статистический анализ, он вывел следующие закономерности.

Несколько вариантов ответа

Чаще всего в тестах правильный вариант находится в одном и том же варианте, в зависимости от количества ответов на вопрос. Статистические исследования показали следующее:

• В тестах с тремя вариантами ответа типа «а», «б» и «с» явных совпадений не наблюдалось.
• С четырьмя вариантами – верный ответ чаще всего скрывался в варианте «с».
• С пятью ответами предпочтение чаще всего отдается последнему варианту, реже – третьему.

Верно или неверно

В вопросах с ответами «верно» и «неверно», правильным ответом чаще всего бывает вариант «верно». После длительных проверок и подсчетов мистер Паундстоун вывел следующее:

• ответ «верно» был правильным в 56% случаев;
• вариант «неверно» оказался правильным лишь в 44%.

​

Незначительная закономерность

Также мистер Паундстоун вывел незначительную закономерность, которая может помочь найти правильный ответ, но с маленькой вероятностью. Любой последующий правильный ответ с более чем 50% вероятностью будет отличаться от предыдущего правильного варианта. 

Например: вы абсолютно уверены в ответе «с» на конкретный вопрос, но не знаете решения на следующее за ним задание или же теряетесь между выбором «с» или «д». Скорее всего, правильным ответом будет вариант «д». Проверьте на практике, пройдите несколько тестов в Интернете, и, уверяю, вы будете приятно удивлены.

Так что, если вы перепробовали всевозможные приемы, но все еще затрудняетесь с ответом, то воспользуйтесь «секретным оружием», но старайтесь не злоупотреблять им. В любом случае, ваш успех на любом тесте с выбором правильного варианта главным образом зависит от уровня вашей подготовки и имеющихся знаний. 

А/В-тест — это всегда сравнение двух вариантов продукта. Например, двух дизайнов интерфейса или стилей рекламного баннера. Когда проводят А/В-тест, аудиторию делят на две группы. Первой показывают старый вариант продукта, второй — новый. После эксперимента берут данные о поведении обеих групп и сравнивают их. Сравнение можно провести на глаз, но лучше использовать специальные статистические тесты. Они помогут удостовериться, что разница между поведением пользователей в двух группах — не результат случайного стечения обстоятельств, а объективная реальность.

Чаще всего А/В-тесты используют в маркетинге — там их провести проще всего. Одной части аудитории показывают основной вариант креатива, а другой — альтернативный. В продуктовом менеджменте А/В-тесты используются реже, потому что требуют дорогостоящих доработок продукта.

Какие задачи можно решить с помощью
А/В‑тестирования

1. Протестировать новую функцию.
Например, алгоритм рекомендаций ресторанов в приложениях по доставке еды. Допустим, старый алгоритм не учитывает историю заказов пользователя, а новый — учитывает. Продуктовая команда показывает группе А рекомендации старого алгоритма, а группе В — рекомендации нового и смотрит, в какой чаще заказывали еду. Дизайн продукта при этом одинаковый, меняются только предложения.

2. Выбрать эффективный креатив.
К примеру, разные дизайны баннеров или видеорекламы. А/В-тест с креативами можно настроить и отследить в рекламном кабинете или системе аналитики. Для этого нужно запустить две кампании со старым и новым баннером и посмотреть статистику.

В приложении для доставки еды можно протестировать дизайн рекомендаций ресторанов. Например, разработать разные варианты плашек с рекламой, разместить их в интерфейсе и посмотреть, какой дизайн больше привлёк пользователя.

Примеры

Разберём один A/B-тест и три его возможных результата.

Задача — добавить в приложение новую функцию

В приложении-агрегаторе можно узнать информацию о рейсах — сколько лететь, где пересадки, какая погода в городе прибытия. Продуктовые менеджеры решили добавить новые функции и проводят A/B-тест.

На этапе подготовки теста обычно генерируют много разных идей и пытаются заранее оценить, какая из них самая удачная, готова ли команда потратить месяц на разработку и нужно ли вообще проводить тест.

Продуктовые менеджеры решают добавить в приложение онлайн-регистрацию на рейс. Инструмент выглядит многообещающе: пользователю не понадобятся другие сервисы, чтобы планировать перелёты.

Провести A/B-тестирование

После запуска аналитик должен убедиться, что тест идёт корректно — пользователи распределяются по группам, как планировалось. В тесте могут быть ошибки. Например, один пользователь попадает сразу в две группы. В этом случае аналитик останавливает тест, чтобы разобраться в проблеме. Изучает данные по действиям каждого пользователя в двух вариантах приложения и смотрит, где алгоритм мог неверно их обработать. Обсуждает с разработчиками, как исправить ошибку и запуститься снова.

Если данных набралось достаточно, тест тоже могут остановить раньше запланированной даты и перейти к анализу результатов.

Проанализировать результаты

1. Пользователи стали чаще проводить время в приложении.
Обычно продуктовый менеджер формулирует гипотезу, опираясь на свой опыт. Если тестирование прошло успешно, значит, команда тщательно изучила рынок и конкурентов, проанализировала прошлые проекты и придумала действительно полезную функцию.

2. Ничего не изменилось.
В этом случае функцию просто добавляют в приложение. Она не улучшила его, но и хуже не стало. Такой результат получается по итогам большинства А/В-тестов.

3. Снизилась продолжительность сессий, возросло количество отказов.
Не все A/B-тесты заканчиваются удачно. С таким результатом пользователям возвращают старую версию приложения и анализируют, в чём может быть проблема. Например, функция негативно влияет на производительность продукта — замедляет время загрузки страницы на 1 секунду. Даже такая небольшая задержка может снизить важные показатели на 10–15%.

Инструменты для анализа и проведения A/B‑тестов

Удобнее всего анализировать А/В-тест с помощью языка программирования. Чаще используют Python или R. Если аналитик хорошо понимает, как работают статистические тесты — z-тест, t-тест и тест Манна-Уитни, то он может проанализировать результаты А/В-теста даже с помощью простых инструментов, например статистических онлайн-калькуляторов вроде Mindbox или Excel.

Методические рекомендации по составлению тестовых заданий

1. При создании тестов для проверки остаточных знаний по соответствующей дисциплине или для проверки итоговых знаний обучающегося/студента на основании программы дисциплины определяется область содержания теста и цели тестирования.

План теста (Приложение 1) для промежуточного контроля знаний должен охватывать знания, умения и навыки по одной или нескольким дидактическим единицам, для итоговой аттестации – по всем дидактическим единицам дисциплины в соответствии с программой дисциплины, для проверки остаточных знаний по всем дидактическим единицам дисциплины в соответствии с ГОСом по профессии/специальности.

2.  Содержание теста должно соответствовать содержанию учебной дисциплины. Задания теста должны в правильной пропорции охватывать все важные аспекты области содержания.

3.   Необходимо включение в тесты только наиболее важных, базовых знаний, выражающих сущность, содержание, законы и закономерности рассматриваемых явлений. Все спорные точки зрения, допустимые в научном споре, следует исключить из тестовых заданий.

4.       Каждый учебный элемент должен иметь некоторую усредненную меру трудности, которую необходимо учитывать в процессе контроля знаний.

1. При разработке плана тестовых заданий по дисциплине делается примерная раскладка процентного содержания разделов и определяется необходимое число заданий (но не менее 3-х) по каждому разделу дисциплины (по каждой дидактической единице) исходя из его важности и числа часов, отведенных на его изучение в программе.

2. Общие рекомендации к тестовым заданиям

Содержание тестового задания должно быть ориентировано на получение от тестируемого однозначного заключения.

Основные термины тестового задания должны быть явно и ясно определены.

Тестовые задания должны быть прагматически корректными и рассчитаны на оценку уровня учебных достижений студентов по конкретной области знаний.

Тестовые задания должны формулироваться в виде свернутых кратких суждений.

В содержании тестового задания определяющий признак должен быть необходимым и достаточным.

Следует избегать тестовых заданий, которые требуют от тестируемого развернутых заключений на требования тестовых заданий.

При конструировании тестовых ситуаций можно применять различные формы их представления, а также графические и мультимедийные компоненты с целью рационального предъявления содержания учебного материала.

Количество слов в тестовом задании не должно превышать 10-12, если при этом не искажается понятийная структура тестовой ситуации. Главным считается ясное и явное отражение содержания фрагмента предметной области.

Среднее время  на тестовое задание не должно превышать 1,5 минуты.

1. Рекомендуется соблюдать следующие параметры тестов:

Соответствие содержания тестовых заданий государственному образовательному стандарту по учебной дисциплине (базовая часть тестовых заданий –70%- 85%), а также включение дополнительных тестовых заданий (вариативная часть  тестовых заданий – 15%-30%).

Необходимо проводить подбор заданий, комплексно отображающих основные темы учебной дисциплины.

Тестовые задания по конкретной учебной дисциплине должны наиболее полно отображать ее содержание и ключевые понятия, чтобы иметь качественную объективную оценку знаний студентов. Включение в тест второстепенных элементов содержания может привести к неоправданным выводам о знании или незнании учебной дисциплины.

Необходимо соблюдать пропорции в количестве тестовых заданий по темам учебной дисциплины.

Необходимо проверять соответствие  содержания тестовых заданий знаниям, навыкам и умениям, оцениваемым у студентов.

В каждом тестовом задании необходима определенность, логичность, отсутствие некорректных формулировок, выделение одного предмета измерения  (ключевого  понятия,  термина,  правила,  определения  и  т.д.).

1. Спецификация теста включает:

Цель создания теста, обоснование выбора подхода к его созданию,  описание возможных сфер его применения.

Перечень нормативных документов (базисных программ, требований к уровню подготовки выпускников и др.), используемых при планировании содержания теста.

Количество заданий различной формы с указанием числа ответов к закрытым заданиям, общее число заданий в тесте.

Вес каждого задания, рекомендуемый автором теста.

Рекомендуемое время выполнения теста, среднее время выполнения одного задания с учетом специфики формы.

Охват требований государственных образовательных стандартов по дисциплине.

1. Рекомендации к формулировкам тестовых заданий

Основными элементами тестового задания являются инструкция,  задание (содержательная часть), ответы к заданию.

Инструкция к тестовым заданиям определяет перечень действий  при прохождении тестирования. Она должна быть адекватна форме и содержанию задания («укажите правильный ответ (ответы)», «установите соответствие», «определите правильную последовательность», «введите правильный ответ»).

Используемая терминология не должна выходить за рамки основных учебников и нормативных документов.

Содержательная часть задания не должна включать элементы инструкции.

Содержательная часть задания формулируется в логической форме высказывания, а не в форме вопроса; в ней не должны быть двусмысленные и неясные формулировки, вводные фразы, двойное отрицание, оценочное суждение, выясняющее субъективное мнение испытуемого.

Все повторяющиеся слова должны быть исключены из ответов и вынесены в содержательную часть задания.

В содержательной части и в ответах необходимо исключить слова «большой, небольшой, много, мало, меньше, больше, часто, всегда, редко, никогда …».

Все варианты ответов должны быть грамотно согласованы с содержательной частью задания, однообразны по содержанию и структуре, равнопривлекательны. Между ответами необходимы четкие различия. Правильный ответ однозначен и не должен опираться на подсказки.

Среди ответов должны отсутствовать ответы, вытекающие один из другого.

В варианты ответов нельзя включать формулировки «все перечисленное выше», «все утверждения верны», «перечисленные ответы не верны»,  так как такие ответы нарушают логическую конструкцию тестового задания или несут подсказку.

Число тестовых заданий с отрицанием должно быть минимальным. При этом частица «не» выделяется жирным шрифтом.

1.     Виды и типы тестовых заданий. Их особенности, преимущества и недостатки

Существуют два типа заданий, которые объединяют шесть видов

Схема 1. Типы и виды тестовых заданий

К заданиям открытого типа относятся два вида – задания дополнения и задания свободного изложения. Их отличительной особенностью является то, что для их выполнения ученику необходимо записать одно или несколько слов (цифр, букв, словосочетаний, предложений).

Задания закрытого типа (альтернативных ответов, множественного выбора, восстановления соответствия и восстановления последовательности) предусматривают различные варианты ответа на поставленный вопрос: из ряда предлагаемых выбираются один или несколько правильных ответов, выбираются правильные (или неправильные) элементы списка и др. Эти задания предполагают наличие ряда предварительно разработанных вариантов ответа на заданный вопрос.

Задания закрытого типа

1. Задания альтернативных ответов.

К каждой задаче альтернативных ответов дается только два варианта ответов. Испытуемый должен выбрать один из них – “да – нет”, “правильно – неправильно” и др. 

Форма задания

…        …        

Инструкция для задания альтернативных ответов: Вам необходимо выбрать один вариант ответа, который Вы считаете правильным.

Задания альтернативных ответов в большей степени подходят для выявления уровня овладения сложными определениями, знания достаточно сложных графиков, диаграмм, схем и др.Особенностью заданий альтернативных ответов является то, что вопрос должен быть сформулирован в форме утверждения, поскольку он предполагает согласие или несогласие, которое можно отнести к утверждению.

2. Задания множественного выбора.

Это основной вид заданий, применяемый в тестах достижений. Задачи с множественным выбором предполагают наличие вариативности в выборе. Испытуемый должен выбрать один из предложенных вариантов, среди которых чаще всего только один правильный.

Рекомендации к заданиям с выбором ответа

1. В тексте задания должна быть устранена всякая двусмысленность или неясность формулировок;

2. Основная часть задания формулируется очень кратко, не более одного предложения из семи-восьми слов;

3. Задание должно иметь предельно простую синтаксическую конструкцию;

4. В основную часть задания включается как можно больше слов, оставляя для ответа 2-3 ключевых слова для данной проблемы;

5. Все ответы к одному заданию должны быть примерно одной длины, либо в некоторых заданиях правильный ответ может быть короче других;

6. Из текста должны быть исключены все ассоциации, способствующие выбору правильного ответа с помощью догадки;

7. Частота выбора одного и того же номера места для правильного ответа в различных заданиях должна быть примерно одинакова;

8. Из ответов исключаются все повторяющиеся слова за счет ввода их в основной текст заданий;

9. В ответах не рекомендуется использовать слова «все», «ни одного», «никогда», «всегда», «ни один из перечисленных», «все перечисленные», т.к. в отдельных случаях они способствуют угадыванию правильного ответа;

10. Из числа неправильных должны исключаться ответы, вытекающие один из другого;

11. Из числа тестовых должны исключаться задания, содержащие оценочные суждения или мнения испытуемого по какому-либо вопросу;

12. Все варианты ответов должны быть равновероятно привлекательны для испытуемых;

13. Ни один из вариантов ответов не должен являться частично правильным, превращающимся при определенных дополнительных условиях в правильный;

14. Основная часть задания формулируется в форме утверждения, которое обращается в истинное или ложное высказывание после подстановки ответов;

15. Ответ на одно задание не должен служить ключом к правильным ответам на другие задания теста, т.е. не следует использовать дистракторы из одного задания в качестве ответов к другим заданиям теста;

16. Если задание содержит среди прочих альтернативные ответы, не следует сразу после правильного приводить альтернативный ответ, так как внимание отвечающего обычно сосредотачивается только на этих двух ответах;

17. Все ответы должны быть параллельны по конструкции и грамматически согласованы с основной частью задания теста.

Форма предоставления заданий множественного выбора:

Вопрос (утверждение):

A. Вариант ответа 1

B. Вариант ответа 2

C. Вариант ответа 3

Инструкция для заданий множественного выбора: Выберите букву (ы), соответствующую (ие) варианту (ам) правильного (ых) ответа (ов). 

3. Задания на восстановление соответствия.

К заданиям данного типа относятся задания на восстановление соответствия между элементами двух списков, порядка ряда. Состоит из двух групп элементов и четкой формулировки критерия выбора соответствия между ними. Соответствие устанавливается по принципу 1:1 (одному элементу первой группы соответствует только один элемент второй группы) или 1:M (одному элементу первой группы соответствует М элементов второй группы). Внутри каждой группы элементы должны быть однородными. Количество элементов во второй группе должно превышать количество элементов первой группы, но не более чем в 1,5 раза. Максимально допустимое количество элементов во второй группе не должно превышать 10. Количество элементов в первой группе должно быть не менее двух.

Форма представления заданий на восстановление соответствия:

Инструкция: Соотнесите написанное в столбцах 1 и 2.

Вопрос:

Варианты ответа:

Ответ: А. 3.  Б. 2.  В. 5.  Г. 1.  Д. 4.

Главными преимуществами заданий этого вида являются: возможностью быстрой оценки знаний, умений и навыков в конкретной области знаний, и экономичность размещения задач в тесте. 

4. Задания на восстановление последовательности

Задания на восстановление последовательности можно рассматривать как вариант задания на восстановления соответствия, когда одним из рядов является время, расстояние, или иной континуальный конструкт, который подразумевается в виде ряда.

Задания на восстановление последовательности – это очень качественная форма тестовых заданий, обладающая значительными преимуществами: краткостью, простотой проверки.

Задание.

Инструкция: Расположите в правильной последовательности.

Вопрос.

Варианты ответа.

1. А.

2. B.

3. С.       …….                             Ответ: 1. А. 2. D. 3. В. 4. Е. 5. С. 6. F.

Преимущества заданий закрытого типа

Задания могут быть надежны, поскольку отсутствуют факторы, связанные с субъективными оценками, которые снижают надежность.

Оценивание заданий полностью объективно: между оценками различных проверяющих не может быть различий.

Не учитывается умение испытуемых хорошо формулировать ответы.

Задания этого типа легко обрабатываются, тестирование быстро проводится.

Простой алгоритм заполнения снижает количество случайных ошибок и описок.

Эти задания позволяют охватить большие области знания, что для тестов достижений особенно важно.

Возможна машинная обработка ответов.

Низкая вероятность угадывания правильных ответов.

Возможно получение точной оценки содержательности теста, что особенно важно для определения соответствия теста целям исследования

Задания открытого типа

Требует сформулированного самим тестируемым заключения на требования задания. Имеет вид неполного утверждения, в котором отсутствует один или несколько ключевых элементов. В качестве ключевых элементов могут быть: число, слово или словосочетание. При формулировке задания на месте ключевого элемента, необходимо поставить прочерк или многоточие. Отсутствующий элемент (правильный вывод) в задании открытой формы вводит тестируемый  на месте прочерка и/или в специальном поле, хорошо видимом испытуемым.

К ним относятся задания двух видов:

1) дополнения (задачи с ограничением на ответы). В этих заданиях испытуемые также самостоятельно давать ответы на вопросы, однако их возможности ограничены.

Ограничения обеспечивают объективность оценивания результата выполнения задания, а формулировка ответа должна дать возможность однозначного оценивания.

Инструкция для заданий дополнения: вместо многоточия впишите только одно слово (символ, знак и т.д.).

Пример задания дополнения.

Инструкция: Вместо многоточия впишите только одно слово.

Вопрос: Фирма, предоставляющая сетевые услуги – это …

Ответ: провайдер.

2) Свободного изложения или свободного конструирования. Они предполагают свободные ответы испытуемых по сути задания. На ответы не накладываются ограничения. Однако формулировки заданий должны обеспечивать наличие только одного правильного ответа.

Инструкция для заданий свободного изложения: закончите предложение (фразу), впишите вместо многоточия правильный ответ (словосочетание, фразу, предложение или несколько предложений).

Пример задания свободного изложения.

Инструкция: Закончите предложение.

Вопрос: Специальная программа, реализующая правила передачи информации между компьютерами – это … …

Ответ: сетевой протокол.

Трудность в применении этого вида задач заключается в сложности с формализацией ответов, необходимость подготовки оценочных схем затрудняет стандартизацию, громоздкость процедуры и большие затраты времени на проведение.

Основная трудность при составлении заданий открытого типа – соблюдения основного требования к тестовым заданиям (наличия однозначного правильного ответа).

Положительными сторонами хорошо составленных заданий дополнения и свободного изложения являются:

1) невозможность угадать ответ;

2) краткость и однозначность ответов;

3) необходимость воспроизведения ответа по памяти;

4) отсутствие необходимости искать несколько вариантов ответа;

5) простота формулировки вопроса;

6) простота проверки.

1.    Критерии выставления оценки

Оценка «удовлетворительно» ставится, если обучающийся/студент ответил на от 55 до 70% вопросов. Оценка «хорошо» ставится, если обучающийся/студент получил от 71 до 85%. Оценка «отлично» ставится, если обучающийся/студент получил 86% и более.

Приложение 1 Пример плана теста

*Примечание. Виды тестовых заданий:

1 — задания с выбором одного или нескольких правильных ответов;

2 — задания открытой формы, т. е. без указания ответов (дополнения и свободного изложения)

3 — задания на установление соответствия

4 — задания на установление правильной последовательности

5 – задания альтернативных ответов