Плюсы и минусы тестирования. Плюсы и минусы тестирования специалистами. Проективные тестовые методики. Общая характеристика

Оценка персонала была и остается одним из важнейших элементов системы управления персоналом: без оценки невозможно обойтись ни при подборе персонала, ни при аттестации, создании кадрового резерва, ротации кадров. Часто от эффективности оценки персонала зависит эффективность работы всей HR-системы. Эффективность же оценки персонала напрямую зависит от адекватности используемых методов и подходов. Всегда ли тестирование, столь модное в начале 90-х годов, является тем самым адекватным методом?

В свое время, когда HR-менеджмент в нашей стране делал первые шаги, большинство менеджеров по персоналу набиралось из психологов, которые напрямую перенесли с собой в новую область деятельности привычные по научной деятельности методы работы - тесты. Это вполне понятно - ничего другого в те времена не знали и не умели, информация о западных технологиях работы с персоналом просачивалась «в час по чайной ложке», свои методики наработаны еще не были.

Чтобы поддержать свой авторитет и не потерять работу, некоторые психологи при приеме на работу давали кандидатам на заполнение батареи клинических тестов по 300–600 вопросов каждый. Впечатление, конечно, такой отбор производил неизгладимое. Как на кандидатов, так и на работодателей. Да и на самих «менеджеров по персоналу». К тому же на выходе - «объективные» данные. Видимо оттуда и берет начало миф о всесилии тестов.

К сожалению, это только миф. Применение тестов в научных целях имеет ряд ограничений, применение же тестирования в бизнесе ограничено вдвойне.

Традиционно к достоинствам тестирования относят стандартизированность методик, наличие нормативного результата, его воспроизводимость. Считается, что данные, полученные при тестировании, являются объективными. Также на многих руководителей производит впечатление наукообразность процедуры оценки в случае тестирования.

Однако почти все эти достоинства имеют «обратную сторону медали». Начнем со стандартизованности. Далеко не все методики, используемые менеджерами по кадрам, являются действительно стандартизованными (проверенными на большой, референтной выборке, подтвердившей, что для людей с одинаково выраженной тестируемой чертой результаты теста будут одинаковыми), очень часто в кадровой работе используются любительские и научно-популярные тесты. Более того, стандартизация сама по себе еще не является гарантией качества: как правило, тесты проходят стандартизацию на студентах, а никто не может гарантировать что норма, скажем, тревожности у студентов, бухгалтеров и, например, таможенных брокеров будет одна и та же.

Объективность данных, полученных путем тестирования, также может быть подвергнута сомнению. Большинство тестов, используемых в оценке персонала, являются опросниками, далеко не все из них снабжены шкалой лжи. Основная масса этих опросников была сконструирована в исследовательских целях, тестирование проходило добровольно, либо по инициативе обследуемого, поэтому шкала лжи не предусматривалась, или была слабо защищена: обследуемым незачем было лгать. Поэтому для человека с высшим образованием (а значит достаточно высоким уровнем интеллекта) «обойти» такой тест - не проблема, особенно если от успешности прохождения теста зависит, примут ли его на перспективную работу.

Кроме того, громоздкие опросники требуют много времени на заполнение, обработку и интерпретацию. Естественно, что человек, тратящий много времени и труда на заполнение тестов, начинает испытывать раздражение по отношению к компании и людям, подвергшим его такому «испытанию». Как следствие - портится имидж фирмы, снижается лояльность сотрудников.

По большому счету, психологическое тестирование в кадровой работе имеет смысл в двух случаях: при оценке профессиональной пригодности специалистов ряда областей, предъявляющих особые требования к познавательным функциям (внимание, память, мышление, эмоциональная сфера и др.) профессионала (бухгалтер, диспетчер, пилот и др.) и при большом потоке (массовый набор или аттестация однотипных специалистов), когда необходима скорость оценки и большое значение приобретает возможность сравнивать результат.

В то же время, многие характеристики, пользующиеся большим спросом на рынке труда (корпоративность, лояльность, конструктивность, ориентация на клиента и пр.) не могут быть достоверно выявлены с помощью тестов. А уж определить, впишется ли кандидат в организационную культуру компании никакими методиками, кроме наблюдения и беседы определить не возможно. К тому же далеко не всегда можно установить прямую связь между наличием у кандидата определенных психологических качеств и его профессиональной успешностью, а отсутствие ряда профессионально важных качеств может быть скомпенсировано опытом и индивидуальным стилем деятельности. Вообще, зацикленность на выявлении предустановленного набора характеристик ограничивает спектр информации, который можно получить в ходе обследования.

В целом, применение тестов-опросников требует от менеджера по персоналу меньшей компетентности в области психологии, чем проективные методики, наблюдение и интервью, поскольку результаты тестирования как метода минимально зависит от мастерства исследователя. Однако, отсутствие должной компетентности может привести к тому, что измеряется не то, что планировалось из-за неадекватного выбора метода. Часто применяется тот тест, которым исследователь хорошо владеет или привык пользоваться, а не тот, который соответствует ситуации. Многие, наверное, сталкивались с тем, что клинический тест MMPI, созданный для выявления тяжелых психических патологий из области большой психиатрии, применялся для отбора и оценки менеджеров, торговых представителей, страховых агентов, банковских служащих. Даже если отвлечься от вопросов этики, адекватность применения этого метода вне клиники вызывает, мягко говоря, большие сомнения. А уж использование теста Роршаха (еще более сложный проективный клинический тест, одно овладение которым занимает несколько лет) в маркетинговых фокус-группах (представьте себе, бывает и такое) вызывает просто шок. Как показывает практика, гораздо более адекватных и информативных результатов при оценке профессионализма можно добиться с помощью специально составленных, структурированных интервью, кейс-метода и ассессмент-центра.

По разнообразию предоставляемой информации тестирование как метод значительно проигрывает и таким методам как беседа и наблюдение. При всей своей кажущейся простоте, бесхитростности, необъективности и «ненаучности» получасовая беседа может дать опытному психологу или менеджеру больше информации о человеке, чем получасовое тестирование.

Тем не менее, существует три основных категория тестов, которые могут с успехом использоваться кадровой службой. Это проективные, профессиональные и когнитивные тесты. Проективные тесты дают массу разнообразной информации о человеке, не требуют много времени для прохождения, и их весьма сложно «обмануть», поскольку эти методики скорее апеллируют к бессознательному, мало соприкасаясь с нашими сознательными установками и убеждениями. Именно поэтому проективные методики, кроме всего прочего, лучший метод для определения серьезных психических патологий органического характера, которые могут не выявляться в наблюдении и беседе. Когнитивные тесты позволяют оценить особенности познавательных функций: распределение внимания, стрессоустойчивость, скорость реакции и т. п. Профессиональные тесты, как правило, не являются собственно психологическими. Они позволяют оценить уровень профессиональных знаний специалиста.

В заключении хотелось бы напомнить, что данные тестирования, а также отказ от прохождения тестирования, по действующему законодательству, не могут являться причиной отказа в рабочем месте претенденту или работнику.

По материалам «Новые рынки»

Оценка персонала была и остается одним из важнейших элементов системы управления персоналом: без оценки невозможно обойтись ни при подборе персонала, ни при аттестации, создании кадрового резерва, ротации кадров. Часто от эффективности оценки персонала зависит эффективность работы всей HR-системы. Эффективность же оценки персонала напрямую зависит от адекватности используемых методов и подходов. Всегда ли тестирование, столь модное в начале 90-х годов, является тем самым адекватным методом?

В свое время, когда HR-менеджмент в нашей стране делал первые шаги, большинство менеджеров по персоналу набиралось из психологов, которые напрямую перенесли с собой в новую область деятельности привычные по научной деятельности методы работы - тесты. Это вполне понятно - ничего другого в те времена не знали и не умели, информация о западных технологиях работы с персоналом просачивалась «в час по чайной ложке», свои методики наработаны еще не были.

Чтобы поддержать свой авторитет и не потерять работу, некоторые психологи при приеме на работу давали кандидатам на заполнение батареи клинических тестов по 300–600 вопросов каждый. Впечатление, конечно, такой отбор производил неизгладимое. Как на кандидатов, так и на работодателей. Да и на самих «менеджеров по персоналу». К тому же на выходе - «объективные» данные. Видимо оттуда и берет начало миф о всесилии тестов.

К сожалению, это только миф. Применение тестов в научных целях имеет ряд ограничений, применение же тестирования в бизнесе ограничено вдвойне.

Традиционно к достоинствам тестирования относят стандартизированность методик, наличие нормативного результата, его воспроизводимость. Считается, что данные, полученные при тестировании, являются объективными. Также на многих руководителей производит впечатление наукообразность процедуры оценки в случае тестирования.

Однако почти все эти достоинства имеют «обратную сторону медали». Начнем со стандартизованности. Далеко не все методики, используемые менеджерами по кадрам, являются действительно стандартизованными (проверенными на большой, референтной выборке, подтвердившей, что для людей с одинаково выраженной тестируемой чертой результаты теста будут одинаковыми), очень часто в кадровой работе используются любительские и научно-популярные тесты. Более того, стандартизация сама по себе еще не является гарантией качества: как правило, тесты проходят стандартизацию на студентах, а никто не может гарантировать что норма, скажем, тревожности у студентов, бухгалтеров и, например, таможенных брокеров будет одна и та же.

Объективность данных, полученных путем тестирования, также может быть подвергнута сомнению. Большинство тестов, используемых в оценке персонала, являются опросниками, далеко не все из них снабжены шкалой лжи. Основная масса этих опросников была сконструирована в исследовательских целях, тестирование проходило добровольно, либо по инициативе обследуемого, поэтому шкала лжи не предусматривалась, или была слабо защищена: обследуемым незачем было лгать. Поэтому для человека с высшим образованием (а значит достаточно высоким уровнем интеллекта) «обойти» такой тест - не проблема, особенно если от успешности прохождения теста зависит, примут ли его на перспективную работу.

Кроме того, громоздкие опросники требуют много времени на заполнение, обработку и интерпретацию. Естественно, что человек, тратящий много времени и труда на заполнение тестов, начинает испытывать раздражение по отношению к компании и людям, подвергшим его такому «испытанию». Как следствие - портится имидж фирмы, снижается лояльность сотрудников.

По большому счету, психологическое тестирование в кадровой работе имеет смысл в двух случаях: при оценке профессиональной пригодности специалистов ряда областей, предъявляющих особые требования к познавательным функциям (внимание, память, мышление, эмоциональная сфера и др.) профессионала (бухгалтер, диспетчер, пилот и др.) и при большом потоке (массовый набор или аттестация однотипных специалистов), когда необходима скорость оценки и большое значение приобретает возможность сравнивать результат.

В то же время, многие характеристики, пользующиеся большим спросом на рынке труда (корпоративность, лояльность, конструктивность, ориентация на клиента и пр.) не могут быть достоверно выявлены с помощью тестов. А уж определить, впишется ли кандидат в организационную культуру компании никакими методиками, кроме наблюдения и беседы определить не возможно. К тому же далеко не всегда можно установить прямую связь между наличием у кандидата определенных психологических качеств и его профессиональной успешностью, а отсутствие ряда профессионально важных качеств может быть скомпенсировано опытом и индивидуальным стилем деятельности. Вообще, зацикленность на выявлении предустановленного набора характеристик ограничивает спектр информации, который можно получить в ходе обследования.

В целом, применение тестов-опросников требует от менеджера по персоналу меньшей компетентности в области психологии, чем проективные методики, наблюдение и интервью, поскольку результаты тестирования как метода минимально зависит от мастерства исследователя. Однако, отсутствие должной компетентности может привести к тому, что измеряется не то, что планировалось из-за неадекватного выбора метода. Часто применяется тот тест, которым исследователь хорошо владеет или привык пользоваться, а не тот, который соответствует ситуации. Многие, наверное, сталкивались с тем, что клинический тест MMPI, созданный для выявления тяжелых психических патологий из области большой психиатрии, применялся для отбора и оценки менеджеров, торговых представителей, страховых агентов, банковских служащих. Даже если отвлечься от вопросов этики, адекватность применения этого метода вне клиники вызывает, мягко говоря, большие сомнения. А уж использование теста Роршаха (еще более сложный проективный клинический тест, одно овладение которым занимает несколько лет) в маркетинговых фокус-группах (представьте себе, бывает и такое) вызывает просто шок. Как показывает практика, гораздо более адекватных и информативных результатов при оценке профессионализма можно добиться с помощью специально составленных, структурированных интервью, кейс-метода и ассессмент-центра.

По разнообразию предоставляемой информации тестирование как метод значительно проигрывает и таким методам как беседа и наблюдение. При всей своей кажущейся простоте, бесхитростности, необъективности и «ненаучности» получасовая беседа может дать опытному психологу или менеджеру больше информации о человеке, чем получасовое тестирование.

Тем не менее, существует три основных категория тестов, которые могут с успехом использоваться кадровой службой. Это проективные, профессиональные и когнитивные тесты. Проективные тесты дают массу разнообразной информации о человеке, не требуют много времени для прохождения, и их весьма сложно «обмануть», поскольку эти методики скорее апеллируют к бессознательному, мало соприкасаясь с нашими сознательными установками и убеждениями. Именно поэтому проективные методики, кроме всего прочего, лучший метод для определения серьезных психических патологий органического характера, которые могут не выявляться в наблюдении и беседе. Когнитивные тесты позволяют оценить особенности познавательных функций: распределение внимания, стрессоустойчивость, скорость реакции и т. п. Профессиональные тесты, как правило, не являются собственно психологическими. Они позволяют оценить уровень профессиональных знаний специалиста.

В заключении хотелось бы напомнить, что данные тестирования, а также отказ от прохождения тестирования, по действующему законодательству, не могут являться причиной отказа в рабочем месте претенденту или работнику.

По материалам «Новые рынки»

Главная задача психодиагноста при применении личностных опросников –– перевод получаемой объективной диагностической информации на язык потребителя. Без этого полученная информация может оказаться неэффективной или вредной.

Результаты диагностики могут описываться минимум для трех категорий потребителей: а) профессионалов; б) административно-управленческого персонала; в) консультируемого (клиента).

Краткая характеристика основных личностных опросников представлена в табл. 2.

Таблица 2

Основные личностные опросники

Продолжение табл. 2

Продолжение табл. 2

Продолжение табл. 2

Продолжение табл. 2

Продолжение табл. 2

Продолжение табл. 2

Продолжение табл. 2

Окончание табл. 2

Диагностика черт личности, будучи универсальным инструментом для психолога, на практике требует выработки и применения продуманной стратегии, адаптивной (адресной) интерпретации.

Шестнадцатифакторный личностный опросник Кеттелла (16 PF)

Р. Кеттелл (R. B. Cattell; 1905-1998) –– американский психолог, профессор Иллинойского университета, а также университетов Стенли Холла и Кларка.

Считается основоположником тестологического движения, разработал систему тестов, направленных на изучение широкого круга психических функций (сенсорных, перцептивных, интеллектуальных и др.). Является автором тест-опросника 16 PF.

История создания опросника

Р. Кеттелл исходил из представления о многофакторной структуре личности и отмечал необходимость исследования всех свойств личности, которые обуславливают поведение. Наименование и определение этих свойств вытекает из применения математико-статистических приемов и результатов факторного анализа. Поэтому Р. Кеттелл говорил о факторах личности.

Первые версии опросника появились в 1949 году, в последующие годы они были переработаны на основании факторного анализа и анализа вопросов. В процессе усовершенствования шкал также уточнялись отдельные факторы и их психологическое понимание.

Стремление постичь личность в ее широте, т. е. зарегистрировать все формы поведения и все ситуации, в которых проявляются личностные свойства, привело Р. Кеттелла к сбору большого количества понятий, касающихся личностных свойств (из словаря английского языка и трудов Г. Олпорта). Он сравнивал их между собой, исключая и соединяя, в результате чего с помощью факторного анализа получил 15 личностных факторов, к которым добавил 16-й-фактор интеллекта. Р. Кеттелл считал, что созданные и изучаемые им личностные свойства отражают всю структуру личности, и относил себя к сторонникам многофакторной теории личности.

Краткая характеристика опросника

Факторы личности автор разделяет на факторы 1-го и 2-го порядка. Биполярность (двухполюсность) фактора –– относительная; она не имеет какого-либо положительного или отрицательного нравственного или патологического значения, отсутствует между полюсами область неопределенных и нулевых значений.

Факторам присваивается два вида названий: технические и бытовые.

Технические названия предназначены для специалистов и связаны с научно установленным значением фактора.

Бытовые названия являются описательными и общедоступными определениями. Предназначены для общения психодиагноста с заказчиком.

Одна из первых попыток полной компьютеризации и психометрической адаптации шестнадцатифакторного опросника Кеттелла была осуществлена А.Г. Шмелевым и В.И. Похилько.

Опросник имеет три формы: А, В, С.

Формы А и В содержат по 187 вопросов каждая, форма С –– 105 вопросов. На вопросы можно отвечать тремя способами (согласен, не согласен, промежуточный ответ). К каждому фактору относится неодинаковое количество вопросов. Ответы отмечаются в бланке для ответов. Опросник обширный, занимает много времени и требует внимательного подхода со стороны испытуемых. Возможно индивидуальное и групповое предъявление этой методики.

Оценка результатов с помощью шаблонов делается просто: полученные результаты по каждому фактору приводятся в производные показатели (стены) с помощью таблицы. Система стенов устанавливает связь между результатом испытуемого и результатами, полученными у других людей в определенной популяции.

Возможности методики

Методика предназначена для измерения 16 факторов личности и является реализацией подхода к ее исследованию на основе черт. Р. Кеттеллом и его сотрудниками помимо двух основных форм опросника разработаны эквивалентные формы для лиц с разным образовательным уровнем; имеются варианты опросника для детей и подростков. Существует специальное «патологическое» дополнение к опроснику, которое состоит из 12 клинических факторов-шкал. Возможно групповое обследование. Опросник нашел достаточно широкое распространение в отечественных психодиагностических исследованиях.

Мотивирование испытуемых

Наименьшее число искажений возникает в том случае, если испытуемый имеет личную заинтересованность в результатах эксперимента, но не усматривает в информации, которую ожидает получить от психолога, нечто определяющее его жизнь в широком масштабе. Такой подходящий уровень мотивации бывает тогда, когда у испытуемого есть желание расширить знание о самом себе, испытать себя, проверить. Хорошим способом мотивирования является обещание рассказать после обработки экспериментальных данных о результатах, дать небольшой комментарий, если потребуется.

Не следует соглашаться на просьбы дать результаты эксперимента или собеседования в письменном виде. Письменная характеристика по результатам заказанного психодиагностического обследования –– это особая тема. Краткое изложение требований к психодиагностическому заключению представлено в Прил. 1.

Принудительное участие в эксперименте может сказаться на том, что данные его будут неточны. Если есть предположения о низкой мотивации испытуемых, то надо применять приемы, повышающие мотивацию, например, вводить соревновательный момент, повышать эстетическое оформление всей экспериментальной ситуации (обстановки, аппаратуры, стимульного материала и т. д.).

Очень высокая мотивация, заинтересованность в «хороших» результатах часто встречается при профотборе. Ее влияние может быть столь велико, что изменит всю «картину» целиком, а корректировочные шкалы и приемы будут малоэффективны.

Инструктирование испытуемых

Перед началом исследования испытуемым дается примерно следующая инструкция.

«Это исследование имеет целью определить некоторые свойства Вашей личности. Вам будет предложен ряд вопросов и три варианта ответов на каждый из них (а, в, с). Отвечать следует так:

сначала прочтите вопрос и варианты ответов к нему;

затем выберите один из трех вариантов ответов, отражающий Ваше мнение;

отметьте индекс выбранного Вами ответа на листе ответов.

Старайтесь придерживаться следующих правил:

1) не тратьте много времени на обдумывание ответов, давайте тот ответ, который первым приходит на ум;

2) отвечать нужно как можно точнее, старайтесь не прибегать слишком часто к промежуточному ответу, выбирайте его только тогда, когда не можете ответить иначе;

3) давайте ответ на каждый вопрос в той последовательности, в которой они расположены, не пропускайте ни одного вопроса;

4) отвечайте как можно более искренне, здесь не может быть ответов «правильных» или «ошибочных», не старайтесь произвести хорошее впечатление своими ответами, они должны соответствовать действительности».

Внимание! Перед проведением диагностики ознакомьтесь с основными этическими нормами деятельности психолога, представленными в Прил. 2.

Компьютерное тестирование все шире используется в педагогической практике. Возможно, вскоре оно почти вытеснит традиционные методы (типа "карандаш - бумага"), поскольку имеет перед ними явные преимущества. В чем же они заключаются?

1) Компьютерная версия тестирования экономит много времени (это, вероятно, самое главное). Задача тестируемого - просто нажимать клавишу, соответствующую выбранному ответу. Полученные данные автоматически подсчитываются, обрабатываются, оцениваются и интерпретируются. В результате компьютер выдает готовый отчет, нередко в сопровождении диаграмм, графиков и других наглядных изображений. На всю процедуру, включая обработку и интерпретацию результатов, уходит значительно меньше времени, чем при обычном тестировании. Такая экономия времени особенно ценна при работе с группой тестируемых - можно одновременно усадить за компьютер большое число людей и оперативно получить нужные данные.

2) Экономятся силы тестирующего - ему не приходится заниматься весьма утомительной рутинной работой (инструктаж тестируемого, выдача заданий, ведение протокола, подсчет и обработка результатов).

3) При наличии хорошо отлаженной программы компьютерное тестирование практически исключает ошибки при обработке результатов - машина всегда использует один и тот же алгоритм, она не отвлекается и не утомляется.

4) Появляется возможность накопления и сохранения электронной базы данных. Унифицированная база данных удобна для анализа и заменяет собой огромные кипы экспериментальных бланков, отчетов и заключений.

5) При использовании стандартизованной компьютерной программы условия проведения тестирования не зависят от индивидуальных особенностей и психологического состояния экспериментатора, что, несомненно, повышает "чистоту" диагностической процедуры.

6) При компьютерном тестировании обследуемый, оставаясь один на один с компьютером, может позволить себе быть более откровенным и естественным. Ему некого стесняться - "железка" не может ни оценочно, ни эмоционально реагировать на не самые удачные, с позиции социальной желательности, ответы.

7) Благодаря компьютерному тестированию можно повысить информационную и предотвратить рассекречивание теста за счет высокой скорости передачи информации и специальной защиты электронных файлов. Упрощается также процедура подсчета результирующих баллов в тех случаях, когда тест содержит только задания с выбором ответов.

8) Преимущества компьютерного тестирования проявляются также в текущем контроле, при самоконтроле самоподготовке учащихся; благодаря компьютеру можно незамедлительно выдать тестовый балл и принять неотложные меры по коррекции усвоения нового материала на основе анализа протоколов по результатам выполнения корректирующих и диагностических тестов. Возможности педагогического контроля при компьютерном тестировании значительно увеличиваются за счет расширения спектра измеряемых умений и навыков в инновационных типах тестовых заданий, использующих многообразные возможности компьютера при включении аудио и видеофайлов, интерактивности, динамической постановки проблем с помощью мультимедийных средств и др.

9) Благодаря компьютерному тестированию повышаются информационные возможности процесса контроля, появляется возможность сбора дополнительных данных о динамике прохождения теста отдельными учащимися и для осуществления дифференциации пропущенных и не достигнутых заданий теста.

10) Наконец, отпадает, самая рутинная часть работы - заготовка бланков, обеспечение методическим материалом и т.п., так как вся методика представлена в виде компьютерной программы. Это удобно во всех отношениях.

Помимо достоинств компьютерное тестирование имеет ряд недостатков:

1) Типичные психологические и эмоциональные реакции учащихся на компьютерное тестирование.

Общение человека с компьютером имеет свою специфику, и не все одинаково спокойно относятся к компьютерному тестированию. Например, если процедура тестирования затянется или содержание теста не заинтересует человека, положительный настрой может смениться противоположным: будут утомлять и раздражать однообразие и монотонность работы, "глупость" вопросов и заданий. Иногда негативное отношение к компьютерному тестированию бывает вызвано и отсутствием обратной связи. А когда тестируемый человек не получает обратной связи, возрастает вероятность ошибочных ответов (можно неверно понять инструкцию, перепутать клавиши для ответов и др.).

Были проведены специальные исследования, чтобы определить, как люди относятся к компьютерному тестированию. Оказалось, что у некоторых людей возникает так называемый эффект психологического барьера, а у некоторых - эффект сверхдоверия. Бывает, человек вообще не способен справиться с заданием потому, что "боится" компьютера. Возможно и включение психологических защитных механизмов, связанных с нежеланием тестируемого раскрываться, стремлением избежать излишней откровенности или намеренным искажением результатов.

Негативные реакции обычно вызывают различные ограничения, которые иногда накладываются при выдаче заданий в компьютерном тестировании. Например, фиксируется либо порядок предъявления заданий, либо максимально возможное время выполнения каждого задания, после истечения которого независимо от желания испытуемого появляется следующее задание теста. В адаптивном тестировании учащиеся бывают недовольны тем, что они не имеют возможности пропустить очередное задание, просмотреть весь тест до начала работы над ним и изменить ответы на предыдущие задания. Иногда учащиеся возражают против компьютерного тестирования из-за трудностей, которые возникают при выполнении и записи математических вычислений и т.д.

2) Воздействие на выполнение теста предшествующего уровня компьютерного опыта.

Результаты зарубежных исследований показали, что опыт работы на компьютерах, имеющийся у школьников, во многих случаях значительно влияет на валидность результатов выполнения теста. Если в тест включены задания без инноваций с выбором ответов, то влияние опыта работы с компьютером на результаты тестирования незначительно, поскольку от учащихся в таких заданиях не требуется никаких сложных действий при выполнении теста. При предъявлении на экране инновационных типов заданий, широко использующих средства компьютерной графики и другие новшества, влияние предшествующего компьютерного опыта на тестовый балл становится очень значительным. Таким образом, при компьютерном тестировании необходимо учитывать уровень компьютерного опыта учащихся, для которых предназначается тест.

Для снижения влияния опыта работы с компьютером на тестовые баллы рекомендуется включать в оболочки для компьютерного тестирования специальные инструкции и тренировочные упражнения для каждой инновационной формы заданий. Необходимо также предварительно ознакомить учащихся с интерфейсом, провести репетиционное и выделить в самостоятельные группы учащихся, не имеющих достаточного опыта работы с ПК, для того чтобы дополнительно обучить их или дать им бланковый тест.

3) Влияние интерфейса пользователя на результаты компьютерного тестированияИнтерфейс пользователя включает доступные учащемуся функции и возможности движения по заданиям теста, элементы размещения информации на экране, а также общий визуальный стиль представления информации. Хороший интерфейс пользователя должен обладать ясностью и корректностью логической последовательности взаимодействия с экзаменуемым, отражая общие принципы дизайна графической информации. Чем более продуман интерфейс, тем меньше внимания учащийся на него обращает, сосредоточивая все свои усилия на выполнении заданий теста.

4) При компьютерном тестировании специалисты имеют дело только с полученными результатами. Они не видят тестируемого, не общаются с ним, а значит, не владеют о нем дополнительной информацией, не могут выяснить его действительный объем знаний. Так что результатам, полученным с помощью компьютерного тестирования, следует доверять с некоторыми оговорками.

Перед каждым разработчиком ПО рано или поздно встает задача оценки качества выпускаемого продукта. Зачастую руководители небольших проектов считают непозволительной роскошью прибегать к услугам профессиональных тестировщиков. Ведь, на первый взгляд, кто, если не сам разработчик или пользователь может наилучшим образом найти недостатки в программе? По сути, в этом случае все исследование сводится к бета-тестированию («Бе́та-тести́рование (англ. betatesting) – интенсивное использование почти готовой версии продукта (как правило, программного или аппаратного обеспечения) с целью выявления максимального числа ошибок в его работе для их последующего устранения перед окончательным выходом (релизом) продукта на рынок, к массовому потребителю»).

Практика использования клиентов – потребителей продукта в качестве тестировщиков в последнее время стала достаточно популярной. Мы постараемся оценить очевидные на первый взгляд плюсы и минусы бета-тестирования и тестирования специалистами. Все ли из них оказываются «плюсами» или «минусами» при ближайшем рассмотрении?

Плюсы и минусы бета-тестирования

Плюсы :

1. Обратная связь.
Неоспоримым достоинством бета-тестирования является получение реальной обратной связи с пользователями продукта. Для этого применяются различные инструменты: сбор отзывов, анкетирование, периодическое вовлечение реальных бизнес-пользователей в процесс тестирования.

Действительно, в ряде случаев только пользователи могут провести проверку ПО на выявление наиболее удобных, наиболее интересных или, наоборот, наиболее неприемлемых модулей и функций. Получив такие отзывы, разработчики могут оперативно доработать продукт с учетом высказанных пожеланий: поменять логику системы, отредактировать тестовые сценарии.

Дефекты ПО также выявляются при использовании редко встречающихся окружений. Таким образом, при выборе стратегии бета-тестирования следует учитывать, что наилучший результат будет достигнут при условии привлечения большого количества пользователей с разным окружением. Прекрасным примером такой работы является стратегия известной компании Google. Используя мощное оборудование, компания систематизирует и классифицирует отзывы десятков тысяч пользователей, доводя свои программные продукты до совершенства.

2. Экономия средств.

Плюсом бета-тестирования, на первый взгляд, является его невысокая стоимость. Действительно, в идеале мы получаем тестовое покрытие без дополнительных вложений. Чаще всего метод бета-тестирования используется в области игровой индустрии. Опыт многих фирм-разработчиков подтверждает экономическую целесообразность этого метода. Снижение общих затрат компании может быть достигнуто и при использовании бета-тестов в качестве инструмента продвижения системы. Бесплатное тиражирование бета-версий обеспечивает повышенный интерес конечных пользователей к итоговой версии продукта.

Но всегда ли всё складывается так удачно? Как показывает практика, отсутствие грамотной стратегии бета-тестирования может привести к печальным результатам. Рассмотрим это на реальных примерах.

Не так давно некая компания, выпускающая компьютерные игры, разместила бета-версию в свободном доступе. Целью акции было получение баг-репортов от пользователей. Дело сразу не заладилось: отзывов поступало очень мало. Разработчикам пришлось предложить бонусы в виде необходимых внутриигровых артефактов за каждый оставленный баг-репорт. Только после этого шага была, наконец, получена необходимая информация.

В результате такой «беспроигрышной» стратегии компания потратила гораздо больше времени, чем планировала. Более того, она понесла дополнительные расходы на «содержание» всей команды разработки во время ожидания результатов.

Другой свежий пример: один японский разработчик выдал в бета-тестирование широко известную игру для мобильных устройств. Каково же было удивление пользователей, когда оказалось, что у них не всегда получалось даже просто запустить игру на своих устройствах. Мало того: участники бета-тестирования преждевременно распространили в сети информацию об игре, что нарушило планы кампании. Фактически, «экономия» привела к коммерческому провалу запуска игры. При этом компания, как и в предыдущем случае, потратила сверхплановые время и средства.

Описанные ситуации показывают, что бета-тестирование, спланированное без привлечения опытных специалистов, далеко не всегда приводит к экономии средств.

Минусы :

1. Низкая квалификация тестировщиков.

Важно помнить, что основные участники бета-тестирования – это добровольцы из числа обычных пользователей будущего продукта. Эти люди не всегда обладают даже минимальными техническими навыками, позволяющими дать качественную оценку ПО. Конечно, о чёткой локализации и понятном описании бага при бета-тестировании можно даже не вспоминать – этим всё равно понадобится заниматься штатным тестировщикам.

2. Неполное тестовое покрытие.

Некую аналогию бета-тестирования можно увидеть в легендарном фильме «Операция «Ы»…». По сюжету перед «бандой» стоит задача – инсценировать ограбление склада, на котором «все уже украдено до вас». В качестве «тестового стенда» используется гараж, переоборудованный так, чтобы получить характеристики реального склада («Продуктив»). Банда подбирает отмычки и проводит «тестовые сценарии» по проникновению и имитации ограбления. В целом, операция должна пройти успешно, НО… «Трус», натренированный «на кошках», в ответственный момент натыкается на альтернативный сценарий: «А где бабуля?» – «Я за нее» . В итоге операция «Ы» оказывается проваленной. Практика показывает, при тестировании непрофессионалами часть функционала всегда остается не охваченной.

Плюсы и минусы тестирования специалистами

Теперь постараемся сформулировать основные плюсы и минусы работы с профессиональными тестировщиками.

Плюсы :

Плюсов работы с опытной командой – великое множество, мы остановимся лишь на некоторых из них.

1. Комплексный подход к тестированию.

Очевидно, главный плюс, интересующий всех, – это высокое качество тестирования, достигаемое с помощью максимального охвата всех стадий работы. Дефекты, пропущенные в таких приложениях, как, к примеру, десктопное или мобильное ПО, приводят к огромным финансовым потерям как самого разработчика, так и его клиентов. Возможность составления планов и согласования тестового покрытия с бизнес-аналитиками дает уверенность в минимизации материальных рисков. Тестировщики участвуют в процессе определения состава релиза, проверяют надежность процедуры как полного отката версии, так и частичных изменений и преобразования данных.

2. Отчётность о результатах тестирования.

По результатам работы специалистов заказчик получает не только список пройденных сценариев, но и набор отчетов, в которых содержатся заключения о качестве выпущенного продукта и узких местах ПО, а также предложения по доработкам. На основании таких отчетов производитель имеет возможность оперативно принимать дальнейшее решение по продукту. Все необходимые исправления и изменения излагаются так, что разработчики могут сразу приступать к их реализации.

3. Высокое качество тестирования, основанное на опыте специалистов.

Возвратимся к примеру «Операции «Ы». Квалифицированные специалисты никогда бы не упустили альтернативные сценарии, и исход мероприятия мог быть совсем другим. Опыт – великая вещь! При этом команда тестировщиков несет полную ответственность за свою работу, чего никак нельзя сказать об участниках бета-тестирований.

Минусы :

К минусам привлечения специалистов чаще всего относят «понятие двух «Д»: «дорого и долго». Далеко не каждая компания может себе позволить расширять штат и нанимать сотрудников-тестировщиков на постоянную основу, особенно если речь идет о стартапах. Поэтому в настоящее время большой популярностью пользуется аутсорсинг. Он дает возможность привлечь команду специалистов на конкретный проект.

Другая тенденция – переход от традиционных методов разработки и тестирования (Waterfall) к гибким (Agile). Джанет Грегори и Лиза Криспин опубликовали прекрасную работу, детально описывающую место разработчиков и тестировщиков в Agile-проектах . Однако, не следует забывать, что любой тестировщик должен обладать минимальными техническими навыками и уметь хорошо ориентироваться в предметной области.

С другой стороны, приведенные в этой статье примеры показывают, что надежды на экономию времени и средств от использования «усеченного» бета-тестирования зачастую оказываются несбыточными. А значит, «долго и дорого» – это всего лишь расхожий штамп, далеко не всегда подтверждаемый на практике.

Заключение

Итак, без качественного тестирования вы однозначно рискуете выдать клиенту продукт с багами. Но качественное тестирование также подразумевает получение информации о соответствии выпускаемого продукта ожиданиям конечных пользователей. Вам нужно самостоятельно принять решение о том, какой способ тестирования необходимо использовать на вашем проекте, либо применить стратегию, сочетающую оба подхода. Мы же надеемся, что эта статья поможет вам сделать грамотный выбор.