Метод тестов в психологии плюсы и минусы. Плюсы и минусы тестирования специалистами. Проективные тестовые методики. Общая характеристика

По сравнению с другими формами контроля знаний тестирование имеет свои преимущества и недостатки.

Преимущества

Тестирование является более качественным и объективным способом оценивания, его объективность достигается путем стандартизации процедуры проведения, проверки показателей качества заданий и тестов целиком.

Тестирование - более справедливый метод, оно ставит всех учащихся в равные условия, как в процессе контроля, так и в процессе оценки, практически исключая субъективизм преподавателя. По данным английской ассоциации NEAB, занимающейся итоговой аттестацией учащихся Великобритании, тестирование позволяет снизить количество апелляций более чем в три раза, сделать процедуру оценивания одинаковой для всех учащихся вне зависимости от места проживания, типа и вида образовательного учреждения, в котором занимаются учащиеся.

Тесты это более объёмный инструмент, поскольку тестирование может включать в себя задания по всем темам курса, в то время как на устный экзамен обычно выносится 2-4 темы, а на письменный - 3-5. Это позволяет выявить знания учащегося по всему курсу, исключив элемент случайности при вытаскивании билета. При помощи тестирования можно установить уровень знаний учащегося по предмету в целом и по отдельным его разделам.

Тест это более точный инструмент, так, например, шкала оценивания теста из 20 вопросов, состоит из 20 делений, в то время, как обычная шкала оценки знаний - только из четырёх.

Тестирование более эффективно с экономической точки зрения. Основные затраты при тестировании приходятся на разработку качественного инструментария, то есть имеют разовый характер. Затраты же на проведение теста значительно ниже, чем при письменном или устном контроле. Проведение тестирования и контроль результатов в группе из 30 человек занимает полтора два часа, устный или письменный экзамен - не менее четырёх часов.

Тестирование - это более мягкий инструмент, они ставят всех учащихся в равные условия, используя единую процедуру и единые критерии оценки, что приводит к снижению предэкзаменационных нервных напряжений.

Недостатки

Разработка качественного тестового инструментария - длительный, трудоемкий и дорогостоящий процесс.

Данные, получаемые преподавателем в результате тестирования, хотя и включают в себя информацию о пробелах в знаниях по конкретным разделам, но не позволяют судить о причинах этих пробелов.

Тест не позволяет проверять и оценивать высокие, продуктивные уровни знаний, связанные с творчеством, то есть вероятностные, абстрактные и методологические знания.

Широта охвата тем в тестировании имеет и обратную сторону. Учащийся при тестировании, в отличие от устного или письменного экзамена, не имеет достаточно времени для сколько-нибудь глубокого анализа темы.

Обеспечение объективности и справедливости теста требует принятия специальных мер по обеспечению конфиденциальности тестовых заданий. При повторном применении теста желательно внесение в задания изменений.

В тестировании присутствует элемент случайности. Например, учащийся, не ответивший на простой вопрос, может дать правильный ответ на более сложный. Причиной этого может быть, как случайная ошибка в первом вопросе, так и угадывание ответа во втором. Это искажает результаты теста и приводит к необходимости учета вероятностной составляющей при их анализе.

Именно последний из приведенных выше недостатков побудил провести небольшое исследование. Мне стало интересно, какой в среднем балл может получить ученик, отвечая на вопросы теста наугад. Группе учеников было предложено десять тестов на различные темы, которые отличались количеством вопросов, интерфейсом и способом реализации. Поскольку исследовалась именно вероятностная составляющая теста, учащиеся отвечали не задумываясь над сутью вопроса. Контрольным измерением каждого теста был процент правильно выполненных заданий. Всего было произведено 120 измерений. Контрольные значения колебались в пределах от 5% до 64%. Среднее значение, полученное по результатам всех измерений = 28,10%

Что такое тестирование

Методы психологических исследований – это те научные приемы и средства, с помощью которых можно зафиксировать и описать психологические различия как между людьми, так и между группами людей, объединенных по каким-либо признакам.

Цель современной психологической диагностики заключается в получении достоверных сведений для дальнейшего построения научных теорий и выработки практических рекомендаций.

Выделяют следующие основные методы психологического исследования: метод наблюдения, опроса, тестирования и эксперимента. Метод тестов является одним из основных в современной психодиагностике.

По уровню популярности в образовательной и профессиональной психодиагностике он прочно удерживает первое место в мировой психодиагностической практике уже фактически в течение столетия.

Тест (в переводе с англ. – «проба» или «ииспытание»)– это краткое, стандартизированное испытание, поддающееся стандартизации и математической обработке данных. С помощью тестов стремятся выявить определенные способности, навыки, умения (или их отсутствие), наиболее точно охарактеризовать некоторые качества личности. Во многих случаях в психологических исследованиях используется не один, а несколько методов, каждый из которых дополняет другие, раскрывая новые стороны психической деятельности.

История возникновения тестирования

Еще в глубокой древности существовали более или менее типовые процедуры выявления индивидуальных различий между людьми. Так, в Китае более четырех тысяч лет назад высшие чиновники обязаны были выдержать в присутствии императора строгий экзамен по знанию ритуалов и церемоний, стрельбе из лука, верховой езде, умению писать, считать, музицировать. В древнем Вавилоне и в Египте претендент на должность писца должен был доказать обладание соответствующими навыками, разбираться в финансах, законах, сельском хозяйстве. В библии описаны своеобразные способы отбора воинов на особо трудные и опасные задания в зависимости от их действий на привале. В античной Греции и Риме разрабатывались весьма подробные классификации характеров и закономерности их определения по поведенческим признакам.

Несмотря на то, что все это и многое другое исторически предшествовало тестированию, возникновение научных тестов следует отнести лишь к концу девятнадцатого века. Сам термин был введен Френсисом Гальтоном (1822 -1911), занимавшимся исследованием остроты зрения и слуха, мускульной силы и т. п. Однако наибольшую популярность этот термин приобрел после выхода в свет в 1890 году статьи «Умственные тесты и измерения», написанной американским психологом Джеймсом Кеттеллом (1860-1944)

Кеттелл разработал несколько десятков тестов, направленных на оценку элементарных сенсомоторных процессов (чувствительности, времени реакции, количества воспроизводимых звуков после разового прослушивания и др.).

Широкое распространение тестов началось с 1905г, когда был предложен тест Бина-Симона для диагностики развития детского интеллекта.

Направления тестирования

В основе метода объективной психологической оценки лежит тест (или проба), который может представлять собой:

1) стимул определенной модальности, если это психофизическое исследование;

2) задачи разного уровня сложности, если это педагогическая психология;

3) задания, связанные с исследованием внимания, памяти, сообразительности и т.д. в общей и возрастной психологии.

Для того, чтобы эти тесты (пробы) могли дать объективные и измеримые данные, они предварительно проверяются на большом числе испытуемых. Например, в педагогической психологии – на детях одного возраста или людях одного уровня образования и т.д. При этом из всех предложенных задач отбираются те, которые успешно решаются значительным числом всех испытуемых (например, двумя третями).

Эта процедура называется нормированием, или определением «нормы». С ней впоследствии сравниваются решения тех испытуемых, знания, умения и навыки которых измеряются.

Результаты этих измерений оцениваются в условных баллах (или в ранговых оценках), объединенных в шкалу порядка и указывающих, какое место данный испытуемый мог бы занять по отношению к соответствующей группе испытуемых (то есть к «норме»).

Задача психологических тестов, таким образом, – измерить различия между индивидами или между реакциями одного индивида в разных условиях.

Виды тестов

Тесты различаются по форме проведения:

Тест-опросник - это система заранее продуманных, тщательно отобранных и проверенных с точки зрения их надежности и валидности вопросов, по ответам на которые можно судить о психологических качествах испытуемых.

Тест-задание предполагает оценку психологии и поведения человека на базе его действий. В тестах этого типа испытуемому предлагается серия специальных заданий, по итогам выполнения которых судят о наличии или отсутствии и степени развития у него изучаемого качества.

Выделяют следующие виды тестов:

1. Личностные тесты предназначены для выявления личностных особенностей, черт характера. Набор выявляемых качеств зависит от теоретической концепции, положенной в основу теста. Эти тесты могут выявлять уровень выраженности каждой характеристики (например, тест Кеттелла), или по совокупности данных, относить человека к тому или иному типу (например, тест Майерс-Бригс). Существуют как комплексные тесты, описывающие личность в целом, так и тесты на какое-либо определенное качество (например, тесты на определение темперамента Айзенка и др.). Некоторые тесты предназначены для выявления патологий характера и личностного развития (например, ММРI).

2. Интеллектуальные тесты предназначены для выяснения уровня интеллекта и образования. Интеллектуальные тесты предполагают несколько заданий (арифметических, логических, графических и т. д.), которые расположены по мере повышения сложности (например, тест Венгера). Как правило, на выполнение интеллектуального теста дается ограниченное количество времени.

3. Тесты способностей . Способностями называют индивидуально-психологические особенности человека, которые способствуют его успеху в какой-либо деятельности. Способности проявляются в деятельности, формируются в деятельности и существуют относительно определенной деятельности. Выделяют общие и частные способности. Общие способности, присущие всем людям основные формы психического отражения: способности ощущать, воспринимать, запоминать, мыслить; а также в большей или меньшей степени присущие всем людям способности к общечеловеческим видам деятельности: игре, обучению, труду, общению. Частные – присущие не всем людям способности: музыкальный слух, точный глазомер, особенности моторики, памяти и т.д.

4. Проективные тесты . В современной психодиагностике их выделяют отдельно. В основе проективных тестов лежит механизм проекции, выявляющие собственные неосознаваемые мысли, качества, недостатки (например, тесты АРТ, ТАТ). Данные виды теста включают в себя также рисуночные, цветовые (например, тест Люшера), конститутивные и интерпретационные методики. Пользуясь проективным тестом, психолог может ввести испытуемого в воображаемую, сюжетно неопределенную ситуацию, подлежащую произвольной интерпретации. Такой ситуацией может стать, например, поиск определенного смысла в картинке, где изображены неизвестно какие люди, непонятно чем они заняты. Нужно ответить на вопросы, кто эти люди, о чем думают и что произойдет дальше. На основании содержательной интерпретации ответов судят о собственной психологии отвечающих.

Применение тестов

Как методический инструмент тесты широко используются в современных исследованиях. Однако прежде чем решить, какой из сотен имеющихся тестов может быть применен для исследования, психолог задается вопросом:

1) какова цель теста?

2) для какой группы лиц он лучше подходит?

3) чем он отличается от других методов изучения индивидуальности человека?

4) насколько ответственно он конструировался?

5) насколько он точен?

6) насколько адекватны и действительны его результаты?

От каждого измерительного инструмента требуется, чтобы он был как можно более точным, чтобы на полученные результаты можно было положиться как на данные, близкие к «настоящей» величине измеряемого признака. Следовательно, точность можно понимать как меру достоверности, с какой тест измеряет ее.

Достоинства и недостатки тестирования

Популярность метода тестов объясняется следующими главными его достоинствами .

1) Стандартизация условий и результатов. Тестовые методики относительно независимы от квалификации пользователя (исполнителя), однако это не означает того, что для подготовки комплексного заключения по батарее тестов не надо привлекать квалифицированного специалиста с полноценным высшим психологическим образованием.

2) Оперативность и экономичность. Типичный тест состоит из серии кратких заданий, на выполнение каждого из которых требуется, как правило, не более полуминуты, а весь тест занимает не более часа (в школьной практике это один урок); тестированию одновременно подвергается сразу группа испытуемых, таким образом, происходит значительная экономия времени (человеко-часов) на сбор данных.

3) Количественный дифференцированный характер оценки. Дробность шкалы и стандартизованность теста позволяют рассматривать его как «измерительный инструмент», дающий количественную оценку измеряемым свойствам (знаниям, умениям в данной области). Хороший тест позволяет различать не только три категории учеников – отличников, «середнячков» и «хвостистов», но и хорошо дифференцировать испытуемых на полюсах шкалы – отличать просто способных от очень способных и талантливых, а среди отстающих отличать небезнадежных от «безнадежных» (или совершенно неподготовленных). Кроме того, количественный характер тестовых результатов дает возможность применить в случае тестов хорошо разработанный аппарат психометрии, позволяющий оценить, насколько хорошо работает данный тест на данной выборке испытуемых в данных условиях.

4) Оптимальная трудность. Профессионально сделанный тест состоит из заданий оптимальной трудности. При этом средний испытуемый набирает примерно 50 процентов из максимально возможного количества баллов. Это достигается за счет предварительных испытаний – психометрического эксперимента, или пилотажа. Если в ходе пилотажа становится известно, что с заданием справляется примерно половина из обследуемого контингента, то такое задание признается удачным и его оставляют в тесте.

5) Надежность. Это, может быть, самое главное достоинство тестов. «Лотерейный» характер современных экзаменов с вытягиванием «счастливых» или «несчастливых» билетиков давно стал притчей во языцех. Лотерейность для экзаменующегося здесь оборачивается низкой надежностью для экзаменатора – ответ на один фрагмент учебной программы, как правило, не показателен для уровня усвоения всего материала. В отличие от этого любой грамотно построенный тест охватывает основные разделы учебной программы (тестируемой области знаний или проявлений какого-то умения или способности). В результате возможность для «хвостиков» выбиться в отличники, а для отличника вдруг «провалиться» резко сокращается.

6) Справедливость. Справедливость является важнейшим достоинством метода тестов. Ее следует понимать как защищенность от предвзятости экзаменатора. Хороший тест ставит всех испытуемых в равные условия. Наиболее сильно субъективизм экзаменаторов проявляется, как известно, не в трактовке уровня решенности задачи (не так просто можно назвать черное белым, решенную задачу – нерешенной), а в тенденциозном подборе заданий: своим – полегче, чужим – труднее.

7) Возможность компьютеризации. В результате компьютеризации повышаются все параметры тестирования (например, при адаптивном компьютерном тестировании резко сокращается время тестирования). Компьютерная организация тестирования, предполагающая создание мощных информационных «банков тестовых заданий», позволяет технически предотвратить злоупотребления со стороны недобросовестных экзаменаторов. Выбор заданий, предлагаемых конкурентному испытуемому, может производить из такого банка сама компьютерная программа прямо в ходе тестирования, и предъявление данному испытуемому определенного задания в этом случае является таким же сюрпризом для экзаменатора, как и для испытуемого.

8) Психологическая адекватность. Это важнейшее психологическое следствие оптимальной сложности. Наличие в тесте (по сравнению с традиционными экзаменационными вариантами) большого количества кратких заданий средней трудности дает многим испытуемым поверить в себя, активизировать психологически оптимальную установку «на преодоление».Свойство оптимальной сложности важно для теста тем, что оно обеспечивает не только измерительную (различающую) силу тесту, но и оптимальный психологический настрой испытуемых. Тестовая ситуация оптимальной сложности является оптимальным возбудителем – люди испытывают нормальный уровень стресса (напряжения), необходимый для того, чтобы показать наивысший результат. Недостаток стресса (в случае легкого теста), а тем более избыток (в случае трудного) искажают результаты измерения. Этого, как правило, совершенно не понимают организаторы наших конкурсных экзаменов, пытающиеся в случае высокого конкурса дать абитуриентам задачки посложнее («на засыпку»), что создает избыточный стресс, который не дает возможности проявить себя людям, подготовленным хорошо, но обладающим пониженной стрессоустойчивостью.

Метод тестов обладает некоторыми весьма серьезными недостатками , не позволяющими свести всю диагностику способностей и знаний исключительно к тестированию, такими как:

1) Опасность «слепых» (автоматических) ошибок . Например, испытуемый не понял инструкции и стал отвечать совсем не так, как требует стандартная инструкция, испытуемый по каким-то причинам применил искажающую тактику, возник сдвиг в приложении трафарета-ключа к бланку ответов (при ручном, некомпьютерном подсчете баллов) и т.д.

2) Опасность профанации . Не секрет, что внешняя легкость проведения тестов прельщает людей, не пригодных ни к какому квалифицированному труду. Оснастившись тестами, им самим непонятного качества, но с громкими рекламными названиями, профаны от тестирования агрессивно предлагают свои услуги всем и вся. Все проблемы предполагается решать с помощью 2–3 тестов – на все случаи жизни. К количественному тестовому баллу приклеивается новый ярлык – заключение, создающее видимость соответствия диагностической задаче. Примером такой профанации может служить повальное использование клинического теста MMPI для отбора кадров в нашей стране. Недобросовестная профанация и элементарное невежество идут в области тестирования рука об руку;

3) Потеря индивидуального подхода, стрессогенность . Тест – самый общий ранжир, под который подгоняют всех людей. Возможность упустить яркую индивидуальность нестандартного человека, к сожалению, довольно вероятна. Это чувствуют сами испытуемые, и это их нервирует, особенно в ситуации аттестационного тестирования. Люди с пониженной стрессоустойчивостью начинают волноваться и ошибаться в элементарных для себя вопросах. Вовремя заметить такую реакцию на тест – задача квалифицированного и добросовестного исполнителя;

4) Отсутствие возможности раскрыть индивидуальность. С точки зрения выявления творческого потенциала большинство тестов ограничено именно тем, что они не апеллируют к творческой, конструктивной деятельности. Они выполнены в форме стандартного набора заданий с заданным ответом;

6) Отсутствие доверительной обстановки . Формализованный характер процедуры тестирования лишает испытуемого ощущения того, что психолог заинтересован в нем лично, в том, чтобы помочь в его проблемах и трудностях. Диалогические методы (беседа, игра) в этом плане имеют несомненные преимущества: непосредственно общаясь с испытуемым, квалифицированный психолог может установить доверительный контакт, проявить персональное участие, создать атмосферу, снимающую напряжение и защиту.

Заключение

Таким образом, тесты нельзя делать единственным исчерпывающим методом любой диагностики (и образовательно-профессиональной, и личностной) – они требуют параллельного использования свободных письменных работ (в личностной диагностике место сочинений занимают проективные тесты со свободным ответом), а также устного собеседования (интервью). Место тестов – дополнять указанные выше традиционные методы. В этом качестве тесты незаменимы, так как не имеют многих недостатков, свойственных традиционным методам.

Похожая информация.

Тестирование как средство обучения и контроля знаний используется давно. Само слово тест, в переводе с английского, означает – проверка, испытание. Здесь, под тестированием мы понимаем опрос: вопросы с предложенными ответами, из которых испытуемый выбирает один или несколько верных.

Задаваемые вопросы могут быть устными или в распечатанном виде, но на современном этапе развития общества оснащение учебных заведений и предприятий средствами вычислительной техники достаточно велико, для того чтобы проводить аттестации, проверочные работы с помощью компьютеров.

Очевидно, что основное преимущество автоматизированного тестирования – удобство использования, снижение трудоемкости, исключение ошибок при проверке (у компьютеров не бывает падения внимательности по причине усталости). Кроме того, дистанционное обучение , интерес к которому растет, без применения соответствующего программного обеспечения трудно представить.

Среди недостатков тестирования можно отметить трудность формулировки ответов на вопросы по предметам, связанным с общими законами развития природы, общества (философия, история, экономика, некоторые разделы астрономии, физики и т.д.), для которых свойственны неоднозначные ответы, и двоичной логики "да/нет" – недостаточно. Также, с помощью тестирования невозможно контролировать творческие знания. Итак, проверка понимания и умений в некоторых областях гуманитарных, общественно-политических дисциплин вне прерогативы тестирования. Для этого существуют иные методы оценки.

Существенный недостаток тестирования, косвенно связанный с вышеперечисленными проблемами, – это то, что обучаемые привыкают к готовым формулировкам, и теряют (не приобретают) способность свободно и грамотно излагать мысли. С другой стороны люди, стесняющиеся говорить, оказываются в равных условиях с "ораторами".

Иногда наши пользователи просят устранить "излишнюю объективность" программы для тестирования, имея ввиду что при устном опросе преподаватель может выбрать сложность задаваемых вопросов с учетом уровня подготовленности опрашиваемого, что невозможно при применении компьютерного тестирования. Трудно сказать нужно ли устранять такой недостаток.

Кроме этого, существуют изъяны тестирования, которые в программах SunRav Software с успехом устраняются. Перечислим некоторые из них.

К несовершенству тестирования часто относят некоторую негибкость итоговой оценки.

В программе SunRav TestOfficePro подведение итога работы тестируемого и выведение оценки настраивается по разным параметрам. Можно оценить:

• процент правильных ответов,
• отношение правильных ответов к неправильным или заданным,
• суммирование баллов (каждому ответу как правильному, так и неправильному можно присвоить свой коэффициент).

А также, в SunRav TestOfficePro существует возможность создать адаптивный тест, в котором переход к следующему заданию происходит в зависимости от ответов на предыдущие. Такая функция особенно востребована при создании тестов, применяемых для обучения, усвоения материала.

Таким образом, трудоемкость на первом этапе – создание баз тестов, внедрение тестирования в организацию – имеет временный характер. В целом компьютерное тестирование знаний несомненно более выгодно с экономической точки зрения, чем устные или письменные проверки.

Тестирование учащихся в школе отнюдь не новомодное изобретение, как сейчас многие хотят представить. Периодически выполняемые школьниками контрольные и самостоятельные работы, фронтальные опросы и персональные задания также имели своей целью выявить уровень усвоения полученных знаний. С появлением в школах компьютеров работа по составлению и проверке тестов на самые различные темы по самым различным предметам намного упростилась. А вот сами тесты появились в школах гораздо раньше.

В чём плюсы и минусы тестирования как способа контроля

Многие преподаватели в своей работе использовали так называемые карточки с тестами. Каждая карточка представляла собой уникальное индивидуальное задание, раздавались они классу буквально на 10-15 минут. После этого карточки собирались и урок продолжался. Такие тестовые задания позволяли учителю определить полноту усвоения школьниками материалов предыдущего урока. Причем, на проверку таких карточных тестов требовалось очень мало времени – на одну карточку всего несколько секунд. В то же время на проверку одной самостоятельной работы учитель тратил не меньше пяти минут и то при условии, что ему приходилось прежде иметь дело с подобными заданиями.

Отношение к тестам в школе далеко не однозначное. Многие считают, что тесты не отражают реального уровня приобретенных учениками знаний. Отчасти это справедливо, поскольку полностью полагаться на результаты тестов, исключив все другие способы проверки знаний, ни в коем случае нельзя. Во время выполнения тестов ученики могут допустить какую-то незначительную оплошность, которая повлияет на результат или попросту поспешить и разнервничаться, да мало ли что еще. Но эффективность тестов как средств быстрой оценки успеваемости в классе отрицать нельзя. Вопрос только в том, что безоговорочно принимать все результаты тестов недопустимо, необходимо проверять результаты тестов и проводить дифференцированный анализ по каждому ученику в отдельности.

При проверке самостоятельной работы, например, по математике, учитель может увидеть ход вычислений ученика и выявить ту досадную опечатку, которая привела к ошибке. Может быть, кто-то отвлек ученика в этот момент, а времени на самостоятельную проверку у него не было. Опытный и объективный педагог никогда не посчитает это ошибкой, тем более, если и формулы и ход решения были абсолютно правильными. Тестирование же требует только правильного ответа. При выполнении тестов, в которых требуется выполнить какие-то действия, для получения ответа, ученикам рекомендуется сдавать свои черновики вместе с тестовыми карточками. Тогда и у педагога и у ученика будут основания пересмотреть результаты теста и поставить правильную оценку. Применение простых тестов, в которых надо, например, подставить в формулу нужное значение, ответить на вопрос однозначно «да» или «нет» либо назвать единицу измерения, наиболее точно отражают усвоение материала и не требуют уточнений. И применение таких тестов в школах должно проводиться как можно чаще.

Качество подобных тестов на сегодняшний день, увы, оставляет желать лучшего. Дело тут не только в том, что недостаточно исходного материала или средств выполнения самостоятельной разработки тестов, а еще и в том, что со временем и само отношение к тестам стало негативным и наработки прошлых лет оказались потеряны. А ведь тестирование в школе это не просто дань моде и нельзя ее воспринимать формально, как некую вмененную обязанность. Тестирование дает хорошую возможность ученикам увидеть наглядно свои пробелы в обучении и постараться их исправить. Ведь при поступлении в высшее учебное заведение, а особенно во время учебы студенту придется столкнуться с мнением педагогов, которые будут оценивать их знания объективно, невзирая на их предыдущие школьные заслуги. Очень важно с самого начала показать, что знания, полученные в школе, а главное стремление их получить, не прошли для студента даром.

Что учесть при разработке тестов

При разработке тестов необходимо учитывать несколько важных факторов. Первое, тесты должны быть составлены только на основе пройденного материала, дополнительный материал здесь учитываться не должен. Второе, время, отводимое на выполнение определенного тестового задания, должно быть рассчитано с учетом скорости выполнения подобных заданий не в среднем по классу, а по самому медлительному ученику, при необходимости таким детям следует дать дополнительное время без ущерба для усвоения нового материала. Третье, построение тестов должно идти от простого к сложному, чтобы ученик не запнулся на первых заданиях и не потерял драгоценное время. Четвертое, все тестовые задания должны быть выполнимы, то есть предварительно проверены на наличие опечаток. При несоблюдении хотя бы одного из этих требований говорить о полноценной и объективной оценке знаний невозможно.

Перед каждым разработчиком ПО рано или поздно встает задача оценки качества выпускаемого продукта. Зачастую руководители небольших проектов считают непозволительной роскошью прибегать к услугам профессиональных тестировщиков. Ведь, на первый взгляд, кто, если не сам разработчик или пользователь может наилучшим образом найти недостатки в программе? По сути, в этом случае все исследование сводится к бета-тестированию («Бе́та-тести́рование (англ. betatesting) – интенсивное использование почти готовой версии продукта (как правило, программного или аппаратного обеспечения) с целью выявления максимального числа ошибок в его работе для их последующего устранения перед окончательным выходом (релизом) продукта на рынок, к массовому потребителю»).

Практика использования клиентов – потребителей продукта в качестве тестировщиков в последнее время стала достаточно популярной. Мы постараемся оценить очевидные на первый взгляд плюсы и минусы бета-тестирования и тестирования специалистами. Все ли из них оказываются «плюсами» или «минусами» при ближайшем рассмотрении?

Плюсы и минусы бета-тестирования

Плюсы :

1. Обратная связь.
Неоспоримым достоинством бета-тестирования является получение реальной обратной связи с пользователями продукта. Для этого применяются различные инструменты: сбор отзывов, анкетирование, периодическое вовлечение реальных бизнес-пользователей в процесс тестирования.

Действительно, в ряде случаев только пользователи могут провести проверку ПО на выявление наиболее удобных, наиболее интересных или, наоборот, наиболее неприемлемых модулей и функций. Получив такие отзывы, разработчики могут оперативно доработать продукт с учетом высказанных пожеланий: поменять логику системы, отредактировать тестовые сценарии.

Дефекты ПО также выявляются при использовании редко встречающихся окружений. Таким образом, при выборе стратегии бета-тестирования следует учитывать, что наилучший результат будет достигнут при условии привлечения большого количества пользователей с разным окружением. Прекрасным примером такой работы является стратегия известной компании Google. Используя мощное оборудование, компания систематизирует и классифицирует отзывы десятков тысяч пользователей, доводя свои программные продукты до совершенства.

2. Экономия средств.

Плюсом бета-тестирования, на первый взгляд, является его невысокая стоимость. Действительно, в идеале мы получаем тестовое покрытие без дополнительных вложений. Чаще всего метод бета-тестирования используется в области игровой индустрии. Опыт многих фирм-разработчиков подтверждает экономическую целесообразность этого метода. Снижение общих затрат компании может быть достигнуто и при использовании бета-тестов в качестве инструмента продвижения системы. Бесплатное тиражирование бета-версий обеспечивает повышенный интерес конечных пользователей к итоговой версии продукта.

Но всегда ли всё складывается так удачно? Как показывает практика, отсутствие грамотной стратегии бета-тестирования может привести к печальным результатам. Рассмотрим это на реальных примерах.

Не так давно некая компания, выпускающая компьютерные игры, разместила бета-версию в свободном доступе. Целью акции было получение баг-репортов от пользователей. Дело сразу не заладилось: отзывов поступало очень мало. Разработчикам пришлось предложить бонусы в виде необходимых внутриигровых артефактов за каждый оставленный баг-репорт. Только после этого шага была, наконец, получена необходимая информация.

В результате такой «беспроигрышной» стратегии компания потратила гораздо больше времени, чем планировала. Более того, она понесла дополнительные расходы на «содержание» всей команды разработки во время ожидания результатов.

Другой свежий пример: один японский разработчик выдал в бета-тестирование широко известную игру для мобильных устройств. Каково же было удивление пользователей, когда оказалось, что у них не всегда получалось даже просто запустить игру на своих устройствах. Мало того: участники бета-тестирования преждевременно распространили в сети информацию об игре, что нарушило планы кампании. Фактически, «экономия» привела к коммерческому провалу запуска игры. При этом компания, как и в предыдущем случае, потратила сверхплановые время и средства.

Описанные ситуации показывают, что бета-тестирование, спланированное без привлечения опытных специалистов, далеко не всегда приводит к экономии средств.

Минусы :

1. Низкая квалификация тестировщиков.

Важно помнить, что основные участники бета-тестирования – это добровольцы из числа обычных пользователей будущего продукта. Эти люди не всегда обладают даже минимальными техническими навыками, позволяющими дать качественную оценку ПО. Конечно, о чёткой локализации и понятном описании бага при бета-тестировании можно даже не вспоминать – этим всё равно понадобится заниматься штатным тестировщикам.

2. Неполное тестовое покрытие.

Некую аналогию бета-тестирования можно увидеть в легендарном фильме «Операция «Ы»…». По сюжету перед «бандой» стоит задача – инсценировать ограбление склада, на котором «все уже украдено до вас». В качестве «тестового стенда» используется гараж, переоборудованный так, чтобы получить характеристики реального склада («Продуктив»). Банда подбирает отмычки и проводит «тестовые сценарии» по проникновению и имитации ограбления. В целом, операция должна пройти успешно, НО… «Трус», натренированный «на кошках», в ответственный момент натыкается на альтернативный сценарий: «А где бабуля?» – «Я за нее» . В итоге операция «Ы» оказывается проваленной. Практика показывает, при тестировании непрофессионалами часть функционала всегда остается не охваченной.

Плюсы и минусы тестирования специалистами

Теперь постараемся сформулировать основные плюсы и минусы работы с профессиональными тестировщиками.

Плюсы :

Плюсов работы с опытной командой – великое множество, мы остановимся лишь на некоторых из них.

1. Комплексный подход к тестированию.

Очевидно, главный плюс, интересующий всех, – это высокое качество тестирования, достигаемое с помощью максимального охвата всех стадий работы. Дефекты, пропущенные в таких приложениях, как, к примеру, десктопное или мобильное ПО, приводят к огромным финансовым потерям как самого разработчика, так и его клиентов. Возможность составления планов и согласования тестового покрытия с бизнес-аналитиками дает уверенность в минимизации материальных рисков. Тестировщики участвуют в процессе определения состава релиза, проверяют надежность процедуры как полного отката версии, так и частичных изменений и преобразования данных.

2. Отчётность о результатах тестирования.

По результатам работы специалистов заказчик получает не только список пройденных сценариев, но и набор отчетов, в которых содержатся заключения о качестве выпущенного продукта и узких местах ПО, а также предложения по доработкам. На основании таких отчетов производитель имеет возможность оперативно принимать дальнейшее решение по продукту. Все необходимые исправления и изменения излагаются так, что разработчики могут сразу приступать к их реализации.

3. Высокое качество тестирования, основанное на опыте специалистов.

Возвратимся к примеру «Операции «Ы». Квалифицированные специалисты никогда бы не упустили альтернативные сценарии, и исход мероприятия мог быть совсем другим. Опыт – великая вещь! При этом команда тестировщиков несет полную ответственность за свою работу, чего никак нельзя сказать об участниках бета-тестирований.

Минусы :

К минусам привлечения специалистов чаще всего относят «понятие двух «Д»: «дорого и долго». Далеко не каждая компания может себе позволить расширять штат и нанимать сотрудников-тестировщиков на постоянную основу, особенно если речь идет о стартапах. Поэтому в настоящее время большой популярностью пользуется аутсорсинг. Он дает возможность привлечь команду специалистов на конкретный проект.

Другая тенденция – переход от традиционных методов разработки и тестирования (Waterfall) к гибким (Agile). Джанет Грегори и Лиза Криспин опубликовали прекрасную работу, детально описывающую место разработчиков и тестировщиков в Agile-проектах . Однако, не следует забывать, что любой тестировщик должен обладать минимальными техническими навыками и уметь хорошо ориентироваться в предметной области.

С другой стороны, приведенные в этой статье примеры показывают, что надежды на экономию времени и средств от использования «усеченного» бета-тестирования зачастую оказываются несбыточными. А значит, «долго и дорого» – это всего лишь расхожий штамп, далеко не всегда подтверждаемый на практике.

Заключение

Итак, без качественного тестирования вы однозначно рискуете выдать клиенту продукт с багами. Но качественное тестирование также подразумевает получение информации о соответствии выпускаемого продукта ожиданиям конечных пользователей. Вам нужно самостоятельно принять решение о том, какой способ тестирования необходимо использовать на вашем проекте, либо применить стратегию, сочетающую оба подхода. Мы же надеемся, что эта статья поможет вам сделать грамотный выбор.