Пилотажное исследование - это что такое? С какой целью проводится пилотажное исследование? Несколько слов о процедуре пилотажного исследования Пилотажное исследование проводится с целью.

После отбора психологических методик для проведения мероприятий ППО должна быть проведена проверка их прогностичности, т. е. осуществлена оценка их возможности решать поставленные перед ними задачи: дифференциация всех обследуемых по степени выраженности ПВК и прогнозирование вероятности успеха в профессиональной деятельности. С этой целью проводится так называемое пилотажное исследование.

Понятие «пилотажное исследование» (иногда его еще называют пилотное исследование) достаточно широко распространено в психологии. Причем под этим понятиям очень часто подразумевают совершенно разные мероприятия, проводимые с разными целями. Однако если обобщить все, что понимается под этим понятием, то его смысл сводится к проведению «пробного», «оценочного» или «ориентировочного» исследования.

Суть пилотажного исследования, проводимого с целью оценки прогностичности психодиагностических методик, заключается в обследовании группы лиц, уже выполняющих профессиональную деятельность, для которой планируется проводить отбор. При этом предполагается, что работающие по данной специальности люди обладают индивидуально-психологическими и личностными характеристиками, которые или мешают, или, наоборот, способствуют успешному выполнению профессиональных обязанностей. Поэтому если профессионально важные качества были определены верно, если правильно были подобраны методики, то результаты исследования должны иметь тесную связь с показателями успешности деятельности.

При проведении пилотажного исследования всегда возникает необходимость решить две проблемы:

– как определить критерии успешности деятельности, в отношении которых будет оцениваться прогностичность отобранных методик;

– как сформировать группу лиц, которые будут обследоваться.

Как правило, при формировании группы обследуемых для проверки прогностичности отобранных методик принимается одно из двух принципиальных решений: обследовать две группы лиц, имеющих полярные показатели успешности выполнения профессиональной деятельности, или провести обследование по принципу случайной выборки, т. е. обследовать всех, кого возможно.

В случае если оценка прогностичности отобранных методик проводится на основе результатов обследования полярных групп, то экспериментальная работа осуществляется в следующем порядке.

– На основании четко определенных критериев успешности деятельности формируются две группы работников: успешных и неуспешных, причем обследуемые группы должны быть сопоставимы по возрасту и полу.

– На завершающем этапе проводится математико-статистический анализ результатов.

Для реализации данного подхода на практике в первую очередь необходимо обеспечить репрезентативность выборки, для чего потребуется достаточно большая группа людей. Говоря о численности групп, следует вспомнить те требования, о которых говорилось выше (см. главу 8). Исходя из этих требований можно утверждать, что для обеспечения статистической достоверности результатов обе сравниваемые между собой группы успешных и неуспешных работников должны быть как минимум по 30 человек. Однако реально обеспечить такой объем выборки удается крайне редко, хотя бы потому, что руководство организации или предприятия вряд ли будет мириться с таким большим количеством неуспешных работников. Поэтому, несмотря на то что обследование полярных групп является идеальным вариантом, чаще всего при проведении пилотажного исследования в ходе разработки системы ППО разработчики обследуют случайную выборку работников предприятия.

При проведении пилотажного исследования по принципу случайной выборки, как правило, обследуются все работники, выполняющие одни и те же профессиональные обязанности, т. е. представители одной и той же профессии. В этом случае порядок работы выглядит следующим образом:

– проводится обследование работников предприятия, выполняющих профессиональные обязанности по должности, в отношении которой предполагается проводить профессиональный психологический отбор;

– на завершающем этапе проводится математико-статистический анализ полученных результатов.

Вместе с тем следует отметить, что бывают случаи, когда ни один из двух названных выше способов проведения пилотажного исследования не подходит для их осуществления в конкретных условиях. Например, это происходит тогда, когда разрабатывается система профотбора на вновь создаваемые профессии. Кроме этого, бывают ситуации, когда отобрать необходимое для проведения пилотажного исследования количество людей не представляется возможным. В этом случае психологу приходится моделировать выборку обследуемых; тогда этапность экспериментального исследования будет такой:

– на первом этапе моделируется экспериментальная выборка обследуемых и проводится психологическое тестирование;

– на втором этапе проводится математико-статистический анализ полученных результатов.

Наиболее сложным этапом в этом варианте проведения пилотажного исследования является этап моделирования экспериментальной выборки, поскольку от него зависит точность оценки соответствия отобранных методик условиям выполнения задач ППО. При моделировании экспериментальной выборки следует учитывать предполагаемый возраст людей, которым предстоит выполнять соответствующие профессиональные обязанности, а также их пол и образование. При этом желательно, чтобы профессиональная деятельность, которую они реально выполняют, предъявляла очень близкие по содержанию требования к наличию у работников соответствующих профессионально важных качеств, необходимых для успешной работы на новой должности. Также желательно учесть, что объем моделируемой выборки должен быть не менее 55–60 человек, а в идеальном случае – не менее 100.

Следует отметить, что все варианты проведения пилотажного исследования по оценке прогностичности методик, которые предполагается использовать в мероприятиях ППО, имеют весьма схожий этап – математико-статистический анализ полученных результатов. Однако содержание и порядок осуществления данного этапа могут быть различными. Рассмотрим этот этап более подробно.
^

Математико-статистический анализ результатов проведения пилотажного исследования

При проведении математико-статистического анализа результатов пилотажного исследования, выполненного на основе тестирования полярных (контрастных) групп, как правило, не осуществляется оценка нормального распределения результатов, поскольку предполагается, что результаты двух обследованных групп будут существенно различаться. Поэтому, прежде всего, ведется поиск отличий в результатах выполнения тестов представителями изучаемых групп. Для этого чаще всего используется t- критерий Стьюдента. При этом сначала оценивается степень различия в целом по группам, а затем – в зависимости от возраста и пола. В ходе этого анализа выявляются методики, по которым обследуемые группы имеют достаточно четкие различия, а также те, по которым достоверных различий обнаружено не было. Вполне естественно, что методики, подчеркивающие различия между сравниваемыми группами успешных и неуспешных работников, должны быть включены в перечень методик, рекомендованных для использования в мероприятиях профотбора.

Несколько сложнее принимается решение об использовании в мероприятиях профотбора методик, которые не позволили обнаружить различия в сравниваемых группах работников. На что следует обращать внимание при анализе результатов таких тестов? Прежде всего – на наличие в перечне проверяемых тестов двух или трех методик, оценивающих одно и то же психологическое качество. Если это было сделано и по одним методикам были установлены различия, а по другим – нет, то в перечне методик, которые будут рекомендованы для профотбора, оставляются только те методики, которые подтвердили существование различий между сравниваемыми группами. Соответственно те методики, по которым различия не выявили, должны быть исключены из списка.

Если же для изучения какого-то профессионально важного качества в перечень методик, проверяемых в ходе пилотажного исследования, была включена лишь одна методика и по результатам ее выполнения не было обнаружено различий между сравниваемыми группами успешных и неуспешных работников, то принятие решения о целесообразности ее использования в мероприятиях профотбора еще более усложняется. Во-первых, оценивается степень важности данного профессионально важного качества в общей структуре ПВК. Если это качество является второстепенным, то в некоторых случаях данным качеством можно пренебречь и исключить тест, не позволивший установить различия между группами, из перечня методик, рекомендуемых для использования в мероприятиях профотбора. Во-вторых, оценивается величина отклонения полученного t- критерия от величин достоверных различий. Как известно, в статистике существуют самые разные уровни достоверности значений, характеризующие степень вероятности того или иного события. По мнению большинства авторов, разрабатывающих методологию использования различных приемов статистического анализа в психологии, в качестве достоверных показателей t- критерия Стьюдента, характеризующих различия между двумя группами людей, следует брать те, которые соответствуют не менее 95 %-ному уровню вероятности, т. е. р ‹ 0,05. Соответственно показатели ниже этой величины следует относить к категории недостоверных.

Такая точка зрения вполне обоснованна в отношении различных психологических исследований. Однако при разработке системы ППО следует учитывать характер того или иного профессионально важного качества. Так, существуют такие ПВК, которые могут проявиться в полной мере только при выполнении реальной профессиональной деятельности. Например, многие методики по оценке стрессовой устойчивости человека демонстрируют наилучшую результативность в дифференциации испытуемых по развитию данного качества лишь тогда, когда испытуемые находятся в ситуации стресса. Поэтому всегда следует иметь в виду, что при проведении психологического тестирования обследуемый находится в условиях только тестирования, а не реальной деятельности. Именно данное обстоятельство определяет необходимость оценивать величину отклонения полученного показателя t- критерия от величин, характеризуемых как достоверно значимые. В определенных случаях показатели t- критерия, даже не достигнувшие уровня достоверно значимых показателей, могут быть оценены как вполне достаточные. Например, при сравнении результатов двух групп по 30 человек в каждой достоверно значимым считается показатель t- критерия от 2,042 и более, но как относиться к t = 1,711 или 1,800? Данная величина показателя t- критерия не достигает уровня значимости, при котором в психологии принято говорить о высокой достоверности. Однако с точки зрения статистики она является вполне значимой. В случае сопоставления результатов психологического обследования двух сравниваемых между собой групп по 30 человек в каждой величина t- критерия более 1,697 и менее 2,042 свидетельствует о том, что существует 90 % (р ‹ 0,1) вероятности того, что эти группы действительно имеют различия в выраженности соответствующей психологической характеристики. В этом случае в психологии принято говорить о существующих тенденциях. Поскольку была выявлена тенденция, то отказываться от использования или, наоборот, рекомендовать к использованию в мероприятиях профотбора такую методику без проведения дополнительного анализа не представляется возможным.

Дальнейший анализ заключается в выявлении взаимосвязи между показателями теста и показателями успешности деятельности. Для этого используется корреляционный анализ – метод математической статистики, позволяющий обнаружить связь между отдельными характеристиками одного объекта. В данном случае предполагается, что если успешность деятельности действительно обусловлена какими-то психологическими качествами, то между показателями развития этого качества (оцениваемого с помощью тестов) и показателями успешности деятельности должна быть тесная взаимосвязь. Если в ходе корреляционного анализа такая взаимосвязь была установлена для показателей теста, по которому была выявлена лишь тенденция к достижению значимых различий (т. е. различия в показателях по этой методике между двумя группами соответствуют р ‹ 0,1), то он может использоваться в мероприятиях профотбора. Если же коэффициент корреляции не достиг уровня достоверной значимости, то использовать такой тест в мероприятиях профотбора не рекомендуется.

Следует отметить, что результаты корреляционного анализа выступают в качестве решающих при оценке того, какую из двух или трех методик, характеризующих уровень развития одного и того же психологического качества, целесообразно использовать в структуре мероприятий ППО. Как было сказано выше, при проведении пилотажного исследования можно, а иногда вполне целесообразно использовать несколько психологических методик (параллельных тестов), оценивающих одно и то же качество, поскольку на разных выборках и в разных условиях психологические тесты иногда демонстрируют разные надежность и валидность. Если в ходе математико-статистического анализа результатов пилотажного обследования было установлено, что параллельные тесты имеют равные показатели при сопоставлении полярных групп, то предпочтение отдается той методике, которая имеет более высокие показатели в корреляционном анализе. При этом предполагается, что все коэффициенты (и t- критерий, и коэффициент корреляции) должны достигать уровня достоверной значимости, в противном случае нет смысла сравнивать между собой методики. Всегда следует помнить, что первоочередное внимание при отборе методик уделяется показателям статистической достоверности.

В отличие от предыдущего варианта проведения пилотажного исследования при обследовании случайной выборки работников предприятия или организации с помощью математико-статистического анализа результатов прежде всего оценивается близость полученных показателей тестов к нормальному распределению. Если это требование соблюдается, то можно утверждать, что используемая методика позволяет ранжировать людей в зависимости от уровня развития психологического качества, для оценки которого она и предназначена. В случае если нормального распределения не получено, то вопрос о возможности использования проверяемого теста в структуре мероприятий профотбора ставится под сомнение. Поэтому дальнейший анализ сводится к оценке характера распределения полученных показателей теста.

Как правило, при анализе распределения показателей теста можно столкнуться с одним из трех вариантов:

– распределение, близкое к нормальному;

– вершина графика распределения смещается вправо или влево (правая или левая асимметрия);

– график распределения имеет два и более пика.

Первый вариант распределения является идеальным и, как было отмечено выше, снимает на данном этапе анализа все вопросы о целесообразности использования теста в структуре мероприятий профотбора.

Во втором варианте, когда отмечается левая или правая асимметрия показателей, необходимо учитывать конструктивные особенности теста и особенности выборки обследуемых. Например, при высоком уровне развития ПВК у большинства обследуемых будет встречаться правая асимметрия. Часто данное явление наблюдается в случае, если на этапе приема на работу проводился какой-либо отбор. Поэтому, столкнувшись с правой асимметрией, следует проанализировать опыт работы обследуемых, эффективность их деятельности, уровень профессиональной подготовленности и др. Как правило, подобный анализ позволяет обнаружить закономерность возникновения асимметрии, обусловленной особенностями выборки обследуемых.

Вместе с тем асимметрия может быть обусловлена и конструктивными особенностями теста. С этой точки зрения следует проанализировать возможность устранения данной асимметрии с помощью разработки нормализованной шкалы, т. е. такой шкалы, которая формируется при переводе «сырых» показателей в стандартные (стэны, станайны и др.). Например, при использовании нормализованной шкалы были получены асимметричные результаты. В этом случае предпринимается попытка внести коррективы в существующую нормализованную шкалу. Если асимметрия была получена на «сырых» показателях, то предпринимается попытка ее устранения с помощью разработки соответствующей стандартной нормализованной шкалы.

Далее решение о применении теста в мероприятиях профотбора принимается при взаимном сопоставлении результатов анализа особенностей выборки и конструктивных особенностей теста. Однако если попытки создать нормализованную шкалу или внести изменения в уже существующую шкалу не увенчались успехом и асимметрию компенсировать не удается, то рекомендовать такой тест к использованию в мероприятиях профотбора все же нецелесообразно.

Один из самых сложных случаев анализа распределения – случай с наличием нескольких пиков на графике распределения показателей теста. Это так называемый вариант распределения с отрицательным эксцессом, который свидетельствует о смещении большинства результатов к полярным значениям. У этого распределения могут быть свои объяснения. Во-первых, все те же особенности выборки. Однако если отрицательный эксцесс действительно вызван особенностями выборки, то он должен быть присущ не одной методике, а сразу нескольким. Именно такое явление может отмечаться при анализе результатов, полученных при обследовании хорошо подобранных полярных групп. Если же отрицательный эксцесс присущ только одной или двум методикам, то, скорее всего, он обусловлен конструктивными особенностями теста. В этом случае следует или отказаться от использования теста в мероприятиях профотбора, или увеличить численность выборки обследуемых и провести повторное обследование испытуемых.

После анализа характера распределения показателей тестов при проведении пилотажного обследования случайной выборки осуществляется корреляционный анализ. На данном этапе отсеиваются те методики, которые не имеют достоверно значимых корреляционных связей с показателями успешности профессиональной деятельности.

На завершающем этапе математико-статистического анализа результатов пилотажного исследования, проведенного на случайной выборке, оценивается способность тестов дифференцировать всех обследованных в отношении критериев успешности деятельности. Для этого среди обследуемых выделяются три группы лиц – с высокими, средними и низкими показателями успешности. Далее производится сравнение результатов тестов между группами с высокими и низкими показателями успешности. Тесты, по которым были получены достоверные различия между сравниваемыми группами, и тесты, которые показали наличие позитивных тенденций, могут рассматриваться как рекомендуемые для включения в перечень методик, планируемых для использования в мероприятиях профотбора.

Однако чаще всего при обследовании случайной выборки психологи сталкиваются с ситуацией, когда не представляется возможным сформировать контрольные группы с высокими или низкими показателями успешности деятельности. Это бывает обусловлено недостаточностью объема выборки. Поэтому возможно применение обратного анализа. С этой целью все обследуемые разделяются на несколько групп в отношении показателей какого-то одного теста, после чего анализируются показатели успешности деятельности между выделенными группами. В случае если между группами лиц обнаружены различия в показателях успешности деятельности (хотя бы на уровне закономерностей, т. е. р ‹ 0,1 или выше), то тест может быть рекомендован к использованию в мероприятиях профотбора.

В ходе пилотажного исследования теста аналогичная работа должна быть проделана в отношении каждого проверяемого. Кроме этого, следует также учитывать, что в итоговом перечне методик, рекомендованных для решения задач профотбора, не должно быть параллельных тестов. Поэтому, если в пилотажном исследовании используются параллельные методики, на заключительном этапе следует выбрать из них те, которые показали наилучшую прогностичность.

Еще один вариант пилотажного исследования – обследование экспериментальной моделируемой выборки. Этот вариант проводится в ситуациях, когда не представляется возможным обследовать людей, выполняющих профессиональную деятельность, на которую планируется проводить отбор. Самым существенным недостатком в данной ситуации является отсутствие показателей успешности деятельности. В результате получить высокодостоверные результаты анализа, характеризующие прогностичность оцениваемых тестов, не представляется возможным. Поэтому, какие бы ни были получены результаты, они могут быть расценены как предварительные и после накопления в ходе практического использования тестов материала весь анализ должен быть проведен повторно и в полном объеме. Тем не менее и при этом варианте проведения пилотажного исследования используются методы математико-статистического анализа. Принято считать целесообразным проведение анализа распределения показателей используемых тестов. Методики, по результатам которых показатели обследуемых не соответствуют нормальному распределению, как правило, исключают из перечня методик, рекомендованных для использования в ППО.

Завершая разговор об анализе результатов пилотажного исследования, являющегося одним из этапов разработки системы ППО, следует подчеркнуть, что в представленном обзоре рассмотрены лишь наиболее распространенные приемы и способы анализа результатов обследования экспериментальных групп. В конкретных условиях создания системы профессионального психологического отбора могут быть использованы и другие методы анализа. Поэтому психолог, решающий задачи профотбора, должен не только знать психологические тесты, но и хорошо разбираться в математической статистике.

Пилотажное исследование можно проводить с различными целями: проверка основных гипотез программы, выявление отдельных характеристик объекта с целью определения наиболее устойчивых для их дальнейшей углубленной разработки, выяснение действенности методики в целом или ее отдельных частей, предварительная проверка достоверности результатов опроса и т.д.

Существуют различные формы проведения пилотажного исследования. Оно может проводиться на небольших и на больших выборках. Если этого требует программа исследования, то пилотаж анкеты может проходить с большой представительной выборкой. По существу такой пилотаж иногда выступает как самостоятельное эмпирическое исследование, на которое затрачивается не меньше сил и времени, чем на основное исследование.

Однако обычно пилотажное исследование проводится на небольшом массиве. Точная численность обследуемых в этом случае не устанавливается, поскольку в каждом конкретном случае она может быть различной. Практика показывает, что численность опрашиваемых чаще всего не превышает 50-100 человек. Этого количества респондентов бывает достаточно, чтобы решить задачи, стоящие перед пилотажным исследованием. Необходимое условие заключается в том, что объектом исследования должны быть те люди, которые по своим основным характеристикам соответствуют основному объекту исследования. При этом пилотажный опрос проводится не на основном объекте, а на другом "поле", близком по своим характеристикам к основному. Это делается для того, чтобы не испортить основное "поле" исследования, поскольку любое, даже самое маленькое исследование получает резонанс, и тем или иным способом может оказать воздействие на основное исследование. Так, если в качестве основного объекта исследования выступают рабочие промышленного предприятия, то в пилотажном опросе объектом должны стать рабочие тоже промышленного, но другого предприятия.

Очень важен порядок проведения пилотажного опроса. Несмотря на то, что анкета готовится для заочного опроса, в пилотажном исследовании ее лучше представить в виде формализованного интервью. Преимущество формализованного интервью заключается в том, что, кроме того, что результаты пилотажного опроса будут анализироваться в совокупности ответов, оно дает и непосредственные наблюдения интервьюеров за реакцией респондентов на тот или иной вопрос и на всю анкету в целом. В качестве интервьюеров чаще всего выступают члены исследовательской группы или специально подготовленные для этого люди. По окончании опроса интервьюеры пишут небольшие отчеты по результатам каждого интервью. Такие письменные отчеты, хотя и отнимают много времени и сил и приятны далеко не каждому интервьюеру, но играют значительную роль в пилотажном исследовании. Они представляют большой интерес как документ непосредственного наблюдения, и их анализ чрезвычайно важен для доработки анкеты. Вот как описывает свое впечатление от опроса в пилотажном исследовании один из интервьюеров.

Эмпирическое исследование -это система логически последователь­ных методологических, методических и организационно-технических процедур, связанных между собой единой целью: получить достоверные данные об изучаемом явлении или процессе для их последующего ис­пользования в практике.

Специалисты считают, что единой схемы социологического исследова­ния, годящегося на разные случаи жизни, не существует. Выбор вида ис­следования диктуется характером поставленной цели и выдвинутых за­дач. Иными словами, глубиной требуемого анализа социальной пробле­мы, масштабом охвата событий.

В зависимости оттого, какой критерий берется за основание классифи­кации, выделяют несколько видов эмпирического исследования. По глубине анализа социальной проблемы и масштаба охвата событий различают пробное, описательное и аналитическое исследования. По применяемому методу сбора данных различают опрос, наблюдение, анализ документов, эксперимент.

По цели исследования - изучается статика или динамика явления - выде­ляют еще два вида социологического исследования: точечное и повторное. По объему охвата объекта исследования типы исследования делятся на сплошные и выборочные.

По месту проведения в социологии и антропологии выделяют полевые (естественные), а в социальной психологии как полевые, так и лабора­торные исследования.

ПРОБНОЕ ИССЛЕДОВАНИЕ

Термин «пробное исследование» в литературе употребляется как: 1) си­ноним поискового (разведывательного) исследования; 2) синоним пилотаж­ного исследования; 3) собирательное понятие, включающее как свои разно­видности (подвиды) поисковое (разведывательное) и пилотажное исследо-

Поисковое исследование

Поисковое (разведывательное) исследование проводится с целью уточне­ния проблемы, более корректной постановки задач и выдвижения обосно­ванных гипотез. Таким образом, по своей сути оно есть концептуальное ис­следование. Проведение его особенно желательно в том случае, если лите­ратура по интересующей вас тематике отсутствует или ее недостаточно.

Разведывательное исследование - наиболее простой вид социологическо­го анализа: круг задач ограничен, число опрошенных невелико, программа v инструментарий крайне упрощенные; данные нерепрезентативные. Учены? получает лишь прикидочные сведения об объекте исследования для общей ори­ентации в проблеме. Оно используется для мало изученных или вообще не изученных проблем. Его лозунг - приблизительно, дешево и быстро.

Поисковое исследование может проводиться следующими методами: ин­тервью (лучше неформализованное) с потенциальными респондентами; на­блюдение; фокус-группа по центральной проблеме исследования; опрос экс­пертов - специалистов или просто людей, имеющих отношение к интересу­ющей вас проблемной области; изучение документов, статистических данных содержащих необходимые сведения по выдвинутым задачам и гипотезам.

Вариантом разведывательного исследования выступают экспресс-опросы Их еще называют оперативными опросами. Ими пользуются многочисленньк опросные фирмы - от ВЦИОМ до РОМИР. Правда, опросы они проводят как правило, очень грамотные, но глубоких научных задач развития фунда­ментальной науки не ставят. Решаются сиюминутные, но очень нужные об­ществу, ведомству или частному заказчику утилитарные задачи: как народ относится к президенту, запрещению абортов, войне в Чечне, приезду Буша террористическим актам 11 сентября 2001 г. Таким образом получают све­жую, недолговечную (срок ее жизни исчисляется днями, неделями, реж< месяцами), но очень нужную в данный момент информацию.

Если за дело берется не солидная опросная фирма, имеющая лицензик на проведение опросов, а группа любителей (отдел кадров, хозяин веб-сай та, кружок друзей словесности, журнал и т.д.), то оперативный опрос дае - хотя и свежую, даже нужную информацию, но совершенно нерепрезентатив ную, не очень надежную или совершенно ненадежную. Она может быть до стоверной, но только на первый взгляд. Стоит подойти к инструменту по всел научным меркам, как проявятся многочисленные изъяны. Но там, где не тре буется великой строгости, где нужно лишь как-то сориентироваться в про блеме (разведать объект), оперативный опрос вполне годится.

ПИЛОТАЖНОЕ ИССЛЕДОВАНИЕ

Разведывательное исследование часто называют также пилотажным ис следованием. Хотя правильнее считать его самостоятельным видом социоло гического исследования. Разведывательное и пилотажное исследования по хожи в двух аспектах:

♦ Цель - получить примерные данные о том или ином явлении либо апро­бировать применение методики к более широкомасштабным исследованиям.

« Объект - для проведения того и другого исследования нужна незначитель­ная совокупность объектов, поэтому они проводятся в ограниченные сроки.

Но в отличие от разведывательного, пилотажное исследование предназ­начено для отработки технических процедур и приемов, чаще всего - для ап­робации вопросника. Предварительная проверка опросного инструментария столь же важна для успеха исследования, считают Дж. Мангейм и Р. Рич, как пробная поездка - для успешной покупки подержанного автомобиля. Она помогает обнаружить проблемы, которые в полной мере могут проявиться только в полевых условиях.

При проведении пилотажного исследования необходимо учитывать правила:

4 Объем выборки в пилотажном исследовании не имеет четкого методи­ческого обоснования. Обычно полагают достаточным опросить около 30 рес­пондентов. Важно только, чтобы они представляли все существенные кате­гории планируемого объекта исследования".

Малая выборка в пилотаже вовсе не обязательно должна быть репре­зентативной по отношению к генеральной совокупности. Куда важнее дру­гое ее качество - разнообразие: она должна включать те группы респонден­тов, которые способны реагировать на инструментарий по-разному. Если ма­лообразованные люди составят в будущей выборке незначительную долю, их необходимо опрашивать в первую очередь именно потому, что они могут от­вечать на ваши умные вопросы совсем не так, как ожидается.

« В пилотажную выборку включают тех респондентов, которые представ­ляют наиболее важные для темы опроса социально-демографичекие призна­ки (пол, возраст, образование, стаж работы, содержание труда и т.п.).

В социальной психологии пилотажное исследование (рабочий термин «зондаж») применяется для установления необходимого объема выборки, уточнения содержания и числа вопросов анкеты, времени опроса и др. В за­рубежной и отечественной практике применения тестов (тестологии) пило­тажа (рабочий термин - «претест») служит средством выявления некоторых стандартов основного теста.

В социологии пилотаж проводится до основного исследования и высту­пает способом проверки обоснованности гипотез и задач, а также професси­онального уровня и методической отработанности инструментария. Пило­таж помогает оценить правильность модели выборки и внести в нее в случае необходимости соответствующие исправления; уточнить некоторые харак­теристики объекта и предмета исследования, обосновать финансовые расхо­ды и сроки проведения главного исследования. Пилотаж полезен также для тренировки группы интервьюеров (анкетеров).

Современные социологи придерживаются правила: прежде чем отдавать анкету в большой тираж, ее целесообразно опробовать в малотиражном (пи­лотажном) опросе, чтобы уточнить, правильно ли понимают вопросы рес­понденты, не слишком ли она длинна и утомительна, сколько времени за­нимает ее заполнение (или интервью), а в случае почтовой рассылки - сколь­ко дней проходит с момента отправления анкеты до получения ответов.

Шмерлина И.А. Процедурные начала исследовательской социологии. Учеб. пособие // http:// www.unn.ac.ru/ras/fl4/k2/courses/shmern.htm

Пилотажное исследование представляет собой исследование по «укорочен­ному» плану - в нем используются малые выборки, не в полной степени про­водится сбор информации, полученная информация анализируется только пс наиболее значимым критериям. Если пилотажное исследование проводится в цикле исследования хорошо изученной проблемы, оно позволяет «отточить» инструментарий исследования, выявить и устранить его дефекты и дефекты подходов к математическому анализу. Проведение пилотажного исследования в этом случае позволяет избежать сбора информации по «пустым» вопросам, ответы респондентов на которые не подлежат анализу, или неадекватно (не­однозначно) интерпретируются самими респондентами. Для поискового ис­следования (исследования в сфере недостаточно разработанной) пилотажное исследование предоставляет информацию для уточнения многих пунктов про­граммы, что в дальнейшем обеспечивает немалую экономию ресурсов.

Пилотаж полезен для: а) тестирования инструментария, в котором исследо­ватель вполне уверен, б) усовершенствования инструментария в ситуации, когда предмет исследования хуже известен исследователю. В первом случае инстру­ментарий проходит предварительное испытание в своем окончательном вари­анте. Во втором исследователь может захотеть поэкспериментировать с разны­ми вариантами (макетами) инструмента, чтобы узнать, какой из них удобнее е работе. Предварительное тестирование такого типа может включать в себя:

1.Тестирование различных словесных формулировок и форм вопросов.

2.Опробование анкеты, предназначающейся для самостоятельного запол­нения респондентом, в личном интервью, чтобы в процессе живого обще­ния с респондентом выявились возможные трудности ее заполнения.

3.Употребление открытых вопросов для выявления типичных ответов, которые затем можно будет включить в набор ответов на закрытые вопросы, с тем чтобы использовать последние в окончательном варианте.

4.Тестирование различных видов инструментария (почтовых анкет, очных интервью, телефонных интервью) с целью определения годности каждого из них 2 .

Рис. 28. Тестирование различных видов инструментария

Пилотаж можно считать генеральной репетицией к главному исследованию. Он позволяет сделать первые выводы о том, насколько успешно прошел этал подготовки к нему, какими могут быть ожидаемые результаты. В ходе такогс опроса собирается методическая информация, т.е. информация о качестве раз­работанного инструментария. Проверяются все организационные и методичес­кие условия будущего исследования, и прежде всего: доступность необходимых

Мангейм Дж.Б., Рич Р.К. Политология. Методы исследования. М.: Весь мир, 1997. С. 211-212.

документов, отношение респондентов к опросу и их реакция на вопросы анке­ты. Оценивая качества методики опроса, социолог регистрирует любые затруд­нения респондента, вызванные техникой заполнения, непониманием смысла вопросов, отдельных слов. Учитываются также все замечания и наблюдения ан­кетеров о методических недостатках, которые им удалось обнаружить.

Вернувшись с опроса, лучше сразу же сесть за свою анкету, просмот­реть ответы на все вопросы, отметить самые проблемные, а потом схо­дить на объект и пообщаться с респондентами.

Пилотаж проводится в двух вариантах. В первом - всю группу респон­дентов приглашают в отдельную комнату, где на столах разложены анкеты. Респондентов «вводят» в ситуацию пилотажа, т.е. объясняют его цели и за­дачи, инструктируют по технике заполнения анкеты и просят высказать после заполнения критические замечания, поговорить о неясностях и о тех вопро­сах, которые затрудняют работу с анкетой. Заполненные анкеты опускаются в опечатанные урны, после чего начинается групповое обсуждение содержа­ния опроса в целом. Показателями, позволяющими оценить пригодность анкетного вопроса, выступают число неответивших на вопрос и характер распределения ответов по шкале, используемой в вопросе.

Второй вариант пилотажного опроса предполагает приглашение группы из 3-4-х респондентов для обсуждения анкеты по мере ее заполнения: оп­рашиваемые делают пометки о качестве вопросов. Перед началом пилотажа их вводят в ситуацию экспертного опроса, объясняя, что содержание отве­тов не анализируется, так как опрос преследует только методические цели.

(резка

Пример пилотажного исследования

1риведем пример из собственной практики. В шчале 1980-х гг. было задумано изучение сти-|я руководства на одинаковых по технологичес-:ому профилю промышленных предприятиях были выбраны заводы по изготовлению холо-;ильников), но находящихся в разных культур­ных средах (Россия, Азербайджан, Литва). Пи-ютаж проводился на московском заводе холо-1ильников. Было роздано от 50 анкет, из соторых вернуть удалось 34 (некоторые анкеты эеспонденты куда-то спрятали, в другие заво­рачивали инструменты и спецодежду, а что-то 1 вовсе выбросили). Одному из авторов, тогда иладшему научному сотруднику, поручили вер­нуться на завод и поговорить с рабочими о том, сак они поняли анкетные вопросы. В основном 1 целом все прошло благополучно, но с некото-эыми произошел курьез. В анкете размещался зопрос о том, какого стиля руководства - авто-эитарного или демократического - придержи-зается непосредственный руководитель. Хотя трименялась расшифровка обоих терминов, этветы вызвали у рабочих сложный спектр нувств - от непонимания до возмущения. Но гамое главное - вопрос дал противоречивые ответы. Одного и того же руководителя рабочие

ремонтной бригады в равной мере отметили как демократа и как авторитарную личность. В не­формальной беседе пришлось выяснить причи­ны. «Наш бригадир (они его звали «рыжий Вась­ка») - просто деспот какой-то: если плохо ра­ботаешь или не так задание выполнил, может и матюгом покрыть, а то и кулаком заехать». «Так почему же половина рабочих назвала его демок-

ратом?» «А потому что с народом ладить умеет: после окончания смены вместе в пивбар захо­дим или водочки где разопьем, разговор по душам затеем, все ему выскажем. Мы же пони­маем: на работе с нами иначе нельзя, а вот по­том - совсем другое дело», - последовал от­вет. Разумеется, всех нюансов социологическая анкета учесть не могла, и ее вопросы пришлось корректировать.

Им задается примерно тот же круг методических вопросов, что и в предыду­щем случае. Замечено, что подобная процедура повышает заинтересованность респондентов и уровень критического восприятия анкетного вопроса.

В Аналитическом центре «Бизнес и маркетинг» обязательный пилотаж сформированной анкеты проводится в ходе пробных интервью с нескольки­ми респондентами, принадлежащими к целевой группе (обычно 3-5 респон­дентов, при сложных исследованиях -10-15). Это позволяет определить сте­пень понимания вопросов, обнаружить другие особенности их восприятия. По результатам пилотажа, если необходимо, в анкету вносятся коррективы. Осо­бенности проведения пробного опроса подробно обсуждаются также на «круг­лых столах» с интервьюерами, участвующими в проекте. При этом коллективно имитируется процесс проведения интервью в лабораторных условиях.

Пилотажные материалы хранятся в особых папках опросной фирмы. Они включают в себя первоначальный вариант вопросника, протоколы, фикси­рующие замечания респондентов и социологов, а также доработанный вари­ант анкеты. Со временем накапливается своеобразный «банк» методических решений, появляется опыт и навыки анализа типичных методических оши­бок, доработки инструментария.

Пилотажное исследование составляется на основе логического осмысле­ния всей проблемы будущего исследования, приблизительного расположе­ния вопросов с точки зрения их очевидной целесообразности. В ходе пило­тажа проверяются все процедуры, весь инструментарий исследования, выб­раковываются неудачные вопросы, вносятся коррективы на отдельных этапах исследования 3 .

К его проведению надо относиться как к приобретению страховки: вы, конечно, можете обойтись и без нее, если повезет. А если нет?

Для проверки гипотезы о том, что количество аргументов в сообщении может влиять на формирование мнения по центральному или по периферийному пути, к 46 студентам обратились с просьбой прочитать одно из трех сообщений, каждое из которых имело для них либо высокую, либо низкую актуальность. Во всех сообщениях было изложено предложение администрации повысить плату за обучение. При условии высокой актуальности в сообщении предлагалось повысить плату за обучение в том университете, в котором учились студенты, в то время как при условии низкой актуальности предлагалось повысить плату в другом, сравнимом с данным,

университете. В сообщении, прочитанном студентами, содержалось либо три убедительных аргумента (например, дополнительные средства помогут уменьшить количество студентов в каждой группе, что приведет к улучшению взаимодействия между студентами и преподавателем), либо три поверхностных аргумента (например, часть дополнительных средств можно использовать на усовершенствование классных досок в университете, что произведет хорошее впечатление на гостей университета), либо три убедительных и три поверхностных аргумента (причем убедительные аргументы перечислялись

сначала). После прочтения сообщения испытуемые делали пометку на отрезке длиной 64 мм, указывая таким образом, до какой степени они согласны с идеей повышения платы за обучение.

Если при условии низкой актуальности количество аргументов в сообщении служит периферийным признаком правильности сообщения, то испытуемые, прочитавшие сообщение с шестью аргументами, должны в большей степени соглашаться с повышением платы за обучение, чем испытуемые, прочитавшие любое из сообщений с тремя аргументами. С другой стороны, если при условии высокой актуальности испытуемые оценивают смысл аргументов, тогда сообщение с шестью аргументами должно занимать промежуточное положение между сообщениями с тремя сильными и тремя слабыми аргументами по степени выраженного испытуемыми согласия. Анализ результатов... показал, что при условии низкой актуальности убеждающее воздействие трех сильных аргументов было ненамного сильнее, чем трех слабых, но убеждающее воздействие шести аргументов (трех сильных и трех слабых) было значительно сильнее, чем в любом из случаев с тремя аргументами. При условии высокой актуальности убеждающее воздействие трех сильных аргументов было значительно сильнее, чем трех слабых, но убеждающее воздействие шести аргументов было незначительно сильнее, чем в случае с тремя сильными аргументами (хотя оно и превышало убеждающее воздействие трех слабых аргументов). Эти результаты показывают, что при условии низкой актуальности люди оценивают не смысл аргументов, а ориентируются на их количество в качестве периферийного признака, указывающего на достоинства предложения. Таким образом, при условии низкой актуальности на формирование установки оказывало влияние просто число представленных аргументов, а их качество не играло роли (периферийный путь). Однако при условии высокой актуальности у людей имелась мотивация обдумывать представленную им информацию, относящуюся к данной проблеме, поэтому качество аргументов было важнее, чем их количество (центральный путь).

Для обеспечения надежности основных результатов, полученных в нашем пилотажном исследовании, мы повторили эксперимент, несколько модифицировав его. Общая концепция оставалась прежней, но использовались другие манипуляции степенью актуальности и другая установка. В этом исследовании также варьировалась степень актуальности сообщения для испытуемых, и кроме того, они получали либо три, либо девять аргументов, причем все они содержали либо убедительные, либо поверхностные доводы в пользу защищаемой позиции. Кроме ключевой оценки установок проводилось также несколько дополнительных количественных оценок. Они включали в себя контроль над эксперимен-тальными манипуляциями и оценку наиболее значимых для испытуемых мыслей о полученном ими сообщении.

Наша основная гипотеза концептуально не отличалась от гипотезы, которая проверялась в пилотажном исследовании. А именно, мы выдвинули гипотезу о том, что при условии низкой актуальности проблемы количество аргументов в сообщении в большей степени определяет формирование установок, чем качество этих аргументов. При условии низкой актуальности увеличение количества аргументов, как убедительных, так и поверхностных, должно приводить к усилению убеждающего воздействия сообщения, поскольку испытуемые, у которых отсутствует мотивация обдумывать аргументы, будут пользоваться для принятия решения простым правилом «чем больше, тем лучше». С другой стороны, мы прогнозировали, что при условии высокой актуальности качество аргументов сообщения в большей степени определяет формирование установок, чем количество этих аргументов. Мы ожидали, что при условии высокой актуальности, когда у испытуемых имеется мотивация обдумывать информацию по данной проблеме, они будут думать над каждым из представленных им новых аргументов. Если при условии высокой актуальности реципиенты думают над каждым из новых аргументов, и в ответ на убедительные аргументы у них возникают благоприятные для изменения установки мысли, а в ответ на поверхностные аргументы - неблагоприятные, то в случае, когда представлены девять аргументов, установки, сформировавшиеся в ответ на убедительные аргументы, должны сильнее отличаться от установок, сформировавшихся в ответ на поверхностные аргументы, по сравнению со случаем, когда представлены только три аргумента.

МЕТОД

Процедура

В эксперименте участвовали 168 студентов и студенток университета штата Миссури, которые получили за это дополнительный зачет по вводному курсу психологии... Испытуемых тестировали группами по 6-14 человек в больших

аудиториях, чтобы они не взаимодействовали между собой. В течение одного сеанса эксперимента можно было воспроизвести все варианты условий, если присутствовало достаточное число испытуемых.

Когда испытуемые приходили в назначенную аудиторию, они получали папку, в которой была инструкция, текст и брошюра с вопросником. В инструкции объяснялось следующее:

Первое впечатление, производимое человеком, зависит от многих факторов - его наружности, одежды, голоса и т. д. Сегодня мы просим вас попытаться сформировать ваше впечатление о человеке, прочитав отрывок из написанного им текста.

После прочтения этих объясняющих суть дела комментариев и краткого описания автора (см. ниже), всех испытуемых просили прочитать текст, который находился в папке. Им также говорили, что, прочитав текст, они сразу же должны ответить на вопросы из брошюры, а затем отдать ее экспериментатору, который находился в аудитории. После завершения оценки зависимых переменных испытуемых провожали в другую комнату, где с ними проводилось подробное собеседование, их бла-годарили за участие и отпускали.

Пилотажное исследование -- пробно-поисковый тип исследования, которое проводится до основного и является его упрощенной формой. В социальной психологии П. и. (рабочий термин "зондаж") применяется для установления необходимого объема выборки, уточнения содержания и числа вопросов анкеты, времени опроса и др.; в тестологии П. и. (рабочий термин -- "претест") служит средством выявления некоторых стандартов основного теста. П. и. -- важнейшая часть в планировании любого экспериментально-психологического исследования: оно обеспечивает определение главного направления, принципов организации и методов основного исследования, уточняет наиболее важные гипотезы. В отечественной психологии более употребительным является термин "поисковый эксперимент".

Метод беседы.

Метод необходим любому психологу. При любом диагностическом обследовании необходима беседа.

• 1. установление контакта, настройка на сотрудничество.
• 2. Создание положительной мотивации, усиление мотивации к обследованию.
• 3. Получение диагностической информации.
• 4. Снижение тревожности и оказание психологической помощи испытуемому.

Если беседа ведется для оказания психологической помощи - это будет психотерапевтическая беседа или клиническое интервью.

Диагностическое интервью и клиническое интервью нельзя противопоставлять, они дополняют друг друга. Любое интервью - налаживание контакта и настройка на сотрудничество. Хорошее психотерапевтическое интервью - постановка диагноза.

Беседа - сложный метод для психолога.

Сложности:

• 1. В процессе беседы психолог вступает во взаимодействие с испытуемым и использует информацию путем метода наблюдения, фиксирует мимику, жесты, позы... Оценивает отношение испытуемого к беседе.
• 2. Получает информацию с помощью беседы - обращает внимание на формальную сторону беседы, на саму манеру речи... Такого рода наблюдения дают информацию, важную с точки зрения личностных особенностей человека.
• 3. Психолог, участвуя в беседе, сам воздействует на испытуемого, на то, что говорит испытуемый. Тем самым психолог может менять ситуацию, содержание ответов испытуемого. Ситуация беседы: собеседники находятся в ассиметричных позициях. Чаще всего получается, что психолог спрашивает, испытуемый - отвечает. Следовательно данная ситуация может привести к нарушению доверительности испытуемого. Возможен отказ отвечать на вопросы. Психолог перед беседой говорит, что он будет задавать вопросы, а после испытуемый задает все свои вопросы психологу.
• 4. Каждый психолог априорно воспринимается своим собеседником как специалист по межличностным отношениям. Следовательно, повышенные требования к личности самого психодиагноста.

Каким должен быть психодиагност?