Новиков А. Как работать над диссертацией

ОГЛАВЛЕНИЕ

РАБОТА С НАУЧНОЙ ЛИТЕРАТУРОЙ

Науки, философию, истоки
Чудесного и всю зрелую мудрость
Я изучил, и власть обрел мой ум.
Дж. Байрон. «Манфред»
Постоянная работа с научной литературой — обязательный компонент любой научной деятельности. А сама научная литература является важнейшим средством поддержания существования и развития науки — во-первых, средством распространения и хранения достигнутого научного знания, во-вторых — средством коммуникации, научного общения ученых между собой. Причем, необходимо учитывать разные функции тех или иных видов публикаций, отражающих, как правило, разные этапы развития научного знания.
Вначале новые научные факты, идеи, теории появляются в публикуемых тезисах выступлений на научных конференциях, семинарах, съездах, симпозиумах, а также в препринтах и других видах публикаций, осуществляемых наиболее быстро. Затем в уже систематизированном и отобранном виде они переходят в научные статьи, публикуемые в журналах и сборниках.
Следующий этап — в еще более обобщенном, систематизированном и проверенном виде факты, идеи, теории публикуются в монографиях. И только фундаментальные, общие и неоднократно проверенные новые компоненты научного знания попадают в учебники — вузовские, а уж самые значительные — в школьные. Эту динамику движения научного знания необходимо учитывать в Вашей работе с научно-педагогической литературой, разграничивая литературные источники по степени их важности, достоверности и признанности в научно-педагогическом мире.
Начиная работать с литературой по выбранной теме исследования, даже до этого — по выбранному Вами направлению, Вы приступаете к составлению библиографии. Для этого лучше всего использовать обычные каталожные библиотечные карточки, которые есть в любой библиотеке. На одной (лицевой) стороне пишется источник: фамилия и инициалы автора, название работы, в каком журнале, сборнике и т.д. издана статья, тезисы и т.п., место (город) издания, издательство, год издания, количество страниц в книге или с какой по какую страницу расположена статья, тезисы в журнале, сборнике и т.д. Причем, есть определенный библиографический стандарт — как надо оформлять данные о литературных, а также, к примеру, архивных и других источниках. Это можно посмотреть, в частности, в списках литературы в диссертациях Ваших уже защитившихся коллег. Именно в диссертациях, поскольку в книгах, выпускаемых разными издательствами, далеко не всегда этот стандарт соблюдается. На оборотной стороне карточки Вы фиксируете те факты, утверждения и т.п., что представляют интерес для Вашей работы. Если места для этого не хватает, на карточке дается пометка о том, на какой странице специально заведенной тетради конспектов следует искать конспект данной работы. Если выписывается цитата дословно, она охватывается кавычками, чтобы в дальнейшем отличить ее от конспективной записи. Но в любом случае необходимо пометить — с какой страницы (страниц) источника взят, законспектирован материал.
Вообще библиографию необходимо вести самым тщательным образом, чтобы в дальнейшем не обращаться вновь и вновь к первоисточникам тогда, когда на это у Вас у же не будет времени. Допустим (часто распространенный случай), Вы не записывали, сколько страниц в книге, или на каких страницах напечатана та или иная статья. Когда же Вы начнете оформлять список литературы к диссертации, Вам придется вновь заказывать всю литературу в библиотеке. На это уйдет не день и не неделя, а намного больше.
Как искать необходимые литературные источники (если не говорить о специальных источниках — архивных материалах и т.п. — это отдельный разговор)? В первую очередь — в библиотечных каталогах (книги) и в последних номерах журналов за каждый год, где помещаются перечни всех статей, опубликованных в текущем году. Хорошим подспорьем могут быть списки литературы, которые приводятся в конце монографий, и списки цитированной литературы в диссертациях Ваших уже защитившихся коллег.
Библиография, содержащаяся в нескольких диссертациях, близких к Вашему направлению исследований, по сути даст Вам почти все публикации, имевшиеся на момент защиты этих работ. Это, конечно, можно и нужно использовать. Однако все же не сочтите за труд проработать те первоисточники, на которые ссылаются диссертанты — Ваши предшественники, а то нередко приходится наблюдать, как опечатки, например, в фамилиях, инициалах авторов, в цитатах «перекочевывают» из диссертации в диссертацию. Ведь научный мир педагогики не так широк, и большинство ученых знакомы между собой, уж если не лично, то по публикациям, и такие ошибки сразу бросаются в глаза даже при беглом пролистывании Вашей диссертации.
Отдельный вопрос — использование иностранной литературы. К сожалению, в былые годы сложилась практика, когда привлечение иностранных литературных источников в педагогических кандидатских, да и докторских диссертациях практически не требовалось. Как правило, в списке цитированной литературы приводились 2—3 иностранные работы, а многие диссертанты и вовсе на них не ссылались. Хотя в диссертациях по многим другим специальностям, например по физике, медицине в список литературы включается обычно не менее, а подчас и более половины иностранных источников. Объяснить такое явление в педагогике можно, очевидно, тем, что до последнего времени наше общество, страна жили в идеологической изоляции от всего мира. А педагогика, как ни считай — наука идеологическая.
Но сегодня, когда страна пытается войти равноправно в мировое сообщество, стремится стать цивилизованной, игнорирование работ наших зарубежных коллег становится просто неприличным. В то же время следует сказать и о несколько разной направленности проблематики, определенной «чересполосице» исследований. Если, например, в отечественной педагогике большое внимание уделяется проблемам содержания образования, то в зарубежной — его целям и задачам; в отечественной — огромное количество публикаций по мете дам обучения, а в зарубежной — по организации учебного процесс (расписание занятий, их режим и т.д.).
В ходе исследования Ваша библиография разрастается и, наконец, на завершающем этапе становится списком цитированной литературы. Здесь уместно дать ряд технических советов. Во-первых, не пытайтесь искусственно расширять этот список из «престижных» или каких-то иных соображений за счет работ, на которые нет прямых ссылок в тексте диссертации. Если Вы добросовестно проработали свою проблему, у Вас в библиографии автоматически появится не менее сотни литературных источников. А все «дополнительные» включения легко проверяются оппонентами. Допустим, я рецензирую диссертацию, в которой, скажем, список литературы составляет 250 наименований. На отдельном листе бумаги я пишу номера: 1, 2, 3, 4...^ и так далее до 250. Затем, читая или пролистывая работу, я вычеркиваю номера, на которые даются ссылки в тексте. Оставшиеся не вычеркнутыми номера — это те самые «дополнения» налицо!

РАБОТА С ПОНЯТИЙНЫМ АППАРАТОМ

Что имя! Роза бы иначе пахла,
Когда б ее иначе называли?
В. Шекспир «Ромео и Джульетта»
Важнейшие требования к любой научной работе — это строгость, четкость, однозначность применяемой терминологии. Если в обыденной жизни, в устных выступлениях, даже в методических пособиях допускается известная свобода в оперировании терминами, то требования упорядоченности и строгости употребления языка педагогической науки, как и любой науки вообще, обязательны.
Как правило, всякая наука располагает определенным набором особых терминов, понятных, в основном, специалистам. Но в педагогике это не так. Педагогика как деятельность близка любому человеку. поскольку его воспитывали в семье, учили в школе, он сам воспитывает своих детей и т.д. Поэтому, очевидно, педагогика, в отличие от многих других наук, пользуется общеупотребительными понятиями, терминами. Это приводит к тому, что на уровне обыденных, житейских представлений научный педагогический текст, даже если в нем есть серьезные языковые, терминологические недостатки, будет понятен читателю. Но наука как особая форма знания нуждается и в особом научном, строгом языке. Поэтому тот или иной автор, допускающий неоднозначное толкование терминов, тем самым не поднимается выше общедоступного уровня осмысления педагогической действительности и поэтому приращения нового научного знания не дает.
Между тем даже в научной педагогической литературе многие термины трактуются неоднозначно. Например, основные педагогические категории, такие, как воспитание и обучение, употребляются не менее чем в четырех значениях каждое. Неоднозначно толкование и многих других терминов: содержание образования, методы обучения, самостоятельная работа, педагогические условия, педагогические средства и т.д.
Поэтому в процессе диссертационного исследования и особенно на этапе написания диссертации Вы должны постоянно следить за тем смыслом, который Вы вкладываете в тот или иной используемый термин. Включая даже такие, казалось бы, расхожие и не педагогические слова, как аппарат, аналогия, динамика, задача, закон, значение, категория, качество, критерий, комплекс, концепция, метод (способ), модель, развитие, общее (всеобщее), операция, основы, подход, прием, курс, принцип, положение, понятие, предмет, условие, связь, смысл, содержание, стадия, теория, фактор, функция, формализм, цель, цикл, этап и т.д., не говоря уже о сугубо педагогических, психологических, а также философских понятиях (категориях).
Каждый раз, когда у Вас появляется необходимость использовать какой-либо термин. Вы начинаете работу с ним с общих словарей, энциклопедических словарей и энциклопедий. В первую очередь это словари русского языка В. Даля и С.И. Ожегова, Словарь иностранных слов, Советский энциклопедический словарь. Эти источники дадут Вам однозначное толкование общеупотребительных терминов в общенациональном масштабе. Причем, хотя терминология в них трактуется практически одинаково, каждый из них все же вносит свои нюансы в объяснения значений слов, что позволит Вам лучше ориентироваться при использовании того или иного термина. В процессе написания диссертации очень полезным будет Словарь синонимов русского языка, когда нередко приходится мучительно искать, чем можно заменить то или иное слово, чтобы не повторять его много раз! подряд в одном предложении, в одном абзаце и т.п.
Следующий этап, если речь идет уже о сугубо педагогических, психологических, философских понятиях — Вы работаете с соответствующими специальными словарями, энциклопедиями. По педагогике — это, в основном, четырехтомная Педагогическая энциклопедия, изданная в 60-х гг., а также двухтомный Педагогический словарь, изданный в то же время. Недавно вышла Российская педагогическая энциклопедия. Практически больше ничего в этой области не выпускалось, не считая весьма неудачного, на взгляд автора, Педагогического словаря для пропагандистов и агитаторов, изданного в 1988г.
Из психологической литературы такого рода наиболее удачен, думается, словарь К.К. Платонова.* Он написан в очень доступной форме и к тому же внутренне непротиворечив. Из философских словарей, можно рекомендовать Философский энциклопедический словарь, выпущенный издательством «Советская энциклопедия» в 1983 г., не говоря уже о пятитомной Философской энциклопедии (1963).
В философских словарях любому диссертанту полезно познакомиться с содержанием, по крайней мере, таких понятий (категорий), как: абстракция, анализ, знание, значение, качество, количество, наблюдение, норма, объяснение, обобщение, образ, объект, опыт, основание, отношение, практика, предмет, проблема, развитие, рефлексия, семантика, система, системный анализ, свойство, сравнение, сущность, сходство, теория, форма, формализм, эксперимент и др.
Кроме того, в этих же целях будет полезен логический словарь-справочник Н.И. Кондакова**: абстрагирование, абстракция, аксиома (аксиоматический метод), алгоритм, аналогия, взаимосвязь, восхождение от абстрактного к конкретному, гипотеза, гносеология, дедукция, закон, знак, знание, идея, инвариантность, индукция, информация, исследование, класс (не в смысле школьного класса), классификация, композиция, компонент, контекст, концепция, кортеж, логика, логическое и историческое, мера, метатеория, непосредственное знание, непротиворечивость, обобщение понятия, обратного отношения закон, общее понятие, объем понятия, определение понятия, особенное, отношение, оценка, параметр, понятие, постулат, правила определения понятия, синтез, признак, принцип, проблема, противоречие, процедура, содержание понятия, сравнение, структура, термин, тип, условие, факт и др.
И, наконец, третий этап, когда речь идет о терминах, имеющих существенное значение для Вашей работы. Вы начинаете анализировать их толкование в педагогической и психологической литературе,
(сноски)* Платонов К.К. Краткий словарь системы психологических понятий. — М.: Высшая школа, 1981. — 176с.
** Кондаков Н.И. Логический словарь-справочник. — М. Наука. 1975. — 720с.
монографиях, статьях и т.д. Причем в первую очередь Вы изучаете фундаментальные публикации тех авторов, чьи теории, концепции берете в основу своей диссертации (см. выше). По этим публикациям Вам целесообразно составить тезаурус — словарь используемых данными авторами терминов с раскрытием их толкований и соотношений между ними. В дальнейшем, при написании диссертации Вы пользуетесь терминологией преимущественно из этого тезауруса, а остальные термины применяете только в случае необходимости, когда уже нельзя обойтись без них. Но каждый раз, применяя тот или иной термин, Вы контролируйте себя: для не столь существенных для Вашей работы терминов — в чьей трактовке Вы их используете, а для существенных — указываете это в тексте диссертации и обосновываете, почему Вы берете трактовку именно этого (этих) авторов.
Одновременно можно порекомендовать завести словарь собственной используемой терминологии — по типу алфавитной записной книжки с указанием значения каждого термина и источника, откуда взято его толкование. Такой словарь будет полезен Вам и при написании диссертации, автореферата для самоконтроля, и на стадии доработки рукописи, подготовки к защите, вплоть до того, что Вы его возьмете с собой, выходя на трибуну защищать Вашу диссертацию.
Автор должен Вас предупредить еще об одной «опасности» введения в Вашу работу каких-либо новых терминов,, хотя подчас это очень хочется сделать. Ученые, в том числе члены диссертационного совета, где Вы будете защищать свою диссертацию, крайне неохотно и настороженно воспринимают новые термины в науке. Это понятно — ведь язык, в том числе научный язык — это общенациональное достояние, к которому нужно относиться крайне бережно. И если каждый пишущий, публикующийся начинает использовать свою новую терминологию, ученые, а вслед за ними и все люди вообще перестанут понимать друг друга. Поэтому введение новых терминов (слов и словосочетаний) допустимо только в крайних случаях, когда ни один из имеющихся терминов не может описать соответствующее явление, процесс. И уж совсем недопустимо вкладывать какой-то новый смысл, давать какие-то новые «авторские» определения устоявшейся терминологии (подчеркнем, что это требование относится именно к устоявшейся, общепринятой терминологии).

ОПЫТНО-ЭКСПЕРИМЕНТАЛЬНАЯ РАБОТА

Тебе дано бесстрастной мерой
Измерить все, что видишь ты.
А. Блок. «Возмездие»
Опытно-экспериментальная работа составляет значительную часть большинства диссертационных педагогических исследований. Всегда ли она обязательна? Она не предусматривается, естественно, в исследованиях по истории педагогики. Но в них проводится эмпирическое исследование «на поле» исторических фактов, публикаций, архивных материалов и т.п. То же относится к исследованиям по методологии педагогики, отчасти по сравнительной педагогике. Иногда исследование может быть построено на обобщении педагогического опыта. Но в большинстве случаев необходимы опытная работа или эксперимент, или и то и другое вместе.
Можно посоветовать начинающему исследователю включаться в опытно-экспериментальную работу как можно раньше. Это не призыв «сломя голову» бросаться экспериментировать неизвестно зачем, неизвестно что и неизвестно как. Но прежде, чем Вы организуете и проведете именно ту опытную работу и именно те эксперименты, которые подтвердят или опровергнут Вашу гипотезу, Вам необходимо приобрести первоначальные умения планирования и организации опытно-экспериментальной работы, анализа и обобщения ее результатов. Кроме того, этот предварительный этап позволит Вам подобрать нужные педагогические, методические подходы, отработать инструментарий, подготовить педагогов—участников основного этапа опытно-экспериментальной работы.
Вопросы организации изучения и обобщения педагогического опыта, опытной работы и педагогического эксперимента достаточно подробно описаны в вышеупомянутых книгах В.И. Загвязинского, А.А. Кыверялга и М.Н. Скаткина и других авторов, поэтому на них здесь мы останавливаться не будем. Кстати, объем и характер опытно-экспериментальной работы в педагогических кандидатских диссертациях обычно не вызывает существенных возражений. Сомнения и возражения чаще всего относятся к интерпретации ее результатов, применявшимся критериям оценки и методикам статистической обработки данных.
Интерпретируя результаты опытно-экспериментальной работы в кандидатской диссертации, необходимо иметь в виду одно существенное обстоятельство, связанное со спецификой педагогики. Личность человека, начиная с ребенка, формируется десятилетиями. В ее формировании участвуют десятки, сотни людей: родители, родственники, товарищи, все школьные учителя и т.д. Поэтому говорить о существенном влиянии тех или иных серьезных педагогических инноваций, например, какой-либо дидактической системы на воспитание и развитие учащихся, строго говоря, можно было бы, если бы они проверялись с 1 по XI класс в школе во всех предметах. И тогда, казалось бы, оценивать их эффективность.
Но и это не все. Выпускник школы в 17 лет — еще не окончательно сложившаяся личность. Следовало бы еще получить отдаленные результаты организованных педагогических воздействий — лет так через десять. Но с тех пор, когда был бы начат такой эксперимент и когда он был бы окончен, изменятся многие социально-исторические условия жизни общества, изменится социальный заказ школе, и полученные результаты уже вряд ли кому-то будут нужны. Мы специально «сконструировали» такой крайний, предельный вариант, чтобы подчеркнуть определенную условность результатов всех педагогических экспериментов в силу особой специфики педагогической науки как, в некотором смысле, науки о будущем.
Кроме того, условность результатов опытно-экспериментальной работы в педагогических исследованиях вызывается еще и тем, что как бы ни выравнивались начальные условия в контрольных и экспериментальных группах учащихся, как бы ни подбирался «одинаковый» состав педагогов, учащихся, допустим, в эксперименте, педагогический процесс все равно будет иметь личностную обусловленность. Учитель или сам исследователь, преподающий в контрольном и экспериментальном классе, как бы ни стремился быть объективным, все равно будет иметь внутренние, часто неосознаваемые симпатии или антипатии как к тому или иному методу обучения, так и к тому или иному ученическому классу. Ведь каждый школьный класс имеет свое неповторимое индивидуальное «лицо» — все, кто работал в школе, в каком-либо другом учебном заведении, это хорошо знают. Поэтому для получения действительно достоверных результатов исследования, строго говоря, необходимо привлечение огромных контингентов учащихся и педагогов.
У аспиранта, соискателя есть всего 3—4 года для того, чтобы провести и закончить диссертационное исследование и, как правило, весьма ограниченные возможности привлечения широкой педагогической общественности к опытно-экспериментальной работе по теме своей диссертации. Естественно, все это понимают. Но диссертанту надо быть предельно осторожным в интерпретации полученных результатов. Когда автор диссертации, проведя эксперимент по одному разделу курса физики, допустим, в Х классе, утверждает, что за счет этого повысилась эффективность формирования у учащихся научного мировоззрения, или, в другом случае, после изучения всего трех тем специального предмета у учащихся ПТУ было сформировано умение самостоятельно определять стратегические цели своей трудовой деятельности — такие утверждения вызывают, по меньшей мере, недоумение. И уж совсем нелепым выглядит утверждение, которое встретил автор в одной диссертации о том, что после проведения эксперимента уровень общей культуры студентов повысился на 17% (?!).
Самый сложный и острый вопрос для любого педагогического опытно-экспериментального исследования: по каким критериям про-, изводится оценка педагогических явлений, процессов? Критерии эффективности — важнейшая проблема вообще в любой деятельности. Из-за ошибочного выбора критериев неоднократно происходили крушения целых социальных институтов и экономических систем. Часто приводится такой классический пример неправильного выбора критерия и вызванных этим последствий: в двадцатые годы нашего столетия пожарным, чтобы они вроде бы «меньше спалив, была установи лена заработная плата, пропорциональная числу потушенных за месяц пожаров. В итоге дело кончилось тем, что пожарные сами стали устраивать поджоги!
Поэтому, приступая к опытно-экспериментальной части своего исследования, диссертант должен самым серьезным образом подойти к подбору критериев оценки эффективности предполагаемых педагогических инноваций. Еще до проведения основного эксперимента, основного этапа опытной работы необходимо точно определить и проверить «работоспособность» критериев оценки эмпирических данных, по предварительным результатам прикинуть, какой контингент обучаемых, сколько классов, групп или школ необходимо будет включить в опытно-экспериментальную работу, чтобы получить статистически достоверные окончательные результаты.
Критерии должны удовлетворять, в частности, следующим признакам:
1. Критерии должны быть объективными (настолько, насколько это возможно в педагогике), позволять оценивать исследуемый признак однозначно, не допускать спорных оценок разными людьми.
2. Критерии должны быть адекватными, валидными, т.е. оценивать именно то, что экспериментатор хочет оценить. Сегодня, в связи с повсеместным распространением и утверждением педагогики развития личности это требование тем более актуально, что мы весьма, посредственно умеем оценивать уровень знаний и умений учащихся, но практически совершенно не умеем оценивать уровень развития тех или иных способностей, их личностных качеств, а часто даже и не знаем, какие способности, качества надо оценивать. Особенно остро требование адекватности критериев стоит перед исследователями, занимающимися проблемами воспитания молодежи.
3. Критерии должны быть нейтральными по отношению к исследуемым явлением. Так, если в ходе эксперимента в одних классах, допустим, изучается какая-то новая тема, а в других — нет, то в качестве критерия сравнения нельзя брать знание учащимися материала этой темы.
Совокупность критериев с достаточной полнотой должна охватывать все существенные характеристики исследуемого явления, процесса. Для педагогики это требование особенно актуально, поскольку любая педагогическая, любая учебная деятельность — чрезвычайно сложный многоплановый процесс, который, как правило, нельзя оценить каким-то одним показателем. Для многих педагогических исследований этот момент оставляет желать лучшего. Так, в связи с введением аттестации учителей некоторые специалисты предлагают для учителей математики, физики разработать систему тестов, позволяющих оценивать их умение решать математические и физические задачи — это и будет якобы критерием квалификации учителя. Наверное, это должен быть лишь один из многих критериев, поскольку, помимо профессионально-математической подготовки, подготовки по физике учитель в том числе должен еще владеть и педагогическим, методическим мастерством, что в данном случае остается без внимания.
Рассмотрим теперь некоторые типичные ошибки в определении критериев оценки эффективности педагогических инноваций, предлагаемых в кандидатских диссертациях. Характерно, что грамотно и относительно строго построенные критерии в разных работах весьма разнообразны, диссертанты нередко проявляют большую изобретательность в этом деле. В то же время примерно в половине диссертационных работ встречаются практически одни и те же недостатки в выборе критериев оценки.
В частности, вполне очевидно, что оценить уровень сформированности тех или иных знаний, умений, каких-то качеств личности учащихся, студентов, слушателей можно лишь в процессе каких-либо определенных действий, совершаемых этими учащимися, студентами, слушателями, когда они могут активно проявить эти знания, умения, качества личности. Поэтому, например, такой «критерий», как результаты анкетирования студентов по окончании эксперимента «какая музыка вам нравится больше — эстрадная или классическая?» (изучалось воспитание эстетического вкуса у студентов) вряд ли может о чем-то говорить. Ведь студенты, зная, какой ответ от них хотят получить, могут просто «подыграть» преподавателю, экспериментатору. Или же «критерий» — ответы школьников на вопрос «Понравились ли занятия по основам информатики и вычислительной техники?». Ведь, во-первых, школьники опять же могут «подыграть» спрашивающему, а во-вторых, наверное, не всегда учение может и должно нравиться — так же, как горькое, но необходимое лекарство для больного.
Еще один типичный случай — изучалась подготовка студентов педагогического вуза к ведению профориентационной работы со школь-

(сноска)* Нередко встречается и несколько иное, но тоже вполне правомерное трактование понятия «критерий», когда в роли последнего принимается качественная сторона полученного результата, достижения цели. Тогда понятие «критерий* отделяется от понятий «показатель», «параметр». Например, критерий — уровень знаний и умений учащихся, а показатель — их успеваемость в баллах (кстати, весьма сомнительный показатель — см. ниже). В этой трактовке один и тот же критерий может иметь несколько показателей, параметров. Например, когда успешность выполнения какого-либо задания оценивается по времени, затраченному учащимися и количеству допущенных ими ошибок.

никами — уровень готовности студентов к этой работе оценивался преподавателями кафедры педагогики по итогам теоретических занятий. Это оценка чисто умозрительная. Диссертант мог бы, наверное, попробовать оценить уровень такой готовности студентов хотя бы в процессе их педагогической практики в школе, которая предполагала бы какие-то их практические действия в этом направлении.
Или же «критерий» — ответ на вопрос, нередко обращаемый к учителям — участникам опытно-экспериментальной работы: «Надо ли применять такие занятия? Положительный ответ на него позволяет, возможно, судить о готовности тех или иных разработок к внедрению в практику обучения и воспитания, но вряд ли может выступать основным-критерием эффективности результатов научного исследования.
Наиболее часто встречаются случаи, когда диссертант в качестве критерия выделяет определенные уровни сформированности каких-то качеств личности учащихся (например, моральной ответственности, эстетической культуры, гуманистических отношений и т.п.), или уровни овладения какой-либо деятельностью (профессионального мастерства, управления педагогическим коллективом и т.д.). Как, правило, выделяется три таких уровня: низкий, средний и высокий.' Или выделяется большее число градаций, допустим: нулевой, низкий, средний, достаточный, высокий и т.д. Естественно, в силу сложности педагогических явлений, процессов выделение каких-то уровней в качестве критерия оценки вполне правомерно. Но беда в том, что выделяя чисто умозрительно, субъективно подобным образом уровни: низкий, средний, высокий, экспериментатор сам же произвольно и оценивает, относит учащихся к тому или иному уровню. Таким образом, ни о какой объективности критерия и достоверности результатов здесь речь идти не может.
Другое дело, если вводятся уровни качественно, принципиально отличные один от другого. Например, для оценки овладения учащимися знаниями нередко используются 4 уровня, предложенные В.П. Беспалько*: 1 уровень — знания-знакомства — узнавание объектов, явлений, процессов, свойств при повторном восприятии ранее усвоенной информации; II уровень — знания-копии — предполагает репродуктивное воспроизведение и применение полученной информации; III уровень предполагает продуктивные действия по применению полученной информации в процессе самостоятельной деятельности; IV уровень — знания-трансформации — предполагает возможность творческого применения полученной информации посредством самостоятельного конструирования собственной деятельности.
При грамотном построении оценочных процедур в этом случае знания каждого учащегося вполне однозначно могут быть отнесены к тому или иному определенному уровню. Или же, скажем, в диссер-

(сноска)* См.: Беспалько В.П. Основы теории педагогических систем. — Воронеж, 1977. — 304 с.
тации Д.В. Татьянченко выделяются уровни управления уроком: стихийный, эмпирический, научный с четким обоснованием их качественных отличий. Тогда каждый урок того или иного учителя также относительно объективно может быть однозначно отнесен к определенному уровню. То же в диссертации Л.В. Коняхиной — выделены уровни восприятия и оценки художественных произведений писателей учащимися: констатации, комментария, рассуждения, обобщения (о качественных отличиях этих уровней можно судить по их названиям). Кроме того, как видим, во всех этих случаях оценка осуществляется не умозрительно, а по выполнению испытуемыми каких-то конкретных действий, а сами уровни логически выстраиваются по какому-то единому основанию классификации (см. ниже).

Критерии оценки педагогических явлений могут быть качественными и количественными. Они, естественно, дополняют друг друга. Исследователь, как правило, не ограничивается только качественными критериями и стремится использовать в целях объективности получаемых результатов какие-то количественные критерии оценки, используя тем самым определенные величины.
О величинах и шкалах их измерения стоит поговорить особо. Понятие «величина» определяется следующим образом: величина есть мера некоторого множества, относительно элементов которого имеют смысл утверждения — больше, меньше или равно. Естественно, не на всяких множествах может быть задана величина, мера. Например, утверждение, что ученик Иванов равен ученице Петровой (не путать с равноправием!) смысла не имеет, так как каждый человек — неповторимая личность. Но, например, утверждение, что роет, вес ученика Иванова больше (меньше, равен) роста, веса ученицы Петровой, имеет уже вполне определенный смысл; рост и вес здесь выступают величинами.
Величина задается той или иной шкалой измерений, оценки. Шкала измерения — это числовая система, в которой отношения между различными свойствами изучаемых явлений, процессов переведены в свойства того или иного числового ряда.
Шкалы измерений делятся на 4 основных класса*:
— шкала отношений — самая мощная шкала. Она позволяет оценивать, во сколько раз один измеряемый объект больше (меньше) другого объекта, принимаемого за эталон, единицу. Одновременно здесь возможно и сравнение: на сколько один объект больше (меньше) другого. Шкалами отношений измеряются почти все физические величины — время, линейные размеры, площади, объемы, сила тока, мощность и т.д. В педагогических измерениях шкала отношений будет иметь место, например, когда измеряется время выполнения того или иного задания, количество ошибок или количество правильно решенных задач. В последнем случае, естественно, можно говорить о

(сноска)* Подробнее о шкалах измерения см.: Психологические измерения: Сб. / Под ред. Д.Мешалкияа. —м.: Мир. 1967. — 196с.

том, что ученик Иванов правильно решил, к примеру, в два раза больше задач, чем ученик Петров, но утверждение, что знания ученика Иванова в два раза больше знаний ученика Петрова, будет неправомерным.
В отдельных случаях, в том числе в исследованиях по трудовому и профессиональному обучению, применяются оценки и в мерах физических величин — величина допускаемых ошибок в миллиметрах при, допустим, токарной обработке деталей, величина силы нажатия учащимся на слесарный инструмент в ньютонах (килограммах), величина электрической активности мышц в милливольтах и т.п. На, шкалы отношений распространяется весь основной аппарат математической статистики. Здесь не возникает никаких проблем с обоснованием достоверности различий между контрольными и экспериментальными группами, классами;
— шкала интервалов — довольно редко применяющаяся и менее мощная. Примером ее является шкала температур по Цельсию, Реомюру или Фаренгейту. Шкала Цельсия, как известно, была установлена следующим образом: за ноль была принята точка замерзания воды, за 100 градусов точка ее кипения, и, соответственно, интервал температур между замерзанием и кипением воды поделен на 100 равных частей — градусов. Здесь уже утверждение, что температура в 30°С в три раза больше, чем 10°С, будет неверным. Справедливо говорить лишь об интервалах температур — температура в 30°С на 20°С больше, чем температура в 10°С. В педагогических исследованиях, в частности, к таким шкалам интервалов можно условно отнести дихотомическую шкалу, которая содержит только два значения: да — нет, лучше — хуже, мальчик — девочка и т.д. В такой шкале имеется только один интервал деления (0—1 или 1—2, плюс—минус и т.д.), поэтому ее можно рассматривать как предельный случай интервальной равномерной шкалы, просто «равномерность» не с чем сравнивать;
— шкала порядка или шкала рангов — самая слабая шкала -шкала, относительно значений которой уже нельзя говорить ни о том, во сколько раз измеряемая величина одного объекта больше (меньше) другого, ни на сколько она больше (меньше). Такая шкала только упорядочивает расположение объектов, приписывая им те или иные ранги. Например, так построена шкала твердости минералов Мооса: взят набор 10 эталонных минералов для определения относительной твердости методом царапанья. За 1 принят тальк, за 2 — гипс, за 3 —кальцит и так далее до 10 — алмаз. Любому минералу соответственно однозначно может быть приписана определенная твердость. Если исследуемый минерал, допустим, царапает кварц (7), но не царапает топаз (8) — соответственно его твердость будет равна 7. Аналогично построены шкалы силы ветра Бофорта и землетрясений Рихтера. Шкалы порядка широко используются в педагогике, психологии, медицине и других науках, не столь «точных», как, скажем, физика и химия. В частности, повсеместно распространенная шкала школьных отметок в баллах (пятибалльная, двенадцатибалльная и т.д.) условно может быть отнесена к шкале порядка. Именно условно, поскольку оценка знаний, умений в баллах обладает определенной субъективностью.
Если в шкале Мооса тому или иному минералу может быть однозначно приписано строго определенное значение твердости, то оценка знаний одного и того же учащегося у разных учителей (экзаменаторов) может быть разной. Разная «цена» отметок будет и в разных школах, в разных регионах — в зависимости от уровня предъявляемых требований и, соответственно, возможностей учителей школы, контенгента учащихся и т.п. В школах некоторых стран применяется и другая оценка успеваемости учащихся (как итоговая): порядковое место, которое данный ученик занимает в данном классе (выпуске). Это тоже шкала порядка;
— шкала наименований. Она фактически уже не связана с понятием «величина» и используется только с целью отличить один объект от другого: номера автомобилей, телефонов, применение цифр или букв алфавита для перечисления пунктов в законах, положениях и т.п.
Теперь, когда мы совершили небольшой экскурс в теорию измерений, рассмотрим вопрос о применении шкал измерений в педагогических исследованиях.
Наиболее распространенная мера педагогических оценок шкала оценки знаний и умений учащихся в баллах. Школьные оценки (отметки) — удобный аппарат для практики обучения, который выполняет не только оценивающие, но и определенные воспитательные функции стимулирования одних учащихся, определенного «наказания» других и т.д.
В педагогических исследованиях используются также и другие шкалы балльных оценок. Например, выделив какие-либо уровни сформированности у учащихся определенных качеств личности или овладения той или иной деятельностью, диссертант приписывает этим уровням соответствующие значения баллов: «I», «2», «З» и т.д., или «О», «I», «2»..., что принципиально безразлично. Но использование балльной шкалы оценок как критерия оценки для педагогических исследований нежелательно, хотя и не исключено. И дело здесь не только в известной необъективности отметок, о чем уже говорилось, но и в свойствах самой шкалы порядка. В этой шкале ничего нельзя сказать о равномерности или неравномерности интервалов между соседними значениями оценок. Мы не вправе, к примеру, сказать о том, что знания учащегося, оцененные на «5», настолько же отличаются от знаний, оцененных на «4», как знания, оцененные на «4», отличаются от знаний, оцененных на «З». С тем же успехом можно было бы приписывать баллам значения не «I», «2», «З», «4», «5», а, допустим «I», «10», «100», «1000», «10000». И поэтому совершенно неправильно использование так широко применяемой в диссертациях величины среднего балла (по классу, группе учащихся и т.д.), поскольку усреднение предполагает сложение значений величины, а операция сумм на таком множестве (шкале) не может быть корректно (грамотно) определена. Соответственно не могут быть определены и все остальные арифметические и алгебраические действия.
Поэтому, например, утверждение о том, что знания учащихся в экспериментальных классах в среднем на 0,5 балла выше, чем в контрольных, будет неправомочным, некорректным. Тем более некорректно утверждение, встреченное автором в одной из диссертаций, что эффективность экспериментальной методики в 2,6 раза выше контрольной (была произведена оценка по 10-балльной шкале).
Чтобы продемонстрировать, что может получиться с использованием «среднего» балла, приведем такой гипотетический примеру. Пусть исследовалась сравнительная эффективность двух каких-либо, методов обучения, А и В. В обеих группах учащихся — контрольной и экспериментальной — было по 80 человек. Оценки производились по двум шкалам — пятибалльной и десятибалльной (ведь количества баллов в шкале устанавливается произвольно). При этом будем предполагать, что оценки по десятибалльной шкале могут быть пересчитаны в оценки по шкале пятибалльной: оценки «10» и «9» будут отнесены к «5», «8» и «7» — к «4» и так далее. Пусть оценки по десятибалльной шкале распределились следующим образом (в числителе будет указано количество учащихся, получивших соответствующую оценку в группе, обучавшейся методом А, в знаменателе — методом


«I» не получил никто. Соответственно «средний балл» составит 7,50 (метод А) и 7,25 (метод В). Казалось бы, можно сделать вывод, что метод А лучше метода В. Соответственно оценки по пятибалльной

шкале, в том же порядке: «5»; «4»; «З»; «2»; «1». «Средний балл» в этом случае составит 3,750 в группе, обучавшейся методом А, и 4,125 в группе, обучавшейся методом В. Таким образом мы получили как бы противоположный «результат» — метод В лучше метода А.
Заметим, что этот «парадокс» никак не связан со статистической достоверностью различий — он будет иметь место и при очень больших выборках данных (числе учащихся). Просто это свойство слабой шкалы измерений. Сказанное будет относиться и к любым другим критериям оценки, использующим шкалу порядка.
В принципе, шкалу балльных оценок так же, как и другие шкалы порядка, можно использовать в педагогических исследованиях, если Вы убеждены в объективности выставляемых оценок. Но в этом случае необходимо использовать специальные непараметрические критерии различий, например критерий знаков. (О статистических критериях достоверности различий мы поговорим немного ниже.) Но эти критерии слабые и для установления достоверных различий необходимо получение значительно больших массивов данных.
По этим соображениям целесообразно использовать такие способы оценки, которые позволяют применить шкалу отношений или шкалу интервалов, а не шкалу порядка. Например, использовать тесты — серии коротко и точно сформулированных вопросов, заданий, на которые учащийся должен дать краткие и однозначные ответы, в правильности (или неправильности) которых нельзя сомневаться. Точно так же могут быть построены письменные контрольные работы, результаты обработки анкет (процент учащихся, давших положительные ответы на тот или иной вопрос) и т.д.
Необходимо сделать еще одно предупреждение об использовании дихотомической шкалы (т.е. шкалы, имеющей всего 2 значения: да — нет, 1 —0 и т.д.), а также любых дискретных шкал отграниченным числом градаций (трихотомических и т.д.). Их можно успешно использовать для установления различий в результатах каких-либо педагогических воздействий в диагностических, констатирующих, «срезовых» целях. Но если Вы исследуете динамику развития какого-то педагогического процесса, например, процесса становления у учащихся того или иного навыка, то такие шкалы в этом случае принципиально не годятся, так как они существенно искажают динамику процесса. К примеру, на так называемых кривых обучения — графиках, показывающих изменение того или иного параметра в зависимости от времени обучения, появляются своеобразные ступени, «этапы», которых нет в действительности, при использовании шкалы отношений, выраженной в мерах физических величин (время и т.п.)*. По крайней мере, для изучения динамики развития каких-то педагогических процессов во времени необходимо использовать дискретные шкалы измерения с достаточно большим числом градаций.
О применении статистических методов обработки результатов исследования. В большинстве педагогических исследований, как правило, применение методов математической статистики бывает вызвано необходимостью установления достоверности различий между результатами обучения, каких-то воспитательных воздействий в контрольных и экспериментальных группах, классах и т.п. Причем нередко аспиранты, соискатели заимствуют друг у друга используемые статистические критерии достоверности различий, не ориентируясь, какой критерий можно и нужно использовать в том или ином случае. В оправдание этому следует сказать, что в большинстве пособий по математической статистике соответствующие разделы написаны настолько нечетко и сложно, что разобраться в них непрофессиональному статистику довольно-таки трудно. Поэтому мы здесь приведем следующий «рецепт» с учетом данной выше информации о шкалах измерений:
1. Если использована шкала отношений или интервалов, если применяются точно и объективно измеряемые оценки, то для проверки статистической достоверности дифференциации (разности) двух

(сноска)* См., например: Новиков Л.М. Процесс и методы формирования трудовых умений.— м.: Высшая школа. 1986. — 286 с.

средних показателей (среднее значение по одной и по другой группе) применяются t-критерий Стьюдента или F-критерий Фишера. При этом необходимо убедиться в том, что распределение близко к нормальному (распределению Гаусса). В этом можно убедиться, сопоставив значения среднего, моды и медианы. Если среднее, мода и медиана приблизительно совпадают, то распределение можно считать нормальным и можно применять t или F критерии.
2. Если при использовании шкалы отношений данные выборок распределены не по нормальному, а какому-либо иному закону распределения, или в тех случаях, когда нет уверенности в распределении данных по нормальному закону, применяется менее чувствительный метод (хи-квадрат метод).
3. Если была использована шкала порядка, то, строго говоря, могут быть использованы только непараметрические критерии: критерий знаков, критерий Уилкоксона—Мана—Унтни, Колмогорова—Смирнова и другие. Но по сравнению с F, t - критериями, методом эти критерии очень малочувствительны, для установления достоверности различий по ним необходимы большие объемы выборок.
Соответствующие формулы и таблицы для оценки достоверности различий достаточно просты. Они приводятся во всех пособиях по математической статистике. Там же, также достаточно просто сформулированы правила, формулы вычисления среднего, моды и медианы распределения, дисперсии, о нем говорилось выше. Более того, сейчас широко распространены компьютерные программы — «статистика» и др., которые выполняют эти вычисления автоматически — в них надо лишь подбавить имеющиеся экспериментальные данные. Обычно в педагогических исследованиях принимается достаточным 95 % уровень достоверности различий.
О векторных («комплексных») оценках. Нередко встречаются случаи, когда какое-либо изучаемое явление, процесс характеризуется несколькими независимыми величинами — параметрами, показателями. В таких случаях часто возникает вопрос о возможности однозначной оценки этого явления, процесса или изучаемых их свойств одной величиной — «комплексной» оценкой или, в математическом смысле, некоторым вектором, составными компонентами которого будут входить все отдельные параметры. Так, во многих спортивных состязаниях победитель выявляется по сумме очков, баллов, набранных на отдельных этапах состязания или в отдельных играх. Или же другой пример из образовательной практики — когда категория учебного заведения для установления заработной платы его руководителей по Единой тарифной сетке устанавливается по сумме баллов, которые выставляются отдельно: по числу учащихся, числу учителей, наличию спортивных сооружений, мастерских и т.д.
На практике такие векторные оценки встречаются довольно часто и, очевидно, без них не обойтись, хотя способы их определения нередко и вызывают множество недоуменных вопросов. Но в любом случае такие векторные оценки, применяемые в повседневной жизни, являются либо результатом определенных общественных соглашений, которые признаются всеми участниками, либо установлены каким-либо нормативным актом определенного директивного органа — министерства, ведомства и т.д. и в силу этого также признаются всеми заинтересованными лицами.
Другое дело — применение таких «комплексных», векторных оценок в научном исследовании. Здесь сразу на первое место встает вопрос о научной, в том числе математической строгости применяемой оценки. В частности, не вызывает сомнений возможность использования такой векторной оценки, как суммарные затраты времени на выполнение учащимися отдельных заданий, или суммарное количество ошибок, допущенных учащимися при выполнении отдельных, относительно однородных заданий. Здесь суммируются однородные величины, заданные шкалами отношений. Но как только начинают суммироваться баллы, выставляемые разным учащимся или одному и тому же учащемуся за выполнение, допустим, разных заданий — исследование сразу выходит за рамки научной строгости. Как уже говорилось, операция суммы для шкалы рангов не определяется. Если 5+2=4+3,то «5» и «2» балла — это не одно и то же, что «4» и «З» балла!
Между тем суммирование баллов довольно часто встречается в диссертациях по педагогике. Так, в одной работе диссертант для оценки деятельности учителей использовал большое количество показателей, оцениваемых по пятибалльной шкале:
— структура знаний учителя (общенаучные, специальные);
— педагогические умения (проективные, конструктивные, организаторские, коммуникативные, гностические);
— нравственно-психологическая направленность педагога (внимательность к людям, справедливость, гуманизм, увлеченность делом, ответственность, самоорганизованность);
— общая одаренность (качества ума, качества речи, качества воли, характера, эмоциональные и другие качества личности);
— и так далее.
Общая же оценка учителю в этой работе давалась по сумме набранных баллов. Но в данном случае диссертант должен был бы задаться большой серией вопросов. Во-первых, любой учитель — личность, он осуществляет сложнейшую деятельность — насколько правомерно оценивать его однозначно каким-то числом баллов и утверждать, что учитель Иванов, допустим, хуже учителя Петрова на 5 баллов?! Во-вторых, насколько выделенные качества равнозначны, что к примеру специальные знания «стоят» сколько же, сколько гуманизм?! И так далее, эту череду недоуменных вопросов можно было бы продолжать долго. И если бы диссертант над ними задумался, вряд ли бы он так легко вводил подобные «оценки».
В педагогических диссертациях, к сожалению, встречаются и другие, самые разнообразные неудачные попытки введения векторных оценок, вплоть до полных курьезов. Так, для оценки эффективности деловой игры была использована следующая «формула»:
Р=50—К— (В—40),
где Р — «комплексная» оценка в баллах, 50 — максимально возможное количество баллов, К — количество замечаний, сделанных ведущим, В—время в минутах. Как видим, здесь уж, что называется, «смешались в кучу кони, люди...». Под знак суммы {разности) поставлены совершенно разнородные величины: баллы, количество замечаний, время, безразмерные числа.

Комментарии (1)
Обратно в раздел Наука