grandov.ru страница 1
скачать файл
М.Пинская, Н.Крутий, С.Косарецкий, И.Фрумин.

Школы, работающие в сложных социальных контекстах

Cегодня, когда объективные измерители «с высокими ставками», такие как ЕГЭ и ГИА входят в обиход, серьёзно встаёт вопрос о том, как относиться к их показаниям. Как интерпретировать результаты, полученные учениками той или иной школы? Можно ли по ним сделать вывод о качестве работы школы, сравнить её с другими образовательными учреждениями и вынести справедливое суждение?

Мы считаем эти вопросы весьма насущными, поскольку результаты экзаменов остаются единственными значимыми для органов управления образованием и для общественного мнения сигналом о состоянии школы, и на их основании всё чаще выстраиваются рейтинги, иногда с непростыми для школ последствиями. Повысить надёжность оценки качества достижений можно, если увидеть не только конечные результаты, но и стартовый уровень и определить индивидуальный прогресс каждого учащегося. Такой анализ пока не проводится из-за отсутствия необходимой информации. Но многое в интерпретации данных ЕГЭ и ГИА можно прояснить уже сейчас. Как?

При самой рафинированной оценке учебных результатов, которую обеспечивают результаты независимых экзаменов и показатели индивидуального прогресса учеников, разумная интерпретация качества работы школы невозможна без учёта того, кого и в каких условиях она обучает. Как сказал в 2002 г. J.Davidson, министр образования Уэльса: «Мне не нужны легальные таблицы (основанные просто на результатах тестов), чтобы узнать, что в одном из самых богатых наших районов достижения выше, чем в одном из самых бедных»1. Поэтому в течение ряда лет в зарубежных системах образования качество обучения оценивается с учётом внешних, не зависящих от школы факторов, влияющих на результаты учащихся. К внешним или «контекстным» факторам относятся, прежде всего, социо-экономические характеристики школы и её окружения и особенности контингента. Ключевым при этом является понимание того, что результаты школьников зависят от распределения ряда социальных и экономических факторов между различными школами, а также внутри каждой школы.

Используя социо-экономические показатели, удается идентифицировать школы, в которых концентрируются учащиеся с неблагополучным семейным бэкграундом и оказать им поддержку, необходимую, чтобы улучшить результаты этих школьников. Другим позитивным эффектом использования контекстных характеристик становится то, что определяя таким образом школы, способные максимально улучшать достижения неблагополучных учеников, можно транслировать их опыт, обеспечивать распространения успешных практик, что очень важно для образовательных учреждений, которые сталкиваются с аналогичными трудностями и не могут найти выход.

К сегодняшнему дню определился достаточно устойчивый набор характеристик школьного контекста, и, прежде всего, школьного контингента. К наиболее часто собираемым показателям относятся данные об учебных проблемах учеников, уровне образований родителей, экономических ресурсах семьи и получаемой социальной помощи, которая также свидетельствует об экономическом благосостоянии семей учащихся. Некоторые страны используют также данные о семьях учеников, которые также связаны с их учебными достижениями: структура семьи, размер семьи, информация о том, воспитывается ли ученик в родной семье или нет.

Данные, характеризующие статус мигрантов, различаются в разных странах. Исследователи считают важным более тонкие различения и учёт этнических и эмигрантских групп, поскольку для разных групп могут быть характерны разные траектории учебных достижений и, соответственно, разные затраты ресурсов школы2. Некоторые страны включают в контекстные показатели информацию о языке учащегося, поскольку низкие учебные результаты часто являются следствием того, что ученик не владеет в достаточной степени языком обучения.

Часть этой информации собирается один раз и уже не меняется за годы обучения, другая должна регулярно обновляться. Система сбора информация должна учитывать обе возможности.

Центральными социо-экономическими характеристиками для всех стран являются уровень образования родителей и доходы семьи. В некоторых странах это предполагает использование информации о разных формах социальной поддержки, которую получает ученик или его семья. В некоторых странах, как в Бельгии, например, собирается информация, на основании которой ученик получает статус группы риска (Being at Risk, BIR). Норвегия также учитывает уровень благосостояния семьи и то, были ли родителей безработными в те 10 лет, которые предшествовали оценке.

Характеристики, выявляющие учеников с учебными проблемами, собираются в большинстве стран. Типология учебных проблем или особых учебных потребностей, конечно, различается в разных странах. Данные о второгодничестве – повторении классов – также учитываются в большинстве случаев.

В Финляндии, где образовательная политика сфокусирована на выравнивании возможностей учащихся, и школы, в которых высока концентрация осложняющих процесс обучения факторов, получают существенную финансовую поддержку, действуют такие индикаторы проблемного контекста, как:


  • Число матерей и отцов-одиночек среди родителей учащихся;

  • Число 15-летних учеников с низким уровнем школьного образования

  • Число семей, проживающих в съёмных квартирах;

  • Число семей, проживающих в муниципальных квартирах;

  • Доходы семей;

а также показатели социально-экономического

  • Общее число безработных в жилом районе;

  • Число жителей, получающих социальную помощь.

Ниже приведён пример того, какая информация о школьных результатах представляется средствами массовой информации. Наряду с данными о достижениях и прогрессе учащихся публикуются данные о социальном контексте школы3.

Табл. Информация о результатах школы, представленная в прессе. Англия



Результаты включают комплексную характеристику, показывающую проделанный учащимися прогресс.

Этот показатель определяется в результате сопоставления их достижений с достижениями других школьников Англии, имевших такие же или близкие результаты на предыдущем этапе – в 10 или 11 лет.

Показатель включает 9 факторов, не зависящих от школы, но оказывающих влияние на достижения учащихся:

Пол


Специальные учебные потребности

Этническая принадлежность

Право на бесплатное питание в школе

Родной язык

Миграции

Возраст


Социальные пособия

Индекс депривированности (основан на данных о налогах)

Это позволяет предположить, какими могут быть достижения данного учащегося, на основании достижений других учащихся со сходными прежними достижениями и подобным семейным бэкграундом.

Подразумевается, что то, будут достижения школьника лучше или хуже, чем у других учащихся, зависит от влияния школы.

Индивидуальные достижения школьников усреднены так, чтобы был определён результат школы в целом.

Источник: ВВС News (2007)

Для многолетнего исследования, осуществлённого Институтом Развития образования НИУ ВШЭ, базировавшегося на данных относительно более 1000 школ, приведённые материалы важны. Как показало наше исследование, основной набор показателей, использующихся за рубежом для контекстуализации учебных результатов школьников и школы в целом, соотносится с теми характеристиками школьного контекста, которые стали базовыми для кластеризации отечественных школ по социально-экономическим показателям. В качестве источника информации для анализа использовались социальные паспорта школ, достаточно полно представляющие данные, касающиеся учащихся и их семей, которые можно отнести к трём блокам:


  • Особенности семей учащихся

  • Характеристики родителей учащихся

  • Характеристики проблемного контингента учеников

Из широкого спектра показателей были взяты те, что на основании математического анализа показывали наибольшую взаимосвязь с результатами ЕГЭ, которые продемонстрировали ученики школы. К таким показателям относятся следующие:

Доля семей, где оба родителя имеют высшее образование, доля семей, где работают оба родителя, доля полных семей, доля детей, состоящих на внутришкольном учете, учете в ОВД и КДН, доля семей, находящихся в социально опасном положении, а также доля семей, проживающих в благоустроенных квартирах.

Именно эти характеристики были положены в основу индекса социального благополучия школы, который рассчитывался так.

По перечисленным восьми переменным строилось распределение и определялись треть лучших, средних и слабых значений по каждому показателю. Лучшим присваивалось значение 1, средним – 0, слабым – (-1). Далее присвоенные значения по всем показателям суммировались. Таким образом, была получена шкала от -8 до 8. Значения индекса в пределах от -8, до -3 приняли значение «социально неблагополучная среда», от -2 до 2 – «социально нейтральная среда» и от 3 до 8 – «социально благополучная среда».

Далее была проверена гипотеза о том, что группы школ с различным индексом благополучия социальной среды, различаются результатами ЕГЭ по русскому языку и математике. Анализ опирался на результаты ЕГЭ за 2010 год.

Оказалось, что картина в сельских и городских школах получается разной. Все группы городских школ, выделенные на основании индекса социального благополучия, различаются по результатам тестов ЕГЭ. Самые высокие результаты продемонстрировали школы, имеющие значение индекса «социально благополучная среда» (62,5 балла по русскому языку и 47,5 балла по математике), второй результат показали школы из «социально нейтральной среды» (58,8 балла по математике и 43,2 по русскому языку). Самые низкие результаты у школ из группы с «социально неблагополучной средой».

В сельских школах дифференциация результатов по социально-экономическим основаниям выражена не так чётко. Явно отделяется проблемный сегмент школ с низким уровнем социального благополучия. В данной группе результаты ниже, чем результаты школ из нейтральной или социально благополучной среды.

Следующим важным для нас вопросом был вопрос о том, как увидеть за теми или иными достижениями школы, например баллами ЕГЭ, её эффективность. Вопрос был сформулирован так: можно ли выделить группу ОУ, находящихся в социально неблагополучной среде (согласно выделенному индексу), но обеспечивающих результаты ЕГЭ, превышающие средние результаты по региону?

На рисунке представлено распределение результатов ЕГЭ по русскому языку и математике в 2010 году для школ, находящихся в социально неблагоприятной среде. Как видно из рисунка, результаты ЕГЭ некоторых школ превышают среднее значение по русскому языку и математике для данного региона.

Рис. 1. Распределение результатов ЕГЭ по русскому языку и математике за 2010 год в группе с социально неблагоприятной средой

Среднее значение результатов ЕГЭ по русскому языку среди сельских школ данного региона составляет 56,4 балла при стандартном отклонении в 5,5 баллов. Значимым отличием от среднего значения в рамках исследования было принято считать результат ЕГЭ больший, чем 61,9 балла (то есть, значение среднего результата ЕГЭ плюс стандартное отклонение). Только восемь школ показали результат значимо выше среднего.

Аналогично определялись школы из неблагоприятной среды, демонстрирующие результаты ЕГЭ по математике выше среднего значения по всем сельским школам (среднее значение ЕГЭ по математике равно 40,8 при стандартном отклонении в 6,4 балла). В данном случае 7 сельских школ из неблагополучной среды продемонстрировали результат ЕГЭ по математике значимо выше среднего среди сельских школ.

Выбранный подход к оценке школьных результатов позволяет также выделить неэффективные школы. Те, которые работают в благоприятной социальной среде, но показывают результаты ЕГЭ значимо ниже среднего результата по сельским школам региона.

Рис. 3. Распределение результатов ЕГЭ по русскому языку и математике за 2010 год в группе с социально благоприятной средой

Как уже говорилось, среднее значение результатов ЕГЭ по сельским школам составляет 56,4 балла со стандартным отклонением в 5,5 баллов. В результате 6 школ, входящих в группу благополучных, продемонстрировали результат ЕГЭ по русскому языку значимо ниже среднего. В группу неэффективных школ по результатам ЕГЭ по математике попали 7 школ (их результаты ниже 33,6 балла).

Аналогичный анализ был проведён для городских школ.



Так как была получена значимая связь между значением индекса социального благополучия и результатами ЕГЭ, то далее в исследовании был поставлен вопрос: существуют ли и в каком количестве школы, которые при социально неблагоприятных условиях показывают высокие результаты (значимо выше среднего). И существуют ли школы, которые, наоборот, в благоприятных условиях показывают низкие результаты (значимо ниже средних результатов по всем школам).

Рис. 4. Распределение результатов ЕГЭ по русскому языку и математике за 2010 год в группе с социально неблагоприятной средой

К категории эффективных можно было отнести только одну городскую школу, продемонстрировавшую по русскому языку результат 67 баллов (выше пороговых 66,2 баллов). По математике выделились только 2 школы, результат которых превзошел 51,9 балла.

Неэффективных школ оказалось ожидаемо больше. Низкие результаты по русскому языку (ниже 54,8 балла), в группе с высоким индексом социального благополучия, продемонстрировали 18 школ (5,3%). По математике (ниже 37,3) – 19 школ ( 5,3%).



Рис. 5. Распределение результатов ЕГЭ по русскому языку и математике за 2010 год в группе с социально благоприятной средой

Следующий вопрос, который нас интересовал, это вопрос об устойчивости выявленной тенденции отставания сельских школ и зависимости их результатов от индекса социального благополучия.

Сначала была рассмотрена зависимость между средним значением ЕГЭ по русскому языку за три года и различием между сельскими и городскими школами.



Рисунок 6. Динамика средних показателей ЕГЭ по русскому языку в сельской местности и городах.

Как видно из рисунка, городские школы ежегодно показывали более высокие результаты ЕГЭ по русскому языку, чем сельские за весь рассматриваемый нами временной период (за 2009-2011 года у городских школ средний результат ЕГЭ равен 61 баллу, а у сельских школ – 58 баллам).

Ещё один вопрос о том, как дифференцировались результаты школ, имеющих разный индекс социального благполучия, на протяжении тёх лет. Ответ иллюстрирует диаграмма.



Рисунок 7. Динамика средних показателей результатов ЕГЭ по русскому языку для разных групп социального благополучия

Школы, имеющие значение индекса социального благополучия «социально благоприятная среда», продемонстрировали самые высокие результаты ЕГЭ среди групп индекса за рассматриваемые три года. Школы с социально нейтральной средой по общей оценке за три года показали второй результат, а социально неблагополучные школы – самый низкий. Это в очередной раз подтвердило гипотезу о том, что социальный контекст школ оказывает влияние на результаты ЕГЭ.

Если говорить о динамике результатов ЕГЭ по математике то так же, как и по результатам русского языка, городские школы имеют более высокие показатели по сравнению с сельскими школами.

Как следует из рисунка, средний показатель ЕГЭ для городских школ за три рассматриваемых года составил 46,3, а для сельских школ – 43, 2. Следует отметить, что в целом наблюдается положительная динамика результатов ЕГЭ.

Рисунок 8. Динамика средних показателей ЕГЭ по математике в сельской местности и городах.

Аналогичный результат получен для показателей индекса социального благополучия. Школы, находящиеся в социально благополучной среде, показывают лучшие результаты. Причём отставание школ из социально-неблагополучной среды в 2011 г. всё ещё больше, чем в 2009 г.

Рисунок 9. Динамика средних показателей результатов ЕГЭ по математике для разных групп социального благополучия

Чтобы рассмотреть ситуацию более детально, мы выяснили, какие школы, точнее, школы с каким социальным индексом, попадают в 30% лучших и 30% худших по результатам ЕГЭ за 3 последних года.

Как следует из данных, 58% сельских школ, находящихся в социально неблагополучной среде, попадают в группу, показавшую 30% наименьших результатов ЕГЭ. В эту же группу попадают 59% городских школ из неблагополучной среды. В то время как всего 33% благополучных сельских школ и 12% благополучных городских школ показали столь же низкие результаты. И, напротив, в число, показавших 30% лучших результатов попадают только по 11 % городских и сельских школ с низким индексом социального благополучия, но 35% сельских и 44% городских школ с высоким индексом.

Иными словами, для школ с низким уровнем социального благополучия вероятность показать низкие результаты значительно выше, чем для социально благополучных школ. В категорию школ с наиболее высокими результатами ЕГЭ с существенно большей вероятностью попадают школы с высоким индексом социального благополучия.

В то же время и при рассмотрении динамики результатов за три года, выявляются школы, выпадающие из общей тенденции. Как мы уже говорили, одни из них можно считать эффективными, так как они обеспечивают высокие результаты, находясь в неблагополучных социальных условиях. Другие надо признать неэффективными, так как они не используют своих преимуществ и показывают низкие результаты, находясь в социально благоприятной ситуации. К сожалению, последних существенно больше.



Подводя итог, надо сказать, что подобный анализ качества работы школ, основанный на сравнении результатов школ, находящихся в схожих условиях и обучающих близкий по сложности контингент, помогает понять, что стоит за баллами ЕГЭ, надо ли признать их поражением или победой, следует ли оказать школе помощь или принять более жёсткое решение. Он создаёт для системы управления новые возможности как для оперативных действий, так и для долгосрочных стратегий. Безусловно, такая картина значительно объективней прямого рейтингования школ по результатам ЕГЭ.


1 Measuring improvements in learning outcomes. OECD, 2008.

2 Borjias, G. 1995. Etnicity, neighborhoods, and Human-Capital Externalities. American Economic Review 85, 365-390.

3 Measuring improvements in learning outcomes. OECD, 2008.
скачать файл



Смотрите также:
М. Пинская, Н. Крутий, С. Косарецкий, И. Фрумин
125.61kb.