Оценить эффективность образовательной программы - "нобелевская проблема"... Нобелевская премия – 2019 по экономике: Борьба с бедностью – это не займы и гранты
Премия по экономике памяти Альфреда Нобеля в этом году присуждена не только за научные методы, но и за практические успехи. Экономисты Абхиджит Банерджи, Эстер Дюфло и Майкл Кремер получили ее за вклад в борьбу с бедностью.Что хорошо в Нобелевской премии по экономике – 2019 – это то, что очень просто отвечать на вопрос «кому и зачем это нужно?». Всем нужно. Чтобы улучшать жизнь людей. Метод полевых экспериментов при анализе последствий государственной политики уже давно стал нормой. В десятках стран оценивают образовательные или социальные программы с помощью этих методов. Нобелевская премия 2019 г. выдана пионерам разработки и, главное, применения экспериментальных методов для борьбы с бедностью – чтобы у жителей бедных стран был доступ к питьевой воде и современным лекарствам, чтобы взрослые имели возможность взять небольшой кредит под человеческий процент, чтобы школьники учились в более хороших школах и по более современным стандартам, чтобы государственные деньги не тратились на бессмысленные, неэффективные программы.
Абхиджит Банерджи и Эстер Дюфло из Массачусетского технологического института и Майкл Кремер из Гарварда сами провели первые полевые эксперименты, убедили других ученых в том, как важны и продуктивны эти исследования, и, что еще важнее, убедили практиков в том, что эти методы работают.
Что такое «полевой эксперимент»? Вместо лаборатории, привычного места для экспериментаторов в естественных науках, используется что-то, что и так проводится в реальной жизни, без всякого эксперимента, но к этому добавляется специальная компонента, позволяющая правильно оценить последствия. Скажем, правительство решает ввести новую образовательную программу, то есть потратить деньги, огромные, как всегда, когда речь идет о массовых проектах. Надо подготовить учителей, разработать учебники, внести изменения в учебные программы. А как узнать, что программа работает так, как намечено? Или даже еще проще – как узнать, что деньги потрачены, учебники напечатаны, учителя прошли переподготовку, а в этом был хоть какой-то смысл – знания школьников хоть как-то изменились? Оказывается, это сложный вопрос – те, кому кажется, что на него легко ответить, ошибаются. Определить последствия образовательной программы всегда очень сложно.
Самая очевидная проблема с анализом последствий каких-то изменений – это то, что мы все время имеем дело со смещенной выборкой. Например, практически невозможно ответить на вопрос – лучше ли, если ребенок пойдет в первый класс в 5 лет, а не в 6 или 7. Дети, которые правдами или неправдами попадают в школу раньше или прыгают через класс, в среднем сильнее тех, кто пошел в школу, будучи чуть старше. Они бы, возможно, показывали более хорошие результаты и в случае, если бы пошли в школу со своими сверстниками. То есть то, что «дети, которые идут в школу раньше, добиваются более высоких результатов», легко доказать, а то, что «ребенку лучше пойти в школу на год раньше», – нет. Но на практике для вашего собственного ребенка нужно знать, правда ли второе, а не первое (у вас же не случайная выборка детей, а один конкретный!). Это невозможно без полноценного рандомизированного эксперимента – создания представительной выборки (то есть нельзя давать родителям выбирать – участвовать или нет) и потом разбиения ее на «контрольную» (пойдут в школу со всеми) и «экспериментальную» (пойдут раньше). Для ответа на вопрос «идти ли в школу раньше?» эксперимент, очевидно, не проведешь – и этот вопрос так и не отвечен, но для крупных государственных программ оценка последствий с помощью рандомизированных экспериментов вполне возможна.
Вот, например, новая образовательная программа. Если ввести ее одновременно во всех школах, нельзя будет определить, повлияла ли эта программа на успеваемость и в какую сторону. Наверняка результаты в более хороших школах будут лучше, чем в средних и плохих. Если ввести программу в «пилотных» школах, то возникает другая сложность. Нужно, чтобы выборка «пилотных» школ оказалась представительной по отношению ко всем школам – относительно этой новой программы. Это может быть сложно – понять, представительной будет выборка или нет. Например, нельзя попросить школы добровольно участвовать в «пилоте» – может получиться так, что желание участвовать будет сильнее у тех, для кого эта программа больше подходит. Результаты программы для этой выборки будут завышать оценку для всех школ. Нельзя попросить экспертов отобрать школы для «пилота» – это может внести смещение в выборку. Надо, по-хорошему, правильно составить «выборку всех школ» и потом с помощью лотереи (или другого датчика случайных чисел) выделить «контрольную» и «экспериментальную» группы.
В России оценку государственных программ с помощью рандомизированных экспериментов не проводят, а зря – это примерно такое же отставание в технологическом плане, как если бы чиновникам запретили пользоваться мобильной связью. Работа все равно будет идти, но, конечно, менее эффективно. Оценивать последствия реформ в образовании, медицине или социальной сфере без рандомизированных экспериментов можно, но качество оценивания будет ниже. А вот в негосударственном секторе небольшой опыт полевых экспериментов есть – например, именно так были выявлены и доказаны масштабные фальсификации на думских выборах 2011 г. Движение «Голос» распределило наблюдателей по участкам квазислучайным образом, создав качественные «контрольную» и «экспериментальную» группы. В «экспериментальной» результаты «Единой России» оказались на 11 процентных пунктов (четверть всех голосов!) ниже. В моей научно-популярной книге «Когда кончится нефть» рассказывается про полевые эксперименты именно на этом примере.
Основное применение экспериментальных методов нобелевскими лауреатами – 2019 – в области образования и здравоохранения. Майкл Кремер первым показал, как проводить полевые эксперименты на практике, в середине 1990-х в Кении. Школам давали дополнительные ресурсы для улучшения качества образования, но при этом получатели ресурсов отбирались и мониторились рандомизированно, что позволило делать выводы именно о последствиях программ. Дюфло и Банерджи, экспериментируя с миллионами индийских школьников, сумели не только получить оценки последствий, но и выделить конкретные механизмы, через которые реформы влияют на знания детей.
Нобелевский комитет сказал, что премия дается за «полевые эксперименты в борьбе с бедностью» потому, что в XXI веке борьба с бедностью – это не займы и гранты правительствам развивающихся стран, а работа по улучшению образования и здравоохранения внутри этих стран. С появлением полевых экспериментов – то есть доказательных методов анализа последствий любых реформ и изменений – у правительств и негосударственных организаций появился мощный инструмент. И правительства слышат! Прочтите лекцию Эстер Дюфло «Экономист как водопроводчик» двухлетней давности – это прекрасный рассказ про то, как полевые эксперименты позволяют разрабатывать и проверять масштабные проекты по борьбе с бедностью. В 2019 г. Нобелевская премия по экономике отметила не только пионерские научные методы, но и практические успехи.
Константин Сонин
На развитие сайта
