20 февраля профессор финансов РЭШ Ольга Кузьмина прочитала заключительную лекцию в рамках цикла по финансовой грамотности. В своем выступлении эксперт остановилась на том, какие ошибки могут совершать исследователи при анализе данных. Остановимся на ключевых моментах, на которые профессор советовала обращать внимание.
«Не каждая корреляция – истинная»
В своей лекции профессор Ольга Кузьмина привела несколько известных примеров совершенно абсурдных корреляций. Например, число людей, утонувших в бассейнах в США, почти идеально соотносятся с числом фильмов, вышедших в этом году с Николасом Кейджем. Или продажи японских автомобилей коррелируют с числом самоубийств, совершенных за рулем.
«Заранее сказав, какая корреляция истинная, а какая ложная, сложно… Поэтому нужно сначала задаться важным экономическим интересным вопросом, а потом уже проводить анализ. Слепым перебором данных (data mining) можно найти очень много ложных корреляций», – рассказала Ольга Кузьмина.
«Не каждая истинная корреляция выживет при учете других факторов»
Для экономических рекомендаций критически важно выявить именно причинно-следственную связь между факторами, которая, как правило, не выявляется простой корреляцией. Нужно учитывать больше дополнительных факторов и использовать для их анализа регрессионный анализ.
«После – не значит вследствие»
Всегда нужно пытаться найти истинную причинно-следственную связь между факторами. Однако стандартными методами и эконометрическим анализом это не всегда возможно.
Поэтому около 30 лет назад в экономике произошла революция доверия, в результате которой распространился экспериментальный метод. «Золотой стандарт» современных исследований – это рандомизированный эксперимент, при котором участников делят на в экспериментальную и контрольную группу. В медицине так проводятся клинические испытания новых лекарств, а в маркетинге – А/Б тестирование (например, какие из рекламных баннеров работают лучше).
В экономике экспериментальный метод не всегда возможен этически или слишком дорог. Поэтому исследователи стараются искать «случайности» в обычной жизни. Например, экономисты любят проверять данные «на близнецах», которые родились в одних семьях и обладают сходными возможностями.
«Остерегайтесь ошибки выжившего»
Даже хорошее исследование может пострадать из-за того, что в нем не будет учтен отсев – те явления, которые не попали в выборку. Крайний случай этой ошибки – это «эффект выжившего».
«Это ситуация, когда мы делаем вывод об эффекте той или иной программы, на основе только тех, кто «выжил» - некоторой выборки, которая не включает всех участников эксперимента», – рассказала Ольга Кузьмина. Не учитывая те явления, которые были отсеяны, можно сместить оценку, причем в не всегда предсказуемую сторону.
Презентацию Ольги Кузьминой можно скачать по ссылке. Фотографии с лекции – в альбоме.
В рамках курса по финансовой грамотности ранее в феврале состоялись еще две лекции: ректора РЭШ Рубена Ениколопова о психологических ловушках на финансовых рынках и профессора Анны Обижаевой о финансовых биржах.
В апреле начнется новый курс #ЛекторийРЭШ «Как технологии меняют мир». Следить за расписанием можно по ссылке.
Лекции проводятся при поддержке Благотворительного фонда «САФМАР».
