В последнее время я всё чаще выступаю на своём русскоязычном YouTube-канале с критикой современной астрологии. Зрители-астрологи нередко упрекают меня в том, что я привожу в пример либо откровенно глупых астрологов, либо абсурдные высказывания. При этом они уверены: они-то точно знают, как правильно читать характер по гороскопу.
Я привык опираться на факты, а не на уверенность в себе. Поэтому я пригласил практикующих астрологов с большим опытом — выпускников известных астрологических школ — чтобы они приняли участие в простом эксперименте. Я предложил им сопоставить описание личности с одним из пяти гороскопов.
[toc]
Суть эксперимента
Случайный человек, далёкий от астрологии, прошёл профессиональный психологический тест Myers-Briggs Type Indicator, а также предоставил мне свои данные — с точным временем рождения.
На их основе я построил его гороскоп. Кроме него, я сгенерировал ещё четыре случайных гороскопа — они, скорее всего, даже не принадлежат реальным людям: я просто подбирал случайные годы, даты, страны и города. В итоге получилось пять гороскопов: один — настоящий, соответствующий психологическому портрету, четыре — абсолютно случайные.
Цель эксперимента — не в том, чтобы подтвердить конкретную школу или стандартизированный подход к астрологической интерпретации, а в том, чтобы оценить общее состояние современной астрологии — её адекватность (соответствие заявлений реальности) в том виде как она существует сейчас на открытом астрологическом рынке.
Именно поэтому использование репрезентативной выборки случайных практикующих астрологов не только уместно, но и необходимо. Это отражает те реальные условия, в которых астрология Нового Времени (рожденная в конце 19-го века) применяется сегодня, а не её идеализированную или академически унифицированную версию.
Следующие абзацы — для настоящих гиков, кто хочет вникнуть в статистику. Если это не про вас — сразу переходите к разделу “Начало эксперимента”.
Немного о статистике
В эксперименте приняли участие 94 астролога. Поскольку участие было анонимным, среди них были и новички, и опытные специалисты. Такая разнородность хорошо отражает реальную ситуацию на астрологическом рынке — мы получили репрезентативную выборку, в которой нет только новичков или исключительно гуру.
Мы исходили из того, что все астрологи используют схожие техники описания характера, хорошо известные и входящие в базовую программу любой астрологической школы.
Перед нами две гипотезы, которые предстоит проверить:
- Гипотеза 0: астрологи угадывают гороскоп случайно — никакой связи между характером и гороскопом нет.
- Гипотеза 1: астрологи действительно обладают знаниями и выбирают гороскоп не случайно.
Ошибки 1-го и 2-го типа
Гипотеза 0 предполагает, что при случайном угадывании правильных ответов будет примерно 1/5 от общего числа — то есть около 18–19 астрологов из 94. На практике число будет немного колебаться — 18, 19 или 20.
Встает важный вопрос:
- Если более 30 астрологов дадут правильный ответ, можно ли это считать случайным совпадением или это уже закономерность?
- А если правильных ответов будет более 60 — что тогда?
Нужно определить критический порог — минимальное количество правильных ответов, начиная с которого мы можем уверенно сказать, что результат перестает быть случайным и отражает реальное умение астрологов соотносить характер с гороскопом. Иначе мы рискуем допустить досадную ошибку 1-го типа (False Positive) — ошибочно отвергнуть нулевую гипотезу, то есть увидеть закономерность там, где её нет.
Ответ на этот вопрос — чуть ниже.
Гипотеза 1: Если астрологи выбирают гороскоп не случайно, то мы можем ожидать, что вероятность правильного выбора будет выше, чем простое угадывание — то есть выше 1/5 (20%). Это может быть 50% (каждый второй астролог угадает правильно), а может быть и 75% (три из четырёх дадут правильный ответ). Всё зависит от того, насколько профессиональными мы считаем участников эксперимента.
Поскольку опрос был анонимным и не было комиссии, проверяющей квалификацию, я заложил достаточно консервативную оценку: я считаю, что астрологи демонстрируют навык, если называют правильный гороскоп хотя бы на 15% чаще случайного угадывания. То есть, если точность будет не ниже 35%, это уже хороший результат.
Однако нельзя забывать и о другом сценарии: астрологи умеют читать характеры, но в день эксперимента у них могло случиться массовое помутнение рассудка, и результаты выглядят как случайное угадывание. Простой пример: пусть в эксперименте участвует один высококвалифицированный астролог, но именно в этот день он ошибается. Мы можем ошибочно сделать вывод: «Методика не работает». Такая досадная ошибка называется ошибка 2-го типа (False Negative) — мы принимаем нулевую гипотезу там, где на самом деле существует закономерность.
Эту ошибку можно минимизировать, увеличивая количество участников. Чем больше астрологов, тем меньше шанс, что все сразу промахнутся случайно. Но сколько именно участников нужно, чтобы избежать ошибки 2-го типа?
Что считать неслучайным угадыванием?
Главный вопрос к нулевой гипотезе — сколько минимум астрологов должны назвать правильный гороскоп, чтобы мы перестали считать результат случайным?
Ниже показана вероятность того, что по крайней мере N из 94 астрологов угадают правильный гороскоп. По горизонтали — число N, по вертикали — вероятность. Напомню, что этот график отражает ситуацию при нулевой гипотезе — то есть при условии, что каждый астролог угадывает чисто случайно.
Примечание: Вы можете получить эти данные самостоятельно, используя встроенную функцию Excel:
=BINOM.DIST.RANGE(94;20%;N;94), где N — количество астрологов, от 1 до 94, а 20% — вероятность случайного угадывания правильного гороскопа.
Из графика видно:
- Почти наверняка хотя бы один астролог угадает правильный гороскоп — и это чистая случайность.
- Практически невозможно, чтобы все 94 астролога дали правильный ответ — такая вероятность близка к нулю, и это уже не случайность.
- Шансы между случайностью и закономерностью примерно равны, когда правильных ответов около 19.
В статистике принято считать результат неслучайным, если вероятность получить его случайно меньше 5% — это называется уровнем статистической значимости. Из графика видно, что это соответствует примерно 26 правильным ответам. Иными словами, если как минимум 26 из 94 астрологов выберут правильный гороскоп, мы можем с уверенностью считать, что результат — закономерность, а не случайность.
Примечание: Критический порог (число 26) можно найти с помощью функции Excel:
=BINOM.INV(94;20%;1-5%) + 1, где 5% — уровень статистической значимости, 94 — количество астрологов, а 20% — вероятность угадывания.
Итак, 26 и более правильных ответов из 94 гарантируют, что мы наблюдаем реальное умение астрологов, а не случайное совпадение.
Сколько нужно участников для достоверного результата?
В альтернативной гипотезе мы предполагаем, что астрологи выбирают правильный гороскоп чаще, чем при простом угадывании. Если в среднем 35% астрологов из 94 (примерно 33 человека) называют верный гороскоп, то это уже выглядит как закономерность. Однако нам важно исключить ситуацию, когда у опытных астрологов вдруг массово случается “помутнение рассудка”, и экспериментатор ошибочно воспринимает это как отсутствие знаний.
Ниже показана вероятность ошибочно принять коллективную случайную ошибку за отсутствие знаний в зависимости от числа участников эксперимента. На графике синяя зубчатая линия — это вероятность сделать такую ошибку, а красная линия — максимальное число “ошибок” среди N астрологов, которое считается допустимым, то есть максимально допустимая “коллективная ошибка”.
Примечание: Вы можете самостоятельно построить этот график с помощью встроенной функции Excel:
=BINOM.DIST.RANGE(N; 35%; 0; CR - 1), где N — количество астрологов в эксперименте, 35% — вероятность правильного выбора при наличии астрологических знаний, а CR — критический порог (минимальное число правильных ответов, ниже которого результат считается случайным), вычисляемый так:=BINOM.INV(N; 20%; 1-5%) + 1.
Из графика и расчетов видно, что при альтернативной гипотезе:
- Если в эксперименте участвует 1 знающий астролог, любой его ответ мы воспринимаем как случайность — вероятность “упустить” его системные знания равна 100%.
- Если участвуют 2 астролога, и оба ошиблись, вероятность упустить их знания снижается, но всё ещё высока — около 87%.
- При 27 участниках, если 20 из них ошибутся, мы с 50% вероятностью можем принять это за отсутствие знаний.
- При 40 участниках и 29 ошибках вероятность “пропустить” системные знания падает до 32%.
- Чем больше участников, тем меньше шансов допустить ошибку 2-го рода — ошибочно признать отсутствие знаний из-за коллективной ошибки.
В статистике обычно считают, что риск ошибки второго рода в 20% — приемлемый порог надежности. В нашем случае этот порог достигается примерно при 59 участниках.
Фактически, в нашем эксперименте участвовало 94 астролога — больше, чем этот порог. Это означает, что если бы 70 из них ошиблись, вероятность “пропустить” существование системных знаний составила бы всего 5% — очень низкий уровень.
Начало эксперимента
Итак:
- В эксперименте участвовали 94 астролога — этого достаточно, чтобы «не прозевать» реальное знание, даже если по досадной случайности до 70 из них ошибутся именно в день эксперимента.
- Мы заложили достаточно мягкие требования к астрологам, учитывая, что среди них не все — профессионалы экстра-класса. Требуется лишь, чтобы они были точнее простого угадывания минимум на 15%.
- Мы знаем, что если более 26 астрологов дадут правильный ответ, это говорит о том, что они действительно способны сопоставить описание характера с гороскопом. Если же правильных ответов меньше 26, — значит, это чистое угадывание, и астрология в этом смысле не описывает характер.
Результаты эксперимента
Вот как распределились голоса астрологов по пяти гороскопам:
Менее всего астрологи выбирали 4-й гороскоп. А вот пятый гороскоп оказался настоящим аутсайдером — он явно выделялся и стал фаворитом среди всех вариантов. Что это значит?
Это говорит о том, что выбор 5-го гороскопа был неслучайным — астрологи действительно руководствовались какой-то методикой. Но теперь самое важное: правильный ответ.
Правильным гороскопом был гороскоп №4 — именно он принадлежал реальному человеку. Все остальные гороскопы были выдуманы и сгенерированы мной случайным образом. Как видите, только 5 из необходимых 26 астрологов выбрали именно этот вариант. Этого недостаточно, чтобы говорить о существовании связи между гороскопом и характером. Можно с уверенностью утверждать, что такой связи просто нет.
В чем причина такой популярности 5-го гороскопа?
Описание личности по результатам MBTI теста было насыщено фразами вроде: «Надежный, структурированный, логический, практичный». Вот отрывок из описания:
Вы подходите к жизни с четким набором принципов, цените традиции, структуру и ясно определённые ожидания. Ваша сила — создавать порядок из хаоса, методично организовывая информацию и ресурсы для достижения ощутимых результатов. Логический и ориентированный на факты склад ума помогает вам в аналитических задачах, но иногда затмевает эмоциональные аспекты ситуаций.
Когда я читал это описание, мне сразу вспомнилось, что подобные черты часто приписывают Козерогам. В качестве эксперимента я решил проверить, не будут ли астрологи выбирать гороскоп, ориентируясь главным образом на положение Солнца в знаке Козерога.
Для этого я сгенерировал 5-й случайный гороскоп так, чтобы Солнце было именно в Козероге, в то время как в остальных гороскопах оно находилось в других знаках. И 5-й гороскоп выбрали 47 человек — это почти вдвое превышает критический порог в 26 голосов. Значит, этот выбор статистически значим и не может быть объяснен случайностью.
Что же это означает? Это говорит о двух вещах:
- Несмотря на то, что астрологи утверждают, что анализируют весь гороскоп — все планеты, аспекты, фигуры Джонса, положение в домах и прочее — на практике они ориентируются главным образом на положение Солнца в знаке. По сути, они следуют рекомендациям популярных гороскопов из бульварных изданий.
- Нет никакой реальной связи между положением Солнца в знаке и характером человека. Всё, что пишут о знаках зодиака и на что опираются астрологи, — это огульная фантазия.
Еще раз подчеркну, что наша репрезентативная выборка отражала типичного астролога с современного астрологического рынка — именно таких сейчас большинство.
Как бы ни было печально это признавать, современная астрология не прошла очередной факт-чекинг. Напомню, что это далеко не первая проверка, которая продемонстрировала несостоятельность современных астрологических техник.
Возражение астрологов против эксперимента
После публикации видео с результатами этого эксперимента я получил множество отзывов от современных астрологов. Они отчаянно защищали свои методы и техники, сводя свои аргументы к четырём основным пунктам.
Пункт 1. Эксперимент по своей сути “подлый” и потому не валидный.
Мой ответ: статистика не знает понятий “подлый”, “вдохновляющий” или “вспыльчивый”. Биномиальное распределение Ньютона — это просто математическая формула, встроенная в Excel. Такие характеристики никак не влияют на её математическую корректность, и потому они не делают результаты эксперимента неверными.
Пункт 2. Вы брали случайных людей, а не настоящих астрологов.
Мой ответ: если бы действительно участвовали случайные люди, не знакомые с астрологией, мы не увидели бы статистически значимого выбора именно 5-го гороскопа. 47 голосов из 94 говорят о том, что респонденты пользовались общей методикой, которая, как показано, оказалась ошибочной.
Пункт 3. Психология — лженаука, а тест MBTI, на основе которого строилось описание характера, — фикция.
Мой ответ: MBTI — это стандартизированный психометрический инструмент, разработанный и многократно проверенный в ходе десятков эмпирических исследований. Его надежность (тест–ретест стабильность) и валидность подтверждены на больших выборках. Повторное прохождение теста показывает высокую воспроизводимость результатов у людей с устоявшейся личностью, что свидетельствует о научной обоснованности MBTI как инструмента описания психологических типов.
Пункт 4. Астрологию нельзя подвергать фактчекингу; это духовная, описательная и интуитивная дисциплина.
Мой ответ: Во-первых, астрология исторически развивалась как прогностическая дисциплина. Её математический аппарат — первичные дирекции, системы домов, формулы сферической тригонометрии и прочее — был создан в рамках предсказательной парадигмы. Трудно поверить, что древние разрабатывали логарифмы и тригонометрические функции исключительно ради духовных целей.
Более того, у нас нет свидетельств того, что астрология когда-либо использовалась для чего-либо, кроме прогнозов (включая элекции) или медицины. То, что мы сейчас называем астрологией Нью-эйджа, — сравнительно недавнее явление: астрология солнечных знаков начала формироваться лишь в конце XIX века, тогда как прогностическая традиция уходит корнями на тысячи лет в прошлое.
Во-вторых, если мы полностью откажемся от фактчекинга, мы утратим единственный надёжный способ отличать фантазии от реальности. Сопоставление утверждений с наблюдаемой реальностью — единственный метод, с помощью которого человек может проверять истинность чего-либо. Это особенно важно для астрологии, которая часто претендует на практическую, а не только теоретическую или философскую значимость. Поэтому подвергать её утверждения критическому анализу не просто уместно — это необходимо.
В заключение отмечу, что никто из астрологов так и не смог объяснить, почему именно 4-й гороскоп оказался самым правильным, но был почти полностью проигнорирован. Вместо этого последовали попытки лобовой атаки на результаты. Это лишний раз подтверждает отсутствие серьёзных аргументов в защиту астрологических техник.
Что делать дальше?
Если вы сейчас стоите на перепутье — учиться ли астрологии и, если да, то какой именно — вот несколько здравых ориентиров:
1. Задайте себе честный вопрос: готовы ли вы потратить 5 лет жизни и немалые деньги на то, что, как показал эксперимент, попросту не работает? Современная астрология, основанная на описаниях характера и знаках Зодиака, не выдерживает элементарной проверки на достоверность. Зачем тратить годы на изучение техник, которые не дают проверяемого результата?
2. Вместо этого лучше изучать методики, которые позволяют делать точные, проверяемые прогнозы. Например, в нашей школе мы обучаем астрологии эпохи Ренессанса — системе, разработанной до появления “психологического” подхода. Эти техники позволяют прогнозировать события с точностью до дня и даже часа, что мы и демонстрируем в наших экспериментальных проверках. А главное — вы всегда можете сравнить прогноз с реальными событиями и проверить, работает ли методика.
