Лига статистиков

29 постов 83 подписчика
4

Дед Мороз и латентное размещение Дирихле

На детский утренник пришел Дед Мороз с тремя мешками конфет от разных организаций. В каждом мешке разные конфеты и они перемешаны. Одних конфет много в одном мешке и нет в другом. Других конфет примерно поровну во всех мешках.

И решил дед Мороз раздать по быстрому конфеты и продолжить праздновать. Раскрыл он мешки и давай детишкам отсыпать конфеты горстями. А поскольку он праздновал уже с самого утра, то совсем не следил кому и сколько конфет он выдает. Потому кому-то досталось по горсти из каждого мешка, кому-то десяток горстей из одного - вообщем полный беспорядок.

Под конец раздачи пришла Мария Ивановна - заведующая детским садиком, чтобы для отчетности пересчитать конфеты в мешках. Но застала только счастливых детей, три пустых мешка и уснувшего деда мороза.

Заведующая была опытным статистиком. Взглянув на деда Мороза она сразу поняла, что он проделал с конфетами латентное размещение Дирихле. А потому есть хороший шанс восстановить сколько и каких конфет лежало в каждом мешке и по скольку горстей конфет из мешков было выдано каждому ребенку.

Вот например, у Машеньки десяток сникерсов, но нет чупа-чепсов, а у Сережи десяток чупа-чупсов и ни одного сникерса. Значит сникерсы и чупа-чупсы лежали в разных мешках. У Танечки примерно пять сникерсов и пять чупа-чупсов, значит дед мороз выдал Маше и Сереже по паре горстей из одного мешка а Тане по горсти из каждого. Вот таким образом что-то понять можно.

Мария Ивановна запустила компьютер, переписала в файл кто и сколько получил конфет и написала скрипт, который ищет максимум вероятности получить такой расклад конфет в пространстве множества параметров - количества конфет в мешках и количество горстей из этих мешков выданных каждому ребенку. Она запустила скрипт и увидела, что процесс поиска сходится. Happy End

3

Парадокс Монти Холла

Три двери, за одной находится приз. Вам предлагается выбрать дверь, но не открывать ее. После этого ведущий открывает одну из двух оставшихся дверей, но ту, за которой нет приза. Далее вам предлагается открыть дверь, на которую вы указали в начале или другую, которая еще открыта. Зависят ли шансы на приз от вашего решения какую открыть дверь?

Допустим вы человек твердых убеждений, “упертый как баран” и не меняете своего изначального выбора. Тогда ваши шансы на приз 1/3. Тут все просто, три двери, за одной приз.

А вот если у вас “ветер в голове”, “семь пятниц на неделе” и вы вообще забыли на какую дверь изначально указали, а потому просто открываете случайным образом одну из закрытых дверей, то как ни удивительно, но шансы на приз у вас уже 1/2. И тут тоже все просто. Две двери, за одной находится приз.

Самый интересный случай, когда вы всегда открываете дверь, на которую не указывали изначально. Тут ваши шансы становятся 2/3. И вот это понять сложнее всего. Думаю проще будет, если представить эту стратегию немного иначе.

В начале игры вы подходите к ведущему, кладете ему руку на плечо и говорите:

- Дружище, я решил играть с тобой в одной команде и теперь у нашей команды есть право открыть две двери, а значит шансы у нас на приз 2/3. Вот эту дверь не открываем, открываем эту и эту. Ох, какая неприятность, ты не можешь открыть дверь с призом, ну что же придется мне уступить тебе право открыть первым дверь, где нет приза, а я так уж и быть открою другую. И давай сразу договоримся, кто откроет дверь с призом, тому приз и достанется.

P.S.

Видимо мое объяснение оказалось не самое понятное. Потому вот скрипт для симуляции в R стратегии, когда игрок всегда меняет выбор. Результат у меня получился 0.668

Парадокс Монти Холла Статистика, Парадокс, Текст
Показать полностью 1
8

Про проверку статистических гипотез с примером на котиках

Про проверку статистических гипотез с примером на котиках Статистика, Эксперимент, Кот

На картинке показан принцип проверки статистических гипотез. Если гипотеза дает малую вероятность наблюдаемых событий (p < 0.05), то она отвергается и противоположная считается доказанной.

Почему это интересно? Потомучто абсолютно все современные научные исследования включают проверку статистических гипотез. Можно сказать, что проверка статистических гипотез - это глобальный фильтр, который защищает нас от лженаучных результатов.

Вообще проверку статистических гипотез можно применять к любым исследованиям. Вот пример на котиках (с расчетом в R).

Котик 7 раз поцарапал вас правой лапой и только 3 раза левой. “Это случайность или кот правша?” - задумались вы.  Решить этот вопрос поможет биномиальный тест.

Предполагаем, что кот - амбидекстр (обе лапы одинаковы) и перекос на правую лапу это случайность. Тогда вероятность получить правой лапой 7 и более раз из 10:

>binom.test(c(7, 3))

p-value = 0.3438

"p-value" получилось очень большое, поэтому с научной точки зрения ничего сказать нельзя. Может правша, а может и нет. 

Значит продолжаем злить кота, доведя количество обдираний до 30 (это количество можно оценить заранее, но это другая история).

Допустим в результате получилось, что 21 раз из 30 кот царапал правой лапой. Считаем p-value:

>binom.test(c(21, 9))

p-value = 0.04277

Вот этот результат научное сообщество уже принимает, как доказательство того, что котик правша.

Примерно так все и устроено в науке.

Но почему именно “0.05”? - Этого никто не знает. Вот так выбрали и все - традиция.

Эта традиция означает также, что 5% всех научных результатов ошибочны. Можно ли уменьшить число ошибочных результатов? - да можно. Например принимать только результаты с p-value < 0.01. При этом ошибочных результатов станет 1%, но увеличится сложность экспериментов и их стоимость. Нашему котику, например, придется вас царапать раз 50 и у него могут устать лапки.

Показать полностью 1
84

О чем пишут пикабушники и пикабушницы1

Топ тегов с высокой частотой мужского авторства. 
О чем пишут пикабушники и пикабушницы Статистика, Мужчины и женщины, Посты на Пикабу, Сравнение, Длиннопост

Здесь и далее "Риск мужского авторства" - это отношение процента мужчин в авторах к проценту женщин. (Risk Ratio)


Кто-то может пояснить, почему "My Little Pony" чисто мужская тема? Она более мужская, чем футбол, армия, политика и оружие!


Топ тегов с высокой частотой женского авторства. 

О чем пишут пикабушники и пикабушницы Статистика, Мужчины и женщины, Посты на Пикабу, Сравнение, Длиннопост

Наиболее многочисленные и гендерно нейтральные теги.

О чем пишут пикабушники и пикабушницы Статистика, Мужчины и женщины, Посты на Пикабу, Сравнение, Длиннопост

Источник данных Датасет Пикабу

Показать полностью 3

Рейтинг постов. "Моё" или копипаст. Чей копипаст сильнее

Продолжение Рейтинг постов на Пикабу.

Рейтинг постов. "Моё" или копипаст. Чей копипаст сильнее Статистика, Рейтинг, Факты, Пика

Напомню, что среднее значение (медиана) рейтинга по всем постам +6, а вероятность получить рейтинг +10 за пост равна 0.42. Получается что посты "Мое" чуть хуже чем в среднем, но лучше многих копипаст.

Рейтинг и время публикации

Продолжение Рейтинг постов на Пикабу. Данные за период 2015-2020 год.

Рейтинг и время публикации Статистика, Рейтинг, Факты, Пикабу
Рейтинг и время публикации Статистика, Рейтинг, Факты, Пикабу
Рейтинг и время публикации Статистика, Рейтинг, Факты, Пикабу
Показать полностью 2
7

Рейтинги постов и теги

Продолжение Рейтинг постов на Пикабу

Топ 10 тегов с максимальным средним (медианным) значением рейтинга.
Рейтинги постов и теги Статистика, Факты, Рейтинг, Сравнение, Пикабу, Теги, Длиннопост

Здесь и далее рассматривались только теги, поставленные в постах 10 тыс. раз и более. Исключен NSFW (нет данных в предоставленной базе). "Вероятность +10(+1000) и больше" - это пропорция постов, имеющих данный тег и рейтинг которых больше +10 (+1000).


Как видно из таблицы посты с тегом "Негатив" - самая одобряемая категория на Пикабу. Посты с этим тегом собирают максимальное количество плюсов в среднем, причем с большим отрывом от других постов. Напомню, что все остальные посты набирают в среднем +6.


Более того, такие посты имеют максимальную вероятность набрать рейтинг +1000 и более. Вот топ тегов по этому показателю.

Рейтинги постов и теги Статистика, Факты, Рейтинг, Сравнение, Пикабу, Теги, Длиннопост

Анимешки отличаются тем, что практически гарантированно выходят в "горячее".  Но при этом шанс получить +1000 у таких постов практически нет.

Вот топ тегов, дающих шанс получить за пост +10 и более. (Котики тоже в этом топе, но при этом у них есть какой-то шанс на +1000)

Рейтинги постов и теги Статистика, Факты, Рейтинг, Сравнение, Пикабу, Теги, Длиннопост

Теги, дающие постам минимальный шанс получить +10. Напомню, что в среднем (по всем постам) этот шанс равен 0.42.

Рейтинги постов и теги Статистика, Факты, Рейтинг, Сравнение, Пикабу, Теги, Длиннопост

Самые минусуемые и думаю самые противоречивые категории. С одной стороны, они лидеры по среднему количеству минусов, но с другой стороны, посты в этих категориях имеют хороший шанс попасть в горячее и даже получить +1000.

Рейтинги постов и теги Статистика, Факты, Рейтинг, Сравнение, Пикабу, Теги, Длиннопост
Показать полностью 4

Как бросить курить и не сорваться: инструкция от тех, кто смог

Выходишь покурить на пять минут, а возвращаешься через 10 лет: с хрипом, тремя неудачными попытками бросить и пачкой мятных жвачек в кармане. Это как плохой сериал: тянется слишком долго, а финал все равно разочарует. Но выйти из этого сценария можно и даже не обязательно драматично. Мы собрали истории тех, кто боролся с зависимостью ради любимого человека, здоровья или лучшей жизни.

Как бросить курить и не сорваться: инструкция от тех, кто смог Курение, Борьба с курением, Зависимость, Telegram (ссылка), ВКонтакте (ссылка), Длиннопост

История 1 — отражение

@holoroad

Маленькая дочка почти научилась ходить и всюду телепалась за мной. Я не курил при ней. Ходил на балкон, а она, прильнув к стеклу, смотрела на меня и ждала, когда я докурю и выйду к ней. И в какой-то момент она начала повторять за мной вот эти движения. Маленький человечек, ей было года полтора или два, прикладывала воображаемую сигарету к губам, а потом делала вид, что выпускает дым. И весело так на меня смотрела, сквозь стекло балконной двери. Ей нравилось все, что со мной связано, и она подражала всем моим действиям. Я курил уже двадцать лет и, конечно, делал множество попыток бросить до этого. Но в этот раз у меня в первый раз появилась по-настоящему важная причина бросить. Это важно для человека, который безгранично мне доверяет. С тех пор прошло почти десять лет, в течение которых я не сделал ни одной затяжки.

Решение бросить курить — одно из лучших, которое вы можете принять для своего здоровья, будущего и близких. Но справиться с зависимостью только потому, что «это вредно» будет тяжело. А вот если хотите не задыхаться, поднимаясь по лестнице, или волнуетесь за своего ребенка, которые вдыхает табачный дым, — уже другое дело.

Сформулируйте, что для вас значит отказ от никотина. Это может быть желание прожить дольше, избавиться от проблем со здоровьем, выглядеть моложе, сэкономить деньги или защитить близких от пассивного курения. Напоминание об этой причине повесьте на видное место.

История 2 — список

@maxneb

Беременность жены, рождение ребенка, здоровье, деньги — ничего не было веским поводом бросить окончательно. Постоянно срывался. Помогло составить список, что теряю и что получаю от сигарет, и понимание, что хотя бы одна затяжка — и все насмарку: пару месяцев буду курить. Только список и его осознание. Для каждого он свой. И постоянное обращение к нему. После составления списка курил еще. Но он как заноза висел в голове с вопросом «зачем?»... Так, что-то щелкнуло и сейчас не тянет. Иногда тянет физически, но осознание бесполезности курения сразу глушит позывы. Полгода, полет нормальный...

Бросать на авось — идея, которая подойдет не всем. Нужно понимать, что делать в трудные моменты:

  • Определите дату отказа. Подготовьтесь морально, уберите сигареты, зажигалки, пепельницы.

  • Замените привычки. Сигарету в руках можно заменить орешками, палочками морковки, жвачкой или даже кубиком льда.

  • Займите время. Вспомните, чем вы любили заниматься: спорт, хобби, прогулки.

  • Планируйте, что делать при тяге. Она длится всего 3–5 минут. Дыхательные практики или звонок другу помогут пережить сильное желание закурить.

  • Откажитесь от «наградных сигарет». Одна затяжка и вы откатитесь назад.

Можно бросить резко, «с понедельника», или постепенно, снижая количество сигарет до нуля. Главное — определиться и не отступать.

История 3 — переключение

@Spaka

45 лет, стаж 30. Пытался завязать много раз, потом понял, что после каждой попытки бросить, курить начинаешь больше. Как ребенок, которому не дают вкусняшку, а она случайно попала ему в руки. Из чего мозг сделал вывод: не уверен — не бросай. Потом стал замечать, что организм уже стал сам просить перестать курить. По утрам было очень неприятно во рту, удовольствие после сигареты стало короче, а негатив, приходящий следом, ощутимее: неприятные ощущения в горле, боли миндалин, страх схватить онкодиагноз. Хотя врачи говорили, что все ок, в голове-то гоняешь мысли. Я решил попробовать обмануть сам себя. Не делать из процесса отказа какого-то события. Бросить так, как будто это и должно было произойти, но ты не знаешь когда. Про себя помолился, как сумел, и попросил помощи, хитро прищурил глаз и в момент, когда забыл купить про запас (оставалась пара штук в пачке), просто перестал курить. Мне теперь даже странно, как я раньше это делал. Так и живу почти два года. Кстати, раньше в момент завязки курящих ненавидел, дым был очень противен, до тошноты. Теперь все равно. Присоединяйтесь ;)

Есть несколько стратегий отказа от курения:

  • Резкий. Эффективный и решительный подход.

  • Постепенный. Сначала — меньше сигарет, потом — меньше затяжек. И так до нуля.

  • Психологическая замена. Каждая сигарета — это ритуал. Найдите для каждого из них «здоровую замену».

  • Медикаментозная терапия. При сильной зависимости врач может порекомендовать никотинозаместительную терапию (пластыри, таблетки, жвачки) или препараты, которые помогают справиться с синдромом отмены. Но любые лекарства принимаются только по рекомендации специалиста.

Каждый, кто хочет оставить зависимость в прошлом, может обратиться в центры здоровья, которые работают при поддержке нацпроекта «Продолжительная и активная жизнь», и получить необходимую помощь специалистов. Адреса доступны на официальном портале Минздрава России о здоровье: takzdorovo.ru. Также можно позвонить на горячую линию по отказу от зависимостей 8 800 200-0-200.

История 4 — форма

Аноним

Курила электронки 2 года как замену обычным сигаретам. Думала, что это не так дорого, не так вредно да и для девушки вроде более привлекательно: не пахнут волосы и руки. А потом решила привести свое тело в форму. Стала ходить в зал и поняла, что задыхаюсь на первом же упражнении, хотя женщины гораздо старше меня бодрячком. Было очень тяжело слезть. Друзья советовали заменять сигаретами. А потом уехала в отпуск в страну, где нельзя покупать электронки, отвлеклась, и после возвращения уже не тянуло. Даже на тусовках, где все дымят.

За модными гаджетами и фруктовыми ароматами скрывается химическая бомба, разрушающая организм быстрее, чем обычные сигареты. Электронные сигареты активно продвигаются производителями как «безопасная» альтернатива сигаретам. Но курение вейпа может обернуться серьезными проблемами: от кашля и одышки до поражения сосудов и дыхательных путей.

«Особую тревогу вызывает рост потребления табачных изделий и электронных сигарет. Согласно исследованию, проведенному в нашем Центре, 36,8% курильщиков потребляют одновременно и табак, и электронные сигареты. Среди молодежи в возрасте 25-39 лет этот показатель превышает 45%. Электронные никотиносодержащие и безникотиновые устройства поражают сердце, сосуды, дыхательную систему и ДНК организма не менее пагубно, чем традиционные сигареты, а в ряде случаев способны вызывать острые состояния, включая сосудистые поражения и летальные исходы» – рассказывает руководитель Центра профилактики и контроля потребления табака НМИЦ терапии и профилактической медицины Минздрава России Маринэ Гамбарян.

История 5 — пари

@kernima

Вроде не было никаких серьезных предпосылок, чтобы бросить. Да и чтобы начать: просто все вокруг курили, думал, это сейчас тренд. А потом как-то сидели в баре и решили поспорить с некурящим другом. Он затирал, что моя жизнь из-за электронки катится ко дну, я — доказывал, что это всего лишь маленькая шалость. В общем поспорили на пять тысяч. Чтобы было легче и можно было отвлечься, начал бегать по утрам. Друг проиграл, а я возвращаться к курению не стал. Вдруг снова у еды появился вкус, я начал высыпаться и больше не устаю на втором лестничном проеме. Короче, советую!))

Сульфат никотина, один из компонентов электронных сигарет, раньше использовали как пестицид, но запретили из-за высокой токсичности. Жидкость для «электронок» содержит и опасные химикаты вроде пропиленгликоля, ацетальдегида и акролеина — промышленных веществ, способных вызывать воспаления, поражения органов и мутации клеток. Ароматизаторы, создающие иллюзию безвредности, на деле могут привести к более тяжелой интоксикации, чем при курении сигарет. А еще вейпы содержат не природный, а синтетический никотин — солевой. Он быстрее всасывается, дольше выводится и вызывает зависимость стремительнее.

Когда организм отвыкает от никотина, бывает нелегко: люди становятся раздражительным и нервозными, быстро устают, возникают сухость во рту, кашель, трудности с концентрацией. Важную роль в борьбе с этими симптомами играет питание. В рацион стоит включить овощи, фрукты, орехи, семечки. Клетчатка способствует очищению организма от токсинов. Важно питаться сбалансировано: с достаточным количеством белков, жиров, углеводов и витаминов. Лучше временно исключить продукты, усиливающие удовольствие от табака (например, мясо), а также отказаться от алкоголя, кофе и крепкого чая. Они могут спровоцировать желание закурить. А вот большое количество воды, травяных чаев и настоев облегчит очищение организма и поможет справиться с сухостью во рту.

История 6 — связь

Аноним

Устал курить, понял, что мне это мешает заниматься спортом и в целом комфортно себя чувствовать. Пошел через ассоциации: покурил во время головной боли, и потом через самовнушение дал себе установку, что голова болела от курения. Звучит странно, конечно, но это сработало. Никотиновую зависимость снижал постепенно через редкое курение кальяна (2-3 раза в неделю с последующим уменьшением).

Чтобы добиться успеха в отказе от курения, стоит подготовиться. Обязательно расскажите о своем решении друзьям и близким — поддержка со стороны очень важна. Если вы уже предпринимали попытки бросить, вспомните, что тогда пошло не так, и постарайтесь не повторять этих ошибок.

Разберитесь, что именно тянет вас к сигарете: скука, стресс, привычка? Когда вы это осознаете, будет легче подобрать альтернативные действия — прогулку, книгу, разговор с близким. Учитесь распознавать моменты, когда особенно хочется закурить, и переключаться на что-то другое. Можно подключиться к программам или группам поддержки — это поможет не сдаваться. И главное: уберите из дома все сигареты.

История 7 — вершина

Аноним

Поднимался с сыном по Пушкинской тропе на гору Железная. Мне лет сорок пять было, идем общаемся, сын бегает туда-сюда. Ну идем короче, а сзади нас догоняет семейная пара, мирно о чем-то щебеча между собой. Догнали и обходят. И так спокойно удаляются… Все бы ничего, но им лет по шестьдесят, если не больше. Я попробовал в их темпе, но задыхаться стал. Короче, поднялся я на гору, спустился, смял пачку и выкинул в мусорную урну. Вот уже 13 лет не курю. Стаж 27 лет.

Курение — это быстро развивающаяся зависимость, схожая по механизму с наркотической. Никотин воздействует на мозг, вызывая кратковременное улучшение настроения, за которым следует упадок сил и потребность в новой дозе. Со временем формируется толерантность, и прежние негативные реакции организма на табак ослабевают. Физическая зависимость сочетается с психологической: сигарета начинает ассоциироваться с отдыхом, решением задач, рутиной. Курение укрепляется поведенческими шаблонами: кофе, вождение, паузы на работе уже не мыслимы без сигареты.


Каждый, кто пытался избавиться от никотиновой зависимости, знает, как это тяжело. Ломка, раздражительность, навязчивые мысли. Даже при переходе на вейпы, иллюзия «меньшего вреда» быстро развеивается: химические коктейли из ароматических смесей также бьют по легким, сосудам и всему организму.

Хорошая новость в том, что вы не одни. В сообществе «Давай бросать» (ВКонтакте и мессенджере Telegram), который работает при поддержке нацпроекта «Продолжительная и активная жизнь» знают, каково бороться с триггерами, искать замену привычке и удерживать себя от срыва. Здесь делятся историями тех, кто смог, поддерживают тех, кто только начал, и помогают разобраться в главном: как пережить отказ без мучений.

Социальная реклама. АНО «Национальные приоритеты», ИНН: 9704007633

Показать полностью

Рейтинг поста. Что лучше: текст, видео, фото, рисунок?

Рейтинг поста. Что лучше: текст, видео, фото, рисунок? Статистика, Пикабу, Рейтинг, Факты, График


Продолжение поста Рейтинг постов на Пикабу


Графики на рисунке построены на основе анализа 10 тысяч и более Пикабу постов, имеющих соответствующий тег. Чем правее сдвинут график, тем чаще пост с тегом получает высокий рейтинг. Серым цветом показан график для всех постов (независимо от тега).


Посмотрим на “эффект тегов”, сравнив медиану рейтингов всех постов (без учета тега) с медианным значения постов с соответствующим тегом. Медиана всех постов равна +6 (пересечение горизонтальной линии на уровне 0.5 с серым графиком). 


Посты с тегом “Текст” и “Видео” имеют медианы 1 и 2. Т.е. эти теги в среднем “отнимают” у поста 5 и 4 плюсика соответственно.


Теги “Рисунок” и “Фотография” имеют медианы 13 и 15. Наличие этих тегов добавляет к рейтингу поста +7 и +9.


Тег “Гифка”, в отличие от “Видео”, добавляет к рейтингу, причем довольно значимо +16


Чемпион среди этих тегов - “Комиксы”. Этот тег прибавляет 58 плюсиков к рейтингу поста.


Посмотрим на эффекты тегов с другой стороны - посчитаем вероятность того, что пост наберет рейтинг +10 и выше (выход в горячее). В среднем эта вероятность 42%. Чтобы увидеть это на графике проводим вертикальную линию в точке 10 до пересечения с серой кривой, получаем 0.58. Т.е. 58% вероятность получить 10 плюсиков и меньше. Cоответственно (100% - 58%) = 42% вероятность получить 10 плюсиков и больше.


Посты с тегами “Текст” и “Видео” имеют примерно по 34%. Т.е. теги снижают вероятность выхода поста в горячее на 10%.


Теги “Рисунок”, “Фотография”, “Гифка”,“Комиксы” увеличивают шансы на 15%, 17%, 23% и 32%.


Вывод -  рисуйте комиксы и будут вам плюсики :).


Нужно оговориться, что все это в статистике называется “обсервационное” исследование. Оно не выявляет причинно-следственные связи. Однако может навести на размышления :).

Показать полностью 1
Отличная работа, все прочитано!