Горячее
Лучшее
Свежее
Подписки
Сообщества
Блоги
Эксперты
Войти
Забыли пароль?
или продолжите с
Создать аккаунт
Я хочу получать рассылки с лучшими постами за неделю
или
Восстановление пароля
Восстановление пароля
Получить код в Telegram
Войти с Яндекс ID Войти через VK ID
Создавая аккаунт, я соглашаюсь с правилами Пикабу и даю согласие на обработку персональных данных.
ПромокодыРаботаКурсыРекламаИгрыПополнение Steam
Пикабу Игры +1000 бесплатных онлайн игр
Грибные блоки - красочная головоломка, в которой вам предстоит передвигать блоки и заполнять ряды, чтобы собирать грибочки в корзину! Попробуйте продержаться как можно дольше!

Грибные блоки

Головоломки, Расслабляющая, Пазлы

Играть

Топ прошлой недели

  • AlexKud AlexKud 38 постов
  • SergeyKorsun SergeyKorsun 12 постов
  • SupportHuaport SupportHuaport 5 постов
Посмотреть весь топ

Лучшие посты недели

Рассылка Пикабу: отправляем самые рейтинговые материалы за 7 дней 🔥

Нажимая кнопку «Подписаться на рассылку», я соглашаюсь с Правилами Пикабу и даю согласие на обработку персональных данных.

Спасибо, что подписались!
Пожалуйста, проверьте почту 😊

Помощь Кодекс Пикабу Команда Пикабу Моб. приложение
Правила соцсети О рекомендациях О компании
Промокоды Биг Гик Промокоды Lamoda Промокоды МВидео Промокоды Яндекс Директ Промокоды Отелло Промокоды Aroma Butik Промокоды Яндекс Путешествия Постила Футбол сегодня

Data Science + IT

С этим тегом используют

Программирование Машинное обучение Обучение Python Аналитика Искусственный интеллект IT юмор Программист Юмор Работа Картинка с текстом Разработка Все
39 постов сначала свежее
Datatime
3 месяца назад

Как развить навыки в Data Scince - личный опыт⁠⁠

Постоянно набрасываю себе книги и курсы, которые мне действительно понравились и помогли

База

1️⃣ Классическое машинное обучение (табличные данные)
📖 "Python Machine Learning by Sebastian Raschka" – классика, но избегайте 13-й главы (устарела).
🎓 Специализация "Машинное обучение и анализ данных" от МФТИ и Яндекса – 6 курсов, из которых первые три по ML, 4-й — по статистике (очень полезно), а 5-6 можно пропустить.
🏆 Участвуйте в открытых соревнованиях на Kaggle. Это поможет научиться метрикам и валидации.
🎥 Лекции с Датафеста – YouTube канал и плейлист "ML Training" (ссылка).

2️⃣ Углубление в бустинги
Понимание их работы – основа для табличных задач, важно разбираться в CatBoost, XGBoost и LightGBM.
📜 Документация:

  • CatBoost

  • XGBoost

  • LightGBM

3️⃣ MLOps (O'Reilly)
📖 "Introducing MLOps" – 200 страниц о том, как управлять моделями машинного обучения и обеспечивать их надежную работу в продакшене.

4️⃣ System Design для Data Science
📖 "Designing Machine Learning Systems" (O'Reilly) – о том, как строить системы с правильным выбором метрик, поддерживаемостью и масштабируемостью.

5️⃣ Развитие аналитических навыков – это не просто база, а один из самых важных аспектов!
📖 "Девенпорт, аналитика как конкурентное преимущество"
💻 Разобраться с SQL и Pandas – это фундамент для работы с данными.

6️⃣ Рекомендательные системы
🎓 Recsys курс на YouTube и плейлист.

7️⃣ АБ-тестирование
📖 "Trustworthy Online Controlled Experiments"
📚 Гайды и курсы:

  • VK Guide

  • Бесплатный курс от Яндекса

8️⃣ NLP
Тема огромная, с tf-idf -> Word2Vec, fasttext, LSTM -> трансформеры -> BERT -> GPT -> LLM (и LoRA).
🎓 Курс от ШАДа по NLP – ссылка.
🎓 Курс от Lena Voita – ссылка.
📖 Обзорная статья A Comprehensive Overview of Large Language Models – ссылка.

9️⃣ Computer Vision
📖 Deep Learning with PyTorch – базовый курс по DL для работы с компьютерным зрением. Практическая книга по классификации и сегментации изображений.
✨ Изучайте темы по мере интереса:

  • image classification

  • segmentation

  • GAN

  • object detection

  • instant segmentation

  • pose estimation

  • diffusion models

  • multimodal models

  • Vision Transformer

Еще больше полезных материалов и обсуждений – в моем Telegram-канале 🚀

Показать полностью
[моё] Программирование IT Data Science Текст Telegram (ссылка) YouTube (ссылка)
0
dad.business
dad.business
3 месяца назад
Молодые предприниматели

10 лет был предпринимателем: Я закрыл 2 своих компании и устроился в 38 лет на работу в IT⁠⁠

Обычно все рассказывают, как ушли из найма и открыли многомиллионный бизнес, а тут всё шиворот-навыворот. Но это отнюдь не история провала, прочтёшь и сделаешь выводы сам...

10 лет был предпринимателем: Я закрыл 2 своих компании и устроился в 38 лет на работу в IT Бизнес, Предпринимательство, Личный опыт, Увольнение, Банкротство, Малый бизнес, Карьера, Стартап, IT, Data Science, Удаленная работа, Провал, Работа, Найм, Telegram (ссылка), Бизнес по-русски, Бизнес-идея, Бизнес-план, Фриланс, Длиннопост

Приветствую, на связи твой священный поставщик годных статеек — Батюшка, пропах ряс воском, Бизнесменский!

Руку целовать не надо, просто подпишись на телеграм-канал, это засчитаю.


Данная статья написана на основе интервью с главным героем истории. «Все истории вымышлены, а совпадения случайны». Некоторые фотографии могут быть взяты из интернета для создания атмосферы и глубокого погружения в рассказ.

Для понимания контекста

Все эти гуру, инфоцыг@не и прочие "успешные" личности только и трубят, как бросить эту каторгу под названием "работа в офисе" и, вуаля, оказаться на Мальдивах с коктейлем в руке. А вот о том, как из этого "рая" сбежать обратно в найм, почему-то молчат. Пандемия, спасибо ей, немного приоткрыла глаза на эту "романтику".

Когда я был царем и богом в своем микро-королевстве (читай: малый бизнес), на собеседованиях наивно спрашивал кандидатов, кем они себя видят лет через 5-10. Ответ, как под копирку: "Свой бизнес, свобода, яхта, острова!"...

Моей первой фирме исполнилось 10 лет на момент, когда я решил поменять свою жизнь на 180 градусов. Тогда я и представить не мог, что сам когда-нибудь променяю эту "свободу" на корпоративный галстук. Про галстук утрирую, не ношу.

Но вот я здесь, и, знаете что? Это приключение! Из бизнес-воротилы в системного аналитика – путь неблизкий, с переездом и кучей сюрпризов. Готовьте попкорн, сейчас расскажу.

Мои бизнесулички

Как рождаются бизнес-идеи? Легко! Если тебе чего-то остро не хватает, а вокруг – выжженная пустыня, где все "как бы есть, но как бы нет". Вот и я так думал: "Надо делать!" И понеслось! И вообще, я очень легкий на подъём.

2008 год. Я работал в одной региональной компании бухгалтером, нужно было пройти повышение квалификации. Курсы бухгалтеров – мой личный ад. Три "конторы" в пыльных развалинах, преподаватели – мамонты с заводов, объясняют так, что проще выучить китайский.

10 лет был предпринимателем: Я закрыл 2 своих компании и устроился в 38 лет на работу в IT Бизнес, Предпринимательство, Личный опыт, Увольнение, Банкротство, Малый бизнес, Карьера, Стартап, IT, Data Science, Удаленная работа, Провал, Работа, Найм, Telegram (ссылка), Бизнес по-русски, Бизнес-идея, Бизнес-план, Фриланс, Длиннопост

Но я не сдавался. Закончил этот "цирк", сдал экзамен и решил: "Надо делать!" Так родился мой центр бизнес-обучения.

Сам учебники рисовал (да-да, с картинками!), нашел молодых, голодных до знаний преподов (сейчас все – воротилы!). Мы так жахнули, что весь город заговорил о нас в профессиональной среде.

Гуф, ты умер? - Да не, меня убило

Я решил, что наш город просто умрёт без концерта Гуфа. И кто, как не я, сможет организовать это грандиозное событие? Первым делом я отправился к родственникам и друзьям, чтобы "немного" одолжить денег. Ну, знаете, как это бывает: "Привет, тётя, дай взаймы на концерт, а то Гуф без нас зачахнет!"

Это был примерно 9-10 год, и на удивление ни разу Гуфа никто в наш город не привозил, да и в целом молодежных концертов с привозными реперами почти не было. Все слушали в колонках на детских площадках музыку, попивая горячительные.

По мере приближения дня X, я начал понимать, что влип по полной. В голове крутились мысли: "А вдруг никто не придёт? А вдруг Гуф забудет текст и люди потребуют вернуть деньги?" Но я героически продолжал верить в успех, хотя внутри всё тряслось.

Продали около 100 билетов.

И вот, настал тот самый день. Гуф вышел на сцену, и я подумал: "Ну, всё, сейчас начнётся!" Но, к моему удивлению, зал взорвался аплодисментами, и я понял, что мы не только вернём долги, но и заработаем сверху.

10 лет был предпринимателем: Я закрыл 2 своих компании и устроился в 38 лет на работу в IT Бизнес, Предпринимательство, Личный опыт, Увольнение, Банкротство, Малый бизнес, Карьера, Стартап, IT, Data Science, Удаленная работа, Провал, Работа, Найм, Telegram (ссылка), Бизнес по-русски, Бизнес-идея, Бизнес-план, Фриланс, Длиннопост

В итоге всё прошло на ура, и я стал местным героем. Приехало даже местное телевидение и попросили меня как организатора сказать пару слов.

Король шаурмы

В 2016 году я решил, что миру не хватает шаурмы, и кто, как не я, должен спасти человечество от голода. Я открыл сеть киосков с шаурмой, и за два года я вырос до четырех точек. Прибыль есть, и я уже представлял себя королём шаурмы.

Но, как оказалось, быть королём — это не только поедать шаурму целыми днями, но и решать миллион операционных вопросов. Киоски требовали внимания, как маленькие дети, и делегировать это было невозможно. Я тратил кучу времени на то, чтобы следить за качеством мяса, учить сотрудников правильно обслуживать клиентов, справляться с текучкой и переманиванием шаурмистов конкурентами...

В итоге я понял, что выхлоп от этого бизнеса меньше, чем от моего центра обучения бухгалтеров. Там хотя бы мясо не портится и не требует постоянного контроля. И вот, с тяжёлым сердцем, я продал свою шаурмную империю. Надо сказать, выгодно.

Пандемия дала оплеуху

2020 год! Кто бы мог подумать, что мир решит устроить глобальную перемену декораций и запустить пандемию? И вот, когда все начали запасаться туалетной бумагой и учиться печь хлеб, я столкнулся с дилеммой: что делать с моим центром обучения бухгалтеров? Уходить в онлайн или оптимизироваться? Казалось бы, надо принимать быстро и резко решение, но не все так однозначно...

В то время я решил, что лучший способ справиться с ситуацией — это впасть в депрессию. Сейчас я подозреваю, что это последствие болезни ковидом было. В итоге я просто перестал видеть смысл во всём. Бизнес? Какой бизнес? Я же в депрессии.

10 лет был предпринимателем: Я закрыл 2 своих компании и устроился в 38 лет на работу в IT Бизнес, Предпринимательство, Личный опыт, Увольнение, Банкротство, Малый бизнес, Карьера, Стартап, IT, Data Science, Удаленная работа, Провал, Работа, Найм, Telegram (ссылка), Бизнес по-русски, Бизнес-идея, Бизнес-план, Фриланс, Длиннопост

И вот, пока я сидел и размышлял о смысле жизни, мой центр обучения бухгалтеров тихо закрылся. Ну, что тут скажешь? 10 лет существования центра, и такая никчемная смерть. Это ещё больше загнало меня "в себя", и полтора года я не выходил из дома, лежал и смотрел в потолок. В итоге, ковид победил, а бизнес... ну, он просто ушёл на покой, как и моя мотивация.

Депрессуха — палец тебе в ухо!

Я походил к психологам, пропил таблеточек. Мне специалисты посоветовали занять себя чем-то новым, создать новые нейронные связи в голове. Сказано — сделано!

Я решил, что мне интересна IT-сфера. Выбрал направление Data Science.

Я тщательно отбирал курсы, как сомелье выбирает вино, бабки же плачу, не хочется отдавать за воздух, ибо понимаю, что его много на рынке. Остановился на одной из тренинговых компаний. Восемь месяцев обучения — и я готов покорять мир! Несколько часов в день я посвящал изучению, а с 4 месяца начал рассылать резюме. И тут начинается самое интересное.

Кстати, если ты пишешь тексты — у Батюшки есть бесплатный чек-лист с приёмами хулиганского копирайтинга. Забирай в телеграм-канале, в закрепленном посте.

Пару месяцев я провёл в эпической битве с HR-боссами, рассылая резюме и проходя по несколько собеседований в день. Это было как участие в марафоне, только вместо медали в конце — предложение работы в крупной IT-компании. Но, конечно, не всё так просто.

Мне на тот момент было 38 лет, и я только что прошёл обучение. Опыта практического нет, я вообще думал что это бредовая затея, и моё место — работа на автомойке.

На одном собеседовании, на третьем созвоне (там поэтапное собеседование) мне сказали: "Добро пожаловать на борт! Но сначала месяц испытательного срока. Если выживешь, то переезжай в Москву, потому что работа в офисе." Я согласился, ибо легкий на подъём, не забываем. В конце концов, кто не рискует, тот не пьёт шампанское в офисе мечты.

И вот, я отработал этот месяц. Каждый день был как эпизод реалити-шоу "Выживший", только без пляжей и кокосов. По ходу работы гуглил термины, смотрел гайды на ютубе, дообучался в процессе, скажем так. Но я справился, и меня взяли! Ура, пора паковать чемоданы и отправляться в Москву. Да, синдром самозванца меня стороной обходит.

Через 2 года работы меня повысили. Теперь я — ведущий аналитик. Переезд в Москву стал моим личным квестом, а работа в офисе — наградой за пройденные испытания. В итоге всё закончилось хорошо, и я даже начал находить удовольствие в московских пробках. Ведь что может быть лучше, чем сидеть в пробке и знать, что ты — ведущий аналитик в компании своей мечты?

Жалею ли я о том, что моя предпринимательская карьера не задалась и я потерял бизнес, который существовал 10 лет в моей жизни? Именно об этом я и жалел полтора года депрессии. Даже не жалел, а выл на луну. Но, когда начал учится новому, айтишному ремеслу, мне стало сильно легче, и даже нравится. Даже допускаю, что это больше моё, чем бизнес. Но, если уж говорить честно — невольно задумываюсь о бизнесе, мысли сами лезут, но пока отгоняю.

Сколько волка не корми, а он все равно в лес будет смотреть...

Что думаете? Был ли у кого-то похожий опыт? Поделитесь, будет интересно почитать, и не только мне.


Батюшка Бизнесменский в своём блоге пишет об историях предпринимателей и их уникальном опыте.

Подпишись на телеграм-канал чтобы не потерять новые статьи.

Показать полностью 4
[моё] Бизнес Предпринимательство Личный опыт Увольнение Банкротство Малый бизнес Карьера Стартап IT Data Science Удаленная работа Провал Работа Найм Telegram (ссылка) Бизнес по-русски Бизнес-идея Бизнес-план Фриланс Длиннопост
7
user6098773
5 месяцев назад

Подскажите в какое направление it приткнуться⁠⁠

Всем привет!
Хочу вкатиться в it или около тему. Знаю и понимаю программирование (в том числе питон), но заниматься им не нравится. Имеется образование системного аналитика и опыт работы со сложными системами на Excel (когда-то такое было модно). Есть опыт работы бизнес аналитиком - бегал описывал бизнес процессы у заказчика.
Проходил курсы data science, показалось что это тоже самое программирование.
Может есть какие-то неочевидные направления куда можно пойти с таким опытом или обучившись чему-то новому?

[моё] IT Работа мечты Вопрос Data Science Поиск работы Текст
10
Партнёрский материал Реклама
specials
specials

Только каждый третий пикабушник доходит до конца⁠⁠

А сможете ли вы уложить теплый пол, как супермонтажник?

Проверить

Ремонт Теплый пол Текст
0
Calvinbro
5 месяцев назад

Какое направление выбрать, 1С или аналитика данных?⁠⁠

Имеется высшее техническое , понимаю что по специальности вряд-ли получится уже работать, и заканчивал уже более пяти лет назад, работаю по другой специальности не связанной не с айти не со специальностью. По этому хочу изучить одно из направлений либо 1С либо аналитика данных. По 1С более менее есть дорожные карты изучения, по аналитике не так много конкретики. По вакансиям тоже +- , ну сейчас из-за наплыва в it так везде.
Собственно вот, как определится, и что далее будет более востребованным в будущем? Не хочется просто так потратить время.

1С 1с:предприятие 8 Data Science Программирование Карьера Обучение Дистанционное обучение IT Айтишники Текст Выбор Нужен совет
14
4
montig
montig
8 месяцев назад

Синьор смотрит как работает джуниор⁠⁠

Синьор смотрит как работает джуниор Мемы, Милота, Юмор, IT, Data Science, Linux, Windows, Server error
Показать полностью 1
Мемы Милота Юмор IT Data Science Linux Windows Server error
1
pikabu.education
pikabu.education
10 месяцев назад
Серия Программирование

Лучшие курсы по Data Science⁠⁠

В этой подборке мы собрали лучшие курсы, которые охватывают весь спектр необходимых навыков: от базового программирования и работы с данными до создания сложных моделей машинного обучения и нейронных сетей. Каждый курс также включает помощь в подготовке к трудоустройству по профессии Data Scientist.

Мы тщательно анализируем плюсы и минусы каждого курса, опираясь на мнение пользователей как на нашей платформе, так и на других ресурсах. Изучите реальные отзывы студентов и найдите подходящий для вас курс на платформе Pikabu Курсы.

  • Курс «Data Scientist» от Бруноям

  • Курс «Data Scientist с нуля до Junior» от Skillbox

  • Курс «Data Scientist» от Академия Eduson

  • Курс «Data Scientist» от ProductStar

Лучшие курсы по Data Science Обучение, Data Science, Образование, Учеба, IT, Длиннопост

Обзор курсов

1. Курс «Data Scientist» от Бруноям
Вы научитесь программировать на Python, использовать машинное обучение и нейронные сети для анализа данных, работать с библиотеками NumPy и pandas, визуализировать данные с помощью matplotlib, а также применять SQL и математические методы для обработки данных.

Лучшие курсы по Data Science Обучение, Data Science, Образование, Учеба, IT, Длиннопост

Цена: 181 500 ₽
Цена со скидкой: 108 900 ₽
Длительность: 8 месяцев.
Документ об окончании: сертификат.

Плюсы:

  • четкая структура и последовательность;

  • широкий спектр тем;

  • практическая направленность;

  • помощь с трудоустройством;

  • год поддержки наставника после обучения;

  • налоговый вычет.

Минусы:

  • из-за большого количества тем курс может быть сложным для новичков;

  • нашли отзывы с жалобами на то, что времени на изучение потребовалось больше, чем заявлено на сайте.

Посмотреть программу курса >>>

2. Курс «Data Scientist с нуля до Junior» от Skillbox
Вы научитесь разрабатывать и обучать модели машинного обучения, использовать инструменты Python, Git, Power BI, Jupyter Notebook и Airflow для выполнения задач Data Science.

Лучшие курсы по Data Science Обучение, Data Science, Образование, Учеба, IT, Длиннопост

Цена: 260 084 ₽
Цена со скидкой: 130 042 ₽
Длительность: 9 месяцев.
Документ об окончании: сертификат.

Плюсы:

  • четкая структура и последовательность;

  • практическая направленность;

  • гарантия трудоустройства;

  • 2 специализации на выбор;

  • бесплатный доступ к инфраструктуре Yandex Cloud на время обучения;

  • курс «Карьера разработчика» в подарок;

  • доступ к курсу навсегда.

Минусы:

  • нашли отзыв с жалобой, что времени на изучение потребовалось больше, чем заявлено на сайте.

Посмотреть программу курса >>>

3. Курс «Data Scientist» от Академия Eduson
Вы научитесь применять методы Data Science для решения бизнес-задач, разрабатывать и внедрять модели машинного обучения, анализировать данные с использованием Python, SQL, и статистических методов, а также эффективно презентовать результаты анализа и взаимодействовать с командой.

Лучшие курсы по Data Science Обучение, Data Science, Образование, Учеба, IT, Длиннопост

Цена: 368 496 ₽
Цена со скидкой: 147 384 ₽
Длительность: 9 месяцев.
Документ об окончании: диплом или удостоверение о повышении квалификации.

Плюсы:

  • широкий спектр тем;

  • практическая направленность;

  • глубокое погружение в программирование;

  • помощь с трудоустройством;

  • курс обновлен весной 2023 года;

  • курс «Английский для IT-специалистов» в подарок;

  • доступ к материалам и обновлениям курса навсегда;

  • налоговый вычет.

Минусы:

  • из-за большого количества тем курс может быть сложным для новичков;

  • высокая цена без скидки.

Посмотреть программу курса >>>

4. Курс «Data Scientist» от ProductStar
Вы научитесь применять машинное обучение для решения различных задач, разрабатывать рекомендательные системы и системы анализа данных, а также свободно использовать SQL и искусственный интеллект.

Лучшие курсы по Data Science Обучение, Data Science, Образование, Учеба, IT, Длиннопост

Цена: 202 500 ₽
Длительность: 6 месяцев.
Документ об окончании: сертификат.

Плюсы:

  • широкий спектр тем;

  • практическая направленность;

  • постепенное усложнение материала;

  • помощь с трудоустройством;

  • курс обновлен в 2024 году.

Минусы:

  • из-за большого количества тем курс может быть сложным для новичков;

  • высокая цена.

Посмотреть программу курса >>>

Реклама. ООО БРУНОЯМ, ИНН 7840502496, ЧОУ ЧАСТНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ДОПОЛНИТЕЛЬНОГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ ОБРАЗОВАТЕЛЬНЫЕ ТЕХНОЛОГИИ СКИЛБОКС (КОРОБКА НАВЫКОВ), ИНН 9704088880, ООО Эдюсон, ИНН 7729779476, ООО ТРИВИУМ, ИНН 7806297293.

Показать полностью 5
Обучение Data Science Образование Учеба IT Длиннопост
1
2
KotKarl
11 месяцев назад

Помощь в обучении. Data Engineering⁠⁠

Всем привет! На волне постов про вайтишников, курсы и прочее хотела бы задать такой вопрос.
Кто работает в направлении Data Engineering, может к вам есть непреодолимое желание поделиться знаниями своими знаниями?))) не забесплатно конечно.

Собственно, к истокам вопроса. Я работаю в сфере аналитики (в экселе) и поняла, что мне интересно заниматься именно данными, выстраивать взаимосвязи, настраивать отчеты, какие то интерактивные дашборды (пока что из говна и палок), я прям кайфую, когда получается сделать файл, который максимально автоматизирован и требует от пользователя минимум взаимодействия.
Я покопалась в направлениях IT и мне показалось, что data engineering как раз об этом.


Так вот, я бы хотела позаниматься в онлайн с человеком, который шарит в этой области, который сможет помочь разобраться в основных инструментах/языках (пыталась самостоятельно освоить SQL, но каждый раз по разным причинам забрасывала это дело - видимо было мало мотивации(( ), подсказать учебники/литературу/тренажеры, к кому я могу обращаться с вопросами по непонятным кейсам и тд. Ну я думаю вы поняли.

Напишите, пожалуйста, кто готов побыть таким ментором-наставником-учителем-мастером-сенсеем 😂 и сколько вы бы хотели за это получить денежек.

Поднимите, пожалуйста, в топ, на рейтинг пофиг, тк я читатель ресурса

P.S. По тегам хз, что то поставила 😂

Показать полностью
IT Data Science Обучение Наставник Текст
17
3
troitskii
troitskii
1 год назад

Простыми словами про метрики в ИИ. Классификация. Confusion matrix, Accuracy⁠⁠

Привет, Пикабу! Меня зовут Александр Троицкий, я автор канала AI для чайников, и я запускаю серию коротких статей по метрикам качества моделей для машинного обучения!

Confusion Matrix - это основа основ результатов моделей ИИ, а Accuracy (или точность) - самая простая метрика. Сегодня разберемся что это такое и как они считаются.

Зачем вообще нужны метрики в моделях ИИ? Чаще всего их используют, чтобы сравнивать модели между собой, абстрагируясь от бизнес метрик. Если вы будете смотреть только на бизнес-метрики (например, NPS клиентов или выручка), то можете упустить из-за чего реально произошло снижение или повышение показателей вашего бизнеса. Например, вы сделали новую версию модели лучше предыдущей (метрики модели лучше), но в то же самое время пришёл экономический кризис и люди перестали покупать ваш продукт (упала выручка). Если бы в этой ситуации вы не замеряли показатели модели, то могли бы подумать, что из-за новой версии модели упала выручка, хотя упала она не из-за модели. Пример довольно простой, но хорошо описывает почему нужно разделять метрики модели и бизнеса.

Для начала надо сказать, что метрики моделей бывают двух типов в зависимости от решаемой задачи:

1. Классификации - это когда вы предсказываете к чему именно относится то или иное наблюдение. Например, перед вами картинка и вы должны понять, что на ней, а ответа может быть три: это либо собачка, либо кошечка, либо мышка.

К одному из под-методов классификации относится бинарная классификация: либо единичка, либо нолик. То есть мы предсказываем либо перед нами кошечка, либо это не кошечка.

2. Регрессии - это когда вы предсказываете какую-то величину на основании предыдущего опыта. Например, вчера цена биткоина была на уровне 32.000 долларов, а на завтра вы прогнозируете ее на уровне 34.533 доллара. То есть вы ищете какое-то число.

Соответственно метрики, на которые смотрят при работе с моделями тоже разные. В этом посте я расскажу именно про классификацию.

Confusion matrix

Для начала надо усвоить таблицу снизу. Она называется confusion matrix (матрица ошибок). Допустим, наша модель предсказывает купят ли некие люди слона. Потом мы пошли продавать им слона и оказалось, что часть людей слона купили, а часть - не купили.

Простыми словами про метрики в ИИ. Классификация. Confusion matrix, Accuracy Искусственный интеллект, IT, ChatGPT, Data Science, Аналитика, Метрики, Длиннопост

Так вот результаты такого исследования можно разбить на четыре группы:

  • Модель сказала, что человек купит слона и он купил слона! -> True Positive (TP)

  • Модель сказала, что человек не купит слона, а он взял и купил слона! -> False Negative (FN)

  • Модель сказала, что человек купит слона, но он не купил его, когда ему предложили -> False Positive (FP)

  • Модель сказала, что человек не купит слона. И он действительно его не купил -> True Negative (TN)

Accuracy

Теперь давайте разберем самую простую и базовую метрику качества, про которую чаще всего говорят заказчики, не понимающие в ML. Называется она accuracy или точность. Смотрим выше на confusion matrix и запоминаем как считается точность модели:

Accuracy = (TP+TN)/(TP+TN+FP+FN)

Accuracy используют редко, потому что она дает плохое представление о качестве модели, если у нас не сбалансированны классы. Например, у нас есть 100 картинок котиков и 10 картинок собачек. Пускай для упрощения скажем, что котики - это 0, а собачки - это 1 (перейдем к бинарной классификации). В данном примере котики и собаки - это два класса. Собак меньше, чем котиков в 10 раз - значит выборка из картинок не сбалансирована.

Например, наша модель правильно определила 90 котиков из 100. Получается True Negative = 90, False Negative = 10.

Еще наша модель определила правильно 5 собачек из 10. Получается True Positive = 5, False Positive = 5.

Подставив данные в нашу формулу получим, что accuracy тут равен 86,4. Однако если бы мы просто сказали, что на всех картинках котики, то получили бы accuracy 90, хотя для этого и никакой модели и не нужно. И вот казалось бы, угадывая достаточно много картинок (аж 86%!) наша модель на самом деле плохая.

Заключение

В следующей статье я продолжу рассказывать про метрики ИИ, в том числе более ходовые Precision, Recall, F-score, ROC-AUC. А дальше коснусь метрик регрессии: MSE, RMSE, MAR, R-квадрат, MAPE, SMAPE.

Если вам интересно знать про ИИ и машинное обучение больше, чем рядовой человек, но меньше, чем data scientist, то подписывайтесь на мой канал в Телеграм. Я пишу редко, но по делу: AI для чайников. Подписывайтесь!

Показать полностью 1
[моё] Искусственный интеллект IT ChatGPT Data Science Аналитика Метрики Длиннопост
0
Посты не найдены
О нас
О Пикабу Контакты Реклама Сообщить об ошибке Сообщить о нарушении законодательства Отзывы и предложения Новости Пикабу Мобильное приложение RSS
Информация
Помощь Кодекс Пикабу Команда Пикабу Конфиденциальность Правила соцсети О рекомендациях О компании
Наши проекты
Блоги Работа Промокоды Игры Курсы
Партнёры
Промокоды Биг Гик Промокоды Lamoda Промокоды Мвидео Промокоды Яндекс Директ Промокоды Отелло Промокоды Aroma Butik Промокоды Яндекс Путешествия Постила Футбол сегодня
На информационном ресурсе Pikabu.ru применяются рекомендательные технологии