Горячее
Лучшее
Свежее
Подписки
Сообщества
Блоги
Эксперты
Войти
Забыли пароль?
или продолжите с
Создать аккаунт
Я хочу получать рассылки с лучшими постами за неделю
или
Восстановление пароля
Восстановление пароля
Получить код в Telegram
Войти с Яндекс ID Войти через VK ID
Создавая аккаунт, я соглашаюсь с правилами Пикабу и даю согласие на обработку персональных данных.
ПромокодыРаботаКурсыРекламаИгрыПополнение Steam
Пикабу Игры +1000 бесплатных онлайн игр
Отправляйся в погоню за легендарными сокровищами Бабы Яги в 3D!
А в это время Баба Яга отправится в погоню за тобой.

Убеги от Бабы Яги

Аркады, Мидкорные, 3D

Играть

Топ прошлой недели

  • AlexKud AlexKud 38 постов
  • SergeyKorsun SergeyKorsun 12 постов
  • SupportHuaport SupportHuaport 5 постов
Посмотреть весь топ

Лучшие посты недели

Рассылка Пикабу: отправляем самые рейтинговые материалы за 7 дней 🔥

Нажимая кнопку «Подписаться на рассылку», я соглашаюсь с Правилами Пикабу и даю согласие на обработку персональных данных.

Спасибо, что подписались!
Пожалуйста, проверьте почту 😊

Помощь Кодекс Пикабу Команда Пикабу Моб. приложение
Правила соцсети О рекомендациях О компании
Промокоды Биг Гик Промокоды Lamoda Промокоды МВидео Промокоды Яндекс Директ Промокоды Отелло Промокоды Aroma Butik Промокоды Яндекс Путешествия Постила Футбол сегодня

Data Science + Аналитика

С этим тегом используют

IT Программирование Машинное обучение Обучение Python Искусственный интеллект Политика Инвестиции Финансы Биржа Валюта Экономика Все
14 постов сначала свежее
3
VelStyling
VelStyling
1 месяц назад
Серия Выгорела от работы аналитиком, но...

Как отличить BI-аналитика от дата-сайентиста, если оба сидят в SQL и устали от жизни⁠⁠

Кто есть кто в мире аналитики: 5 ролей, которые вечно путают между собой

Когда я представляю себя как Аналитика, то у многих сразу возникает такое мемное облако комментариев с вопросительными знаками.

Как отличить BI-аналитика от дата-сайентиста, если оба сидят в SQL и устали от жизни Аналитик, Аналитика, Эмоциональное выгорание, SQL, Bussines, Системный аналитик, Ниокр, График, Дашборд, Большие данные, Data Science, Длиннопост

По большей части, я позиционирую себя как аналитик данных. Мне это больше нравится :-)

У всех на слуху это слово, эта профессия. Но каждый может воспринимать Аналитика по-разному. да, и в принципе, аналитики бывают разные.

Очень часто Аналитика воспринимают, как что-то "неопределенное":
- то ли ты нейросетью командуешь,
- то ли дашборды лепишь,
- то ли базу данных "селектишь"
- то ли Excel открываешь с утра и закрываешь на закате.

Поговорим, какие бывают аналитики и чем они реально занимаются.
На самом деле, аналитиков - много видов. И все их градации для многих могут восприниматься как "тройняшки" - одинаково звучат, похожи, но если копнуть — совершенно разные люди.

🧠 Product Analyst (продуктовый аналитик)

Как отличить BI-аналитика от дата-сайентиста, если оба сидят в SQL и устали от жизни Аналитик, Аналитика, Эмоциональное выгорание, SQL, Bussines, Системный аналитик, Ниокр, График, Дашборд, Большие данные, Data Science, Длиннопост

Вот вам и продукты для аналитики :-)

Основная задача продуктового аналитика: следить за тем, чтобы продукт развивался и приносил деньги. А просто работать продукт должен по умолчанию.

Считает метрики вроде Retention, Conversion, DAU и объясняет команде, почему кнопку “Купить” никто не нажимает.

Сравнение: как врач, который измеряет давление у пациентов и говорит: «Ага, у нас тут проблема с притоком пользователей!»

📊 BI-аналитик (Business Intelligence)

Как отличить BI-аналитика от дата-сайентиста, если оба сидят в SQL и устали от жизни Аналитик, Аналитика, Эмоциональное выгорание, SQL, Bussines, Системный аналитик, Ниокр, График, Дашборд, Большие данные, Data Science, Длиннопост

Это мастер дашбордов и визуализаций.
Подключается ко всем базам в мире и делает такие красивые отчёты, что их даже открывают.
Не про гипотезы, а про «дай цифру, красиво покажи и свяжи с базой». Иногда визуализация помогает делать выводы, которые сложно сделать, имея перед глазами только табличку.

Сравнение: бариста, который не варит кофе, а собирает витрину, где всё понятно: сколько чашек продали, кто пил больше всех, и где упала выручка.

🕵️‍♀️ Data Scientist (дата-сайентист)

Как отличить BI-аналитика от дата-сайентиста, если оба сидят в SQL и устали от жизни Аналитик, Аналитика, Эмоциональное выгорание, SQL, Bussines, Системный аналитик, Ниокр, График, Дашборд, Большие данные, Data Science, Длиннопост

Вот тот самый, с нейросетями, моделями, предсказаниями.
Уже ближе к разработке: он не просто видит, что клиенты уходят, а строит модель, которая предсказывает, кто уйдёт завтра.
Работает с машинным обучением, статистикой и ноутбуками Jupyter. Уровень математики: "убираем логарифмическую линейку!"

Сравнение: как синоптик, который предсказывает, какая будет погода на следующей неделе.

🛠 Системный аналитик

Как отличить BI-аналитика от дата-сайентиста, если оба сидят в SQL и устали от жизни Аналитик, Аналитика, Эмоциональное выгорание, SQL, Bussines, Системный аналитик, Ниокр, График, Дашборд, Большие данные, Data Science, Длиннопост

Он не про данные. Он про системы.
Пишет ТЗ, общается с бизнесом, командой, разбирается, как вообще всё должно работать, и описывает это человеческим (и машинным) языком.
Если где-то не работает кнопка — это, возможно, не баг, а просто никто не подумал о логике. А системный аналитик должен подумать.

Сравнение: как архитектор, который сначала рисует, как будет выглядеть дом, а только потом его строят.

🔬 Исследовательский аналитик (Research/Exploratory)

Как отличить BI-аналитика от дата-сайентиста, если оба сидят в SQL и устали от жизни Аналитик, Аналитика, Эмоциональное выгорание, SQL, Bussines, Системный аналитик, Ниокр, График, Дашборд, Большие данные, Data Science, Длиннопост

Лезет в сырые данные, ищет закономерности, тестирует гипотезы.
У него может не быть задачи «нарисуй отчёт». У него задача: «А почему у нас что-то идёт не так?»
Работает как Шерлок — задаёт неудобные вопросы и копает глубже.

Сравнение: как учёный в лаборатории. Только вместо пробирок — SQL и Python.
В общем, если говорят "поисследуй", то это может вылиться в целый НИОКР (научно-исследовательские и опытно-конструкторские работы)

🎭 Бонус: аналитик на проекте без нормального описания ролей

Как отличить BI-аналитика от дата-сайентиста, если оба сидят в SQL и устали от жизни Аналитик, Аналитика, Эмоциональное выгорание, SQL, Bussines, Системный аналитик, Ниокр, График, Дашборд, Большие данные, Data Science, Длиннопост

— это человек-оркестр. Он вроде как "BI-аналитик", но на деле и SQL пишет, и ТЗ собирает, и гипотезы проверяет, и отчёты делает, и баги чинит в дашборде. А потом приходит кто-то сверху и говорит: «Ну ты же BI, всё логично» 😅

🎁 И да, всё это может совмещаться в одном человеке.
Особенно, если это маленький проект.
Особенно, если ты «просто аналитик» и должен всё уметь.

🧵 Поэтому, когда снова услышите «аналитик», лучше спросите:
«А чем ты именно занимаешься?»
Иначе можно перепутать с программистом на Python, который просто делает красивые таблички.

Показать полностью 6
[моё] Аналитик Аналитика Эмоциональное выгорание SQL Bussines Системный аналитик Ниокр График Дашборд Большие данные Data Science Длиннопост
2
0
datadreamen
datadreamen
5 месяцев назад

Аналитическое бинго⁠⁠

Вот и начался рабочий 2025 год, предлагаю немного посмотреть назад и вспомнить каким был Ваш аналитический 2024 год. Думаю, у каждого в нем было много классных моментов, интересных задач, сложных вызовов.

Предлагаю подвести итоги, зачеркивая клеточки в Новогоднем аналитическом бинго! Забирайте себе файлик, скриншотьте, зачеркивайте и делитесь тем, как прошел ваш 2024

Если хотите еще больше про аналитику, карьеру в ИТ и данные - подписывайтесь на тг канал про аналитику data dreamen https://t.me/data_dreamen

Аналитическое бинго Бинго, Аналитика, SQL, Python, Большие данные, Microsoft Excel, Data Science, Данные, Новый Год
Показать полностью 1
[моё] Бинго Аналитика SQL Python Большие данные Microsoft Excel Data Science Данные Новый Год
0
DirstGuy
DirstGuy
6 месяцев назад
Серия Полный разбор альтсезонов в 3х частях.

Полный разбор альтсезонов. Часть 3. Зависимости доходности от параметров криптовалют⁠⁠

В 1й статье мы разбирались как вели себя различные портфели из альткоинов за каждый сезон. Вот часть 1.

Во 2й мы выясняли наиболее вероятную дохоность монет по альтсезонам. Вот часть 2

Сегодня мы посмотрим есть ли какие-то зависимости в доходностях от параметров монет.

Если хотите быть в курсе новых статей и читать полезное про крипту, деньги и экономику, то заходите ко мне на канал в телеге. Всех жду :)

Что делаем?

Я возьму все монеты на дату альтсезона и соберу по ним:

  • капитализация

  • позиция по coinmarketcap

  • эмиссия

  • рост за последние 7 дней

  • объем за 24 часа

  • дата добавления на coinmarketcap

Потом я построю корреляцию с доходностью для каждого из этих параметров. Груба говоря — растет ли профит с монеты если растет ее капитализация, или наоборот.

  • 1 — есть корреляция

  • 0 — нет корреляции

  • -1 — есть обратная корреляция

Естественно промежуточные значения определяет силу того как один параметр следует за другим.

1й альтсезон

Полный разбор альтсезонов. Часть 3. Зависимости доходности от параметров криптовалют Финансовая грамотность, Биткоины, Криптовалюта, Заработок в интернете, Трейдинг, Длиннопост, Криптобиржа, Ethereum, Крипторынок, Data Science, Аналитика, Альткоины

видно , что единственная сильная корреляция между рангом и капитализацией, оно и понятно ведь ранг монет на coinmarketcap составляется по капитализации.

2й альтсезон

Полный разбор альтсезонов. Часть 3. Зависимости доходности от параметров криптовалют Финансовая грамотность, Биткоины, Криптовалюта, Заработок в интернете, Трейдинг, Длиннопост, Криптобиржа, Ethereum, Крипторынок, Data Science, Аналитика, Альткоины

Тут абсолютно такая же картина, нет никаких значимых зхависимостей.

Пробный фундаментальный анализ

Я закинул также часть монет из топа по профиту в chatgpt, вот что он выдал.

Многие проекты из списка стремились решить специфические проблемы: безопасность (QRL), децентрализованное финансирование (IDLE, BOR), идентификация (IDNA), или инфраструктура (RISE).

Конечно это только для заметки, так как это слабый фундаментальный анализ.

Сейчас

Полный разбор альтсезонов. Часть 3. Зависимости доходности от параметров криптовалют Финансовая грамотность, Биткоины, Криптовалюта, Заработок в интернете, Трейдинг, Длиннопост, Криптобиржа, Ethereum, Крипторынок, Data Science, Аналитика, Альткоины

Ну и тут ничего нового — нет зависимостей.

Показатели по криптовалютным сферам

Я смог выделить теги по валютам, то есть условные сферы криптобизнеса в которых альткоины задействованы. И выделил следующие показатели

  • тег

  • средний доход по тегу

  • количество монет в теге

  • количество монет с отрицательной доходностью

Разбивка по сезонам

1й альтсезон — теги не доступны в истории
2й альтсезон
сейчас

Если посмотреть в эти файлы, то можно выделить несколько тегов, которые дали максимум профита. И конечно лучше смотреть по количеству монет в теге, чем больше тем показательней вливание капитала в сферу. Также стоит учитывать, чтобы количество альткоинов с отрицательной доходностью было не большое в % к общему количеству.

Откидывая теги в которых количество монет = пара штук:

2 альтсезон:

самый топ:
gaming - 2824%
collectibles-nfts - 2474%

Монет больше 100:
defi — 645%
payments — 448%

тут аж за 200 монет
mineable — 469%

сейчас

самый топ:
store-of-value — 93%
dcg-portfolio — 86%

монет больше 100:
smart-contracts — 58%
layer-1 — 56%
ai-big-data — 42%
ethereum-ecosystem — 38%

монет больше 200:
defi — 36%
collectibles-nfts — 32%
gaming — 28%
memes — 26%
ethereum-ecosystem — 38%

Как падает вероятная доходность при уменьшении портфеля.

В прошлой статье мы набирали 50 монет в портфель и проводили симуляцию распределения доходностей если 2000 инвесторов купять эти 50 рандомных альткоинов.

Сейчас я хочу знать, а что происходит с вероятной портфельной доходностью если уменьшать количество монет в нём.

Проведем 9 симуляций от 50 до 10 монет в портфеле (-5 монет каждый раз), в каждой симуляции проведем 1 симуляцию распределения доходностей по портфелям 1000 инвесторов и получим наиболее вероятную доходность (моду). Подробное объяснение симуляций порфелей криптовалют было в прошлой статье.

по X — количество монет
по Y — наиболее вероятная доходность

1й альтсезон

Полный разбор альтсезонов. Часть 3. Зависимости доходности от параметров криптовалют Финансовая грамотность, Биткоины, Криптовалюта, Заработок в интернете, Трейдинг, Длиннопост, Криптобиржа, Ethereum, Крипторынок, Data Science, Аналитика, Альткоины

2й альтсезон

Полный разбор альтсезонов. Часть 3. Зависимости доходности от параметров криптовалют Финансовая грамотность, Биткоины, Криптовалюта, Заработок в интернете, Трейдинг, Длиннопост, Криптобиржа, Ethereum, Крипторынок, Data Science, Аналитика, Альткоины

3й альтсезон

Полный разбор альтсезонов. Часть 3. Зависимости доходности от параметров криптовалют Финансовая грамотность, Биткоины, Криптовалюта, Заработок в интернете, Трейдинг, Длиннопост, Криптобиржа, Ethereum, Крипторынок, Data Science, Аналитика, Альткоины

Конечно для 3го альтсезона не очень актуально, т.к. там всего 23 дня. Но кажется если в портфеле меньше 35 криптомонет, то наиболее вероятная доходность начинает резко падать.

Выводы

Зависимости от параметров

Как мы видим профит по монете не зависел ни от чего линейно. То есть, например, с ростом капитализации нельзя было ожидать увеличения дохода и наоборот.

Конечно это не значит, что нет еще параметров, может в твиттере какую-то сверх доходную монету пушили, или в ютубе. Пока я просто буду считать, что выбор криптомонеты это в целом случайность, с лучшими шансами из топа капитализации.

Сферы куда течет капитал

На мой субъективный взгляд это defi, ии, nft, игры, платежи, мемы. Может быть у вас сложится свое впечатление если вы изучите полный список тегов в файлах.

Зависимость вероятной доходности от количества монет в портфеле

После 35 монет доходность начинает убывать стремительно, следовательно, чтобы портфель был достаточно диверсифецирован нужно иметь около 35 монет в портфеле.

Мне есть, что сказать по всем 3м статьям и у меня есть план действия. Полные выводы по всем 3м альтсезонам предлагаю изучить у меня в телеграмм канале. До встречи.

Показать полностью 6
[моё] Финансовая грамотность Биткоины Криптовалюта Заработок в интернете Трейдинг Длиннопост Криптобиржа Ethereum Крипторынок Data Science Аналитика Альткоины
0

Попробовать мобильный офис

Перейти
Партнёрский материал Реклама
specials
specials

Мобильный офис до 100 тысяч рублей⁠⁠

Ноутбуки используют не только для работы: на них смотрят сериалы, редактируют фото, запускают игры и монтируют ролики. Поэтому теперь требования к устройству такие: быть легким для дороги, надежным для горящих дедлайнов и стильным, чтобы не прятать в переговорке. А еще — легко работать в связке с другими гаджетами.

Протестировали TECNO MEGABOOK K15S вместе со смартфоном TECNO CAMON 40 и наушниками TECNO в рабочих и бытовых сценариях от Zoom-звонков до перелета, а теперь рассказываем, как себя показала техника.

Первое впечатление от дизайна ноутбука

Первое, что заметно — это вес. При диагонали 15,6 дюйма и полностью металлическом корпусе K15S весит всего 1,7 кг. Это примерно на 15% меньше, чем аналоги. Устройство не обременяет ни в офисе, ни в такси. Ноутбук поместился в стандартный городской рюкзак, было удобно достать его в кафе за завтраком и по дороге в такси, чтобы быстро отработать клиентские правки.

1/4

Дизайн сдержанный, без ярких акцентов, с матовой поверхностью. Правда, на ней остаются следы от рук. Так что если приходится постоянно открывать ноутбук в присутствии клиентов или партнеров, лучше купить прозрачный кейс. Визуально и тактильно устройство ощущается надежно: не выскальзывает и не двигается по столу, благодаря специальным резиновым накладкам на задней части.

Шарнир работает мягко: чтобы открыть крышку даже одной рукой, не нужно придерживать корпус. Чтобы показать коллеге или клиенту презентацию, достаточно раскрыть экран на 180°. Это удобно и для работы лежа, и для подставок, которые требуют определенного угла обзора.

Также отметим 9 портов: USB-A, USB-C, HDMI, слот для карты памяти — можно забыть о переходниках.

В TECNO MEGABOOK K15S предустановлен Windows 11. Ноутбук готов к работе сразу после включения. Никаких лишних установок и обновлений. Все настроено и оптимизировано для вашей многозадачности.

Экран: яркая картинка и комфорт ночью

Экран — 15,6 дюйма, IPS-матрица с разрешением Full HD. Углы обзора отличные: изображение остается четким, даже если смотреть сбоку, цвета не искажаются. Есть антибликовое покрытие. Тестировали ноутбук при разном освещении: можно спокойно работать у окна. Когда солнце бьет прямо в экран, текст по-прежнему остается читаемым, картинки не искажаются. Это редкость в бюджетных моделях.

1/2

Неважно, работаете вы ночью или играете, выручит клавиатура с регулируемой четырехуровневой подсветкой. При среднем уровне в темноте все видно, глаза не устают. Из плюсов для тревожных людей: включали ноутбук в самолете и электричке, никто вокруг не жаловался на яркость. Все регулируется кнопками, не нужно лишний раз заходить в настройки.

Стеклокерамический крупный тачпад — 15 см. Он не залипает, не промахивается, срабатывает с первого касания. Не возникает дискомфорта, даже если несколько часов редактировать документы без мышки. После перехода с других устройств немного непривычно, что тачпад работает в двух направлениях: нижняя часть отзывается нажатием, верхняя — касанием.

В кнопку питания встроен сканер отпечатка пальцев. К нему можно быстро привыкнуть, особенно если сидишь в опенспейсе или работаешь в дороге. Один легкий тап пускает в систему даже с мокрыми руками. Безопасно, удобно и не нужно постоянно вводить пароли.

Производительность: рендерим видео, открываем вкладки

Ноутбук работает на AMD Ryzen 7 5825U (опционально можно выбрать версию техники Intel Core i5-13420H). Восьмиядерный AMD с поддержкой 16 потоков подходит для ресурсоемких операций вроде рендеринга или работы с большими массивами данных. Встроенная графика Radeon справляется с редактированием видео в Full HD или играми.

1/4

Во время монтажа 30-минутного ролика в DaVinci Resolve и параллельной работе в Photoshop с несколькими большими PSD-файлами система сохраняла стабильность. Не было ни зависаний, ни заметного падения производительности. Ноутбук уверенно держит в фоне 10 приложений одновременно. Если запущены браузер с 20 вкладками, видеозвонок в Telegram, Excel с объемной таблицей и софт для монтажа, система не тормозит и не перегревается. Переход между окнами остается плавным, ничего не «проседает», даже при одновременном скачивании файлов и редактировании видео.

Базовая комплектация включает 16 ГБ оперативной памяти в двух слотах. При необходимости можно легко увеличить этот показатель до 32 ГБ, заменив стандартные модули на более емкие. Помимо установленного SSD на 1 ТБ предусмотрен дополнительный слот, поддерживающий диски объемом до 2 ТБ.

Чтобы во время нагрузки системы охлаждения не выходили из строя, в ноутбук встроен эффективный вентилятор, способный рассеивать до 35 Вт тепла. Устройство не греется, его спокойно можно держать на коленях. Это решение дополнено тремя режимами работы, которые переключаются простой комбинацией клавиш Ctrl+Alt+T. Тихий режим идеален для работы ночью или в общественных местах, сбалансированный подходит для повседневных задач. Производительный, на котором запускали рендеринг видео и игры, практически не шумит.

Автономность: 15 часов без подзарядки

Протестили автономность MEGABOOK K15S в условиях, знакомых каждому деловому путешественнику. Утром перед вылетом зарядили ноутбук до 100% и взяли его в рейс Москва — Калининград. В зале ожидания провели созвон, потом три часа смотрели сериал и в дороге до отеля редактировали документы. К моменту приезда оставалось 40% заряда: хватило бы еще на пару часов продуктивной работы.

1/3

MEGABOOK K15S может автономно работать до 15 часов и позволяет не оглядываться на индикатор заряда. Заявленное время достигается при типичном офисном использовании: одновременная работа с документами в Word и Excel, ведение переписки, видеоконференции, веб-серфинг.

Если все же понадобится, за  час восполняется до 70% батареи. Компактный адаптер мощностью 65 Вт на базе нитрида галлия поместился даже в карман пиджака. Один блок питания заряжает и ноутбук, и смартфон, и наушники. Экономия места: не нужно никаких дополнительных проводов.

Звук, который реально слышно

В TECNO MEGABOOK K15S установлены два мощных динамика по 2.5 Вт. Звук с глубокими низами, без пластикового дребезжания, объемный. Благодаря DTS можно смотреть видео даже в шумном помещении. В тестах специально включали сцены с шагами и выстрелами: локализация настолько точная, что в наушниках нет необходимости.

Та же стабильность и в микрофоне. Благодаря AI-шумоподавлению голос передается чисто. Во время тестовых звонков из оживленного кафе собеседник не услышал ни разговоры за соседним столом, ни городской шум. И все это — на расстоянии до пяти метров.

Кстати, о созвонах. В ноутбуке встроена обновленная камера. Она отслеживает положение лица, а еще есть физическая шторка приватности. Например, можно закрыть шторку для комфортных видеоконференций.

Для тех, кто предпочитает гарнитуру, идеально подойдут беспроводные наушники TECNO FreeHear 1 из экосистемы бренда. Когда не хотелось делиться разговорами с окружающими, подключали их. Чистый звук с акцентом на средние частоты, 11-мм драйверы, которые выдают неожиданную детализацию. Музыку слушать приятно: и фоновый плейлист на телефоне, и вечерний сериал на ноутбуке. Автономно работают наушники 6 часов, с кейсом — до 30 часов. 

1/2

Bluetooth 5.4 обеспечивает стабильное соединение на расстоянии до 10 метров. Удобная C-образная форма разработана специально для длительного ношения — после восьмичасового рабочего дня в ушах не возникает дискомфорта. Наушники поддерживают одновременное подключение к ноутбуку и смартфону. Переключение между устройствами происходит быстро и без заминок.

Через фирменное приложение Welife можно выбрать один из четырех эквалайзеров и отследить местоположение гарнитуры в случае утери. А еще кастомизировать виджет для управления наушниками. Функция настройки персонализированного дизайна доступна для устройств на Android и позволяет гибко изменить внешний вид окна подключения: вплоть до установки фоновой картинки или собственного фото.

Первые пару использований может потребоваться время, чтобы привыкнуть к нестандартной форме вкладышей, но уже с третьего раза они надеваются вслепую за секунду. Что особенно приятно:  собеседники отмечают, что звук от микрофона более приятный и четкий, чем у дорогих известных моделей.

Бесшовная синхронизация со смартфоном

Благодаря функции OneLeap ноутбук синхронизируется со смартфоном TECNO. Подключение происходит за пару секунд: достаточно один раз подтвердить сопряжение. После этого открывается доступ к бесшовному переключению между устройствами — объединенному буферу обмена, дублированию экранов и передаче файлов без кабелей и пересылок в мессенджерах.

Функция выручила, когда нужно было открыть приложение, у которого нет веб-версии. Удобно работает и буфер обмена: скопировал текст на одном устройстве — вставил на другом. Например, код, полученный в сообщении на телефоне, вводится в браузере на ноутбуке. Экономит минуты, а иногда и нервы. А когда в дороге пропал Wi-Fi, ноутбук сам подключился к мобильному интернету через смартфон.

1/2

TECNO CAMON 40 и сам по себе — мощный рабочий инструмент.  Смартфон выделяется камерой высокого качества 50 Мп, ярким AMOLED-экраном 120 Гц и множеством функций, которые упрощают процесс мобильной съёмки и использование искусственного интеллекта TECNO AI.

Телефон работает на HIOS 15.0.1 на базе Android 15.В фирменную оболочку встроен искусственный интеллект:

  • Голосовой помощник Ella. Отвечает на вопросы, помогает с задачами и управлением устройством.

  • Решение задач. Наводите камеру на задачу, ИИ решает ее.

  • AI Редактор фотографий. Интеллектуальная обработка в одно касание.

  • Быстрый поиск. Находит адрес на экране и запускает навигацию, распознает объекты и события, автоматически добавляет их в календарь.

Технические характеристики

  • Процессор и память. 8 ядер, 16 потоков, Кэш L3 16 МБ, частота до 4.5 ГГц Графический процессор AMD Radeon™ graphics SSD 512 ГБ или 1 ТБ, М.2, 2280, PCle 3.0 Nvme DDR4 16 ГБ, 3200 МГц.

  • Дисплей. 15.6", TFT, Full HD (1920×1080), 16:9, 280нит, 45% NTSC, 16.7 млн цветов, 60 Гц, 141 ррі.

  • Веб-камера. 1 Мп, шторка приватности.

  • Порты. 9 портов: 1*TF Card (microSD), 1*HDMI 1.4, 1*USB-A 3.1,

    1*USB-A 3.2, 1*3.5mm аудиовход, *Ethernet RJ45 до 1 Гбит, 2*Туре-С (Full Function), 1*слот для замка Kensington.

  • Другое. Сканер отпечатка пальца в кнопке питания. Клавиатура с подсветкой (4 уровня яркости). Тачпад с поддержкой одновременно 4 касаний.

  • Батарея. 70 Вт∙ч (6150 мА∙ч), Li-Pol, 11.55 B 65 Вт Type-C GaN, 20 В, 3.25 А, кабель 1.8 м (Туре-С-Type-C).

  • Габариты. 17.3 мм (высота), 359.5 мм (ширина), 236 мм (глубина).

  • Вес. 1,7 кг.


Если хотите создать собственную экосистему, в которой технологии подстроятся под ритм дня, попробуйте технику TECNO. Мощный ноутбук, быстрый смартфон и наушники соединяются в единое пространство. Быстрое переключение между устройствами, синхронизация файлов и стабильное соединение без лишних настроек.

КУПИТЬ НОУТБУК TECNO

Реклама TECNO Mobile Limited, Юридический адрес: Flat N, 16/F., Block B, Универсальный промышленный центр, 19-25 Shan MeiStreet, Fotan, New Territories, Гонконг

Показать полностью 17
Электроника Гаджеты Ноутбук Длиннопост
DirstGuy
DirstGuy
6 месяцев назад
Серия Полный разбор альтсезонов в 3х частях.

Полный разбор альтсезонов. Часть 2. Анализ вероятной доходности⁠⁠

В прошлый раз мы разбирались как вели себя различные портфели из альткоинов за каждый сезон. Вот часть 1.

Будет еще 3я часть в которой мы будем решать, можно ли как-то просчитать стратегию покупки альткоинов. Если хотите быть в курсе выхода статьи и читать полезное про экономику, деньги криптовалюты, то заходите ко мне на канал в телеге, у нас уютно и можно пообщаться в комментах :)

Наиболее вероятная доходность

Давайте сделаем симуляцию. Возьмем 2000 человек со своим видением рынка, они купят 50 “Перcпективных” альткоинов случайно (конечно же каждый думает, что умеет анализировать рынок и его выбор грамотный).

Потом мы возьмем доходность каждого из наших инвесторов и построим график доходностей. По X доходность. По Y количество наших криптоинвесторов. Это будет вероятностное распределение, по которому можно достать интересную информацию.

На графиках встретится 3 показателя

  • медиана — половина всех значений находится выше или ниже этой доходности

  • мода — наиболее часто встречающееся значение доходности. Наиболее вероятный исход нашего инвестирования. То есть большинство инвесторов получило именно такую доходность.

  • среднее(математическое ожидание) — показательно только если распределение симметричное в виде колокола(нормальное), т.к. совпадает с модой и медианой. В не симметричном распределение, оно отображает ожидаемую доходность — т.е. если мы инвестировали много раз постоянно, то наша доходность была бы такой. Но в данном случае это не релевантно т.к. мы купили и забыли.

1й альтсезон

Провел симуляцию и получил бимодальное распределение где есть два горба.

Полный разбор альтсезонов. Часть 2. Анализ вероятной доходности Криптовалюта, Биткоины, Альткоины, Аналитика, Крипторынок, Data Science, Ethereum, Криптобиржа, Финансовая грамотность, Заработок в интернете, Трейдинг, Длиннопост

То есть небольшая часть инвесторов получит в среднем супердоходность, а часть в среднем хорошую. Надо заметить что даже у малой части инвесторов доходность положительная.

Но откуда взялся второй горб справа? Оказалось, чтобы стать счастливчиком с супердоходностью надо, чтобы в портфеле была всего одна монета XVG.

Убиваем правый горб

Если убрать монету XVG из нашего списка монет для выбора инвесторов, то наше распределение, станет чуть более “нормальным”.

Полный разбор альтсезонов. Часть 2. Анализ вероятной доходности Криптовалюта, Биткоины, Альткоины, Аналитика, Крипторынок, Data Science, Ethereum, Криптобиржа, Финансовая грамотность, Заработок в интернете, Трейдинг, Длиннопост

Если сделать допущение, что распределение нормальное(что не совсем так), то мат. статистика говорит нам:

  • с вероятность 68% при тыкании пальцем в небо и выбрав 50 монет для покупки, ваша доходность была бы от 9011% до 14056% со средним 11533%

  • если бы вы были совсем неудачник то доходность была бы ~4800%

Конечно это только если вы успели бы выйти на пике, что маловероятно, но доходности постфактум хороши.

2й альтсезон

Проделываем то же самое. И у нас опять бимодальное распределение.

Полный разбор альтсезонов. Часть 2. Анализ вероятной доходности Криптовалюта, Биткоины, Альткоины, Аналитика, Крипторынок, Data Science, Ethereum, Криптобиржа, Финансовая грамотность, Заработок в интернете, Трейдинг, Длиннопост

Обратите внимание на концентрацию доходностей (на то какой тонкий первый горб) и на то как мало суперуспешных инвесторов справа.

Убираем супер альткоин из выборки

Естественно есть супер монета которая в симуляции встречается во втором горбе — в этот раз это COCOS — которая мощно выросла на 311505.8701%. Убираем ее из выборки и смотрим:

Полный разбор альтсезонов. Часть 2. Анализ вероятной доходности Криптовалюта, Биткоины, Альткоины, Аналитика, Крипторынок, Data Science, Ethereum, Криптобиржа, Финансовая грамотность, Заработок в интернете, Трейдинг, Длиннопост

Это уже совсем не “нормальное” распределение. Называется оно логнормальное и наиболее вероятная доходность у него — 368%

  • Подробнее про разницу в распределениях будет в выводах.

  • хорошая новость, что если мы совсем в пролете, доходность будет около 100% все равно.

  • но если мы самые везучие — доходность около 1800%.

Доходность топа по капитализации

Интересно, что если ограничить выборку на 153 криптовалюты в топе по капитализации, как в 1м альтсезоне, распределение становится чуть более “нормальным” и самая вероятная доходность тоже становится выше — 586%.

Полный разбор альтсезонов. Часть 2. Анализ вероятной доходности Криптовалюта, Биткоины, Альткоины, Аналитика, Крипторынок, Data Science, Ethereum, Криптобиржа, Финансовая грамотность, Заработок в интернете, Трейдинг, Длиннопост

А если ограничить на 153 из низа топа, то наиболее вероятная доходность 368%

Текущий сезон

Крипты у нас больше (больше 2000 монет) и всего 23 дня — пусть будет 3000 инвесторов в симуляции.

Снова получается логнормальное распределение уже без супервалюты (возможно она будет позже).

Полный разбор альтсезонов. Часть 2. Анализ вероятной доходности Криптовалюта, Биткоины, Альткоины, Аналитика, Крипторынок, Data Science, Ethereum, Криптобиржа, Финансовая грамотность, Заработок в интернете, Трейдинг, Длиннопост

Пока наиболее вероятная доходность 22% за 23 дня (с 11 ноября — 4 декабря 2024).

Доходность топа по капитализации

Но если опять взять топ 153 криптовалюты по капитализации то распределение очень близко к нормальному и доходность 50%:

Полный разбор альтсезонов. Часть 2. Анализ вероятной доходности Криптовалюта, Биткоины, Альткоины, Аналитика, Крипторынок, Data Science, Ethereum, Криптобиржа, Финансовая грамотность, Заработок в интернете, Трейдинг, Длиннопост

Дополнительные симуляции 1го и 2го альтсезонов

Не буду перегружать статью графиками, я провел симуляцию на 23 дня за 1й и 2й альтсезоны:

  • в 1м альтсезоне ожидаемая доходность была около 44% и распределение похоже на нормальное с аномалией в правом хвосте. Часть монет сильно стрельнула вначале, из-за этого инвесторы державшие это монеты получили доходность выше среднего, это были PIVX DIME CRW

  • во 2м альтсезоне ожидаемая доходность была примерно такая же как сейчас и распределение логнормальное. За исключением очень маленьких случайных выборок монет которые дали 1000% в первые 23 дня.

Выводы

Отличия вероятностных распределений:

Чем отличаются нормальное распределение (в форме симметричного колокола) и логнормальное (не симметричное с длинным правым хвостом). Моя интерпретация:

  • в 1м альтсезоне (не учитывая много валют, которые в выборку не попали из-за отстутсвия данных) доходности распределены нормально на 154 криптовалюты — другими словами если бы мы купили любые 50 монет то с большой вероятностью доходность была бы высокой и лишь очень маленкий шанс был попасть на еще большую доходность. Росло тогда все из топа капитализации и можно было действительно тыкнув пальцем в небо получить 10ки тысяч %.

  • во 2м альтсезоне выборка из 1583 криптовалют, сам рынок стал больше и сложнее и распределение превратилось в логнормальное, а доходность стала очень умеренной по сравнению с 1м альтсезоном. Такое ассиметричное распределение говорит — чтобы получить сверх доходы надо было действительно выбирать активы (можно ли было их действительно осознанно выбрать вопрос другой), если бы мы выбирали 50 монет случайно, то скорее получили бы умеренную доходность, но шанс получить доходность выше все же не такой маленький из-за длинного правого хвоста. Интересно, что случайно выбрав 50 монет из 158 топовых по капитализации мы получаем распределение близкое к нормальному и наиболее вероятную доходность выше в 2 раза.

Сводка по доходностям

Статистика не врет, если бы мы тыкали пальцем в небо и покупали бы по 50 монет из всех доступных по капитализации…

а это, напоминаю, от 100к$ в 1м альтсезоне, от 1$млн во 2м., и в текущем от 50$к

…то наша наиболее вероятная доходность по альтсезонам:

1й альтсезон ~ 11533% (если бы XVG не попала к нам в портфель)
2й альтсезон ~ 368% (если бы COCOS не попала к нам в портфель)
сейчас ~ 22%

А если мы берем только 153 альткоина из топа (как в 1м сезоне) то доходность выше:

2й альтсезон ~ 586%
сейчас ~ 51%

2 альтсезона конечно все еще мало для однозначных статистических выводов, но если бы мне пришлось выбирать случайно, я выбирал бы криптомонеты из топ 150 по капитализации.

В 3й части мы посмотрим есть ли зависимость доходности от различных параметров монет (капитализация, объем, эмиссия, рост монеты на дату и др.), а также посмотрим успешность альткоинов из разных секторов крипторынка и узнаем влияет ли количество монет в портфеле на средний доход.

Будет интересно, чтобы быть в курсе заходите на мой канал в телеге и до встречи.

Показать полностью 7
[моё] Криптовалюта Биткоины Альткоины Аналитика Крипторынок Data Science Ethereum Криптобиржа Финансовая грамотность Заработок в интернете Трейдинг Длиннопост
0
DirstGuy
DirstGuy
6 месяцев назад
Серия Полный разбор альтсезонов в 3х частях.

Полный разбор альтсезонов. Часть 1⁠⁠

UPD:

ссылка на телеграмм канал поменялась. Заходим Здесь

О чем речь?

Альтсезон — это период активного роста альткоинов (альтернативных биткоину криптовалют), который сопровождается значительным увеличением их стоимости и объема торгов. Для многих инвесторов это возможность получить сверхприбыль.

Я много информации прочитал про это явление, но нигде не видел нормальной аналитики, везде только и речь, что про иксы и сверхдоходы, рекламируют какие то монеты и прогнозируют даты начала и конца.

Я поделил статью на несколько частей с разными исследованиями, если хотите быть в курсе выхода и вообще читать про деньги, криптовалюты и экономку, то заходите ко мне на канал в телеге, у нас уютно и можно похоливарить в комментах :)

Гипотетическое начало и длина альтсезонов:

В открытых источниках я нашел информацию о длине — 310 дней и начале через ~230 дней после халвинга, что дает нам следующие даты:

1. 2017–03–01 — 310 дней
2. 2021–01–03 — 310 дней
3. Сейчас — обещают 10 декабря 2024 и конец в октябре. Замеры начинаю с 11 ноября, именно тогда я заметил сильный рост у разных альткоинов.

Я сильно скептически настроен, т.к. 2 альтсезона в прошлом это вообще не статистика — это ниочем. Но удивительно, что все “криптоаналитики” дружно рассказывают, что щас будет альтсезон и мы “иксанем”. Есть даже индекс альтсезона, который показывает начало.

Просто представьте себе ситуацию — вы подбрасываете монетку и она 2 раза дает решку, такое ведь может быть? И перед тем как бросить в третий раз вы рассказываете про тенденцию — вот я бросал монетки и оказывается, они были брошены все ровно через час после ужина — ну всё, ждём решку сразу как поедим. Конечно я преувеличиваю, но суть похожая.

Сбор данных

Этот раздел можете пропустить если вам не интересно откуда данные взялись

Я хотел собрать данные с централизованных бирж, но оказалось им не очень много лет, и данные по многим криптовалютам начинаются с 2020-х годов. Наиболее полная история хранится на coinmarketcap. С другой стороны АПИ с историей у них стоит 700 долларов — дух свободы криптовалют в действии :)

Тем не менее я смог отыскать нужные мне публичные апи запросы на страницах сайта и использовал их, не без хитростей, чтобы собрать данные по всем нужным монетам.

Coinmarketcap хранит снимки топов по капитализации за каждый месяц аж с 2012 года, их я и взял за основу для моего моделирования (об этом ниже).

Я собирал данные топ монет по капитализации вплоть до 50000$ за даты предыдущих альтсезонов. Часть дат была утеряна, но я добавил в пробелы значения из ближайших соседних дат, думаю это вряд ли сильно скажется на модели. Часть глубокой истории криптовалют вообще на сегодня не доступна, часть валют “умерло”.

В итоге получилось что в 1м альтсезоне монеты с минимальной капитализацией — от 100k$, а во втором от 1млн$

Итого получилось

  • 2017 — 154 криптовалюты.

  • 2021 — 1583 криптовалюты.

  • 2024 — 2550 криптовалют

Что моделируем?

Береме портфель из всех имеющихся монет. Он не взвешивается по капитализации, все валюты из исследования покупаются в равных долях и не ребалансируются в процессе.

Другими словами модель показывает как бы рос портфель если бы мы
просто купили на 100$ всех валют из выборки и подождали.

  • Также из портфеля исключены стейблкоины и биткоин — у нас альтсезон.

  • Выбирались монеты с капитализаций не меньше 50000 долларов на дату, но "выжившие" имели капитализацию выше.

  • Топ криптовалют сортированы по капитализации в нисходящем порядке в файлах с доходностями по валютам.

1-й Альтсезон

Полный разбор альтсезонов. Часть 1 Криптовалюта, Биткоины, Альткоины, Аналитика, Крипторынок, Data Science, Ethereum, Криптобиржа, Финансовая грамотность, Заработок в интернете, Длиннопост

Портфель из 154 криптовалют — 15753.8221%
Топ 50: 9828.4738%
Последние 50: 16893.1134%
50 из середины списка: 21064.4946%

посмотреть как росли альткоины отдельно

2-й альтсезон

Полный разбор альтсезонов. Часть 1 Криптовалюта, Биткоины, Альткоины, Аналитика, Крипторынок, Data Science, Ethereum, Криптобиржа, Финансовая грамотность, Заработок в интернете, Длиннопост

Не очень похоже на первый альтсезон, не так ли?

Портфель из всех 1583 криптовалют — 760.1401%

Так как криптовалют стало больше я сделал больше разных тестов

Топ 50: 347.5088%
Топ 100: 524.5401%
Последние 50: 1474.3591%
Последние 100: 936.1958%
50 из середины списка: 202.1525%
100 из середины списка: 347.2464%

посмотреть как росли альткоины отдельно

Что за Шпик в середине? А это монета NBR, которая дала 5860514.3281% за весь сезон. Но это аномалия, вряд ли можно было осознанно ее выбрать для покупки тогда.
Вот график второго альтсезона без аномалии.

Полный разбор альтсезонов. Часть 1 Криптовалюта, Биткоины, Альткоины, Аналитика, Крипторынок, Data Science, Ethereum, Криптобиржа, Финансовая грамотность, Заработок в интернете, Длиннопост

Перепроверка длины альтсезона

Давайте попробуем сократить количество дней до 76 (до первого пика) и посмотреть какой рост % тогда.

Портфель из всех 1582 криптовалют: 1421.9910%
Топ 100: 328.8434%
100 из середины списка: 208.6169%
Последние 100: 510.6677%
Последние 50: 737.7544%

3-й альтсезон (сейчас)

Альтсезон обещают с 10 декабря.

Здесь я начинаю замеры от 2024–11–11 + 23 дня т.к. заметил рост разных альткоинов именно на эту дату.

Полный разбор альтсезонов. Часть 1 Криптовалюта, Биткоины, Альткоины, Аналитика, Крипторынок, Data Science, Ethereum, Криптобиржа, Финансовая грамотность, Заработок в интернете, Длиннопост

Всего 2550 криптовалют: 29.6286%
Топ 50: 53.1771%
Топ 100: 53.0357%
Последние 50: 8.0515%
Последние 100: 16.8436%
50 из середины списка: 15.3312%
100 из середины списка: 29.2332%

посмотреть как росли альткоины отдельно

Промежуточные выводы:

Пока все что я вижу общего у первых альтсезонов, так это то что они оба дали прибыль. Но в 1м случае самый большой рост был в конце, а во втором, в начале. Да и сами графики — если первый выглядит более менее устойчиво, то по второму вообще не скажешь, что там действительно какой-то невероятный рост, если не смотреть в цифры.

Хотя надо признать 700% за 310 дней во втором альтсезоне это очень не плохо. Но с другой стороны, а такие росты только в эти даты происходили, а будут происходить еще? А если другие промежутки померить?

Закономерности?

Еще, что интересно, самый большой рост в портфелях 1х альтсезонов в 50 монетах с самой низкой капитализацией. Это не значит, что все скупали самые дохлые монеты. Просто в этот список попало несколько монет с очень большим ростом, в то время как большинство дало либо отрицательную доходность, либо не большую.

Отрицательная доходность:

  1. В 1м альтсезоне ее…. не было!!!???

  2. Во 2м альтсезоне отрицательными были 27% монет из собранных мной.

Важно — Также помните, что для многих монет истории нет, следовательно неизвестно как картина выглядела на самом деле. Для 1го альтсезона все изученные монеты только с капитализацией от 100k$, а для 2го только от 1млн$. Может быть на дне капитализации стреляли все супериксами или наоборот все уходили в минус.

Дальше мы будем делать симуляцию случайного выбора монет из всего списка. Чтобы быть в курсе заходите на мой канал в телеге. До встречи.

Показать полностью 4
[моё] Криптовалюта Биткоины Альткоины Аналитика Крипторынок Data Science Ethereum Криптобиржа Финансовая грамотность Заработок в интернете Длиннопост
8
3
troitskii
troitskii
1 год назад

Простыми словами про метрики в ИИ. Классификация. Confusion matrix, Accuracy⁠⁠

Привет, Пикабу! Меня зовут Александр Троицкий, я автор канала AI для чайников, и я запускаю серию коротких статей по метрикам качества моделей для машинного обучения!

Confusion Matrix - это основа основ результатов моделей ИИ, а Accuracy (или точность) - самая простая метрика. Сегодня разберемся что это такое и как они считаются.

Зачем вообще нужны метрики в моделях ИИ? Чаще всего их используют, чтобы сравнивать модели между собой, абстрагируясь от бизнес метрик. Если вы будете смотреть только на бизнес-метрики (например, NPS клиентов или выручка), то можете упустить из-за чего реально произошло снижение или повышение показателей вашего бизнеса. Например, вы сделали новую версию модели лучше предыдущей (метрики модели лучше), но в то же самое время пришёл экономический кризис и люди перестали покупать ваш продукт (упала выручка). Если бы в этой ситуации вы не замеряли показатели модели, то могли бы подумать, что из-за новой версии модели упала выручка, хотя упала она не из-за модели. Пример довольно простой, но хорошо описывает почему нужно разделять метрики модели и бизнеса.

Для начала надо сказать, что метрики моделей бывают двух типов в зависимости от решаемой задачи:

1. Классификации - это когда вы предсказываете к чему именно относится то или иное наблюдение. Например, перед вами картинка и вы должны понять, что на ней, а ответа может быть три: это либо собачка, либо кошечка, либо мышка.

К одному из под-методов классификации относится бинарная классификация: либо единичка, либо нолик. То есть мы предсказываем либо перед нами кошечка, либо это не кошечка.

2. Регрессии - это когда вы предсказываете какую-то величину на основании предыдущего опыта. Например, вчера цена биткоина была на уровне 32.000 долларов, а на завтра вы прогнозируете ее на уровне 34.533 доллара. То есть вы ищете какое-то число.

Соответственно метрики, на которые смотрят при работе с моделями тоже разные. В этом посте я расскажу именно про классификацию.

Confusion matrix

Для начала надо усвоить таблицу снизу. Она называется confusion matrix (матрица ошибок). Допустим, наша модель предсказывает купят ли некие люди слона. Потом мы пошли продавать им слона и оказалось, что часть людей слона купили, а часть - не купили.

Простыми словами про метрики в ИИ. Классификация. Confusion matrix, Accuracy Искусственный интеллект, IT, ChatGPT, Data Science, Аналитика, Метрики, Длиннопост

Так вот результаты такого исследования можно разбить на четыре группы:

  • Модель сказала, что человек купит слона и он купил слона! -> True Positive (TP)

  • Модель сказала, что человек не купит слона, а он взял и купил слона! -> False Negative (FN)

  • Модель сказала, что человек купит слона, но он не купил его, когда ему предложили -> False Positive (FP)

  • Модель сказала, что человек не купит слона. И он действительно его не купил -> True Negative (TN)

Accuracy

Теперь давайте разберем самую простую и базовую метрику качества, про которую чаще всего говорят заказчики, не понимающие в ML. Называется она accuracy или точность. Смотрим выше на confusion matrix и запоминаем как считается точность модели:

Accuracy = (TP+TN)/(TP+TN+FP+FN)

Accuracy используют редко, потому что она дает плохое представление о качестве модели, если у нас не сбалансированны классы. Например, у нас есть 100 картинок котиков и 10 картинок собачек. Пускай для упрощения скажем, что котики - это 0, а собачки - это 1 (перейдем к бинарной классификации). В данном примере котики и собаки - это два класса. Собак меньше, чем котиков в 10 раз - значит выборка из картинок не сбалансирована.

Например, наша модель правильно определила 90 котиков из 100. Получается True Negative = 90, False Negative = 10.

Еще наша модель определила правильно 5 собачек из 10. Получается True Positive = 5, False Positive = 5.

Подставив данные в нашу формулу получим, что accuracy тут равен 86,4. Однако если бы мы просто сказали, что на всех картинках котики, то получили бы accuracy 90, хотя для этого и никакой модели и не нужно. И вот казалось бы, угадывая достаточно много картинок (аж 86%!) наша модель на самом деле плохая.

Заключение

В следующей статье я продолжу рассказывать про метрики ИИ, в том числе более ходовые Precision, Recall, F-score, ROC-AUC. А дальше коснусь метрик регрессии: MSE, RMSE, MAR, R-квадрат, MAPE, SMAPE.

Если вам интересно знать про ИИ и машинное обучение больше, чем рядовой человек, но меньше, чем data scientist, то подписывайтесь на мой канал в Телеграм. Я пишу редко, но по делу: AI для чайников. Подписывайтесь!

Показать полностью 1
[моё] Искусственный интеллект IT ChatGPT Data Science Аналитика Метрики Длиннопост
0
0
troitskii
troitskii
1 год назад

Как работает самая популярная у дата саентистов модель машинного обучения: градиентный бустинг (XGBoosting) на пальцах⁠⁠

Привет, Пикабу! Меня зовут Александр Троицкий, я автор канала AI для чайников, и сегодня я расскажу про самую популярную у дата саентистов модель машинного обучения - градиентный бустинг.

Что это за модель?

Если брать определение из словарика, то градиентный бустинг - модель машинного обучения, решающая задачи классификации и регрессии. Она состоит из ансамбля более слабых моделей (чаще всего дерево решений) и учится последовательно на ошибках предыдущей модели.

Но здесь я хочу упростить все сложные статьи с кучей математических терминов, коих в интернете немало, поэтому просто предлагаю разобрать это определение бустинга простыми словами:

  • "Решает задачи регрессии и классификации" - это значит, что модель может выбирать из нескольких заранее готовых ответов (котик на фото или пёсик - это классификация), так и угадывать какое-то число (сколько стоит квартира от млн рублей до млрд рублей - это регрессия).

  • "Состоит из ансамбля более слабых моделей" - это значит, что внутри нее сидит не одна модель, а множество. И вместе они каким-то образом принимают решение как ответить окончательно. В случае с бустингом модели принимают решения и исправляют ответы предыдущих последовательно. Что это за последовательность я подробно покажу на примере ниже.

  • "Чаще всего состоит из деревьев решений". Дерево решений - это простой алгоритм машинного обучения. Для наглядности давайте представим, что у нас есть 4 квартиры, на основании которых мы хотим научиться оценивать стоимость квартиры. Само собой, в реальности мы бы делали модель на основании миллионов примеров стоимости квартир, но для упрощения мы возьмем 4 шутки:

Как работает самая популярная у дата саентистов модель машинного обучения: градиентный бустинг (XGBoosting) на пальцах IT, Искусственный интеллект, Аналитика, Data Science, Инновации, Длиннопост

Пример с квартирами

Вот какие выводы (примерно) сделал бы наш просто алгоритм дерева решений:

Как работает самая популярная у дата саентистов модель машинного обучения: градиентный бустинг (XGBoosting) на пальцах IT, Искусственный интеллект, Аналитика, Data Science, Инновации, Длиннопост

Результаты модели "дерево решений" на примере с квартирами

  • "Учится последовательно на ошибках предыдущей модели" - это значит, что мы сначала обучаем какую-то простую модель, потом смотрим, где мы ошиблись, и обучаем новую модель поверх первой, которая исправляет изначальные значения первой модели. Так повторяется какое-то количество раз, и в итоге мы складываем значения всех итераций (при регрессии). Давайте разберемся на примере с квартирами.

Как работает и обучается модель градиентного бустинга (XGBoosting) на примере?

Для начала наша модель предсказала всем квартирам одинаковую стоимость (очень слабая модель).

Как работает самая популярная у дата саентистов модель машинного обучения: градиентный бустинг (XGBoosting) на пальцах IT, Искусственный интеллект, Аналитика, Data Science, Инновации, Длиннопост

Всем предсказали стоимость 2.250.000 рублей

Таким образом, вычтя из реальной стоимости квартиры предсказанную нашей моделью величину, мы получаем ошибки нашей модели.

Как работает самая популярная у дата саентистов модель машинного обучения: градиентный бустинг (XGBoosting) на пальцах IT, Искусственный интеллект, Аналитика, Data Science, Инновации, Длиннопост

Ошибки после 1 шага, на них будем обучать 2 шаг

Именно на них будет обучаться следующая модель. Ее цель - уменьшить эти ошибки. При этом модель будет обучаться на тех же факторах, что и первая модель (местоположение и число квадратных метров). Во время следующей итерации наша модель решила добавить к изначально предсказанной стоимости 200.000 рублей квартирам в центре и вычесть 200.000 рублей квартирам на окраине.

Как работает самая популярная у дата саентистов модель машинного обучения: градиентный бустинг (XGBoosting) на пальцах IT, Искусственный интеллект, Аналитика, Data Science, Инновации, Длиннопост

Как изменили предсказания после 2 шага

Таким образом, у нас получилась новая предсказанная стоимость квартир и новые ошибки.

Как работает самая популярная у дата саентистов модель машинного обучения: градиентный бустинг (XGBoosting) на пальцах IT, Искусственный интеллект, Аналитика, Data Science, Инновации, Длиннопост

Результаты после 2 шага и ошибки б

Дальше мы проводим еще один шаг обучения. На этот раз бустинг решил уменьшить предсказанную стоимость квартирам на окраине с площадью меньше 40 метров. Уменьшил он эту стоимость на 500.000 рублей.

Как работает самая популярная у дата саентистов модель машинного обучения: градиентный бустинг (XGBoosting) на пальцах IT, Искусственный интеллект, Аналитика, Data Science, Инновации, Длиннопост

Результаты после 3 шага обучения

Ну и после 4 шага обучения алгоритм решил увеличить стоимость на 500.000 рублей квартирам площадью больше или равной 70 метрам в центре . Вот что получилось.

Как работает самая популярная у дата саентистов модель машинного обучения: градиентный бустинг (XGBoosting) на пальцах IT, Искусственный интеллект, Аналитика, Data Science, Инновации, Длиннопост

Результаты после 4 шага обучения

Итак, в итоге у нас получилась модель, которая обучилась на 4 шагах и в итоге предсказывает стоимость квартиры с погрешностью в 50.000 рублей.

Наш финальный алгоритм выглядит таким образом:

  1. Базово оцени квартиру в 2.250.000 рублей

  2. Если квартира в центре, добавь 200.000 рублей. Если она на окраине, вычти 200.000 рублей.

  3. Если эта квартира на окраине и ее площадь меньше 40 метров, вычти еще 500.000 рублей.

  4. Если квартира в центре и она больше или равна 70 метрам, добавь к стоимости 500.000 рублей.

Этот пример иллюстративный. Он описывает механику работы градиентного бустинга. В реальной жизни, конечно, этот пример бустинг решил бы с мЕньшей ошибкой за первое же обучение из-за маленького количества наблюдений.

Что еще стоит знать про модели бустинга?

У градиентного бустинга есть два основных гиперпараметра. Гиперпараметр - это то, что вы задаете модели как ограничение. С помощью них дата саентисты могут изменять модель, ничего не меняя в принципах ее работы. В основном тюнинг гиперпараметров используется, чтобы не дать модели переобучиться и показать хорошую предсказательную силу.

В нашем примере, переобучение модели - это когда модель хорошо предсказывает стоимость конкретно этих 4 квартир, но если ей дать другую квартиру, то она предскажет ее стоимость отвратительно.

Так вот у градиентного бустинга в качестве основных гиперпараметров есть learning rate и количество шагов обучения. Разберем каждый из них:

  1. Количество шагов обучения - это сколько раз мы дообучаем модель на ошибках предыдущей. В нашем примере мы сделали 4 шага. Чем больше выборка, тем больше шагов обучения допустимо делать.

  2. Learning rate - это то, на сколько мы можем исправлять предсказания предыдущего алгоритма. В нашем примере мы не ограничивали этот параметр, но часто рекомендуют ставить его меньше 0.2. Чем меньше этот параметр, тем больше возможностей вы оставляете для будущих шагов для улучшения качества модели.

Заключение

Поздравляю! Вы узнали про то как работает градиентный бустинг!

Если вам интересно знать про ИИ и машинное обучение больше, чем рядовой человек, но меньше, чем data scientist, то подписывайтесь на мой канал в Телеграм. Я пишу редко, но по делу: AI для чайников. Подписывайтесь!

Показать полностью 8
[моё] IT Искусственный интеллект Аналитика Data Science Инновации Длиннопост
1
Блог компании
VSKurs
VSKurs
1 год назад

ТОП-15 лучших курсов Data Science: обучение Data Scientist онлайн с нуля для начинающих, бесплатные + платные⁠⁠

В этой статье сравниваем ТОП-15 лучших онлайн-курсов по обучению Data Science + рассматриваем по рейтингу бесплатные курсы по Дата Сайнс.

Data Science представляет собой междисциплинарную область, которая применяет методы, процессы, алгоритмы и системы для извлечения знаний и инсайтов из структурированных и неструктурированных данных. Она объединяет статистику, машинное обучение, анализ данных и визуализацию для принятия обоснованных решений, основанных на данных. Data Science находит широкое применение в различных областях, таких как бизнес, медицина, финансы и другие.

ТОП-5 лучших курсов Data Science

  1. Data Scientist с нуля до Junior (Skillbox) — 826 отзывов

  2. Data Scientist: быстрый старт в профессии (GeekBrains) — 1110 отзывов

  3. Профессия Data Scientist: обучение от Skillbox — 826 отзывов

  4. Специалист по Data Science (SkillFactory) — 427 отзывов

  5. Data Scientist с нуля до middle (Нетология) — 215 отзывов

1. Курс Data Scientist с нуля до Junior (Skillbox) — 826 отзывов

Информация о курсе: стоимость — 5 033 ₽ /мес. в рассрочку на 22 месяца, длительность курса - 9 месяцев

Особенности: до 9 проектов в портфолио, 2 специализации на выбор. Помощь в трудоустройстве. Выдаётся сертификат установленного образца. Курс Data Science подходит для новичков, программистов и начинающих аналитиков.

Погрузитесь в аналитику данных и машинное обучение, выбрав направление, которое вам ближе. Оттачивайте навыки на реальных проектах и становитесь востребованным специалистом.

Кому подойдёт этот курс:

  • Новичкам
    Нет необходимости в техническом образовании или опыте в IT.
    С нуля освоите Python, SQL, научитесь собирать и анализировать данные, подтянете математику и статистику. Примените полученные знания на реальных задачах и уже через год сможете начать работать.

  • Программистам
    Курс прокачает ваше аналитическое и алгоритмическое мышление. Вы научитесь выявлять потребности бизнеса, строить модели машинного обучения и применять Python для решения задач с данными. Пройдёте полный процесс от сбора данных до деплоя модели.

  • Начинающим аналитикам
    Научитесь формулировать гипотезы и делать выводы на основе данных, писать эффективный код на Python и превращать сырые данные в полезную информацию для компании.
    Будете обучать модели и прогнозировать результаты, улучшите свои навыки и увеличите скорость работы, что поможет вам в карьерном росте.

Чему вы научитесь:

  • Аналитическое мышление
    Разрабатывать планы решения проблем, выдвигать и проверять гипотезы, интерпретировать результаты и представлять их руководству.

  • Математика и статистика
    Полные курсы по математике, теории вероятностей и статистике помогут вам вспомнить школьную программу и получить дополнительные знания, которые обычно преподают в вузах.

  • Извлечение данных
    Чтение файлов различных форматов с помощью Python, написание запросов к API, получение, очистка и сохранение данных.
    Понимание устройства баз данных и освоение SQL.

  • Аналитические модели
    Строить воронки продаж для интернет-магазинов, проводить когортный анализ и предсказывать выручку компании.

  • Модели машинного обучения
    Начнёте с простых моделей, постепенно разберётесь в алгоритмах и научитесь решать задачи регрессии, классификации и кластеризации.

  • Инструменты дата-сайентиста
    Освоите Python, Git, визуализацию данных в Power BI. Будете уверенно работать с Jupyter Notebook и строить пайплайны в Airflow.

Уровни курса:

  • Первый уровень: базовая подготовка (5 месяцев)
    Пробуете себя в роли аналитика и специалиста по машинному обучению. Получаете фундаментальные знания и навыки для освоения любого из направлений.

  • Второй уровень: специализация и трудоустройство (4 месяца)
    Выбираете сферу для развития и углубляетесь в неё. Закрепляете знания на практике, решая задачи с реальными данными и участвуя в соревнованиях на Kaggle или командных проектах.

Через 9 месяцев после начала курса — трудоустройство на позицию junior.

Data Scientist: обучение с нуля →

2. Курс Data Scientist: быстрый старт в профессии (GeekBrains) — 1110 отзывов

Информация о курсе: стоимость — 3 839 ₽ / мес. в рассрочку на 36 месяцев, длительность курса - 80 часов теории, 450 часов практики

Особенности: добавите в своё портфолио 2 сильных проекта, получите сертификат об окончании курса, а также помощь в трудоустройстве.

Изучите основы Data Science и выберите своё направление: машинное обучение, анализ данных или дата-инженерию.

Навыки, которые вы приобретёте:

  • Извлечение данных из файлов, API и баз данных.

  • Работа с большими данными.

  • Проведение разведывательного анализа данных.

  • Формулирование и проверка гипотез.

  • Навыки ML-инженера: создание и внедрение моделей машинного обучения, оценка их качества.

  • Навыки Data-инженера: развертывание программной инфраструктуры для сбора, обработки и хранения данных, тестирование кода.

Программа обучения Data Science:

  • Основы Data Science.

  • Машинное обучение (по выбору).

  • Инженер данных (по выбору).

  • Аналитик данных (по выбору).

  • Итоговый проект.

  • Дополнительные курсы: основы математики, основы статистики и теории вероятностей, Git, развитие карьеры разработчика.

Подробнее о курсе Data Science →

3. Курс Профессия Data Scientist (Skillbox) — 826 отзывов

Информация о курсе: стоимость — в рассрочку - 9 000 ₽ / мес., длительность курса - 12 месяцев

Особенности: Бесплатный доступ к 3 модулям. До 9 проектов в портфолио, помощь в трудоустройстве.

Попробуйте свои силы в аналитике данных и машинном обучении, детально изучите интересующее вас направление. Практические навыки отточите на реальных проектах, став востребованным специалистом.

Кем вы станете после курса?

  • Специалист по машинному обучению:
    Анализировать большие объёмы данных. Создавать модели для прогнозирования в бизнесе, медицине и промышленности. Обучать нейросети, разрабатывать аналитические системы и рекомендательные сервисы на основе алгоритмов машинного обучения. Продвигаться в областях обработки естественного языка и компьютерного зрения.

  • Аналитик данных:
    Помогать бизнесу принимать обоснованные решения на основе данных. Собирать и анализировать информацию, выявлять аномалии в метриках. Находить закономерности, формулировать гипотезы и проверять их через моделирование. Визуализировать результаты работы с помощью графиков и диаграмм.

Содержание обучения:

  • Первый уровень: Базовая подготовка. Введение в Data Science.

  • Второй уровень: Специализация и трудоустройство.
    Специализация 1: Машинное обучение. Специализация 2: Дата-аналитик. Трудоустройство с поддержкой Центра карьеры.

  • Третий уровень: Повышение квалификации.
    Специализация 1: Machine Learning PRO. Специализация 2: Data Analyst PRO.

  • Дополнительные курсы:
    Основы статистики и теории вероятностей.
    Основы математики для Data Science.

Подробнее о курсе Data Science →

4. Курс Специалист по Data Science (SkillFactory) — 427 отзывов

Информация о курсе: стоимость — в рассрочку на 36 месяцев - 6 936 ₽ / мес., длительность курса - 12 месяцев

Особенности: дипломы о профпереподготовке МИФИ и Skillfactory.

Приобретаемые навыки:

  • Основы Python: Работа с ключевыми конструкциями и структурами данных.

  • Рекомендательные системы: Применение алгоритмов для их создания.

  • Анализ данных: Использование библиотек Pandas, Seaborn, Matplotlib для анализа и предобработки данных.

  • Доступ к данным: Извлечение данных из веб-источников и по API.

  • Модели машинного обучения: Создание моделей для решения задач Data Science и оценка их эффективности.

  • Математический анализ: Применение методов математического анализа, линейной алгебры, статистики и теории вероятностей для обработки данных.

  • Платформы и сообщества: Работа с GitHub и Kaggle.

  • Временные ряды: Построение моделей на основе временных рядов.

Программа обучения:

  • Адаптационная неделя

  • Проектная работа

  • Выравнивающий курс по математике

  • SQL и базы данных

  • Программирование на Python

  • Высшая математика для машинного обучения

  • Менеджмент для наук о данных

  • Классическое машинное обучение

  • Глубокое обучение в науках о данных

  • Статистика и A/B тестирование

  • Проектная работа

  • Внедрение моделей машинного обучения

  • Проектный практикум: Групповой дипломный проект по задачам от партнеров.

  • Защита и презентация дипломных проектов.

Подробнее о курсе Data Science →

5. Курс Data Scientist с нуля до middle (Нетология) — 215 отзывов

Информация о курсе: стоимость —182 400 ₽ - 202 400 ₽ или рассрочка на 36 месяцев - от 5 333 ₽ / мес., длительность курса - 24 месяца

Особенности: возможность подобрать индивидуальный темп обучения. Добавите более 20 проектов в портфолио и получите диплом о профессиональной переподготовке.

Чему вы научитесь:

  • Работа с базами данных:
    Извлекать данные с помощью SQL, выгружать их в нужном формате, создавать и управлять собственными БД, работать с хранимыми процедурами и функциями.

  • Использование Python и библиотек:
    Очищать и преобразовывать данные, проверять гипотезы, выявлять скрытые закономерности и визуализировать результаты.

  • Математика и статистика:
    Освоите необходимые математические методы для решения задач машинного обучения и построения нейросетей.

  • Построение моделей машинного обучения:
    Конструировать признаки, строить классические модели машинного обучения, анализировать временные ряды и создавать рекомендательные системы.

  • Обучение нейронных сетей:
    Проверять гипотезы, строить многослойные нейронные сети, выявлять скрытые аномалии в данных.

  • Лидерство в Data-проектах:
    Формулировать гипотезы, выявлять потребности, структурировать и визуализировать результаты, работать в команде и находить общий язык с заказчиком.

Программа курса:

  • Погружение:
    Изучите основы аналитического мышления, узнаете, откуда берутся данные, научитесь определять ключевые продуктовые метрики и создавать дашборды.

  • SQL, Python и Big Data:
    Освоите ключевые навыки для старта в профессии Data Scientist и сможете искать работу на младшей позиции уже после этого этапа.

  • Deep Learning и нейронные сети:
    Получите расширенные знания и научитесь работать с нейронными сетями. Повысите свою квалификацию до уровня middle, что позволит претендовать на большее количество вакансий.

  • Дипломный проект — ML-модель для решения профессиональных задач:
    Выберите тему самостоятельно (например, прогнозирование продаж, распознавание объектов на фото или видео, анализ временных рядов или текста). Вам будет помогать дипломный руководитель, предусмотрены 4 индивидуальных консультации с экспертом.

  • Специализация на выбор (Продвинутый тариф):
    Углубитесь в особенности работы с медицинскими и промышленными данными, решите типичные задачи для этих сфер. Специализированные навыки повысят вашу профессиональную ценность. Стажировка в компании «Северсталь.Диджитал» поможет получить полезный опыт в промышленном Data Science.

Подробнее о курсе Data Science →

6. Курс Data Scientist (ProductStar) — 58 отзывов

Информация о курсе: стоимость — 95 175 ₽ или рассрочка - 4 406 ₽ / мес.

Особенности: доступ к материалам курса на 3 года.  Помощь в трудоустройстве. Сертификат по окончанию обучения.

Программа обучения:

  • Извлечение и подготовка данных: SQL

  • Основы программирования: Python

  • Построение моделей: Machine Learning

  • Глубокое обучение и обработка естественного языка: Нейронные сети и NLP

  • Создание рекомендаций: Рекомендательные системы

  • Заключительный проект и карьерная поддержка: Дипломная работа и помощь с трудоустройством.

Приобретаемые навыки:

  • Уверенное владение SQL

  • Работа с Python, Git, и GitLab

  • Проведение машинного обучения

  • Разработка рекомендательных систем

  • Построение аналитических систем

  • Уверенное использование искусственного интеллекта.

Подробнее о курсе Data Science →

7. Курс Data Science (SF Education) — 168 отзывов

Информация о курсе: стоимость — 28 875 ₽ или рассрочка на 24 месяца - 1 203 ₽ / мес., длительность курса - 4 месяца

Особенности: Доступ в закрытое сообщество с вакансиями для выпускников. Безлимитный доступ к материалам курса и к учебной литературе, созданной экспертами. Официальное удостоверение о повышении квалификации.

Получите основные знания и навыки для успешной карьеры в Data Science. Вы научитесь:

  • Работать с базами данных

  • Программировать на Python

  • Решать задачи вычислительных финансов.

Программа курса включает:

  • Введение в индустрию и карьерные перспективы

  • Обработка и анализ данных с помощью SQL

  • Программирование на Python

  • Работа с API

  • Основы математики

  • Data Science

  • Корпоративные финансы

  • Финансовые производные инструменты: фьючерсы и опционы

  • Стохастические процессы в финансах

  • Структурированные финансы.

Подробнее о курсе Data Science →

8. Курс Основы работы с большими данными (Data Science) (Специалист)

Информация о курсе: стоимость — 14 990 ₽ - 36 000 ₽, длительность курса - 16 ак. ч. + 4 ак. ч. самостоятельно

Чему вы научитесь:

  • Определять источники информации и формулировать требования к ним

  • Применять стандартный процесс CRISP-DM в своей организации

  • Подбирать команду для работы с Big Data

  • Выбирать инструменты для практической работы с данными

  • Использовать специализированные инструменты Excel, такие как «Пакет анализа данных» и «Тренды»

  • Применять методы «дерева решений»

  • Подбирать подходящие инструменты и методы для решения задач машинного обучения и взаимодействовать с разработчиками

  • Использовать методы классификации данных для машинного обучения

  • Подбирать тестовые и обучающие выборки для достижения лучших результатов анализа

  • Работать с инструментами nocode (на примере одного инструмента)

  • Организовывать реорганизацию компании для применения управления на основе Big Data.

Программа курса:

  • Области применения Big Data. Типовые задачи

  • Сбор и подготовка данных. Методика CRISP-DM

  • Основы математической статистики и ANOVA. Надстройка Excel «Пакет анализа»

  • Прогнозирование продаж. Введение в машинное обучение. Корреляция и регрессионный анализ

  • Классификация и распознавание образов, видео, речи и текста. Нейронные сети и примеры их применения

  • Исследование социальных сетей и прогнозирование поведения пользователей. Социальные графы и деревья решений. Примеры применения

  • Продвинутые инструменты: глубокое машинное обучение, искусственный интеллект, нечеткие множества

  • Профориентация в Data Science. Выводы и рекомендации по организации работы команды.

Подробнее о курсе Data Science →

9. Курс Специалист по Data Science (Яндекс.Практикум)

Информация о курсе: стоимость — 112 000 ₽ - 228 000 ₽, длительность курса - 8 месяцев. Обучение Дата Сайнтист.

Программа обучения:

  • Введение в Python и анализ данных

  • Основные принципы Python

  • Предварительная обработка данных

  • Исследовательский анализ данных

  • Статистический анализ данных

  • Первый крупный проект
    Вы освоите предварительное исследование данных, сформулируете и проверите гипотезы. Обнаружите закономерности в данных о продажах игр.

  • Линейные модели в области машинного обучения

  • Обучение с учителем: оценка качества модели

  • Второй крупный проект
    Вы разработаете 2 модели машинного обучения и оцените их качество. Создадите пайплайн для упрощения процесса. Смоделируете коэффициент удовлетворенности сотрудников для помощи HR-отделу в прогнозировании текучести кадров.

  • Машинное обучение в сфере бизнеса

  • Основы SQL

  • Численные методы

  • Временные ряды

  • Машинное обучение для анализа текста

  • Компьютерное зрение

  • Обучение без учителя
    Вы познакомитесь с еще одним методом машинного обучения, при котором система решает задачу без заранее размеченных данных, опираясь на их особенности и структуру. Изучите задачи кластеризации и выявления аномалий.

  • Итоговый проект
    Вы подтвердите усвоение новой профессии. Уточните задачу клиента, пройдете все этапы анализа данных и машинного обучения. Теперь без учебных уроков и заданий — все как на реальной работе.

  • Дополнительный курс: Практика Python

  • Дополнительный курс: Теория вероятностей

  • Дополнительный курс: Практика SQL.

Подробнее о курсе Data Science →

10. Курс Data Scientist с нуля (Бруноям) — 28 отзывов

Информация о курсе: стоимость — 108 900 ₽, длительность курса - 8 месяцев

Вы освоите методы, инструменты и технологии, необходимые для обработки данных. Программа обучения включает вебинары, видеоуроки и практические задания.

Вам предстоит изучить следующие технологии:

  • Основы программирования на Python

  • Построение моделей машинного обучения

  • Работа с библиотеками NumPy и pandas

  • Визуализация данных с использованием matplotlib

  • Запросы SQL и работа с базами данных

  • Применение математики в обработке данных

  • Нейронные сети

  • Применение методов машинного обучения на практике

  • Планирование и проведение A/B-тестирования.

Курс онлайн Дата Сайнс →

11. Курс Data Scientist. Интенсив («Level UP») — 23 отзыва

Информация о курсе: стоимость — 68 990 ₽, длительность курса - 3,5 месяца (70+ ак. часов)

По завершении курса вы сможете:

  • Эффективно выбирать и применять разнообразные алгоритмы машинного обучения в соответствии с поставленной задачей.

  • Обрабатывать и анализировать данные, проводя необходимую предобработку.

  • Использовать Python библиотеки для решения задач машинного обучения.

  • Понимать основные принципы и методы линейной алгебры, статистики и теории вероятностей, необходимые для понимания функционирования алгоритмов машинного обучения.

  • Решать задачи классификации, регрессии и кластеризации.

  • Применять методы регуляризации и оптимизации для улучшения качества моделей.

  • Применять ансамблевые методы для повышения точности моделей.

  • Работать с изображениями и применять сверточные нейронные сети для задач компьютерного зрения.

  • Работать с нейронными сетями, использовать transfer learning и решать задачи обработки текста, в том числе с применением BERT и классических методов машинного обучения.

Дата Сайенс: курсы →

12. Курс Data Scientist (Karpov.Courses) — 12 отзывов

Информация о курсе: стоимость — разная, длительность курса - разная

Курсы:

  • Специалист по глубинному обучению (Deep Learning Engineer)
    Вы овладеете основными и передовыми методами глубинного обучения в области обработки естественного языка (NLP) и приступите к развитию в перспективной области Глубинного Обучения.

  • Специалист по Анализу Данных

  • Специалист по Обработке Данных

  • и другие.

Обучение Дата Сайнс →

13. Курс Специалист по Data Science (НИУ ВШЭ) — 10 отзывов

Информация о курсе: стоимость — 465 000 ₽, длительность курса - 18 месяцев

Изучение всех аспектов современного анализа данных: от основ программирования и дискретной математики до машинного обучения, прикладной статистики, Big Data и многого другого.

План обучения Дата Сайнс:

  • Применение Python для автоматизации и анализа данных

  • Обучение SQL

  • Изучение алгоритмов и структур данных

  • Освоение математики для анализа данных

  • Прикладная статистика в контексте машинного обучения

  • Основы машинного обучения

  • Практическое применение машинного обучения на платформе Spark

  • Введение в глубокое обучение

  • Решение прикладных задач анализа данных с онлайн-сопровождением преподавателя

  • Завершающий проект.

Обучение Data Science →

14. Курс Data Scientist (МФТИ) — 8 отзывов

Информация о курсе: стоимость — 235 000 ₽, длительность курса - до 12 месяцев (8 ак.ч. в неделю)

Учебный план включает в себя следующие разделы:

  • Основы программирования на Python

  • Использование модулей для первичного анализа данных

  • Изучение функций и объектно-ориентированного программирования в Python

  • Введение в операционную систему Linux и систему контроля версий Git

  • Знакомство с модулями для выполнения задач машинного обучения

  • Изучение дискретной математики

  • Освоение математического анализа

  • Погружение в линейную алгебру и аналитическую геометрию

  • Ознакомление с теорией вероятностей

  • Изучение математической статистики и основ аналитики данных

  • Понимание принципов математических алгоритмов

  • Использование современных библиотек для анализа данных

  • Оценка качества моделей

  • Введение в основы работы с нейронными сетями.

Дата Сайнс: обучение →

Бесплатные курсы Data Science

Курс Data Science: будущее для каждого (Нетология)

Простым языком мы расскажем о работе аналитика, Data Science, искусственного интеллекта и нейронных сетей. Представим популярные профессии и инструменты, которыми пользуются специалисты.

Учебная программа включает в себя следующие этапы:

  • Основы науки о данных
    Вы познакомитесь с концепциями больших данных, искусственного интеллекта, машинного обучения и Data Science. На примерах будет разобрано, какие задачи решаются с использованием данных.

  • Инструменты аналитиков
    Вы изучите необходимые навыки для работы аналитика и узнаете о распространенных инструментах. Попробуете написать первый SQL-код, который является основным инструментом работы аналитиков.

  • Различия профессий в аналитике
    На примерах будет рассмотрено, какие задачи выполняют аналитики, и вы сможете понять различия между профессиями и выбрать подходящее направление для себя.

  • Начало карьеры в аналитике
    Вы определите уже имеющиеся у вас навыки и узнаете, какие необходимо приобрести в первую очередь. Поймете, как начать карьеру в области аналитики, даже если вы начинаете с нуля.

Курсы по Data Science →

Курс Data Science с нуля (Skillbox Программирование)

В списке вас ждет множество полезной информации о том, как войти в мир Data Science с самых начальных шагов. Мы расскажем, какие знания и умения требуются для того, чтобы стать Data Scientist, и как можно их получить.
Видеоматериалы будут полезны как для новичков в программировании, так и для тех, кто еще не имеет опыта в этой области. Мы продемонстрируем, какие языки программирования необходимо знать для работы в Data Science, и как начать программировать для тех, кто только начинает.

Видеоуроки включают в себя:

  • Обзор обучения в области Data Science

  • Процесс обучения модели машинного обучения

  • Основы языка программирования Python

  • Работа с компьютерными сетями

  • Основы анализа данных

  • и другие.

Data Science: обучение →

Курс Введение в Data Science и машинное обучение (Stepik)

Курс предназначен для знакомства слушателей с основами машинного обучения, прежде всего для тех, кто только начинает свой путь в области Data Science.
Мы предоставим подробное изучение основных теоретических концепций, а также начнем знакомство с библиотеками Pandas и Scikit-learn, которые являются наиболее распространенными инструментами для анализа данных и машинного обучения с использованием языка программирования Python.

Data Scientist: обучение →

Курс Введение в науку о данных (Alison)

Вы ознакомитесь с процессами в области анализа данных, приобретете представление о машинном обучении и изучите модели данных для организации информации. Вас также научат извлекать знания и идеи из структурированных и неструктурированных данных, а также использовать научные методы, процессы, алгоритмы и системы, применяемые в анализе данных.

Data Science: курсы →

Если ищете, где учиться на Data Scientist в России, то посмотрите нашу подборку.

Сколько нужно времени чтобы освоить Data Science?

Время, необходимое для освоения Data Science, зависит от нескольких факторов, таких как ваш текущий уровень знаний, интенсивность обучения, цели и методы, которые вы используете:

  1. Базовые знания (3-6 месяцев):

    • Математика и статистика: знание основ математического анализа, линейной алгебры и статистики является фундаментальным.

    • Программирование: владение Python или R, знание библиотек, таких как NumPy, pandas, matplotlib, seaborn.

  2. Средний уровень (6-12 месяцев):

    • Машинное обучение: изучение алгоритмов машинного обучения, таких как линейная и логистическая регрессия, деревья решений, случайный лес, градиентный бустинг и нейронные сети.

    • Практика: работа с реальными данными, участие в конкурсах на платформах вроде Kaggle, выполнение учебных проектов.

  3. Продвинутый уровень (1-2 года):

    • Глубокое обучение: освоение сложных методов глубокого обучения, таких как свёрточные нейронные сети, рекуррентные нейронные сети и генеративные модели.

    • Инструменты и технологии: знание инструментов, таких как TensorFlow, PyTorch, SQL, Hadoop, Spark.

    • Работа над крупными проектами: реализация проектов, решение сложных задач, участие в исследовательских работах.

Таким образом, для достижения уровня, достаточного для начала работы в Data Science, может потребоваться от одного до двух лет интенсивного обучения и практики. Для глубокого освоения и достижения уровня эксперта потребуется больше времени и опыта, возможно, несколько лет.

Можно ли стать Data Science без образования?

Да, можно стать специалистом по Data Science без формального образования. Изучите основы математики и статистики, освоив линейную алгебру и статистику, и выучите программирование на Python или R, включая библиотеки (NumPy, pandas, scikit-learn, TensorFlow). Пройдите онлайн-курсы, практикуйтесь на реальных данных через конкурсы на Kaggle и создавайте проекты, публикуя их на GitHub.

Какая зарплата у Дата Сайентиста?

Зарплата Data Scientist в России варьируется в зависимости от уровня опыта и региона. В Москве зарплаты Data Scientist могут быть следующими:

  • Junior: от 35 000 до 145 000 рублей в месяц

  • Middle: от 140 000 до 300 000 рублей в месяц

  • Senior: от 150 000 до 500 000 рублей в месяц

В Санкт-Петербурге ситуация схожая:

  • Junior: от 40 000 до 60 000 рублей в месяц

  • Middle: от 150 000 до 250 000 рублей в месяц

  • Senior: до 400 000 рублей в месяц

В других крупных городах России, таких как Новосибирск, Екатеринбург, Казань и Нижний Новгород, зарплаты несколько ниже, но всё же остаются довольно высокими для IT-специалистов:

  • Junior: от 50 000 до 100 000 рублей

  • Middle: от 100 000 до 250 000 рублей

  • Senior: до 400 000 рублей в месяц в зависимости от города

Средняя зарплата Data Scientist по России составляет около 200 000 рублей в месяц, но может доходить до 270 000 рублей в зависимости от региона и компании

Кому подойдет Дата Сайнс?

Дата Сайнс (Data Science) – это область, которая подойдет людям с различными интересами и навыками. Основные характеристики и навыки, которые могут помочь определить, кому подойдет работа в этой области, включают:

  1. Интерес к данным и аналитике: если вам нравится работать с большими объемами данных, анализировать их и искать закономерности, Дата Сайнс может быть идеальной областью.

  2. Навыки программирования: знание языков программирования, таких как Python, R или SQL, является важным для работы в Дата Сайнс. Те, кто любит кодировать и автоматизировать процессы, найдут здесь много возможностей.

  3. Математический и статистический склад ума: Дата Сайнс требует хорошего понимания математики и статистики, так как эти дисциплины лежат в основе анализа данных и создания моделей.

  4. Способность решать проблемы: Дата Сайнс включает в себя нахождение решений для сложных задач на основе анализа данных. Креативное мышление и способность разбираться в сложных проблемах — важные качества.

  5. Коммуникационные навыки: способность четко и понятно передавать результаты анализа данных заинтересованным сторонам является ключевым навыком. Это поможет принимать информированные решения на основе ваших выводов.

  6. Любовь к обучению: технологии и методы в Дата Сайнс постоянно развиваются. Готовность постоянно учиться и адаптироваться к новым инструментам и техникам – важное качество.

  7. Внимание к деталям: работа с данными требует точности и внимательности, чтобы избежать ошибок в анализе и интерпретации данных.

Дата Сайнс может быть особенно интересен для людей с фоном в следующих областях:

  • Информатика и программирование

  • Математика и статистика

  • Экономика и бизнес-анализ

  • Естественные науки и инженерия

Если вы обладаете этими навыками и качествами или готовы их развивать, то Дата Сайнс может стать для вас перспективной и увлекательной карьерой.

Как выглядит работа Дата Сайентиста?

Работа дата-сайентиста (data scientist) включает в себя широкий спектр задач, связанных с анализом данных и разработкой моделей для решения бизнес-проблем. Вот основные этапы и аспекты работы дата-сайентиста:

  1. Сбор данных:

    • Источники данных: определение и интеграция данных из различных источников, таких как базы данных, API, веб-сайты и др.

    • Очистка данных: обработка сырых данных, устранение пропусков, дубликатов и ошибок.

  2. Исследовательский анализ данных (EDA):

    • Анализ и визуализация: первичный анализ данных для выявления закономерностей и аномалий, использование инструментов визуализации (например, matplotlib, seaborn).

    • Статистический анализ: применение методов статистики для проверки гипотез и оценки характеристик данных.

  3. Моделирование:

    • Выбор модели: определение подходящих алгоритмов машинного обучения (регрессия, классификация, кластеризация и др.) для решения конкретных задач.

    • Обучение моделей: обучение моделей на обучающих данных, настройка гиперпараметров.

    • Оценка модели: оценка производительности моделей с использованием метрик (например, точность, F1-мера, ROC-AUC) и методов кросс-валидации.

  4. Интерпретация и коммуникация результатов:

    • Отчеты и презентации: создание отчетов и презентаций для объяснения результатов анализа и рекомендаций на понятном языке для бизнеса.

    • Визуализация данных: представление данных и моделей в наглядной форме с помощью графиков и диаграмм.

  5. Внедрение моделей:

    • Программирование и автоматизация: реализация моделей в продуктивной среде, автоматизация процессов анализа данных.

    • Мониторинг и поддержка: отслеживание производительности моделей после их внедрения и регулярное обновление.

  6. Работа в команде:

    • Взаимодействие с бизнесом: понимание бизнес-требований и перевод их на язык данных.

    • Сотрудничество с разработчиками: работа с инженерами по данным (data engineers) для обеспечения инфраструктуры и обработка больших объемов данных.

Технологии и инструменты, используемые дата-сайентистами:

  • Языки программирования: Python, R.

  • Инструменты для анализа данных: Pandas, NumPy, SciPy.

  • Машинное обучение: Scikit-learn, TensorFlow, PyTorch.

  • Базы данных: SQL, NoSQL (MongoDB).

  • Визуализация данных: Matplotlib, Seaborn, Plotly, Tableau.

  • Инструменты для управления проектами: Jupyter Notebook, Git.

Примеры задач дата-сайентиста:

  • Разработка модели прогнозирования спроса на продукты.

  • Анализ пользовательского поведения для улучшения клиентского опыта.

  • Классификация текстов и анализ тональности отзывов клиентов.

  • Оптимизация рекламных кампаний на основе данных.

Работа дата-сайентиста динамична и требует сочетания технических навыков, аналитического мышления и способности коммуницировать результаты с не-техническими специалистами.

Показать полностью
Удаленная работа Фриланс Обучение Дистанционное обучение Курсы Онлайн-курсы Курсы повышения квалификации Образование Развитие Карьера Учеба Работа Профессия Онлайн-школа Онлайн Полезное Бесплатное обучение Аналитика Data Science Аналитик Блоги компаний Длиннопост YouTube (ссылка)
Посты не найдены
О нас
О Пикабу Контакты Реклама Сообщить об ошибке Сообщить о нарушении законодательства Отзывы и предложения Новости Пикабу Мобильное приложение RSS
Информация
Помощь Кодекс Пикабу Команда Пикабу Конфиденциальность Правила соцсети О рекомендациях О компании
Наши проекты
Блоги Работа Промокоды Игры Курсы
Партнёры
Промокоды Биг Гик Промокоды Lamoda Промокоды Мвидео Промокоды Яндекс Директ Промокоды Отелло Промокоды Aroma Butik Промокоды Яндекс Путешествия Постила Футбол сегодня
На информационном ресурсе Pikabu.ru применяются рекомендательные технологии