Горячее
Лучшее
Свежее
Подписки
Сообщества
Блоги
Эксперты
Войти
Забыли пароль?
или продолжите с
Создать аккаунт
Я хочу получать рассылки с лучшими постами за неделю
или
Восстановление пароля
Восстановление пароля
Получить код в Telegram
Войти с Яндекс ID Войти через VK ID
Создавая аккаунт, я соглашаюсь с правилами Пикабу и даю согласие на обработку персональных данных.
ПромокодыРаботаКурсыРекламаИгрыПополнение Steam
Пикабу Игры +1000 бесплатных онлайн игр
Пройдите все испытания в игре кальмара второго сезона

Игра в кальмара 2: новые испытания

Аркады, Казуальные, Для мальчиков

Играть

Топ прошлой недели

  • AlexKud AlexKud 38 постов
  • SergeyKorsun SergeyKorsun 12 постов
  • SupportHuaport SupportHuaport 5 постов
Посмотреть весь топ

Лучшие посты недели

Рассылка Пикабу: отправляем самые рейтинговые материалы за 7 дней 🔥

Нажимая кнопку «Подписаться на рассылку», я соглашаюсь с Правилами Пикабу и даю согласие на обработку персональных данных.

Спасибо, что подписались!
Пожалуйста, проверьте почту 😊

Помощь Кодекс Пикабу Команда Пикабу Моб. приложение
Правила соцсети О рекомендациях О компании
Промокоды Биг Гик Промокоды Lamoda Промокоды МВидео Промокоды Яндекс Директ Промокоды Отелло Промокоды Aroma Butik Промокоды Яндекс Путешествия Постила Футбол сегодня

Data Science + Программист

С этим тегом используют

IT Программирование Машинное обучение Обучение Python Аналитика Искусственный интеллект IT юмор Юмор Картинка с текстом Работа Разработка Все
6 постов сначала свежее
10
Sintoniart
Sintoniart
10 месяцев назад

Искусство визуализации данных Оливье Бодини⁠⁠

Искусство визуализации данных Оливье Бодини Digital, Искусство, Наука, Математика, Компьютер, Социальные сети, Data Science, Программирование, Программист, Ученые, Эволюция, Графика, Париж, Франция, Цифровой рисунок, Творческие люди, Длиннопост

Оливье Бодини занимается искусством математики. Профессор компьютерных наук, имеющий докторскую степень по чистой математике, в 2020 году он возглавил команду исследователей в MSN (Maison des Sciences Numériques) - инновационном центре при Университете Сорбонны (Париж). Бодини руководит проектом MunstrA, который исследует связи между математикой, компьютерными вычислениями и цифровым искусством.

Искусство визуализации данных Оливье Бодини Digital, Искусство, Наука, Математика, Компьютер, Социальные сети, Data Science, Программирование, Программист, Ученые, Эволюция, Графика, Париж, Франция, Цифровой рисунок, Творческие люди, Длиннопост

Его творчество основано на разработке алгоритмов для визуального представления математических сущностей и наборов данных. Он черпает вдохновение из динамики частиц, теории мозаики и случайной генерации комбинаторных структур.

Искусство визуализации данных Оливье Бодини Digital, Искусство, Наука, Математика, Компьютер, Социальные сети, Data Science, Программирование, Программист, Ученые, Эволюция, Графика, Париж, Франция, Цифровой рисунок, Творческие люди, Длиннопост

Бодини убежден, что каждый математик на самом деле занимается тем же творчеством, что и художник: один располагает на холсте цвета и формы, другой располагает логические утверждения и доказательства.

Искусство визуализации данных Оливье Бодини Digital, Искусство, Наука, Математика, Компьютер, Социальные сети, Data Science, Программирование, Программист, Ученые, Эволюция, Графика, Париж, Франция, Цифровой рисунок, Творческие люди, Длиннопост

Все произведения Бодини вытекают из визуализации данных: его программы извлекают информацию из огромных баз данных - с сайтов и социальных сетей. Таким образом на его цифровых картинах мы видим постоянно меняющуюся динамику цифрового общества и наши коммуникации в виде форм и цвета.

Искусство визуализации данных Оливье Бодини Digital, Искусство, Наука, Математика, Компьютер, Социальные сети, Data Science, Программирование, Программист, Ученые, Эволюция, Графика, Париж, Франция, Цифровой рисунок, Творческие люди, Длиннопост
Искусство визуализации данных Оливье Бодини Digital, Искусство, Наука, Математика, Компьютер, Социальные сети, Data Science, Программирование, Программист, Ученые, Эволюция, Графика, Париж, Франция, Цифровой рисунок, Творческие люди, Длиннопост
Искусство визуализации данных Оливье Бодини Digital, Искусство, Наука, Математика, Компьютер, Социальные сети, Data Science, Программирование, Программист, Ученые, Эволюция, Графика, Париж, Франция, Цифровой рисунок, Творческие люди, Длиннопост
Показать полностью 7
Digital Искусство Наука Математика Компьютер Социальные сети Data Science Программирование Программист Ученые Эволюция Графика Париж Франция Цифровой рисунок Творческие люди Длиннопост
0
73
tproger.official
tproger.official
1 год назад
Типичный программист

«Вы приняты в Evil Industires»⁠⁠

«Вы приняты в Evil Industires»
[моё] IT IT юмор Программирование Картинка с текстом Программист Data Science Данные Машинное обучение Доктор Зло
48
5
1MachineSpirit
1MachineSpirit
2 года назад
Лига программистов
Серия Карьера программиста

Имеет ли смысл изучать machine learning (машинное обучение) с целью трудоустройства по этой специальности?⁠⁠

Сейчас являюсь трудоустроенным 1С программистом, изначально нацеливался на Android разработку, за время обучения в институте параллельно самообучался и не плохо её изучил. Но, так уж вышло, что в итоге устроился работать 1С разработчиком. Навсегда в 1С оставаться не хочу, думаю года через 2-4 сменить направление. Заинтересовало направление machine learning (искусственный интеллект всё больше входит в нашу жизнь, ввиду чего стало интересно этим заняться). Но есть опасение, что я потрачу n лет на изучение, а по итогу выяснится, что на рынке полторы вакансии, на которые претендуют 100500 человек. Открыл hh и, в общем-то, вакансий и правда немного:

Имеет ли смысл изучать machine learning (машинное обучение) с целью трудоустройства по этой специальности? IT, Поиск работы, Программирование, Python, Искусственный интеллект, Машинное обучение, Программист, Профессия, Data Science, Разработка, Собеседование

Для сравнения количество вакансий по Android разработке:

Имеет ли смысл изучать machine learning (машинное обучение) с целью трудоустройства по этой специальности? IT, Поиск работы, Программирование, Python, Искусственный интеллект, Машинное обучение, Программист, Профессия, Data Science, Разработка, Собеседование

Я уже сталкивался с ситуацией, когда, для того, чтобы попасть на позицию джуна, нужно было чуть ли ни уметь управлять самолётом, параллельно проводя операцию на открытом сердце, что, в принципе, вполне объяснимо, когда на 1 вакансию приходит по 200-400 резюме (и это было на Android разработке). Были случаи, когда даже не приглашали на собеседование, после идеально выполненного тестового задания. В общем, я не против потратить много сил и времени, чтобы стать хорошим специалистом, но не хотелось бы потом узнать, что "я проиграл ещё до того, как начал"

Показать полностью
[моё] IT Поиск работы Программирование Python Искусственный интеллект Машинное обучение Программист Профессия Data Science Разработка Собеседование
20

Оформить подписку для бизнеса

Перейти
Партнёрский материал Реклама
specials
specials

Ваш бизнес заслуживает большего!⁠⁠

Оформляйте подписку Пикабу+ и получайте максимум возможностей:

Ваш бизнес заслуживает большего! Малый бизнес, Предпринимательство, Бизнес

О ПОДПИСКЕ

Малый бизнес Предпринимательство Бизнес
158
skaynet25022022
skaynet25022022
2 года назад
Книжная лига

Обзор книги "Data Science. Наука о данных с нуля", отличная книга для начинающих⁠⁠

Обзор книги "Data Science. Наука о данных с нуля", отличная книга для начинающих Программирование, Python, Программист, Обучение, Linux, Профессия, Data Science, Data, Обзор книг, Обзор, Книги, Длиннопост

Всем доброго времени суток! Так как о Data Science мы слышим всё чаще и чаще, предлагаю вам обзор книги, что будет полезна для начинающих.

Публикую обзор книги с моего телеграмм-канала IT-старт t.me/it_begin на книгу "Data Science.Наука о данных для начинающих".

Автор книги Джоэл Грас.

Стоит читать? Да! Почему? Опишу в статье.

Для кого эта книга?

Так как в названии фигурирует "Наука о данных с нуля" - не мудрено, что рассчитана она на тех, кто только начинает свой путь в Data Science :)

Обзор книги "Data Science. Наука о данных с нуля", отличная книга для начинающих Программирование, Python, Программист, Обучение, Linux, Профессия, Data Science, Data, Обзор книг, Обзор, Книги, Длиннопост

Рис.1. Начальная страница

Что в самой книге?

Книга сама по себе немаленькая и состоит из 416 страниц.

Для того, чтобы имелась конкретика по размерам книги, производим замеры.

Обзор книги "Data Science. Наука о данных с нуля", отличная книга для начинающих Программирование, Python, Программист, Обучение, Linux, Профессия, Data Science, Data, Обзор книг, Обзор, Книги, Длиннопост

Ширина книги составляет чуть менее 17 см.

Обзор книги "Data Science. Наука о данных с нуля", отличная книга для начинающих Программирование, Python, Программист, Обучение, Linux, Профессия, Data Science, Data, Обзор книг, Обзор, Книги, Длиннопост

Рис.1.2. Размер книги

Высота книги составляет 23 см.

Обзор книги "Data Science. Наука о данных с нуля", отличная книга для начинающих Программирование, Python, Программист, Обучение, Linux, Профессия, Data Science, Data, Обзор книг, Обзор, Книги, Длиннопост

Рис.1.3. Размер книги

Глубина книги составляет около 2 см.

Теперь, для предметного и краткого понимания того, с чем мы сможем ознакомиться в данной книге, предлагаю перейти к её оглавлению.

Обзор книги "Data Science. Наука о данных с нуля", отличная книга для начинающих Программирование, Python, Программист, Обучение, Linux, Профессия, Data Science, Data, Обзор книг, Обзор, Книги, Длиннопост

Рис.1.4. Оглавление

Обзор книги "Data Science. Наука о данных с нуля", отличная книга для начинающих Программирование, Python, Программист, Обучение, Linux, Профессия, Data Science, Data, Обзор книг, Обзор, Книги, Длиннопост

Рис.1.5. Оглавление

Обзор книги "Data Science. Наука о данных с нуля", отличная книга для начинающих Программирование, Python, Программист, Обучение, Linux, Профессия, Data Science, Data, Обзор книг, Обзор, Книги, Длиннопост

Рис.1.6. Оглавление

Обзор книги "Data Science. Наука о данных с нуля", отличная книга для начинающих Программирование, Python, Программист, Обучение, Linux, Профессия, Data Science, Data, Обзор книг, Обзор, Книги, Длиннопост

Рис.1.7. Оглавление

Глав достаточно много, это радует) Всего глав 27.

Далее предметно и главное кратко постараюсь рассказать о том, что полезного и интересного мы сможем найти в этой книге.

Глава 1. Введение

Обзор книги "Data Science. Наука о данных с нуля", отличная книга для начинающих Программирование, Python, Программист, Обучение, Linux, Профессия, Data Science, Data, Обзор книг, Обзор, Книги, Длиннопост

Рис.2. Глава 1

Первая вводная глава начинается с подробного описания тезиса "Воцарение данных" и ответа на вопрос "Что такое наука о данных?".

Здесь повествуется о том, насколько много данных в современном мире и том, что вся информация, что собирается нашими компьютерами, смартфонами, умными часами, при должной обработке, может дать ответы на бессчисленные вопросы.

Более всего понравился пример на странице 26 с Facebook, что думаю примененим ко многим плоскостям исследования, используя практические любые соц. сети.

Также хорошо подчеркнут опыт избирательной компании Барака Обамы в 2012 году и предвыборной компании Дональда Трампа. Предлагаю вам ознакомиться с данным отрывком.

Обзор книги "Data Science. Наука о данных с нуля", отличная книга для начинающих Программирование, Python, Программист, Обучение, Linux, Профессия, Data Science, Data, Обзор книг, Обзор, Книги, Длиннопост

Рис.2.1. Глава 1, страница 26

Глава 2. Интенсивный курс языка Python

Обзор книги "Data Science. Наука о данных с нуля", отличная книга для начинающих Программирование, Python, Программист, Обучение, Linux, Профессия, Data Science, Data, Обзор книг, Обзор, Книги, Длиннопост

Рис.3. Глава 2

В данной главе автор на протяжении 30 страниц крайне в сжатом формате старается познакомить нас с языком программирования Python.

По моему мнению, вследствие того, что объяснение крайне поверхностное и имеет ограничение в виде 30 страниц, объяснено всё плохо. Для тех, кто вовсе не имел опыта работы с Python, данная глава, к сожалению, вряд ли поможет.

Как бы, претензий к книги по данному поводу у меня нет, но хотел бы, чтобы вы заранее имели это ввиду, что эта глава не является карманным пособием по Python.

Если вам необходимо изучить основы Python, советую книгу Тони Гэддиса "Начинаем программировать на Python с нуля" - мой обзор

Обзор книги "Data Science. Наука о данных с нуля", отличная книга для начинающих Программирование, Python, Программист, Обучение, Linux, Профессия, Data Science, Data, Обзор книг, Обзор, Книги, Длиннопост

Рис.3.1. Глава 2

В конце данной главы на странице 69мы видим две особенности книги.

Первая особенность - в конце каждой последующей главы вы увидите полезную сноску под названием "Для дальнейшего изучения", где автор от себя советует, что можно прочитать дополнительно для более глубокого изучения той или иной темы. Считаю это положительным моментом.

Отрицательным моментом качества данной книги являются тонкие страницы, что просвечивают и не доставляют особого удовольствия от этого.

Не сказал бы, что это крайне критично, но и приятного в этом также мало, общее впечательние от книги немного портится.

Всё крайне показательно видно на фото выше.

Глава 3. Визуализация данных

Обзор книги "Data Science. Наука о данных с нуля", отличная книга для начинающих Программирование, Python, Программист, Обучение, Linux, Профессия, Data Science, Data, Обзор книг, Обзор, Книги, Длиннопост

Рис.4. Глава 3

Также яркий пример просвечивающих страниц это столбчатый график, что просвечивает на странице 71)

В третьей главе автор кратко рассматривает библиотеку matplotlib,

В самом начале автор подчеркиват, что считает данную библиотеку устаревающей и что она годна для построения элементарных линейных и столбчатых графиков.

Согласиться с этим или нет? Вопрос сложный и оставлю его открытым на суд аудитории. Интересно ваше мнение по этому вопросу.

Далее в книге рассматриваются столбчатые и линейные графики, диаграммы рассеяния. Что порадовало, это повествование с соответствующим кодом, тут же можно понять, какая строчка кода за что отвечает, считаю это положительным моментом для тех, кто только начинает свой путь.

Завершается глава разделом "Для дальнейшего изучения", где автор оставляет ссылки на такие библиотеки, как seaborn, Altair, D3.js, Bokeh с кратким описанием каждой из них.

Глава 4. Линейная алгебра

Обзор книги "Data Science. Наука о данных с нуля", отличная книга для начинающих Программирование, Python, Программист, Обучение, Linux, Профессия, Data Science, Data, Обзор книг, Обзор, Книги, Длиннопост

Рис.5. Глава 4

В этой главе автор рассматривает векторы и матрицы.

Объяснено достаточно хорошо, вопросов после прочтения остается мало, в конце автор оставляет ссылки на три книги, что также позволят закрепить пройденный материал.

Глава 5. Статистика

Обзор книги "Data Science. Наука о данных с нуля", отличная книга для начинающих Программирование, Python, Программист, Обучение, Linux, Профессия, Data Science, Data, Обзор книг, Обзор, Книги, Длиннопост

Рис.6. Глава 5

В данной главе автор описывает и рассказывает о том, что такое тенденции, вариация, корреляция, корреляционные ловушки.

В главе много кода, подробно всё описание, в целом впечатление от главы положительное.

Но также показалось интересным и хорошо запомнилось описание парадокса Симпсона :)

Обзор книги "Data Science. Наука о данных с нуля", отличная книга для начинающих Программирование, Python, Программист, Обучение, Linux, Профессия, Data Science, Data, Обзор книг, Обзор, Книги, Длиннопост

Рис.6.1. Глава 5. Парадокс Симпсона

Глава 6. Вероятность

Обзор книги "Data Science. Наука о данных с нуля", отличная книга для начинающих Программирование, Python, Программист, Обучение, Linux, Профессия, Data Science, Data, Обзор книг, Обзор, Книги, Длиннопост

Рис.5. Глава 6

В этой главе рассмотрены:

  • Условная вероятность

  • Теорема Байеса

  • Случайные величины

  • Непрерывные распределения

  • Нормальное распределение

  • Центральная предельная теорема

Автор раскрывает важность умения работать с анализом вероятности для последующей работы с данными. Вероятность автор рассматривает, как способ количественной оценки неопределенности, что ассоциируется с событиями из некоторого вероятностного пространства.

Глава 7. Гипотеза и вывод

Обзор книги "Data Science. Наука о данных с нуля", отличная книга для начинающих Программирование, Python, Программист, Обучение, Linux, Профессия, Data Science, Data, Обзор книг, Обзор, Книги, Длиннопост

Рис.6. Глава 7

Хотел бы привести в пример "учаток" на странице 116, в подтверждение того, что без опечаток в этой книге не обошлось)

Теперь же о самой главе.

В данной главе автор подчеркивает, что все сведения из теории вероятности и статистики нам нужны для формулирования статистических гипотез и их последующей проверки. Предлагаю взглянуть на фрагмент главы в фото ниже.

Обзор книги "Data Science. Наука о данных с нуля", отличная книга для начинающих Программирование, Python, Программист, Обучение, Linux, Профессия, Data Science, Data, Обзор книг, Обзор, Книги, Длиннопост

Рис.7. Глава 7

Глава 8. Градиентный спуск

Обзор книги "Data Science. Наука о данных с нуля", отличная книга для начинающих Программирование, Python, Программист, Обучение, Linux, Профессия, Data Science, Data, Обзор книг, Обзор, Книги, Длиннопост

Рис.8. Глава 8

Градиент - это вектор, что своим направлением указывает направления возрастания некоторой скалярной величины.

Антиградиент - вектор, что своим направлением показывает направление убывает некоторой скалярной величины.

Градиентный спуск - это метод поиска локального максимума или минимума функции с помощью движения вдоль градиента.

Частично и достаточно понятно подход к максимизации функции описан на странице 128. (Рис. 8)

Глава более чем интересная, рассматривается также использование градиента, выбор правильного размера шага и применение градиентного спуска для подгонки моделей.

Глава 9. Получение данных

Обзор книги "Data Science. Наука о данных с нуля", отличная книга для начинающих Программирование, Python, Программист, Обучение, Linux, Профессия, Data Science, Data, Обзор книг, Обзор, Книги, Длиннопост

Рис.9. Глава 9

Для того, чтобы исследовать данные, нужно сначала их собрать :)

В этой главе автор рассматривает способы подачи данных и также их последующее форматирование.

В главе рассматриваются аспекты чтения файлов, импорт информации из всемирной паутины с помощью html5lib, что такое API и как с этим можно работать.

Глава 10. Работа с данными

Обзор книги "Data Science. Наука о данных с нуля", отличная книга для начинающих Программирование, Python, Программист, Обучение, Linux, Профессия, Data Science, Data, Обзор книг, Обзор, Книги, Длиннопост

Рис.10. Глава 10

В 10 главе автор рассматривает непосредственную работу с данными.

Рассматривается разведывательный анализ данных, классы данных, многочисленные размерности.

Мне же понравилось, что автор не забыл про "чистоту" данных.

На странице 164 об этом как раз таки говорится, что многие данные в реальном мире загрязнены и что важно пред их использованием проводить необходимую обработку, чтобы в дальнейшем не создать себе проблем.

Рис.11. Глава 10

Глава 11. Машинное обучение

Рис.12 Глава 11

В 11 главе автор знакомит нас с машинным обучением.

Так как это обзор книги и он всё же будет немного предвзят с моей стороны по той причине, что у каждого человека есть своё мнение на ту или иную информацию - мне показалась данная глава не для тех, кто начинает с нуля)

Описано в целом по делу всё, но нет уверенности, что люди, ранее не знающие ничего о машинном обучении, после прочтения данной главы всё усвоят.

Глава 12. k ближайших соседей

Метод k-ближайших соседей – это популярный алгоритм классификации, который используется в разных типах задач машинного обучения.

Простыми словами суть метода: посмотри на соседей вокруг, какие из них преобладают, таковым ты и являешься.

Теперь же о том, как всё это описывает автор на примере предсказания результатов на выборах

Глава 12. k ближайших соседей

Метод k-ближайших соседей – это популярный алгоритм классификации, который используется в разных типах задач машинного обучения.

Простыми словами суть метода: посмотри на соседей вокруг, какие из них преобладают, таковым ты и являешься.

Теперь же о том, как всё это описывает автор на примере предсказания результатов на выборах

На примере набора данных о цветках ириса (длина и ширина лепестка, длина и ширина чашелистика) автор пытается построить модель предсказания вида цветка, но т.к. выводимые результаты у него получились четырехмерными, что затрудняет построение графика, автор предлагает взглянуть на диаграммы рассеяния для каждой пары данных результатов измерений.

Порадовало, что в данной главе автор не забыл о проклятии размерности

Глава 13. Наивный Байес

В данной главе автором очень хорошо рассказан принцип работы спам-фильтра социальных систем, как он устроен и что лежит в его основе.

Порадовало то, что в конце данной главы автор ссылается на статью Пола Грэма "План для спама". Статья 2002 г., но менее интересной от этого не становится.

Глава 14. Простая линейная регрессия

В 14 главе автор рассказывает о простой линейной регрессии, описывает применение градиентного спуска, производит оценивание максимального правдоподобия

Глава 15. Множественная регрессия

В данной главе автором рассматривается множественная регрессия, Расширенные допущения модели наименьших квадратов, подгонка модели и её дальнейшая интерпретация.

Глава достаточно большая и много познавательной информации имеет, но мне более всего понравилась трактовка интерпретации моделей

Глава 16. Логическая регрессия

Логистическая регрессия - статистический метод для анализа набора данных, в котором есть одна или несколько независимых переменных, которые определяют результат. Результат измеряется с помощью дихотомической переменной (в которой есть только два возможных результата). Он используется для прогнозирования двоичного результата (1/0, Да / Нет, Истина / Ложь) с учетом набора независимых переменных.

С самого начала главы автор предлагает рассмотреть всё на задаче, что содержит набор данных 200 пользователей, их зарплату, опыт работы и состояние платежей за учетную запись в соц. сетях. Далее описывается то, что такое логистическая функция, применение модели.

Более всего понравилось рассмотрение гиперплоскости, что разделяет параметрическое пространство

Идём далее)

Глава 17. Деревья решений

Одно из толкований дерева решений чаще всего описывает их в качестве представления возможных путей принятия решений.

Автором неплохо показано это на достаточно простом примере.

Глава 18. Нейронные сети

Нейронные сети - то о чём мы всё чаще слышим из средств массовой информации.

В данной книге глава это мягко не особо большая. Всего 10 страниц. Но достаточно информативная. Расскажет о том, что такое нейронные сети, перспептроны, как работают нейронные сети прямого и обратного распространения. Глава интересная!

Глава 19. Глубокое обучение

В данной главе о глубоком обучении автор рассказывает нам, что такое абстракция слоя, о представлении нейронных сетей как последовательности слоёв, о потери и оптимизации функции градиента.

Возможно субъективно, но чтобы до конца понять все вещи в данной главе, пришлось прочитать её дважды. Но думаю, дело не в книге, а во мне :)

Глава 20. Кластеризация

В главе о кластеризации понравилось, что автор пытается объяснить нам, что такое кластеры на +- понятных многим бытовых темах. Если читать ранее не слышал ничего о кластерах, подобное объяснение не является крайне легким, но и базовые основы в голове начнет зарождать. В главе автор рассматривает и описывает восходящую иерархическую кластеризацию, кластерные методы и на примерах объясняет что к чему. Интересная глава.

Глава 21. Обработка естественного языка

В главе об обработке естественного языка автор рассказывает несколько приемов, такие как: облако слов, N-грамматические языковые модели, грамматики. Много поясняющего кода)

Глава 22. Сетевой анализ

В главе про сетевой анализ автор описывает центральность, ориентированные графы, алгоритм PageRank. Мне данная глава "понималась" крайне тяжело, вследствие чего параллельно приходилось заглядывать в Google.

Глава 23. Рекомендательные системы

Та тема, с которой мы ежедневно встречаемся, используя те или иные стриминговые сервисы, соц. сети, поисковые системы - рекомендации :)

Сказали рядом с телефоном "купил собаку" и видите контекстную рекламу о дизайнерских будках на заказ? Это Data Science :)

Глава познавательная. Автор повествует о том, как работает рекомендательная система, что лежит в её основе, что такое коллаборативная фильтрация по схожесте пользователей и многое другое.

Глава 24. Базы данных и SQL

Достаточно сжатая глава о SQL. Рассказывается о том, что такое SQL, о основных командах и разобрано всё на примерах. Всё крайне сжато, но для общего представления совсем неплохо. Но всё же советовал бы дополнительно поискать еще источники информации на тему SQL, если хотите понять тему полноценно.

Глава 25. Алгоритм MapReduce

MapReduce - модель для выполнения параллельной обработки крупных наборов данных. Рассматривается работа самого алгоритма, какие его преимущества и чем он может быть полезен и рассмотренно на примере аналази аобновлений новостной ленты. Всё достаточно подробно описано, вопросов после главы остаётся не так уж и много.

Глава 26. Этика данных

Одна из лучших глав данной книги. Что такое этика данных, почему она важна, для чего используется и к чему может привести её несоблюдение. Познавательный материал, советую.

Глава 27. Идите вперед и займитесь наукой о данных

Заканчивается вся книга главой с призывом идти вперёд и заняться Data Science.

Автор подчеркивает важность компетенций в математической области и о необходимости хорошо разбираться в ней. Также автор кратко описывает популярные библиотеки языка программирования Python и не только.

Глава по своей сути прощальная между автором и читателем, автор же оставляет ту выжимку необходимых мыслей, что он хочет донести до каждого читателя для продолжения путешествия в мир Data Science.

Теперь, тезисно о плюсах и минусах книги

Плюсы книги:

1.Цена

На первом маркетплейсе цена не такая уж и народная.На втором же, ситуация куда бодрее.

Обзор книги "Data Science. Наука о данных с нуля", отличная книга для начинающих Программирование, Python, Программист, Обучение, Linux, Профессия, Data Science, Data, Обзор книг, Обзор, Книги, Длиннопост
Обзор книги "Data Science. Наука о данных с нуля", отличная книга для начинающих Программирование, Python, Программист, Обучение, Linux, Профессия, Data Science, Data, Обзор книг, Обзор, Книги, Длиннопост

Лично от себя скажу, что в целях экономии, часто беру книги уцененные, с небольшими внешними дефектами книги, что не особо влияет на её содержимое. Или же можно найти интересующую вас книгу на площадках б.у. товаров. Но если захотите приобрести новую книгу, цена в условные 600 руб. считаю более чем приемлимой и подъемной для многих. Выделю цену достоинством книги.

2. Книга крайне ёмкая и обширная. О необъятной теме в объятной книге.

Рассматривается и Python и SQL и методы Data Scince, что и как работает. В рамках одной книги это более чем достойно. Да, временами книга может показаться поверхностной, но думаю, это исходя из ограничений книги. Чтобы написать подробный том о каждой теме, для производства книги потребовалось бы куда больше бумаги :)

Минусы книги:

1. Прозрачные страницы.

Не особо бросается в глаза, когда увлечены чтением, но и приятного в этом мало.

Думаю, на всех фотографиях страниц книг, что сделаны мною, это отчетливо видно. Страницы тонкие и просвечивают. Считаю, что это минус.

2.Иногда крайне сжато подаётся материал, что , не имея под рукой поисковика, трудно понять некоторые вещи. Данная оценка субъективна, но мне показалось именно так. Опять же, не уместить всё-всё в одну книгу, понимаю. Но иногда охото отстраниться от цифрового мира, увлечься чтением интересной книги и не прибегать к помощи персонального компьютера)

Подведение итогов по книге:

Могу посоветовать к прочтению данную книгу. Книга даст базовые знания о Data Science, что опять же позволит вам понять, нужно ли оно вам в принципе, интересно ли всё то, что связано с этой сферой.

P.S. К сожалению, в один пост на пикабу можно поместить не более 25 изображений. Мною сделаны фотографии каждой главы, но показать их в рамках ограничений пикабу не могу. Поэтому, если интересно, то можете прочитать полную версию на моем канале.

Благодарю вас за внимание!

Мой канал в телеграмм

Если обзор показался вам интересным, то буду благодарен за подписку на мой

канал IT-старт t.me/it_begin

где я также публикую обзоры технической литературы и полезную информацию как для действующих, так и для начинающих программистов

Ссылка на бесплатную электронную версию книги https://t.me/it_begin/461

Также публикую обзоры книг и интервью на сайте https://russia-it.ru

Показать полностью 25
[моё] Программирование Python Программист Обучение Linux Профессия Data Science Data Обзор книг Обзор Книги Длиннопост
22
dataMisha
2 года назад

Реальный путь в data science⁠⁠


Эта статья про мой путь до первой работы в DS (data science). Путь был не маленьким и был пройден за 2,5 года. Кого-то эта цифра отпугнет, если бы я знал это в начале, то меня бы тоже отпугнула, кто-то назовет меня неспособным дурачком (и отчасти будет прав), а для кого-то (я надеюсь) эта статья поможет сократить время обучения и пройти этот путь быстрее.


Знакомство и первые шаги

Эта история начинается осенью 2019 года. Юный первокурсник Миша (это я) в очередной раз услышал про какой-то data science. Немного погуглив, я узнал про курс от всем известного поисковика, на котором можно узнать об этой области подробнее.

Пройдя пробный кусок, мне понравилось эта так называемое data science и было решено продолжать изучать эту тему, но самостоятельно, платить за это я был не готов.

Для начала я изучил, что вообще должен знать DS и сравнил это с тем, что имелось у меня в голове на тот момент. Поняв, что в голове ничего не имеется (кроме pascal в школе и 4 по математике в универе), я решил, что начать стоит с python.

Нашел несколько курсов по нему и принялся за дело. Проходил я эти курсы в течении полугода, и хоть прогресс, конечно, был, но не сказать, чтобы очень большой, сейчас я понимаю, что этого времени хватило бы, чтобы изучить базу по python достаточно хорошо, но мой подход при изучении этого курса, как и при изучении последующих, был мягко сказать неправильным: Поучась неделю, я забрасывал курс на 2, и так на протяжении всего обучения питону.

Худо бедно я познавал данный язык в течении полугода, а потом весна 2020 года, и всеми любимый локдаун. В универ ходить больше не надо, времени стало чуть больше и решил, что пора кончать с этим питоном и переходить уже к самому DS.

Приступаю к DS


15 апреля 2020 я открыл курс “Введение в Data Science и машинное обучение” и начал получать свои первые знания в этой области. Курс мне понравился, не могу сказать, что он давался мне очень легко, но особых проблем не возникало, если не считать kaggle, на тот момент это казалось очень непонятной штукой.

Следующим моим курс, стал курс от крупнейшего DS сообщества в России. Очень крутой курс, но проходил я его, конечно, не особо углубляясь. Также проходил курсы по статистике, sql и другим важным вещам для DS.


Первые неудачные попытки

Так прошло еще полгода. Я, думая, что уже знаю достаточно, начинаю искать первую работу. Откликался на различные вакансии и меня пригласили на собеседование в Мегафон, им требовался стажер. Я готовился и уже начал немного радоваться, что скоро попаду стажировка, но собеседование было успешно завалено. Я мало на что сумел ответить, но зато смог понять свой истинный уровень.

В течении следующего полугода я опять проходил различные курсы, а также повторял старые, но изучая их более тщательно. Настала весна, близилось лето, в которое я твердо решил начать работать.

В апреле я начал активно откликаться на вакансии, но безуспешно. Никто не захочет брать человека без опыта, у которого даже толком показать нечего, у меня не было гита, на соревнованиях на kaggle я тоже не участвовал, не хватало усилий сделать что-то более-менее объемное и очень зря. Наличие гита, с хорошим кодом, конечно, или наличие каких-то результатов на kaggle является весьма важными вещами при устройстве на работу, особенно на первую.


Первый шанс

Уже наступило лето, а работу я так и не мог найти. Я уже начал откликаться на вакансии не связанные с it, хотелось найти хоть какую-то работу, но даже тут у меня ничего не получалось.

Конечно, в этот момент мысли “может это не мое?”, но в конце июня меня пригласили пройти собеседование на стажировку в Мегафон (да-да опять он).

К собеседованию на этот раз я подготовился лучше, да и знаний было побольше. В итоге меня приняли на стажировку.

“У меня наконец-то получилось, теперь я уже полноценный работник и сто процентов останусь в компании после стажировки” думал я на тот момент.

Первую половину стажировки мы (нас было 5 человек) изучали различные вещи связанный с работой DS. Подробно разбирались с ML, git, oracle db и подобными штуками. Во второй половине нас стали распределять по проектам. Я попал на проект связанный с рекомендацией одного из тарифа. Решал Пытался решить я эту задачу в течении полутора месяцев. Какой-то результат я получить смог, но не очень хороший. Далее было итоговое собеседование по итогам стажировки, которое я успешно завалил, единственный из всех стажеров. Потом я уже понимал, что нужно было лучше готовиться к нему, но было уже поздно. Но в тот момент мне было грустно лишь потому, что прощаюсь с коллегами. Я думал так как теперь у меня есть опыт, то в меня теперь начнут звать на собеседования, которые я успешно буду проходить и устроюсь на работу уже очень скоро. Как же ошибался...


Победа

Хоть теперь меня и стали звать на собесы, пройти их успешно не удавалось, а чаще всего общение с компанией заканчивалось на разговоре с hr, во многом из-за того, что я хотел работать 20-30 часов в неделю (так еще учился), а компании это не устраивало.

Я понял, что, если я хочу устроиться на работу мне необходимо быть готовым к полноценным 40 часам в неделю.

После многочисленных отказов, мне удалось опять попасть на стажировку, на этот раз в компанию Норбит.

Стажировка в этой компании оказалась организована достаточно круто. Каждый день у нас были тренинги, которые проводили сотрудники компании, были дз по этим тренингам, задания по программированию на python, помимо этого нам также было необходимо выполнить индивидуальные проекты, которые мы могли придумать сами, в моём случае это был телеграмм бот по введению и прогнозированию списка покупок. Далее некоторых из нас, в том числе меня, начали привлекать к настоящим задачам. Я попал на проект по системе прогнозирования оттока сотрудников.

К моменту окончанию стажировки, я не сказать, чтобы сильно верил в успех, т.к. был неудачный опыт в Мегафоне и нас было достаточно много, а скольких из нас оставят было не понятно.

Ну и как вы понимаете меня все-таки взял. Я был очень рад этому. Путь длинною 2,5 года наконец-то был пройден, но далее предстоит еще более длительный и увлекательный путь.


Если вы и дальше хотите узнавать о моей карьере то подписывайтесь на мой телеграм - https://t.me/datamisha

Реальный путь в data science Data, Data Science, Обучение, Профессия, IT, Поиск работы, Карьера, Python, Программирование, Опыт, Программист, Удаленная работа, Собеседование, Длиннопост
Показать полностью 1
[моё] Data Data Science Обучение Профессия IT Поиск работы Карьера Python Программирование Опыт Программист Удаленная работа Собеседование Длиннопост
2
skaynet25022022
skaynet25022022
2 года назад
Программирование на python

Путь от музыканта до Python-разработчика⁠⁠

Путь от музыканта до Python-разработчика Программист, Программирование, Python, IT, Обучение, Linux, Собеседование, Разработка, Джанго, Data Science, Работа, Длиннопост

В сегодняшнем интервью мы пообщаемся с Ильей , человеком, что к 24 годам успел много кем поработать, от работы музыкантом до грузчика в магазине.

Самообразование - то, что помогло ему изменить свою жизнь в лучшую сторону. Сейчас Илья работает Python-разработчиком в Новосибирске. Подробнее о его истории читайте в интервью, материал получился интересным😎


1.Расскажите о себе, из какого вы города сколько вам лет и на кого учились.

Меня зовут Илья, мне 24 года, большую часть жизни прожил в Новокузнецке, сейчас живу в Новосибирске

По первому образованию я музыкант. Преподаватель ударных инструментов, если точнее. На данный момент получаю высшее техническое, перешел на 2 курс.


2. Кем вы работали ранее, до того как стали программистом?

Где я только не работал. В музыкалке преподавал какое-то время, во время учёбы работал в МТС продавцом. После армии даже в оптовой фирме продажником и логистом успел потрудиться. Ну и всякие подработки аля грузчик.


3. Кем вы работаете сейчас?

Сейчас я backend Python developer


4. Почему вы решили стать разработчиком?

Тут можно было бы сказать что-то вроде: “Не человек выбирает профессию, а профессия человека”, но это только часть правды. Как таковым разработчиком я изначально быть и не хотел, думал, что пойду в сторону машинного обучения. И возможно так и будет, хотя меня на данный момент всё устраивает.

Это обширная тема для дискуссий, но я убеждён, что на данный момент сфера IT, не имеет равных по уровню зарплат и комфорта работы. Тут я ориентируюсь на ситуацию в СНГ, в первую очередь. Да, сейчас это на хайпе, и сфера обучения программированию живёт ничуть не хуже, чем само программирование. Очень много мифов и преувеличений. Но всё равно, если подумать, вряд ли мне назовут еще одну такую профессию, где будет хотя бы столько же плюсов.


5. Какие технологии и навыки вам необходимо было изучить для того, чтобы почувствовать наконец-таки уверенность в собственных силах?

Основной язык, собственно, Python. Базы данных и Django это то, что приходится использовать в работе. Изначально я хотел в data science, так что владею Pandas, статистикой и немного понимаю в ML.


6. Расскажите подробнее о том, каким образом и как долго вы изучали Python и интересующие вас библиотеки? Лучше с ссылками на ресурсы.

Вообще, самый первый язык в моей жизни был C++. Я выбрал его просто методом тыка, так как не имел ни малейшего представления про языки. Именно на нём я ощутил первые страдания и радости по решению алгоритмических задач :)

Если кому-то такое интересно, то вот замечательный курс на Stepik по плюсам, который ведёт яндекс.

https://stepik.org/course/363/info

Так же, я проходил интенсив School 21. Это прозвучит как реклама, но я искренне рекомендую это мероприятие. Это было очень трудно, месяц почти круглосуточной работы на чистом С. По итогу я всё равно не прошел отбор, но эмоции и навыки, которые я получил там просто бесценны.

И я даже не считаю такое начало ошибкой. Всё-таки начиная с более низкоуровневых языков лучше понимаешь, что и почему вообще происходит.

С питоном я познакомился, когда готовился к ЕГЭ для поступления в университет. А на тот момент мне было уже 22 года. Вообще, это самая частая ситуация, насколько я успел заметить. Не слышал ни одного случая, когда задания для ЕГЭ делались не на питоне, соответственно, дальше люди продолжают углубляться в него по инерции.

Почему я вообще начал с предыстории о изучении языков? Потому что к питону я подходил уже совершенно иначе. Я уже относительно сносно писал на си и процесс написания кода был для меня понятен. Нужно было только привыкнуть к динамической типизации, и к тому, что многие вещи делаются сами и их не обязательно расписывать.

Значит ли это, что обязательно начинать изучать низкоуровневые языки перед тем, как браться за питон? Конечно же нет. Просто мне уже было не нужно проходить курсы, достаточно было просто обращаться к документации, и из-за этого я даже не могу посоветовать никаких полезных источников для изучения.


7. Легко ли было изучать программирование и были ли проблемы с самодисциплиной?

Знакома ли вам история, когда в 14 лет вы пишите свой первый парсер, а к совершеннолетию уже живёте на пассивный доход от собственного телеграм-бота?

Мне тоже нет.

Я не родился программистом, и вообще несколько лет назад не поверил и посмеялся бы, если бы мне сказали, что таким будет моё будущее. Так что да, это было тяжело, и тяжело до сих пор, хотя бы от ситуаций, когда разговариваю с ребятами которым 18-19 лет, и которые на голову превосходят меня во всём что касается разработки.

Проблемы с самодисциплиной были, но только до тех пор, пока я не решил, что собираюсь заниматься этим профессионально, что не хочу всю жизнь проработать на нелюбимой работе.

Мне кажется в любом деле невозможно достичь результата, если заниматься им просто так. Нужно понимать для чего это делается. Если цель просто писать скрипты для себя в качестве хобби, то это вряд ли когда-то приведёт к ощутимым результатам.


8. Насколько сложно было найти первую работу разработчиком?

Думаю, любой кто хоть раз пытался устроиться на свою первую работу в IT прекрасно знаком с парадоксальной системой, где ты стучишься в виртуальные двери компаний со своим кое-как заполненным резюме, в надежде что придёт хотя бы отклик. Хотя из каждого утюга тебе вещают, что специалистов не хватает, почему-то, на работу тебя по-прежнему не берут.

И тут я хочу выразить мнение, которое сложилось у меня на основе моего опыта, а также огромного количества разговоров с людьми из сферы.

Специалистов действительно не хватает. Толковый мидл - желанный сотрудник в любой компании, и когда говорят о 999 оферах в день, которые только и успеваешь кидать в спам, это в основном про них.

Ситуация с джунами и интернами совершенно другая. Невероятное количество курсов и хайп вокруг IT породили целую армию претендентов на вакансии низкого уровня. Портрет такого соискателя примерно такой: Я хороший парень, я понимаю на каком языке я пишу, я очень хочу работать.

Если взглянуть на это со стороны эйчара, то можно увидеть, что кого бы из них он не взял на работу, итог будет одинаковым – первое время такой сотрудник будет только отнимать время других разработчиков и не давать совершенно никакого результата. К этому прибавляется риск, что после того, как в джуна будут вложены силы, он получит реальные навыки и станет полезным в компании, то он решит перейти работать в другое место.

Так что процесс отбора довольно непрост.

Потому-то, строчка с опытом коммерческой разработки так много значит для эйчара. Как минимум это говорит о том, что человек уже попрыгал по всем граблям новичков и теперь представляет из себя готового специалиста, который после освоения в проекте уже начнёт приносить пользу.

Сам я тоже проходил через всё это. Сейчас смешно вспоминать, как в самом начале пути, преисполненный веры в себя, я приходил в офисы компаний и просился на работу. Естественно, в ответ получал лишь недоумевающие взгляды и просьбы отправить резюме на почту. Были и рассылки резюме, были тестовые задания.

Что в итоге выстрелило? Нетворкинг. Меня порекомендовали моему нынешнему работодателю, и у нас всё срослось.

Устройство на работу через знакомых это далеко не пережиток советского мышления, как может показаться. Напротив, если тебя рекомендуют, это как минимум говорит о том, что ты не просто человек с улицы, за кого попало поручаться не будут. Так что софт скилы я назвал бы основополагающими для поиска первой работы.


9. Ощутимо ли улучшаются условия труда в IT-сфере от других сфер трудовой деятельности?

Мне иногда приходится натыкаться на высказывания в духе: “Как я устал на своей галере, может поменять сферу деятельности?”.

Что ж, действительно, в разных компаниях условия труда различаются. Но обычно так говорят те, кто никогда не работал в других сферах.

Каждый раз, когда я думаю, что мне тяжело, я вспоминаю как вставал в 5 утра, для того чтобы успеть на любимую работу, где целый день я проводил на ногах, пытаясь продать вещи, которые никому не нужны, людям, которые видят в тебе лишь обслуживающий персонал. После чего уставший до смерти возвращался домой, с единственным желанием – упасть в кровать. И за всё это в конце месяца я получал весёлую смс из банка о зачислении 30 тысяч рублей.

Сейчас у меня отличный начальник, который готов выслушать меня и пойти навстречу. Мои коллеги – прекрасные люди, профессионалы своего дела. Часто приходится очень много работать, но я делаю это потому что хочу побыстрее дать результат и чему-то научиться, а не потому, что меня бьют палкой. У меня столько свободного времени, что хватает на любые дела, которые я могу себе придумать. Зарплата выше, чем везде, где я работал до этого. Мне не нужно вставать и тащиться куда-то каждое утро.

Лучше ли тут условия труда? Для меня ответ очевиден – они лучшие.


10. Расскажите подробнее о том, чем вы занимаетесь на работе.

Моя основная задача – бэкэнд. Я пишу логику приложений. Однако часто попадаются задачи на любой вкус и цвет – и фронтом приходилось заниматься и ci cd, и даже навыки ML пригождались. В целом, мне дают расти и пробоваться во все стороны. Кому-то это может показаться минусом, но для меня это огромный плюс, ведь это формирует понимание проекта в целом, а не только отдельной его части, что повышает мою ценность как специалиста.


11. Какие положительные и отрицательные стороны работы разработчиком?

Положительная сторона в том, что именно разработчики являются костяком проекта. Именно от них зависит насколько быстро и качественно будут выполнены задачи и насколько скоро проект выйдет в прод. По этому их важность на проекте не вызывает сомнений. В этом же состоит и минус. В конце концов может быть тысяча причин, почему ты не успеваешь сделать фичу, но в конечном итоге разбираться с этими причинами должен только ты.


12. Вернувшись в прошлое, какие советы вы бы дали себе в начале изучения Python?

Можно бесконечно читать о том, как работают те или иные вещи в языке, но это останется лишь голой теорией, пока ты не применишь это в проекте. Мне всегда казалось, что вот я сейчас наберу базу, а потом применю её где-нибудь. И это была ошибка.

Мой рост был бы в тысячу раз быстрее, если бы я взял сколь угодно сложный проект, и решал бы проблемы, которые получал по ходу. Да, теория важна, она помогает составить правильный взгляд, но без практики она просто не усваивается. Да, я бы сотворил монстра, на который было бы стыдно смотреть через полгода, но это были бы мои ошибки, из которых я сделал бы вывод и не повторял бы в дальнейшем.


13. Какие навыки и профессиональные компетенции положительно выделяют человека на фоне остальных кандидатов при собеседовании?

Обучаемость, коммуникабельность и прочие лозунги я советую навсегда забыть и больше никогда не упоминать. Это вещи, которые должны быть присущи любому адекватному человеку.

Любой проект на гите скажет о вас лучше, чем тысячи хвалебных слов в свой адрес. А если этот проект еще и будет приносить практическую пользу, то это уже даже какой-то продукт. Если показать свой сайтик, рассказать о функционале, о фичах которые ты выдумал, это уже повод для обсуждения на собеседовании. А софт скилы будут понятны по ходу разговора, так что на этом вообще не нужно акцентировать внимание.


14. Что можете посоветовать тем людям, что только начинают изучать Python?

Во-первых, перестать участвовать в холиварах на тему, что питон — это язык школьников и вообще он медленный. Пусть даже это была бы правда, какая разница, если за это платят?

Во-вторых, не зацикливаться на конкретном языке. Вполне возможно, что он будет не последним на вашем пути разработчика. Куда важнее постичь саму суть, как проект проходит путь от идеи до готового продукта.

Ну и в целом, какие бы трудности не встречались на пути, всегда нужно держать в голове, что любые проблемы можно преодолеть. И в конечном итоге, через какое-то время всё это окупится.


P.S. Дорогие читатели, буду признателен вам, если напишите в комментариях те вопросы, что вы хотели бы видеть в дальнейшем интервью подобного формата. Буду стараться благодаря вашей критике и советам максимально улучшать качество следующих интервью.


Мой канал в телеграмм

Если статья показалась вам интересной, то буду благодарен за подписку на мой канал IT-старт t.me/it_begin ,где я также публикую обзоры технической литературы, интервью с разработчиками и иную полезную информацию, как для действующих, так и для начинающих программистов

Показать полностью 1
[моё] Программист Программирование Python IT Обучение Linux Собеседование Разработка Джанго Data Science Работа Длиннопост
13
Посты не найдены
О нас
О Пикабу Контакты Реклама Сообщить об ошибке Сообщить о нарушении законодательства Отзывы и предложения Новости Пикабу Мобильное приложение RSS
Информация
Помощь Кодекс Пикабу Команда Пикабу Конфиденциальность Правила соцсети О рекомендациях О компании
Наши проекты
Блоги Работа Промокоды Игры Курсы
Партнёры
Промокоды Биг Гик Промокоды Lamoda Промокоды Мвидео Промокоды Яндекс Директ Промокоды Отелло Промокоды Aroma Butik Промокоды Яндекс Путешествия Постила Футбол сегодня
На информационном ресурсе Pikabu.ru применяются рекомендательные технологии