IT + Машинное обучение

Без сомнения, 2024 год стал годом прорывов в искусственном интеллекте. Нейросети перестали быть просто экспериментальной технологией и превратились в мощный инструмент, меняющий наш мир. От генерации изображений и текстов до медицинских исследований и криминалистики — ИИ стал неотъемлемой частью повседневной жизни.

Одни категорически отвергают нейросети, считая их бесполезными. Другие слепо верят в их магическую силу, способную решать все проблемы. Но есть те, кто воспринимает их как ценный инструмент для решения сложных задач — именно такой подход я считаю правильным и хочу рассказать о примере такого использования.

Криминалист, не криминалист

Долгое время считалось, что все отпечатки пальцев человека абсолютно уникальны, и даже отпечатки разных пальцев одного человека не имеют ничего общего. Эта догма, зародившаяся в 19 веке, лежала в основе дактилоскопии более ста лет. Однако Гейб Го, студент Колумбийского университета, решил оспорить это представление. Его взгляд на проблему оказался необычным, ведь он биолог, а не криминалист. Гейб задался вопросом: если все пальцы принадлежат одному человеку, выросли из одного генетического материала, разве не должно быть между ними чего-то общего?

Используя нейросети, Гейб провёл анализ 2000 комплектов отпечатков 10 пальцев от разных людей. Искусственный интеллект получил задачу найти закономерности — и нашёл. Нейросеть выявила общие черты в отпечатках пальцев одного человека: специфические углы, завитки и петли, которые повторяются в разных комбинациях. Более того, выяснилось, что отпечатки могут иметь сходства у людей одного пола или расы, что открывает новые горизонты для науки.

Результаты исследования

Нейросеть с точностью до 77% определяла, принадлежат ли отпечатки одному человеку. Анализ нескольких пар отпечатков увеличивал точность до более чем 90%. Эта технология может связывать отпечатки разных пальцев одного человека, что ранее было невозможно.

Почему это важно?

— Переоценка уникальности: Открытие разрушает старую догму и меняет подходы к идентификации.
— Ускорение расследований: Теперь можно быстрее находить связь между следами, оставленными на разных местах преступлений.
— Новые горизонты в криминалистике: Искусственный интеллект помог раскрыть закономерности, которые человек не замечал.

Важный момент

Нейросеть выполнила гигантский объем простейших действий. Она проанализировала миллионы связей, углов завитков и петель, сравнивала их друг с другом тысячи раз, пока не нашла нужные шаблоны. Это та работа, которую человек физически не смог бы выполнить на протяжении многих жизней.

Если интересно, к чему это привело, читаем дальше

Гейб столкнулся с сопротивлением. Первые рецензенты из круга криминалистов отвергли его работу, ссылаясь на многолетнюю догму. Но статья была опубликована в журнале Science, где её проверяли биологи. Результаты подтвердились на выборке из 100 тысяч отпечатков. Полицейские уже применяют этот метод для раскрытия старых дел, а его потенциал в биометрической безопасности огромен.

Что это меняет?

— Криминалистика: Новый подход ускоряет идентификацию преступников и открывает возможности для работы с холодными делами.
— Биометрическая безопасность: Системы идентификации смогут работать даже с частичными отпечатками.
— Наука: Этот случай показывает, как нейросети выравнивают возможности и открывают новые горизонты.

Искусственный интеллект — это не волшебная палочка и не угроза. Это инструмент, который позволяет нам находить ответы на вопросы, которые раньше казались неразрешимыми. Пример Гейба показывает, что истинный прогресс начинается там, где мы готовы пересмотреть старые догмы и использовать технологии для поиска новых истин, расширения горизонтов.

ИИ не заменяет людей — он усиливает наши способности.

Подписывайтесь на мой телеграм-канал — там ещё больше инсайтов из мира IT: рассуждаю о лидерстве, даю советы по профессиональному и личностному росту, рассказываю про технологии, нейросети и ИИ.

Всем привет! Хочу поделиться результатами прошедшего соревнования AI Challenge, о котором еще в сентябре здесь писал пост про участие. В итоге наша команда AI Визионеры заняла 2 место и выиграла 900 тыс. руб! 🥳️🥳️🥳️

Кратко о нашей задаче:

Нужно было предсказать цены закрытия 8 разных акций с использованием новостей, обернуть решение в телеграм бота и добавить новых источников, а затем использовать GigaChat для интерпретации результатов модельки.

TG: RnDLabs - учусь в 9 классе, продолжаю участвовать в разных соревнованиях и рассказываю подробнее в канале

Сейчас пишу описания для товаров для одного продавца и пока искал, как создать свою нейросеть, наткнулся на интересную штуку. Оказалось, что можно использовать готовые модели бесплатно, и не через сайты, а через API. То есть можно написать свой код, который будет работать с нейросетью
Я подключился к модели Meta-Llama-3.1-70B-Instruct… На секундочку, чтобы создать такую нейросеть, нужно потратить миллиарды рублей. А я просто подключился к ней.
А потом) нашел целый сайт, где собраны все нейросети от распознавания фото до генерации текста. Некоторые модели могут делать и то, и другое

В своем тг канале я поделился ссылкой на этот сайт, уж извините, я люблю новых подписчиков)))

Шамиль Зиганшин (https://t.me/ShamilZiganshin)

Байесовские нейронные поля (Bayesian Neural Fields, Bayes NF) нужны для моделирования сложных непрерывных функций, которые выражают трехмерные формы, поля света и всякие физические явления.

Но в ML их используют другим образом.

Параметры модели не фиксированы, а рассматриваются как случайные величины с вероятностными распределениями. Мы строим прогнозы и учитываем неопределенность.

Это полезно, когда данные неполные или содержат шум, что делает работу с неопределенностью критически важной.

Bayes NF нужно обучать не как классические детерминированные модели, а как стохастические модели. Веса и другие параметры сети не имеют фиксированных значений, а описываются вероятностными распределениями.

Мы не просто минимизируем ошибку на обучающих данных, но и получаем распределение возможных решений для каждой точки этих данных, что обеспечивает учет неопределенности в прогнозах.

Тут еще важно упомянуть вариационный вывод. Он позволяет приближаться к сложным апостериорным распределениям параметров модели.

Мы пытаемся найти более простое распределение, которое приближает истинное апостериорное распределение, и минимизируем расхождение между этими распределениями.

Истинные апостериорные распределения обычно слишком сложны для точного вычисления. Аппроксимация — это компромисс между скоростью и упрощением.

Есть еще метод Монте-Карло с цепями Маркова (Markov Chain Monte Carlo, MCMC). Он используется для сэмплирования из сложных апостериорных распределений.

Напоминаем, что сэмплирование — это такое предсказание на основе небольшой выборки о свойствах данных.

Например, если у нас есть 1000 шариков и мы вытащили три, и два из них оказались синими, значит, около 66 шариков — синие, условно.

Цепь Маркова сэмплирует значения параметров из апостериорного распределения с каждым новым шагом. Происходит "уточнение". С каждым новым шагом мы производим все более точную выборку и получаем все более точные оценки.

Однако MCMC требует больше вычислительных ресурсов, поэтому выбор между вариационным выводом и Монте-Карло зависит от задачи и доступных вычислительных мощностей.

Применение байесовских нейронных полей особенно ценно в задачах, где необходимо учитывать сложную пространственно-временную динамику или высокую степень неопределенности.

Например, при реконструкции трехмерных объектов на основе ограниченного набора данных можно получить множество возможных форм, каждая из которых имеет свою степень вероятности.

Методы Байеса дают нам разные варианты решений. Если мы проверяем, какие фигуры у нас получатся, мы получаем их вариации, а не абстрактную "примерную" эталонную модель.

В современном мире, где данные становятся основным капиталом компаний, способность понимать методы энтропии и теорию информации выходит на передний план в области машинного обучения, дата-сайенса и ML-инженерии.

Иначе продакшен будет бесконечно искать эффективные данные для своих моделей…

Теория, основанная на работах Клода Шеннона, дает нам формальные инструменты для измерения количества информации, содержащейся в сигналах, системах и данных.

Знаешь теорию энтропии и информации – знаешь КПД данных.

Энтропия, взаимная информация, скорость передачи данных, оптимизация кодирования и шума в каналах – все это позволяет инженерам и аналитикам грамотно оценивать, насколько полезны те или иные данные.

Важно не только количество, но и качество.

Предположим, у вас тысячи запросов интернет-пользователей.

Как понять, что эта информация вообще может быть полезна в оценке эффективности маркетинга? – только через анализ энтропии.

Энтропия и взаимная информация используются для оценки информативности признаков.

Вместо того, чтобы уповать на рандом – вы выбираете только качественные параметры.

А они уменьшают неопределенность целевой переменной и исключают избыточные или нерелевантные признаки.

А это плюс к скорости модели и минус к ее объему.

Энтропия используется в вероятностных моделях (например, Naive Bayes, Hidden Markov Models) для оценки неопределенности и информативности апостериорных распределений.

Энтропия — всё для оценки минимальной длины кодирования данных в алгоритмах сжатия, Хаффмана и Lempel-Ziv, с целью уменьшения объема данных для хранения и передачи.

Мы могли еще перечислить пару десятков пунктов, где теория информации и энтропии апают ваши скиллы на пару десятков баллов.  Но хватит.

Так что практикуемся, но и не забываем про теорию...