ChatGPT + Программирование

Это большой повод для беспокойства и в Microsoft, и, в особенности, в Apple, у которых в разработке ИИ и конь не валялся. Пользователям же стоит ждать совершенно нового опыта работы с операционными системами. Текущие графические и тач-интерфейсы разрабатывались под методы управления, которые с появлением ИИ очень быстро устаревают. Зачем вручную сортировать файлы через Finder, открывать десятки документов, собирая из них информацию, кадрировать фото в графическом редакторе – если все это можно будет сделать с помощью голосовых команд?

Пока сложно назвать сроки всего этого: разработка моделей сейчас идет куда более быстрыми темпами, чем интерфейсов для них – в том же Gemini App полно багов и не хватает совсем простого функционала. Еще есть ощущение, что в случае с ОС на базе ИИ мы пройдем короткую версию 1975-85 годов, когда на рынке было более десятка систем, заметно отличавшихся друг от друга. Но вряд ли это будет большой проблемой, так как работа с ИИ заметно проще, чем с MS-DOS начала 80-х.

P.S. Поддержать меня можно подпиской на канал "сбежавшая нейросеть", где я рассказываю про ИИ с творческой стороны.

- Джуны получают AI-агентов вместо ТЗ → генерируют рабочие прототипы за часы,

- Тестирование, рефакторинг, документирование — автоматизируются.

Итог: команда не "тушит пожары", а создает ценность.

Но есть нюанс:

Чтобы vibe coding действильно давал, а не создавал хаос — надо учиться.

- Разработчикам → как внедрять AI в поток,

- Лидам → как перестраивать процессы,

- Мне → как быть системным и понятным.

Вот почему я сейчас живу в теме вайб-кодинга:

Потому что масштабирование важнее единичных кейсов.

Потому что ускорение команды эффективнее использования еще одного чат-бота.

Потому что дальше будет только веселее 😉

Затем я открыл туториал Breakers и пошел пилить раннер. Уроки старые, но базу дают и убирают неуверенность в движке. Сделал на основе этого очередной раннер-платформер с 1 уровнем, где можно было подрубить Год-мод и полететь!

Наступило время для чего-то сложнее. Сделать крестики-нолики, но я поставил себе 1 цель - там должна быть своя графика. Дано: графический планшет и Фотошоп. Результат - в предыдущем посте. Есть поле, яблоко и банан, что дало название Apples | Bananas. Я потратил плюс-минус 3 дня на это. Через сколько дебрей я прошел! Но это сделано! Выложена первая версия этого, будет добавлено меню, нормальный рестарт, ИИ и улучшение багов.

Так вот, к чему это я. Первое, не сдавайтесь! Понятно, что сразу может ничего не получиться, нужно идти дальше, работая. Второе, понятно, что это не выстрелит, и у каждого есть свои крестики-нолики. Но останавливаться я не собираюсь)

Кстати, этот "гениальный" шедевр можно оценить в моем новом тг-канале. В нем я буду выкладывать все, что знаю, узнал, а также гайды, мемы, новости, ассеты, скрипты и на мои файлы, как сейчас например. Вот ссылка: https://t.me/unitygames3009.

P.S: Спасибо тем ,кто дочитал до конца! @moderator, если снесет и этот пост, у меня подгорит пердак(

Привет, кодеры и продукт-манагеры! 🤞🏻

Всего за 10 лет «информационная плотность» ответов выросла в 900 раз:

▫️ 2014: Google сканировал ~2 страницы на запрос

▫️ 2024: Тот же Google — уже 18 страниц

▫️ ChatGPT-5: 1500+ страниц текстового эквивалента на ответ!

🤯 Где грань? Новые игроки:

- Gemini 2.5 Pro (Google):

— Анализирует до 2000 «страниц» за запрос;

— Видео + аудио + текст → мультимодальный перегруз.

DeepSeek-R2 (Китай):

— Скромнее: ~500 страниц;

— Но с фокусом на качество, а не объем;

— Open-source = прозрачность данных.

🔮 Тренд:  ИИ жует терабайты, чтобы выплюнуть абзац. Эффективно? Да. Расточительно? Еще как!

💬 А вы заметили, что ответы стали детальнее?

👍  Да, но слишком много «воды»

👎 Нет, всё равно поверхностно

🚀 Жду ИИ, который думает, а не копирует

А мы в Vibe уже готовим новый жирный релиз в Google Chrome

Теперь о минусах RAG. Описанная методика только дополняет контекст модели релевантными данными, но не повышает способность самой LLM к извлечению нужных признаков. Эта способность зависит от того, каким задачам и на каких данных модель была обучена. К тому же RAG добавляет несколько архитектурных и прикладных сложностей - пайплайн с векторной базой, embedding, поиск по индексу, чанкинг данных, который может быть нетривиальным процессом с применением различных методик (таких как Semantic Chunking).

Сейчас контекстное окно модели позволяет вместить намного больше данных, чем раньше - взять хотя бы 1 млн токенов у Llama 4, так что необходимость в чанкинге и самом RAG уже не настолько острая. Есть, конечно, проблема понимания длинного контекста. Важно понимать, что при решении практических задач точность LLM может падать пропорционально длине контекста - на эту тему есть интересный бенчмарк:

Разные модели имеют разные показатели long context understanding, как видно из таблицы выше. Их точность для определенных задач можно увеличить двумя способами - SFT-файнтюнингом на размеченных данных и дистилляцией - передачей знаний от более сильной модели.

Fine‑tuning: точечное улучшение LLM

Файнтюнинг изначально был менее доступен, чем RAG - во-первых, он требует понимания того, как работает оптимизация весов большой языковой модели-трансформера (если мы не говорим про файнтюнинг каких-то других архитектур нейросетей). Во-вторых, он требует набора данных (как правило, размеченных, если мы говорим про Supervised Fine-Tuning), и в третьих, он требует вычислительных мощностей, таких как GPU-кластер.

В результате файнтюнинг позволяет настроить веса модели под конкретные инструкции, задачи, формат данных, что значительно повышает точность модели в определенном специализированном домене.

На своем опыте я сделал следующий вывод: файнтюнинг необходим для разработки агентов, особенно в области feature-extraction задач, это очень эффективная практика, которая должна быть взята на вооружение разработчиками, так как она закрывает недостатки RAG и служит необходимым компонентом прикладных ИИ систем. Перечисленные выше трудности файнтюнинга тоже постепенно решаются - во-первых, облачные провайдеры делают доступными вычислительные мощности. В моих статьях и видео достаточно гайдов по использованию облака для файнтюнинга. Чтобы экономить на GPU, по-прежнему остается актуальной методика Low-Rank Adaptation (LoRA), хотя во многих случаях и полный файнтюнинг, который модифицирует веса модели полностью, тоже возможен и оправдан. Ведь для узко специализированной задачи может быть достаточно обучить модель на совсем небольшом наборе данных - 100-500 примеров.

Динамическая квантизация в сочетании с LoRA (QLoRA) позволяет еще сильнее сократить расход видеопамяти и время обучения модели.

В целом SFT-файнтюнинг можно разделить на следующие шаги: подготовка датасета → формирование train и validation наборов → обучение → оценка. В моем последнем видео я "начал с конца" и разобрал прикладные аспекты оценки (evaluation) при разработке агентских систем. Лишь недавно я обратил внимание на библиотеки для evaluation, такие как openevals в экосистеме Langchain/Langsmith, о которых в знал и раньше, но обходился простым скриптингом. Для тех, кто только начинает знакомство с evals, будет полезен мой ноутбук с экспериментами на Langchain/Langsmith и openevals.

При подготовке данных для feature extraction важно выбрать итоговый формат данных, который будет понятен и человеку, и LLM. При небольшом объеме данных самое важное - качественные примеры ответов (output), которые готовятся обычно человеком, вручную. Это особенно актуально для специализированных случаев feature-extraction - например, если вы разрабатываете систему, которая будет читать технические спецификации изделий, товарные коды и тому подобные типы данных. Для составления такого датасета придется привлекать человека с профессиональными знаниями в соответствующем домене. А для LLM чем проще выходной формат данных, тем меньше вероятность галлюцинаций. Поэтому я руководствуюсь тремя принципами -

1. Не усложнять выходной формат данных применением, например, JSON или XML - простого текста в большинстве случаев достаточно;

2. Выполнять feature-extraction из минимальной единицы входных данных за одну генерацию. Это может быть одна PDF-страница, изображение, параграф текста;

3. Использовать Chain-of-Thoughts для валидации процесса извлечения.

Само обучение, как ни странно, вызывает меньше всего проблем - используйте готовые средства обучения библиотеки transformers или API OpenAI, контролируйте качество чекпоинтов, своевременно используя evaluation, и следите за оверфиттингом.

Distillation: перенос знания

Distillation — это обучение компактных или более слабых моделей на основе поведения более сильной LLM‑«учителя». Это еще один способ повысить качество модели, часто менее затратный, чем SFT-файнтюнинг - достаточно просто сгенерировать датасет с помощью модели-учителя, без участия человека.

Отличным практическим примером перечисленных методик может послужить исследование технологического института Джорджии, опубликованное в январе 2025.

Авторами была реализована следующая архитектура:

DistilBERT + fine‑tuning на 10 000 документов → компактная модель с эффективным временем обучения (4–9 ч на ПК) с 97% качества модели-родителя. Пайплайн извлечения признаков включал следующие шаги:

• Сэмплинг 10k примеров из тестового корпуса (объявления вакансий) с целью извлечения признаков.

• Разбивка на чанки с применением Semantic Chunking

• Генерация ground‑truth с помощью LLM (Gemini).

• Файнтюнинг DistilBERT - небольшой модели с архитектурой раннего трансформера, которая получена путем дистилляции знаний модели BERT. Дистилляция позволяет сохранить 97% процентов качества, при размере на 40% меньше, чем у исходной модели BERT

• Prediction - извлечение признаков.

Логично предположить, что рассмотренные в этой статье методики извлечения признаков из документов можно и нужно комбинировать.

RAG — поиск релевантных фрагментов, Fine‑tuning для улучшения и стабилизации ответов модели, и Distillation в эффективной агентской системе дополняется промпт-инжинирингом и CoT, Chain‑of‑thoughts, для самовалидации системой извлеченной информации и ее автоматического итеративного приближения к ожидаемому результату.

Но мы его вернули, и заставили работать снова в наших Agentic AI проектах.