Привет! Годами анимешники пытаются разорвать грани 2D мира. На реддите есть целый раздел посвящённый данным разработкам. Так вышло, что и я поучаствовал в схожем проекте.
Думаю, что многие из вас видели сайт selfie2anime. Он основан на открытом исходном коде и позволяет с помощью магии машинного обучения конвертировать фоточки в аниме.
Иногда выходит годно!
Иногда кринжово не очень...
Результат высылается на почту, что несколько устарело.
Так вышло, что несколько моих друзей разбираются в машинном обучении. После пары недель нытья просьб одна из них запустила публичную модель и разработала к ней Android приложение. Вышло удобнее чем с сайтом. Особенно, когда работает...
Оказывается, вам не нужен большой IP, чтобы оказаться вдохновителем крутого сервиса!
Правда, после пары постов, появились первые установки, отзывы и понимание, что мир ещё не готов...
А ещё люди не читали инструкцию и публиковали туда всякие ~50 сантиметровые штуки. Угадайте, сколько пикабушников на 100 человек?
Но кого остановит волна негатива? Не нас! Нужно найти проблему и решить её. (Даже, если это не так проблема)
Можно заметить, что у получающихся картинок блеклые цвета. Это связано с тем, что нейросеть обучалась на старых аниме. Кроме того, у неё явные проблемы с тенями...
Поэтому, после моих настойчивых замечаний было решено потратить ещё немного времени на приложение и обучить его на современном аниме!
Как идейный вдохновитель, графику должен был добыть я... Вы пробовали найти триста тыщ аниме голов? И чтобы эти головы были 2010+ года выпуска, да в достойном разрешении... Очень легко на самом деле - гуглите "Anime-Face-Dataset".
В идеале, стоило накачать рисунков из Printrest, как мне и советовали, но взять готовый архив проще же. Иногда я бываю СЛИШКОМ вдохновляющим - смог "продавить" простой путь =\
Итак, эти картинки загрузили в нейросеть и как-то поставили её учиться трансформировать 3D в 2D...
К сожалению, это РЕАЛЬНО оказался набор голов и других частей тела. Там не было фонов и их программа рисовать не научилась.
Чтобы хоть как-то сгладить сиё недоразумение, в приложение была добавлена опция для ПоискЛицоОпределение. Теперь, люди, гордо загружающие себя в полный рост имеют хоть какой-то шанс увидеть достойный результат.
После обучения, картинки стали действительно выглядеть современнее. Но и достичь достойного результата стало сложнее из-за моего косяка с подбором данным для обучения.
Новая сеть хуже различает цвета волос и глаз. Зато реже уходит в трип из-за теней и не путает число глаз. Это же важнее чем их цвет?
Ну и конечно лучше работает с котиками o(≧▽≦)o
Так и заканчивается эта история... (И не смотрите на текст ниже) Спасибо, если прочитали. Надеюсь, что она вас чему-нибудь научила. Планированию там... или игнорированию мнения вдохновляторов по выбору дата-сета для обучения. Надеюсь, что вы не ожидали тут какой-то эпик.
Я вдохновил подругу на создание забавного сервиса, который всё же не пришёлся людям по душе. Мы получили опыт, повеселились, слили денег на сервера и набили синяки - это жизнь 2D она или 3D. Некоторых вон вообще грузовики сбивают.
Если честно, боюсь, что промахнулся немного с сообществом, но про разработку я знаю только GameDev ._.
Напоследок оставлю чит-код для приложения, который отключает рекламу - PIKABU, чтобы его ввести, надо на главном экране зажать плашку с ссылкой на UGATIT.
Подруга моя, просьбы мои, тупые советы мои, тег ваш...
P.S. Нет. Это нельзя использовать в реальном времени на очках виртуальной реальности.
