превратить аниме персонажа в человека

Генерация аниме с помощью нейросети StyleGAN

StyleGAN — та самая нейросеть, которая генерирует лица несуществующих людей на сайте thispersondoesnotexist.com. Исследователь Gwern Branwen вывел её на новый уровень и научил создавать несуществующие лица персонажей аниме, запустив свой сайт thiswaifudoesnotexist.net. На нём каждые 15 секунд появляется новый персонаж и его история, также генерируемая искусственным интеллектом. Сегодня мы расскажем, как самому обучить нейросеть для создания аниме-лиц с помощью StyleGAN.

В попытках заставить компьютер рисовать аниме есть что-то забавное — это уж точно интереснее, чем работать со снимками знаменитостей или с датасетом ImageNet! Кроме того, рисунки и аниме отличаются от фотографий, которые сейчас очень часто используются в задачах машинного обучения. Если нейросети научатся генерировать случайные нарисованные изображения, то совсем скоро станет возможна генерация картин и фотографий по их текстовому описанию.

Gwern пробовал решить задачу с помощью ряда существующих генеративных сетей: StackGAN / StackGAN ++ & Pixel * NN *, WGAN-GP, Glow, GAN-QP, MSG-GAN, SAGAN, VGAN, PokeGAN, BigGAN 3, ProGAN и StyleGAN. Многие из них начинали либо расходиться после одного или двух дней обучения, либо создавать ограниченный диапазон лиц (или одно лицо), либо просто сходиться к изображениям плохого качества.

Первый успех продемонстрировали сети BigGAN и ProGAN: они показали, что обычные CNN могут научиться генерировать и масштабировать чёткие аниме-изображения. Сеть ProGAN была достаточно мощной, но требовала около 6 недель обучения на GPU. Поэтому ей на смену пришла StyleGAN — более быстрая архитектура, с которой можно обучать объёмные модели на больших наборах данных.

StyleGAN стала настоящим прорывом, поскольку предоставляла возможности уровня ProGAN, но работала быстрее. Эта сеть с радикально иной архитектурой минимизирует потребность в медленном прогрессивном росте (возможно, полностью его исключая) и эффективно обучается на изображениях с разным разрешением. Кроме того, она позволяет контролировать генерируемые кадры с помощью механизма передачи стиля.

Примеры

Для начала продемонстрируем возможность StyleGAN генерировать аниме-лица:

озможность StyleGAN генерировать аниме-лица:

Стоит отметить, что лица получаются очень разнообразными: меняется не только цвет волос или глаз, ориентация головы и другие мелкие детали, но и общий стиль. Изображения могут быть похожи на кадр из мультфильма, компьютерную графику, аниме 90-х и 00-х годов и даже на рисунки акварелью или маслом.

Видео, демонстрирующие разнообразие аниме-лиц:

О StyleGAN

StyleGAN представлена в 2018 году. Она использует стандартную архитектуру GAN, применяемую в ProGAN, но черпает вдохновение из механизма передачи стиля. StyleGAN модифицирует свою генераторную сеть (генератор), которая создаёт изображение путём его многократного увеличения: 8px → 16px → 32px → 64px → 128px и т. д. При этом на каждом уровне используется комбинация случайных входных данных или «стилевого шума» (“style noise”) с AdaIN. Это указывает генератору, как стилизовать изображения с определённым разрешением: изменить волосы, текстуру кожи и так далее. Систематически создавая такую случайность на каждом этапе процесса формирования изображения, StyleGAN может эффективно выбирать более удачные варианты.

StyleGAN вносит также ряд дополнительных улучшений: например, в ней используется новый датасет лиц “FFHQ” с изображениями размером 1024 пикселя (выше, чем у ProGAN). Кроме того, сеть демонстрирует меньше потерь и очень интенсивно использует полностью связанные слои для обработки случайного ввода (не менее 8 слоёв из 512 нейронов, в то время как у большинства GAN 1 или 2 слоя). Ещё более поразительным является то, что в StyleGAN не используются методы, которые считались критически важными для обучения других GAN: например, релятивистские потери, распределение шума, расширенная регуляризация и т. д.

За исключением этих особенностей, архитектура довольно обычная. Поэтому если вы имели дело с какой-либо GAN — можете смело работать со StyleGAN. Процесс обучения тот же, гиперпараметры стандартные, а код во многом совпадает с ProGAN.

Приложения

Благодаря своей скорости и стабильности StyleGAN успела приспособиться к широкому кругу задач. Вот некоторые из её применений:

— гостиничные номера (с текстовыми описаниями, сгенерированными RNN): Этого номера не существует

кухня / столовая / гостиная / спальня (с использованием трансферного обучения)

Что нужно для обучения

Данные

Необходимый размер набора данных зависит от сложности задачи и от того, применяется ли трансферное обучение. По умолчанию StyleGAN использует довольно большую модель генератора, способную потенциально обрабатывать миллионы изображений, поэтому данных много не бывает.

Для обучения аниме-персонажам приемлемого качества с нуля требуется минимум 5000 изображений. Для таких сложных задач, как «несуществующая кошка» использовалось

180 тыс. снимков. Судя по многочисленным ошибкам, проблема либо в недостаточности этих данных, либо в сложности генерации кошек.

Вычисление

Для того чтобы обеспечить достаточный размер мини-пакетов, потребуются графические процессоры с > 11 ГБ видеопамяти, например, Nvidia 1080ti или Nvidia Tesla V100.

Репозиторий StyleGAN предоставляет приблизительные сроки обучения для систем с 1-8 GPU. Сконвертировав их в общее количество часов работы GPU, мы получим следующее:

Предполагаемое время обучения StyleGAN при различных разрешениях изображений и используемых GPU (источник: репозиторий StyleGAN)

Подготовка данных

Обратите внимание: набор данных StyleGAN должен состоять из одинаково отформатированных изображений: они могут быть только 512х512 пикселей или только 1024х1024 и т. д. и относиться к одному и тому же цветовому пространству (вы не можете использовать одновременно RGB и градации серого). Тип файлов должен быть таким же, как у модели, которую вы собираетесь (пере)обучать (нельзя переобучить PNG-модель на наборе данных JPG). Кроме того, в файлах не должно быть никаких ошибок, например, неправильной контрольной суммы CRC — их часто игнорируют библиотеки и средства просмотра изображений.

Подготовка лиц

Процесс подготовки лиц:

Цель состоит в том, чтобы превратить это:

Ниже представлены shell-скрипты для подготовки датасета. Альтернативой может быть использование утилиты danbooru-utility, которая позволяет исследовать набор данных, фильтровать по тегам, оценивать, обнаруживать лица и изменять размеры изображений.

Обрезка

Загрузить датасет Danbooru2018 можно через BitTorrent или rsync. Вы получите тарболл метаданных JSON, распакованный в папку metadata/2* и структуру данных /<0-999>/$ID..

Идентификаторы можно извлечь из имён файлов напрямую, или же из метаданных:

Этот скрипт обрабатывает только одно входное изображение. Выполнить обрезку фотографий параллельно можно следующим образом:

Здесь мы устанавливаем параметр CUDA_VISIBLE_DEVICES=»» — это отключает использование GPU, поскольку для этой задачи он не даёт очевидного ускорения.

Очистка и масштабирование

Удаление ненужных файлов:

Следующий важный шаг — масштабирование изображений с помощью нейросети waifu2x, которая хорошо справляется с двукратным увеличением аниме-кадров. Но она работает довольно медленно (1-10 секунд на изображение), запускается только на GPU и написана в неподдерживаемом в настоящее время DL-фреймворке Torch. Можно попробовать использовать другую GAN сеть для увеличения разрешения (например, SRGAN, о которой мы писали ранее).

Если вы хотите сэкономить время, можете масштабировать лица с помощью обычного ImageMagick, но их качество будет невысоким.

Проверка и дополнение данных

Масштабирование (ещё раз) и преобразование

После дополнения данных неплохо было бы сэкономить место на диске, преобразовав изображения в JPG и снизив качество примерно на 33%. Так можно освободить достаточно много дискового пространства без видимых потерь:

Не забудьте, что модели StyleGAN совместимы только с изображениями того типа, на котором были обучены.

Теперь масштабируем все изображения к размеру 512х512 пикселей с помощью ImageMagick без сохранения пропорций:

Любое ошибочное изображение может привести к сбою процесса импорта, поэтому мы удалим всё, что отличается от JPG 512×512 sRGB:

Но если вы проверили изображения ранее, проблем быть не должно. Преобразование выполняется следующим образом:

Поздравляем, самое сложное позади!

Обучение модели

Установка

Предполагается, что у вас присутствует и работает CUDA. Автор проекта использовал ОС Ubuntu Bionic 18.04.2 LTS и версию драйвера Nvidia # 410.104, CUDA 10.1.

Также вам понадобится Python версии 3.6 и выше, TensorFlow и зависимости для StyleGAN:

Конфигурация

StyleGAN не поддерживает опции командной строки, вместо этого необходимо отредактировать train.py и train/training_loop.py :

1. train/training_loop.py

Исходная конфигурация указана в функции training_loop в строке 112.

Ключевыми аргументами являются:

G_smoothing_kimg и D_repeats : влияют на динамику обучения

network_snapshot_ticks : указывает, как часто сохранять скриншоты

resume_run_id : установлен на «latest»

resume_kimg : указывает на финальное значение разрешения генерируемых изображений

2. train.py (ранее config.py )

Здесь мы устанавливаем число графических процессоров, разрешение изображений, набор данных, скорость обучения, зеркальное отражение или дополнение данных и размер мини-пакетов. Этот файл включает себя настройки, предназначенные для ProGAN — следите за тем, чтобы случайно не запустить ProGAN вместо StyleGAN и не запутаться.

Значения скорости обучения и размера пакетов можно оставить по умолчанию. Но разрешение изображений, набор данных и зеркальное отражение укажите обязательно:

Так выглядит сообщение об ошибке:

У автора для 2x1080ti установлено:

Запуск

StyleGAN можно запустить в GNU Screen, который поддерживает несколько оболочек: 1 терминал для запуска StyleGAN, 1 для TensorBoard и 1 для Emacs.

В Emacs можно открыть файлы train.py и train/training_loop.py для справки и быстрого редактирования.

TensorBoard — это визуализатор записанных во время обучения значений, которые можно посмотреть в браузере, например:

TensorBoard может работать в фоновом режиме, но не забывайте обновлять его с каждым новым запуском.

Обучение StyleGAN — это скорее искусство, чем наука. Более подробные советы по настройке и регулировке процесса можно найти на сайте автора проекта.

Так выглядит успешное обучение:

Генерация аниме

А теперь самое интересное — создание образцов!

Для начала поясним значение гиперпараметра 𝜓. Это так называемый «трюк усечения» (“truncation trick”), который используется во время генерации, но не во время обучения. С его помощью можно контролировать разнообразие получаемых изображений. При 𝜓 = 0 разнообразие равно нулю и все лица будут похожи на одно «усреднённое» лицо. При ±0.5 вы получите достаточно широкий диапазон образцов, а при ±1,2 увидите большое разнообразие лиц / стилей, но среди них будет много искажений. Рекомендуется установить значение около ±0.7 — так вы достигните баланса между качеством и разнообразием.

Случайные образцы

Видео

Самый простой способ — сделать скриншоты прогресса, сгенерированные по время обучения. Их размер увеличивается по мере повышения разрешения, поэтому следует выполнить сжатие с потерями или преобразование в JPG. Вот пример конвертации изображений с помощью FFmpeg:

Загрузка готовой модели

Можно загрузить готовую модель, обученную на 218794 образцах в течение

38 GPU-дней. Актуальная версия — от 8 марта 2019 года.

Перенос обучения

Одна из наиболее полезных вещей, которые можно сделать с обученной моделью StyleGAN — использовать её в качестве «стартовой площадки» для более быстрого обучения новой сети на меньшем объёме данных. Например, нашу модель можно переобучить на подмножество аниме-персонажей: рыжеволосых, мужчин, или на одного конкретного героя. Для этого понадобится около 500-5000 новых изображений, но иногда достаточно и 50.

Пример переноса обучения StyleGAN на персонажа Holo из “Spice&Wolf”:

И ещё один пример: Луиза из “Zero no Tsukaima”:

Она получилась не такой качественной из-за гораздо меньшего размера выборки.

Теперь, когда кому-то понадобится уникальная аниме-аватарка или эксклюзивная подборка портретов любимых героев, не нужно будет прочёсывать весь Интернет. А если вы поклонник манги, то генерация несуществующих вайфу — прекрасная возможность начать рисовать свои комиксы с неповторимыми персонажами. Хотя нейронные сети пока что сильно отстают от человека в плане творческих способностей, но уже сейчас они могут служить хорошим источником вдохновения.

Источник

Как я буду выглядеть в аниме?

Растёт спрос на японские анимационные фильмы. Поклонники учатся рисовать сами героев мультфильма. И каждый хотели бы узнать, каким же образом я буду выглядеть в мультике аниме. В интернете можно найти интересные приложения и тесты, которые помогут вам это узнать.

«Аниме лицо» — фильтр для камеры смартфона

У пользователей есть только два пути посмотреть, как он будет выглядеть в стиле восточных мультфильмов: самостоятельно нарисовать себя или воспользоваться мобильным приложением.

Далеко не каждый умеет хорошо рисовать. Особенно это касается черт лица. Чтобы сделать красивый рисунок, нужно долго учиться. Остается второй вариант — воспользоваться специальными программами. В них разработчики уже положили все необходимые инструменты для создания нужного образа.

Нам остается скачать ее и загрузить свою фотографию. Программа «Аниме лицо» — это набор интересных фильтров и функций, которые помогут изобразить лицо в стиле Anime.

После запуска приложение попросит предоставить ваше изображение. А когда оно окажется на рабочем столе, нужно будет добавить мультяшные глаза на свое лицо, прикрепить такой же нос и остальные части лица.

Это процесс очень забавный. Всего за несколько секунд вы превращаетесь в героя настоящей манги. И будете знать, какая внешность у вас была бы в аниме.

Это интересное приложение есть пока только лишь для пользователей Android. Возможно, вскоре он появится и для владельцев Айфонов. Интуитивно-понятный интерфейс поможет разобраться в редакторе без надобности читать инструкции или смотреть гайды.

Кроме готовых элементов есть кисти, помогающие создавать и дополнять любой образ. Большое количество масок и интересных эффектов помогают преобразиться за несколько минут. Пользоваться программой Аниме лицо могут как девочки, так и мальчики.

Может быть вы хотите автоматических функций, чтобы программа сама создавала ваш образ? Тогда вам следует попробовать приложение «Аниме камера» на Андроид.

Создатели этого софта предлагают воспользоваться автоматическим алгоритмом, которые в один миг делает из вашего лица на картинке — анимешный образ. В Play Market данную программу приняли не очень тепло.

Так как она нередко ошибается с расцветкой волос, цветом глаз. И показывает на готовой картинке не то, что пользователи хотели бы увидеть.

Каждому самостоятельно нужно испробовать приложение, чтобы проверить интересную функцию. После запуска Аниме камеры предлагается открыть галерею мобильного устройства и указать на свою фотографию. Или сразу открыть редактор и воспользоваться кистью или карандашами.

После загрузки файла в программу, на экране можно будет увидеть мультяшного героя, основанного на внешних чертах лица на фото. Отличный генератор, чтобы узнать, как же вы будете выглядеть в роли аниме-персонажа. Если оно понравится, вы сможете загрузить файл в свою галерею или поделиться им в других приложениях.

Каждый полученный результат можно исправить во встроенном графическом редакторе. Используйте палитру цветов и кисти, а также другие полезные функции в мобильном приложении.

Мобильный фоторедактор для Айфона

Рассмотренные выше программы могут загрузить пользователи мобильными устройствами с Андроид. «Аниме редактор фотографий» является приложением для IOS и Айфонов. Скачать его можно в App Store совершенно бесплатно.

Программа также не является автоматическим редактором, показывающим готовые результаты. Пользователю необходимо предоставить своё фото редактору, после чего заменить некоторые элементы своего лица и добавить несколько штрихов для завершения. Чтобы полностью выглядеть, как персонаж из аниме.

Из раздела фильтров используйте эффекты для фото, которые придадут необычную атмосферу вокруг вашего лица. И помогут преобразить всю фотографию. В центре панели управления можно выбирать цвета для фильтров. Или подкорректировать цвета глаз.

Мультяшные маски в Тик Ток покажут, каким вы будете аниме

Для того, чтобы воспользоваться маской, пользователю необходимо запустить в Тик Ток создание своего ролика и открыть список масок.

Более детальнее смотрите в инструкции, как же вы можете выглядеть в роли аниме:

После применения маски можно сделать скриншот изображения на экране. В таком случае у вас появится готовая фотография с маской в галерее. Используя видео с применённой маской, можно удивить своих подписчиков и друзей. Показав им ваш новый мультяшный образ в аниме. Так же маску можно найти в мобильном приложении Snapchat, которое легко скачать из Play Market или App Store бесплатно. Необходимых эффектов помогают добиться и специальные графические редакторы, которых можно найти в большом количестве для Windows, Android и IOS.

Интересные выводы делает онлайн-тест в интернете, который можно проходить на компьютере или в мобильном телефоне. Один из таких можно найти по адресу suzzy.ru.

Он подходит только для девочек. Именно так решили его создатели — к ним и все вопросы. Чтобы получить свой образ аниме-тян, нужно ответить на все вопросы точно и честно. И в завершении можно будет увидеть интересный результат.

Как работать с тестом:

По итогу ответа на все семь вопросов появляется страничка с описанием вашего аниме-персонажа. Показан конкретный пример одного из фильмов аниме и его героя, который максимально подходит для типа вашего темперамента.

Вкратце здесь говорится о его характере и предпочтениях. Готовым результатом можно поделиться в социальных сетях Facebook и Twitter. А если вы не согласны с тем, каким представил вас сервис, то пройдите этот тест ещё раз. Но теперь отвечайте на все вопросы более точно. Кнопка для запуска нового теста находится ниже описания.

Кроме уже представленных инструментов, для создания мультяшного образа из своей фотографии можно найти другие приложения. При этом они необязательно могут быть из японских мультфильмов. Но созданный персонаж получится более качественным и интересным.

Видео-инструкция

Все рассмотренные приложения и программы помогут вам найти свой образ в мультипликационных японских мультфильмах. Вы сможете узнать, как же именно вы будете выглядеть в нарисованном аниме Интересный тест предлагается пройти в этом ролике.

Источник

Нейросеть Selfie2Anime превратит вас на фото в героя аниме

Нейросетям сегодня находят самое различное применение, причем не только серьезное. Мы уже писали о сервисе Deep­Nude, который раздевает девушек. Теперь у пользователей сети появилось новое развлечение — программа, превращающая людей на фото в героев аниме.

Если вы хотите узнать, какой бы была ваша внешность в аниме, то теперь у вас есть такая возможность! Сервис Selfie2Anime, использующий нейросеть, быстро превратит вас на снимке в персонаж в стиле японской анимации. В основе программы лежит алгоритм, созданный компанией NCSoft, создателем популярной компьютерной игры Lin­eage II.

Нейросеть от NCSoft умеет не только перевоплощать людей в аниме-героев. Ранее ее возможности использовали для того, чтобы превращать фотографии в картины и обычных лошадей на снимках в зебр.

Сразу нужно предупредить, что человек не вмешивается в работу сервиса Selfie2Anime — все операции выполняет нейронная сеть, использующая алгоритмы машинного обучения. Наверное поэтому результаты обработки снимков иногда бывают очень странными. Но, если не придираться к мелочам, можно считать, что со своей задачей электронный разум справляется неплохо.

Чтобы воспользоваться услугами нейросети и получить свой портрет в стиле аниме, зайдите на сайт Selfie2Anime и отправьте свою фотографию для обработки системой. Результат сервис пришлет на электронную почту всего через несколько минут.

А вы знали, что у нас есть Instagram и Telegram?

Подписывайтесь, если вы ценитель красивых фото и интересных историй!

Источник

«Мама, смотри, я как Наруто». Нейросеть превращает людей в аниме, но результат выходит очень непредсказуемый

Люди открыли для себя сервис, превращающий селфи в кадры из аниме, и не могут остановиться. Нейросеть делает любую фотографию милым рисунком, но иногда что-то идёт не так и человек становится похож на загадочного монстра. Именно над подобными проколами и посмеиваются пользователи твиттера.

В субботу, 17 августа, двое разработчиков из Перта (Западная Австралия) объявили о запуске сервиса Selfie2Anime. Так своё детище анонсировал Нэйтан Гловер:

По словам авторов, за обработку фотографий на их сайте отвечают алгоритмы машинного обучения и нейронная сеть. За основу была взята нейросеть от NCSoft — студии, которая выпустила онлайн-игру Lineage II.

В большинстве случаев результаты смотрятся очень даже неплохо. Второй создатель сервиса — Рико Бети — публикует подборки из получившихся аниме-селфи у себя на странице. Например, вот:

22 тысячи селфи уже готовы, и это продолжается! Вот самые свежие с нашего сайта!

В двадцатых числах августа на сервис обратили внимание русскоязычные пользователи интернета — и массово начали делиться своими новыми образами.

Selfie2Anime — нейросеть, которая превращает фотки в аниме.
Хаха, я представляла себя милее.

Ребята, я в аниму попала.
#selfie2anime

Вскоре выяснилось, что кое-какие проколы нейросеть допускает.

SELFIE2ANIME считает, что у меня нет рта, но я должен кричать.

Какая-то ненависть у этой сетки к глазам.
#selfie2anime

И насчёт проблемы с глазами не согласиться сложно. Вот так сервис обошёлся с фотографией автора этой статьи:

Для того чтобы посмотреть на себя в аниме-образе, достаточно зайти на сайт, загрузить фотографию и указать свой электронный адрес. Как правило, картинка с результатом приходит на почту в течение пары минут.

Судя по всему, нейросеть в основном тренировалась на женских персонажах, поэтому мужчин она иногда обрабатывает довольно странно. Так, пользователь инстаграма под ником ai.imagine решил проверить, как сервис обойдётся с несколькими звёздами.

С Тейлор Свифт Selfie2Anime ещё более-менее дружит, а вот к мужчинам вроде Илона Маска или Джима Керри ей сложновато найти подход.

Да, их лица будут сниться вам этой ночью. А пользователи твиттера тем временем решили проверить, что будет, если загрузить на сайт не фотографии лиц. И результаты выглядят мило и пугающе одновременно.

Настоящая луна: мудрая и безмятежная.
Аниме-луна: изрядно потрёпана жизнью.

У этих картинок определённо есть что-то общее с контентом от бота, который недавно покорил твиттер. Его создатель решил начать программировать, и первое же его творение завоевало сердца более чем 200 тысяч людей. И его секрет успеха — упоротые эмодзи.

А другие друзья запустили сервис, который не только понравился людям, но и взят на вооружение крупными компаниями. Они придумали новый способ передавать координаты — при помощи слов. И получилось очень смешно и удобно — попробуйте узнать, из каких слов состоит ваш адрес.

Источник