Современные технологии глубокого обучения и искусственного интеллекта с каждым годом становятся все более полезными и удобными в различных сферах, например: создание нейросетей для мультяшки из фотографий.
Какие типы нейронных сетей умеют создавать из ваших фотографий арты в стиле аниме
Для понимания, как бы я выглядел в мультике, могут быть использованы следующие типы нейронных сетей:
- Переноса стиля (Style Transfer networks). Меняют образ из одной картинки на другую, сохраняя при этом содержание. С ее помощью можно создать произведение искусства из вашей фотографии.
- Генеративно-состязательные (GANs). Используют 2 сети (генератор и дискриминатор) для образования реалистичных изображений. При использовании GANs вы можете обучить сеть на большом наборе аниме картинок и создавать новые, основанные на ваших фотографиях.
- Автоэнкодеры (autoencoders). Применяются для преобразования изображения в латентное пространство, а затем обратно с другим стилем. При использовании автоэнкодеров вы можете обучить их на большом наборе изображений аниме, затем использовать для преобразования артов в аниме из ваших фотографий.
Список ИИ, рисующих аниме по фото людей
Наиболее часто используются такие сети:
- Waifu Labs;
- Different dimension me;
- DeepArt.io;
- Thisanimedoesnotexist ai;
- Animegan js;
- PaintsChainer;
- AI Gahaku;
- Prisma;
- Midjourney;
- Dall-e;
- Selfie2anime;
- Stable diffusion.
Selfie2Anime
Это бесплатный онлайн-сервис, делающий фотографию в стиле аниме на основе вашего портрета. Данная нейросеть существует достаточно давно (с 2019 г.), имеет фан-базу.
AnimeGAN JS
Это реализация алгоритма генеративно-состязательных сетей (GAN), обрабатывающая фото в аниме-стиль, написана на JavaScript. Она использует предобученную модель на большом количестве, чтобы создать новые изображения в том же стиле. AnimeGAN JS может быть использована для создания фотографий, мультфильмов, а также для обработки видео.
Different dimension me
Китайская нейросеть работает через браузер, превращая лица в аниме персонажей. Однако на практике она выполняет простую стилизацию, которая только отдаленно напоминает аниме.
Кроме того, есть 2 режима: «роботизированный» рисунок и «стилизация», которые влияют на итоговый результат. Во втором случае арт получается более естественным и проработанным.
Stable diffusion
Это алгоритм обучения без учителя (Unsupervised learning), который используется для генерации изображений. Этот метод был предложен исследователями из OpenAI в 2021 г.
Суть алгоритма заключается в том, что он получает на вход некоторое количество изображений и генерирует новые, синтезированные в соответствии с полученными данными. Алгоритм основан на методе диффузии (diffusion), который используется для распространения информации через изображение.
Stable diffusion отличается от других подобных алгоритмов тем, что он использует стабильную версию метода диффузии, что позволяет генерировать качественные изображения.
Thisanimedoesnotexist AI
Это проект, созданный исследователями из MIT и NVIDIA, который использует deep learning для генерации уникальных изображений.
Нейросеть обучается на основе большого количества реальных фото, а затем генерирует новые. Они создаются путем комбинирования различных стилей, композиций и элементов.
Все эти нейросети используют генеративно-состязательную сеть (GAN), которая состоит из 2 нейронных сетей: генератора, создающего новые изображения, и дискриминатора, оценивающего реалистичность полученного.
.jpg)
