Искусственный интеллект превращает скетчи в реалистичные фотографии
Группа исследователей из Китайской академии наук и Городского университета в Гонконге разработали алгоритм DeepFaceDrawing, способный воссоздавать "живые" фотографии из относительно грубых художественных набросков.
Системы, способные переформатировать изображения и превращать рисунки в реалистичные фото, не новость в сфере разработки. Однако большинство подобных алгоритмов имеет один существенный недостаток: готовый результат, получаемый в результате анализа, слишком зависит от входных данных. Добиться качественного изображения можно лишь в том случае, если исходные наброски будут достаточно обладать достаточно высоким качеством, художественной достоверностью или будут иметь четко очерченную карту границ.
Подобные методы, основанные на машинном обучении, как правило, имеют схожий метод анализа. Исходные изображения воспринимаются алгоритмом как фиксированные данные с очерченными границами. Система анализирует рисунок и восполняет недостающие текстуры или отсутствующую информацию.
В противовес такому подходу DeepFaceDrawing рандомно изучает реалистичные портреты и находит в них области, максимально напоминающие черты из грубых художественных набросков. По сути алогритм воспринимает вводные эскизы не как готовые рисунки, а как синтез различных художественных элементов, имеющих гибкие границы. Такой подход позволяет создавать действительно реалистичные фото даже из детских рисунков, больше напоминающих каракули, чем живые лица.
DeepFaceDrawing состоит из трех самостоятельных модулей: CE (встраивание компонентов), FM (разметка по характеристикам) и IS (синтез изображения). Модуль CE делит исходное изображение на отдельные элементы — левый глаз, правый глаз, нос, рот, — и последовательно изучает их. Модули FM и IS в совокупности образуют подсеть глубокого обучения, позволяющие формировать условную картинку и сопоставлять её компоненты с реалистичными фотографиями.
В результате алгоритм воссоздает "живые" фотографии с разрешением 512х512. Несмотря на то, что техническое качество готового снимка пока оставляет желать лучшего, визуальные характеристики выглядят вполне достойно. Никаких дефектов, наталкивающих на мысль, что к созданию изображения "приложил руку" искусственный интеллект, в готовых снимках не наблюдается.
Источник: https://syncedreview.com/2020/06/04/deepfacedrawing-generates-photorealistic-portraits-from-freehand-sketches/
Системы, способные переформатировать изображения и превращать рисунки в реалистичные фото, не новость в сфере разработки. Однако большинство подобных алгоритмов имеет один существенный недостаток: готовый результат, получаемый в результате анализа, слишком зависит от входных данных. Добиться качественного изображения можно лишь в том случае, если исходные наброски будут достаточно обладать достаточно высоким качеством, художественной достоверностью или будут иметь четко очерченную карту границ.
Подобные методы, основанные на машинном обучении, как правило, имеют схожий метод анализа. Исходные изображения воспринимаются алгоритмом как фиксированные данные с очерченными границами. Система анализирует рисунок и восполняет недостающие текстуры или отсутствующую информацию.
В противовес такому подходу DeepFaceDrawing рандомно изучает реалистичные портреты и находит в них области, максимально напоминающие черты из грубых художественных набросков. По сути алогритм воспринимает вводные эскизы не как готовые рисунки, а как синтез различных художественных элементов, имеющих гибкие границы. Такой подход позволяет создавать действительно реалистичные фото даже из детских рисунков, больше напоминающих каракули, чем живые лица.
DeepFaceDrawing состоит из трех самостоятельных модулей: CE (встраивание компонентов), FM (разметка по характеристикам) и IS (синтез изображения). Модуль CE делит исходное изображение на отдельные элементы — левый глаз, правый глаз, нос, рот, — и последовательно изучает их. Модули FM и IS в совокупности образуют подсеть глубокого обучения, позволяющие формировать условную картинку и сопоставлять её компоненты с реалистичными фотографиями.
В результате алгоритм воссоздает "живые" фотографии с разрешением 512х512. Несмотря на то, что техническое качество готового снимка пока оставляет желать лучшего, визуальные характеристики выглядят вполне достойно. Никаких дефектов, наталкивающих на мысль, что к созданию изображения "приложил руку" искусственный интеллект, в готовых снимках не наблюдается.
Источник: https://syncedreview.com/2020/06/04/deepfacedrawing-generates-photorealistic-portraits-from-freehand-sketches/
Задать вопрос
Заполните форму, и наши эксперты ответят вам