Всем нам нравится, что современные компы способны делать за нас рутинную, скучноватую работу. Что-то доведенное нами до автоматизма, мучительное и без конца циклическое.
За крайний пару десятилетий в области компьютерных технологий значимого фуррора достигнули новейшие процессы, вроде процедурной генерации. Они разрешают нам достигнуть различных результатов с минимальными затратами, позволяя уделять больше внимания творчеству. С помощью процедурной генерации создаются уровни (виртуальные локации), растения (Speedtree) и даже текстуры (Substance Designer).
А в крайние годы сформировался новейший инструмент — GAN, что расшифровывается как Generative Adversarial Networks (генеративно-состязательная сеть). Нейронные сети, которые генерируют новейшие данные, делают изобоажения и последовательности.
Эти фреймворки машинного обучения сталкивают вместе пару ИИ, с целью узнать, какой итог получится самым правдоподобным. При всем этом весь процесс полагается на библиотеку данных, загружаемую в нейросеть.
Ранешние версии GAN были простыми и демонстрировали достаточно непонятные результаты. По последней мере, никто бы не решился сказать:
А что, давайте употреблять это плохое изображение рыцаря-пса, сделанное DeepDream, в нашей последующей крупнобюджетной видеоигре.
Невзирая на это, чудилось, неудачное начало, большие компании узрели потенциал GAN. Так что сейчас на рынке доступно огромное количество нейросетей, с адекватной ценой и качеством. Потому в производстве их могут употреблять не только лишь большие компании, да и маленькие студии, художники-фрилансеры и обыденные люди.
Это открывает новейшие, большие способности. Но есть потенциальные угрозы и подводные камешки, о которых креативщикам необходимо знать. В этом материале представлен обзор того, как можно с фуррором употреблять GAN, что ожидает нас в дальнейшем и как это отразится на нашей работе в наиблежайшие 5 лет.
Оригинал публикации: Gamasutra
Введение
Для начала, стоит совершить маленькой прыжок во времени. Изображение выше я сделал 18 месяцев вспять с помощью веб-сайта GAN, где цветовая шифровка областей испльзовалась для определения параметров среды. Можно было схематически нарисовать облака, реку, широкий горный хребет либо даже здание с 4-мя рядами окон и большенный дверью.
Опосля, по нажатии на клавишу «Create», происходило истинное «чудо». Я был по-настоящему удивлен, когда в первый раз попробовал сервис. А когда показал итог работы, то он ошеломил моих коллег и товарищей.
В первый раз показалось, что эти нейросети стали так сильными, что сейчас повысят производительность работы. Заместо того, чтоб растрачивать несколько часов, данный инструмент дозволил за считанные минутки сделать несколько правдоподобных концептов ландшафта. Тем временем команда NVIDIA работает над схожим инвентарем, который включает не только лишь схематичный ввод, да и дозволит поменять общее настроение и время суток в генерируемом изображении.
Пару месяцев спустя я натолкнулся на хорошее выступление Скотта Итона, создававшего сеть ИИ с глубочайшим обучением, которая употребляла в работе огромное количество заблаговременно загруженных фото. Он употреблял сеть для сотворения абстрактных человечьих фигур, которые в качестве вводных данных полагаются на обыкновенные наброски.
В конце концов, его опыты дошли до того, что для обучения сети использовались модели кубов и остальных форм. Опосля того как ИИ научился употреблять новейшую библиотеку, Скотт брал результаты, также основанные на черновиках, и преобразовал в физические статуи.
Перенесемся на два месяца вспять, к началу новейшего производственного цикла в нашей студии. Превосходный шаг препродакшена. И, как это нередко бывает на ранешних шагах разработки, у нас было мало больше свободы для тестов, потому мы могли возвратиться к начальной точке и отыскать новейшие крутые методы для сотворения безумных зрительных эффектов и переосмысления работы наших художественных отделов. Препродакшен — самое наилучшее время для определения трудозатратных задач и методов решения заморочек. Либо просто для маленькой оптимизации всякого рабочего процесса.
Имея это в виду, я помыслил о веб-сайте Ganbreeder, которым воспользовался некое время вспять. Ресурс дозволял загрузить собственные изображения и «скрестить» их с существующими картинами от остальных создателей либо из их библиотек. С того времени веб-сайт переименовали в Artbreeder, и сейчас на нем есть огромное количество разных GAN, заточенных под решение определенных задач: создание окружения, персонажей, лиц либо под наиболее спец группы, включая аниме и фурри.
Спустя пару дней работы с инвентарем я закончил так очень беспокоиться за свои результаты. Не поймите меня некорректно: я полюбил инструмент и стремительно привык к нему, но часто результаты вызывали стршное чувство неловкости либо даже чего-то сверхъестественного. Когда прошел этот период, я показал результаты в команде, и мы начали дискуссировать способности, который предлагал этот CrossBreeder.
Применение
Будем реалистами. Если верно настроить и научить свою нейронную сеть, то можно получить бескрайние способности. Можно сделать сеть, наиболее направленную на определенную цель, не только лишь с учетом того, какая библиотека употребляется для ее обучения, да и зависимо от того, как способы вводы и переменные будут сформировывать конечный итог.
По сути, большая часть из нас, не имея серверную ферму в подвале либо соответствующих способностей программирования/написания скриптов, ограничены параметрами, доступными на веб-сайте.
Касаемо нашей процесса производства я нашел несколько принципиальных качеств, которые уже принесли настоящую пользу. Не только лишь в плане экономии времени, да и для воплощения новейших творческих мыслях, которые даже тяжело было представить.
Нашему проекту требовалось создание концептов, которые выглядели бы чуждо и нежданно, в чем как раз заключается сила GAN. Они генерируют результаты, на 1-ый взор кажущиеся близкими к реальности, но если вы им позволите, то могут создавать странноватые, необыкновенные формы и конструкции.
Вот некие вероятные сценарии использования GAN и то, как я употреблял их.
Концепты персонажей
Пока что у меня смешанные чувства к тому, как GAN делает концепты персонажей. Причина ординарна: персонажи — база хоть какого кинофильма, игры либо другого повествовательного продукта. Они кропотливо прорабатываются и полагаются на связь огромного количества качеств, потому непременно следуют определенным правилам и изредка генерируются случайным образом. Непременно, все это принципиально лишь для основных героев со своими историей и предысторией.
В таком случае опосля получения результатов генерации GAN приходится проделывать много доборной работы. Часто приходится поменять перспективу, трансформировать одни и соединять воединыжды остальные части. А потом, опосля общения с дизайнерами, сценаристами либо техническим художником, приходится проделывать эту работу в 3-ий, 4-ый, а то и 5-ый раз. Этот процесс может отнять столько же сил и времени, сколько и обыденный способ дизайна персонажей.
Одно из тривиальных преимуществ — это формирование мыслях для костюмов и одежки. Тут я вижу пользу в том, чтоб начать с чего-то совсем необычного, но выглядящего круто, а потом смягчить итог, чтоб он был читаемым и разумным для поставленной цели.
Очередное хорошее применение — второстепенные персонажи и инопланетяне. Часто их образы свободны от серьезных правил либо даже получают выгоду, если смотрятся удивительно и неузнаваемо.
Портреты
Тут есть свои трудности. Иногда результаты бывают очень неплохи: я был испуган и встревожен, когда лицо с экрана, которое я лишь что сделал, улыбнулось мне в ответ, вроде бы давая мне осознать, что оно такое же реальное, как и пролитое кофе на десктопе. Результаты, стопроцентно готовые к стадии продакшена. Не сомневаюсь, что через несколько лет почти все выпущенные концепт-арты для таковых близких к реальности игр, как The Last Of Us, покажутся на Artstation, и никто не изумится и не спросит, как удалось сделать настолько близкие к реальности изображения.
Отлично обученные системы без усилий управляются с созданием наиболее стилизованных и абстрактных лиц. Благодаря этому живописцы могут одномоментно узреть, каким будет определенный персонаж, если изобразить его в ином стиле. Осознать, как как герой будет смотреться с большенный бородой, иной прической либо наиболее мягенькими чертами. Либо даже узреть лицо персонажа, которое было бы в два раза обширнее обыденного.
В этом близком к реальности примере для сотворения лица использовалась StyleGAN. Эта нейронная сеть дозволила за считанные минутки сделать вид лица в 3/4, узреть улыбающегося персонажа либо даже сформировать его другой образ. Для всего остального получить резвый и высококачественный итог было проще с помощью обычного наложения и совмещения изображений.
Свита
Кроме сотворения портретов GAN отлично проявляют себя при формировании среды. Независимо от того, задействуете ли вы Artbreeder либо способ сегментированного ввода, таковой как NVIDIA GauGAN, результаты феноменальны и разрешают с высочайшей скоростью воплотить творческий потенциал, в особенности при разработке миниатюр настроений и тому подобного.
Опосля окончания генерации все еще требуется приложить мало усилий, но природа наиболее снисходительна исходя из убеждений эффекта «наизловещей равнины». Потому можно весьма стремительно получить фактически безупречные результаты. Но намного важнее то, что они будут очень различными. Это правильно как для близких к реальности пейзажей, так и для необыкновенных и неведомых планет.
Единственный недочет — интеграция спостроек в ландшафт. Создание отдаленного городка либо городского профиля — обычная задачка, но, если вы желаете получить атмосферу центра Лос-Анджелеса, достигнуть высочайшей точности и детализированной реалистичности может быть лишь опосля специфичного обучения нейросети для данной цели.
Главные кадры, раскадровка, сцены и иллюстрации
Может быть, когда-то разработка достигнет уровня, когда в качестве вводных данных мы сможем указывать «мужчину в голубой рубахе, сражающегося с супергероем в Италии», а результатом будет многофункциональная визуализация. В таком случае мы приблизимся к выполнению задач из данной группы. Но в реальный момент нейросети сначала пути. Уже есть API для перевода текста и визображения, но, если честно, работают они паршиво.
Сложность сотворения удачной сцены для продакшена в промышленности развлечений безрассудна. Будучи творцом, для тебя нужно мыслить о композиции, ракурсе, движении, освещении, прошлом и последующем кадрах, контексте. Очень много деталей для современных GAN. Компьютерным гениям Земли пригодится еще как минимум пара лет, чтоб достигнуть адекватных результатов. Может быть, на данный момент самое время, чтоб стать художником по раскадровке.
Текстуры
Чтоб проверить способности сетей, я начал с сотворения нескольких баз для текстур. Что касается поиска разных мыслях для сотворения текстур, то применение GAN — хороший вариант. Но временами четкость и точность мучаются от нехватки деталей, от что итог смотрится искусственным. Но потому что Substance Designer уже существует, легко представить, что уже идет работа по улучшению и решению заморочек интеграции специфичных нейросетей. Осталось дождаться их.
Дизайн
Дизайн — еще одна сторона GAN в которую я втюрился. Чем больше свободы с вводными данными, тем лучше. Этот процесс выбрасывает из зоны удобства и дозволяет за пределами привычек. Органический дизайн работает намного лучше технического. Все еще существует трудность с четкими краями и границами, потому чем меньше библиотека нейросети, тем поточнее и на техническом уровне более четко получатся результаты. Но так можно утратить часть фактора нежданности, который время от времени идет на пользу.
Абстракция и искусство
Современному миру искусства будет нужно пересмотреть собственный взор на то, где конкретно начинается искусство и какова роль зрителя, в противовес креативному процессу творца.
Без усилий можно сделать что-то схожее на картину, и никто не будет колебаться, что распечатанная версия, висячая в вашей гостиной — издавна позабытая композиция Кандинского либо современная абстрактная картина букета цветов.
Искусство живет своим контекстом и смыслом. Нередко через художника и то, на чем он/она настаивает, чему предназначил свою жизнь. Если используете GAN для поддержки собственного творческого процесса, тогда стоит разглядывать ее как хороший инструмент заслуги результатов, расширяющих мысли, усиливающих наго. В этом плане небезопасно полагаться на мировоззрение компа и потреблять либо употреблять то, что он сделал без помощи других, даже если предоставляешь ему начальные вводные данные.
Задачи
Принципиально выделить, что в GAN нет некий магической клавиши «Сделать хороший предмет искусства», о которой люди грезят годами. Как и раньше нужен кто-то, кто понимает, что желает и что с сиим созодать опосля сотворения. Непременно, даже необученный человек может создавать крутые изображения, и созодать это намного резвее. Из-за этого сократился разрыв меж художником с 10-летним стажем и тем, кто лишь начал работать креативщиком. Тем не наименее, как и раньше требуется знать базы дизайна, включая композицию, цвет и свет, соотношения и так дальше.
Очередной принципиальный фактор — работа опосля генерации. Опосля сотворения изображения, которое пойдет в продакшен, принципиально приготовить его к данной стадии. И в этом случае свойство зависит только от ваших способностей и опыта — здесь нет обычного и комфортного решения, лишь годы работы. Принципиально учесть, каким требованиям к анимации должен соответствовать дизайн, согласуется ли итог с общими целями продукта либо зрительными советами?
Что созодать
Начиная употреблять GAN в собственной работе, легко утопнуть в том эффекте, который получаешь от их использования. Потому принципиально верно осознавать, каковы цели в данном процессе. Думайте о том, что вы желаете достигнуть, а не то, какие инструменты используете. Размышляйте о вводных данных и учитывайте свое видение, а опосля приступайте к генерации классных результатов.
Подобно глобализации, существует опасность, что дизайн станет очень упрощен, прямолинеен. Если огромное количество людей скармливают нейросети одни и те же данные, то итог получится очевидным и однородным.
Креативные профессии новейшего поколения — Shazoo + GeekBrains
Как думаете, вы быстрее творческий человек либо считаете себя …
Дальше
Но нет колебаний, что в дальнейшем мы будем больше и больше работать при поддержке ИИ.
Иллюстрация в шапке: Robin Tran
Больше увлекательных статей на Shazoo
- СМИ: Сериал «Академия Амбрелла» продлили на 3-ий сезон
- Спидраннер World of Warcraft прокачался до наибольшего уровня за три с половиной часа
- В сеть попала полная карта мира Assassin’s Creed Valhalla
- Ютубер сказал, что его PlayStation 5 уже погибла
- Как команда фанатов уже 10 лет воссоздает Средиземье в Minecraft
- Via:gamasutra
Источник: