Новейший проект компании Гугл под заглавием «Play a Kandinsky», который реализуется вместе с Государственным центром искусства и культуры Жоржа Помпиду в Париже, ориентирован на воссоздание с помощью искусственного ума такового сложнейшего парадокса, как синестезия. В облегченной форме это явление, при котором один вид эмоций порождает чувства в другом, к примеру, зрительная картина начинает «звучать». Живописец Василий Кандинский считается одним из важных визионеров в данной сфере, его творчество выстроено на соединении изображения и звучания.
Осознать, почувствовать синестезию на личном опыте могут считанные единицы, потому обучение нейросети технологии ее сотворения почти во всем является тестом. Нет никаких эталонов и правил, недозволено провести параллели и выявить закономерности, но конкретно это и обязана попробовать создать новенькая нейросеть. За базу взята система Гугл Transformer, в обучении которой приняли роль музыкант Антуан Бертен и группа NSDOS.
Нейросеть анализирует уникальные картины Кандинского, такие как полотно «Желтоватый, красноватый, голубий» 1925 года, которое живописец писал под воздействием эффекта синестезии. И пробует подобрать звучание отдельных частей, чтоб зритель превратился в слушателя и, как и задумывал живописец, услышал в переплетении линий и цветов на картине музыку. А именно, красноватый цвет для Кандинского звучал как скрипка, а вот желтоватый отдавался ревом трубы, но что увидят и услышат остальные зрители – зависит от ИИ.
Источник — Гугл Arts & Culture
Источник: