Цвета фресок Снетогорского монастыря восстановили с помощью ИИ

«Кванторианки» Алиса Овчинникова и Александра Соколова работали над восстановлением утраченного из-за пожара цвета фресок Снетогорского монастыря, сообщается в группе детского технопарка «Кванториум Псков» в соцсети «ВКонтакте».

Видео: «Кванториум Псков» / «ВКонтакте»

В XVI веке Снетогорский монастырь пережил сильный пожар. Часть уникальных фресок Собора Рождества Богородицы (объект Всемирного наследия ЮНЕСКО) пострадала: цвета потускнели, отдельные фрагменты были навсегда утрачены. В рамках проекта «Техногорье» перед командой «Промробоквантума» была поставлена задача с помощью искусственного интеллекта попробовать восстановить цвета первоначального облика изображений.

Выбрали всего 10 фресок для восстановления. Каждую отсняли около ста раз — под разными углами и при разном освещении, чтобы собрать максимально точные данные. Затем фото фресок вручную доработали с учетом рекомендаций историков и художников-реставраторов. Параллельно изучали, какие природные краски использовали мастера прошлого, чтобы максимально точно передать оригинальные оттенки.

Самым сложным этапом стало создание нейросети для восстановления цвета: готовые решения из открытого доступа для этой задачи не подходили.

После этого был написан код на Python с использованием специализированных библиотек, выполнена загрузка и предобработка данных, построена модель, настроены функции потерь и запущен цикл обучения. В ходе него генератор и дискриминатор соревнуются друг с другом, постепенно повышая качество восстановления, пояснили в технопарке. 

Результаты работы были представлены во время защиты проекта «Техногорье». Также этот проект был высоко оценен на конкурсах различного уровня: конкурс молодых изобретателей Псковской области, XXXI научно-практическая конференция обучающихся Псковской области «Шаг в будущее», питчинг-сессия IT-проектов «Сцены Опоры» и другие.