Увеличение фотографий с помощью нейросетей

В этой статье мы сравним несколько программ по так называемому апскейлу (от англ. upscale) — увеличению фотографий. Причём мы сконцентрируемся на приложениях, которые имеют в своей основе искусственный интеллект.

Раньше фотографам было доступно только линейное увеличение фотографии. Приходилось балансировать между кратностью увеличения и сохранением деталей/ резкости. Основная проблема — отсутствие текстуры малых объектов.

Представим фотографию леса, в которой некоторые листья занимают несколько пикселей. По сути, это просто пятно, которое мы воспринимаем как листву. При линейном увеличении это пятно просто увеличится. И будет занимать (условно) не 4, а 8 пикселей. Но текстуры лист не получит — её неоткуда взять. Сейчас ИИ, а тем более генеративные нейросети, могут «додумать» что за текстура нужна и аккуратно добавить её.

С развитием генеративных нейросетей, стали повышаться требования к компьютерам, которые могли бы ворочать большими массивами данных. Поэтому всё чаще в этой сфере появляются облачные решения, и тем ценнее становятся хорошие локальные — которые можно установить на компьютер и использовать без интернета.

В рамках статьи мы не сможем рассказать обо всех существующих стартапах, которые появляются чуть ли не ежедневно. Зато подробно рассмотрим основных лидеров рынка — как облачные решения, так и классические десктопные приложения:

• Magnific.Ai (облако)
• Clipdrop (облако)
• Stable Diffusion (локально)
• Topaz Photo Ai (локально)
• ChaiNNer (локально)
• Adobe Photoshop (локально)

Впечатляющая генеративная нейросеть, которая действительно умеет дорисовывать. Я уже писал об этом инструменте заметку в Telegram. Для наглядной демонстрации эффекта, я взял скриншот из игры с низкой детализацией и увеличил его с дорисовкой деталей. Так сказать, wow-тест:

Да, впечатляюще, да интересно, да настраиваемо… Но, давайте, посмотрим как она справится с пейзажной фотографией?

Интерфейс управления лаконичен, настроек минимум, при этом есть возможность выбрать одну из восьми генеративных моделей, а также уровни креативности, HDR и соответствия оригиналу. К сожалению, пока есть возможность увеличивать не более чем в 2 раза и/ или до 4000px.

Результат
Тут мы видим действительно огромное количество дорисованной текстуры. Причём, дорисованной логично: очень хорошо проработан камень, трава, но вот с человеком уже не так однозначно. Возможно, это связано с тем, что модель для увеличения была выбрана «Landscape». Но главный философский вопрос в другом — это всё ещё та же самая фотография? Оставлю вам возможность для дискуссий.

Интерфейс Clipdrop ещё проще и ещё лаконичнее, а уровень увеличения доходит до 16-кратного (при платной подписке). В бесплатной версии всё так же можно увеличить фотографию только вдвое. Также в Clipdrop есть дополнительные инструменты редактирования фотографии.

Давайте сравним:

Результат
Тут мы видим попытку увеличить фотографию «без креативности»: максимум оригинальных деталей, не такая звенящая резкость как у magnific.ai, но и без самоуправства с дорисовкой. Лучше всего Clipdrop себя показывает при больших кратностях.

Раз мы заговорили про компанию-создателя нейросети, то в Stable Diffusion тоже можно увеличивать изображение. И в этом случае тоже работает генеративная дорисовка деталей. Настройка и возможности Stable Diffusion — это тема отдельного разговора. В интернете полно видео и примеров (правда больше про арт или портреты), но если коротко, то нам понадобится:

Если вы смогли всё это установить, то параметры с которых имеет смысл начать экспериментировать можно посмотреть на скриншоте:

Посмотрим на примеры?

Результат
Тут мы тоже видим сгенерированные текстуры, которые соответствуют логике. При этом Stable Diffusion — это такой Линукс в мире нейросетей. И результат очень сильно зависит от правильно подобранной модели для генерации. Минусом будут, пожалуй, большие компьютерные (и как следствие — временные) затраты и невозможность посмотреть «на лету» будущий результат выставленных параметров.

Несомненно, лидером апскейла тут будет компания Topaz, у которой раньше было семейство приложений, но сейчас они их свели в одно: Topaz Photo Ai. В нём можно делать шумоподавление, увеличение резкости, лечение микросмазов и увеличивать фотографии.

Программа имеет несколько обученных моделей, которые условно разбиты на Standart, High Fidelity Graphics и Low Resolution — то есть по типу контента на загруженной фотографии.

Результат
Очень быстро и без генерации текстур. Это может быть и плюсом (фотография остается максимально сама собой) и минусом (при больших кратностях увеличения начинается странная дорисовка, особенно на контрастных или текстурных объектах). Зато в Topaz можно пакетно загонять фотографии и всех их увеличивать за один присест с одинаковыми выбранными настройками.

Моя новая любимая нейросетевая игрушка, которая по сути является связкой-интерфейсом разных нейросетей. ChaiNNer построен на нодах, комбинируя которые можно делать просто космические вещи, у которых под капотом всё так же будут нейросетевые генеративные функции. В ChaiNNer можно пакетно обрабатывать фотографии, а еще тут можно… апскейлить видео!

Скачать и установить ChaiNNer можно на официальном сайте, а на гитхабе есть ссылки на модели, дискорд, способы восстановления и реставрации лиц и многое другое.

ChaiNNer может пользоваться возможностями и комбинировать между собой модели и функции pyTorch, NCNN, ONNX и Stable Diffusion.

Если же возвращаться к увеличению фотографии, то мы берем фотографию, ноду upscale, к ней подключаем модель апскела (большой список с описаниями тут), можем модифицировать выходное имя файла и куда сохранять. На скриншотах ниже представлены два варианта настроек увеличения фотографий.

Сравниваем…

Результат
Пожалуй этот результат можно сравнить с Magnific.Ai за исключением того, что он локальный и бесплатный. Да и фотография больше похожа на саму себя без креативных дополнений.

А с учётом того, что тут всё можно настроить более точно, да ещё и подобрать разные модели под разные задачи, то вариант выглядит очень интересно! За одним только минусом — требования к железу (компьютеру) довольно высокие.

Фотошоп в плане увеличения фотографии всё ещё апеллирует линейными понятиями. Ждём, когда они подтянутся к гонке апскейлеров, потому что для фотографа идеальным решением будет то, которое оставит его в одной программе и в рамках одного рабочего процесса.

Почему же я добавил в эту статью Фотошоп? Дело в том, что лично для меня пока ещё лучшим решением является микс представленных инструментов и потом смешение их с линейно увеличенной в Фотошопе фотографией. Нейросети нейросетями, но иногда они не справляются или ошибаются. Поэтому маски и прорисовка, где надо побольше, а где поменьше даст максимально возможный на текущий момент результат.

Генеративные нейросети подбираются всё ближе и ближе к нашему рабочему процессу. И отказываться от них точно не стоит. А «обёртки» вроде chaiNNer только помогают нам войти в эту сферу без программирования и каких-то серьёзных знаний в IT.

ps Для желающих самостоятельно сравнить кадры на полном экране мы выложили исходники в облако