500 мегапикселей
на старую камеру

При таком большом увеличении нам неоткуда брать детали поэтому было принято решение разрешить нейросетям их придумывать и дорисовывать. Для увеличения я выбрал нейросеть Stable Diffusion c моделью cyberrealistic (v41). Эта модель хорошо справляется с фотореалистичными изображениями.

Когда мы говорим о нейросетях, всегда имеет смысл помнить, что они не готовы на текущей стадии развития работать сразу с большим изображением. Поэтому с ними часто работают или в маленьких разрешениях или раскладывают фотографию на «плитки».

В случае увеличения фотографии как раз работает второй способ. Наша фотография автоматически режется на квадраты (обычно 512×512px) после чего нейросеть их перебирает и увеличивает, дорисовывая внутри детали из контекста и согласовывая с соседними квадратами. Это с одной стороны позволяет работать с большими изображениями, а с другой — приводит к забавным коллизиям, с которыми мы сегодня тоже столкнемся.

Так как мы не генерируем новое изображение, а увеличиваем существующее, то нам нужен режим img2img, в котором мы выберем модель, которую предпочитаем и загрузим оригинал фотографии.

Если выше вы внимательно смотрели настройки, то заметили, что я специально сделал акцент на уровень шума. Именно он определяет сколько деталей будет придумано и дорисовано и насколько сильно новое изображение будет отличаться от оригинала.

Я рекомендую пользоваться значениями от 0.2 (максимально близко к оригиналу) до 0.5, но в рамках статьи в качестве иллюстрации покажу варианты до 0.7.

При таком уровне шума мы видим, что изображение стало резче (слева оригинал, увеличенный в Фотошопе, а справа — в нейросети). Кроме резкости появилась детализация, которой не было в оригинале, но в целом это похоже на апскейлеры типа Topaz Photo Ai — без генерации новых текстур.

Тут мы видим еще больше деталей, но также на однородных поверхностях (вода/небо) из-за того, что фотография изначально имела шум нейросеть начинает добавлять вольности — пририсовывать то, чего не было.

Текстура воды покрылась трещинами, а на небе появились пятна и «зачатки» облаков.

Еще больше деталей, но начинают появляться артефакты. Кроме усилившихся искажений однородных поверхностей вроде неба и воды нейросеть может воспринять любое небольшое цветовое/световое пятно за самостоятельный объект.

Появляется все больше генеративных элементов, но и новых артефактов — тоже. Например — туристическое снаряжение.

А лес на заднем плане — полностью преобразился и наполнился деталями.

Эти варианты изобилуют различными новыми сущностями и уже мало реалистичными рисовками. Предлагаю просто насладиться кропами лучших моментов.

Несколько сравнений оригинала и получившегося результата

Даже при просмотре на сайте видно насколько более детализированная стала фотография.

За последний год возможности генеративного увеличения фотографии сильно продвинулись. Стали появляться как бесплатные, так и коммерческие решения. Внедрение подобного функционала в классический софт фотографа — дело ближайшего будущего.

Это, даёт второй шанс старым фотографиям, снятым на камеры с низким разрешением. Убедиться в этом вы можете посетив фото-форум Nature Photo Talks, где сможете вживую изучить фотографию, распечатанную большим форматом! А ещё, я оставил на ней пасхалку от нейросети. Сможете найти?

P.S. Философский вопрос «Это все еще та же фотография или уже что-то новое» мы по-прежнему оставляем открытым!