Как победит вычислительная фотография
Будущее фотографии — это кот
1. Вастрик написал в твиттере, что хочет сделать пост про вычислительную фотографию.
2. Я забомбил от презентации Хуавея П30 Про.
3. Мы решили вместе поработать над материалом о вычислительной фотографии

В итоге у нас с ним вышли две разные статьи. Его вариант более гиковский, мой – для фотографов (типа). За подробностями к нему, у меня всё на пальцах.
На самом деле, любая цифровая фотография — вычислительная.

Когда плёночные фотографы, надышавшись химикатами, рассказывают про бездушный набор нулей и единиц, они вовсе не так уж и не правы. То, что получается после ручной оптической печати это действительно следы тех самых фотонов, которые были пойманы в момент съёмки. Цифра так не умеет.

Повод откинуть голову и мечтательно уставиться в потолок тут действительно есть. Нет электричества — нет фотки. С другой стороны, если в один прекрасный момент во всех розетках Земли пропадёт напряжение, фоточки будут нашей наименьшей проблемой.
Фотографы предпочитают удобство качеству. Всегда так было
«Вид из окна» - первая фотография в мире, сделанная то ли 1826, то ли в 1827 году французским изобретателем Жозефом Ньепсом
Любая революция в фотографии во все времена была нацелена на одно: облегчить фотографам жизнь. Переход с пластин на плёнку дал людям компактность, с плёнки на цифровые камеры – скорость, с цифровых камер на мобилки – возможность поделиться фоточкой тут же.

При этом каждый раз, переходя от одной технологии фиксации изображения к другой, по пути мы обязательно что-то теряли.

Так, форматные негативы американских Графлексов в середине 30-х давали более детальную и пластичную картинку, чем Эльмары на Лейках, но именно Эльмары в итоге так удачно скопировали в Японии, что получился Никон.

В свою очередь, цифровые фотокамеры исторически концентрировались на точности и техническом превосходстве, что в итоге привело к появлению колористов и фильтров в Инстаграме. Раньше ни те, ни другие были не нужны. Цвет и так был красивым.
С тем, насколько реально имитировать плёнку программными средствами обработки, разбирался в соответствующем посте: https://jejeya.pictures/fim-and-digital

Развитие мобильного интернета и мобильной же фотографии уже в наше время обесценило таланты любителей вытачивать каждый пиксель. Это больше никому не надо. Всё равно все смотрят в Инстаграме в 1080p.

В фотографии роль технологий всегда была выше, чем в других видах искусства, но теперь техническими вещами вновь занимаются те, кто и должен этим заниматься: инженеры и программисты.

Для фотографов же, которым важны не пиксели, а изображение, наконец-то наступила эпоха абсолютной благодати. Бери да снимай. А больше от тебя ничего и не требуется. Смартфоны всегда с нами, и снимают зачастую не хуже, потому что...
Способ обойти маленький размер матрицы уже придумали. Это стекинг
У Эппла, Гугла и присных не было иного выхода, кроме как изобретать новую фотографию. В качестве постоянных величин у них были крохотные матрицы, дохлая оптика и мантра про «физику не обманеш». А оказалось, что обманеш, если уметь считать.

Методологией, которая решает практически все проблемы, стал стекинг. Это что такое: когда не получается сделать одну нормальную фотографию сразу, можно сделать много хреновых и потом их объединить в одну суперхреновую.

Фотографы конца 00-х — начала 10-х пользовались этим фотошопным кунг фу, чтобы давить шумы ногами, впихивать в глубину резкости невпихуемое, убирать китайских туристов перед Колизеем и делать бессмысленные красивые размытые облачка без нейтрального фильтра.

Хотя бы в фоне эти ссылки откройте, а то опять будете потом говорить, что я вам об этом не рассказывал.
Это, конечно, не «тайлампс», а тот самый стекинг
Вся разница между вычислительной фотографией и Фотошопом в том, что Фотошопу требуется красноглазый ретушёр, а мобилке достаточно нейронки, которую научили писать симфонии или создавать шедевры.

Слово Вастрику:

Вастрик
— Вещь, о которой многие не задумываются, но она важна для понимания всей мобильной и вычислительной фотографии: камера в современном смартфоне начинает делать фотографии сразу как только вы открываете её приложение. Что логично, ей ведь надо как-то передавать изображение на экран. Однако, помимо экрана, она сохраняет кадры высокого разрешения в свой собственный циклический буфер, где хранит их еще пару секунд.

Когда вы нажимаете кнопку «снять фото» — оно на самом деле уже снято, камера просто берет последнее фото из буфера.
Самый хрестоматийный пример стекинга, это наложение нескольких кадров с разной экспозицией, чтобы расширить динамический диапазон.

Топовым камерам, вышедшим после 2017-го, это уже не особенно актуально: там всё прекрасно тянется из одного рава.

Примечательно, что эстетически такие преобразования фотографии чаще уродуют. Но проблема HDR в современной цифровой фотографии несколько выходит за рамки этой статьи и заслуживает отдельной заметки, поэтому поговорим об этом подробнее в другой раз.
Что до смартфонов, то с самого начала было ясно: такого же динамического диапазона на таких матрицах добиться невозможно, да и не надо. Проще налепить десяток снимков, аккуратненько их соединить и будет чудненько.

Сочетание этого простого приёма с уже упомянутым вычищением шумов через стекинг позволило Google реализовать технологию HDR+
«Вид из окна cмузи-бара» – первая фотография в мире на Pixel 3a, сделанная то ли 2018, то ли в 2019 индийскими стажёрами на зеркалку
И вновь слово Вастрику:

Вастрик
— Работает HDR+ достаточно просто: определив, что вы снимаете в темноте, камера выгружает из буфера 8-15 последних фотографий в RAW чтобы наложить их друг на друга. Таким образом алгоритм собирает больше информации о тёмных участках кадра чтобы минимизировать шумы — пиксели, где по каким-то причинам камера не смогла собрать всю информацию и лажанула.

Как если бы вы не знали как выглядит капибара и попросили пять человек описать её — их рассказы были бы примерно одинаковыми, но каждый упомянул бы какую-то уникальную деталь. Так вы бы собрали больше информации, чем просто спросив одного. То же и с пикселями.
И если HDR и HDR+ это технологии, которые позволили замаскировать кутылые возможности смартфонных матриц, то Night Sight стала первым способом обойти существенный недостаток всей цифровой фотографии как таковой: смешанного баланса белого.

Подробно я писал о проблеме в статье «Баланс белого: как было или как надо?». Вкратце суть такова: при смешанном свете мозг перекрашивает то, что видит, в нечто более оптически ему привычное.

Камеры так не умеют. А смартфоны научились.

Примерно по такому сценарию работает Night Sight. Смартфон сопоставляет источники с разной температурой света и подгоняет их друг к другу, пользуясь тем, что мир необычайно предсказуем.
Прокрасить фотографию похожим образом можно в любом фоторедакторе, но это занимает столько времени, что репортажные фотографы либо не заморачиваются с этим вообще, либо используют вспышки.

Не так с таким чисто смартфонный финтом, как задействовать информацию с двух сенсоров: чёрно-белого и цветного. Над чёрно-белым нет фильтра Байера, он получает больше информации о свете. Эта информация сочетается с информацией о цвете с другого сенсора и вуаля. Всё видно. Ни один фоторедактор такой информации из кадра уже не вытянет.
Способ обойти маленький размер оптики уже почти придумали. Это пиксель-шифтинг и пленоптика
Окей, с размытым фоном нынешние смартфоны более-менее научились работать, хотя я по-прежнему считаю, что это карго-культ.

Что дальше?
А дальше повсеместное развитие пиксель-шифтинга, который в камерах используется для повышения разрешения, а в смартфонах для цифрового зума без потери качества. Дополнительное разрешение так же задействуется и для компенсации смазов. Понимаете, да? Использовать тряску рук для компенсации тряски рук. Максимально изящно.

Таким образом, телевики и объективы с огромными диафрагмами с переменным уже успехом подменяются. В свою очередь никакая современная оптика не позволяет менять точку фокусировки пост-фактум.

Фотографические компании вкладывают огромные деньги в совершенствование автофокуса, в том время как IT-компании просто учат смартфоны менять точку фокуса пост-фактум.

Вастрик
— Вы не видите своего носа, потому что мозг склеивает вам итоговое изображение из двух разных глаз. Закройте один и вы заметите с краю целую египетскую пирамиду.

Тот же эффект достижим в пленоптической камере. Собрав сдвинутые относительно друг друга изображения из пикселей разных кластеров, мы сможем посмотреть на предмет как будто с нескольких точек. Прямо как наши глаза. Что открывает нам две крутые возможности: оценку примерного расстояния до объектов, что, как и в жизни, позволяет нам легко отделить передний план от заднего, а так же, если размеры объекта небольшие, позволяет полностью удалить его из кадра. Как нос. Оптически, по-настоящему и без фотошопа.

Из приходящих на ум примеров применения: вырезать деревья между камерой и объектом или удалять падающие конфетти, как на видео ниже.
Малая ГРИП – ✓.
Телерасстояния – ✓.
Фокус – ✓.

Что осталось? Свет?

Да ничего уже не осталось. Теперь фотография стала по-настоящему цифровой.
Эпилог
Каждый раз, когда число компромиссов становилось минимальным, новая технология приживалась и становилась массовой. История фотографии – это стремление к оперативности и миниатюризации.

Фигулина, которой можно и снять, и обработать, и поделиться изображением – мечта поколений фотографов. Теперь фотокамера это приложение.

То, что фотоиндустрия не особо развивается, вероятно, плохая новость для самой индустрии. Хорошая же новость в том, что вам и так есть на что снимать.
«Пока завод не починили» – мой канал о фотографии для тех, кто учится снимать в интернете. Подписывайтесь, он ничего.
comments powered by HyperComments
Другие ликебзные посты:
Поддержите проект
Ничто не мотивирует писать лучше, чем добровольные взносы. Вы можете поддерживать проект на Патреоене или же разово поблагодарить автора через форму здесь:
Made on
Tilda