Что такое вычислительная фотография и как к ней пришли IT-корпорации

И начнет снимать на смартфон. «Халтура!» – возмутитесь вы. Но если согласитесь продолжить съемку, то к своему удивлению получите вполне «профессиональные» фотографии, в которых ничто не выдаст «низкое» происхождение. В чем подвох?

Свой ответ на этот вопрос дала серия анонсов флагманских смартфонов, которую с начала февраля провели Samsung, Xiaomi и другие бренды. Как повелось в последние годы, в первую очередь они щеголяли их камерами, превратившимися из приятного бонуса в центральную функцию мобильников. Однако ни число матриц и объективов, ни другие горячо обсуждаемые характеристики не дают представления, за счет чего удалось добиться прорыва в мобильном камеростроении.

Главным ноу-хау стали методы обработки кадра с участием искусственного интеллекта (ИИ). Называемые в совокупности вычислительной фотографией, они усложняются с каждым поколением моделей и до неузнаваемости преображают зафиксированный камерой световой поток. Таков очередной этап эволюции фототехники, всегда стремившейся к компактности и быстродействию. От волшебства, творимого с помощью опасных химикатов в темной комнате, это привело фотографию к простейшим «однокнопочным» устройствам с почти неограниченным ресурсом.

Пока знатоки спорят о смелых решениях вычислительной фотографии, публика голосует рублем, предпочитая смартфоны «полноценным» камерам. Не стоит ждать полного исчезновения «зеркалок»: часть пользователей не примет новую технологию так же, как в свое время мастера пленочной эпохи в штыки встретили «цифру». И все же в долгосрочной перспективе мобилография ставит под угрозу существование именитых японских фотоконцернов. В последние годы они, хотя и обозначили стремление бороться за аудиторию, сильно уступают производителям смартфонов по темпам развития. И в результате уходят от прямой конкуренции, перебрасывая усилия с исчезающего рынка любительских аппаратов на продукцию элитного уровня.

Это лишь начало тех процессов в мире мультимедиа, которые запускает тотальная смартфонизация. Как ожидают эксперты, вскоре вычислительная фотография перейдет от компенсации недостатков мобильного «железа» к созданию некой улучшенной копии действительности, где уже нельзя будет отделить фотографию от компьютерной графики, а настоящую реальность от дополненной. Вслед за тем разработка пленоптических, вживляемых и других типов камер приведет к появлению новых аудиовизуальных техник и жанров искусства. Как это происходит, можно проследить на примере дрон-фотографии.

Впору будет заново формулировать смысл фототехнологий: зачем мы пытаемся «удержать мгновения», коллекционируем картинки – доказательства жизни? Впрочем, привычка задаваться подобными вопросами к тому времени может полностью атрофироваться.

«Профиль» запускает серию материалов о том, как сегодня устроены фототехнологии и почему их дальнейшая эволюция обещает переворот на рынке электроники и в нашем восприятии мира.

Революционные 2010-е

Эксперименты с цифровой фотографией начались в 1970-х, а на массовый рынок технология вышла в конце 1990-х, почти одновременно породив два типа устройств: «зеркалки» и камерофоны. Первый фотоаппарат современного типа (Canon EOS D2000, 1998 год) всего на пару лет опередил мобильники с «глазком» в задней крышке (Kyocera VP-210 и Sharp J-SH04, 2000-й). С тех пор наличие камеры стало маркетинговой приманкой телефонов всех форм и марок, но долгое время о конкуренции с фотоаппаратами речи не шло: возможности «старших братьев» были несравнимо выше, а плюсы мобилографии исчерпывались концепцией «камеры, которая всегда с тобой».

Кстати, в середине 1990-х разработчики полагали, что камера в мобильнике понадобится только для видеозвонков – на прототипах она располагалась спереди, примыкая к экрану, и лишь затем была убрана на тыловую панель. Но пользователи камерофонов вдруг принялись снимать все подряд, и в 2000-х фронтальные камеры пришлось вернуть уже с другой целью – ради селфи.

Постепенно идея целиком скрестить телефон с фотоаппаратом, «упаковав» достоинства последнего в карманный девайс, все сильнее захватывала умы разработчиков. На рынке появились мобильники с зум-объективами: от Nokia N93 2006 года с трехкратным зумом до моделей Samsung начала 2010-х с десятикратным, внешне напоминавших компакт-камеры («мыльницы»). А в 2012 году Nokia 808 PureView сравнялась c «мыльницами» по площади сенсора – 1/1,2 дюйма.

Но прорывными эти модели не стали – габариты смартфонов росли быстрее, чем качество снимков. В итоге производителям пришлось смириться с тем, что по физическим параметрам за фотокамерами не угнаться, и пойти совсем в ином направлении. Тут можно вспомнить мультфильм «Крылья, ноги и хвосты»: зачем страусу равняться на грифа, пытаясь набрать высоту? У него слабые крылья, зато быстрые ноги – значит, можно добежать до пункта назначения, пока гриф летит. Фотография: от античности до наших дней

V–IV вв. до н.э.

Китайские и древнегреческие философы впервые упоминают камеру-обскуру – метод проецирования светового рисунка через отверстие в стене темной комнаты

XIII–XV вв.

Камера-обскура находит применение в астрономических наблюдениях, а затем в живописи Ренессанса

XVIII в.

Начало экспериментов со светочувствительными материалами. В 1725 году химик Иоганн Шульце обнаружил «отпечаток» фотонов (частиц света) в растворе хлористого серебра

1799 год

Томас Веджвуд получает изображение силуэтов на бумаге, пропитанной светочувствительным раствором, но не может его сохранить: силуэты исчезают под дальнейшим воздействием света

1826 год

Нисефор Ньюпс, используя открытый им метод гелиографии и камеру-обскуру, создает «Вид из окна в Ле-Гра» – старейшее из дошедших до нас фотохимических изображений

1839 год

Год официального изобретения фотографии. Луи Дагер представляет аппарат для получения позитивного отпечатка на медной пластине с серебряной эмульсией – дагеротип

1839 год

Сразу же появляется альтернативный метод – калотипия Фокса Тальбота. В отличие от дагеротипа, он позволяет получить негатив, а уже с него печатать позитивы. Решена проблема тиражирования фотоснимков

1840 год

Йозеф Пецваль создает первый светосильный объектив (f/3,7). Для получения кадра больше не нужна многоминутная выдержка, что открывает дорогу для портретной съемки. Начало эпохи фотоателье

1861 год

Первая цветная фотография в истории – «Тартановая лента» Томаса Саттона

1871 год

Ричард Мэддокс представляет технологию желатиносеребряного фотопроцесса, объединившего преимущества дагеротипии и калотипии. Аналоговая фотография основана на нем по сей день

1880-е годы

Джордж Истмен меняет металлические пластины на гибкий фотоматериал – рулонную целлулоидную пленку. Основана компания Eastmen Kodak, заточенная на максимальное упрощение фототехнологий

1900 год

Eastman Kodak выпускает камеру Brownie по рекордно низкой цене – $1. Начало эпохи массовой фотографии

1897–1902 годы

Компания Carl-Zeiss-Stiftung патентует «Планар» и «Тессар» – самые популярные оптические схемы объективов по сей день

1910–1920 годы

Из кино в фотографию приходит пленка 35 мм. Это позволяет уменьшить камеры до карманных и наладить серийный выпуск дальномеров

1910–1930 годы

Доминирование немецкой фотоиндустрии. Успехи компаний Voightlander, Contax, Ernst Leitz (Leica)

1936 год

В продажу поступают первые цветные фотопленки – Agfacolor Neu и Kodachrome

1948 год

Первый фотоаппарат, проявляющий снимки сразу после экспонирования, – Polaroid Land 95. Начало эпохи моментальной фотографии

1940–1950 годы

Формирование японской фотоиндустрии. Рыночные успехи компаний Nippon Kodaku (Nikon), Canon, Minolta, Asahi Optical (Pentax), Fujifilm

1979 год

Первый фотоаппарат с автоматическим фокусом – Canon AF-35M

1970-е годы

Начало экспериментов с электронной фотографией – сохранением изображения на кремниевую микросхему, покрытую светочувствительными фотодиодами. Снимки разрешением 100х100 пикселей записывались на магнитную ленту

1982 год

Kodak выпускает в продажу фильм-сканер – устройство для оцифровки пленочных негативов. Появляется возможность компьютерного редактирования снимков

1986–1992 годы

Появление термина «мегапиксель», программы Adobe Photoshop и файлового формата JPEG

1998 год

Первый цифровой фотоаппарат современного типа – Canon EOS D2000. До этого матрица крепилась к фотокамере в составе «цифрового задника»

2000 год

Первый мобильный телефон со встроенной камерой – Kyocera VP-210

Начало 2000-х

Стоимость цифровых «зеркалок» падает ниже $1 тыс. Массовая миграция любительской фотографии с пленки на «цифру»

2008 год

Появление режима видеосъемки в «зеркалках». Panasonic выводит на рынок беззеркальные фотокамеры

2010-е годы

Появление смартфонов с несколькими фотомодулями и «интеллектуальной» обработкой изображения. Начало заката фотоаппаратов как отдельного устройства

2000–2010 годы

Начало экспериментов с фотографией светового поля. Выпуск первых пленоптических камер компанией Lytro С середины 2010-х рост матриц в камерофонах остановился: последние несколько поколений iPhone и Samsung Galaxy обходились 1/2,55 дюймовым сенсором (лишь в анонсированной на днях модели Galaxy S20 он увеличен до 1/1,3 дюйма). Это повторяет развитие цифровых камер, которые тоже не стали копировать пленочные размеры кадра, и в результате аналоговые 35 мм превратились из «малого формата» в цифровой «полный кадр». Средний и большой форматы ушли на периферию рынка, зато появились «кропнутые» сенсоры: 35-миллиметровый кадр, уменьшенный в полтора-два раза. Миниатюризацию матриц цифровая фотография компенсировала принципиально новым качеством – высоким попиксельным разрешением снимка.

А вот трюк, на который пошли производители смартфонов: в помощь к одной камере добавить еще несколько, благо места на задней панели предостаточно. В 2014 году HTC One стал первым смартфоном с двумя тыловыми фотомодулями, к 2018-му стандартом рынка стала связка из трех камер, а в 2019-м вышла первая пятикамерная модель – Nokia 9 PureView, наследница и антипод той самой 808 PureView с единственной суперматрицей.

Но даже если усеять заднюю крышку камерами, это мало что дало бы, не используй мобильники свое главное преимущество – наличие под крышкой мощного «центра управления полетами», то есть собранной сенсорами информацией. Это позволило заменить оптический конструктив «зеркалок» сложными цифровыми преобразованиями. На передовой прогресса

Быстрый доступ к достижениям IT-индустрии за считанные годы превратил смартфон из сугубо «походного» девайса в мини-компьютер. Если 1990-2000-е стали временем реализации «закона Мура» (формуле, гласящей, что производительность кремниевой микроэлектроники удваивается каждые 24 месяца) для домашних устройств, то в 2010-е пришло время портативных.

Сегодня, судя по тестам, мобильные чипы Apple Bionic и Qualcomm Snapdragon сопоставимы с «начинкой» настольных ПК (их даже начали внедрять в ноутбуки, переворачивая иерархию гаджетов: теперь на передовой прогресса смартфон, а десктоп – его увеличенная версия). Не отстают показатели оперативной памяти (до 12 Гб) и внутреннего накопителя (до 1 Тб), постоянно шлифуются операционные системы (сегодня кажется недоразумением, что к суперматрице Nokia 808 PureView прилагалась простейшая ОС Symbian).

Все это сделало возможным развитие нейросетевых программ, которые отличаются от обычных способностью самостоятельно регулировать настройки, запоминая реакцию пользователя. Первоначально искусственный интеллект в смартфоне (например, в виде голосового ассистента) был проекцией облачного сервиса: в самом девайсе не хватало мощности для ИИ-вычислений и емкости для хранения обучающей выборки, поэтому он постоянно обращался к интернет-ресурсам. Однако с выходом на рынок нейроморфных чипов (NPU – neural processor unit), первым из которых был Huawei Kirin 970, мобильники получили собственный «мозг», работающий без подключения к Сети. С каждым днем «умные» гаджеты все точнее ориентируются во вкусах своего хозяина, и кто знает, как мутирует их функционал через десяток лет, когда они будут знать всю нашу подноготную… Сам термин «вычислительная фотография» (computational photography) появился еще в конце 2000-х в исследованиях профессора Стэнфордского университета Марка Левоя. Он определил ее как набор компьютерных изобразительных приемов, расширяющих возможности фототехники. Главный тезис Левоя: съемка – лишь начало создания кадра, программная «доводка» – обязательный второй этап. Первыми пробами пера стали фильтры Instagram *(принадлежит организации, признанной в РФ экстремистской с 21 марта 2022 года и запрещена на территории РФ) (2010 год), режим Auto Enhance в iOS 5.0 (2011-й)… И понеслось: гонка камерофонов запомнится как одна из примет 2010-х, в исторической перспективе не уступая ажиотажу вокруг дагеротипии в середине XIX века или появлению малоформатной пленки в начале двадцатого.

Что любопытно, никто не смог победить: судя по авторитетному рейтингу DxOMark, показатели лидеров рынка – Samsung, Huawei и Apple – примерно равны. В 2020 году фотовозможности смартфона определяются не брендом, а ценовой категорией; во флагманских аппаратах инновации внедряются всеми одновременно. Это позволяет рассматривать вычислительную фотографию не как историю корпоративной борьбы, а шире – как достижение человечества.

Продолжение следует.