Что такое вычислительная фотография и как к ней пришли IT-корпорации
24 февраля 2020 00:04
автор: Профиль

Что такое вычислительная фотография и как к ней пришли IT-корпорации

Однажды вы пригласите фотографа запечатлеть семейное торжество, а он придет… без фотоаппарата.

И начнет снимать на смартфон. «Халтура!» – возмутитесь вы. Но если согласитесь продолжить съемку, то к своему удивлению получите вполне «профессиональные» фотографии, в которых ничто не выдаст «низкое» происхождение. В чем подвох?

Свой ответ на этот вопрос дала серия анонсов флагманских смартфонов, которую с начала февраля провели Samsung, Xiaomi и другие бренды. Как повелось в последние годы, в первую очередь они щеголяли их камерами, превратившимися из приятного бонуса в центральную функцию мобильников. Однако ни число матриц и объективов, ни другие горячо обсуждаемые характеристики не дают представления, за счет чего удалось добиться прорыва в мобильном камеростроении.

Главным ноу-хау стали методы обработки кадра с участием искусственного интеллекта (ИИ). Называемые в совокупности вычислительной фотографией, они усложняются с каждым поколением моделей и до неузнаваемости преображают зафиксированный камерой световой поток. Таков очередной этап эволюции фототехники, всегда стремившейся к компактности и быстродействию. От волшебства, творимого с помощью опасных химикатов в темной комнате, это привело фотографию к простейшим «однокнопочным» устройствам с почти неограниченным ресурсом.

Пока знатоки спорят о смелых решениях вычислительной фотографии, публика голосует рублем, предпочитая смартфоны «полноценным» камерам. Не стоит ждать полного исчезновения «зеркалок»: часть пользователей не примет новую технологию так же, как в свое время мастера пленочной эпохи в штыки встретили «цифру». И все же в долгосрочной перспективе мобилография ставит под угрозу существование именитых японских фотоконцернов. В последние годы они, хотя и обозначили стремление бороться за аудиторию, сильно уступают производителям смартфонов по темпам развития. И в результате уходят от прямой конкуренции, перебрасывая усилия с исчезающего рынка любительских аппаратов на продукцию элитного уровня.

Это лишь начало тех процессов в мире мультимедиа, которые запускает тотальная смартфонизация. Как ожидают эксперты, вскоре вычислительная фотография перейдет от компенсации недостатков мобильного «железа» к созданию некой улучшенной копии действительности, где уже нельзя будет отделить фотографию от компьютерной графики, а настоящую реальность от дополненной. Вслед за тем разработка пленоптических, вживляемых и других типов камер приведет к появлению новых аудиовизуальных техник и жанров искусства. Как это происходит, можно проследить на примере дрон-фотографии.

Впору будет заново формулировать смысл фототехнологий: зачем мы пытаемся «удержать мгновения», коллекционируем картинки – доказательства жизни? Впрочем, привычка задаваться подобными вопросами к тому времени может полностью атрофироваться.

«Профиль» запускает серию материалов о том, как сегодня устроены фототехнологии и почему их дальнейшая эволюция обещает переворот на рынке электроники и в нашем восприятии мира.

Революционные 2010-е

Эксперименты с цифровой фотографией начались в 1970-х, а на массовый рынок технология вышла в конце 1990-х, почти одновременно породив два типа устройств: «зеркалки» и камерофоны. Первый фотоаппарат современного типа (Canon EOS D2000, 1998 год) всего на пару лет опередил мобильники с «глазком» в задней крышке (Kyocera VP-210 и Sharp J-SH04, 2000-й). С тех пор наличие камеры стало маркетинговой приманкой телефонов всех форм и марок, но долгое время о конкуренции с фотоаппаратами речи не шло: возможности «старших братьев» были несравнимо выше, а плюсы мобилографии исчерпывались концепцией «камеры, которая всегда с тобой».

Кстати, в середине 1990-х разработчики полагали, что камера в мобильнике понадобится только для видеозвонков – на прототипах она располагалась спереди, примыкая к экрану, и лишь затем была убрана на тыловую панель. Но пользователи камерофонов вдруг принялись снимать все подряд, и в 2000-х фронтальные камеры пришлось вернуть уже с другой целью – ради селфи.

Постепенно идея целиком скрестить телефон с фотоаппаратом, «упаковав» достоинства последнего в карманный девайс, все сильнее захватывала умы разработчиков. На рынке появились мобильники с зум-объективами: от Nokia N93 2006 года с трехкратным зумом до моделей Samsung начала 2010-х с десятикратным, внешне напоминавших компакт-камеры («мыльницы»). А в 2012 году Nokia 808 PureView сравнялась c «мыльницами» по площади сенсора – 1/1,2 дюйма.

Но прорывными эти модели не стали – габариты смартфонов росли быстрее, чем качество снимков. В итоге производителям пришлось смириться с тем, что по физическим параметрам за фотокамерами не угнаться, и пойти совсем в ином направлении. Тут можно вспомнить мультфильм «Крылья, ноги и хвосты»: зачем страусу равняться на грифа, пытаясь набрать высоту? У него слабые крылья, зато быстрые ноги – значит, можно добежать до пункта назначения, пока гриф летит. Фотография: от античности до наших дней

V–IV вв. до н.э.

Китайские и древнегреческие философы впервые упоминают камеру-обскуру – метод проецирования светового рисунка через отверстие в стене темной комнаты

XIII–XV вв.

Камера-обскура находит применение в астрономических наблюдениях, а затем в живописи Ренессанса

XVIII в.

Начало экспериментов со светочувствительными материалами. В 1725 году химик Иоганн Шульце обнаружил «отпечаток» фотонов (частиц света) в растворе хлористого серебра

1799 год

Томас Веджвуд получает изображение силуэтов на бумаге, пропитанной светочувствительным раствором, но не может его сохранить: силуэты исчезают под дальнейшим воздействием света

1826 год

Нисефор Ньюпс, используя открытый им метод гелиографии и камеру-обскуру, создает «Вид из окна в Ле-Гра» – старейшее из дошедших до нас фотохимических изображений

1839 год

Год официального изобретения фотографии. Луи Дагер представляет аппарат для получения позитивного отпечатка на медной пластине с серебряной эмульсией – дагеротип

1839 год

Сразу же появляется альтернативный метод – калотипия Фокса Тальбота. В отличие от дагеротипа, он позволяет получить негатив, а уже с него печатать позитивы. Решена проблема тиражирования фотоснимков

1840 год

Йозеф Пецваль создает первый светосильный объектив (f/3,7). Для получения кадра больше не нужна многоминутная выдержка, что открывает дорогу для портретной съемки. Начало эпохи фотоателье

1861 год

Первая цветная фотография в истории – «Тартановая лента» Томаса Саттона

1871 год

Ричард Мэддокс представляет технологию желатиносеребряного фотопроцесса, объединившего преимущества дагеротипии и калотипии. Аналоговая фотография основана на нем по сей день

1880-е годы

Джордж Истмен меняет металлические пластины на гибкий фотоматериал – рулонную целлулоидную пленку. Основана компания Eastmen Kodak, заточенная на максимальное упрощение фототехнологий

1900 год

Eastman Kodak выпускает камеру Brownie по рекордно низкой цене – $1. Начало эпохи массовой фотографии

1897–1902 годы

Компания Carl-Zeiss-Stiftung патентует «Планар» и «Тессар» – самые популярные оптические схемы объективов по сей день

1910–1920 годы

Из кино в фотографию приходит пленка 35 мм. Это позволяет уменьшить камеры до карманных и наладить серийный выпуск дальномеров

1910–1930 годы

Доминирование немецкой фотоиндустрии. Успехи компаний Voightlander, Contax, Ernst Leitz (Leica)

1936 год

В продажу поступают первые цветные фотопленки – Agfacolor Neu и Kodachrome

1948 год

Первый фотоаппарат, проявляющий снимки сразу после экспонирования, – Polaroid Land 95. Начало эпохи моментальной фотографии

1940–1950 годы

Формирование японской фотоиндустрии. Рыночные успехи компаний Nippon Kodaku (Nikon), Canon, Minolta, Asahi Optical (Pentax), Fujifilm

1979 год

Первый фотоаппарат с автоматическим фокусом – Canon AF-35M

1970-е годы

Начало экспериментов с электронной фотографией – сохранением изображения на кремниевую микросхему, покрытую светочувствительными фотодиодами. Снимки разрешением 100х100 пикселей записывались на магнитную ленту

1982 год

Kodak выпускает в продажу фильм-сканер – устройство для оцифровки пленочных негативов. Появляется возможность компьютерного редактирования снимков

1986–1992 годы

Появление термина «мегапиксель», программы Adobe Photoshop и файлового формата JPEG

1998 год

Первый цифровой фотоаппарат современного типа – Canon EOS D2000. До этого матрица крепилась к фотокамере в составе «цифрового задника»

2000 год

Первый мобильный телефон со встроенной камерой – Kyocera VP-210

Начало 2000-х

Стоимость цифровых «зеркалок» падает ниже $1 тыс. Массовая миграция любительской фотографии с пленки на «цифру»

2008 год

Появление режима видеосъемки в «зеркалках». Panasonic выводит на рынок беззеркальные фотокамеры

2010-е годы

Появление смартфонов с несколькими фотомодулями и «интеллектуальной» обработкой изображения. Начало заката фотоаппаратов как отдельного устройства

2000–2010 годы

Начало экспериментов с фотографией светового поля. Выпуск первых пленоптических камер компанией Lytro С середины 2010-х рост матриц в камерофонах остановился: последние несколько поколений iPhone и Samsung Galaxy обходились 1/2,55 дюймовым сенсором (лишь в анонсированной на днях модели Galaxy S20 он увеличен до 1/1,3 дюйма). Это повторяет развитие цифровых камер, которые тоже не стали копировать пленочные размеры кадра, и в результате аналоговые 35 мм превратились из «малого формата» в цифровой «полный кадр». Средний и большой форматы ушли на периферию рынка, зато появились «кропнутые» сенсоры: 35-миллиметровый кадр, уменьшенный в полтора-два раза. Миниатюризацию матриц цифровая фотография компенсировала принципиально новым качеством – высоким попиксельным разрешением снимка.

А вот трюк, на который пошли производители смартфонов: в помощь к одной камере добавить еще несколько, благо места на задней панели предостаточно. В 2014 году HTC One стал первым смартфоном с двумя тыловыми фотомодулями, к 2018-му стандартом рынка стала связка из трех камер, а в 2019-м вышла первая пятикамерная модель – Nokia 9 PureView, наследница и антипод той самой 808 PureView с единственной суперматрицей.

Но даже если усеять заднюю крышку камерами, это мало что дало бы, не используй мобильники свое главное преимущество – наличие под крышкой мощного «центра управления полетами», то есть собранной сенсорами информацией. Это позволило заменить оптический конструктив «зеркалок» сложными цифровыми преобразованиями. На передовой прогресса

Быстрый доступ к достижениям IT-индустрии за считанные годы превратил смартфон из сугубо «походного» девайса в мини-компьютер. Если 1990-2000-е стали временем реализации «закона Мура» (формуле, гласящей, что производительность кремниевой микроэлектроники удваивается каждые 24 месяца) для домашних устройств, то в 2010-е пришло время портативных.

Сегодня, судя по тестам, мобильные чипы Apple Bionic и Qualcomm Snapdragon сопоставимы с «начинкой» настольных ПК (их даже начали внедрять в ноутбуки, переворачивая иерархию гаджетов: теперь на передовой прогресса смартфон, а десктоп – его увеличенная версия). Не отстают показатели оперативной памяти (до 12 Гб) и внутреннего накопителя (до 1 Тб), постоянно шлифуются операционные системы (сегодня кажется недоразумением, что к суперматрице Nokia 808 PureView прилагалась простейшая ОС Symbian).

Все это сделало возможным развитие нейросетевых программ, которые отличаются от обычных способностью самостоятельно регулировать настройки, запоминая реакцию пользователя. Первоначально искусственный интеллект в смартфоне (например, в виде голосового ассистента) был проекцией облачного сервиса: в самом девайсе не хватало мощности для ИИ-вычислений и емкости для хранения обучающей выборки, поэтому он постоянно обращался к интернет-ресурсам. Однако с выходом на рынок нейроморфных чипов (NPU – neural processor unit), первым из которых был Huawei Kirin 970, мобильники получили собственный «мозг», работающий без подключения к Сети. С каждым днем «умные» гаджеты все точнее ориентируются во вкусах своего хозяина, и кто знает, как мутирует их функционал через десяток лет, когда они будут знать всю нашу подноготную… Сам термин «вычислительная фотография» (computational photography) появился еще в конце 2000-х в исследованиях профессора Стэнфордского университета Марка Левоя. Он определил ее как набор компьютерных изобразительных приемов, расширяющих возможности фототехники. Главный тезис Левоя: съемка – лишь начало создания кадра, программная «доводка» – обязательный второй этап. Первыми пробами пера стали фильтры Instagram (2010 год), режим Auto Enhance в iOS 5.0 (2011-й)… И понеслось: гонка камерофонов запомнится как одна из примет 2010-х, в исторической перспективе не уступая ажиотажу вокруг дагеротипии в середине XIX века или появлению малоформатной пленки в начале двадцатого.

Что любопытно, никто не смог победить: судя по авторитетному рейтингу DxOMark, показатели лидеров рынка – Samsung, Huawei и Apple – примерно равны. В 2020 году фотовозможности смартфона определяются не брендом, а ценовой категорией; во флагманских аппаратах инновации внедряются всеми одновременно. Это позволяет рассматривать вычислительную фотографию не как историю корпоративной борьбы, а шире – как достижение человечества.

Продолжение следует.

Представлен планшет Honor Tab V7  с аккумулятором на 7250 мАч и процессором MediaTek
Представлен планшет Honor Tab V7 с аккумулятором на 7250 мАч и процессором MediaTek
Официальные продажи новинки начнутся уже 30 сентября, а стоимость Honor Tab V7 составит от 295 долларов за комплектацию с 6 ГБ ОЗУ и 128 ГБ памяти, а вот максимальная версия с модемом 5G и 6 ГБ ОЗУ + 128 ГБ уже будет доступна за 400 долларов. Помимо этого устройство может поставляться и в третьем варианте с 8 ГБ ОЗУ + 256 ГБ, но без поддержки сетей 5G.
27.09.2021
Hi-Tech
В 2022 году на рынке могут появиться игровые видеокарты от Intel
В 2022 году на рынке могут появиться игровые видеокарты от Intel
В трех ценовых категориях - топовая, средняя и бюджетная
26.09.2021
Технологии
В сети  появились подробные характеристики смартфона Moto E40
В сети появились подробные характеристики смартфона Moto E40
Бюджетному телефону Moto E40 инсайдеры приписывают восьмиядерный процессор Unisoc T700 и 6,5 дюймовый дисплей с частотой обновления в 90 Гц.
24.09.2021
Hi-Tech
Накануне  презентации  раскрыта  стоимость смартфона Xiaomi Civi с процессором Qualcomm Snapdragon 778G
Накануне презентации раскрыта стоимость смартфона Xiaomi Civi с процессором Qualcomm Snapdragon 778G
Стоимость смартфона Xiaomi Civi будет стартовать с отметки в 420 долларов, а верхним пределом может стать 510 долларов за максимальную комплектацию смартфона, официальная презентация которого назначена на 27 сентября.
24.09.2021
Hi-Tech
Huawei официально представила смартфоны Nova 9 и Nova 9 Pro с операционной системой Harmony OS 2
Huawei официально представила смартфоны Nova 9 и Nova 9 Pro с операционной системой Harmony OS 2
Huawei Nova 9 и Nova 9 Pro получили OLED дисплеи с частотой обновления 120 Гц, операционную систему HarmonyOS 2.0, и все это без поддержки сетей 5G. 29 сентября новинки появятся в Китае, когда их привезут в Россию пока неизвестно.
24.09.2021
Hi-Tech
Nokia представила бюджетный смартфон G50 модемом 5G и датчиком NFC
Nokia представила бюджетный смартфон G50 модемом 5G и датчиком NFC
Смартфон Nokia G50 получил сразу два цвета исполнения: голубой океан и полночное солнце, а также стоимость от 19 990 рублей за базовую версию.
23.09.2021
Hi-Tech
Компания Microsoft представила гибрид компьютера и планшета - Surface Laptop Studio
Компания Microsoft представила гибрид компьютера и планшета - Surface Laptop Studio
Microsoft Surface Laptop Studio получил 4-ядерным процессором Intel 11-го поколения, а также передовую частоту обновления дисплея в 120 Гц.
23.09.2021
Hi-Tech
Microsoft представила смартфон-книжку Surface Duo 2 с начинкой флагмана, но с конструкцией  прошлого поколения гаджетов
Microsoft представила смартфон-книжку Surface Duo 2 с начинкой флагмана, но с конструкцией прошлого поколения гаджетов
Смартфон Surface Duo 2 получил двойной дисплей с частотой в 90 Гц, мобильный процессор Snapdragon 888 и поддержку сетей 5G/
23.09.2021
Hi-Tech
Meizu представила в Китае флагманский смартфон Meizu 18X с восьмиядерным процессором Qualcomm Snapdragon 870
Meizu представила в Китае флагманский смартфон Meizu 18X с восьмиядерным процессором Qualcomm Snapdragon 870
Смартфон Meizu 18X получил не только не плохие характеристики, но и более менее доступную стоимость около 29 тысяч рублей за комплектацию с 8 ГБ ОЗУ и 128 ГБ на накопителе.
22.09.2021
Hi-Tech
Официально  представлен смартфон Realme GT Neo 2 с процессором Snapdragon 870 и аккумулятором на 5000 мАч
Официально представлен смартфон Realme GT Neo 2 с процессором Snapdragon 870 и аккумулятором на 5000 мАч
На китайский рынок смартфон Realme GT Neo 2 поступит уже 27 сентября, а вот о глобальном выходе еще нет информации.
22.09.2021
Hi-Tech
Компания HP представила гибридный ноутбук \
Компания HP представила гибридный ноутбук "йога" Spectre x360
HP Spectre x360 сочетает в себе все возможности и функционал планшета и ноутбука, но под управлением операционной системы Windows 11. Старт продажи ноутбука-планшета назначен на октябрь 2021 года по цене от 1 639 долларов.
22.09.2021
Hi-Tech
Официально представлен планшет HP 11 с четырёхъядерным процессором  Pentium Silver N6000  и операционной системой Windows 11
Официально представлен планшет HP 11 с четырёхъядерным процессором Pentium Silver N6000 и операционной системой Windows 11
Сроки поступления в продажу планшета HP 11 - декабрь 2021 года, а стоимость мобильного гаджета составит 599 долларов США. Клавиатура и другие аксессуары приобретаются отдельно.
22.09.2021
Hi-Tech
Стартовали локальные продажи  игровых ноутбуков ASUS Lingyao Pro 14 и Lingyao Pro 16
Стартовали локальные продажи игровых ноутбуков ASUS Lingyao Pro 14 и Lingyao Pro 16
Компания ASUS запустила локальные продажи новых игровых устройств в Китае, но вместе с тем нет еще сроков появления ноутбуков Lingyao Pro 14 и Lingyao Pro 16 для других рынков.
22.09.2021
Hi-Tech
Раскрыты  ключевые характеристики смартфона Realme Narzo 50A, который может стать \
Раскрыты ключевые характеристики смартфона Realme Narzo 50A, который может стать "монстром" автономности
Новый смартфон от Realme получит мобильный процессор MediaTek Helio G85 и аккумулятор емкостью в 6000 мАч. Сроков выхода модели нет, но презентация состоится уже 24 сентября.
22.09.2021
Hi-Tech
Представлен игровой ноутбук Redmi G 2021 с процессорами  Intel Core i5-11260H или AMD Ryzen 7 5800
Представлен игровой ноутбук Redmi G 2021 с процессорами Intel Core i5-11260H или AMD Ryzen 7 5800
Игровой монстр от компании Redmi получил не только мощную компоновку железа , но и довольно демократичную стоимость для данного класса устройств - от 880 долларов США за минимальную сборку.
22.09.2021
Hi-Tech
В России  стартовали предзаказы  на обновлённые iPhone 13, iPad и iPad mini 6
В России стартовали предзаказы на обновлённые iPhone 13, iPad и iPad mini 6
Сроки поставки техники составят от двух до трех недель с момента оформления предзаказа.
22.09.2021
Hi-Tech
Компания Apple выпустила обновление iOS15
Компания Apple выпустила обновление iOS15
Новая версия iOS имеет новый дизайн, доработаны приложения ряд приложений, в частности, при помощи камеры теперь можно распознавать текст и объекты на фотографиях.
21.09.2021
Технологии
Названа дата презентации флагманского смартфона Samsung Galaxy M52 5G с дисплеем Super AMOLED Infinity-O
Названа дата презентации флагманского смартфона Samsung Galaxy M52 5G с дисплеем Super AMOLED Infinity-O
Официальная презентация телефона Galaxy M52 5G с поддержкой сотовой связи пятого поколения пройдет 28 сентября 2021 года.
20.09.2021
Hi-Tech
В сети появились полные характеристики смартфона Realme V11s
В сети появились полные характеристики смартфона Realme V11s
Смартфон Realme V11s стал полноценной улучшенной версией модели Realme V11, но с более производительным мобильным процессором.
20.09.2021
Hi-Tech
Названа дата  презентации  смартфона Xiaomi Civi с процессором Qualcomm Snapdragon 778
Названа дата презентации смартфона Xiaomi Civi с процессором Qualcomm Snapdragon 778
Презентация нового устройства пройдет 27 сентября.
20.09.2021
Hi-Tech