Вычислительная фотография

Вычислительная фотография относится к цифровым методам захвата и обработки изображений, которые используют цифровые вычисления вместо оптических процессов. Вычислительная фотография может улучшить возможности камеры или представить функции, которые вообще не были возможны при съемке на плёнку, или снизить стоимость или размер элементов камеры. Примеры вычислительной фотографии: склейка цифровых панорам, [6] HDR фотографии и пленоптическая камера. Пленоптические камеры используют новые оптические элементы для захвата трёхмерной информации о сцене, которую затем можно использовать для получения трёхмерных изображений, увеличения глубины резкости и избирательной дефокусировки (или «постфокусировки»). Увеличенная глубина резкости снижает потребность в механических системах фокусировки. Все эти функции используют методы компьютерной визуализации.

Вычислительная фотография предоставляет много новых возможностей. На данном примере показано расширение динамического диапазона изображения с панорамными методом сшивания нескольких изображений, оптимально комбинируя информацию из нескольких по-разному экспонированных и перекрывающихся изображений [1] [2] [3] [4] [5]

Определение компьютерной фотографии по мере развития охватила ряд предметных областей в компьютерной графике, компьютерном зрении и прикладной оптике . Эти области приведены ниже, организованные в соответствии с таксономией, предложенной Шри К. Найяр. В каждой области приведён список методик, и для каждой методики приводятся один или два типичных документа или книги. Умышленно опущены в таксономии методы обработки изображений (см. Также цифровая обработка изображений ), применяемые к традиционно снятым изображениям для получения более качественных изображений. Примерами таких методов являются масштабирование изображения, сжатие динамического диапазона (т. е. Отображение тона ), управление цветом, завершение изображения (так называемое рисование или заполнение отверстий), сжатие изображения, цифровые водяные знаки и эффекты художественного изображения. Также опущены методы, которые создают данные о дальности, объемные данных, трёхмерные модели, световые поля 4D, BRDF 4D, 6D или 8D или другие представления на основе многомерного изображения. Epsilon Photography является подразделом компьютерной фотографии.

Влияние на фотографию править

Фотографии, сделанные с использованием вычислительной фотографии, могут позволить любителям создавать фотографии, сопоставимые с возможностями профессиональный фототехники, но в настоящее время (2019) они не превосходят по качеству оборудование профессионального уровня. [7]

Вычислительная подсветка править

Это управление освещением на фотографии в структурированной форме, а затем обработка захваченных изображений для создания новых изображений. Приложения включают в себя повторную подсветку изображений, улучшение изображений, размытие изображений, восстановление геометрии / материалов и так далее.

Для получения изображений с высоким динамическим диапазоном используются различные изображения одной и той же сцены для расширения динамического диапазона. [8] Другие примеры включают обработку и объединение изображений с разным освещением одного и того же объекта («световое пространство»).

Вычислительная оптика править

Это захват оптически кодированных изображений с последующим вычислительным декодированием для получения новых изображений. Визуализация с закодированной апертурой в основном применялась в астрономии или рентгенографии для повышения качества изображения. Вместо одного точечного отверстия в изображении применяется шаблон точечного отверстия, и для восстановления изображения выполняется деконволюция . [9] В изображении с кодированной экспозицией состояние включения / выключения затвора кодируется для изменения ядра размытия движения . [10] Таким образом, размытие движения становится вполне обусловленной проблемой. Аналогично, в кодированной апертуре на основе линзы, апертура может быть изменена путём вставки широкополосной маски . [11] Таким образом, размытие не в фокусе становится вполне обусловленной проблемой . Кодированная апертура также может улучшить качество получения светового поля с использованием трансформационной оптики Адамара.

Шаблоны кодированной апертуры также могут быть разработаны с использованием цветных фильтров, чтобы применять разные коды на разных длинах волн. [12] [13] Это позволяет увеличить количество света, попадающего на датчик камеры, по сравнению с бинарными масками.

Вычислительная обработка править

Это обработка неоптически кодированных изображений для создания новых изображений.

Вычислительные датчики править

Это детекторы, которые сочетают в себе распознавание и обработку, как правило, аппаратно, например, двоичный датчик изображения.

Ранняя работа в компьютерном зрении править

Хотя компьютерная фотография является в настоящее время узнаваемой фразой в компьютерной графике, многие из ее методов впервые появились в литературе по компьютерному зрению, либо под другими именами, либо в статьях, направленных на трехмерный анализ формы изучаемых объектов.

Вычислительная фотография как вид искусства править

 
Носимый компьютерный фотографический аппарат 1981 года.
 
Носимая компьютерная фотография возникла в 1970-х и начале 1980-х годов и превратилась в более позднюю форму искусства. Эта картина была использована на обложке учебника Джона Вили.

Вычислительная фотография обычно использует захват изображения одного и того же объекта (возможно, с разными параметрами), а затем их объединеняет на основе различных алгоритмов в одно результирующее. Это послужило вдохновением для разработки носимых компьютеров в 1970-х и начале 1980-х годов. Вычислительная фотография была вдохновлена работой Чарльза Вайкоффа, и поэтому наборы данных вычислительной фотографии (например, изображения с разной экспозицией одного и того же объекта, сделанные для создания единого составного изображения) иногда называют в качестве комплектов Вайкоффа.

Ранние работы в этой области (совместная оценка проекции изображения и экспозиции) были предприняты Манном и Кандоччиа.

Чарльз Вайкофф посвятил большую часть своей жизни созданию специальных видов 3-слойных фотопленок, которые запечатлевали различные экспозиции одного и того же объекта. Снимок ядерного взрыва, снятый на пленке Вайкоффа, появился на обложке журнала Life и показал динамический диапазон от темных внешних областей до внутреннего ядра.

См. также править

Ссылки править

  1. Steve Mann. "Compositing Multiple Pictures of the Same Scene", Proceedings of the 46th Annual Imaging Science & Technology Conference, May 9–14, Cambridge, Massachusetts, 1993
  2. S. Mann, C. Manders, and J. Fung, "The Lightspace Change Constraint Equation (LCCE) with practical application to estimation of the projectivity+gain transformation between multiple pictures of the same subject matter Архивная копия от 24 августа 2021 на Wayback Machine" IEEE International Conference on Acoustics, Speech, and Signal Processing, 6–10 April 2003, pp III - 481-4 vol.3.
  3. joint parameter estimation in both domain and range of functions in same orbit of the projective-Wyckoff group Архивная копия от 14 марта 2023 на Wayback Machine" ", IEEE International Conference on Image Processing,Vol.3, 16-19,pp.193-196 September 1996
  4. Frank M. Candocia: Jointly registering images in domain and range by piecewise linear comparametric analysis Архивная копия от 26 августа 2021 на Wayback Machine. IEEE Transactions on Image Processing 12(4): 409-419 (2003)
  5. Frank M. Candocia: Simultaneous homographic and comparametric alignment of multiple exposure-adjusted pictures of the same scene Архивная копия от 8 марта 2019 на Wayback Machine. IEEE Transactions on Image Processing 12(12): 1485-1494 (2003)
  6. Steve Mann and R. W. Picard. "Virtual bellows: constructing high-quality stills from video.", In Proceedings of the IEEE First International Conference on Image ProcessingAustin, Texas, November 13–16, 1994
  7. The Edge of Computational Photography. Дата обращения: 23 мая 2020. Архивировано 15 марта 2020 года.
  8. ON BEING `UNDIGITAL' WITH DIGITAL CAMERAS: EXTENDING DYNAMIC RANGE BY COMBINING DIFFERENTLY EXPOSED PICTURES, IS&T's (Society for Imaging Science and Technology's) 48th annual conference, Cambridge, Massachusetts, May 1995, pages 422-428. Дата обращения: 23 мая 2020. Архивировано 8 марта 2021 года.
  9. Martinello. Coded Aperture Imaging. Дата обращения: 23 мая 2020. Архивировано 20 марта 2022 года.
  10. Raskar. Coded Exposure Photography: Motion Deblurring using Fluttered Shutter. Дата обращения: 29 ноября 2010. Архивировано 31 мая 2020 года.
  11. Veeraraghavan. Dappled Photography: Mask Enhanced Cameras for Heterodyned Light Fields and Coded Aperture Refocusing. Дата обращения: 29 ноября 2010. Архивировано 31 мая 2020 года.
  12. Martinello, Manuel (2015). "Dual Aperture Photography: Image and Depth from a Mobile Camera" (PDF). International Conference on Computational Photography. Архивировано (PDF) из оригинала 20 марта 2022. Дата обращения: 23 мая 2020.
  13. Chakrabarti, A. (2012). "Depth and deblurring from a spectrally-varying depth-of-field". IEEE European Conference on Computer Vision. 7576: 648—666. Архивировано из оригинала 26 августа 2021. Дата обращения: 23 мая 2020.

Внешние ссылки править