RU2016136352A - Способ и устройство для формирования данных, представляющих световое поле - Google Patents
Способ и устройство для формирования данных, представляющих световое поле Download PDFInfo
- Publication number
- RU2016136352A RU2016136352A RU2016136352A RU2016136352A RU2016136352A RU 2016136352 A RU2016136352 A RU 2016136352A RU 2016136352 A RU2016136352 A RU 2016136352A RU 2016136352 A RU2016136352 A RU 2016136352A RU 2016136352 A RU2016136352 A RU 2016136352A
- Authority
- RU
- Russia
- Prior art keywords
- data
- pixel
- light field
- representing
- parameters
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims 11
- 238000010586 diagram Methods 0.000 claims 12
- 238000001514 detection method Methods 0.000 claims 10
- 230000003287 optical effect Effects 0.000 claims 10
- 210000001747 pupil Anatomy 0.000 claims 4
- 238000004590 computer program Methods 0.000 claims 2
- 239000011159 matrix material Substances 0.000 claims 2
- 239000003086 colorant Substances 0.000 claims 1
- 238000003384 imaging method Methods 0.000 claims 1
- 229910052704 radon Inorganic materials 0.000 claims 1
- SYUHGPGVQRZVTB-UHFFFAOYSA-N radon atom Chemical compound [Rn] SYUHGPGVQRZVTB-UHFFFAOYSA-N 0.000 claims 1
- 238000009877 rendering Methods 0.000 claims 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
- H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N5/9201—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/229—Image signal generators using stereoscopic image cameras using a single 2D image sensor using lenticular lenses, e.g. arrangements of cylindrical lenses
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
- G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0007—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/194—Transmission of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
- H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/21—Indexing scheme for image data processing or generation, in general involving computational photography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10052—Images from lightfield camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20061—Hough transform
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Claims (24)
1. Машинореализованный способ для формирования данных, представляющих объем в объектном пространстве системы оптического обнаружения, занимаемом посредством набора лучей света, которые, по меньшей мере, один пиксел датчика упомянутой системы оптического обнаружения может считывать через зрачок упомянутой системы оптического обнаружения, причем упомянутый объем называется пиксельным пучком, содержащий этапы, на которых:
- получают (S803), из данных светового поля, захваченных посредством устройства оптического обнаружения, данные пересечения, задающие луч светового поля, представляющий пиксельный пучок с множеством данных опорных плоскостей, причем упомянутые опорные плоскости соответствуют различным глубинам в объектном пространстве;
- получают (S805, S806) параметры диаграммы лучей, задающие графическое представление данных пересечения на четырехмерной диаграмме лучей; и
- ассоциируют упомянутые параметры диаграммы лучей с параметрами, задающими пиксельный пучок, чтобы предоставлять данные, представляющие пиксельный пучок.
2. Способ по п. 1, в котором луч светового поля, представляющий пиксельный пучок, представляет собой прямую линию, проходящую через центр пиксела и центр зрачка, и параметры, задающие пиксельный пучок, представляют собой позицию и размер сопряженного элемента пиксела в объектном пространстве.
3. Способ по п. 2, в котором данные пересечений, соответствующие лучу светового поля, графически представляются на диаграмме лучей в качестве линий данных, и параметры диаграммы лучей включают в себя данные, представляющие, по меньшей мере, одно из следующего:
- наклон линии данных; и
- пересечение линии данных с осью диаграммы лучей.
4. Способ по п. 3, в котором линии данных обнаруживается на двумерной диаграмме лучей посредством применения преобразования Радона.
5. Способ по п. 3 или 4, в котором графическое представление предоставляется в качестве матрицы ячеек, чтобы предоставлять цифровую линию данных, причем каждый формат цифровой линии данных задается посредством множества ячеек, т.е., по меньшей мере, одной первой ячейки, представляющей пересечение линии с осью, и, по меньшей мере, одной второй ячейки, из которой может определяться наклон линии.
6. Способ по п. 5, в котором каждая цифровая линия данных формируется посредством применения алгоритма Брезенхэма.
7. Способ по любому из предшествующих пунктов, в котором данные, представляющие пиксельный пучок, дополнительно содержат цветовые данные, представляющие цвет соответствующего луча светового поля.
8. Способ по п. 7, в котором данные, представляющие пиксельный пучок, предоставляются в качестве метаданных, причем заголовок метаданных содержит параметры диаграммы лучей, задающие графическое представление данных пересечения на двумерной диаграмме лучей, а тело метаданных содержит данные, представляющие цвет луча, и параметры, задающие позицию и размер сопряженного элемента пиксела в объектном пространстве.
9. Устройство для предоставления метаданных для объема в объектном пространстве системы оптического обнаружения, занимаемого посредством набора лучей света, которые, по меньшей мере, один пиксел датчика упомянутой системы оптического обнаружения может считывать через зрачок упомянутой системы оптического обнаружения, причем упомянутый объем называется пиксельным пучком, причем устройство содержит модуль получения данных светового поля для получения данных светового поля, захваченных посредством камеры светового поля, и модуль формирования данных светового поля, выполненный с возможностью:
- получать, из полученных данных светового поля, данные пересечения, задающие пересечения луча светового поля, представляющего пиксельный пучок, с множеством данных опорных плоскостей, причем упомянутые опорные плоскости являются параллельными друг другу и соответствуют различным глубинам в объектном пространстве; и
- получать параметры диаграммы лучей, задающие графическое представление данных пересечения на двумерной диаграмме лучей, чтобы предоставлять данные, представляющие полученные данные светового поля;
- ассоциировать упомянутые параметры диаграммы лучей с параметрами, задающими пиксельный пучок, чтобы предоставлять данные, представляющие пиксельный пучок.
10. Устройство формирования изображений светового поля, содержащее:
- матрицу микролинз, размещаемую в регулярной решетчатой структуре;
- фотодатчик, выполненный с возможностью захватывать свет, проецируемый на фотодатчике из матрицы микролинз, причем фотодатчик содержит наборы пикселов, причем каждый набор пикселов оптически ассоциирован с соответствующей микролинзой матрицы микролинз; и
- устройство для предоставления метаданных по п. 9.
11. Устройство для рендеринга изображения из данных светового поля с использованием полученного в соответствии со способом по любому из пп. 1-8.
12. Пакет данных для данных, представляющих объем в объектном пространстве системы оптического обнаружения, занимаемом посредством набора лучей света, которые, по меньшей мере, один пиксел датчика упомянутой системы оптического обнаружения может считывать через зрачок упомянутой системы оптического обнаружения, причем упомянутый объем называется пиксельным пучком, содержащий параметры диаграммы лучей, задающие графическое представление на двумерной диаграмме лучей данных пересечения светового луча, представляющего пиксельный пучок, данные пересечения, задающие пересечения луча светового поля, представляющего пиксельный пучок, с множеством данных опорных плоскостей, причем упомянутые опорные плоскости являются параллельными друг другу и соответствуют различным глубинам в объектном пространстве; цветовые данные, задающие цвета луча светового поля, представляющего пиксельный пучок, и параметры, задающие позицию и размер сопряженного элемента пиксела в объектном пространстве.
13. Компьютерный программный продукт для программируемого устройства, причем компьютерный программный продукт содержит последовательность инструкций для реализации способа по любому из пп. 1-8, при загрузке и выполнении посредством программируемого устройства.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP15306446.4 | 2015-09-17 | ||
EP15306446.4A EP3144879A1 (en) | 2015-09-17 | 2015-09-17 | A method and an apparatus for generating data representative of a light field |
Publications (3)
Publication Number | Publication Date |
---|---|
RU2016136352A true RU2016136352A (ru) | 2018-03-15 |
RU2016136352A3 RU2016136352A3 (ru) | 2020-04-17 |
RU2734018C2 RU2734018C2 (ru) | 2020-10-12 |
Family
ID=54252224
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU2016136352A RU2734018C2 (ru) | 2015-09-17 | 2016-09-09 | Способ и устройство для формирования данных, представляющих световое поле |
Country Status (9)
Country | Link |
---|---|
US (1) | US10021340B2 (ru) |
EP (2) | EP3144879A1 (ru) |
JP (2) | JP2017063414A (ru) |
KR (1) | KR102583723B1 (ru) |
CN (1) | CN107018293B (ru) |
CA (1) | CA2940535A1 (ru) |
MX (1) | MX357947B (ru) |
RU (1) | RU2734018C2 (ru) |
TW (1) | TW201730707A (ru) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10317597B2 (en) * | 2014-08-26 | 2019-06-11 | The Board Of Trustees Of The Leland Stanford Junior University | Light-field microscopy with phase masking |
MX2018003263A (es) * | 2015-09-17 | 2018-05-16 | Thomson Licensing | Metodo para codificar un contenido de campo luminoso. |
EP3145168A1 (en) * | 2015-09-17 | 2017-03-22 | Thomson Licensing | An apparatus and a method for generating data representing a pixel beam |
EP3144888A1 (en) * | 2015-09-17 | 2017-03-22 | Thomson Licensing | An apparatus and a method for generating data representing a pixel beam |
EP3466052A4 (en) * | 2016-06-07 | 2020-02-19 | Airy3d Inc. | LIGHT FIELD IMAGE DEVICE AND METHOD FOR DEPTH DETECTION AND THREE-DIMENSIONAL IMAGE |
CN106373152B (zh) * | 2016-09-18 | 2019-02-01 | 清华大学深圳研究生院 | 一种基于手持式光场相机的距离估计方法 |
WO2020030841A1 (es) * | 2018-08-08 | 2020-02-13 | Universitat De Valencia | Dispositivo ocular plenóptico |
CN113557463A (zh) * | 2019-03-08 | 2021-10-26 | Pcms控股公司 | 用于基于具有扩展焦深的光束的显示器的光学方法和*** |
RU2760845C1 (ru) * | 2021-02-12 | 2021-11-30 | Федеральное государственное бюджетное военное образовательное учреждение высшего образования "Военно-космическая академия имени А.Ф. Можайского" Министерства обороны Российской Федерации | Способ обнаружения и определения характеристик целей на основе регистрации и обработки хода лучей от объектов в наблюдаемом пространстве и устройство для его реализации |
CN117015966A (zh) * | 2021-03-15 | 2023-11-07 | 华为技术有限公司 | 一种光场预测模型的生成方法及相关装置 |
US20230010620A1 (en) * | 2021-07-06 | 2023-01-12 | 3D Patents, Llc | Bowtie processing for radiance image rendering |
CN116070687B (zh) * | 2023-03-06 | 2023-07-04 | 浙江优众新材料科技有限公司 | 一种基于全局光线空间仿射变换的神经网络光场表示方法 |
CN116778068B (zh) * | 2023-08-22 | 2023-11-10 | 中国电子科技集团公司第十五研究所 | 基于视点椭球相似特征数的光线采样精确优化方法 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6097394A (en) * | 1997-04-28 | 2000-08-01 | Board Of Trustees, Leland Stanford, Jr. University | Method and system for light field rendering |
US6342917B1 (en) * | 1998-01-16 | 2002-01-29 | Xerox Corporation | Image recording apparatus and method using light fields to track position and orientation |
ES2372515B2 (es) * | 2008-01-15 | 2012-10-16 | Universidad De La Laguna | Cámara para la adquisición en tiempo real de la información visual de escenas tridimensionales. |
US20120249550A1 (en) * | 2009-04-18 | 2012-10-04 | Lytro, Inc. | Selective Transmission of Image Data Based on Device Attributes |
JP2010256291A (ja) * | 2009-04-28 | 2010-11-11 | Toyota Motor Corp | 距離画像撮影装置 |
KR101668869B1 (ko) * | 2009-05-29 | 2016-10-28 | 삼성전자주식회사 | 거리 센서, 3차원 이미지 센서 및 그 거리 산출 방법 |
US8749694B2 (en) * | 2010-08-27 | 2014-06-10 | Adobe Systems Incorporated | Methods and apparatus for rendering focused plenoptic camera data using super-resolved demosaicing |
US8542933B2 (en) * | 2011-09-28 | 2013-09-24 | Pelican Imaging Corporation | Systems and methods for decoding light field image files |
JP6095266B2 (ja) * | 2012-01-13 | 2017-03-15 | キヤノン株式会社 | 画像処理装置及びその制御方法 |
CN104303493A (zh) * | 2012-05-09 | 2015-01-21 | 莱特洛公司 | 用于改进的光场捕获和操作的光学***的优化 |
US8754829B2 (en) * | 2012-08-04 | 2014-06-17 | Paul Lapstun | Scanning light field camera and display |
JP6159097B2 (ja) * | 2013-02-07 | 2017-07-05 | キヤノン株式会社 | 画像処理装置、撮像装置、制御方法、及びプログラム |
US9412172B2 (en) * | 2013-05-06 | 2016-08-09 | Disney Enterprises, Inc. | Sparse light field representation |
JP6223169B2 (ja) * | 2013-12-19 | 2017-11-01 | キヤノン株式会社 | 情報処理装置、情報処理方法およびプログラム |
KR20150127507A (ko) * | 2014-05-07 | 2015-11-17 | 엘지전자 주식회사 | 디스플레이 장치 및 디스플레이 장치의 제어 방법 |
KR102364084B1 (ko) * | 2014-10-21 | 2022-02-17 | 엘지전자 주식회사 | 이동단말기 및 그 제어방법 |
CN104330174B (zh) * | 2014-10-23 | 2017-05-31 | 北京理工大学 | 一种用于测量涡旋光束的周期渐变光栅及测量方法 |
CN104598744B (zh) * | 2015-01-27 | 2017-11-21 | 北京工业大学 | 一种基于光场的深度估计方法 |
-
2015
- 2015-09-17 EP EP15306446.4A patent/EP3144879A1/en not_active Withdrawn
-
2016
- 2016-08-24 EP EP16185552.3A patent/EP3144880B1/en active Active
- 2016-08-29 CA CA2940535A patent/CA2940535A1/en not_active Abandoned
- 2016-09-09 RU RU2016136352A patent/RU2734018C2/ru active
- 2016-09-13 KR KR1020160118178A patent/KR102583723B1/ko active IP Right Grant
- 2016-09-14 TW TW105129900A patent/TW201730707A/zh unknown
- 2016-09-14 CN CN201610825429.3A patent/CN107018293B/zh active Active
- 2016-09-14 MX MX2016011964A patent/MX357947B/es active IP Right Grant
- 2016-09-15 JP JP2016180175A patent/JP2017063414A/ja not_active Ceased
- 2016-09-16 US US15/268,480 patent/US10021340B2/en active Active
-
2022
- 2022-06-14 JP JP2022095978A patent/JP2022141637A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
US10021340B2 (en) | 2018-07-10 |
TW201730707A (zh) | 2017-09-01 |
JP2022141637A (ja) | 2022-09-29 |
JP2017063414A (ja) | 2017-03-30 |
KR102583723B1 (ko) | 2023-10-05 |
RU2734018C2 (ru) | 2020-10-12 |
MX357947B (es) | 2018-07-31 |
CA2940535A1 (en) | 2017-03-17 |
EP3144880B1 (en) | 2019-08-21 |
RU2016136352A3 (ru) | 2020-04-17 |
EP3144880A1 (en) | 2017-03-22 |
EP3144879A1 (en) | 2017-03-22 |
KR20170035804A (ko) | 2017-03-31 |
CN107018293B (zh) | 2020-11-03 |
CN107018293A (zh) | 2017-08-04 |
US20170085832A1 (en) | 2017-03-23 |
MX2016011964A (es) | 2017-04-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2016136352A (ru) | Способ и устройство для формирования данных, представляющих световое поле | |
JP2017063414A5 (ru) | ||
JP6847718B2 (ja) | ライトフィールドデータを処理する方法およびデバイス | |
JP2014146019A5 (ru) | ||
RU2018113713A (ru) | Представление данных светового поля | |
JP2012142918A5 (ru) | ||
RU2017134151A (ru) | Метаданные светового поля | |
US10897608B2 (en) | Capturing light-field images with uneven and/or incomplete angular sampling | |
JP2014057181A5 (ru) | ||
JP2017536777A5 (ru) | ||
RU2018113727A (ru) | Способ и устройство для генерирования данных, характеризующих пиксельный пучок | |
JP2014216866A5 (ru) | ||
JP2018536211A5 (ru) | ||
RU2018113710A (ru) | Устройство и способ для калибровки оптической системы получения данных | |
JP2014150466A5 (ru) | ||
CN103237161A (zh) | 基于数字编码控制的光场成像装置及方法 | |
JP2013258586A5 (ru) | ||
JP2013145982A5 (ru) | ||
JP2019502277A5 (ru) | ||
US9319579B2 (en) | Image processing apparatus, control method, and program for the same with focus state specification and deletion confirmation of image data | |
RU2018113711A (ru) | Устройство и способ для генерирования данных, представляющих пиксельный пучок | |
KR102614908B1 (ko) | 이미지 복원 방법 및 장치 | |
US9838618B2 (en) | Image processing device configured to correct output data based upon a point spread function | |
Rodríguez et al. | The CAFADIS camera: a new tomographic wavefront sensor for Adaptive Optics | |
CN102750687A (zh) | 一种摄像机参数标定和三维点云生成方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
HZ9A | Changing address for correspondence with an applicant |