KR20240029003A - 멀티-포인트 깊이 감지 시스템 정보를 사용한 이미지 데이터 프로세싱 - Google Patents
멀티-포인트 깊이 감지 시스템 정보를 사용한 이미지 데이터 프로세싱 Download PDFInfo
- Publication number
- KR20240029003A KR20240029003A KR1020237045512A KR20237045512A KR20240029003A KR 20240029003 A KR20240029003 A KR 20240029003A KR 1020237045512 A KR1020237045512 A KR 1020237045512A KR 20237045512 A KR20237045512 A KR 20237045512A KR 20240029003 A KR20240029003 A KR 20240029003A
- Authority
- KR
- South Korea
- Prior art keywords
- interest
- region
- depth
- image
- determining
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 159
- 238000000034 method Methods 0.000 claims abstract description 259
- 230000008569 process Effects 0.000 claims abstract description 112
- 230000015654 memory Effects 0.000 claims description 49
- 230000007246 mechanism Effects 0.000 description 34
- 238000010586 diagram Methods 0.000 description 26
- 230000008054 signal transmission Effects 0.000 description 19
- 238000004422 calculation algorithm Methods 0.000 description 18
- 238000004891 communication Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 14
- 238000001514 detection method Methods 0.000 description 13
- 230000003287 optical effect Effects 0.000 description 12
- 230000002093 peripheral effect Effects 0.000 description 8
- 230000005291 magnetic effect Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 238000012937 correction Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000013500 data storage Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 230000001413 cellular effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 229910044991 metal oxide Inorganic materials 0.000 description 3
- 150000004706 metal oxides Chemical class 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 241000579895 Chlorostilbon Species 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 229910052876 emerald Inorganic materials 0.000 description 1
- 239000010976 emerald Substances 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000005022 packaging material Substances 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
- H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
- H04N5/2226—Determination of depth image, e.g. for foreground/background separation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/46—Indirect determination of position data
- G01S17/48—Active triangulation systems, i.e. using the transmission and reflection of electromagnetic waves other than radio waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
- G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
- G01S7/4815—Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/486—Receivers
- G01S7/4861—Circuits for detection, sampling, integration or read-out
- G01S7/4863—Detector arrays, e.g. charge-transfer gates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Theoretical Computer Science (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
하나 이상의 이미지들을 프로세싱하기 위한 시스템들 및 기법들이 제공된다. 예를 들어, 양태들은 적어도 하나의 카메라를 사용하여 획득된 이미지에 묘사된 제1 객체에 대응하는 제1 관심 영역을 결정하는 것을 포함할 수 있는 프로세스를 포함한다. 제1 관심 영역은 멀티-포인트 깊이 감지 시스템과 연관된 멀티-포인트 그리드의 적어도 하나의 엘리먼트와 연관된다. 프로세스는 제1 객체에 대한 제1 확장된 관심 영역을 결정하는 것을 포함할 수 있다. 제1 확장된 관심 영역은 멀티-포인트 그리드의 적어도 하나의 엘리먼트 및 하나 이상의 추가적인 엘리먼트들을 포함하는 복수의 엘리먼트들과 연관된다. 프로세스는 제1 확장된 관심 영역과 연관된 복수의 엘리먼트들에 기초하여, 적어도 하나의 카메라와 이미지에 묘사된 제1 객체 사이의 제1 거리를 표현하는 대표 깊이 정보를 결정하는 것을 더 포함할 수 있다.
Description
본 출원은 이미지 프로세싱에 관한 것이다. 일부 예들에서, 본 출원의 양태들은 멀티-포인트 깊이 감지 시스템으로부터의 정보를 사용하여 이미지 데이터를 프로세싱하는 것에 관한 것이다.
카메라들은 이미지의 현상(appearance)을 변경하기 위해 다양한 이미지 캡처 및 이미지 프로세싱 설정들로 구성될 수 있다. 다른 것들 중에서도, 오토 포커스, 오토 노출(auto-exposure) 및 오토 화이트 밸런스(auto-white-balance) 동작들과 같은, 일부 이미지 프로세싱 동작들이 사진의 캡처 동안에 또는 그 전에 결정되고 적용된다. 이들 동작들은 (예를 들어, 영역들의 콘텐츠가 흐릿하거나, 과노출되거나, 초점이 벗어나지 않는 것을 보장하도록) 이미지의 하나 이상의 영역들을 보정 및/또는 변경하도록 구성된다. 동작들은 이미지 프로세싱 시스템에 의해 자동으로 또는 사용자 입력에 응답하여 수행될 수 있다.
멀티-포인트 깊이 감지 시스템으로부터의 정보를 사용하여 (예를 들어, 자동 포커스, 자동 노출, 자동 화이트 밸런스, 자동 줌 및/또는 다른 동작들을 사용하여) 이미지 데이터를 프로세싱하기 위한 시스템들 및 기법들이 본 명세서에 설명된다. 적어도 하나의 예에 따르면, 이미지 데이터를 프로세싱하는 방법이 제공된다. 방법은, 적어도 하나의 카메라를 사용하여 획득된 이미지에 묘사된 제1 객체에 대응하는 제1 관심 영역을 결정하는 단계로서, 제1 관심 영역은 멀티-포인트 깊이 감지 시스템과 연관된 멀티-포인트 그리드의 적어도 하나의 엘리먼트와 연관되는, 상기 제1 관심 영역을 결정하는 단계; 제1 객체에 대한 제1 확장된 관심 영역을 결정하는 단계로서, 제1 확장된 관심 영역은 멀티-포인트 그리드의 적어도 하나의 엘리먼트 및 하나 이상의 추가적인 엘리먼트들을 포함하는 복수의 엘리먼트들과 연관되는, 상기 제1 확장된 관심 영역을 결정하는 단계; 및 제1 확장된 관심 영역과 연관된 복수의 엘리먼트들에 기초하여, 적어도 하나의 카메라와 이미지에 묘사된 제1 객체 사이의 제1 거리를 표현하는 대표 깊이 정보를 결정하는 단계를 포함할 수 있다.
다른 예에서, 이미지 데이터를 프로세싱하기 위한 장치가 제공된다. 장치는 적어도 하나의 메모리 및 적어도 하나의 메모리에 커플링된 (예를 들어, 회로부에서 구현된) 하나 이상의 프로세서들을 포함할 수 있다. 하나 이상의 프로세서들은, 적어도 하나의 카메라를 사용하여 획득된 이미지에 묘사된 제1 객체에 대응하는 제1 관심 영역을 결정하는 것으로서, 제1 관심 영역은 멀티-포인트 깊이 감지 시스템과 연관된 멀티-포인트 그리드의 적어도 하나의 엘리먼트와 연관되는, 상기 제1 관심 영역을 결정하고; 제1 객체에 대한 제1 확장된 관심 영역을 결정하는 것으로서, 제1 확장된 관심 영역은 멀티-포인트 그리드의 적어도 하나의 엘리먼트 및 하나 이상의 추가적인 엘리먼트들을 포함하는 복수의 엘리먼트들과 연관되는, 상기 제1 확장된 관심 영역을 결정하고; 그리고 제1 확장된 관심 영역과 연관된 복수의 엘리먼트들에 기초하여, 적어도 하나의 카메라와 이미지에 묘사된 제1 객체 사이의 제1 거리를 표현하는 대표 깊이 정보를 결정하도록, 구성된다.
다른 예에서, 명령들이 저장된 비일시적 컴퓨터 판독가능 매체가 제공되고, 명령들은, 하나 이상의 프로세서들에 의해 실행될 때, 하나 이상의 프로세서들로 하여금, 적어도 하나의 카메라를 사용하여 획득된 이미지에 묘사된 제1 객체에 대응하는 제1 관심 영역을 결정하게 하는 것으로서, 제1 관심 영역은 멀티-포인트 깊이 감지 시스템과 연관된 멀티-포인트 그리드의 적어도 하나의 엘리먼트와 연관되는, 상기 제1 관심 영역을 결정하게 하고; 제1 객체에 대한 제1 확장된 관심 영역을 결정하게 하는 것으로서, 제1 확장된 관심 영역은 멀티-포인트 그리드의 적어도 하나의 엘리먼트 및 하나 이상의 추가적인 엘리먼트들을 포함하는 복수의 엘리먼트들과 연관되는, 상기 제1 확장된 관심 영역을 결정하게 하고; 그리고 제1 확장된 관심 영역과 연관된 복수의 엘리먼트들에 기초하여, 적어도 하나의 카메라와 이미지에 묘사된 제1 객체 사이의 제1 거리를 표현하는 대표 깊이 정보를 결정하게 한다.
다른 예에서, 이미지 데이터를 프로세싱하기 위한 장치가 제공된다. 장치는, 적어도 하나의 카메라를 사용하여 획득된 이미지에 묘사된 제1 객체에 대응하는 제1 관심 영역을 결정하기 위한 수단으로서, 제1 관심 영역은 멀티-포인트 깊이 감지 시스템과 연관된 멀티-포인트 그리드의 적어도 하나의 엘리먼트와 연관되는, 상기 제1 관심 영역을 결정하기 위한 수단; 제1 객체에 대한 제1 확장된 관심 영역을 결정하기 위한 수단으로서, 제1 확장된 관심 영역은 멀티-포인트 그리드의 적어도 하나의 엘리먼트 및 하나 이상의 추가적인 엘리먼트들을 포함하는 복수의 엘리먼트들과 연관되는, 상기 제1 확장된 관심 영역을 결정하기 위한 수단; 및 제1 확장된 관심 영역과 연관된 복수의 엘리먼트들에 기초하여, 적어도 하나의 카메라와 이미지에 묘사된 제1 객체 사이의 제1 거리를 표현하는 대표 깊이 정보를 결정하기 위한 수단을 포함한다.
일부 양태들에서, 전술된 방법, 장치들 및 컴퓨터 판독가능 매체는, 제1 거리를 표현하는 대표 깊이 정보에 기초하여 이미지를 프로세싱하는 것을 포함할 수 있고, 이미지를 프로세싱하는 것은 적어도 이미지의 제1 관심 영역에 대해 자동 노출, 자동 포커스, 자동 화이트 밸런스 및 자동 줌 중 적어도 하나를 수행하는 것을 포함한다.
일부 양태들에서, 제1 객체에 대한 제1 확장된 관심 영역을 결정하기 위해, 전술된 방법, 장치들 및 컴퓨터 판독가능 매체는, 제1 관심 영역의 크기 및 이미지에서의 기준 포인트에 대한 제1 관심 영역의 위치 중 적어도 하나를 결정하는 것; 및 제1 관심 영역의 크기 및 위치 중 적어도 하나에 기초하여 제1 객체에 대한 제1 확장된 관심 영역을 결정하는 것을 포함할 수 있다.
일부 양태들에서, 제1 객체에 대한 제1 확장된 관심 영역을 결정하기 위해, 전술된 방법, 장치들 및 컴퓨터 판독가능 매체는, 제1 관심 영역의 크기에 기초하여 제1 객체에 대한 제1 확장된 관심 영역을 결정하는 것을 포함할 수 있다.
일부 양태들에서, 제1 객체에 대한 제1 확장된 관심 영역을 결정하기 위해, 전술된 방법, 장치들 및 컴퓨터 판독가능 매체는, 제1 관심 영역의 위치에 기초하여 제1 객체에 대한 제1 확장된 관심 영역을 결정하는 것을 포함할 수 있다.
일부 양태들에서, 제1 객체에 대한 제1 확장된 관심 영역을 결정하기 위해, 전술된 방법, 장치들 및 컴퓨터 판독가능 매체는, 제1 관심 영역의 크기 및 위치에 기초하여 제1 객체에 대한 제1 확장된 관심 영역을 결정하는 것을 포함할 수 있다.
일부 양태들에서, 제1 객체에 대한 제1 확장된 관심 영역을 결정하기 위해, 전술된 방법, 장치들 및 컴퓨터 판독가능 매체는, 멀티-포인트 그리드의 하나 이상의 추가적인 엘리먼트들 중 제1 엘리먼트와 연관된 제1 깊이를 결정하는 것으로서, 제1 엘리먼트는 제1 관심 영역과 연관된 적어도 하나의 엘리먼트에 이웃하는, 상기 제1 깊이를 결정하는 것; 제1 깊이와 제1 관심 영역과 연관된 적어도 하나의 엘리먼트의 깊이 사이의 차이가 임계 차이 미만이라고 결정하는 것; 및 제1 깊이와 제1 관심 영역과 연관된 적어도 하나의 엘리먼트의 깊이 사이의 차이가 임계 차이 미만이라고 결정하는 것에 기초하여, 제1 엘리먼트를 제1 확장된 관심 영역과 연관시키는 것을 포함할 수 있다.
일부 양태들에서, 전술된 방법, 장치들 및 컴퓨터 판독가능 매체는, 제1 깊이의 신뢰도가 신뢰도 임계치보다 큰 것에 추가로 기초하여 제1 엘리먼트를 제1 확장된 관심 영역과 연관시킬 수 있다.
일부 양태들에서, 전술된 방법, 장치들 및 컴퓨터 판독가능 매체는, 멀티-포인트 그리드의 하나 이상의 추가적인 엘리먼트들 중 제2 엘리먼트와 연관된 제2 깊이를 결정하는 것으로서, 제2 엘리먼트는 하나 이상의 추가적인 엘리먼트들 중 제1 엘리먼트에 이웃하는, 상기 제2 깊이를 결정하는 것; 제2 깊이와 제1 깊이 사이의 차이가 임계 차이 미만이라고 결정하는 것; 및 제2 깊이와 제1 깊이 사이의 차이가 임계 차이 미만이라고 결정하는 것에 기초하여, 제2 엘리먼트를 제1 확장된 관심 영역과 연관시키는 것을 포함할 수 있다.
일부 양태들에서, 전술된 방법, 장치들 및 컴퓨터 판독가능 매체는, 멀티-포인트 그리드의 하나 이상의 추가적인 엘리먼트들 중 제2 엘리먼트와 연관된 제2 깊이를 결정하는 것으로서, 제2 엘리먼트는 하나 이상의 추가적인 엘리먼트들 중 제1 엘리먼트에 이웃하는, 상기 제2 깊이를 결정하는 것; 제2 깊이와 제1 깊이 사이의 차이가 임계 차이보다 크다고 결정하는 것; 및 제2 깊이와 제1 깊이 사이의 차이가 임계 차이보다 크다고 결정하는 것에 기초하여, 제2 엘리먼트를 제1 확장된 관심 영역으로부터 배제하는 것을 포함할 수 있다.
일부 양태들에서, 제1 거리를 표현하는 대표 깊이 정보를 결정하기 위해, 전술된 방법, 장치들 및 컴퓨터 판독가능 매체는, 제1 확장된 관심 영역과 연관된 복수의 엘리먼트들의 깊이 값들에 기초하여 제1 확장된 관심 영역에 대한 대표 깊이 값을 결정하는 것을 포함할 수 있다.
일부 양태들에서, 대표 깊이 값은 제1 확장된 관심 영역과 연관된 복수의 엘리먼트들의 깊이 값들의 평균을 포함한다.
일부 양태들에서, 전술된 방법, 장치들 및 컴퓨터 판독가능 매체는, 제1 관심 영역이 이미지에 대해 결정된 유일한 관심 영역인 것에 기초하여, 제1 거리를 표현하는 대표 깊이 정보에 기초하여 이미지를 프로세싱하는 것을 포함할 수 있다.
일부 양태들에서, 제1 거리를 표현하는 대표 깊이 정보에 기초하여 이미지를 프로세싱하기 위해, 전술된 방법, 장치들 및 컴퓨터 판독가능 매체는, 적어도 이미지의 제1 관심 영역에 대해 자동 노출, 자동 포커스, 자동 화이트 밸런스 및 자동 줌 중 적어도 하나를 수행하는 것을 포함할 수 있다.
일부 양태들에서, 전술된 방법, 장치들 및 컴퓨터 판독가능 매체는, 이미지에 묘사된 제2 객체에 대응하는 제2 관심 영역을 결정하는 것으로서, 제2 관심 영역은 멀티-포인트 깊이 감지 시스템과 연관된 멀티-포인트 그리드의 적어도 하나의 추가적인 엘리먼트와 연관되는, 상기 제2 관심 영역을 결정하는 것; 제2 객체에 대한 제2 확장된 관심 영역을 결정하는 것으로서, 제2 확장된 관심 영역은 멀티-포인트 그리드의 적어도 하나의 추가적인 엘리먼트 및 제2 하나 이상의 추가적인 엘리먼트들을 포함하는 복수의 엘리먼트들과 연관되는, 상기 제2 확장된 관심 영역을 결정하는 것; 및 제2 확장된 관심 영역과 연관된 복수의 엘리먼트들에 기초하여, 적어도 하나의 카메라와 이미지에 묘사된 제2 객체 사이의 제2 거리를 표현하는 대표 깊이 정보를 결정하는 것을 포함할 수 있다.
일부 양태들에서, 전술된 방법, 장치들 및 컴퓨터 판독가능 매체는, 제1 거리를 표현하는 대표 깊이 정보 및 제2 거리를 표현하는 대표 깊이 정보에 기초하여 조합된 깊이 정보를 결정하는 것을 포함할 수 있다.
일부 양태들에서, 조합된 깊이 정보를 결정하기 위해, 전술된 방법, 장치들 및 컴퓨터 판독가능 매체는, 제1 거리를 표현하는 대표 깊이 정보 및 제2 거리를 표현하는 대표 깊이 정보의 가중된 평균을 결정하는 것을 포함할 수 있다.
일부 양태들에서, 전술된 방법, 장치들 및 컴퓨터 판독가능 매체는, 조합된 깊이 정보에 기초하여 이미지를 프로세싱하는 것을 포함할 수 있다.
일부 양태들에서, 조합된 깊이 정보에 기초하여 이미지를 프로세싱하기 위해, 전술된 방법, 장치들 및 컴퓨터 판독가능 매체는, 적어도 이미지의 제1 관심 영역에 대해 자동 노출, 자동 포커스, 자동 화이트 밸런스 및 자동 줌 중 적어도 하나를 수행하는 것을 포함할 수 있다.
일부 양태들에서, 멀티-포인트 깊이 감지 시스템은 복수의 광원들을 포함하는 송신기 및 복수의 광원들에 의해 방출된 광의 반사들을 수신하도록 구성된 수신기를 포함한다. 일부 경우들에서, 대표 깊이 정보는 광의 수신된 반사들에 기초하여 결정된다.
적어도 하나의 추가적인 예에 따르면, 이미지 데이터를 프로세싱하는 방법이 제공된다. 방법은, 적어도 하나의 카메라를 사용하여 획득된 이미지에 묘사된 적어도 하나의 객체에 대응하는 관심 영역을 결정하는 단계로서, 관심 영역은 멀티-포인트 깊이 감지 시스템과 연관된 멀티-포인트 그리드의 복수의 엘리먼트들과 연관되는, 상기 관심 영역을 결정하는 단계; 복수의 엘리먼트들과 연관된 깊이 정보에 기초하여 관심 영역이 멀티-깊이 정보를 포함하는지 여부를 결정하는 단계; 및 관심 영역이 멀티-깊이 정보를 포함하는지 여부에 기초하여, 적어도 하나의 카메라와 이미지에 묘사된 적어도 하나의 객체 사이의 거리를 표현하는 대표 깊이 정보를 결정하는 단계를 포함할 수 있다.
다른 예에서, 이미지 데이터를 프로세싱하기 위한 장치가 제공된다. 장치는 적어도 하나의 메모리 및 적어도 하나의 메모리에 커플링된 (예를 들어, 회로부에서 구현된) 하나 이상의 프로세서들을 포함할 수 있다. 하나 이상의 프로세서들은, 적어도 하나의 카메라를 사용하여 획득된 이미지에 묘사된 적어도 하나의 객체에 대응하는 관심 영역을 결정하는 것으로서, 관심 영역은 멀티-포인트 깊이 감지 시스템과 연관된 멀티-포인트 그리드의 복수의 엘리먼트들과 연관되는, 상기 관심 영역을 결정하고; 복수의 엘리먼트들과 연관된 깊이 정보에 기초하여 관심 영역이 멀티-깊이 정보를 포함하는지 여부를 결정하고; 관심 영역이 멀티-깊이 정보를 포함하는지 여부에 기초하여, 적어도 하나의 카메라와 이미지에 묘사된 적어도 하나의 객체 사이의 거리를 표현하는 대표 깊이 정보를 결정하도록 구성된다.
다른 예에서, 명령들이 저장된 비일시적 컴퓨터 판독가능 매체가 제공되고, 명령들은, 하나 이상의 프로세서들에 의해 실행될 때, 하나 이상의 프로세서들로 하여금, 적어도 하나의 카메라를 사용하여 획득된 이미지에 묘사된 적어도 하나의 객체에 대응하는 관심 영역을 결정하게 하는 것으로서, 관심 영역은 멀티-포인트 깊이 감지 시스템과 연관된 멀티-포인트 그리드의 복수의 엘리먼트들과 연관되는, 상기 관심 영역을 결정하게 하고; 복수의 엘리먼트들과 연관된 깊이 정보에 기초하여 관심 영역이 멀티-깊이 정보를 포함하는지 여부를 결정하게 하고; 관심 영역이 멀티-깊이 정보를 포함하는지 여부에 기초하여, 적어도 하나의 카메라와 이미지에 묘사된 적어도 하나의 객체 사이의 거리를 표현하는 대표 깊이 정보를 결정하게 한다.
다른 예에서, 이미지 데이터를 프로세싱하기 위한 장치가 제공된다. 장치는, 적어도 하나의 카메라를 사용하여 획득된 이미지에 묘사된 적어도 하나의 객체에 대응하는 관심 영역을 결정하기 위한 수단으로서, 관심 영역은 멀티-포인트 깊이 감지 시스템과 연관된 멀티-포인트 그리드의 복수의 엘리먼트들과 연관되는, 상기 관심 영역을 결정하기 위한 수단; 복수의 엘리먼트들과 연관된 깊이 정보에 기초하여 관심 영역이 멀티-깊이 정보를 포함하는지 여부를 결정하기 위한 수단; 및 관심 영역이 멀티-깊이 정보를 포함하는지 여부에 기초하여, 적어도 하나의 카메라와 이미지에 묘사된 적어도 하나의 객체 사이의 거리를 표현하는 대표 깊이 정보를 결정하기 위한 수단을 포함한다.
일부 양태들에서, 전술된 방법, 장치들 및 컴퓨터 판독가능 매체는, 복수의 엘리먼트들과 연관된 대표 깊이 정보에 따라 복수의 엘리먼트들을 분류하는 것을 포함할 수 있고, 복수의 엘리먼트들은 최소 깊이로부터 최대 깊이까지 분류된다.
일부 양태들에서, 관심 영역이 멀티-깊이 정보를 포함하는지 여부를 결정하기 위해, 전술된 방법, 장치들 및 컴퓨터 판독가능 매체는, 복수의 엘리먼트들의 가장 작은 깊이 값과 복수의 엘리먼트들의 가장 큰 깊이 값 사이의 차이가 멀티-깊이 임계치보다 크다고 결정하는 것; 및 가장 작은 깊이 값과 가장 큰 깊이 값 사이의 차이가 멀티-깊이 임계치보다 크다고 결정하는 것에 기초하여 관심 영역이 멀티-깊이 정보를 포함한다고 결정하는 것을 포함할 수 있다.
일부 양태들에서, 대표 깊이 정보를 결정하기 위해, 전술된 방법, 장치들 및 컴퓨터 판독가능 매체는, 대표 깊이 정보로서 두번째 또는 세번째로 작은 깊이 값을 선택하는 것을 포함할 수 있다.
일부 양태들에서, 관심 영역이 멀티-깊이 정보를 포함하는지 여부를 결정하기 위해, 전술된 방법, 장치들 및 컴퓨터 판독가능 매체는, 복수의 엘리먼트들의 가장 작은 깊이 값과 복수의 엘리먼트들의 가장 큰 깊이 값 사이의 차이가 멀티-깊이 임계치 미만이라고 결정하는 것; 및 가장 작은 깊이 값과 가장 큰 깊이 값 사이의 차이가 멀티-깊이 임계치 미만이라고 결정하는 것에 기초하여 관심 영역이 멀티-깊이 정보를 포함하지 않는다고 결정하는 것을 포함할 수 있다.
일부 양태들에서, 대표 깊이 정보를 결정하기 위해, 전술된 방법, 장치들 및 컴퓨터 판독가능 매체는, 멀티-포인트 그리드의 복수의 엘리먼트들로부터의 대부분의 엘리먼트들과 연관된 깊이 값을 결정하는 것; 및 깊이 값을 대표 깊이 정보로서 선택하는 것을 포함할 수 있다.
일부 양태들에서, 전술된 방법, 장치들 및 컴퓨터 판독가능 매체는, 거리를 표현하는 대표 깊이 정보에 기초하여 이미지를 프로세싱하는 것을 포함할 수 있고, 이미지를 프로세싱하는 것은 적어도 이미지의 관심 영역에 대해 자동 노출, 자동 포커스, 자동 화이트 밸런스 및 자동 줌 중 적어도 하나를 수행하는 것을 포함한다.
일부 양태들에서, 멀티-포인트 깊이 감지 시스템은 복수의 광원들을 포함하는 송신기 및 복수의 광원들에 의해 방출된 광의 반사들을 수신하도록 구성된 수신기를 포함한다. 일부 경우들에서, 대표 깊이 정보는 광의 수신된 반사들에 기초하여 결정된다.
일부 양태들에서, 전술된 장치들 중 하나 이상은 모바일 디바이스(예를 들어, 모바일 전화 또는 소위 "스마트폰" 또는 다른 모바일 디바이스), 웨어러블 디바이스, 확장 현실 디바이스(예를 들어, 가상 현실(VR) 디바이스, 증강 현실(AR) 디바이스, 또는 혼합 현실(MR) 디바이스), 개인용 컴퓨터, 랩톱 컴퓨터, 서버 컴퓨터, 차량(예를 들어, 차량의 컴퓨팅 디바이스), 또는 다른 디바이스이거나 그 일부이다. 일부 양태들에서, 장치는 하나 이상의 이미지들을 캡처하기 위한 카메라 또는 다수의 카메라들을 포함한다. 일부 양태들에서, 장치는 하나 이상의 이미지들, 통지들 및/또는 다른 디스플레이 가능 데이터를 디스플레이하기 위한 디스플레이를 더 포함한다. 일부 양태들에서, 장치는 장치의 위치 및/또는 포즈, 장치들의 상태를 결정하기 위해, 그리고/또는 다른 목적들을 위해 사용될 수 있는 하나 이상의 센서들을 포함할 수 있다.
이 발명의 내용은 청구 대상의 핵심적인 또는 본질적인 특징들을 확인하는 것으로 의도되는 것도, 청구 대상의 범위를 결정하기 위해 별개로 사용되는 것으로 의도되는 것도 아니다. 청구 대상은 본 특허의 전체 명세서의 적절한 부분들, 임의의 또는 모든 도면들, 및 각각의 청구항에 대한 참조에 의해 이해되어야 한다.
전술한 내용은 다른 특징들 및 실시예들과 함께, 다음의 명세서, 청구항들 및 첨부 도면들을 참조할 때 보다 명백해질 것이다.
본 출원의 예시적인 실시예들은 다음의 도면들을 참조하여 아래에서 상세히 설명된다:
도 1은 일부 예들에 따른, 이미지 캡처 및 프로세싱 시스템의 예시적인 아키텍처를 예시하는 블록도이다.
도 2a 및 도 2b는 일부 예들에 따른, 이미지 캡처 동작을 수행하는 예시들이다.
도 3은 일부 예들에 따른, 비행 시간(TOF) 시스템의 예를 예시하는 도면이다.
도 4a는 일부 예들에 따른, 깊이 감지 시스템의 단일 포인트 광원의 시야(FOV)를 예시하는 이미지이다.
도 4b는 일부 예들에 따른, 멀티-포인트 광원을 갖는 깊이 감지 시스템과 연관된 4x4 그리드를 예시하는 이미지이다.
도 5는 일부 예들에 따른, 구조화된 광 시스템의 예를 예시하는 도면이다.
도 6a는 일부 예들에 따른, 멀티-포인트 깊이 정보 및 관심 영역(ROI) 정보를 사용하여 이미지 프로세싱 알고리즘(들)을 적용하는 프로세스의 예를 예시하는 흐름도를 예시하는 도면이다.
도 6b는 일부 예들에 따른, 하나 이상의 이미지 캡처 및 프로세싱 동작들을 수행할 수 있는 멀티-포인트 깊이 감지 제어기의 예를 예시하는 도면이다.
도 7a는 일부 예들에 따른, 멀티-포인트 광원의 그리드의 예를 예시하는 이미지를 예시하는 도면이다.
도 7b는 일부 예들에 따른, 멀티-포인트 광원의 그리드의 다른 예를 예시하는 도면이다.
도 8a는 일부 예들에 따른, 오리지널 또는 타겟 ROI의 크기의 2배인 크기를 포함하는 확장된 ROI를 예시하는 이미지이다.
도 8b는 일부 예들에 따른, 오리지널 또는 타겟 ROI의 크기의 4배인 크기를 포함하는 확장된 ROI를 예시하는 이미지이다.
도 9는 일부 예들에 따른, 타겟 ROI 근처의 멀티-포인트 그리드의 좌표 상관에 기초하여 타겟 ROI를 확장하는 예를 예시하는 도면이다.
도 10은 일부 예들에 따른, 도 6의 멀티-포인트 깊이 감지 제어기의 데이터 분석기에 의해 수행될 수 있는 프로세스의 예를 예시하는 흐름도이다.
도 11은 일부 예들에 따른, 도 6의 멀티-포인트 깊이 감지 제어기의 멀티-대상 최적화기의 동작들을 도시하는 멀티-포인트 그리드와 오버레이된 이미지들을 포함한다.
도 12는 일부 예들에 따른, 상이한 깊이들에 있는 다수의 대상들을 포함하는 이미지이다.
도 13은 일부 예들에 따른, 이미지 데이터를 프로세싱하기 위한 프로세스의 예를 예시하는 흐름도이다.
도 14는 일부 예들에 따른, 이미지 데이터를 프로세싱하기 위한 프로세스의 예를 예시하는 흐름도이다.
도 15는 본 명세서에 설명된 특정 양태들을 구현하기 위한 시스템의 예를 예시하는 도면이다.
도 1은 일부 예들에 따른, 이미지 캡처 및 프로세싱 시스템의 예시적인 아키텍처를 예시하는 블록도이다.
도 2a 및 도 2b는 일부 예들에 따른, 이미지 캡처 동작을 수행하는 예시들이다.
도 3은 일부 예들에 따른, 비행 시간(TOF) 시스템의 예를 예시하는 도면이다.
도 4a는 일부 예들에 따른, 깊이 감지 시스템의 단일 포인트 광원의 시야(FOV)를 예시하는 이미지이다.
도 4b는 일부 예들에 따른, 멀티-포인트 광원을 갖는 깊이 감지 시스템과 연관된 4x4 그리드를 예시하는 이미지이다.
도 5는 일부 예들에 따른, 구조화된 광 시스템의 예를 예시하는 도면이다.
도 6a는 일부 예들에 따른, 멀티-포인트 깊이 정보 및 관심 영역(ROI) 정보를 사용하여 이미지 프로세싱 알고리즘(들)을 적용하는 프로세스의 예를 예시하는 흐름도를 예시하는 도면이다.
도 6b는 일부 예들에 따른, 하나 이상의 이미지 캡처 및 프로세싱 동작들을 수행할 수 있는 멀티-포인트 깊이 감지 제어기의 예를 예시하는 도면이다.
도 7a는 일부 예들에 따른, 멀티-포인트 광원의 그리드의 예를 예시하는 이미지를 예시하는 도면이다.
도 7b는 일부 예들에 따른, 멀티-포인트 광원의 그리드의 다른 예를 예시하는 도면이다.
도 8a는 일부 예들에 따른, 오리지널 또는 타겟 ROI의 크기의 2배인 크기를 포함하는 확장된 ROI를 예시하는 이미지이다.
도 8b는 일부 예들에 따른, 오리지널 또는 타겟 ROI의 크기의 4배인 크기를 포함하는 확장된 ROI를 예시하는 이미지이다.
도 9는 일부 예들에 따른, 타겟 ROI 근처의 멀티-포인트 그리드의 좌표 상관에 기초하여 타겟 ROI를 확장하는 예를 예시하는 도면이다.
도 10은 일부 예들에 따른, 도 6의 멀티-포인트 깊이 감지 제어기의 데이터 분석기에 의해 수행될 수 있는 프로세스의 예를 예시하는 흐름도이다.
도 11은 일부 예들에 따른, 도 6의 멀티-포인트 깊이 감지 제어기의 멀티-대상 최적화기의 동작들을 도시하는 멀티-포인트 그리드와 오버레이된 이미지들을 포함한다.
도 12는 일부 예들에 따른, 상이한 깊이들에 있는 다수의 대상들을 포함하는 이미지이다.
도 13은 일부 예들에 따른, 이미지 데이터를 프로세싱하기 위한 프로세스의 예를 예시하는 흐름도이다.
도 14는 일부 예들에 따른, 이미지 데이터를 프로세싱하기 위한 프로세스의 예를 예시하는 흐름도이다.
도 15는 본 명세서에 설명된 특정 양태들을 구현하기 위한 시스템의 예를 예시하는 도면이다.
본 개시내용의 특정 양태들 및 실시예들이 아래에서 제공된다. 이러한 양태들 및 실시예들 중 일부는 독립적으로 적용될 수 있고, 이들 중 일부는 당해 기술분야에서 통상의 지식을 가진 자들에게 명백하듯이, 조합하여 적용될 수 있다. 다음의 설명에서는, 설명의 목적으로, 본 출원의 실시예들의 전반적인 이해를 제공하기 위해 특정 세부사항들이 제시된다. 그러나 다양한 실시예들은 이러한 특정 세부사항들 없이 실시될 수 있음이 명백할 것이다. 도면들 및 설명은 제한적인 것으로 의도되지 않는다.
다음의 설명은 예시적인 실시예들만을 제공하며, 본 개시내용의 범위, 적용가능성, 또는 구성을 제한하도록 의도되지 않는다. 오히려, 예시적인 실시예들의 다음의 설명은 예시적인 실시예를 구현하기 위한 가능한 설명을 당업자들에게 제공할 것이다. 첨부된 청구항들에 제시된 바와 같이 본 출원의 사상 및 범위를 벗어나지 않으면서 엘리먼트들의 기능 및 배열에 다양한 변경들이 이루어질 수 있다고 이해되어야 한다.
카메라는 이미지 센서를 사용하여, 광을 수신하고 정지 이미지들 또는 비디오 프레임들과 같은 이미지 프레임들을 캡처하는 디바이스이다. 용어 "이미지", "이미지 프레임", 및 "프레임"은 본 명세서에서 상호교환가능하게 사용된다. 카메라는 하나 이상의 이미지 프레임을 수신하고 하나 이상의 이미지 프레임을 프로세싱할 수 있는 이미지 신호 프로세서(ISP)와 같은 프로세서를 포함할 수 있다. 예를 들어, 카메라 센서로 캡처한 원시 이미지 프레임은 ISP에서 프로세싱하여 최종 이미지를 생성할 수 있다. ISP에 의한 프로세싱은, 특히, 디노이징 또는 잡음 필터링, 에지 향상, 컬러 밸런싱, 콘트라스트, 강도 조정(예를 들어, 다크닝 또는 라이트닝), 톤 조정과 같은, 캡처된 이미지 프레임에 적용되는 복수의 필터들 또는 프로세싱 블록들에 의해 수행될 수 있다. 이미지 프로세싱 블록들 또는 모듈들은 특히 렌즈/센서 잡음 보정, 베이어 필터들, 디-모자이킹(de-mosaicing), 컬러 변환, 이미지 속성들의 보정 또는 향상/억제, 디노이징 필터들, 샤프닝 필터들을 포함할 수 있다.
카메라들은 다양한 이미지 캡처 및/또는 이미지 프로세싱 동작들 및 설정들로 구성될 수 있다. 상이한 설정은 외관이 상이한 이미지를 낳는다. 일부 카메라 동작들, 이를테면, 집합적으로 "3A" 또는 "3A들"로 지칭되는 자동 포커스(또한, 오토 포커스로 지칭됨), 자동 노출(또한, 오토 노출로 지칭됨), 및 자동 화이트 밸런스 알고리즘들(또한 오토 화이트 밸런스로 지칭됨)은 사진의 캡처 전에 또는 그 동안 결정되고 적용된다. 이미지의 캡처 전에, 그 동안에, 또는 그 후에 적용되는 추가적인 카메라 동작들은 줌(예를 들어, 줌 인 또는 줌 아웃), ISO, 조리개 크기, f/스톱, 셔터 속도, 및 이득을 수반하는 동작들을 포함한다. 다른 카메라 동작들은 대비, 밝기, 채도, 선명도, 레벨들, 곡선들, 또는 컬러들에 대한 변경들과 같은, 이미지의 포스트프로세싱을 구성할 수 있다.
도 1은 이미지 캡처 및 프로세싱 시스템(100)의 아키텍처를 예시하는 블록도이다. 이미지 캡처 및 프로세싱 시스템(100)은 장면의 이미지(예를 들어, 장면(110)의 이미지)를 캡처 및 프로세싱하는 데 사용되는 다양한 컴포넌트들을 포함한다. 이미지 캡처 및 프로세싱 시스템(100)은 독립형 이미지(또는 사진)를 캡처할 수 있고 그리고/또는 특정 시퀀스에서 다수의 이미지(또는 비디오 프레임)를 포함하는 비디오를 캡처할 수 있다. 시스템(100)의 렌즈(115)는 장면(110)을 향하고 장면(110)으로부터 광을 수신한다. 렌즈(115)는 이미지 센서(130)를 향해 광을 만곡시킨다. 렌즈(115)에 의해 수신된 광은 하나 이상의 제어 메커니즘(120)에 의해 제어되는 조리개를 통과하고 이미지 센서(130)에 의해 수신된다.
하나 이상의 제어 메커니즘들(120)은 이미지 센서(130)로부터의 정보에 기초하여 그리고/또는 이미지 프로세서(150)로부터의 정보에 기초하여 노출, 포커스, 및/또는 줌을 제어할 수 있다. 하나 이상의 제어 메커니즘들(120)은 다수의 메커니즘들 및 컴포넌트들을 포함할 수 있는데; 예를 들어, 제어 메커니즘들(120)은 하나 이상의 노출 제어 메커니즘들(125A), 하나 이상의 포커스 제어 메커니즘들(125B), 및/또는 하나 이상의 줌 제어 메커니즘들(125C)을 포함할 수 있다. 하나 이상의 제어 메커니즘들(120)은 또한 아날로그 이득, 플래시, HDR, 피사계 심도, 및/또는 다른 이미지 캡처 속성을 제어하는 제어 메커니즘과 같이 예시된 것 외에 추가적인 제어 메커니즘을 포함할 수 있다. 일부 경우들에서, 하나 이상의 제어 메커니즘들(120)은 "3A" 이미지 프로세싱 동작들을 제어 및/또는 구현할 수 있다.
제어 메커니즘들(120)의 포커스 제어 메커니즘(125B)은 포커스 설정을 획득할 수 있다. 일부 예들에서, 포커스 제어 메커니즘(125B)은 메모리 레지스터에 포커스 설정을 저장한다. 포커스 설정에 기초하여, 포커스 제어 메커니즘(125B)은 이미지 센서(130)의 포지션에 상대적으로 렌즈(115)의 포지션을 조정할 수 있다. 예를 들어, 포커스 설정에 기초하여, 포커스 제어 메커니즘(125B)은 모터 또는 서보를 작동시켜 렌즈(115)를 이미지 센서(130)에 더 가깝게 또는 이미지 센서(130)로부터 더 멀리 이동시켜, 포커스를 조절할 수 있다. 일부 경우들에서, 이미지 센서(130)의 각각의 포토다이오드 위에 하나 이상의 마이크로렌즈들 같은 추가적인 렌즈들이 디바이스(105A)에 포함될 수 있으며, 이들 각각은 광이 포토다이오드에 도달하기 전에 렌즈(115)로부터 수신된 광을 대응하는 포토다이오드 쪽으로 굴절시킨다. 포커스 설정은 CDAF(contrast detection autofocus), PDAF(phase detection autofocus) 또는 이들의 일부 조합을 통해 결정될 수 있다. 포커스 설정은 제어 메커니즘(120), 이미지 센서(130), 및/또는 이미지 프로세서(150)를 이용하여 결정될 수 있다. 포커스 설정은 이미지 캡처 설정 및/또는 이미지 프로세싱 설정으로 지칭될 수 있다.
제어 메커니즘들(120)의 노출 제어 메커니즘(125A)은 노출 설정을 획득할 수 있다. 일부 경우에, 노출 제어 메커니즘(125A)은 메모리 레지스터에 노출 설정을 저장한다. 이 노출 설정에 기초하여, 노출 제어 메커니즘(125A)은 조리개의 크기(예를 들어, 조리개 크기 또는 f/스톱), 조리개가 열려 있는 지속 시간(예를 들어, 노출 시간 또는 셔터 속도), 이미지 센서(130)의 감도(예를 들어, ISO 속도 또는 필름 속도), 이미지 센서(130)에 의해 적용된 아날로그 이득, 또는 이들의 임의의 조합을 제어할 수 있다. 노출 설정은 이미지 캡처 설정 및/또는 이미지 프로세싱 설정으로서 지칭될 수 있다.
제어 메커니즘(120)의 줌 제어 메커니즘(125C)은 줌 설정을 획득할 수 있다. 일부 예들에서, 줌 제어 메커니즘(125C)은 메모리 레지스터에 줌 설정을 저장한다. 줌 설정에 기초하여, 줌 제어 메커니즘(125C)은 렌즈(115) 및 하나 이상의 추가 렌즈들을 포함하는 렌즈 엘리먼트들의 조립체(렌즈 조립체)의 포커스 길이를 제어할 수 있다. 예를 들어, 줌 제어 메커니즘(125C)은 서로에 대해 하나 이상의 렌즈를 움직이기 위해 하나 이상의 모터 또는 서보를 작동시킴으로써 렌즈 조립체의 포커스 길이를 제어할 수 있다. 줌 설정은 이미지 캡처 설정 및/또는 이미지 프로세싱 설정으로 언급될 수 있다. 일부 예에서, 렌즈 조립체는 동초점(parfocal) 줌 렌즈 또는 가변초점(varifocal) 줌 렌즈를 포함할 수 있다. 일부 예에서, 렌즈 조립체는 먼저 장면(110)으로부터 광을 수신하는 (일부 경우에 렌즈(115)일 수 있는) 포커싱 렌즈를 포함할 수 있으며, 다음으로 광이 이미지 센서(130)에 도달하기 전에 포커싱 렌즈(예를 들어, 렌즈(115))와 이미지 센서(130) 사이의 무한초점(afocal) 줌 시스템을 광이 통과한다. 무한초점 줌 시스템은, 일부 경우에, 포커스 길이가 같거나 유사한(예를 들어, 임계 차이 내에 있는) 2개의 포지티브(예를 들어, 수렴하는, 볼록) 렌즈를 포함할 수 있으며, 그 사이에는 네거티브(예를 들어, 발산하는, 오목) 렌즈를 갖는다. 일부 경우에, 줌 제어 메커니즘(125C)은 네거티브 렌즈 및 포지티브 렌즈 중 하나 또는 둘 모두와 같은 무한초점 줌 시스템에서의 렌즈 중 하나 이상을 움직인다.
이미지 센서(130)는 포토다이오드들 또는 다른 감광 엘리먼트들의 하나 이상의 어레이들을 포함한다. 각각의 포토다이오드는 이미지 센서(130)에 의해 생성된 이미지에서의 특정 픽셀에 최종적으로 대응하는 광의 양을 측정한다. 일부 경우들에서, 상이한 포토다이오드들은 상이한 컬러 필터들에 의해 커버될 수 있고, 따라서, 포토다이오드를 커버하는 필터의 컬러와 매칭하는 광을 측정할 수 있다. 예를 들어, 베이어 컬러 필터들은 적색 컬러 필터들, 청색 컬러 필터들, 및 녹색 컬러 필터들을 포함하고, 이미지의 각각의 픽셀은 적색 컬러 필터에서 커버된 적어도 하나의 포토다이오드로부터의 적색 광 데이터, 청색 컬러 필터에서 커버된 적어도 하나의 포토다이오드로부터의 청색 광 데이터, 및 녹색 컬러 필터에서 커버된 적어도 하나의 포토다이오드로부터의 녹색 광 데이터에 기초하여 생성된다. 다른 유형들의 컬러 필터들이 적색, 청색, 및/또는 녹색 컬러 필터들 대신에 또는 그에 부가하여 황색, 마젠타, 및/또는 시안("에메랄드"로 또한 지칭됨) 컬러 필터들을 사용할 수 있다. 일부 이미지 센서에는 컬러 필터가 전혀 없을 수 있으며, 대신에 (일부 경우에 수직으로 적층된) 픽셀 어레이 전체에 걸쳐 상이한 포토다이오드를 사용할 수 있다. 픽셀 어레이 전체에 걸쳐 상이한 포토다이오드는 상이한 스펙트럼 감도 곡선을 가질 수 있으므로, 상이한 파장의 광에 반응한다. 모노크롬 이미지 센서에도 컬러 필터가 없을 수 있으며, 따라서 색 심도가 없을 수 있다.
일부 경우들에서 이미지 센서(130)는, 특정 시간들에 그리고/또는 특정 각도들로부터, 특정 포토다이오드들, 또는 특정 포토다이오드들의 부분들에 광이 도달하는 것을 차단하는 불투명 및/또는 반사 마스크들을 대안적으로 또는 추가적으로 포함할 수 있으며, 이들은 위상 검출 자동 초점(PDAF)을 위해 사용될 수 있다. 이미지 센서(130)는 또한 포토다이오드에 의해 출력된 아날로그 신호를 증폭하기 위한 아날로그 이득 증폭기 및/또는 포토다이오드의 출력된 (및/또는 아날로그 이득 증폭기에 의해 증폭된) 아날로그 신호를 디지털 신호로 변환하기 위한 아날로그-디지털 변환기(ADC)를 포함할 수 있다. 일부 경우에, 제어 메커니즘(120) 중 하나 이상과 관련하여 논의된 특정 컴포넌트 또는 기능이 이미지 센서(130) 대신에 또는 추가적으로 포함될 수 있다. 이미지 센서(130)는 CCD(charge-coupled device) 센서, EMCCD(electron-multiplying CCD) 센서, APS(active-pixel sensor), CMOS(complimentary metal-oxide semiconductor), NMOS(N-type metal-oxide semiconductor), 하이브리드 CCD/CMOS 센서(예: sCMOS), 또는 이들의 기타 다른 조합일 수 있다.
이미지 프로세서(150)는, 하나 이상의 이미지 신호 프로세서(ISP)들(ISP(154)를 포함함), 하나 이상의 호스트 프로세서들(호스트 프로세서(152)를 포함함), 및/또는 컴퓨팅 시스템(1500)과 관련하여 논의된 임의의 다른 유형의 프로세서(1510)의 하나 이상과 같은 하나 이상의 프로세서들을 포함할 수 있다. 호스트 프로세서(152)는 디지털 신호 프로세서(DSP) 및/또는 다른 유형의 프로세서일 수 있다. 일부 구현들에서, 이미지 프로세서(150)는 호스트 프로세서(152) 및 ISP(154)를 포함하는 단일 집적 회로 또는 칩(예를 들어, 시스템-온-칩 또는 SoC로 지칭됨)이다. 일부 경우에, 칩은 또한 하나 이상의 입력/출력 포트(예를 들어, 입/출력(I/O) 포트(156)), 중앙 프로세싱 유닛(CPU), 그래픽 프로세싱 유닛(GPU), 광대역 모뎀(예를 들어, 3G, 4G 또는 LTE, 5G 등), 메모리, 접속성 컴포넌트(예를 들어, BluetoothTM, GPS(Global Positioning System) 등), 이들의 임의의 조합, 및/또는 다른 컴포넌트들을 포함할 수 있다. I/O 포트(156)는 I2C(Inter-Integrated Circuit 2) 인터페이스, I3C(Inter-Integrated Circuit 3) 인터페이스, SPI(Serial Peripheral Interface) 인터페이스, GPIO(serial General Purpose Input/Output) 인터페이스, MIPI(Mobile Industry Processor Interface)(예컨대, MIPI CSI-2 물리(PHY) 계층 포트 또는 인터페이스, AHB(Advanced High-performance Bus) 버스, 이들의 임의의 조합 및/또는 다른 입력/출력 포트와 같은 하나 이상의 프로토콜 또는 규격에 따른 임의의 적합한 입력/출력 포트 또는 인터페이스를 포함할 수 있다. 하나의 예시적인 예에서, 호스트 프로세서(152)는 I2C 포트를 사용하여 이미지 센서(130)와 통신할 수 있고, ISP(154)는 MIPI 포트를 사용하여 이미지 센서(130)와 통신할 수 있다.
이미지 프로세서(150)는 디모자이크, 컬러 공간 변환, 이미지 프레임 다운샘플링, 픽셀 보간, 자동 노출(AE) 제어, 자동 이득 제어(AGC), CDAF, PDAF, 자동 화이트 밸런스, HDR 이미지를 형성하기 위한 이미지 프레임들의 병합, 이미지 인식, 객체 인식, 특징(feature) 인식, 입력들의 수신, 출력들 관리, 메모리 관리, 또는 이들의 일부 조합과 같은 다수의 태스크들을 수행할 수 있다. 이미지 프로세서(150)는 이미지 프레임들 및/또는 프로세싱된 이미지들을 랜덤 액세스 메모리(RAM)(140/1520), 판독 전용 메모리(ROM)(145/1525), 캐시(1512), 메모리 유닛(1515), 다른 저장 디바이스(1530), 또는 이들의 일부 조합에 저장할 수 있다.
다양한 입력/출력(I/O) 디바이스들(160)이 이미지 프로세서(150)에 접속될 수 있다. I/O 디바이스(160)는 디스플레이 스크린, 키보드, 키패드, 터치스크린, 트랙패드, 터치 감지 표면, 프린터, 임의의 다른 출력 디바이스(1535), 임의의 다른 입력 디바이스(1545), 또는 이들의 일부 조합을 포함할 수 있다. 일부 경우에, 캡션은 I/O 디바이스(160)의 물리적 키보드 또는 키패드를 통해, 또는 I/O 디바이스(160)의 터치스크린의 가상 키보드 또는 키패드를 통해 이미지 프로세싱 디바이스(105B)에 입력될 수 있다. I/O(160)는 디바이스(105B)와 하나 이상의 주변 디바이스 사이의 유선 접속을 가능하게 하는 하나 이상의 포트, 잭, 또는 다른 커넥터를 포함할 수 있으며, 이를 통해 디바이스(105B)는 하나 이상의 주변 디바이스로부터 데이터를 수신하거나 및/또는 하나 이상의 주변 디바이스에 데이터를 송신할 수 있다. I/O(160)는 디바이스(105B)와 하나 이상의 주변 디바이스 사이의 무선 접속을 가능하게 하는 하나 이상의 무선 트랜시버를 포함할 수 있으며, 이를 통해 디바이스(105B)는 하나 이상의 주변 디바이스로부터 데이터를 수신하거나 및/또는 하나 이상의 주변 디바이스에 데이터를 송신할 수 있다. 주변 디바이스는 이전에 논의된 유형의 I/O 디바이스들(160) 중 임의의 것을 포함할 수 있으며 포트, 잭, 무선 트랜시버, 또는 다른 유선 및/또는 무선 커넥터에 커플링되면 그 자체가 I/O 디바이스(160)로 고려될 수 있다.
일부 경우들에서, 이미지 캡처 및 프로세싱 시스템(100)은 단일의 디바이스일 수 있다. 일부 경우에, 이미지 캡처 및 프로세싱 시스템(100)은 이미지 캡처 디바이스(105A)(예를 들어, 카메라) 및 이미지 프로세싱 디바이스(105B)(예를 들어, 카메라에 커플링된 컴퓨팅 디바이스)를 포함하는 둘 이상의 별개의 디바이스일 수 있다. 일부 구현들에서, 이미지 캡처 디바이스(105A) 및 이미지 프로세싱 디바이스(105B)는, 예를 들어, 하나 이상의 와이어, 케이블, 또는 다른 전기 커넥터를 통해, 및/또는 하나 이상의 무선 트랜시버를 통해 무선으로 함께 커플링될 수 있다. 일부 구현들에서, 이미지 캡처 디바이스(105A) 및 이미지 프로세싱 디바이스(105B)는 서로 분리될 수 있다.
도 1에 도시된 바와 같이, 수직 파선은 도 1의 이미지 캡처 및 프로세싱 시스템(100)을 이미지 캡처 디바이스(105A) 및 이미지 프로세싱 디바이스(105B)를 나타내는 두 부분으로 각각 나눈다. 이미지 캡처 디바이스(105A)는 렌즈(115), 제어 메커니즘(120) 및 이미지 센서(130)를 포함한다. 이미지 프로세싱 디바이스(105B)는 (ISP(154) 및 호스트 프로세서(152)를 포함하는)이미지 프로세서(150), RAM(140), ROM(145) 및 I/O(160)를 포함한다. 일부 경우에, ISP(154) 및/또는 호스트 프로세서(152)와 같은 이미지 캡처 디바이스(105A)에 예시된 특정 컴포넌트는 이미지 캡처 디바이스(105A)에 포함될 수 있다.
이미지 캡처 및 프로세싱 시스템(100)은 전자 디바이스, 예를 들어, 모바일 또는 고정식 전화 핸드셋(예를 들어, 스마트폰, 셀룰러 전화기 등), 데스크톱 컴퓨터, 랩톱 또는 노트북 컴퓨터, 태블릿 컴퓨터, 셋톱 박스, 텔레비전, 카메라, 디스플레이 디바이스, 디지털 미디어 플레이어, 비디오 게이밍 콘솔, 비디오 스트리밍 디바이스, 인터넷 프로토콜(IP) 카메라, 또는 임의의 다른 적합한 전자 디바이스를 포함할 수 있다. 일부 예들에 있어서, 이미지 캡처 및 프로세싱 시스템(100)은 셀룰러 네트워크 통신들, 802.11 wi-fi 통신들, 무선 로컬 영역 네트워크(WLAN) 통신들, 또는 이들의 일부 조합과 같은 무선 통신들을 위한 하나 이상의 무선 트랜시버들을 포함할 수 있다. 일부 구현들에서, 이미지 캡처 디바이스(105A) 및 이미지 프로세싱 디바이스(105B)는 상이한 디바이스일 수 있다. 예를 들어, 이미지 캡처 디바이스(105A)는 카메라 디바이스를 포함할 수 있고 이미지 프로세싱 디바이스(105B)는 모바일 핸드셋, 데스크톱 컴퓨터, 또는 다른 컴퓨팅 디바이스와 같은 컴퓨팅 디바이스를 포함할 수 있다.
이미지 캡처 및 프로세싱 시스템(100)이 특정 컴포넌트들을 포함하는 것으로 도시되어 있지만, 당업자는 이미지 캡처 및 프로세싱 시스템(100)이 도 1a에 도시된 것들보다 더 많은 컴포넌트들을 포함할 수 있음을 이해할 것이다. 이미지 캡처 및 프로세싱 시스템(100)의 컴포넌트는 소프트웨어, 하드웨어, 또는 소프트웨어와 하드웨어의 하나 이상의 조합을 포함할 수 있다. 예를 들어, 일부 구현들에서, 이미지 캡처 및 프로세싱 시스템(100)의 컴포넌트들은, 하나 이상의 프로그래밍가능 전자 회로들(예컨대, 마이크로프로세서들, GPU들, DSP들, CPU들, 및/또는 다른 적합한 전자 회로들)을 포함할 수 있는 전자 회로들 또는 다른 전자 하드웨어를 포함할 수 있거나 및/또는 이들을 이용하여 구현될 수 있거나, 및/또는 본 명세서에 기재된 다양한 동작들을 수행하기 위해 컴퓨터 소프트웨어, 펌웨어, 또는 이들의 임의의 조합을 포함할 수 있거나 및/또는 이들을 이용하여 구현될 수 있다. 소프트웨어 및/또는 펌웨어는 컴퓨터 판독가능 저장 매체에 저장되고 이미지 캡처 및 프로세싱 시스템(100)을 구현하는 전자 디바이스의 하나 이상의 프로세서에 의해 실행가능한 하나 이상의 명령들을 포함할 수 있다.
호스트 프로세서(152)는 (예컨대, I2C, I3C, SPI, GPIO, 및/또는 다른 인터페이스와 같은 외부 제어 인터페이스를 통해) 새로운 파라미터 설정들로 이미지 센서(130)를 구성할 수 있다. 하나의 예시적인 예에서, 호스트 프로세서(152)는 과거 이미지 프레임으로부터의 노출 제어 알고리즘의 내부 프로세싱 결과에 기초하여 이미지 센서(130)에 의해 사용되는 노출 설정을 업데이트할 수 있다. 호스트 프로세서(152)는 또한 이미지 데이터가 ISP(154)에 의해 올바르게 프로세싱되도록 이미지 센서(130)로부터의 하나 이상의 입력 이미지 프레임들의 세팅과 매칭하도록 ISP(154)의 내부 파이프라인 또는 모듈의 파라미터 설정을 동적으로 구성할 수 있다. ISP(154)의 프로세싱(또는 파이프라인) 블록 또는 모듈은 특히 렌즈/센서 잡음 보정, 모자이크 제거, 색상 변환, 이미지 속성의 보정 또는 강화/억제, 잡음 제거 필터, 샤프닝 필터를 위한 모듈을 포함할 수 있다. ISP(154)의 상이한 모듈의 설정은 호스트 프로세서(152)에 의해 구성될 수 있다. 각각의 모듈은 많은 수의 튜닝가능한 파라미터 설정들을 포함할 수 있다. 추가적으로, 상이한 모듈들이 이미지의 유사한 양태들에 영향을 미칠 수 있기 때문에 모듈들은 상호의존적일 수 있다. 예를 들어, 디노이징 및 텍스처 보정 또는 강화는 양자 모두 이미지의 고주파 양태들에 영향을 미칠 수 있다. 그 결과, 캡처된 원시 이미지로부터 최종 이미지를 생성하기 위해 많은 수의 파라미터들이 ISP에 의해 사용된다.
일부 경우들에서, 이미지 캡처 및 프로세싱 시스템(100)은 전술된 이미지 프로세싱 기능성들 중 하나 이상을 자동으로 수행할 수 있다. 예를 들어, 제어 메커니즘들(120) 중 하나 이상은 자동 초점 동작들, 자동 노출 동작들, 및/또는 자동 화이트 밸런스 동작들(위에서 언급된 바와 같이 "3A"로 지칭됨)을 수행하도록 구성될 수 있다. 일부 실시예들에서, 자동 초점 기능성은 이미지 캡처 디바이스(105A)로 하여금 원하는 이미지를 캡처하기 이전에 자동으로 초점을 맞출 수 있게 한다. 다양한 자동 초점 기술들이 존재한다. 예를 들어, 능동 자동 초점 기술들은 통상적으로 적외선 레이저들 또는 초음파 신호들을 방출하고 이들 신호들의 반사들을 수신함으로써, 카메라의 레인지(range) 센서를 통해 카메라와 이미지의 피사체 사이의 레인지를 결정한다. 또한, 수동 자동 초점 기술들은 카메라의 초점을 맞추기 위해 카메라 자체의 이미지 센서를 사용하고, 따라서 카메라에 추가적인 센서들을 통합시킬 필요가 없다. 수동 AF 기법들은 대비 검출 자동 초점(CDAF), 위상 검출 자동 초점(PDAF), 및 일부 경우들에서는 양자 모두를 사용하는 하이브리드 시스템들을 포함한다. 이미지 캡처 및 프로세싱 시스템(100)은 이들 또는 임의의 추가적인 유형의 자동 초점 기술을 구비할 수 있다.
도 2a 및 도 2b는 이미지 캡처 및 프로세싱 시스템(100)이 자동 초점 동작 또는 다른 "3A" 동작을 수행하는 동안 캡처 및/또는 프로세싱될 수 있는 이미지들의 예를 예시한다. 구체적으로, 도 2a 및 도 2b는 고정된 관심 영역(ROI)을 활용하는 오토 포커스 동작의 예를 예시한다. 도 2a에 예시된 바와 같이, 시스템(100)의 이미지 캡처 디바이스(105A)는 이미지 프레임(202)을 캡처할 수 있다. 일부 경우들에서, 이미지 프로세싱 디바이스(105B)는 (예를 들어, 이미지 프레임(202)이 프리뷰 스트림 내에 디스플레이되는 동안) 사용자가 이미지 프레임(202) 내의 위치(208)를 선택했음을 검출할 수 있다. 예를 들어, 이미지 프로세싱 디바이스(105B)는 사용자가 위치(208)에 대응하는 픽셀 또는 픽셀들의 그룹의 선택을 포함하는 입력을 (예컨대, 손가락, 제스처, 스타일러스 및/또는 다른 적절한 입력 메커니즘을 사용하여) 제공했다고 결정할 수 있다. 일부 경우들에서, 이미지 프로세싱 디바이스(105B) 또는 다른 컴포넌트 또는 시스템은 위치(208)(예를 들어, 도 2a에 도시된 링)에서 객체를 검출하기 위해 객체 검출을 수행할 수 있다. 이미지 프로세싱 디바이스(105B)는 위치(208)를 포함하는 ROI(204)를 결정할 수 있다. 이미지 프로세서(150)는 ROI(204) 내의 이미지 데이터에 대해 오토 포커스 동작, 다른 "3A" 동작(예를 들어, 오토 노출 또는 오토 화이트 밸런스) 또는 다른 동작(예를 들어, 오토 줌 등)을 수행할 수 있다. 오토 포커스 동작의 결과는 도 2a에 도시된 이미지 프레임 부분(206)에 예시된다.
도 2b는 ROI(204)의 예시적인 예를 예시한다. 도 2의 예에서, 이미지 프로세싱 디바이스(105B)는, 미리 결정된 폭(212) 및 미리 결정된 높이(210)에 의해 치수들이 정의된 이미지 프레임(202)의 영역 내의 위치(208)를 센터링함으로써 ROI(204)를 결정 및/또는 생성할 수 있다. 일부 경우들에서, 미리 결정된 폭(212) 및 미리 결정된 높이(210)는 (10 픽셀들, 50 픽셀들, 100 픽셀들 등과 같은) 미리 선택된 수의 픽셀들에 대응할 수 있다. 추가적으로 또는 대안적으로, 미리 결정된 폭(212) 및 미리 결정된 높이(210)는 사용자에게 이미지 프레임(202)을 디스플레이하는 디스플레이 내의 미리 선택된 거리들(예컨대, 0.5 센티미터, 1 센티미터, 2 센티미터 등)에 대응할 수 있다. 도 2b는 ROI(204)를 직사각형으로서 예시하지만, ROI(204)는 다른 것들 중에서도 정사각형, 원형, 타원형을 포함하는 임의의 대안적인 형상일 수 있다.
일부 경우들에서, 이미지 프로세싱 디바이스(105B)는 이미지 프레임(202) 내의 픽셀들의 좌표들을 표시하는 정보를 액세스 및/또는 분석함으로써 ROI(204)의 경계들에 대응하는 픽셀들을 결정할 수 있다. 예시적인 예로서, 사용자에 의해 선택된 위치(208)는 이미지 프레임(202) 내에서 200의 x축 좌표(수평 방향) 및 300의 y축 좌표(수직 방향)를 갖는 픽셀에 대응할 수 있다. 만약 이미지 프로세싱 디바이스(105B)가, 높이가 100 픽셀이고 길이가 200 픽셀인 고정된 ROI들을 생성하도록 구성된다면, 이미지 프로세싱 디바이스(105B)는 ROI(204)를 좌표들 (150, 400), (250, 400), (150, 200), (250, 200)에 대응하는 모서리를 갖는 박스로서 정의할 수 있다. 이미지 프로세싱 디바이스(105B)는 ROI들을 생성하기 위해 임의의 추가적인 또는 대안적인 기법을 활용할 수 있다.
많은 카메라 시스템들에서, 이미지 캡처 및/또는 프로세싱 동작들(예를 들어, 오토 포커스, 오토 노출, 오토 화이트 밸런스, 오토 줌, 및/또는 다른 동작들)은 깊이 감지 시스템으로부터의 정보를 활용할 수 있다. 하나의 예시적인 예에서, 카메라 시스템은 저조도 조건들(예를 들어, 20 이하의 럭스 값을 갖는 조명 조건들)에서의 오토 포커스 동작들을 보조하기 위해 단일 포인트 광원(예를 들어, 레이저)을 포함하는 깊이 감지 시스템으로부터의 정보를 활용할 수 있다. 예를 들어, 저조도 조건들에서, PDAF를 수행하도록 구성된 카메라 시스템은 이미지 센서에 의해 획득된 이미지 정보의 결여로 인해 오토 포커스를 수행할 수 없을 수 있다. 깊이 감지 시스템은 오토 포커스 동작들을 수행하는 데 사용하기 위한 깊이 정보를 제공할 수 있다. 단일 포인트 광원을 사용하는 깊이 감지 시스템의 예는 비행 시간(TOF) 기반 깊이 감지 시스템을 포함할 수 있다.
도 3은 TOF 시스템(300)의 예를 예시하는 도면이다. TOF 시스템(300)은 (예를 들어, 장면으로 방출된 광을 반사하는 장면 내의 객체의) 장면 또는 장면의 일부의 깊이 맵(도시되지 않음)을 생성하는 데 사용될 수 있거나 또는 레인징을 위한 다른 애플리케이션들에 사용될 수 있다. TOF 시스템(300)은 송신기(302) 및 수신기(308)를 포함할 수 있다. 송신기(302)는 "송신기", "프로젝터", "방출기" 등으로서 지칭될 수 있으며, 특정 송신 컴포넌트로 제한되지 않아야 한다. 유사하게, 수신기(308)는 "검출기", "센서", "감지 엘리먼트", "광검출기" 등으로서 지칭될 수 있으며, 특정 수신 컴포넌트로 제한되지 않아야 한다. 하나의 예시적인 예에서, TOF 시스템(300)은 장면 내의 객체(306)의 깊이 맵을 생성하는 데 사용될 수 있다. 도 3에 도시된 바와 같이, 객체(306)는 TOF 시스템(300)의 송신기(302)에 의해 방출된 반사 광으로서 예시되며, 반사 광은 이어서, TOF 시스템(300)의 수신기(308)에 의해 수신된다. 송신기(302)에 의해 방출된 광은 송신된 광(304)으로서 도시된다. 객체(306)에 의해 반사되는 광은 반사들(312)로서 도시된다.
송신기(302)는 장면 상으로 신호들(이를테면, 광 또는 광 필드)을 송신, 방출 또는 투사하도록 구성될 수 있다. 일부 경우들에서, 송신기(302)는 객체(306)의 방향으로 광(예를 들어, 송신된 광(304))을 송신할 수 있다. 송신된 광(304)은 객체(306)를 향해 지향되는 것으로만 예시되지만, 송신기(302)에 의한 방출 또는 송신의 필드는 객체(306)를 넘어서(예를 들어, 객체(306)를 포함하는 전체 장면을 향해) 확장될 수 있다. 예를 들어, 종래의 TOF 시스템 송신기는 송신기로부터 멀어지게 이동하는 방출 필드를 정의하는 방출에 대한 고정 초점 길이 렌즈를 포함할 수 있다.
송신된 광(304)은 알려진 시간 간격들로(이를테면, 주기적으로) 광 펄스들(314)을 포함한다. 수신기(308)는 송신된 광(304)의 반사들(312)을 감지하도록 구성된 센서(310)를 포함한다. 반사들(312)은 반사된 광 펄스들(316)을 포함한다. TOF 시스템(300)은 송신된 광 펄스들의 타이밍(318)을 반사된 광 펄스들의 타이밍(320)과 비교함으로써 광에 대한 왕복 시간(322)을 결정할 수 있다. TOF 시스템으로부터의 객체(306)의 거리는 방사들의 속력(예를 들어, 광 방사들에 대한 광의 속력)이 곱해진 왕복 시간의 절반으로 계산될 수 있다.
센서(310)는 반사들을 측정 또는 감지하기 위한 포토다이오드들의 어레이를 포함할 수 있다. 대안적으로, 센서(310)는 CMOS(complementary metal-oxide-semiconductor) 센서, 또는 감지를 위한 다수의 픽셀들(또는 포토-다이오드들) 또는 영역들을 포함하는 다른 적합한 감광 센서를 포함할 수 있다. 일부 경우들에서, TOF 시스템(300)은, 펄스들의 크기가 임계치보다 클 때, 반사된 광 펄스들(316)을 센서(310)에 의해 감지된 것으로 식별할 수 있다. 예를 들어, TOF 시스템(300)은 신호 없이 주변 광 및 다른 간섭의 크기를 측정할 수 있다. 이어서, TOF 시스템(300)은 추가 측정들이 이전 측정보다 측정 임계치만큼 더 큰지 여부를 결정할 수 있다. TOF 시스템의 유효 레인지의 상한은, 반사들을 감지하기 전에, 잡음 또는 신호의 열화가, 센서가 반사된 광 펄스들(316)을 정확하게 감지하기에는 신호대 잡음비(SNR)가 너무 크게 되게 하는 거리일 수 있다. 간섭을 감소시키기 위해, 수신기(308)는 송신된 광(304)과 상이한 파장들의 입사 광 중 일부를 필터링하기 위해 센서(310) 전에 대역통과 필터를 포함할 수 있다.
그러나, 단일 포인트 광원은 이미지 내에 작은 시야(FOV) 커버리지를 가질 수 있다. 하나의 예시적인 예에서, 단일 포인트 광원은 25°의 대각 FOV(최상부-좌측 코너로부터 최하부-우측 코너까지)를 가질 수 있다. 단일 포인트 광원은 디바이스 내에 매립되는 하드웨어 컴포넌트(예를 들어, 레이저)이다. 단일 포인트 광원의 FOV는 광원이 매립된 디바이스 상의 또는 내의 광원의 포지션 및 배향에 기초한다. 도 4a는 깊이 감지 시스템의 단일 포인트 광원의 FOV(402)를 도시하는 이미지(400)이다. 도시된 바와 같이, FOV(402)는 전체 이미지(400)의 크기에 비해 작다. ROI(404)는 또한 도 4a에 예시된다. 도 2a에 대해 전술된 바와 같이, ROI(404)는, 사용자가 이미지(400)에 묘사된 사람의 얼굴에 대한 터치 입력을 제공하는 것, 사람의 얼굴을 검출하는 데 얼굴 검출이 사용되는 것에 기초하여 및/또는 다른 정보를 사용하여 결정될 수 있다. 도 4a에 도시된 바와 같이, 깊이 감지 시스템의 단일-포인트 광원의 FOV(402)는 이미지의 중심을 커버하여, 중심을 벗어난 객체에 대한 이미지 캡처 또는 프로세싱 동작들(예를 들어, 오토 포커스, 오토 노출, 오토 화이트 밸런스 등)을 수행하는 것을 어렵게 한다. 예를 들어, FOV(402)는 ROI(404)의 대부분을 커버하지 않는다. 따라서, 단일-포인트 광원은 이미지(400)에 묘사된 얼굴에 대응하는 깊이 정보를 제공하지 않는다. 결과적으로, 이미지 캡처 또는 프로세싱 동작들(예를 들어, 오토 포커스, 오토 노출 등)은 ROI(404) 내의 이미지의 부분에 대해 적절히 수행되지 않을 수 있다. 예를 들어, 저조도 조건들(예를 들어, 20 이하의 럭스 값)에서, 이미지 센서에 의해(예를 들어, 이미지 센서의 이미지 픽셀들 및 PDAF 픽셀들에 의해) 캡처된 정보는 이미지(400)의 ROI(404)에 대해 적절히 수행될 오토 포커스에 대한 텍스처가 부족할 수 있고, 단일-포인트 광원으로부터의 깊이 정보는 ROI(404)에 대한 깊이 정보를 제공하지 않을 수 있으며, 이 경우 깊이 정보는 이미지 정보의 부족을 보충하는 데 사용될 수 없다.
단일 광원 기반 깊이 감지 시스템의 다른 문제는 이것이 이미지 프로세싱 동작들(예를 들어, 오토 포커스 등)에 대한 더 적은 옵션들을 제공한다는 것이다. 예를 들어, 단일 광원이 이미지 당 단일 깊이 값(예를 들어, 도 4a에 도시된 FOV(402)에 대한 단일 깊이 값)만을 제공하기 때문에, 이미지 프로세싱 동작들은 이미지에 묘사된 상이한 깊이들에 대해 상이한 특성들(예를 들어, 제1 깊이의 객체에 대한 제1 초점 레벨, 제2 깊이의 제2 객체에 대한 제2 초점 레벨, 및 배경에 대한 제3 초점 레벨)을 갖는 멀티-깊이 장면에 대한 출력 이미지를 생성할 수 없다.
일부 경우들에서, 깊이 감지 시스템은 장면 내의 깊이들을 결정하기 위해 멀티-포인트 광원을 활용할 수 있다. 멀티-포인트-기반 깊이 감지 시스템들의 예들은 다수의 광원들 및 구조화된 광 시스템들을 갖는 TOF 시스템들을 포함한다. 하나의 예시적인 예에서, 깊이 감지 시스템의 멀티-포인트 광원은 940 nm(nanometer) 적외선(IR)(또는 근-IR) 광을 송신하도록 구성된 방출기(또는 송신기) 및 SPAD(single photo avalanche diode)들의 어레이를 포함하는 수신기를 포함할 수 있다. 예시적인 멀티-포인트 광원은 최대 400 cm(centimeters)의 레인지, 61°의 대각 FOV(예를 들어, 광이 방출되는 렌즈의 설계에 의해 제어됨), (예를 들어, 60 fps(frames per second) 최대 레인징 주파수에서) 4x4 구역들 또는 (예를 들어, 15fps 최대 레인징 주파수에서) 8x8 구역들의 해상도(예를 들어, 구역들의 수로 표현됨), 및 매크로에서 15 mm(millimeters) 및 다른 거리들에서 5%의 레인지 정확도를 포함할 수 있다.
도 5는 구조화된 광 시스템(500)의 묘사이다. 구조화된 광 시스템(500)은 장면(장면에서 상이한 깊이들에 있는 객체들(506A 및 506B)를 가짐)의 깊이 맵(도시되지 않음)을 생성하는 데 사용될 수 있거나 또는 장면의 객체들(506A 및 506B) 또는 다른 부분들의 레인징을 위해 다른 애플리케이션들에 사용될 수 있다. 구조화된 광 시스템(500)은 송신기(502) 및 수신기(508)를 포함할 수 있다.
송신기(502)는 (객체들(506A 및 506B)을 포함하는) 장면 상에 공간 패턴(504)을 투사하도록 구성될 수 있다. 송신기(502)는 하나 이상의 광원들(524)(이를테면, 레이저 소스들), 렌즈(526) 및 광 변조기(528)를 포함할 수 있다. 일부 실시예들에서, 광 변조기(528)는 하나 이상의 광원들(524)(렌즈(526)에 의해 광 변조기(528)로 지향될 수 있음)로부터의 방출들을 추가의 방출들로 회절시키기 위해 하나 이상의 DOE(diffractive optical element)들을 포함한다. 광 변조기(528)는 또한 방출들의 세기를 조정할 수 있다. 추가적으로 또는 대안적으로, 광원들(524)은 방출들의 세기를 조정하도록 구성될 수 있다.
송신기(502)의 일부 다른 구현들에서, DOE는 (렌즈(526) 없이) 광원에 직접 커플링될 수 있고, 광원으로부터의 방출된 광을 공간 패턴(504)의 적어도 일부로 확산시키도록 구성될 수 있다. 공간 패턴(504)은 송신기가 장면 상에 투사하는 방출된 광의 고정된 패턴일 수 있다. 예를 들어, 공간 패턴(504)의 흑색 스폿들이, 광원(524)으로부터의 광이 송신기(502)에 의해 방출되는 것을 방지하는 DOE의 위치들에 대응하도록 DOE가 제조될 수 있다. 이러한 방식으로, 공간 패턴(504)은 수신기(508)에 의해 수신된 임의의 반사들을 분석할 때 알려질 수 있다. 송신기(502)는 송신기(502)의 애퍼처(522)를 통해 장면(객체들(506A 및 506B)을 포함함) 상으로 공간 패턴으로 광을 송신할 수 있다.
수신기(508)는, 방출된 광의 반사들이 통과하고, 렌즈(530)에 의해 지향되고, 센서(510)에 부딪칠 수 있게 하는 애퍼처(520)를 포함할 수 있다. 센서(510)는 장면으로부터, 공간 패턴화된 광의 하나 이상의 반사들을 검출(또는 "감지")하도록 구성될 수 있다. 예시된 바와 같이, 송신기(502)는 수신기(508)와 동일한 기준 평면 상에 위치될 수 있고, 송신기(502) 및 수신기(508)는 "베이스라인"(512)으로 지칭되는 거리만큼 분리될 수 있다.
센서(510)는 반사들을 측정 또는 감지하기 위해 포토다이오드들(이를테면, 애벌런치 포토다이오드들)의 어레이를 포함할 수 있다. 어레이는 어레이 내의 포토다이오드들의 수에 대응하는 다수의 픽셀들 또는 영역들을 포함하는 CMOS(complementary metal-oxide semiconductor) 센서에 커플링될 수 있다. 어레이에 의해 생성된 복수의 전기 임펄스들은 어레이에 의해 감지된 반사들의 측정들을 제공하기 위해 CMOS 센서의 대응하는 픽셀들 또는 영역들을 트리거할 수 있다. 대안적으로, 센서(510)는 반사된 코드워드 패턴을 포함하는 반사들을 감지 또는 측정하기 위한 감광성 CMOS 센서일 수 있다. CMOS 센서는 논리적으로, 공간 패턴(504)의 비트의 크기 또는 코드워드(비트들의 패치)의 크기에 대응하는 픽셀들의 그룹들로 분할될 수 있다.
반사들은 상이한 깊이들에서 상이한 객체들 또는 장면의 부분들(이를테면, 객체들(506A 및 506B))로부터의 공간 패턴화된 광의 다수의 반사들을 포함할 수 있다. 베이스라인(512), 공간 패턴(504)에서의 감지된 광의 변위 및 왜곡, 및 반사들의 세기들에 기초하여, 구조화된 광 시스템(500)은 구조화된 광 시스템(500)으로부터 객체들(이를테면, 객체들(506A 및 506B))의 하나 이상의 깊이들 및 위치들을 결정하는 데 사용될 수 있다. 베이스라인 및 거리들에 기초한 삼각측량을 이용하여, 구조화된 광 시스템(500)은 객체들(506A 및 506B) 사이의 상이한 거리들을 결정하는 데 사용될 수 있다. 예를 들어, 중심(514)과 객체(506B)로부터 반사된 광이 센서(510)에 부딪치는 위치(516) 사이의 제1 거리는 중심(514)과 객체(506A)로부터 반사된 광이 센서(510)에 부딪치는 위치(518) 사이의 제2 거리보다 작다. 센서(510)의 중심으로부터 위치(516) 및 위치(518)까지의 거리들은 객체들(506A 및 506B)의 깊이를 각각 표시할 수 있다. 제1 거리가 제2 거리 미만인 것은 객체(506B)가 객체(506A)보다 송신기(502)로부터 더 멀리 있다는 것을 표시할 수 있다. 센서(510)의 중심으로부터의 거리를 결정하는 것에 추가로, 계산들은 깊이들 또는 거리들을 결정하기 위해 센서(510)에 부딪치는 광의 공간 패턴(504)의 변위 또는 왜곡을 결정하는 것을 더 포함할 수 있다.
따라서, 멀티-포인트 광원은 단일-포인트 광원과 비교하여 증가된 FOV 및 더 많은 양의 깊이 정보를 제공한다. 예를 들어, 도 4b는 4x4 그리드(416)(엘리먼트들 또는 셀들로 또한 지칭되는 16개의 구역들을 포함함)를 도시하는 이미지(410)이다. 멀티-포인트 광원을 포함하는 깊이 감지 시스템은 그리드(416) 내의 각각의 엘리먼트 또는 구역에 대한 깊이 값을 결정할 수 있다. 예를 들어, 그리드(416)는 그리드 내의 각각의 엘리먼트 또는 구역에 대한 깊이 값들을 포함하는 깊이 맵에 대응할 수 있다. 도 4a에 도시된 단일-포인트 조명 시스템의 FOV(402)와 비교하여, 그리드(416)의 FOV는 훨씬 더 크다. 또한, 그리드(416)는 단일-포인트 광원에 대한 이미지당 하나의 깊이 값과 비교하여, 이미지당 16개의 깊이 값들(그리드(416) 내의 각각의 엘리먼트 또는 구역에 대해 하나)을 포함한다.
멀티-포인트 광원(예를 들어, 멀티-포인트 레이저 또는 레이저들)을 포함하는 깊이 감지 시스템으로부터의 정보를 사용하여 (예를 들어, 오토 포커스, 오토 노출, 오토 화이트 밸런스, 오토 줌 및/또는 다른 동작들을 사용하여) 이미지 데이터를 프로세싱하기 위한 시스템들, 장치들, 프로세스들(또한 방법들로 지칭됨) 및 컴퓨터 판독가능 매체들(집합적으로 본 명세서에서 "시스템들 및 기법들"로 지칭됨)이 본 명세서에서 설명된다.
도 6a는 멀티-포인트 깊이 정보(602) 및 관심 영역 정보(604)를 사용하여 이미지 프로세싱 알고리즘(들)(609)을 적용하는 프로세스(600)의 예를 예시하는 흐름도이다. 이미지 프로세싱 알고리즘(들)(609)은 하나 이상의 오토 포커스 알고리즘들, 하나 이상의 오토 노출 알고리즘들, 하나 이상의 자동 화이트 밸런스 알고리즘들, 하나 이상의 오토 줌 알고리즘들 및/또는 다른 알고리즘들 또는 동작들을 포함할 수 있다. 도 7a는 (멀티-포인트 광원의 FOV에 대응하는) 멀티-포인트 광원의 그리드(706)를 예시하는 이미지(700)이다. 멀티-포인트 광원을 갖는 깊이 감지 시스템으로부터의 깊이 정보를 사용하여, 프로세스(600)는 중심에서 벗어난 객체(이미지의 중심으로부터 변위된 객체)의 거리 또는 깊이를 획득할 수 있다. 예를 들어, 도 7a에 도시된 바와 같이, ROI(704)는 이미지(700)에 묘사된 사람의 얼굴에 대응한다. 그리드(706)의 2개의 엘리먼트들(구역들 또는 셀들로 또한 지칭됨)은 ROI(704)의 대부분을 커버하고, 따라서 ROI(704)에 대한 깊이 값들을 제공할 수 있다. 그러나, 사람의 얼굴의 작은 크기로 인해, 멀티-포인트 광원으로부터의 거리 또는 깊이는 안정적이 아닐 수 있다. 예를 들어, 얼굴을 포함하는 그리드(706)의 엘리먼트들(또는 구역들 또는 셀들) 내에 있는 다른 객체들(예를 들어, 사람 뒤에 있는 건물)의 깊이들은 잡음을 도입할 수 있고, 따라서 그리드 엘리먼트들의 깊이 값들은 멀티-포인트 광원으로부터의 사람의 실제 깊이 또는 거리를 정확하게 반영하지 않을 수 있다.
또한, 멀티-포인트 광원을 사용하여, 프로세스(600) 및 연관된 시스템은 각각의 그리드 엘리먼트에 대한 깊이 또는 거리를 획득할 수 있다. 일반적으로, 이러한 프로세스(600) 및 연관된 시스템은 멀티-포인트 그리드(예를 들어, 도 4b에 도시된 그리드(416))에서 값들의 대부분을 갖는 거리 또는 깊이를 출력으로서 사용한다. 그러나, 대부분의 거리 또는 깊이가 장면에서 더 멀리 떨어진 객체에 대응하면, 장면 내의 상이한 깊이들에 객체들이 있을 때, 시스템이 카메라에 가장 가까운 객체에 포커싱할 것으로 사용자가 예상할 수 있기 때문에 결과는 부족할 수 있다. 또한 추가로, 프로세스(600) 및 연관된 시스템이 각각의 그리드 엘리먼트에 대한 거리 또는 깊이를 획득할 수 있지만, 이미지 프로세싱 알고리즘(들)(609)에 의한 사용을 위한 출력으로서 하나의 거리만이 선택될 수 있다.
본 명세서에서 설명된 바와 같이, 일부 예들에서, 시스템들 및 기법들은 이미지 캡처 및 프로세싱 동작들을 위한 멀티-포인트 광원을 갖는 깊이 감지 시스템으로부터의 정보의 사용을 개선하기 위해 하나 이상의 동작들을 수행할 수 있다. 도 6b는 멀티-포인트 깊이 정보(612) 및 관심 영역 정보(614)를 프로세싱하고 이미지 프로세싱 알고리즘(들)(619)에 의한 사용을 위해 대표 깊이 정보를 출력할 수 있는 멀티-포인트 깊이 감지 제어기(615)의 예를 예시하는 도면이다. 멀티-포인트 깊이 감지 제어기(615)는 관심 영역(ROI) 제어기(616), 데이터 분석기(616) 및 멀티-대상 최적화기(618)를 포함한다.
일부 양태들에서, ROI 제어기(616)는 ROI(예를 들어, 도 7a의 ROI(704))를 확장할 수 있어서, 멀티-포인트 광원을 갖는 깊이 감지 시스템으로부터 추가적인 깊이 또는 거리 정보가 획득될 수 있다. 예를 들어, 도 7b에 도시된 바와 같이, ROI 제어기(616)는 이미지(710)에 대한 확장된 ROI(714)를 결정할 수 있다. 확장된 ROI(714)에 기초하여, 그리드의 추가적인 엘리먼트들로부터의 깊이 정보(예를 들어, 각각의 그리드 엘리먼트 당 하나의 깊이 값을 포함하는, 그리드(706)의 중간 4개의 엘리먼트들에 대한 4개의 깊이 값들)가 결정되어 데이터 분석기(617)에 출력될 수 있다. 추가적인 그리드 엘리먼트들로부터의 깊이 정보를 이용하여, (예를 들어, 전술된 바와 같이, ROI(704)와 연관된 제한된 이용가능한 깊이 값들이 불충분할 수 있는 도 6a의 예와 비교하여) 더 안정적인 깊이 결과가 이미지 프로세싱 알고리즘(들)(619)에 제공될 수 있다. 확장된 ROI를 결정하기 위한 다양한 기법들이 아래에서 설명된다. 일부 예들에서, ROI 제어기(616)는 단지 특정 ROI들(본 명세서에서 "특수" ROI들로 지칭됨), 이를테면, 객체 검출을 사용하여 결정된 ROI들(예를 들어, 얼굴 검출을 사용하여 결정된 얼굴 ROI, 차량 검출을 사용하여 결정된 차량 ROI), 입력-기반 ROI(예를 들어, 터치 입력, 제스처 입력, 음성 입력, 및/또는 사용자로부터 수신된 다른 입력에 기초함), 및/또는 이미지의 일부 또는 특정 객체에 대해 결정된 다른 ROI를 확장한다. 이러한 예들에서, ROI 제어기(616)는 이미지 내의 디폴트 포지션(예를 들어, 중심 포지션)으로 설정된 일반 ROI를 확장하지 않을 수 있다. 예를 들어, 어떠한 객체도 검출되지 않을 때, 어떠한 사용자 입력도 수신되지 않을 때 등에 이미지에 대한 일반 ROI가 결정될 수 있다.
일부 경우들에서, ROI 제어기(616)는 이미지 내의 ROI의 크기 및/또는 위치에 기초하여 확장된 ROI를 결정할 수 있다. 예를 들어, 제1 객체에 대한 ROI는 제1 객체보다 작은 제2 객체에 대한 ROI보다 더 많은 그리드 엘리먼트들을 포함하도록 확장될 수 있다. 도 8a는 오리지널 ROI의 크기의 2배인 크기를 포함하는 확장된 ROI(802)를 예시하는 이미지(810)이다(오리지널 ROI는 실선들로 도 8a에서 도시되지만, 확장된 ROI(812)의 확장된 부분은 점선들로 도시됨). 오리지널 ROI는 또한, 본 명세서에서 타겟 ROI로 지칭된다. 도 8b는 오리지널 ROI의 크기의 4배인 크기를 포함하는 확장된 ROI(812)를 예시하는 이미지(810)이다(오리지널 ROI는 실선들로 도 8b에서 도시되지만, 확장된 ROI(812)의 확장된 부분은 점선들로 도시됨). ROI(802)(도 8a) 및 ROI(812)(도 8b)는 이미지(800) 및 이미지(810) 내의 사람의 얼굴에 대응하는 오리지널 ROI로 인해 각각 하향 방향으로 확장된다. 예를 들어, 오리지널 ROI를 하향 방향으로 확장함으로써, 사람의 신체의 깊이 값들(이는 사람의 얼굴에 대응하는 깊이 값들의 10의 임계 차이와 같은 임계 차이 내에 있는 깊이 값들을 가질 것임)은 이미지 캡처 또는 프로세싱 동작들(예를 들어, 오토 포커스, 오토 노출 등)에 의한 사용을 위해 더 안정적인 깊이 결정을 제공하기 위해 사용될 수 있다. 일부 경우들에서, 시스템은 사람이 누워 있고, 앉아 있고, 그리고/또는 서 있는 것 이외의 방식으로 위치된다고 결정할 수 있으며, 이 경우에, ROI는 하향 방향 이외의 방향으로 확장될 수 있다. 도 8a 및 도 8b의 예들은 ROI가 하향 방향으로 확장되는 것을 도시하지만, ROI 제어기(616)는 이를테면 객체의 유형에 따라 임의의 방향(예를 들어, 좌측, 우측, 상향 및/또는 하향 방향들)으로 ROI를 확장할 수 있다.
일부 경우들에서, ROI 제어기(616)는, ROI를 확장할 양을 결정하기 위해, 하나 이상의 크기 임계치들(또는 범위들)을 사용할 수 있다. 하나의 예시적인 예에서, ROI의 크기가 제1 크기 임계치 미만이면, ROI 제어기(616)는 하나 이상의 방향들에서(예를 들어, 도 8a 및 도 8b에 도시된 바와 같이 ROI가 사람의 얼굴에 대응할 때 좌측, 우측, 상향 및/또는 하향 방향들로, 이를테면 하향 방향으로) (오리지널 ROI의 크기의 1배를 포함하기 위해) 1배만큼 ROI를 확장할 수 있다. 추가적으로 또는 대안적으로, ROI의 크기가 제2 크기 임계치 미만이고 제1 크기 임계치보다 크면, ROI 제어기(616)는 하나 이상의 방향들에서 (오리지널 ROI의 크기의 2배를 포함하기 위해) 2배만큼 ROI를 확장할 수 있다. 추가적으로 또는 대안적으로, ROI의 크기가 제3 크기 임계치 미만이고 제1 및 제2 크기 임계치들보다 크면, ROI 제어기(616)는 하나 이상의 방향들에서 (크기의 3배를 포함하기 위해) 3배만큼 ROI를 확장할 수 있다. 이를테면, 그리드 내의 그리드 엘리먼트들의 수에 의존하여 더 적은 또는 더 많은 크기 임계치들이 사용될 수 있다. 크기 임계치는 픽셀들의 수(예를 들어, 100개의 픽셀들, 200개의 픽셀들 등), 절대적 크기(예를 들어, 2.5 센티미터, 5 센티미터 등), 및/또는 다른 메트릭을 포함할 수 있다.
추가적으로 또는 대안적으로, ROI 제어기(616)는 이미지 내의 기준 포인트에 대한 이미지 내의 ROI의 위치에 기초하여 확장된 ROI를 결정할 수 있다. 기준 포인트는 이미지의 중심 포인트, 이미지의 최상부-좌측 포인트 및/또는 이미지의 다른 포인트 또는 부분을 포함할 수 있다. 예를 들어, 예시적인 예로서 도 8b를 참조하면, 오리지널 ROI(실선들로 묘사된 확장된 ROI(812)의 부분)는 이미지(810)의 중심 포인트(813)의 위에 그리고 좌측에 위치된다. 오리지널 ROI가 이미지(810)의 중심 포인트(813)의 위에 그리고 좌측에 위치되는 것에 기초하여, 사람의 신체의 더 많은 부분이 이미지(810)에 묘사된다고 가정될 수 있다. 따라서, ROI 제어기(616)는 (오리지널 ROI가 이미지(810)의 중심 포인트(813) 위에 그리고 좌측에 위치되는 것에 기초하여) ROI가 그 오리지널 크기의 4배가 되도록 오리지널 ROI를 4배만큼 확장함으로써, 확장된 ROI(812)를 생성할 수 있다.
일부 경우들에서, ROI 제어기(616)는 ROI의 크기 및 위치에 기초하여 오리지널 ROI를 확장할 수 있다. 일 예에서, 작은(예를 들어, 하나 이상의 크기 임계치들 미만의) 중심에서 벗어난 얼굴에 대한 ROI는 큰 확장을 가질 것이다. 예를 들어, 예시적인 예로서 도 8b를 다시 참조하면, (실선들로 묘사된) 오리지널 ROI가 작고(예를 들어, 하나 이상의 크기 임계치들 미만이고) 이미지(810)의 중심 포인트(813)의 위에 그리고 좌측에 위치되는 것에 기초하여, 사람의 신체의 많은 부분이 이미지(810)에 묘사된다고 가정될 수 있다. 따라서, ROI 제어기(616)는 (오리지널 ROI가 작고 이미지(810)의 중심 포인트(813) 위에 그리고 좌측에 위치되는 것에 기초하여) 오리지널 ROI를 4배만큼 확장함으로써, 확장된 ROI(812)를 생성할 수 있다.
일부 양태들에서, ROI 제어기(616)는 타겟 객체의 ROI 근처의 멀티-포인트 그리드의 좌표 상관에 기초하여 ROI를 확장할 수 있다. 도 9는 타겟 ROI 근처의 멀티-포인트 그리드(906)의 좌표 상관에 기초하여 타겟 ROI(902)(또한 오리지널 ROI로 지칭됨)를 확장하는 예를 예시하는 도면이다. 예를 들어, 타겟 ROI(902)로부터 시작하여, ROI 제어기(616)는 타겟 ROI(902)에 대응하는 멀티-포인트 그리드의 엘리먼트에 할당된 깊이(도 9에서 50의 값)와 타겟 ROI(902)에 대응하는 그 엘리먼트에 이웃하는 엘리먼트의 깊이 사이의 차이를 결정하기 위해 (그리드(906)와 연관된 깊이 맵 내의 상이한 깊이 값들에 대응하는) 그리드(906) 내의 이웃 엘리먼트들(또는 셀들 또는 구역들)을 탐색할 수 있다. 이어서, ROI 제어기(616)는 차이가 임계 차이 미만인지 여부를 결정할 수 있다. 깊이 값의 차이가 임계 차이 내에 있으면(그리고 일부 경우들에서, 깊이 값의 신뢰도가 높으면, 이를테면 신뢰도 임계치보다 크면), 깊이 값들이 유사하기 때문에 ROI 제어기(616)는 이웃 엘리먼트가 유효한 확장이라고 결정할 것이다. 이러한 예에서, ROI 제어기(616)는 이웃 엘리먼트를 포함하도록 ROI를 확장할 것이다. 위에서 언급된 바와 같이, 일부 경우들에서, ROI 제어기(616)는, 특정 그리드 엘리먼트의 깊이 신뢰도가 신뢰할 수 있거나 그렇지 않으면 유효한 것을 보장하기 위해 특정 깊이 값의 신뢰도에 기초하여 ROI를 확장할지 여부를 결정할 수 있다. 예를 들어, 오리지널 또는 타겟 ROI 깊이 값과 이웃 그리드 엘리먼트의 깊이 값 사이의 차이가 임계 차이 내에 있다고 결정하는 것에 추가하여, ROI 제어기(616)는 (이웃 그리드 엘리먼트의) 깊이 값의 신뢰도를 신뢰도 임계치와 비교할 수 있다. 이러한 예에서, ROI 제어기(616)는, 깊이 값들의 차이가 임계 차이 내에 있고 이웃 엘리먼트 깊이 값의 신뢰도가 신뢰도 임계치보다 크면, 이웃 엘리먼트를 포함하도록 ROI를 확장할 것이다. 하나의 예시적인 예에서, 신뢰도 임계치는 0.4, 0.5, 0.6의 값 또는 다른 적합한 값으로 설정될 수 있다.
방향 및 탐색 범위는 튜닝가능한 파라미터들일 수 있다. 예를 들어, 방향 및 탐색 범위는, 사용자 선호도에 기초하여, 그리고/또는 다른 인자들에 기초하여, ROI의 유형(예를 들어, 얼굴 ROI, 객체 ROI, 터치 ROI 등)에 따라 튜닝될 수 있다. 예를 들어, 얼굴 ROI, 터치 ROI, 객체 ROI(예를 들어, 차량에 대응하는 ROI), 및 다른 종류들의 ROI들은 상이한 튜닝가능한 파라미터들을 가질 수 있다. 도 9의 예에서, 탐색 방향은 하향 방향이고(예를 들어, ROI가 얼굴 ROI인 것에 기초하여, 이 경우에, 사용자의 신체는 하향 방향일 가능성이 높음), 임계 차이는 10의 임계치로 설정된다. 일 예에서, ROI 제어기(616)는 먼저, 타겟 ROI(902)를 포함하는 엘리먼트 바로 아래의 이웃 엘리먼트를 탐색한다. 이웃 엘리먼트는 55의 깊이 값을 갖고, 타겟 ROI(902)를 포함하는 엘리먼트는 50의 깊이 값을 갖기 때문에, 깊이 값들은 10의 임계 차이 내에 있다. 따라서, ROI 제어기(616)는 이웃 엘리먼트와 연관되도록 타겟 ROI(902)를 확장하기로(타겟 ROI(902)를 하향 방향으로 1배만큼 증가시키기로) 결정할 수 있다. 이어서, ROI 제어기(616)는, 그러한 이웃 엘리먼트들의 깊이 값들이 타겟 ROI(902)를 포함하는 엘리먼트의 깊이 값의 임계 차이 내에 있는지(또는 일부 경우들에서, 이웃 엘리먼트의 임계 차이 내에 있는지) 여부를 결정하기 위해 이웃 엘리먼트의 좌측, 우측, 그리고 아래를 탐색할 수 있다. 이웃 엘리먼트의 좌측에, 우측에, 그리고 아래에 있는 엘리먼트들의 깊이 값들은 타겟 ROI(902)를 포함하는 엘리먼트의 임계 차이 내에 있으며, 이 경우에, ROI 제어기(616)는 이웃 엘리먼트와 연관되도록 타겟 ROI(902)를 확장할 수 있다(타겟 ROI(902)를 우측 및 좌측 방향들로 1배만큼 증가시킴).
이어서, ROI 제어기(616)는, 타겟 ROI(902)를 포함하는 엘리먼트의 깊이 값의 임계 차이 내에 있는(또는 일부 경우들에서, 대응하는 엘리먼트의 임계 차이 내에 있는) 깊이 값들을 갖는 엘리먼트들 각각의 좌측, 우측, 그리고 아래를 탐색할 수 있다. 도 9의 예에서, ROI 제어기(616)는 결국, 확장된 ROI(904)가 도 9에 도시된 점선 내의 그리드 엘리먼트들의 깊이 값들과 연관되도록, 확장된 ROI(904)를 생성한다. 원들에 의해 둘러싸인 깊이 값들은 타겟 ROI(902)를 포함하는 엘리먼트의 깊이 값의 임계 차이 내(또는 일부 경우들에서, 대응하는 엘리먼트의 임계 차이 내)에 있지 않은 그러한 깊이 값들이다.
데이터 분석기(617)는 멀티-대상 최적화기(618)에 출력할 깊이 값 또는 깊이 값들을 결정하기 위해 (예를 들어, ROI 제어기(616)에 의해 출력된) 이미지에 대해 결정된 확장된 ROI와 연관된 깊이 값들 또는 이미지에 대해 결정된 일반 ROI(예를 들어, 중심 ROI)와 연관된 깊이 값들을 분석할 수 있다. 도 10은 데이터 분석기(617)에 의해 수행될 수 있는 프로세스(1000)의 예를 예시하는 도면이다. 프로세스(1000)는 도 11에 도시된 이미지들(멀티-포인트 그리드(1106)와 오버레이됨)과 관련하여 설명될 것이다. 멀티-포인트 그리드(1106)의 각각의 셀은 멀티-포인트 깊이 감지 시스템에 의해 결정된 대응하는 깊이 값과 연관될 수 있다.
프로세스(1000)의 블록(1002)에서, 데이터 분석기(617)는 이미지에 대해 결정된 ROI가 일반 ROI(예를 들어, 중심 ROI)인지 또는 특수 ROI인지를 결정할 수 있다. 특수 ROI는 객체 검출을 사용하여 결정된 ROI(예를 들어, 얼굴 검출을 사용하여 결정된 얼굴 ROI, 차량 검출을 사용하여 결정된 차량 ROI), 입력-기반 ROI(예를 들어, 터치 입력, 제스처 입력, 음성 입력, 및/또는 사용자로부터 수신된 다른 입력에 기초함), 및/또는 이미지의 일부 또는 특정 객체에 대해 결정된 다른 ROI를 포함할 수 있다. 위에서 언급된 바와 같이, 일부 경우들에서, 어떠한 객체도 검출되지 않을 때, 어떠한 사용자 입력도 수신되지 않을 때 등에 이미지에 대한 일반 ROI가 결정될 수 있다.
블록(1004)에서, 데이터 분석기(617)는 ROI가 중심 ROI라고 결정한다. ROI가 중심 ROI라고 결정하는 것에 기초하여, 데이터 분석기(617)는 블록(1006)에서 그리드의 거리들(또는 깊이들)을 분류할 수 있다. 예를 들어, 데이터 분석기(617)는 가장 가까운 거리들(예를 들어, 가장 작은 깊이들)로부터 가장 먼 거리들(예를 들어, 가장 큰 깊이들)의 순서로 거리들(또는 깊이들)을 분류할 수 있다. 예시적인 예로서, 도 11을 참조하면, 그리드(1106)의 그리드 엘리먼트들(또는 셀들 또는 구역들)은 가장 작은 깊이들로부터 가장 큰 깊이들로 분류되며, 셀들의 순서는 1 내지 16으로 수치적으로 도시된다. 일부 경우들에서, 블록(1006)은 선택적이며, 이 경우에, 데이터 분석기(617)는 일부 구현들에서 블록(1006)의 동작을 수행하지 않을 수 있다.
블록(1008)에서, 데이터 분석기(617)는, 멀티-포인트 깊이 감지 시스템으로부터 멀티-포인트 그리드(예를 들어, 도 11에 도시된 그리드(1106))와 연관되어 제공된 깊이 값들에 기초하여 이미지에 묘사된 장면(예를 들어, 이미지 내의 ROI)이 멀티-깊이 장면인지 여부를 결정할 수 있다. 예를 들어, 데이터 분석기(617)는 멀티-포인트 그리드의 엘리먼트들로부터의 가장 작은 깊이 값과 가장 큰 깊이 값 사이의 차이가 멀티-깊이 임계치보다 큰지 또는 작은지를 결정할 수 있다. 예를 들어, 멀티-깊이 임계치는 100cm, 150cm, 200cm, 또는 다른 적합한 값으로 설정될 수 있다. 데이터 분석기(617)는 가장 작은 깊이 값과 가장 큰 깊이 값 사이의 차이가 멀티-깊이 임계치보다 크다고 결정하는 것에 기초하여 장면(예를 들어, ROI)이 멀티-깊이 정보를 포함한다고 결정할 수 있다. 가장 작은 깊이 값과 가장 큰 깊이 값 사이의 차이가 멀티-깊이 임계치 미만이라고 데이터 분석기(617)가 결정하면, 데이터 분석기(617)는 장면(예를 들어, ROI)이 멀티-깊이 정보를 포함하지 않는다고 결정할 수 있다.
장면이 멀티-깊이 장면이라고 데이터 분석기(617)가 결정하면, 데이터 분석기(617)는 멀티-포인트 그리드의 그리드 엘리먼트들로부터 가장 가까운 거리들(또는 가장 작은 깊이들) 중 하나를 선택할 수 있다. 예를 들어, 데이터 분석기(617)는 튜닝가능한 백분위수 선택 프로세스를 사용하여 타겟 거리로서 가장 가까운 거리들 중 하나를 선택할 수 있다. 하나의 예시적인 예에서, 튜닝가능한 백분위수 선택 프로세스는 튜닝에 의해, 제1 가장 작은 깊이(예를 들어, 도 11에서 1의 값을 갖는 그리드 엘리먼트와 연관된 깊이 값), 두번째로 작은 깊이(예를 들어, 도 11에서 2의 값을 갖는 그리드 엘리먼트와 연관된 깊이 값), 세번째로 작은 깊이(예를 들어, 도 11에서 3의 값을 갖는 그리드 엘리먼트와 연관된 깊이 값) 등의 선택을 포함할 수 있다. 예를 들어, 세번째로 작은 깊이를 선택하는 것은 이미지에 묘사된 멀티-깊이 장면에 대한 최상의 프로세싱(예를 들어, 오토 포커스, 오토 노출) 밸런스를 제공할 수 있다.
장면이 멀티-깊이 장면이 아니라고 데이터 분석기(617)가 결정하면, 데이터 분석기(617)는 일반적인 거리를 선택할 수 있다. 일 예에서, 일반적인 거리는 멀티-포인트 그리드에서 값들의 대부분을 갖는 깊이를 포함할 수 있다. 예를 들어, 데이터 분석기(617)는 멀티-포인트 그리드로부터 엘리먼트들의 대부분과 연관된 깊이 값을 결정할 수 있고, 중심 ROI에 대한 대표 깊이 정보로서 그 깊이 값을 선택할 수 있다.
블록(1014)에서, 데이터 분석기(617)는 ROI가 특수 ROI라고 결정한다. 위에서 언급된 바와 같이, ROI 제어기(616)는 특수 ROI에 대한 확장된 ROI를 생성할 수 있다. 일부 경우들에서, 본 명세서에서 설명된 바와 같이, ROI 제어기(616)는 이미지 내의 다수의 객체들에 대해 결정된 다수의 특수 ROI들에 대한 확장된 ROI를 생성할 수 있다. ROI가 특수 ROI라고 결정하는 것에 기초하여, 블록(1016)에서, 데이터 분석기(617)는, 이미지에서 (예를 들어, 사용자 입력에 기초하여) 검출된 또는 달리 식별된 각각의 객체에 대해 결정된, ROI 제어기(616)로부터의 확장된 ROI에 기초하여 각각의 ROI에 대한 개개의 거리를 결정할 수 있다. 예를 들어, 데이터 분석기(617)는 확장된 ROI와 연관된 복수의 엘리먼트들(예를 들어, 도 7b의 ROI(714)와 중첩하는, 그리드(706) 내의 4개의 그리드 엘리먼트들)의 깊이 값들에 기초하여, ROI에 대한 대표 깊이 값을 결정할 수 있다. 하나의 예시적인 예에서, 대표 깊이 값은 확장된 ROI에 의해 포함되는 멀티-포인트 그리드의 엘리먼트들의 깊이 값들의 평균(예를 들어, 도 7b의 ROI(714)와 중첩되는 그리드(706) 내의 4개의 그리드 엘리먼트들과 연관된 깊이 값들의 평균)이다.
데이터 분석기(617)는 하나 이상의 깊이 값들(예를 들어, 도 10의 블록(1010), 블록(1012) 또는 블록(1016)에서 결정된 깊이 값 또는 거리)을 멀티-대상 최적화기(618)에 출력할 수 있다. 예를 들어, 멀티-포인트 깊이 감지 제어기(615)가 전체 멀티-포인트 그리드로부터의 정보에 액세스하기 때문에, 제어기(615)는 다수의 대상들(또한 객체들로 지칭됨)을 포함하는 장면을 처리하기 위해 정보를 활용할 수 있다. 멀티-대상 최적화기(618)는, 다수의 대상들(또는 객체들)이 이미지에서 캡처될 때, 이미지 프로세싱 알고리즘(들)(예를 들어, 오토 포커스, 오토 노출 등)이 더 양호한 주관적인 시각적 품질을 갖는 이미지들을 생성하게 할 수 있다.
데이터 분석기(617)로부터의 출력이 단일 대상 또는 객체에 대한 깊이 정보(거리 또는 깊이 값을 포함함)를 포함하면, 멀티-대상 최적화기(618)는 이미지 프로세싱 알고리즘(들)(619)에 의한 사용을 위해 거리 또는 깊이 값을 출력할 수 있다.
데이터 분석기(617)로부터의 출력이 다수의 대상들/객체에 대한 깊이 정보(거리 또는 깊이 값을 포함함)를 포함하면, 멀티-대상 최적화기(618)는 데이터 분석기(617)에 의해 대상들 각각에 대해 출력된 거리 또는 깊이 값을 분석할 수 있다. 도 12는 이미지(1200)를 캡처하는 데 사용된 카메라에 대해(또는 멀티-포인트 광원 기반 깊이 감지 시스템에 대해) 상이한 깊이들에 있는 다수의 대상들(2명의 사람들을 포함함)을 포함하는 이미지(1200)이다. 도 12에 도시된 바와 같이, 이미지(1200) 위에 오버레이된 (멀티-포인트 광원을 갖는 깊이 감지 시스템에 의해 제공되는) 멀티-포인트 그리드(1204)의 상이한 엘리먼트들은 2개의 상이한 대상들과 연관된다. 두꺼운 실선 윤곽으로 윤곽이 그려진 그리드 엘리먼트들은 카메라 또는 깊이 감지 시스템에 가장 가까운 또는 더 가까운 대상(가까운 대상으로 지칭됨)과 연관된 깊이 값들을 포함하고, 파선 윤곽으로 윤곽이 그려진 그리드 엘리먼트들은 카메라 또는 깊이 감지 시스템으로부터 더 멀리 있는 대상(먼 대상으로 지칭됨)과 연관된 깊이 값들을 포함한다. 먼 대상에 대해 제1 확장된 ROI(1202)가 결정되고, 가까운 대상에 대해 제2 확장된 ROI(1203)가 결정된다.
예시적인 이미지 캡처 또는 프로세싱 동작으로서 오토 포커스를 사용하면, 오토 포커스는 일반적으로, 더 큰 ROI를 갖는 가까운 대상에 포커싱한다. 그러나, 이는 먼 대상(녹색 대상)을 흐릿하게 할 것이다. 멀티-포인트 광원을 갖는 깊이 감지 시스템으로부터의 정보(예를 들어, 멀티-포인트 그리드(1206)에 포함된 깊이 또는 거리 값들)를 사용하여, 멀티-대상 최적화기(618)는 포커스 또는 다른 이미지 캡처 또는 프로세싱 동작(예를 들어, 오토 노출, 오토 화이트 밸런스 등)을 위한 이미지 내의 위치를 결정하기 위해 대상들 둘 모두를 고려할 수 있다. 일 예에서, 멀티-대상 최적화기(618)는 먼 대상에 대해 데이터 분석기(617)에 의해 출력된 거리 또는 깊이 정보 및 가까운 대상에 대해 데이터 분석기(617)에 의해 출력된 거리 또는 깊이 정보에 기초하여 조합된 거리 또는 깊이 정보를 결정할 수 있다. 하나의 예시적인 예에서, 도 12에 도시된 바와 같이, 멀티-대상 최적화기(618)는 먼 대상에 대해 데이터 분석기(617)에 의해 출력된 깊이 또는 거리 값 및 가까운 대상에 대해 데이터 분석기(617)에 의해 출력된 깊이 또는 거리 값의 가중 평균을 결정함으로써 조합된 거리 또는 깊이 정보를 결정할 수 있다. 이러한 조합된 거리 또는 깊이 값을 사용하는 것은 이미지 프로세싱 알고리즘(들)(619)이 시각적으로 만족스러운 특성들로 나타나는 대상들 둘 모두와의 균형 잡힌 결과를 갖는 출력 이미지를 생성할 수 있게 할 수 있다.
멀티-대상 최적화기(618)는 이미지를 캡처하는 데 사용된 카메라(또는 깊이 감지 시스템)와 이미지에 묘사된 하나 이상의 대상들 또는 객체들 사이의 거리를 표현하는 대표 깊이 정보를 출력할 수 있다. 이미지 프로세싱 알고리즘(들)(619)은 ROI(704) 또는 확장된 ROI(714) 내에 있는 이미지(710)의 부분에 대해 하나 이상의 이미지 캡처 또는 프로세싱 동작들(예를 들어, 오토 포커스, 오토 노출, 오토 화이트 밸런스, 오토 줌, 및/또는 다른 동작들)을 수행하기 위해 멀티-대상 최적화기(618)로부터 출력된 대표 깊이 정보를 사용할 수 있다.
도 13은 본 명세서에 설명된 기법들 중 하나 이상을 사용하여 이미지 데이터를 프로세싱하기 위한 프로세스(1300)의 예를 예시하는 흐름도이다. 블록(1302)에서, 프로세스(1300)는 적어도 하나의 카메라를 사용하여 획득된 이미지에 묘사된 제1 객체에 대응하는 제1 관심 영역을 결정하는 것을 포함한다. 제1 관심 영역은 멀티-포인트 깊이 감지 시스템과 연관된 멀티-포인트 그리드의 적어도 하나의 엘리먼트(또는 셀 또는 구역)와 연관된다. 예를 들어, 예시적인 예로서 도 7b를 참조하면, 오리지널 또는 타겟 관심 영역(ROI)(확장된 ROI(714)의 최상부 부분)은 그리드(706)의 2개의 엘리먼트들(그리드(706)의 제2 행 및 제2 열의 엘리먼트 및 그리드(706)의 제2 행 및 제3 열의 엘리먼트)과 연관된다.
블록(1304)에서, 프로세스(1300)는 제1 객체에 대한 제1 확장된 관심 영역을 결정하는 것을 포함한다. 제1 확장된 관심 영역은 멀티-포인트 그리드의 적어도 하나의 엘리먼트 및 하나 이상의 추가적인 엘리먼트들을 포함하는 복수의 엘리먼트들과 연관된다. 예를 들어, 예시적인 예로서 도 7b를 다시 참조하면, 확장된 ROI(714)는 그리드(706)의 4개의 엘리먼트들(그리드(706)의 제2 행 및 제2 열의 엘리먼트, 그리드(706)의 제2 행 및 제3 열의 엘리먼트, 그리드(706)의 제3 행 및 제2 열의 엘리먼트, 및 그리드(706)의 제3 행 및 제3 열의 엘리먼트)과 연관된다.
일부 예들에서, 제1 객체에 대한 제1 확장된 관심 영역을 결정하기 위해, 프로세스(1300)는 제1 관심 영역의 크기 및 이미지에서의 기준 포인트에 대한 제1 관심 영역의 위치 중 적어도 하나를 결정하는 것을 포함할 수 있다. 프로세스(1300)는 제1 관심 영역의 크기 및 위치 중 적어도 하나에 기초하여 제1 객체에 대한 제1 확장된 관심 영역을 결정하는 것을 포함할 수 있다. 크기 및/또는 위치에 기초하여 확장된 ROI를 결정하는 예시적인 예들은 도 8a 및 도 8b와 관련하여 위에서 설명되었다. 일부 경우들에서, 제1 객체에 대한 제1 확장된 관심 영역을 결정하기 위해, 프로세스(1300)는 제1 관심 영역의 크기에 기초하여 제1 객체에 대한 제1 확장된 관심 영역을 결정하는 것을 포함할 수 있다. 일부 경우들에서, 제1 객체에 대한 제1 확장된 관심 영역을 결정하기 위해, 프로세스(1300)는 제1 관심 영역의 위치에 기초하여 제1 객체에 대한 제1 확장된 관심 영역을 결정하는 것을 포함할 수 있다. 일부 경우들에서, 제1 객체에 대한 제1 확장된 관심 영역을 결정하기 위해, 프로세스(1300)는 제1 관심 영역의 크기 및 위치에 기초하여 제1 객체에 대한 제1 확장된 관심 영역을 결정하는 것을 포함할 수 있다.
일부 양태들에서, 프로세스(1300)는 타겟 ROI 근처의 멀티-포인트 그리드의 좌표 상관에 기초하여 제1 확장된 관심 영역을 결정할 수 있다. 타겟 ROI 근처의 멀티-포인트 그리드의 좌표 상관에 기초하여 확장된 ROI를 결정하는 예시적인 예가 도 9와 관련하여 위에서 설명되었다. 예를 들어, 제1 객체에 대한 제1 확장된 관심 영역을 결정하기 위해, 프로세스(1300)는 멀티-포인트 그리드의 하나 이상의 추가적인 엘리먼트들 중 제1 엘리먼트와 연관된 제1 깊이를 결정하는 것을 포함할 수 있다. 제1 엘리먼트는 제1 관심 영역과 연관된 적어도 하나의 엘리먼트에 이웃한다. 프로세스(1300)는 제1 깊이와 제1 관심 영역과 연관된 적어도 하나의 엘리먼트의 깊이 사이의 차이가 임계 차이 미만이라고 결정하는 것을 포함할 수 있다. 프로세스(1300)는 제1 깊이와 제1 관심 영역과 연관된 적어도 하나의 엘리먼트의 깊이 사이의 차이가 임계 차이 미만이라고 결정하는 것에 기초하여, 제1 엘리먼트를 제1 확장된 관심 영역과 연관시키는 것을 더 포함할 수 있다. 일부 양태들에서, 프로세스(1300)는 제1 깊이의 신뢰도가 신뢰도 임계치보다 큰 것에 추가로 기초하여 제1 엘리먼트를 제1 확장된 관심 영역과 연관시킬 수 있다.
일부 예들에서, 프로세스(1300)는 멀티-포인트 그리드의 하나 이상의 추가적인 엘리먼트들 중 제2 엘리먼트와 연관된 제2 깊이를 결정하는 것을 포함할 수 있다. 제2 엘리먼트는 하나 이상의 추가적인 엘리먼트들 중 제1 엘리먼트에 이웃한다. 프로세스(1300)는 제2 깊이와 제1 깊이 사이의 차이가 임계 차이 미만이라고 결정하는 것을 포함할 수 있다. 프로세스(1300)는 제2 깊이와 제1 깊이 사이의 차이가 임계 차이 미만이라고 결정하는 것에 기초하여, 제2 엘리먼트를 제1 확장된 관심 영역과 연관시키는 것을 더 포함할 수 있다.
일부 양태들에서, 프로세스(1300)는 멀티-포인트 그리드의 하나 이상의 추가적인 엘리먼트들 중 제2 엘리먼트와 연관된 제2 깊이를 결정하는 것을 포함할 수 있다. 제2 엘리먼트는 하나 이상의 추가적인 엘리먼트들 중 제1 엘리먼트에 이웃한다. 프로세스(1300)는 제2 깊이와 제1 깊이 사이의 차이가 임계 차이보다 크다고 결정하는 것을 포함할 수 있다. 프로세스(1300)는 제2 깊이와 제1 깊이 사이의 차이가 임계 차이보다 크다고 결정하는 것에 기초하여, 제2 엘리먼트를 제1 확장된 관심 영역으로부터 배제하는 것을 더 포함할 수 있다.
블록(1306)에서, 프로세스(1300)는 제1 확장된 관심 영역과 연관된 복수의 엘리먼트들에 기초하여, 적어도 하나의 카메라와 이미지에 묘사된 제1 객체 사이의 제1 거리를 표현하는 대표 깊이 정보를 결정하는 것을 포함한다. 일부 경우들에서, 프로세스(1300)는 제1 거리를 표현하는 대표 깊이 정보에 기초하여 이미지를 프로세싱하는 것을 포함할 수 있다. 예를 들어, 이미지를 프로세싱하는 것은, 이미지의 적어도 제1 관심 영역에 대해 자동 노출, 자동 포커스, 자동 화이트 밸런스, 자동 줌, 및/또는 다른 동작(들)을 수행하는 것을 포함할 수 있다. 일부 양태들에서, 멀티-포인트 깊이 감지 시스템은 복수의 광원들을 포함하는 송신기 및 복수의 광원들에 의해 방출된 광의 반사들을 수신하도록 구성된 수신기를 포함한다. 일부 경우들에서, 대표 깊이 정보는 광의 수신된 반사들에 기초하여 결정된다.
일부 경우들에서, 제1 거리를 표현하는 대표 깊이 정보를 결정하기 위해, 프로세스(1300)는, 제1 확장된 관심 영역과 연관된 복수의 엘리먼트들의 깊이 값들에 기초하여 제1 확장된 관심 영역에 대한 대표 깊이 값을 결정하는 것을 포함할 수 있다. 일부 양태들에서, 대표 깊이 값은 제1 확장된 관심 영역과 연관된 복수의 엘리먼트들의 깊이 값들의 평균을 포함한다.
일부 양태들에서, 프로세스(1300)는 제1 관심 영역이 이미지에 대해 결정된 유일한 관심 영역인 것에 기초하여, 제1 거리를 표현하는 대표 깊이 정보에 기초하여 이미지를 프로세싱하는 것을 포함할 수 있다. 예를 들어, 프로세스(1300)는 제1 관심 영역이 유일한 관심 영역이라고 결정하는 것을 포함할 수 있고, 제1 관심 영역이 이미지에 대해 결정된 유일한 관심 영역인 것에 기초하여, 프로세스(1300)는 제1 거리를 표현하는 대표 깊이 정보에 기초하여 이미지를 프로세싱할 수 있다.
일부 양태들에서, 프로세스(1300)는 이미지에 묘사된 제2 객체에 대응하는 제2 관심 영역을 결정하는 것을 포함할 수 있다. 제2 관심 영역은 멀티-포인트 깊이 감지 시스템과 연관된 멀티-포인트 그리드의 적어도 하나의 추가적인 엘리먼트와 연관된다. 프로세스(1300)는 제2 객체에 대한 제2 확장된 관심 영역을 결정하는 것을 포함할 수 있다. 제2 확장된 관심 영역은 멀티-포인트 그리드의 적어도 하나의 추가적인 엘리먼트 및 제2 하나 이상의 추가적인 엘리먼트들을 포함하는 복수의 엘리먼트들과 연관된다. 프로세스(1300)는 제2 확장된 관심 영역과 연관된 복수의 엘리먼트들에 기초하여, 적어도 하나의 카메라와 이미지에 묘사된 제2 객체 사이의 제2 거리를 표현하는 대표 깊이 정보를 결정하는 것을 포함할 수 있다. 일부 경우들에서, 프로세스(1300)는 제1 거리를 표현하는 대표 깊이 정보 및 제2 거리를 표현하는 대표 깊이 정보에 기초하여 조합된 깊이 정보를 결정하는 것을 포함할 수 있다. 일부 경우들에서, 조합된 깊이 정보를 결정하기 위해, 프로세스(1300)는 제1 거리를 표현하는 대표 깊이 정보 및 제2 거리를 표현하는 대표 깊이 정보의 가중된 평균을 결정하는 것을 포함할 수 있다.
일부 양태들에서, 프로세스(1300)는 조합된 깊이 정보에 기초하여 이미지를 프로세싱하는 것을 포함할 수 있다. 일부 경우들에서, 조합된 깊이 정보에 기초하여 이미지를 프로세싱하기 위해, 프로세스(1300)는 이미지의 적어도 제1 관심 영역에 대해 자동 노출, 자동 포커스, 자동 화이트 밸런스, 자동 줌, 및/또는 다른 동작(들)을 수행하는 것을 포함할 수 있다.
도 14는 본 명세서에 설명된 기법들 중 하나 이상을 사용하여 이미지 데이터를 프로세싱하기 위한 프로세스(1400)의 다른 예를 예시하는 흐름도이다. 블록(1402)에서, 프로세스(1400)는 적어도 하나의 카메라를 사용하여 획득된 이미지에 묘사된 적어도 하나의 객체에 대응하는 관심 영역을 결정하는 것을 포함한다. 관심 영역은 멀티-포인트 깊이 감지 시스템과 연관된 멀티-포인트 그리드의 복수의 엘리먼트들과 연관된다.
블록(1404)에서, 프로세스(1400)는 복수의 엘리먼트들과 연관된 깊이 정보에 기초하여 관심 영역이 멀티-깊이 정보를 포함하는지 여부를 결정하는 것을 포함한다.
블록(1406)에서, 프로세스(1400)는 관심 영역이 멀티-깊이 정보를 포함하는지 여부에 기초하여, 적어도 하나의 카메라와 이미지에 묘사된 적어도 하나의 객체 사이의 거리를 표현하는 대표 깊이 정보를 결정하는 것을 포함한다. 일부 양태들에서, 프로세스(1400)는 거리를 표현하는 대표 깊이 정보에 기초하여 이미지를 프로세싱하는 것을 포함할 수 있다. 일부 경우들에서, 이미지를 프로세싱하기 위해, 프로세스(1400)는 이미지의 적어도 관심 영역에 대해 자동 노출, 자동 포커스, 자동 화이트 밸런스, 자동 줌, 및/또는 다른 동작(들)을 수행하는 것을 포함할 수 있다. 일부 예들에서, 멀티-포인트 깊이 감지 시스템은 복수의 광원들을 포함하는 송신기 및 복수의 광원들에 의해 방출된 광의 반사들을 수신하도록 구성된 수신기를 포함한다. 일부 경우들에서, 대표 깊이 정보는 광의 수신된 반사들에 기초하여 결정된다.
일부 경우들에서, 프로세스(1400)는 복수의 엘리먼트들과 연관된 대표 깊이 정보에 따라 복수의 엘리먼트들을 분류하는 것을 포함할 수 있다. 예를 들어, 프로세스(1400)는 (예를 들어, 도 11에 도시되고 그와 관련하여 설명된 바와 같이) 가장 작은 깊이로부터 가장 큰 깊이로 복수의 엘리먼트들을 분류할 수 있다.
일부 예들에서, 관심 영역이 멀티-깊이 정보를 포함하는지 여부를 결정하기 위해, 프로세스(1400)는 복수의 엘리먼트들의 가장 작은 깊이 값과 복수의 엘리먼트들의 가장 큰 깊이 값 사이의 차이가 멀티-깊이 임계치(예를 들어, 100cm, 150cm, 200cm, 또는 다른 적합한 값)보다 크다고 결정하는 것을 포함할 수 있다. 프로세스(1400)는 가장 작은 깊이 값과 가장 큰 깊이 값 사이의 차이가 멀티-깊이 임계치보다 크다고 결정하는 것에 기초하여 관심 영역이 멀티-깊이 정보를 포함한다고 결정하는 것을 포함할 수 있다. 이러한 예들에서, 대표 깊이 정보를 결정하기 위해, 프로세스(1400)는 (예를 들어, 도 6 및 도 11에 대해 전술된 튜닝가능한 백분위수 선택 프로세스에 따라) 두번째로 작은 깊이 값 또는 세번째로 작은 깊이 값을 대표 깊이 정보로서 선택하는 것을 포함할 수 있다.
일부 예들에서, 관심 영역이 멀티-깊이 정보를 포함하는지 여부를 결정하기 위해, 프로세스(1400)는 복수의 엘리먼트들의 가장 작은 깊이 값과 복수의 엘리먼트들의 가장 큰 깊이 값 사이의 차이가 멀티-깊이 임계치 미만이라고 결정하는 것을 포함할 수 있다. 프로세스(1400)는 가장 작은 깊이 값과 가장 큰 깊이 값 사이의 차이가 멀티-깊이 임계치 미만이라고 결정하는 것에 기초하여 관심 영역이 멀티-깊이 정보를 포함하지 않는다고 결정하는 것을 포함할 수 있다. 이러한 예들에서, 대표 깊이 정보를 결정하기 위해, 프로세스(1400)는 멀티-포인트 그리드의 복수의 엘리먼트들로부터 엘리먼트들의 대부분과 연관된 깊이 값을 결정하는 것을 포함할 수 있다. 프로세스(1400)는 대표 깊이 정보로서 깊이 값을 선택하는 것을 포함할 수 있다.
일부 예들에서, 본 명세서에서 설명되는 프로세스들(예를 들어, 프로세스(1000), 프로세스(1300), 프로세스(1400), 및/또는 본 명세서에서 설명되는 다른 프로세스)은 컴퓨팅 디바이스 또는 장치(예를 들어, 도 6b의 멀티-포인트 깊이 감지 제어기, 도 1의 이미지 캡처 및 프로세싱 시스템(100), 도 15의 컴퓨팅 시스템(1500)을 갖는 컴퓨팅 디바이스, 또는 다른 디바이스)에 의해 수행될 수 있다. 예를 들어, 도 15에 도시된 컴퓨팅 아키텍처를 갖는 컴퓨팅 디바이스는 도 6b의 멀티-포인트 깊이 감지 제어기의 컴포넌트들을 포함할 수 있고, 도 10, 도 13 및/또는 도 14의 동작들을 구현할 수 있다.
컴퓨팅 디바이스는 임의의 적합한 디바이스, 예를 들어, 모바일 디바이스(예를 들어, 모바일 폰), 데스크톱 컴퓨팅 디바이스, 태블릿 컴퓨팅 디바이스, 웨어러블 디바이스(예를 들어, VR 헤드셋, AR 헤드셋, AR 안경, 네트워크 접속형 시계 또는 스마트워치, 또는 다른 웨어러블 디바이스), 서버 컴퓨터, 자율주행 차량 또는 자율주행 차량의 컴퓨팅 디바이스, 로보틱 디바이스, 텔레비전, 및/또는 프로세스(1000), 프로세스(1300) 및/또는 프로세스(1400)를 포함하는, 본 명세서에서 설명된 프로세스들을 수행하기 위한 자원 능력들을 갖는 임의의 다른 컴퓨팅 디바이스를 포함할 수 있다. 일부 경우에서, 컴퓨팅 디바이스 또는 장치는 하나 이상의 입력 디바이스들, 하나 이상의 출력 디바이스들, 하나 이상의 프로세서들, 하나 이상의 마이크로프로세서들, 하나 이상의 마이크로컴퓨터들, 하나 이상의 카메라들, 하나 이상의 센서들, 및/또는 본 명세서에 설명된 프로세스들의 단계들을 수행하도록 구성되는 다른 컴포넌트(들)와 같은 다양한 컴포넌트들을 포함할 수 있다. 일부 예에서, 컴퓨팅 디바이스는 디스플레이, 데이터를 통신 및/또는 수신하도록 구성된 네트워크 인터페이스, 이들의 임의의 조합, 및/또는 다른 컴포넌트(들)를 포함할 수 있다. 네트워크 인터페이스는 인터넷 프로토콜(IP) 기반 데이터 또는 다른 유형의 데이터를 통신 및/또는 수신하도록 구성될 수 있다.
컴퓨팅 디바이스의 컴포넌트들은 회로부에서 구현될 수 있다. 예를 들어, 컴포넌트들은 하나 이상의 프로그래밍 가능 전자 회로들(예컨대, 마이크로프로세서들, GPU(graphics processing unit)들, DSP(digital signal processor)들, CPU(central processing unit)들 및/또는 다른 적절한 전자 회로들)을 포함할 수 있는 전자 회로들 또는 다른 전자 하드웨어를 포함할 수 있고 그리고/또는 이들을 사용하여 구현될 수 있으며, 그리고/또는 본 명세서에서 설명되는 다양한 동작들을 수행하기 위해 컴퓨터 소프트웨어, 펌웨어, 또는 이들의 임의의 조합을 포함할 수 있고 그리고/또는 이들을 사용하여 구현될 수 있다.
프로세스(1000), 프로세스(1300) 및 프로세스(1400)는 논리 흐름도들로서 예시되며, 그 동작은 하드웨어, 컴퓨터 명령들, 또는 이들의 조합으로 구현될 수 있는 동작들의 시퀀스를 표현한다. 컴퓨터 명령들과 관련하여, 동작들은 하나 이상의 컴퓨터 판독가능 저장 매체들 상에 저장된 컴퓨터 실행가능 명령들을 표현하며, 이러한 명령들은 하나 이상의 프로세서들에 의해 실행될 때, 열거된 동작들을 수행한다. 일반적으로, 컴퓨터 실행가능 명령들은 특정 기능들을 수행하거나 특정 데이터 유형들을 구현하는 루틴들, 프로그램들, 객체들, 컴포넌트들, 데이터 구조들 등을 포함한다. 동작들이 설명되는 순서는 제한으로서 해석되는 것으로 의도되지 않으며, 임의의 수의 설명되는 동작들이 임의의 순서로 그리고/또는 병렬로 조합되어 프로세스들을 구현할 수 있다.
추가적으로, 본 명세서에 설명된 프로세스(1000), 프로세스(1300), 프로세스(1400) 및/또는 다른 프로세스는 실행가능 명령들로 구성된 하나 이상의 컴퓨터 시스템들의 제어 하에서 수행될 수 있고, 하나 이상의 프로세서 상에서 집합적으로 실행되는 코드(예를 들어, 실행가능 명령들, 하나 이상의 컴퓨터 프로그램들, 또는 하나 이상의 애플리케이션들)로서, 하드웨어에 의해, 또는 이들의 조합으로 구현될 수 있다. 위에서 언급된 바와 같이, 코드는 예를 들어, 하나 이상의 프로세서들에 의해 실행가능한 복수의 명령들을 포함하는 컴퓨터 프로그램의 형태로, 컴퓨터 판독가능 또는 머신 판독가능 저장 매체 상에 저장될 수 있다. 컴퓨터 판독가능 또는 머신 판독가능 저장 매체는 비-일시적일 수 있다.
도 15는 본 기술의 특정 양태들을 구현하기 위한 시스템의 일 예를 예시한 도면이다. 특히, 도 15는 예를 들어 내부 컴퓨팅 시스템, 원격 컴퓨팅 시스템, 카메라 또는 이들의 임의의 컴포넌트를 구성하는 임의의 컴퓨팅 디바이스일 수 있는 컴퓨팅 시스템(1500)의 예를 예시하고, 여기서 시스템의 컴포넌트는 접속(1505)을 사용하여 서로 통신한다. 접속(1505)은 버스를 사용한 물리적 접속이거나, 또는 칩셋 아키텍처에서와 같이 프로세서(1510)로의 직접 접속일 수 있다. 접속(1505)은 가상 접속, 네트워크 접속 또는 논리적 접속일 수 있다.
일부 실시예들에서, 컴퓨팅 시스템(1500)은 본 개시에서 설명된 기능이 데이터 센터들, 다중 데이터 센터들, 피어 네트워크 등 내에서 분산될 수 있는 분산 시스템이다. 일부 실시예들에서, 설명된 시스템 컴포넌트들 중 하나 이상은 컴포넌트가 설명된 기능의 일부 또는 전체를 각각 수행하는 많은 그러한 컴포넌트들을 표현한다. 일부 실시예에서, 컴포넌트는 물리적 디바이스 또는 가상 디바이스일 수 있다.
예시적인 시스템(1500)은 적어도 하나의 프로세싱 유닛(CPU 또는 프로세서)(1510), 및 판독 전용 메모리(ROM)(1520) 및 랜덤 액세스 메모리(RAM)(1525)와 같은 시스템 메모리(1515)를 포함하는 다양한 시스템 컴포넌트들을 프로세서(1510)에 커플링시키는 접속(1505)을 포함한다. 컴퓨팅 시스템(1500)은 프로세서(1510)와 직접 접속되거나, 이에 매우 근접하거나, 또는 이의 일부로서 통합된 고속 메모리의 캐시(1512)를 포함할 수 있다.
프로세서(1510)는 프로세서(1510)를 제어하도록 구성된 저장 디바이스(1530)에 저장된 서비스들(1532, 1534 및 1536)과 같은 임의의 범용 프로세서 및 하드웨어 서비스 또는 소프트웨어 서비스 뿐만 아니라 소프트웨어 명령들이 실제 프로세서 설계에 통합되는 특수 목적 프로세서를 포함할 수 있다. 프로세서(1510)는 본질적으로 다중 코어 또는 프로세서, 버스, 메모리 제어기, 캐시 등을 포함하는 완전히 독립형 컴퓨팅 시스템일 수 있다. 다중 코어 프로세서는 대칭 또는 비대칭일 수 있다.
사용자 상호작용을 가능하게 하기 위해, 컴퓨팅 시스템(1500)은 음성용 마이크, 제스처 또는 그래픽 입력용 터치 감지 스크린, 키보드, 마우스, 모션 입력, 음성 등과 같은 임의의 다수의 입력 메커니즘을 나타낼 수 있는 입력 디바이스(1545)를 포함한다. 컴퓨팅 시스템(1500)은 또한 다수의 출력 메커니즘 중 하나 이상일 수 있는 출력 디바이스(1535)를 포함할 수 있다. 일부 예에서, 다중모드 시스템은 사용자로 하여금 컴퓨팅 시스템(1500)과 통신하기 위해 다수의 유형의 입력/출력을 제공할 수 있게 할 수 있다. 컴퓨팅 시스템(1500)은, 사용자 입력 및 시스템 출력을 일반적으로 통제하고 관리할 수 있는 통신 인터페이스(1540)를 포함할 수 있다. 통신 인터페이스는 오디오 잭/플러그, 마이크로폰 잭/플러그, 범용 직렬 버스(USB) 포트/플러그, Apple® Lightning® 포트/플러그, 이더넷 포트/플러그, 광섬유 포트/플러그, 사유의(proprietary) 유선 포트/플러그 , BLUETOOTH® 무선 신호 전송, BLUETOOTH® 저에너지(BLE) 무선 신호 전송, IBEACON® 무선 신호 전송, 무선 주파수 식별(RFID) 무선 신호 전송, 근거리 통신(NFC) 무선 신호 전송, DSRC(dedicated short range communication) 무선 신호 전송, 802.11 Wi-Fi 무선 신호 전송, WLAN(wireless local area network) 신호 전송, VLC(Visible Light Communication), WiMAX(Worldwide Interoperability for Microwave Access), 적외선(IR) 통신 무선 신호 전송, PSTN(Public Switched Telephone Network) 신호 전송, ISDN(Integrated Services Digital Network) 신호 전송, 3G/4G/5G/LTE 셀룰러 데이터 네트워크 무선 신호 전송, ad-hoc 네트워크 신호 전송, 전파 신호 전송, 마이크로파 신호 전송, 적외선 신호 전송, 가시광 신호 전송, 자외광 신호 전송, 전자기 스펙트럼을 따른 무선 신호 전송, 또는 이들의 일부 조합을 이용하는 것들을 포함하는, 유선 및/또는 무선 트랜시버를 사용한 유선 또는 무선 통신 수신 및/또는 송신을 수행하거나 또는 가능하게 할 수 있다. 통신 인터페이스(1540)는 또한 하나 이상의 GNSS(Global Navigation Satellite System) 시스템과 연관된 하나 이상의 위성으로부터 하나 이상의 신호의 수신에 기초하여 컴퓨팅 시스템(1500)의 위치를 결정하는 데 사용되는 하나 이상의 GNSS 수신기 또는 트랜시버를 포함할 수 있다. GNSS 시스템은 미국 기반의 GPS(Global Positioning System), 러시아 기반의 GLONASS(Global Navigation Satellite System), 중국 기반의 BDS(BeiDou Navigation Satellite System) 및 유럽 기반의 갈릴레오 GNSS를 포함하지만 이에 국한되지는 않는다. 임의의 특정 하드웨어 배열에 대해 동작하는 것에 제한이 없으며, 따라서, 여기에서의 기본 특징들은 이들이 개발됨에 따라 개선된 하드웨어 또는 펌웨어 배열들로 쉽게 대체될 수 있다.
저장 디바이스(1530)는 비휘발성 및/또는 비일시적 및/또는 컴퓨터 판독가능 메모리 디바이스일 수 있고, 다음과 같은 컴퓨터에 의해 액세스가능한 데이터를 저장할 수 있는 하드 디스크 또는 다른 타입들의 컴퓨터 판독가능 매체들일 수 있다: 자기 카세트들, 플래시 메모리 카드들, 솔리드 스테이트 메모리 디바이스들, 디지털 다기능 디스크들, 카트리지들, 플로피 디스크, 플렉시블 디스크, 하드 디스크, 자기 테이프, 자기 스트립/스트라이프, 임의의 다른 자기 저장 매체, 플래시 메모리, 멤리스터 메모리, 임의의 다른 솔리드-스테이트 메모리, 컴팩트 디스크 판독 전용 메모리(CD-ROM) 광 디스크, 재기록가능 컴팩트 디스크(CD) 광 디스크, 디지털 비디오 디스크(DVD) 광 디스크, 블루-레이 디스크(BDD) 광 디스크, 홀로그래픽 광 디스크, 다른 광학 매체, 보안 디지털(SD) 카드, 마이크로 보안 디지털(microSD) 카드, Memory Stick® 카드, 스마트카드 칩, EMV 칩, 가입자 아이덴티티 모듈(SIM) 카드, 미니/마이크로/나노/피코 SIM 카드, 다른 집적 회로(IC) 칩/카드, 랜덤 액세스 메모리(RAM), 정적 RAM(SRAM), 동적 RAM(DRAM), 판독 전용 메모리(ROM), 프로그래밍가능 판독 전용 메모리(PROM), 소거가능한 프로그래밍가능 판독 전용 메모리(EPROM), 전기적으로 소거가능한 프로그래밍가능 판독 전용 메모리(EEPROM), 플래시 EPROM(FLASHEPROM), 캐시 메모리(L1/L2/L3/L4/L5/L#), 저항성 랜덤 액세스 메모리(RRAM/ReRAM), 상 변화 메모리(PCM), 스핀 전달 토크 RAM(STT-RAM), 다른 메모리 칩 또는 카트리지, 및/또는 이들의 조합.
저장 디바이스(1530)는, 그러한 소프트웨어를 정의하는 코드가 프로세서(1510)에 의해 실행될 경우 시스템으로 하여금 기능을 수행하게 하는 소프트웨어 서비스들, 서버들, 서비스들 등을 포함할 수 있다. 일부 실시예들에서, 특정 기능을 수행하는 하드웨어 서비스는, 그 기능을 수행하기 위해, 프로세서(1510), 접속(1505), 출력 디바이스(1535) 등과 같은 필요한 하드웨어 컴포넌트들과 관련하여 컴퓨터 판독가능 매체에 저장된 소프트웨어 컴포넌트를 포함할 수 있다.
용어 "컴퓨터 판독가능 매체(computer-readable medium)"는, 휴대 또는 비휴대 저장 디바이스, 광학 저장 디바이스, 및 명령(들) 및/또는 데이터를 저장, 포함 또는 운반할 수 있는 다양한 다른 매체를 포함하지만, 이에 한정되지는 않는다. 컴퓨터 판독가능 매체는 데이터가 저장될 수 있고 무선으로 또는 유선 접속들을 통해 전파되는 반송파들 및/또는 일시적 전자 신호들을 포함하지 않는 비-일시적 매체를 포함할 수 있다. 비일시적인 매체의 예들은 자기 디스크 또는 테이프, CD(compact disk) 또는 DVD(digital versatile disk)와 같은 광학 저장 매체들, 플래시 메모리, 메모리 또는 메모리 디바이스들을 포함할 수 있지만, 이것들로 제한되지는 않는다. 컴퓨터 판독가능 매체 상에는 절차, 함수, 서브프로그램, 프로그램, 루틴, 서브루틴, 모듈, 소프트웨어 패키지, 클래스, 또는 명령들, 데이터 구조들 또는 프로그램 명령문들의 임의의 조합을 나타낼 수 있는 코드 및/또는 머신 실행가능 명령들이 저장될 수 있다. 코드 세그먼트는 정보, 데이터, 독립변수(argument)들, 파라미터들, 또는 메모리 콘텐츠를 전달 및/또는 수신함으로써 다른 코드 세그먼트 또는 하드웨어 회로에 커플링될 수 있다. 정보, 독립변수들, 파라미터들, 데이터 등은 메모리 공유, 메시지 전달, 토큰 전달, 네트워크 송신 등을 포함한 임의의 적합한 수단을 사용하여 전달, 포워딩, 또는 송신될 수 있다.
일부 실시예들에서, 컴퓨터 판독가능 저장 디바이스들, 매체들 및 메모리들은 비트 스트림 등을 포함하는 케이블 또는 무선 신호를 포함할 수 있다. 그러나 언급될 때, 비-일시적인 컴퓨터 판독가능 저장 매체들은 에너지, 반송파 신호들, 전자파들, 및 신호들 그 자체와 같은 매체들을 명시적으로 배제한다.
본 명세서에서 제공되는 실시예들 및 예들의 철저한 이해를 제공하기 위해, 특정 세부사항들이 위의 설명에서 제공된다. 그러나 실시예들은 이러한 특정 세부사항들 없이 실시될 수 있음이 당해 기술분야에서 통상의 지식을 가진 자에 의해 이해될 것이다. 설명의 명확성을 위해, 일부 경우들에서, 본 기술은 디바이스들, 디바이스 컴포넌트들, 소프트웨어로 구현되는 방법의 단계들 또는 루틴들, 또는 하드웨어와 소프트웨어의 조합들을 포함하는 기능 블록들을 포함하는 개별 기능 블록들을 포함하는 것으로 제시될 수 있다. 도면들에 도시된 그리고/또는 본 명세서에서 설명되는 것들 이외의 추가 컴포넌트들이 사용될 수 있다. 예를 들어, 불필요한 세부사항으로 실시예들을 모호하게 하지 않도록 회로들, 시스템들, 네트워크들, 프로세스들 및 다른 컴포넌트들은 블록도 형태로 컴포넌트들로서 도시될 수 있다. 다른 경우들에는, 실시예들을 모호하게 하는 것을 피하기 위해, 잘 알려진 회로들, 프로세스들, 알고리즘들, 구조들 및 기법들은 불필요한 세부사항 없이 도시될 수 있다.
개별 실시예들은 위에서 흐름도, 순서도, 데이터 순서도, 구조도, 또는 블록도로서 도시된 프로세스 또는 방법으로서 설명될 수 있다. 흐름도가 동작들을 순차적인 프로세스로서 설명할 수 있지만, 동작들의 대부분은 병렬로 또는 동시에 수행될 수 있다. 추가로, 동작들의 순서는 재-배열될 수 있다. 프로세스는 프로세서의 동작들이 완료될 때 종료되지만 도면에 포함되지 않은 추가 단계들을 가질 수 있다. 프로세스는 방법, 함수, 프로시저, 서브루틴, 서브프로그램 등에 대응할 수 있다. 프로세스가 함수에 대응할 때, 그 종료는 호출 함수 또는 메인 함수로의 함수의 복귀에 대응할 수 있다.
위에서 설명된 예들에 따른 프로세스들 및 방법들은 컴퓨터 판독가능 매체들로부터 저장되거나 아니면 컴퓨터 판독가능 매체들로부터 이용가능한 컴퓨터 실행가능 명령들을 사용하여 구현될 수 있다. 이러한 명령들은 예를 들어, 범용 컴퓨터, 특수 목적 컴퓨터 또는 프로세싱 디바이스로 하여금 특정 기능 또는 기능들의 그룹을 수행하게 하거나 아니면 구성하는 명령들 및 데이터를 포함할 수 있다. 사용되는 컴퓨터 자원들의 부분들은 네트워크를 통해 액세스 가능할 수 있다. 컴퓨터 실행가능 명령들은, 예를 들어, 어셈블리 언어, 펌웨어, 소스 코드 등과 같은 이진수들, 중간 포맷 명령들일 수 있다. 명령들, 사용되는 정보, 및/또는, 설명된 예들에 따른 방법들 동안 형성된 정보를 저장하기 위해 사용될 수 있는 컴퓨터 판독가능 매체들의 예들은 자기 또는 광학 디스크들, 플래시 메모리, 비휘발성 메모리가 제공된 USB 디바이스들, 네트워킹된 저장 디바이스들 등을 포함한다.
이러한 개시내용들에 따른 프로세스들 및 방법들을 구현하는 디바이스들은 하드웨어, 소프트웨어, 펌웨어, 미들웨어, 마이크로코드, 하드웨어 기술 언어들, 또는 이들의 임의의 조합을 포함할 수 있고, 다양한 폼 팩터들 중 임의의 폼 팩터를 취할 수 있다. 소프트웨어, 펌웨어, 미들웨어 또는 마이크로코드로 구현될 때, 필요한 작업들을 수행하기 위한 프로그램 코드 또는 코드 세그먼트들(예를 들어, 컴퓨터 프로그램 제품)은 컴퓨터 판독가능 또는 머신 판독가능 매체에 저장될 수 있다. 프로세서(들)는 필요한 작업들을 수행할 수 있다. 폼 팩터들의 통상적인 예들은 랩톱들, 스마트 폰들, 모바일 폰들, 태블릿 디바이스들 또는 다른 소형 폼 팩터 퍼스널 컴퓨터들, 퍼스널 디지털 어시스턴트들, 랙마운트 디바이스들, 독립형 디바이스들 등을 포함한다. 본 명세서에서 설명되는 기능은 또한 주변 기기들 또는 애드인(add-in) 카드들로 구현될 수 있다. 그러한 기능은 또한 추가 예로서, 단일 디바이스에서 실행되는 상이한 프로세스들 또는 상이한 칩들 사이의 회로 기판 상에서 구현될 수 있다.
명령들, 그러한 명령들을 전달하기 위한 매체들, 명령들을 실행하기 위한 컴퓨팅 자원들, 및 그러한 컴퓨팅 자원들을 지원하기 위한 다른 구조들은 본 개시내용에서 설명되는 기능들을 제공하기 위한 예시적인 수단들이다.
위의 설명에서, 본 출원의 양태들은 본 출원의 특정 실시예들을 참조하여 설명되지만, 당해 기술분야에서 통상의 지식을 가진 자들은 본 출원이 이에 제한되지 않음을 인식할 것이다. 따라서 본 출원의 예시적인 실시예들이 본 명세서에서 상세히 설명되었지만, 본 발명의 개념들은 다른 식으로 다양하게 구현 및 이용될 수 있고, 첨부된 청구항들은 종래 기술에 의해 제한된 것을 제외하면, 그러한 변형들을 포함하는 것으로 해석되어야 한다고 이해되어야 한다. 위에서 설명된 애플리케이션의 다양한 특징들 및 양태들은 개별적으로 또는 공동으로 사용될 수 있다. 추가로, 실시예들은, 본 명세서의 더 넓은 사상 및 범위를 벗어나지 않으면서, 본 명세서에서 설명되는 것들 이외의 임의의 수의 환경들 및 애플리케이션들에서 이용될 수 있다. 이에 따라, 본 명세서 및 도면들은 제한적인 것이 아니라 예시적인 것으로 간주되어야 한다. 예시의 목적들로, 방법들은 특정 순서로 설명되었다. 대안적인 실시예들에서, 방법들은 설명된 것과 상이한 순서로 수행될 수 있다고 인식되어야 한다.
당업자는 본 명세서에서 사용된 미만("<") 및 초과(">") 기호들 또는 용어가 본 설명의 범위를 벗어나지 않으면서 이하("≤") 및 이상("≥") 기호들로 각각 대체될 수 있음을 알 것이다.
컴포넌트들이 특정 동작을 수행하도록 "구성된" 것으로 기술되는 경우, 그러한 구성은 예를 들어, 전자 회로 또는 다른 하드웨어를 설계하여 그 동작을 수행하는 것에 의해, 프로그래밍 가능한 전자 회로(예를 들어, 마이크로프로세서 또는 다른 적절한 전자 회로)를 프로그래밍하여 그 동작을 수행하는 것에 의해 또는 이들의 임의의 조합에 의해, 달성될 수 있다.
문구 "~ 에 커플링된(coupled to)"은 다른 컴포넌트에 직접적으로 또는 간접적으로 물리적으로 접속된 임의의 컴포넌트, 및/또는, 다른 컴포넌트와 직접적으로 또는 간접적으로 통신하는 (예컨대, 유선 또는 무선 접속, 및/또는 다른 적합한 통신 인터페이스를 통해 다른 컴포넌트에 접속된) 임의의 컴포넌트를 지칭한다.
세트 "중의 적어도 하나" 밑/또는 세트 "중의 하나 이상"을 인용하는 청구항 언어 또는 기타 언어는 그 세트 중의 하나의 멤버 또는 그 세트의 다수의 멤버들이 (임의의 조합으로) 청구항을 만족하는 것을 나타낸다. 예를 들어, "A 및 B 중 적어도 하나"를 언급하는 청구항 언어는 A, B, 또는 A와 B를 의미한다. 다른 예에서, "A, B 및 C 중 적어도 하나"를 언급하는 청구항 언어는 A, B, C, 또는 A와 B, 또는 A와 C, 또는 B와 C, 또는 A와 B와 C를 의미한다. 그 언어, 세트 "중 적어도 하나" 및/또는 세트 중 "하나 이상"은 세트를 그 세트에 열거된 항목들로 제한하지 않는다. 예를 들어, "A 및 B 중 적어도 하나"를 인용하는 청구항 언어는 A, B, 또는 A 및 B를 의미할 수 있고, A 및 B의 세트에 열거되지 않은 항목들을 추가적으로 포함할 수 있다.
본 명세서에 개시된 실시예들과 관련하여 설명된 다양한 예시적인 로직 블록들, 모듈들, 회로들 및 알고리즘 단계들은 전자 하드웨어, 컴퓨터 소프트웨어, 펌웨어, 또는 이들의 조합들로 구현될 수 있다. 하드웨어와 소프트웨어의 이러한 상호교환가능성을 명확히 예시하기 위해, 다양한 예시적인 컴포넌트들, 블록들, 모듈들, 회로들, 및 단계들은 그것들의 기능 관점들에서 일반적으로 위에서 설명되었다. 이러한 기능이 하드웨어로 구현되는지, 또는 소프트웨어로 구현되는지 여부는 특정 애플리케이션 및 전체 시스템에 대해 부과된 설계 제한들에 의존한다. 당해 기술분야에서 통상의 지식을 가진 자들은 설명된 기능을 특정 출원마다 다양한 방식들로 구현할 수 있지만, 이러한 구현 결정들이 본 출원의 범위를 벗어나게 하는 것으로 해석되지는 않아야 한다.
본 명세서에서 설명되는 기법들은 또한 전자 하드웨어, 컴퓨터 소프트웨어, 펌웨어, 또는 이들의 임의의 조합으로 구현될 수 있다. 이러한 기법들은 무선 통신 디바이스 핸드셋들 및 다른 디바이스들에서의 적용을 포함하여 다수의 용도들을 갖는 범용 컴퓨터들, 무선 통신 디바이스 핸드셋들 또는 집적 회로 디바이스들과 같은 다양한 디바이스들 중 임의의 디바이스에서 구현될 수 있다. 모듈들 또는 컴포넌트들로서 설명되는 임의의 특징들은 통합된 로직 디바이스로 함께 또는 개별적이지만 상호운용가능한 로직 디바이스들로서 별개로 구현될 수 있다. 소프트웨어로 구현된다면, 이 기법들은 적어도 부분적으로는, 실행될 때 위에서 설명된 방법들 중 하나 이상을 수행하는 명령들을 포함하는 프로그램 코드를 포함하는 컴퓨터 판독가능 데이터 저장 매체에 의해 실현될 수 있다. 컴퓨터 판독가능 데이터 저장 매체는 패키징 재료들을 포함할 수 있는 컴퓨터 프로그램 제품의 일부를 형성할 수 있다. 컴퓨터 판독가능 매체는 메모리 또는 데이터 저장 매체들, 이를테면 RAM(random access memory), 이를테면 SDRAM(synchronous dynamic random access memory), ROM(read-only memory), NVRAM(non-volatile random access memory), EEPROM(electrically erasable programmable read-only memory), FLASH 메모리, 자기 또는 광 데이터 저장 매체들 등을 포함할 수 있다. 추가로 또는 대안으로, 이 기법들은 적어도 부분적으로는, 명령들 또는 데이터 구조들의 형태로 프로그램 코드를 운반 또는 전달하고 컴퓨터, 이를테면 전파 신호들 또는 파들 의해 액세스, 판독 및/또는 실행될 수 있는 컴퓨터 판독가능 통신 매체에 의해 실현될 수 있다.
프로그램 코드는 하나 이상의 프로세서들, 이를테면 하나 이상의 DSP(digital signal processor)들, 범용 마이크로프로세서들, ASIC(application specific integrated circuit)들, FPGA(field programmable logic array)들 또는 다른 대등한 집적 또는 이산 로직 회로를 포함할 수 있는 프로세서에 의해 실행될 수 있다. 그러한 프로세서는 본 개시내용에서 설명되는 기법들 중 임의의 기법을 수행하도록 구성될 수 있다. 범용 프로세서는 마이크로프로세서일 수 있지만; 대안적으로, 프로세서는 임의의 종래의 프로세서, 제어기, 마이크로제어기, 또는 상태 머신일 수 있다. 프로세서는 또한 컴퓨팅 디바이스들의 조합, 예컨대, DSP와 마이크로프로세서의 조합, 복수의 마이크로프로세서들, DSP 코어와 조합된 하나 이상의 마이크로프로세서들, 또는 임의의 다른 그러한 구성으로서 구현될 수 있다. 이에 따라, 본 명세서에서 사용된 바와 같은 용어 "프로세서" 는 전술한 구조, 전술한 구조의 임의의 조합, 또는 본 명세서에서 설명된 기법들의 구현에 적합한 임의의 다른 구조 또는 장치 중 임의의 것을 지칭할 수 있다. 부가적으로, 일부 양태들에 있어서, 본 명세서에서 설명된 기능은, 인코딩 및 디코딩을 위해 구성된 전용 소프트웨어 모듈들 또는 하드웨어 모듈들 내에서 제공되거나, 또는 조합된 비디오 인코더-디코더(CODEC)에 통합될 수 있다.
본 개시의 다른 양태들은 다음을 포함하지만 이에 제한되지 않는다:
양태 1: 이미지 데이터를 프로세싱하는 방법으로서, 적어도 하나의 카메라를 사용하여 획득된 이미지에 묘사된 제1 객체에 대응하는 제1 관심 영역을 결정하는 단계로서, 제1 관심 영역은 멀티-포인트 깊이 감지 시스템과 연관된 멀티-포인트 그리드의 적어도 하나의 엘리먼트와 연관되는, 상기 제1 관심 영역을 결정하는 단계; 제1 객체에 대한 제1 확장된 관심 영역을 결정하는 단계로서, 제1 확장된 관심 영역은 멀티-포인트 그리드의 적어도 하나의 엘리먼트 및 하나 이상의 추가적인 엘리먼트들을 포함하는 복수의 엘리먼트들과 연관되는, 상기 제1 확장된 관심 영역을 결정하는 단계; 및 제1 확장된 관심 영역과 연관된 복수의 엘리먼트들에 기초하여, 적어도 하나의 카메라와 이미지에 묘사된 제1 객체 사이의 제1 거리를 표현하는 대표 깊이 정보를 결정하는 단계를 포함하는, 방법.
양태 2: 양태 1에 있어서, 제1 거리를 표현하는 대표 깊이 정보에 기초하여 이미지를 프로세싱하는 단계를 더 포함하고, 이미지를 프로세싱하는 것은 적어도 이미지의 제1 관심 영역에 대해 자동 노출, 자동 포커스, 자동 화이트 밸런스 및 자동 줌 중 적어도 하나를 수행하는 것을 포함하는, 방법.
양태 3: 양태 1 또는 양태 2에 있어서, 제1 객체에 대한 제1 확장된 관심 영역을 결정하는 단계는, 제1 관심 영역의 크기 및 이미지에서의 기준 포인트에 대한 제1 관심 영역의 위치 중 적어도 하나를 결정하는 단계; 및 제1 관심 영역의 크기 및 위치 중 적어도 하나에 기초하여 제1 객체에 대한 제1 확장된 관심 영역을 결정하는 단계를 포함하는, 방법.
양태 4: 양태 3에 있어서, 제1 객체에 대한 제1 확장된 관심 영역을 결정하는 단계는, 제1 관심 영역의 크기에 기초하여 제1 객체에 대한 제1 확장된 관심 영역을 결정하는 단계를 포함하는, 방법.
양태 5: 양태 3에 있어서, 제1 객체에 대한 제1 확장된 관심 영역을 결정하는 단계는, 제1 관심 영역의 위치에 기초하여 제1 객체에 대한 제1 확장된 관심 영역을 결정하는 단계를 포함하는, 방법.
양태 6: 양태 3에 있어서, 제1 객체에 대한 제1 확장된 관심 영역을 결정하는 단계는, 제1 관심 영역의 크기 및 위치에 기초하여 제1 객체에 대한 제1 확장된 관심 영역을 결정하는 단계를 포함하는, 방법.
양태 7: 양태 1 또는 양태 2에 있어서, 제1 객체에 대한 제1 확장된 관심 영역을 결정하는 단계는, 멀티-포인트 그리드의 하나 이상의 추가적인 엘리먼트들 중 제1 엘리먼트와 연관된 제1 깊이를 결정하는 단계로서, 제1 엘리먼트는 제1 관심 영역과 연관된 적어도 하나의 엘리먼트에 이웃하는, 상기 제1 깊이를 결정하는 단계; 제1 깊이와 제1 관심 영역과 연관된 적어도 하나의 엘리먼트의 깊이 사이의 차이가 임계 차이 미만이라고 결정하는 단계; 및 제1 깊이와 제1 관심 영역과 연관된 적어도 하나의 엘리먼트의 깊이 사이의 차이가 임계 차이 미만이라고 결정하는 것에 기초하여, 제1 엘리먼트를 제1 확장된 관심 영역과 연관시키는 단계를 포함하는, 방법.
양태 8: 양태 7에 있어서, 제1 엘리먼트를 제1 확장된 관심 영역과 연관시키는 단계는 제1 깊이의 신뢰도가 신뢰도 임계치보다 큰 것에 추가로 기초하는, 방법.
양태 9: 양태 7 또는 양태 8에 있어서, 멀티-포인트 그리드의 하나 이상의 추가적인 엘리먼트들 중 제2 엘리먼트와 연관된 제2 깊이를 결정하는 단계로서, 제2 엘리먼트는 하나 이상의 추가적인 엘리먼트들 중 제1 엘리먼트에 이웃하는, 상기 제2 깊이를 결정하는 단계; 제2 깊이와 제1 깊이 사이의 차이가 임계 차이 미만이라고 결정하는 단계; 및 제2 깊이와 제1 깊이 사이의 차이가 임계 차이 미만이라고 결정하는 것에 기초하여, 제2 엘리먼트를 제1 확장된 관심 영역과 연관시키는 단계를 더 포함하는, 방법.
양태 10: 양태 7 또는 양태 8에 있어서, 멀티-포인트 그리드의 하나 이상의 추가적인 엘리먼트들 중 제2 엘리먼트와 연관된 제2 깊이를 결정하는 단계로서, 제2 엘리먼트는 하나 이상의 추가적인 엘리먼트들 중 제1 엘리먼트에 이웃하는, 상기 제2 깊이를 결정하는 단계; 제2 깊이와 제1 깊이 사이의 차이가 임계 차이보다 크다고 결정하는 단계; 및 제2 깊이와 제1 깊이 사이의 차이가 임계 차이보다 크다고 결정하는 것에 기초하여, 제2 엘리먼트를 제1 확장된 관심 영역으로부터 배제하는 단계를 더 포함하는, 방법.
양태 11: 양태 1 내지 양태 10 중 어느 하나에 있어서, 제1 거리를 표현하는 대표 깊이 정보를 결정하는 단계는, 제1 확장된 관심 영역과 연관된 복수의 엘리먼트들의 깊이 값들에 기초하여 제1 확장된 관심 영역에 대한 대표 깊이 값을 결정하는 단계를 포함하는, 방법.
양태 12: 양태 11에 있어서, 대표 깊이 값은 제1 확장된 관심 영역과 연관된 복수의 엘리먼트들의 깊이 값들의 평균을 포함하는, 방법.
양태 13: 양태 1 내지 양태 12 중 어느 하나에 있어서, 제1 관심 영역이 이미지에 대해 결정된 유일한 관심 영역인 것에 기초하여, 제1 거리를 표현하는 대표 깊이 정보에 기초하여 이미지를 프로세싱하는 단계를 더 포함하는, 방법.
양태 14: 양태 13에 있어서, 제1 거리를 표현하는 대표 깊이 정보에 기초하여 이미지를 프로세싱하는 단계는 적어도 이미지의 제1 관심 영역에 대해 자동 노출, 자동 포커스, 자동 화이트 밸런스 및 자동 줌 중 적어도 하나를 수행하는 단계를 포함하는, 방법.
양태 15: 양태 1 내지 양태 14 중 어느 하나에 있어서, 이미지에 묘사된 제2 객체에 대응하는 제2 관심 영역을 결정하는 단계로서, 제2 관심 영역은 멀티-포인트 깊이 감지 시스템과 연관된 멀티-포인트 그리드의 적어도 하나의 추가적인 엘리먼트와 연관되는, 상기 제2 관심 영역을 결정하는 단계; 제2 객체에 대한 제2 확장된 관심 영역을 결정하는 단계로서, 제2 확장된 관심 영역은 멀티-포인트 그리드의 적어도 하나의 추가적인 엘리먼트 및 제2 하나 이상의 추가적인 엘리먼트들을 포함하는 복수의 엘리먼트들과 연관되는, 상기 제2 확장된 관심 영역을 결정하는 단계; 및 제2 확장된 관심 영역과 연관된 복수의 엘리먼트들에 기초하여, 적어도 하나의 카메라와 이미지에 묘사된 제2 객체 사이의 제2 거리를 표현하는 대표 깊이 정보를 결정하는 단계를 더 포함하는, 방법.
양태 16: 양태 15에 있어서, 제1 거리를 표현하는 대표 깊이 정보 및 제2 거리를 표현하는 대표 깊이 정보에 기초하여 조합된 깊이 정보를 결정하는 단계를 더 포함하는, 방법.
양태 17: 양태 16에 있어서, 조합된 깊이 정보를 결정하는 단계는 제1 거리를 표현하는 대표 깊이 정보 및 제2 거리를 표현하는 대표 깊이 정보의 가중된 평균을 결정하는 단계를 포함하는, 방법.
양태 18: 양태 16 또는 양태 17에 있어서, 조합된 깊이 정보에 기초하여 이미지를 프로세싱하는 단계를 더 포함하는, 방법.
양태 19: 양태 18에 있어서, 조합된 깊이 정보에 기초하여 이미지를 프로세싱하는 단계는 적어도 이미지의 제1 관심 영역에 대해 자동 노출, 자동 포커스, 자동 화이트 밸런스 및 자동 줌 중 적어도 하나를 수행하는 단계를 포함하는, 방법.
양태 20: 양태 1 내지 양태 19 중 어느 하나에 있어서, 멀티-포인트 깊이 감지 시스템은 복수의 광원들을 포함하는 송신기 및 복수의 광원들에 의해 방출된 광의 반사들을 수신하도록 구성된 수신기를 포함하고, 대표 깊이 정보는 광의 수신된 반사들에 기초하여 결정되는, 방법.
양태 21: 이미지 데이터를 프로세싱하기 위한 장치로서, 적어도 하나의 메모리 및 적어도 하나의 메모리에 커플링된 적어도 하나의 프로세서를 포함하는, 장치. 적어도 하나의 프로세서는, 적어도 하나의 카메라를 사용하여 획득된 이미지에 묘사된 제1 객체에 대응하는 제1 관심 영역을 결정하는 것으로서, 제1 관심 영역은 멀티-포인트 깊이 감지 시스템과 연관된 멀티-포인트 그리드의 적어도 하나의 엘리먼트와 연관되는, 상기 제1 관심 영역을 결정하고; 제1 객체에 대한 제1 확장된 관심 영역을 결정하는 것으로서, 제1 확장된 관심 영역은 멀티-포인트 그리드의 적어도 하나의 엘리먼트 및 하나 이상의 추가적인 엘리먼트들을 포함하는 복수의 엘리먼트들과 연관되는, 상기 제1 확장된 관심 영역을 결정하고; 그리고 제1 확장된 관심 영역과 연관된 복수의 엘리먼트들에 기초하여, 적어도 하나의 카메라와 이미지에 묘사된 제1 객체 사이의 제1 거리를 표현하는 대표 깊이 정보를 결정하도록 구성된다.
양태 22: 양태 21에 있어서, 적어도 하나의 프로세서는, 제1 거리를 표현하는 대표 깊이 정보에 기초하여 이미지를 프로세싱하도록 구성되고, 이미지를 프로세싱하는 것은 적어도 이미지의 제1 관심 영역에 대해 자동 노출, 자동 포커스, 자동 화이트 밸런스 및 자동 줌 중 적어도 하나를 수행하는 것을 포함하는, 장치.
양태 23: 양태 21 또는 양태 22에 있어서, 제1 객체에 대한 제1 확장된 관심 영역을 결정하기 위해, 적어도 하나의 프로세서는, 제1 관심 영역의 크기 및 이미지에서의 기준 포인트에 대한 제1 관심 영역의 위치 중 적어도 하나를 결정하고; 제1 관심 영역의 크기 및 위치 중 적어도 하나에 기초하여 제1 객체에 대한 제1 확장된 관심 영역을 결정하도록 구성되는 장치.
양태 24: 양태 23에 있어서, 제1 객체에 대한 제1 확장된 관심 영역을 결정하기 위해, 적어도 하나의 프로세서는, 제1 관심 영역의 크기에 기초하여 제1 객체에 대한 제1 확장된 관심 영역을 결정하도록 구성되는, 장치.
양태 25: 양태 23에 있어서, 제1 객체에 대한 제1 확장된 관심 영역을 결정하기 위해, 적어도 하나의 프로세서는, 제1 관심 영역의 위치에 기초하여 제1 객체에 대한 제1 확장된 관심 영역을 결정하도록 구성되는, 장치.
양태 26: 양태 23에 있어서, 제1 객체에 대한 제1 확장된 관심 영역을 결정하기 위해, 적어도 하나의 프로세서는, 제1 관심 영역의 크기 및 위치에 기초하여 제1 객체에 대한 제1 확장된 관심 영역을 결정하도록 구성되는, 장치.
양태 27: 양태 21 또는 양태 22에 있어서, 제1 객체에 대한 제1 확장된 관심 영역을 결정하기 위해, 적어도 하나의 프로세서는, 멀티-포인트 그리드의 하나 이상의 추가적인 엘리먼트들 중 제1 엘리먼트와 연관된 제1 깊이를 결정하는 것으로서, 제1 엘리먼트는 제1 관심 영역과 연관된 적어도 하나의 엘리먼트에 이웃하는, 상기 제1 깊이를 결정하고; 제1 깊이와 제1 관심 영역과 연관된 적어도 하나의 엘리먼트의 깊이 사이의 차이가 임계 차이 미만이라고 결정하고; 제1 깊이와 제1 관심 영역과 연관된 적어도 하나의 엘리먼트의 깊이 사이의 차이가 임계 차이 미만이라고 결정하는 것에 기초하여, 제1 엘리먼트를 제1 확장된 관심 영역과 연관시키도록 구성되는, 장치.
양태 28: 양태 27에 있어서, 적어도 하나의 프로세서는 제1 깊이의 신뢰도가 신뢰도 임계치보다 큰 것에 추가로 기초하여 제1 엘리먼트를 제1 확장된 관심 영역과 연관시키도록 구성되는, 장치.
양태 29: 양태 27 또는 양태 28에 있어서, 적어도 하나의 프로세서는, 멀티-포인트 그리드의 하나 이상의 추가적인 엘리먼트들 중 제2 엘리먼트와 연관된 제2 깊이를 결정하는 것으로서, 제2 엘리먼트는 하나 이상의 추가적인 엘리먼트들 중 제1 엘리먼트에 이웃하는, 상기 제2 깊이를 결정하고; 제2 깊이와 제1 깊이 사이의 차이가 임계 차이 미만이라고 결정하고; 그리고 제2 깊이와 제1 깊이 사이의 차이가 임계 차이 미만이라고 결정하는 것에 기초하여, 제2 엘리먼트를 제1 확장된 관심 영역과 연관시키도록 구성되는, 장치.
양태 30: 양태 27 또는 양태 28에 있어서, 적어도 하나의 프로세서는, 멀티-포인트 그리드의 하나 이상의 추가적인 엘리먼트들 중 제2 엘리먼트와 연관된 제2 깊이를 결정하는 것으로서, 제2 엘리먼트는 하나 이상의 추가적인 엘리먼트들 중 제1 엘리먼트에 이웃하는, 상기 제2 깊이를 결정하고; 제2 깊이와 제1 깊이 사이의 차이가 임계 차이보다 크다고 결정하고; 제2 깊이와 제1 깊이 사이의 차이가 임계 차이보다 크다고 결정하는 것에 기초하여, 제2 엘리먼트를 제1 확장된 관심 영역으로부터 배제하도록 구성되는, 장치.
양태 31: 양태 21 내지 양태 30 중 어느 하나에 있어서, 제1 거리를 표현하는 대표 깊이 정보를 결정하기 위해, 적어도 하나의 프로세서는, 제1 확장된 관심 영역과 연관된 복수의 엘리먼트들의 깊이 값들에 기초하여 제1 확장된 관심 영역에 대한 대표 깊이 값을 결정하도록 구성되는, 장치.
양태 32: 양태 31에 있어서, 대표 깊이 값은 제1 확장된 관심 영역과 연관된 복수의 엘리먼트들의 깊이 값들의 평균을 포함하는, 장치.
양태 33: 양태 21 내지 양태 32 중 어느 하나에 있어서, 적어도 하나의 프로세서는, 제1 관심 영역이 이미지에 대해 결정된 유일한 관심 영역인 것에 기초하여, 제1 거리를 표현하는 대표 깊이 정보에 기초하여 이미지를 프로세싱하도록 구성되는, 장치.
양태 34: 양태 33에 있어서, 제1 거리를 표현하는 대표 깊이 정보에 기초하여 이미지를 프로세싱하기 위해, 적어도 하나의 프로세서는, 적어도 이미지의 상기 제1 관심 영역에 대해 자동 노출, 자동 포커스, 자동 화이트 밸런스 및 자동 줌 중 적어도 하나를 수행하도록 구성되는, 장치.
양태 35: 양태 21 내지 양태 34 중 어느 하나에 있어서, 적어도 하나의 프로세서는, 이미지에 묘사된 제2 객체에 대응하는 제2 관심 영역을 결정하는 것으로서, 제2 관심 영역은 멀티-포인트 깊이 감지 시스템과 연관된 멀티-포인트 그리드의 적어도 하나의 추가적인 엘리먼트와 연관되는, 상기 제2 관심 영역을 결정하고; 제2 객체에 대한 제2 확장된 관심 영역을 결정하는 것으로서, 제2 확장된 관심 영역은 멀티-포인트 그리드의 적어도 하나의 추가적인 엘리먼트 및 제2 하나 이상의 추가적인 엘리먼트들을 포함하는 복수의 엘리먼트들과 연관되는, 상기 제2 확장된 관심 영역을 결정하고; 그리고 제2 확장된 관심 영역과 연관된 복수의 엘리먼트들에 기초하여, 적어도 하나의 카메라와 이미지에 묘사된 제2 객체 사이의 제2 거리를 표현하는 대표 깊이 정보를 결정하도록 구성되는, 장치.
양태 36: 양태 35에 있어서, 적어도 하나의 프로세서는, 제1 거리를 표현하는 대표 깊이 정보 및 제2 거리를 표현하는 대표 깊이 정보에 기초하여 조합된 깊이 정보를 결정하도록 구성되는, 장치.
양태 37: 양태 36에 있어서, 조합된 깊이 정보를 결정하기 위해, 적어도 하나의 프로세서는, 제1 거리를 표현하는 대표 깊이 정보 및 제2 거리를 표현하는 대표 깊이 정보의 가중된 평균을 결정하도록 구성되는, 장치.
양태 38: 양태 36 또는 양태 37에 있어서, 적어도 하나의 프로세서는 조합된 깊이 정보에 기초하여 이미지를 프로세싱하도록 구성되는, 장치.
양태 39: 양태 38에 있어서, 조합된 깊이 정보에 기초하여 이미지를 프로세싱하기 위해, 적어도 하나의 프로세서는, 적어도 이미지의 제1 관심 영역에 대해 자동 노출, 자동 포커스, 자동 화이트 밸런스 및 자동 줌 중 적어도 하나를 수행하도록 구성되는, 장치.
양태 40: 양태 21 내지 양태 39 중 어느 하나에 있어서, 멀티-포인트 깊이 감지 시스템은 복수의 광원들을 포함하는 송신기 및 복수의 광원들에 의해 방출된 광의 반사들을 수신하도록 구성된 수신기를 포함하고, 대표 깊이 정보는 광의 수신된 반사들에 기초하여 결정되는, 장치.
양태 41: 저장된 명령들을 포함하는 비일시적 컴퓨터 판독가능 저장 매체로서, 명령들은, 하나 이상의 프로세서들에 의해 실행될 때, 하나 이상의 프로세서들로 하여금 양태 1 내지 양태 40 중 어느 하나의 동작들을 수행하게 하는, 비일시적 컴퓨터 판독가능 저장 매체.
양태 42: 이미지 데이터를 프로세싱하기 위한 장치로서, 양태 1 내지 양태 40 중 어느 하나의 동작들을 수행하기 위한 수단을 포함하는, 장치.
양태 43: 이미지 데이터를 프로세싱하기 위한 방법으로서, 적어도 하나의 카메라를 사용하여 획득된 이미지에 묘사된 적어도 하나의 객체에 대응하는 관심 영역을 결정하는 단계로서, 관심 영역은 멀티-포인트 깊이 감지 시스템과 연관된 멀티-포인트 그리드의 복수의 엘리먼트들과 연관되는, 상기 관심 영역을 결정하는 단계; 복수의 엘리먼트들과 연관된 깊이 정보에 기초하여 관심 영역이 멀티-깊이 정보를 포함하는지 여부를 결정하는 단계; 및 관심 영역이 멀티-깊이 정보를 포함하는지 여부에 기초하여, 적어도 하나의 카메라와 이미지에 묘사된 적어도 하나의 객체 사이의 거리를 표현하는 대표 깊이 정보를 결정하는 단계를 포함하는, 방법.
양태 44: 양태 43에 있어서, 복수의 엘리먼트들과 연관된 대표 깊이 정보에 따라 복수의 엘리먼트들을 분류하는 단계를 더 포함하고, 복수의 엘리먼트들은 최소 깊이로부터 최대 깊이까지 분류되는, 방법.
양태 45: 양태 43 또는 양태 44에 있어서, 관심 영역이 멀티-깊이 정보를 포함하는지 여부를 결정하는 단계는, 복수의 엘리먼트들의 가장 작은 깊이 값과 복수의 엘리먼트들의 가장 큰 깊이 값 사이의 차이가 멀티-깊이 임계치보다 크다고 결정하는 단계; 및 가장 작은 깊이 값과 가장 큰 깊이 값 사이의 차이가 멀티-깊이 임계치보다 크다고 결정하는 것에 기초하여 관심 영역이 멀티-깊이 정보를 포함한다고 결정하는 단계를 포함하는, 방법.
양태 46: 양태 45에 있어서, 대표 깊이 정보를 결정하는 단계는, 대표 깊이 정보로서 두번째 또는 세번째로 작은 깊이 값을 선택하는 단계를 포함하는, 방법.
양태 47: 양태 43 또는 양태 44에 있어서, 관심 영역이 멀티-깊이 정보를 포함하는지 여부를 결정하는 단계는, 복수의 엘리먼트들의 가장 작은 깊이 값과 복수의 엘리먼트들의 가장 큰 깊이 값 사이의 차이가 멀티-깊이 임계치 미만이라고 결정하는 단계; 및 가장 작은 깊이 값과 가장 큰 깊이 값 사이의 차이가 멀티-깊이 임계치 미만이라고 결정하는 것에 기초하여 관심 영역이 멀티-깊이 정보를 포함하지 않는다고 결정하는 단계를 포함하는, 방법.
양태 48: 양태 47에 있어서, 대표 깊이 정보를 결정하는 단계는, 멀티-포인트 그리드의 복수의 엘리먼트들로부터의 대부분의 엘리먼트들과 연관된 깊이 값을 결정하는 단계; 및 깊이 값을 대표 깊이 정보로서 선택하는 단계를 포함하는, 방법.
양태 49: 양태 43 내지 양태 48 중 어느 하나에 있어서, 거리를 표현하는 대표 깊이 정보에 기초하여 이미지를 프로세싱하는 단계를 더 포함하고, 이미지를 프로세싱하는 것은 적어도 이미지의 관심 영역에 대해 자동 노출, 자동 포커스, 자동 화이트 밸런스 및 자동 줌 중 적어도 하나를 수행하는 것을 포함하는, 방법.
양태 50: 양태 43 내지 양태 49 중 어느 하나에 있어서, 멀티-포인트 깊이 감지 시스템은 복수의 광원들을 포함하는 송신기 및 복수의 광원들에 의해 방출된 광의 반사들을 수신하도록 구성된 수신기를 포함하고, 대표 깊이 정보는 광의 수신된 반사들에 기초하여 결정되는, 방법.
양태 51: 이미지 데이터를 프로세싱하기 위한 장치로서, 적어도 하나의 메모리 및 적어도 하나의 메모리에 커플링된 적어도 하나의 프로세서를 포함하는, 장치. 적어도 하나의 프로세서는, 적어도 하나의 카메라를 사용하여 획득된 이미지에 묘사된 적어도 하나의 객체에 대응하는 관심 영역을 결정하는 것으로서, 관심 영역은 멀티-포인트 깊이 감지 시스템과 연관된 멀티-포인트 그리드의 복수의 엘리먼트들과 연관되는, 상기 관심 영역을 결정하고; 복수의 엘리먼트들과 연관된 깊이 정보에 기초하여 관심 영역이 멀티-깊이 정보를 포함하는지 여부를 결정하고; 관심 영역이 멀티-깊이 정보를 포함하는지 여부에 기초하여, 적어도 하나의 카메라와 이미지에 묘사된 적어도 하나의 객체 사이의 거리를 표현하는 대표 깊이 정보를 결정하도록 구성된다.
양태 52: 양태 51에 있어서, 적어도 하나의 프로세서는, 복수의 엘리먼트들과 연관된 대표 깊이 정보에 따라 복수의 엘리먼트들을 분류하도록 구성되고, 복수의 엘리먼트들은 최소 깊이로부터 최대 깊이까지 분류되는, 장치.
양태 53: 양태 51 또는 양태 52에 있어서, 관심 영역이 멀티-깊이 정보를 포함하는지 여부를 결정하기 위해, 적어도 하나의 프로세서는, 복수의 엘리먼트들의 가장 작은 깊이 값과 복수의 엘리먼트들의 가장 큰 깊이 값 사이의 차이가 멀티-깊이 임계치보다 크다고 결정하고; 가장 작은 깊이 값과 가장 큰 깊이 값 사이의 차이가 멀티-깊이 임계치보다 크다고 결정하는 것에 기초하여 관심 영역이 멀티-깊이 정보를 포함한다고 결정하도록 구성되는, 장치.
양태 54: 양태 53에 있어서, 대표 깊이 정보를 결정하기 위해, 적어도 하나의 프로세서는, 대표 깊이 정보로서 두번째 또는 세번째로 작은 깊이 값을 선택하도록 구성되는, 장치.
양태 55: 양태 51 또는 양태 52에 있어서, 관심 영역이 멀티-깊이 정보를 포함하는지 여부를 결정하기 위해, 적어도 하나의 프로세서는, 복수의 엘리먼트들의 가장 작은 깊이 값과 복수의 엘리먼트들의 가장 큰 깊이 값 사이의 차이가 멀티-깊이 임계치 미만이라고 결정하고; 가장 작은 깊이 값과 가장 큰 깊이 값 사이의 차이가 멀티-깊이 임계치 미만이라고 결정하는 것에 기초하여 관심 영역이 멀티-깊이 정보를 포함하지 않는다고 결정하도록 구성되는, 장치.
양태 56: 양태 55에 있어서, 대표 깊이 정보를 결정하기 위해, 적어도 하나의 프로세서는, 멀티-포인트 그리드의 복수의 엘리먼트들로부터의 대부분의 엘리먼트들과 연관된 깊이 값을 결정하고; 깊이 값을 대표 깊이 정보로서 선택하도록 구성되는, 장치.
양태 57: 양태 51 내지 양태 56 중 어느 하나에 있어서, 적어도 하나의 프로세서는, 거리를 표현하는 대표 깊이 정보에 기초하여 이미지를 프로세싱하도록 구성되고, 이미지를 프로세싱하는 것은 적어도 이미지의 관심 영역에 대해 자동 노출, 자동 포커스, 자동 화이트 밸런스 및 자동 줌 중 적어도 하나를 수행하는 것을 포함하는, 장치.
양태 58: 양태 51 내지 양태 57 중 어느 하나에 있어서, 멀티-포인트 깊이 감지 시스템은 복수의 광원들을 포함하는 송신기 및 복수의 광원들에 의해 방출된 광의 반사들을 수신하도록 구성된 수신기를 포함하고, 대표 깊이 정보는 광의 수신된 반사들에 기초하여 결정되는, 장치.
양태 59: 저장된 명령들을 포함하는 비일시적 컴퓨터 판독가능 저장 매체로서, 명령들은, 하나 이상의 프로세서들에 의해 실행될 때, 하나 이상의 프로세서들로 하여금 양태 43 내지 양태 59 중 어느 하나의 동작들을 수행하게 하는, 비일시적 컴퓨터 판독가능 저장 매체.
양태 60: 이미지 데이터를 프로세싱하기 위한 장치로서, 양태 43 내지 양태 59 중 어느 하나의 동작들을 수행하기 위한 수단을 포함하는, 장치.
양태 61: 이미지 데이터를 프로세싱하기 위한 방법으로서, 양태 1 내지 양태 40 중 어느 하나 및 양태 43 내지 양태 59 중 어느 하나에 따른 동작들을 포함하는, 방법.
양태 62: 이미지 데이터를 프로세싱하기 위한 장치로서, 적어도 하나의 메모리 및 적어도 하나의 메모리에 커플링된 적어도 하나의 프로세서를 포함하는, 장치. 적어도 하나의 프로세서는 양태 1 내지 양태 40 중 어느 하나 및 양태 43 내지 양태 59 중 어느 하나에 따른 동작들을 수행하도록 구성된다.
양태 63: 저장된 명령들을 포함하는 비일시적 컴퓨터 판독가능 저장 매체로서, 명령들은, 하나 이상의 프로세서들에 의해 실행될 때, 하나 이상의 프로세서들로 하여금 양태 1 내지 양태 40 중 어느 하나 및 양태 43 내지 양태 59 중 어느 하나의 동작들을 수행하게 하는, 비일시적 컴퓨터 판독가능 저장 매체.
양태 64: 이미지 데이터를 프로세싱하기 위한 장치로서, 양태 1 내지 양태 40 중 어느 하나 및 양태 43 내지 양태 59 중 어느 하나의 동작들을 수행하기 위한 수단을 포함하는, 장치.
Claims (35)
- 이미지 데이터를 프로세싱하는 방법으로서,
적어도 하나의 카메라를 사용하여 획득된 이미지에 묘사된 제1 객체에 대응하는 제1 관심 영역을 결정하는 단계로서, 상기 제1 관심 영역은 멀티-포인트 깊이 감지 시스템과 연관된 멀티-포인트 그리드의 적어도 하나의 엘리먼트와 연관되는, 상기 제1 관심 영역을 결정하는 단계;
상기 제1 객체에 대한 제1 확장된 관심 영역을 결정하는 단계로서, 상기 제1 확장된 관심 영역은 상기 멀티-포인트 그리드의 상기 적어도 하나의 엘리먼트 및 하나 이상의 추가적인 엘리먼트들을 포함하는 복수의 엘리먼트들과 연관되는, 상기 제1 확장된 관심 영역을 결정하는 단계; 및
상기 제1 확장된 관심 영역과 연관된 상기 복수의 엘리먼트들에 기초하여, 상기 적어도 하나의 카메라와 상기 이미지에 묘사된 상기 제1 객체 사이의 제1 거리를 표현하는 대표 깊이 정보를 결정하는 단계를 포함하는, 이미지 데이터를 프로세싱하는 방법. - 제1항에 있어서,
상기 제1 거리를 표현하는 상기 대표 깊이 정보에 기초하여 상기 이미지를 프로세싱하는 단계를 더 포함하고, 상기 이미지를 프로세싱하는 단계는 적어도 상기 이미지의 상기 제1 관심 영역에 대해 자동 노출, 자동 포커스, 자동 화이트 밸런스 및 자동 줌 중 적어도 하나를 수행하는 단계를 포함하는, 이미지 데이터를 프로세싱하는 방법. - 제1항 또는 제2항에 있어서, 상기 제1 객체에 대한 상기 제1 확장된 관심 영역을 결정하는 단계는,
상기 제1 관심 영역의 크기 및 상기 이미지에서의 기준 포인트에 대한 상기 제1 관심 영역의 위치 중 적어도 하나를 결정하는 단계; 및
상기 제1 관심 영역의 상기 크기 및 상기 위치 중 적어도 하나에 기초하여 상기 제1 객체에 대한 상기 제1 확장된 관심 영역을 결정하는 단계를 포함하는, 이미지 데이터를 프로세싱하는 방법. - 제1항 또는 제2항에 있어서, 상기 제1 객체에 대한 상기 제1 확장된 관심 영역을 결정하는 단계는,
상기 멀티-포인트 그리드의 상기 하나 이상의 추가적인 엘리먼트들 중 제1 엘리먼트와 연관된 제1 깊이를 결정하는 단계로서, 상기 제1 엘리먼트는 상기 제1 관심 영역과 연관된 상기 적어도 하나의 엘리먼트에 이웃하는, 상기 제1 깊이를 결정하는 단계;
상기 제1 깊이와 상기 제1 관심 영역과 연관된 상기 적어도 하나의 엘리먼트의 깊이 사이의 차이가 임계 차이 미만이라고 결정하는 단계; 및
상기 제1 깊이와 상기 제1 관심 영역과 연관된 상기 적어도 하나의 엘리먼트의 깊이 사이의 차이가 상기 임계 차이 미만이라고 결정하는 것에 기초하여, 상기 제1 엘리먼트를 상기 제1 확장된 관심 영역과 연관시키는 단계를 포함하는, 이미지 데이터를 프로세싱하는 방법. - 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 제1 거리를 표현하는 상기 대표 깊이 정보를 결정하는 단계는,
상기 제1 확장된 관심 영역과 연관된 상기 복수의 엘리먼트들의 깊이 값들에 기초하여 상기 제1 확장된 관심 영역에 대한 대표 깊이 값을 결정하는 단계를 포함하는, 이미지 데이터를 프로세싱하는 방법. - 제1항 내지 제5항 중 어느 한 항에 있어서,
상기 제1 관심 영역이 상기 이미지에 대해 결정된 유일한 관심 영역인 것에 기초하여, 상기 제1 거리를 표현하는 상기 대표 깊이 정보에 기초하여 상기 이미지를 프로세싱하는 단계를 더 포함하는, 이미지 데이터를 프로세싱하는 방법. - 제6항에 있어서, 상기 제1 거리를 표현하는 상기 대표 깊이 정보에 기초하여 상기 이미지를 프로세싱하는 단계는 적어도 상기 이미지의 상기 제1 관심 영역에 대해 자동 노출, 자동 포커스, 자동 화이트 밸런스 및 자동 줌 중 적어도 하나를 수행하는 단계를 포함하는, 이미지 데이터를 프로세싱하는 방법.
- 제1항 내지 제7항 중 어느 한 항에 있어서,
상기 이미지에 묘사된 제2 객체에 대응하는 제2 관심 영역을 결정하는 단계로서, 상기 제2 관심 영역은 상기 멀티-포인트 깊이 감지 시스템과 연관된 상기 멀티-포인트 그리드의 적어도 하나의 추가적인 엘리먼트와 연관되는, 상기 제2 관심 영역을 결정하는 단계;
상기 제2 객체에 대한 제2 확장된 관심 영역을 결정하는 단계로서, 상기 제2 확장된 관심 영역은 상기 멀티-포인트 그리드의 상기 적어도 하나의 추가적인 엘리먼트 및 제2 하나 이상의 추가적인 엘리먼트들을 포함하는 복수의 엘리먼트들과 연관되는, 상기 제2 확장된 관심 영역을 결정하는 단계; 및
상기 제2 확장된 관심 영역과 연관된 상기 복수의 엘리먼트들에 기초하여, 상기 적어도 하나의 카메라와 상기 이미지에 묘사된 상기 제2 객체 사이의 제2 거리를 표현하는 대표 깊이 정보를 결정하는 단계를 더 포함하는, 이미지 데이터를 프로세싱하는 방법. - 이미지 데이터를 프로세싱하기 위한 장치로서,
적어도 하나의 메모리; 및
상기 적어도 하나의 메모리에 커플링된 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는,
적어도 하나의 카메라를 사용하여 획득된 이미지에 묘사된 제1 객체에 대응하는 제1 관심 영역을 결정하는 것으로서, 상기 제1 관심 영역은 멀티-포인트 깊이 감지 시스템과 연관된 멀티-포인트 그리드의 적어도 하나의 엘리먼트와 연관되는, 상기 제1 관심 영역을 결정하고;
상기 제1 객체에 대한 제1 확장된 관심 영역을 결정하는 것으로서, 상기 제1 확장된 관심 영역은 상기 멀티-포인트 그리드의 상기 적어도 하나의 엘리먼트 및 하나 이상의 추가적인 엘리먼트들을 포함하는 복수의 엘리먼트들과 연관되는, 상기 제1 확장된 관심 영역을 결정하고; 그리고
상기 제1 확장된 관심 영역과 연관된 상기 복수의 엘리먼트들에 기초하여, 상기 적어도 하나의 카메라와 상기 이미지에 묘사된 상기 제1 객체 사이의 제1 거리를 표현하는 대표 깊이 정보를 결정하도록
구성되는, 이미지 데이터를 프로세싱하기 위한 장치. - 제9항에 있어서, 상기 적어도 하나의 프로세서는,
상기 제1 거리를 표현하는 상기 대표 깊이 정보에 기초하여 상기 이미지를 프로세싱하도록 구성되고, 상기 이미지를 프로세싱하는 것은 적어도 상기 이미지의 상기 제1 관심 영역에 대해 자동 노출, 자동 포커스, 자동 화이트 밸런스 및 자동 줌 중 적어도 하나를 수행하는 것을 포함하는, 이미지 데이터를 프로세싱하기 위한 장치. - 제9항 또는 제10항에 있어서, 상기 제1 객체에 대한 상기 제1 확장된 관심 영역을 결정하기 위해, 상기 적어도 하나의 프로세서는,
상기 제1 관심 영역의 크기 및 상기 이미지에서의 기준 포인트에 대한 상기 제1 관심 영역의 위치 중 적어도 하나를 결정하고; 그리고
상기 제1 관심 영역의 상기 크기 및 상기 위치 중 적어도 하나에 기초하여 상기 제1 객체에 대한 상기 제1 확장된 관심 영역을 결정하도록
구성되는, 이미지 데이터를 프로세싱하기 위한 장치. - 제11항에 있어서, 상기 제1 객체에 대한 상기 제1 확장된 관심 영역을 결정하기 위해, 상기 적어도 하나의 프로세서는,
상기 제1 관심 영역의 상기 크기에 기초하여 상기 제1 객체에 대한 상기 제1 확장된 관심 영역을 결정하도록 구성되는, 이미지 데이터를 프로세싱하기 위한 장치. - 제11항에 있어서, 상기 제1 객체에 대한 상기 제1 확장된 관심 영역을 결정하기 위해, 상기 적어도 하나의 프로세서는,
상기 제1 관심 영역의 상기 위치에 기초하여 상기 제1 객체에 대한 상기 제1 확장된 관심 영역을 결정하도록 구성되는, 이미지 데이터를 프로세싱하기 위한 장치. - 제11항에 있어서, 상기 제1 객체에 대한 상기 제1 확장된 관심 영역을 결정하기 위해, 상기 적어도 하나의 프로세서는,
상기 제1 관심 영역의 상기 크기 및 상기 위치에 기초하여 상기 제1 객체에 대한 상기 제1 확장된 관심 영역을 결정하도록 구성되는, 이미지 데이터를 프로세싱하기 위한 장치. - 제9항 또는 제10항에 있어서, 상기 제1 객체에 대한 상기 제1 확장된 관심 영역을 결정하기 위해, 상기 적어도 하나의 프로세서는,
상기 멀티-포인트 그리드의 상기 하나 이상의 추가적인 엘리먼트들 중 제1 엘리먼트와 연관된 제1 깊이를 결정하는 것으로서, 상기 제1 엘리먼트는 상기 제1 관심 영역과 연관된 상기 적어도 하나의 엘리먼트에 이웃하는, 상기 제1 깊이를 결정하고;
상기 제1 깊이와 상기 제1 관심 영역과 연관된 상기 적어도 하나의 엘리먼트의 깊이 사이의 차이가 임계 차이 미만이라고 결정하고;
상기 제1 깊이와 상기 제1 관심 영역과 연관된 상기 적어도 하나의 엘리먼트의 깊이 사이의 차이가 상기 임계 차이 미만이라고 결정하는 것에 기초하여, 상기 제1 엘리먼트를 상기 제1 확장된 관심 영역과 연관시키도록
구성되는, 이미지 데이터를 프로세싱하기 위한 장치. - 제15항에 있어서, 상기 적어도 하나의 프로세서는 상기 제1 깊이의 신뢰도가 신뢰도 임계치보다 큰 것에 추가로 기초하여 상기 제1 엘리먼트를 상기 제1 확장된 관심 영역과 연관시키도록 구성되는, 이미지 데이터를 프로세싱하기 위한 장치.
- 제15항 또는 제16항에 있어서, 상기 적어도 하나의 프로세서는,
상기 멀티-포인트 그리드의 상기 하나 이상의 추가적인 엘리먼트들 중 제2 엘리먼트와 연관된 제2 깊이를 결정하는 것으로서, 상기 제2 엘리먼트는 상기 하나 이상의 추가적인 엘리먼트들 중 상기 제1 엘리먼트에 이웃하는, 상기 제2 깊이를 결정하고;
상기 제2 깊이와 상기 제1 깊이 사이의 차이가 상기 임계 차이 미만이라고 결정하고;
상기 제2 깊이와 상기 제1 깊이 사이의 차이가 상기 임계 차이 미만이라고 결정하는 것에 기초하여, 상기 제2 엘리먼트를 상기 제1 확장된 관심 영역과 연관시키도록
구성되는, 이미지 데이터를 프로세싱하기 위한 장치. - 제15항 또는 제16항에 있어서, 상기 적어도 하나의 프로세서는,
상기 멀티-포인트 그리드의 상기 하나 이상의 추가적인 엘리먼트들 중 제2 엘리먼트와 연관된 제2 깊이를 결정하는 것으로서, 상기 제2 엘리먼트는 상기 하나 이상의 추가적인 엘리먼트들 중 상기 제1 엘리먼트에 이웃하는, 상기 제2 깊이를 결정하고;
상기 제2 깊이와 상기 제1 깊이 사이의 차이가 상기 임계 차이보다 크다고 결정하고;
상기 제2 깊이와 상기 제1 깊이 사이의 차이가 상기 임계 차이보다 크다고 결정하는 것에 기초하여, 상기 제2 엘리먼트를 상기 제1 확장된 관심 영역으로부터 배제하도록 구성되는, 이미지 데이터를 프로세싱하기 위한 장치. - 제9항 내지 제18항 중 어느 한 항에 있어서, 상기 제1 거리를 표현하는 상기 대표 깊이 정보를 결정하기 위해, 상기 적어도 하나의 프로세서는,
상기 제1 확장된 관심 영역과 연관된 상기 복수의 엘리먼트들의 깊이 값들에 기초하여 상기 제1 확장된 관심 영역에 대한 대표 깊이 값을 결정하도록 구성되는, 이미지 데이터를 프로세싱하기 위한 장치. - 제19항에 있어서, 상기 대표 깊이 값은 상기 제1 확장된 관심 영역과 연관된 상기 복수의 엘리먼트들의 깊이 값들의 평균을 포함하는, 이미지 데이터를 프로세싱하기 위한 장치.
- 제9항 내지 제20항 중 어느 한 항에 있어서, 상기 적어도 하나의 프로세서는,
상기 제1 관심 영역이 상기 이미지에 대해 결정된 유일한 관심 영역인 것에 기초하여, 상기 제1 거리를 표현하는 상기 대표 깊이 정보에 기초하여 상기 이미지를 프로세싱하도록 구성되는, 이미지 데이터를 프로세싱하기 위한 장치. - 제21항에 있어서, 상기 제1 거리를 표현하는 상기 대표 깊이 정보에 기초하여 상기 이미지를 프로세싱하기 위해, 상기 적어도 하나의 프로세서는, 적어도 상기 이미지의 상기 제1 관심 영역에 대해 자동 노출, 자동 포커스, 자동 화이트 밸런스 및 자동 줌 중 적어도 하나를 수행하도록 구성되는, 이미지 데이터를 프로세싱하기 위한 장치.
- 제9항 내지 제22항 중 어느 한 항에 있어서, 상기 적어도 하나의 프로세서는,
상기 이미지에 묘사된 제2 객체에 대응하는 제2 관심 영역을 결정하는 것으로서, 상기 제2 관심 영역은 상기 멀티-포인트 깊이 감지 시스템과 연관된 상기 멀티-포인트 그리드의 적어도 하나의 추가적인 엘리먼트와 연관되는, 상기 제2 관심 영역을 결정하고;
상기 제2 객체에 대한 제2 확장된 관심 영역을 결정하는 것으로서, 상기 제2 확장된 관심 영역은 상기 멀티-포인트 그리드의 상기 적어도 하나의 추가적인 엘리먼트 및 제2 하나 이상의 추가적인 엘리먼트들을 포함하는 복수의 엘리먼트들과 연관되는, 상기 제2 확장된 관심 영역을 결정하고; 그리고
상기 제2 확장된 관심 영역과 연관된 상기 복수의 엘리먼트들에 기초하여, 상기 적어도 하나의 카메라와 상기 이미지에 묘사된 상기 제2 객체 사이의 제2 거리를 표현하는 대표 깊이 정보를 결정하도록 구성되는, 이미지 데이터를 프로세싱하기 위한 장치. - 제23항에 있어서, 상기 적어도 하나의 프로세서는,
상기 제1 거리를 표현하는 상기 대표 깊이 정보 및 상기 제2 거리를 표현하는 상기 대표 깊이 정보에 기초하여 조합된 깊이 정보를 결정하도록 구성되는, 이미지 데이터를 프로세싱하기 위한 장치. - 제24항에 있어서, 상기 조합된 깊이 정보를 결정하기 위해, 상기 적어도 하나의 프로세서는, 상기 제1 거리를 표현하는 상기 대표 깊이 정보 및 상기 제2 거리를 표현하는 상기 대표 깊이 정보의 가중된 평균을 결정하도록 구성되는, 이미지 데이터를 프로세싱하기 위한 장치.
- 제24항 또는 제25항에 있어서, 상기 적어도 하나의 프로세서는,
상기 조합된 깊이 정보에 기초하여 상기 이미지를 프로세싱하도록 구성되는, 이미지 데이터를 프로세싱하기 위한 장치. - 제26항에 있어서, 상기 조합된 깊이 정보에 기초하여 상기 이미지를 프로세싱하기 위해, 상기 적어도 하나의 프로세서는, 적어도 상기 이미지의 상기 제1 관심 영역에 대해 자동 노출, 자동 포커스, 자동 화이트 밸런스 및 자동 줌 중 적어도 하나를 수행하도록 구성되는, 이미지 데이터를 프로세싱하기 위한 장치.
- 제9항 내지 제27항 중 어느 한 항에 있어서, 상기 멀티-포인트 깊이 감지 시스템은 복수의 광원들을 포함하는 송신기 및 상기 복수의 광원들에 의해 방출된 광의 반사들을 수신하도록 구성된 수신기를 포함하고, 상기 대표 깊이 정보는 상기 광의 수신된 반사들에 기초하여 결정되는, 이미지 데이터를 프로세싱하기 위한 장치.
- 이미지 데이터를 프로세싱하는 방법으로서,
적어도 하나의 카메라를 사용하여 획득된 이미지에 묘사된 적어도 하나의 객체에 대응하는 관심 영역을 결정하는 단계로서, 상기 관심 영역은 멀티-포인트 깊이 감지 시스템과 연관된 멀티-포인트 그리드의 복수의 엘리먼트들과 연관되는, 상기 관심 영역을 결정하는 단계;
상기 복수의 엘리먼트들과 연관된 깊이 정보에 기초하여 상기 관심 영역이 멀티-깊이 정보를 포함하는지 여부를 결정하는 단계; 및
상기 관심 영역이 멀티-깊이 정보를 포함하는지 여부에 기초하여, 상기 적어도 하나의 카메라와 상기 이미지에 묘사된 상기 적어도 하나의 객체 사이의 거리를 표현하는 대표 깊이 정보를 결정하는 단계를 포함하는, 이미지 데이터를 프로세싱하는 방법. - 이미지 데이터를 프로세싱하기 위한 장치로서,
적어도 하나의 메모리; 및
상기 적어도 하나의 메모리에 커플링된 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는,
적어도 하나의 카메라를 사용하여 획득된 이미지에 묘사된 적어도 하나의 객체에 대응하는 관심 영역을 결정하는 것으로서, 상기 관심 영역은 멀티-포인트 깊이 감지 시스템과 연관된 멀티-포인트 그리드의 복수의 엘리먼트들과 연관되는, 상기 관심 영역을 결정하고;
상기 복수의 엘리먼트들과 연관된 깊이 정보에 기초하여 상기 관심 영역이 멀티-깊이 정보를 포함하는지 여부를 결정하고;
상기 관심 영역이 멀티-깊이 정보를 포함하는지 여부에 기초하여, 상기 적어도 하나의 카메라와 상기 이미지에 묘사된 상기 적어도 하나의 객체 사이의 거리를 표현하는 대표 깊이 정보를 결정하도록
구성되는, 이미지 데이터를 프로세싱하기 위한 장치. - 제30항에 있어서, 상기 적어도 하나의 프로세서는,
상기 복수의 엘리먼트들과 연관된 상기 대표 깊이 정보에 따라 상기 복수의 엘리먼트들을 분류하도록 구성되고, 상기 복수의 엘리먼트들은 최소 깊이로부터 최대 깊이까지 분류되는, 이미지 데이터를 프로세싱하기 위한 장치. - 제30항 또는 제31항에 있어서, 상기 관심 영역이 상기 멀티-깊이 정보를 포함하는지 여부를 결정하기 위해, 상기 적어도 하나의 프로세서는,
상기 복수의 엘리먼트들의 가장 작은 깊이 값과 상기 복수의 엘리먼트들의 가장 큰 깊이 값 사이의 차이가 멀티-깊이 임계치보다 크다고 결정하고;
상기 가장 작은 깊이 값과 상기 가장 큰 깊이 값 사이의 차이가 상기 멀티-깊이 임계치보다 크다고 결정하는 것에 기초하여 상기 관심 영역이 멀티-깊이 정보를 포함한다고 결정하도록
구성되는, 이미지 데이터를 프로세싱하기 위한 장치. - 제30항 또는 제31항에 있어서, 상기 관심 영역이 상기 멀티-깊이 정보를 포함하는지 여부를 결정하기 위해, 상기 적어도 하나의 프로세서는,
상기 복수의 엘리먼트들의 가장 작은 깊이 값과 상기 복수의 엘리먼트들의 가장 큰 깊이 값 사이의 차이가 멀티-깊이 임계치 미만이라고 결정하고;
상기 가장 작은 깊이 값과 상기 가장 큰 깊이 값 사이의 차이가 상기 멀티-깊이 임계치 미만이라고 결정하는 것에 기초하여 상기 관심 영역이 멀티-깊이 정보를 포함하지 않는다고 결정하도록 구성되는, 이미지 데이터를 프로세싱하기 위한 장치. - 제30항 내지 제33항 중 어느 한 항에 있어서, 상기 적어도 하나의 프로세서는,
상기 거리를 표현하는 상기 대표 깊이 정보에 기초하여 상기 이미지를 프로세싱하도록 구성되고, 상기 이미지를 프로세싱하는 것은 적어도 상기 이미지의 상기 관심 영역에 대해 자동 노출, 자동 포커스, 자동 화이트 밸런스 및 자동 줌 중 적어도 하나를 수행하는 것을 포함하는, 이미지 데이터를 프로세싱하기 위한 장치. - 제30항 내지 제34항 중 어느 한 항에 있어서, 상기 멀티-포인트 깊이 감지 시스템은 복수의 광원들을 포함하는 송신기 및 상기 복수의 광원들에 의해 방출된 광의 반사들을 수신하도록 구성된 수신기를 포함하고, 상기 대표 깊이 정보는 상기 광의 수신된 반사들에 기초하여 결정되는, 이미지 데이터를 프로세싱하기 위한 장치.
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2021/104992 WO2023279289A1 (en) | 2021-07-07 | 2021-07-07 | Processing image data using multi-point depth sensing system information |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20240029003A true KR20240029003A (ko) | 2024-03-05 |
Family
ID=84800136
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020237045512A KR20240029003A (ko) | 2021-07-07 | 2021-07-07 | 멀티-포인트 깊이 감지 시스템 정보를 사용한 이미지 데이터 프로세싱 |
Country Status (5)
| Country | Link |
|---|---|
| EP (1) | EP4367874A1 (ko) |
| KR (1) | KR20240029003A (ko) |
| CN (1) | CN117652136A (ko) |
| TW (1) | TW202303522A (ko) |
| WO (1) | WO2023279289A1 (ko) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20230377215A1 (en) * | 2022-05-18 | 2023-11-23 | Google Llc | Adaptive color mapping based on behind-display content measured by world-view camera |
| CN116993796B (zh) * | 2023-09-26 | 2023-12-22 | 埃洛克航空科技（北京）有限公司 | 深度图估计中的多级空间传播方法和装置 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9773155B2 (en) * | 2014-10-14 | 2017-09-26 | Microsoft Technology Licensing, Llc | Depth from time of flight camera |
| KR102472156B1 (ko) * | 2018-04-19 | 2022-11-30 | 삼성전자주식회사 | 전자 장치 및 그 깊이 정보 생성 방법 |
| CN110174056A (zh) * | 2019-06-18 | 2019-08-27 | 上海商米科技集团股份有限公司 | 一种物体体积测量方法、装置及移动终端 |
-
2021
- 2021-07-07 CN CN202180099996.4A patent/CN117652136A/zh active Pending
- 2021-07-07 WO PCT/CN2021/104992 patent/WO2023279289A1/en active Application Filing
- 2021-07-07 KR KR1020237045512A patent/KR20240029003A/ko active Search and Examination
- 2021-07-07 EP EP21948787.3A patent/EP4367874A1/en active Pending
-
2022
- 2022-04-29 TW TW111116425A patent/TW202303522A/zh unknown
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023279289A1 (en) | 2023-01-12 |
| CN117652136A (zh) | 2024-03-05 |
| TW202303522A (zh) | 2023-01-16 |
| EP4367874A1 (en) | 2024-05-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10044926B2 (en) | Optimized phase detection autofocus (PDAF) processing | |
| US9883119B1 (en) | Method and system for hardware-based motion sensitive HDR image processing | |
| US20220138964A1 (en) | Frame processing and/or capture instruction systems and techniques | |
| US9392187B2 (en) | Image generating apparatus including digital iris and method and non-transitory recordable medium | |
| US11818462B2 (en) | Phase detection autofocus sensor apparatus and method for depth sensing | |
| WO2023279289A1 (en) | Processing image data using multi-point depth sensing system information | |
| KR20150006755A (ko) | 이미지 생성 장치, 이미지 생성 방법 및 비일시적 기록 매체 | |
| CN115516495A (zh) | 基于选择区域优化高动态范围(hdr)图像处理 | |
| US9538100B1 (en) | Systems and methods for image processing using visible and near-infrared spectral information | |
| WO2023140979A1 (en) | Motion based exposure control for high dynamic range imaging | |
| WO2023215659A1 (en) | Methods and systems for shift estimation for one or more output frames | |
| US20230262322A1 (en) | Mechanism for improving image capture operations | |
| US20240249423A1 (en) | Processing image data using multi-point depth sensing system information | |
| US20220414847A1 (en) | High dynamic range image processing | |
| US20230021016A1 (en) | Hybrid object detector and tracker | |
| US11792505B2 (en) | Enhanced object detection | |
| US11115600B1 (en) | Dynamic field of view compensation for autofocus | |
| US20240054659A1 (en) | Object detection in dynamic lighting conditions | |
| WO2023279275A1 (en) | Local motion detection for improving image capture and/or processing operations | |
| US20240209843A1 (en) | Scalable voxel block selection | |
| WO2023282963A1 (en) | Enhanced object detection | |
| JP2024506932A (ja) | カメラズームのためのシステムおよび方法 | |
| TW202410685A (zh) | 使用可變光圈成像設備擷取影像 | |
| CN117769840A (zh) | 多相机*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination |