KR20230116068A - 편광 신호를 이용한 투명 물체 분할을 위한 시스템및 방법 - Google Patents
편광 신호를 이용한 투명 물체 분할을 위한 시스템및 방법 Download PDFInfo
- Publication number
- KR20230116068A KR20230116068A KR1020237024658A KR20237024658A KR20230116068A KR 20230116068 A KR20230116068 A KR 20230116068A KR 1020237024658 A KR1020237024658 A KR 1020237024658A KR 20237024658 A KR20237024658 A KR 20237024658A KR 20230116068 A KR20230116068 A KR 20230116068A
- Authority
- KR
- South Korea
- Prior art keywords
- polarization
- image
- tensor
- aolp
- linear polarization
- Prior art date
Links
- 230000010287 polarization Effects 0.000 title claims abstract description 350
- 238000000034 method Methods 0.000 title claims abstract description 62
- 230000011218 segmentation Effects 0.000 claims description 117
- 238000013527 convolutional neural network Methods 0.000 claims description 101
- 238000012549 training Methods 0.000 claims description 69
- 230000004927 fusion Effects 0.000 claims description 27
- 238000010586 diagram Methods 0.000 claims description 22
- 238000012545 processing Methods 0.000 claims description 18
- 230000009466 transformation Effects 0.000 claims description 16
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 9
- 230000015654 memory Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000004422 calculation algorithm Methods 0.000 description 19
- 239000011521 glass Substances 0.000 description 14
- 238000001514 detection method Methods 0.000 description 10
- 238000012360 testing method Methods 0.000 description 10
- 238000000844 transformation Methods 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 7
- 230000035622 drinking Effects 0.000 description 7
- 239000000284 extract Substances 0.000 description 7
- 230000006872 improvement Effects 0.000 description 7
- 230000001939 inductive effect Effects 0.000 description 7
- 238000003909 pattern recognition Methods 0.000 description 7
- 238000013179 statistical model Methods 0.000 description 7
- 239000013598 vector Substances 0.000 description 7
- 230000000052 comparative effect Effects 0.000 description 6
- 239000004744 fabric Substances 0.000 description 6
- 239000000463 material Substances 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000013459 approach Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000003709 image segmentation Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000000306 recurrent effect Effects 0.000 description 3
- 241001425390 Aphis fabae Species 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 235000013361 beverage Nutrition 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000013434 data augmentation Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 229910052751 metal Inorganic materials 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 238000013526 transfer learning Methods 0.000 description 2
- 238000001429 visible spectrum Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- NIXOWILDQLNWCW-UHFFFAOYSA-N acrylic acid group Chemical group C(C=C)(=O)O NIXOWILDQLNWCW-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 239000003153 chemical reaction reagent Substances 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000004579 marble Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 150000002739 metals Chemical class 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
- G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
- G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
- G05B13/027—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion using neural networks only
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G06T3/0006—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/02—Affine transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/174—Segmentation; Edge detection involving the use of two or more images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/147—Details of sensors, e.g. sensor lenses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Vascular Medicine (AREA)
- Biodiversity & Conservation Biology (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Databases & Information Systems (AREA)
- Automation & Control Theory (AREA)
- Image Analysis (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
장면(scene)의 이미지에 대한 예측을 계산하기 위한 컴퓨터 구현 방법은, 장면의 하나 이상의 편광 원시 프레임을 수신하는 단계 -- 상기 편광 원시 프레임은 다른 선형 편광 각도에서 편광 필터로 캡처됨; 상기 편광 원시 프레임으로부터 하나 이상의 편광 표현 공간 내의 하나 이상의 제 1 텐서를 추출하는 단계; 및 상기 하나 이상의 편광 표현 공간 내의 상기 하나 이상의 제 1 텐서에 기초하여 상기 장면에서 하나 이상의 광학적으로 도전적인 물체에 관한 예측을 계산하는 단계;를 포함한다.
Description
[관련 출원에 대한 상호 참조]
본 특허 출원은 미합중국 특허청에 2020년 03월 29일자로 출원한 미합중국 가출원 제63/001,445호의 우선권 및 이득을 주장하며, 그 전체 개시 내용은 참조에 의해서 본 출원 명세서에 합체된다.
본 개시의 각 실시예의 여러 측면은 컴퓨터 비전(computer vision) 분야 및 이미지에 묘사된 별개의 물체로 이미지 분할에 관한 것이다.
의미론적 분할은 장면(scene)의 하나 이상의 2차원(2-D) 이미지를 캡처하고 이미지의 다양한 영역(예를 들면, 이미지의 각 픽셀)을 물체의 특정 클래스에 속하는 것으로 알고리즘적으로 분류하는 컴퓨터 비전 프로세스를 나타낸다. 예를 들면, 정원에 있는 사람의 이미지에 의미론적 분할을 적용하는 것은 입력 이미지의 개별 픽셀에 클래스를 할당할 수 있으며, 여기서 클래스는 사람, 동물, 나무, 땅, 하늘, 바위, 건물 등과 같은 실제 객체 유형을 포함할 수 있다. 인스턴스 분할은 다른 식별자로 입력 이미지에서 각 사람과 각 동물에 개별적으로 라벨링하는 것과 같이 물체들의 서로 다른 인스턴스 각각에 고유한 라벨을 추가로 적용하는 것을 말한다.
의미론적 분할 또는 인스턴스 분할 프로세스의 한 가지 가능한 출력은 입력 이미지와 동일한 차원을 갖는 2차원 이미지일 수 있는 분할 맵 또는 분할 마스크이고, 여기서 각 픽셀 값은 라벨에 해당된다(예를 들면, 의미론적 분할의 경우에 특정 클래스 또는 인스턴스 분할의 경우에 특정 인스턴스).
투명 물체의 이미지 분할은 컴퓨터 비전에서 어렵고, 개방된 과제이다. 투명 물체는 텍스처가 부족하여(예를 들면, 컴퓨터 그래픽 분야에서 사용되는 용어로서 "텍스처 매핑"에서와 같은 표면 컬러 정보) 대신 해당 투명 물체 뒤에 있는 장면의 텍스처나 모양을 채택한다(예를 들면, 투명 물체를 통해 보이는 장면의 배경). 결과적으로 일부 상황에서 캡처된 장면의 투명 물체 (및 기타 광학적으로 도전적인 물체)는 의미론적 분할 알고리즘에 실질적으로 보이지 않거나 투명 물체를 통해 보이는 물체를 기반으로 분류될 수 있다.
본 개시의 실시예들의 측면은 의미론적 분할 또는 다른 머신 비전 프로세스에 정보의 추가 채널을 제공하기 위해 편광 (광파의 회전)을 이용한 이미지의 투명 물체 분할에 관한 것이다. 본 개시의 실시예들의 측면은 또한 편광을 사용하여 이미지에서 다른 광학적으로 도전적인 물체의 검출 및/또는 분할에 관한 것이며, 여기서 광학적으로 도전적인 물체는 비-램버시안(non-Lambertian), 반투명한(translucent), 다중경로 유도(multipath inducing), 또는 비반사(non-reflective) 상태를 포함하는 하나 이상의 조건을 나타낼 수 있다. 일부 실시예에서, 편광 카메라는 다중 모드 이미지(예를 들어, 다차원 편광 정보)를 생성하기 위해 편광 원시 프레임을 캡처하는데 사용된다. 본 개시의 실시예들의 일부 측면은 다중 모드 편광 입력 데이터를 처리하기 위해 딥 러닝 백본을 사용하는 신경망 아키텍처에 관한 것이다. 이에 따라, 본 개시의 실시예들은 다양한 장면 및 배경 조건에서 어수선하고, 투명하거나 광학적으로 도전적인 물체에 대해 인스턴스 분할을 안정적으로 수행함으로써, 인텐시티 이미지만을 기반으로 하는 비교 접근법에 비해서 개선됨을 입증한다.
본 개시의 일 실시예에 따르면 장면(scene)의 이미지에 대한 예측을 계산하기 위한 컴퓨터 구현 방법은, 장면의 하나 이상의 편광 원시 프레임을 수신하는 단계 - 상기 편광 원시 프레임은 다른 선형 편광 각도에서 편광 필터로 캡처됨; 상기 편광 원시 프레임으로부터 하나 이상의 편광 표현 공간 내의 하나 이상의 제 1 텐서를 추출하는 단계; 및 상기 하나 이상의 편광 표현 공간 내의 상기 하나 이상의 제 1 텐서에 기초하여 상기 장면에서 하나 이상의 광학적으로 도전적인 물체에 관한 예측을 계산하는 단계;를 포함한다.
상기 하나 이상의 편광 표현 공간 내의 상기 하나 이상의 제 1 텐서는, DOLP 표현 공간 내의 선형 편광도(DOLP, degree of linear polarization) 이미지, 및 AOLP 표현 공간 내의 선형 편광각(AOLP, angle of linear polarization) 이미지를 포함할 수 있다.
상기 하나 이상의 제 1 텐서는 하나 이상의 비편광 표현 공간 내의 하나 이상의 비편광 텐서를 더 포함할 수 있고, 상기 하나 이상의 비편광 텐서는 인텐시티 표현 공간 내의 하나 이상의 인텐시티 이미지를 포함할 수 있다.
상기 하나 이상의 인텐시티 이미지는, 제 1 컬러 인텐시티 이미지, 제 2 컬러 인텐시티 이미지, 및 제 3 컬러 인텐시티 이미지를 포함할 수 있다.
상기 예측은 분할 마스크를 포함할 수 있다.
상기 예측을 계산하는 단계는, 하나 이상의 대응하는 합성곱 신경망(Convolutional Neural Network, CNN) 백본에 상기 하나 이상의 제1 텐서를 제공하는 단계를 포함할 수 있고, 상기 하나 이상의 합성곱 신경망 백본 각각은 복수의 상이한 스케일에서 복수의 모드 텐서를 계산하도록 구성될 수 있다.
상기 예측을 계산하는 단계는, 상기 하나 이상의 합성곱 신경망 백본에 의해 동일한 스케일로 계산된 모드 텐서를 융합하는 단계를 더 포함할 수 있다.
상기 동일한 스케일로 상기 모드 텐서를 융합하는 단계는, 상기 동일한 스케일로 상기 모드 텐서를 연결하는 단계; 하나 이상의 어텐션 맵을 계산하기 위해 상기 모드 텐서를 어텐션 서브네트워크에 제공하는 단계; 및 상기 스케일에 대한 융합 텐서를 계산하기 위해 상기 하나 이상의 어텐션 맵에 기초하여 상기 모드 텐서에 가중치를 부여하는 단계를 포함할 수 있다.
상기 예측을 계산하는 단계는, 각 스케일에서 계산된 상기 융합 텐서를 상기 분할 마스크를 계산하도록 구성된 예측 모듈에 제공하는 단계를 더 포함할 수 있다.
상기 분할 마스크는 로봇 피킹 암 (robot picking arm)의 컨트롤러에 제공될 수 있다.
상기 예측은 상기 하나 이상의 광학적으로 도전적인 물체에 기초한 상기 하나 이상의 편광 원시 프레임의 분류를 포함할 수 있다.
상기 예측은 상기 하나 이상의 편광 원시 프레임에 묘사된 상기 하나 이상의 광학적으로 도전적인 물체의 하나 이상의 검출된 피처를 포함할 수 있다.
상기 예측을 계산하는 단계는, 상기 하나 이상의 편광 표현 공간 내의 상기 하나 이상의 제1 텐서를 통계 모델에 제공하는 단계를 포함할 수 있고, 상기 통계 모델은 상기 하나 이상의 편광 표현 공간 및 라벨(label)에서 제1 텐서를 트레이닝하는 것을 포함하는 트레이닝 데이터를 사용하여 트레이닝될 수 있다.
상기 트레이닝 데이터는, 상기 하나 이상의 편광 표현 공간에서 편광 카메라에 의해 캡처된 데이터로부터 계산된 소스 트레이닝 제 1 텐서; 및 회전을 포함하는 아핀 변환(affine transformations)을 통해 상기 소스 트레이닝 제 1 텐서로부터 생성된 추가 트레이닝 제 1 텐서를 포함할 수 있다.
상기 추가 트레이닝 제 1 텐서가 선형 편광 각도(AOLP) 이미지를 포함할 때, 상기 추가 트레이닝 제 1 텐서를 생성하는 단계는, 상기 추가 트레이닝 제 1 텐서를 소정 각도 만큼 회전시키는 것과, 상기 선형 편광 각도(AOLP) 이미지의 픽셀 값을 상기 각도 만큼 역회전시키는 것을 포함할 수 있다.
본 개시의 일 실시예에 따르면, 컴퓨터 비전 시스템은 편광 필터를 포함하는 편광 카메라; 및 프로세서와 인스트럭션을 저장하고 있는 메모리를 포함하는 처리 시스템;을 포함하며, 상기 인스트럭션은 상기 프로세서에 의해서 실행될 때 상기 프로세서로 하여금, 장면의 하나 이상의 편광 원시 프레임을 수신하도록 하고 - 상기 편광 원시 프레임은 다른 선형 편광 각도에서 편광 필터로 캡처됨; 상기 편광 원시 프레임으로부터 하나 이상의 편광 표현 공간 내의 하나 이상의 제 1 텐서를 추출하도록 하고, 상기 하나 이상의 편광 표현 공간 내의 상기 하나 이상의 제 1 텐서에 기초하여 상기 장면에서 하나 이상의 광학적으로 도전적인 물체에 관한 예측을 계산하도록 한다.
상기 하나 이상의 편광 표현 공간 내의 상기 하나 이상의 제 1 텐서는, DOLP 표현 공간 내의 선형 편광도(DOLP, degree of linear polarization) 이미지, 및 AOLP 표현 공간 내의 선형 편광각(AOLP, angle of linear polarization) 이미지를 포함할 수 있다.
상기 하나 이상의 제 1 텐서는 하나 이상의 비편광 표현 공간 내의 하나 이상의 비편광 텐서를 더 포함할 수 있고, 상기 하나 이상의 비편광 텐서는 인텐시티 표현 공간 내의 하나 이상의 인텐시티 이미지를 포함한다.
상기 하나 이상의 인텐시티 이미지는, 제 1 컬러 인텐시티 이미지, 제 2 컬러 인텐시티 이미지, 및 제 3 컬러 인텐시티 이미지를 포함할 수 있다.
상기 예측은 분할 마스크를 포함할 수 있다.
상기 메모리는 상기 프로세서에 의해 실행될 때 상기 프로세서가 하나 이상의 대응하는 합성곱 신경망 백본에 상기 하나 이상의 제 1 텐서를 제공하여 상기 예측을 계산하도록 하는 인스트럭션을 추가로 저장할 수 있고, 상기 하나 이상의 합성곱 신경망 백본 각각은 복수의 상이한 스케일에서 복수의 모드 텐서를 계산하도록 구성된다.
상기 메모리는 상기 프로세서에 의해 실행될 때 상기 프로세서가 상기 하나 이상의 합성곱 신경망 백본에 의해 동일한 스케일로 계산된 상기 모드 텐서를 융합하도록 하는 인스트럭션을 추가로 저장할 수 있다.
상기 프로세서가 상기 동일한 스케일로 상기 모드 텐서를 융합하도록 하는 상기 인스트럭션은 상기 프로세서에 의해 실행될 때 상기 프로세서로 하여금, 상기 동일한 스케일로 상기 모드 텐서를 연결하고, 하나 이상의 어텐션 맵을 계산하도록 어텐션 서브네트워크에 상기 모드 텐서를 제공하며, 상기 스케일에 대한 융합 텐서를 계산하도록 상기 하나 이상의 어텐션 맵에 기초하여 상기 모드 텐서에 가중치를 부여하는 인스트럭션을 포함할 수 있다.
상기 프로세서가 상기 예측을 계산하도록 하는 상기 인스트럭션은 상기 프로세서에 의해 실행될 때 상기 프로세서가 각 스케일에서 계산된 상기 융합 텐서를 상기 분할 마스크를 계산하도록 구성된 예측 모듈로 제공하도록 하는 인스트럭션을 더 포함할 수 있다.
상기 분할 마스크는 로봇 피킹 암의 컨트롤러로 제공될 수 있다.
상기 예측은 상기 하나 이상의 광학적으로 도전적인 물체에 기초한 상기 하나 이상의 편광 원시 프레임의 분류를 포함할 수 있다.
상기 예측은 상기 하나 이상의 편광 원시 프레임에 묘사된 상기 하나 이상의 광학적으로 도전적인 물체의 하나 이상의 검출된 피처를 포함할 수 있다.
상기 예측을 계산하는 상기 인스트럭션은 상기 프로세서에 의해 실행될 때 상기 프로세서가 상기 하나 이상의 제 1 텐서를 통계 모델로 제공하도록 하는 인스트럭션을 포함할 수 있고, 상기 통계 모델은 상기 하나 이상의 편광 표현 공간 및 라벨(label)에서 제1 텐서를 트레이닝하는 것을 포함하는 트레이닝 데이터를 사용하여 트레이닝될 수 있다.
상기 트레이닝 데이터는 편광 카메라에 의해 캡처된 데이터로부터 계산된 소스 트레이닝 제 1 텐서, 및 회전을 포함하는 아핀 변환(affine transformations)을 통해 상기 소스 트레이닝 제 1 텐서로부터 생성된 추가 트레이닝 제 1 텐서를 포함할 수 있다.
상기 추가 트레이닝 제 1 텐서가 선형 편광 각도(AOLP) 이미지를 포함할 때, 상기 추가 트레이닝 제 1 텐서를 생성하는 단계는 상기 추가 트레이닝 제 1 텐서를 소정 각도 만큼 회전시키는 것과, 상기 선형 편광 각도(AOLP) 이미지의 픽셀 값을 상기 각도 만큼 역회전시키는 것을 포함한다.
첨부 도면은 명세서와 함께 본 발명의 바람직한 실시예들을 도시한 것으로, 상세한 설명과 함께 본 발명의 원리를 설명하기 위한 것이다.
도 1은 본 발명의 일 실시예에 따른 시스템의 개략적인 블록 다이어그램이다.
도 2a는 두 개의 투명한 공("위조물(위조)", spoof)과 몇 개의 배경 잡음(clutter)을 포함하고 있는 다른 장면을 나타내고 있는 사진 출력물의 상단에 위치한 한 개의 실제 투명한 공을 구비한 장면의 이미지 또는 인텐시티 이미지(intensity image)를 나타낸 도면이다.
도 2b는 실제의 투명한 공은 인스턴스로서 정확하게 식별되고, 두 개의 위조물(spoof)은 인스턴스로서 부정확하게 식별되는 투명한 공의 인스턴스를 식별하는 비교 마스크 영역 기반 합성곱 신경망(Mask Region-based Convolutional Neural Network, Mask R-CNN)에 의해서 계산되는 중첩 분할 마스크를 구비한 도 2a의 인텐시티 이미지를 나타낸 도면이다.
도 2c는 본 발명의 일 실시예에 따른 장면의 캡처된 편광 원시 프레임으로부터 계산된 편광각 이미지(angle of polarization image)를 나타낸 도면이다.
도 2d는 실제의 투명한 공은 인스턴스로서 정확하게 식별되고, 두 개의 위조물(spoof)은 인스턴스로서 정확하게 배제되는, 본 발명의 일 실시예에 따른 편광 데이터를 이용하여 계산되는 중첩 분할 마스크를 구비한 도 2a의 인텐시티 이미지를 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 편광 데이터에 기초하여 분할 맵을 계산하기 위한 처리 회로의 블록 다이어그램이다.
도 4는 본 발명의 일 실시예에 따른 분할 맵을 계산하기 위해 입력 이미지 상에 분할을 수행하기 위한 방법의 플로우 차트이다.
도 5는 투명 물체 및 불투명(예컨대, 확산성 및/또는 반사성) 물체와 광의 상호 작용을 높은 수준으로 나타낸 도면이다.
도 6a, 도 6b 및 도 6c는 본 발명의 일 실시예에 따른 제1 표현 공간에서 파생된 피처 맵을 추출하도록 구성된 피처 추출기에 의해 계산된 예시적인 제1 피처 맵을 도시한 것으로서, 인텐시티 표현 공간에서 도 6a의 인텐시티 피처 맵 (), DOLP 표현 공간에서 도 6b의 선형 편광도(DOLP) 피처 맵 (), 및 도 6c의 표현 공간에서 선형 편광 각도 (AOLP) 피처 맵 ()을 포함한다.
도 7a 및 도 7b는 각각 도 6a, 도 6b, 및 도 6c에서 (a)와 (b)로 라벨링된 영역의 확대 도면이다. 도 7c는 도 6a의 인텐시티 피처 맵, 도 6b의 DOLP 피처 맵, 및 도 6c의 AOLP 피처 맵에서 도 7b에 라벨링된 에지의 단면을 도시한 그래프이다.
도 8a는 본 발명의 일 실시예에 따른 피처 추출기의 블록 다이어그램이다.
도 8b는 편광 원시 프레임으로부터 피처를 추출하기 위한 본 발명의 일 실시예에 따른 방법을 도시한 플로우 차트이다.
도 9는 본 발명의 일 실시예에 따른 편광 CNN 아키텍처를 마스크 영역 기반 합성곱 신경망 (Mask R-CNN) 백본에 적용한 것을 나타낸 블록 다이어그램이다.
도 10은 본 발명의 일 실시예에 따른 편광 CNN과 함께 사용될 수 있는 어텐션 모듈의 블록 다이어그램이다.
도 11은 편광 카메라에 의해 캡처된 편광 원시 프레임으로부터 추출된 상이한 모드 텐서(제1 표현 공간에서)에 대해 본 발명의 일 실시예에 따른 어텐션 모듈에 의해 계산된 어텐션 가중치의 예를 도시한 도면이다.
도 12a, 도 12b, 도 12c 및 도 12d는 비교 이미지 분할 시스템에 의해 계산된 분할 맵, 본 개시의 일 실시예에 따른 편광 합성곱 신경망에 의해 계산된 분할 맵, 및 그라운드 트루스(ground truth) 분할 맵 (예를 들어, 수동으로 생성된 분할 맵)을 나타낸 도면들이다.
도 1은 본 발명의 일 실시예에 따른 시스템의 개략적인 블록 다이어그램이다.
도 2a는 두 개의 투명한 공("위조물(위조)", spoof)과 몇 개의 배경 잡음(clutter)을 포함하고 있는 다른 장면을 나타내고 있는 사진 출력물의 상단에 위치한 한 개의 실제 투명한 공을 구비한 장면의 이미지 또는 인텐시티 이미지(intensity image)를 나타낸 도면이다.
도 2b는 실제의 투명한 공은 인스턴스로서 정확하게 식별되고, 두 개의 위조물(spoof)은 인스턴스로서 부정확하게 식별되는 투명한 공의 인스턴스를 식별하는 비교 마스크 영역 기반 합성곱 신경망(Mask Region-based Convolutional Neural Network, Mask R-CNN)에 의해서 계산되는 중첩 분할 마스크를 구비한 도 2a의 인텐시티 이미지를 나타낸 도면이다.
도 2c는 본 발명의 일 실시예에 따른 장면의 캡처된 편광 원시 프레임으로부터 계산된 편광각 이미지(angle of polarization image)를 나타낸 도면이다.
도 2d는 실제의 투명한 공은 인스턴스로서 정확하게 식별되고, 두 개의 위조물(spoof)은 인스턴스로서 정확하게 배제되는, 본 발명의 일 실시예에 따른 편광 데이터를 이용하여 계산되는 중첩 분할 마스크를 구비한 도 2a의 인텐시티 이미지를 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 편광 데이터에 기초하여 분할 맵을 계산하기 위한 처리 회로의 블록 다이어그램이다.
도 4는 본 발명의 일 실시예에 따른 분할 맵을 계산하기 위해 입력 이미지 상에 분할을 수행하기 위한 방법의 플로우 차트이다.
도 5는 투명 물체 및 불투명(예컨대, 확산성 및/또는 반사성) 물체와 광의 상호 작용을 높은 수준으로 나타낸 도면이다.
도 6a, 도 6b 및 도 6c는 본 발명의 일 실시예에 따른 제1 표현 공간에서 파생된 피처 맵을 추출하도록 구성된 피처 추출기에 의해 계산된 예시적인 제1 피처 맵을 도시한 것으로서, 인텐시티 표현 공간에서 도 6a의 인텐시티 피처 맵 (), DOLP 표현 공간에서 도 6b의 선형 편광도(DOLP) 피처 맵 (), 및 도 6c의 표현 공간에서 선형 편광 각도 (AOLP) 피처 맵 ()을 포함한다.
도 7a 및 도 7b는 각각 도 6a, 도 6b, 및 도 6c에서 (a)와 (b)로 라벨링된 영역의 확대 도면이다. 도 7c는 도 6a의 인텐시티 피처 맵, 도 6b의 DOLP 피처 맵, 및 도 6c의 AOLP 피처 맵에서 도 7b에 라벨링된 에지의 단면을 도시한 그래프이다.
도 8a는 본 발명의 일 실시예에 따른 피처 추출기의 블록 다이어그램이다.
도 8b는 편광 원시 프레임으로부터 피처를 추출하기 위한 본 발명의 일 실시예에 따른 방법을 도시한 플로우 차트이다.
도 9는 본 발명의 일 실시예에 따른 편광 CNN 아키텍처를 마스크 영역 기반 합성곱 신경망 (Mask R-CNN) 백본에 적용한 것을 나타낸 블록 다이어그램이다.
도 10은 본 발명의 일 실시예에 따른 편광 CNN과 함께 사용될 수 있는 어텐션 모듈의 블록 다이어그램이다.
도 11은 편광 카메라에 의해 캡처된 편광 원시 프레임으로부터 추출된 상이한 모드 텐서(제1 표현 공간에서)에 대해 본 발명의 일 실시예에 따른 어텐션 모듈에 의해 계산된 어텐션 가중치의 예를 도시한 도면이다.
도 12a, 도 12b, 도 12c 및 도 12d는 비교 이미지 분할 시스템에 의해 계산된 분할 맵, 본 개시의 일 실시예에 따른 편광 합성곱 신경망에 의해 계산된 분할 맵, 및 그라운드 트루스(ground truth) 분할 맵 (예를 들어, 수동으로 생성된 분할 맵)을 나타낸 도면들이다.
다음의 상세한 설명에서, 본 발명의 특정 예시적인 실시예만이 예시로서 도시되고 설명된다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 인식하는 바와 같이, 본 발명은 많은 상이한 형태로 구현될 수 있고 여기에 설명된 실시예로 제한되는 것으로 해석되어서는 안 된다. 명세서 전체에 걸쳐 동일한 참조번호는 동일한 구성요소를 나타낸다.
투명 물체는 제조, 생명 과학 및 자동차 산업을 위한 자동화 및 분석을 포함하는 컴퓨터 비전 또는 머신 비전 시스템의 많은 실제 응용 분야에서 발생한다. 예를 들면, 제조에서 컴퓨터 비전 시스템은 부품의 정렬, 선택 및 배치; 제조 중 구성 요소 배치 확인; 및 최종 검사 및 결함 검출을 자동화하는 데 사용될 수 있다. 추가 예로서, 생명 과학에서 컴퓨터 비전 시스템은 시약 측정; 샘플 준비; 기기의 출력 읽기; 샘플의 특성화; 및 용기 샘플 선택 및 배치를 자동화하는데 사용될 수 있다. 자동차 산업에서 추가적인 예는 운전자를 돕거나 자율 주행 차량을 작동하기 위해 거리 장면에서 투명한 물체를 검출하는 것을 포함한다. 추가적인 예는 유리문 및 기타 투명 장벽을 검출할 수 있는 자체 탐색 휠체어 및 투명한 음료수 잔을 감지하고 실제 물체와 인쇄된 위조물을 구별할 수 있는 시각 장애가 있는 사람들을 지원하는 장치와 같은 보조 기술을 포함할 수 있다.
불투명 물체와 대조적으로, 투명 물체는 그 자체의 텍스처가 부족하다 (예를 들어, "텍스처 매핑"과 같은 컴퓨터 그래픽 분야에서 사용되는 용어인 표면 컬러 정보). 결과적으로 비교 시스템은 일반적으로 표준 이미징 시스템 (예를 들면, 적색, 녹색, 및 청색 또는 RGB 이미지와 같은 단색 인텐시티 이미지 또는 컬러 인텐시티 이미지를 캡처하도록 구성된 카메라)을 사용하여 캡처된 장면에 있는 투명 물체의 인스턴스를 올바르게 식별하지 못한다. 이는 투명한 물체가 알고리즘이 검출하는 법을 배우거나 적용되도록 하기 위한 (예를 들면, 머신 러닝 알고리즘의 트레이닝 과정 동안) 일관된 텍스처 (예를 들면 표면 컬러)를 가지고 있지 않기 때문일 수 있다. 일부 유형의 반사 물체 (예를 들면, 반짝이는 금속) 및 매우 어두운 물체 (예를 들면, 매트(matte)한 흑색 물체) 뿐만 아니라 부분적으로 투명하거나 반투명한 물체에서도 유사한 문제가 발생할 수 있다.
따라서, 본 개시의 실시예들의 측면은 장면에서 투명한 물체를 검출하기 위한 분할 알고리즘에 대한 정보를 제공하기 위해 편광 이미징을 사용하는 것에 관한 것이다. 또한, 본 개시의 실시예들의 측면은 투명, 반투명 및 반사 물체와 같은 기타 광학적으로 도전적인 물체 뿐만 아니라 어두운 물체를 검출하는 데에도 적용된다.
본 명세서에 사용된 바와 같이, "광학적으로 도전적인"이라는 용어는 충분한 임계값 수준 또는 정도에서 비-램버시안(예를 들면, 비-매트(matte)), 반투명, 다중경로 유도, 및/또는 비반사의 네 가지 특성 중 하나 이상을 충족하는 재료로 만들어진 물체를 의미한다. 어떤 상황에서는 네 가지 특성 중 하나만을 나타내는 물체를 광학적으로 검출하기가 어려울 수 있다. 또한, 물체나 재료는 동시에 여러 특성을 나타낼 수 있다. 예를 들면, 반투명 물체는 표면 반사와 배경 반사를 가질 수 있으므로 반투명도와 다중 경로 때문에 모두 어렵다. 어떤 상황에서는 물체가 위에 나열된 네 가지 특성 중 하나 이상을 나타낼 수 있지만 이러한 조건이 비교 컴퓨터 비전 시스템에 문제를 제기할 수준이나 정도에서 나타나지 않기 때문에 광학적으로 검출하기 어려울 수 있다. 예를 들면, 물체는 반투명할 수 있지만 여전히 검출할 수 있을 만큼 충분한 표면 텍스처를 나타내고 장면에 있는 물체의 다른 인스턴스에서 분할될 수 있다. 또 다른 예로서, 표면은 다른 비전 시스템에 문제를 일으킬 수 있을 정도로 충분히 비-램버시안이어야 한다. 일부 실시예에서, 물체가 광학적으로 도전적인 정도 또는 수준은 물체의 양방향 반사율 분포 함수 (BRDF)의 스페큘러 로브의 반치전폭(FWHM)을 사용하여 정량화된다. 이 반치전폭(FWHM)이 임계값 미만이면 재료는 광학적으로 도전적인 것으로 간주된다.
도 1은 본 발명의 일 실시예에 따른 시스템의 개략적인 블록 다이어그램이다. 도 1에 나타낸 배열에서, 장면(scene)(1)은 불투명 매트 물체(3) (예를 들면, 야구공 및 테니스공) 전방에 배치된 투명 물체(2) (예를 들면, 유리구슬과 같은 공, 음료수 잔이나 텀블러와 같은 실린더, 투명 아크릴 판과 같은 평면으로 묘사됨)를 포함한다. 편광 카메라(10)는 시역(field of view)이 있는 렌즈(12)를 가지며, 여기서 렌즈(12)와 카메라(10)는 시역이 장면(1)을 포함하도록 배향된다. 렌즈(12)는 장면(1)으로부터 이미지 센서(14)(예컨대, 상보형 금속 산화물 반도체(CMOS, complementary metal oxide semiconductor) 이미지 센서 또는 전하 결합 디바이스(CCD, charge-coupled device) 이미지 센서)와 같은 광 민감성 매체 상으로 광을 지향(예컨대, 광을 집중)시키도록 구성된다.
편광 카메라(10)는 장면(1)과 이미지 센서(14) 사이의 광 경로에 위치하는 편광기 또는 편광 필터 또는 편광 마스크(16)를 더 포함한다. 본 개시의 다양한 실시예에 따르면, 편광기 또는 편광 마스크(16)는 편광 카메라(10)로 하여금 다양한 특정 각도(예컨대, 45° 회전 또는 60° 회전 또는 불균일한 간격의 회전과 같은)로 설정된 편광기를 사용하여 장면(1)의 이미지를 캡처할 수 있도록 구성된다.
일예로서, 도 1은 컬러 카메라의 적녹청(RGB, red-green-blue) 컬러 필터(예컨대, Bayer 필터)와 유사한 방식으로 편광 마스크(16)가 이미지 센서(14)의 픽셀 그리드와 일치시킨 편광 모자이크인 일 실시예를 나타내고 있다. 컬러 필터 모자이크가 파장에 기초하여 입사광을 필터링하여 이미지 센서(14) 내의 각각의 픽셀이 모자이크의 컬러 필터 패턴에 따라서 스펙트럼의 특정 부분(예컨대, 적색, 녹색, 또는 청색)에서의 광을 수신하도록 하는 것과 유사한 방식으로 편광 모자이크를 이용하는 편광 마스크(16)는 선형 편광에 기초하여 광을 필터링하여 서로 다른 픽셀이 서로 다른 편광 각도에서 (예컨대, 0°, 45°, 90°, 및 135°에서, 또는 0°, 60°, 및 120°에서) 광을 수신하도록 한다. 따라서, 도 1에 나타낸 것과 같은 편광 마스크(16)를 이용하는 편광 카메라(10)는 네 개의 서로 다른 선형 편광에서 동시에 광을 캡처할 수 있다. 편광 카메라의 일례로는 미합중국 오레곤주(Oregon)의 윌슨빌(Wilsonville)에 소재하는 FLIR®Systems, Inc.에 의해서 생산되는 Blackfly®S Polarization Camera가 있다.
상술한 설명은 편광 모자이크를 이용하는 편광 카메라의 일부 가능한 구현과 관련된 것이지만, 본 개시의 각 실시예는 이에 한정되지 않고 또한 서로 다른 복수의 편광에서 이미지를 캡처할 수 있는 다른 유형의 편광 카메라도 포함한다. 예를 들면, 편광 마스크(16)는 네 개 이하의 편광 또는 네 개 이상의 서로 다른 편광을 가지거나, 상술한 각도와 다른 각도(예컨대, 0°, 60°, 및 120°의 편광 각도에서, 또는 0°, 30°, 60°, 90°, 120°, 및 150°의 편광 각도에서)에서의 편광을 가질 수도 있다. 다른 예시로서, 편광 마스크(16)는 전자 광학 모듈레이터(예컨대, 액정층을 포함할 수 있는)와 같은 전자적으로 제어되는 편광 마스크를 이용하여 구현될 수 있으며, 여기에서 이미지 센서(14)의 서로 다른 부분이 서로 다른 편광을 갖는 광을 수신할 수 있도록 마스크의 개별적인 픽셀의 편광 각도는 독립적으로 제어될 수 있다. 또 다른 예시로서, 전자 광학 모듈레이터는, 예컨대, 서로 다른 프레임을 캡처할 때 서로 다른 선형 편광의 광을 투과하도록 구성되며, 따라서 카메라는 편광 마스크 전체가 서로 다른 선형 편광기 각도로 연속적으로 설정(예컨대, 연속적으로 0 도, 45 도, 90 도, 또는 135 도로 설정)된 이미지를 캡처할 수 있게 된다. 또 다른 예시로서, 편광 마스크(16)는 기계적으로 회전하는 편광 필터를 포함할 수 있으며, 따라서 렌즈(12)에 대해서 기계적으로 회전하는 편광 필터가 서로 다른 편광 각도에서 광을 이미지 센서(14)로 투과시키도록 하면서 편광 카메라(10)에 의해서 서로 다른 편광 원시 프레임이 캡처된다.
그 결과, 편광 카메라는 장면(1)의 다중 입력 이미지(18)(또는 편광 원시 프레임)를 캡처하고, 각각의 편광 원시 프레임(18)은 서로 다른 편광각()(예컨대, 0 도, 45 도, 90 도, 또는 135 도)에서 편광 필터 또는 편광기 후방에서 촬영된 이미지에 대응한다. 각각의 편광 원시 프레임은 장면(1)에 대해서 실질적으로 동일한 자세로 캡처(예컨대, 0 도, 45 도, 90 도, 또는 135 도에서 편광 필터를 사용하여 캡처된 이미지가 모두 동일한 위치 및 방향에 위치한 동일한 편광 카메라로 캡처됨)되었으며, 이는 해당 장면에 대해서 완전히 다른 위치 및 방향에서 편광 원시 프레임을 캡처하는 것과는 대조적이다. 편광 카메라(10)는 전자기 스펙트럼 중의 사람이 볼 수 있는 영역, 사람이 볼 수 있는 스펙트럼 중의 적색, 녹색, 및 청색 영역, 뿐만 아니라 적외선과 자외선과 같은 전자기 스펙트럼 중의 볼 수 없는 영역과 같은 전자기 스펙트럼의 다양한 서로 다른 영역에서 광을 검출하도록 구성될 수 있다.
본 개시의 일부 실시예에서, 전술한 일부 실시예에서와 같이, 서로 다른 편광 원시 프레임은 동일한 편광 카메라(10)에 의해서 캡처되며, 따라서 장면(1)에 대해서 실질적으로 동일한 자세(예컨대, 위치 및 방향)로 캡처될 수 있다. 하지만, 본 개시의 실시예들은 이들만으로 한정되지는 않는다. 예를 들면, 편광 카메라(10)는 장면(1)에 대해서 서로 다른 편광 원시 프레임 사이에서 이동할 수 있는데(예컨대, 기계적으로 회전하는 편광 필터의 경우에서와 같이, 서로 다른 편광각에 대응하는 서로 다른 원시 편광 원시 프레임이 서로 다른 시간에 캡처된 경우), 이는 편광 카메라(10)가 이동하였거나 장면(1)의 물체(1)가 이동하였기 때문이다(예컨대, 물체가 이동 중인 컨베이어 벨트 상에 위치하는 경우). 따라서, 본 개시의 일부 실시예에서, 서로 다른 편광 원시 프레임은 장면(1)에 대해 서로 다른 자세에서 편광 카메라(10)로 캡처된다.
편광 원시 프레임(18)은 처리 회로(100)로 공급되며, 이하에서 더욱 상세하게 설명하겠지만, 처리 회로는 편광 원시 프레임(18)에 기초한 분할 맵(20)을 계산한다. 도 1에 도시된 바와 같이, 분할 맵(20)에서 장면의 투명 물체(2) 및 불투명 물체(3)는 모두 개별적으로 라벨링되며, 여기서 서로 다른 컬러 또는 패턴(예를 들면, 수직선, 수평선, 바둑판 무늬 등)을 사용하여 도 1에 묘사된 라벨은 실제로는 각 라벨이 분할 맵에서 다른 값(예를 들면, 도면에 도시된 다른 패턴이 다른 값에 해당하는 정수값)으로 표시될 수 있다.
본 개시의 다양한 실시예에 따르면, 처리 회로(100)는, 이하에서 더욱 상세하게 설명하는 바와 같이, 다양한 동작을 수행하도록 구성된 하나 이상의 전자 회로를 이용하여 구현된다. 전자 회로의 유형에는 중앙 처리 유닛(CPU), 그래픽스 처리 유닛(GPU), 인공 지능(AI) 가속기(예컨대, dot product와 softmax와 같은 신경망에 공통적인 연산을 효율적으로 수행하도록 구성된 벡터 연산 로직 유닛을 포함할 수 있는 벡터 프로세서와 같은), 현장 프로그래머블 게이트 어레이(FPGA), 주문형 집적 회로(ASIC), 디지털 신호 처리기(DSP) 등이 포함될 수 있다. 예를 들면, 일부 경우에 있어서, 본 개시의 실시예들의 측면은 (예컨대, CPU, GPU, AI 가속기, 또는 이들을 조합한) 전자 회로에 의해서 실행될 때 입력 편광 원시 프레임(18)으로부터 분할 맵(20)을 계산하도록 하는 본 명세서에서 설명한 연산을 수행하도록 비휘발성 컴퓨터 판독 가능 메모리 내에 저장되어 있는 프로그램 인스트럭션에 구현된다. 처리 회로(100)에 의해서 수행되는 연산은 단일 전자 회로(예컨대, 단일 CPU, 단일 GPU 등)에 의해서 수행될 수 있거나 복수의 전자 회로(예컨대, 복수의 GPU, 또는 GPU와 결합된 CPU) 사이에 할당될 수 있다. 복수의 전자 회로는 서로에 대해서 인근에 위치(예컨대, 동일한 다이(die) 상에 위치하거나, 동일한 패키지 내에 위치하거나, 또는 동일한 매립형 디바이스 또는 컴퓨터 시스템 내에 위치)하거나 및/또는 서로로부터 원격에 위치(예컨대, Bluetooth®와 같은 로컬 개인 네트워크와 같은 네트워크를 통하거나, 로컬 유선 및/또는 무선 네트워크와 같은 근거리 통신 네트워크를 통하거나, 및/또는 인터넷과 같은 광역 네트워크를 통하여 통신하며, 이 경우 일부 조작은 로컬에서 수행되고 또한 다른 조작은 클라우드 컴퓨팅 서비스에 의해서 운영되는 서버 상에서 수행됨)할 수 있다. 처리 회로(100)를 구현하도록 동작되는 하나 이상의 전자 회로는 본 명세서에서는 컴퓨터 또는 컴퓨터 시스템으로 통칭될 수 있으며, 여기에는 하나 이상의 전자 회로에 의해서 실행될 때, 본 명세서에서 설명한 시스템 및 방법을 구현하도록 하는 인스트럭션을 저장하는 메모리를 포함할 수 있다.
도 2a, 도 2b, 도 2c, 및 도 2d는 본 개시의 각 실시예에 따른 비교 접근법 및 의미론적 분할(semantic segmentation) 또는 인스턴스 분할(instance segmentation)에 의해서 계산된 분할 맵을 설명하기 위한 배경 지식을 제공한다. 더욱 상세하게 설명하자면, 도 2a는 두 개의 투명한 공("위조물", spoof)과 몇 개의 배경 잡음(background clutter)을 포함하고 있는 다른 장면을 나타내고 있는 사진 출력물의 상단에 위치한 한 개의 실제 투명한 공을 구비한 장면의 이미지 또는 인텐시티 이미지(intensity image)를 나타낸 도면이다. 도 2b는 서로 다른 패턴의 선을 사용한 도 2a의 인텐시티 이미지 상에 중첩된 투명한 공(ball)의 인스턴스를 식별하는 비교 마스크 영역 기반 합성곱 신경망(comparative Mask Region-based Convolutional Neural Network)(Mask R-CNN)에 의해서 계산되는 분할 마스크를 나타내고 있으며, 여기에서 실제 투명한 공은 정확하게 인스턴스로 식별되고, 두 개의 위조물은 인스턴스로 부정확하게 식별되고 있다. 달리 말하자면, 마스크 R-CNN 알고리즘은 장면에서 실제 투명한 공의 인스턴스로서 두 개의 위조물 투명한 공에 라벨링하도록 속였다.
도 2c는 본 발명의 일 실시예에 따른 장면의 캡처된 편광 원시 프레임으로부터 계산된 선형 편광각(AOLP) 이미지를 나타낸 도면이다. 도 2c에 나타낸 바와 같이, 투명 물체는 AOLP 영역(domain)과 같은 편광 공간 내에서 매우 독특한 텍스처를 가지고 있으며, 여기에서 에지(edge) 상의 기하학에 의존하는 시그니처(signature) 및 선형 편광각에서 투명 물체 표면 상에 생성되는 독특하거나 고유하거나 특정한 패턴이 존재한다. 달리 말하자면, 투명 물체의 내부 텍스처(intrinsic texture)는 (예를 들면, 투명 물체를 통하여 보여질 수 있는 배경 표면으로부터 채용된 외부 텍스처와는 반대로) 도 2a의 인텐시티 이미지(intensity image)에서 보다 도 2c의 편광각 이미지에서 더 잘 보여질 수 있다.
도 2d는 본 발명의 일 실시예에 따른 편광 데이터를 이용하여 계산되는 중첩 분할 마스크를 구비한 도 2a의 인텐시티 이미지를 나타낸 도면으로, 여기에서 실제의 투명한 공은 중첩된 선 패턴을 사용하여 인스턴스로서 정확하게 식별하고, 두 개의 위조물(spoof)은 인스턴스로서 정확하게 배제하고 있다(예컨대, 도 2b와는 대조적으로, 도 2d는 두 개의 위조물에 대해서 중첩된 선 패턴을 포함하고 있지 않다). 도 2a, 도 2b, 도 2c, 및 도 2d는 위조물 투명 물체의 존재 하에 실제 투명 물체를 검출하는 것과 관련된 예를 도시하고 있지만, 본 개시의 각 실시예는 이에 한정되지 않고 또한 투명, 반투명, 및 비매트(non-matte) 또는 비-램버시안(non-Lambertian) 물체와 같은 다른 광학적으로 도적적인 물체 뿐만 아니라 비반사성(예컨대 매트한 재질의 흑색 물체) 및 다중 경로 유도 물체에도 적용할 수 있다.
따라서, 본 개시의 각 실시예의 일부 측면은, 의미론적 분할 알고리즘 또는 다른 컴퓨터 비전 알고리즘에 대한 입력으로서 제공될 표현 공간의 텐서(또는 편광 피처 맵과 같은 제1 표현 공간의 제1 텐서)를 편광 원시 프레임으로부터 추출하는 것에 관한 것이다. 이러한 제 1 표현 공간 내의 이들 제 1 텐서는 도 2c에 나타낸 AOLP 이미지와 같은 장면으로부터 수신된 광의 편광과 관련된 정보를 인코딩하는 편광 피처 맵, 선형 편광도(DOLP) 피처 맵 등 (예컨대, 스토크스 벡터의 다른 조합 또는 편광 원시 프레임 중의 개별적인 하나의 변환)을 포함할 수 있다. 일부 실시예에서, 이러한 편광 피처 맵은 의미론적 분할 알고리즘에서 사용할 추가적인 정보 채널을 제공하기 위해서 비편광 피처 맵(예컨대, 도 2a에 나타낸 이미지에서와 같은 인텐시티 이미지)과 함께 사용된다.
본 발명의 각 실시예가 특정한 의미론적 분할 알고리즘과 함께 사용하는 것을 제한하고 있지는 않지만, 본 발명의 각 실시예의 일부 측면은 투명하거나 다른 광학적으로 도전적인 물체(예를 들면, 투명, 반투명, 비-램버시안, 다중 경로 유도 물체 및 비반사(예컨대, 매우 어두운) 물체)의 편광 기반 분할을 위한 딥 러닝 프레임워크에 관한 것이고, 여기서 이러한 프레임워크는 편광 합성곱 신경망(Polarized Convolutional Neural Networks, Polarized CNNs)라고 명명될 수 있다. 이러한 편광CNN 프레임워크는 특정한 텍스처의 편광을 처리하기에 적합한 백본(backbone)을 포함하고 있으며, 또한 Mask R-CNN과 같은 다른 컴퓨터 비전 아키텍처와 결합되어 (예컨대, 편광 마스크 R-CNN 아키텍처를 형성하기 위해) 투명 물체의 정확하고 또한 강력한 인스턴스 분할을 위한 해결책을 제공할 수 있다. 더 나아가서 이 접근법은 투명 및 불투명이 혼합된 장면 (예를 들어, 불투명 물체)에 적용할 수 있으며 또한 장면에서 투명, 반투명, 비-램버시안, 다중경로 유도, 어둡고 불투명한 물체의 인스턴스를 식별하는데 사용될 수 있다.
도 3은 본 발명의 일 실시예에 따른 편광 데이터에 기초하여 분할 맵을 계산하기 위한 처리 회로(100)의 블록 다이어그램이다. 도 4는 본 발명의 일 실시예에 따른 분할 맵을 계산하기 위해 입력 이미지에 분할을 수행하기 위한 방법의 플로우 차트이다. 도 3에 나타낸 바와 같이, 일부 실시예에서, 처리 회로(100)는 피처 추출기 또는 피처 추출 시스템(800) 및 피처 추출 시스템(800)의 출력에 기초하여 장면의 하나 이상의 투명 물체에 관한 예측 출력(20)(예를 들면, 통계 예측)을 계산하도록 구성된 예측기(900)(예를 들면, 고전적인 컴퓨터 비전 예측 알고리즘 또는 트레이닝된 통계 모델)를 포함한다. 본 개시의 일부 실시예들은 투명 물체를 검출하기 위한 시스템을 트레이닝하는 맥락에서 본 명세서에 설명되지만, 본 개시의 실시예들은 이에 제한되지 않고, 다른 광학적으로 도전적인 물체 또는 반투명 물체, 다중경로 유도 물체, 전체적으로 또는 실질적으로 비매트하거나 비-램버시안인 물체, 및/또는 매우 어두운 물체와 같이 광학적으로 검출하기 어려운 재료로 만들어진 물체에 대한 기술에 적용될 수 있다. 이러한 광학적으로 도전적인 물체는 광의 편광에 대해서 민감하지 않은 카메라 시스템에 의해서 캡처된 이미지를 이용하여 해결하거나 검출하기 어려운 물체를 포함한다(예컨대, 광 경로 내에 편광 필터가 없는 카메라로 캡처한 이미지에 기초하거나 또는 서로 다른 이미지가 서로 다른 편광 각도에 기초하여 이미지를 캡처하지 않는 경우).
도 3 및 도 4에 나타낸 실시예에서, 단계(410)에서, 처리 시스템(100)의 피처 추출 시스템(800)은 장면 중의 입력 편광 원시 프레임(18)으로부터 (다양한 편광 표현 공간 내의 편광 이미지 또는 편광 피처 맵을 포함하여) 하나 이상의 제 1 표현 공간 내의 하나 이상의 제 1 피처 맵(50)을 추출한다. 추출된 파생 피처 맵(50) (편광 이미지 포함)은 단계(450)에서 검출된 출력(20)을 계산하기 위해 하나 이상의 예측 모델을 구현하는 처리 시스템(100)의 예측기(900)에 대한 입력으로서 제공된다. 예측기가 이미지 분할 또는 인스턴스 분할 시스템인 경우, 예측은 도 3에 도시된 것과 같은 분할 맵일 수 있으며, 여기서 각 픽셀은 픽셀이 물체의 다양한 가능한 클래스(또는 유형)에 대응한다는 하나 이상의 컨피던스(confidence)와 연관될 수 있다. 예측기가 분류 시스템인 경우에, 예측은 복수의 클래스 및 이미지가 각 클래스의 인스턴스를 묘사한다는 대응하는 컨피던스를 포함할 수 있다. 예측기(900)가 고전적인 컴퓨터 비전 예측 알고리즘인 경우, 예측기는 검출 결과를 계산할 수 있다(예를 들어, 에지, 키포인트, 기저 계수, Haar 웨이블릿 계수 또는 투명 물체 및/또는 출력 피처로서 이미지 내의 반투명 물체, 다중경로 유도 물체, 비-램버시안 물체, 및 비반사 물체와 같은 기타 광학적으로 도전적인 물체의 기타 피처 검출).
도 3에 나타낸 실시예에서, 예측기(900)는 인스턴스 분할 (또는 의미론적 분할) 시스템을 구현하고, 단계(450)에서, 입력 편광 원시 프레임(18)으로부터 추출된 제1 표현 공간에서 추출된 제1 텐서(50)에 기초하여 장면에 대한 분할 맵을 포함하는 출력(20)을 계산한다. 전술한 바와 같이, 피처 추출 시스템(800) 및 예측기(900)는, 이하에서 더욱 상세하게 설명하는 바와 같이, 해당 단계를 수행하도록 구성된 하나 이상의 전자적인 회로를 사용하여 구현된다.
[편광 원시 프레임으로부터 제1 표현 공간의 편광 이미지 및 파생된 피처 맵과 같은 제1 텐서 추출]
본 개시의 각 실시예의 일부 측면은 단계(410)에서 피처를 추출하기 위한 시스템 및 방법과 관련되어 있으며, 여기에서 이들 추출된 피처는, 단계(450)에서, 투명 물체의 강력한 검출에 사용된다. 이와는 대조적으로, 인텐시티 이미지에만 의존하는 비교 기법은 투명한 물체를 검출하는데 실패할 수 있다. (예컨대, 상술한 바와 같이, 도 2a의 인텐시티 이미지와 도 2c의 AOLP 이미지를 비교하면) "제 1 표현 공간"(first representation space) 내의 "제 1 텐서"(first tensor)라는 용어는 본 명세서에서 편광 카메라에 의해서 캡처된 편광 원시 프레임(18)으로부터 계산된 (예컨대, 추출된) 피처를 지칭하는 것으로 사용되며, 여기에서 이들 제 1 표현 공간은 적어도 편광 피처 공간(예컨대, 이미지 센서에 의해서 검출된 광의 편광에 대한 정보인 AOLP 및 DOLP와 같은 피처 공간)을 포함하고 있으며, 또한 비편광 피처 공간(예컨대, 편광 필터를 사용하지 않고 캡처된 인텐시티 이미지에만 기초하여 계산된 이미지와 같이, 이미지 센서에 도달한 광의 편광과 관련된 정보를 필요로 하지 않는 피처 공간)을 포함하고 있을 수 있다.
광과 투명 물체 간의 상호 작용은 다양하고 복잡하지만, 물체의 재료는 가시광 아래에서 물체의 투명도를 결정한다. 많은 투명한 가정용 물체의 경우, 대부분의 가시광은 곧장 관통하여 통과하며 일부(굴절률에 따라서 ~4 % 내지 ~8 %)만 반사된다. 이것은 스펙트럼 중의 가시광 부분에서의 광이 투명 물체 내의 원자를 여기하는데 불충분한 에너지를 가지고 있기 때문이다. 그 결과, 투명 물체 뒤에 있는 (또는 이 투명 물체를 통하여 보여지는) 물체의 텍스처(예컨대, 외관)가 투명 물체의 외관을 결정하게 된다. 예를 들면, 테이블 위에 있는 투명한 유리컵 또는 텀블러를 바라 보는 경우, 일반적으로 텀블러의 반대쪽(예컨대, 테이블 표면)에 있는 물체의 외관이 해당 컵을 통해서 보여지는 것을 결정한다. 이 속성은 인텐시티 이미지만 기초하여 인스턴스 분할을 시도할 때 몇 가지 어려움을 초래한다.
클러터(Clutter): 투명한 물체가 있는 조밀하게 어수선한 장면에서는 명확한 에지(예: 투명한 물체의 에지)를 보기 어렵다. 극단적인 경우에, 에지는 전혀 보이지 않고(예를 들어, 아래에서 더 자세히 설명되는 도 6a의 영역(b) 참조), 투명 물체의 정확한 형상에 모호함을 만든다.
새로운 환경: 가시 스펙트럼의 낮은 반사율은 투명한 물체가 새로운 환경(예를 들어, 투명한 물체를 통해 보이는 배경이 트레이닝 데이터의 배경과 다른 경우와 같이 분할 시스템을 트레이닝하는데 사용되는 트레이닝 데이터와 다른 환경)에서 다르게 보이고 분포를 벗어나게 하여 일반화를 어렵게 만든다.
출력물 위조(spoofs) : 단일 RGB 이미지를 입력으로 사용하는 알고리즘은 일반적으로 관점의 모호함으로 인해 출력물 위조 (예: 사진 이미지의 출력물)에 취약하다. 투명 물체의 의미론적 분할을 위한 다른 비단안(non-monocular) 알고리즘 (예를 들면, 스테레오 카메라와 같이 장면 주변의 여러 다른 포즈에서 캡처한 이미지 사용)이 존재하지만 범위가 제한되어 인스턴스 분할을 처리하지 못할 수 있다.
도 5는 투명 물체 및 불투명(예컨대, 확산성 및/또는 반사성) 물체와 광의 상호 작용을 높은 수준으로 나타낸 도면이다. 도 5에 나타낸 바와 같이, 편광 카메라(10)는 불투명한 배경 물체(503) 앞의 투명 물체(502)를 포함하는 장면의 편광 원시 프레임을 캡처한다. 편광 카메라(10)의 이미지 센서(14)에 부딪히는 광선(510)은 투명 물체(502) 및 배경 물체(503) 모두로부터의 편광 정보를 포함하고 있다. 투명 물체(502)로부터 반사된 광(512)의 적은 부분이 심각하게 편광되고, 따라서 편광 측정값에 큰 영향을 미치며, 반면에 광(513)은 배경 물체(503)에서 반사되고 투명 물체(502)를 관통하여 통과해 버린다.
편광 카메라(10)의 이미지 센서(16)에 부딪히는 광선(510)은 광의 인텐시티 (인텐시티 이미지/I), 선형 편광되는 광의 퍼센티지 또는 비율(선형 편광도/DOLP/ρ), 및 해당 선형 편광의 방향(선형 편광각/AOLP/)과 같은 세 개의 측정 가능한 성분을 가진다. 이들 속성은 이미지화될 물체의 표면 곡률 및 재료에 대한 정보를 인코딩하며, 이는 예측기(900)에 의해서 이용되어, 이하에서 더욱 상세하게 설명하는 바와 같이, 투명 물체를 검출할 수 있게 된다. 일부 실시예에서, 예측기(900)는 반투명 물체를 통과하는 광 및/또는 다중경로 유도 물체 또는 비반사성 물체(예컨대, 매트(matte)한 흑색 물체)와 상호 작용하는 광의 유사한 편광 속성에 기초하여 광학적으로 도전적인 다른 물체를 검출할 수 있다.
따라서, 본 발명의 각 실시예의 일부 측면은 인텐시티(I), DOLP(ρ), 및 AOLP()에 기초하는 파생된 피처 맵을 포함할 수 있는 하나 이상의 제 1 표현 공간 내의 제 1 텐서를 계산하도록 하는 피처 추출기(800)를 이용하는 것과 관련되어 있다. 피처 추출기(800)는 일반적으로 "편광 이미지"(polarization image)와 같은 편광 표현 공간(또는 편광 피처 공간)을 포함하는 제 1 표현 공간(또는 제 1 피처 공간) 내로 정보를 추출할 수 있으며, 편광 이미지는 달리 말하자면 (예컨대, 편광 필터 또는 그 이미지 센서에 도달하는 광의 편광을 검출하기 위한 다른 메커니즘을 포함하지 않는 카메라에 의해서 캡처된 이미지와 같은) 인텐시티 이미지로부터 계산 가능하지 않은 편광 원시 프레임에 기초하여 추출되는 이미지이며, 여기에서 이들 편광 이미지는 (DOLP 표현 공간 또는 피처 공간 내의) DOLP(ρ) 이미지, (AOLP 표현 공간 또는 피처 공간 내의) AOLP() 이미지, 스토크스 벡터(Stokes vector)로부터 계산되는 편광 원시 프레임의 다른 조합, 뿐만 아니라 편광 원시 프레임으로부터 계산되는 정보 중의 다른 이미지(또는 더욱 일반적으로 제 1 텐서 또는 제 1 피처 텐서)를 포함할 수 있다. 제 1 표현 공간은 인텐시티(I) 표현 공간과 같은 비편광 표현 공간을 포함할 수 있다.
각 픽셀에서의 인텐시티(I), DOLP(ρ), 및 AOLP()의 측정은 (예컨대, 세 개의 미지의 값, 인텐시티(I), DOLP(ρ), 및 AOLP()를 결정해야 하기 때문에) 서로 다른 각도()에서 편광 필터(또는 편광기) 뒤쪽에서 취한 장면의 3 개 이상의 편광 원시 프레임을 필요로 한다. 예를 들면, 상술한 FLIR®Blackfly® S 편광 카메라는 0 도, 45 도, 90 도, 또는 135 도의 편광 각도()를 갖는 편광 원시 프레임을 캡처하고, 따라서 본 명세서에서 I0, I45, I90, 및 I135로 표시되는 네 개의 편광 원시 프레임()을 생성한다.
각 픽셀에서의 및 인텐시티(I), DOLP(ρ), 및 AOLP() 간의 관계는 다음 식 (1)과 같이 표현될 수 있다.
식 (1)
따라서, 네 개의 서로 다른 편광 원시 프레임((I0, I45, I90, 및 I135)을 사용하게 되면, 네 개의 방정식으로 이루어진 시스템을 사용하여 인텐시티(I), DOLP(ρ), 및 AOLP()의 해를 구할 수 있다.
편광으로부터의 형상(Sfp, Shape from Polarization) 이론(예컨대, Gary A Atkinson and Edwin R Hancock. Recovery of surface orientation from diffuse polarization. IEEE transactions on image processing, 15(6):1653-1664, 2006. 참조)은 물체의 표면 법선 중의 굴절률(n), 방위각(θa), 및 천정각(θz) 및 물체로부터 나오는 광선의 및 ρ 성분 간의 관계를 기술하고 있다.
확산 반사가 지배적일 때 하기 식 (2) 및 식 (3)의 특징을 따른다.
식 (2)
식 (3)
또한, 정반사가 지배적일 때는 식 (4) 및 식 (5)의 특징을 따른다.
식 (4)
식 (5)
두 경우 모두 θz가 증가함에 따라서 ρ가 기하 급수적으로 증가하며 또한 굴절률이 동일한 경우라면 정반사가 확산 반사에 비해서 더 많이 편광되어짐을 알아야 한다.
본 개시의 실시예의 일부 측면은 장면에서 투명 물체 및 기타 광학적으로 도전적인 물체의 인스턴스 검출을 포함하는 분할 맵을 계산하기 위한 의미론적 분할 시스템과 같이, 장면의 투명 물체 및/또는 다른 광학적으로 도전적인 물체 (예를 들면, 반투명 물체, 비-램버시안 물체, 다중경로 유도 물체 및/또는 비반사 물체)에 대한 컴퓨터 비전 예측을 계산하기 위한 예측기로 입력으로서 편광 원시 프레임으로부터 추출된 (예를 들면, 파생된 피처 맵) 제1 표현 공간의 제1 텐서를 공급하는 것에 관한 것이다. 이러한 제1 텐서는 인텐시티 피처 맵(), 선형 편광도(DOLP)(ρ) 피처 맵 및 선형 편광 각도(AOLP)() 피처 맵을 포함할 수 있는 파생된 피처 맵을 포함할 수 있으며, 여기서 DOLP(ρ) 피처 맵 및 AOLP() 피처 맵은 편광 카메라에 의해 검출된 광의 편광에 관한 정보를 인코딩하는 피처 맵을 참조하여 편광 표현 공간의 편광 피처 맵 또는 텐서의 예이다. 편광 피처 맵(또는 편광 이미지)의 이점은 도 6a, 도6b, 도6c, 도7a, 도7b 및 도7c와 관련하여 더 자세히 설명된다.
도 6a, 도6b 및 도6c는 본 발명의 일 실시예에 따른 인텐시티 표현 공간에서 도 6a의 인텐시티 피처 맵(을 포함하는 제1 표현 공간의 제1 텐서, DOLP 표현 공간에서 도 6b의 선형 편광도(DOLP) 피처 맵(ρ) 및 AOLP 표현 공간에서 도 6c의 선형 편광 각μ(AOLP) 피처맵()을 추출하도록 구성된 피처 추출기에 의해 계산된 피처 맵인 예시적인 제1 텐서를 나타낸 것이다. 두 개의 관심 영역, 즉 두 개의 투명한 공이 포함된 영역(a)과 음료수 잔의 에지가 포함된 영역(b)이 아래에서 더 자세히 설명된다.
도 7a 및 도7b는 각각 도 6a, 도6b 및 도6c에서 (a) 및 (b)로 라벨링된 영역의 확대도이다. 도 7c는 도 6a의 인텐시티 피처 맵(, 도 6b의 DOLP 피처 맵(ρ), 및 도 6c의 AOLP 피처 맵()에서 도 7b에 라벨링된 에지의 단면을 나타내는 그래프이다.
영역 (a)를 참조하면, 도 6a 및 도 7a의 좌측에서 볼 수 있는 바와 같이, 두 개의 투명한 공의 텍스처는 배경(예를 들면, 격자 모양의 구멍이 있는 플라스틱 상자와 투명한 공이 놓여 있는 무늬가 있는 천)의 변화로 인해 인텐시티 이미지에서 일관성이 없으며 새로운 환경(예를 들면, 투명 물체를 통해 보이는 다양한 배경)으로 인한 문제를 강조한다. 이러한 불일치로 인해 의미론적 분할 또는 인스턴스 분할 시스템이 이미지의 매우 다르게 보이는 부분이 물체(예를 들면, 투명한 공)의 동일한 유형 또는 클래스에 해당한다는 것을 인식하기 어려울 수 있다.
반면, 도 6b 및 도 7a의 우측에 도시된 DOLP 이미지에서는 투명 물체의 형태가 쉽게 드러나며, DOLP 이미지()에서 배경 텍스처(예를 들면, 천의 패턴)가 나타나지 않는다. 도 7a는 도 6a에 도시된 인텐시티 이미지() 및 도 6b에 도시된 DOLP 이미지(ρ)의 영역(a)의 확대도로서, 투명 볼의 2개의 상이한 부분이 인텐시티 이미지(에서 일관성 없는(예를 들어, 다르게 보이는) 텍스처를 갖지만 DOLP 이미지(ρ)에서 일관된(예: 유사한 모양의) 텍스처를 가지므로 의미론적 분할 또는 인스턴스 분할 시스템은 DOLP 이미지(ρ)를 기반으로 이 두 가지 유사한 모양의 텍스처가 모두 물체의 동일한 클래스에 해당한다는 것을 인식할 가능성이 더 높아진다.
영역(b)를 참조하면, 도 6a 및 도 7b의 좌측에서 볼 수 있는 바와 같이, 음료수 잔의 에지는 인텐시티 이미지()에서 실질적으로 보이지 않지만(예를 들어, 패턴화된 천과 구별할 수 없음), 도 6c 및 도 7b의 우측에서 볼 수 있는 것처럼 AOLP 이미지()에서 훨씬 더 밝다. 도 7c는 인텐시티 이미지(에서 영역 식별 상자의 에지의 단면이고, 도 7b의 AOLP 이미지()는 에지가 인텐시티 이미지(에서보다 AOLP() 및 DOLP(ρ)에서 훨씬 더 높은 콘트라스트를 가짐을 나타내고, 따라서 의미론적 분할 또는 인스턴스 분할 시스템이 AOLP() 및 DOLP(ρ) 이미지를 기반으로 투명 이미지의 에지를 검출할 가능성이 높아진다.
보다 공식적으로, 본 개시의 각 실시예의 여러 측면은 제 1 표현 공간 내의 제 1 텐서(50)를 계산하는 단계와 관련되어 있으며, 여기에는 편광 카메라(10)에 의해서 캡처된 편광 원시 프레임에 기초하여 단계(410)에서 편광 이미지를 형성하는 단계 (또는 파생된 편광 피처 맵을 추출하는 단계)와 같은 편광 표현 공간 내의 제 1 텐서를 추출하는 단계가 포함되어 있다.
투명 물체로부터 나오는 광선은 반사된 인텐시티(), 반사된 DOLP(), 및 반사된 AOLP()를 포함하는 반사된 부분, 및 굴절된 인텐시티(), 굴절된 DOLP(), 및 굴절된 AOLP()를 포함하는 굴절된 부분의 두 개의 성분을 가지고 있다. 얻어진 이미지에서의 단일 픽셀의 인텐시티(intensity)는 다음 식 (6)으로 나타낼 수 있다.
식 (6)
의 선형 편광 각도를 갖는 편광 필터를 카메라의 전방에 위치시키는 경우, 주어진 픽셀에서의 값은 다음 식 (7)과 같다.
식 (7)
, , , , , 및 항에 대해서 DOLP() 이미지 내의 픽셀 및 AOLP() 이미지 내의 픽셀의 값에 대한 상술한 식의 해를 구하면 다음 식 (8) 및 식 (9)와 같다.
식 (8)
*
식 (9)
따라서, 상술한 식 (7), 식 (8), 및 식 (9)는 본 개시의 일 실시예에 따른 인텐시티 이미지(I), DOLP 이미지(ρ), 및 AOLP 이미지()를 포함하는 제 1 표현 공간 내의 제 1 텐서(50)를 형성하기 위한 모델을 제공하며, 여기에서 (식 (8) 및 식 (9)에 기초한 DOLP 이미지(ρ), 및 AOLP 이미지()를 포함하는) 편광 표현 공간 내에서의 편광 이미지 또는 텐서의 이용은 단지 입력으로서 인텐시티(I) 이미지만 이용하는 마스크 R-CNN 시스템과 같은 비교 시스템에 의해서는 일반적으로 검출할 수 없는 투명 물체와 광학적으로 도전적인 물체의 검출을 신뢰성 있도록 한다.
더욱 상세하게 설명하자면, 편광 이미지(DOLP(ρ) 및 AOLP())와 같은 (파생된 피처 맵(50) 중의) 편광 표현 공간 내의 제 1 텐서는 인텐시티(I) 영역에서 텍스처가 없는 것으로 보여지는 물체의 표면 텍스처를 드러낼 수 있게 한다. 투명 물체는 인텐시티 영역(I)에서 볼 수 없는 텍스처를 가질 수 있는데, 이 인텐시티는 Ir/It의 비율에 완전히 종속적이기 때문이다(식 (6) 참조). It = 0인 불투명한 물체와는 달리, 투명 물체는 입사광의 대부분을 투과하고 또한 이 입사광의 적은 부분만 반사한다.
한편, 편광 영역 또는 영역에서 투명 물체의 표면 텍스처 강도는 와 의 비율에 따라 달라진다(식 (8) 및 (9) 참조). 대부분의 픽셀에 대해 및 가정하고(예: 배경과 투명 물체의 기하학적 구조가 다르다고 가정) 이 정반사 곡선을 따른다는 표시를 기반으로 하며 (see, e.g., Daisuke Miyazaki, Masataka Kagesawa, and Katsushi Ikeuchi. Transparent surface modeling from a pair of polarization images. IEEE Transactions on Pattern Analysis & Machine Intelligence, (1):73-82, 2004.) 이는 고도로 편광되었음을 의미하고 브루스터 각도(Brewster's angle)(약 60°)에서 은 1.0(식 (4) 참조)이 되고 적절한 천정각에서 이고 만일 배경이 확산되거나 낮은 천정각을 가지게 되면 이다. 이 효과는 일 때 실제 투명 구의 텍스처가 우세한 도 2c에서 볼 수 있다. 따라서 많은 경우 다음 가정이 성립한다.
식 (10)
따라서, 투명 물체의 텍스처가 인텐시티 영역 에서 보이지 않는 것처럼 나타나더라도 투명 물체의 텍스처는 AOLP() 및 DOLP(ρ)와 같은 편광 영역에서 더 잘 보일 수 있다.
인텐시티 이미지 단독으로 의미론적 분할 또는 인스턴스 분할을 시도할 때 어려움을 초래하는 세 가지 상황의 예로 돌아가서:
클러터(Clutter): 클러터의 한 가지 문제는 실질적으로 텍스처가 없을 수 있는 투명 물체의 에지를 검출하는 데 있다 (예를 들어, 도 6a의 영역(b)에서 음료수 잔의 에지 참조). 다른 한편으로, 유리의 텍스처 및 그 에지는 도 6b에 도시된 DOLP(ρ)에서 더 잘 보이고 도 6c에 도시된 AOLP()에서 훨씬 더 가시적이다.
새로운 환경: 투명 물체 텍스처의 강도를 높이는 것 외에도, 예를 들어 도6B에 도시된 DOLP(ρ) 이미지는 텍스처 또는 패턴이 있는 천(예를 들면, 배경 천이 거의 완전히 흑색으로 랜더링됨)과 같은 확산 배경의 영향을 감소시킨다. 이것은 환경이 장면마다 바뀌더라도 투명 물체가 다른 장면에서 비슷하게 나타날 수 있도록 한다. 예를 들어, 도 6b 및 도 7a의 영역 (a) 참조.
출력물 위조: 종이가 평평하여 AOLP() 및 DOLP(ρ)가 거의 균일하다. 투명한 물체는 AOLP() 및 DOLP(ρ)에서 매우 불균일하게 나타날 표면 변화가 어느 정도 있다(예를 들어, 도 2c 참조). 따라서 투명 물체의 출력된 위조물은 실제 투명 물체와 구별될 수 있다.
도 8a는 본 발명의 일 실시예에 따른 피처 추출기(800)의 블록 다이어그램이다. 도 8b는 편광 원시 프레임으로부터 피처를 추출하기 위한 본 발명의 일 실시예에 따른 방법을 도시한 플로우 차트이다. 도 8a에 나타낸 실시예에서, 피처 추출기(800)는 (예컨대, 비편광 표현 공간의 일례로서 식 (7)에 따른) 인텐시티 표현 공간 내의 인텐시티 이미지(I)(52)를 추출하도록 구성된 인텐시티 추출기(820) 및 하나 이상의 편광 표현 공간 내의 각 피처를 추출하도록 구성된 편광 피처 추출기(830)를 포함한다. 도 8b에 나타낸 바와 같이, 단계(410)에서의 편광 이미지의 추출은 단계(411)에서 제 1 스토크스 벡터로부터 편광 원시 프레임에서 제 1 편광 표현 공간 내의 제 1 텐서를 추출하는 단계를 포함할 수 있다. 단계(412)에서, 피처 추출기(800)는 편광 원시 프레임으로부터 제 2 편광 표현 공간 내의 제 2 텐서를 더 추출한다. 예를 들면, 편광 피처 추출기(830)는 DOLP(ρ) 이미지(54)(예컨대, 제 1 편광 표현 공간으로서 DOLP를 갖는 식 (8)에 따른 제 1 편광 이미지 또는 제 1 텐서)를 추출하도록 구성된 DOLP 추출기(840), 및 공급된 편광 원시 프레임(18)으로부터 AOLP() 이미지(56)(예컨대, 제 2 편광 표현 공간으로서 AOLP를 갖는 식 (9)에 따른 제 2 편광 이미지 또는 제 2 텐서)를 추출하도록 구성된 AOLP 추출기(860)를 포함할 수 있다. 또 다른 예로서, 편광 표현 공간은 스토크스 벡터(Stokes vector)에 따른 편광 원시 프레임의 조합을 포함할 수 있다. 추가적인 예로서, 편광 표현은 하나 이상의 이미지 처리 필터(예컨대, 이미지의 대비를 높이기 위한 필터 또는 잡음 제거 필터)를 따르는 편광 원시 프레임의 변형 또는 변환을 포함할 수 있다. 파생된 피처 맵(52, 54, 56)은 추론을 수행하는 것과 같은 추가 처리(예를 들면, 인스턴스 분할 맵 생성, 이미지 분류, 이미지의 텍스트 설명 생성)를 위해 예측기(900)에 제공될 수 있다.
도 8b는 두 개의 서로 다른 표현 공간 내의 편광 원시 프레임(18)으로부터 두 개의 서로 다른 텐서가 추출되는 경우에 대해서 도시하고 있지만, 본 개시의 각 실시예는 이에 한정되지 않는다. 예를 들면, 본 개시의 일부 실시예에서, 편광 표현 공간 내의 정확히 하나의 텐서만 편광 원시 프레임(18)으로부터 추출된다. 예를 들면, 원시 프레임의 편광 표현 공간 중의 하나는 AOLP이고 다른 하나는 DOLP이다(예컨대, 일부 애플리케이션에서 AOLP는 투명 물체 또는 반투명, 비-램버시안, 다중경로 유도 및/또는 비반사 물체와 같은 광학적으로 도전적인 물체를 검출하는 데 충분할 수 있다). 본 개시의 일부 실시예에서, 2개 이상의 서로 다른 텐서는 대응하는 스토크스 벡터에 기초하여 편광 원시 프레임(18)으로부터 추출된다. 예를 들어, 도 8b에 도시된 바와 같이, n개의 서로 다른 표현 공간에서 n개의 서로 다른 텐서는 피처 추출부(800)에 의해 추출될 수 있으며, 여기서 n번째 텐서는 414단계에서 추출된다.
따라서, 편광 원시 프레임(18)에서 편광 피처 맵 또는 편광 이미지와 같은 피처를 추출하는 것은 투명 물체 또는 반투명 물체, 다중경로 유도 물체, 비-램버시안 물체 및 비반사 물체와 같은 광학적으로 도전적인 물체가 장면의 다른 물체로부터 더 쉽게 검출되거나 분리되는 제1 텐서(50)를 생성한다. 일부 실시예에서, 피처 추출기(800)에 의해 추출된 제 1 텐서는 편광 원시 프레임에서 나타내어질 수 있는 근원적인 물리적인 현상(예컨대, 상술한 바와 같이, AOLP 및 DOLP 이미지의 계산)과 관련된 명시적으로 파생된 피처(예컨대, 인간 디자이너에 의한 수작업과 같은)일 수 있다. 본 개시의 추가적인 일부 실시예에서, 피처 추출기(800)는 서로 다른 컬러의 광(예컨대, 적색, 녹색, 및 청색광)에 대한 인텐시티 맵 및 (예컨대, 이 인텐시티 맵에 대해서 이미지 처리 필터를 적용하여) 해당 인텐시티 맵의 변환과 같은 다른 비편광 피처 맵 또는 비편광 이미지를 추출한다. 본 개시의 일부 실시예에서, 피처 추출기(800)는 라벨링된 트레이닝 데이터에 기초하여 엔드-투-엔드(end-to-end) 방식의 지도 트레이닝 프로세스를 통해서 자동적으로 학습되는 (예컨대, 사람에 의해서 수작업으로 규정되지 않은 피처) 하나 이상의 피처를 추출하도록 구성될 수 있다.
[편광 원시 프레임으로부터 계산된 편광 피처에 기초한 분할
맵과
같은 예측 계산]
위에서 언급한 바와 같이, 본 개시의 실시예들의 일부 측면은 피처 추출기(800)에 의해 추출된 DOLP(ρ) 및 AOLP() 이미지와 같은 편광 이미지 또는 편광 피처 맵과 같은 편광 표현 공간의 제1 텐서를 학습된 피처 (또는 제 2텐서) 생성하고 학습된 피처 또는 제 2 텐서를 기반으로 분할 맵과 같은 예측을 계산하기 위해 편광 이미지의 다중 모드 융합을 수행하는 의미론적 분할 알고리즘과 같은 예측기로 제공하는 것과 관련된다. 의미론적 분할 또는 인스턴스 분할과 관련된 구체적인 실시예는 아래에서 보다 상세히 설명될 것이다.
일반적으로, 딥 인스턴스 기법을 포함하는 의미론적 분할에 대한 많은 접근 방식이 있다. 다양한 딥 인스턴스 기법은 의미론적 분할 기반 기법(such as those described in: Min Bai and Raquel Urtasun. Deep watershed transform for instance segmentation. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 5221-5229, 2017; Alexander Kirillov, Evgeny Levinkov, Bjoern Andres, Bogdan Savchynskyy, and Carsten Rother. Instancecut: from edges to instances with multicut. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 5008-5017, 2017; and Anurag Arnab and Philip HS Torr. Pixelwise instance segmentation with a dynamically instantiated network. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 441-450, 2017.), 제안 기반 기법(such as those described in: Kaiming He, Georgia Gkioxari, Piotr Doll´and Ross Girshick. Mask r-cnn. In Proceedings of the IEEE International Conference on Computer Vision, pages 2961-2969, 2017.) 및 순환 신경망(RNN) 기반 기법(such as those described in: Bernardino Romera-Paredes and Philip Hilaire Sean Torr. Recurrent instance segmentation. In European Conference on Computer Vision, pages 312-329. Springer, 2016 and Mengye Ren and Richard S Zemel. End-to-end instance segmentation with recurrent attention. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 6656-6664, 2017.)으로 분류된다. 본 개시의 실시예는 이러한 의미론적 분할 기법 중 임의의 것에 적용될 수 있다.
일부 비교 접근 방식은 편광 이미지 또는 편광 피처 맵과 같은 제 1 텐서를 추출하지 않고 연결된 편광 원시 프레임(예: 위에서 설명한 이미지 , , , 및 )을 딥 네트워크에 직접 제공하지만 입력으로 이러한 편광 원시 프레임에 대해 직접 트레이닝된 모델은 일반적으로 물리적 우선순위를 학습하는 데 어려움을 겪으며, 이는 투명 물체 또는 기타 광학적으로 도전적인 물체의 인스턴스를 검출하지 못하는 것과 같은 성능 저하로 이어진다. 따라서, 본 개시의 실시예의 측면은 장면에서 투명한 물체의 이미지에 대한 인스턴스 분할을 수행하기 위해 (일부 실시예에서 인텐시티 피처 맵과 같은 다른 피처 맵과 조합하여) 편광 이미지 또는 편광 피처 맵의 사용에 관한 것이다.
딥 인스턴스 분할을 사용하는 본 개시의 일 실시예는 편광 마스크 R-CNN 아키텍처를 형성하기 위한 마스크 영역 기반 합성곱 신경망(Mask R-CNN) 아키텍처의 수정에 기초한다. 마스크 R-CNN은 이미지 인텐시티 값의 H×W×3 텐서인 입력 이미지 x (예: 적색, 녹색 및 청색 채널의 컬러 인텐시티에 따른 높이 대 너비)를 가져옴으로써 백본 네트워크: C=B(x)을 통해 실행한다. 백본 네트워크(B(x))는 입력된 이미지로부터 유용한 학습 피처의 추출을 담당하며 또한 AlexNet(예컨대, Krizhevsky, Alex, Ilya Sutskever, and Geoffrey E. Hinton. "ImageNet classification with deep convolutional neural networks", Advances in neural information processing systems. 2012. 참조), VGG (예컨대, Simonyan, Karen, and Andrew Zisserman. "Very deep convolutional networks for large-scale image recognition", arXiv preprint arXiv:1409.1556 (2014). 참조), ResNet-101 (예컨대, Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 770-778, 2016. 참조), MobileNet (예컨대, Howard, Andrew G., et al. "Mobilenets: Efficient convolutional neural networks for mobile vision applications", arXiv preprint arXiv:1704.04861(2017). 참조), MobileNetV2 (예컨대, Sandler, Mark, et al. "MobileNetV2: Inverted residuals and linear bottlenecks", Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.2018. 참조), 및 MobileNetV3 (예컨대, Howard, Andrew, et al. "Searching for MobileNetV3", Proceedings of the IEEE International Conference on Computer Vision. 2019. 참조)와 같은 임의의 표준 CNN 아키텍처일 수 있다.
백본 네트워크(B(x))는 일련의 텐서, 예컨대, C = {C 1, C 2, C 3, C 4, C 5}를 출력하며, 여기에서 각각의 텐서(C i )는 서로 다른 해상도의 피처 맵(feature map)을 나타낸다. 이들 피처 맵은 이후에 피처 피라미드 네트워크(FPN, feature pyramid network)(예를 들면, Tsung-Yi Lin, Piotr Doll´Ross Girshick, Kaiming He, Bharath Hariharan, and Serge Belongie. Feature pyramid networks for object detection. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 2117-2125, 2017. 참조) 내에서 조합되고, 국부 제안 네트워크(RPN, region proposal network)(예컨대, Shaoqing Ren, Kaiming He, Ross Girshick, and Jian Sun. Faster r-cnn: Towards real-time object detection with region proposal networks. In Advances in Neural Information Processing Systems, pages 91-99, 2015. 참조)로 처리되고, 또한 최종적으로 출력 서브 네트워크(예컨대, Ren et al. and He et al., 참조)를 통과하여 클래스(class), 경계 박스(bounding box), 및 픽셀 단위 분할을 생성한다. 이들은 인스턴스 분할을 위해서 비-최대 억제(non-maximum suppression)되어 병합된다.
본 발명의 실시예의 측면은 딥 러닝을 사용하여 편광된 이미지에 포함된 추가 정보를 활용하기 위한 프레임워크에 관한 것으로, 이 추가 정보는 비교 카메라에 의해 캡처된 입력 이미지에 존재하지 않는다(예: 편광판 또는 편광 필터를 사용하지 않고 표준 컬러 또는 흑백 카메라로 캡처되지 않은 정보). 본 개시내용의 실시예의 프레임워크에 따라 구성된 신경망 아키텍처는 본 명세서에서 편광된 합성곱 신경망(CNN)으로 지칭될 것이다.
본 개시의 일부 실시예에 따라 이 프레임워크를 적용하는 것은 CNN 아키텍처에 대한 세 가지 변경을 포함한다.
(1) 입력 이미지: 본 개시내용의 일부 실시예에 따른 피처 추출기(800)를 사용하는 것과 같이, CNN에 대한 입력 편광 이미지를 생성하기 위해 편광의 물리적 방정식을 적용.
(2) 어텐션-융합 폴라 백본(Attention-fusion Polar Backbone) : 트레이닝된 CNN 백본에 의해 편광 이미지로부터 계산된 학습된 피처를 융합함으로써 다중 모드 융합 문제로서 문제를 처리.
(3) 기하학적 데이터 보강 : 편광의 물리학을 나타내기 위해 트레이닝 데이터 보강.
그러나, 본 개시의 실시예는 이에 제한되지 않는다. 대신에, 위의 세 가지 변경 및/또는 위의 세 가지 변경 이외의 변경의 임의의 부분집합이 본 개시의 실시예 내에서 편광된 CNN 아키텍처를 생성하기 위해 기존 CNN 아키텍처에 만들어질 수 있다.
본 개시의 일부 실시예들에 따른 편광 CNN은 아래에서 더 상세히 설명되는 동작들을 수행하도록 구성된 하나 이상의 전자 회로를 사용하여 구현될 수 있다. 도 3에 도시된 실시예에서, 편광 CNN은 도 3에 도시된 바와 같이 분할 맵(20)을 계산하기 위한 예측기(900)의 구성요소로서 사용된다.
도 9는 마스크 영역 기반 합성곱 신경망 (Mask R-CNN) 백본에 적용된 본 발명의 일 실시예에 따른 편광 CNN 아키텍처를 나타내는 블록 다이어그램으로서, 여기서 제 2 텐서(C)(또는 학습된 피처 맵과 같은 출력 텐서)는 분할 마스크(20)와 같은 출력 예측을 계산하는데 사용된다.
본 개시의 일부 실시예가 마스크 R-CNN 백본에 적용되는 것으로 편광 CNN 아키텍처를 이용하는 의미론적 분할 또는 인스턴스 분할에 관련되어 있지만, 본 개시의 각 실시예는 이에 한정되지 않으며, AlexNet, VGG, MobileNet, MobileNetV2, MobileNetV3 등과 같은 다른 백본은 유사한 방식으로 변형될 수 있다.
도 9에 도시된 실시예에서, 파생된 피처 맵(50)(예를 들어, AOLP() 및 DOLP(ρ) 이미지와 같은 입력 편광 이미지를 포함함)은 편광 CNN 백본(910)에 대한 입력으로서 공급된다. 도 9에 도시된 실시예에서, 입력 피처 맵(50)은 투명한 물체 및/또는 기타 광학적으로 도전적인 물체를 검출하기 위한 입력으로서 식 (1)로부터 인텐시티 이미지(I)(52), AOLP()(56), DOLP(ρ)(54)의 3개의 입력 이미지를 포함한다. 이 이미지는 편광 원시 프레임(18)으로부터 계산되고(예: 위에서 설명한 이미지 , , , 및 ), 범위(예: [0-255] 범위의 8비트 값) 내로 정규화되고, 3채널 그레이 스케일 이미지로 변환되어 MSCoCo 데이터 세트에서 미리 트레이닝된 네트워크를 기반으로 쉽게 전이 학습할 수 있다. (see, e.g., Tsung-Yi Lin, Michael Maire, Serge Belongie, James Hays, Pietro Perona, Deva Ramanan, Piotr Doll´and C Lawrence Zitnick. Microsoft coco: Common objects in context. In European Conference on Computer Vision, pages 740-755. Springer, 2014.).
도 9에 도시된 실시예에서, 각각의 입력 파생된 피처 맵(50)은 별도의 백본, 즉 인텐시티 (912), AOLP 백본 (914), 및 DOLP 백본 (916)에 공급된다. CNN 백본(912, 914, 916)은 각 모드에 대한 텐서를 계산하거나 서로 다른 스케일 또는 해상도 에서 "모드 텐서" , , 를 계산한다 (예: CNN 백본의 트레이닝 또는 전이 학습 동안 학습된 매개변수를 기반으로 계산된 피처 맵, 아래에서 더 자세히 설명). 도 9에서는 5개의 서로 다른 스케일 i를 갖는 실시예를 도시하고 있지만, 본 개시의 실시예는 이에 한정되지 않고 스케일의 수가 다른 CNN 백본에도 적용될 수 있다.
본 개시의 실시예의 일부 측면은 다중 모드 융합을 수행하기 위한 공간 인식 어텐션 융합 메커니즘에 관한 것이다(예를 들어, 인텐시티 피처 맵 (, AOLP 피처 맵 ( 및 DOLP 피처 맵 (과 같은 입력 피처 맵의 서로 다른 모드 또는 서로 다른 유형으로부터 계산된 피처 맵의 융합).
예를 들어, 도 9에 도시된 실시예에서, 각 스케일 에서 대응하는 백본 , , 로부터 계산된 모드 텐서 , , (각 모드에 대한 텐서)는 대응하는 스케일에 대한 융합 층(922, 923, 924, 925)(집합적으로, 융합 층(920))을 사용하여 융합된다. 예를 들어, 융합 층(922)은 융합 텐서 를 계산하기 위해 스케일 i=2에서 계산된 모드 텐서 , , 를 융합하도록 구성된다. 유사하게, 융합층(923)은 융합된 텐서 를 계산하기 위해 스케일 i=3에서 계산된 모드 텐서 , , 를 융합하도록 구성되고, 스케일에 대한 각각의 모드 텐서에 기초하여 융합 피쳐 맵 and 를 각각 계산하도록 유사한 계산이 융합 층(924, 925)에 의해 수행될 수 있다. 융합 층(920)에 의해 계산된 융합 피처 맵과 같은 융합 텐서 (예를 들어., 또는 제2 텐서는 융합 텐서로부터 예측을 계산하도록 구성된 예측 모듈(950)에 입력으로서 제공되고, 여기서 예측은 분할 맵(20), 분류, 텍스트 설명 등과 같은 출력일 수 있다.
도 10은 본 발명의 일 실시예에 따른 편광 CNN과 함께 사용될 수 있는 융합 층(920) 중 i번째 융합 층의 블록 다이어그램이다. 도 10에 도시된 바와 같이, 본 개시의 일부 실시예에서, 융합 층(예를 들어, 융합 층(920) 각각)은 예측기(900)가 i 번째 스케일에 대한 CNN 백본에 의해 계산된 입력 피처 맵 , , 또는 제공된 입력 텐서를 연결하고 연결된 텐서(1010)를 생성하는 어텐션 모듈을 사용하여 구현되고, 여기서 연결된 텐서(1010)는 i 번째 스케일에 대한 한 세트의 트레이닝된 컨볼루션층 또는 어텐션 서브네트워크 를 통해 처리된다. 어텐션 서브네트워크 는 입력 텐서와 동일한 높이 및 너비를 갖는 3채널 이미지를 출력하고, 일부 실시예에서 소프트맥스 함수는 i번째 스케일에 대한 픽셀별 어텐션 가중치 를 계산하도록 3채널 이미지의 각 픽셀에 적용된다.
식 (11)
이러한 어텐션 가중치는 채널당 가중치 평균(1020)을 수행하는 데 사용된다.
식 (12)
따라서, 어텐션 모듈을 사용하면 본 개시의 일부 실시예에 따른 편광 CNN이 장면의 주어진 부분과 얼마나 관련성이 있는지에 기초하여 스케일 i에서 서로 다른 입력에 가중치를 부여할 수 있으며(예: 스케일 i에서 인텐시티 I 텐서 또는 학습된 피처 맵 , DOLP 텐서 또는 학습된 피처 맵 , AOLP 텐서 또는 학습된 피처 맵 ), 여기서 관련성은 편광 CNN 백본을 트레이닝하는데 사용되는 라벨링된 트레이닝 데이터를 따른 트레이닝된 어텐션 서브네트워크에 의해 결정된다.
도 11은 편광 카메라에 의해 캡처된 편광 원시 프레임으로부터 추출된 상이한 모드 텐서(상이한 제1 표현 공간에서)에 대해 본 발명의 일 실시예에 따른 어텐션 모듈에 의해 계산된 어텐션 가중치의 예를 도시한다. 도 11에 도시된 바와 같이(예를 들어, 인텐시티 이미지(1152) 참조), 편광 카메라에 의해 이미지화된 장면은 출력물 사진 위에 배치된 투명 유리잔을 포함하며, 여기서 출력된 사진은 투명한 음료수 유리잔(음료수 유리잔의 출력 위조) 및 일부 배경 클러터(clutter)를 도시한다.
도 11에 도시된 바와 같이, 학습된 어텐션 가중치(1110)는 실제 음료수 유리잔 주변 영역의 DOLP(1114) 및 AOLP(1116)에서 가장 밝고 인텐시티 이미지(1152)에서 모호한 인쇄 출력 위조를 방지한다. 따라서, 예측 모듈(950)은 예를 들어, 그라운드 트루스(ground truth)(1130)와 밀접하게 일치하는 분할 마스크(1120)를 계산할 수 있다(예를 들어, 예측(1120)은 장면에서 투명 물체의 형상과 밀접하게 일치하는 형상을 나타낸다).
도 9에 도시된 실시예에서, 예측 모듈(950)은 마스크 R-CNN 아키텍처에서 사용되는 것과 실질적으로 유사하고 입력 이미지에서 검출된 물체의 각 인스턴스에 대한 클래스, 마스크 및 경계 박스(Bbox)를 계산하기 위한 출력 서브네트워크에 대한 입력으로서 피처 피라미드 네트워크 (FPN) 및 영역 제안 네트워크 (RPN)를 사용하여 융합된 피쳐 맵 C를 결합하여 분할 맵을 계산한다. 계산된 클래스, 마스크 및 경계 박스는 비최대 억제(NMS, non-maximum suppression)와 병합되어 인스턴스 분할 맵(또는 인스턴스 분할 마스크)(20)을 계산한다.
위에서 언급한 바와 같이, 편광 CNN 아키텍처는 예를 들어, 역전파 및 경사하강법과 같은 신경망 트레이닝 알고리즘 및 MSCoCo 데이터세트를 사용하여 훈련된 기존의 딥 신경망에 기반한 전이 학습을 사용하여 트레이닝될 수 있다. 보다 상세하게는, 편광 CNN 아키텍처는 편광 원시 프레임(18)으로부터 피처 추출기(800)에 의해 추출된 편광 CNN에 대한 입력을 나타내는 추가 트레이닝 데이터에 기초하여 추가로 트레이닝된다(예를 들어, 트레이닝 파생 피처 맵(50) 및 트레이닝 파생 피처 맵과 연관된 그라운드 트루스 라벨을 계산하기 위해 트레이닝 편광 원시 프레임을 사용). 이러한 추가 트레이닝 데이터는 예를 들어, 다양한 환경에서 투명한 물체 또는 광학적으로 도전적인 물체를 포함하는 다양한 장면의 편광 카메라에 의해 캡처된 편광 원시 프레임과 함께 편광 카메라에 의해 캡처된 이미지에 묘사된 물체의 인스턴스 및 클래스로 픽셀에 라벨링하는 그라운드 트루스 분할 맵(예: 수동으로 생성된 분할 맵)을 포함할 수 있다.
소규모 트레이닝 데이터세트의 경우, 아핀 변환은 우수한 일반화 성능을 달성하기 위해 트레이닝 데이터를 보강(예를 들어, 기존 트레이닝 데이터로부터 추가 트레이닝 데이터 생성)하는 기술을 제공한다. 그러나 AOLP() 이미지와 같은 일부 소스 트레이닝 파생 피처 맵에 순진하게 아핀 변환을 적용하면 트레이닝된 신경망의 성능이 크게 향상되지 않으며 경우에 따라 성능이 저하된다. 이것은 AOLP가 카메라 좌표 프레임을 기준으로 전자파의 방향을 나타내는 0°~360°(또는 0~2π범위의 각도이기 때문이다. 회전 연산자가 소스 트레이닝 이미지(또는 소스 트레이닝 파생 피처 맵)에 적용되면, 이는 Z축을 중심으로(예: 렌즈(12)의 광축을 따라) 카메라를 회전시키는 것과 같다. 이 회전은 차례로 카메라의 X-Y 평면 방향을 변경하여 전자기파의 상대 방향(예: 선형 편광 각도)을 변경한다. 이러한 변화를 설명하기 위해, 회전 각도만큼 회전 아핀 변환을 수행하여 데이터를 보강할 때, AOLP의 픽셀 값은 동일한 각도만큼 반대 방향으로 회전한다(또는 생성된 추가 데이터에 역회전 또는 역회전이 적용된다). 이 동일한 원리는 트레이닝 피처 맵 또는 트레이닝 제 1 텐서의 다른 아핀 변환에도 적용되며, 트레이닝 피처 맵 또는 트레이닝 제 1 텐서에 적용되는 특정 변환은 트레이닝 피처 맵이 나타내는 것의 기본 물리학에 따라 다를 수 있다. 예를 들어, DOLP 이미지는 회전 변환의 영향을 받지 않을 수 있지만 변환 변환은 투명 물체 또는 기타 광학적으로 도전적인 물체(예: 반투명 물체, 비-램버시안 물체, 다중경로 유도 물체 및 비반사 물체)와 광의 상호 작용의 근본적인 물리적 거동으로 인해 DOLP에 상응하는 변경이 필요하다.
또한, 본 개시의 일부 실시예는 CNN 및 딥 의미론적 분할의 사용에 관한 것이지만, 본 개시의 실시예는 이에 제한되지 않는다. 본 개시의 일부 실시예에서, 파생된 피처 맵(50)은 다른 유형의 분류 알고리즘(예를 들어, 검출된 물체를 국부화하지 않고 이미지를 분류함), 다른 유형의 의미론적 분할 알고리즘, 또한 장면의 자연어 설명을 생성하도록 트레이닝된 이미지 설명 알고리즘에 대한 입력으로서 (일부 실시예에서 다른 특징 맵과 함께) 제공된다. 이러한 알고리즘의 예로는 지원 벡터 머신(SVM), 마르코프 랜덤 필드, 확률적 그래픽 모델 등을 포함한다. 본 개시의 일부 실시예에서, 파생된 피처 맵은 장면에서 검출된 투명 물체 및/또는 기타 광학적으로 도전적인 물체의 검출된 고전적인 컴퓨터 비전 피처를 출력하기 위해 피처 검출기(예를 들어, SIFT(scale-invariant feature transform), SURF(speeded up robust feature), GLOH(Gradient Location and Orientation Histogram), HOG(Histogram of Oriented Gradient), 기저 계수, Haar 웨이블릿 계수 등)와 같은 고전적인 머신 비전 알고리즘에 대한 입력으로 제공된다.
도 12a, 도12b, 도12c 및 도12d는 비교 이미지 분할 시스템에 의해 계산된 분할 맵, 본 개시의 일 실시예에 따른 편광 합성곱 신경망에 의해 계산된 분할 맵, 및 그라운드 트루스(ground truth) 분할 맵(예를 들어, 수동으로 생성된 분할 맵)을 나타낸다. 도 12a, 도12b, 도12c 및 도12d는 비교 마스크 R-CNN 모델(여기에서 "인텐시티" 마스크 R-CNN 모델로 언급되어 편광 이미지가 아닌 인텐시티 이미지에서 작동함을 나타냄)에 대해 본 개시의 일 실시예에 따른 트레이닝된 편광 마스크 R-CNN 모델의 성능을 비교하기 위해 4개의 상이한 테스트 세트에서 실행된 실험의 예를 도시한다.
실험을 수행하는 데 사용된 편광 마스크 R-CNN 모델은 플라스틱 컵, 플라스틱 트레이, 안경, 장식품 및 기타의 6가지 가능한 클래스의 투명 물체로부터 15가지 다른 환경에서 투명 물체의 20,000개 이상의 인스턴스가 있는 1,000개 이미지를 포함하는 트레이닝 세트에서 트레이닝되었다. 입력 이미지의 아핀 변환 및 이미지 회전을 기반으로 하는 AOLP 조정과 관련하여 위에서 설명한 것과 같은 데이터 보강 기술은 트레이닝 전에 트레이닝 세트에 적용된다.
4가지 테스트 세트는 다음을 포함한다.
(a) 클러터(clutter) 테스트 세트는 출력물이 없는 트레이닝 세트와 유사한 환경에서 클러터 투명 물체의 200개 이미지를 포함한다.
(b) 새로운 환경(Env) 테스트 세트는 트레이닝 세트에서 사용할 수 없는 환경과 함께 이미지당 6개 이하의 물체에 대해 촬영한 50개의 이미지를 포함한다. 배경은 가혹한 조명, 질감 있는 천, 반짝이는 금속 등을 포함한다.
(c) 출력물 위조(POS, Print-Out Spoofs) 테스트 세트는 50개의 이미지를 포함하며, 각각은 1 내지 6개의 인쇄된 물체와 1 또는 2개의 실제 물체를 포함한다.
(d) 로봇 빈 피킹(RBP, Robotic Bin Picking) 테스트 세트는 장식품(예를 들어, 나무에 걸기 적합한 장식용 유리 장식품)을 집는 로봇 암(arm)의 라이브 데모(live demo)로부터 가져온 300개의 이미지를 포함한다. 이 세트는 실제 애플리케이션에서 인스턴스 분할 성능을 테스트하는데 사용된다.
각 데이터 세트에 대해, 두 가지 메트릭스가 정확도를 측정하는데 사용되었다: IoUs(Intersection over Unions) 0.5-0.7() 범위의 mAP(mean average precision) 및 IoUs 0.75-0.9().범위의 mAP. 이러한 두 가지 메트릭스는 각각 적은 수의 분할(coarse segmentation)과 많은 수의 분할(fine-grained segmentation)을 측정한다. 일반화를 추가로 테스트하기 위해, 모든 모델은 마스크 R-CNN의 Faster R-CNN 구성 요소를 사용하여 물체 검출도 테스트되었다.
본 개시의 실시예에 따른 편광 마스크 R-CNN 및 인텐시티 마스크 R-CNN은 위에서 논의된 4개의 테스트 세트에서 테스트되었다. 평균 개선은 적은 수의 분할(coarse segmentation)에서 14.3% mAP이고 많은 수의 분할(fine-grained segmentation)에서 17.2% mAP이다. 클러터 문제의 성능 향상은 성능 차이가 1.1% 이하의 mAP에서 4.5% mAP인 많은 수의 분할(fine-grained segmentation)을 수행할 때 더 잘 보인다. 따라서 편광 데이터는 모델이 물체를 보다 정확하게 분할할 수 있도록 하는 유용한 에지 정보를 제공하는 것으로 보인다. 도 12a에서 볼 수 있는 바와 같이, 편광은 인텐시티 이미지에서 모호한 클러터를 정확하게 분할하는데 도움이 된다. 그 결과, 도 12a에 도시된 클러터 테스트 세트의 예에서, 본 개시의 일 실시예에 따른 편광 마스크 R-CNN은 그라운드 트루스(ground truth)와 일치하는 투명 물체의 6개 인스턴스 모두를 정확하게 검출하는 반면, 비교 인텐시티 마스크 R-CNN은 투명 물체의 6개 인스턴스 중 4개만 식별한다.
새로운 환경에 대한 일반화의 경우 많은 수의 분할 및 적은 수의 분할 모두에 대해 훨씬 더 큰 이득이 있으며, 따라서 투명 물체의 고유 텍스처가 편광 이미지에서 CNN에 더 잘 보이는 것으로 나타난다. 도 12b에 도시된 바와 같이, 인텐시티 마스크 R-CNN은 편광 마스크 R-CNN 모델이 성공하는 동안 새로운 환경에 완전히 적응하지 못한다. 편광 마스크 R-CNN은 투명 물체의 모든 인스턴스를 올바르게 검출할 수 있지만, 인스턴스 마스크 R-CNN은 일부 인스턴스를 검출하지 못한다(예를 들어, 박스의 오른쪽 상단 모서리에 있는 인스턴스 참조).
본 개시의 실시예들은 또한 거의 90% mAP를 달성하여 출력물 위조(print-out spoofs)에 대한 견고성에서 유사하게 큰 개선을 나타낸다. 이와 같이, 본 개시의 실시예들은 출력물 위조(print-out spoofs)와 같은 투시 투영 문제에 대해 강력한 단안 솔루션(monocular solution)을 제공한다. 도 12c에 도시된 바와 같이, 인텐시티 마스크 R-CNN은 인쇄된 종이 위조에 의해 속는다. 도 12c에 도시된 예에서. 하나의 실제 투명 공이 3개의 위조 투명 물체를 묘사하는 출력물에 배치된다. 인텐시티 마스크 R-CNN은 두 개의 출력물 위조를 인스턴스로 잘못 식별한다. 반면, 편광 마스크 R-CNN은 견고하며, 실제 투명 공만 인스턴스로 검출한다.
이러한 모든 결과는 로봇 빈 피킹(RBP, Robotic Bin Picking)과 같은 제어되지 않고 어수선한 환경에 대해 나타난 성능의 극적인 개선을 설명하는 데 도움이 된다. 도 12d에 도시된 바와 같이, 낮은 광 조건에서 장식품을 로봇으로 피킹하는 경우, 인텐시티 마스크 R-CNN 모델은 투명 물체의 11개 인스턴스 중 5개만 검출할 수 있다. 반면에, 편광 R-CNN 모델은 조명이 약한 환경에 적응할 수 있으며 11개 인스턴스를 모두 올바르게 식별한다.
보다 상세하게, 그리고 산업 환경에서의 잠재적인 응용의 예로서, 컴퓨터 비전 시스템은 로봇 암(arm)의 컨트롤러에 분할 마스크를 공급함으로써 빈 피킹을 수행하기 위해 로봇 암을 제어하도록 구성되었다. 투명하고 반투명한(비-램버시안인) 물체의 빈 피킹은 로봇 공학에서 어렵고 개방된 문제이다. 고품질의 강력한 분할의 이점을 보여주기 위해, 다른 크기의 어수선한 투명 장식품을 빈 피킹하도록 로봇 암을 제어하기 위한 분할 맵을 제공하는 비교 인텐시티 마스크 R-CNN의 성능은 본 개시의 일 실시예에 따른 편광 마스크 R-CNN의 성능과 비교된다.
빈 피킹 솔루션은 각 물체를 분리하기 위한 분할 구성요소, 깊이 추정 구성요소, 및 자세 추정 구성요소의 세 가지 구성요소를 포함한다. 분할의 효과를 이해하기 위해, 로봇 암이 분할의 중심으로 이동하고 표면에 부딪힐 때 정지하는 간단한 깊이 추정 및 자세. 이것은 물체가 완벽한 구이기 때문에 이 예에서 작동한다. 약간 부정확한 분할로 인해 잘못된 추정이 발생하여 잘못된 피킹이 발생할 수 있다. 이 응용은 편광 마스크R-CNN과 인텐시티 마스크 R-CNN사이의 비교를 가능하게 한다. 시스템은 트레이닝 세트 외부의 5가지 환경에서 (예를 들면, 트레이닝 이미지를 획득한 환경과 다른 조건에서) 테스트되었다. 각 환경에 대해, 15개의 볼을 쌓았고, 15개의 볼을 모두 집기 위해 만든 로봇 암의 올바른/잘못된(누락된) 픽(pick)의 수(흡입 컵 그리퍼 사용)가 계산되었으며 15개의 잘못된 픽으로 제한되었다. 인텐시티 마스크 R-CNN 기반 모델은 로봇 암이 낮은 분할 품질로 인해 특정 픽을 지속적으로 놓쳤기 때문에 정기적으로 빈을 비울 수 없었다. 한편, 본 개시의 일 실시예에 따른 편광 마스크 R-CNN 모델은 90개의 공을 모두 성공적으로 집었으며, 6번의 올바른 픽에 대해 약 1번의 잘못된 픽이 있었다. 이 결과는 20 이하 mAP의 개선 효과를 검증한다.
위에서 언급한 바와 같이, 본 개시의 실시예들은 투명 물체 및 불투명 물체 모두를 검출할 수 있는 컴퓨터 비전 또는 머신 비전 시스템의 구성요소로서 사용될 수 있다.
본 개시의 일부 실시예에서, 동일한 예측기 또는 통계 모델(900)은 투명 물체 및 불투명 물체 모두의 라벨링된 예를 포함하는 트레이닝 데이터에 기초하여 투명 물체와 불투명 물체 모두를 검출하도록 (또는 제2 표현 공간에서 제2 텐서 C를 생성하도록) 트레이닝된다. 예를 들어, 일부 그러한 실시예에서, 도 9에 도시된 편광 마스크 R-CNN 아키텍처와 같은 편광 CNN 아키텍처가 사용된다. 일부 실시예에서, 도 9에 도시된 편광 마스크 R-CNN 아키텍처는 하나 이상의 추가 모드 텐서를 계산하는 하나 이상의 추가 CNN 백본을 추가함으로써 추가로 수정된다. 추가적인 CNN 백본은 추가적인 제1 텐서를 기반으로 트레이닝될 수 있다. 일부 실시예에서 이러한 추가적인 제1 텐서는 컬러 인텐시티 이미지에 기초하여 계산된 이미지 맵을 포함한다(예를 들어, 적색 인텐시티 이미지 또는 컬러 채널, 녹색 인텐시티 이미지 또는 컬러 채널, 및 청색 인텐시티 이미지 또는 컬러 채널과 같은 다른 파장에서의 광의 인텐시티). 일부 실시예에서, 이러한 추가적인 제1 텐서는 컬러 인텐시티 이미지의 조합에 기초하여 계산된 이미지 맵을 포함한다. 일부 실시예에서, 융합 모듈(920)은 각각의 CNN 백본(예를 들어, 추가 CNN 백본을 포함함)으로부터 각각의 스케일에서 모든 모드 텐서를 융합한다.
본 개시의 일부 실시예에서, 예측기(900)는 투명한 물체와 대조적으로 불투명한 물체를 검출하기 위한 하나 이상의 개별 통계 모델을 포함한다. 예를 들어, 예측기의 앙상블은 (예를 들어, 투명 물체에 대한 제1 분할 마스크를 계산하도록 트레이닝된 제1 예측기와 불투명 물체에 대한 제2 분할 마스크를 계산하도록 트레이닝된 제2예측기) 개별 예측이 병합되는 (예를 들어, 제1 분할 마스크는 예를 들어 분할 마스크의 각 픽셀과 연관된 신뢰도 점수에 기초하여 제2 분할 마스크와 병합된다) 다중 예측을 계산할 수 있다.
배경기술에서 상술한 바와 같이, 머신 비전 또는 컴퓨터 비전 시스템이 투명 물체를 강력하게 검출할 수 있게 하는 것은 제조, 생명 과학, 자율 주행 차량을 포함하여 다양한 상황에서 응용이 가능하다.
따라서, 본 개시의 실시예의 측면은 편광 영역으로부터 추출된 피처를 사용함으로써 컴퓨터 비전을 사용하여 투명 물체의 인스턴스를 검출하기 위한 시스템 및 방법에 관한 것이다. 투명 물체는 인텐시티 영역에서 보다 편광 영역에서 더 두드러진 텍스처를 가지고 있다. 편광 텍스처의 이 텍스처는 본 개시의 실시예에 따른 피처 추출기 및 편광 CNN 모델로 활용될 수 있다. 본 개시의 실시예들에 의한 투명 물체 검출 성능의 개선의 예는 마스크 R-CNN을 사용한 인스턴스 분할에 대한 비교(예를 들어, 편광 데이터를 사용하지 않고 인텐시티 이미지를 사용하는 마스크 R-CNN에 대한 비교)를 통해 입증된다.
특정한 예시적인 실시예와 연관시켜 본 발명을 설명하였지만, 본 발명은 개시된 실시예로 한정되지 않으며, 오히려 첨부한 청구 범위 및 그 등가물의 정신 및 범위 내에 포함되는 다양한 변형 및 유사한 배열을 포함하고자 의도되었다.
Claims (24)
- 예측 모델을 기반으로 장면의 이미지에 대한 예측을 계산하는 컴퓨터 구현 방법에 있어서,
제1 편광 원시 프레임 및 제2 편광 원시 프레임을 포함하는 장면의 2개 이상의 편광 원시 프레임을 수신하는 단계;
선형 편광 각도(AOLP) 이미지 및 선형 편광도(DOLP) 이미지를 기반으로 계산하는 단계 -- 제1 편광 원시 프레임은 제1 선형 편광 각도에서 캡처되고, 제 2 편광 원시 프레임은 제 1 선형 편광 각도와 다른 제 2 선형 편광 각도에서 캡처됨;
서로 다른 각각의 컨볼루션 신경망 서브시스템에 상기 선형 편광 각도(AOLP) 이미지 및 선형 편광도(DOLP) 이미지를 제공하는 단계 -- 상기 각 컨볼루션 신경망 서브시스템은 복수의 상이한 스케일에서 각각의 모드에 대한 각각의 모드 텐서를 계산하도록 구성됨;
복수의 융합 층에 의해, 동일한 스케일에서 상이한 모드의 모드 텐서들로부터 복수의 융합된 출력 텐서를 생성하는 단계; 및
상기 융합된 출력 텐서를 예측 모델에 제공하여 상기 장면 내의 하나 이상의 객체에 관한 예측을 계산하는 단계;를 포함하는,
컴퓨터 구현 방법.
- 청구항 1에 있어서,
상기 선형 편광 각도(AOLP) 이미지는,
선형 편광 각도(AOLP) 표현 공간에서 선형 편광 각도(AOLP) 이미지를 포함하는,
컴퓨터 구현 방법.
- 청구항 1에 있어서,
상기 장면 내의 하나 이상의 객체에 관한 예측을 계산하는 단계는,
복수의 편광 표현 공간에서 융합된 출력 텐서를 사용하여 예측을 계산하는 단계를 더 포함하는 것을 특징으로 하는,
컴퓨터 구현 방법.
- 청구항 1에 있어서,
상기 예측 모델은,
컨볼루션 신경망을 포함하는,
컴퓨터 구현 방법.
- 청구항 3에 있어서,
상기 선형 편광 각도(AOLP) 이미지는,
선형 편광 각도(AOLP) 표현 공간에서 선형 편광 각도(AOLP) 이미지를 포함하는,
컴퓨터 구현 방법.
- 청구항 3에 있어서,
비편광 표현 공간에서 하나 이상의 비편광 텐서를 계산하는 단계 -- 상기 하나 이상의 비편광 텐서는 인텐시티 표현 공간에서 하나 이상의 인텐시티 이미지를 포함;를 더 포함하는,
컴퓨터 구현 방법.
- 청구항 6에 있어서,
상기 하나 이상의 인텐시티 이미지는,
제 1 컬러 인텐시티 이미지;
제 2 컬러 인텐시티 이미지; 및
제 3 컬러 인텐시티 이미지;를 포함하는,
컴퓨터 구현 방법.
- 청구항 1에 있어서,
상기 예측은,
상기 장면의 객체에 대한 분할 마스크를 포함하는,
컴퓨터 구현 방법.
- 청구항 1에 있어서,
상기 융합된 출력 텐서를 생성하는 단계는,
상기 모드 텐서들을 동일한 스케일로 연결하는 단계;
하나 이상의 어텐션 맵을 계산하기 위해 어텐션 서브네트워크에 상기 모드 텐서를 공급하는 단계; 및
상기 하나 이상의 어텐션 맵을 기반으로 상기 모드 텐서에 가중치를 부여하여 상기 스케일에 대한 융합 텐서를 계산하는 단계;를 포함하는,
컴퓨터 구현 방법.
- 청구항 8에 있어서,
상기 분할 마스크는,
로봇 피킹 암의 컨트롤러에 제공되는,
컴퓨터 구현 방법.
- 청구항 1에 있어서,
상기 예측은,
하나 이상의 광학적으로 도전적인 물체에 기초한 상기 편광 원시 프레임의 분류를 포함하는,
컴퓨터 구현 방법.
- 청구항 1에 있어서,
상기 예측은,
상기 장면에서 객체의 검출된 하나 이상의 피처를 포함하는,
컴퓨터 구현 방법.
- 청구항 1에 있어서,
상기 예측 모델은, 편광 표현 공간에서의 트레이닝 제1 텐서 및 라벨을 포함하는 트레이닝 데이터를 사용하여 트레이닝 되고,
상기 트레이닝 데이터는,
상기 편광 표현 공간에서, 편광 카메라에 의해 캡처된 데이터로부터 계산된 소스 트레이닝 제1 텐서; 및
회전을 포함하는 아핀 변환을 통해 상기 소스 트레이닝 제1 텐서로부터 생성된 추가 트레이닝 텐서를 포함하는,
컴퓨터 구현 방법.
- 청구항 13에 있어서,
상기 추가 트레이닝 텐서는,
복수의 선형 편광 각도(AOLP) 이미지를 포함하며,
상기 추가 트레이닝 텐서를 생성하는 단계는,
상기 추가 트레이닝 텐서들을 각도로 회전시키는 단계; 및
상기 각도에 의해 복수의 선형 편광 각도(AOLP) 이미지 중 어느 하나의 선형 편광 각도(AOLP) 이미지 픽셀 값을 역회전시키는 단계;를 포함하는,
컴퓨터 구현 방법.
- 편광 필터를 포함하는 편광 카메라; 및
하나 이상의 프로세서 및 하나 이상의 프로세서에 의해 실행될 때 하나 이상의 프로세서가 연산을 수행하도록 하는 명령을 저장하는 하나 이상의 메모리를 포함하는 처리 시스템을 포함하되,
상기 하나 이상의 프로세서가 수행하는 연산은,
제1 편광 원시 프레임 및 제2 편광 원시 프레임을 포함하는 장면의 2개 이상의 편광 원시 프레임을 수신하는 단계;
제1 선형 편광 각도에서 캡처된 상기 제1 편광 원시 프레임 및 제1 선형 편광 각도와 다른 제2 선형 편광 각도에서 캡처된 상기 제2 편광 원시 프레임에 기초하여 선형 편광 각도(AOLP) 이미지 및 선형 편광도(DOLP) 이미지를 계산하는 단계;
서로 다른 각각의 컨볼루션 신경망 서브시스템에 상기 선형 편광 각도(AOLP) 이미지 및 상기 선형 편광도(DOLP) 이미지를 제공하는 단계 -- 상기 각 컨볼루션 신경망 서브시스템은 복수의 상이한 스케일에서 각각의 모드에 대한 각각의 모드 텐서를 계산하도록 구성되는 단계;
복수의 융합 층에 의해, 동일한 스케일에서 상이한 모드의 모드 텐서들로부터 복수의 융합된 출력 텐서를 생성하는 단계; 및
상기 융합된 출력 텐서를 예측 모델에 제공하여 장면 내의 하나 이상의 객체에 관한 예측을 계산하는 단계를 포함하는,
컴퓨터 비전 시스템.
- 청구항 15에 있어서,
상기 선형 편광 각도(AOLP) 이미지는 선형 편광 각도(AOLP) 표현 공간에서 선형 편광 각도(AOLP) 이미지를 포함하는,
컴퓨터 비전 시스템.
- 청구항 15에 있어서,
상기 장면의 하나 이상의 객체에 관한 예측을 계산하는 단계는,
복수의 편광 표현 공간에서 융합된 출력 텐서를 사용하여 예측을 계산하는 단계를 더 포함하는,
컴퓨터 비전 시스템.
- 청구항 17에 있어서,
상기 선형 편광도(DOLP) 이미지는 선형 편광도(DOLP) 표현 공간에서 선형 편광도(DOLP) 이미지를 포함하는,
컴퓨터 비전 시스템.
- 청구항 17에 있어서,
상기 연산은,
비편광 표현 공간에서 하나 이상의 비편광 텐서를 계산하는 단계를 더 포함하고,
상기 하나 이상의 비편광 텐서는,
인텐시티 표현 공간에서 하나 이상의 인텐시티 이미지를 더 포함하는,
컴퓨터 비전 시스템.
- 청구항 15에 있어서,
상기 예측 모델은 컨볼루션 신경망을 포함하는,
컴퓨터 비전 시스템.
- 청구항 15에 있어서,
상기 예측은 상기 장면의 객체에 대한 분할 마스크를 포함하는,
컴퓨터 비전 시스템.
- 청구항 15에 있어서,
상기 예측 모델은 편광 표현 공간에서 제1 텐서 및 라벨을 트레이닝 하는 트레이닝 데이터를 사용하여 트레이닝 되고,
상기 트레이닝 데이터는,
편광 표현 공간에서, 편광 카메라에 의해 캡처된 데이터로부터 계산된 소스 트레이닝 텐서; 및
회전을 포함하는 아핀 변환을 통해 상기 소스 트레이닝 텐서로부터 생성된 추가 트레이닝 텐서를 포함하는,
컴퓨터 비전 시스템.
- 청구항 22에 있어서,
상기 추가 트레이닝 텐서는 복수의 선형 편광 각도(AOLP) 이미지를 포함하며,
상기 추가 트레이닝 텐서를 생성하는 단계는,
추가 트레이닝 텐서들을 각도로 회전시키는 단계; 및
상기 각도에 의해 복수의 선형 편광 각도(AOLP) 이미지의 픽셀 값을 역회전시키는 단계를 포함하는,
컴퓨터 비전 시스템.
- 청구항 15에 있어서,
상기 처리 시스템은,
로봇 피킹 암의 컨트롤러에 상기 예측을 제공하도록 구성되는,
컴퓨터 비전 시스템.
Applications Claiming Priority (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201962942113P | 2019-11-30 | 2019-11-30 | |
| US62/942,113 | 2019-11-30 | ||
| US202063001445P | 2020-03-29 | 2020-03-29 | |
| US63/001,445 | 2020-03-29 | ||
| PCT/US2020/048604 WO2021108002A1 (en) | 2019-11-30 | 2020-08-28 | Systems and methods for transparent object segmentation using polarization cues |
| KR1020227019545A KR102558903B1 (ko) | 2019-11-30 | 2020-08-28 | 편광 신호를 이용한 투명 물체 분할을 위한 시스템 및 방법 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020227019545A Division KR102558903B1 (ko) | 2019-11-30 | 2020-08-28 | 편광 신호를 이용한 투명 물체 분할을 위한 시스템 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230116068A true KR20230116068A (ko) | 2023-08-03 |
Family
ID=76130373
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020227019545A KR102558903B1 (ko) | 2019-11-30 | 2020-08-28 | 편광 신호를 이용한 투명 물체 분할을 위한 시스템 및 방법 |
| KR1020237024658A KR20230116068A (ko) | 2019-11-30 | 2020-08-28 | 편광 신호를 이용한 투명 물체 분할을 위한 시스템및 방법 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020227019545A KR102558903B1 (ko) | 2019-11-30 | 2020-08-28 | 편광 신호를 이용한 투명 물체 분할을 위한 시스템 및 방법 |
Country Status (9)
| Country | Link |
|---|---|
| US (2) | US11302012B2 (ko) |
| EP (1) | EP4066001A4 (ko) |
| JP (1) | JP7329143B2 (ko) |
| KR (2) | KR102558903B1 (ko) |
| CN (1) | CN114787648B (ko) |
| CA (1) | CA3162710A1 (ko) |
| DE (1) | DE112020005932T5 (ko) |
| MX (1) | MX2022005289A (ko) |
| WO (1) | WO2021108002A1 (ko) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11443619B2 (en) * | 2018-05-15 | 2022-09-13 | Kabushiki Kaisha Toshiba | Vehicle recognition apparatus and vehicle recognition method |
| CA3157197A1 (en) | 2019-10-07 | 2021-04-15 | Boston Polarimetrics, Inc. | Systems and methods for surface normals sensing with polarization |
| WO2021154459A1 (en) | 2020-01-30 | 2021-08-05 | Boston Polarimetrics, Inc. | Systems and methods for synthesizing data for training statistical models on different imaging modalities including polarized images |
| US11804042B1 (en) * | 2020-09-04 | 2023-10-31 | Scale AI, Inc. | Prelabeling of bounding boxes in video frames |
| US20220269937A1 (en) * | 2021-02-24 | 2022-08-25 | Nvidia Corporation | Generating frames for neural simulation using one or more neural networks |
| US11290658B1 (en) | 2021-04-15 | 2022-03-29 | Boston Polarimetrics, Inc. | Systems and methods for camera exposure control |
| US11875528B2 (en) * | 2021-05-25 | 2024-01-16 | Fanuc Corporation | Object bin picking with rotation compensation |
| US20220410381A1 (en) * | 2021-06-29 | 2022-12-29 | Intrinsic Innovation Llc | Systems and methods for picking objects using 3-d geometry and segmentation |
| CN115272138B (zh) * | 2022-09-28 | 2023-02-21 | 荣耀终端有限公司 | 图像处理方法及其相关设备 |
| KR20240068257A (ko) * | 2022-11-10 | 2024-05-17 | 주식회사 슈퍼브에이아이 | 제1 오브젝트 클래스들을 검출하도록 학습된 오브젝트 디텍터를 제2 오브젝트 클래스들을 검출할 수 있도록 전이 학습하는 방법 및 학습 장치, 이를 이용한 테스트 방법 및 테스트 장치 |
| CN116433532B (zh) * | 2023-05-06 | 2023-09-26 | 合肥工业大学 | 一种基于注意力引导滤波的红外偏振图像融合去噪方法 |
Family Cites Families (1076)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4124798A (en) | 1965-12-09 | 1978-11-07 | Thompson Kenneth B | Optical viewing apparatus |
| US4198646A (en) | 1978-10-13 | 1980-04-15 | Hughes Aircraft Company | Monolithic imager for near-IR |
| US4323925A (en) | 1980-07-07 | 1982-04-06 | Avco Everett Research Laboratory, Inc. | Method and apparatus for arraying image sensor modules |
| JPS5769476A (en) | 1980-10-16 | 1982-04-28 | Fuji Xerox Co Ltd | Reader control system |
| JPS5925483A (ja) | 1982-08-04 | 1984-02-09 | Hitachi Denshi Ltd | 固体撮像装置 |
| US4652909A (en) | 1982-09-14 | 1987-03-24 | New York Institute Of Technology | Television camera and recording system for high definition television having imagers of different frame rate |
| US4460449A (en) | 1983-01-03 | 1984-07-17 | Amerace Corporation | Apparatus for making a tool |
| US4888645A (en) | 1984-01-16 | 1989-12-19 | International Business Machines Corporation | Method for encoding and decoding a digital image |
| JPS60228564A (ja) | 1984-04-27 | 1985-11-13 | Tokuyama Soda Co Ltd | 液晶性組成物 |
| EP0289885A1 (de) | 1987-05-08 | 1988-11-09 | Siemens Aktiengesellschaft | Blendensystem zur Erzeugung mehrerer Teilchensonden mit veränderbarem Querschnitt |
| JPS6437177A (en) | 1987-08-03 | 1989-02-07 | Canon Kk | Image pickup device |
| EP0342419B1 (de) | 1988-05-19 | 1992-10-28 | Siemens Aktiengesellschaft | Verfahren zur Beobachtung einer Szene und Einrichtung zur Durchführung des Verfahrens |
| US5070414A (en) | 1988-09-20 | 1991-12-03 | Kabushiki Kaisha Toshiba | Method and apparatus for reading image information formed on material |
| JPH02285772A (ja) | 1989-04-26 | 1990-11-26 | Toshiba Corp | 画像読取装置 |
| US4962425A (en) | 1988-10-27 | 1990-10-09 | National Research Council Of Canada/Conseil National Deresherches Canada | Photometric device |
| US5157499A (en) | 1990-06-29 | 1992-10-20 | Kabushiki Kaisha N A C | High-speed video camera using solid-state image sensor |
| US5144448A (en) | 1990-07-31 | 1992-09-01 | Vidar Systems Corporation | Scanning apparatus using multiple CCD arrays and related method |
| US5463464A (en) | 1991-10-04 | 1995-10-31 | Kms Fusion, Inc. | Electro-optical system for gauging surface profile deviations using infrared radiation |
| US5325449A (en) | 1992-05-15 | 1994-06-28 | David Sarnoff Research Center, Inc. | Method for fusing images and apparatus therefor |
| JP3032382B2 (ja) | 1992-07-13 | 2000-04-17 | シャープ株式会社 | デジタル信号のサンプリング周波数変換装置 |
| JPH06129851A (ja) | 1992-10-13 | 1994-05-13 | Sumitomo Electric Ind Ltd | ステレオカメラの校正方法 |
| US5670935A (en) | 1993-02-26 | 1997-09-23 | Donnelly Corporation | Rearview vision system for vehicle including panoramic view |
| US5712732A (en) | 1993-03-03 | 1998-01-27 | Street; Graham Stewart Brandon | Autostereoscopic image display adjustable for observer location and distance |
| US5659424A (en) | 1993-05-25 | 1997-08-19 | Hitachi, Ltd. | Projecting lens and image display device |
| JPH0715457A (ja) | 1993-06-18 | 1995-01-17 | Hitachi Ltd | ディジタル通信切替方式 |
| US5475422A (en) | 1993-06-21 | 1995-12-12 | Nippon Telegraph And Telephone Corporation | Method and apparatus for reconstructing three-dimensional objects |
| US6419638B1 (en) | 1993-07-20 | 2002-07-16 | Sam H. Hay | Optical recognition methods for locating eyes |
| US6095989A (en) | 1993-07-20 | 2000-08-01 | Hay; Sam H. | Optical recognition methods for locating eyes |
| JP2761837B2 (ja) | 1993-08-19 | 1998-06-04 | 株式会社日鉄エレックス | 立体像表示装置 |
| EP0677821A3 (en) | 1994-04-14 | 1996-03-06 | Hewlett Packard Co | Enlargement of a digital image by slaving. |
| WO1995034044A1 (en) | 1994-06-09 | 1995-12-14 | Kollmorgen Instrument Corporation | Stereoscopic electro-optical system for automated inspection and/or alignment of imaging devices on a production assembly line |
| US5517236A (en) | 1994-06-22 | 1996-05-14 | Philips Electronics North America Corporation | Video surveillance system |
| JPH0877356A (ja) | 1994-09-09 | 1996-03-22 | Fujitsu Ltd | 三次元多眼画像の処理方法及び処理装置 |
| US5703961A (en) | 1994-12-29 | 1997-12-30 | Worldscape L.L.C. | Image transformation and synthesis methods |
| US20020195548A1 (en) | 2001-06-06 | 2002-12-26 | Dowski Edward Raymond | Wavefront coding interference contrast imaging systems |
| US5629524A (en) | 1995-02-21 | 1997-05-13 | Advanced Scientific Concepts, Inc. | High speed crystallography detector |
| EP0739039A3 (en) | 1995-04-18 | 1998-03-04 | Interuniversitair Micro-Elektronica Centrum Vzw | Pixel structure, image sensor using such pixel, structure and corresponding peripheric circuitry |
| US5963664A (en) | 1995-06-22 | 1999-10-05 | Sarnoff Corporation | Method and system for image combination using a parallax-based technique |
| US6005607A (en) | 1995-06-29 | 1999-12-21 | Matsushita Electric Industrial Co., Ltd. | Stereoscopic computer graphics image generating apparatus and stereoscopic TV apparatus |
| US5675377A (en) | 1995-06-30 | 1997-10-07 | Telefonaktiebolaget Lm Ericsson | True three-dimensional imaging and display system |
| GB2302978A (en) | 1995-07-04 | 1997-02-05 | Sharp Kk | LIquid crystal device |
| WO1997018633A1 (en) | 1995-11-07 | 1997-05-22 | California Institute Of Technology | Capacitively coupled successive approximation ultra low power analog-to-digital converter |
| US5757425A (en) | 1995-12-19 | 1998-05-26 | Eastman Kodak Company | Method and apparatus for independently calibrating light source and photosensor arrays |
| JP3502713B2 (ja) | 1995-12-21 | 2004-03-02 | 本田技研工業株式会社 | 車両用距離測定装置 |
| JPH09181913A (ja) | 1995-12-26 | 1997-07-11 | Olympus Optical Co Ltd | カメラシステム |
| US5793900A (en) | 1995-12-29 | 1998-08-11 | Stanford University | Generating categorical depth maps using passive defocus sensing |
| US6124974A (en) | 1996-01-26 | 2000-09-26 | Proxemics | Lenslet array systems and methods |
| US5973844A (en) | 1996-01-26 | 1999-10-26 | Proxemics | Lenslet array systems and methods |
| US6493465B2 (en) | 1996-02-21 | 2002-12-10 | Canon Kabushiki Kaisha | Matching point extracting method and apparatus therefor |
| US5867584A (en) * | 1996-02-22 | 1999-02-02 | Nec Corporation | Video object tracking method for interactive multimedia applications |
| US5832312A (en) | 1996-02-22 | 1998-11-03 | Eastman Kodak Company | Watertight body for accommodating a photographic camera |
| US5911008A (en) | 1996-04-30 | 1999-06-08 | Nippon Telegraph And Telephone Corporation | Scheme for detecting shot boundaries in compressed video data using inter-frame/inter-field prediction coding and intra-frame/intra-field coding |
| US6084979A (en) | 1996-06-20 | 2000-07-04 | Carnegie Mellon University | Method for creating virtual reality |
| US6002743A (en) | 1996-07-17 | 1999-12-14 | Telymonde; Timothy D. | Method and apparatus for image acquisition from a plurality of cameras |
| GB9616262D0 (en) | 1996-08-02 | 1996-09-11 | Philips Electronics Nv | Post-processing generation of focus/defocus effects for computer graphics images |
| US6141048A (en) | 1996-08-19 | 2000-10-31 | Eastman Kodak Company | Compact image capture device |
| US6137535A (en) | 1996-11-04 | 2000-10-24 | Eastman Kodak Company | Compact digital camera with segmented fields of view |
| US5808350A (en) | 1997-01-03 | 1998-09-15 | Raytheon Company | Integrated IR, visible and NIR sensor and methods of fabricating same |
| JPH10232626A (ja) | 1997-02-20 | 1998-09-02 | Canon Inc | 立体画像表示装置 |
| JPH10253351A (ja) | 1997-03-14 | 1998-09-25 | Kyocera Corp | 測距装置 |
| US5801919A (en) | 1997-04-04 | 1998-09-01 | Gateway 2000, Inc. | Adjustably mounted camera assembly for portable computers |
| US6097394A (en) | 1997-04-28 | 2000-08-01 | Board Of Trustees, Leland Stanford, Jr. University | Method and system for light field rendering |
| NO304715B1 (no) | 1997-05-06 | 1999-02-01 | Dimensions As | FremgangsmÕte ved bildebehandling |
| US6515701B2 (en) | 1997-07-24 | 2003-02-04 | Polaroid Corporation | Focal plane exposure control system for CMOS area image sensors |
| US6563537B1 (en) | 1997-07-31 | 2003-05-13 | Fuji Photo Film Co., Ltd. | Image signal interpolation |
| JP3430935B2 (ja) | 1997-10-20 | 2003-07-28 | 富士ゼロックス株式会社 | 画像読取装置及びレンズ |
| JP4243779B2 (ja) | 1997-11-14 | 2009-03-25 | 株式会社ニコン | 拡散板の製造方法および拡散板、並びにマイクロレンズアレイの製造方法およびマイクロレンズアレイ |
| NO305728B1 (no) | 1997-11-14 | 1999-07-12 | Reidar E Tangen | Optoelektronisk kamera og fremgangsmÕte ved bildeformatering i samme |
| US6069365A (en) | 1997-11-25 | 2000-05-30 | Alan Y. Chow | Optical processor based imaging system |
| JPH11242189A (ja) | 1997-12-25 | 1999-09-07 | Olympus Optical Co Ltd | 像形成法、像形成装置 |
| US6721008B2 (en) | 1998-01-22 | 2004-04-13 | Eastman Kodak Company | Integrated CMOS active pixel digital camera |
| US6833863B1 (en) | 1998-02-06 | 2004-12-21 | Intel Corporation | Method and apparatus for still image capture during video streaming operations of a tethered digital camera |
| JPH11223708A (ja) | 1998-02-09 | 1999-08-17 | Nikon Corp | 圧子およびマイクロ光学素子アレイの製造方法 |
| US6198577B1 (en) | 1998-03-10 | 2001-03-06 | Glaxo Wellcome, Inc. | Doubly telecentric lens and imaging system for multiwell plates |
| US6054703A (en) | 1998-03-20 | 2000-04-25 | Syscan, Inc. | Sensing module for accelerating signal readout from image sensors |
| US6160909A (en) | 1998-04-01 | 2000-12-12 | Canon Kabushiki Kaisha | Depth control for stereoscopic images |
| KR100307883B1 (ko) | 1998-04-13 | 2001-10-19 | 박호군 | 정합화소수를이용한유사도측정방법및이를구현하기위한장치 |
| JP3745117B2 (ja) | 1998-05-08 | 2006-02-15 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
| JP3931936B2 (ja) | 1998-05-11 | 2007-06-20 | セイコーエプソン株式会社 | マイクロレンズアレイ基板及びその製造方法並びに表示装置 |
| JP3284190B2 (ja) | 1998-05-14 | 2002-05-20 | 富士重工業株式会社 | ステレオカメラの画像補正装置 |
| US6198852B1 (en) | 1998-06-01 | 2001-03-06 | Yeda Research And Development Co., Ltd. | View synthesis from plural images using a trifocal tensor data structure in a multi-view parallax geometry |
| US6205241B1 (en) | 1998-06-01 | 2001-03-20 | Canon Kabushiki Kaisha | Compression of stereoscopic images |
| US6137100A (en) | 1998-06-08 | 2000-10-24 | Photobit Corporation | CMOS image sensor with different pixel sizes for different colors |
| US6069351A (en) | 1998-07-16 | 2000-05-30 | Intel Corporation | Focal plane processor for scaling information from image sensors |
| US6903770B1 (en) | 1998-07-27 | 2005-06-07 | Sanyo Electric Co., Ltd. | Digital camera which produces a single image based on two exposures |
| US6340994B1 (en) | 1998-08-12 | 2002-01-22 | Pixonics, Llc | System and method for using temporal gamma and reverse super-resolution to process images for use in digital display systems |
| DE19838362C1 (de) | 1998-08-18 | 2000-02-10 | Deutsch Zentr Luft & Raumfahrt | Fokalebenenplatte für eine hochauflösende CCD-Kamera |
| US6269175B1 (en) | 1998-08-28 | 2001-07-31 | Sarnoff Corporation | Method and apparatus for enhancing regions of aligned images using flow estimation |
| US6185529B1 (en) | 1998-09-14 | 2001-02-06 | International Business Machines Corporation | Speech recognition aided by lateral profile image |
| US6879735B1 (en) | 1998-09-14 | 2005-04-12 | University Of Utah Reasearch Foundation | Method of digital image enhancement and sharpening |
| US6310650B1 (en) | 1998-09-23 | 2001-10-30 | Honeywell International Inc. | Method and apparatus for calibrating a tiled display |
| GB2343320B (en) | 1998-10-31 | 2003-03-26 | Ibm | Camera system for three dimentional images and video |
| JP3596314B2 (ja) | 1998-11-02 | 2004-12-02 | 日産自動車株式会社 | 物体端の位置計測装置および移動体の通行判断装置 |
| US6661427B1 (en) | 1998-11-09 | 2003-12-09 | Broadcom Corporation | Graphics display system with video scaler |
| US6611289B1 (en) | 1999-01-15 | 2003-08-26 | Yanbin Yu | Digital cameras using multiple sensors with multiple lenses |
| JP3875423B2 (ja) | 1999-01-19 | 2007-01-31 | 日本放送協会 | 固体撮像素子およびそれ用の映像信号出力装置 |
| US6603513B1 (en) | 1999-02-16 | 2003-08-05 | Micron Technology, Inc. | Using a single control line to provide select and reset signals to image sensors in two rows of a digital imaging device |
| JP3634677B2 (ja) | 1999-02-19 | 2005-03-30 | キヤノン株式会社 | 画像の補間方法、画像処理方法、画像表示方法、画像処理装置、画像表示装置、及びコンピュータプログラム記憶媒体 |
| US6563540B2 (en) | 1999-02-26 | 2003-05-13 | Intel Corporation | Light sensor with increased dynamic range |
| US20020063807A1 (en) | 1999-04-19 | 2002-05-30 | Neal Margulis | Method for Performing Image Transforms in a Digital Display System |
| US6819358B1 (en) | 1999-04-26 | 2004-11-16 | Microsoft Corporation | Error calibration for digital image sensors and apparatus using the same |
| US6292713B1 (en) | 1999-05-20 | 2001-09-18 | Compaq Computer Corporation | Robotic telepresence system |
| US6864916B1 (en) | 1999-06-04 | 2005-03-08 | The Trustees Of Columbia University In The City Of New York | Apparatus and method for high dynamic range imaging using spatially varying exposures |
| JP2001008235A (ja) | 1999-06-25 | 2001-01-12 | Minolta Co Ltd | ３次元データの再構成のための画像入力方法及び多眼式データ入力装置 |
| JP2001042042A (ja) | 1999-07-27 | 2001-02-16 | Canon Inc | 撮像装置 |
| US6801653B1 (en) | 1999-08-05 | 2004-10-05 | Sony Corporation | Information processing apparatus and method as well as medium |
| US7015954B1 (en) | 1999-08-09 | 2006-03-21 | Fuji Xerox Co., Ltd. | Automatic video system using multiple cameras |
| US6647142B1 (en) | 1999-08-19 | 2003-11-11 | Mitsubishi Electric Research Laboratories, Inc. | Badge identification system |
| US6771833B1 (en) | 1999-08-20 | 2004-08-03 | Eastman Kodak Company | Method and system for enhancing digital images |
| US6628330B1 (en) | 1999-09-01 | 2003-09-30 | Neomagic Corp. | Color interpolator and horizontal/vertical edge enhancer using two line buffer and alternating even/odd filters for digital camera |
| US6358862B1 (en) | 1999-09-02 | 2002-03-19 | Micron Technology, Inc | Passivation integrity improvements |
| JP3280001B2 (ja) | 1999-09-16 | 2002-04-30 | 富士重工業株式会社 | ステレオ画像の位置ずれ調整装置 |
| US6639596B1 (en) | 1999-09-20 | 2003-10-28 | Microsoft Corporation | Stereo reconstruction from multiperspective panoramas |
| US6628845B1 (en) | 1999-10-20 | 2003-09-30 | Nec Laboratories America, Inc. | Method for subpixel registration of images |
| US6774941B1 (en) | 1999-10-26 | 2004-08-10 | National Semiconductor Corporation | CCD output processing stage that amplifies signals from colored pixels based on the conversion efficiency of the colored pixels |
| US6671399B1 (en) | 1999-10-27 | 2003-12-30 | Canon Kabushiki Kaisha | Fast epipolar line adjustment of stereo pairs |
| US6674892B1 (en) | 1999-11-01 | 2004-01-06 | Canon Kabushiki Kaisha | Correcting an epipolar axis for skew and offset |
| JP2001195050A (ja) | 1999-11-05 | 2001-07-19 | Mitsubishi Electric Corp | グラフィックアクセラレータ |
| TW521519B (en) | 1999-11-26 | 2003-02-21 | Sanyo Electric Co | Apparatus and method for converting a two dimensional image to a three dimensional image |
| JP3950926B2 (ja) | 1999-11-30 | 2007-08-01 | エーユー オプトロニクス コーポレイション | 画像表示方法、ホスト装置、画像表示装置、およびディスプレイ用インターフェイス |
| JP3728160B2 (ja) | 1999-12-06 | 2005-12-21 | キヤノン株式会社 | 奥行き画像計測装置及び方法、並びに複合現実感提示システム |
| US7068851B1 (en) | 1999-12-10 | 2006-06-27 | Ricoh Co., Ltd. | Multiscale sharpening and smoothing with wavelets |
| FI107680B (fi) | 1999-12-22 | 2001-09-14 | Nokia Oyj | Menetelmä videokuvien lähettämiseksi, tiedonsiirtojärjestelmä, lähettävä videopäätelaite ja vastaanottava videopäätelaite |
| US6476805B1 (en) | 1999-12-23 | 2002-11-05 | Microsoft Corporation | Techniques for spatial displacement estimation and multi-resolution operations on light fields |
| US6502097B1 (en) | 1999-12-23 | 2002-12-31 | Microsoft Corporation | Data structure for efficient access to variable-size data objects |
| JP2001194114A (ja) | 2000-01-14 | 2001-07-19 | Sony Corp | 画像処理装置および画像処理方法、並びにプログラム提供媒体 |
| US6842502B2 (en) | 2000-02-18 | 2005-01-11 | Dilliam Beaumont Hospital | Cone beam computed tomography with a flat panel imager |
| US6523046B2 (en) | 2000-02-25 | 2003-02-18 | Microsoft Corporation | Infrastructure and method for supporting generic multimedia metadata |
| JP2001264033A (ja) | 2000-03-17 | 2001-09-26 | Sony Corp | 三次元形状計測装置とその方法、三次元モデリング装置とその方法、およびプログラム提供媒体 |
| US6571466B1 (en) | 2000-03-27 | 2003-06-03 | Amkor Technology, Inc. | Flip chip image sensor package fabrication method |
| JP2001277260A (ja) | 2000-03-30 | 2001-10-09 | Seiko Epson Corp | マイクロレンズアレイ、その製造方法及びその製造用原盤並びに表示装置 |
| KR20020084288A (ko) | 2000-04-04 | 2002-11-04 | 주식회사 아도반테스토 | 다축전자렌즈를 이용한 멀티빔 노광장치, 반도체소자제조방법 |
| US20020015536A1 (en) | 2000-04-24 | 2002-02-07 | Warren Penny G. | Apparatus and method for color image fusion |
| JP2001337263A (ja) | 2000-05-25 | 2001-12-07 | Olympus Optical Co Ltd | 測距装置 |
| JP4501239B2 (ja) | 2000-07-13 | 2010-07-14 | ソニー株式会社 | カメラ・キャリブレーション装置及び方法、並びに、記憶媒体 |
| US7440637B2 (en) | 2000-07-21 | 2008-10-21 | The Trustees Of Columbia University In The City Of New York | Method and apparatus for image mosaicing |
| US7245761B2 (en) | 2000-07-21 | 2007-07-17 | Rahul Swaminathan | Method and apparatus for reducing distortion in images |
| US7154546B1 (en) | 2000-08-07 | 2006-12-26 | Micron Technology, Inc. | Pixel optimization for color |
| EP1185112B1 (en) | 2000-08-25 | 2005-12-14 | Fuji Photo Film Co., Ltd. | Apparatus for parallax image capturing and parallax image processing |
| US7085409B2 (en) | 2000-10-18 | 2006-08-01 | Sarnoff Corporation | Method and apparatus for synthesizing new video and/or still imagery from a collection of real video and/or still imagery |
| US6734905B2 (en) | 2000-10-20 | 2004-05-11 | Micron Technology, Inc. | Dynamic range extension for CMOS image sensors |
| US6774889B1 (en) | 2000-10-24 | 2004-08-10 | Microsoft Corporation | System and method for transforming an ordinary computer monitor screen into a touch screen |
| US7262799B2 (en) | 2000-10-25 | 2007-08-28 | Canon Kabushiki Kaisha | Image sensing apparatus and its control method, control program, and storage medium |
| US6476971B1 (en) | 2000-10-31 | 2002-11-05 | Eastman Kodak Company | Method of manufacturing a microlens array mold and a microlens array |
| JP3918499B2 (ja) | 2000-11-01 | 2007-05-23 | セイコーエプソン株式会社 | 間隙測定方法、間隙測定装置、形状測定方法、形状測定装置並びに液晶装置の製造方法 |
| US6573912B1 (en) | 2000-11-07 | 2003-06-03 | Zaxel Systems, Inc. | Internet system for virtual telepresence |
| US6788338B1 (en) | 2000-11-20 | 2004-09-07 | Petko Dimitrov Dinev | High resolution video camera apparatus having two image sensors and signal processing |
| US7490774B2 (en) | 2003-11-13 | 2009-02-17 | Metrologic Instruments, Inc. | Hand-supportable imaging based bar code symbol reader employing automatic light exposure measurement and illumination control subsystem integrated therein |
| JP2002171537A (ja) | 2000-11-30 | 2002-06-14 | Canon Inc | 複眼撮像系、撮像装置および電子機器 |
| EP1354292B1 (en) | 2000-12-01 | 2012-04-04 | Imax Corporation | Method and apparatus FOR DEVELOPING HIGH-RESOLUTION IMAGERY |
| JP2004523027A (ja) | 2000-12-05 | 2004-07-29 | イエダ リサーチ アンド ディベロプメント カンパニー リミテッド | 空間的または時間的にオーバーラップしない画像シーケンスの位置合わせのための装置並びに方法 |
| JP2002252338A (ja) | 2000-12-18 | 2002-09-06 | Canon Inc | 撮像装置及び撮像システム |
| JP2002195910A (ja) | 2000-12-26 | 2002-07-10 | Omron Corp | 光学部品の検査装置 |
| JP2002209226A (ja) | 2000-12-28 | 2002-07-26 | Canon Inc | 撮像装置 |
| US7805680B2 (en) | 2001-01-03 | 2010-09-28 | Nokia Corporation | Statistical metering and filtering of content via pixel-based metadata |
| JP3957460B2 (ja) | 2001-01-15 | 2007-08-15 | 沖電気工業株式会社 | 伝送ヘッダ圧縮装置、動画像符号化装置及び動画像伝送システム |
| JP2002250607A (ja) | 2001-02-27 | 2002-09-06 | Optex Co Ltd | 物体検知センサ |
| CN2488005Y (zh) | 2001-03-15 | 2002-04-24 | 左耀太 | 型煤燃烧器 |
| US6635941B2 (en) | 2001-03-21 | 2003-10-21 | Canon Kabushiki Kaisha | Structure of semiconductor device with improved reliability |
| JP2002324743A (ja) | 2001-04-24 | 2002-11-08 | Canon Inc | 露光方法及び装置 |
| US6443579B1 (en) | 2001-05-02 | 2002-09-03 | Kenneth Myers | Field-of-view controlling arrangements |
| US7235785B2 (en) | 2001-05-11 | 2007-06-26 | Irvine Sensors Corp. | Imaging device with multiple fields of view incorporating memory-based temperature compensation of an uncooled focal plane array |
| US20020167537A1 (en) | 2001-05-11 | 2002-11-14 | Miroslav Trajkovic | Motion-based tracking with pan-tilt-zoom camera |
| US20020190991A1 (en) | 2001-05-16 | 2002-12-19 | Daniel Efran | 3-D instant replay system and method |
| US7738013B2 (en) | 2001-05-29 | 2010-06-15 | Samsung Electronics Co., Ltd. | Systems and methods for power conservation in a CMOS imager |
| AU2002305780A1 (en) | 2001-05-29 | 2002-12-09 | Transchip, Inc. | Patent application cmos imager for cellular applications and methods of using such |
| US6482669B1 (en) | 2001-05-30 | 2002-11-19 | Taiwan Semiconductor Manufacturing Company | Colors only process to reduce package yield loss |
| US6525302B2 (en) | 2001-06-06 | 2003-02-25 | The Regents Of The University Of Colorado | Wavefront coding phase contrast imaging systems |
| US7113634B2 (en) | 2001-07-31 | 2006-09-26 | Canon Kabushiki Kaisha | Stereoscopic image forming apparatus, stereoscopic image forming method, stereoscopic image forming system and stereoscopic image forming program |
| US20030025227A1 (en) | 2001-08-02 | 2003-02-06 | Zograph, Llc | Reproduction of relief patterns |
| US8675119B2 (en) | 2001-08-09 | 2014-03-18 | Trustees Of Columbia University In The City Of New York | Adaptive imaging using digital light processing |
| DE60141901D1 (de) | 2001-08-31 | 2010-06-02 | St Microelectronics Srl | Störschutzfilter für Bayermusterbilddaten |
| JP3978706B2 (ja) | 2001-09-20 | 2007-09-19 | セイコーエプソン株式会社 | 微細構造体の製造方法 |
| JP2003139910A (ja) | 2001-10-30 | 2003-05-14 | Sony Corp | 光学素子、その製造方法およびその製造装置、並びにそれを用いた液晶表示装置および画像投影型表示装置 |
| DE10153237A1 (de) | 2001-10-31 | 2003-05-15 | Lfk Gmbh | Verfahren und Vorrichtung zur automatisierten Bestimmung der Modulations-Transfer-Funktion (MTF) von Focal-Plane-Array (FPA)- Kameras |
| JP3705766B2 (ja) | 2001-11-28 | 2005-10-12 | 独立行政法人科学技術振興機構 | 画像入力装置 |
| EP1468314A4 (en) | 2001-12-18 | 2006-12-13 | Univ Rochester | ILLUSTRATION USING AN ASPHARIAN MULTI-FUNGI CASE FOR MAINTAINING AN ADVANCED SHARPNESS |
| US7212228B2 (en) | 2002-01-16 | 2007-05-01 | Advanced Telecommunications Research Institute International | Automatic camera calibration method |
| US7302118B2 (en) | 2002-02-07 | 2007-11-27 | Microsoft Corporation | Transformation of images |
| US20030179418A1 (en) | 2002-03-19 | 2003-09-25 | Eastman Kodak Company | Producing a defective pixel map from defective cluster pixels in an area array image sensor |
| US8369607B2 (en) | 2002-03-27 | 2013-02-05 | Sanyo Electric Co., Ltd. | Method and apparatus for processing three-dimensional images |
| JP2003298920A (ja) | 2002-03-29 | 2003-10-17 | Fuji Photo Film Co Ltd | デジタルカメラ |
| US20030188659A1 (en) | 2002-04-05 | 2003-10-09 | Canadian Bank Note Company Limited | Method and apparatus for reproducing a color image based on monochrome images derived therefrom |
| US7215364B2 (en) | 2002-04-10 | 2007-05-08 | Panx Imaging, Inc. | Digital imaging system using overlapping images to formulate a seamless composite image and implemented using either a digital imaging sensor array |
| US6856314B2 (en) | 2002-04-18 | 2005-02-15 | Stmicroelectronics, Inc. | Method and system for 3D reconstruction of multiple views with altering search path and occlusion modeling |
| US6917702B2 (en) | 2002-04-24 | 2005-07-12 | Mitsubishi Electric Research Labs, Inc. | Calibration of multiple cameras for a turntable-based 3D scanner |
| JP3567327B2 (ja) | 2002-05-08 | 2004-09-22 | 富士写真光機株式会社 | 撮像レンズ |
| US6783900B2 (en) | 2002-05-13 | 2004-08-31 | Micron Technology, Inc. | Color filter imaging array and method of formation |
| JP2004048644A (ja) | 2002-05-21 | 2004-02-12 | Sony Corp | 情報処理装置、情報処理システム、及び対話者表示方法 |
| JP2003347192A (ja) | 2002-05-24 | 2003-12-05 | Toshiba Corp | エネルギービーム露光方法および露光装置 |
| US7013318B2 (en) | 2002-05-29 | 2006-03-14 | Raytheon Company | Method and system for encapsulating cells |
| US7129981B2 (en) | 2002-06-27 | 2006-10-31 | International Business Machines Corporation | Rendering system and method for images having differing foveal area and peripheral view area resolutions |
| JP2004088713A (ja) | 2002-06-27 | 2004-03-18 | Olympus Corp | 撮像レンズユニットおよび撮像装置 |
| JP4147059B2 (ja) | 2002-07-03 | 2008-09-10 | 株式会社トプコン | キャリブレーション用データ測定装置、測定方法及び測定プログラム、並びにコンピュータ読取可能な記録媒体、画像データ処理装置 |
| JP2004037924A (ja) | 2002-07-04 | 2004-02-05 | Minolta Co Ltd | 撮像装置 |
| US8111289B2 (en) | 2002-07-15 | 2012-02-07 | Magna B.S.P. Ltd. | Method and apparatus for implementing multipurpose monitoring system |
| US20040012689A1 (en) | 2002-07-16 | 2004-01-22 | Fairchild Imaging | Charge coupled devices in tiled arrays |
| JP2004078296A (ja) | 2002-08-09 | 2004-03-11 | Victor Co Of Japan Ltd | 画像生成装置 |
| US20070166447A1 (en) | 2002-08-27 | 2007-07-19 | Select Milk Producers, Inc. | Dairy compositions and method of making |
| US7639838B2 (en) | 2002-08-30 | 2009-12-29 | Jerry C Nims | Multi-dimensional images system for digital image input and output |
| US7447380B2 (en) | 2002-09-12 | 2008-11-04 | Inoe Technologies, Llc | Efficient method for creating a viewpoint from plurality of images |
| US20040050104A1 (en) | 2002-09-18 | 2004-03-18 | Eastman Kodak Company | Forming information transfer lens array |
| US20040207836A1 (en) | 2002-09-27 | 2004-10-21 | Rajeshwar Chhibber | High dynamic range optical inspection system and method |
| US7084904B2 (en) | 2002-09-30 | 2006-08-01 | Microsoft Corporation | Foveated wide-angle imaging system and method for capturing and viewing wide-angle images in real time |
| US7477781B1 (en) | 2002-10-10 | 2009-01-13 | Dalsa Corporation | Method and apparatus for adaptive pixel correction of multi-color matrix |
| US20040075654A1 (en) | 2002-10-16 | 2004-04-22 | Silicon Integrated Systems Corp. | 3-D digital image processor and method for visibility processing for use in the same |
| JP4171786B2 (ja) | 2002-10-25 | 2008-10-29 | コニカミノルタホールディングス株式会社 | 画像入力装置 |
| US7742088B2 (en) | 2002-11-19 | 2010-06-22 | Fujifilm Corporation | Image sensor and digital camera |
| AU2003298681A1 (en) | 2002-11-21 | 2004-06-18 | Vision Iii Imaging, Inc. | Critical alignment of parallax images for autostereoscopic display |
| US20040105021A1 (en) | 2002-12-02 | 2004-06-03 | Bolymedia Holdings Co., Ltd. | Color filter patterns for image sensors |
| US20040114807A1 (en) | 2002-12-13 | 2004-06-17 | Dan Lelescu | Statistical representation and coding of light field data |
| US6878918B2 (en) | 2003-01-09 | 2005-04-12 | Dialdg Semiconductor Gmbh | APS pixel with reset noise suppression and programmable binning capability |
| US7340099B2 (en) | 2003-01-17 | 2008-03-04 | University Of New Brunswick | System and method for image fusion |
| DE10301941B4 (de) | 2003-01-20 | 2005-11-17 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Kamera und Verfahren zur optischen Aufnahme eines Schirms |
| US7379592B2 (en) | 2003-01-21 | 2008-05-27 | United States Of America As Represented By The Secretary Of The Navy | System and method for significant dust detection and enhancement of dust images over land and ocean |
| WO2004068862A1 (ja) | 2003-01-31 | 2004-08-12 | The Circle For The Promotion Of Science And Engineering | 高解像度カラー画像生成方法,高解像度カラー画像生成装置及び高解像度カラー画像生成プログラム |
| US7005637B2 (en) | 2003-01-31 | 2006-02-28 | Intevac, Inc. | Backside thinning of image array devices |
| US7308157B2 (en) | 2003-02-03 | 2007-12-11 | Photon Dynamics, Inc. | Method and apparatus for optical inspection of a display |
| JP4676331B2 (ja) | 2003-02-04 | 2011-04-27 | パナソニック株式会社 | コード変換方法及びその装置 |
| US7595817B1 (en) | 2003-02-12 | 2009-09-29 | The Research Foundation Of State University Of New York | Linear system based, qualitative independent motion detection from compressed MPEG surveillance video |
| US20040165090A1 (en) | 2003-02-13 | 2004-08-26 | Alex Ning | Auto-focus (AF) lens and process |
| JP2004266369A (ja) | 2003-02-21 | 2004-09-24 | Sony Corp | 固体撮像装置およびその駆動方法 |
| US7106914B2 (en) | 2003-02-27 | 2006-09-12 | Microsoft Corporation | Bayesian image super resolution |
| US7148861B2 (en) | 2003-03-01 | 2006-12-12 | The Boeing Company | Systems and methods for providing enhanced vision imaging with decreased latency |
| US8218052B2 (en) | 2003-03-07 | 2012-07-10 | Iconix Video, Inc. | High frame rate high definition imaging system and method |
| US7218320B2 (en) | 2003-03-13 | 2007-05-15 | Sony Corporation | System and method for capturing facial and body motion |
| US6801719B1 (en) | 2003-03-14 | 2004-10-05 | Eastman Kodak Company | Camera using beam splitter with micro-lens image amplification |
| US7206449B2 (en) | 2003-03-19 | 2007-04-17 | Mitsubishi Electric Research Laboratories, Inc. | Detecting silhouette edges in images |
| US7425984B2 (en) | 2003-04-04 | 2008-09-16 | Stmicroelectronics, Inc. | Compound camera and methods for implementing auto-focus, depth-of-field and high-resolution functions |
| US7373005B2 (en) | 2003-04-10 | 2008-05-13 | Micron Technology, Inc. | Compression system for integrated sensor devices |
| US7221445B2 (en) | 2003-04-11 | 2007-05-22 | Metrolaser, Inc. | Methods and apparatus for detecting and quantifying surface characteristics and material conditions using light scattering |
| US7097311B2 (en) | 2003-04-19 | 2006-08-29 | University Of Kentucky Research Foundation | Super-resolution overlay in multi-projector displays |
| US6958862B1 (en) | 2003-04-21 | 2005-10-25 | Foveon, Inc. | Use of a lenslet array with a vertically stacked pixel array |
| US7428330B2 (en) | 2003-05-02 | 2008-09-23 | Microsoft Corporation | Cyclopean virtual imaging via generalized probabilistic smoothing |
| SE525665C2 (sv) | 2003-05-08 | 2005-03-29 | Forskarpatent I Syd Ab | Matris av pixlar samt elektronisk bildanordning innefattande nämnda matris av pixlar |
| KR20060115961A (ko) | 2003-05-13 | 2006-11-13 | 익시이드 이미징 리미티드 | 이미지 해상도를 향상시키기 위한 광학적 방법 및 시스템 |
| JP2004348674A (ja) | 2003-05-26 | 2004-12-09 | Noritsu Koki Co Ltd | 領域検出方法及びその装置 |
| US20040239782A1 (en) | 2003-05-30 | 2004-12-02 | William Equitz | System and method for efficient improvement of image quality in cameras |
| US20040240052A1 (en) | 2003-06-02 | 2004-12-02 | Pentax Corporation | Multiple-focal imaging device, and a mobile device having the multiple-focal-length imaging device |
| JP2004363478A (ja) | 2003-06-06 | 2004-12-24 | Sanyo Electric Co Ltd | 半導体装置の製造方法 |
| KR100539234B1 (ko) | 2003-06-11 | 2005-12-27 | 삼성전자주식회사 | 투명 고분자 소재를 적용한 씨모스형 이미지 센서 모듈 및그 제조방법 |
| US7362918B2 (en) | 2003-06-24 | 2008-04-22 | Microsoft Corporation | System and method for de-noising multiple copies of a signal |
| US6818934B1 (en) | 2003-06-24 | 2004-11-16 | Omnivision International Holding Ltd | Image sensor having micro-lens array separated with trench structures and method of making |
| US7495694B2 (en) | 2004-07-28 | 2009-02-24 | Microsoft Corp. | Omni-directional camera with calibration and up look angle improvements |
| US20050117015A1 (en) | 2003-06-26 | 2005-06-02 | Microsoft Corp. | Foveated panoramic camera system |
| US7315630B2 (en) | 2003-06-26 | 2008-01-01 | Fotonation Vision Limited | Perfecting of digital image rendering parameters within rendering devices using face detection |
| US7388609B2 (en) | 2003-07-07 | 2008-06-17 | Zoran Corporation | Dynamic identification and correction of defective pixels |
| US7090135B2 (en) | 2003-07-07 | 2006-08-15 | Symbol Technologies, Inc. | Imaging arrangement and barcode imager for imaging an optical code or target at a plurality of focal planes |
| US20050007461A1 (en) | 2003-07-11 | 2005-01-13 | Novatek Microelectronic Co. | Correction system and method of analog front end |
| JP3731589B2 (ja) | 2003-07-18 | 2006-01-05 | ソニー株式会社 | 撮像装置と同期信号発生装置 |
| US7233737B2 (en) | 2003-08-12 | 2007-06-19 | Micron Technology, Inc. | Fixed-focus camera module and associated method of assembly |
| US20050111705A1 (en) | 2003-08-26 | 2005-05-26 | Roman Waupotitsch | Passive stereo sensing for 3D facial shape biometrics |
| US7643703B2 (en) | 2003-09-03 | 2010-01-05 | Battelle Energy Alliance, Llc | Image change detection systems, methods, and articles of manufacture |
| JP2007504562A (ja) | 2003-09-04 | 2007-03-01 | サーノフ コーポレーション | １つの画像から虹彩認証を行う方法および装置 |
| WO2005027038A2 (en) | 2003-09-08 | 2005-03-24 | Honda Motor Co., Ltd. | Systems and methods for directly generating a view using a layered approach |
| JP4015090B2 (ja) | 2003-09-08 | 2007-11-28 | 株式会社東芝 | 立体表示装置および画像表示方法 |
| JP4020850B2 (ja) | 2003-10-06 | 2007-12-12 | 株式会社東芝 | 磁気記録媒体の製造方法、製造装置、インプリントスタンパ及びその製造方法 |
| US7079251B2 (en) | 2003-10-16 | 2006-07-18 | 4D Technology Corporation | Calibration and error correction in multi-channel imaging |
| EP2466871A3 (en) | 2003-10-22 | 2017-05-03 | Panasonic Intellectual Property Management Co., Ltd. | Imaging apparatus and method for producing the same, portable equipment, and imaging sensor and method for producing the same. |
| US7840067B2 (en) | 2003-10-24 | 2010-11-23 | Arcsoft, Inc. | Color matching and color correction for images forming a panoramic image |
| EP1686810A4 (en) | 2003-11-11 | 2009-06-03 | Olympus Corp | DEVICE FOR ENTERING MULTISPECTRAL IMAGES |
| JP4235539B2 (ja) | 2003-12-01 | 2009-03-11 | 独立行政法人科学技術振興機構 | 画像構成装置及び画像構成方法 |
| US20050128509A1 (en) | 2003-12-11 | 2005-06-16 | Timo Tokkonen | Image creating method and imaging device |
| US7328288B2 (en) | 2003-12-11 | 2008-02-05 | Canon Kabushiki Kaisha | Relay apparatus for relaying communication from CPU to peripheral device |
| US7453510B2 (en) | 2003-12-11 | 2008-11-18 | Nokia Corporation | Imaging device |
| JP3859158B2 (ja) | 2003-12-16 | 2006-12-20 | セイコーエプソン株式会社 | マイクロレンズ用凹部付き基板、マイクロレンズ基板、透過型スクリーン、およびリア型プロジェクタ |
| US7511749B2 (en) | 2003-12-18 | 2009-03-31 | Aptina Imaging Corporation | Color image sensor having imaging element array forming images on respective regions of sensor elements |
| US7123298B2 (en) | 2003-12-18 | 2006-10-17 | Avago Technologies Sensor Ip Pte. Ltd. | Color image sensor with imaging elements imaging on respective regions of sensor elements |
| US7376250B2 (en) | 2004-01-05 | 2008-05-20 | Honda Motor Co., Ltd. | Apparatus, method and program for moving object detection |
| US7496293B2 (en) | 2004-01-14 | 2009-02-24 | Elbit Systems Ltd. | Versatile camera for various visibility conditions |
| US7773143B2 (en) | 2004-04-08 | 2010-08-10 | Tessera North America, Inc. | Thin color camera having sub-pixel resolution |
| US8134637B2 (en) | 2004-01-28 | 2012-03-13 | Microsoft Corporation | Method and system to increase X-Y resolution in a depth (Z) camera using red, blue, green (RGB) sensing |
| US7453688B2 (en) | 2004-01-29 | 2008-11-18 | Inventec Corporation | Multimedia device for portable computers |
| US7774044B2 (en) | 2004-02-17 | 2010-08-10 | Siemens Medical Solutions Usa, Inc. | System and method for augmented reality navigation in a medical intervention procedure |
| US20050185711A1 (en) | 2004-02-20 | 2005-08-25 | Hanspeter Pfister | 3D television system and method |
| SE527889C2 (sv) | 2004-03-17 | 2006-07-04 | Thomas Jeff Adamo | Apparat för avbildning av ett objekt |
| JP2006047944A (ja) | 2004-03-24 | 2006-02-16 | Fuji Photo Film Co Ltd | 撮影レンズ |
| JP4468442B2 (ja) | 2004-03-31 | 2010-05-26 | キヤノン株式会社 | イメージングシステム性能測定 |
| US7633511B2 (en) | 2004-04-01 | 2009-12-15 | Microsoft Corporation | Pop-up light field |
| JP4665422B2 (ja) | 2004-04-02 | 2011-04-06 | ソニー株式会社 | 撮像装置 |
| US8634014B2 (en) | 2004-04-05 | 2014-01-21 | Hewlett-Packard Development Company, L.P. | Imaging device analysis systems and imaging device analysis methods |
| US7091531B2 (en) | 2004-04-07 | 2006-08-15 | Micron Technology, Inc. | High dynamic range pixel amplifier |
| US8049806B2 (en) | 2004-09-27 | 2011-11-01 | Digitaloptics Corporation East | Thin camera and associated methods |
| US7620265B1 (en) | 2004-04-12 | 2009-11-17 | Equinox Corporation | Color invariant image fusion of visible and thermal infrared video |
| JP2005303694A (ja) | 2004-04-13 | 2005-10-27 | Konica Minolta Holdings Inc | 複眼撮像装置 |
| US7292735B2 (en) | 2004-04-16 | 2007-11-06 | Microsoft Corporation | Virtual image artifact detection |
| US7773404B2 (en) | 2005-01-07 | 2010-08-10 | Invisage Technologies, Inc. | Quantum dot optical devices with enhanced gain and sensitivity and methods of making same |
| US8218625B2 (en) | 2004-04-23 | 2012-07-10 | Dolby Laboratories Licensing Corporation | Encoding, decoding and representing high dynamic range images |
| US20060034531A1 (en) | 2004-05-10 | 2006-02-16 | Seiko Epson Corporation | Block noise level evaluation method for compressed images and control method of imaging device utilizing the evaluation method |
| JP4691552B2 (ja) | 2004-05-14 | 2011-06-01 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 乳癌診断システム及び方法 |
| JP4610411B2 (ja) | 2004-05-17 | 2011-01-12 | ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド | 物体を含むシーンの様式化された画像を生成する方法 |
| US7355793B2 (en) | 2004-05-19 | 2008-04-08 | The Regents Of The University Of California | Optical system applicable to improving the dynamic range of Shack-Hartmann sensors |
| US20050265633A1 (en) | 2004-05-25 | 2005-12-01 | Sarnoff Corporation | Low latency pyramid processor for image processing systems |
| JP2005354124A (ja) | 2004-06-08 | 2005-12-22 | Seiko Epson Corp | 複数の低画素密度画像からの高画素密度画像の生成 |
| US20060013318A1 (en) | 2004-06-22 | 2006-01-19 | Jennifer Webb | Video error detection, recovery, and concealment |
| US7330593B2 (en) | 2004-06-25 | 2008-02-12 | Stmicroelectronics, Inc. | Segment based image matching method and system |
| JP4479373B2 (ja) | 2004-06-28 | 2010-06-09 | ソニー株式会社 | イメージセンサ |
| JP4408755B2 (ja) | 2004-06-28 | 2010-02-03 | Ｎｅｃエレクトロニクス株式会社 | デインタリーブ装置、移動通信端末及びデインタリーブ方法 |
| US7447382B2 (en) | 2004-06-30 | 2008-11-04 | Intel Corporation | Computing a higher resolution image from multiple lower resolution images using model-based, robust Bayesian estimation |
| JP2006033228A (ja) | 2004-07-14 | 2006-02-02 | Victor Co Of Japan Ltd | 画像撮像装置 |
| JP2006033493A (ja) | 2004-07-16 | 2006-02-02 | Matsushita Electric Ind Co Ltd | 撮像装置 |
| US7189954B2 (en) | 2004-07-19 | 2007-03-13 | Micron Technology, Inc. | Microelectronic imagers with optical devices and methods of manufacturing such microelectronic imagers |
| JP2006033570A (ja) | 2004-07-20 | 2006-02-02 | Olympus Corp | 画像生成装置 |
| US8027531B2 (en) | 2004-07-21 | 2011-09-27 | The Board Of Trustees Of The Leland Stanford Junior University | Apparatus and method for capturing a scene using staggered triggering of dense camera arrays |
| GB0416496D0 (en) | 2004-07-23 | 2004-08-25 | Council Of The Central Lab Of | Imaging device |
| US7068432B2 (en) | 2004-07-27 | 2006-06-27 | Micron Technology, Inc. | Controlling lens shape in a microlens array |
| US20060023197A1 (en) | 2004-07-27 | 2006-02-02 | Joel Andrew H | Method and system for automated production of autostereoscopic and animated prints and transparencies from digital and non-digital media |
| DE102004036469A1 (de) | 2004-07-28 | 2006-02-16 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Kameramodul, hierauf basierendes Array und Verfahren zu dessen Herstellung |
| US7333652B2 (en) | 2004-08-03 | 2008-02-19 | Sony Corporation | System and method for efficiently performing a depth map recovery procedure |
| US20060028476A1 (en) | 2004-08-03 | 2006-02-09 | Irwin Sobel | Method and system for providing extensive coverage of an object using virtual cameras |
| JP2006050263A (ja) | 2004-08-04 | 2006-02-16 | Olympus Corp | 画像生成方法および装置 |
| WO2006017771A1 (en) | 2004-08-06 | 2006-02-16 | University Of Washington | Variable fixation viewing distance scanned light displays |
| US7430339B2 (en) | 2004-08-09 | 2008-09-30 | Microsoft Corporation | Border matting by dynamic programming |
| US7609302B2 (en) | 2004-08-11 | 2009-10-27 | Micron Technology, Inc. | Correction of non-uniform sensitivity in an image array |
| US7645635B2 (en) | 2004-08-16 | 2010-01-12 | Micron Technology, Inc. | Frame structure and semiconductor attach process for use therewith for fabrication of image sensor packages and the like, and resulting packages |
| US7061693B2 (en) | 2004-08-16 | 2006-06-13 | Xceed Imaging Ltd. | Optical method and system for extended depth of focus |
| JP2008511080A (ja) | 2004-08-23 | 2008-04-10 | サーノフ コーポレーション | 融合画像を形成するための方法および装置 |
| WO2006026354A2 (en) | 2004-08-25 | 2006-03-09 | Newport Imaging Corporation | Apparatus for multiple camera devices and method of operating same |
| US7795577B2 (en) | 2004-08-25 | 2010-09-14 | Richard Ian Olsen | Lens frame and optical focus assembly for imager module |
| US8124929B2 (en) | 2004-08-25 | 2012-02-28 | Protarius Filo Ag, L.L.C. | Imager module optical focus and assembly method |
| US7916180B2 (en) | 2004-08-25 | 2011-03-29 | Protarius Filo Ag, L.L.C. | Simultaneous multiple field of view digital cameras |
| US7564019B2 (en) | 2005-08-25 | 2009-07-21 | Richard Ian Olsen | Large dynamic range cameras |
| JP4057597B2 (ja) | 2004-08-26 | 2008-03-05 | 独立行政法人科学技術振興機構 | 光学素子 |
| CN100489599C (zh) | 2004-08-26 | 2009-05-20 | 财团法人秋田企业活性化中心 | 液晶透镜 |
| US20060046204A1 (en) | 2004-08-31 | 2006-03-02 | Sharp Laboratories Of America, Inc. | Directly patternable microlens |
| JP2006080852A (ja) | 2004-09-09 | 2006-03-23 | Olympus Corp | 画像処理装置、電子カメラ、スキャナ、画像処理方法、および画像処理プログラム |
| US20060055811A1 (en) | 2004-09-14 | 2006-03-16 | Frtiz Bernard S | Imaging system having modules with adaptive optical elements |
| US7145124B2 (en) | 2004-09-15 | 2006-12-05 | Raytheon Company | Multispectral imaging chip using photonic crystals |
| JP4202991B2 (ja) | 2004-09-29 | 2008-12-24 | 株式会社東芝 | 立体画像用データの記録方法及び表示再生方法 |
| JP3977368B2 (ja) | 2004-09-30 | 2007-09-19 | クラリオン株式会社 | 駐車支援システム |
| DE102004049676A1 (de) | 2004-10-12 | 2006-04-20 | Infineon Technologies Ag | Verfahren zur rechnergestützten Bewegungsschätzung in einer Vielzahl von zeitlich aufeinander folgenden digitalen Bildern, Anordnung zur rechnergestützten Bewegungsschätzung, Computerprogramm-Element und computerlesbares Speichermedium |
| JP2006119368A (ja) | 2004-10-21 | 2006-05-11 | Konica Minolta Opto Inc | 広角光学系、撮像レンズ装置、モニタカメラ及びデジタル機器 |
| JP4534715B2 (ja) | 2004-10-22 | 2010-09-01 | 株式会社ニコン | 撮像装置および画像処理プログラム |
| DE102004052994C5 (de) | 2004-11-03 | 2010-08-26 | Vistec Electron Beam Gmbh | Multistrahlmodulator für einen Partikelstrahl und Verwendung des Multistrahlmodulators zur maskenlosen Substratsstrukturierung |
| KR100603601B1 (ko) | 2004-11-08 | 2006-07-24 | 한국전자통신연구원 | 다시점 콘텐츠 생성 장치 및 그 방법 |
| US7598996B2 (en) | 2004-11-16 | 2009-10-06 | Aptina Imaging Corporation | System and method for focusing a digital camera |
| JP2006165795A (ja) | 2004-12-03 | 2006-06-22 | Canon Inc | 画像形成装置およびその方法 |
| US7538326B2 (en) | 2004-12-03 | 2009-05-26 | Fluke Corporation | Visible light and IR combined image camera with a laser pointer |
| US7483065B2 (en) | 2004-12-15 | 2009-01-27 | Aptina Imaging Corporation | Multi-lens imaging systems and methods using optical filters having mosaic patterns |
| US8854486B2 (en) | 2004-12-17 | 2014-10-07 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for processing multiview videos for view synthesis using skip and direct modes |
| US7728878B2 (en) | 2004-12-17 | 2010-06-01 | Mitsubishi Electric Research Labortories, Inc. | Method and system for processing multiview videos for view synthesis using side information |
| US20060139475A1 (en) | 2004-12-23 | 2006-06-29 | Esch John W | Multiple field of view camera arrays |
| US20110102553A1 (en) | 2007-02-28 | 2011-05-05 | Tessera Technologies Ireland Limited | Enhanced real-time face models from stereo imaging |
| JP2008537190A (ja) | 2005-01-07 | 2008-09-11 | ジェスチャー テック，インコーポレイテッド | 赤外線パターンを照射することによる対象物の三次元像の生成 |
| US7073908B1 (en) | 2005-01-11 | 2006-07-11 | Anthony Italo Provitola | Enhancement of depth perception |
| US7671321B2 (en) | 2005-01-18 | 2010-03-02 | Rearden, Llc | Apparatus and method for capturing still images and video using coded lens imaging techniques |
| US7767949B2 (en) | 2005-01-18 | 2010-08-03 | Rearden, Llc | Apparatus and method for capturing still images and video using coded aperture techniques |
| US7602997B2 (en) | 2005-01-19 | 2009-10-13 | The United States Of America As Represented By The Secretary Of The Army | Method of super-resolving images |
| US8700729B2 (en) | 2005-01-21 | 2014-04-15 | Robin Dua | Method and apparatus for managing credentials through a wireless network |
| US7715590B2 (en) * | 2005-02-02 | 2010-05-11 | Intergraph Technologies Company | Real-time image detection using polarization data |
| US7408627B2 (en) | 2005-02-08 | 2008-08-05 | Canesta, Inc. | Methods and system to quantify depth data accuracy in three-dimensional sensors using single frame capture |
| US9597024B2 (en) * | 2005-02-09 | 2017-03-21 | Medici Instruments Llc | Methods and apparatuses for noninvasive determinations of analytes |
| US7965314B1 (en) | 2005-02-09 | 2011-06-21 | Flir Systems, Inc. | Foveal camera systems and methods |
| US7561191B2 (en) | 2005-02-18 | 2009-07-14 | Eastman Kodak Company | Camera phone using multiple lenses and image sensors to provide an extended zoom range |
| US20060187322A1 (en) | 2005-02-18 | 2006-08-24 | Janson Wilbert F Jr | Digital camera using multiple fixed focal length lenses and multiple image sensors to provide an extended zoom range |
| EP1877726B1 (en) | 2005-03-11 | 2011-07-27 | Creaform Inc. | Auto-referenced system and apparatus for three-dimensional scanning |
| JP2006258930A (ja) | 2005-03-15 | 2006-09-28 | Nikon Corp | マイクロレンズの製造方法、及びマイクロレンズ用の型の製造方法 |
| US7692147B2 (en) | 2005-03-21 | 2010-04-06 | Massachusetts Institute Of Technology | Real-time, continuous-wave terahertz imaging using a microbolometer focal-plane array |
| JPWO2006100903A1 (ja) | 2005-03-23 | 2008-08-28 | 松下電器産業株式会社 | 車載撮像装置 |
| US7297917B2 (en) | 2005-03-24 | 2007-11-20 | Micron Technology, Inc. | Readout technique for increasing or maintaining dynamic range in image sensors |
| US7880794B2 (en) | 2005-03-24 | 2011-02-01 | Panasonic Corporation | Imaging device including a plurality of lens elements and a imaging sensor |
| US7683950B2 (en) | 2005-04-26 | 2010-03-23 | Eastman Kodak Company | Method and apparatus for correcting a channel dependent color aberration in a digital image |
| US7956871B2 (en) | 2005-04-28 | 2011-06-07 | Samsung Electronics Co., Ltd. | Color disparity correction in image sensors methods and circuits |
| US7656428B2 (en) | 2005-05-05 | 2010-02-02 | Avago Technologies General Ip (Singapore) Pte. Ltd. | Imaging device employing optical motion sensor as gyroscope |
| US7876874B2 (en) | 2005-05-18 | 2011-01-25 | Hitachi Medical Corporation | Radiographing apparatus and image processing program |
| US8411182B2 (en) | 2005-06-02 | 2013-04-02 | Xerox Corporation | System for controlling integration times of photosensors in an imaging device |
| US7968888B2 (en) | 2005-06-08 | 2011-06-28 | Panasonic Corporation | Solid-state image sensor and manufacturing method thereof |
| JP2006345233A (ja) | 2005-06-09 | 2006-12-21 | Fujifilm Holdings Corp | 撮像装置及びデジタルカメラ |
| KR100813961B1 (ko) | 2005-06-14 | 2008-03-14 | 삼성전자주식회사 | 영상 수신장치 |
| US7364306B2 (en) | 2005-06-20 | 2008-04-29 | Digital Display Innovations, Llc | Field sequential light source modulation for a digital display system |
| JP4826152B2 (ja) | 2005-06-23 | 2011-11-30 | 株式会社ニコン | 画像合成方法及び撮像装置 |
| US20070102622A1 (en) | 2005-07-01 | 2007-05-10 | Olsen Richard I | Apparatus for multiple camera devices and method of operating same |
| CN103110635A (zh) | 2005-07-04 | 2013-05-22 | 海波因特制药有限责任公司 | 组胺h3受体拮抗剂 |
| JP4577126B2 (ja) | 2005-07-08 | 2010-11-10 | オムロン株式会社 | ステレオ対応づけのための投光パターンの生成装置及び生成方法 |
| WO2007014293A1 (en) | 2005-07-25 | 2007-02-01 | The Regents Of The University Of California | Digital imaging system and method to produce mosaic images |
| CN100579185C (zh) | 2005-07-26 | 2010-01-06 | 松下电器产业株式会社 | 复眼方式的摄像装置 |
| CA2553473A1 (en) | 2005-07-26 | 2007-01-26 | Wa James Tam | Generating a depth map from a tw0-dimensional source image for stereoscopic and multiview imaging |
| US7969488B2 (en) | 2005-08-03 | 2011-06-28 | Micron Technologies, Inc. | Correction of cluster defects in imagers |
| US7929801B2 (en) | 2005-08-15 | 2011-04-19 | Sony Corporation | Depth information for auto focus using two pictures and two-dimensional Gaussian scale space theory |
| US20070041391A1 (en) | 2005-08-18 | 2007-02-22 | Micron Technology, Inc. | Method and apparatus for controlling imager output data rate |
| US20070040922A1 (en) | 2005-08-22 | 2007-02-22 | Micron Technology, Inc. | HDR/AB on multi-way shared pixels |
| US7964835B2 (en) | 2005-08-25 | 2011-06-21 | Protarius Filo Ag, L.L.C. | Digital cameras with direct luminance and chrominance detection |
| US20070258006A1 (en) | 2005-08-25 | 2007-11-08 | Olsen Richard I | Solid state camera optics frame and assembly |
| US20070083114A1 (en) | 2005-08-26 | 2007-04-12 | The University Of Connecticut | Systems and methods for image resolution enhancement |
| JP4804856B2 (ja) | 2005-09-29 | 2011-11-02 | 富士フイルム株式会社 | 単焦点レンズ |
| US8009209B2 (en) | 2005-09-30 | 2011-08-30 | Simon Fraser University | Methods and apparatus for detecting defects in imaging arrays by image analysis |
| US7723662B2 (en) | 2005-10-07 | 2010-05-25 | The Board Of Trustees Of The Leland Stanford Junior University | Microscopy arrangements and approaches |
| US8300085B2 (en) | 2005-10-14 | 2012-10-30 | Microsoft Corporation | Occlusion handling in stereo imaging |
| JP4773179B2 (ja) | 2005-10-14 | 2011-09-14 | 富士フイルム株式会社 | 撮像装置 |
| US7806604B2 (en) | 2005-10-20 | 2010-10-05 | Honeywell International Inc. | Face detection and tracking in a wide field of view |
| KR100730406B1 (ko) | 2005-11-16 | 2007-06-19 | 광운대학교 산학협력단 | 중간 요소 영상을 이용한 입체 영상 표시 장치 |
| FR2893428B1 (fr) * | 2005-11-17 | 2008-01-11 | Univ Bourgogne | Procede et systeme de reconstruction de surfaces d'objets par imagerie de polarisation |
| JP4389865B2 (ja) | 2005-11-17 | 2009-12-24 | ソニー株式会社 | 固体撮像素子の信号処理装置および信号処理方法並びに撮像装置 |
| JP4943695B2 (ja) | 2005-11-21 | 2012-05-30 | 富士フイルム株式会社 | 多焦点カメラの撮影光学系 |
| US7599547B2 (en) | 2005-11-30 | 2009-10-06 | Microsoft Corporation | Symmetric stereo model for handling occlusion |
| EP1958458B1 (en) | 2005-11-30 | 2016-08-17 | Telecom Italia S.p.A. | Method for determining scattered disparity fields in stereo vision |
| JP4516516B2 (ja) | 2005-12-07 | 2010-08-04 | 本田技研工業株式会社 | 人物検出装置、人物検出方法及び人物検出プログラム |
| TWI296480B (en) | 2005-12-19 | 2008-05-01 | Quanta Comp Inc | Image camera of an electronic device |
| JP4501855B2 (ja) | 2005-12-22 | 2010-07-14 | ソニー株式会社 | 画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラム |
| JP2007180730A (ja) | 2005-12-27 | 2007-07-12 | Eastman Kodak Co | デジタルカメラおよびデータ管理方法 |
| KR100789441B1 (ko) | 2005-12-30 | 2007-12-28 | 엘에스산전 주식회사 | 인버터의 전류 검출 장치 및 방법 |
| JP2009522591A (ja) | 2005-12-30 | 2009-06-11 | ノキア コーポレイション | 関心領域を追跡することによってビデオカメラの自動焦点を制御するための方法および装置 |
| US7855786B2 (en) | 2006-01-09 | 2010-12-21 | Bae Systems Spectral Solutions Llc | Single camera multi-spectral imager |
| US7675080B2 (en) | 2006-01-10 | 2010-03-09 | Aptina Imaging Corp. | Uniform color filter arrays in a moat |
| JP4147273B2 (ja) | 2006-01-20 | 2008-09-10 | 松下電器産業株式会社 | 複眼方式のカメラモジュール及びその製造方法 |
| DE102006004802B4 (de) | 2006-01-23 | 2008-09-25 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Bilderfassungssystem und Verfahren zur Herstellung mindestens eines Bilderfassungssystems |
| US7856125B2 (en) | 2006-01-31 | 2010-12-21 | University Of Southern California | 3D face reconstruction from 2D images |
| JP4834412B2 (ja) | 2006-02-03 | 2011-12-14 | 富士フイルム株式会社 | 固体撮像装置およびこれを用いた電子内視鏡 |
| US8075604B2 (en) | 2006-02-16 | 2011-12-13 | Warsaw Orthopedic, Inc. | Multi-thread bone screw and method |
| US20070201859A1 (en) | 2006-02-24 | 2007-08-30 | Logitech Europe S.A. | Method and system for use of 3D sensors in an image capture device |
| US7391572B2 (en) | 2006-03-01 | 2008-06-24 | International Business Machines Corporation | Hybrid optical/electronic structures fabricated by a common molding process |
| US7924483B2 (en) | 2006-03-06 | 2011-04-12 | Smith Scott T | Fused multi-array color image sensor |
| DE102006011707B4 (de) | 2006-03-14 | 2010-11-18 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Verfahren und Vorrichtung zum Erzeugen einer strukturfreien fiberskopischen Aufnahme |
| US7616254B2 (en) | 2006-03-16 | 2009-11-10 | Sony Corporation | Simple method for calculating camera defocus from an image scene |
| US8360574B2 (en) | 2006-03-20 | 2013-01-29 | High Performance Optics, Inc. | High performance selective light wavelength filtering providing improved contrast sensitivity |
| JP4615468B2 (ja) | 2006-03-23 | 2011-01-19 | 富士フイルム株式会社 | 撮影装置 |
| US7606484B1 (en) | 2006-03-23 | 2009-10-20 | Flir Systems, Inc. | Infrared and near-infrared camera hyperframing |
| CN101046882A (zh) | 2006-03-27 | 2007-10-03 | 谷京陆 | 可直接输出的混合分辨率图像制作技术 |
| US7342212B2 (en) | 2006-03-31 | 2008-03-11 | Micron Technology, Inc. | Analog vertical sub-sampling in an active pixel sensor (APS) image sensor |
| US7916934B2 (en) | 2006-04-04 | 2011-03-29 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for acquiring, encoding, decoding and displaying 3D light fields |
| US8044994B2 (en) | 2006-04-04 | 2011-10-25 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for decoding and displaying 3D light fields |
| TW200740212A (en) | 2006-04-10 | 2007-10-16 | Sony Taiwan Ltd | A stitching accuracy improvement method with lens distortion correction |
| US20070242141A1 (en) | 2006-04-14 | 2007-10-18 | Sony Corporation And Sony Electronics Inc. | Adjustable neutral density filter system for dynamic range compression from scene to imaging sensor |
| CN101064780B (zh) | 2006-04-30 | 2012-07-04 | 台湾新力国际股份有限公司 | 利用透镜失真校正的影像接合准确度改善方法及装置 |
| US20070263114A1 (en) | 2006-05-01 | 2007-11-15 | Microalign Technologies, Inc. | Ultra-thin digital imaging device of high resolution for mobile electronic devices and method of imaging |
| US7580620B2 (en) | 2006-05-08 | 2009-08-25 | Mitsubishi Electric Research Laboratories, Inc. | Method for deblurring images using optimized temporal coding patterns |
| US9736346B2 (en) | 2006-05-09 | 2017-08-15 | Stereo Display, Inc | Imaging system improving image resolution of the system with low resolution image sensor |
| US8350957B2 (en) * | 2006-05-09 | 2013-01-08 | Technion Research And Development Foundation Ltd. | Imaging systems and methods for recovering object visibility |
| US7889264B2 (en) | 2006-05-12 | 2011-02-15 | Ricoh Co., Ltd. | End-to-end design of superresolution electro-optic imaging systems |
| US7916362B2 (en) | 2006-05-22 | 2011-03-29 | Eastman Kodak Company | Image sensor with improved light sensitivity |
| US8139142B2 (en) | 2006-06-01 | 2012-03-20 | Microsoft Corporation | Video manipulation of red, green, blue, distance (RGB-Z) data including segmentation, up-sampling, and background substitution techniques |
| IES20070229A2 (en) | 2006-06-05 | 2007-10-03 | Fotonation Vision Ltd | Image acquisition method and apparatus |
| US8081207B2 (en) | 2006-06-06 | 2011-12-20 | Point Grey Research Inc. | High accuracy stereo camera |
| US20070177004A1 (en) | 2006-06-08 | 2007-08-02 | Timo Kolehmainen | Image creating method and imaging device |
| US20070291995A1 (en) | 2006-06-09 | 2007-12-20 | Rivera Paul G | System, Method, and Apparatus for Preventing Identity Fraud Associated With Payment and Identity Cards |
| JP4631811B2 (ja) | 2006-06-12 | 2011-02-16 | 株式会社日立製作所 | 撮像装置 |
| JP5106870B2 (ja) | 2006-06-14 | 2012-12-26 | 株式会社東芝 | 固体撮像素子 |
| FR2902530A1 (fr) | 2006-06-19 | 2007-12-21 | St Microelectronics Rousset | Procede de fabrication de lentilles, notamment pour imageur comprenant un diaphragme |
| TWI362550B (en) | 2007-06-21 | 2012-04-21 | Ether Precision Inc | The method for manufacturing the image captures unit |
| US7925117B2 (en) | 2006-06-27 | 2011-04-12 | Honeywell International Inc. | Fusion of sensor data and synthetic data to form an integrated image |
| FR2903155B1 (fr) | 2006-07-03 | 2008-10-17 | Poclain Hydraulics Ind Soc Par | Circuit hydraulique de recuperation d'energie |
| KR100793369B1 (ko) | 2006-07-06 | 2008-01-11 | 삼성전자주식회사 | 분해능이 향상되는 이미지 센서 및 이를 이용한 이미지감지 방법 |
| US20080024683A1 (en) | 2006-07-31 | 2008-01-31 | Niranjan Damera-Venkata | Overlapped multi-projector system with dithering |
| US20080030592A1 (en) | 2006-08-01 | 2008-02-07 | Eastman Kodak Company | Producing digital image with different resolution portions |
| JP2008039852A (ja) | 2006-08-01 | 2008-02-21 | Agc Techno Glass Co Ltd | ガラス光学素子及びその製造方法 |
| US8406562B2 (en) | 2006-08-11 | 2013-03-26 | Geo Semiconductor Inc. | System and method for automated calibration and correction of display geometry and color |
| US20080044170A1 (en) | 2006-08-16 | 2008-02-21 | Choon Hwee Yap | Image Capturing System And Method Of Operating The Same |
| ATE479980T1 (de) | 2006-08-24 | 2010-09-15 | Valeo Vision | Verfahren zur bestimmung der durchfahrt eines fahrzeugs durch eine engen durchlass |
| US8306063B2 (en) | 2006-08-29 | 2012-11-06 | EXFO Services Assurance, Inc. | Real-time transport protocol stream detection system and method |
| US8687087B2 (en) | 2006-08-29 | 2014-04-01 | Csr Technology Inc. | Digital camera with selectively increased dynamic range by control of parameters during image acquisition |
| KR100746360B1 (ko) | 2006-08-31 | 2007-08-06 | 삼성전기주식회사 | 스템퍼 제조방법 |
| NO326372B1 (no) | 2006-09-21 | 2008-11-17 | Polight As | Polymerlinse |
| WO2008039802A2 (en) | 2006-09-25 | 2008-04-03 | Ophthonix, Incorporated | Method for correction of chromatic aberration and achromatic lens |
| JP4403162B2 (ja) | 2006-09-29 | 2010-01-20 | 株式会社東芝 | 立体画像表示装置および立体画像の作製方法 |
| US20080080028A1 (en) | 2006-10-02 | 2008-04-03 | Micron Technology, Inc. | Imaging method, apparatus and system having extended depth of field |
| US8031258B2 (en) | 2006-10-04 | 2011-10-04 | Omnivision Technologies, Inc. | Providing multiple video signals from single sensor |
| KR101360455B1 (ko) | 2006-10-11 | 2014-02-07 | 포라이트 에이에스 | 소형의 조정 가능한 렌즈의 설계 |
| JP5255565B2 (ja) | 2006-10-11 | 2013-08-07 | ポライト エイエス | 調整可能なレンズの製造方法 |
| US8073196B2 (en) | 2006-10-16 | 2011-12-06 | University Of Southern California | Detection and tracking of moving objects from a moving platform in presence of strong parallax |
| US7702229B2 (en) | 2006-10-18 | 2010-04-20 | Eastman Kodak Company | Lens array assisted focus detection |
| JP4349456B2 (ja) | 2006-10-23 | 2009-10-21 | ソニー株式会社 | 固体撮像素子 |
| WO2008050904A1 (fr) | 2006-10-25 | 2008-05-02 | Tokyo Institute Of Technology | Procédé de génération d'image dans un plan de focalisation virtuel haute résolution |
| US7888159B2 (en) | 2006-10-26 | 2011-02-15 | Omnivision Technologies, Inc. | Image sensor having curved micro-mirrors over the sensing photodiode and method for fabricating |
| JP4452951B2 (ja) | 2006-11-02 | 2010-04-21 | 富士フイルム株式会社 | 距離画像生成方法及びその装置 |
| KR20080043106A (ko) | 2006-11-13 | 2008-05-16 | 삼성전자주식회사 | 광학렌즈 및 그 제조방법 |
| US8059162B2 (en) | 2006-11-15 | 2011-11-15 | Sony Corporation | Imaging apparatus and method, and method for designing imaging apparatus |
| US20080118241A1 (en) | 2006-11-16 | 2008-05-22 | Tekolste Robert | Control of stray light in camera systems employing an optics stack and associated methods |
| CN201043890Y (zh) | 2006-11-17 | 2008-04-02 | 中国科学院上海光学精密机械研究所 | 单孔径多重成像的光学成像测距装置 |
| EP2618102A2 (en) | 2006-11-21 | 2013-07-24 | Mantisvision Ltd. | 3d geometric modeling and 3d video content creation |
| KR20080047002A (ko) | 2006-11-24 | 2008-05-28 | 엘지이노텍 주식회사 | 카메라모듈의 렌즈 어셈블리 및 그 제작 방법 |
| US20100265385A1 (en) | 2009-04-18 | 2010-10-21 | Knight Timothy J | Light Field Camera Image, File and Configuration Data, and Methods of Using, Storing and Communicating Same |
| JP4406937B2 (ja) | 2006-12-01 | 2010-02-03 | 富士フイルム株式会社 | 撮影装置 |
| US8559705B2 (en) | 2006-12-01 | 2013-10-15 | Lytro, Inc. | Interactive refocusing of electronic images |
| JP5040493B2 (ja) | 2006-12-04 | 2012-10-03 | ソニー株式会社 | 撮像装置及び撮像方法 |
| US8242426B2 (en) | 2006-12-12 | 2012-08-14 | Dolby Laboratories Licensing Corporation | Electronic camera having multiple sensors for capturing high dynamic range images and related methods |
| US7646549B2 (en) | 2006-12-18 | 2010-01-12 | Xceed Imaging Ltd | Imaging system and method for providing extended depth of focus, range extraction and super resolved imaging |
| US8558929B2 (en) | 2006-12-20 | 2013-10-15 | Carestream Health, Inc. | Imaging array for multiple frame capture |
| US8213500B2 (en) | 2006-12-21 | 2012-07-03 | Sharp Laboratories Of America, Inc. | Methods and systems for processing film grain noise |
| TWI324015B (en) | 2006-12-22 | 2010-04-21 | Ind Tech Res Inst | Autofocus searching method |
| US8103111B2 (en) | 2006-12-26 | 2012-01-24 | Olympus Imaging Corp. | Coding method, electronic camera, recording medium storing coded program, and decoding method |
| US20080158259A1 (en) | 2006-12-28 | 2008-07-03 | Texas Instruments Incorporated | Image warping and lateral color correction |
| US7973823B2 (en) | 2006-12-29 | 2011-07-05 | Nokia Corporation | Method and system for image pre-processing |
| US20080158698A1 (en) | 2006-12-29 | 2008-07-03 | Chao-Chi Chang | Lens barrel array and lens array and the method of making the same |
| US20080165257A1 (en) | 2007-01-05 | 2008-07-10 | Micron Technology, Inc. | Configurable pixel array system and method |
| JP4993578B2 (ja) | 2007-01-15 | 2012-08-08 | オリンパスイメージング株式会社 | 画像ファイル再生装置，画像ファイル加工編集装置 |
| US8655052B2 (en) | 2007-01-26 | 2014-02-18 | Intellectual Discovery Co., Ltd. | Methodology for 3D scene reconstruction from 2D image sequences |
| JP5024992B2 (ja) | 2007-02-02 | 2012-09-12 | 株式会社ジャパンディスプレイセントラル | 表示装置 |
| US7792423B2 (en) | 2007-02-06 | 2010-09-07 | Mitsubishi Electric Research Laboratories, Inc. | 4D light field cameras |
| US7667824B1 (en) | 2007-02-06 | 2010-02-23 | Alpha Technology, LLC | Range gated shearography systems and related methods |
| JP4969474B2 (ja) | 2007-02-09 | 2012-07-04 | オリンパスイメージング株式会社 | 復号方法、復号装置、及び復号プログラム |
| JP4185956B2 (ja) | 2007-02-27 | 2008-11-26 | トヨタ自動車株式会社 | 旅行時間演算サーバ、車両用旅行時間演算装置及び旅行時間演算システム |
| JP2008209761A (ja) | 2007-02-27 | 2008-09-11 | Nikon Corp | 焦点検出装置および撮像装置 |
| JP4386083B2 (ja) | 2007-02-27 | 2009-12-16 | トヨタ自動車株式会社 | 駐車支援装置 |
| JP4153013B1 (ja) | 2007-03-06 | 2008-09-17 | シャープ株式会社 | 撮像レンズ、撮像ユニットおよびそれを備えた携帯型情報端末 |
| US7755679B2 (en) | 2007-03-07 | 2010-07-13 | Altasens, Inc. | Apparatus and method for reducing edge effect in an image sensor |
| US7859588B2 (en) | 2007-03-09 | 2010-12-28 | Eastman Kodak Company | Method and apparatus for operating a dual lens camera to augment an image |
| US7729602B2 (en) | 2007-03-09 | 2010-06-01 | Eastman Kodak Company | Camera using multiple lenses and image sensors operable in a default imaging mode |
| US7683962B2 (en) | 2007-03-09 | 2010-03-23 | Eastman Kodak Company | Camera using multiple lenses and image sensors in a rangefinder configuration to provide a range map |
| US7676146B2 (en) | 2007-03-09 | 2010-03-09 | Eastman Kodak Company | Camera using multiple lenses and image sensors to provide improved focusing capability |
| US8593506B2 (en) | 2007-03-15 | 2013-11-26 | Yissum Research Development Company Of The Hebrew University Of Jerusalem | Method and system for forming a panoramic image of a scene having minimal aspect distortion |
| JP4915859B2 (ja) | 2007-03-26 | 2012-04-11 | 船井電機株式会社 | 物体の距離導出装置 |
| JP2008242658A (ja) | 2007-03-26 | 2008-10-09 | Funai Electric Co Ltd | 立体物体の撮像装置 |
| US7738017B2 (en) | 2007-03-27 | 2010-06-15 | Aptina Imaging Corporation | Method and apparatus for automatic linear shift parallax correction for multi-array image systems |
| US8165418B2 (en) | 2007-03-30 | 2012-04-24 | Brother Kogyo Kabushiki Kaisha | Image processor |
| US8055466B2 (en) | 2007-03-30 | 2011-11-08 | Mitutoyo Corporation | Global calibration for stereo vision probe |
| TWI433052B (zh) | 2007-04-02 | 2014-04-01 | Primesense Ltd | 使用投影圖案之深度製圖 |
| US8098941B2 (en) | 2007-04-03 | 2012-01-17 | Aptina Imaging Corporation | Method and apparatus for parallelization of image compression encoders |
| US8213711B2 (en) | 2007-04-03 | 2012-07-03 | Her Majesty The Queen In Right Of Canada As Represented By The Minister Of Industry, Through The Communications Research Centre Canada | Method and graphical user interface for modifying depth maps |
| JP2008258885A (ja) | 2007-04-04 | 2008-10-23 | Texas Instr Japan Ltd | 撮像装置および撮像装置の駆動方法 |
| JP4310348B2 (ja) | 2007-04-04 | 2009-08-05 | シャープ株式会社 | 固体撮像装置およびそれを備えた電子機器 |
| CN101281282A (zh) | 2007-04-04 | 2008-10-08 | 鸿富锦精密工业（深圳）有限公司 | 镜头模组 |
| CN101802706A (zh) | 2007-04-16 | 2010-08-11 | 纳加彭·穆图萨米·孙达拉尔 | 立体视觉 |
| US7923801B2 (en) | 2007-04-18 | 2011-04-12 | Invisage Technologies, Inc. | Materials, systems and methods for optoelectronic devices |
| WO2009023044A2 (en) | 2007-04-24 | 2009-02-19 | 21 Ct, Inc. | Method and system for fast dense stereoscopic ranging |
| KR100869219B1 (ko) | 2007-05-03 | 2008-11-18 | 동부일렉트로닉스 주식회사 | 이미지 센서 및 그 제조방법 |
| GB0708655D0 (en) | 2007-05-04 | 2007-06-13 | Imp Innovations Ltd | Imaging of moving objects |
| US8462220B2 (en) | 2007-05-09 | 2013-06-11 | Aptina Imaging Corporation | Method and apparatus for improving low-light performance for small pixel image sensors |
| US7812869B2 (en) | 2007-05-11 | 2010-10-12 | Aptina Imaging Corporation | Configurable pixel array system and method |
| JP4341695B2 (ja) | 2007-05-17 | 2009-10-07 | ソニー株式会社 | 画像入力処理装置、撮像信号処理回路、および、撮像信号のノイズ低減方法 |
| JP4337911B2 (ja) | 2007-05-24 | 2009-09-30 | ソニー株式会社 | 撮像装置、撮像回路、および撮像方法 |
| US20080298674A1 (en) | 2007-05-29 | 2008-12-04 | Image Masters Inc. | Stereoscopic Panoramic imaging system |
| WO2008150817A1 (en) | 2007-05-31 | 2008-12-11 | Artificial Muscle, Inc. | Optical systems employing compliant electroactive materials |
| US8290358B1 (en) | 2007-06-25 | 2012-10-16 | Adobe Systems Incorporated | Methods and apparatus for light-field imaging |
| US8345751B2 (en) | 2007-06-26 | 2013-01-01 | Koninklijke Philips Electronics N.V. | Method and system for encoding a 3D video signal, enclosed 3D video signal, method and system for decoder for a 3D video signal |
| CA2693666A1 (en) | 2007-07-12 | 2009-01-15 | Izzat H. Izzat | System and method for three-dimensional object reconstruction from two-dimensional images |
| US8125619B2 (en) | 2007-07-25 | 2012-02-28 | Eminent Electronic Technology Corp. | Integrated ambient light sensor and distance sensor |
| JP5006727B2 (ja) | 2007-07-26 | 2012-08-22 | 株式会社リコー | 画像処理装置およびデジタルカメラ |
| US8019215B2 (en) | 2007-08-06 | 2011-09-13 | Adobe Systems Incorporated | Method and apparatus for radiance capture by multiplexing in the frequency domain |
| EP2034338A1 (en) | 2007-08-11 | 2009-03-11 | ETH Zurich | Liquid Lens System |
| EP2026563A1 (en) | 2007-08-14 | 2009-02-18 | Deutsche Thomson OHG | System and method for detecting defective pixels |
| US7782364B2 (en) | 2007-08-21 | 2010-08-24 | Aptina Imaging Corporation | Multi-array sensor with integrated sub-array for parallax detection and photometer functionality |
| US20090067316A1 (en) | 2007-08-30 | 2009-03-12 | Mario Torbarac | Method and system for recordable DVDS |
| US20090066693A1 (en) | 2007-09-06 | 2009-03-12 | Roc Carson | Encoding A Depth Map Into An Image Using Analysis Of Two Consecutive Captured Frames |
| US7973834B2 (en) | 2007-09-24 | 2011-07-05 | Jianwen Yang | Electro-optical foveated imaging and tracking system |
| US20090079862A1 (en) | 2007-09-25 | 2009-03-26 | Micron Technology, Inc. | Method and apparatus providing imaging auto-focus utilizing absolute blur value |
| US20090086074A1 (en) | 2007-09-27 | 2009-04-02 | Omnivision Technologies, Inc. | Dual mode camera solution apparatus, system, and method |
| US7940311B2 (en) | 2007-10-03 | 2011-05-10 | Nokia Corporation | Multi-exposure pattern for enhancing dynamic range of images |
| JP5172267B2 (ja) | 2007-10-09 | 2013-03-27 | 富士フイルム株式会社 | 撮像装置 |
| US8049289B2 (en) | 2007-10-11 | 2011-11-01 | Dongbu Hitek Co., Ltd. | Image sensor and method for manufacturing the same |
| US8938009B2 (en) | 2007-10-12 | 2015-01-20 | Qualcomm Incorporated | Layered encoded bitstream structure |
| US7956924B2 (en) | 2007-10-18 | 2011-06-07 | Adobe Systems Incorporated | Fast computational camera based on two arrays of lenses |
| US7787112B2 (en) | 2007-10-22 | 2010-08-31 | Visiongate, Inc. | Depth of field extension for optical tomography |
| US7920193B2 (en) | 2007-10-23 | 2011-04-05 | Aptina Imaging Corporation | Methods, systems and apparatuses using barrier self-calibration for high dynamic range imagers |
| US7777804B2 (en) | 2007-10-26 | 2010-08-17 | Omnivision Technologies, Inc. | High dynamic range sensor with reduced line memory for color interpolation |
| WO2009061814A2 (en) | 2007-11-05 | 2009-05-14 | University Of Florida Research Foundation, Inc. | Lossless data compression and real-time decompression |
| US7852461B2 (en) | 2007-11-15 | 2010-12-14 | Microsoft International Holdings B.V. | Dual mode depth imaging |
| US20090128644A1 (en) | 2007-11-15 | 2009-05-21 | Camp Jr William O | System and method for generating a photograph |
| US8351685B2 (en) | 2007-11-16 | 2013-01-08 | Gwangju Institute Of Science And Technology | Device and method for estimating depth map, and method for generating intermediate image and method for encoding multi-view video using the same |
| US8126279B2 (en) | 2007-11-19 | 2012-02-28 | The University Of Arizona | Lifting-based view compensated compression and remote visualization of volume rendered images |
| KR20090055803A (ko) | 2007-11-29 | 2009-06-03 | 광주과학기술원 | 다시점 깊이맵 생성 방법 및 장치, 다시점 영상에서의변이값 생성 방법 |
| JP5010445B2 (ja) | 2007-11-29 | 2012-08-29 | パナソニック株式会社 | マイクロレンズアレイ用金型の製造方法 |
| GB2455316B (en) | 2007-12-04 | 2012-08-15 | Sony Corp | Image processing apparatus and method |
| WO2009073950A1 (en) | 2007-12-13 | 2009-06-18 | Keigo Izuka | Camera system and method for amalgamating images to create an omni-focused image |
| TWI353778B (en) | 2007-12-21 | 2011-12-01 | Ind Tech Res Inst | Moving object detection apparatus and method |
| DE602007012734D1 (de) | 2007-12-21 | 2011-04-07 | Caterpillar Inc | Steuern der Antriebsgeschwindigkeit einer Maschine |
| US7880807B2 (en) | 2007-12-26 | 2011-02-01 | Sony Ericsson Mobile Communications Ab | Camera system with mirror arrangement for generating self-portrait panoramic pictures |
| US8233077B2 (en) | 2007-12-27 | 2012-07-31 | Qualcomm Incorporated | Method and apparatus with depth map generation |
| TWI362628B (en) | 2007-12-28 | 2012-04-21 | Ind Tech Res Inst | Methof for producing an image with depth by using 2d image |
| US20110031381A1 (en) | 2007-12-28 | 2011-02-10 | Hiok-Nam Tay | Light guide array for an image sensor |
| WO2009089128A1 (en) | 2008-01-04 | 2009-07-16 | 3M Innovative Properties Company | Hierarchical processing using image deformation |
| JP4413261B2 (ja) | 2008-01-10 | 2010-02-10 | シャープ株式会社 | 撮像装置及び光軸制御方法 |
| JP5198295B2 (ja) | 2008-01-15 | 2013-05-15 | 富士フイルム株式会社 | 撮像素子の位置調整方法、カメラモジュール製造方法及び装置、カメラモジュール |
| US7962033B2 (en) | 2008-01-23 | 2011-06-14 | Adobe Systems Incorporated | Methods and apparatus for full-resolution light-field capture and rendering |
| US8189065B2 (en) | 2008-01-23 | 2012-05-29 | Adobe Systems Incorporated | Methods and apparatus for full-resolution light-field capture and rendering |
| JP4956452B2 (ja) | 2008-01-25 | 2012-06-20 | 富士重工業株式会社 | 車両用環境認識装置 |
| US8824833B2 (en) | 2008-02-01 | 2014-09-02 | Omnivision Technologies, Inc. | Image data fusion systems and methods |
| GB0802290D0 (en) | 2008-02-08 | 2008-03-12 | Univ Kent Canterbury | Camera adapter based optical imaging apparatus |
| US8319301B2 (en) | 2008-02-11 | 2012-11-27 | Omnivision Technologies, Inc. | Self-aligned filter for an image sensor |
| JP2009206922A (ja) | 2008-02-28 | 2009-09-10 | Funai Electric Co Ltd | 複眼撮像装置 |
| US9094675B2 (en) | 2008-02-29 | 2015-07-28 | Disney Enterprises Inc. | Processing image data from multiple cameras for motion pictures |
| CN101520532A (zh) | 2008-02-29 | 2009-09-02 | 鸿富锦精密工业（深圳）有限公司 | 复合镜片 |
| GB2491987B (en) | 2008-03-03 | 2013-03-27 | Videoiq Inc | Method of searching data for objects identified by object detection |
| US8072599B2 (en) * | 2008-03-14 | 2011-12-06 | Teledyne Scientific & Imaging, Llc | Real-time, hybrid amplitude-time division polarimetric imaging camera |
| JP5571651B2 (ja) | 2008-03-18 | 2014-08-13 | コーニンクレッカ フィリップス エヌ ヴェ | 皮膚撮像装置及び皮膚分析システム |
| US8098955B2 (en) | 2008-03-25 | 2012-01-17 | Point Grey Research Inc. | Efficient selection and application of regions of interest in digital imaging |
| JPWO2009119229A1 (ja) | 2008-03-26 | 2011-07-21 | コニカミノルタホールディングス株式会社 | ３次元撮像装置及び３次元撮像装置の校正方法 |
| CN101551586A (zh) | 2008-04-03 | 2009-10-07 | 晶宏半导体股份有限公司 | 高速摄影方法及其装置 |
| US8497905B2 (en) | 2008-04-11 | 2013-07-30 | nearmap australia pty ltd. | Systems and methods of capturing large area images in detail including cascaded cameras and/or calibration features |
| US8259208B2 (en) | 2008-04-15 | 2012-09-04 | Sony Corporation | Method and apparatus for performing touch-based adjustments within imaging devices |
| US7843554B2 (en) | 2008-04-25 | 2010-11-30 | Rockwell Collins, Inc. | High dynamic range sensor system and method |
| US8280194B2 (en) | 2008-04-29 | 2012-10-02 | Sony Corporation | Reduced hardware implementation for a two-picture depth map algorithm |
| US8155456B2 (en) | 2008-04-29 | 2012-04-10 | Adobe Systems Incorporated | Method and apparatus for block-based compression of light-field images |
| US8724921B2 (en) | 2008-05-05 | 2014-05-13 | Aptina Imaging Corporation | Method of capturing high dynamic range images with objects in the scene |
| WO2009136989A1 (en) | 2008-05-09 | 2009-11-12 | Ecole Polytechnique Federale De Lausanne | Image sensor having nonlinear response |
| JP2009273035A (ja) | 2008-05-09 | 2009-11-19 | Toshiba Corp | 画像圧縮装置、画像伸張装置及び画像処理装置 |
| US8208543B2 (en) | 2008-05-19 | 2012-06-26 | Microsoft Corporation | Quantization and differential coding of alpha image data |
| US20100097444A1 (en) | 2008-10-16 | 2010-04-22 | Peter Lablans | Camera System for Creating an Image From a Plurality of Images |
| US8400505B2 (en) | 2008-05-19 | 2013-03-19 | Panasonic Corporation | Calibration method, calibration device, and calibration system including the device |
| EP4336447A1 (en) | 2008-05-20 | 2024-03-13 | FotoNation Limited | Capturing and processing of images using monolithic camera array with heterogeneous imagers |
| US8866920B2 (en) | 2008-05-20 | 2014-10-21 | Pelican Imaging Corporation | Capturing and processing of images using monolithic camera array with heterogeneous imagers |
| US8442355B2 (en) | 2008-05-23 | 2013-05-14 | Samsung Electronics Co., Ltd. | System and method for generating a multi-dimensional image |
| US8125559B2 (en) | 2008-05-25 | 2012-02-28 | Avistar Communications Corporation | Image formation for large photosensor array surfaces |
| US8131097B2 (en) | 2008-05-28 | 2012-03-06 | Aptina Imaging Corporation | Method and apparatus for extended depth-of-field image restoration |
| CN101593350B (zh) | 2008-05-30 | 2013-01-09 | 日电（中国）有限公司 | 深度自适应视频拼接的方法、装置和*** |
| US8244058B1 (en) | 2008-05-30 | 2012-08-14 | Adobe Systems Incorporated | Method and apparatus for managing artifacts in frequency domain processing of light-field images |
| JP2009300268A (ja) | 2008-06-13 | 2009-12-24 | Nippon Hoso Kyokai <Nhk> | ３次元情報検出装置 |
| KR101539935B1 (ko) | 2008-06-24 | 2015-07-28 | 삼성전자주식회사 | 3차원 비디오 영상 처리 방법 및 장치 |
| US7710667B2 (en) | 2008-06-25 | 2010-05-04 | Aptina Imaging Corp. | Imaging module with symmetrical lens system and method of manufacture |
| JPWO2009157273A1 (ja) | 2008-06-25 | 2011-12-08 | コニカミノルタオプト株式会社 | 撮像光学系及び撮像用レンズの製造方法 |
| KR101000531B1 (ko) | 2008-06-26 | 2010-12-14 | 에스디씨마이크로 주식회사 | 데이터 전송 범위가 증대되는 무선랜을 이용한 씨씨티브이관리시스템 |
| US7916396B2 (en) | 2008-06-27 | 2011-03-29 | Micron Technology, Inc. | Lens master devices, lens structures, imaging devices, and methods and apparatuses of making the same |
| US8326069B2 (en) | 2008-06-30 | 2012-12-04 | Intel Corporation | Computing higher resolution images from multiple lower resolution images |
| US7773317B2 (en) | 2008-07-01 | 2010-08-10 | Aptina Imaging Corp. | Lens system with symmetrical optics |
| US7920339B2 (en) | 2008-07-02 | 2011-04-05 | Aptina Imaging Corporation | Method and apparatus providing singlet wafer lens system with field flattener |
| CN100576934C (zh) | 2008-07-03 | 2009-12-30 | 浙江大学 | 基于深度和遮挡信息的虚拟视点合成方法 |
| US8456517B2 (en) | 2008-07-09 | 2013-06-04 | Primesense Ltd. | Integrated processor for 3D mapping |
| KR101445185B1 (ko) | 2008-07-10 | 2014-09-30 | 삼성전자주식회사 | 복수 개의 영상촬영유닛을 구비한 플렉시블 영상촬영장치및 그 제조방법 |
| EP2313737B1 (en) | 2008-08-06 | 2018-11-14 | Creaform Inc. | System for adaptive three-dimensional scanning of surface characteristics |
| CN102124742B (zh) | 2008-08-20 | 2013-09-11 | 汤姆逊许可公司 | 精制深度图 |
| CN101656259A (zh) | 2008-08-20 | 2010-02-24 | 鸿富锦精密工业（深圳）有限公司 | 影像感测器封装结构、封装方法及相机模组 |
| US7924312B2 (en) | 2008-08-22 | 2011-04-12 | Fluke Corporation | Infrared and visible-light image registration |
| US8736751B2 (en) | 2008-08-26 | 2014-05-27 | Empire Technology Development Llc | Digital presenter for displaying image captured by camera with illumination system |
| US8102428B2 (en) | 2008-08-28 | 2012-01-24 | Adobe Systems Incorporated | Content-aware video stabilization |
| EP2329315A4 (en) | 2008-09-01 | 2012-01-18 | Lensvector Inc | PREPARATION OF OPTOELECTRONIC LIQUID CRYSTAL COMPONENTS AT WAF LEVEL |
| JP5105482B2 (ja) | 2008-09-01 | 2012-12-26 | 船井電機株式会社 | 光学的条件設計方法及び複眼撮像装置 |
| US8098297B2 (en) | 2008-09-03 | 2012-01-17 | Sony Corporation | Pre- and post-shutter signal image capture and sort for digital camera |
| KR20100028344A (ko) | 2008-09-04 | 2010-03-12 | 삼성전자주식회사 | 휴대단말의 영상 편집 방법 및 장치 |
| US9025136B2 (en) | 2008-09-23 | 2015-05-05 | Applied Materials, Inc. | System and method for manufacturing three dimensional integrated circuits |
| JP5238429B2 (ja) | 2008-09-25 | 2013-07-17 | 株式会社東芝 | 立体映像撮影装置および立体映像撮影システム |
| US8553093B2 (en) | 2008-09-30 | 2013-10-08 | Sony Corporation | Method and apparatus for super-resolution imaging using digital imaging devices |
| KR101468267B1 (ko) | 2008-10-02 | 2014-12-15 | 프라운호퍼-게젤샤프트 추르 푀르데룽 데어 안제반텐 포르슝 에 파우 | 중간 뷰 합성 및 멀티-뷰 데이터 신호 추출 |
| US9619917B2 (en) | 2008-10-03 | 2017-04-11 | Apple Inc. | Depth of field for a camera in a media-editing application |
| US9064476B2 (en) | 2008-10-04 | 2015-06-23 | Microsoft Technology Licensing, Llc | Image super-resolution using gradient profile prior |
| US8310525B2 (en) | 2008-10-07 | 2012-11-13 | Seiko Epson Corporation | One-touch projector alignment for 3D stereo display |
| GB2476397B (en) | 2008-10-15 | 2014-04-30 | Spinella Ip Holdings Inc | Digital processing method and system for determination of optical flow |
| US8416282B2 (en) | 2008-10-16 | 2013-04-09 | Spatial Cam Llc | Camera for creating a panoramic image |
| JP2010096723A (ja) | 2008-10-20 | 2010-04-30 | Funai Electric Co Ltd | 物体の距離導出装置 |
| US8436909B2 (en) | 2008-10-21 | 2013-05-07 | Stmicroelectronics S.R.L. | Compound camera sensor and related method of processing digital images |
| KR101697598B1 (ko) | 2008-10-27 | 2017-02-01 | 엘지전자 주식회사 | 가상 뷰 이미지 합성 방법 및 장치 |
| US8063975B2 (en) | 2008-10-29 | 2011-11-22 | Jabil Circuit, Inc. | Positioning wafer lenses on electronic imagers |
| KR101502597B1 (ko) | 2008-11-13 | 2015-03-13 | 삼성전자주식회사 | 고심도 입체 영상 표시가 가능한 디스플레이 장치 및 방법 |
| US8644547B2 (en) | 2008-11-14 | 2014-02-04 | The Scripps Research Institute | Image analysis platform for identifying artifacts in samples and laboratory consumables |
| AU2008246243B2 (en) | 2008-11-19 | 2011-12-22 | Canon Kabushiki Kaisha | DVC as generic file format for plenoptic camera |
| EP3396416A1 (en) | 2008-11-25 | 2018-10-31 | Tetravue, Inc. | Systems and methods of high resolution three-dimensional imaging |
| WO2010065344A1 (en) | 2008-11-25 | 2010-06-10 | Refocus Imaging, Inc. | System of and method for video refocusing |
| JP4852591B2 (ja) | 2008-11-27 | 2012-01-11 | 富士フイルム株式会社 | 立体画像処理装置、方法及び記録媒体並びに立体撮像装置 |
| WO2010077625A1 (en) | 2008-12-08 | 2010-07-08 | Refocus Imaging, Inc. | Light field data acquisition devices, and methods of using and manufacturing same |
| US8013904B2 (en) | 2008-12-09 | 2011-09-06 | Seiko Epson Corporation | View projection matrix based high performance low latency display pipeline |
| JP5311016B2 (ja) | 2008-12-10 | 2013-10-09 | コニカミノルタ株式会社 | ステレオカメラユニット及びステレオマッチング方法 |
| KR101200490B1 (ko) | 2008-12-10 | 2012-11-12 | 한국전자통신연구원 | 영상 정합 장치 및 방법 |
| US8149323B2 (en) | 2008-12-18 | 2012-04-03 | Qualcomm Incorporated | System and method to autofocus assisted by autoexposure control |
| JP4631966B2 (ja) | 2008-12-22 | 2011-02-16 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
| CN101770060B (zh) | 2008-12-27 | 2014-03-26 | 鸿富锦精密工业（深圳）有限公司 | 相机模组及其组装方法 |
| US8405742B2 (en) | 2008-12-30 | 2013-03-26 | Massachusetts Institute Of Technology | Processing images having different focus |
| US8259212B2 (en) | 2009-01-05 | 2012-09-04 | Applied Quantum Technologies, Inc. | Multiscale optical system |
| US20100177411A1 (en) | 2009-01-09 | 2010-07-15 | Shashikant Hegde | Wafer level lens replication on micro-electrical-mechanical systems |
| WO2010081010A2 (en) | 2009-01-09 | 2010-07-15 | New York University | Methods, computer-accessible medium and systems for facilitating dark flash photography |
| WO2010079685A1 (ja) | 2009-01-09 | 2010-07-15 | コニカミノルタホールディングス株式会社 | 動きベクトル生成装置および動きベクトル生成方法 |
| US8315476B1 (en) | 2009-01-20 | 2012-11-20 | Adobe Systems Incorporated | Super-resolution with the focused plenoptic camera |
| US8189089B1 (en) | 2009-01-20 | 2012-05-29 | Adobe Systems Incorporated | Methods and apparatus for reducing plenoptic camera artifacts |
| US8300108B2 (en) | 2009-02-02 | 2012-10-30 | L-3 Communications Cincinnati Electronics Corporation | Multi-channel imaging devices comprising unit cells |
| US20100194860A1 (en) | 2009-02-03 | 2010-08-05 | Bit Cauldron Corporation | Method of stereoscopic 3d image capture using a mobile device, cradle or dongle |
| US8290301B2 (en) | 2009-02-06 | 2012-10-16 | Raytheon Company | Optimized imaging system for collection of high resolution imagery |
| US8761491B2 (en) | 2009-02-06 | 2014-06-24 | Himax Technologies Limited | Stereo-matching processor using belief propagation |
| KR101776955B1 (ko) | 2009-02-10 | 2017-09-08 | 소니 주식회사 | 고체 촬상 장치와 그 제조 방법, 및 전자 기기 |
| JP4915423B2 (ja) | 2009-02-19 | 2012-04-11 | ソニー株式会社 | 画像処理装置、フォーカルプレーン歪み成分算出方法、画像処理プログラム及び記録媒体 |
| WO2010095440A1 (ja) | 2009-02-20 | 2010-08-26 | パナソニック株式会社 | 記録媒体、再生装置、及び集積回路 |
| US8520970B2 (en) | 2010-04-23 | 2013-08-27 | Flir Systems Ab | Infrared resolution and contrast enhancement with fusion |
| KR20100099896A (ko) | 2009-03-04 | 2010-09-15 | 삼성전자주식회사 | 메타데이터 생성 방법 및 장치, 그 메타데이터를 이용하여 영상을 처리하는 방법 및 장치 |
| US8207759B2 (en) | 2009-03-12 | 2012-06-26 | Fairchild Semiconductor Corporation | MIPI analog switch for automatic selection of multiple inputs based on clock voltages |
| WO2010108119A2 (en) | 2009-03-19 | 2010-09-23 | Flextronics Ap, Llc | Dual sensor camera |
| US8106949B2 (en) | 2009-03-26 | 2012-01-31 | Seiko Epson Corporation | Small memory footprint light transport matrix capture |
| US8450821B2 (en) | 2009-03-26 | 2013-05-28 | Micron Technology, Inc. | Method and apparatus providing combined spacer and optical lens element |
| US8437537B2 (en) | 2009-03-27 | 2013-05-07 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for estimating 3D pose of specular objects |
| US7901095B2 (en) | 2009-03-27 | 2011-03-08 | Seiko Epson Corporation | Resolution scalable view projection |
| JP4529010B1 (ja) | 2009-03-30 | 2010-08-25 | シャープ株式会社 | 撮像装置 |
| JP5222205B2 (ja) | 2009-04-03 | 2013-06-26 | Ｋｄｄｉ株式会社 | 画像処理装置、方法及びプログラム |
| WO2010116367A1 (en) | 2009-04-07 | 2010-10-14 | Nextvision Stabilized Systems Ltd | Continuous electronic zoom for an imaging system with multiple imaging devices having different fixed fov |
| US20100259610A1 (en) | 2009-04-08 | 2010-10-14 | Celsia, Llc | Two-Dimensional Display Synced with Real World Object Movement |
| US8294099B2 (en) | 2009-04-10 | 2012-10-23 | Bae Systems Information And Electronic Systems Integration Inc. | On-wafer butted microbolometer imaging array |
| JP5463718B2 (ja) | 2009-04-16 | 2014-04-09 | ソニー株式会社 | 撮像装置 |
| US8717417B2 (en) | 2009-04-16 | 2014-05-06 | Primesense Ltd. | Three-dimensional mapping and imaging |
| US8908058B2 (en) | 2009-04-18 | 2014-12-09 | Lytro, Inc. | Storage and transmission of pictures including multiple frames |
| US20120249550A1 (en) | 2009-04-18 | 2012-10-04 | Lytro, Inc. | Selective Transmission of Image Data Based on Device Attributes |
| EP2244484B1 (en) | 2009-04-22 | 2012-03-28 | Raytrix GmbH | Digital imaging method for synthesizing an image using data recorded with a plenoptic camera |
| CN101527046B (zh) | 2009-04-28 | 2012-09-05 | 青岛海信数字多媒体技术国家重点实验室有限公司 | 一种运动检测方法、装置和*** |
| KR101671021B1 (ko) | 2009-04-30 | 2016-11-10 | 삼성전자주식회사 | 스테레오스코픽 영상 데이터 전송 장치 및 방법 |
| US8271544B2 (en) | 2009-05-01 | 2012-09-18 | Creative Technology Ltd | Data file having more than one mode of operation |
| US8358365B2 (en) | 2009-05-01 | 2013-01-22 | Samsung Electronics Co., Ltd. | Photo detecting device and image pickup device and method thereon |
| DE102009003110A1 (de) | 2009-05-14 | 2010-11-18 | Robert Bosch Gmbh | Bildverarbeitungsverfahren zur Bestimmung von Tiefeninformation aus wenigstens zwei mittels eines Stereokamerasystems aufgenommenen Eingangsbildern |
| US8203633B2 (en) | 2009-05-27 | 2012-06-19 | Omnivision Technologies, Inc. | Four-channel color filter array pattern |
| US10091439B2 (en) | 2009-06-03 | 2018-10-02 | Flir Systems, Inc. | Imager with array of multiple infrared imaging modules |
| KR20100130423A (ko) | 2009-06-03 | 2010-12-13 | 삼성전자주식회사 | 웨이퍼-레벨 렌즈 모듈 및 이를 구비하는 촬상 모듈 |
| US8872910B1 (en) | 2009-06-04 | 2014-10-28 | Masoud Vaziri | Method and apparatus for a compact and high resolution eye-view recorder |
| US8745677B2 (en) | 2009-06-12 | 2014-06-03 | Cygnus Broadband, Inc. | Systems and methods for prioritization of data for intelligent discard in a communication network |
| CN101931742B (zh) | 2009-06-18 | 2013-04-24 | 鸿富锦精密工业（深圳）有限公司 | 影像感测模组及取像模组 |
| US20100321640A1 (en) | 2009-06-22 | 2010-12-23 | Industrial Technology Research Institute | Projection display chip |
| JP5254893B2 (ja) | 2009-06-26 | 2013-08-07 | キヤノン株式会社 | 画像変換方法及び装置並びにパターン識別方法及び装置 |
| WO2011008443A2 (en) | 2009-06-29 | 2011-01-20 | Lensvector Inc. | Wafer level camera module with active optical element |
| US8208746B2 (en) | 2009-06-29 | 2012-06-26 | DigitalOptics Corporation Europe Limited | Adaptive PSF estimation technique using a sharp preview and a blurred image |
| JP2011030184A (ja) | 2009-07-01 | 2011-02-10 | Sony Corp | 画像処理装置、及び、画像処理方法 |
| US8212197B2 (en) | 2009-07-02 | 2012-07-03 | Xerox Corporation | Image sensor with integration time compensation |
| JP2011017764A (ja) | 2009-07-07 | 2011-01-27 | Konica Minolta Opto Inc | 撮像レンズ，撮像装置及び携帯端末 |
| US8345144B1 (en) | 2009-07-15 | 2013-01-01 | Adobe Systems Incorporated | Methods and apparatus for rich image capture with focused plenoptic cameras |
| US20110019243A1 (en) | 2009-07-21 | 2011-01-27 | Constant Jr Henry J | Stereoscopic form reader |
| CN101964866B (zh) | 2009-07-24 | 2013-03-20 | 鸿富锦精密工业（深圳）有限公司 | 计算摄像型数码相机 |
| GB0912970D0 (en) | 2009-07-27 | 2009-09-02 | St Microelectronics Res & Dev | Improvements in or relating to a sensor and sensor system for a camera |
| US20110025830A1 (en) | 2009-07-31 | 2011-02-03 | 3Dmedia Corporation | Methods, systems, and computer-readable storage media for generating stereoscopic content via depth map creation |
| KR20120048669A (ko) | 2009-08-03 | 2012-05-15 | 퀄컴 엠이엠에스 테크놀로지스, 인크. | 도광체 조명용의 미세구조체 |
| EP2293586A1 (en) | 2009-08-04 | 2011-03-09 | Samsung Electronics Co., Ltd. | Method and system to transform stereo content |
| US8577183B2 (en) | 2009-08-05 | 2013-11-05 | Raytheon Company | Resolution on demand |
| CN102483511B (zh) | 2009-08-11 | 2014-11-12 | 乙太精密有限公司 | 用于将透镜与光学***对准的方法和设备 |
| WO2011017806A1 (en) | 2009-08-14 | 2011-02-17 | Genesis Group Inc. | Real-time image and video matting |
| JP2011044801A (ja) | 2009-08-19 | 2011-03-03 | Toshiba Corp | 画像処理装置 |
| US8154632B2 (en) | 2009-08-24 | 2012-04-10 | Lifesize Communications, Inc. | Detection of defective pixels in an image sensor |
| JP2011052064A (ja) | 2009-08-31 | 2011-03-17 | Toyobo Co Ltd | ポリイミドおよびその製造方法 |
| KR101680300B1 (ko) | 2009-08-31 | 2016-11-28 | 삼성전자주식회사 | 액체 렌즈 및 그 제조방법 |
| US9274699B2 (en) | 2009-09-03 | 2016-03-01 | Obscura Digital | User interface for a large scale multi-user, multi-touch system |
| US8411146B2 (en) | 2009-09-04 | 2013-04-02 | Lockheed Martin Corporation | Single camera color and infrared polarimetric imaging |
| US20120194703A1 (en) | 2009-09-07 | 2012-08-02 | Nokia Corporation | Apparatus |
| FR2950153B1 (fr) | 2009-09-15 | 2011-12-23 | Commissariat Energie Atomique | Dispositif optique a membrane deformable a actionnement piezoelectrique |
| US20140076336A1 (en) | 2009-09-17 | 2014-03-20 | Ascentia Health, Inc. | Ear insert for relief of tmj discomfort and headaches |
| US9497386B1 (en) | 2009-09-22 | 2016-11-15 | Altia Systems Inc. | Multi-imager video camera with automatic exposure control |
| JP5859441B2 (ja) | 2009-10-02 | 2016-02-10 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | ３ｄビデオにおける追加のビューを生成するための視点の選択 |
| KR101695809B1 (ko) | 2009-10-09 | 2017-01-13 | 엘지전자 주식회사 | 이동 단말기 및 그 제어방법 |
| JP5909187B2 (ja) | 2009-10-14 | 2016-04-26 | トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ | フィルタ処理およびエッジ符号化 |
| US8199165B2 (en) | 2009-10-14 | 2012-06-12 | Hewlett-Packard Development Company, L.P. | Methods and systems for object segmentation in digital images |
| DE102009049387B4 (de) | 2009-10-14 | 2016-05-25 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung, Bildverarbeitungsvorrichtung und Verfahren zur optischen Abbildung |
| US8502909B2 (en) | 2009-10-19 | 2013-08-06 | Pixar | Super light-field lens |
| US20110207074A1 (en) | 2009-10-26 | 2011-08-25 | Olaf Andrew Hall-Holt | Dental imaging system and method |
| US9122066B2 (en) | 2009-10-30 | 2015-09-01 | Hewlett-Packard Development Company, L.P. | Stereo display systems |
| WO2011053711A1 (en) | 2009-10-30 | 2011-05-05 | Invisage Technologies, Inc. | Systems and methods for color binning |
| WO2011055655A1 (ja) | 2009-11-05 | 2011-05-12 | コニカミノルタオプト株式会社 | 撮像装置、光学ユニット、ウエハレンズ積層体及びウエハレンズ積層体の製造方法 |
| WO2011055654A1 (ja) | 2009-11-05 | 2011-05-12 | コニカミノルタオプト株式会社 | 撮像装置及びこの撮像装置の製造方法 |
| US8654195B2 (en) | 2009-11-13 | 2014-02-18 | Fujifilm Corporation | Distance measuring apparatus, distance measuring method, distance measuring program, distance measuring system, and image pickup apparatus |
| TR200908688A2 (tr) | 2009-11-17 | 2011-06-21 | Vestel Elektron�K San. Ve T�C. A.�. | Çoklu görüntülü videoda derinlik dengelemeli gürültü azaltımı. |
| US8643701B2 (en) | 2009-11-18 | 2014-02-04 | University Of Illinois At Urbana-Champaign | System for executing 3D propagation for depth image-based rendering |
| JP5399215B2 (ja) | 2009-11-18 | 2014-01-29 | シャープ株式会社 | 多眼カメラ装置および電子情報機器 |
| WO2011063347A2 (en) | 2009-11-20 | 2011-05-26 | Pelican Imaging Corporation | Capturing and processing of images using monolithic camera array with heterogeneous imagers |
| WO2011066275A2 (en) | 2009-11-25 | 2011-06-03 | Massachusetts Institute Of Technology | Actively addressable aperture light field camera |
| KR101608970B1 (ko) | 2009-11-27 | 2016-04-05 | 삼성전자주식회사 | 광 필드 데이터를 이용한 영상 처리 장치 및 방법 |
| US8400555B1 (en) | 2009-12-01 | 2013-03-19 | Adobe Systems Incorporated | Focused plenoptic camera employing microlenses with different focal lengths |
| US8730338B2 (en) | 2009-12-01 | 2014-05-20 | Nokia Corporation | Set of camera modules hinged on a body and functionally connected to a single actuator |
| JP5446797B2 (ja) | 2009-12-04 | 2014-03-19 | 株式会社リコー | 撮像装置 |
| US8446492B2 (en) | 2009-12-10 | 2013-05-21 | Honda Motor Co., Ltd. | Image capturing device, method of searching for occlusion region, and program |
| JP5387377B2 (ja) | 2009-12-14 | 2014-01-15 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
| WO2011081646A1 (en) | 2009-12-15 | 2011-07-07 | Thomson Licensing | Stereo-image quality and disparity/depth indications |
| KR101281961B1 (ko) | 2009-12-21 | 2013-07-03 | 한국전자통신연구원 | 깊이 영상 편집 방법 및 장치 |
| US20110153248A1 (en) | 2009-12-23 | 2011-06-23 | Yeming Gu | Ophthalmic quality metric system |
| WO2011078244A1 (ja) | 2009-12-24 | 2011-06-30 | シャープ株式会社 | 多眼撮像装置および多眼撮像方法 |
| JP4983905B2 (ja) | 2009-12-25 | 2012-07-25 | カシオ計算機株式会社 | 撮像装置、３ｄモデリングデータ生成方法、および、プログラム |
| KR101643607B1 (ko) | 2009-12-30 | 2016-08-10 | 삼성전자주식회사 | 영상 데이터 생성 방법 및 장치 |
| CN102118551A (zh) | 2009-12-31 | 2011-07-06 | 鸿富锦精密工业（深圳）有限公司 | 成像装置 |
| CN102117576A (zh) | 2009-12-31 | 2011-07-06 | 鸿富锦精密工业（深圳）有限公司 | 电子相框 |
| CN102131044B (zh) | 2010-01-20 | 2014-03-26 | 鸿富锦精密工业（深圳）有限公司 | 相机模组 |
| US8649008B2 (en) | 2010-02-04 | 2014-02-11 | University Of Southern California | Combined spectral and polarimetry imaging and diagnostics |
| US8593512B2 (en) | 2010-02-05 | 2013-11-26 | Creative Technology Ltd | Device and method for scanning an object on a working surface |
| US8326142B2 (en) | 2010-02-12 | 2012-12-04 | Sri International | Optical image systems |
| KR101430330B1 (ko) * | 2010-02-15 | 2014-08-13 | 가부시키가이샤 리코 | 투명체 검출 시스템 및 투명 평판 검출 시스템 |
| JP5387856B2 (ja) | 2010-02-16 | 2014-01-15 | ソニー株式会社 | 画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置 |
| US8648918B2 (en) | 2010-02-18 | 2014-02-11 | Sony Corporation | Method and system for obtaining a point spread function using motion information |
| CN103210641B (zh) | 2010-02-19 | 2017-03-15 | 双光圈国际株式会社 | 处理多孔径像数据 |
| KR101802238B1 (ko) | 2010-02-23 | 2017-11-29 | 삼성전자주식회사 | 휴대용 단말기에서 입체 영상 데이터를 생성하기 위한 장치 및 방법 |
| WO2011105814A2 (ko) | 2010-02-23 | 2011-09-01 | 삼성전자 주식회사 | 다시점 정지 영상 서비스 제공 방법 및 그 장치, 다시점 정지 영상 서비스 수신 방법 및 그 장치 |
| US20130278631A1 (en) | 2010-02-28 | 2013-10-24 | Osterhout Group, Inc. | 3d positioning of augmented reality information |
| EP2539759A1 (en) | 2010-02-28 | 2013-01-02 | Osterhout Group, Inc. | Local advertising content on an interactive head-mounted eyepiece |
| JP5776173B2 (ja) | 2010-03-01 | 2015-09-09 | 株式会社リコー | 撮像装置及び距離測定装置 |
| US8817015B2 (en) | 2010-03-03 | 2014-08-26 | Adobe Systems Incorporated | Methods, apparatus, and computer-readable storage media for depth-based rendering of focused plenoptic camera data |
| WO2011112633A1 (en) | 2010-03-09 | 2011-09-15 | Flir Systems, Inc. | Imager with multiple sensor arrays |
| US20110222757A1 (en) | 2010-03-10 | 2011-09-15 | Gbo 3D Technology Pte. Ltd. | Systems and methods for 2D image and spatial data capture for 3D stereo imaging |
| US20110221950A1 (en) | 2010-03-12 | 2011-09-15 | Doeke Jolt Oostra | Camera device, wafer scale package |
| SG184118A1 (en) | 2010-03-17 | 2012-10-30 | Pelican Imaging Corp | Fabrication process for mastering imaging lens arrays |
| US8890934B2 (en) | 2010-03-19 | 2014-11-18 | Panasonic Corporation | Stereoscopic image aligning apparatus, stereoscopic image aligning method, and program of the same |
| EP2391142B1 (en) | 2010-03-19 | 2013-12-25 | FUJIFILM Corporation | Imaging device, method and program, and recording medium using same |
| WO2011116345A1 (en) | 2010-03-19 | 2011-09-22 | Invisage Technologies, Inc. | Dark current reduction in image sensors via dynamic electrical biasing |
| JPWO2011118135A1 (ja) | 2010-03-25 | 2013-07-04 | パナソニック株式会社 | 送信装置、受信装置、送信方法および受信方法 |
| US8558903B2 (en) | 2010-03-25 | 2013-10-15 | Apple Inc. | Accelerometer / gyro-facilitated video stabilization |
| US8285033B2 (en) | 2010-04-01 | 2012-10-09 | Seiko Epson Corporation | Bi-affinity filter: a bilateral type filter for color images |
| WO2011121117A1 (en) | 2010-04-02 | 2011-10-06 | Imec | Virtual camera system |
| US9001227B2 (en) | 2010-04-05 | 2015-04-07 | Qualcomm Incorporated | Combining data from multiple image sensors |
| US8896668B2 (en) | 2010-04-05 | 2014-11-25 | Qualcomm Incorporated | Combining data from multiple image sensors |
| US20110255786A1 (en) | 2010-04-20 | 2011-10-20 | Andrew Hunter | Method and apparatus for determining flicker in the illumination of a subject |
| US8600186B2 (en) | 2010-04-26 | 2013-12-03 | City University Of Hong Kong | Well focused catadioptric image acquisition |
| US20110267264A1 (en) | 2010-04-29 | 2011-11-03 | Mccarthy John | Display system with multiple optical sensors |
| US9053573B2 (en) | 2010-04-29 | 2015-06-09 | Personify, Inc. | Systems and methods for generating a virtual camera viewpoint for an image |
| US20130250150A1 (en) | 2010-05-03 | 2013-09-26 | Michael R. Malone | Devices and methods for high-resolution image and video capture |
| US9256974B1 (en) | 2010-05-04 | 2016-02-09 | Stephen P Hines | 3-D motion-parallax portable display software application |
| US8885890B2 (en) | 2010-05-07 | 2014-11-11 | Microsoft Corporation | Depth map confidence filtering |
| KR20110124473A (ko) | 2010-05-11 | 2011-11-17 | 삼성전자주식회사 | 다중시점 영상을 위한 3차원 영상 생성 장치 및 방법 |
| KR101756910B1 (ko) | 2010-05-11 | 2017-07-26 | 삼성전자주식회사 | 감쇠 패턴을 포함하는 마스크를 이용한 광 필드 영상 처리 장치 및 방법 |
| US20130147979A1 (en) | 2010-05-12 | 2013-06-13 | Pelican Imaging Corporation | Systems and methods for extending dynamic range of imager arrays by controlling pixel analog gain |
| JP5848754B2 (ja) | 2010-05-12 | 2016-01-27 | ペリカン イメージング コーポレイション | 撮像装置アレイおよびアレイカメラのためのアーキテクチャ |
| JP5545016B2 (ja) | 2010-05-12 | 2014-07-09 | ソニー株式会社 | 撮像装置 |
| WO2011142774A1 (en) | 2010-05-14 | 2011-11-17 | Omnivision Technologies, Inc. | Alternative color image array and associated methods |
| US8576293B2 (en) | 2010-05-18 | 2013-11-05 | Aptina Imaging Corporation | Multi-channel imager |
| SG176327A1 (en) | 2010-05-20 | 2011-12-29 | Sony Corp | A system and method of image processing |
| US8602887B2 (en) | 2010-06-03 | 2013-12-10 | Microsoft Corporation | Synthesis of information from multiple audiovisual sources |
| US20120062697A1 (en) | 2010-06-09 | 2012-03-15 | Chemimage Corporation | Hyperspectral imaging sensor for tracking moving targets |
| DE102010024666A1 (de) | 2010-06-18 | 2011-12-22 | Hella Kgaa Hueck & Co. | Verfahren zur optischen Selbstdiagnose eines Kamerasystems und Vorrichtung zur Durchführung eines solchen Verfahrens |
| CN102184720A (zh) | 2010-06-22 | 2011-09-14 | 上海盈方微电子有限公司 | 一种支持多层多格式输入的图像合成显示的方法及装置 |
| US20110310980A1 (en) | 2010-06-22 | 2011-12-22 | Qualcomm Mems Technologies, Inc. | Apparatus and methods for processing frames of video data across a display interface using a block-based encoding scheme and a tag id |
| KR20120000485A (ko) | 2010-06-25 | 2012-01-02 | 삼성전자주식회사 | 예측 모드를 이용한 깊이 영상 부호화 장치 및 방법 |
| US8493432B2 (en) | 2010-06-29 | 2013-07-23 | Mitsubishi Electric Research Laboratories, Inc. | Digital refocusing for wide-angle images using axial-cone cameras |
| CN101883291B (zh) | 2010-06-29 | 2012-12-19 | 上海大学 | 感兴趣区域增强的视点绘制方法 |
| EP2403234A1 (en) | 2010-06-29 | 2012-01-04 | Koninklijke Philips Electronics N.V. | Method and system for constructing a compound image from data obtained by an array of image capturing devices |
| JP5492300B2 (ja) | 2010-06-30 | 2014-05-14 | 富士フイルム株式会社 | 立体視表示用撮像の際の撮像領域内の障害物を判定する装置、方法およびプログラム |
| JP5392199B2 (ja) | 2010-07-09 | 2014-01-22 | ソニー株式会社 | 画像処理装置および方法 |
| GB2482022A (en) | 2010-07-16 | 2012-01-18 | St Microelectronics Res & Dev | Method for measuring resolution and aberration of lens and sensor |
| US9406132B2 (en) | 2010-07-16 | 2016-08-02 | Qualcomm Incorporated | Vision-based quality metric for three dimensional video |
| US8386964B2 (en) | 2010-07-21 | 2013-02-26 | Microsoft Corporation | Interactive image matting |
| US9344701B2 (en) | 2010-07-23 | 2016-05-17 | 3Dmedia Corporation | Methods, systems, and computer-readable storage media for identifying a rough depth map in a scene and for determining a stereo-base distance for three-dimensional (3D) content creation |
| US20120019700A1 (en) | 2010-07-26 | 2012-01-26 | American Technologies Network Corporation | Optical system with automatic mixing of daylight and thermal vision digital video signals |
| US20120026342A1 (en) | 2010-07-27 | 2012-02-02 | Xiaoguang Yu | Electronic system communicating with image sensor |
| US20120026451A1 (en) | 2010-07-29 | 2012-02-02 | Lensvector Inc. | Tunable liquid crystal lens with single sided contacts |
| US8605136B2 (en) | 2010-08-10 | 2013-12-10 | Sony Corporation | 2D to 3D user interface content data conversion |
| CN102375199B (zh) | 2010-08-11 | 2015-06-03 | 鸿富锦精密工业（深圳）有限公司 | 相机模组 |
| US8428342B2 (en) | 2010-08-12 | 2013-04-23 | At&T Intellectual Property I, L.P. | Apparatus and method for providing three dimensional media content |
| US8836793B1 (en) | 2010-08-13 | 2014-09-16 | Opto-Knowledge Systems, Inc. | True color night vision (TCNV) fusion |
| US8493482B2 (en) | 2010-08-18 | 2013-07-23 | Apple Inc. | Dual image sensor image processing system and method |
| US8749694B2 (en) | 2010-08-27 | 2014-06-10 | Adobe Systems Incorporated | Methods and apparatus for rendering focused plenoptic camera data using super-resolved demosaicing |
| US8724000B2 (en) | 2010-08-27 | 2014-05-13 | Adobe Systems Incorporated | Methods and apparatus for super-resolution in integral photography |
| US8665341B2 (en) | 2010-08-27 | 2014-03-04 | Adobe Systems Incorporated | Methods and apparatus for rendering output images with simulated artistic effects from focused plenoptic camera data |
| GB2483434A (en) | 2010-08-31 | 2012-03-14 | Sony Corp | Detecting stereoscopic disparity by comparison with subset of pixel change points |
| JP5140210B2 (ja) | 2010-08-31 | 2013-02-06 | パナソニック株式会社 | 撮影装置および画像処理方法 |
| US20120056982A1 (en) | 2010-09-08 | 2012-03-08 | Microsoft Corporation | Depth camera based on structured light and stereo vision |
| US9013550B2 (en) | 2010-09-09 | 2015-04-21 | Qualcomm Incorporated | Online reference generation and tracking for multi-user augmented reality |
| EP2617194A1 (en) | 2010-09-14 | 2013-07-24 | Thomson Licensing | Compression methods and apparatus for occlusion data |
| US9565415B2 (en) | 2010-09-14 | 2017-02-07 | Thomson Licensing | Method of presenting three-dimensional content with disparity adjustments |
| US9013634B2 (en) | 2010-09-14 | 2015-04-21 | Adobe Systems Incorporated | Methods and apparatus for video completion |
| US8780251B2 (en) | 2010-09-20 | 2014-07-15 | Canon Kabushiki Kaisha | Image capture with focus adjustment |
| JP5392415B2 (ja) | 2010-09-22 | 2014-01-22 | 富士通株式会社 | ステレオ画像生成装置、ステレオ画像生成方法及びステレオ画像生成用コンピュータプログラム |
| US20120086803A1 (en) | 2010-10-11 | 2012-04-12 | Malzbender Thomas G | Method and system for distance estimation using projected symbol sequences |
| US20140192238A1 (en) | 2010-10-24 | 2014-07-10 | Linx Computational Imaging Ltd. | System and Method for Imaging and Image Processing |
| US8531535B2 (en) | 2010-10-28 | 2013-09-10 | Google Inc. | Methods and systems for processing a video for stabilization and retargeting |
| JP5657343B2 (ja) | 2010-10-28 | 2015-01-21 | 株式会社ザクティ | 電子機器 |
| US9876953B2 (en) | 2010-10-29 | 2018-01-23 | Ecole Polytechnique Federale De Lausanne (Epfl) | Omnidirectional sensor array system |
| US9137503B2 (en) | 2010-11-03 | 2015-09-15 | Sony Corporation | Lens and color filter arrangement, super-resolution camera system and method |
| US9065991B2 (en) | 2010-11-04 | 2015-06-23 | Lensvector Inc. | Methods of adjustment free manufacture of focus free camera modules |
| US20120113232A1 (en) | 2010-11-10 | 2012-05-10 | Sony Pictures Technologies Inc. | Multiple camera system and method for selectable interaxial separation |
| WO2012064106A2 (en) | 2010-11-12 | 2012-05-18 | Samsung Electronics Co., Ltd. | Method and apparatus for video stabilization by compensating for view direction of camera |
| US8576276B2 (en) | 2010-11-18 | 2013-11-05 | Microsoft Corporation | Head-mounted display device which provides surround video |
| MY150361A (en) | 2010-12-03 | 2013-12-31 | Mimos Berhad | Method of image segmentation using intensity and depth information |
| US20130258067A1 (en) | 2010-12-08 | 2013-10-03 | Thomson Licensing | System and method for trinocular depth acquisition with triangular sensor |
| US8878950B2 (en) | 2010-12-14 | 2014-11-04 | Pelican Imaging Corporation | Systems and methods for synthesizing high resolution images using super-resolution processes |
| JP5963422B2 (ja) | 2010-12-17 | 2016-08-03 | キヤノン株式会社 | 撮像装置、表示装置、コンピュータプログラムおよび立体像表示システム |
| US9177381B2 (en) | 2010-12-22 | 2015-11-03 | Nani Holdings IP, LLC | Depth estimate determination, systems and methods |
| US8682107B2 (en) | 2010-12-22 | 2014-03-25 | Electronics And Telecommunications Research Institute | Apparatus and method for creating 3D content for oriental painting |
| US8565709B2 (en) | 2010-12-30 | 2013-10-22 | Apple Inc. | Digital signal filter |
| TWI535292B (zh) | 2010-12-31 | 2016-05-21 | 派力肯影像公司 | 使用具有異質的成像器的整體式相機陣列的影像捕捉和處理 |
| JP5699609B2 (ja) | 2011-01-06 | 2015-04-15 | ソニー株式会社 | 画像処理装置および画像処理方法 |
| US9448338B2 (en) | 2011-01-20 | 2016-09-20 | Fivefocal Llc | Passively athermalized infrared imaging system and method of manufacturing same |
| US8581995B2 (en) | 2011-01-25 | 2013-11-12 | Aptina Imaging Corporation | Method and apparatus for parallax correction in fused array imaging systems |
| US8717467B2 (en) | 2011-01-25 | 2014-05-06 | Aptina Imaging Corporation | Imaging systems with array cameras for depth sensing |
| JP5594477B2 (ja) | 2011-01-26 | 2014-09-24 | Ｎｌｔテクノロジー株式会社 | 画像表示装置、画像表示方法、及びプログラム |
| EP2668617A1 (en) | 2011-01-27 | 2013-12-04 | Metaio GmbH | Method for determining correspondences between a first and a second image, and method for determining the pose of a camera |
| US20120200726A1 (en) | 2011-02-09 | 2012-08-09 | Research In Motion Limited | Method of Controlling the Depth of Field for a Small Sensor Camera Using an Extension for EDOF |
| CA2767023C (en) | 2011-02-09 | 2014-09-09 | Research In Motion Limited | Increased low light sensitivity for image sensors by combining quantum dot sensitivity to visible and infrared light |
| US8698885B2 (en) | 2011-02-14 | 2014-04-15 | Intuitive Surgical Operations, Inc. | Methods and apparatus for demosaicing images with highly correlated color channels |
| US20140176592A1 (en) | 2011-02-15 | 2014-06-26 | Lytro, Inc. | Configuring two-dimensional image processing based on light-field parameters |
| US9214675B2 (en) | 2011-02-18 | 2015-12-15 | Tosoh Corporation | Electrolytic manganese dioxide and method for producing same, and method for producing lithium-manganese complex oxide |
| US8406548B2 (en) | 2011-02-28 | 2013-03-26 | Sony Corporation | Method and apparatus for performing a blur rendering process on an image |
| JP5054857B1 (ja) | 2011-02-28 | 2012-10-24 | 富士フイルム株式会社 | カラー撮像装置 |
| US8537245B2 (en) | 2011-03-04 | 2013-09-17 | Hand Held Products, Inc. | Imaging and decoding device with quantum dot imager |
| CA2769358C (en) | 2011-03-08 | 2016-06-07 | Research In Motion Limited | Quantum dot image sensor with dummy pixels used for intensity calculations |
| US9565449B2 (en) | 2011-03-10 | 2017-02-07 | Qualcomm Incorporated | Coding multiview video plus depth content |
| KR101792501B1 (ko) | 2011-03-16 | 2017-11-21 | 한국전자통신연구원 | 특징기반의 스테레오 매칭 방법 및 장치 |
| US20120249853A1 (en) | 2011-03-28 | 2012-10-04 | Marc Krolczyk | Digital camera for reviewing related images |
| US8824821B2 (en) | 2011-03-28 | 2014-09-02 | Sony Corporation | Method and apparatus for performing user inspired visual effects rendering on an image |
| US8422770B2 (en) | 2011-03-30 | 2013-04-16 | Mckesson Financial Holdings | Method, apparatus and computer program product for displaying normalized medical images |
| US9030528B2 (en) | 2011-04-04 | 2015-05-12 | Apple Inc. | Multi-zone imaging sensor and lens array |
| FR2974449A1 (fr) | 2011-04-22 | 2012-10-26 | Commissariat Energie Atomique | Circuit integre imageur et dispositif de capture d'images stereoscopiques |
| US20120274626A1 (en) | 2011-04-29 | 2012-11-01 | Himax Media Solutions, Inc. | Stereoscopic Image Generating Apparatus and Method |
| EP2705495B1 (en) | 2011-05-04 | 2015-07-08 | Sony Ericsson Mobile Communications AB | Method, graphical user interface, and computer program product for processing of a light field image |
| EP2708019B1 (en) | 2011-05-11 | 2019-10-16 | FotoNation Limited | Systems and methods for transmitting and receiving array camera image data |
| US8843346B2 (en) | 2011-05-13 | 2014-09-23 | Amazon Technologies, Inc. | Using spatial information with device interaction |
| CN102164298B (zh) | 2011-05-18 | 2012-10-03 | 长春理工大学 | 全景成像***中基于立体匹配的元素图像获取方法 |
| US8629901B2 (en) | 2011-05-19 | 2014-01-14 | National Taiwan University | System and method of revising depth of a 3D image pair |
| US20120293489A1 (en) | 2011-05-20 | 2012-11-22 | Himax Technologies Limited | Nonlinear depth remapping system and method thereof |
| JP5797016B2 (ja) | 2011-05-30 | 2015-10-21 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
| JP5762142B2 (ja) | 2011-05-31 | 2015-08-12 | キヤノン株式会社 | 撮像装置、画像処理装置およびその方法 |
| US8648919B2 (en) | 2011-06-06 | 2014-02-11 | Apple Inc. | Methods and systems for image stabilization |
| US8823813B2 (en) | 2011-06-06 | 2014-09-02 | Apple Inc. | Correcting rolling shutter using image stabilization |
| WO2012171185A1 (en) | 2011-06-15 | 2012-12-20 | Microsoft Corporation | High resolution multispectral image capture |
| JP2013005259A (ja) | 2011-06-17 | 2013-01-07 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
| US20130265459A1 (en) | 2011-06-28 | 2013-10-10 | Pelican Imaging Corporation | Optical arrangements for use with an array camera |
| JP2014521117A (ja) | 2011-06-28 | 2014-08-25 | ペリカン イメージング コーポレイション | アレイカメラで使用するための光学配列 |
| US8773513B2 (en) | 2011-07-01 | 2014-07-08 | Seiko Epson Corporation | Context and epsilon stereo constrained correspondence matching |
| KR101216123B1 (ko) | 2011-07-08 | 2012-12-27 | 김호 | 시청자 얼굴 추적정보 생성방법 및 생성장치, 그 기록매체 및 3차원 디스플레이 장치 |
| US9300946B2 (en) | 2011-07-08 | 2016-03-29 | Personify, Inc. | System and method for generating a depth map and fusing images from a camera array |
| JP2013024886A (ja) | 2011-07-14 | 2013-02-04 | Sanyo Electric Co Ltd | 撮像装置 |
| JP5780865B2 (ja) | 2011-07-14 | 2015-09-16 | キヤノン株式会社 | 画像処理装置、撮像システム、画像処理システム |
| US9363535B2 (en) | 2011-07-22 | 2016-06-07 | Qualcomm Incorporated | Coding motion depth maps with depth range variation |
| US9264689B2 (en) | 2011-08-04 | 2016-02-16 | Semiconductor Components Industries, Llc | Systems and methods for color compensation in multi-view video |
| US9402066B2 (en) | 2011-08-09 | 2016-07-26 | Samsung Electronics Co., Ltd. | Method and device for encoding a depth map of multi viewpoint video data, and method and device for decoding the encoded depth map |
| US8432435B2 (en) | 2011-08-10 | 2013-04-30 | Seiko Epson Corporation | Ray image modeling for fast catadioptric light field rendering |
| US8866951B2 (en) | 2011-08-24 | 2014-10-21 | Aptina Imaging Corporation | Super-resolution imaging systems |
| US9009952B2 (en) | 2011-08-29 | 2015-04-21 | Asm Technology Singapore Pte. Ltd. | Apparatus for assembling a lens module and an image sensor to form a camera module, and a method of assembling the same |
| US8704895B2 (en) | 2011-08-29 | 2014-04-22 | Qualcomm Incorporated | Fast calibration of displays using spectral-based colorimetrically calibrated multicolor camera |
| US20130070060A1 (en) | 2011-09-19 | 2013-03-21 | Pelican Imaging Corporation | Systems and methods for determining depth from multiple views of a scene that include aliasing using hypothesized fusion |
| US9100639B2 (en) | 2011-09-20 | 2015-08-04 | Panasonic Intellectual Property Management Co., Ltd. | Light field imaging device and image processing device |
| EP2760209B1 (en) | 2011-09-21 | 2017-07-12 | FUJIFILM Corporation | Image processing device, method, program and recording medium, stereoscopic image capture device, portable electronic apparatus, printer, and stereoscopic image player device |
| US8724893B2 (en) | 2011-09-27 | 2014-05-13 | Thomson Licensing | Method and system for color look up table generation |
| US8908083B2 (en) | 2011-09-28 | 2014-12-09 | Apple Inc. | Dynamic autofocus operations |
| IN2014CN02708A (ko) | 2011-09-28 | 2015-08-07 | Pelican Imaging Corp | |
| JP5831105B2 (ja) | 2011-09-30 | 2015-12-09 | ソニー株式会社 | 撮像装置及び撮像方法 |
| US20130088637A1 (en) | 2011-10-11 | 2013-04-11 | Pelican Imaging Corporation | Lens Stack Arrays Including Adaptive Optical Elements |
| EP2592823A3 (en) | 2011-10-12 | 2013-06-19 | Canon Kabushiki Kaisha | Image-capturing device |
| US20130107072A1 (en) | 2011-10-31 | 2013-05-02 | Ankit Kumar | Multi-resolution ip camera |
| JP5149435B1 (ja) | 2011-11-04 | 2013-02-20 | 株式会社東芝 | 映像処理装置および映像処理方法 |
| US9692991B2 (en) | 2011-11-04 | 2017-06-27 | Qualcomm Incorporated | Multispectral imaging system |
| EP2590138B1 (en) | 2011-11-07 | 2019-09-11 | Flir Systems AB | Gas visualization arrangements, devices, and methods |
| GB201119405D0 (en) | 2011-11-10 | 2011-12-21 | Univ East Anglia | Spectral estimation method,system and reference target design system |
| US20140313315A1 (en) | 2011-11-15 | 2014-10-23 | Technion Research & Development Foundation Limited | Method and system for transmitting light |
| US20130121559A1 (en) | 2011-11-16 | 2013-05-16 | Sharp Laboratories Of America, Inc. | Mobile device with three dimensional augmented reality |
| US20130127988A1 (en) | 2011-11-17 | 2013-05-23 | Sen Wang | Modifying the viewpoint of a digital image |
| US9661310B2 (en) | 2011-11-28 | 2017-05-23 | ArcSoft Hanzhou Co., Ltd. | Image depth recovering method and stereo image fetching device thereof |
| JP6019568B2 (ja) | 2011-11-28 | 2016-11-02 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びに、プログラム |
| EP2600316A1 (en) | 2011-11-29 | 2013-06-05 | Inria Institut National de Recherche en Informatique et en Automatique | Method, system and software program for shooting and editing a film comprising at least one image of a 3D computer-generated animation |
| KR101862404B1 (ko) | 2011-12-09 | 2018-05-29 | 엘지이노텍 주식회사 | 스테레오 영상의 노이즈 제거장치 및 방법 |
| US9117295B2 (en) | 2011-12-20 | 2015-08-25 | Adobe Systems Incorporated | Refinement of depth maps by fusion of multiple estimates |
| WO2013099169A1 (ja) | 2011-12-27 | 2013-07-04 | パナソニック株式会社 | ステレオ撮影装置 |
| US8941722B2 (en) | 2012-01-03 | 2015-01-27 | Sony Corporation | Automatic intelligent focus control of video |
| US8854433B1 (en) | 2012-02-03 | 2014-10-07 | Aquifi, Inc. | Method and system enabling natural user interface gestures with an electronic system |
| WO2013119706A1 (en) | 2012-02-06 | 2013-08-15 | Pelican Imaging Corporation | Systems and methods for extending dynamic range of imager arrays by controlling pixel analog gain |
| US9172889B2 (en) | 2012-02-09 | 2015-10-27 | Semiconductor Components Industries, Llc | Imaging systems and methods for generating auto-exposed high-dynamic-range images |
| EP2817955B1 (en) | 2012-02-21 | 2018-04-11 | FotoNation Cayman Limited | Systems and methods for the manipulation of captured light field image data |
| US9230333B2 (en) | 2012-02-22 | 2016-01-05 | Raytheon Company | Method and apparatus for image processing |
| JP5860304B2 (ja) | 2012-02-23 | 2016-02-16 | キヤノン株式会社 | 撮像装置及びその制御方法、プログラム、並びに記憶媒体 |
| JP5924978B2 (ja) | 2012-02-28 | 2016-05-25 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
| JP6112824B2 (ja) | 2012-02-28 | 2017-04-12 | キヤノン株式会社 | 画像処理方法および装置、プログラム。 |
| US8831377B2 (en) | 2012-02-28 | 2014-09-09 | Lytro, Inc. | Compensating for variation in microlens position during light-field image processing |
| EP2637139A1 (en) | 2012-03-05 | 2013-09-11 | Thomson Licensing | Method and apparatus for bi-layer segmentation |
| US9338439B2 (en) | 2012-04-02 | 2016-05-10 | Intel Corporation | Systems, methods, and computer program products for runtime adjustment of image warping parameters in a multi-camera system |
| WO2013155403A1 (en) | 2012-04-13 | 2013-10-17 | Automation Engineering, Inc. | Active alignment using continuous motion sweeps and temporal interpolation |
| CN104582622B (zh) | 2012-04-16 | 2017-10-13 | 儿童国家医疗中心 | 用于外科和介入医疗程序中的跟踪和控制的双模立体成像*** |
| WO2013158975A1 (en) * | 2012-04-20 | 2013-10-24 | Washington University | Sensor for spectral-polarization imaging |
| US8994845B2 (en) | 2012-04-27 | 2015-03-31 | Blackberry Limited | System and method of adjusting a camera based on image data |
| JP2015521411A (ja) | 2012-05-01 | 2015-07-27 | ペリカン イメージング コーポレイション | πフィルタ群を用いてパターン化されたカメラモジュール |
| US9210392B2 (en) | 2012-05-01 | 2015-12-08 | Pelican Imaging Coporation | Camera modules patterned with pi filter groups |
| EP2845384A1 (en) | 2012-05-02 | 2015-03-11 | Koninklijke Philips N.V. | Quality metric for processing 3d video |
| WO2013169671A1 (en) | 2012-05-09 | 2013-11-14 | Lytro, Inc. | Optimization of optical systems for improved light field capture and manipulation |
| US10215642B2 (en) * | 2012-05-17 | 2019-02-26 | The University Of Akron | System and method for polarimetric wavelet fractal detection and imaging |
| US9846960B2 (en) | 2012-05-31 | 2017-12-19 | Microsoft Technology Licensing, Llc | Automated camera array calibration |
| US9179126B2 (en) | 2012-06-01 | 2015-11-03 | Ostendo Technologies, Inc. | Spatio-temporal light field cameras |
| WO2013182873A1 (en) | 2012-06-08 | 2013-12-12 | Nokia Corporation | A multi-frame image calibrator |
| EP2677734A3 (en) | 2012-06-18 | 2016-01-13 | Sony Mobile Communications AB | Array camera imaging system and method |
| JP5929553B2 (ja) | 2012-06-28 | 2016-06-08 | ソニー株式会社 | 画像処理装置、撮像装置、画像処理方法およびプログラム |
| JP2015534734A (ja) | 2012-06-28 | 2015-12-03 | ペリカン イメージング コーポレイション | 欠陥のあるカメラアレイ、光学アレイ、およびセンサを検出するためのシステムおよび方法 |
| US8896594B2 (en) | 2012-06-30 | 2014-11-25 | Microsoft Corporation | Depth sensing with depth-adaptive illumination |
| US20140002674A1 (en) | 2012-06-30 | 2014-01-02 | Pelican Imaging Corporation | Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors |
| US8792710B2 (en) | 2012-07-24 | 2014-07-29 | Intel Corporation | Stereoscopic depth reconstruction with probabilistic pixel correspondence search |
| US9147251B2 (en) | 2012-08-03 | 2015-09-29 | Flyby Media, Inc. | Systems and methods for efficient 3D tracking of weakly textured planar surfaces for augmented reality applications |
| US8988566B2 (en) | 2012-08-09 | 2015-03-24 | Omnivision Technologies, Inc. | Lens array for partitioned image sensor having color filters |
| US9860443B2 (en) | 2012-08-20 | 2018-01-02 | The Regents Of The University Of California | Monocentric lens designs and associated imaging systems having wide field of view and high resolution |
| SG11201500910RA (en) | 2012-08-21 | 2015-03-30 | Pelican Imaging Corp | Systems and methods for parallax detection and correction in images captured using array cameras |
| WO2014032020A2 (en) | 2012-08-23 | 2014-02-27 | Pelican Imaging Corporation | Feature based high resolution motion estimation from low resolution images captured using an array source |
| CN104584545B (zh) | 2012-08-31 | 2017-05-31 | 索尼公司 | 图像处理装置、图像处理方法、以及信息处理装置 |
| WO2014043641A1 (en) | 2012-09-14 | 2014-03-20 | Pelican Imaging Corporation | Systems and methods for correcting user identified artifacts in light field images |
| US9373088B2 (en) | 2012-09-17 | 2016-06-21 | The Board Of Trustees Of The Leland Stanford Junior University | Brain machine interface utilizing a discrete action state decoder in parallel with a continuous decoder for a neural prosthetic device |
| US9143673B2 (en) | 2012-09-19 | 2015-09-22 | Google Inc. | Imaging device with a plurality of pixel arrays |
| US20140092281A1 (en) | 2012-09-28 | 2014-04-03 | Pelican Imaging Corporation | Generating Images from Light Fields Utilizing Virtual Viewpoints |
| TW201415879A (zh) | 2012-10-12 | 2014-04-16 | Wintek Corp | 影像擷取裝置 |
| CN104937920A (zh) | 2012-10-31 | 2015-09-23 | 因维萨热技术公司 | 扩展视场图像和视频捕获 |
| US9338370B2 (en) | 2012-11-05 | 2016-05-10 | Honeywell International Inc. | Visual system having multiple cameras |
| US9143711B2 (en) | 2012-11-13 | 2015-09-22 | Pelican Imaging Corporation | Systems and methods for array camera focal plane control |
| KR101954192B1 (ko) | 2012-11-15 | 2019-03-05 | 엘지전자 주식회사 | 어레이 카메라, 휴대 단말기 및 그 동작 방법 |
| US9076205B2 (en) | 2012-11-19 | 2015-07-07 | Adobe Systems Incorporated | Edge direction and curve based image de-blurring |
| TWI525382B (zh) | 2012-11-21 | 2016-03-11 | 豪威科技股份有限公司 | 包括至少一拜耳型攝影機的攝影機陣列系統及關聯的方法 |
| CN113472989A (zh) | 2012-11-28 | 2021-10-01 | 核心光电有限公司 | 多孔径成像***以及通过多孔径成像***获取图像的方法 |
| US9001226B1 (en) | 2012-12-04 | 2015-04-07 | Lytro, Inc. | Capturing and relighting images using multiple devices |
| US9088369B2 (en) | 2012-12-28 | 2015-07-21 | Synergy Microwave Corporation | Self injection locked phase locked looped optoelectronic oscillator |
| US8851370B2 (en) | 2013-01-02 | 2014-10-07 | Jpmorgan Chase Bank, N.A. | System and method for secure card with on-board verification |
| US20140183334A1 (en) | 2013-01-03 | 2014-07-03 | Visera Technologies Company Limited | Image sensor for light field device and manufacturing method thereof |
| US9282228B2 (en) | 2013-01-05 | 2016-03-08 | The Lightco Inc. | Camera methods and apparatus using optical chain modules which alter the direction of received light |
| KR20140094395A (ko) | 2013-01-22 | 2014-07-30 | 삼성전자주식회사 | 복수 개의 마이크로렌즈를 사용하여 촬영하는 촬영 장치 및 그 촬영 방법 |
| US9769365B1 (en) | 2013-02-15 | 2017-09-19 | Red.Com, Inc. | Dense field imaging |
| US9462164B2 (en) | 2013-02-21 | 2016-10-04 | Pelican Imaging Corporation | Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information |
| US9253380B2 (en) | 2013-02-24 | 2016-02-02 | Pelican Imaging Corporation | Thin form factor computational array cameras and modular array cameras |
| US9853826B2 (en) | 2013-02-25 | 2017-12-26 | Qualcomm Incorporated | Establishing groups of internet of things (IOT) devices and enabling communication among the groups of IOT devices |
| US20150002734A1 (en) | 2013-07-01 | 2015-01-01 | Motorola Mobility Llc | Electronic Device with Modulated Light Flash Operation for Rolling Shutter Image Sensor |
| US20140240469A1 (en) | 2013-02-28 | 2014-08-28 | Motorola Mobility Llc | Electronic Device with Multiview Image Capture and Depth Sensing |
| US9638883B1 (en) | 2013-03-04 | 2017-05-02 | Fotonation Cayman Limited | Passive alignment of array camera modules constructed from lens stack arrays and sensors based upon alignment information obtained during manufacture of array camera modules using an active alignment process |
| WO2014138695A1 (en) | 2013-03-08 | 2014-09-12 | Pelican Imaging Corporation | Systems and methods for measuring scene information while capturing images using array cameras |
| US8866912B2 (en) | 2013-03-10 | 2014-10-21 | Pelican Imaging Corporation | System and methods for calibration of an array camera using a single captured image |
| US9521416B1 (en) | 2013-03-11 | 2016-12-13 | Kip Peli P1 Lp | Systems and methods for image data compression |
| WO2014160142A1 (en) | 2013-03-13 | 2014-10-02 | Pelican Imaging Corporation | Systems and methods for using alignment to increase sampling diversity of cameras in an array camera module |
| US9519972B2 (en) | 2013-03-13 | 2016-12-13 | Kip Peli P1 Lp | Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies |
| WO2014164550A2 (en) | 2013-03-13 | 2014-10-09 | Pelican Imaging Corporation | System and methods for calibration of an array camera |
| US9888194B2 (en) | 2013-03-13 | 2018-02-06 | Fotonation Cayman Limited | Array camera architecture implementing quantum film image sensors |
| US9106784B2 (en) | 2013-03-13 | 2015-08-11 | Pelican Imaging Corporation | Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing |
| US9578259B2 (en) | 2013-03-14 | 2017-02-21 | Fotonation Cayman Limited | Systems and methods for reducing motion blur in images or video in ultra low light with array cameras |
| US9100586B2 (en) | 2013-03-14 | 2015-08-04 | Pelican Imaging Corporation | Systems and methods for photometric normalization in array cameras |
| US9445003B1 (en) | 2013-03-15 | 2016-09-13 | Pelican Imaging Corporation | Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information |
| EP2973476A4 (en) | 2013-03-15 | 2017-01-18 | Pelican Imaging Corporation | Systems and methods for stereo imaging with camera arrays |
| WO2014149902A1 (en) | 2013-03-15 | 2014-09-25 | Pelican Imaging Corporation | Systems and methods for providing an array projector |
| US9497429B2 (en) | 2013-03-15 | 2016-11-15 | Pelican Imaging Corporation | Extended color processing on pelican array cameras |
| US9633442B2 (en) | 2013-03-15 | 2017-04-25 | Fotonation Cayman Limited | Array cameras including an array camera module augmented with a separate camera |
| US9497370B2 (en) | 2013-03-15 | 2016-11-15 | Pelican Imaging Corporation | Array camera architecture implementing quantum dot color filters |
| US10122993B2 (en) | 2013-03-15 | 2018-11-06 | Fotonation Limited | Autofocus system for a conventional camera that uses depth information from an array camera |
| WO2014144157A1 (en) | 2013-03-15 | 2014-09-18 | Pelican Imaging Corporation | Optical arrangements for use with an array camera |
| US20140307055A1 (en) | 2013-04-15 | 2014-10-16 | Microsoft Corporation | Intensity-modulated light pattern for active stereo |
| KR101792374B1 (ko) | 2013-04-23 | 2017-10-31 | 코니카 미놀타 가부시키가이샤 | 광학 필름, 원 편광판 및 유기 일렉트로루미네센스 표시 장치 |
| RU2667605C2 (ru) | 2013-05-10 | 2018-09-21 | Конинклейке Филипс Н.В. | Способ кодирования сигнала видеоданных для использования с многовидовым устройством визуализации |
| JP6201476B2 (ja) | 2013-07-18 | 2017-09-27 | 凸版印刷株式会社 | 自由視点画像撮像装置およびその方法 |
| US9495594B2 (en) * | 2013-07-18 | 2016-11-15 | The United States Of America As Represented By The Secretary Of The Army | Image anomaly detection in a target area using polarimetric sensor data |
| WO2015015722A1 (ja) * | 2013-07-29 | 2015-02-05 | パナソニックＩｐマネジメント株式会社 | 光学フィルタおよびそれを用いた偏光撮像装置 |
| KR102103983B1 (ko) | 2013-07-31 | 2020-04-23 | 삼성전자주식회사 | 시프트된 마이크로 렌즈 어레이를 구비하는 라이트 필드 영상 획득 장치 |
| US20160182786A1 (en) | 2013-09-11 | 2016-06-23 | Lytro, Inc. | Hybrid light-field camera |
| CN103514580B (zh) | 2013-09-26 | 2016-06-08 | 香港应用科技研究院有限公司 | 用于获得视觉体验优化的超分辨率图像的方法和*** |
| US9898856B2 (en) | 2013-09-27 | 2018-02-20 | Fotonation Cayman Limited | Systems and methods for depth-assisted perspective distortion correction |
| CA2888943C (en) | 2013-10-03 | 2015-08-18 | Sulon Technologies Inc. | Augmented reality system and method for positioning and mapping |
| US20150098079A1 (en) | 2013-10-09 | 2015-04-09 | Hilti Aktiengesellschaft | System and method for camera based position and orientation measurement |
| US20150104101A1 (en) | 2013-10-14 | 2015-04-16 | Apple Inc. | Method and ui for z depth image segmentation |
| WO2015108591A2 (en) * | 2013-10-22 | 2015-07-23 | Polaris Sensor Technologies Inc. | Sky polarization and sun sensor system and method |
| US10962625B2 (en) * | 2013-10-22 | 2021-03-30 | Polaris Sensor Technologies, Inc. | Celestial positioning system and method |
| US9185276B2 (en) | 2013-11-07 | 2015-11-10 | Pelican Imaging Corporation | Methods of manufacturing array camera modules incorporating independently aligned lens stacks |
| WO2015074078A1 (en) | 2013-11-18 | 2015-05-21 | Pelican Imaging Corporation | Estimating depth from projected texture using camera arrays |
| WO2015081279A1 (en) | 2013-11-26 | 2015-06-04 | Pelican Imaging Corporation | Array camera configurations incorporating multiple constituent array cameras |
| EP3097513A4 (en) * | 2014-01-22 | 2017-08-02 | Polaris Sensor Technologies, Inc. | Polarization imaging for facial recognition enhancement system and method |
| US10395113B2 (en) * | 2014-01-22 | 2019-08-27 | Polaris Sensor Technologies, Inc. | Polarization-based detection and mapping method and system |
| KR102135770B1 (ko) | 2014-02-10 | 2020-07-20 | 한국전자통신연구원 | 스테레오 카메라 기반의 3차원 얼굴 복원 방법 및 장치 |
| GB2523149A (en) | 2014-02-14 | 2015-08-19 | Nokia Technologies Oy | Method, apparatus and computer program product for image-driven cost volume aggregation |
| US9979878B2 (en) | 2014-02-21 | 2018-05-22 | Light Labs Inc. | Intuitive camera user interface methods and apparatus |
| JP6211435B2 (ja) | 2014-02-26 | 2017-10-11 | 株式会社アドバンテスト | 半導体装置の製造方法 |
| US9307159B2 (en) * | 2014-03-04 | 2016-04-05 | Panasonic Intellectual Property Management Co., Ltd. | Polarization image processing apparatus |
| US10089740B2 (en) | 2014-03-07 | 2018-10-02 | Fotonation Limited | System and methods for depth regularization and semiautomatic interactive matting using RGB-D images |
| WO2015139231A1 (en) | 2014-03-19 | 2015-09-24 | Intel Corporation | Facial expression and/or interaction driven avatar apparatus and method |
| KR102397254B1 (ko) | 2014-03-28 | 2022-05-12 | 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 | 수술 장면의 정량적인 3차원 영상 |
| US9247117B2 (en) | 2014-04-07 | 2016-01-26 | Pelican Imaging Corporation | Systems and methods for correcting for warpage of a sensor array in an array camera module by introducing warpage into a focal plane of a lens stack array |
| GB2525660A (en) | 2014-05-01 | 2015-11-04 | Mastercard International Inc | Methods, devices and systems for transaction initiation |
| WO2015183824A1 (en) | 2014-05-26 | 2015-12-03 | Pelican Imaging Corporation | Autofocus system for a conventional camera that uses depth information from an array camera |
| US9729865B1 (en) | 2014-06-18 | 2017-08-08 | Amazon Technologies, Inc. | Object detection and tracking |
| US9521319B2 (en) | 2014-06-18 | 2016-12-13 | Pelican Imaging Corporation | Array cameras and array camera modules including spectral filters disposed outside of a constituent image sensor |
| US9992483B2 (en) | 2014-09-03 | 2018-06-05 | Intel Corporation | Imaging architecture for depth camera mode with mode switching |
| EP3467776A1 (en) | 2014-09-29 | 2019-04-10 | Fotonation Cayman Limited | Systems and methods for dynamic calibration of array cameras |
| US9766461B2 (en) | 2015-01-20 | 2017-09-19 | Microsoft Technology Licensing, Llc | Head-mounted display device with stress-resistant components |
| US9964482B2 (en) * | 2015-01-26 | 2018-05-08 | The United States Of America As Represented By The Secretary Of The Army | Detecting clouds using polarized sunlight |
| US10260866B2 (en) * | 2015-03-06 | 2019-04-16 | Massachusetts Institute Of Technology | Methods and apparatus for enhancing depth maps with polarization cues |
| US20160267486A1 (en) | 2015-03-13 | 2016-09-15 | Radiius Corp | Smartcard Payment System and Method |
| KR20180030773A (ko) | 2015-04-17 | 2018-03-26 | 포토네이션 케이맨 리미티드 | 어레이 카메라들을 이용한 고속 비디오 캡처 및 심도 추정을 수행하기 위한 시스템 및 방법 |
| US9942474B2 (en) | 2015-04-17 | 2018-04-10 | Fotonation Cayman Limited | Systems and methods for performing high speed video capture and depth estimation using array cameras |
| EP3286914B1 (en) | 2015-04-19 | 2019-12-25 | FotoNation Limited | Multi-baseline camera array system architectures for depth augmentation in vr/ar applications |
| JP6512928B2 (ja) | 2015-04-28 | 2019-05-15 | キヤノン株式会社 | 画像符号化装置、画像処理装置、画像符号化方法 |
| US9679526B2 (en) | 2015-06-30 | 2017-06-13 | Nxp Usa, Inc. | Display system, an integrated circuit for use in the display system, and a method of displaying at least two images on at least two screens |
| US20170011405A1 (en) | 2015-07-09 | 2017-01-12 | Mastercard International Incorporated | Simultaneous multi-factor authentication systems and methods for payment transactions |
| JP6626295B2 (ja) | 2015-09-09 | 2019-12-25 | キヤノン株式会社 | 画像符号化装置、画像処理装置、画像符号化方法 |
| US10591594B2 (en) | 2015-09-30 | 2020-03-17 | Sony Corporation | Information processing apparatus, information processing method, and program |
| US11257075B2 (en) | 2015-10-20 | 2022-02-22 | Paypal, Inc. | Secure multi-factor user authentication on disconnected mobile devices |
| US20170142405A1 (en) | 2015-10-21 | 2017-05-18 | Praxik, LLC. | Apparatus, Systems and Methods for Ground Plane Extension |
| RU2694021C1 (ru) | 2015-12-14 | 2019-07-08 | Моушен Метрикс Интернешэнл Корп. | Способ и устройство идентификации частей фрагментированного материала в пределах изображения |
| US9741163B2 (en) * | 2015-12-22 | 2017-08-22 | Raytheon Company | 3-D polarimetric imaging using a microfacet scattering model to compensate for structured scene reflections |
| JP2017125809A (ja) * | 2016-01-15 | 2017-07-20 | 株式会社リコー | 情報処理装置、情報処理システムおよびプログラム |
| US20170268990A1 (en) * | 2016-03-17 | 2017-09-21 | Canon Kabushiki Kaisha | Separating diffuse and specular components of a glossy object for shape reconstruction using electronic light diffusing layers (e-glass) and polarized light |
| US20170337682A1 (en) * | 2016-05-18 | 2017-11-23 | Siemens Healthcare Gmbh | Method and System for Image Registration Using an Intelligent Artificial Agent |
| US10546297B2 (en) | 2016-06-30 | 2020-01-28 | Paypal, Inc. | Hardware and token based user authentication |
| JP6697681B2 (ja) | 2016-08-17 | 2020-05-27 | ソニー株式会社 | 検査装置、検査方法、およびプログラム |
| WO2018053181A1 (en) | 2016-09-14 | 2018-03-22 | Fotonation Cayman Limited | Optical systems for cameras incorporating lens elements formed separately and subsequently bonded to low cte substrates |
| US10466036B2 (en) | 2016-10-07 | 2019-11-05 | Arizona Board Of Regents On Behalf Of The University Of Arizona | Attachable depth and orientation tracker device and method of depth and orientation tracking using focal plane polarization and color camera |
| US11832969B2 (en) * | 2016-12-22 | 2023-12-05 | The Johns Hopkins University | Machine learning approach to beamforming |
| US20180189767A1 (en) | 2016-12-29 | 2018-07-05 | Fotonation Limited | Systems and methods for utilizing payment card information with a secure biometric processor on a mobile device |
| JP7013651B2 (ja) * | 2017-02-06 | 2022-02-01 | 株式会社リコー | サーバ装置、判別プログラム及び判別システム |
| WO2018165027A1 (en) * | 2017-03-06 | 2018-09-13 | Polaris Sensor Technologies, Inc. | Polarization-based detection and mapping method and system |
| US10976239B1 (en) * | 2017-03-14 | 2021-04-13 | Hart Scientific Consulting International Llc | Systems and methods for determining polarization properties with high temporal bandwidth |
| US10643382B2 (en) | 2017-04-04 | 2020-05-05 | Intel Corporation | Application of convolutional neural networks to object meshes |
| WO2018230119A1 (ja) * | 2017-06-13 | 2018-12-20 | ソニー株式会社 | 撮像装置と撮像素子および画像処理方法 |
| KR102351542B1 (ko) | 2017-06-23 | 2022-01-17 | 삼성전자주식회사 | 시차 보상 기능을 갖는 애플리케이션 프로세서, 및 이를 구비하는 디지털 촬영 장치 |
| JP7207303B2 (ja) * | 2017-07-12 | 2023-01-18 | ソニーグループ株式会社 | 撮像装置、画像生成方法、撮像システム |
| JP6585668B2 (ja) | 2017-07-20 | 2019-10-02 | セコム株式会社 | 物体検出装置 |
| US10742894B2 (en) * | 2017-08-11 | 2020-08-11 | Ut-Battelle, Llc | Optical array for high-quality imaging in harsh environments |
| US10482618B2 (en) | 2017-08-21 | 2019-11-19 | Fotonation Limited | Systems and methods for hybrid depth regularization |
| JP6695843B2 (ja) | 2017-09-25 | 2020-05-20 | ファナック株式会社 | 装置、及びロボットシステム |
| US11373396B2 (en) * | 2017-11-06 | 2022-06-28 | Google Llc | Systems and methods for improved feature extraction using polarization information |
| US10643383B2 (en) | 2017-11-27 | 2020-05-05 | Fotonation Limited | Systems and methods for 3D facial modeling |
| CN109961406B (zh) | 2017-12-25 | 2021-06-25 | 深圳市优必选科技有限公司 | 一种图像处理的方法、装置及终端设备 |
| US11024046B2 (en) | 2018-02-07 | 2021-06-01 | Fotonation Limited | Systems and methods for depth estimation using generative models |
| WO2019157288A1 (en) | 2018-02-09 | 2019-08-15 | Nano Techgalaxy, Inc. D/B/A Galaxy.Ai | Systems and methods for physical object analysis |
| US10872221B2 (en) * | 2018-06-21 | 2020-12-22 | Amazon Technologies, Inc | Non-contact biometric identification system |
| US20200012119A1 (en) * | 2018-07-06 | 2020-01-09 | Polaris Sensor Technologies, Inc. | Reducing glare for objects viewed through transparent surfaces |
| CA3107326A1 (en) * | 2018-07-30 | 2020-02-06 | Hyperfine Research, Inc. | Deep learning techniques for magnetic resonance image reconstruction |
| US11315321B2 (en) | 2018-09-07 | 2022-04-26 | Intel Corporation | View dependent 3D reconstruction mechanism |
| US10763989B2 (en) * | 2018-10-16 | 2020-09-01 | Nec Corporation | Machine learning based classification of higher-order spatial modes |
| US10659751B1 (en) | 2018-12-14 | 2020-05-19 | Lyft Inc. | Multichannel, multi-polarization imaging for improved perception |
| US10708557B1 (en) * | 2018-12-14 | 2020-07-07 | Lyft Inc. | Multispectrum, multi-polarization (MSMP) filtering for improved perception of difficult to perceive colors |
| CN110363070A (zh) * | 2019-05-31 | 2019-10-22 | 合刃科技（武汉）有限公司 | 智能识别道路状态的方法、装置及计算机程序产品 |
| US11431884B2 (en) * | 2019-09-16 | 2022-08-30 | Meta Platforms Technologies, Llc | Polarization capture device for identifying feature of object |
| US11461998B2 (en) * | 2019-09-25 | 2022-10-04 | Samsung Electronics Co., Ltd. | System and method for boundary aware semantic segmentation |
-
2020
- 2020-08-28 KR KR1020227019545A patent/KR102558903B1/ko active IP Right Grant
- 2020-08-28 WO PCT/US2020/048604 patent/WO2021108002A1/en unknown
- 2020-08-28 JP JP2022531617A patent/JP7329143B2/ja active Active
- 2020-08-28 DE DE112020005932.4T patent/DE112020005932T5/de active Pending
- 2020-08-28 MX MX2022005289A patent/MX2022005289A/es unknown
- 2020-08-28 EP EP20893428.1A patent/EP4066001A4/en active Pending
- 2020-08-28 US US17/266,046 patent/US11302012B2/en active Active
- 2020-08-28 CN CN202080082466.4A patent/CN114787648B/zh active Active
- 2020-08-28 KR KR1020237024658A patent/KR20230116068A/ko active Search and Examination
- 2020-08-28 CA CA3162710A patent/CA3162710A1/en active Pending
-
2022
- 2022-03-08 US US17/689,396 patent/US11842495B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| US20210264607A1 (en) | 2021-08-26 |
| US11842495B2 (en) | 2023-12-12 |
| JP2022550216A (ja) | 2022-11-30 |
| US20220198673A1 (en) | 2022-06-23 |
| US11302012B2 (en) | 2022-04-12 |
| DE112020005932T5 (de) | 2023-01-05 |
| WO2021108002A1 (en) | 2021-06-03 |
| EP4066001A4 (en) | 2024-01-24 |
| MX2022005289A (es) | 2022-08-08 |
| KR20220163344A (ko) | 2022-12-09 |
| EP4066001A1 (en) | 2022-10-05 |
| CN114787648B (zh) | 2023-11-10 |
| CA3162710A1 (en) | 2021-06-03 |
| JP7329143B2 (ja) | 2023-08-17 |
| CN114787648A (zh) | 2022-07-22 |
| KR102558903B1 (ko) | 2023-07-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102558903B1 (ko) | 편광 신호를 이용한 투명 물체 분할을 위한 시스템 및 방법 | |
| US11699273B2 (en) | Systems and methods for surface modeling using polarization cues | |
| CN111046703B (zh) | 人脸防伪检测方法、装置及多目相机 | |
| US11295475B2 (en) | Systems and methods for pose detection and measurement | |
| JP2022552833A (ja) | 偏光による面法線計測のためのシステム及び方法 | |
| WO2021000664A1 (zh) | 跨模态目标检测中的差异自动校准方法、***、装置 | |
| JP7460633B2 (ja) | コンピュータビジョンを使用する複合視覚検査タスクの連携学習のためのシステムと方法 | |
| US20220410381A1 (en) | Systems and methods for picking objects using 3-d geometry and segmentation | |
| EP3499414B1 (en) | Lightweight 3d vision camera with intelligent segmentation engine for machine vision and auto identification | |
| Nayar et al. | Computing reflectance ratios from an image | |
| US11797863B2 (en) | Systems and methods for synthesizing data for training statistical models on different imaging modalities including polarized images | |
| WO2022235483A1 (en) | Systems and methods for using computer vision to pick up small objects | |
| CA3109406C (en) | Systems and methods for surface modeling using polarization cues | |
| US20230316571A1 (en) | Sensor fusion between radar and optically polarized camera | |
| WO2022272166A1 (en) | Systems and methods for generating and using visual datasets for training computer vision models | |
| CN112016495A (zh) | 人脸识别的方法、装置和电子设备 | |
| Yao | Estimation illumination chromaticity | |
| Shiraishi et al. | Development of a Camera-based Portable Automatic Inspection System for Printed Labels Using Neural Networks | |
| Davies | Machine Vision: Image Processing | |
| Chaki et al. | An Automatic decission support system for medical instrument suppliers using fuzzy multifactor based approach |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A107 | Divisional application of patent | ||
| A201 | Request for examination |