KR102586009B1 - 이미지 처리 방법 및 장치 및 이미지 처리 디바이스 - Google Patents

이미지 처리 방법 및 장치 및 이미지 처리 디바이스 Download PDF

Info

Publication number
KR102586009B1
KR102586009B1 KR1020217003433A KR20217003433A KR102586009B1 KR 102586009 B1 KR102586009 B1 KR 102586009B1 KR 1020217003433 A KR1020217003433 A KR 1020217003433A KR 20217003433 A KR20217003433 A KR 20217003433A KR 102586009 B1 KR102586009 B1 KR 102586009B1
Authority
KR
South Korea
Prior art keywords
image
camera
measured object
binocular camera
image processing
Prior art date
Application number
KR1020217003433A
Other languages
English (en)
Other versions
KR20210027461A (ko
Inventor
지리 카오
무 양
키칭 첸
지시안 리우
얀 가오
지 양
Original Assignee
베이징 쿠앙쉬 테크놀로지 씨오., 엘티디.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베이징 쿠앙쉬 테크놀로지 씨오., 엘티디. filed Critical 베이징 쿠앙쉬 테크놀로지 씨오., 엘티디.
Publication of KR20210027461A publication Critical patent/KR20210027461A/ko
Application granted granted Critical
Publication of KR102586009B1 publication Critical patent/KR102586009B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Electromagnetism (AREA)
  • Computer Graphics (AREA)
  • Optics & Photonics (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

이미지 처리 방법 및 장치 및 이미지 처리 디바이스가 개시된다. 이미지 처리 방법 및 장치 및 이미지 처리 디바이스에 따라, 적외선 양안 카메라는 제1 카메라에 의해 수집된 제1 이미지 및 제2 카메라에 의해 수집된 제2 이미지를 획득하기 위해 투영 조립체에 의해 투영된 스펙클 패턴에 의해 측정된 객체가 조명될 때 형성된 이미지를 수집하고; 및 측정된 객체의 3차원 데이터는 제1 이미지 및 제2 이미지에 의해 구성된 한 쌍의 이미지에 따라 결정된다. 방법에 의해, 측정된 객체의 3차원 데이터는 측정을 통해 상대적으로 정확하게 획득될 수 있으며, 이를 통해 측정의 정밀도 및 정확도를 개선하고, 또한 투영 조립체에 대한 정밀도 요건이 낮아서 비용이 낮아질 수 있다.

Description

이미지 처리 방법 및 장치 및 이미지 처리 디바이스
본 출원은 2018년 8월 6일에 출원된 중국특허출원 제201810888231.9호의 우선권을 주장하고, 그의 전체 개시는 본 출원의 개시의 일부로서 참조로 통합된다.
기술분야
본 개시의 실시예는 이미지 처리 방법, 장치 및 이미지 처리 디바이스에 관련된다.
최근, 3D(3차원) 이미지 획득 모듈은 객체의 깊이 정보를 인지하고 그 후, 객체의 3차원 윤곽을 얻는데 사용될 수 있는, 스마트 모바일 단말기와 같은 전자 디바이스에서 점점 더 널리 사용되고 있다. 하지만, (3D 구조화된 광 모듈과 같은) 3D 이미지 획득 모듈은 모듈 구성요소의 정확도에 대한 높은 요건을 제기하며(raise), 이는 복잡한 생산 프로세스 및 높은 생산 비용을 이끄는 것으로 알려진다. 모듈 구성요소의 제조 공정의 제한에 기인하여, 객체의 획득된 깊이 정보의 정밀도 및 정확도를 개선하는 것은 어렵다.
이를 고려하여, 본 개시의 적어도 하나의 실시예는 낮은 비용으로 측정의 정밀도 및 정확도를 개선할 수 있는 이미지 처리 방법, 장치 및 이미지 처리 디바이스를 제공한다.
전술한 목적을 달성하기 위해, 본 개시의 실시예에서 채택된 기술적인 해결책은 다음과 같다:
제1 양상에서, 본 개시의 실시예는 이미지 처리 방법을 제공하고, 방법은:
투영 구성요소에 의해 투영된 스펙클 패턴(speckle pattern)의 조사(irradiation) 하에 측정된 객체에 의해 형성된 이미지를 획득함으로써, 적외선 양안 카메라(infrared binocular camera)를 통해 한 쌍의 이미지를 획득하는 것 - 한 쌍의 이미지는 적외선 양안 카메라의 제1 카메라에 의해 획득된 제1 이미지 및 적외선 양안 카메라의 제2 카메라에 의해 획득된 제2 이미지를 포함함 -; 및
한 쌍의 이미지에 따라 측정된 객체의 3차원 데이터를 결정하는 것을 포함한다.
제1 양상을 참조하면, 본 개시의 실시예는 제1 양상의 제1 가능한 구현 방식을 제공하고, 한 쌍의 이미지에 따라 측정된 객체의 3차원 데이터를 결정하는 것은:
제1 이미지와 제2 이미지 간에 특징점 매칭을 수행하는 것;
제1 이미지 및 제2 이미지에서 대응하는 특징점 간의 위치 편차를 결정하는 것; 및
대응하는 특징점 간의 위치 편차 및 적외선 양안 카메라의 미리 저장된 파라미터에 따라 측정된 객체의 3차원 데이터를 결정하는 것을 포함한다.
제1 양상의 제1 가능한 구현 방식을 참조하면, 본 개시의 실시예는 제1 양상의 제2 가능한 구현 방식을 제공하고, 제1 이미지와 제2 이미지 간에 특징점 매칭을 수행하는 것은:
제1 이미지의 특징점 및 제2 이미지의 특징점에 포함된 픽셀점의 밝기 값에 따라, 제1 이미지와 제2 이미지 간에 특징점 매칭을 수행하는 것을 포함한다.
제1 양상의 제1 가능한 구현 방식을 참조하면, 본 개시의 실시예는 제1 양상의 제3 가능한 구현 방식을 제공하고, 제1 이미지 및 제2 이미지에서 대응하는 특징점 간의 위치 편차를 결정하는 것은:
제1 이미지에서 대응하는 특징점의 위치 좌표 및 제2 이미지에서 대응하는 특징점의 위치 좌표에 따라, 제1 이미지 및 제2 이미지에서 대응하는 특징점 간의 위치 편차를 결정하는 것을 포함한다.
제1 양상의 제1 가능한 구현 방식을 참조하면, 본 개시의 실시예는 제1 양상의 제4 가능한 구현 방식을 제공하고, 대응하는 특징점의 위치 편차 및 적외선 양안 카메라의 미리 저장된 파라미터에 따라 측정된 객체의 3차원 데이터를 결정하는 것은:
대응하는 특징점 간의 위치 편차, 적외선 양안 카메라의 미리 저장된 초점 거리 및 제1 카메라의 광학 축과 제2 카메라의 광학 축 사이의 거리에 따라 적외선 양안 카메라에 대해 측정된 객체의 각 특징점의 수직 거리를 결정하는 것; 및
적외선 양안 카메라에 대해 측정된 객체의 각 특징점의 수직 거리에 따라, 측정된 객체의 3차원 데이터를 결정하는 것을 포함한다.
제1 양상을 참조하면, 본 개시의 실시예는 제1 양상의 제5 가능한 구현 방식을 제공하고, 방법은:
가시광선 카메라(visible light camera)에 의해 측정된 객체의 컬러 이미지를 획득하는 것; 및
컬러 이미지 및 측정된 객체의 3차원 데이터에 따라 측정된 객체의 3차원 모델을 확립하는 것을 더 포함한다.
제2 양상에서, 본 개시의 실시예는 이미지 처리 장치를 제공하며, 이미지 처리 장치는:
투영 구성요소에 의해 투영된 스펙클 패턴의 조사 하에 측정된 객체에 의해 형성된 이미지를 획득함으로써 적외선 양안 카메라를 통해 한 쌍의 이미지를 획득하도록 구성된 이미지 획득 유닛 - 한 쌍의 이미지는 적외선 양안 카메라의 제1 카메라에 의해 획득된 제1 이미지 및 적외선 양안 카메라의 제2 카메라에 의해 획득된 제2 이미지를 포함함 -; 및
한 쌍의 이미지에 따라 측정된 객체의 3차원 데이터를 결정하도록 구성된 컴퓨팅 유닛을 포함한다.
제3 양상에서, 본 개시의 실시예는 투영 구성요소, 적외선 양안 카메라 및 이미지 처리 칩을 포함하는 이미지 처리 디바이스를 제공한다.
투영 구성요소는 스펙클 패턴을 측정된 객체에 투영하도록 구성되고;
적외선 양안 카메라는 스펙클 패턴의 조사 하에 측정된 객체에 의해 형성된 스펙클 이미지를 획득하도록 구성되고; 및
이미지 처리 칩은 제1 양상 중 어느 하나에 따른 방법을 채택함으로써, 스펙클 이미지에 따라, 측정된 객체의 3차원 데이터를 결정하도록 구성된다.
제3 양상을 참고하면, 본 개시의 실시예는 제3 양상의 제1 가능한 구현 방식을 제공하고, 투영 구성요소는 순차적으로 배열된 광원, 빔 성형기 및 회절 격자를 포함하고, 광원에 의해 방출되는 광은 스펙클 패턴을 형성하기 위해 빔 성형기 및 회절 격자를 차례로 통과하고 방출된다.
제3 양상의 제1 가능한 구현 방식을 참조하면, 본 개시의 실시예는 제3 양상의 제2 가능한 구현 방식을 제시하고, 광원은 VCSEL 송신기이다.
제3 양상의 제1 가능한 구현 방식을 참조하면, 본 개시의 실시예는 제3 양상의 제3 가능한 구현 방식을 제공하고, 빔 성형기는 빔 확장 및 시준(collimating) 기능을 갖는 광학 렌즈를 포함한다.
제3 양상의 제1 가능한 구현 방식을 참조하면, 본 개시의 실시예는 제3 양상의 제4 가능한 구현 방식을 제공하고, 광원은 적외선 소스이다.
제3 양상을 참조하면, 본 개시의 실시예는 제3 양상의 제5 가능한 구현 방식을 제공하고, 적외선 양안 카메라의 제1 카메라의 광학 축은 적외선 양안 카메라의 제2 카메라의 광학 축과 평행이다.
제3 양상 또는 제3 양상의 제5 가능한 구현 방식을 참조하면, 본 개시의 실시예는 제3 양상의 제6 가능한 구현 방식을 제공하고, 디바이스는 가시광선 카메라를 더 포함하고, 가시광선 카메라는 이미지 처리 칩을 연결하고, 측정된 객체의 획득된 컬러 이미지를 이미지 처리 칩에 송신하도록 구성되어, 이미지 처리 칩은 적외선 양안 카메라에 의해 획득된 이미지 및 가시광선 카메라에 의해 획득된 컬러 이미지에 따라 측정된 객체의 3차원 모델을 확립한다.
제3 양상 또는 제3 양상의 제5 가능한 구현 방식을 참조하면, 본 개시의 실시예는 제3 양상의 제7 가능한 구현 방식을 제공하고, 디바이스는 필 라이트(fill light)를 더 포함하고, 필 라이트는 주변 광이 불충분한 경우 광 보상을 제공하도록 구성된다.
제3 양상의 제7 가능한 구현 방식을 참조하면, 본 개시의 실시예는 제3 양상의 제8 가능한 구현 방식을 제공하고, 필 라이트에 의해 방출되는 광의 파장은 투영 구성요소의 광원에 의해 방출된 광의 파장 또는 적외선 양안 카메라에 의해 획득된 광의 파장과 일치한다.
제4 양상에서, 본 개시의 실시예는 또한, 컴퓨터 프로그램이 저장된 컴퓨터 판독가능 저장 매체를 제공하고, 컴퓨터 프로그램이 프로세서에 의해 구동될 때, 제1 양상 중 어느 하나에 따른 방법의 단계가 실행된다.
본 개시의 실시예에 의해 제공되는 이미지 처리 방법, 장치 및 이미지 처리 디바이스에서, 제1 카메라에 의해 획득된 제1 이미지 및 제2 카메라에 의해 획득된 제2 이미지는 투영 구성요소에 의해 투영된 스펙클 패턴의 조사 하에 측정된 객체에 의해 형성된 이미지를 획득함으로써 적외선 양안 카메라를 통해 획득되고, 측정된 객체의 3차원 데이터는 제1 이미지 및 제2 이미지를 포함하는 한 쌍의 이미지에 따라 결정된다. 이 방법을 채택함으로써, 측정된 객체의 3차원 데이터가 더욱 정확하게 측정할 수 있고, 측정의 정밀도 및 정확도가 개선되며, 투영 구성요소의 정확도 요건이 낮고, 비용이 감소될 수 있다.
본 개시의 다른 특징 및 장점은 다음의 명세서에서 설명하거나, 특징 및 장점의 일부가 명세서로부터 유추되거나 또는 의심의 여지없이 결정될 수 있으며, 본 개시의 앞서 언급된 기술을 구현함으로써 학습될 수 있다.
본 개시의 상술한 목적, 특징 및 장점을 더욱 명확하고 이해하기 쉽게 하기 위해, 첨부 도면과 동반된 선택적인 실시예가 아래에서 상세히 설명된다.
본 개시의 특정 실시예 또는 종래 기술의 기술적인 해결책을 더욱 명확하게 예시하기 위해, 특정 실시예 또는 종래 기술의 설명에 사용될 도면이 다음에서 간략하게 설명될 것이다. 명백히, 다음 설명에서 도면은 본 개시의 일부 실시예이다. 이 기술분야의 통상의 기술자에게, 창의적인 작업 없이 이들 도면을 기초로 다른 도면이 획득될 수 있다.
도 1은 본 개시의 실시예에 의해 제공되는 이미지 처리 디바이스의 구조적인 블록도를 도시하고;
도 2는 본 개시의 실시예에 의해 제공되는 다른 이미지 처리 디바이스의 개략적인 구조도를 도시하고;
도 3은 본 개시의 실시예에 의해 제공되는 투영 구성요소(11)의 개략적인 구조도를 도시하고;
도 4는 본 개시의 실시예에 의해 제공되는 이미지 처리 방법의 흐름도를 도시하고;
도 5는 본 개시의 실시예에 의해 제공되는 다른 이미지 처리 방법의 흐름도를 도시하고;
도 6은 본 개시의 실시예에 의해 제공되는 이미지 처리 장치의 구조적인 블록도를 도시하며; 및
도 7은 본 개시의 실시예에 의해 제공되는 레인징(ranging) 방법의 개략도를 도시한다.
참조 번호: 1: 이미지 획득 장치; 11: 투영 구성요소; 111: 광원; 112: 빔 성형기; 113: 회절 격자; 12: 적외선 양안 카메라; 121: 제1 카메라; 122: 제2 카메라; 13: 필 라이트; 14: 가시광선 카메라; 2: 이미지 처리 칩; 3: 버스 시스템; 4: 저장 장치; 5: 입력 장치; 6: 출력 장치; 61: 이미지 획득 유닛; 62: 컴퓨팅 유닛.
본 개시의 실시예의 목적, 기술적인 해결책 및 장점을 더욱 명확하게 하기 위해, 본 개시의 기술적인 해결책은 도면과 관련하여 명확하고 완전하게 설명될 것이다. 명백하게, 설명된 실시예는 본 개시의 실시예의 전부가 아닌 일부일 뿐이다. 본원에 설명된 실시예에 기초하여, 이 기술분야의 통상의 기술자는 본 개시의 범주 내에 있어야 하는 임의의 독창적인 작업 없이 다른 실시예(들)를 획득할 수 있다.
알려진 3D 이미지 획득 모듈이 모듈 구성요소의 정확도에 대한 높은 요건을 제기하는 관점에서, 높은 생산 비용을 초래하는 문제점을 고려하여, 본 개시의 실시예는 생산 비용을 감소시키고 측정 정밀도와 정확도를 개선할 수 있는 이미지 처리 방법, 장치 및 이미지 처리 디바이스를 제공한다. 이하에서는 본 개시의 실시예를 상세히 설명한다.
실시예는 도 1에 도시된 이미지 처리 디바이스를 제공하고, 이미지 처리 디바이스는 하나 이상의 이미지 처리 칩(2), 하나 이상의 저장 장치(4), 입력 장치(5), 출력 장치(6) 및 이미지 획득 장치(1)를 포함할 수 있다. 이들 구성요소는 버스 시스템(3) 및/또는 다른 형태의 연결 메커니즘(미도시)을 통해 상호 연결된다. 도 1에 도시된 이미지 처리 디바이스의 구성요소 및 구조는 단지 예시이고, 이에 제한적이지 않다는 것이 유의되어야 한다. 이미지 처리 디바이스는 또한, 필요에 따라 다른 구성요소 및 구조를 가질 수도 있다.
이미지 획득 장치(1)의 구조는 도 2에 도시되며, 투영 구성요소(11) 및 적외선 양안 카메라(12)를 포함할 수 있다.
투영 구성요소(11)는 측정된 객체에 스펙클 패턴을 투영하도록 구성된다. 스펙클 패턴은 균일한 점구름 패턴(point cloud pattern) 또는 랜덤 점구름 패턴일 수 있으며, 양안시 동작(binocular vision operation)에 대한 특징점으로서 사용된다. 도 3에 도시된 바와 같이, 투영 구성요소(11)는 순차적으로 배열된 광원(111), 빔 성형기(112) 및 회절 격자(113)를 포함할 수 있다. 광원(111)에 의해 방출된 간섭성 광(coherent light)은 빔 성형기(112) 및 회절 격자(113)를 순차적으로 통과하며, 그 후 스펙클 패턴을 형성하고 방출된다. 스펙클 패턴은 상술한 광학 구성요소를 통과한 이후에, 광원(111)에 의해 방출되는 간섭성 광에 의해 생성되며, 스펙클 패턴의 본질은 랜덤 위상으로 다수의 광 파면의 중첩에 의해 야기되는 간섭 현상이다. 공간에서의 자유 전파 프로세스에서, 스펙클 패턴은 스펙클 패턴의 분포 공간의 각 영역을 고유하게 코딩할 수 있으므로, 스펙클 패턴의 조사 하에 측정된 객체에 의해 형성된 스펙클 이미지에 따라, 측정된 객체의 3차원 데이터가 계산될 수 있다.
예를 들어, 광원(111)은 적외선 광원일 수 있고, 방출된 간섭성 광은 적외선 광이다. 예를 들어, 수직 캐비티 표면 방출 레이저(vertical cavity surface emitting laser, VCSEL) 송신기 또는 적외선 LED는 보이지 않는 적외선 광을 방출하는데 사용될 수 있다. VCSEL 송신기는 갈륨 비소 반도체 재료를 기반으로 만들어지며, 주로 세 개의 부분: 레이저 작업 재료, 펌핑 소스 및 광학 공진 캐비티(resonant cavity)를 포함한다. VCSEL 송신기는 높은 스펙트럼 정확도, 빠른 응답 속도, 긴 서비스 수명 및 긴 투영 거리의 장점을 갖는다.
빔 성형기(112)는 빔 확장 및 시준 기능을 갖는 광학 렌즈를 포함한다. 광원(111)에 의해 방출된 간섭성 광 빔이 빔 성형기(112)를 통과한 이후에, 광 빔의 직경 및 발산 각도가 변경되고, 그 후 간섭성 광 빔은 빔 성형기(112)에 수직인 방향으로 방출된다. 회절 격자(113)는 회절 광학 요소(diffractive optical element, DOE)를 채택할 수 있다. DOE는 밀집하고 동일한 간격의 평행한 스크라이브 라인으(scribed line)로 구성된 광학 디바이스이다. DOE는 스펙클 패턴을 형성하고 측정된 객체 상에 스펙클 패턴을 투영하도록, 다른 파장에 따라 DOE에 조사된 광을 분산시키기 위해 다중-슬릿 회절 및 간섭을 사용한다.
적외선 양안 카메라(12)는 이미지 처리 칩(2)이 측정된 객체의 스펙클 이미지에 따라 측정된 객체의 3차원 데이터를 결정하도록, 투영 구성요소(11)에 의해 방출된 스펙클 패턴의 조사 하에 측정된 객체에 의해 형성된 획득된 이미지를 이미지 처리 칩(2)으로 송신하기 위해 이미지 처리 칩(2)을 연결하는데 사용된다.
적외선 양안 카메라(12)는 제1 카메라(121) 및 제2 카메라(122)를 포함한다. 예를 들어, 제1 카메라(121) 및 제2 카메라(122) 모두는 적외선 카메라이다. 적외선 카메라는 순차적으로 배열된 적외선 상보형 금속 산화물 반도체(infrared complementary metal oxide semiconductor, CMOS) 구성요소, 협대역 필터(narrow-band filter) 및 렌즈를 포함할 수 있다. 적외선 CMOS 구성요소는 측정된 객체에 의해 반사된 적외선 광에 의해 형성된 패턴을 수신할 수 있다. 협대역 필터는 광이 특정 파장 대역을 통과하는 것을 허용하고, 이 파장 대역으로부터 벗어나는 광은 차단된다. 일 실시예에서, 광원은 940nm의 파장을 갖는 적외선 광을 방출하는 VCSEL 송신기를 채택한다. 그러므로, 적외선 카메라는 940nm 이외의 파장의 주변 광을 차단하고, 940nm에서만 적외선 광을 수신해야 한다. 이를 위해, 렌즈가 약 940nm의 적외선 광만을 이미징하도록, 협대역 필터가 사용된다. 협대역 필터는 주로, 간섭 원리를 채택하고 수십 개의 층의 광학 코팅으로 구성된다.
제1 카메라(121)의 광학 축은 제2 카메라(122)의 광학 축과 평행하다. 두 개의 카메라는 각각의 시야에서 측정된 객체의 이미지를 획득하고, 그 이미지를 이미지 처리 칩(2)으로 송신할 수 있다. 그러므로, 이미지 처리 칩(2)은 측정된 객체의 두 개의 이미지, 즉 제1 카메라(121)에 의해 획득된 제1 이미지 및 제2 카메라(122)에 의해 획득된 제2 이미지를 획득할 수 있다. 제1 이미지 및 제2 이미지로 구성된 한 쌍의 이미지를 기초로, 양안 깊이 알고리즘을 사용하여, 측정된 객체의 3차원 데이터가 계산될 수 있다.
이 실시예에 의해 제공되는 이미지 처리 디바이스는 적외선 양안 카메라를 채택하고, 양안 깊이 알고리즘을 사용함으로써 측정된 객체의 3차원 데이터를 계산한다. 단안 카메라가 채택되고 측정된 객체의 3차원 데이터가 보간을 통해 계산되는 알려진 솔루션과 비교하여, 이 실시예는 보간없이 획득된 실제 데이터를 완전히 사용하며, 따라서 측정의 정밀도 및 정확도가 개선될 수 있다.
덧붙여, 종래 기술은 단안 카메라를 채택하고, 특정 코드로 스펙클을 투영하기 위한 투영 구성요소를 필요로 한다. 투영된 스펙클이 약간 벗어난 경우, 이는 계산 결과에 큰 영향을 미칠 수 있으며, 따라서 투영 구성요소의 정확도 및 제조 프로세스 요건이 높아야 한다. 적외선 양안 카메라를 채택하기 때문에, 투영 구성요소에 의해 방출된 광은 랜덤 스펙클일 수 있으며, 특정 코딩이 요구되지 않는다. 측정된 객체에 투영된 스펙클 패턴의 편차는 계산 결과에 거의 영향을 미치지 않고, 투영 구성요소의 정확도 및 제조 공정에 대한 요건이 낮으며, 이는 투영 구성요소의 수율을 증가시키고 제조 비용을 감소시킬 수 있다. 더욱이, 특정 코딩된 스펙클을 투영할 필요가 없기 때문에, 투영 구성요소의 방출 효율도 또한 개선될 수 있다.
예를 들어, 본 개시의 실시예에 의해 제공되는 이미지 획득 장치(1)는 필 라이트(13)를 더 포함할 수 있다. 필 라이트(13)는 주변 광이 불충분한 경우에 광 보상을 제공하도록 구성된다. 필 라이트(13)에 의해 방출되는 광의 파장은 투영 구성요소의 광원에 의해 방출되는 광의 파장 또는 적외선 양안 카메라에 의해 획득된 광의 파장과 일치한다. 필 라이트(13)는 적외선 양안 카메라(12)의 제1 카메라(121)와 제2 카메라(122) 사이에 배치될 수 있지만 이에 제한되지 않는다.
다른 실시예에서, 이미지 획득 장치(1)는 가시광선 카메라(14)를 더 포함할 수 있다. 가시광선 카메라(14)는 이미지 처리 칩(2)을 연결하고, 측정된 객체의 획득된 컬러 이미지를 이미지 처리 칩(2)에 송신하도록 구성되어, 이미지 처리 칩(2)은 적외선 양안 카메라(12)에 의해 획득된 이미지 및 가시광선 카메라(14)에 의해 획득된 컬러 이미지에 따라 측정된 객체의 3차원 모델을 확립한다. 가시광선 카메라(14)를 통해 측정된 객체의 더욱 상세한 특징이 또한 획득될 수 있다. 예를 들어, 측정된 객체가 사람의 얼굴인 경우, 가시광선 카메라(14)에 의해 얼굴의 주름 및 작은 곰보(acne scars)와 같은 상세한 정보가 획득될 수 있으며, 이를 통해 지불 및 생활 검출과 같은 고정밀 요건을 충족시키기 위한 더 강력한 기본 능력을 제공한다.
이미지 처리 칩(2)은 이미지 처리 능력을 갖는다. 이미지 처리 칩(2)은 이미지 획득 장치(1)에서 적외선 양안 카메라에 의해 획득된 측정된 객체의 두 개의 이미지를 수신한다. 두 개의 이미지를 기초로, 이미지 처리 칩(2)은 양안 깊이 알고리즘을 사용함으로써 측정된 객체의 3차원 데이터를 계산한다. 사람의 얼굴의 3차원 데이터가 획득된 경우, 이미지 처리 칩(2)은 전자 디바이스의 잠금 해제 및 모바일 결제에 사용되는, 3차원 데이터를 기초로 얼굴 인식을 수행할 수 있다. 이 경우, 측정된 객체와 전자 디바이스 사이의 거리가 25cm 내지 120cm인 경우, 상대적으로 정확한 인식 결과가 획득될 수 있다.
예를 들어, 이미지 처리 칩(2)은 또한, 이미지 획득 장치(1)에서 가시광선 카메라에 의해 획득된 측정된 객체의 컬러 이미지를 동시에 수신하고, 양안 카메라에 의해 획득된 이미지 및 가시광선 카메라에 의해 획득된 컬러 이미지를 기초로 측정된 객체의 3차원 모델을 확립할 수 있다. 예를 들어, 사람의 얼굴의 3차원 모델이 확립된다. 이 경우, 측정된 객체와 전자 장치 사이의 거리가 25cm로부터 80cm로의 범위에 있는 경우, 상대적으로 정확한 모델링 결과가 획득될 수 있다.
이미지 처리 칩(2)은 중앙 처리 유닛(CPU), 그래픽 처리 유닛(GPU), 신경망 처리 유닛(neural network processing unit, NPU), 또는 데이터 처리 능력 및/또는 명령어 실행 능력을 갖는 다른 형태의 처리 유닛일 수 있으며, 원하는 기능을 수행하기 위해 전자 디바이스에서의 다른 구성요소를 제어할 수 있다.
저장 장치(4)는 하나 이상의 컴퓨터 프로그램 제품을 포함할 수 있고, 컴퓨터 프로그램 제품은 휘발성 메모리 및/또는 비-휘발성 메모리와 같은 다양한 형태의 컴퓨터 판독-가능 저장 매체를 포함할 수 있다. 휘발성 메모리는 예를 들어, 랜덤 액세스 메모리(Random Access Memory, RAM) 및/또는 캐시 메모리(캐시)를 포함할 수 있다. 비-휘발성 메모리는 예를 들어, 판독-전용 메모리(read-only memory, ROM), 하드 디스크, 플래시 메모리 등을 포함할 수 있다. 하나 이상의 컴퓨터 프로그램 명령어가 컴퓨터-판독가능 저장 매체에 저장될 수 있고, 이미지 처리 칩(2)은 (이미지 처리 칩에 의해 구현된) 이미지 처리 기능 및/또는 아래에서 설명되는 본 개시의 실시예에서의 다른 원하는 기능을 구현하기 위한 프로그램 명령어를 구동할 수 있다. 응용 프로그램에 의해 사용되거나 및/또는 생성되는 다양한 데이터와 같은 다양한 응용 프로그램 및 다양한 데이터는 컴퓨터 판독가능 저장 매체에 저장될 수 있다.
입력 장치(5)는 사용자에 의해 명령어를 입력하는데 사용되는 디바이스일 수 있고, 키보드, 마우스, 마이크, 터치 스크린 등 중 하나 이상을 포함할 수 있다.
출력 장치(6)는 다양한 정보(예를 들어, 이미지 또는 사운드)를 외부(예를 들어, 사용자)로 출력할 수 있으며, 디스플레이, 스피커 등 중 하나 이상을 포함할 수 있다.
예를 들어, 상술한 이미지 처리 디바이스는 전자 카메라 또는 올인원 개인 식별 머신(all-in-one personal identification machine)에서 구현될 수 있으며, 스마트 폰 또는 태블릿 컴퓨터와 같은 모바일 단말기에서 또한 구현될 수 있다.
이 실시예는 알려진 3D 이미지 획득 구성요소가 측정된 객체의 이미지를 획득하기 위해 단안 카메라를 채택하고 측정된 객체의 3차원 데이터가 보간을 통해 계산되는 경우 정밀도 및 정확도가 낮은 문제를 목표로 하여, 위의 실시예에서 설명된 이미지 처리 디바이스에 적용될 수 있는 이미지 처리 방법을 제공한다. 첨부 도면의 흐름도에 도시된 단계는 컴퓨터-실행 가능 명령어의 세트와 같이, 컴퓨터 시스템에서 실행될 수 있고, 흐름도에 논리적인 순서가 도시되었지만, 도시되거나 설명된 단계는 여기서 도시된 것과 다른 순서로 수행될 수 있음이 유의되어야 한다. 이 실시예는 아래에서 상세히 설명된다.
도 4는 이 실시예에 의해 제공되는 이미지 처리 방법의 흐름도를 도시한다. 도 4에 도시된 바와 같이, 방법은 다음 단계를 포함한다.
단계 S402에서, 투영 구성요소에 의해 투영된 스펙클 패턴의 조사 하에 측정된 객체에 의해 형성된 이미지를 획득함으로써, 적외선 양안 카메라를 통해 한 쌍의 이미지가 획득된다.
한 쌍의 이미지는 두 개의 이미지 즉, 적외선 양안 카메라의 제1 카메라에 의해 획득된 제1 이미지 및 적외선 양안 카메라의 제2 카메라에 의해 획득된 제2 이미지를 포함한다. 이미지 처리 칩은 제1 카메라에 의해 획득된 측정된 객체의 제1 이미지를 수신하고, 동시에 제2 카메라에 의해 획득된 측정된 객체의 제2 이미지를 수신한다.
단계 S404에서, 측정된 객체의 3차원 데이터가 한 쌍의 이미지에 따라 결정된다.
이미지 처리 칩은 먼저 수신된 제1 이미지 및 제2 이미지를 각각 전처리하고(노이즈 제거, 이미지 향상 등 포함), 그 후, 제1 이미지 내의 특징점과 제2 이미지 내의 특징점 사이의 대응을 결정하기 위해 전처리된 제1 이미지 및 제2 이미지 간에 특징점 매칭을 수행한다. 특징점은 이미지에서 더 밝은 영역일 수 있다. 측정된 객체가 예시로서 사람의 얼굴이라고 생각하면, 스펙클 패턴의 조사 하에, 사람의 얼굴은 육안으로 볼 수 없는 밝고 어두운 이미지를 번갈아 나타낸다. 이미지에서 더 밝은 점은 특징점으로서 선택된다. 제1 이미지 및 제2 이미지에서 얼굴의 동일한 부분의 특징점이 매칭된다. 제1 이미지 및 제2 이미지에서, 특징점은 복수의 픽셀점을 포함할 수 있다. 제1 이미지의 제1 특징점이 선택되고, 제1 특징점에 포함된 각 픽셀점의 밝기 값이 결정되고, 제2 이미지에서 제1 특징점에 대응하는 제2 특징점이 검색된다. 제2 특징점에 포함된 각 픽셀점의 밝기 값은 제1 특징점에 포함된 각 대응하는 픽셀점의 밝기 값과 동일하다. 마찬가지로, 제1 이미지 및 제2 이미지에서 대응하는 특징점을 찾음으로써, 제1 이미지와 제2 이미지의 간에 특징점 매칭이 완료된다.
제1 이미지 및 제2 이미지에서 대응하는 특징점 간의 위치 편차가 결정된다. 예를 들어, 제1 이미지에서 제1 특징점의 위치 좌표가 결정되고, 제2 이미지에서 제1 특징점에 대응하는 제2 특징점의 위치 좌표가 결정된다. 제1 특징점의 위치 좌표 및 제2 특징점의 위치 좌표에 따라, 제1 특징점과 제2 특징점 간의 위치 편차가 결정된다. 동일한 방식으로, 제1 이미지 및 제2 이미지에서 다른 대응하는 특징점 간의 위치 편차가 결정될 수 있다.
적외선 양안 카메라에 대한 측정된 객체의 각 특징점의 수직 거리는 대응하는 특징점 간의 위치 편차, 적외선 양안 카메라의 미리 저장된 초점 거리 및 제1 카메라의 광학 축 및 제2 카메라의 광학 축 사이의 거리에 따라 결정된다. 예를 들어, 도 7을 참조로, 적외선 양안 카메라에 대한 측정된 객체에서의 특징점 Q의 수직 거리 R 즉, 특징점 Q와 제1 카메라와 제2 카메라 사이의 연결이 위치된 평면 사이의 수직 거리 R이 결정된다. 원리는 다음과 같다. 제1 카메라 및 제2 카메라의 초점 거리가 모두 f이고, 제1 카메라의 광학 축과 제2 카메라의 광학 축 사이의 거리가 b이고, 특징점 Q와 제2 카메라 사이의 광학축 사이의 편차 거리가 p이고, 특징점 Q와 제1 카메라의 광학 축 사이의 편차 거리가 p+b인 것이 가정된다. 제1 이미지에서 특징점 Q의 이미징 점은 제1 특징점 Q1이고, 제2 이미지에서 특징점 Q의 이미징 점은 제2 특징점 Q2이다. 삼각 측량의 원리를 기초로, 아래의 식이 획득될 수 있다:
위의 두 개의 식을 결합하면, 아래의 식이 계산될 수 있다:
위의 식에서 x1-x2는 제1 특징점과 제2 특징점 간의 위치 편차이고, b는 제1 카메라의 광학 축과 제2 카메라의 광학 축 사이의 거리이며, f는 적외선 양안 카메라의 초점 거리이다. 위의 세 개의 파라미터에 따라, 적외선 양안 카메라에 대한 특성점 Q의 수직 거리가 획득될 수 있다.
적외선 양안 카메라에 대한 측정된 객체의 각 특징점의 수직 거리가 결정되고 즉, 측정된 객체의 표면에서 각 특징점의 공간 좌표가 결정될 수 있으며, 이는 또한, 측정된 객체의 점구름 정보로 지칭된다. 측정된 객체의 점구름 정보는 측정된 객체의 3차원 데이터로서 사용된다.
단안 카메라를 채택하고 보간 방법을 통해 측정된 객체의 3차원 데이터를 계산하는 알려진 이미지 처리 디바이스에 비해, 이 방법은 획득된 이미지의 실제 데이터를 기초로 계산할 수 있으며, 이는 측정 오차를 감소시키고, 측정 정확도를 개선할 수 있다. 예를 들어, 측정된 객체가 전자 디바이스로부터 40cm 떨어진 경우, 측정 결과의 평균 제곱근 오차는 0.6631mm로 감소될 수 있다. 평균 제곱근 오차는 측정 결과와 실제 값 간의 편차의 제곱 합 및 측정 횟수의 비율의 제곱근이다.
도 5에 도시된 바와 같이, 일 실시예에서, 위의 방법은:
단계 S502 - 가시광선 카메라에 의해 측정된 객체의 컬러 이미지를 획득하는 것 -를 더 포함할 수 있다.
단계 S502는 단계 S402 이전에 실행될 수 있거나, 또는 단계 S402 또는 단계 S404 이후에 실행될 수 있다. 이미지 처리 칩은 가시광선 카메라에 의해 획득된 측정된 객체의 컬러 이미지를 수신한다.
단계 S504에서, 컬러 이미지 및 측정된 객체의 3차원 데이터에 따라 측정된 객체의 3차원 모델이 확립된다.
단계 S404에서 측정된 객체의 3차원 데이터가 획득된 이후에, 측정된 객체의 3차원 데이터에 따라 측정된 객체의 그레이-스케일 스테레오 이미지(gray-scale stereo image)가 구축될 수 있다. 측정된 객체의 그레이-스케일 스테레오 이미지의 표면 상에 컬러 이미지에서 측정된 객체의 컬러를 오버레이함으로써(overlaying), 측정된 객체의 3차원 모델이 획득될 수 있다. 이 방법은 정면 포트레이트 블러링(frontal portrait blurring) 및 캐릭터의 동적 표현을 시뮬레이션하는 것과 같은 상황에 적용될 수 있다.
본 개시의 실시예에 의해 제공되는 이미지 처리 방법에서, 양안 카메라를 통해 측정된 객체의 이미지가 획득되고, 측정된 객체의 공간 좌표가 계산되며, 각 특징점에 대응하는 공간 좌표가 획득될 수 있어서, 측정의 정밀도 및 정확도를 개선한다. 측정된 객체의 컬러 이미지를 획득하기 위해 가시광선 카메라와 결합될 때, 측정된 객체의 컬러 특성이 획득될 수 있고, 측정된 객체의 3차원 모델이 확립될 수 있다.
전술한 실시예에서 제공된 이미지 처리 방법에 대응하여, 이 실시예는 전술한 실시예에서 설명된 전자 디바이스에 적용되는 이미지 처리 장치를 제공한다. 도 6은 본 개시의 실시예에 의해 제공되는 이미지 획득 장치의 개략적인 구조도를 도시한다. 도 6에 도시된 바와 같이, 장치는 다음 유닛을 포함한다.
이미지 획득 유닛(61)은 투영 구성요소에 의해 투영된 스펙클 패턴의 조사 하에 측정된 객체에 의해 형성된 이미지를 획득함으로써 적외선 양안 카메라를 통해 한 쌍의 이미지를 획득하도록 구성된다. 한 쌍의 이미지는 적외선 양안 카메라의 제1 카메라에 의해 획득된 제1 이미지 및 적외선 양안 카메라의 제2 카메라에 의해 획득된 제2 이미지를 포함한다.
컴퓨팅 유닛(62)은 한 쌍의 이미지에 따라 측정된 객체의 3차원 데이터를 결정하도록 구성된다.
컴퓨팅 유닛(62)은 또한, 제1 이미지의 특징점과 제2 이미지의 특징점 사이의 대응을 결정하기 위해 제1 이미지와 제2 이미지 사이의 특징점 매칭을 수행하고, 제1 이미지 및 제2 이미지의 대응하는 특징점 간의 위치 편차를 결정하고, 대응하는 특징점 간의 위치 편차 및 적외선 양안 카메라의 미리 저장된 파라미터에 따라 측정된 객체의 3차원 데이터를 결정하도록 구성된다. 예를 들어, 제1 이미지의 특징점 및 제2 이미지의 특징점에 포함된 픽셀점의 밝기 값에 따라, 제1 이미지와 제2 이미지의 사이에 특징점 매칭이 수행된다. 제1 이미지에서 대응하는 특징점의 위치 좌표와 제2 이미지에서 대응하는 특징점의 위치 좌표에 따라, 제1 이미지 및 제2 이미지에서 대응하는 특징점의 위치 편차가 결정된다. 적외선 양안 카메라에 대해 측정된 객체의 각 특징점의 수직 거리는 대응하는 특징점 간의 위치 편차, 적외선 양안 카메라의 미리 저장된 초점 거리 및 제1 카메라의 광학 축과 제2 카메라의 광학 축 사이의 거리에 따라 결정된다. 측정된 객체의 3차원 데이터는 적외선 양안 카메라에 대해 측정된 객체의 각 특징점의 수직 거리에 따라 결정된다.
일 실시예에서, 이미지 획득 유닛(61)은 또한, 가시광선 카메라에 의해 측정된 객체의 컬러 이미지를 획득하도록 구성된다. 위의 장치는 또한, 컴퓨팅 유닛(62)에 연결된 모델링 유닛을 포함한다. 모델링 유닛은 컬러 이미지 및 측정된 객체의 3차원 데이터에 따라 측정된 객체의 3차원 모델을 확립하도록 구성된다.
이 실시예에서 제공된 장치의 구현 원리 및 기술적인 효과는 전술한 실시예의 것과 동일하다. 간단한 설명을 위해, 장치 실시예에서 언급되지 않은 부분에 대해, 전술한 방법 실시예에서 대응하는 내용에 대한 참조가 이루어질 수 있다.
본 개시의 실시예에 의해 제공되는 이미지 처리 장치를 사용함으로써, 적외선 양안 카메라를 통해 측정된 객체의 이미지가 획득되고, 측정된 객체의 공간 좌표가 계산되며, 각 특징점에 대응하는 공간 좌표가 획득될 수 있어서, 측정의 정밀도 및 정확도를 개선한다. 측정된 객체의 컬러 이미지를 획득하기 위해 가시광선 카메라와 결합될 때, 측정된 객체의 컬러 특성이 획득될 수 있고, 측정된 객체의 3차원 모델이 확립될 수 있다.
예를 들어, 이 실시예는 또한 컴퓨터 판독가능 저장 매체를 제공하고, 상기 컴퓨터 판독가능 저장 매체는 컴퓨터 판독가능 저장 매체 상에 저장된 컴퓨터 프로그램을 가지며, 컴퓨터 프로그램은 컴퓨터 프로그램이 프로세서에 의해 구동될 때 전술한 방법 실시예에서 제공된 방법의 단계를 실행한다.
본 개시의 실시예에 의해 제공되는 이미지 처리 방법 및 장치의 컴퓨터 프로그램 제품은 프로그램 코드를 저장하는 컴퓨터 판독가능 저장 매체를 포함한다. 프로그램 코드에 포함된 명령어는 이전의 방법 실시예에서 설명된 방법을 실행하는 데 사용될 수 있다. 특정 구현을 위해, 여기서 반복되지 않는 방법 실시예에 대한 참조가 이루어질 수 있다.
기능이 소프트웨어 기능 유닛의 형태로 구현되고 독립적인 제품으로 판매되거나 사용되는 경우, 이는 컴퓨터 판독가능 저장 매체에 저장될 수 있다. 이 이해를 기초로, 본 개시의 본질적인 기술적인 해결책 또는 종래기술에 기여하는 일부 또는 기술적인 해결책의 일부는 소프트웨어 제품의 형태로 구현될 수 있으며, 컴퓨터 소프트웨어 제품은 저장 매체에 저장되고, (개인용 컴퓨터, 서버, 네트워크 디바이스 등일 수 있는) 컴퓨터 디바이스가 본 개시의 다양한 실시예에서 설명된 방법의 단계의 전체 또는 일부를 실행하는 것을 가능하게 하는 다수의 명령어를 포함한다. 앞서 언급된 저장 매체는 USB, 모바일 하드 디스크, 판독-전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 자기 디스크, 광 디스크 또는 프로그램 코드를 저장할 수 있는 다른 매체를 포함한다.
마지막으로, 전술한 실시예는 본 개시의 기술적인 해결책을 제한하는 것이 아닌, 본 개시의 기술적인 해결책을 설명하기 위해 사용되는 본 개시의 특정 구현일 뿐이라는 것이 유의되어야 한다. 본 개시의 범주는 이에 제한되지 않는다. 본 개시가 전술한 실시예를 참조로 상세하게 설명되었지만, 통상의 기술자가 전술한 실시예에서 설명된 기술적인 해결책을 수정하거나 또는 쉽게 변경하거나, 또는 본 개시에 개시된 기술적인 범주 내에서 그의 일부 기술적인 특징을 동등하게 대체할 수 있음을, 통상의 기술자는 이해해야 한다. 이들 수정, 변경 또는 교체는 본 개시의 보호 범위 내에서 커버되어야 하는, 본 개시의 실시예의 기술적인 해결책의 사상 및 범주로부터 대응하는 기술적인 해결책의 본질을 벗어나지 않는다. 그러므로, 본 개시의 보호 범위는 청구 범위의 보호 범위에 따라야 한다.

Claims (14)

  1. 이미지 처리 방법으로서,
    투영 구성요소에 의해 투영된 스펙클 패턴(speckle pattern)의 조사 하에 측정된 객체에 의해 형성된 이미지를 획득함으로써, 적외선 양안 카메라(infrared binocular camera)를 통해 한 쌍의 이미지를 획득하는 것 - 상기 한 쌍의 이미지는 상기 적외선 양안 카메라의 제1 카메라에 의해 획득된 제1 이미지 및 상기 적외선 양안 카메라의 제2 카메라에 의해 획득된 제2 이미지를 포함함 -; 및
    상기 한 쌍의 이미지에 따라 상기 측정된 객체의 3차원 데이터를 결정하는 것을 포함하되,
    상기 한 쌍의 이미지에 따라 상기 측정된 객체의 상기 3차원 데이터를 결정하는 것은:
    상기 제1 이미지에서 상기 측정된 객체의 특징점을 선택하는 것;
    상기 제1 이미지의 특징점 및 상기 제2 이미지의 특징점에 포함된 픽셀점의 밝기 값 간의 관련성에 따라, 상기 제1 이미지와 상기 제2 이미지 간에 특징점 매칭(feature point matching)을 수행하여 상기 제2 이미지에서 상기 제1 이미지의 특징점에 대응하는 특징점을 결정하는 것;
    상기 제1 이미지 및 상기 제2 이미지에서 대응하는 특징점 간의 위치 편차를 결정하는 것; 및
    상기 대응하는 특징점 간의 위치 편차 및 상기 적외선 양안 카메라의 미리 저장된 파라미터에 따라 상기 측정된 객체의 3차원 데이터를 결정하는 것을 포함하는, 방법.
  2. 제1항에 있어서, 상기 제1 이미지 및 상기 제2 이미지에서 상기 대응하는 특징점 간의 상기 위치 편차를 결정하는 것은:
    상기 제1 이미지에서 상기 대응하는 특징점의 위치 좌표 및 상기 제2 이미지에서 상기 대응하는 특징점의 위치 좌표에 따라, 상기 제1 이미지 및 상기 제2 이미지에서 상기 대응하는 특징점 간의 상기 위치 편차를 결정하는 것을 포함하는, 방법.
  3. 제1항에 있어서, 상기 대응하는 특징점 간의 위치 편차 및 상기 적외선 양안 카메라의 상기 미리 저장된 파라미터에 따라 상기 측정된 객체의 상기 3차원 데이터를 결정하는 것은:
    상기 대응하는 특징점 간의 상기 위치 편차, 상기 적외선 양안 카메라의 미리 저장된 초점 거리 및 상기 제1 카메라의 광학 축과 상기 제2 카메라의 광학 축 사이의 거리에 따라 상기 적외선 양안 카메라에 대해 상기 측정된 객체의 각 특징점의 수직 거리를 결정하는 것; 및
    상기 적외선 양안 카메라에 대해 상기 측정된 객체의 각 특징점의 상기 수직 거리에 따라, 상기 측정된 객체의 상기 3차원 데이터를 결정하는 것을 포함하는, 방법.
  4. 제1항에 있어서,
    가시광선 카메라(visible light camera)에 의해 상기 측정된 객체의 컬러 이미지를 획득하는 것; 및
    상기 컬러 이미지 및 상기 측정된 객체의 상기 3차원 데이터에 따라 상기 측정된 객체의 3차원 모델을 확립하는 것을 더 포함하는, 방법.
  5. 이미지 처리 장치로서,
    투영 구성요소에 의해 투영된 스펙클 패턴의 조사 하에 측정된 객체에 의해 형성된 이미지를 획득함으로써 적외선 양안 카메라를 통해 한 쌍의 이미지를 획득하도록 구성된 이미지 획득 유닛 - 상기 한 쌍의 이미지는 상기 적외선 양안 카메라의 제1 카메라에 의해 획득된 제1 이미지 및 상기 적외선 양안 카메라의 제2 카메라에 의해 획득된 제2 이미지를 포함함 -;　및
    컴퓨팅 유닛을 포함하되,
    상기 컴퓨팅 유닛은:
    상기 제1 이미지에서 상기 측정된 객체의 특징점을 선택하고;
    상기 제1 이미지의 특징점 및 상기 제2 이미지의 특징점에 포함된 픽셀점의 밝기 값 간의 관련성에 따라, 상기 제1 이미지와 상기 제2 이미지 간에 특징점 매칭을 수행하여 상기 제2 이미지에서 상기 제1 이미지의 특징점에 대응하는 특징점을 결정하고;
    상기 제1 이미지 및 상기 제2 이미지에서 대응하는 특징점 간의 위치 편차를 결정하고; 및
    상기 대응하는 특징점 간의 위치 편차 및 상기 적외선 양안 카메라의 미리 저장된 파라미터에 따라 상기 측정된 객체의 3차원 데이터를 결정하도록 구성되는, 이미지 처리 장치.
  6. 투영 구성요소, 적외선 양안 카메라 및 이미지 처리 칩을 포함하는 이미지 처리 디바이스로서,
    상기 투영 구성요소는 측정된 객체에 스펙클 패턴을 투영하도록 구성되고;
    상기 적외선 양안 카메라는 상기 스펙클 패턴의 조사 하에 상기 측정된 객체에 의해 형성된 스펙클 이미지를 획득하도록 구성되고; 및
    상기 이미지 처리 칩은 제1항 내지 제3항 중 어느 한 항에 따른 방법을 채택함으로써, 상기 스펙클 이미지에 따라 상기 측정된 객체의 3차원 데이터를 결정하도록 구성되는, 디바이스.
  7. 제6항에 있어서, 상기 투영 구성요소는 순차적으로 배열된 광원, 빔 성형기 및 회절 격자를 포함하고, 상기 광원에 의해 방출되는 광은 상기 스펙클 패턴을 형성하기 위해 상기 빔 성형기 및 상기 회절 격자를 차례로 통과하고 방출되는, 디바이스.
  8. 제6항에 있어서, 상기 적외선 양안 카메라의 제1 카메라의 광학 축은 상기 적외선 양안 카메라의 제2 카메라의 광학 축과 평행인, 디바이스.
  9. 제6항에 있어서, 상기 디바이스는 가시광선 카메라를 더 포함하고, 상기 가시광선 카메라는 상기 이미지 처리 칩을 연결하고, 상기 측정된 객체의 획득된 컬러 이미지를 상기 이미지 처리 칩에 송신하도록 구성되어, 상기 이미지 처리 칩은 상기 적외선 양안 카메라에 의해 획득된 상기 이미지 및 상기 가시광선 카메라에 의해 획득된 컬러 이미지에 따라 상기 측정된 객체의 3차원 모델을 확립하는, 디바이스.
  10. 제6항에 있어서, 상기 디바이스는 필 라이트(fill light)를 더 포함하고, 상기 필 라이트는 주변 광이 불충분한 경우 광 보상을 제공하도록 구성되는, 디바이스.
  11. 제10항에 있어서, 상기 필 라이트에 의해 방출되는 광의 파장은 상기 투영 구성요소의 광원에 의해 방출되는 광의 파장 또는 상기 적외선 양안 카메라에 의해 획득된 광의 파장과 일치하는, 디바이스.
  12. 컴퓨터 판독가능 저장 매체로서, 상기 컴퓨터 판독가능 저장 매체 상에 컴퓨터 프로그램이 저장되고, 상기 컴퓨터 프로그램이 프로세서에 의해 구동되는 경우, 제1항 내지 제4항 중 어느 한 항에 따른 방법의 단계를 실행하는, 컴퓨터 판독가능 저장 매체.
  13. 삭제
  14. 삭제
KR1020217003433A 2018-08-06 2019-08-05 이미지 처리 방법 및 장치 및 이미지 처리 디바이스 KR102586009B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201810888231.9A CN109190484A (zh) 2018-08-06 2018-08-06 图像处理方法、装置和图像处理设备
CN201810888231.9 2018-08-06
PCT/CN2019/099261 WO2020029917A1 (zh) 2018-08-06 2019-08-05 图像处理方法、装置和图像处理设备

Publications (2)

Publication Number Publication Date
KR20210027461A KR20210027461A (ko) 2021-03-10
KR102586009B1 true KR102586009B1 (ko) 2023-10-10

Family

ID=64920723

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217003433A KR102586009B1 (ko) 2018-08-06 2019-08-05 이미지 처리 방법 및 장치 및 이미지 처리 디바이스

Country Status (4)

Country Link
US (1) US11461908B2 (ko)
KR (1) KR102586009B1 (ko)
CN (1) CN109190484A (ko)
WO (1) WO2020029917A1 (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109190484A (zh) * 2018-08-06 2019-01-11 北京旷视科技有限公司 图像处理方法、装置和图像处理设备
CN109544618B (zh) * 2018-10-30 2022-10-25 荣耀终端有限公司 一种获取深度信息的方法及电子设备
CN109635539B (zh) * 2018-10-30 2022-10-14 荣耀终端有限公司 一种人脸识别方法及电子设备
CN109886197A (zh) * 2019-02-21 2019-06-14 北京超维度计算科技有限公司 一种人脸识别双目三维相机
CN109887022A (zh) * 2019-02-25 2019-06-14 北京超维度计算科技有限公司 一种双目深度相机的特征点匹配方法
CN109889820A (zh) * 2019-03-14 2019-06-14 深圳博时特科技有限公司 双目摄像头模组的检测方法、装置、存储介质及终端
CN110223388B (zh) * 2019-05-31 2022-12-16 中国科学院深圳先进技术研究院 基于空间结构光的三维重建方法、装置、终端设备及存储介质
CN110335303B (zh) * 2019-06-24 2021-10-26 Oppo广东移动通信有限公司 图像处理方法和装置、及存储介质
CN110504176B (zh) * 2019-07-05 2020-05-12 长江存储科技有限责任公司 三维存储器晶圆键合制成中对应晶圆的匹配方法、制备方法及相关产品
CN111157534A (zh) * 2020-01-20 2020-05-15 北京主导时代科技有限公司 一种移动式库内列车车底检测平台
CN111368799A (zh) * 2020-03-27 2020-07-03 上海锐翊通讯科技有限公司 双目结构光模组
CN112487893B (zh) * 2020-11-17 2021-09-14 北京的卢深视科技有限公司 一种三维目标识别方法及***
FR3116404B1 (fr) * 2020-11-19 2024-01-05 Xyzed Dispositif de positionnement et suivi d’objets se déplaçant sur une scène

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008153127A1 (ja) * 2007-06-15 2008-12-18 Kabushiki Kaisha Toshiba 被測定物の検査測定装置
JP2015537228A (ja) * 2012-12-14 2015-12-24 ファロ テクノロジーズ インコーポレーテッド 周囲環境を光学的に走査及び計測する装置

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7028899B2 (en) * 1999-06-07 2006-04-18 Metrologic Instruments, Inc. Method of speckle-noise pattern reduction and apparatus therefore based on reducing the temporal-coherence of the planar laser illumination beam before it illuminates the target object by applying temporal phase modulation techniques during the transmission of the plib towards the target
CN101099203A (zh) * 2005-11-08 2008-01-02 柯尼卡美能达精密光学株式会社 光拾取装置
US7605817B2 (en) * 2005-11-09 2009-10-20 3M Innovative Properties Company Determining camera motion
CN102056368B (zh) * 2009-10-28 2013-08-07 华为终端有限公司 视频通讯中会场环境控制方法及装置
CN102081733B (zh) * 2011-01-13 2012-10-10 西北工业大学 多模态信息结合的多姿态三维人脸面部五官标志点定位方法
US9098908B2 (en) * 2011-10-21 2015-08-04 Microsoft Technology Licensing, Llc Generating a depth map
CN103796004B (zh) * 2014-02-13 2015-09-30 西安交通大学 一种主动结构光的双目深度感知方法
US20150381972A1 (en) * 2014-06-30 2015-12-31 Microsoft Corporation Depth estimation using multi-view stereo and a calibrated projector
CN104503101B (zh) * 2015-01-12 2017-01-18 清华大学 一种基于衍射光学整形器件的流式细胞仪光束形成***
CN106296801B (zh) 2015-06-12 2019-11-26 联想(北京)有限公司 一种建立物体三维图像模型的方法及电子设备
CN106576159B (zh) * 2015-06-23 2018-12-25 华为技术有限公司 一种获取深度信息的拍照设备和方法
CN106225764A (zh) 2016-07-01 2016-12-14 北京小米移动软件有限公司 基于终端中双目摄像头的测距方法及终端
US20180041747A1 (en) * 2016-08-03 2018-02-08 Samsung Electronics Co., Ltd. Apparatus and method for processing image pair obtained from stereo camera
CN106454287B (zh) 2016-10-27 2018-10-23 深圳奥比中光科技有限公司 组合摄像***、移动终端及图像处理方法
CN106572340B (zh) 2016-10-27 2019-05-10 深圳奥比中光科技有限公司 摄像***、移动终端及图像处理方法
CN106595528B (zh) * 2016-11-10 2019-03-05 华中科技大学 一种基于数字散斑的远心显微双目立体视觉测量方法
CN106774850B (zh) * 2016-11-24 2020-06-30 深圳奥比中光科技有限公司 一种移动终端及其交互控制方法
CN106954058B (zh) * 2017-03-09 2019-05-10 深圳奥比中光科技有限公司 深度图像获取***和方法
CN107255498B (zh) * 2017-06-02 2020-06-26 西安理工大学 基于双目视觉的输送带物料重量测量***及测量方法
US10521920B2 (en) * 2017-09-21 2019-12-31 Intel Corporation Reducing textured IR patterns in stereoscopic depth sensor imaging
CN107995434A (zh) * 2017-11-30 2018-05-04 广东欧珀移动通信有限公司 图像获取方法、电子装置和计算机可读存储介质
CN108053449A (zh) 2017-12-25 2018-05-18 北京工业大学 双目视觉***的三维重建方法、装置及双目视觉***
CN108234984A (zh) * 2018-03-15 2018-06-29 百度在线网络技术（北京）有限公司 双目深度相机***和深度图像生成方法
CN109190484A (zh) * 2018-08-06 2019-01-11 北京旷视科技有限公司 图像处理方法、装置和图像处理设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008153127A1 (ja) * 2007-06-15 2008-12-18 Kabushiki Kaisha Toshiba 被測定物の検査測定装置
JP2015537228A (ja) * 2012-12-14 2015-12-24 ファロ テクノロジーズ インコーポレーテッド 周囲環境を光学的に走査及び計測する装置

Also Published As

Publication number Publication date
US11461908B2 (en) 2022-10-04
WO2020029917A1 (zh) 2020-02-13
KR20210027461A (ko) 2021-03-10
CN109190484A (zh) 2019-01-11
US20210304428A1 (en) 2021-09-30

Similar Documents

Publication Publication Date Title
KR102586009B1 (ko) 이미지 처리 방법 및 장치 및 이미지 처리 디바이스
US11513231B2 (en) Field calibration of a structured light range-sensor
US10600193B2 (en) Three-dimensional measurement apparatus, three-dimensional measurement method and program
US8848201B1 (en) Multi-modal three-dimensional scanning of objects
US9392262B2 (en) System and method for 3D reconstruction using multiple multi-channel cameras
CN104634276B (zh) 三维测量***、拍摄设备和方法、深度计算方法和设备
US6664531B2 (en) Combined stereovision, color 3D digitizing and motion capture system
US8908016B2 (en) Method and system for providing three-dimensional and range inter-planar estimation
US10613228B2 (en) Time-of-flight augmented structured light range-sensor
EP3742113B1 (en) System and method for marking images for three-dimensional image generation
EP2568253B1 (en) Structured-light measuring method and system
JP2008537190A (ja) 赤外線パターンを照射することによる対象物の三次元像の生成
CN109978984A (zh) 人脸三维重建方法及终端设备
US20120162385A1 (en) Apparatus and method for acquiring 3d depth information
CN109903377B (zh) 一种无需相位展开的三维人脸建模方法及***
JP5761750B2 (ja) 画像処理方法および装置
US20220222843A1 (en) Three-dimensional measurement system and three-dimensional measurement method
EP3832601A1 (en) Image processing device and three-dimensional measuring system
Furferi et al. A RGB-D based instant body-scanning solution for compact box installation
Arbutina et al. Review of 3D body scanning systems
US10643341B2 (en) Replicated dot maps for simplified depth computation using machine learning
CN112164099A (zh) 基于单目结构光的自检自校准方法及装置
CN112070844A (zh) 结构光***的校准方法及装置、校准工具图、设备及介质
CN112487893B (zh) 一种三维目标识别方法及***
Jiao et al. A smart post-rectification algorithm based on an ANN considering reflectivity and distance for indoor scenario reconstruction

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right