KR20130041440A - 영상 처리 장치 및 방법 - Google Patents

영상 처리 장치 및 방법 Download PDF

Info

Publication number
KR20130041440A
KR20130041440A KR1020110105669A KR20110105669A KR20130041440A KR 20130041440 A KR20130041440 A KR 20130041440A KR 1020110105669 A KR1020110105669 A KR 1020110105669A KR 20110105669 A KR20110105669 A KR 20110105669A KR 20130041440 A KR20130041440 A KR 20130041440A
Authority
KR
South Korea
Prior art keywords
image
dimensional
tof sensor
color
parameter
Prior art date
Application number
KR1020110105669A
Other languages
English (en)
Inventor
최욱
이기창
임화섭
김도균
권인소
정지영
정예근
Original Assignee
삼성전자주식회사
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 한국과학기술원 filed Critical 삼성전자주식회사
Priority to KR1020110105669A priority Critical patent/KR20130041440A/ko
Publication of KR20130041440A publication Critical patent/KR20130041440A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/04—Analysing solids
    • G01N29/06—Visualisation of the interior, e.g. acoustic microscopy
    • G01N29/0654—Imaging
    • G01N29/069—Defect imaging, localisation and sizing using, e.g. time of flight diffraction [TOFD], synthetic aperture focusing technique [SAFT], Amplituden-Laufzeit-Ortskurven [ALOK] technique
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G06T3/608—Rotation of whole images or parts thereof by skew deformation, e.g. two-pass or three-pass rotation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00—Investigating materials by wave or particle radiation
    • G01N2223/50—Detectors
    • G01N2223/506—Detectors time-of-flight

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Processing (AREA)

Abstract

3D TOF 센서와 컬러 카메라의 외적 캘리브레이션 장치 및 방법에 관한 것으로, 영상 처리 방법은 2.5차원 패턴을 컬러 카메라로 촬영하여 컬러 영상을 획득하고, 상기 2. 5차원 패턴을 3차원 TOF(Time of Flight) 센서로 촬영하여 광도(Amplitude) 영상 및 3차원 측정값들을 획득하며, 상기 3차원 TOF 센서의 내적 파라미터와 상기 3차원 측정값들을 고려하여 상기 3차원 측정값들의 전사 오차를 최소화하도록 상기 3차원 TOF 센서의 내적 파라미터를 최적화하고, 최적화된 내적 파라미터를 고려하여 상기 광도 영상에서 원주방향 왜곡(radial distortion)을 보정하며, 원주방향 왜곡이 보정된 광도 영상의 특징점, 상기 컬러 영상의 특징점, 상기 컬러 카메라의 내적 파라미터와 외적 파라미터, 상기 3차원 TOF 센서의 최적화된 내적 파라미터와 외적 파라미터 및 깊이 제약조건(Depth Constraint)이 고려된 비용 함수를 최적화한다.

Description

영상 처리 장치 및 방법{IMAGE PROCESSING APPARATUS AND METHOD THEREOF}
기술분야는 3D TOF 센서와 컬러 카메라의 외적 캘리브레이션 장치 및 방법에 관한 것이다.
3차원 TOF(Time-of-Flight) 센서는 근적외선을 쏘아 돌아오는 신호의 세기와 위상을 측정하여 촬영 대상과의 거리를 계산하는 방식으로 3차원 값들을 측정한다. 2차원 레이저 스캐너는 촬영 대상을 한 줄로 스캔 하는 반면, 3차원 TOF 센서는 2차원으로 배열된 여러 개의 LED가 동시에 촬영 대상을 향해 근적외선을 쏘아 특정 높이의 거리 측정에 한정되지 않고, FULL 3D(Dimension)를 촬영한다.
그러나, 현재의 3차원 TOF 센서는 2차원 레이스 스캐너에 비해 측정값의 정확도가 낮고, 함께 사용되는 컬러 영상에 비해 해상도가 낮다.
따라서, 기존의 2차원 레이저 스캐너와 컬러 카메라를 외적 캘리브레이션 하는 방법 또는 컬러 영상 만으로 캘리브레이션 하는 방법으로는 3차원 TOF 센서와 컬러 카메라를 정확하게 외적으로 캘리브레이션 할 수 없다.
3차원 TOF 센서와 같이 낮은 해상도와 부정확한 측정값을 보완하면서 외적 캘리브레이션을 수행할 수 있는 기술에 대한 연구가 필요하다.
일 측면에 있어서, 영상 처리 방법은 2.5차원 패턴을 컬러 카메라로 촬영하여 컬러 영상을 획득하고, 상기 2. 5차원 패턴을 3차원 TOF(Time of Flight) 센서로 촬영하여 광도(Amplitude) 영상 및 3차원 측정값들을 획득하는 단계, 상기 3차원 TOF 센서의 내적 파라미터와 상기 3차원 측정값들을 고려하여 상기 3차원 측정값들의 전사 오차를 최소화하도록 상기 3차원 TOF 센서의 내적 파라미터를 최적화하는 단계, 최적화된 내적 파라미터를 고려하여 상기 광도 영상에서 원주방향 왜곡(radial distortion)을 보정하는 단계 및 원주방향 왜곡이 보정된 광도 영상의 특징점, 상기 컬러 영상의 특징점, 상기 컬러 카메라의 내적 파라미터와 외적 파라미터, 상기 3차원 TOF 센서의 최적화된 내적 파라미터와 외적 파라미터 및 깊이 제약조건(Depth Constraint)이 고려된 비용 함수를 최적화하는 단계를 포함한다.
다른 일 측면에 있어서, 영상 처리 방법은 상기 컬러 영상 및 상기 광도 영상에 대해 초기 캘리브레이션을 수행하여 상기 컬러 카메라의 상기 내적 파라미터 및 상기 외적 파라미터를 계산하고, 상기 3차원 TOF 센서의 상기 내적 파라미터 및 상기 외적 파라미터를 계산하는 단계를 더 포함할 수 있다.
상기 비용함수를 최적화하는 단계는 상기 원주방향 왜곡이 보정된 광도 영상의 특징점을 획득하고, 상기 컬러 영상의 특징점을 획득하는 단계를 포함할 수 있다.
다른 일 측면에 있어서, 영상 처리 방법은 최적화된 비용 함수를 이용하여 상기 컬러 카메라와 상기 3차원 TOF 센서 간의 위치 및 각도를 추정하는 단계를 더 포함할 수 있다.
상기 2.5차원 패턴은 상기 3차원 TOF 센서의 근적외선이 통과할 수 있을 정도의 크기를 가지고, 대칭(symmetric)적인 형태를 가지는 구멍이 불규칙하게 배치된 패턴임을 특징으로 할 수 있다.
상기 3차원 TOF 센서는 상기 2.5차원 패턴의 깊이 값을 측정할 수 있다.
상기 3차원 TOF 센서의 내적 파라미터를 최적화하는 단계는 상기 3차원 측정값들을 상기 내적 파라미터를 이용하여 상기 광도 영상으로 전사한 결과, 해당 픽셀의 좌표와 상기 3차원 측정값들과 맵핑되는 상기 광도 영상의 픽셀의 좌표간의 오차가 최소가 되도록 Levenberg-Marquardt 방식을 이용하여 최적화를 수행할 수 있다.
상기 원주방향 왜곡(radial distortion)을 보정하는 단계는 상기 광도 영상에 포함된 원주방향 왜곡(radial distortion) 성분을 상기 최적화된 내적 파라미터를 고려하여, Levenberg-Marquardt 방식을 이용하여 보정할 수 있다.
상기 깊이 제약조건은 상기 3차원 TOF 센서에서 측정된 3차원 측정값들 중에서 상기 2.5차원 패턴 평면에 위치하는 값들을 추정하는 것임을 특징으로 할 수 있다.
상기 비용 함수는 상기 원주방향 왜곡이 보정된 광도 영상의 특징점의 좌표와 상기 2.5차원 패턴에서 상기 원주방향 왜곡이 보정된 광도 영상의 특징점에 대응하는 점이 상기 원주방향 왜곡이 보정된 광도 영상으로 투영된 점의 좌표 간의 차이, 상기 컬러 영상의 특징점의 좌표와 상기 2.5차원 패턴에서 상기 컬러 영상의 특징점에 대응하는 점이 상기 컬러 영상으로 투영된 점의 좌표 간의 차이 및 상기 깊이 제약조건을 포함할 수 있다.
일 측면에 있어서, 영상 처리 장치는 2.5차원 패턴을 컬러 카메라로 촬영하여 컬러 영상을 획득하고, 상기 2. 5차원 패턴을 3차원 TOF(Time of Flight) 센서로 촬영하여 광도(Amplitude) 영상 및 3차원 측정값들을 획득하는 촬영부, 상기 3차원 TOF 센서의 내적 파라미터와 상기 3차원 측정값들을 고려하여 상기 3차원 측정값들의 전사 오차를 최소화하도록 상기 3차원 TOF 센서의 내적 파라미터를 최적화하는 제1 최적화부, 최적화된 내적 파라미터를 고려하여 상기 광도 영상에서 원주방향 왜곡(radial distortion)을 보정하는 보정부 및 원주방향 왜곡이 보정된 광도 영상의 특징점, 상기 컬러 영상의 특징점, 상기 컬러 카메라의 내적 파라미터와 외적 파라미터, 상기 3차원 TOF 센서의 최적화된 내적 파라미터와 외적 파라미터 및 깊이 제약조건(Depth Constraint)이 고려된 비용 함수를 최적화하는 제2 최적화부를 포함한다.
다른 일 측면에 있어서, 영상 처리 장치는 상기 컬러 영상 및 상기 광도 영상에 대해 초기 캘리브레이션을 수행하여 상기 컬러 카메라의 상기 내적 파라미터 및 상기 외적 파라미터를 계산하고, 상기 3차원 TOF 센서의 상기 내적 파라미터 및 상기 외적 파라미터를 계산하는 계산부를 더 포함할 수 있다.
상기 2.5차원 패턴은 상기 3차원 TOF 센서의 근적외선이 통과할 수 있을 정도의 크기를 가지는 원형 구멍이 불규칙하게 배치된 패턴임을 특징으로 할 수 있다.
제1 최적화부는 상기 3차원 측정값들을 상기 내적 파라미터를 이용하여 상기 광도 영상으로 전사한 결과, 해당 픽셀의 좌표와 상기 3차원 측정값들과 맵핑되는 상기 광도 영상의 픽셀의 좌표간의 오차가 최소가 되도록 최적화를 수행할 수 있다.
상기 깊이 제약조건은 상기 3차원 TOF 센서에서 측정된 3차원 측정값들 중에서 상기 2.5차원 패턴 평면에 위치하는 값들을 추정하는 것임을 특징으로 할 수 있다.
상기 제2 최적화부는 상기 원주방향 왜곡이 보정된 광도 영상의 특징점의 좌표와 상기 2.5차원 패턴에서 상기 원주방향 왜곡이 보정된 광도 영상의 특징점에 대응하는 점이 상기 원주방향 왜곡이 보정된 광도 영상으로 투영된 점의 좌표 간의 차이, 상기 컬러 영상의 특징점의 좌표와 상기 2.5차원 패턴에서 상기 컬러 영상의 특징점에 대응하는 점이 상기 컬러 영상으로 투영된 점의 좌표 간의 차이 및 상기 깊이 제약조건을 포함하는 비용함수의 최소값을 계산할 수 있다.
근적외선이 통과할 수 있는 크기의 구멍이 불규칙하게 배치된 2.5차원 패턴을 이용함으로써, 3차원 TOF 센서로 촬영하는 경우 불규칙하게 배치된 구멍의 감지만으로 쉽게 대응점을 검출할 수 있다.
최적화된 내적 파라미터를 이용하여 3차원 TOF 센서에서 촬영된 광도영상에서 원주방향 왜곡(radial distortion)을 보정함으로써, 더 많은 대응점을 검출할 수 있다.
컬러 영상의 전사 오차, 원주방향 왜곡이 보정된 광도 영상의 전사 오치 및 3차원 측정값을 포함하는 비용함수를 최적화함으로써, 컬러 카메라가 제공하지 않는 3차원 특성이 캘리브레이션에 반영될 수 있고, 부정확한 측정값을 보완할 수 있다.
도 1은 2차원 패턴과 본 발명의 일실시예에 따른 2.5차원 패턴을 나타낸 도면이다.
도 2는 본 발명의 일실시예에 따른 영상 처리 장치에서 컬러 카메라, 3차원 TOF 센서 및 2.5차원 패턴을 나타낸 도면이다.
도 3은 본 발명의 일실시예에 따른 영상 처리 방법의 흐름도이다.
도 4는 본 발명의 다른 일실시예에 따른 영상 처리 방법의 흐름도이다.
도 5는 본 발명의 일실시예에 따른 영상 처리 과정에서 내적 파라미터의 최적화 전과 최적화 후에 영상에 전사된 결과를 나타낸 도면이다.
도 6은 본 발명의 일실시예에 따른 영상 처리 장치의 블록도이다.
이하, 일측에 따른 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
3차원 TOF 센서에서 측정된 거리 값이 컬러 카메라가 촬영한 영상의 어느 위치에 해당하는 지를 알기 위해서는, 3차원 TOF 센서와 컬러 카메라 간에 정확한 캘리브레이션이 이루어 져야 한다. 일 측면에 있어서, 영상 처리 방법은 위의 캘리브레이션에 관련된 것이다.
이러한 캘리브레이션은 3차원 TOF 센서와 컬러 카메라를 함께 이용하는 산업 전반에 적용될 수 있다. 예를 들어, 상기 캘리브레이션은 로봇 또는 자동차에 3차원 TOF 센서와 컬러 카메라를 함께 탑재하여 거리 측정, 자율 주행, 장애물 감지 및 물체 인식을 할 때 활용될 수 있다.
또한, 상기 캘리브레이션은 3차원 TOF 센서와 컬러 카메라를 이용한 3차원 모델 획득 및 3차원 컨텐츠 제작에도 활용될 수 있다. 즉, 3차원 실감 방송, 홈쇼핑 및 인터넷 쇼핑을 위한 3차원 가상 체험, 3차원 영화 제작을 포함한 관련 분야에서 컨텐츠 제작 시, 3차원 TOF 센서와 컬러 카메라를 이용할 때 직접적으로 적용될 수 있다.
도 1은 2차원 패턴과 본 발명의 일실시예에 따른 2.5차원 패턴을 나타낸 도면이다.
도 1을 참조하면, 컬러 영상(110)은 2차원의 체커보드를 컬러 카메라로 촬영한 영상이다. 광도 영상(120)은 2차원의 체커 보드를 3차원 TOF 센서로 촬영한 영상이다.
3차원 TOF 센서와 컬러 카메라 간에 외적 캘리브레이션을 위해서는 3차원 상의 위치를 알고 있는 점과 이 점을 촬영한 영상에서 대응점을 정확하게 판단하는 것이 중요하다. 위치를 알고 있는 점과 대응점 간의 대응관계를 이용하여 전사 오차(reprojection error)를 최소화하는 3차원 TOF 센서 또는 컬러 카메라의 파라미터를 계산할 수 있기 때문이다.
컬러 카메라를 캘리브레이션 하는 경우, 주로 체커보드를 촬영하고, 코너 검출(corner detection)을 통해 컬러 영상(110) 상의 대응점을 계산한다. 그러나 3차원 TOF 센서로 촬영된 광도 영상(120)은 해상도가 낮고, 노이즈가 심하여 코너 검출을 통해 정확하게 대응점을 계산하는 것이 쉽지 않다.
컬러 영상(130)은 2.5차원의 패턴을 컬러 카메라로 촬영한 영상이다. 광도 영상(140)은 2.5차원의 패턴을 3차원 TOF 센서로 촬영한 영상이다.
여기서 2.5차원의 패턴은 평면에 구멍이 불규칙하게 뚫린 패턴을 의미한다. 이때, 구멍은 3차원 TOF 센서에서 출력되는 근적외선이 충분히 통과할 수 있을 정도의 크기를 가진다. 또한, 구멍은 원의 형태로 영상에 나타나기 때문에 구멍의 중심의 위치는 등방성의 노이즈에 영향을 크게 받지 않을 수 있다. 따라서, 2.5차원 패턴은 광도 영상(140)에서 정확하게 대응점을 계산하는데 용이하게 이용될 수 있다.
2.5차원 패턴은 해상도가 낮고 노이즈가 심한 광도 영상(140)에서도 구멍의 중심을 찾는 것이 쉽다. 또한, 불규칙한 패턴으로 인하여 2.5차원 패턴 평면의 일부만 보이거나, 위아래가 바뀌더라도 광도 영상과 2.5차원 패턴 간의 대응 점이 자동으로 검출될 수 있다.
도 2는 본 발명의 일실시예에 따른 영상 처리 장치에서 컬러 카메라, 3차원 TOF 센서 및 2.5차원 패턴을 나타낸 도면이다.
도 2를 참조하면, 컬러 카메라(210)는 2.5차원 패턴(230)을 촬영하여 컬러 영상(211)을 획득하고, 3차원 TOF 센서(220)는 2.5차원 패턴(230)을 촬영하여 3차원 측정값들(221)을 획득할 수 있다.
외적 캘리브레이션(Extrinsic Calibration)이란 두 개 또는 두 개 이상의 이종/동종 센서 간에 상호 위치와 각도를 알아내는 방법을 의미한다. 외적 캘리브레이션을 통해 복수의 센서들이 동일한 위치에서 촬영 대상을 촬영한 것처럼 영상이 처리될 수 있다.
컬러 카메라(210)와 3차원 TOF 센서(220) 간에 외적 캘리브레이션이 이루어져야 한다.
컬러 카메라(210)를 통해 2.5차원 패턴(230)을 촬영함으로써, 컬러 영상(211)에서 특징점이 쉽게 검출될 수 있다. 2.5차원 패턴(230)의 특징점과 컬러 영상(211)에서 특징점에 대응하는 대응점의 관계를 고려하여 컬러 카메라(210)의 초기 캘리브레이션이 수행될 수 있다.
3차원 TOF 센서(220)를 통해 2.5차원 패턴(230)을 촬영함으로써, 광도 영상에서 특징점이 쉽게 검출될 수 있다. 2.5차원 패턴(230)의 특징점과 광도 영상에서 특징점에 대응하는 대응점의 관계를 고려하여 3차원 TOF 센서(220)의 초기 캘리브레이션이 수행될 수 있다. 캘리브레이션이 수행되는 구체적인 방식은 Z.Zhang이 제안한 카메라 캘리브레이션 방식을 통하여 수행될 수 있다.
도 3은 본 발명의 일실시예에 따른 영상 처리 방법의 흐름도이다.
310단계에서, 영상 처리 장치는 컬러영상(Color Image), 광도 영상(Amplitude Image) 및 3차원 측정값들을 획득한다. 영상 처리 장치는 2.5차원 패턴을 컬러 카메라로 촬영하여 컬러 영상을 획득할 수 있다. 컬러 영상은 2.5차원 패턴의 컬러 성분이 담긴 영상을 의미한다.
영상 처리 장치는 2.5차원 패턴을 3차원 TOF(Time of Flight) 센서로 촬영하여 광도 영상 및 3차원 측정값들을 획득할 수 있다. 광도 영상은 2.5차원 패턴으로부터 반사 및 굴절된 광선의 세기를 통하여 측정되므로 2.5차원 패턴의 식별을 가능하게 하고, 3차원 측정값들은 2.5차원 패턴이 3차원 TOF센서로부터 얼마나 떨어져 있는지, 즉 원근감을 나타낼 수 있다. 3차원 측정값은 광도 영상의 각 픽셀마다 측정된 3차원 좌표값을 의미한다.
영상 처리 장치는 컬러 영상에 대해 초기 캘리브레이션을 수행하여 컬러 카메라의 내적 파라미터의 초기값 및 외적 파라미터의 초기값을 계산할 수 있다. 영상 처리 장치는 광도 영상에 대해 초기 캘리브레이션을 수행하여 3차원 TOF 센서의 내적 파라미터의 초기값 및 외적 파라미터의 초기값을 계산할 수 있다.
내적 파라미터는 카메라의 초점 길이 및 카메라로 촬영된 영상의 중심을 나타내며, 외적 파라미터는 2.5차원 패턴 평면이 카메라로부터 어떤 위치 및 각도에 있는지를 나타낼 수 있다.
초기 캘리브레이션은 Qilong Zhang and Robert Pless, IROS 2004의 방식을 이용하여 이루어질 수 있다.
컬러 영상 또는 광도 영상과 촬영 대상인 2.5패턴과의 관계는 다음의 식으로 표현될 수 있다.
Figure pat00001
Figure pat00002
Figure pat00003
s는 임의의 스케일 팩터이고, [u,v]는 2.5차원 패턴 상의 점이 영상-컬러 영상 또는 광도 영상-에 투영된 점, [u,v,1]에서 1은 행렬 계산을 위해 추가된 확장 벡터(augmented vector), [u,v,1]T는 [u,v,1]의 전치행렬(transposed matrix), K는 내적 파라미터, [r1, r2, t]는 외적 파라미터로 R=[r1,r2,r3]로 회전 매트릭스(Rotation Matrix), t는 병진 벡터(translation vector), [X,Y]는 2.5차원 패턴 상의 점-예를 들면 각 구멍의 중심의 위치-, [X,Y,1]에서 1은 행렬 계산을 위해 추가된 확장 벡터, [X,Y,1]T는 [X,Y,1]의 전치행렬, H=[h1,h2,h3]는 2.5차원 패턴 상의 점과 영상에 투영된 점 간의 호모그래피(Homography)를 나타낸다. λ는 임의의 상수를 의미한다.
내부 파라미터 K는 다음의 조건을 만족하도록 계산될 수 있다.
Figure pat00004
3차원 TOF 센서에서 측정된 3차원 측정값은 2.5차원 패턴 상의 점의 깊이 값을 포함한다. 이때, 측정된 깊이 값이 정확하다고 가정하고, 3차원 TOF 센서로 측정한 깊이 값들이 동일한 평면 상에 위치한다는 제약 조건을 이용하여 외적 파라미터가 계산될 수 있다.
이때, 외적 파라미터는 다음의 조건을 만족하도록 계산될 수 있다.
Figure pat00005
Figure pat00006
,
Figure pat00007
Figure pat00008
M은 3차원 TOF 센서의 좌표계에서 촬영된 2.5차원 패턴 상의 점을 나타내는 행렬, Q는 3차원 TOF 센서의 광도영상에서 2.5차원 패턴 상의 점이 투영된 점을 나타내는 행렬, [RL tL]는 외적 파라미터, N은 2.5차원 패턴 평면의 Normal,
Figure pat00009
은 M에 확장 벡터가 추가된 행렬을 의미한다.
2.5차원 패턴은 3차원 TOF 센서의 근적외선이 통과할 수 있을 정도의 크기를 가지고 대칭(symmetric)적인 형태를 가지는 구멍이 불규칙 적으로 배치된 패턴일 수 있다. 2.5차원 패턴은 불규칙적으로 배치된 원형 모양의 구멍으로 구성된 패턴일 수 있다.
타원으로 구성된 2.5차원 패턴의 경우는 등방형 노이즈가 있는 경우에도, 촬영된 영상에서 타원의 중심이 변하지 않으므로, 해상도가 낮은 경우에도, 타원의 중심이 특징점으로 이용될 수 있다.
예를 들면, 4cm의 구멍이 불규적으로 배치된 2.5차원 패턴의 경우, 구멍을 통해 근적외선(NIR, Near Infrared Ray)의 통과가 가능하므로, 컬러 영상에서도 컬러 차이에 의해 쉽게 구멍의 검출이 가능하다. 또한, 광도 영상에서도 깊이 값의 차이에 의해 쉽게 구멍의 검출이 가능하다.
3차원 TOF 센서는 2.5차원 패턴 상의 점의 깊이 값을 측정할 수 있다.
3차원 TOF 센서의 초기 내적 파라미터를 이용하여 3차원 측정값들이 광도 영상으로 전사(project)되면, 각 3차원 측정값이 가지는 영상 좌표 값과 다른 위치에 전사되는 경우가 많다.
320단계에서, 영상 처리 장치는 3차원 TOF 센서의 내적 파라미터를 최적화한다. 영상 처리 장치는 3차원 측정값들이 원래의 좌표, 즉 3차원 측정값이 가지는 좌표로 전사가 되도록 내적 파라미터를 최적화할 수 있다.
영상 처리 장치는 3차원 TOF 센서의 내적 파라미터와 3차원 측정값들을 고려하여, 3차원 측정값들의 광도 영상으로의 전사 오차가 최소화하도록 3차원 TOF 센서의 내적 파라미터를 최적화할 수 있다. 이때, 3차원 측정값과 광도 영상의 좌표 간의 맵핑 관계는 핀홀 카메라 모델로 모델링되어 내적 파라미터가 최적화될 수 있다.
영상 처리 장치는 3차원 측정값들을 내적 파라미터를 이용하여 광도 영상으로 전사할 수 있다. 영상 처리 장치는 3차원 측정값들이 전사된 픽셀의 좌표와 3차원 측정값들이 원래 맵핑되어야 할 광도 영상의 픽셀의 좌표간의 오차가 최소가 되도록 Levenberg-Marquardt 알고리즘을 이용하여 최적화를 수행할 수 있다.
330단계에서, 영상 처리 장치는 광도 영상에서 원주방향 왜곡(radial distortion)을 보정한다. 영상 처리 장치는 최적화된 내적 파라미터를 고려하여 광도 영상에서 원주방향 왜곡을 보정할 수 있다.
원주방향 왜곡이 보상되면, 원주방향 왜곡 때문에 감지되지 않았던 광도 영상 상의 특징점들이 감지되어 더 많은 대응점을 획득할 수 있다. 예를 들면, 특징점은 2.5차원 패턴의 구멍이 될 수 있다.
영상 처리 장치는 원주방향 왜곡이 보상된 광도 영상에서 특징점을 검출할 수 있다. 광도 영상에 넓게 퍼져 있는 특징점이 많을수록 외적 캘리브레이션은 정확해질 수 있다.
영상 처리 장치는 광도 영상에 포함된 원주방향 왜곡 성분을 최적화된 내적 파라미터를 고려하여, Levenberg-Marquardt 알고리즘을 이용하여 보정할 수 있다. 영상 처리 장치는 3차원 TOF 센서의 한 픽셀에서 측정된 3차원 점이 전사되어야 할 원래의 픽셀로 다시 전사되어야 한다는 제약 조건을 이용하여 원주방향 왜곡을 보정할 수 있다.
340단계에서, 영상 처리 장치는 비용함수를 최적화한다. 비용함수는 원주방향 왜곡이 보정된 광도 영상의 특징점, 컬러 영상의 특징점, 컬러 카메라의 내적 파라미터와 외적 파라미터, 3차원 TOF 센서의 최적화된 내적 파라미터와 외적 파라미터 및 깊이 제약 조건(Depth Constraint)이 고려된 함수일 수 있다.
깊이 제약 조건은 3차원 TOF 센서에서 측정된 3차원 측정값들 중에서 2.5차원 패턴 평면에 위치하는 값들을 추정하는 것일 수 있다.
비용함수는 원주방향 왜곡이 보정된 광도 영상의 특징점의 좌표와 2.5차원 패턴에서 상기 특징점에 대응하는 점이 원주방향 왜곡이 보정된 광도 영상으로 투영된 점의 좌표 간의 차이, 컬러 영상의 특징점의 좌표와 2.5차원 패턴에서 컬러 영상의 특징점에 대응하는 점이 컬러 영상으로 투영된 점의 좌표 간의 차이 및 깊이 제약 조건을 포함할 수 있다.
2.5차원 패턴 상의 한 점은 컬러 영상으로 투영했을 때, 컬러 영상에서 검출된 특징점과 일치해야 한다. 또한, 2.5차원 패턴 상의 한 점은 광도 영상으로 투영했을 때, 광도 영상에서 검출된 특징점과 일치해야 한다. 또한, 3차원 TOF 센서로 측정한 한 평면 상의 점들은 2.5차원 패턴 평면 위에 존재해야 한다. 이러한 조건들이 비용함수에 반영될 수 있다.
영상 처리 장치는 Levenberg-Marquardt 알고리즘을 이용하여 비용함수에 최적화를 수행함으로써, 컬러 카메라의 외적 파라미터 및 3차원 TOF 센서의 외적 파라미터들을 보정할 수 있다.
파라미터들은 다음과 같이 표현될 수 있다.
Figure pat00010
Rc2t, tc2t는 3차원 TOF 센서의 외적 파라미터로 회전 행렬과 병진 행렬을 나타낸다. Rc1, tc1, Rci, tci, RcN, tcN은 컬러 카메라의 외적 파라미터로 회전 행렬과 병진 행렬을 나타낸다.
비용함수(f(P))는 다음과 같이 정의될 수 있다.
Figure pat00011
Figure pat00012
여기서,
Figure pat00013
는 컬러 영상에서 검출된 특징점의 좌표,
Figure pat00014
는 컬러 영상에 투영된 특징점의 좌표,
Figure pat00015
는 3차원 TOF 센서에서 촬영된 광도 영상에서 검출된 특징점의 좌표,
Figure pat00016
는 광도 영상에 투영된 특징점의 좌표,
Figure pat00017
는 깊이 제약조건,
Figure pat00018
는 2.5차원 패턴 평면 상의 점에 대해 측정된 3차원 측정값을 나타낸다.
영상 처리 장치는 원주방향 왜곡이 보정된 광도 영상의 특징점을 획득할 수 있고, 컬러 영상의 특징점을 획득할 수 있다.
영상 처리 장치는 최적화된 비용함수를 이용하여, 컬러 카메라와 3차원 TOF 센서 간의 위치 및 각도를 추정할 수 있다.
도 4는 본 발명의 다른 일실시예에 따른 영상 처리 방법의 흐름도이다.
도 4를 참조하면, 컬러 카메라(403)는 2.5차원 패턴(401)을 촬영하여 컬러 영상(407)을 획득할 수 있다. TOF 센서(405)는 2.5차원 패턴(401)을 촬영하여 광도 영상(409) 및 3차원 측정값(411)을 획득할 수 있다. 영상 처리 장치는 컬러 영상(407), 광도 영상(409) 및 3차원 측정값(411)을 획득할 수 있다. 컬러 카메라(403) 및 TOF 센서(405)는 영상 처리 장치의 일 구성요소로 포함될 수도 있고, 영상 처리 장치와는 별개의 독립된 외부 장치일 수도 있다.
영상 처리 장치는 컬러 영상(407)을 통하여 초기 캘리브레이션(413)을 수행하고, 내적 파라미터(417) 및 외적 파라미터(419)를 계산할 수 있다. 내적 파라미터(417)는 컬러 카메라(403)의 초점 거리(focal length) 및 컬러 영상(407)의 중심을 나타낼 수 있다. 외적 파라미터(419)는 2.5차원 패턴(401)의 평면이 컬러 카메라(403)로부터 어떤 위치 및 각도에 있는지를 나타낼 수 있다.
영상 처리 장치는 광도 영상(409)을 통하여 초기 캘리브레이션(415)을 수행하고, 내적 파라미터(421) 및 외적 파라미터(423)를 계산할 수 있다. 내적 파라미터(421)는 TOF 센서(405)의 초점 거리(focal length) 및 광도 영상(409)의 중심을 나타낼 수 있다. 외적 파라미터(423)는 2.5차원 패턴(401)의 평면이 TOF 센서(405)로부터 어떤 위치 및 각도에 있는지를 나타낼 수 있다.
3차원 측정값(411)은 광도 영상(409)의 각 픽셀마다 측정된 3차원 좌표값을 의미한다.
내적 파라미터(421)를 이용하여 3차원 측정값(411)이 광도 영상(409)으로 전사되는 경우, 전사된 좌표값은 3차원 측정값(411)이 전사되어야 할 3차원 좌표값과 차이가 있다. 즉, 오차가 발생한다.
영상 처리 장치는 상기 오차를 최소화하기 위해 내적 파라미터(421)를 최적화(425)한다. 이때, 영상 처리 장치는 상기 오차가 최소가 되는 최적화된 내적 파라미터(427)를 계산하기 위해, 3차원 측정값(411) 및 Levenberg-Marquardt 알고리즘을 이용할 수 있다.
영상 처리 장치는 최적화된 내적 파라미터(427)를 이용하여 광도 영상(409)에서 원주방향 왜곡을 제거(429)할 수 있다.
영상 처리 장치는 왜곡 없는 영상(431)의 대응점-2.5차원 패턴의 특징점에 대응하는 점-, 컬러 영상(403)의 대응점, 컬러 카메라(403)의 내적 파라미터(417), 외적 파라미터(419), TOF 센서(405)의 최적화된 내적 파라미터(427), 외적 파라미터(423), 3차원 측정값(411) 중 2.5차원 패턴 평면을 측정한 값을 요소로 하는 비용함수를 최종 최적화(433)할 수 있다.
영상 처리 장치는 TOF 센서(405)의 최적화된 내적 파라미터(427) 및 왜곡 없는 영상(431)의 대응점을 고려함으로써, 광도 영상(409)에서 더욱 많은 대응점을 계산에 반영할 수 있다. 또한, 차원 측정값(411) 중 2.5차원 패턴 평면을 측정한 값을 고려함으로써, 컬러 카메라(403)가 제공하지 않는 3차원 특성이 외적 캘리브레이션에 반영될 수 있다.
영상 처리 장치는 컬러 카메라(403)의 내적 파라미터(417), TOF 센서(405)의 최적화된 내적 파라미터(427), 왜곡 없는 영상(431)의 대응점, 컬러 영상(403)의 대응점을 이용하여 계산한 2.5차원 패턴의 특징점의 전사 오차와 3차원 측정값(411)의 오차를 최소화하도록 최적화를 수행할 수 있다. 이때, 영상 처리 장치는 Levenberg-Marquardt 알고리즘을 이용하여 오차를 최소화할 수 있다.
도 5는 본 발명의 일실시예에 따른 영상 처리 과정에서 내적 파라미터의 최적화 전과 최적화 후에 영상에 전사된 결과를 나타낸 도면이다.
도 5를 참조하면, 전사된 결과(510)는 광도 영상만으로 초기 캘리브레이션을 수행한 결과 획득한 내적 파라미터를 이용하여 3차원 측정값이 영상으로 전사된 결과이다. 3차원 측정값들이 영상에서 대응하는 좌표값들로 전사되지 않는 것을 발견할 수 있다.
정확한 외적 캘리브레이션을 위해서는 영상에 퍼져있는 대응점들을 많이 찾는 것이 중요하다. 원주방향 왜곡이 보정되지 않은 광도 영상은 원주방향 왜곡이 심해서, 구멍이 감지되더라도 호모그래피 제약조건(homography constraint)을 만족하지 못하고, 따라서 감지된 구멍이 2.5차원 패턴과 대응하는 점들로 검출되지 못한다. 특히 영상의 가장자리에 있는 구멍일수록 대응점으로 검출되지 못할 확률이 높다. 보다 많은 대응점을 검출하기 위해서는 광도 영상의 원주방향 왜곡을 제거할 필요가 있고, 원주방향 왜곡을 제거하기 위해서는 3차원 TOF 센서의 정확한 내적 파라미터가 필요하다.
정확한 내적 파라미터는 내적 파라미터의 최적화를 통해 획득할 수 있다. 최적화된 내적 파라미터는 내적 파라미터의 초기값을 이용하여 3차원 측정값들이 전사된 좌표와 원래 3차원 측정값들이 전사되어야 할 좌표 사이의 오차를 최소화하여 획득될 수 있다.
전사된 결과(520)는 최적화된 내적 파라미터를 이용하여 3차원 측정값이 영상으로 전사된 결과이다. 전사된 결과(510)와 비교하면, 전사된 결과(520)는 3차원 측정값들이 가장자리에도 전사되어, 전사되어야 할 영상 좌표로 전사되었음을 확인할 수 있다. 또한, 전사된 결과(520)에서 특징점에 대응하는 대응점을 보다 많이 검출할 수 있을 것으로 예상할 수 있다.
도 6은 본 발명의 일실시예에 따른 영상 처리 장치의 블록도이다.
도 6을 참조하면, 영상 처리 장치는 촬영부(610), 계산부(620), 제1 최적화부(630), 제어부(640), 보정부(650) 및 제2 최적화부(660)를 포함한다.
촬영부(610)는 2.5차원 패턴을 컬러 카메라로 촬영하여 컬러 영상을 획득한다. 촬영부(610)는 2.5차원 패턴을 3차원 TOF 센서로 촬영하여 광도(Amplitude) 영상 및 3차원 측정값들을 획득한다.
2.5차원 패턴은 3차원 TOF 센서에서 방사된 근적외선이 통과할 수 있을 정도의 크기를 가지는 원형 구멍이 불규칙하게 배치된 평판일 수 있다.
계산부(620)는 컬러 영상에 대해 초기 캘리브레이션을 수행하여 컬러 카메라의 내적 파라미터의 초기값 및 외적 파라미터의 초기값을 계산할 수 있다. 계산부(620)는 광도 영상에 대해 초기 캘리브레이션을 수행하여 3차원 TOF 센서의 내적 파라미터의 초기값 및 외적 파라미터의 초기값을 계산할 수 있다.
제1 최적화부(630)는 3차원 TOF 센서의 내적 파라미터와 3차원 측정값들을 고려하여 3차원 측정값들의 전사 오차를 최소화하도록 3차원 TOF 센서의 내적 파라미터를 최적화할 수 있다.
제1 최적화부(630)는 3차원 측정값들을 내적 파라미터를 이용하여 광도 영상으로 전사할 수 있다. 제1 최적화부(630)는 3차원 측정값들이 전사된 픽셀의 좌표와 3차원 측정값들이 원래 맵핑되어야 할 광도 영상의 픽셀의 좌표간의 오차가 최소가 되도록 Levenberg-Marquardt 알고리즘을 이용하여 최적화를 수행할 수 있다.
보정부(650)는 최적화된 내적 파라미터를 고려하여 광도 영상에서 원주방향 왜곡을 보정할 수 있다.
제2 최적화부(660)는 비용함수를 최적화한다. 비용함수는 원주방향 왜곡이 보정된 광도 영상의 특징점, 컬러 영상의 특징점, 컬러 카메라의 내적 파라미터와 외적 파라미터, 3차원 TOF 센서의 최적화된 내적 파라미터와 외적 파라미터 및 깊이 제약 조건(Depth Constraint)이 고려된 함수일 수 있다.
깊이 제약 조건은 3차원 TOF 센서에서 측정된 3차원 측정값들 중에서 2.5차원 패턴 평면에 위치하는 값들을 추정하는 것일 수 있다.
제2 최적화부(660)는 원주방향 왜곡이 보정된 광도 영상의 특징점의 좌표와 2.5차원 패턴에서 상기 특징점에 대응하는 점이 원주방향 왜곡이 보정된 광도 영상으로 투영된 점의 좌표 간의 차이, 컬러 영상의 특징점의 좌표와 2.5차원 패턴에서 컬러 영상의 특징점에 대응하는 점이 컬러 영상으로 투영된 점의 좌표 간의 차이 및 깊이 제약 조건을 포함하는 비용함수의 최소값을 계산할 수 있다.
제어부(640)는 영상 처리 장치의 전반적인 제어를 담당하고, 촬영부(610), 계산부(620), 제1 최적화부(630), 보정부(650) 및 제2 최적화부(660)의 기능을 수행할 수 있다. 도 6의 실시 예에서 이를 별도로 구성하여 도시한 것은 각 기능들을 구별하여 설명하기 위함이다. 따라서 실제로 제품을 구현하는 경우에 이들 모두를 제어부(640)에서 처리하도록 구성할 수도 있으며, 이들 중 일부만을 제어부(640)에서 처리하도록 구성할 수도 있다.
상술한 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (16)

  1. 2.5차원 패턴을 컬러 카메라로 촬영하여 컬러 영상을 획득하고, 상기 2. 5차원 패턴을 3차원 TOF(Time of Flight) 센서로 촬영하여 광도(Amplitude) 영상 및 3차원 측정값들을 획득하는 단계;
    상기 3차원 TOF 센서의 내적 파라미터와 상기 3차원 측정값들을 고려하여 상기 3차원 측정값들의 전사 오차를 최소화하도록 상기 3차원 TOF 센서의 내적 파라미터를 최적화하는 단계;
    최적화된 내적 파라미터를 고려하여 상기 광도 영상에서 원주방향 왜곡(radial distortion)을 보정하는 단계; 및
    원주방향 왜곡이 보정된 광도 영상의 특징점, 상기 컬러 영상의 특징점, 상기 컬러 카메라의 내적 파라미터와 외적 파라미터, 상기 3차원 TOF 센서의 최적화된 내적 파라미터와 외적 파라미터 및 깊이 제약조건(Depth Constraint)이 고려된 비용 함수를 최적화하는 단계
    를 포함하는 영상 처리 방법.
  2. 제1항에 있어서,
    상기 컬러 영상 및 상기 광도 영상에 대해 초기 캘리브레이션을 수행하여 상기 컬러 카메라의 상기 내적 파라미터 및 상기 외적 파라미터를 계산하고, 상기 3차원 TOF 센서의 상기 내적 파라미터 및 상기 외적 파라미터를 계산하는 단계
    를 더 포함하는 영상 처리 방법.
  3. 제1항에 있어서,
    상기 비용함수를 최적화하는 단계는
    상기 원주방향 왜곡이 보정된 광도 영상의 특징점을 획득하고, 상기 컬러 영상의 특징점을 획득하는 단계
    를 포함하는 영상 처리 방법.
  4. 제1항에 있어서,
    최적화된 비용 함수를 이용하여 상기 컬러 카메라와 상기 3차원 TOF 센서 간의 위치 및 각도를 추정하는 단계
    를 더 포함하는 영상 처리 방법.
  5. 제1항에 있어서,
    상기 2.5차원 패턴은
    상기 3차원 TOF 센서의 근적외선이 통과할 수 있을 정도의 크기를 가지고, 대칭(symmetric)적인 형태를 가지는 구멍이 불규칙하게 배치된 패턴임을 특징으로 하는
    영상 처리 방법.
  6. 제1항에 있어서,
    상기 3차원 TOF 센서는
    상기 2.5차원 패턴 상의 점의 깊이 값을 측정하는
    를 포함하는 영상 처리 방법.
  7. 제1항에 있어서,
    상기 3차원 TOF 센서의 내적 파라미터를 최적화하는 단계는
    상기 3차원 측정값들을 상기 내적 파라미터를 이용하여 상기 광도 영상으로 전사한 결과, 해당 픽셀의 좌표와 상기 3차원 측정값들과 맵핑되는 상기 광도 영상의 픽셀의 좌표간의 오차가 최소가 되도록 Levenberg-Marquardt 방식을 이용하여 최적화를 수행하는
    영상 변환 방법.
  8. 제1항에 있어서,
    상기 원주방향 왜곡(radial distortion)을 보정하는 단계는
    상기 광도 영상에 포함된 원주방향 왜곡(radial distortion) 성분을 상기 최적화된 내적 파라미터를 고려하여, Levenberg-Marquardt 방식을 이용하여 보정하는
    영상 변환 방법.
  9. 제1항에 있어서,
    상기 깊이 제약조건은
    상기 3차원 TOF 센서에서 측정된 3차원 측정값들 중에서 상기 2.5차원 패턴 평면에 위치하는 값들을 추정하는 것임을 특징으로 하는
    영상 변환 방법.
  10. 제9항에 있어서,
    상기 비용 함수는
    상기 원주방향 왜곡이 보정된 광도 영상의 특징점의 좌표와 상기 2.5차원 패턴에서 상기 원주방향 왜곡이 보정된 광도 영상의 특징점에 대응하는 점이 상기 원주방향 왜곡이 보정된 광도 영상으로 투영된 점의 좌표 간의 차이, 상기 컬러 영상의 특징점의 좌표와 상기 2.5차원 패턴에서 상기 컬러 영상의 특징점에 대응하는 점이 상기 컬러 영상으로 투영된 점의 좌표 간의 차이 및 상기 깊이 제약조건
    을 포함하는 영상 변환 방법.
  11. 2.5차원 패턴을 컬러 카메라로 촬영하여 컬러 영상을 획득하고, 상기 2. 5차원 패턴을 3차원 TOF(Time of Flight) 센서로 촬영하여 광도(Amplitude) 영상 및 3차원 측정값들을 획득하는 촬영부;
    상기 3차원 TOF 센서의 내적 파라미터와 상기 3차원 측정값들을 고려하여 상기 3차원 측정값들의 전사 오차를 최소화하도록 상기 3차원 TOF 센서의 내적 파라미터를 최적화하는 제1 최적화부;
    최적화된 내적 파라미터를 고려하여 상기 광도 영상에서 원주방향 왜곡(radial distortion)을 보정하는 보정부; 및
    원주방향 왜곡이 보정된 광도 영상의 특징점, 상기 컬러 영상의 특징점, 상기 컬러 카메라의 내적 파라미터와 외적 파라미터, 상기 3차원 TOF 센서의 최적화된 내적 파라미터와 외적 파라미터 및 깊이 제약조건(Depth Constraint)이 고려된 비용 함수를 최적화하는 제2 최적화부
    를 포함하는 영상 처리 장치.
  12. 제11항에 있어서,
    상기 컬러 영상 및 상기 광도 영상에 대해 초기 캘리브레이션을 수행하여 상기 컬러 카메라의 상기 내적 파라미터 및 상기 외적 파라미터를 계산하고, 상기 3차원 TOF 센서의 상기 내적 파라미터 및 상기 외적 파라미터를 계산하는 계산부
    를 더 포함하는 영상 처리 장치.
  13. 제11항에 있어서,
    상기 2.5차원 패턴은
    상기 3차원 TOF 센서의 근적외선이 통과할 수 있을 정도의 크기를 가지는 원형 구멍이 불규칙하게 배치된 패턴임을 특징으로 하는
    영상 처리 장치.
  14. 제11항에 있어서,
    제1 최적화부는
    상기 3차원 측정값들을 상기 내적 파라미터를 이용하여 상기 광도 영상으로 전사한 결과, 해당 픽셀의 좌표와 상기 3차원 측정값들과 맵핑되는 상기 광도 영상의 픽셀의 좌표간의 오차가 최소가 되도록 최적화를 수행하는
    영상 변환 장치.
  15. 제11항에 있어서,
    상기 깊이 제약조건은
    상기 3차원 TOF 센서에서 측정된 3차원 측정값들 중에서 상기 2.5차원 패턴 평면에 위치하는 값들을 추정하는 것임을 특징으로 하는
    영상 변환 장치.
  16. 제15항에 있어서,
    상기 제2 최적화부는
    상기 원주방향 왜곡이 보정된 광도 영상의 특징점의 좌표와 상기 2.5차원 패턴에서 상기 원주방향 왜곡이 보정된 광도 영상의 특징점에 대응하는 점이 상기 원주방향 왜곡이 보정된 광도 영상으로 투영된 점의 좌표 간의 차이, 상기 컬러 영상의 특징점의 좌표와 상기 2.5차원 패턴에서 상기 컬러 영상의 특징점에 대응하는 점이 상기 컬러 영상으로 투영된 점의 좌표 간의 차이 및 상기 깊이 제약조건을 포함하는 비용함수의 최소값을 계산하는
    영상 변환 장치.
KR1020110105669A 2011-10-17 2011-10-17 영상 처리 장치 및 방법 KR20130041440A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110105669A KR20130041440A (ko) 2011-10-17 2011-10-17 영상 처리 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110105669A KR20130041440A (ko) 2011-10-17 2011-10-17 영상 처리 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20130041440A true KR20130041440A (ko) 2013-04-25

Family

ID=48440584

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110105669A KR20130041440A (ko) 2011-10-17 2011-10-17 영상 처리 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20130041440A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9384381B2 (en) 2013-10-24 2016-07-05 Samsung Electronics Co., Ltd. Image processing device for extracting foreground object and image processing method thereof
KR20180091558A (ko) * 2017-02-07 2018-08-16 한국전자통신연구원 3D ToF 센서를 이용한 캘리브레이션 방법 및 장치
CN112200876A (zh) * 2020-12-02 2021-01-08 深圳市爱夫卡科技股份有限公司 一种5d四轮定位标定***及标定方法
CN112446836A (zh) * 2019-09-05 2021-03-05 浙江舜宇智能光学技术有限公司 用于tof深度相机的数据处理方法及其***

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9384381B2 (en) 2013-10-24 2016-07-05 Samsung Electronics Co., Ltd. Image processing device for extracting foreground object and image processing method thereof
KR20180091558A (ko) * 2017-02-07 2018-08-16 한국전자통신연구원 3D ToF 센서를 이용한 캘리브레이션 방법 및 장치
CN112446836A (zh) * 2019-09-05 2021-03-05 浙江舜宇智能光学技术有限公司 用于tof深度相机的数据处理方法及其***
CN112446836B (zh) * 2019-09-05 2023-11-03 浙江舜宇智能光学技术有限公司 用于tof深度相机的数据处理方法及其***
CN112200876A (zh) * 2020-12-02 2021-01-08 深圳市爱夫卡科技股份有限公司 一种5d四轮定位标定***及标定方法
CN112200876B (zh) * 2020-12-02 2021-06-08 深圳市爱夫卡科技股份有限公司 一种5d四轮定位标定***的标定方法

Similar Documents

Publication Publication Date Title
KR102085228B1 (ko) 깊이 센서의 깊이 보정을 위한 이미지 처리방법 및 그 장치
US10234873B2 (en) Flight device, flight control system and method
US8306323B2 (en) Method and apparatus for correcting depth image
CN109961468B (zh) 基于双目视觉的体积测量方法、装置及存储介质
CN109831660B (zh) 深度图像获取方法、深度图像获取模组及电子设备
US8970853B2 (en) Three-dimensional measurement apparatus, three-dimensional measurement method, and storage medium
KR101626072B1 (ko) 영상 보정 장치 및 영상 보정 방법
KR20110116325A (ko) 영상 처리 장치 및 그 방법
CN106875435B (zh) 获取深度图像的方法及***
US11536814B2 (en) Distance measuring apparatus having distance correction function
JP2015057876A (ja) 画像処理装置、画像処理システム、画像処理方法、及びプログラム
JP2013040848A (ja) 三次元計測装置、三次元計測方法およびプログラム
JP6282377B2 (ja) ３次元形状計測システムおよびその計測方法
JPH11160021A (ja) 広域３次元位置計測方法及び装置
JP2015135317A (ja) 画像処理装置、システム、画像処理方法およびプログラム
KR20130041440A (ko) 영상 처리 장치 및 방법
JP3666348B2 (ja) 距離認識装置
CN106705860A (zh) 一种激光测距方法
US20220254044A1 (en) Ranging device and ranging method
CN106683133B (zh) 一种获取目标深度图像的方法
JP5482032B2 (ja) 距離計測装置および距離計測方法
CN115797466A (zh) 一种快速的三维空间标定方法
JP5743433B2 (ja) 三次元形状計測装置
US11195290B2 (en) Apparatus and method for encoding in structured depth camera system
JP2002352231A (ja) 人体端点検出方法及び装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application