KR102170182B1 - 패턴 프로젝션을 이용한 왜곡 보정 및 정렬 시스템, 이를 이용한 방법 - Google Patents

패턴 프로젝션을 이용한 왜곡 보정 및 정렬 시스템, 이를 이용한 방법 Download PDF

Info

Publication number
KR102170182B1
KR102170182B1 KR1020140045744A KR20140045744A KR102170182B1 KR 102170182 B1 KR102170182 B1 KR 102170182B1 KR 1020140045744 A KR1020140045744 A KR 1020140045744A KR 20140045744 A KR20140045744 A KR 20140045744A KR 102170182 B1 KR102170182 B1 KR 102170182B1
Authority
KR
South Korea
Prior art keywords
pattern
image
alignment
original
distortion correction
Prior art date
Application number
KR1020140045744A
Other languages
English (en)
Other versions
KR20150120066A (ko
Inventor
장지호
황대환
양광호
임을균
조재일
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020140045744A priority Critical patent/KR102170182B1/ko
Priority to US14/688,982 priority patent/US9774837B2/en
Publication of KR20150120066A publication Critical patent/KR20150120066A/ko
Application granted granted Critical
Publication of KR102170182B1 publication Critical patent/KR102170182B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Projection Apparatus (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)

Abstract

프로젝터에 의해 투사된 패턴을 이용하여 왜곡 보정 및 정렬을 수행하는 시스템 및 방법이 개시된다. 패턴 프로젝션을 왜곡 보정 및 정렬 시스템은, 패턴을 투사하는 프로젝터와, 패턴이 투사된 영상을 촬영하여 촬영 패턴 영상을 생성하는 적어도 하나의 카메라와, 프로젝터가 투사하는 원본 패턴 영상과 촬영 패턴 영상을 비교함으로써 정렬 파라미터를 산출하는 영상 처리 장치를 포함한다. 따라서, 프로젝터에 의해 투사된 패턴에 대한 영상을 손쉽게 활용하여 정확한 깊이 영상을 획득할 수 있다. 또한, 깊이 영상의 획득에 있어서 카메라 렌즈 및 카메라의 정렬 상태에 따른 영상 왜곡을 보정하기 위한 정렬 파라미터를 프로젝터에 의해 투사되는 패턴을 이용하여 효율적으로 얻을 수 있다.

Description

패턴 프로젝션을 이용한 왜곡 보정 및 정렬 시스템, 이를 이용한 방법{SYSTEM FOR DISTORTION CORRECTION AND CALIBRATION USING PATTERN PROJECTION, AND METHOD USING THE SAME}
본 발명은 스테레오 비전 시스템에 관한 것으로, 더욱 상세하게는 프로젝터에 의해 투사된 패턴을 이용한 왜곡 보정 및 정렬을 수행하는 시스템 및 방법에 관한 것이다.
최근 자연스러운 3차원 영상의 재현을 위하여 깊이 영상을 이용한 영상 합성 방법이 널리 이용되고 있다. 깊이 영상은 시청자의 눈에 보이지는 않지만 합성 영상의 화질을 결정하는 중요한 정보이므로 정확한 깊이 영상을 획득하는 것이 중요하다.
깊이 영상은 능동적 깊이 센서(active depth sensor)를 이용하는 방식과 수동적 깊이 센서(passive depth sensor)를 이용하는 방식으로 획득될 수 있다. 능동적 깊이 센서를 이용하는 방식은 물리적 센서 장치(적외선 센서 등)를 이용하여 깊이 정보를 직접 획득하는 반면에, 수동적 깊이 센서를 이용하는 방식은 두 대 이상의 카메라를 통하여 얻은 영상으로부터 깊이 정보를 계산할 수 있다.
특히, 스테레오 정합(stereo matching)은 서로 다른 시점으로부터 얻어진 동일한 장면의 두 영상으로부터 한 영상의 화소와 일치하는 화소를 다른 영상에서 찾음으로써 깊이 정보를 얻을 수 있다. 다만, 스테레오 비전은 알고리즘의 복잡도 때문에 연산량이 많으며 이를 줄이기 위해서 몇가지 제약조건을 둔다. 이 중 epipolar line 제약조건이 있는데, 이 제약조건은 스테레오 비전에서 매칭되는 점은 각각의 영상에서 같은 epipolar line위에 존재한다는 것이다. 이로 인해서 대부분의 깊이 영상 획득을 위한 시스템은 epipolar line 제약조건을 만족하기 위해서 카메라에 대한 왜곡 보정과 정렬을 조절할 수 있는 하드웨어 장치나 소프트웨어적인 방법을 가지고 있다.
이에 대한 기술의 하나로 Caltech에서 제안한 기술은 미리 정해진 패턴을 지닌 checker보드를 다양한 각도와 상황에서 촬영하고, 촬영된 checker 보드에 대한 영상들을 통해서 필요한 파라미터를 얻어낼 수 있다.
도 1은 Caltech이 제안한 전처리 방법으로서, 도1에서와 같은 체스판 모양의 패턴을 가진 직사각형 형태의 판(checker 보드)을 스테레오 카메라를 이용하여 촬영한 영상에서 각각의 사각형의 꼭지점과 그에 대한 모양, 그리고 이로 구성되어지는 checker보드의 평면의 방정식을 추출하여 좌측 영상과 우측 영상의 정렬 상태를 맞추는 예를 나타내고 있다.
하지만 이러한 방식은 checker 보드를 촬영한 영상이 많을수록 정확도가 높아지며, 특히 다양한 각도와 다양한 영역에 대한 영상을 촬영을 하지 못하면 check board가 촬영되지 않은 영역에 대해서 오차가 발생할 수 있다.
도 2는 Caltech에서 제안한 기술을 적용한 경우의 영상에 대한 예시도이다. 도 2를 참조하면, 촬영된 영상의 가운데에 집중되어 있는 checker 보드에 대한 영상에 따른 파라미터를 적용한 경우, 영상의 가운데 부분의 정렬과 왜곡의 수정은 문제가 없으나 영상의 가장 자리 부분에 왜곡이 심하게 발생하는 것을 알 수 있다.
또한, 카메라를 완벽하게 고정시킬 방법이 없기 때문에 사용 중에 약간의 뒤틀림 등으로 인해서 결국 다시금 카메라 정렬 상태가 어긋나게 되었을 경우 수정을 위해선 다시 check board영상을 획득하고 이로부터 새로이 파라미터를 추출하는 과정을 진행해야 한다.
즉, 기존의 checker 보드를 이용하는 방법은, 전체 이미지 영역의 다양한 위치에서 많은 영상을 확보해야 정확도가 높아진다. 또한, 자동으로 찾아지지 않은 사각형의 꼭지점에 대해선 사용자가 직접 입력을 시켜줘야 하고 정렬이 틀어지는 경우 다시 정렬을 해야하는 등 손이 많이 가는 문제점이 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 프로젝터에 의해 투사되는 패턴에 대한 영상을 이용하여 입력되는 영상(혹은 입력되는 좌우영상)의 교정 및 정렬을 쉽게하는 시스템을 제공하는데 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 다른 목적은, 프로젝터에 의해 투사되는 패턴에 대한 영상을 이용하여 입력되는 영상(혹은 입력되는 좌우영상)의 교정 및 정렬을 쉽게하는 방법을 제공하는데 있다.
상기 목적을 달성하기 위한 본 발명의 일 측면에 따른 패턴 프로젝션을 이용한 왜곡 보정 및 정렬 시스템은, 패턴을 투사하는 프로젝터와, 패턴이 투사된 영상을 촬영하여 촬영 패턴 영상을 생성하는 적어도 하나의 카메라와, 프로젝터가 투사하는 원본 패턴 영상과 촬영 패턴 영상을 비교함으로써 정렬 파라미터를 산출하는 영상 처리 장치를 포함한다.
여기에서, 프로젝터와 적어도 하나의 카메라는 동일한 수평축 또는 수직축에 위치할 수 있다.
여기에서, 상기 영상 처리 장치는, 원본 패턴 영상에 적어도 하나의 기준 패턴을 설정하고, 각각의 기준 패턴 중심점의 x, y좌표를 활용하여 촬영 패턴 영상에서 각 기준 패턴의 주위를 검색 영역으로 설정하며,기준 패턴과 검색 영역 간의 패턴 매칭을 수행하는 패턴 매칭부를 포함할 수 있다.
여기에서, 상기 패턴 매칭부는 촬영 패턴 영상에 상응하는 부분이 존재하도록 원본 패턴 영상에 적어도 하나의 기준 패턴을 설정할 수 있다.
여기에서, 상기 패턴 매칭부는, 적어도 하나의 기준 패턴에 기반하여 원본 패턴 영상에 포함된 패턴을 기준으로 촬영 패턴 영상에 포함된 패턴에 대한 위치 이동, 각도 변환 및 크기 변환 중 적어도 하나를 추적하여 패턴 매칭을 수행할 수 있다.
여기에서, 상기 영상 처리 장치는, 촬영 패턴 영상에 포함된 패턴에 대해 추적된 위치 이동, 각도 변환 및 크기 변환 중 적어도 하나를 이용하여 평면 방정식을 산출하고, 평면 방정식에 기반하여 정렬 파라미터를 산출하는 파라미터 산출부를 더 포함할 수 있다.
여기에서, 상기 영상 처리 장치는, 정렬 파라미터를 적용하여 왜곡 보정된 영상을 통해서 깊이 영상을 생성하는 깊이 영상 생성부를 더 포함할 수 있다.
여기에서, 상기 패턴은, 랜덤 도트(random dot) 또는 선을 포함하여 특정 가능한 패턴으로 구성될 수 있다.
상기 목적을 달성하기 위한 본 발명의 다른 측면에 따른 패턴 프로젝션을 이용한 영상 처리 장치는, 상기 투사된 패턴의 사용자가 미리 알고 있는 원본 패턴 영상과 상기 투사된 패턴을 촬영하여 획득한 촬영 패턴 영상을 비교하는 패턴 매칭부와, 원본 패턴 영상과 촬영 패턴 영상의 비교를 통하여 정렬 파라미터를 산출하는 파라미터 산출부와, 정렬 파라미터를 적용하여 깊이 영상을 생성하는 깊이 영상 생성부를 포함한다.
여기에서, 상기 패턴 매칭부는, 원본 패턴 영상에 적어도 하나의 기준 패턴을 설정하고, 적어도 하나의 기준 패턴에 상응하는 검색 영역을 촬영 패턴 영상에서 추출하며, 적어도 하나의 기준 패턴에 기반하여 원본 패턴 영상에 포함된 패턴을 기준으로 촬영 패턴 영상에 포함된 패턴에 대한 위치 이동, 각도 변환 및 크기 변환 중 적어도 하나를 추적하여 패턴 매칭을 수행할 수 있다.
여기에서, 상기 파라미터 산출부는, 적어도 하나의 기준 패턴에 기반하여 촬영 패턴 영상에 포함된 패턴에 대해 추적된 위치 이동, 각도 변환 및 크기 변환 중 적어도 하나를 이용하여 평면 방정식을 산출하고, 평면 방정식에 기반하여 정렬 파라미터를 산출할 수 있다.
상기 목적을 달성하기 위한 본 발명의 또 다른 측면에 따른 패턴 프로젝션을 이용한 왜곡 보정 및 정렬 방법은, 패턴을 투사하는 단계와, 패턴이 투사된 영상을 촬영하여 촬영 패턴 영상을 생성하는 단계와, 프로젝터가 투사하는 원본 패턴 영상과 촬영 패턴 영상을 비교함으로써 정렬 파라미터를 산출하는 단계를 포함한다.
여기에서, 상기 패턴 프로젝션을 이용한 깊이 영상 획득 방법은, 정렬 파라미터를 적용하여 깊이 영상을 생성하는 단계를 더 포함할 수 있다.
여기에서, 상기 정렬 파라미터를 산출하는 단계는, 원본 패턴 영상에 적어도 하나의 기준 패턴을 설정하는 단계와, 적어도 하나의 기준 패턴에 상응하는 검색 영역을 촬영 패턴 영상에서 추출하여 패턴 매칭을 수행하는 단계를 포함할 수 있다.
여기에서, 상기 원본 패턴 영상에 적어도 하나의 기준 패턴을 설정하는 단계는, 원본 패턴 영상에서 기준 패턴의 중심 좌표를 기준으로 상응하는 인근 영역을 촬영 패턴 영상에서 검색 영역으로 설정한다.
여기에서, 상기 패턴 매칭을 수행하는 단계는, 적어도 하나의 기준 패턴에 기반하여 원본 패턴 영상에 포함된 패턴을 기준으로 촬영 패턴 영상에 포함된 패턴에 대한 위치 이동, 각도 변환 및 크기 변환 중 적어도 하나를 위한 계산을 수행할 수 있다.
여기에서, 상기 정렬 파라미터를 산출하는 단계는, 촬영 패턴 영상에 포함된 패턴에 대해 추적된 위치 이동, 각도 변환 및 크기 변환 중 적어도 하나를 이용하여 평면 방정식을 산출하는 단계와, 평면 방정식에 기반하여 정렬 파라미터를 산출하는 단계를 더 포함할 수 있다.
상기와 같은 본 발명의 실시예에 따른 패턴 프로젝션을 이용한 왜곡 보정 및 정렬 시스템 및 방법은, 프로젝터에 의해 투사된 패턴에 대한 영상을 이용하여 영상의 왜곡 보정 및 카메라의 정렬을 용이하게 수행할 수 있다.
또한, 본 발명은 깊이 영상의 획득에 있어서 카메라 렌즈 및 카메라의 정렬 상태에 따른 영상 왜곡을 보정하기 위한 정렬 파라미터를 프로젝터에 의해 투사되는 패턴을 이용하여 효율적으로 얻을 수 있는 장점이 있다.
도 1은 Caltech에서 제안한 스테레오 비전 시스템에서 카메라를 정렬하는 방법을 설명하는 예시도이다.
도 2는 Caltech에서 제안한 기술을 잘못 계산된 파라미터를 적용한 경우의 영상에 대한 예시도이다.
도 3은 본 발명의 실시예에 따라 프로젝터와 하나의 카메라를 이용하여 정렬 파라미터를 산출하는 방법을 설명하는 개념도이다.
도 4는 본 발명의 다른 실시예에 따라 프로젝터와 두 개의 카메라를 이용하여 정렬 파라미터를 산출하는 방법을 설명하는 개념도이다.
도 5는 본 발명의 실시예에 따른 패턴 프로젝션을 이용한 왜곡 보정 및 정렬 시스템의 구성을 설명하기 위한 블록도이다.
도 6은 본 발명의 실시예에 따른 원본 패턴 영상에 기준 패턴의 설정을 설명하기 위한 예시도이다.
도 7은 본 발명의 실시예에 따른 원본 패턴 영상과 촬영 패턴 영상 간의 패턴 매칭을 설명하기 위한 예시도이다.
도 8은 본 발명의 실시예에 따른 패턴 프로젝션을 이용한 왜곡 보정 및 정렬 방법을 설명하기 위한 흐름도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
먼저, 좌우의 스테레오 카메라를 이용하여 영상의 깊이 정보를 알기 위해서 사용되는 3차원(3D) 깊이(depth) 카메라는 카메라들에 의해 서로 다른 시점에서 촬영된 영상으로부터 양안 시차 특성을 추출하여 이용한다.
예를 들어, 프로젝터를 이용하여 패턴을 투사하고, 투사된 패턴에 대한 영상을 촬영하여 하나의 영상 내의 특정 위치에 있는 패턴이 다른 쪽 영상에서는 어느 위치에 있는지 검출하여 두 위치의 차이, 즉 양안 시차(disparity)를 추출함으로써 카메라에서 그 패턴의 실제 위치까지의 거리를 직접 계산할 수 있다.
여기서, 카메라에서 획득되는 패턴의 영상이 정확하게 보여지는 것이 가장 중요하며, 이를 위해서 카메라 렌즈 및 카메라 정렬로 인해서 생기는 왜곡 및 오차 등을 없애주는 것이 필요하다.
또한, 거리를 계산하는 연산에 있어서의 epipolar line제약 조건으로 인해서 프로젝터와 카메라 간 또는 카메라들 간의 정렬(Calibration)이 중요하게 된다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 3은 본 발명의 실시예에 따라 프로젝터(100)와 하나의 카메라(200)를 이용하여 정렬 파라미터를 산출하는 방법을 설명하는 개념도이고, 도 4는 본 발명의 다른 실시예에 따라 프로젝터(100)와 두 개의 카메라(200)를 이용하여 정렬 파라미터를 산출하는 방법을 설명하는 개념도이다.
도 3을 참조하면, 본 발명의 실시예에 따른 왜곡 보정 및 정렬 방법은, 프로젝터(100)와 하나의 카메라(200)에 의해 수행될 수 있다.
프로젝터(100)와 카메라(200)는 동일한 수평축(또는 수직축)에 배치될 수 있다. 프로젝터(100)는 스크린(10)에 패턴을 투사하고, 카메라(200)는 패턴이 투사된 영상을 촬영하여 촬영 패턴 영상을 생성할 수 있다. 여기서, 촬영 패턴 영상은 카메라(200)를 통해서 얻어진 투사된 패턴에 대한 영상을 의미할 수 있다.
기본적으로 프로젝터(100)와 카메라(200)들 간에는 수평축 또는 수직축에 위치하므로 원본 패턴 영상과 완전히 일치하지는 않으나 약간의 차이가 존재하는 촬영 패턴 영상을 획득할 수 있다. 여기서, 원본 패턴 영상은 프로젝터(100)에 의해 투사되는 패턴의 원본 영상을 의미할 수 있다.
즉, 촬영 패턴 영상은 카메라 렌즈 등에 의한 영상 왜곡 및 카메라(200) 정렬의 문제로 인해서 원본 패턴 영상과 차이가 나타날 수 있다.
프로젝터(100)가 스크린(10)에 패턴을 투사하는 영역은 카메라(200)가 영상을 촬영하는 영역을 모두 포함하여야 한다. 즉, 카메라가 촬영한 모든 영역에 패턴이 있어야 하며, 실질적으로 거리를 계산하는 영역이 될 수 있다.
또한, 도4를 참조하면, 본 발명의 실시예에 따른 깊이 영상 획득 방법은, 프로젝터(100)와 두 개의 카메라(200)에 의해 수행될 수 있다.
프로젝터(100)와 두 개의 카메라(200)는 동일한 수평축에 배치될 수 있다. 프로젝터(100)는 스크린(10)에 패턴을 투사하고, 두 개의 카메라(200) 각각은 투사된 패턴에 대한 영상을 촬영할 수 있다.
도 3과 마찬가지로, 프로젝터(100)에 의해 스크린(10)에 투사되는 패턴은 양 카메라가 촬영하는 모든 영역에 투사되어야 하고, 각각의 카메라(200)가 영상을 촬영하는 영역은 중첩될 수 있다. 이렇게 중첩되는 영역이 실질적으로 거리를 계산하는 영역이 될 수 있다.
또한, 도 3및 도 4는 하나의 카메라(200) 또는 두 개의 카메라(200)를 이용하여 투사된 패턴에 대한 영상을 촬영하고 있으나, 본 발명의 실시예에 따르면, 두 개 이상의 카메라(200)를 활용하여 투사된 패턴에 대한 영상을 촬영할 수 있음은 물론이다.
도 5는 본 발명의 실시예에 따른 패턴 프로젝션을 이용한 왜곡 보정 및 정렬시스템의 구성을 설명하기 위한 블록도이다.
도 5를 참조하면, 본 발명의 실시예에 따른 패턴 프로젝션을 이용한 왜곡 보정 및 정렬은, 프로젝터(100), 카메라(200) 및 영상 처리 장치(300)를 포함한다.
프로젝터(100)는 패턴을 투사할 수 있다. 예를 들어, 프로젝터(100)는 랜덤 도트(random dot) 또는 선 등으로 구성되는 패턴을 스크린(10)에 투사할 수 있다.
카메라(200)는 패턴이 투사된 영상을 촬영하여 촬영 패턴 영상을 생성할 수 있다. 하나 이상의 카메라(200)를 통하여 패턴이 투사된 영상을 촬영할 수 있음은 물론이다.
영상 처리 장치(300)는 프로젝터(100)가 투사하는 원본 패턴 영상과 촬영 패턴 영상을 비교함으로써 정렬 파라미터를 산출할 수 있다. 영상 처리 장치(300)는 프로젝터(100)가 투사하는 패턴에 대한 원본인 원본 패턴 영상을 미리 저장할 수 있으며, 카메라(200)에 의해 생성된 촬영 패턴 영상을 전달받을 수 있다.
따라서, 영상 처리 장치는(300)는 프로젝터(100) 및 카메라(200)와 연동하여 동작할 수 있으며, 영상 처리 장치(300)는 MCU(Micro Controller Unit) 또는 MPU(Micro Processor Unit), CPU(Central Processing Uint), GPU(Graphics Processing Uint), FPGA(Field Programmable Gate Array), ASIC(Application Specific IC), DSP(Digital Signal Processor) 등으로 구현될 수 있다. 또한 시스템 사용자는 영상 처리 장치(300)를 통하여 프로젝터(100) 및 카메라(200)를 제어할 수 있다.
즉, 영상 처리 장치(300)는 원본 패턴 영상과 촬영 패턴 영상을 비교함으로써 카메라 렌즈 및 카메라(200)의 정렬 상태에 따른 영상 왜곡을 보정할 수 있는 정렬 파라미터를 산출할 수 있다.
상세하게는, 영상 처리 장치(300)는 패턴 매칭부(310), 파라미터 산출부(320) 및 깊이 영상 생성부(330)를 포함할 수 있다.
패턴 매칭부(310)는 원본 패턴 영상에 포함된 기준 패턴과 촬영 패턴 영상에서의 검색 영역에 포함된 패턴에 대한 매칭을 수행할 수 있다. 즉, 투사된 패턴의 원본 패턴 영상과 상기 투사된 패턴을 촬영하여 획득한 촬영 패턴 영상을 비교할 수 있다.
패턴 매칭부(310)는 원본 패턴 영상에 적어도 3개 이상의 기준 패턴을 설정하고, 각각의 기준 패턴에 상응하는 영역을 촬영 패턴 영상에서 추출하여 패턴 매칭을 수행할 수 있다.
예를 들어, 패턴 매칭부(310)는 원본 패턴 영상의 중심을 기준으로 대칭인 위치에 있도록 적어도 하나의 기준 패턴을 설정할 수 있다. 또한, 패턴 매칭부(310)는 적어도 하나의 기준 패턴에 기반하여 원본 패턴 영상에 포함된 패턴을 기준으로 촬영 패턴 영상에 포함된 패턴에 대한 위치 이동, 각도 변환 및 크기 변환 등을 추적하여 패턴 매칭을 수행할 수 있다.
파라미터 산출부(320)는 촬영 패턴 영상의 검색 영역에 포함된 패턴에 대해 추적된 위치 이동, 각도 변환 및 크기 변환을 이용하여 평면 방정식을 산출할 수 있다.
예를 들어, 파라미터 산출부(320)는 원본 패턴 영상의 중심을 기준으로 설정된 적어도 하나의 기준 패턴에 기반하여 촬영 패턴 영상에 포함된 패턴에 대해 추적된 위치 이동, 각도 변환 및 크기 변환 중 적어도 하나의 변화가 가장 작아지는 평면 방정식을 산출할 수 있다. 즉, 평면 방정식은 각각의 검색 영역에서 패턴의 변화가 가장 작아지도록 산출될 수 있다.
또한, 파라미터 산출부(320)는 평면 방정식에 기반하여 정렬 파라미터를 산출할 수 있다.
깊이 영상 생성부(330)는 파라미터 산출부(320)에서 산출된 정렬 파라미터를 적용하여 깊이 영상을 생성할 수 있다. 이를 통하여 깊이 영상 생성부(330)는 카메라 렌즈 및 카메라(200)의 정렬 상태에 따른 영상 왜곡이 보정된 상태에서 깊이 영상을 생성할 수 있다.
본 발명의 실시예에 따른 영상 처리 장치(300)의 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 설명하였으나, 각 구성부 중 적어도 두 개가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합 및 분리된 실시예의 경우도 본 발명의 본질에서 벋어나지 않는 한 본 발명의 권리범위에 포함된다.
또한, 본 발명에 따른 영상 처리 장치(300)의 동작은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 프로그램 또는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터로 읽을 수 있는 프로그램 또는 코드가 저장되고 실행될 수 있다.
도 6은 본 발명의 실시예에 따른 원본 패턴 영상에 기준 패턴의 설정을 설명하기 위한 예시도이다.
도 6을 참조하면, 본 발명의 실시예에 따르면 원본 패턴 영상에 기준 패턴을 설정하여 패턴 매칭을 수행할 수 있다.
원본 패턴 영상은 프로젝터(100)로 출력되는 패턴에 대한 정보를 가지며, 알고리즘에 따라 랜덤 도트(random dot) 또는 선 등의 특정 가능한 패턴을 가질 수 있다.
또한, 본 발명에 실시예에 따르면, 랜덤 도트 또는 선으로 이루어진 원본 패턴 영상은 시스템 개발자가 미리 알고 있는 패턴 영상을 의미할 수 있다.
본 발명의 실시예에 따르면, 검색 영역은 원본 패턴 영상에 포함된 패턴의 형태에 따라 적응적으로 설정될 수 있다.
예를 들어, 원본 패턴 영상의 패턴이 랜덤 도트일 경우, 원본 패턴 영상에서 4개 모서리의 일정 영역에 기준 패턴을 설정할 수 있다.
또한, 검색 영역은 평면 방정식을 얻어내기 위하여 원본 패턴 영상에서의 기준 패턴들의 중심 좌표를 이용하여 촬영 패턴 영상의 일부분에 설정될 수 있다. 즉, 기준 패턴은 여러 크기의 윈도우와 다양한 위치에서 설정될 수 있도록 한다. 따라서, 기준 패턴은 사용자에 의해 적응적으로 설정될 수 있으며, 도 6과 같은 설정에 한정되는 것은 아니다.
도 7은 본 발명의 실시예에 따른 원본 패턴 영상과 촬영 패턴 영상 간의 패턴 매칭을 설명하기 위한 예시도이다.
도 7을 참조하면, 기준 패턴과 검색 영역에 기반하여 원본 패턴 영상과 촬영 패턴 영상에 포함된 패턴 간의 매칭이 수행될 수 있다.
패턴 매칭은 원본 패턴 영상에 포함된 기준 패턴을 촬영 패턴 영상의 검색 영역에서 상응하는 패턴을 추적함으로써 수행될 수 있다. 패턴은 카메라 렌즈 및 카메라(200)의 정렬 상태로 인해서 크기, 각도 및 위치의 변환이 발생할 수 있다.
예를 들어, 8개의 기준 패턴에 대한 패턴 매칭을 수행할 수 있다. 즉, 패턴 매칭은 기준 패턴과 검색 영역에 기반하여 원본 패턴 영상에 포함된 패턴과 촬영 패턴 영상에 포함된 패턴에 대해 패턴의 위치 이동, 각도 변환 및 크기 변환을 추적하여 수행될 수 있다.
따라서, 본 발명의 실시예에 따르면 패턴 매칭을 수행하여 평면 방정식을 산출할 수 있다. 예를 들어, 원본 패턴 영상의 기준 패턴에 대응하는 촬영 영상에서의 중심점을 구하고, 각 중심점들 중 밖의 4개를 연결하는 평면의 방정식 하나와 안의 4개를 연결하는 평면의 방정식 하나를 구할 수 있다.
도 8은 본 발명의 실시예에 따른 패턴 프로젝션을 이용한 왜곡 보정 및 정렬 방법을 설명하기 위한 흐름도이다.
도 8을 참조하면, 본 발명의 실시예에 따른 패턴 프로젝션을 이용한 왜곡 보정 및 정렬 방법은, 패턴을 투사하는 단계와, 패턴이 투사된 영상을 촬영하여 촬영 패턴 영상을 생성하는 단계와, 프로젝터(100)가 투사하는 원본 패턴 영상과 촬영 패턴 영상을 비교함으로써 정렬 파라미터를 산출하는 단계를 포함한다. 또한, 패턴 프로젝션을 이용한 왜곡 보정 및 정렬 방법은 정렬 파라미터를 적용하여 깊이 영상을 생성하는 단계를 더 포함할 수 있다.
먼저, 프로젝터(100)를 이용하여 패턴을 투사할 수 있다(S810). 프로젝터(100)가 투사하는 패턴은 랜덤 도트(random dot) 또는 선으로 구성될 수 있다.
적어도 하나의 카메라(200)를 이용하여 패턴이 투사된 영상을 촬영하여 촬영 패턴 영상을 생성할 수 있다.(S820). 예를 들어, 단안 카메라(200) 또는 양안 카메라(200)가 이용될 수 있다. 즉, 하나의 카메라(200) 또는 두 개의 카메라(200)를 이용하여 패턴이 투사된 영상을 촬영할 수 있으나, 본 발명의 실시예에 따르면, 두 개 이상의 카메라(200)를 활용하여 패턴이 투사된 영상을 촬영할 수 있다.
프로젝터(100)에 의해 투사되는 패턴의 원본인 원본 패턴 영상에 적어도 하나의 기준 패턴을 설정할 수 있다(S830).
예를 들어, 원본 패턴 영상에서 4개 모서리의 일정 영역을 기준 패턴으로 설정할 수 있다. 또한, 원본 패턴 영상의 중심을 기준으로 대칭인 위치에 4개의 추가 영역을 더 설정할 수 있다. 즉, 원본 패턴 영상의 중심을 기준으로 대칭인 위치에 있도록 적어도 하나의 기준 패턴을 설정할 수 있다.
적어도 하나의 기준 패턴에서 원본 패턴 영상에 포함된 패턴에 상응하는 패턴을 촬영 패턴 영상에서 추출하여 패턴 매칭을 수행할 수 있다(S840). 즉, 패턴 매칭을 통하여 기준 패턴에 기반하여 원본 패턴 영상에 포함된 패턴에 상응하는 패턴을 촬영 패턴 영상에서 추적할 수 있다.
예를 들어, 적어도 하나의 기준 패턴에 기반하여 원본 패턴 영상에 포함된 패턴을 기준으로 촬영 패턴 영상의 검색 영역에 포함된 패턴에 대한 위치 이동, 각도 변환 및 크기 변환 중 적어도 하나를 추적할 수 있으며, 이를 통하여 평면 방정식을 산출할 수 있다(S850).
상세하게는, 원본 패턴 영상의 중심을 기준으로 설정된 적어도 하나의 기준 패턴에 기반하여 촬영 패턴 영상에 포함된 패턴에 대해 추적된 위치 이동, 각도 변환 및 크기 변환의 변화가 가장 작아지는 평면 방정식을 산출할 수 있다.
또한, 평면 방정식에 기반하여 정렬 파라미터를 산출할 수 있다(S860). 따라서, 정렬 파라미터를 이용하여 원본 패턴 영상과 촬영 패턴 영상이 일치하도록 할 수 있으며, 정렬 파라미터를 이용하여 입력된 영상의 왜곡 보정 및 정렬을 수행할 수 있다(S870). 또한, 정렬 파라미터를 적용하여 정확한 깊이 영상을 생성할 수 있다.
상술한 본 발명의 실시예에 따른 패턴 프로젝션을 이용한 왜곡 보정 및 정렬시스템 및 방법은, 카메라 렌즈 및 카메라(200)의 정렬 상태에 따른 영상 왜곡을 보정하기 위한 정렬 파라미터를 추출할 수 있다.
특히, 본 발명의 실시예에 따르면, 기존의 checker 보드를 이용한 방식과 비교하여 하나의 촬영 패턴 영상을 활용하는 것이 가능하다. 또한, 깊이 영상의 정확도를 높이기 위해서 시스템의 사용자가 다양한 각도와 상황에서 checker 보드에 대한 영상을 촬영할 필요없이 프로젝터(100)에 의해 투사된 패턴에 대한 영상을 손쉽게 활용할 수 있도록 한다.
따라서, 시스템의 사용자가 손쉽게 카메라 렌즈 및 카메라(200)의 정렬 상태에 따라 발생할 수 있는 영상의 왜곡을 보정한 상태에서 깊이 영상을 획득할 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
10: 스크린 100: 프로젝터
200: 카메라 300: 영상 처리 장치
310: 패턴 매칭부 320: 파라미터 산출부
330: 깊이 영상 생성부

Claims (18)

  1. 패턴을 투사하는 프로젝터;
    상기 패턴이 투사된 영상을 촬영하여 촬영 패턴 영상을 생성하는 적어도 하나의 카메라; 및
    상기 프로젝터가 투사하는 원본 패턴 영상과 상기 촬영 패턴 영상을 비교함으로써 정렬 파라미터를 산출하는 영상 처리 장치를 포함하고,
    상기 영상 처리 장치는,
    상기 원본 패턴 영상에 적어도 하나의 기준 패턴을 설정하고, 각 기준 패턴의 주위를 검색 영역으로 설정하여, 상기 기준 패턴과 상기 검색 영역 간의 패턴 매칭을 수행하는 패턴 매칭부; 및
    상기 촬영 패턴 영상에 포함된 패턴에 대해 추적된 위치, 각도 및 크기 관련 변화 중 적어도 하나를 이용하여 평면 방정식을 산출하고, 상기 평면 방정식에 기반하여 상기 정렬 파라미터를 산출하는 파라미터 산출부를 포함하고,
    상기 평면 방정식은, 각 검색 영역에서 패턴의 변화가 가장 작도록 산출되는, 왜곡 보정 및 정렬 시스템.
  2. 청구항 1에 있어서,
    상기 프로젝터와 상기 적어도 하나의 카메라는 동일한 수평축 또는 수직축에 위치하는, 왜곡 보정 및 정렬 시스템.
  3. 청구항 1에 있어서,
    상기 패턴 매칭부는,
    각각의 기준 패턴 중심점의 x, y좌표를 활용하여 촬영 패턴 영상에서 각 기준 패턴의 주위를 검색 영역으로 설정하며, 상기 기준 패턴과 상기 검색 영역 간의 패턴 매칭을 수행하는, 왜곡 보정 및 정렬 시스템.
  4. 청구항 3에 있어서,
    상기 패턴 매칭부는,
    상기 촬영 패턴 영상에 상응하는 부분이 존재하도록 상기 원본 패턴 영상에 적어도 하나의 기준 패턴을 설정하는, 왜곡 보정 및 정렬 시스템.
  5. 청구항 3에 있어서,
    상기 패턴 매칭부는,
    상기 적어도 하나의 기준 패턴에 기반하여 상기 원본 패턴 영상에 포함된 패턴을 기준으로 상기 촬영 패턴 영상에 포함된 패턴에 대한 위치 이동, 각도 변환 및 크기 변환 중 적어도 하나를 추적하여 상기 패턴 매칭을 수행하는, 왜곡 보정 및 정렬 시스템.
  6. 청구항 1에 있어서,
    상기 영상 처리 장치는,
    상기 정렬 파라미터를 적용하여 왜곡 보정된 영상을 통하여 깊이 영상을 생성하는 깊이 영상 생성부를 더 포함하는, 왜곡 보정 및 정렬 시스템.
  7. 청구항 1에 있어서,
    상기 패턴은 랜덤 도트(random dot) 또는 선을 포함하여 특정 가능한 패턴으로 구성되는, 왜곡 보정 및 정렬 시스템.
  8. 프로젝터에 의해 투사된 패턴을 이용한 왜곡 보정 및 정렬에 있어서,
    상기 투사된 패턴의 원본 패턴 영상과 상기 투사된 패턴을 촬영하여 획득한 촬영 패턴 영상을 비교하는 패턴 매칭부;
    상기 원본 패턴 영상과 상기 촬영 패턴 영상의 비교를 통하여 정렬 파라미터를 산출하는 파라미터 산출부; 및
    상기 정렬 파라미터를 적용하여 깊이 영상을 생성하는 깊이 영상 생성부를 포함하고,
    상기 패턴 매칭부는, 상기 원본 패턴 영상에 적어도 하나의 기준 패턴을 설정하고, 각 기준 패턴의 주위를 검색 영역으로 설정하여, 상기 기준 패턴과 상기 검색 영역 간의 패턴 매칭을 수행하고,
    상기 파라미터 산출부는, 상기 촬영 패턴 영상에 포함된 패턴에 대해 추적된 위치, 각도 및 크기 관련 변화 중 적어도 하나를 이용하여 평면 방정식을 산출하고, 상기 평면 방정식에 기반하여 상기 정렬 파라미터를 산출하며,
    상기 평면 방정식은, 각 검색 영역에서 패턴의 변화가 가장 작도록 산출되는, 영상 처리 장치.
  9. 청구항 8에 있어서,
    상기 패턴 매칭부는
    상기 원본 패턴 영상에 적어도 하나의 기준 패턴을 설정하고, 상기 적어도 하나의 기준 패턴에 상응하는 영역을 상기 촬영 패턴 영상에서 추출하며, 상기 적어도 하나의 기준 패턴에 기반하여 상기 원본 패턴 영상에 포함된 패턴을 기준으로 상기 촬영 패턴 영상에 포함된 패턴에 대한 위치 이동, 각도 변환 및 크기 변환 중 적어도 하나를 추적하여 패턴 매칭을 수행하는, 영상 처리 장치.
  10. 프로젝터를 이용해 패턴을 투사하는 단계;
    상기 패턴이 투사된 영상을 촬영하여 촬영 패턴 영상을 생성하는 단계;
    상기 프로젝터가 투사하는 원본 패턴 영상과 상기 촬영 패턴 영상을 비교함으로써 정렬 파라미터를 산출하는 단계를 포함하고,
    상기 정렬 파라미터를 산출하는 단계는,
    상기 원본 패턴 영상에 적어도 하나의 기준 패턴을 설정하는 단계;
    각 기준 패턴의 주위를 검색 영역으로 설정하는 단계;
    상기 기준 패턴과 상기 검색 영역 간의 패턴 매칭을 수행하는 단계;
    상기 촬영 패턴 영상에 포함된 패턴에 대해 추적된 위치, 각도 및 크기 관련 변화 중 적어도 하나를 이용하여 평면 방정식을 산출하는 단계; 및
    상기 평면 방정식에 기반하여 상기 정렬 파라미터를 산출하는 단계를 포함하고,
    상기 평면 방정식은, 각 검색 영역에서 패턴의 변화가 가장 작도록 산출되는, 왜곡 보정 및 정렬 방법.
  11. 청구항 10에 있어서,
    상기 정렬 파라미터를 적용하여 깊이 영상을 생성하는 단계를 더 포함하는, 왜곡 보정 및 정렬 방법.
  12. 청구항 10에 있어서,
    상기 패턴은
    랜덤 도트(random dot) 또는 선을 포함하여 특정 가능한 패턴으로 구성되는, 왜곡 보정 및 정렬 방법.
  13. 청구항 10에 있어서,
    상기 검색 영역은,
    상기 원본 패턴 영상에서 기준 패턴의 중심 좌표를 기준으로 상응하는 인접 영역으로 설정되는, 왜곡 보정 및 정렬 방법.
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
KR1020140045744A 2014-04-17 2014-04-17 패턴 프로젝션을 이용한 왜곡 보정 및 정렬 시스템, 이를 이용한 방법 KR102170182B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140045744A KR102170182B1 (ko) 2014-04-17 2014-04-17 패턴 프로젝션을 이용한 왜곡 보정 및 정렬 시스템, 이를 이용한 방법
US14/688,982 US9774837B2 (en) 2014-04-17 2015-04-16 System for performing distortion correction and calibration using pattern projection, and method using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140045744A KR102170182B1 (ko) 2014-04-17 2014-04-17 패턴 프로젝션을 이용한 왜곡 보정 및 정렬 시스템, 이를 이용한 방법

Publications (2)

Publication Number Publication Date
KR20150120066A KR20150120066A (ko) 2015-10-27
KR102170182B1 true KR102170182B1 (ko) 2020-10-26

Family

ID=54323082

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140045744A KR102170182B1 (ko) 2014-04-17 2014-04-17 패턴 프로젝션을 이용한 왜곡 보정 및 정렬 시스템, 이를 이용한 방법

Country Status (2)

Country Link
US (1) US9774837B2 (ko)
KR (1) KR102170182B1 (ko)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6636252B2 (ja) * 2015-03-19 2020-01-29 株式会社メガチップス 投影システム、プロジェクター装置、撮像装置、および、プログラム
JP6554887B2 (ja) * 2015-04-14 2019-08-07 富士ゼロックス株式会社 画像生成装置、評価システムおよびプログラム
KR101828376B1 (ko) * 2016-05-13 2018-02-13 (주)칼리온 휴대용 3차원 문서 스캐닝 장치 및 방법
EP3264360A1 (en) * 2016-06-28 2018-01-03 Dassault Systèmes Dynamical camera calibration
TWI592020B (zh) * 2016-08-23 2017-07-11 國立臺灣科技大學 投影機的影像校正方法及影像校正系統
DE102016217792A1 (de) * 2016-09-16 2018-03-22 Xion Gmbh Justiersystem
US10360693B2 (en) 2017-03-01 2019-07-23 Cognex Corporation High speed structured light system
JP2019047311A (ja) * 2017-09-01 2019-03-22 セイコーエプソン株式会社 画像投写システム及びその制御方法
CN107883870B (zh) * 2017-10-24 2019-12-03 四川雷得兴业信息科技有限公司 基于双目视觉***和激光跟踪仪测量***的全局标定方法
JP7151126B2 (ja) * 2018-03-29 2022-10-12 セイコーエプソン株式会社 プロジェクター、及び、プロジェクターの制御方法
JP2021122080A (ja) * 2018-05-09 2021-08-26 ソニーグループ株式会社 データ処理装置、データ処理方法、及び、プログラム
CN108830907B (zh) * 2018-06-15 2021-02-19 深圳市易尚展示股份有限公司 基于单目***的投影标定方法及***
CN109045684A (zh) * 2018-06-28 2018-12-21 上海智凌信息技术有限公司 一种投影式棋盘的控制方法及控制装置
CN109120918B (zh) * 2018-08-14 2020-09-22 上海常仁信息科技有限公司 基于机器人的投影效果自评***和方法
US11176694B2 (en) * 2018-10-19 2021-11-16 Samsung Electronics Co., Ltd Method and apparatus for active depth sensing and calibration method thereof
TWI680436B (zh) 2018-12-07 2019-12-21 財團法人工業技術研究院 深度相機校正裝置及其方法
CN111327847B (zh) * 2018-12-17 2022-03-08 沈阳新松机器人自动化股份有限公司 一种镜头畸变校正图像的自动化采集装置
CN111385546B (zh) * 2018-12-28 2022-07-19 中强光电股份有限公司 投影***以及投影方法
CN111629190A (zh) * 2019-02-28 2020-09-04 中强光电股份有限公司 投影***以及投影方法
CN110084860A (zh) * 2019-05-24 2019-08-02 深圳市速杰电子有限公司 一种投影仪镜头畸变矫正***及方法
US11277544B2 (en) 2019-08-07 2022-03-15 Microsoft Technology Licensing, Llc Camera-specific distortion correction
CN111028281B (zh) * 2019-10-22 2022-10-18 清华大学 基于光场双目***的深度信息计算方法及装置
US11389877B2 (en) 2019-12-04 2022-07-19 General Electric Company Scanfield alignment of multiple optical systems
KR102364044B1 (ko) * 2019-12-27 2022-02-17 한국광기술원 광각 이미지를 촬영하고 보정하는 장치 및 방법
CN112070844A (zh) * 2020-08-27 2020-12-11 合肥的卢深视科技有限公司 结构光***的校准方法及装置、校准工具图、设备及介质
US20220230335A1 (en) * 2021-01-20 2022-07-21 Nicolae Paul Teodorescu One-shot high-accuracy geometric modeling of three-dimensional scenes
US11663704B2 (en) 2021-04-28 2023-05-30 Microsoft Technology Licensing, Llc Distortion correction via modified analytical projection

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006014356A (ja) * 2005-07-25 2006-01-12 Olympus Corp 画像投影システム
JP2007101275A (ja) * 2005-09-30 2007-04-19 Topcon Corp 三次元計測用投影装置及びシステム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4501239B2 (ja) 2000-07-13 2010-07-14 ソニー株式会社 カメラ・キャリブレーション装置及び方法、並びに、記憶媒体
US6837582B2 (en) * 2002-03-26 2005-01-04 Seiko Epson Corporation Image adjuster of projector and image adjusting method of image display
JP3977776B2 (ja) 2003-03-13 2007-09-19 株式会社東芝 ステレオキャリブレーション装置とそれを用いたステレオ画像監視装置
JP3880609B1 (ja) * 2006-02-10 2007-02-14 シャープ株式会社 画像投影方法及びプロジェクタ
JP5217497B2 (ja) * 2008-02-26 2013-06-19 ソニー株式会社 画像投影システム、制御装置、画像投影方法、プログラム及び記録媒体
KR101259835B1 (ko) 2009-06-15 2013-05-02 한국전자통신연구원 깊이 정보를 생성하기 위한 장치 및 방법
KR101095670B1 (ko) 2009-07-06 2011-12-19 (주) 비전에스티 스테레오 카메라의 고속 칼리브레이션 및 렉티피케이션 방법 및 장치
US9191659B2 (en) * 2011-11-16 2015-11-17 Christie Digital Systems Usa, Inc. Collimated stereo display system
US9237330B2 (en) * 2012-02-21 2016-01-12 Intellectual Ventures Fund 83 Llc Forming a stereoscopic video
US9128366B2 (en) * 2012-05-22 2015-09-08 Ricoh Company, Ltd. Image processing system, image processing method, and computer program product
US9154773B2 (en) * 2013-03-15 2015-10-06 Seiko Epson Corporation 2D/3D localization and pose estimation of harness cables using a configurable structure representation for robot operations

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006014356A (ja) * 2005-07-25 2006-01-12 Olympus Corp 画像投影システム
JP2007101275A (ja) * 2005-09-30 2007-04-19 Topcon Corp 三次元計測用投影装置及びシステム

Also Published As

Publication number Publication date
US20150304617A1 (en) 2015-10-22
KR20150120066A (ko) 2015-10-27
US9774837B2 (en) 2017-09-26

Similar Documents

Publication Publication Date Title
KR102170182B1 (ko) 패턴 프로젝션을 이용한 왜곡 보정 및 정렬 시스템, 이를 이용한 방법
US11039121B2 (en) Calibration apparatus, chart for calibration, chart pattern generation apparatus, and calibration method
US11568516B2 (en) Depth-based image stitching for handling parallax
US9672602B2 (en) Projection image correcting apparatus, method for correcting image to be projected, and program
US9759548B2 (en) Image processing apparatus, projector and projector system including image processing apparatus, image processing method
US8447099B2 (en) Forming 3D models using two images
JP6585006B2 (ja) 撮影装置および車両
WO2019049331A1 (ja) キャリブレーション装置、キャリブレーションシステム、およびキャリブレーション方法
US10438412B2 (en) Techniques to facilitate accurate real and virtual object positioning in displayed scenes
CN107808398B (zh) 摄像头参数算出装置以及算出方法、程序、记录介质
US9619886B2 (en) Image processing apparatus, imaging apparatus, image processing method and program
WO2015108996A1 (en) Object tracking using occluding contours
US11380063B2 (en) Three-dimensional distortion display method, terminal device, and storage medium
WO2018001252A1 (zh) 一种投射单元及包括该单元的拍摄装置、处理器、成像设备
US20160274691A1 (en) Input apparatus and fingertip position detection method
JP2017123087A (ja) 連続的な撮影画像に映り込む平面物体の法線ベクトルを算出するプログラム、装置及び方法
TW202113551A (zh) 虛實疊合方法與系統
US9807340B2 (en) Method and apparatus for providing eye-contact function to multiple points of attendance using stereo image in video conference system
KR20220122645A (ko) 3차원 좌표를 2차원 피처 포인트와 연관
CN103500471A (zh) 实现高分辨率增强现实***的方法
CN109785225B (zh) 一种用于图像矫正的方法和装置
KR20180000696A (ko) 적어도 하나의 라이트필드 카메라를 사용하여 입체 이미지 쌍을 생성하는 방법 및 장치
JP7489253B2 (ja) デプスマップ生成装置及びそのプログラム、並びに、デプスマップ生成システム
US10281265B2 (en) Method and system for scene scanning
KR20200033601A (ko) 영상 처리 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant