KR102619003B1 - 회절 격자 기반의 3차원 이미징 시스템 및 그 동작 방법 - Google Patents

회절 격자 기반의 3차원 이미징 시스템 및 그 동작 방법 Download PDF

Info

Publication number
KR102619003B1
KR102619003B1 KR1020220157239A KR20220157239A KR102619003B1 KR 102619003 B1 KR102619003 B1 KR 102619003B1 KR 1020220157239 A KR1020220157239 A KR 1020220157239A KR 20220157239 A KR20220157239 A KR 20220157239A KR 102619003 B1 KR102619003 B1 KR 102619003B1
Authority
KR
South Korea
Prior art keywords
image
diffraction grating
color
color image
parallax
Prior art date
Application number
KR1020220157239A
Other languages
English (en)
Inventor
유훈
조현지
이은수
Original Assignee
상명대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 상명대학교산학협력단 filed Critical 상명대학교산학협력단
Priority to KR1020220157239A priority Critical patent/KR102619003B1/ko
Application granted granted Critical
Publication of KR102619003B1 publication Critical patent/KR102619003B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/225—Image signal generators using stereoscopic image cameras using a single 2D image sensor using parallax barriers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

3차원 이미징 시스템이 개시된다. 이 시스템은 단파장 레이저와 개구부를 갖는 회절 격자를 이용하여 시차 영상 배열과 컬러 영상을 획득하고, 이들을 통합(정합)하는 방식으로 시차 영상 배열을 3차원 컬러 영상으로 재구성(복원)한다.

Description

회절 격자 기반의 3차원 이미징 시스템 및 그 동작 방법{3D IMAGING SYSTEM BASED ON DIFFRACTION GRATING AND OPERATION METHOD THEREOF}
본 발명은 집적 영상(Integral imaging) 기술에 관한 것으로, 보다 상세하게는, 회절 격자 기반의 3차원 이미징 기술에 관한 것이다.
다양한 시차 정보(parallax information)를 갖고 있는 시차 영상 배열(parallax image array)은 3차원 이미징 분야에서 중요하게 다루는 정보들 중에 하나이다. 이러한 시차 영상 배열을 획득하기 위해, 카메라 배열(camera　array) 방식, 카메라 이동(camera　shift) 방식 및 렌즈 배열 방식이 널리 사용되고 있다.
최근에는 회절 격자(diffraction grating)를 이용하여 시차 영상 배열(parallax image array)을 획득할 수 있는 3차원 이미징 기법이 제안된 바 있다. 이러한 3차원 이미지 기법에서는, 시차 영상 배열을 획득하기 위한 픽업 장치가 투명한 회절 격자와 회절 격자에 의해 생성되는 시차 영상 배열(parallax image array)을 캡쳐하는 카메라로 구성되며, 이는 집적 영상 시스템에서 렌즈 배열(Lens array) 방식과 유사하다. 렌즈 배열 방식의 픽업 장치의 광학 구조는 카메라 배열(Camera array) 방식과 카메라 이동(Camera shift) 방식보다 저렴하고 단순하다. 따라서, 회절 격자를 이용하는 픽업 장치의 광학 구조도 카메라 배열(Camera array) 방식과 카메라 이동(Camera shift) 방식보다 저렴하고 단순하다.
또한 회절 격자를 이용하는 픽업 장치에서는 렌즈 배열을 이용하는 픽업 장치에서 물리적 특성에 따라 발생하는 광학 수차(aberration)가 발생하지 않기 때문에, 상대적으로 고해상도의 시차 영상 배열 획득이 가능하다. 따라서 회절 격자 이미징 시스템은 3차원 이미징 분야에서 유망한 기술이 될 수 있다.
하지만 회절 격자 방식에서는 단파장의 레이저를 사용하기 때문에 3차원 물체의 컬러 정보가 손실되고, 이로 인해, 시차 영상 배열을 3차원 컬러 영상으로 재구성하는 데 문제가 있다. 따라서 회절 격자 방식을 이용하여 획득한 시차 영상 배열을 3차원 컬러 영상으로 복원하기 위한 연구가 필요하다.
상술한 문제점을 해결하기 위한 본 발명은, 회절 격자 방식을 이용하여 획득한 시차 영상 배열을 3차원 컬러 영상으로 복원하기 위한 회절 격자 기반의 3차원 이미징 시스템 및 그 방법을 제공하는데 그 목적이 있다.
상술한 목적을 달성하기 위한 본 발명의 일면에 따른 3차원 이미징 시스템의 동작 방법은, 3차원 물체에 반사된 레이저광이, 중심 부분에 개구부가 각각 형성된 컬러 필터와 회절 격자에 순차적으로 입사되는 단계, 미지 센서가, 상기 회절 격자의 개구부에 의해 회절되지 않은 레이저광과 상기 중심 부분의 주변에 패터닝된 상기 회절 격자의 격자 패턴에 의해 회절된 레이저광을 이용하여 상기 3차원 물체에 대한 시차 영상 배열을 픽업하는 단계; 상기 3차원 물체에 반사된 조명광이 상기 컬러 필터와 상기 회절 격자에 순차적으로 입사되는 단계; 상기 이미지 센서가 상기 개구부에 의해 회절되지 않은 조명광과 상기 격자 패턴에 의해 회절된 조명광을 이용하여 상기 3차원 물체에 대한 컬러 영상을 픽업하는 단계; 및 재구성 장치가 상기 시차 영상 배열에 포함된 주변 시차 영상들과 상기 컬러 영상에 포함된 중심 컬러 영상을 정합하여 3차원 컬러 영상을 재구성하는 단계를 포함한다.
본 발명의 다른 일면에 따른 3차원 이미징 시스템은, 3차원 물체에 레이저광을 조사하는 레이저 발생기, 상기 3차원 물체에 조명광을 조사하는 조명 장치, 중심부분에 형성된 제1 개구부를 가지며, 상기 3차원 물체에 반사된 레이저광과 조명광을 순차적으로 필터링하는 컬러 필터, 상기 제1 개구부와 연통하는 제2 개구부를 가지며, 상기 컬러 필터에 의해 필터링된 레이저광과 상기 컬러 필터에 의해 필터링된 조명광을 순차적으로 회절시키는 회절 격자, 상기 회절 격자에 의해 회절된 레이저광과 상기 제1 및 제2 개구부에 의해 회절되지 않은 레이저광을 이용하여 상기 3차원 물체에 대한 시차 영상 배열을 픽업하고, 상기 회절 격자에 의해 회절된 조명광과 상기 제1 및 제2 개구부에 의해 회절되지 않은 조명광을 이용하여 상기 3차원 물체에 대한 컬러 영상을 순차적으로 픽업하는 이미지 센서 및 상기 시차 영상 배열에 포함된 주변 시차 영상들과 상기 컬러 영상에 포함된 중심 컬러 영상을 정합하여 3차원 컬러 영상을 재구성하는 재구성 장치를 포함한다.
실시 예에서, 상기 이미지 센서는, 레이저 발생기가 오프된 상태에서 상기 회절 격자에 의해 회절된 조명광과 상기 제1 및 제2 개구부에 의해 회절되지 않은 조명광을 이용하여 상기 3차원 물체에 대한 컬러 영상을 픽업할 수 있다.
실시 예에서, 상기 제1 및 제2 개구부에 의해 회절되지 않은 조명광은, 상기 컬러 필터의 상기 제1 개구부에 의해 필터링되지 않은 조명광일 수 있다.
실시 예에서, 상기 재구성 장치는, 상기 시차 영상 배열에서 상기 개구부에 대응하는 중심 시차 영상을 제거하여, 상기 중심 시차 영상을 둘러싸는 상기 주변 시차 영상들로 구성된 시차 영상 배열을 생성하는 이미지 스플리터; 상기 주변 시차 영상들을 구분하기 위해, 상기 주변 시차 영상들을 가상 이미지 평면에 재배치하는 분할기; 상기 가상 이미지 평면에 재배치된 주변 시차 영상들로부터 깊이 정보를 추출하고, 상기 추출된 깊이 정보를 기반으로 상기 3차원 물체에 대한 깊이 맵을 생성하는 깊이 맵 생성기; 및 상기 깊이 맵과 상기 중심 컬러 영상에 포함된 컬러 정보를 정합하여 상기 3차원 컬러 영상을 재구성하는 이미지 정합부를 포함한다.
실시 예에서, 상기 깊이 맵 생성기는, 전산 집적 영상 재구성(Computational Integral Imaging Reconstruction: CIIR) 기법을 이용하여 상기 주변 시차 영상들로부터 깊이 맵을 생성할 수 있다.
실시 예에서, 상기 재구성 장치는, 상기 컬러 영상에 상기 개구부에 대응하는 중심 컬러 영상을 둘러싸는 주변 컬러 영상들을 제거하여, 상기 중심 컬러 영상만을 포함하는 컬러 영상을 생성하는 이미지 스플리터, 상기 컬러 영상에서 상기 중심 컬러 영상을 추출하는 추출기; 및 상기 주변 시차 영상들에 기반한 깊이 맵과 상기 중심 컬러 영상을 정합하여 상기 3차원 컬러 영상을 재구성하는 이미지 정합부를 포함한다.
본 발명의 또 다른 일면에 따른 픽업 장치는, 3차원 물체에 레이저광을 조사하는 레이저 발생기; 상기 3차원 물체에 조명광을 조사하는 조명 장치; 중심 부분에 형성된 제1 개구부를 가지며, 상기 3차원 물체에 반사된 레이저광과 조명광을 순차적으로 필터링하는 컬러 필터; 상기 제1 개구부와 연통하는 제2 개구부를 가지며, 상기 컬러 필터에 의해 필터링된 레이저광과 상기 컬러 필터에 의해 필터링된 조명광을 순차적으로 회절시키는 회절 격자; 및 상기 회절 격자에 의해 회절된 레이저광과 상기 제1 및 제2 개구부에 의해 회절되지 않은 레이저광을 이용하여 상기 3차원 물체에 대한 시차 영상 배열을 픽업하고, 상기 회절 격자에 의해 회절된 조명광과 상기 제1 및 제2 개구부에 의해 회절되지 않은 조명광을 이용하여 상기 3차원 물체에 대한 컬러 영상을 순차적으로 픽업하는 이미지 센서를 포함한다.
본 발명에 따르면, 단파장 레이저와 회절 격자를 이용하여 획득한 복수의 시차 영상(parallax images)(예를 들면, 8장의 시차 영상)과 한 장의 일반 컬러 영상을 통합(정합)함으로써, 기존의 회절 격자 이미징 시스템에서 단파장의 레이저를 사용하기 때문에 시차 영상 배열을 3차원 컬러 영상으로 복원하기 어려웠던 문제를 쉽게 해결할 수 있다.
도 1은 본 발명의 실시 예에 따른 회절 격자 기반의 3차원 이미징 시스템의 구성도이다.
도 2는 도 1에 도시된 픽업 장치의 구성도이다.
도 3은 도 2에 도시된 회절 격자 유닛의 측면도이다.
도 4는 도 1에 도시된 재구성 장치의 구성도이다.
도 5는 본 발명의 실시 예에 따른 회절 격자 기반의 3차원 이미징 시스템의 동작 방법을 설명하기 위한 흐름도이다.
이하, 첨부한 도면들을 참조하여, 본 발명의 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
본 발명에서는 회절 격자를 포함하는 3차원 이미징 시스템이 제공된다.
본 발명에 따른 3차원 이미징 시스템은 기존의 회절 격자를 포함하는 3차원 이미징 시스템에서 단파장 레이저를 사용하는 이유로 인해 시차 영상 배열을 3차원 컬러 영상으로 복원하기 어려웠던 문제를 해결한다.
이를 위해, 본 발명에 따른 3차원 이미징 시스템은 단파장 레이저와 본 발명에 따른 구조적 특징을 갖도록 설계된 회절 격자를 이용하여 시차 영상들과 한 장의 일반 컬러 영상을 회득하고, 이들을 통합(정합)하는 방식으로 시차 영상 배열을 3차원 컬러 영상으로 재구성(복원)한다. 본 발명에 따른 회절 격자의 중심 부분에는 회절 격자를 관통하는 개구부(Aperture)가 형성된다. 따라서, 회절 격자의 중심 부분에는 회절 격자 패턴이 존재하지 않는다. 본 발명에서는 개구부를 갖는 회절 격자와 단파장 레이저의 온/오프 제어를 이용하여 시차 영상들과 한 장의 일반 컬러 영상을 얻는다.
도 1은 본 발명의 실시 예에 따른 회절 격자 기반의 3차원 이미징 시스템의 구성도이다.
도 1을 참조하면, 본 발명의 실시 예에 따른 회절 격자 기반의 3차원 이미징 시스템(300)은 픽업 장치(pickup device)(100)와 재구성 장치(reconstruction device)(200)를 포함한다.
픽업 장치(100)는 시차 영상 배열과 일반 컬러 영상들을 획득하기 위한 픽업 프로세스(Pickup process)를 수행하고, 재구성 장치(200)는 시차 영상 배열(parallax image array)(32)과 일반 컬러 영상(34)을 통합(정합)하여 3차원 컬러 영상(38)을 재구성(복원)하는 재구성 프로세스(Reconstruction process)를 수행한다.
이러한 재구성 장치(200)는 컴퓨팅 장치로 구현될 수 있다. 컴퓨팅 장치는, 예를 들면, 프로세서, 메모리, 입/출력 인터페이스, 저장 매체, 통신 모듈, 모니터 등을 포함하는 장치일 수 있다. 여기서, 프로세서는, 3차원 컬러 영상(38)의 재구성(복원)과 관련된 프로세스를 수행하는 핵심적인 장치로서, 적어도 하나의 CPU, 적어도 하나의 GPU, 시스템 온 칩(SoC), FPGA칩, MCU(마이크로 컨트롤러 유닛) 및/또는 반도체 칩 등으로 구현될 수 있다.
도 2는 도 1에 도시된 픽업 장치의 구성도이고, 도 3은 도 2에 도시된 도 3은 도 2에 도시된 회절 격자 유닛을 상세하게 설명하기 위한 도면이다.
도 2 및 3을 참조하면, 픽업 장치(100)는 레이저 발생기(laser generator)(110), 회절 격자 유닛(120) 및 이미지 센서(130)를 포함한다. 여기서, 픽업 장치(100)는 도 2에서는 도시하지 않았으나, 상기 3차원 물체에 조명광을 조사하는 조명 장치를 더 포함할 수 있다.
레이저 발생기(110)는 단파장의 레이저광을 3차원 물체(10)에 조사한다.
회절 격자 유닛(120)은 3차원 물체(10)와 이미지 센서(130) 사이에 배치되고, 3차원 물체(10)에 조사되어 반사된 레이저광을 회절시킨다.
회절 격자 유닛(120)은 컬러 필터(122), 회절 격자(124) 및 상기 컬러 필터(122)와 상기 회절 격자(124)를 고정하는 지지부(126)를 포함한다.
컬러 필터(122)는 3차원 물체(10)와 회절 격자(124) 사이에 배치되며, 사각판 형상으로 이루어진다.
회절 격자(124)는 컬러 필터(122)와 이미지 센서(130) 사이에 배치되는 사각판 형상으로 이루어질 수 있다. 회절 격자(124)의 한면에는 회절 격자 패턴이 패터닝된다. 회절 격자 패턴이 패터닝된 면은 컬러 필터(122)와 마주하는 면이다. 지지부(126) 역시 투명한 재질로 이루어진다.
회절 격자(124)의 중심 부분에는 회절 격자를 관통하는 개구부(Aperture)(20)가 형성된다. 따라서, 3차원 물체(10)에 반사된 레이저 광은 상기 개구부(20)를 통과할 때 회절되지 않는다. 상기 개구부(20)는 예를 들면, 사각 형상으로 이루어질 수 있다.
상기 컬러 필터(122)에도 상기 회절 격자(124)의 개구부(20)에 대응하는 위치에 개구부가 형성된다. 상기 컬러 필터(122)의 개구부도 사각 형상으로 이루어질 수 있다. 이하, 개구부를 지시하는 참조 번호 20은 회절 격자(124)의 개구부와 상기 컬러 필터(122)의 개구부를 공통으로 지시하는 것으로 가정한다.
이처럼 컬러 필터(122)와 회절 격자(124)의 중심 부분에 개구부를 형성함으로써, 상기 개구부(20)를 통과한 광에 의해 획득된 영상은 후술하는 이미지 센서(130)가 3차원 물체를 정면에서 촬영하여 획득한 영상이므로, 후술하는 깊이 맵(도 4의 32_4)과 컬러 영상(도 4의 34_2) 간의 정합을 쉽게 수행할 수 있다.
이미지 센서(130)는, 예를 들면, 카메라일 수 있다.
이미지 센서(130)는 레이저 발생기(110)의 온(ON) 상태에서 회절 격자(124)에 의해 회절된 레이저광(3차원 물체(10)에 반사된 광)과 회절 격자(124)의 개구부(20)에 의해 회절되지 않은 레이저광(3차원 물체(10)에 반사된 광)을 이용하여 픽업 평면(Pickup plane) 상에 픽업된 시차 영상 배열(32)을 획득한다.
또한 이미지 센서(130)는 레이저 발생기(110)의 오프(OFF) 상태에서 상기 개구부(20)에 의해 회절되지 않은 조명광(3차원 물체(10)에 반사된 조명광)을 이용하여 픽업 평면(Pickup plane) 상에 픽업된 컬러 영상(34)을 획득한다.
레이저 발생기(110)의 온(ON) 상태에서 컬러 영상(34)을 촬영하면, 3차원 물체(10)에 반사된 레이저 광에 의해 3차원 물체(10)의 실제 컬러 정보가 왜곡된다. 따라서, 이미지 센서(130)는 레이저 발생기(110)를 끈 상태에서 컬러 영상(34)을 촬영한다.
또한 레이저 발생기(110)의 온 상태에서 3차원 물체(10)를 촬영하는 작업은 주로 일반 조명광(자연광) 아래에서 수행되기 때문에, 컬러 필터(122)가 필요하다. 즉, 컬러 필터(122)는 3차원 물체(10)에 반사된 불필요한 조명광 성분을 제거하는 역할을 한다. 이렇게 함으로써, 컬러 필터(122)를 통해 회절 격자(124)에 의해 회절된 레이저광 중에서 레이저와 동일한 파장의 광만이 획득될 수 있다. 이러한 컬러 필터(122)는 3차원 물체(10)에 반사된 조명광 성분을 제거하는 역할을 하지만 동시에 3차원 물체의 컬러 정보를 왜곡시키는 역할을 한다.
이처럼 3차원 물체의 컬러 정보의 왜곡은 단파장의 레이저, 컬러 필터(122) 및 회절 격자(124)에 의해 발생한다. 이러한 왜곡은 레이저 발생기(110)의 오프 상태에서 중심부분에 개구부(20)가 형성된 컬러 필터(122)와 회절 격자(124)를 이용함으로써, 제거될 수 있다.
즉, 레이저 발생기(110)의 오프 상태에서 개구부(20)를 통과하는 조명광은 회절되지 않기 때문에, 3차원 물체의 실제 컬러 정보가 왜곡되지 않는다. 또한 컬러 필터(122)의 중심 부분에도 개구부(20)가 형성되어 있기 때문에, 컬러 필터(122)의 개구부(20)를 통과하는 조명광에 포함된 컬러 성분은 컬러 필터(122)에 의해 왜곡되지 않는다.
따라서, 본 발명에 따른 픽업 장치(100)는 레이저 발생기(110)의 오프 상태에서 중심 부분에 개구부(20)가 공통으로 형성된 컬러 필터(122)와 회절 격자(124)를 이용하기 때문에, 3차원 물체에 대한 컬러 정보의 손실 없이 컬러 영상을 픽업할 수 있다.
이와 같이, 본 발명에 따른 픽업 장치(100)에 의해 획득된 영상들(32 및 34)은 기존의 회절 격자방식에서 획득한 영상들과 다르기 때문에, 새로운 방식의 재구성 프로세스가 필요하다. 이하, 도 4를 참조하여 본 발명의 실시 예에 따른 새로운 재구성 프로세스에 대해 상세히 설명하기로 한다.
도 4는 도 1에 도시된 재구성 장치의 구성도이다.
도 4를 참조하면, 재구성 장치(200)는 새로운 재구성 프로세스를 수행한다.
이를 위해, 재구성 장치(200)는 이미지 스플리터(Image splitter)(210), 분할기(segmentation unit)(220), 추출기(230), 깊이 맵 생성기(240) 및 이미지 정합부(image matching unit)(250)을 포함한다.
이미지 스플리터(210)는 이미지 센서(130)에 의해 픽업 평면 상에 픽업된 시차 영상 배열(32)에서 중심 부분에 위치하는(개구부(20)에 대응하는) 시차 영상(32A)(이하, '중심 시차 영상(central parallax image)'이라 함)를 제거하여, 상기 시차 영상 배열(32)을 상기 중심 시차 영상(32A)을 둘러싸는 시차 영상(32B)들만으로 구성된 시차 영상 배열(32_1)을 생성한다. 이하, 상기 중심 시차 영상(32A)을 둘러싸는 시차 영상(32B)들을 '주변 시차 영상들'이라 지칭한다.
또한 이미지 스플리터(210)는 이미지 센서(130)에 의해 픽업 평면 상에 픽업된 컬러 영상(34)에서 중심에 위치한(개구부(20)에 대응하는) 컬러 영상(34_2)(이하, '중심 컬러 영상'이라 함)을 둘러싸는 컬러 영상(34A)들(이하, 주변 컬러 영상들이라 함)을 제거하여, 중심 컬러 영상(34_2)만을 포함하는 컬러 영상(34_1)을 생성한다.
분할기(220)는 상기 주변 시차 영상(32B)들을 구분하기 위해, 시차 영상 배열(32_1)에 포함된 주변 시차 영상(32B)들을 가상 이미지 평면(virtual image plane) 상에 재배치한다. 회절 격자의 투명한 특성으로 인해, 주변 시차 영상(32B)들 사이에 경계선이 존재하지 않기 때문에, 주변 시차 영상(32B)들을 구별하기 어렵다. 이에, 본 발명에서는 가상 이미지 평면에 주변 시차 영상(32B)들을 재배치하는 방법으로 주변 시차 영상(32B)들이 용이하게 구별될 수 있다.
추출기(230)는 상기 픽업 평면(pickup plane) 상에 픽업된 상기 컬러 영상(34_1)에서 중심 컬러 영상(34_2)을 추출한다.
깊이 맵 생성기(240)는 상기 분할기(220)에 의해 상기 가상 이미지 평면에 재배치된 주변 시차 영상(32B)들로부터 깊이 정보(depth information)(32_3)를 추출하여 3차원 물체(10)에 대한 깊이 맵(depth map)(32_4)을 생성한다.
깊이 맵을 생성하기 위해, 전산 집적 영상 재구성(Computational Integral Imaging Reconstruction: CIIR) 기법이 이용될 수 있다. CIIR은 상기 가상 이미지 평면에 재배치한 주변 시차 이미지들(32_2)을 재구성 평면(Reconstruction plane)에 역-투영(back-projection)하여, 상기 3차원 객체에 대한 3차원 볼륨을 생성한다. 깊이 정보(32_3)가 3차원 볼륨을 기반으로 추출될 수 있고, 추출된 깊이 정보(32_3)를 기반으로 3차원 물체(10)에 대한 깊이 맵(32_4)이 생성될 수 있다.
이러한 CIIR에 대한 설명은 2021.09.27자를 출원일로 하고, 10-2021-0127399을 출원번호로 하는 한국 특허 문헌에서 소개하고 있으므로, 이에 대한 상세한 설명은 생략하기로 한다.
이미지 정합부(250)는 깊이 맵 생성기(240)로부터 입력되는 깊이 맵(32_4)과 추출기(230)로부터 입력되는 중심 컬러 영상(34_2)에 포함된 컬러 정보를 정합하여 3차원 컬러 영상(36)을 재구성한다. 깊이 맵(32_4)과 상기 컬러 정보를 정합하기 위해, 다양한 이미지 정합(image registration) 알고리즘이 사용될 수 있다. 본 발명은 이미지 정합 알고리즘의 변형에 특징이 있는 것이 아니므로, 이에 대한 설명은 공지 기술로 대신한다.
이상 설명한 바와 같이, 본 명세서에서는 기존의 회절격자 이미징 시스템의 컬러 구현 문제를 해결하기 위해서 단 파장 레이저와 회절격자를 통해 취득한 여덟 장의 시차 영상(32B)들과 한 장의 일반 컬러 영상(34_2)을 통합(정합)하는 3차원 이미징 시스템이 제공된다.
본 발명에 따른 3차원 이미징 시스템의 픽업 장치는 회절 격자와 컬러 필터의 중심 부분을 제거하여 회절 격자와 레이저를 통해 여덟 장의 시차 영상들과 한 장의 일반 컬러 영상을 얻을 수 있다. 여기서, 일반 컬러 영상은 레이저를 끈 상태에서 회절 격자의 중심 부분을 통과한 조명광에 의해 획득된 영상을 의미한다.
도 4에 설명한 바와 같이, 본 발명의 재구성 장치(200)는 여덟 장의 시차 영상들을 CIIR을 통해 깊이 정보(32_3)를 획득하여 3차원 물체(10)를 깊이 맵(32_4)으로 표현 가능한 3차원 영상(32_4)을 재구성하고, 재구성된 3차원 영상 영상에 일반 컬러 영상(34_2)을 매칭하여 3차원 컬러 영상(36)을 재구성할 수 있다.
도 5는 본 발명의 실시 예에 따른 회절 격자 기반의 3차원 이미징 시스템의 동작 방법을 설명하기 위한 흐름도이다.
도 5를 참조하면, 먼저, S110에서, 3차원 물체(10)에 반사된 레이저광이, 중심 부분에 개구부(20)가 각각 형성된 컬러 필터(122)와 회절 격자(124)에 순차적으로 입사되는 과정이 수행된다.
이어, S120에서, 이미지 센서(130)가, 상기 회절 격자(124)의 개구부(20)에 의해 회절되지 않은 레이저광과 상기 중심 부분의 주변에 패터닝된 상기 회절 격자의 격자 패턴에 의해 회절된 레이저광을 이용하여 상기 3차원 물체에 대한 시차 영상 배열(32)을 픽업하는 과정이 수행된다.
이어, S130에서, 상기 3차원 물체(10)에 반사된 조명광(또는 자연광)이 상기 컬러 필터(122)와 상기 회절 격자(124)에 순차적으로 입사되는 과정이 수행된다.
이어, S140에서, 상기 이미지 센서(130)가 상기 개구부에 의해 회절되지 않은 조명광과 상기 격자 패턴에 의해 회절된 조명광을 이용하여 상기 3차원 물체에 대한 컬러 영상을 픽업하는 과정이 수행된다.
이어, S150에서, 재구성 장치(200)가 상기 시차 영상 배열(32)에 포함된 주변 시차 영상(32B)들과 상기 컬러 영상(34)에 포함된 중심 컬러 영상(34_2)을 정합하여 3차원 컬러 영상을 재구성하는 과정이 수행된다.
실시 예에서, 상기 S120에서 상기 회절된 레이저광은, 상기 컬러 필터에 의해 필터링된 레이저광일 수 있다.
실시 예에서, 상기 S140에서 상기 회절되지 않은 조명광은, 상기 컬러 필터(122)의 개구부(20)에 의해 필터링되지 않은 조명광일 수 있다.
실시 예에서, 상기 S130는, 상기 레이저광을 발생시키는 레이저 발생기가 오프(OFF)된 상태에서 수행된다.
실시 예에서, 상기 S150은, 이미지 스플리터가, 상기 시차 영상 배열에서 상기 개구부에 대응하는 중심 시차 영상을 제거하여, 상기 중심 시차 영상을 둘러싸는 상기 주변 시차 영상들로 구성된 시차 영상 배열을 생성하는 과정, 분할기가, 상기 주변 시차 영상들을 구분하기 위해, 상기 주변 시차 영상들을 가상 이미지 평면에 재배치하는 과정, 깊이 맵 생성기가, 상기 가상 이미지 평면에 재배치된 주변 시차 영상들로부터 깊이 정보를 추출하고, 상기 추출된 깊이 정보를 기반으로 상기 3차원 물체에 대한 깊이 맵을 생성하는 과정, 이미지 정합부가가, 상기 깊이 맵과 상기 중심 컬러 영상에 포함된 컬러 정보를 정합하여 상기 3차원 컬러 영상을 재구성하는 단계를 포함한다.
실시 예에서, 상기 S150은 이미지 스플리터가, 상기 컬러 영상에 상기 개구부에 대응하는 중심 컬러 영상을 둘러싸는 주변 컬러 영상들을 제거하여, 상기 중심 컬러 영상만을 포함하는 컬러 영상을 생성하는 과정, 추출기가, 상기 컬러 영상에서 상기 중심 컬러 영상을 추출하는 과정, 이미지 정합부가 상기 주변 시차 영상들에 기반한 깊이 맵과 상기 중심 컬러 영상을 정합하여 상기 3차원 컬러 영상을 재구성하는 과정을 포함할 수 있다.
이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리 범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리 범위에 속하는 것이다.

Claims (13)

  1. 3차원 물체에 반사된 레이저광이, 중심 부분에 개구부가 각각 형성된 컬러 필터와 회절 격자에 순차적으로 입사되는 단계;
    이미지 센서가, 상기 회절 격자의 개구부에 의해 회절되지 않은 레이저광과 상기 중심 부분의 주변에 패터닝된 상기 회절 격자의 격자 패턴에 의해 회절된 레이저광을 이용하여 상기 3차원 물체에 대한 시차 영상 배열을 픽업하는 단계;
    상기 3차원 물체에 반사된 조명광이 상기 컬러 필터와 상기 회절 격자에 순차적으로 입사되는 단계;
    상기 이미지 센서가 상기 개구부에 의해 회절되지 않은 조명광과 상기 격자 패턴에 의해 회절된 조명광을 이용하여 상기 3차원 물체에 대한 컬러 영상을 픽업하는 단계; 및
    재구성 장치가 상기 시차 영상 배열에 포함된 주변 시차 영상들과 상기 컬러 영상에 포함된 중심 컬러 영상을 정합하여 3차원 컬러 영상을 재구성하는 단계
    를 포함하는 회절 격자 기반의 3차원 이미징 시스템의 동작 방법.
  2. 제1항에서,
    상기 시차 영상 배열을 픽업하는 단계에서 상기 회절된 레이저광은,
    상기 컬러 필터에 의해 필터링된 레이저광인 것인 회절 격자 기반의 3차원 이미징 시스템의 동작 방법.
  3. 제1항에서,
    상기 3차원 물체에 대한 컬러 영상을 픽업하는 단계에서 상기 회절되지 않은 조명광은,
    상기 컬러 필터의 개구부에 의해 필터링되지 않은 조명광인 것인 회절 격자 기반의 3차원 이미징 시스템의 동작 방법.
  4. 제1항에서,
    상기 3차원 물체에 반사된 조명광이 상기 컬러 필터와 상기 회절 격자에 순차적으로 입사되는 단계는,
    상기 레이저광을 발생시키는 레이저 발생기가 오프(OFF)된 상태에서 상기 3차원 물체에 반사된 조명광이 회절 격자에 입사되는 단계인 것인 회절 격자 기반의 3차원 이미징 시스템의 동작 방법.
  5. 제1항에서,
    상기 3차원 컬러 영상을 재구성하는 단계는,
    이미지 스플리터가, 상기 시차 영상 배열에서 상기 개구부에 대응하는 중심 시차 영상을 제거하여, 상기 중심 시차 영상을 둘러싸는 상기 주변 시차 영상들로 구성된 시차 영상 배열을 생성하는 단계; 및
    분할기가, 상기 주변 시차 영상들을 구분하기 위해, 상기 주변 시차 영상들을 가상 이미지 평면에 재배치하는 단계;
    깊이 맵 생성기가, 상기 가상 이미지 평면에 재배치된 주변 시차 영상들로부터 깊이 정보를 추출하고, 상기 추출된 깊이 정보를 기반으로 상기 3차원 물체에 대한 깊이 맵을 생성하는 단계;
    이미지 정합부가가, 상기 깊이 맵과 상기 중심 컬러 영상에 포함된 컬러 정보를 정합하여 상기 3차원 컬러 영상을 재구성하는 단계;
    를 포함하는 회절 격자 기반의 3차원 이미징 시스템의 동작 방법.
  6. 제1항에서,
    상기 3차원 컬러 영상을 재구성하는 단계는,
    이미지 스플리터가, 상기 컬러 영상에 상기 개구부에 대응하는 중심 컬러 영상을 둘러싸는 주변 컬러 영상들을 제거하여, 상기 중심 컬러 영상만을 포함하는 컬러 영상을 생성하는 단계;
    추출기가, 상기 컬러 영상에서 상기 중심 컬러 영상을 추출하는 단계; 및
    이미지 정합부가 상기 주변 시차 영상들에 기반한 깊이 맵과 상기 중심 컬러 영상을 정합하여 상기 3차원 컬러 영상을 재구성하는 단계
    를 포함하는 회절 격자 기반의 3차원 이미징 시스템의 동작 방법.
  7. 3차원 물체에 레이저광을 조사하는 레이저 발생기와 상기 3차원 물체에 조명광을 조사하는 조명 장치;
    중심부분에 형성된 제1 개구부를 가지며, 상기 3차원 물체에 반사된 레이저광과 조명광을 순차적으로 필터링하는 컬러 필터;
    상기 제1 개구부와 연통하는 제2 개구부를 가지며, 상기 컬러 필터에 의해 필터링된 레이저광과 상기 컬러 필터에 의해 필터링된 조명광을 순차적으로 회절시키는 회절 격자;
    상기 회절 격자에 의해 회절된 레이저광과 상기 제1 및 제2 개구부에 의해 회절되지 않은 레이저광을 이용하여 상기 3차원 물체에 대한 시차 영상 배열을 픽업하고, 상기 회절 격자에 의해 회절된 조명광과 상기 제1 및 제2 개구부에 의해 회절되지 않은 조명광을 이용하여 상기 3차원 물체에 대한 컬러 영상을 순차적으로 픽업하는 이미지 센서; 및
    상기 시차 영상 배열에 포함된 주변 시차 영상들과 상기 컬러 영상에 포함된 중심 컬러 영상을 정합하여 3차원 컬러 영상을 재구성하는 재구성 장치
    를 포함하는 회절 격자 기반의 3차원 이미징 시스템.
  8. 제7항에서,
    상기 이미지 센서는,
    레이저 발생기가 오프된 상태에서 상기 회절 격자에 의해 회절된 조명광과 상기 제1 및 제2 개구부에 의해 회절되지 않은 조명광을 이용하여 상기 3차원 물체에 대한 컬러 영상을 픽업하는 것인 회절 격자 기반의 3차원 이미징 시스템.
  9. 제7항에서,
    상기 제1 및 제2 개구부에 의해 회절되지 않은 조명광은,
    상기 컬러 필터의 상기 제1 개구부에 의해 필터링되지 않은 조명광인 것인 회절 격자 기반의 3차원 이미징 시스템.
  10. 제7항에서,
    상기 재구성 장치는,
    상기 시차 영상 배열에서 상기 개구부에 대응하는 중심 시차 영상을 제거하여, 상기 중심 시차 영상을 둘러싸는 상기 주변 시차 영상들로 구성된 시차 영상 배열을 생성하는 이미지 스플리터;
    상기 주변 시차 영상들을 구분하기 위해, 상기 주변 시차 영상들을 가상 이미지 평면에 재배치하는 분할기;
    상기 가상 이미지 평면에 재배치된 주변 시차 영상들로부터 깊이 정보를 추출하고, 상기 추출된 깊이 정보를 기반으로 상기 3차원 물체에 대한 깊이 맵을 생성하는 깊이 맵 생성기; 및
    상기 깊이 맵과 상기 중심 컬러 영상에 포함된 컬러 정보를 정합하여 상기 3차원 컬러 영상을 재구성하는 이미지 정합부
    를 포함하는 회절 격자 기반의 3차원 이미징 시스템.
  11. 제10항에서,
    상기 깊이 맵 생성기는,
    전산 집적 영상 재구성(Computational Integral Imaging Reconstruction: CIIR) 기법을 이용하여 상기 주변 시차 영상들로부터 깊이 맵을 생성하는 것인 회절 격자 기반의 3차원 이미징 시스템.
  12. 제7항에서,
    상기 재구성 장치는,
    상기 컬러 영상에 상기 개구부에 대응하는 중심 컬러 영상을 둘러싸는 주변 컬러 영상들을 제거하여, 상기 중심 컬러 영상만을 포함하는 컬러 영상을 생성하는 이미지 스플리터;
    상기 컬러 영상에서 상기 중심 컬러 영상을 추출하는 추출기; 및
    상기 주변 시차 영상들에 기반한 깊이 맵과 상기 중심 컬러 영상을 정합하여 상기 3차원 컬러 영상을 재구성하는 이미지 정합부
    를 포함하는 회절 격자 기반의 3차원 이미징 시스템.
  13. 3차원 물체에 레이저광을 조사하는 레이저 발생기;
    상기 3차원 물체에 조명광을 조사하는 조명 장치;
    중심 부분에 형성된 제1 개구부를 가지며, 상기 3차원 물체에 반사된 레이저광과 조명광을 순차적으로 필터링하는 컬러 필터;
    상기 제1 개구부와 연통하는 제2 개구부를 가지며, 상기 컬러 필터에 의해 필터링된 레이저광과 상기 컬러 필터에 의해 필터링된 조명광을 순차적으로 회절시키는 회절 격자; 및
    상기 회절 격자에 의해 회절된 레이저광과 상기 제1 및 제2 개구부에 의해 회절되지 않은 레이저광을 이용하여 상기 3차원 물체에 대한 시차 영상 배열을 픽업하고, 상기 회절 격자에 의해 회절된 조명광과 상기 제1 및 제2 개구부에 의해 회절되지 않은 조명광을 이용하여 상기 3차원 물체에 대한 컬러 영상을 순차적으로 픽업하는 이미지 센서
    를 포함하는 픽업 장치.
KR1020220157239A 2022-11-22 2022-11-22 회절 격자 기반의 3차원 이미징 시스템 및 그 동작 방법 KR102619003B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220157239A KR102619003B1 (ko) 2022-11-22 2022-11-22 회절 격자 기반의 3차원 이미징 시스템 및 그 동작 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220157239A KR102619003B1 (ko) 2022-11-22 2022-11-22 회절 격자 기반의 3차원 이미징 시스템 및 그 동작 방법

Publications (1)

Publication Number Publication Date
KR102619003B1 true KR102619003B1 (ko) 2023-12-28

Family

ID=89384930

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220157239A KR102619003B1 (ko) 2022-11-22 2022-11-22 회절 격자 기반의 3차원 이미징 시스템 및 그 동작 방법

Country Status (1)

Country Link
KR (1) KR102619003B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090072907A (ko) * 2007-12-29 2009-07-02 강원대학교산학협력단 3차원 시차 영상 획득 시스템
KR20190020730A (ko) * 2016-06-07 2019-03-04 애어리3디 인크. 광 필드 이미징 장치 및 깊이 획득 및 3차원 이미징 방법
KR20210065030A (ko) * 2019-11-26 2021-06-03 상명대학교산학협력단 회절 격자를 이용한 3차원 이미지 재구성 방법 및 장치
WO2021259745A1 (en) * 2020-06-24 2021-12-30 Asml Netherlands B.V. Transmissive diffraction grating

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090072907A (ko) * 2007-12-29 2009-07-02 강원대학교산학협력단 3차원 시차 영상 획득 시스템
KR20190020730A (ko) * 2016-06-07 2019-03-04 애어리3디 인크. 광 필드 이미징 장치 및 깊이 획득 및 3차원 이미징 방법
KR20210065030A (ko) * 2019-11-26 2021-06-03 상명대학교산학협력단 회절 격자를 이용한 3차원 이미지 재구성 방법 및 장치
WO2021259745A1 (en) * 2020-06-24 2021-12-30 Asml Netherlands B.V. Transmissive diffraction grating

Similar Documents

Publication Publication Date Title
JP6290416B2 (ja) 物体のインラインレンズフリーデジタルホログラフィを実施するための装置および方法
JP2021527228A (ja) ハイブリッドスペクトルイメージャ
US20150116526A1 (en) Plenoptic Color Imaging System with Enhanced Resolution
EP2736403A1 (en) Apparatus and method for quantitative phase tomography through linear scanning with coherent and non-coherent detection
EP3756161B1 (en) Method and system for calibrating a plenoptic camera system
TW201910940A (zh) 結構光照明數位全像之方法與裝置
CN104159094A (zh) 一种改善光学扫描全息层析成像效果的方法
CN105974573A (zh) 一种基于微透镜阵列的光场光谱显微成像方法及***
KR20180080219A (ko) 홀로그램 광 필드 이미징 디바이스 및 그 이용 방법
CN105637415A (zh) 全息三维信息采集、还原装置及方法
CN105637428A (zh) 全息三维显示***和方法
CN112630987B (zh) 一种快速超分辨压缩数字全息显微成像***及方法
CN111052175A (zh) 用于成像的装置和方法
CN107885070B (zh) 一种基于slm的非相干数字全息单次曝光成像方法与***
FR2646251A1 (fr) Dispositif holographique perfectionne en lumiere incoherente
FR2997518A1 (fr) Systeme d'imagerie holographique auto-reference
JP2010218258A (ja) 生体認証装置
KR102619003B1 (ko) 회절 격자 기반의 3차원 이미징 시스템 및 그 동작 방법
KR102317836B1 (ko) 회절 격자를 이용한 3차원 이미지 재구성 방법 및 장치
Shroff et al. High resolution image reconstruction for plenoptic imaging systems using system response
CN205787334U (zh) 一种光场光谱显微成像装置
US9360605B2 (en) System and method for spatial and spectral imaging
KR101404183B1 (ko) 홀로그램 생성 장치 및 방법
WO2021003380A1 (en) Calibration-free phase shifting procedure for self-interference holography
Latorre-Carmona et al. Three-dimensional imaging with multiple degrees of freedom using data fusion

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant