KR101909528B1 - 구조광을 이용한 3차원 이미징 방법 및 시스템 - Google Patents

구조광을 이용한 3차원 이미징 방법 및 시스템 Download PDF

Info

Publication number
KR101909528B1
KR101909528B1 KR1020170063139A KR20170063139A KR101909528B1 KR 101909528 B1 KR101909528 B1 KR 101909528B1 KR 1020170063139 A KR1020170063139 A KR 1020170063139A KR 20170063139 A KR20170063139 A KR 20170063139A KR 101909528 B1 KR101909528 B1 KR 101909528B1
Authority
KR
South Korea
Prior art keywords
image
focus
color
light
structured light
Prior art date
Application number
KR1020170063139A
Other languages
English (en)
Inventor
박안진
엄주범
안재성
정홍열
Original Assignee
한국광기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국광기술원 filed Critical 한국광기술원
Priority to KR1020170063139A priority Critical patent/KR101909528B1/ko
Application granted granted Critical
Publication of KR101909528B1 publication Critical patent/KR101909528B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명은 구조광을 이용한 3차원 이미징 방법 및 시스템에 관한 것으로, 보다 구체적으로는 광원에서 발산된 빛을 격자무늬 패턴 필터를 이용하여 구조광으로 변화시킨다. 구조광을 가변 렌즈를 이용하여 대상물에 조사하고, 대상물에 입사한 구조광이 대상물에 의해 반사되어 생기는 반사광을 얻는다. 반사광에서 구조광을 분리하여, 반사광만 영상획득 장치로 보내고, 가변 렌즈를 조절하여 영상획득 장치에서 초점 가변 영상을 획득한다. 초점 가변 영상으로부터 대상물의 표면에 대한 깊이 영상을 생성하고, 깊이 영상을 포인트 클라우드(Point Cloud)로 변환하여 대상물에 대한 3차원 정보를 획득한다. 초점 가변 영상에 저역 통과 필터를 적용하여 패턴을 제거하고, 보정전 색상을 2차 다항식 보정을 이용하여 보정 색상을 얻는다. 이러한 패턴 제거 및 색상 보정 방법을 통해 대상물의 형상정보와 색상정보를 동시에 획득할 수 있다.

Description

구조광을 이용한 3차원 이미징 방법 및 시스템{SYSTEM AND METHOD FOR 3 DIMENSIONAL IMAGING USING STRUCTURED LIGHT}
본 발명은 구조광을 이용한 3차원 이미징 방법 및 시스템에 관한 것으로, 보다 구체적으로는 구조광이 투영된 대상물을 초점면을 변화시키며 순차적으로 이미지를 획득하고, 대상물의 형상정보와 색상정보를 재구성하는 3차원 이미지 시스템에 관한 것이다.
디지털 3D 기술은 빠른 발전을 보이고 있으며, 3D 방송, 콘텐츠, 모바일, 보안, 군사, 로봇 등 여러 분야로 확대 되고 있다. 그리고 정밀한 깊이 정보 획득기술은 3D콘텐츠, 홀로그래픽 디스플레이 등 차세대 3D 기술의 기반 기술로서의 수요가 증가하고 있다. 3D 스캐닝은 이미 잘 알려진 3D 프린팅과 같은 영역에서부터 비교적 덜 알려진 치과용 스캐닝 분야에 이르기까지 다양한 곳에 사용되고 있다.
최근 3차원 이미징을 위한 다양한 방법들이 연구/개발되고 있으며, 스테레오 비전(Stereo Vision) 기반 방법, 신호체공시간(Time of Flight; ToF) 기반 방법, 구조광(Structured Illumination) 기반 방법이 대표적이다.
스테레오 영상방식은 두 대의 카메라로 얻은 영상에서 동일 물체점(correspondence)을 찾고, 삼각법에 따라 거리를 계산하는 방식으로 사람 눈의 3차원 거리 인지 방식과 같으며 많은 정보량을 포함한다는 장점이 있다. 그러나 두 대의 카메라를 사용하므로 고비용이 소요되고, 동일 물체점을 찾는데 많은 계산량이 필요하므로 거리측정 주파수가 낮으며, 또한 주변 조명잡음에 매우 민감하다는 문제점이 있다.
신호의 체공시간을 측정함으로써 거리를 계산하는 체공시간 측정방식은 매개신호와 신호처리 전자회로에 따라 그 특성이 매우 달라진다. 처리회로가 간단하고 경제적이라는 장점이 있으나, 측정 정밀도가 낮고 측정 주파수도 매우 낮다는 문제점이 있다.
구조광을 이용한 방법은 다른 방법들과 비교하여 고해상도 분해능(Resolution)을 가진 3차원 이미징이 가능하므로, 최근 구강 스캐너, 현미경과 mm 이하의 작은 크기의 대상물에 대한 3차원 형상 획득(스캔)을 위해 많이 활용되고 있다.
미합중국 등록특허공보 제8,878,905호 (Focus Scanning Apparatus)에서는 공 초점 패턴 투영 기술을 사용하여 대상의 표면의 3D 기하학적 구조를 측정하기 위한 휴대용 스캐너가 개시된다. 특히, 인간의 귀 내부의 구강 내 주사에 대한 특정 실시 예가 제시된다.
대한민국 등록특허공보 제10-1541610호 (공간 필터 기반 구조 조명 현미경)에서는 전기적 신호를 이용하는 공간 필터를 통해 생성된 그리드 패턴을 변조시킬 수 있어 고해상도의 영상 정보를 획득할 수 있는 공간 필터 기반 구조 조명 현미경이 개시된다.
패턴이 투영된 영상으로부터 초점 정도를 계산하고 이를 기반으로 대상물의 3차원 형상정보를 획득하는 다양한 방법들이 연구/개발되고 있으나, 대상물의 색상정보를 획득하는 방법은 아직 초기 단계이다.
구조광 기반 3차원 이미징 시스템의 색상정보 획득에는 크게 2가지 문제점이 발생한다.
첫번째 문제점은 광원 앞에 패턴 필터가 위치하기 때문에 구조광이 투영된 대상물을 영상으로 획득하는 경우, 획득영상에 패턴정보가 포함되어 있기 때문에 색상정보가 손실된다.
도 1은 패턴 정보에 의해 색상정보가 손실되는 것을 나타낸다. 도 1(a)와 도 1(b)는 패턴 정보에 의해 색상정보가 손실되는 것을 보여준다. 도 1(c)는 색상 정보가 투영된 3차원 형상정보를 나타내는데, 색상정보가 손실된 것을 확인할 수 있다.
두번째 문제점은 구조광을 이용하는 경우 광원의 특성으로 인해 대상물의 색상이 왜곡되는 현상이 발생하는 것이다.
도 2는 광학계 특성으로 인해 카메라와 같은 영상획득 장치가 대상물의 색상을 제대로 표현하지 못하는 예를 나타낸다. (A) 내지 (D)는 표준색상판의 색상이고, (E) 내지 (H)는 영상획득 장치로 획득한 영상이다. 도 2를 참조하면, 구조광을 이용한 경우 색상정보가 왜곡된 것을 알 수 있다.
미합중국 등록특허공보 제8,878,905호 (Focus Scanning Apparatus) 대한민국 등록특허공보 제10-1541610호 (공간 필터 기반 구조 조명 현미경)
본 발명의 목적은 색상 정보의 손실을 최소화할 수 있는 구조광을 이용한 3차원 이미징 방법 및 시스템을 제공하는 것이다.
본 발명의 다른 목적은 형상정보와 색상정보를 동시에 획득할 수 있는 구조광을 이용한 3차원 이미징 방법 및 시스템을 제공하는 것이다.
본 발명의 또 다른 목적은 간이한 방법으로 패턴정보를 제거하고, 색상정보를 복원할 수 있는 구조광을 이용한 3차원 이미징 방법 및 시스템을 제공하는 것이다.
본 발명의 목적은 이상에서 언급된 목적으로 제한되지 않으며, 언급되지 않은 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 기술적 과제를 이루기 위한 본 발명의 일 양태에 따르면, 구조광을 이용한 3차원 이미징 시스템은 (a) 광원에서 발산된 빛을 격자무늬 패턴 필터를 이용하여 구조광으로 변화시키는 단계; (b) 상기 구조광을 가변 렌즈를 이용하여 대상물에 조사하는 단계; (c) 상기 대상물에 입사한 구조광이 상기 대상물에 의해 반사되어 생기는 반사광을 얻는 단계; (d) 상기 반사광에서 구조광을 분리하여, 반사광만 영상획득 장치로 보내는 단계; (e) 상기 가변 렌즈를 조절하며 (a) 내지 (d) 단계를 반복하여, 상기 영상획득 장치에서 초점 가변 영상을 획득하는 단계; (f) 상기 초점 가변 영상으로부터 대상물의 표면에 대한 깊이 영상을 생성하는 단계; (g) 상기 초점 가변 영상에 저역 통과 필터를 적용하여 패턴을 제거하여 보정전 색상을 얻는 단계; 및 (h) 상기 보정전 색상을 2차 다항식 보정을 이용하여 보정 색상을 얻는 단계;를 포함한다.
상기 기술적 과제를 이루기 위한 본 발명의 다른 양태에 따르면, 상기 저역 통과 필터는 평균값 필터(Mean Filter)일 수 있다.
상기 기술적 과제를 이루기 위한 본 발명의 또 다른 양태에 따르면, 상기 (h) 단계는, (h-1) R, G, B 3색에 대하여 표준색상판에 구조광을 조사하고, 반사광을 영상획득 장치로 입력받아 표준색상판의 보정전 색상을 획득하는 단계; (h-2) 표준색상판의 자체 색상과 표준색상판의 보정전 색상을 비교하여 최소제곱법을 적용한 2차 다항식을 구하는 단계; (h-3) 상기 보정전 색상에 상기 2차 다항식을 대입하여 보정 색상을 얻는 단계;를 포함할 수 있다.
상기 기술적 과제를 이루기 위한 본 발명의 또 다른 양태에 따르면, 상기 격자무늬 패턴은 론치 룰링(Ronchi Ruling)일 수 있다.
상기 기술적 과제를 이루기 위한 본 발명의 또 다른 양태에 따르면, 구조광을 이용한 3차원 이미징 시스템은, 광원에서 발산된 빛을 구조광으로 변화시키는 격자무늬 패턴 필터; 상기 격자무늬 패턴 필터를 통과한 구조광의 초점 구간을 제어하는 가변 렌즈; 상기 구조광은 반사시키고, 상기 구조광이 대상물에 의해 반사된 반사광은 투과시키는 빔 분할기(beam splitter); 상기 반사광을 받아들여 초점 가변 영상을 획득하는 영상획득 장치; 및 상기 초점 가변 영상으로부터 대상물의 표면에 대한 3차원 영상을 생성하는 영상 분석부;를 포함하며, 상기 영상 분석부는, 상기 초점 가변 영상으로부터 대상물의 표면에 대한 깊이 영상을 생성하는 3차원 정보 획득 모듈, 상기 초점 가변 영상에서 패턴을 제거하는 저역 통과 필터 모듈, 및 2차 다항식 보정으로 보정 색상을 얻는 색상 보정 모듈을 구비한다.
본 발명에 따른 구조광을 이용한 3차원 이미징 방법 및 시스템은 색상정보의 손실을 최소화할 수 있다.
또한, 본 발명에 따른 구조광을 이용한 3차원 이미징 방법 및 시스템은 형상정보와 색상정보를 동시에 얻을 수 있다.
또한, 본 발명에 따른 구조광을 이용한 3차원 이미징 방법 및 시스템은 간이한 방법으로 패턴정보를 제거하고, 색상정보를 복원할 수 있다.
도 1은 패턴 정보에 의해 색상정보가 손실되는 것을 나타내는 도면이다.
도 2는 광학계 특성으로 인해 영상획득 장치가 대상물의 색상을 제대로 표현하지 못하는 예를 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따른 구조광을 이용한 3차원 이미징 시스템의 구성도이다.
도 4는 본 발명의 일 실시예에 따른 격자무늬 패턴 필터가 투영된 초점 가변 영상을 나타내는 도면이다.
도 5는 본 발명의 일 실시예에 따른 구조광을 이용한 3차원 이미징의 흐름도를 나타내는 도면이다.
도 6은 본 발명의 일 실시예에 따른 패턴영상과 패턴과 수직을 이루는 선분상의 픽셀 변화를 나타낸 그래프이다.
도 7은 본 발명의 일 실시예에 따른 저역통과필터를 적용하기 전(A)과 후(B)의 픽셀변화 그래프이다.
도 8은 본 발명의 일 실시예에 따른 저역통과필터를 적용하기 전(A)과 후(B)의 영상 비교 도면이다.
도 9는 본 발명의 일 실시예에 따른 색상 보정 곡선을 나타낸 그래프이다.
도 10은 본 발명의 일 실시예에 따른 표준색상판의 색상 보정 결과를 나타내는 도면이다.
도 11은 본 발명의 일 실시예에 따른 실제 치아 모형의 색상 보정 결과의 색상 변화를 나타내는 도면이다.
이하, 첨부한 도면들 및 후술되어 있는 내용을 참조하여 본 발명의 바람직한 실시 예들을 상세히 설명한다. 그러나, 본 발명은 여기서 설명되어지는 실시 예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 오히려, 여기서 소개되는 실시예들은 개시된 내용이 철저하고 완전해질 수 있도록 그리고 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 제공되어지는 것이다. 명세서 전체에 걸쳐서 동일한 참조번호들은 동일한 구성요소들을 나타낸다. 한편, 본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급되지 않는 한 복수형도 포함된다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자가 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
이하, 도 1 내지 도 11을 참조하여, 본 발명의 각 실시예에 따른 구조광을 이용한 3차원 이미징 방법 및 시스템에 대하여 설명한다.
도 3은 본 발명의 일 실시예에 따른 구조광을 이용한 3차원 이미징 시스템의 구성도이다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 구조광을 이용한 3차원 이미징 시스템은, 구조광 형성을 위해서 광원(110), 광원의 빛을 평행광으로 변환하는 시준(collimating) 렌즈(120), 광원의 빛을 구조광으로 만드는 격자무늬 패턴 필터(130)를 포함한다.
격자무늬 패턴 필터(130)로는, 투명과 불투명이 같은 간격으로 반복되는 글래스(Glass)를 사용할 수 있다. 도 4(a)와 같이 가로 또는 세로 방향으로 일정한 간격의 줄무늬 격자를 가질 수 있다. 격자무늬 패턴의 일 실시예로 론치 룰링(Ronchi Ruling)이 사용될 수 있다.
그리고, 본 발명의 일 실시예에 따른 구조광을 이용한 3차원 이미징 시스템은, 구조광을 대상물(10)로 보내기 위해서, 구조광은 반사시키고 구조광이 대상물에 의해 반사된 반사광은 투과시키는 빔 분할기(beam splitter)(140), 구조광을 대상물에 전달하고 반사된 광을 영상획득 장치에 전달하는 이미징 렌즈(170), 구조광의 초점 구간을 제어하는 가변 렌즈(180), 구조광을 대상물에 결상하는 대물렌즈(190)를 포함한다.
또한, 본 발명의 일 실시예에 따른 구조광을 이용한 3차원 이미징 시스템은, 이미지 획득 및 처리를 위해서, 상기 반사광을 받아들여 초점 가변 영상을 획득하는 카메라와 같은 영상획득 장치(150) 및 초점 가변 영상으로부터 대상물의 표면에 대한 3차원 영상을 생성하는 영상 분석부(160)를 포함한다.
영상 분석부는, 도시되지 않았지만, 초점 가변 영상으로부터 대상물의 표면에 대한 깊이 영상을 생성하는 3차원 정보 획득 모듈, 초점 가변 영상에서 패턴을 제거하는 저역 통과 필터 모듈 및 2차 다항식 보정으로 보정 색상을 얻는 색상 보정 모듈을 구비한다.
도 3 내지 도 9를 참조하여, 본 발명의 일 실시예에 따른 구조광을 이용한 3차원 이미징 방법을 빛의 이동 순서에 맞추어 개시한다.
먼저, 광원(110)에서 발산된 빛을 시준(collimating) 렌즈(120)가 평행광으로 만들어 준다. 평행광은 격자무늬 패턴 필터(130)를 통과하여 구조광으로 변화한다. 구조광은 빔 분할기(beam splitter)(140)에 의해서 대상물(10)쪽으로 반사된다. 빔 분할기에서 반사된 구조광은 이미징 렌즈(170), 가변 렌즈(180), 대물렌즈(190)를 통과하여 대상물(10)에 도달한다.
가변 렌즈와 대물렌즈를 이용하여 대상물에 초점이 맞도록 할 수 있다. 가변 렌즈(180)를 사용하여 대상물의 다양한 높이에 초점을 맞춘 이미지를 얻어서 3차원 형상을 파악할 수 있다.
대상물(10)에 입사한 구조광은 대상물에 의해 반사된다. 이러한 반사광은 구조광이 입사한 경로를 거꾸로 진행한다. 즉, 반사광은 대물렌즈(190), 가변 렌즈(180), 이미징 렌즈(170)를 거쳐서 빔 분할기(140)로 들어간다. 빔 분할기를 통과한 반사광은 카메라와 같은 영상획득 장치(150)로 들어간다.
빔 분할기(140)는 도 3과 같이, 격자무늬 패턴 필터(130)를 통과한 구조광은 대상물(10) 쪽으로 반사되지만 영상획득 장치(150) 쪽으로 전달되지 않는다. 반면에, 대상물(10)에서 반사된 반사광은 빔 분할기(140)를 투과하여 영상획득 장치(150)에 전달된다.
가변 렌즈(180)를 조절하여 대상물의 다양한 높이에 초점을 맞추면 영상획득 장치(150)에서 초점 가변 영상을 얻을 수 있다.
도 4는 본 발명의 일 실시예에 따른 격자무늬 패턴 필터가 투영된 초점 가변 영상을 나타낸다. 도 4(a)는 격자무늬 패턴 필터를 나타낸다. 도 4(b)는 초점 가변 영상을 나타낸 사진이다. 작은 사각형 부위는 초점이 맺힌 곳으로 도 4(c)에 초점이 맺힌 영역을 확대하여 나타냈다. 초점이 맺힌 곳은 격자무늬 패턴 필터가 있음을 알 수 있다. 이러한 격자 패턴을 이용하여 각 부위의 높이를 확인할 수 있다.
영상 분석부(160)의 3차원 정보 획득 모듈은 순차적으로 획득한 초점 가변 영상으로부터 대상물의 표면에 대한 깊이 영상을 생성할 수 있다. 이러한 깊이 영상은 포인트 클라우드(Point Cloud)로 변환하여 대상물에 대한 3차원 정보를 획득할 수 있다.
도 5는 본 발명의 일 실시예에 따른 구조광을 이용한 3차원 이미징의 흐름도를 나타낸다. 도 5(a)는 가변 렌즈를 이용하여 초점의 거리를 순차적으로 바꾸어, 격자무늬 패턴 필터가 투영된 대상물을 초점이 먼 곳에서 가까운 곳으로 이동하며 영상을 획득한 초점 가변 영상들이다.
초점 가변 영상들에서 초점이 맞는 부위들을 확인하여 대상물의 표면까지의 거리(깊이)를 구할 수 있고, 3차원 위치 정보로 변환할 수 있다. 도 5(b)는 이러한 깊이를 픽셀값으로 표시한 깊이 영상이다. 또한, 도 5(c)는 3차원 위치정보인 포인트 클라우드(Point Cloud)로 변환한 영상이다.
픽셀 단위로 깊이 값을 계산하기 위해, 아래 수학식 1과 같이 몇 번째 초점 영상에서 가장 초점이 잘 맺혀 있는지를 확인하여 초점 영상(Focus Map; FM)을 계산한다.
Figure 112017048784777-pat00001
여기서 N은 초점 가변 영상 수를,
Figure 112017048784777-pat00002
는 i번째 초점 가변 영상에서 (x,y)좌표의 초점 정도를,
Figure 112017048784777-pat00003
는 (x,y)좌표에서 가장 초점이 잘 맺혀 있는 초점 가변 영상의 고유번호(index)를 나타낸다.
이를 이용하여 모든 초점 가변 영상들의 각 픽셀 단위로 초점 정도를 계산할 수 있다.
도 6은 본 발명의 일 실시예에 따른 패턴영상과 패턴과 수직을 이루는 선분상의 픽셀 변화를 나타낸 그래프이다.
도 6(A)는 격자무늬 패턴 필터를 통해 대상물에 투영된 구조광을 영상획득 장치를 통해 획득한 영상이다. 격자무늬 패턴 필터와 수직을 이루는 빨간색 선분 상에 있는 픽셀 값의 변화를 도 6(B)의 그래프에 나타내었다. 선분 상의 픽셀 변화를 보면 진폭이 큰 파장이 반복되는 형태를 보인다.
영상 분석부(160)의 저역 통과 필터 모듈은 초점 가변 영상에서 패턴을 제거할 수 있다. 이러한 패턴을 제거하기 위해 패턴과 수직을 이루는 모든 선분 상에 저역 통과 필터(Low-Pass Filter)를 적용한다. 저역통과필터의 한 실시예로 아래 수학식 2의 평균값 필터(Mean Filter)를 사용할 수 있다.
Figure 112017048784777-pat00004
여기서
Figure 112017048784777-pat00005
는 (x,y') 좌표의 픽셀값을,
Figure 112017048784777-pat00006
는 고주파 성분이 제거된 (x,y) 좌표의 필터 적용 후 값을, W는 평균(Mean) 값 계산을 위한 윈도우 크기를 나타낸다.
저역 통과 필터 모듈은 전기전자 회로, 직접회로 칩 등의 하드웨어로 구현 할 수 있을 뿐만 이니라, 소프트웨어적인 알고리즘을 이용하여 구현할 수도 있다.
도 7은 본 발명의 일 실시예에 따른 저역통과필터를 적용하기 전(A)과 후(B)의 픽셀변화 그래프이고, 도 8은 본 발명의 일 실시예에 따른 저역통과필터를 적용하기 전(A)과 후(B)의 영상 비교 도면이다.
도 7과 도 8을 참조하면, 초점 가변 영상에 저역 통과 필터를 적용하기 전(A)에는 패턴이 명확히 보였으나, 저역 통과 필터를 적용한 후(B)에는 패턴이 효과적으로 제거되어, 보정전 색상을 얻을 수 있음을 알 수 있다.
구조광 기반 3차원 이미징 시스템은 패턴을 대상물에 투영하기 위해 광원을 이용한다. 그러나, 광원의 스펙트럼 특성으로 인해 실제 색상과 영상획득 장치를 통해 획득한 색상이 차이를 보인다.
영상 분석부(160)의 색상 보정 모듈은 2차 다항식 보정으로 보정 색상을 얻을 수 있다.
색상 보정을 위해서는 먼저 표준색상판(Color Checker)로부터 보정 관계식을 얻어야 한다. 빨간색(R), 초록색(G), 파란색(B)의 3색에 대하여 표준색상판에 구조광을 조사하고, 반사광을 영상획득 장치로 입력받아 표준색상판의 보정전 색상을 획득한다. 영상획득 장치를 통해 획득한 색상을 X축, 표준색상판의 색상을 Y축으로 하여 R, G, B의 각 색상별로 그래프를 그릴 수 있다.
도 9는 본 발명의 일 실시예에 따른 색상 보정 곡선을 나타낸 그래프이다. 도 9(a)는 빨간색(Red)의 보정곡선이고, 도 9(b)는 초록색(Green)의 보정곡선이고, 도 9(c)는 파란색(Blue)의 보정곡선이다.
영상획득 장치에서 얻은 보정전 색상과 표준색상판의 색상 차이를 최소화하기 위해 그래프를 2차 다항식으로 수식화하고, 수식화된 근사식을 이용하여 보정전 색상을 표준색상판의 색상에 맞도록 변환한다.
즉, 표준색상판의 자체 색상과 표준색상판의 보정전 색상을 비교하여 2차 다항식을 구한다. 2차 다항식은 최소제곱법 등의 추정방법을 사용하여 구할 수 있다. 영상획득 장치에서 얻은 보정전 색상을 이렇게 구한 2차 다항식에 대입하여 보정 색상을 얻을 수 있다.
도 10은 본 발명의 일 실시예에 따른 표준색상판의 색상 보정 결과를 나타내는 도면이다.
도 10(a)는 표준색상판의 사진 및 색상값을 나타낸다. 빨간색에 대해서 색상값을 확인하면, White, Neutral 8, Neutral 65, Neutral 5, Neutral 35 순으로 표준색상판의 색상값은 R=243, R=200, R=160, R=122, R=85 이다.
도 10(b)는 영상획득 장치를 통해 획득한 보정전 색상을 나타낸 영상이다. 빨간색에 대해서 색상값을 확인하면, White, Neutral 8, Neutral 65, Neutral 5, Neutral 35 순으로 표준색상판의 색상값은 R=145, R=125, R=110, R=100, R=91 이다. 표준색상판과 색상값에서 많은 차이가 있음을 알 수 있다.
도 10(a)와 도 10(b)의 데이터를 이용하여, 2차 다항식에 최소제곱법을 적용하면, 도 9의 Red 의 색상 보정 곡선을 얻을 수 있다. 빨간색(Red) 색상에 대하여 최소제곱법을 적용하여 구한 2차 다항식은 y = -0.0259x2 + 9.0113x - 520.34 이다. 마찬가지로 초록색(Green) 색상에 대해서는 2차 다항식 y = -0.0165x2 + 6.4676x - 370.99 를 얻을 수 있고, 파란색(Blue) 색상에 대해서는 2차 다항식 y = -0.023x2 + 8.4619x - 508.6 를 얻을 수 있다.
표준색상판의 White의 경우 R=243, G=243, B=242 이다. 영상획득 장치를 통해 구한 보정전 색상은 R=145, G=160, B=150 이므로, 표준색상판과 차이가 많다.
영상 분석부(160)의 색상 보정 모듈은 표준색상판에서 구한 2차 다항식을 별도의 저장장치에 저장할 수 있다. 색상 보정 모듈은 2차 다항식에 보정전 색상값을 대입하여 보정 색상을 간이한 방법으로 정확하게 구할 수 있다.
영상획득 장치를 통해 획득한 색상 R=145 는 위 다항식에 의해서 241.7 로 보정된다. 초록색(Green) 색상에 대해서는, 영상획득 장치를 통해 획득한 색상 G=160 은 241.4 로 보정된다. 파란색(Blue) 색상에 대해서도, 영상획득 장치를 통해 획득한 색상 B=150 은 243.1 로 보정된다.
도 10(c)는 도 9의 보정곡선에 의해 보정한 보정 색상을 나타낸 영상이다. 보정 색상 R=241.7, G=241.4, B=243.1은 표준색상판의 실제 색상 R=243, G=243, B=242 와 거의 오차가 없음을 확인할 수 있다.
도 11은 본 발명의 일 실시예에 따른 실제 치아 모형의 색상 보정 결과의 색상 변화를 나타내는 도면이다.
도 11(a)는 실제 치아 모형의 사진이다. 도 11(b)는 치아 모형을 영상획득 장치를 통해 획득한 색상을 나타내는 영상이다. 보정전 영상에서는 3차원 형상 정보는 입력이 되었지만, 색상정보가 부정확한 것을 알 수 있다.
도 11(c)는 색상을 보정한 보정 색상을 나타내는 영상이다. 간이한 방법으로 패턴 정보를 제거하고 색상 보정을 하여, 형상정보 뿐만 아니라 색상정보도 정확히 얻을 수 있음을 알 수 있다.
이상에서 대표적인 실시 예를 통하여 본 발명에 대하여 상세하게 설명하였으나, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 상술한 실시 예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리 범위는 설명된 실시 예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태에 의하여 정해져야 한다.
10 대상물
110 광원
130 격자무늬 패턴 필터
140 빔 분할기
150 영상 획득 장치
160 영상 분석부
180 가변 렌즈

Claims (5)

  1. (a) 광원에서 발산된 빛을 론치룰링(Ronchi Ruling) 형상의 격자무늬 패턴 필터를 이용하여 구조광으로 변화시키는 단계;
    (b) 상기 구조광을 가변 렌즈를 이용하여 대상물에 조사하는 단계;
    (c) 상기 대상물에 입사한 구조광이 상기 대상물에 의해 반사되어 생기는 반사광을 얻는 단계;
    (d) 상기 반사광에서 구조광을 분리하여, 반사광만 영상획득 장치로 보내는 단계;
    (e) 상기 대상물의 다양한 높이에 순차적으로 초점이 맞도록 상기 가변 렌즈를 조절하며 (a) 내지 (d) 단계를 반복하여, 상기 영상획득 장치에서 초점 가변 영상을 획득하는 단계;
    (f) 상기 초점 가변 영상으로부터 초점이 맞아서 격자무늬가 있는 부위의 높이를 확인하는 단계;
    (f-1) 상기 높이가 확인된 초점가변 영상으로부터 대상물의 표면에 대한 깊이 영상을 생성하는 단계;
    (g) 상기 초점 가변 영상에 저역 통과 필터를 적용하여 패턴을 제거하여 보정전 색상을 얻는 단계; 및
    (h) 상기 보정전 색상을 2차 다항식 보정을 이용하여 보정 색상을 얻는 단계;를 포함하며,
    상기 (f) 단계에서, 다음 수학식 1을 이용하여 각 좌표(x, y)에 대하여 가장 초점이 잘 맺혀 있는 초점 가변 영상의 고유번호
    Figure 112018063230355-pat00018
    를 구하여 높이를 확인하는 것을 특징으로 하는 구조광을 이용한 3차원 이미징 방법.
    [수학식 1]
    Figure 112018063230355-pat00019

    (여기에서, N은 초점 가변 영상의 수,
    Figure 112018063230355-pat00020
    는 i번째 초점 가변 영상에서 좌표(x, y)의 초점 정도를 나타낸다.)
  2. 제1항에 있어서,
    상기 저역 통과 필터는 평균값 필터(Mean Filter)인 것을 특징으로 하는 구조광을 이용한 3차원 이미징 방법.
  3. 제1항에 있어서, 상기 (h) 단계는,
    (h-1) R, G, B 3색에 대하여 표준색상판에 구조광을 조사하고, 반사광을 영상획득 장치로 입력받아 표준색상판의 보정전 색상을 획득하는 단계;
    (h-2) 표준색상판의 자체 색상과 표준색상판의 보정전 색상을 비교하여 최소제곱법을 적용한 2차 다항식을 구하는 단계;
    (h-3) 상기 보정전 색상에 상기 2차 다항식을 대입하여 보정 색상을 얻는 단계;를 포함하는 것을 특징으로 하는 구조광을 이용한 3차원 이미징 방법.
  4. 삭제
  5. 광원에서 발산된 빛을 구조광으로 변화시키는 론치룰링(Ronchi Ruling) 형상의 격자무늬 패턴 필터;
    상기 격자무늬 패턴 필터를 통과한 구조광의 초점 구간을 제어하는 가변 렌즈;
    상기 구조광은 반사시키고, 상기 구조광이 대상물에 의해 반사된 반사광은 투과시키는 빔 분할기(beam splitter);
    상기 반사광을 받아들여 상기 대상물의 다양한 높이에 초점이 맺히는 초점 가변 영상을 순차적으로 획득하는 영상획득 장치; 및
    상기 초점 가변 영상으로부터 대상물의 표면에 대한 3차원 영상을 생성하는 영상 분석부;를 포함하며,
    상기 영상 분석부는, 상기 초점 가변 영상으로부터 초점이 맞아서 격자무늬가 있는 부위의 높이를 확인하고 대상물의 표면에 대한 깊이 영상을 생성하는 3차원 정보 획득 모듈, 상기 초점 가변 영상에서 패턴을 제거하는 저역 통과 필터 모듈, 및 2차 다항식 보정으로 보정 색상을 얻는 색상 보정 모듈을 구비하고,
    상기 3차원 정보 획득 모듈은, 다음 수학식 1을 이용하여 각 좌표(x, y)에 대하여 가장 초점이 잘 맺혀 있는 초점 가변 영상의 고유번호
    Figure 112018063230355-pat00021
    를 구하여 높이를 확인하는 것을 특징으로 하는 구조광을 이용한 3차원 이미징 시스템.
    [수학식 1]
    Figure 112018063230355-pat00022

    (여기에서, N은 초점 가변 영상의 수,
    Figure 112018063230355-pat00023
    는 i번째 초점 가변 영상에서 좌표(x, y)의 초점 정도를 나타낸다.)
KR1020170063139A 2017-05-22 2017-05-22 구조광을 이용한 3차원 이미징 방법 및 시스템 KR101909528B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170063139A KR101909528B1 (ko) 2017-05-22 2017-05-22 구조광을 이용한 3차원 이미징 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170063139A KR101909528B1 (ko) 2017-05-22 2017-05-22 구조광을 이용한 3차원 이미징 방법 및 시스템

Publications (1)

Publication Number Publication Date
KR101909528B1 true KR101909528B1 (ko) 2018-10-18

Family

ID=64132918

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170063139A KR101909528B1 (ko) 2017-05-22 2017-05-22 구조광을 이용한 3차원 이미징 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR101909528B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110174075A (zh) * 2019-04-08 2019-08-27 深圳奥比中光科技有限公司 一种单变焦结构光深度相机及变焦方法
CN115900580A (zh) * 2022-10-12 2023-04-04 广东工业大学 一种结构光三维成像***及非线性误差抑制方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010181247A (ja) * 2009-02-05 2010-08-19 Nokodai Tlo Kk 形状測定装置及び形状測定方法
KR20120124722A (ko) * 2011-05-04 2012-11-14 주식회사 에이치비테크놀러지 Rgb 컬러가 적용된 모아레를 이용한 형상 측정장치
KR101541610B1 (ko) 2013-12-09 2015-08-03 한양대학교 산학협력단 공간 필터 기반 구조 조명 현미경

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010181247A (ja) * 2009-02-05 2010-08-19 Nokodai Tlo Kk 形状測定装置及び形状測定方法
KR20120124722A (ko) * 2011-05-04 2012-11-14 주식회사 에이치비테크놀러지 Rgb 컬러가 적용된 모아레를 이용한 형상 측정장치
KR101541610B1 (ko) 2013-12-09 2015-08-03 한양대학교 산학협력단 공간 필터 기반 구조 조명 현미경

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Gledhill et al. 3D reconstruction of a region of interest using structured light and stereo panoramic images. IEEE conferences on Information Visualisation, 2004년 7월, pp. 1007-1012.* *
Image Analyst. Color Calibration and Correction Procedures for Color Imaging Devices, Color Science Specialist Image Processing Expert, 2008년, pp. 1-30.* *
미합중국 등록특허공보 제8,878,905호 (Focus Scanning Apparatus)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110174075A (zh) * 2019-04-08 2019-08-27 深圳奥比中光科技有限公司 一种单变焦结构光深度相机及变焦方法
CN115900580A (zh) * 2022-10-12 2023-04-04 广东工业大学 一种结构光三维成像***及非线性误差抑制方法
CN115900580B (zh) * 2022-10-12 2024-05-28 广东工业大学 一种结构光三维成像***及非线性误差抑制方法

Similar Documents

Publication Publication Date Title
CN110325879B (zh) 用于压缩三维深度感测的***和方法
US10254111B2 (en) Device for optical 3D measuring of an object
EP3531066A1 (en) Three-dimensional scanning method including a plurality of lasers with different wavelengths, and scanner
JP4913597B2 (ja) 高速マルチプルライン三次元デジタル化法
US10698308B2 (en) Ranging method, automatic focusing method and device
JP3714063B2 (ja) 3次元形状計測装置
US7342669B2 (en) Three-dimensional shape measuring method and its device
US10782126B2 (en) Three-dimensional scanning method containing multiple lasers with different wavelengths and scanner
US10247933B2 (en) Image capturing device and method for image capturing
EP2751521B1 (en) Method and system for alignment of a pattern on a spatial coded slide image
US10648789B2 (en) Method for monitoring linear dimensions of three-dimensional objects
US20060072123A1 (en) Methods and apparatus for making images including depth information
CN112469361B (zh) 用于在共焦相机中生成动态投影图案的设备、方法和***
JP2016166815A (ja) 物体検出装置
JP2010517039A (ja) 定量的な三次元撮像のための方法および装置
CN111735413A (zh) 三维形状测量装置
EP3435026B1 (en) Dual-pattern optical 3d dimensioning
JP2016217833A (ja) 画像処理システム及び画像処理方法
KR101909528B1 (ko) 구조광을 이용한 3차원 이미징 방법 및 시스템
JP7344660B2 (ja) 視差算出装置、視差算出方法及び視差算出装置の制御プログラム
CN109102548B (zh) 一种用于标识跟踪范围的方法及***
CN111272101A (zh) 一种四维高光谱深度成像***
KR101382390B1 (ko) 레이저 빔을 이용한 디스드로미터 장치 및 디스드로미터 장치의 동작 방법
JP2020182127A (ja) キャリブレーション装置、キャリブレーションシステム、および表示装置のキャリブレーション方法
CN211205210U (zh) 四维高光谱深度成像***

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant