KR101997358B1 - 초점 조절방식 광학 스캐너의 초점면들을 이용한 복합 초점 이미지 생성 장치 및 그 방법 - Google Patents

초점 조절방식 광학 스캐너의 초점면들을 이용한 복합 초점 이미지 생성 장치 및 그 방법 Download PDF

Info

Publication number
KR101997358B1
KR101997358B1 KR1020170163273A KR20170163273A KR101997358B1 KR 101997358 B1 KR101997358 B1 KR 101997358B1 KR 1020170163273 A KR1020170163273 A KR 1020170163273A KR 20170163273 A KR20170163273 A KR 20170163273A KR 101997358 B1 KR101997358 B1 KR 101997358B1
Authority
KR
South Korea
Prior art keywords
pixels
focal
focused
focal planes
index
Prior art date
Application number
KR1020170163273A
Other languages
English (en)
Other versions
KR20190064024A (ko
Inventor
김진홍
Original Assignee
오스템임플란트 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 오스템임플란트 주식회사 filed Critical 오스템임플란트 주식회사
Priority to KR1020170163273A priority Critical patent/KR101997358B1/ko
Publication of KR20190064024A publication Critical patent/KR20190064024A/ko
Application granted granted Critical
Publication of KR101997358B1 publication Critical patent/KR101997358B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/006—Optical details of the image generation focusing arrangements; selection of the plane to be imaged
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements

Landscapes

  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)

Abstract

초점 조절방식 광학 스캐너의 초점면들을 이용한 복합 초점 이미지 생성 장치 및 그 방법이 개시된다. 복합 초점 이미지 생성 방법은 깊이에 따라 카메라의 초점을 변경함으로써 획득된 초점면들을 식별하는 단계; 상기 초점면들 각각에서 오브젝트에 포커싱된 픽셀들을 추출하는 단계; 상기 오브젝트에 포커싱된 픽셀들 각각에 대응하는 초점면들의 인덱스를 상기 오브젝트에 포커싱된 픽셀들 각각에 할당하는 단계; 및 상기 오브젝트에 포커싱된 픽셀들을 조합하여 복합 초점 이미지를 생성하는 단계를 포함할 수 있다.

Description

초점 조절방식 광학 스캐너의 초점면들을 이용한 복합 초점 이미지 생성 장치 및 그 방법{Apparatus And Method For Generating A Composite Focus Image Using Stacked Image Set From Vari-Focus Type Scanner}
본 발명은 초점 조절방식 광학 스캐너의 스캔 결과 데이터의 크기를 축소하는 장치 및 방법에 관한 것이다.
초점 조절방식 광학 스캐너는 초점을 순차적으로 변경해가며 Z - 깊이 스캐닝(Scanning)을 수행하며 공초점 현미경(confocal microscopy)과 같은 장치에 사용될 수 있다.
초점 조절방식 광학 스캐너는 Z - 깊이 스캐닝할 때 마다 심도에 따라 수십 장에서 수백 장의 초점면 이미지를 생성하고, 초점면 이미지들을 하나의 볼륨으로 묶은 스텍 이미지 세트(stacked image set)를 스캔 결과 데이터로 출력할 수 있다.
초점 조절방식 광학 스캐너가 생성하는 초점면의 개수가 증가할수록 해상도는 증가하지만, 스캔 결과 데이터를 전송하기 위하여 필요한 대역폭 및 스캔 결과 데이터를 처리하기 위한 알고리즘 및 프로세서 모듈의 최소 성능도 증가하므로, 비용이 증가한다는 한계가 있는 실정이다.
따라서, 해상도의 감소 없이 초점 조절방식 광학 스캐너의 스캔 결과 데이터의 크기를 축소하는 방법이 요청되고 있다.
[선행문헌]
한국 등록 특허 제1824328호
본 발명은 광학 스캐너에서 생성된 복수의 초점면들을 하나의 복합 초점 이미지로 변환하여 전송함으로써, 해상도의 감소 없이 스캔한 결과의 전송에 필요한 대역폭을 감소시키는 장치 및 방법을 제공할 수 있다.
본 발명의 일실시예에 따른 복합 초점 이미지 생성 방법은 깊이에 따라 카메라의 초점을 변경함으로써 획득된 초점면들을 식별하는 단계; 상기 초점면들 각각에서 오브젝트에 포커싱된 픽셀들을 추출하는 단계; 상기 오브젝트에 포커싱된 픽셀들 각각에 대응하는 초점면들의 인덱스를 상기 오브젝트에 포커싱된 픽셀들 각각에 할당하는 단계; 및 상기 오브젝트에 포커싱된 픽셀들을 조합하여 복합 초점 이미지를 생성하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 복합 초점 이미지 생성 방법의 할당하는 단계는, 상기 오브젝트에 포커싱된 픽셀이 복수의 초점면들에서 동일한 위치에 존재하는 경우. 상기 오브젝트에 포커싱된 픽셀들 중에서 콘트라스트(contrast)가 가장 높은 픽셀이 포함된 초점면의 인덱스를 상기 픽셀에 할당할 수 있다.
본 발명의 일실시예에 따른 복합 초점 이미지 생성 방법의 초점면들을 식별하는 단계는, 상기 초점면들 각각을 획득할 때의 카메라의 방향을 상기 초점면들 각각의 가장자리 영역에 저장할 수 있다.
본 발명의 일실시예에 따른 복합 초점 이미지 생성 방법의 복합 초점 이미지를 생성하는 단계는, 상기 초점면들 각각의 가장자리 영역에 저장된 카메라의 방향을 상기 복합 초점 이미지의 가장자리 영역에 저장할 수 있다.
본 발명의 일실시예에 따른 초점면 복원 방법은 복수의 초점면들이 조합된 복합 초점 이미지의 픽셀들 각각에 저장된 초점면의 인덱스를 식별하는 단계; 상기 복수의 초점면들 중 상기 인덱스에 대응하는 초점면을 식별하는 단계; 및 상기 초점면들에 포함된 픽셀들 각각에 상기 픽셀들의 색상 정보를 적용하는 단계를 포함하고, 상기 초점면은, 깊이에 따라 카메라의 초점을 변경함으로써 획득되고, 상기 픽셀들은, 오브젝트에 포커싱된 픽셀일 수 있다.
본 발명의 일실시예에 따른 초점면 복원 방법의 인덱스를 식별하는 단계는, 기 복합 초점 이미지의 가장자리 영역에 저장된 카메라의 방향을 식별할 수 있다.
본 발명의 일실시예에 따른 초점면 복원 방법의 색상 정보를 적용하는 단계는 상기 복합 초점 이미지의 가장자리 영역에 저장된 카메라의 방향을 상기 초점면들 각각의 가장자리 영역에 저장할 수 있다.
본 발명의 일실시예에 따른 초점면 복원 방법은 기 픽셀들의 색상 정보를 적용하여 복원한 초점면들을 광학 스캐너의 카메라가 획득한 순서에 따라 스택 형태로 조합하여 출력하는 단계를 더 포함할 수 있다.
본 발명의 일실시예에 따른 복합 초점 이미지 생성 장치는 깊이에 따라 카메라의 초점을 변경함으로써 획득된 초점면들을 식별하는 초점면 식별부; 상기 초점면들 각각에서 오브젝트에 포커싱된 픽셀들을 추출하는 포커싱된 픽셀 추출부; 상기 오브젝트에 포커싱된 픽셀들 각각에 대응하는 초점면들의 인덱스를 상기 오브젝트에 포커싱된 픽셀들 각각에 할당하는 인덱스 할당부; 및 상기 오브젝트에 포커싱된 픽셀들을 조합하여 복합 초점 이미지를 생성하는 복합 초점 이미지 생성부를 포함할 수 있다.
본 발명의 일실시예에 따른 복합 초점 이미지 생성 장치의 인덱스 할당부는, 상기 오브젝트에 포커싱된 픽셀이 복수의 초점면들에서 동일한 위치에 존재하는 경우. 상기 오브젝트에 포커싱된 픽셀들 중에서 콘트라스트(contrast)가 가장 높은 픽셀이 포함된 초점면의 인덱스를 상기 픽셀에 할당할 수 있다.
본 발명의 일실시예에 따른 복합 초점 이미지 생성 장치의 초점면 식별부는 상기 초점면들 각각을 획득할 때의 카메라의 방향을 상기 초점면들 각각의 가장자리 영역에 저장할 수 있다.
본 발명의 일실시예에 따른 복합 초점 이미지 생성 장치의 복합 초점 이미지 생성부는, 상기 초점면들 각각의 가장자리 영역에 저장된 카메라의 방향을 상기 복합 초점 이미지의 가장자리 영역에 저장할 수 있다.
본 발명의 일실시예에 따른 초점면 복원 장치는 복수의 초점면들이 조합된 복합 초점 이미지의 픽셀들 각각에 저장된 초점면의 인덱스를 식별하는 인덱스 식별부; 상기 복수의 초점면들 중 상기 인덱스에 대응하는 초점면을 식별하는 초점면 식별부; 및 상기 초점면들에 포함된 픽셀들 각각에 상기 픽셀들의 색상 정보를 적용하는 색상 정보 적용부를 포함하고, 상기 초점면은, 깊이에 따라 카메라의 초점을 변경함으로써 획득되고, 상기 픽셀들은, 오브젝트에 포커싱된 픽셀일 수 있다.
본 발명의 일실시예에 따른 초점면 복원 장치의 인덱스 식별부는, 상기 복합 초점 이미지의 가장자리 영역에 저장된 카메라의 방향을 식별할 수 있다.
본 발명의 일실시예에 따른 초점면 복원 장치의 색상 정보 적용부는 상기 복합 초점 이미지의 가장자리 영역에 저장된 카메라의 방향을 상기 초점면들 각각의 가장자리 영역에 저장할 수 있다.
본 발명의 일실시예에 따른 초점면 복원 장치의 색상 정보 적용부는, 상기 픽셀들의 색상 정보를 적용하여 복원한 초점면들을 광학 스캐너의 카메라가 획득한 순서에 따라 스택 형태로 조합하여 출력할 수 있다.
본 발명의 일실시예에 의하면, 광학 스캐너에서 생성된 복수의 초점면들을 하나의 복합 초점 이미지로 변환하여 전송함으로써, 해상도의 감소 없이 스캔한 결과의 전송에 필요한 대역폭을 감소시켜 광학 스캐너를 사용하는 제품의 원가도 감소시킬 수 있다.
도 1은 본 발명의 일실시예에 따른 복합 초점 이미지 생성 장치 및 초점면 복원 장치 간의 관계를 나타내는 도면이다.
도 2는 본 발명의 일실시예에 따른 복합 초점 이미지 생성 장치를 나타내는 도면이다.
도 3은 본 발명의 일실시예에서 사용하는 초점면들의 일례이다.
도 4는 본 발명의 일실시예에 따른 초점면들을 획득하는 과정의 일례이다.
도 5는 본 발명의 일실시예에 따라 초점면의 인덱스를 할당하는 과정의 일례이다.
도 6은 본 발명의 일실시예에 따라 식별한 초점면의 일례이다.
도 7은 본 발명의 일실시예에 따른 획득한 복합 초점 이미지에 포함된 픽셀의 구조이다.
도 8은 본 발명의 일실시예에 따른 획득한 복합 초점 이미지의 일례이다.
도 9은 본 발명의 일실시예에 따른 오브젝트별 복합 초점 이미지의 일례이다.
도 10은 본 발명의 일실시예에 따른 초점면 복원 장치를 나타내는 도면이다.
도 11은 본 발명의 일실시예에서 카메라 방향 정보를 추가하는 일례이다.
도 12는 본 발명의 일실시예에 따른 복합 초점 이미지 생성 방법을 도시한 플로우차트이다.
도 13은 본 발명의 일실시예에 따른 초점면 복원 방법을 도시한 플로우차트이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. 본 발명의 일실시예에 따른 복합 초점 이미지 생성 방법은 복합 초점 이미지 생성 장치에 의해 수행될 수 있다. 또한, 본 발명의 일실시예에 따른 초점면 복원 방법은 초점면 복원 장치에 의해 수행될 수 있다.
도 1은 본 발명의 일실시예에 따른 복합 초점 이미지 생성 장치 및 초점면 복원 장치 간의 관계를 나타내는 도면이다.
광학 스캐너(110)는 초점을 깊이 방향으로 순차적으로 변경해가며, 오브젝트를 촬영할 수 있다. 그리고, 광학 스캐너(110)는 초점 위치 별로 촬영한 이미지들에서 포커싱된 픽셀들을 추출하여 초점면을 생성할 수 있다. 또한, 광학 스캐너(110)는 이 초점면들을 깊이 방향으로 적층하여(stacking) 삼차원 데이터로 재해석하는 초점 조절 방식의 광학 스캐너일 수 있다.
복합 초점 이미지 생성 장치(120)는 포커싱된 픽셀의 특징을 기초로 광학 스캐너(110)가 생성한 복수의 초점면들을 단일 이미지인 복합 초점 이미지로 변환할 수 있다. 그리고, 복합 초점 이미지 생성 장치(120)는 복합 초점 이미지를 초점면 복원 장치(130)로 전송할 수 있다. 복합 초점 이미지 생성 장치(120)는 광학 스캐너(110)가 생성한 복수의 초점면들을 복합 초점 이미지로 변환함으로써, 이미지 전송에 필요한 대역폭(bandwidth)를 감소시킬 수 있다.
이때, 복합 초점 이미지 생성 장치(120)는 복합 초점 이미지에 포함된 픽셀들을 이용하여 복수의 초점면들로 구성된 스텍 이미지 세트를 복원할 수 있도록 복합 초점 이미지에 포함된 픽셀의 구조를 확장할 수 있다.
예를 들어, 1000 x 1000 픽셀의 컬러(RGB) 이미지가 100장의 초점면으로 구성되는 경우, 광학 스캐너(110)가 오브젝트를 스캔할 때마다 300MB의 데이터가 생성될 수 있다. 그리고, 광학 스캐너(110)가 구강 스캐너와 같은 비디오 방식의 실시간 스캐너인 경우, 초당 10회 이상 스캔할 수 있다. 따라서, 광학 스캐너(110)가 바로 스캔한 결과인 스텍 이미지 세트를 전송하기 위하여 필요한 대역폭은 3GByte/s일 수 있다.
이때, 복합 초점 이미지 생성 장치(120)는 100장의 초점면으로 구성된 스텍 이미지 세트를 1장의 이미지인 복합 초점 이미지로 변환하여 전송하고 있다. 즉, 전송하는 데이터의 합이 1/100로 감소하므로, 복합 초점 이미지 생성 장치(120)가 스캔 결과를 전송하기 위하여 필요한 대역폭은 광학 스캐너(110)에서 바로 스캔 결과를 전송하기 위하여 필요한 대역폭의 1/100 크기인 30MByte/s의 대역폭일 수 있다. 또한, 복합 초점 이미지 생성 장치(120)에 의하여 감소되는 대역폭은 광학 스캐너(110)의 이미지 해상도, 심도, 스캔 범위 및 속도에 따라 더 증가할 수도 있다. 예를 들어, 광학 스캐너(110)가 1회 스캔에 생성하는 초점면의 개수 및 초점면들 각각의 크기가 증가할 수록 복합 초점 이미지 생성 장치(120)를 사용한 대역폭 감소의 효과도 증가할 수 있다.
또한, 복합 초점 이미지 생성 장치(120)는 카메라 자세정보와 같은 부가적인 정보를 더 추가함으로써, 복원한 스텍 이미지 세트의 초점면들을 이용하여 3차원 정보로 재구성하는 과정을 지원할 수도 있다.
복합 초점 이미지는 PCD(Point Cloud Data)와 같은 점 데이터, 또는 메쉬(Mesh) 형태의 데이터이며, 광학 스캐너(110)가 스캔한 오브젝트의 컬러 이미지를 텍스쳐(Texture)로 사용할 수 있다. 또한, 복합 초점 이미지는 복수의 초점면들에서 포커싱된 픽셀들을 수집하여 생성되므로, 텍스쳐의 모든 부분의 초점이 정확히 맞추어진 상태일수 있다. 따라서, 복합 초점 이미지는 심도가 매우 낮아 대물렌즈와 시편과의 거리를 주의해서 조절해야 하는 경우의 문제를 해소할 수 있다.
복합 초점 이미지 생성 장치(120)의 세부 구성 및 동작은 이하 도 2를 참조하여 상세히 설명한다.
초점면 복원 장치(130)는 복합 초점 이미지 생성 장치(120)로부터 수신한 복합 초점 이미지들로부터 복수의 초점면들을 복원할 수 있다. 그리고, 초점면 복원 장치(130)는 복원한 복수의 초점면들로 구성된 스텍 이미지 세트를 출력할 수 있다.
초점면 복원 장치(130)의 세부 구성 및 동작은 이하 도 10을 참조하여 상세히 설명한다.
복합 초점 이미지 생성 장치(120)는 스캔한 결과의 전송에 필요한 대역폭을 감소시킴으로써, 데이터 전송과 관련된 요구 성능을 감소시킬 수 있으므로, 광학 스캐너(110)를 사용하는 제품의 원가도 감소시킬 수 있다.
도 2는 본 발명의 일실시예에 따른 복합 초점 이미지 생성 장치를 나타내는 도면이다.
복합 초점 이미지 생성 장치(120)는 도 2에 도시된 바와 같이 초점면 식별부(210), 포커싱된 픽셀 추출부(220), 인덱스 할당부(230), 복합 초점 이미지 생성부(240)를 포함할 수 있다. 이때, 초점면 식별부(210), 포커싱된 픽셀 추출부(220), 인덱스 할당부(230), 복합 초점 이미지 생성부(240)는 서로 다른 프로세스, 또는 하나의 프로세스에 포함된 프로그램을 수행하기 위한 각각의 모듈일 수 있다.
초점면 식별부(210)는 광학 스캐너(110)로부터 깊이에 따라 광학 스캐너(110)의 카메라의 초점을 변경함으로써 획득된 초점면들을 수신할 수 있다. 그리고, 초점면 식별부(210)는 수신한 초점면들 및 수신한 초점면들의 인덱스를 식별할 수 있다. 그리고, 광학 스캐너(110)가 스캔하는 스윕(Sweep) 범위를 심도(DOF)로 나누면 초점면들의 인덱스(Index)의 개수가 결정될 수 있다.
일반적으로 하나의 스윕 범위에서는 동일한 심도(DOF)가 사용되지만, 심도가 스윕 범위 안에서 일정하지 않아도 초점면들의 인덱스가 식별된다면 복합 초점 이미지 생성 장치(120)의 동작에 영향이 없다.
이때, 초점면 식별부(210)는 초점면들 각각을 획득할 때의 카메라의 방향을 초점면들 각각의 가장자리 영역에 저장할 수 있다. 또한, 가장자리 영역은 오브젝트와 오버랩 되지 않은 영역들 중에서 미리 설정된 영역일 수 있다. 예를 들어, 가장자리 영역은 초점면에서 최상단, 또는 최하단과 같은 가장 자리의 영역일 수 있다.
포커싱된 픽셀 추출부(220)는 초점면 식별부(210)가 식별한 초점면들 각각에서 오브젝트에 포커싱된 픽셀들을 추출할 수 있다.
인덱스 할당부(230)는 오브젝트에 포커싱된 픽셀들 각각에 대응하는 초점면들의 인덱스를 오브젝트에 포커싱된 픽셀들 각각에 할당할 수 있다. 이때, 오브젝트에 포커싱된 픽셀이 복수의 초점면들에서 동일한 위치에 존재하는 경우. 인덱스 할당부(230)는 오브젝트에 포커싱된 픽셀들의 콘트라스트(contrast)를 평가할 수 있다. 그리고, 인덱스 할당부(230)는 오브젝트에 포커싱된 픽셀들 중에서 콘트라스트(contrast)가 가장 높은 픽셀이 포함된 초점면의 인덱스를 오브젝트에 포커싱된 픽셀에 할당할 수 있다.
복합 초점 이미지 생성부(240)는 오브젝트에 포커싱된 픽셀들을 조합하여 복합 초점 이미지(Compound Focal Image)를 생성할 수 있다.
구체적으로, 복합 초점 이미지 생성부(240)는 모든 초점면들 각각에서 추출한 오브젝트에 포커싱된 픽셀들을 한 장의 복합 초점 이미지로 구성(Modulation)할 수 있다. 이때, 복합 초점 이미지의 픽셀들은 초점이 맞는 픽셀의 색상 정보와 함께 초점면들의 인덱스를 저장할 수 있는 구조로 형성될 수 있다. 그리고, 복합 초점 이미지 생성부(240)는 포커싱될 픽셀들 각각에 할당된 초점면의 인덱스를 저장할 수 있다.
이때, 인덱스의 개수가 256개 이하인 경우, 복합 초점 이미지의 픽셀들에서 초점면들의 인덱스가 저장되는 공간은 1바이트일 수 있다. 또한, 인덱스의 개수가 256개를 초과하는 경우, 복합 초점 이미지의 픽셀들에서 초점면들의 인덱스가 저장되는 공간은 2바이트 이상일 수 있다.
이때, 복합 초점 이미지 생성부(240)는 초점면들 각각의 가장자리 영역에 저장된 카메라의 방향을 복합 초점 이미지의 가장자리 영역에 저장할 수 있다.
도 3은 본 발명의 일실시예에서 사용하는 초점면들의 일례이다.
광학 스캐너(110)는 깊이에 따라 광학 스캐너(110)의 카메라의 초점을 변경함으로써 초점면(310)들로 구성된 스텍 이미지 세트(300)를 생성할 수 있다. 그리고, 복합 초점 이미지 생성 장치(120)는 스텍 이미지 세트(300)를 하나의 복합 초점 이미지로 변환하여 초점면 복원 장치(130)로 전송할 수 있다.
도 4는 본 발명의 일실시예에 따른 초점면들을 획득하는 과정의 일례이다.
광학 스캐너(110)는 제1 깊이로 카메라의 초점을 이동하여 촬영할 수 있다. 그리고, 광학 스캐너(110)는 제1 깊이에서 촬영한 이미지에서 오브젝트에 포커싱된 픽셀(420)들을 추출하여 제1 초점면(411)을 생성할 수 있다. 이때, 광학 스캐너(110)는 제1 초점면(411)의 인덱스를 0으로 설정할 수 있다.
광학 스캐너(110)는 제2 깊이로 카메라의 초점을 이동하여 촬영할 수 있다. 그리고, 광학 스캐너(110)는 제2 깊이에서 촬영한 이미지에서 오브젝트에 포커싱된 픽셀(430)들을 추출하여 제2 초점면(412)을 생성할 수 있다. 이때, 광학 스캐너(110)는 제2 초점면(412)의 인덱스를 1로 설정할 수 있다. 또한, 제2 초점면(412)에서 픽셀(420)들과 동일한 위치에 있는 픽셀들은 픽셀(420)들에 가려져서 오브젝트에 포커싱된 픽셀로 추출되지 않을 수 있다.
광학 스캐너(110)는 제3 깊이로 카메라의 초점을 이동하여 촬영할 수 있다. 그리고, 광학 스캐너(110)는 제3 깊이에서 촬영한 이미지에서 오브젝트에 포커싱된 픽셀(440)을 추출하여 제3 초점면(413)을 생성할 수 있다. 이때, 광학 스캐너(110)는 제3 초점면(413)의 인덱스를 2로 설정할 수 있다. 또한, 제3 초점면(413)에서 픽셀(420)들 및 픽셀(430)들과 동일한 위치에 있는 픽셀들은 픽셀(420)들에 가려져서 오브젝트에 포커싱된 픽셀로 추출되지 않을 수 있다.
도 5는 본 발명의 일실시예에 따라 초점면의 인덱스를 할당하는 과정의 일례이다.
도 5에 도시된 바와 같이 광학 스캐너(110)의 카메라 심도(Depth Of Field)에 따라 초점면들(510, 520, 530) 각각의 동일 위치에서 오브젝트에 포커싱된 픽셀들(511, 521, 531)이 연속적으로 나타날 수 있다.
이때, 인덱스 할당부(230)는 동일 위치에서 오브젝트에 포커싱된 픽셀들(511, 521, 531) 중 하나를 액츄얼 포커싱된 픽셀로 선택할 수 있다.
구체적으로, 인덱스 할당부(230)는 오브젝트에 포커싱된 픽셀들(511, 521, 531)의 콘트라스트를 평가할 수 있다. 예를 들어, 픽셀(511)의 콘트라스트는 30%이고, 픽셀(521)의 콘트라스트는 90%이며, 픽셀(531)의 콘트라스트는 10%일 수 있다.
이때, 인덱스 할당부(230)는 오브젝트에 포커싱된 픽셀들(511, 521, 531) 중에서 콘트라스트가 가장 높은 픽셀(521)이 포함된 초점면의 인덱스인 1을 오브젝트에 포커싱된 픽셀들(511, 521, 531)에 할당할 수 있다.
도 6은 본 발명의 일실시예에 따라 식별한 초점면의 일례이다.
초점면 식별부(210)가 식별한 초점면(Focal plane)은 도 6에 도시된 바와 같이 오브젝트에 포커싱된 픽셀(610)과 초점면들 각각을 획득할 때의 카메라의 방향이 저장된 가장자리 영역(620)로 구성될 수 있다. 도 6에서는 가장자리 영역(620)이 초점면의 상단에 위치하고 있으나 실시예에 따라서는 초점면의 하단이나 측면에 위치할 수도 있다.
도 7은 본 발명의 일실시예에 따른 획득한 복합 초점 이미지에 포함된 픽셀의 구조이다.
복합 초점 이미지에 포함된 픽셀의 구조는 도 7에 도시된 바와 같이 픽셀의 색상을 나타내는 Red 채널(710), Green 채널(720), Blue 채널(730), 및 Alpha 채널(740)을 저장하기 위한 저장 공간에 초점면의 인덱스를 나타내는 Index (Zi)(750)를 저장하기 위한 저장 공간을 더 포함할 수 있다.
또한, 픽셀의 색상 정보가 RGB(또는 RGBA) 형태인 경우에는 복합 초점 이미지에 포함된 픽셀의 구조에 도 7에 도시된 바와 같이 각각 1바이트로 구성된 Red, Green, Blue, Alpha 채널이 포함되나, 픽셀의 색상 정보가 YUV, HSL, HSV, CMYK 중 하나인 경우, 픽셀의 구조에 포함되는 픽셀의 색상 정보의 채널도 그에 따라 변경될 수 있다.
그리고, 복합 초점 이미지에 포함된 픽셀의 구조는 도 7에 도시된 바와 같이 카메라의 방향을 나타내는 Direction Vector(760)와 같은 추가 정보를 저장할 저장 공간을 더 포함할 수도 있다. 도 7에서는 Direction Vector만 포함하고 있으나, 복합 초점 이미지에 포함된 픽셀의 구조는 Direction Vector이외에도 다양한 추가 정보를 더 포함할 수도 있다.
도 8은 본 발명의 일실시예에 따른 획득한 복합 초점 이미지의 일례이다.
복합 초점 이미지 생성부(240)가 생성한 복합 초점 이미지(Compound Focal Image)는 도 8에 도시된 바와 같이 카메라의 방향이 저장된 가장자리 영역(810)과 오브젝트에 포커싱된 픽셀(820)로 구성될 수 있다. 이때, 가장자리 영역(810)에 저장되는 카메라의 방향은 오브젝트에 포커싱된 픽셀(820)을 추출한 초점면을 획득할 때의 카메라의 방향일 수 있다. 또한, 오브젝트에 포커싱된 픽셀(820)에는 오브젝트에 포커싱된 픽셀(820)을 추출한 초점면의 인덱스가 포함될 수 있다.
도 9은 본 발명의 일실시예에 따른 오브젝트별 복합 초점 이미지의 일례이다.
케이스 1(Case 1)에 도시된 바와 같이 오브젝트의 형상이 카메라 방향이 가장 좁고, 카메라에서 멀수록 면적이 넓어지는 사각뿔 형상일 수 있다. 이때, 제1 초점면(910)에서 추출한 오브젝트에 포커싱된 픽셀, 제2 초점면(920)에서 추출한 오브젝트에 포커싱된 픽셀, 제3 초점면(930)에서 추출한 오브젝트에 포커싱된 픽셀의 순서로 오브젝트에 포커싱된 픽셀의 면적이 증가할 수 있다.
따라서, 복합 초점 이미지 생성 장치(120)는 도 9에 도시된 바와 같이 오브젝트에 포커싱된 픽셀들 중 가장 안쪽에 위치한 픽셀(911)에 제1 초점면(910)의 인덱스인 0을 할당하여 저장할 수 있다. 다음으로, 복합 초점 이미지 생성 장치(120)는 오브젝트에 포커싱된 픽셀들 중 중간에 위치한 픽셀(921)에 제2 초점면(920)의 인덱스인 1을 할당하여 저장할 수 있다. 마지막으로, 복합 초점 이미지 생성 장치(120)는 오브젝트에 포커싱된 픽셀들 중 외각에 위치한 픽셀(931)에 제3 초점면(930)의 인덱스인 2를 할당하여 저장할 수 있다.
케이스 2(Case 2)에 도시된 바와 같이 오브젝트의 형상이 카메라 방향이 가장 넓고, 카메라에서 멀수록 면적이 좁아지는 역 사각뿔 형상일 수 있다. 이때, 제1 초점면(910)에서 추출한 오브젝트에 포커싱된 픽셀, 제2 초점면(920)에서 추출한 오브젝트에 포커싱된 픽셀, 제3 초점면(930)에서 추출한 오브젝트에 포커싱된 픽셀의 순서로 오브젝트에 포커싱된 픽셀의 면적이 감소할 수 있다.
따라서, 복합 초점 이미지 생성 장치(120)는 도 9에 도시된 바와 같이 오브젝트에 포커싱된 픽셀들 중 가장 안쪽에 위치한 픽셀(931)에 제3 초점면(930)의 인덱스인 2를 할당하여 저장할 수 있다. 다음으로, 복합 초점 이미지 생성 장치(120)는 오브젝트에 포커싱된 픽셀들 중 중간에 위치한 픽셀(921)에 제2 초점면(920)의 인덱스인 1을 할당하여 저장할 수 있다. 마지막으로, 복합 초점 이미지 생성 장치(120)는 오브젝트에 포커싱된 픽셀들 중 외각에 위치한 픽셀(911)에 제1 초점면(910)의 인덱스인 0을 할당하여 저장할 수 있다.
케이스 3(Case 3)에 도시된 바와 같이 오브젝트의 형상이 깊이의 중간에서 가장 좁고, 깊이의 중간에서 멀어질수록 면적이 증가하는 사각 절구형상일 수 있다. 즉, 제2 초점면(920)에서 추출한 오브젝트에 포커싱된 픽셀이 가장 좁을 수 있다. 또한, 제1 초점면(910)에서 추출한 오브젝트에 포커싱된 픽셀 보다 제3 초점면(930)에서 추출한 오브젝트에 포커싱된 픽셀의 면적이 더 넓을 수 있다.
따라서, 복합 초점 이미지 생성 장치(120)는 도 9에 도시된 바와 같이 오브젝트에 포커싱된 픽셀들 중 가장 안쪽에 위치한 픽셀(911)에 제2 초점면(920)의 인덱스인 1을 할당하여 저장할 수 있다. 다음으로, 복합 초점 이미지 생성 장치(120)는 오브젝트에 포커싱된 픽셀들 중 중간에 위치한 픽셀(911)에 제1 초점면(910)의 인덱스인 0을 할당하여 저장할 수 있다. 마지막으로, 복합 초점 이미지 생성 장치(120)는 오브젝트에 포커싱된 픽셀들 중 외각에 위치한 픽셀(931)에 제3 초점면(930)의 인덱스인 2를 할당하여 저장할 수 있다.
즉, 복합 초점 이미지 생성 장치(120)가 앞서 설명한 3가지 오브젝트에 대응하여 각각 생성한 복합 초점 이미지에 포함된 오브젝트에 포커싱된 픽셀들의 형상은 동일하나 오브젝트에 포커싱된 픽셀들 각각에 할당된 인덱스가 상이할 수 있다. 그리고, 초점면 복원 장치(130)는 오브젝트에 포커싱된 픽셀들 각각에 할당된 인덱스를 이용하여 초점면들을 복원하므로, 오브젝트에 포커싱된 픽셀들의 형상은 동일한 복합 초점 이미지들에서 앞서 설명한 3가지 오브젝트 각각에 대응하는 초점면들을 복원할 수 있다.
예를 들어, 초점면 복원 장치(130)가 복합 초점 이미지를 수신한 경우, 초점면 복원 장치(130)는 픽셀(911)에 저장된 인덱스 1을 식별하고, 식별 결과에 따라 제2 초점면(920)에 픽셀(911)를 복원할 수 있다. 또한, 초점면 복원 장치(130)는 픽셀(921)에 저장된 인덱스 0을 식별하고, 식별 결과에 따라 제1 초점면(910)에 픽셀(921)를 복원할 수 있다. 마지막으로 초점면 복원 장치(130)는 픽셀(931)에 저장된 인덱스 2를 식별하고, 식별 결과에 따라 제3 초점면(920)에 픽셀(931)를 복원할 수 있다.
도 10은 본 발명의 일실시예에 따른 초점면 복원 장치를 나타내는 도면이다.
이때, 초점면 복원 장치(130)는 도 10에 도시된 바와 같이 인덱스 식별부(1010), 초점면 식별부(1020) 및 색상 정보 적용부(1030)를 포함할 수 있다. 이때, 인덱스 식별부(1010), 초점면 식별부(1020) 및 색상 정보 적용부(1030)는 서로 다른 프로세스, 또는 하나의 프로세스에 포함된 프로그램을 수행하기 위한 각각의 모듈일 수 있다.
인덱스 식별부(1010)는 복합 초점 이미지 생성 장치(120)로부터 복수의 초점면들이 조합된 복합 초점 이미지를 수신할 수 있다. 그리고, 인덱스 식별부(1010)는 복합 초점 이미지의 픽셀들 각각에 저장된 초점면의 인덱스를 식별할 수 있다. 또한, 인덱스 식별부(1010)는 복합 초점 이미지의 가장자리 영역에 저장된 카메라의 방향을 식별할 수 있다.
초점면 식별부(1020)는 복수의 초점면들 중 인덱스 식별부(1010)가 식별한 인덱스에 대응하는 초점면을 식별할 수 있다.
구체적으로 초점면 식별부(1020)는 광학 스캐너의 스캔 시작 깊이 및 초점 변경 간격에 따라 복수의 초점면들을 설정할 수 있다. 이때, 초점면 식별부(1020)가 설정한 초점면들은 초점 높이에 따라 생성된 후, 초기화되어 오브젝트에 포커싱된 픽셀들이 포함되지 않은 상태일 수 있다.
그리고, 초점면 식별부(1020)는 설정한 초점면들 중 인덱스에 대응하는 초점면을 검색할 수 있다.
색상 정보 적용부(1030)는 초점면 식별부(1020)가 식별한 초점면들에 포함된 픽셀들 각각에 복합 초점 이미지의 픽셀들의 색상 정보를 적용할 수 있다. 이때, 복합 초점 이미지의 픽셀들 중 색상 정보가 저장된 픽셀은 오브젝트에 포커싱된 픽셀일 수 있다. 즉, 색상 정보 적용부(1030)는 복합 초점 이미지의 픽셀들의 색상 정보를 해당 픽셀에 대응하는 초점면에 적용함으로써, 오브젝트에 포커싱된 픽셀을 해당 픽셀에 대응하는 초점면에 복원할 수 있다.
또한, 색상 정보 적용부(1030)는 복합 초점 이미지의 가장자리 영역에 저장된 카메라의 방향을 초점면들 각각의 가장자리 영역에 저장할 수 있다.
초점면 복원 장치(130)는 복합 초점 이미지에 포함된 모든 픽셀들의 색상 정보들을 복수의 초점면들에 적용할 때까지 인덱스 식별부(1010), 초점면 식별부(1020) 및 색상 정보 적용부(1030)를 반복 적용함으로써 광학 스캐너(110)가 복합 초점 이미지 생성 장치(120)로 전달한 복수의 초점면들을 복원할 수 있다.
이때, 색상 정보 적용부(1030)는 픽셀들의 색상 정보를 적용하여 복원한 초점면들을 광학 스캐너의 카메라가 획득한 순서에 따라 스택 형태로 조합하여 스텍 이미지 세트를 구성할 수 있다. 그리고, 색상 정보 적용부(1030)는 구성한 스텍 이미지 세트를 출력할 수 있다.
도 11은 본 발명의 일실시예에서 카메라 방향 정보를 추가하는 일례이다.
광학 스캐너(110)에서 카메라가 회전할 수 있거나, 오브젝트의 방향이 변경되는 경우, 초점면들에서 오브젝트에 포커싱된 픽셀의 위치도 변경될 수 있다. 따라서, 복합 초점 이미지 생성 장치(120)는 초점면 및 복합 초점 이미지에 카메라의 방향 정보를 포함시킬 수 있다. 또한, 복합 초점 이미지 생성 장치(120)는 초점면 및 복합 초점 이미지에 카메라의 방향 정보를 포함시킴으로써, 카메라의 떨림에 의해 순간적으로 어긋난 이미지에서 초점면이 생성되는 경우에도 카메라의 방향 정보를 참조하여 보정할 수 있다.
예를 들어, 복합 초점 이미지 생성 장치(120)가 초점면 및 복합 초점 이미지에 포함시키는 카메라의 방향 정보는 도 11에 도시된 바와 같이 광학 스캐너(110)의 카메라의 각도(0˚, 10˚, 45˚)일 수 있다.
또한, 서로 다른 카메라 방향에서 오브젝트를 촬영하여 복수의 스텍 이미지 세트가 생성되는 경우, 복합 초점 이미지 생성 장치(120)는 복수의 스텍 이미지 세트를 하나의 스텍 이미지 세트로 병합(Merge)하거나 정합(Registration)하고, 하나의 스텍 이미지 세트에 포함된 초점면들을 이용하여 복합 초점 이미지를 생성할 수 있다. 이때, 복합 초점 이미지 생성 장치(120)는 초점면에 포함된 카메라의 방향 정보를 ICP(Iterative Closest Point)와 같은 정합 알고리즘에 적용하여 스텍 이미지 세트들을 정합할 수 있다.
도 12는 본 발명의 일실시예에 따른 복합 초점 이미지 생성 방법을 도시한 플로우차트이다.
단계(1210)에서 초점면 식별부(210)는 광학 스캐너(110)로부터 깊이에 따라 광학 스캐너(110)의 카메라의 초점을 변경함으로써 획득된 초점면들을 수신할 수 있다. 그리고, 초점면 식별부(210)는 수신한 초점면들 및 수신한 초점면들의 인덱스를 식별할 수 있다.
단계(1220)에서 포커싱된 픽셀 추출부(220)는 단계(1210)에서 식별한 초점면들 각각에서 오브젝트에 포커싱된 픽셀들을 추출할 수 있다.
단계(1230)에서 인덱스 할당부(230)는 단계(1220)에서 추출한 픽셀들 각각에 대응하는 초점면들의 인덱스를 단계(1220)에서 추출한 픽셀들 각각에 할당할 수 있다. 이때, 오브젝트에 포커싱된 픽셀이 복수의 초점면들에서 동일한 위치에 존재하는 경우. 인덱스 할당부(230)는 오브젝트에 포커싱된 픽셀들 중에서 콘트라스트(contrast)가 가장 높은 픽셀이 포함된 초점면의 인덱스를 오브젝트에 포커싱된 픽셀에 할당할 수 있다.
단계(1240)에서 복합 초점 이미지 생성부(240)는 모든 초점면들 각각에서 추출한 오브젝트에 포커싱된 픽셀들을 한 장의 복합 초점 이미지로 구성할 수 있다. 이때, 복합 초점 이미지의 픽셀들은 초점이 맞는 픽셀의 색상 정보와 함께 초점면들의 인덱스를 저장할 수 있는 구조로 형성될 수 있다. 그리고, 복합 초점 이미지 생성부(240)는 포커싱될 픽셀들 각각에 할당된 초점면의 인덱스를 저장할 수 있다.
도 13은 본 발명의 일실시예에 따른 초점면 복원 방법을 도시한 플로우차트이다.
단계(1310)에서 인덱스 식별부(1010)는 복합 초점 이미지 생성 장치(120)로부터 복수의 초점면들이 조합된 복합 초점 이미지를 수신할 수 있다. 그리고, 인덱스 식별부(1010)는 복합 초점 이미지의 픽셀들 각각에 저장된 초점면의 인덱스를 식별할 수 있다.
단계(1320)에서 초점면 식별부(1020)는 복수의 초점면들 중 단계(1310)에서 식별한 인덱스에 대응하는 초점면을 식별할 수 있다.
단계(1330)에서 색상 정보 적용부(1030)는 단계(1320)에서 식별한 초점면들에 포함된 픽셀들 각각에 복합 초점 이미지의 픽셀들의 색상 정보를 적용할 수 있다. 이때, 색상 정보 적용부(1030)는 복합 초점 이미지의 픽셀들의 색상 정보를 해당 픽셀에 대응하는 초점면에 적용함으로써, 오브젝트에 포커싱된 픽셀을 해당 픽셀에 대응하는 초점면에 복원할 수 있다.
단계(1340)에서 초점면 복원 장치(130)는 복합 초점 이미지에 포함된 모든 픽셀들에 저장된 인덱스가 식별되었는지 여부를 확인할 수 있다.
복합 초점 이미지에 포함된 모든 픽셀들에 저장된 인덱스가 식별된 경우, 초점면 복원 장치(130)는 복합 초점 이미지 생성 장치(120)로 전달한 복수의 초점면들을 복원한 것으로 판단하고 복원 과정을 종료할 수 있다. 복합 초점 이미지에 포함된 픽셀들 중 인덱스가 식별되지 않은 픽셀이 있는 경우, 초점면 복원 장치(130)는 해당 픽셀에 대하여 단계(1310) 내지 단계(1330)를 수행할 수 있다.
본 발명은 광학 스캐너에서 생성된 복수의 초점면들을 하나의 복합 초점 이미지로 변환하여 전송함으로써, 스캔한 결과의 전송에 필요한 대역폭을 감소시켜 광학 스캐너(110)를 사용하는 제품의 원가도 감소시킬 수 있다.
본 명세서에 설명된 각종 기술들의 구현들은 디지털 전자 회로조직으로, 또는 컴퓨터 하드웨어, 펌웨어, 소프트웨어로, 또는 그들의 조합들로 구현될 수 있다. 구현들은 데이터 처리 장치, 예를 들어 프로그램가능 프로세서, 컴퓨터, 또는 다수의 컴퓨터들의 동작에 의한 처리를 위해, 또는 이 동작을 제어하기 위해, 컴퓨터 프로그램 제품, 즉 정보 캐리어, 예를 들어 기계 판독가능 저장 장치(컴퓨터 판독가능 매체)에 기록된 컴퓨터 프로그램으로서 구현될 수 있다. 상술한 컴퓨터 프로그램(들)과 같은 컴퓨터 프로그램은 컴파일된 또는 인터프리트된 언어들을 포함하는 임의의 형태의 프로그래밍 언어로 기록될 수 있고, 독립형 프로그램으로서 또는 모듈, 구성요소, 서브루틴, 또는 컴퓨팅 환경에서의 사용에 적절한 다른 유닛으로서 포함하는 임의의 형태로 전개될 수 있다. 컴퓨터 프로그램은 하나의 사이트에서 하나의 컴퓨터 또는 다수의 컴퓨터들 상에서 처리되도록 또는 다수의 사이트들에 걸쳐 분배되고 통신 네트워크에 의해 상호 연결되도록 전개될 수 있다.
컴퓨터 프로그램의 처리에 적절한 프로세서들은 예로서, 범용 및 특수 목적 마이크로프로세서들 둘 다, 및 임의의 종류의 디지털 컴퓨터의 임의의 하나 이상의 프로세서들을 포함한다. 일반적으로, 프로세서는 판독 전용 메모리 또는 랜덤 액세스 메모리 또는 둘 다로부터 명령어들 및 데이터를 수신할 것이다. 컴퓨터의 요소들은 명령어들을 실행하는 적어도 하나의 프로세서 및 명령어들 및 데이터를 저장하는 하나 이상의 메모리 장치들을 포함할 수 있다. 일반적으로, 컴퓨터는 데이터를 저장하는 하나 이상의 대량 저장 장치들, 예를 들어 자기, 자기-광 디스크들, 또는 광 디스크들을 포함할 수 있거나, 이것들로부터 데이터를 수신하거나 이것들에 데이터를 송신하거나 또는 양쪽으로 되도록 결합될 수도 있다. 컴퓨터 프로그램 명령어들 및 데이터를 구체화하는데 적절한 정보 캐리어들은 예로서 반도체 메모리 장치들, 예를 들어, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 롬(ROM, Read Only Memory), 램(RAM, Random Access Memory), 플래시 메모리, EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM) 등을 포함한다. 프로세서 및 메모리는 특수 목적 논리 회로조직에 의해 보충되거나, 이에 포함될 수 있다.
또한, 컴퓨터 판독가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용매체일 수 있고, 컴퓨터 저장매체 및 전송매체를 모두 포함할 수 있다.
본 명세서는 다수의 특정한 구현물의 세부사항들을 포함하지만, 이들은 어떠한 발명이나 청구 가능한 것의 범위에 대해서도 제한적인 것으로서 이해되어서는 안되며, 오히려 특정한 발명의 특정한 실시형태에 특유할 수 있는 특징들에 대한 설명으로서 이해되어야 한다. 개별적인 실시형태의 문맥에서 본 명세서에 기술된 특정한 특징들은 단일 실시형태에서 조합하여 구현될 수도 있다. 반대로, 단일 실시형태의 문맥에서 기술한 다양한 특징들 역시 개별적으로 혹은 어떠한 적절한 하위 조합으로도 복수의 실시형태에서 구현 가능하다. 나아가, 특징들이 특정한 조합으로 동작하고 초기에 그와 같이 청구된 바와 같이 묘사될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징들은 일부 경우에 그 조합으로부터 배제될 수 있으며, 그 청구된 조합은 하위 조합이나 하위 조합의 변형물로 변경될 수 있다.
마찬가지로, 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. 또한, 상술한 실시형태의 다양한 장치 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안되며, 설명한 프로그램 컴포넌트와 장치들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징 될 수 있다는 점을 이해하여야 한다.
한편, 본 명세서와 도면에 개시된 본 발명의 실시 예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 자명한 것이다.
110: 광학 스캐너
120: 복합 초점 이미지 생성 장치
130: 초점면 복원 장치

Claims (16)

  1. 깊이에 따라 카메라의 초점을 변경함으로써 획득된 초점면들을 식별하는 단계;
    상기 초점면들 각각에서 오브젝트에 포커싱된 픽셀들을 추출하는 단계;
    상기 오브젝트에 포커싱된 픽셀들 각각에 대응하는 초점면들의 인덱스를 상기 오브젝트에 포커싱된 픽셀들 각각에 할당하는 단계; 및
    상기 오브젝트에 포커싱된 픽셀들을 조합하여 복합 초점 이미지를 생성하는 단계
    를 포함하고,
    상기 할당하는 단계는,
    상기 오브젝트에 포커싱된 픽셀이 복수의 초점면들에서 동일한 위치에 존재하는 경우. 상기 오브젝트에 포커싱된 픽셀들 중에서 콘트라스트(contrast)가 가장 높은 픽셀이 포함된 초점면의 인덱스를 상기 픽셀에 할당하는 복합 초점 이미지 생성 방법.
  2. 삭제
  3. 깊이에 따라 카메라의 초점을 변경함으로써 획득된 초점면들을 식별하는 단계;
    상기 초점면들 각각에서 오브젝트에 포커싱된 픽셀들을 추출하는 단계;
    상기 오브젝트에 포커싱된 픽셀들 각각에 대응하는 초점면들의 인덱스를 상기 오브젝트에 포커싱된 픽셀들 각각에 할당하는 단계; 및
    상기 오브젝트에 포커싱된 픽셀들을 조합하여 복합 초점 이미지를 생성하는 단계
    를 포함하고,
    상기 초점면들을 식별하는 단계는,
    상기 초점면들 각각을 획득할 때의 카메라의 방향을 상기 초점면들 각각의 가장자리 영역에 저장하는 복합 초점 이미지 생성 방법.
  4. 제3항에 있어서,
    상기 복합 초점 이미지를 생성하는 단계는,
    상기 초점면들 각각의 가장자리 영역에 저장된 카메라의 방향을 상기 복합 초점 이미지의 가장자리 영역에 저장하는 복합 초점 이미지 생성 방법.
  5. 복수의 초점면들이 조합된 복합 초점 이미지의 픽셀들 각각에 저장된 초점면의 인덱스를 식별하는 단계;
    상기 복수의 초점면들 중 상기 인덱스에 대응하는 초점면을 식별하는 단계; 및
    상기 초점면들에 포함된 픽셀들 각각에 상기 픽셀들의 색상 정보를 적용하는 단계
    를 포함하고,
    상기 초점면은, 깊이에 따라 카메라의 초점을 변경함으로써 획득되고,
    상기 픽셀들은, 오브젝트에 포커싱된 픽셀이며,
    상기 픽셀들 각각은,
    상기 오브젝트에 포커싱된 픽셀이 복수의 초점면들에서 동일한 위치에 존재하는 경우. 상기 오브젝트에 포커싱된 픽셀들 중에서 콘트라스트(contrast)가 가장 높은 픽셀이 포함된 초점면의 인덱스가 할당된 초점면 복원 방법.
  6. 복수의 초점면들이 조합된 복합 초점 이미지의 픽셀들 각각에 저장된 초점면의 인덱스를 식별하는 단계;
    상기 복수의 초점면들 중 상기 인덱스에 대응하는 초점면을 식별하는 단계; 및
    상기 초점면들에 포함된 픽셀들 각각에 상기 픽셀들의 색상 정보를 적용하는 단계
    를 포함하고,
    상기 초점면은, 깊이에 따라 카메라의 초점을 변경함으로써 획득되고,
    상기 픽셀들은, 오브젝트에 포커싱된 픽셀이며,
    상기 인덱스를 식별하는 단계는,
    상기 복합 초점 이미지의 가장자리 영역에 저장된 카메라의 방향을 식별하는 초점면 복원 방법.
  7. 제6항에 있어서,
    상기 색상 정보를 적용하는 단계는
    상기 복합 초점 이미지의 가장자리 영역에 저장된 카메라의 방향을 상기 초점면들 각각의 가장자리 영역에 저장하는 초점면 복원 방법.
  8. 제5항에 있어서,
    상기 픽셀들의 색상 정보를 적용하여 복원한 초점면들을 광학 스캐너의 카메라가 획득한 순서에 따라 스택 형태로 조합하여 출력하는 단계
    를 더 포함하는 초점면 복원 방법.
  9. 깊이에 따라 카메라의 초점을 변경함으로써 획득된 초점면들을 식별하는 초점면 식별부;
    상기 초점면들 각각에서 오브젝트에 포커싱된 픽셀들을 추출하는 포커싱된 픽셀 추출부;
    상기 오브젝트에 포커싱된 픽셀들 각각에 대응하는 초점면들의 인덱스를 상기 오브젝트에 포커싱된 픽셀들 각각에 할당하는 인덱스 할당부; 및
    상기 오브젝트에 포커싱된 픽셀들을 조합하여 복합 초점 이미지를 생성하는 복합 초점 이미지 생성부
    를 포함하고,
    상기 인덱스 할당부는,
    상기 오브젝트에 포커싱된 픽셀이 복수의 초점면들에서 동일한 위치에 존재하는 경우. 상기 오브젝트에 포커싱된 픽셀들 중에서 콘트라스트(contrast)가 가장 높은 픽셀이 포함된 초점면의 인덱스를 상기 픽셀에 할당하는 복합 초점 이미지 생성 장치.
  10. 삭제
  11. 깊이에 따라 카메라의 초점을 변경함으로써 획득된 초점면들을 식별하는 초점면 식별부;
    상기 초점면들 각각에서 오브젝트에 포커싱된 픽셀들을 추출하는 포커싱된 픽셀 추출부;
    상기 오브젝트에 포커싱된 픽셀들 각각에 대응하는 초점면들의 인덱스를 상기 오브젝트에 포커싱된 픽셀들 각각에 할당하는 인덱스 할당부; 및
    상기 오브젝트에 포커싱된 픽셀들을 조합하여 복합 초점 이미지를 생성하는 복합 초점 이미지 생성부
    를 포함하고,
    상기 초점면 식별부는,
    상기 초점면들 각각을 획득할 때의 카메라의 방향을 상기 초점면들 각각의 가장자리 영역에 저장하는 복합 초점 이미지 생성 장치.
  12. 제11항에 있어서,
    상기 복합 초점 이미지 생성부는,
    상기 초점면들 각각의 가장자리 영역에 저장된 카메라의 방향을 상기 복합 초점 이미지의 가장자리 영역에 저장하는 복합 초점 이미지 생성 장치.
  13. 복수의 초점면들이 조합된 복합 초점 이미지의 픽셀들 각각에 저장된 초점면의 인덱스를 식별하는 인덱스 식별부;
    상기 복수의 초점면들 중 상기 인덱스에 대응하는 초점면을 식별하는 초점면 식별부; 및
    상기 초점면들에 포함된 픽셀들 각각에 상기 픽셀들의 색상 정보를 적용하는 색상 정보 적용부
    를 포함하고,
    상기 초점면은, 깊이에 따라 카메라의 초점을 변경함으로써 획득되고,
    상기 픽셀들은, 오브젝트에 포커싱된 픽셀이며,
    상기 픽셀들 각각은,
    상기 오브젝트에 포커싱된 픽셀이 복수의 초점면들에서 동일한 위치에 존재하는 경우. 상기 오브젝트에 포커싱된 픽셀들 중에서 콘트라스트(contrast)가 가장 높은 픽셀이 포함된 초점면의 인덱스가 할당된 초점면 복원 장치.
  14. 복수의 초점면들이 조합된 복합 초점 이미지의 픽셀들 각각에 저장된 초점면의 인덱스를 식별하는 인덱스 식별부;
    상기 복수의 초점면들 중 상기 인덱스에 대응하는 초점면을 식별하는 초점면 식별부; 및
    상기 초점면들에 포함된 픽셀들 각각에 상기 픽셀들의 색상 정보를 적용하는 색상 정보 적용부
    를 포함하고,
    상기 초점면은, 깊이에 따라 카메라의 초점을 변경함으로써 획득되고,
    상기 픽셀들은, 오브젝트에 포커싱된 픽셀이며,
    상기 인덱스 식별부는,
    상기 복합 초점 이미지의 가장자리 영역에 저장된 카메라의 방향을 식별하는 초점면 복원 장치.
  15. 제14항에 있어서,
    상기 색상 정보 적용부는
    상기 복합 초점 이미지의 가장자리 영역에 저장된 카메라의 방향을 상기 초점면들 각각의 가장자리 영역에 저장하는 초점면 복원 장치.
  16. 제13항에 있어서,
    상기 색상 정보 적용부는,
    상기 픽셀들의 색상 정보를 적용하여 복원한 초점면들을 광학 스캐너의 카메라가 획득한 순서에 따라 스택 형태로 조합하여 출력하는 초점면 복원 장치.
KR1020170163273A 2017-11-30 2017-11-30 초점 조절방식 광학 스캐너의 초점면들을 이용한 복합 초점 이미지 생성 장치 및 그 방법 KR101997358B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170163273A KR101997358B1 (ko) 2017-11-30 2017-11-30 초점 조절방식 광학 스캐너의 초점면들을 이용한 복합 초점 이미지 생성 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170163273A KR101997358B1 (ko) 2017-11-30 2017-11-30 초점 조절방식 광학 스캐너의 초점면들을 이용한 복합 초점 이미지 생성 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20190064024A KR20190064024A (ko) 2019-06-10
KR101997358B1 true KR101997358B1 (ko) 2019-07-08

Family

ID=66848860

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170163273A KR101997358B1 (ko) 2017-11-30 2017-11-30 초점 조절방식 광학 스캐너의 초점면들을 이용한 복합 초점 이미지 생성 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101997358B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110989062B (zh) * 2019-12-17 2021-05-04 中国科学院长春光学精密机械与物理研究所 一种多焦点光学元件及其设计方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110261993A1 (en) * 2010-04-26 2011-10-27 City University Of Hong Kong Well focused catadioptric image acquisition

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9393087B2 (en) * 2013-08-01 2016-07-19 Align Technology, Inc. Methods and systems for generating color images
US9344619B2 (en) * 2013-08-30 2016-05-17 Qualcomm Incorporated Method and apparatus for generating an all-in-focus image

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110261993A1 (en) * 2010-04-26 2011-10-27 City University Of Hong Kong Well focused catadioptric image acquisition

Also Published As

Publication number Publication date
KR20190064024A (ko) 2019-06-10

Similar Documents

Publication Publication Date Title
Krig Computer vision metrics: Survey, taxonomy, and analysis
JP5751986B2 (ja) 画像生成装置
JP6168794B2 (ja) 情報処理方法および装置、プログラム。
US8031232B2 (en) Image pickup apparatus including a first image formation system and a second image formation system, method for capturing image, and method for designing image pickup apparatus
JP5142701B2 (ja) 符号化方法、電子カメラ、符号化プログラム、及び復号方法
KR20240051313A (ko) 영상 데이터 부호화/복호화 방법 및 장치
US9070223B2 (en) Image processing device, image processing method, and image processing program
US11818361B2 (en) Data compression apparatus, data compression method, and program
JP4965967B2 (ja) 映像表示システムの調整システム
KR101997358B1 (ko) 초점 조절방식 광학 스캐너의 초점면들을 이용한 복합 초점 이미지 생성 장치 및 그 방법
WO2017144503A1 (en) Apparatus for generating a synthetic 2d image with an enhanced depth of field of an object
KR20190133867A (ko) 증강현실 서비스 제공 시스템 및 이의 360도 회전 이미지 파일 생성 방법
WO2017200547A1 (en) Array camera imaging system having distributed memory
JP2016208075A (ja) 画像出力装置およびその制御方法、撮像装置、プログラム
US10304172B2 (en) Optical center detection in plenoptic imaging systems
JP6802848B2 (ja) 画像処理装置、撮像システム、画像処理方法および画像処理プログラム
JP4554231B2 (ja) 歪みパラメータの生成方法及び映像発生方法並びに歪みパラメータ生成装置及び映像発生装置
RU2503060C2 (ru) Устройство обработки изображений и способ для управления устройством обработки изображений
JP2019008582A (ja) 映像処理装置、映像処理方法および映像処理プログラム
Popovic et al. Design and implementation of real-time multi-sensor vision systems
KR20180070653A (ko) 다중-해상도 압축 감지 이미지 처리
WO2007146129A2 (en) Self-similar image capture systems
JP2019208214A (ja) 画像処理装置、画像処理方法およびプログラム、並びに撮像装置
JP6585890B2 (ja) 画像処理装置、画像処理方法およびプログラム、並びに撮像装置
KR102414377B1 (ko) 색상요소분할 전처리 기반의 플렌옵틱 영상 디코딩 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant