KR102364044B1 - 광각 이미지를 촬영하고 보정하는 장치 및 방법 - Google Patents

광각 이미지를 촬영하고 보정하는 장치 및 방법 Download PDF

Info

Publication number
KR102364044B1
KR102364044B1 KR1020190176636A KR20190176636A KR102364044B1 KR 102364044 B1 KR102364044 B1 KR 102364044B1 KR 1020190176636 A KR1020190176636 A KR 1020190176636A KR 20190176636 A KR20190176636 A KR 20190176636A KR 102364044 B1 KR102364044 B1 KR 102364044B1
Authority
KR
South Korea
Prior art keywords
wide
angle image
reference pattern
angle
image
Prior art date
Application number
KR1020190176636A
Other languages
English (en)
Other versions
KR20210083884A (ko
Inventor
윤선규
이광훈
전성국
이진수
Original Assignee
한국광기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국광기술원 filed Critical 한국광기술원
Priority to KR1020190176636A priority Critical patent/KR102364044B1/ko
Publication of KR20210083884A publication Critical patent/KR20210083884A/ko
Application granted granted Critical
Publication of KR102364044B1 publication Critical patent/KR102364044B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H04N5/217—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
    • H04N5/232125—
    • H04N5/23229—

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

광각 이미지를 촬영하고 보정하는 장치 및 방법을 개시한다.
본 실시예의 일 측면에 의하면, 광각 이미지를 획득하는 광각 이미지 획득부와 기준 패턴을 출력하는 기준패턴 출력부와 상기 광각 이미지 촬영부가 획득한 광각 이미지 내 기준 패턴을 검출하여, 상기 기준패턴을 이용해 광각 이미지의 왜곡을 보정하는 이미지 처리부 및 상기 광각 이미지 획득부, 상기 기준패턴 출력부 및 상기 이미지 처리부의 동작을 제어하는 제어부를 포함하는 것을 특징으로 하는 광각 이미지 촬영장치를 제공한다.

Description

광각 이미지를 촬영하고 보정하는 장치 및 방법{Apparatus and Method for Photographing and Correcting Wide Angle Images}
본 발명은 광각 이미지를 촬영하고, 촬영된 광각 이미지 내 왜곡을 보정하는 장치 및 방법에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
도 1은 광각 이미지를 촬영하는 장치를 도시한 도면이고, 도 2는 촬영된 광각 이미지와 왜곡을 보정한 광각 이미지를 도시한 도면이다.
광각 이미지 촬영장치(100)는 장치로부터 일정 거리만큼 떨어진 기준면에서의 광각 이미지를 촬영하는 기기이다. 광각 이미지는 표준 렌즈에 비해 초점거리가 상당히 작은 광각 렌즈에 의해 촬영된 이미지로서, 넓은 화각 또는 시야각을 갖는다.
광각 이미지 촬영장치(100)는 광각 렌즈를 포함하여 촬영하는데, 광각 렌즈의 대표적인 예로 어안(魚眼) 렌즈가 있다. 어안 렌즈는 구면 수차를 이용하여 만든 초광각 렌즈로 180° 또는 그 이상의 시야를 갖는 화상을 어떤 한정된 크기의 범위 안에 마이너스의 왜곡을 갖게 결상시키는 렌즈이다. 어안 렌즈와 같은 초광각 렌즈로 촬영된 이미지는 도 2(a)에 도시되어 있다.
도 2(a)에서 확인할 수 있듯이, 초광각 렌즈로 촬영할 경우, 이미지 내에서 왜곡이 발생한다. 특히, 이미지의 일부분 또는 전부분이 곡선형태로 왜곡된다.
광각 이미지는 넓은 시야각을 확보할 수 있어 넓은 범위를 촬영하기에는 좋으나, 전술한 대로, 왜곡이 발생하기에 특정한 목적 이외에는 사용되기 곤란했다.
이러한 불편을 해소하고자, 통상적으로 광각 이미지에는 왜곡의 보정이 수행된다. 왜곡의 보정이 수행된 이미지가 도 2(b)에 도시되어 있다.
도 2(b)에서 확인할 수 있듯이, 전체적으로 곡선 형태로 왜곡된 것을 직선형태로 보정함으로써, 피사체 또는 배경의 원래 형태가 드러나게 된다.
광각 이미지에서 발생하는 왜곡을 보정하기 위해, 종래에는 광각 이미지 촬영장치(100) 내 광학계의 상세 정보를 이용하여 보정하거나, 광각 이미지 내 직선 정보를 추출하여 해당 정보를 직선형태로 변형하는 방법으로 보정을 수행하였다.
그러나 광학계의 상세 정보를 이용하는 방법은 다음과 같은 문제점이 존재한다. 저장된 광학계의 정보 그대로 촬영이 이루어진 경우라면, 해당 정보를 이용하여 손쉽게 광각 이미지의 왜곡 보정이 수행될 수 있다. 그러나 광각 이미지 촬영장치(100)가 촬영하는 기준면의 거리가 바뀔 경우, 광학계 내 렌즈의 초점거리 및 배율 등 광학계의 상세 정보가 변하게 되기에, 기 저장된 광학계의 정보를 보정하는데 사용할 수 없다. 즉, 전술한 방법은 광각 이미지 촬영장치(100)가 촬영하는 기준면의 거리 변화에 능동적으로 대처할 수 없는 문제가 존재한다.
한편, 광각 이미지 내 직선 정보를 추출하여 보정하는 방법은 광각 이미지 내 직선 정보를 추출하는데 곤란함이 있다. 왜곡이 발생한 광각 이미지 내에서 직선 정보를 추출해야 하는데, 이미지 내 일 부분 또는 전 부분에서 이미 왜곡이 발생한 상태이므로 특정 부분의 원래 형태가 직선이었는지 곡선이었는지를 분간하는 것이 굉장히 곤란하다. 이에, 각각의 부분이 무엇인지에 대한 데이터와 각 부분의 형태가 직선인지 또는 곡선인지에 대한 수많은 데이터를 각각 저장하고 있어야만 광각 이미지 내에서 직선 정보를 추출할 수 있다. 이에 따라, 수많은 데이터를 저장하고 처리할 수 있기 위해, 고가의 부품이 장착되어야 하는 문제가 존재한다.
본 발명의 일 실시예는, 촬영을 하며 광학계의 상태가 가변하더라도 실시간으로 획득한 광각 이미지를 보정할 수 있는 광각 이미지 촬영장치 및 방법을 제공하는 데 일 목적이 있다.
또한, 본 발명의 일 실시예는, 촬영된 광각 이미지의 기준면의 위치를 정확히 연산할 수 있는 광각 이미지 촬영장치 및 방법을 제공하는 데 일 목적이 있다.
본 발명의 일 측면에 의하면, 광각 이미지를 획득하는 광각 이미지 획득부와 기준 패턴을 출력하는 기준패턴 출력부와 상기 광각 이미지 촬영부가 획득한 광각 이미지 내 기준 패턴을 검출하여, 상기 기준패턴을 이용해 광각 이미지의 왜곡을 보정하는 이미지 처리부 및 상기 광각 이미지 획득부, 상기 기준패턴 출력부 및 상기 이미지 처리부의 동작을 제어하는 제어부를 포함하는 것을 특징으로 하는 광각 이미지 촬영장치를 제공한다.
본 발명의 일 측면에 의하면, 상기 광각 이미지는 어안(Fisheye) 이미지를 포함하는 것을 특징으로 한다.
본 발명의 일 측면에 의하면, 상기 광각 이미지 획득부는 획득하고자 하는 이미지에 대한 기준면과의 거리에 따라, 초점거리 또는 배율을 조정하는 것을 특징으로 한다.
본 발명의 일 측면에 의하면, 상기 기준패턴은 격자무늬를 갖는 것을 특징으로 한다.
본 발명의 일 측면에 의하면, 상기 격자무늬는 직선 형태를 포함하는 것을 특징으로 한다.
본 발명의 일 측면에 의하면, 광각 이미지 촬영장치가 왜곡을 보정한 광각 이미지를 촬영하는 방법에 있어서, 기준 패턴을 출력하는 출력과정과 광각 이미지를 획득하는 획득과정과 상기 획득과정에서 획득한 광각 이미지 내 상기 기준 패턴을 검출하는 검출과정 및 상기 검출과정에서 검출된 기준 패턴을 이용하여 상기 광각 이미지의 왜곡을 보정하는 보정과정을 포함하는 것을 특징으로 하는 광각 이미지 촬영방법을 제공한다.
본 발명의 일 측면에 의하면, 상기 광각 이미지는 어안(Fisheye) 이미지를 것을 특징으로 한다.
본 발명의 일 측면에 의하면, 상기 획득과정은 획득하고자 하는 이미지에 대한 기준면의 위치에 따라, 초점거리 또는 배율을 조정하여 광각 이미지를 획득하는 것을 특징으로 한다.
본 발명의 일 측면에 의하면, 상기 기준패턴은 격자무늬를 갖는 것을 특징으로 한다.
본 발명의 일 측면에 의하면, 상기 격자무늬는 직선 형태를 포함하는 것을 특징으로 한다.
본 발명의 일 측면에 의하면, 광각 이미지를 획득하는 광각 이미지 획득부와 기준 패턴을 출력하는 기준패턴 출력부와 상기 광각 이미지 획득부가 획득한 광각 이미지의 중심점과 상기 광각 이미지 내 상기 기준 패턴의 중심을 파악하는 이미지 처리부 및 상기 광각 이미지의 중심점과 상기 기준 패턴의 중심 간 거리차를 연산하여, 상기 광각 이미지 획득부가 획득한 광각 이미지의 기준점 위치를 연산하는 제어부를 포함하는 것을 특징으로 하는 광각 이미지 촬영장치를 제공한다.
본 발명의 일 측면에 의하면, 상기 광각 이미지는 어안(Fisheye) 이미지를 포함하는 것을 특징으로 한다.
본 발명의 일 측면에 의하면, 광각 이미지 촬영장치가 광각 이미지의 중심점의 위치를 연산하는 방법에 있어서, 기준 패턴을 출력하는 출력과정과 광각 이미지를 획득하는 획득과정과 상기 광각 이미지 획득부가 획득한 광각 이미지의 중심점과 상기 광각 이미지 내 상기 기준 패턴의 중심을 파악하는 파악과정과 상기 광각 이미지의 중심점과 상기 기준 패턴의 중심 간 거리차를 연산하는 제1 연산과정 및 상기 제1 연산과정에서의 연산 결과를 이용하여 상기 획득과정에서 획득한 광각 이미지의 기준점 위치를 연산하는 제2 연산과정을 포함하는 것을 특징으로 하는 이미지 위치 연산방법을 제공한다.
본 발명의 일 측면에 의하면, 상기 광각 이미지는 어안(Fisheye) 이미지를 포함하는 것을 특징으로 한다.
이상에서 설명한 바와 같이, 본 발명의 일 측면에 따르면, 촬영을 하며 광학계의 상태가 가변하더라도 실시간으로 획득한 광각 이미지를 보정할 수 있는 장점이 있다.
또한, 본 발명의 일 측면에 따르면, 고가의 부품을 이용하지 않더라도 촬영된 광각 이미지의 기준면의 위치를 정확히 연산할 수 있는 장점이 있다.
도 1은 광각 이미지를 촬영하는 장치를 도시한 도면이다.
도 2는 촬영된 광각 이미지와 왜곡을 보정한 광각 이미지를 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 광각 이미지 촬영장치의 구성을 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 기준 패턴을 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 광각 이미지 획득부가 광각 이미지를 획득하는 기준면과 각 기준면에서 출력되는 기준 패턴을 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 광각 이미지 촬영장치가 획득한 광각 이미지의 기준면까지의 거리를 연산하는 과정을 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 광각 이미지 촬영장치가 획득한 광각 이미지를 보정하는 방법을 도시한 순서도이다.
도 8은 본 발명의 일 실시예에 따른 광각 이미지 촬영장치가 획득한 광각 이미지의 기준면까지의 거리를 연산하는 방법을 도시한 순서도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에서, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서 "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해서 일반적으로 이해되는 것과 동일한 의미를 가지고 있다.
일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 본 발명의 각 실시예에 포함된 각 구성, 과정, 공정 또는 방법 등은 기술적으로 상호간 모순되지 않는 범위 내에서 공유될 수 있다.
도 3은 본 발명의 일 실시예에 따른 광각 이미지 촬영장치의 구성을 도시한 도면이다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 광각 이미지 촬영장치(100)는 광각 이미지 획득부(310), 기준 패턴 출력부(320), 이미지 처리부(330) 및 제어부(340)를 포함한다.
광각 이미지 획득부(310)는 광각 또는 초광각 이미지(이하에서는 편의상 광각만을 언급하나, 초광각도 포함된 개념임은 당연하다)를 획득한다. 광각 이미지 획득부(310)는 광각 렌즈 또는 초광각 렌즈(예를 들어, 어안 렌즈)를 포함하여, 광각 이미지 또는 초광각 이미지(예를 들어, 어안 이미지)를 획득한다. 광각 이미지 획득부(310)가 획득하는 광각 또는 초광각 이미지는 도 2(a)에 도시된 것과 같은 왜곡을 포함하고 있는 이미지이므로, 왜곡의 보정을 위해 광각 이미지 획득부(310)는 획득한 이미지를 이미지 처리부(330)로 전달한다.
광각 이미지 획득부(310)는 이미지를 획득함에 있어, 특정 기준면(초점거리)에서 넓은 시야각으로 이미지를 획득한다. 광각 이미지 획득부(310)는 넓은 시야각으로 이미지를 획득하기에, 광각 이미지 획득부(310)가 이미지를 획득하기 위한 광축(중심축) 상에 위치한 대상물 등은 물론, 광축을 벗어난 대상물이나 광축을 벗어나 (기준 패턴 출력부로부터) 조사되는 기준패턴 등도 하나의 이미지로 모두 획득할 수 있다.
기준 패턴 출력부(320)는 광각 이미지 획득부(310)와 기 설정된 거리만큼 떨어져 기 설정된 각도로 기준 패턴을 출력한다. 기준 패턴 출력부(320)는 광각 이미지 획득부(310)가 광각 이미지를 획득하는 실 공간상으로 기준 패턴을 출력한다. 기준 패턴 출력부(320)는 거리에 따라 기준 패턴을 왜곡없이 출력하기 위한 구성으로 구현될 수 있으며, 예를 들어, 프로젝터나 레이저 다이오드(LD: Laser Diode)로 구현될 수 있다. 이때, 광각 이미지 촬영장치(100)가 실내에 배치될 경우, 태양광 등 별도의 노이즈 광이 없기에 기준 패턴 출력부(320)는 적외광(IR)을 출력할 수 있다. 반면, 광각 이미지 촬영장치(100)가 실외에 배치될 경우, 기준 패턴 출력부(320)는 광각 이미지에서 노이즈 광과 구분될 수 있도록 특정 색의 가시광을 출력할 수 있다.
기준 패턴 출력부(320)가 출력하는 기준 패턴은 도 4에 도시되어 있다.
도 4는 본 발명의 일 실시예에 따른 기준 패턴을 도시한 도면이다.
도 4를 참조하면, 기준패턴(400)은 격자무늬를 가지며, 내부에 직선 또는 직선으로 인식될 수 있는 형태를 갖는다. 도 4(a)에 도시된 기준패턴(400)과 같이 패턴 내에 직선으로 구현될 수도 있고, 도 4(b)에 도시된 기준패턴(400)과 같이 직선으로 구현된 것은 아니나, 직선으로 인식될 수 있는 형태를 가질 수 있다.
또한, 광각 이미지 내에 기준 패턴(400)이 포함되었을 때 이미지 처리부(300)에서 기준 패턴(400)의 중심을 확인할 수 있도록, 기준패턴(400)은 중심부분은 다른 부분과 다른 패턴을 갖는다. 예를 들어, 도 4(a)에 도시된 기준패턴(400)은 패턴의 중심(410)이 다른 부분과 구분되도록, 중심부분에 여러 개의 직선이 조밀하게 배치되어 있을 수 있다. 또는, 도 4(b)에 도시된 기준패턴(400)은 중심(40) 주변의 점들은 배치되지 않을 수 있다. 다만, 도 4에 도시된 것은 기준 패턴(400)의 중심이 주변부와 구분될 수 있도록 하기 위한 일 예일 뿐이며, 중심이 주변부와 구분될 수 있다면 기준 패턴(400)의 중심이 어떠한 형태로 구현되어도 무방하다.
다시 도 3을 참조하면, 이미지 처리부(330)는 광각 이미지 획득부(310)가 획득한 광각 이미지의 왜곡을 보정한다. 이미지 처리부(330)는 광각 이미지 내 기준 패턴(400)을 검출하고, 검출된 기준 패턴(400)을 이용하여 광각 이미지의 왜곡을 보정한다. 기준 패턴(400)은 광각 이미지 획득부(310)가 이미지를 획득하고자 하는 공간 상에 존재하던 패턴이 아닌 기준 패턴 출력부(320)가 임의로 해당 공간에 출력한 패턴이기에, 이미지 처리부(330)는 기준패턴(400)을 검출하는데 어려움이 존재하지 않는다. 특히, 기준 패턴은 영상 처리로 광각 이미지 내에 포함되는 패턴이 아니라, 기준 패턴 출력부(320)에 의해 실 공간상으로 출력되는 기준패턴이기에 광각 이미지 획득부(310)의 영상왜곡이나 광각 이미지 획득 조건의 변화 등에 무관하다. 이에, 이미지 처리부(330)는 광각 이미지 내에서 많은 연산없이 기준 패턴(400)을 검출할 수 있다.
또한, 기준 패턴(400)은 고유의 격자무늬를 갖기에, 종래의 방법과 같이 이미지 내에서 원래 직선의 형태를 가졌던 정보를 추출하는데 어려움이 없다. 기준 패턴(400)은 영상 왜곡으로 인해 곡선 형태로 왜곡되든, 직선 형태로 그대로 유지되든 관계없이 고유의 패턴을 갖기에, 이미지 처리부(330)가 어려움없이 광각 이미지에서 검출할 수 있다.
이미지 처리부(330)는 검출한 기준 패턴을 토대로, 광각 이미지의 왜곡을 보정한다. 기준 패턴(400)은 원래 직선 또는 직선으로 인식될 수 있는 형태를 갖기에, 이미지 처리부(330)는 광각 이미지 내에서의 기준 패턴을 직선 또는 직선으로 인식될 수 있는 형태로 보정하기만 하면 광각 이미지의 왜곡을 보정할 수 있다. 이에 따라, 이미지 처리부(330)는 광각 이미지를 촬영한 광각 이미지 획득부(310)의 이미지 획득조건(초점거리 또는 배율 등)과는 독립적으로 왜곡을 보정할 수 있으며, 간단한 연산을 거치면 되기에 거의 실시간으로 왜곡을 보정할 수 있다.
제어부(340)는 각 구성(310 내지 330)의 동작을 제어하며, 광각 이미지를 분석하여 기준면의 정확한 위치를 연산한다.
제어부(340)는 광각 이미지 획득부(310)가 광각 이미지를 획득하도록 제어하며, 기준 패턴 출력부(320)가 기준 패턴을 출력하도록 제어한다. 제어부(340)는 광각 이미지 획득부(310)와 기준 패턴 출력부(320)의 동작을 제어하되, 광각 이미지 획득부(310)와 기준 패턴 출력부(320)를 동기화하여 제어한다. 제어부(340)는 광각 이미지 획득부(310)가 광각 이미지를 획득하는 특정 횟수당 또는 특정 시간당 한번씩 기준 패턴을 출력하도록 기준 패턴 출력부(320)를 제어한다. 기준 패턴(400)의 원래 목적이 광각 이미지를 보정하기 위한 것이기에, 지속적으로 출력될 경우, 기준 패턴(400)이 획득되는 광각 이미지에 불필요하게 노출된다. 이를 방지하고자, 기준 패턴(400)이 광각 이미지를 보정하는데 잠깐 사용되고 광각 이미지에 지속적으로 노출되지 않도록, 제어부(340)는 광각 이미지 획득부(310)가 광각 이미지를 획득하는 특정 횟수당 또는 특정 시간당 한번씩 기준 패턴을 출력하도록 기준 패턴 출력부(320)를 제어한다.
제어부(340)는 이미지 처리부(330)가 광각 이미지를 보정하도록 제어한다.
제어부(340)는 보정된 광각 이미지를 토대로, 광각 이미지의 기준면의 정확한 위치를 연산한다. 광각 이미지 획득부(310)가 특정 기준면에 대해 이미지를 획득하였을 때, 광각 이미지 획득부(310)만으로는 종래의 광각 이미지 촬영장치와 같이 촬영한 초점거리 및 그에 위치한 (이미지에 촬영된) 대상물의 위치를 개략적으로 추정만 할 수 있을 뿐, 정확한 위치의 연산은 할 수 없다. 예를 들어, 종래의 광각 이미지 촬영장치가 기 설정된 기준면에 대해 획득한 이미지의 초점이 또렷한 경우, 촬영한 초점거리 및 그에 위치한 대상물이 기 설정된 기준면(이미 알고 있는 위치)에 위치하고 있음을 알 수는 있다. 그러나 종래의 광각 이미지 촬영장치가 기 설정된 기준면에 대해 획득한 이미지의 초점이 맞지 않는 경우라면, 촬영한 초점거리 및 그에 위치한 대상물은 기 설정된 기준면의 전·후에 위치하고 있음을 추정만 할 뿐, 정확히 어디에 위치하고 있는지는 알 수 없다. 제어부(340)는 특정 기준면에서의 광각 이미지의 중심점과 기준 패턴의 중심간 거리 차를 연산하여, 특정 기준면의 정확한 위치를 연산할 수 있다. 제어부(340)의 연산과정은 도 6에 도시되어 있다.
도 6은 본 발명의 일 실시예에 따른 광각 이미지 촬영장치가 획득한 광각 이미지의 기준면까지의 거리를 연산하는 과정을 도시한 도면이다.
광각 이미지 획득부(310)와 기준 패턴 출력부(320)가 최초로 배치될 경우, 제어부(340)는 광각 이미지 획득부(310)와 기준 패턴 출력부(320) 간 간격(b)와 광각 이미지 획득부(310)로부터 기 설정된 기준점(610)까지의 거리(a) 정보를 저장하고 있다. 여기서, 기 설정된 기준점(610)은 기준패턴의 중심과 광각 이미지의 중심점이 일치하는 지점일 수 있다.
광각 이미지 획득부(310)가 특정 기준점에서 광각 이미지를 획득한 경우, 제어부(340)는 (이미지 처리부(330)로부터 왜곡이 보정된) 광각 이미지 내에서 광각 이미지의 중심점(620)과 기준 패턴의 중심(410 또는 420)을 파악한다. 광각 이미지 획득부(310)는 자신이 획득하는 광각 이미지의 중심점(620)에 대해서는 파악하고 있기에, 제어부(340)는 광각 이미지 획득부(310)로부터 광각 이미지의 특정 기준점에서의 중심점(620)에 대한 정보를 수신한다. 또한, 기준 패턴(400)은 이미지 내에서 인식이 용이한 중심(410 또는 420)을 포함하고 있기에, 제어부(340)는 광각 이미지 내에서 기준 패턴의 특정 기준점에서의 중심(410 또는 420)을 용이하게 검출한다. 제어부(340)는 양 중심간 거리차(y)를 연산한다. 제어부(340)는 연산한 양 중심간 거리차(y)를 이용하여 아래와 같이 특정 기준점의 정확한 위치를 연산할 수 있다.
a : b = x : y가 만족하기에, 특정 기준점의 위치(x 또는 a-x)는 a * y / b로 연산될 수 있다. 이에, 종래와 같이 기 설정된 기준점(610)으로부터 전방 또는 후방인 것으로 막연히 추정하는 것이 아니라, 제어부(340)는 광각 이미지 획득시의 특정 기준점이 기 설정된 기준점(610)으로부터 어느 정도 거리만큼 떨어졌는지 연산할 수 있다.
도 5는 본 발명의 일 실시예에 따른 광각 이미지 획득부가 광각 이미지를 획득하는 기준면과 각 기준면에서 출력되는 기준 패턴을 도시한 도면이다.
광각 이미지 획득부(310)는 다양한 기준점(510a 내지 510c)에서 광각 이미지를 획득할 수 있다.
이때, 광각 이미지 획득부(310)와 기 설정된 거리만큼 떨어진 위치에서, 기 설정된 각도로 기준 패턴 출력부(320)가 배치되며, 기준 패턴(400)을 출력한다. 기준 패턴(400)은 실 공간으로 기준 패턴의 형태(직선)를 유지하며 출력된다.
이에, 광각 이미지 획득부(310)가 획득하는 (일부의) 광각 이미지 내에는 보정을 위한 기준 패턴(400)이 포함된다. 패턴의 형태를 유지하는 기준 패턴(400)이 광각 이미지 내에 포함됨에 따라, 이미지 처리부(230)는 광각 이미지 내 기준 패턴(400)을 검출하여, 이를 직선화하는 보정을 수행함으로써 광각 이미지 전체의 왜곡도 함께 보정한다.
도 7은 본 발명의 일 실시예에 따른 광각 이미지 촬영장치가 획득한 광각 이미지를 보정하는 방법을 도시한 순서도이다.
기준패턴 출력부(220)는 기준 패턴을 출력한다(S710).
광각 이미지 획득부(210)는 특정 기준면에서의 광각 이미지를 획득한다(S720).
이미지 처리부(230)는 획득한 광각 이미지 내 기준 패턴을 검출한다(S730).
이미지 처리부(230)는 검출한 기준 패턴을 이용하여 광각 이미지의 왜곡을 보정한다(S740).
도 8은 본 발명의 일 실시예에 따른 광각 이미지 촬영장치가 획득한 광각 이미지의 기준면까지의 거리를 연산하는 방법을 도시한 순서도이다.
제어부(240)는 광각 이미지 내 중심점을 파악한다(S810).
제어부(240)는 광각 이미지에 포함된 기준 패턴(400)의 중심을 파악한다(S820).
제어부(240)는 광각 이미지 내 중심점과 기준 패턴(400)의 중심 간의 거리차를 연산한다(S830),
제어부(240)는 연산된 거리차를 토대로 광각 이미지 획득시의 특정 기준점의 정확한 위치를 연산한다(S840).
도 7 및 8에서는 각 과정을 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 발명의 일 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것이다. 다시 말해, 본 발명의 일 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 일 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 각 도면에 기재된 순서를 변경하여 실행하거나 각 과정 중 하나 이상의 과정을 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 7 및 8은 시계열적인 순서로 한정되는 것은 아니다.
한편, 도 7 및 8에 도시된 과정들은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 즉, 컴퓨터가 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등) 및 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 광각 이미지 촬영장치
310: 광각 이미지 획득부
320: 기준 패턴 출력부
330: 이미지 처리부
340: 제어부
400: 기준 패턴
410, 420: 중심
510: 기준면
610: 기 설정된 기준점
620: 특정 기준점

Claims (14)

  1. 어안(Fisheye) 이미지를 포함하는 광각 이미지를 획득하는 광각 이미지 획득부;
    상기 광각 이미지 획득부와 기 설정된 간격만큼 떨어져 기 설정된 각도로 직선 형태를 포함하는 격자 무늬를 갖는 기준 패턴을 상기 광각 이미지를 획득하는 실 공간상으로 출력하는 기준패턴 출력부;
    상기 광각 이미지 획득부가 획득한 광각 이미지 내 기준 패턴을 검출하여, 검출된 기준 패턴을 직선화하는 보정을 수행하여 광각 이미지의 왜곡을 보정하고, 왜곡이 보정된 광각 이미지 내에서 광각 이미지의 중심점과 상기 광각 이미지 내 상기 기준 패턴의 중심을 파악하는 이미지 처리부; 및
    상기 광각 이미지 획득부와 기준패턴 출력부 간 간격(b)과 상기 광각 이미지 획득부로부터 기 설정된 기준점까지의 거리(a) 정보를 저장하고, 상기 광각 이미지의 중심점과 상기 기준 패턴의 중심 간 거리차를 연산하여 상기 광각 이미지 획득부가 획득한 광각 이미지의 기준점 위치를 연산하고, 상기 광각 이미지 획득부, 상기 기준패턴 출력부 및 상기 이미지 처리부의 동작을 제어하는 제어부를 포함하되,
    상기 기 설정된 기준점은 상기 기준 패턴의 중심과 광각 이미지의 중심점이 일치하는 지점이고,
    상기 기준 패턴은 상기 이미지 처리부에서 기준 패턴의 중심을 파악할 수 있도록 중심과 주변부의 패턴이 서로 다른 패턴을 갖는 것을 특징으로 하는 광각 이미지 촬영장치.
  2. 삭제
  3. 제1항에 있어서,
    상기 광각 이미지 획득부는,
    획득하고자 하는 이미지에 대한 기준면과의 거리에 따라, 초점거리 또는 배율을 조정하는 것을 특징으로 하는 광각 이미지 촬영장치.
  4. 삭제
  5. 삭제
  6. 광각 이미지 촬영장치가 왜곡을 보정한 광각 이미지를 촬영하는 방법에 있어서,
    기준패턴 출력부가 광각 이미지 획득부와 기 설정된 간격만큼 떨어져 기 설정된 각도로 직선 형태를 포함하는 격자 무늬를 갖는 기준 패턴을 광각 이미지를 획득하는 실 공간상으로 출력하는 출력과정;
    상기 광각 이미지 획득부가 어안(Fisheye) 이미지를 포함하는 광각 이미지를 획득하는 획득과정;
    상기 획득과정에서 획득한 광각 이미지 내 상기 기준 패턴을 검출하는 검출과정;
    상기 검출과정에서 검출된 기준 패턴을 직선화하는 보정을 수행하여 상기 광각 이미지의 왜곡을 보정하고, 왜곡이 보정된 광각 이미지 내에서 광각 이미지의 중심점과 상기 광각 이미지 내 상기 기준 패턴의 중심을 파악하는 보정과정;
    상기 광각 이미지 획득부와 기준패턴 출력부 간 간격(b)과 상기 광각 이미지 획득부로부터 기 설정된 기준점까지의 거리(a) 정보를 저장하고, 상기 광각 이미지의 중심점과 상기 기준 패턴의 중심 간 거리차를 연산하는 제1 연산과정; 및
    상기 제1 연산과정에서의 연산 결과를 이용하여 상기 획득과정에서 획득한 광각 이미지의 기준점 위치를 연산하는 제2 연산과정을 포함하되,
    상기 기 설정된 기준점은 상기 기준 패턴의 중심과 광각 이미지의 중심점이 일치하는 지점이고,
    상기 기준 패턴은 이미지 처리부에서 기준 패턴의 중심을 파악할 수 있도록 중심과 주변부의 패턴이 서로 다른 패턴을 갖는 것을 특징으로 하는 광각 이미지 촬영방법.
  7. 삭제
  8. 제6항에 있어서,
    상기 획득과정은,
    획득하고자 하는 이미지에 대한 기준면의 위치에 따라, 초점거리 또는 배율을 조정하여 광각 이미지를 획득하는 것을 특징으로 하는 광각 이미지 촬영방법.
  9. 제6항에 있어서,
    상기 기준패턴은,
    격자무늬를 갖는 것을 특징으로 하는 광각 이미지 촬영방법.
  10. 제9항에 있어서,
    상기 격자무늬는,
    직선 형태를 포함하는 것을 특징으로 하는 광각 이미지 촬영방법.
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
KR1020190176636A 2019-12-27 2019-12-27 광각 이미지를 촬영하고 보정하는 장치 및 방법 KR102364044B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190176636A KR102364044B1 (ko) 2019-12-27 2019-12-27 광각 이미지를 촬영하고 보정하는 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190176636A KR102364044B1 (ko) 2019-12-27 2019-12-27 광각 이미지를 촬영하고 보정하는 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20210083884A KR20210083884A (ko) 2021-07-07
KR102364044B1 true KR102364044B1 (ko) 2022-02-17

Family

ID=76862277

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190176636A KR102364044B1 (ko) 2019-12-27 2019-12-27 광각 이미지를 촬영하고 보정하는 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102364044B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102663960B1 (ko) * 2022-12-29 2024-05-10 주식회사 써지컬에이아이 엑스레이 부분 영상을 이용한 하지 정렬 영상 획득 방법 및 시스템

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3704494B2 (ja) * 2001-10-19 2005-10-12 歐普羅科技股▲ふん▼有限公司 カメラのビューポイント及び焦点距離を調べる方法
JP2011101265A (ja) * 2009-11-06 2011-05-19 Nippon Seiki Co Ltd 較正情報算出方法、較正情報算出装置、及び広角画像処理装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101265667B1 (ko) * 2011-06-21 2013-05-22 ㈜베이다스 차량 주변 시각화를 위한 3차원 영상 합성장치 및 그 방법
KR102170182B1 (ko) * 2014-04-17 2020-10-26 한국전자통신연구원 패턴 프로젝션을 이용한 왜곡 보정 및 정렬 시스템, 이를 이용한 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3704494B2 (ja) * 2001-10-19 2005-10-12 歐普羅科技股▲ふん▼有限公司 カメラのビューポイント及び焦点距離を調べる方法
JP2011101265A (ja) * 2009-11-06 2011-05-19 Nippon Seiki Co Ltd 較正情報算出方法、較正情報算出装置、及び広角画像処理装置

Also Published As

Publication number Publication date
KR20210083884A (ko) 2021-07-07

Similar Documents

Publication Publication Date Title
JP6663040B2 (ja) 奥行き情報取得方法および装置、ならびに画像取得デバイス
JP6394005B2 (ja) 投影画像補正装置、投影する原画像を補正する方法およびプログラム
US10165254B2 (en) Method for obtaining light-field data using a non-light-field imaging device, corresponding device, computer program product and non-transitory computer-readable carrier medium
US8805021B2 (en) Method and apparatus for estimating face position in 3 dimensions
JP2018128687A (ja) 虹彩撮像装置及び虹彩撮像装置を構成するための方法
CN103828344B (zh) 图像处理设备及其控制方法、以及摄像设备
WO2010016625A1 (ja) 画像撮影装置およびその距離演算方法と合焦画像取得方法
US9131145B2 (en) Image pickup apparatus and control method therefor
JP2017069776A (ja) 撮像装置、判定方法及びプログラム
US9600871B2 (en) Image correcting apparatus, image correcting method and computer readable recording medium recording program thereon
US10404912B2 (en) Image capturing apparatus, image processing apparatus, image capturing system, image processing method, and storage medium
WO2012086127A1 (ja) 画像処理装置、撮像装置、及び画像処理方法
US20180033121A1 (en) Image processing apparatus, image processing method, and storage medium
CN101621619A (zh) 对多张脸部同时对焦的拍摄方法及其数字取像装置
JP2014138290A (ja) 撮像装置及び撮像方法
US9307168B2 (en) Image capture apparatus and method for controlling image capture apparatus in which defective pixels are indicated
CN102314043A (zh) 人脸区块辅助对焦的方法
KR102364044B1 (ko) 광각 이미지를 촬영하고 보정하는 장치 및 방법
US10264164B2 (en) System and method of correcting imaging errors for a telescope by referencing a field of view of the telescope
KR101165810B1 (ko) 스테레오 카메라에 의한 영상 깊이정보 추출방법 및 장치
JP2014155071A5 (ko)
JP6409088B2 (ja) 画像処理方法および画像処理装置
US11696050B2 (en) Imaging apparatus, method for controlling imaging apparatus, and storage medium
JP5209137B2 (ja) 撮像装置
CN102934002A (zh) 立体成像数字相机和控制其操作的方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant