KR100596976B1 - 왜곡 영상 보정 장치 및 방법 및 이를 이용하는 영상디스플레이 시스템 - Google Patents

왜곡 영상 보정 장치 및 방법 및 이를 이용하는 영상디스플레이 시스템 Download PDF

Info

Publication number
KR100596976B1
KR100596976B1 KR1020040090598A KR20040090598A KR100596976B1 KR 100596976 B1 KR100596976 B1 KR 100596976B1 KR 1020040090598 A KR1020040090598 A KR 1020040090598A KR 20040090598 A KR20040090598 A KR 20040090598A KR 100596976 B1 KR100596976 B1 KR 100596976B1
Authority
KR
South Korea
Prior art keywords
image
correction
sphere
fisheye lens
correction image
Prior art date
Application number
KR1020040090598A
Other languages
English (en)
Other versions
KR20060041116A (ko
Inventor
정순기
Original Assignee
(주)아이디스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)아이디스 filed Critical (주)아이디스
Priority to KR1020040090598A priority Critical patent/KR100596976B1/ko
Publication of KR20060041116A publication Critical patent/KR20060041116A/ko
Application granted granted Critical
Publication of KR100596976B1 publication Critical patent/KR100596976B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G06T3/608—Rotation of whole images or parts thereof by skew deformation, e.g. two-pass or three-pass rotation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 왜곡 영상 보정 장치 및 방법, 그리고 이를 이용하는 영상 디스플레이 시스템을 공개한다. 이 왜곡 영상 보정 방법은 어안 렌즈를 가지는 카메라를 통해 180도 이상의 화각을 가지는 3차원의 영상을 2차원의 보정전 이미지로 획득하는 이미지 입력 단계와, 상기 어안 렌즈의 파라메터를 획득하는 파라메터 획득 단계와, 상기 어안 렌즈의 파라메터를 통해 임의의 구상을 생성하고, 상기 보정전 이미지를 상기 생성된 구상에 대해 구면 기하 및 사영 기하를 실시간을 보정하고, 초기 디스플레이 시점을 반영하는 보정후 이미지를 획득하는 초기 디스플레이 시점에서의 왜곡 영상 보정 단계와, 상기 디스플레이 시점을 변경하는 시점 변경 단계와, 상기 변경된 디스플레이 시점을 반영하는 보정후 이미지를 획득하는 변경된 디스플레이 시점에서의 왜곡 영상 보정 단계를 구비하는 것을 특징으로 한다.

Description

왜곡 영상 보정 장치 및 방법 및 이를 이용하는 영상 디스플레이 시스템{apparatus and method for correcting distorted image and image display system using it}
도 1은 본 발명에 기술에 따른 왜곡 영상 보정 장치의 개략적인 내부 구성도.
도 2는 어안렌즈를 가지는 카메라를 통해 획득된 이미지.
도 3과 어안렌즈의 광학 중심점을 획득하기 위한 테스트 이미지.
도 4는 본 발명의 도 1의 동작 방법을 개략적으로 설명하기 위한 도면.
도 5a 내지 도 5g는 도 4의 본 발명의 영상 왜곡 영상 보정 알고리즘의 개념을 설명하기 위한 도면.
도 6은 본 발명의 왜곡 영상 보정 알고리즘의 수행결과에 따라 생성되는 이미지들을 도시한 도면.
도 7은 본 발명의 왜곡 영상 보정 알고리즘을 수행하는 왜곡 영상 보정 장치를 구비하는 영상 디스플레이 시스템의 일실시예를 도시한 도면.
도 8은 본 발명에 따른 이미지 버퍼의 일실시예를 도시한 도면.
도 9는 본 발명에 채택하는 Wilco Dijkstra가 제안한 알고리즘.
본 발명은 왜곡 영상 보정 장치에 관한 것으로, 특히 어안 렌즈를 통해 획득된 광역의 영상 뿐만 아니라 사용자의 요청에 따라 임의의 영역의 영상에 대해서도 실시간으로 왜곡을 보정하고 디스플레이 할 수 있도록 하는 왜곡 영상 보정 장치 및 방법, 그리고 이를 이용하는 영상 디스플레이 시스템에 관한 것이다.
현재 광역의 영상을 획득할 수 있도록 하는 시스템으로는 크게 기계적으로 PTZ(Pan/Tilt/Zoom) 카메라를 이용하는 시스템, 어안 렌즈를 구비하는 카메라를 이용하는 시스템, 다수개의 CCD 카메라를 이용하는 다중 카메라 시스템, 및 특수 제작된 NTSC(National Television System Committee method) 카메라를 이용하는 카타디옵트릭(catadioptric) 시스템 등이 존재한다.
이상의 시스템들 중에 본 발명에 특히 관심을 가지는 시스템은 어안 렌즈를 구비하는 카메라를 이용하는 시스템이다.
어안렌즈는 의도적으로 통모양의 왜곡을 생기게 하여 180도 이상의 화각 전면에 걸쳐 균일한 밝기와 선예도를 유지할 수 있게 만든 렌즈로, 렌즈 중심점부의 피사체는 극단적으로 크게 찍히고 주변의 것은 아주 작게 찍히게 된다. 즉, 어안렌즈는 광역의 영상을 획득할 수 있도록 하나, 이때의 획득된 영상은 심한 왜곡을 가진다.
이에 어안 렌즈를 구비하는 카메라를 이용하는 시스템은 어안렌즈를 통해 광역의 영상을 획득하고, 이의 왜곡을 보정하여 사용자가 필요로 하는 영상을 제공하 여 준다.
이러한 영상의 왜곡을 보정하기 위해 현재 많은 왜곡 영상 보정 방법이 개시되고 사용되고 있는데, 그 예로는 다음의 Nayar 방법와 Xianghua 방법 들이 있다.
Nayar의 방법은 비메트릭(non-metric) 접근법으로서, 영상 왜곡의 원인으로 비점 수차와 선형 왜곡만이 있다고 본다. 이러한 가정 하에, Nayar 방법은 각각의 에러 모델을 다항식으로 표현한 후, 계수를 구하는 문제로 보고, 사영 기하학 곧, 직선은 직선으로 투영된다는 성질을 이용하여 왜곡된 곡선을 직선으로 펴는 과정을 통해 다항식의 계수를 구한다. 그리고 계산된 다항식 계수를 이용하여 렌즈의 왜곡을 보정하여 준다. 이러한 Nayar의 방법은 시점의 변경과 관계없이 항상 광역의 영상에 대해 알고리즘을 수행하기 때문에, 실시간으로 시점을 변경하고자 하는 시스템에서는 적절하지 못하다.
그리고 Xianghua의 방법은 메트릭(metric) 접근법으로서 일반 어안 렌즈의 경우, 왜곡이 발생하는 원인을 피사체의 중심점(Center Of Projection; COP)이 한 개가 아니라, 여러 개로 존재하기 때문이라고 본다. 이러한 가정 하에 Xianghua의 방법은 켈리브레이션 패턴과 왜곡된 영상간의 매핑을 직접 지정해 준 후, 이를 기반으로 각각의 COP가 하나로 수렴토록 함으로써 왜곡을 보정한다. 이러한 Xianghua 방법의 경우, 켈리브레이션 패턴 상에 존재하는 3차원 점의 좌표를 정확히 알아야 하며, 사용자가 매핑 관계를 직접 지정해 주어야 하는 번거로움이 있으며, 그 과정에서 많은 양의 에러가 존재할 확률이 높다. 이로 인해, 왜곡 영상 보정을 하는 과정에서 정확도가 감소한다.
이에 광역의 영상 뿐만 아니라 사용자에 의한 시점 변경을 실시간으로 반영하여 영상의 왜곡을 보정하여 줄 수 있도록 하되, 사용자의 번거러움을 최소화시킬 수 있는 새로운 왜곡 영상 보정 장치의 필요성이 점차 대두되고 있다.
본 발명은 상기한 문제점을 해결하기 위한 것으로서, 본 발명의 목적은 사용자에 의한 시점 변경을 실시간으로 반영하여 영상의 왜곡을 보정하여 줄 수 있도록 하되, 사용자의 번거러움을 최소화시킬 수 있는 왜곡 영상 보정 장치 및 방법, 그리고 이를 이용하는 영상 디스플레이 시스템을 제공하는 것이다.
상기의 목적을 달성하기 위한 왜곡 영상 보정 장치는 어안 렌즈를 통해 180도 이상의 화각을 가지는 3차원의 영상을 2차원의 보정전 이미지로 획득하는 카메라와, 상기 어안렌즈의 파라메터를 획득하여 저장하고, 디스플레이 시점을 반영하는 상기 보정전 이미지의 특정 좌표를 저장하는 왜곡 계수 획득부와, 사용자가 새로운 디스플레이 시점을 선택하면, 디스플레이 시점을 반영하는 상기 보정전 이미지의 특정 좌표를 획득하여 상기 왜곡 계수 획득부에 제공하는 사용자 인터페이스부와, 상기 보정전 이미지를 입력받으면, 상기 어안 렌즈의 파라메터를 통해 임의의 구상을 생성하고, 상기 보정전 이미지를 상기 생성된 구상에 대해 구면 기하 및 사영 기하하여 실시간을 보정하고, 상기 디스플레이 시점을 반영하는 보정후 이미지를 획득하는 영상 보정부와, 보정전 이미지와 보정후 이미지를 별도의 영역에 분리하여 저장하는 이미지 버퍼를 구비하는 것을 특징으로 한다.
상기의 목적을 달성하기 위한 왜곡 영상 보정 방법은 어안 렌즈를 가지는 카 메라를 통해 180도 이상의 화각을 가지는 3차원의 영상을 2차원의 보정전 이미지로 획득하는 이미지 입력 단계와, 상기 어안 렌즈의 파라메터를 획득하는 파라메터 획득 단계와, 상기 어안 렌즈의 파라메터를 통해 임의의 구상을 생성하고, 상기 보정전 이미지를 상기 생성된 구상에 대해 구면 기하 및 사영 기하를 실시간을 보정하고, 초기 디스플레이 시점을 반영하는 보정후 이미지를 획득하는 초기 디스플레이 시점에서의 왜곡 영상 보정 단계와, 상기 디스플레이 시점을 변경하는 시점 변경 단계와, 상기 변경된 디스플레이 시점을 반영하는 보정후 이미지를 획득하는 변경된 디스플레이 시점에서의 왜곡 영상 보정 단계를 구비하는 것을 특징으로 한다.
상기의 목적을 달성하기 위한 영상 디스플레이 시스템은 어안 렌즈를 통해 180도 이상의 화각을 가지는 3차원의 영상을 2차원의 보정전 이미지로 획득하는 카메라와, 일반 동작 모드시에는 모니터를 통해 보정전 이미지를 디스플레이하고, 왜곡 영상 보정 모드시에는 모니터를 통해 보정후 이미지를 디스플레이하는 디스플레이부와, 마우스 또는 복수개의 키 버튼을 구비하고, 사용자가 동작 모드를 선택하거나 디스플레이 시점을 변경할 수 있도록 하는 사용자 인터페이스부와, 상기 사용자 인터페이스부를 통해 왜곡 영상 보정 모드가 선택되면 왜곡 영상 보정 모드를 설정하고, 왜곡 영상 보정 모드가 선택되지 않으면 일반 동작 모드를 설정하는 제어부와, 왜곡 영상 보정 모드시에 임의의 구상을 생성하고, 상기 보정전 이미지가 입력되면, 상기 보정전 이미지를 상기 구상에 대해 구면 기하 및 사영 기하하여 실시간을 보정하고, 상기 디스플레이 시점을 반영하는 보정후 이미지를 획득하는 왜곡 영상 보정부를 구비하는 것을 특징으로 한다.
이하, 첨부한 도면을 참조하여 본 발명의 왜곡 영상 보정 장치 및 방법, 그리고 이를 이용하는 영상 디스플레이 시스템에 대해 설명한다.
도 1은 본 발명에 기술에 따른 왜곡 영상 보정 장치의 개략적인 내부 구성도이다.
도 1을 도시된 바와 같이, 왜곡 영상 보정 장치(10)는 어안 렌즈를 가지는 카메라(11), 카메라의 파라메터를 계산하는 왜곡 계수 획득부(12), 사용자의 디스플레이 시점을 선택하는 사용자 인터페이스부(13), 영상 보정부(14), 및 이미지 버퍼(15)를 구비한다.
카메라(11)는 어안렌즈를 통해 180도 이상의 화각을 가지는 3차원의 영상을 2차원의 이미지로 획득한다. 이때 카메라(11)를 통해 획득된 이미지는 도 2에 도시된 바와 같이, 매우 심한 왜곡을 가지게 된다, 즉, 어안 렌즈의 광학 중심점에 위치한 피사체는 왜곡을 가지지 않고, 주변에 위치한 피사체는 매우 심한 왜곡을 가지게 된다.
왜곡 계수 획득부(12)는 어안 렌즈의 파라메터인 어안 렌즈의 광학 중심점 및 초점 거리를 획득하여 이미지 버퍼(15)에 저장한다. 그리고 사용자 인터페이스부(13)로부터 디스플레이 시점을 반영하는 보정전 이미지의 특정 좌표를 입력받고, 이를 이미지 버퍼(15)에 저장한다.
이때, 왜곡 계수 획득부(12)는 어안 렌즈의 광학 중심점을 획득하기 위해 도 3과 같은 정방형 격자 무늬를 가지는 테스트 이미지를 복수개의 방향에 대해 캡쳐 한 경우, 왜곡 없이 나타나는 직선들이 교차되는 하나의 점을 어안 렌즈의 광학 중심점으로 획득한다. 일반적인 경우, 어학 렌즈의 광학 중심점은 획득된 이미지의 정중앙점이 되며, 이는 사용자의 필요에 따라 변경될 수 있음은 당연하다.
사용자 인터페이스부(13)는 복수개의 키 버튼들을 구비하고, 사용자가 이 키 버튼들을 이용하여 디스플레이 시점을 선택할 수 있도록 한다. 이에 사용자가 사용자 인터페이스부(13)를 통해 디스플레이 시점을 변경하면, 사용자가 선택한 디스플레이 시점을 반영하는 보정전 이미지의 특정 좌표를 획득하여 왜곡 계수 획득부(12)에 전송한다.
이에 왜곡 영상 보정 장치는 비기계적으로 PTZ(Pan/Tilt/Zoom) 카메라 시스템처럼 동작할 수 있게 된다.
영상 보정부(14)는 카메라(11)로부터 2차원의 이미지가 입력되면 왜곡 계수 획득부(12)의 광학 중심점 및 초점 거리, 그리고 디스플레이 시점을 기초로 왜곡 영상 보정 알고리즘을 수행하여 광역 영상의 보정하고, 이로부터 디스플레이 시점을 반영하는 보정후 이미지를 새로이 생성한다. 이때 왜곡 영상 보정 알고리즘에 대해서는 이하에서 보다 상세히 설명하기로 한다.
이미지 버퍼(15)는 이중 버퍼를 구조를 채택하여, 하나의 인덱스 버퍼이외에, 소정 개수의 보정전 이미지용 버퍼들과, 소정 개수의 보정전 이미지용 버퍼들 각각에 대응되는 소정 개수의 보정후 이미지용 버퍼들을 더 구비한다.
인덱스 버퍼에는 어안 렌즈의 파라메터(광학 중심점 및 초점거리)와 사용자 디스플레이 시점을 반영하는 보정전 이미지의 특정 좌표값을 저장하고, 보정전 이 미지용 버퍼들 각각에는 보정전 이미지들을 순차적으로 저장하고, 보정후 이미지용 버퍼들 각각에는 보정후 이미지들을 순차적으로 저장한다. 이때 이미지 버퍼(15)에 대해서는 이하에서 보다 상세히 설명하기로 한다.
이하 도 4를 참조하여 본 발명의 도 1의 동작 방법을 개략적으로 설명하기 위한 도면이다.
먼저, 본 발명의 영상 왜곡 영상 보정 방법은 초기화 동작시에, 왜곡 계수 획득부(12)는 인덱스 버퍼를 읽어 어안 렌즈의 광학 중심점과 초점 거리를 획득하고, 어안 렌즈의 광학 중심점을 초기 디스플레이 시점으로 획득한다(S1).
S1에서 어안 렌즈의 파라메터 획득 및 초기 디스플레이 시점의 획득이 완료되어 초기화 동작이 완료되면, 영상 보정부(14)는 보정전 이미지용 버퍼를 읽어 도 2와 같이 왜곡된 영상을 가지는 보정전 이미지를 획득한다(S2).
그리고 영상 보정부(14)는 획득된 광학 중심점과 초점 거리와 초기 디스플레이 시점을 기초로 영상 왜곡 영상 보정 알고리즘을 수행하여, 초기 디스플레이 시점에서의 보정후 이미지를 획득하고, 이를 보정전 이미지용 버퍼에 대응되는 보정후 이미지용 버퍼에 저장한다(S3).
S3 단계의 반복 수행중에 사용자 인터페이스부(13)가 디스플레이 시점을 변경하였음을 통보받으면(S4), 왜곡 계수 획득부(12)는 인덱스 버퍼를 읽어 새로운 디스플레이 시점을 획득한다(S5).
그리고 영상 보정부(14)는 획득된 광학 중심점과 초점 거리와 새로운 디스플레이 시점을 기초로 영상 왜곡 영상 보정 알고리즘을 수행하여, 영상 왜곡 영상 보 정 알고리즘을 수행하여, 새로운 디스플레이 시점에서의 보정후 이미지를 획득하고, 이를 보정전 이미지용 버퍼에 대응되는 보정후 이미지용 버퍼에 저장한다(S6).
이상에서는 본 발명의 도 1의 동작 방법을 개략적으로 설명한 것으로, 이하에서는 본 발명의 보다 정확한 이해를 위해 영상 왜곡 영상 보정 알고리즘만을 상세히 설명하기로 한다.
도 5a 내지 도 5g는 도 4의 본 발명의 영상 왜곡 영상 보정 알고리즘의 개념을 설명하기 위한 도면이다.
이때, 5b의 죄표계(ux, uy, uz)는 초기 디스플레이 시점에 따른 초기 좌표계를 , 5b의 좌표(x, y, z(=f))는 초기 좌표계에 따라 정의된 보정전 이미지(22)의 점을, 5c의 좌표(x', y', z')는 보정전 이미지(22)내에 위치하는 점(x, y, z)을 초기 좌표계(ux, uy, uz)에 따라 구상(21)에 직교사영시킨 점을, 5d의 좌표(X, Y, Z)는 구상(21)의 표면상의 점을 초기 좌표계(ux, uy, uz)에 따라 구상(21)의 중심점에 대해 원근법으로 사영시켜 획득된 보정후 이미지(23)의 점을, 5f의 죄표계(ux', uy', uz')는 변경된 디스플레이 시점에 따른 새로운 좌표계를, 5g의 좌표(x", y", z")는 초기 좌표계(ux, uy, uz)에 따른 구상(21)의 표면상의 점(x', y', z')을 새로운 좌표계(ux', uy', uz')에 따라 재정의한 점을, 5g의 좌표(X', Y', Z'(=f))는 구상(21)의 표면상의 점을 새로운 좌표계(ux', uy', uz')에 따라 구상(21)의 중심점에 대해 원근법으로 사영시켜 획득된 보정후 이미지(24)내의 점의 좌표를 각각 나타낸다.
먼저, 영상 왜곡 영상 보정 알고리즘이 수행되면, 5a와 같이 영상 왜곡 영상 보정 알고리즘은 어안 렌즈의 초점 거리(f)를 반지름으로 가지는 3차원의 구상(21)을 생성하고, 보정전 이미지(22)내의 렌즈의 광학 중심점(O)을 지나는 직선과 구상(21)이 만나도록 보정전 이미지(22)를 배치한다.
그리고 5b와 같이 보정전 이미지(22)내의 렌즈의 광학 중심점(0,0,f)과 구상의 중심점(0,0,0)을 지나는 벡터로부터 초기 좌표계의 Z축 유닛 벡터(uz)를 정의하고, Z축 유닛 벡터(uz)를 기준으로 나머지의 Y축 유닛 벡터(uy)과 X축유닛 벡터(u x)도 정의하여 초기 좌표계를 정의한다.
5c와 같이 초기 좌표계(ux, uy, uz)가 정의되면 보정전 이미지(22)의 왜곡 영상을 보정하기 위해, 보정전 이미지(22)내의 좌표들을 3차원의 구상(21)에 역으로 직교 사영한다. 즉, 보정전 이미지(22)내의 좌표들은 구상(21)의 표면상의 좌표들로 변환한다.
그 결과, 구상(21)의 표면으로 사영된 보정전 이미지(22)의 피사체는 다시 3차원의 피사체로 변환되어, 실제의 3차원 장면과 같이 왜곡을 가지지 않게 된다.
이때의 구상(21)의 특정 좌표(x', y', z')는 보정전 이미지(22)의 좌표(x, y, z(=f))에 대해 수식 1과 같은 관계를 가진다.
(x', y', z') = (x, y, f')
그리고 5d와 같이 초기 디스플레이 시점에서의 보정후 이미지(23)를 획득하 기 위해, 구상(21)의 표면상의 좌표들을 구상(21)의 중심점에 대해 원근법으로 사영하여, 보정후 이미지(23)내의 좌표로 변환한다. 그 결과, 구상(21)의 표면상의 피사체는 보정후 이미지(23)의 피사체로 사영된다.
이를 2차원적 그림으로 도식화하면 도 5e와 같이 된다.
도 5e를 참조하여 초기 디스플레이 시점에서의 보정후 이미지(23)내의 (X, Y, Z)의 좌표와 구상(21)의 표면내에 (x', y', z')의 좌표간의 관계를 살펴보면 다음과 같다.
이때, 구상(21)의 표면내에 (x', y', z')의 좌표와 구상(21)의 중심점간의 거리는 구상(21)의 초점거리(f)와 동일하고, 보정후 이미지(23)의 중심점과 구상(21)의 중심점간의 거리는 구상(21)의 초점거리(f)와 동일하다.
그리고 구상(21)의 표면내에 (x', y', z')의 좌표의 z' 값(f')은 피타고라스 정의에 의해 "f=
Figure 112004051664426-pat00001
"이 된다.
이에 초기 디스플레이 시점에서의 보정후 이미지(23)의 X값은 "X : x' =
Figure 112004051664426-pat00002
: f" 라는 공식에 의해
Figure 112004051664426-pat00003
의 값을 가지게 되고, Y값은 "Y : y' =
Figure 112004051664426-pat00004
: f" 라는 공식에 의해
Figure 112004051664426-pat00005
의 값을 가지게 된다. 그리고 Z값은 구상(21)의 초점거리(f)가 된다.
즉, 초기 디스플레이 시점에서의 보정후 이미지(23)의 좌표(X, Y, X)와 구상(21)의 표면상의 좌표(x', y', z')간에는 수식 2와 같은 관계가 성립된다.
Figure 112004051664426-pat00006
Figure 112004051664426-pat00007
(X, Y, Z) =( , , f)
그리고 x'=x, y=y'이므로
초기 디스플레이 시점에서의 보정후 이미지(23)의 좌표값(X, Y, X)과 보정전 이미지(22)의 좌표값(x, y, z)간에는 수식 3과 같은 관계가 성립된다.
Figure 112004051664426-pat00008
Figure 112004051664426-pat00009
(X, Y, Z) =( , , f)
이에 보정전 이미지(22)내의 x값을
Figure 112004051664426-pat00010
에 따라 변환하고, y값을
Figure 112004051664426-pat00011
에 따라 변환하면, 초기 디스플레이 시점에서의 보정후 이미지(23)는 왜곡 영상 보정된 피사체를 획득할 수 있게 된다.
또한 사용자가 사용자 인터페이스부(13)를 통해 보정전 이미지(22)의 특정 좌표(a, b, f)을 선택하여 디스플레이 시점을 변경하면, 변경된 디스플레이 시점에서의 보정후 이미지(24)를 획득하기 위해, 5f와 같이 영상 보정부(14)는 선택된 특정 좌표값(a, b, f)에 대응되는 새로운 좌표계를 정의 및 생성한다.
5f와 같은 새로운 좌표계를 정의 및 생성하기 위해, 먼저 사용자가 선택한 보정전 이미지(22)의 특정 좌표(a, b, f)에 대응되는 구상(21)의 표면상의 좌표(a, b, f')을 획득하고, 획득된 구상(21)의 표면내에 좌표(a, b, f')와 구상의 중심점(0,0,0)을 지나는 벡터로부터 새로운 좌표계의 Z'축 유닛 벡터(uz')를 정의한다.
그리고 Z'축 유닛 벡터(uz')을 기준으로 나머지의 Y'축 유닛 벡터(uy)과 X'축 유닛 벡터(ux)도 정의하여 새로운 좌표계를 정의를 완료한다.
새로운 좌표계의 Z'축으로 향하는 벡터는 초기 좌표계의 (0,0,f)가 아닌 (a, b,
Figure 112004051664426-pat00012
)가 되므로, Z'축 유닛 벡터(uz')는 수식 4와 같이 정의된다.
Figure 112004051664426-pat00013
Figure 112004051664426-pat00014
uz''= (a, b, )
그리고 본 특허에서는 Z'축과 X축을 포함하는 평면의 법선 벡터를 Y'축 유닛 벡터(uy')으로 정의하기로 한다. 이에 Y'축 유닛 벡터(uy')는 수식 5와 같이 정의된다.
Figure 112004051664426-pat00015
uy'=
이상과 같이 Z'축과 Y'축이 정의되면 수식 6과 같이 X'축 유닛 벡터(ux')은 두 벡터의 벡터곱(cross product)으로 정의된다.
ux'= uy'*uz'
이상의 수식 4 내지 6은 수학적 정의에 따른 것이므로, 이에 대한 상세한 설 명은 생략한다.
그리고 이상과 같이 정의되는 새로운 좌표계(ux', uy', uz')에 따라 구상(21) 표면상의 좌표(x", y", z")와 초기 좌표계(ux, uy, uz)에 따른 구상(21) 표면상의 좌표(x', y', z')간에는 수식 7과 같은 관계가 성립된다.
Figure 112004051664426-pat00016
Figure 112004051664426-pat00017
Figure 112004051664426-pat00018
(x", y", z") = ux' + uy' +uz'
이상의 수식 7은 수학적 정의에 따른 것이므로, 이에 대한 상세한 설명은 생략한다.
그리고 이상과 같이 정의되는 새로운 좌표계(ux', uy', uz')에 따라 구상(21) 표면상의 좌표가 (x", y", z")이 새로이 정의되면, 5g와 같이 이 구상(21)의 표면상의 좌표들(x", y", z")을 구상(21)의 중심점에 대해 다시 원근법으로 사영하여, 변경된 디스플레이 시점에서의 보정후 이미지(24)를 획득하게 된다.
즉, 새로운 좌표계(ux', uy', uz')에 따른 구상(21) 표면상의 좌표(x", y", z")를 수식 2 또는 수식 3을 이용하여 변경된 디스플레이 시점에서의 보정후 이미지(24)내의 좌표(X', Y', Z')로 변환한다. 그 결과, 구상(21)의 표면상의 피사체는 변경된 디스플레이 시점에서의 보정후 이미지(24)의 피사체로 사영된다.
도 6은 본 발명의 왜곡 영상 보정 알고리즘의 수행결과에 따라 생성되는 이미지들을 도시한 도면이다
6a는 왜곡 영상을 가지는 보정전 이미지를, 6b는 초기 디스플레이 시점에서의 보정후 이미지를, 6c는 새로운 디스플레이 시점에서의 보정후 이미지를 각각 나타낸다.
도 6에 도시된 같이 본 발명의 영상 왜곡 영상 보정 알고리즘은 보정전 이미지를 왜곡 영상을 보다 용이하고 정확하게 보정하여 줌과 동시에 사용자가 요청한 디스플레이 시점을 실시간으로 반영할 수 있도록 하여 준다.
도 7은 본 발명의 왜곡 영상 보정 알고리즘을 수행하는 왜곡 영상 보정 장치를 구비하는 영상 디스플레이 시스템의 일실시예를 도시한 도면이다.
도면에 도시된 바와 같이, 도 7의 영상 디스플레이 시스템은 카메라(21), 카메라 제어부(22), 메모리부(23), 디스플레이 제어부(24), 모니터(25), 왜곡 영상 보정 장치(26), 사용자 인터페이스부(27), 및 메인 제어부(28)를 구비한다.
그리고 도 1의 왜곡 영상 보정 장치의 카메라(11) 및 사용자 인터페이스부(13), 영상 디스플레이 시스템의 카메라(21, 22) 및 사용자 인터페이스부(27)로 대체하고 도 1과 동일한 구성 및 동작을 수행하는 구성요소에 대해서는 도 1과 동일한 번호를 부여하고 이에 대한 상세한 설명은 생략하기로 한다.
카메라(21)는 어안 렌즈를 통해 180도 이상의 화각을 가지는 3차원의 영상을 2차원의 보정전 이미지로 획득한다. 이때의 카메라(21)는 CCD 카메라 또는 CMOS 카메라와 같이 고해상도를 지원하며, 영상비(aspect ratio)가 1인 모든 카메라가 적 용될 수 있다.
카메라 제어부(22)는 카메라(21)의 동작을 제어하고, 카메라(21)가 보정전 이미지를 획득하면 이를 메인 제어부(28)에 통보함과 동시에 메모리부(23)에 순차적으로 저장한다. 또한 카메라 제어부(22)는 메인 제어부(28)의 제어하에 보정전 이미지의 해상도를 자유로이 변경한다.
그리고 메모리부(23)는 카메라 제어부(22)로부터 전송되는 보정전 이미지를 순차적으로 저장한다.
디스플레이부 제어부(24)는 모니터(25)의 동작을 제어하고, 일반 동작 모드시에는 메모리부(23)에 저장되는 보정전 이미지를 모니터(25)가 인식하고 디스플레이 할 수 있도록 데이터 형태로 실시간 변환하여 모니터(25)로 출력한다. 그리고 왜곡 영상 보정 모드시에는 이미지 버퍼(29)에 저장되는 보정후 이미지를 모니터(25)가 인식하고 디스플레이 할 수 있도록 데이터 형태로 실시간 변환하여 모니터(25)로 출력한다. 그리고 모니터(25)는 디스플레이부 제어부(24)로부터 전송되는 데이터를 화면상에 실시간 디스플레이한다.
왜곡 영상 보정 장치(26)는 왜곡 영상 보정 모드가 설정되면, 왜곡 영상 보정 알고리즘을 수행한다.
이에 디스플레이 시점이 변경되지 않았으면, 왜곡 영상 보정 장치(26)는 이미지 버퍼(15)를 리딩하여 보정전 이미지와 어안 렌즈의 파라메터와 디스플레이 시점을 획득하고, 이를 기초로 초기 디스플레이 시점을 반영하는 보정후 이미지를 생성한다.
또한 디스플레이 시점이 변경되었음을 메인 제어부(28)로부터 통보받으면, 이미지 버퍼(15)를 리딩하여 보정전 이미지와 어안 렌즈의 파라메터와 새로운 디스플레이 시점을 획득하고, 이를 기초로 왜곡 영상 보정 알고리즘을 수행하여 새로운 디스플레이 시점을 반영하는 보정후 이미지를 생성한다.
사용자 인터페이스부(27)는 마우스 또는 복수개의 키 버튼들을 구비하고, 마우스 또는 복수개의 키 버튼들을 통해 영상 디스플레이 시스템의 동작 모드와, 디스플레이 시점을 선택할 수 있도록 한다.
이에 사용자 인터페이스부(27)는 사용자가 마우스 또는 특정 키 버튼을 통해 왜곡 영상 보정 모드를 선택하면 사용자 인터페이스부(27)는 이를 감지하고, 사용자가 왜곡 영상 보정 모드를 선택하였음을 메인 제어부(28)에 이를 통보한다. 그리고 사용자가 마우스 또는 복수개의 키 버튼들을 통해 디스플레이 시점을 새로이 선택하면, 새로운 디스플레이 시점을 반영하는 보정전 이미지의 특정 좌표값을 획득하여 메인 제어부(28)로 인가한다.
메인 제어부(28)는 영상 디스플레이 시스템의 전반적인 동작을 제어한다. 즉, 사용자 인터페이스부(28)로부터 사용자가 왜곡 영상 보정 모드를 선택하였음을 통보받으면, 왜곡 영상 보정 모드를 설정한다. 그리고 왜곡 영상 보정 모드시에 사용자 인터페이스부(28)로부터 새로운 디스플레이 시점을 반영하는 보정전 이미지의 특정 좌표값이 입력되면, 디스플레이 시점을 변경되었음을 확인하고, 입력된 특정 좌표값을 이미지 버퍼(15)에 저장한 뒤, 디스플레이 시점을 변경되었음을 왜곡 영상 보정 장치(26)로 통보한다.
반면에 사용자 인터페이스부(28)로부터 사용자가 왜곡 영상 보정 동작을 요청하지 않았음을 통보받으면, 일반 동작 모드를 설정한다.
또한 메인 제어부(28)는 사용자의 필요에 따라 왜곡 영상 보정 장치의 왜곡 계수 획득부(12)의 기능을 포함할 수 도 있다.
도 7의 영상 디스플레이 시스템은 이상과 같은 구성을 통해, 일반 동작 모드시에는 카메라(21) 및 카메라 제어부(22)를 통해 입력되는 보정전 이미지를 그대로 모니터를 통해 디스플레이하고, 왜곡 영상 보정 모드시에는 카메라(21) 및 카메라 제어부(22)를 통해 입력되는 보정전 이미지를 사용자가 선택한 디스플레이 시점에 따라 왜곡 영상 보정한 보정후 이미지를 모니터를 통해 디스플레이한다.
이에 도 7의 영상 디스플레이 시스템은 하나의 카메라를 통해 광역의 영상을 제공 할뿐만 아니라 사용자에 의한 시점 변경을 실시간으로 반영하여 임의의 영역의 영상의 왜곡을 보정하여 줄 수 있도록 하되, 사용자의 번거러움을 최소화시켜 준다.
그러나 이와 같은 영상 디스플레이 시스템은 동작 중에 입출력 구성요소의 동작 속도 차이로 인해, 새로이 입력된 보정전 이미지가 현재 사용중인 보정후 이미지를 덮어쓰게 되는 경우가 발생할 수 있다.
이에 도 1 및 도 7의 이미지 버퍼를 도 8과 같이 구성하여 상기와 같은 동작 오류를 사점에 방지하도록 한다.
도 7을 계속하여 참조하면, 이미지 버퍼(15)는 인덱스 버퍼(150)와, 소정 개수의 보정전 이미지용 버퍼들(151~153)과, 소정 개수의 보정후 이미지용 버퍼들 (154~156)로 구성된다.
인덱스 버퍼(150)에는 어안 렌즈의 파라메터(광학 중심점 및 초점거리)와 사용자 디스플레이 시점을 반영하는 보정전 이미지의 특정 좌표값이 저장되고, 보정전 이미지용 버퍼들(151~153) 각각에는 보정전 이미지가 저장되고, 보정후 이미지용 버퍼들(154~156) 각각에는 보정후 이미지가 저장된다.
이에 메인 제어부(28)는 보정전 이미지용 버퍼들(151~153)을 이용하여 보정전 이미지를 순차적으로 저장하고, 왜곡 영상 보정 장치(26)는 보정전 이미지용 버퍼들(151~153)에 저장된 보정전 이미지들을 순차적으로 리딩하여 이에 대응되는 보정후 이미지를 생성하고, 생성된 보정후 이미지들은 보정후 이미지용 버퍼들(154~156)에 순차적으로 저장한다.
즉, 보정전 이미지용 버퍼(151)에 저장된 보정전 이미지는 인덱스 버퍼(150)를 참조하는 왜곡 영상 보정 알고리즘에 따라 왜곡 영상 보정한 후, 보정전 이미지용 버퍼(151)에 대응되는 보정후 이미지용 버퍼(154)로 저장한다.
이에 본 발명은 입출력 구성요소의 동작 속도 차이로 인해, 새로이 입력된 보정전 이미지가 현재 사용중인 보정후 이미지를 덮어쓰게 되는 경우의 발생을 미연에 방지한다.
또한 본 발명의 왜곡 영상 보정 알고리즘은 일반 영상 처리 프로세싱 작업과 달리 시점 변환을 지원하여 줌으로 인해 블록 단위로 연산이 가능한 일반 영상 처리 프로세싱 작업과는 달리 픽셀 단위로 연산을 수행하여야 한다. 이에 프로세싱의 시간이 증가될 수 있다. 또한 왜곡 영상 보정 알고리즘의 특성상 상대적으로 계산 량이 많은 롱형(Long), 실수형 데이터 및 sqrt(square root) 연산이 빈번해 질 수 있다.
상기의 문제점을 해결하기 위해 본 발명의 왜곡 영상 보정 알고리즘은 정확도는 유지하되 불필요한 프로세싱 시간의 증가를 방지하기 위해, 데이터 타입 및 함수들을 설계한다.
sqrt 함수의 경우, 실수형 데이터를 기반으로 하여 연산을 수행하는 것이 아니라 도 9와 같이 구현되는 Wilco Dijkstra가 제안한 알고리즘, 즉, 비트 연산을 기반으로 하여 sqrt 연산을 수행한다. 이때, Wilco Dijkstra가 제안한 알고리즘은 이미 공지된 기술에 따른 것이므로 상세한 설명은 생략하기로 한다.
실제의 적용예에서 왜곡 영상 보정 알고리즘이 Wilco Dijkstra가 제안한 알고리즘을 채택한 경우, Wilco Dijkstra가 제안한 알고리즘을 채택하지 않은 경우에 비해 평균 3배 이상의 동작 속도를 가지는 효과를 제공한다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
본 발명의 왜곡 영상 보정 장치 및 방법, 그리고 이를 이용하는 영상 디스플페이 시스템은 하나의 어안렌즈와 카메라의 이용하여 광역의 영상을 감지하도록 하되, 사용자의 필요에 따라 임의 영역의 영상만을 왜곡 영상 보정한 후 디스플레이 하고, 사용자가 디스플레이 시점을 변경하면, 변경된 디스플레이 시점을 실시간으로 반영하여 임의 영역의 영상만을 왜곡 영상 보정한 후 디스플레이하여 준다. 따라서 왜곡 영상 보정 장치의 동작 효율을 증대하여 준다.
그리고 사용자가 디스플레이 시점을 마우스나 키 버튼(또는 키패드)를 이용하여 손쉽게 변경할 수 있도록 하여 사용자의 번거러움을 최소화시켜 준다.
또한 본 발명은 움직임을 추적하거나 실시간 항해 시스템, 파노라마 영상 생성과 같이 다양한 분야에 적용가능하므로 적용 범위를 증대하여 준다.

Claims (26)

  1. 어안 렌즈를 통해 180도 이상의 화각을 가지는 3차원의 영상을 2차원의 보정전 이미지로 획득하는 카메라;
    상기 어안렌즈의 파라메터를 획득하여 저장하고, 디스플레이 시점을 반영하는 상기 보정전 이미지의 특정 좌표를 저장하는 왜곡 계수 획득부;
    사용자가 새로운 디스플레이 시점을 선택하면, 디스플레이 시점을 반영하는 상기 보정전 이미지의 특정 좌표를 획득하여 상기 왜곡 계수 획득부에 제공하는 사용자 인터페이스부;
    상기 보정전 이미지를 입력받으면, 상기 어안 렌즈의 파라메터를 통해 임의의 구상을 생성하고, 상기 보정전 이미지를 상기 생성된 구상에 대해 구면 기하 및 사영 기하하여 실시간 보정하고, 상기 디스플레이 시점을 반영하는 보정후 이미지를 획득하는 영상 보정부; 및
    보정전 이미지와 보정후 이미지를 별도의 영역에 분리하여 저장하는 이미지 버퍼를 구비하는 것을 특징으로 하는 왜곡 영상 보정 장치.
  2. 제 1항에 있어서, 상기 이미지 버퍼는
    소정 개수의 보정전 이미지용 버퍼들과, 소정 개수의 보정전 이미지용 버퍼들 각각에 대응되는 소정 개수의 보정후 이미지용 버퍼들을 구비하는 이중 버퍼를 구조를 채택하는 것을 특징으로 하는 왜곡 영상 보정 장치.
  3. 제 2항에 있어서, 상기 이미지 버퍼는
    상기 어안 렌즈의 파라메터와 상기 디스플레이 시점을 반영하는 상기 보정전 이미지의 특정 좌표를 저장하는 인덱스 버퍼를 더 구비하는 것을 특징으로 하는 왜곡 영상 보정 장치.
  4. 제 1항에 있어서, 상기 어안렌즈의 파라메터는
    상기 어안 렌즈의 초점 거리와 광학 중심점인 것을 특징으로 하는 왜곡 영상 보정 장치.
  5. 제 4항에 있어서, 상기 왜곡 계수 획득부는
    정방형 격자 무늬를 가지는 테스트 이미지를 복수개의 방향에 대해 캡쳐한 경우, 왜곡 없이 나타나는 직선들이 교차되는 하나의 점을 어안 렌즈의 광학 중심점으로 획득하는 것을 특징으로 하는 왜곡 영상 보정 장치.
  6. 제 4항에 있어서, 상기 보정전 이미지는
    상기 어안렌즈의 광학 중심점을 중심점으로 구비하는 것을 특징으로 하는 왜곡 영상 보정 방법.
  7. 제 1항에 있어서 상기 영상 보정부는
    초기 디스플레이 시점에서는, 상기 어안 렌즈의 초점 거리에 대응되는 임의의 구상을 생성하고, 상기 구상과 상기 보정전 이미지의 중심점에 상응하는 초기 좌표계를 정의하고, 상기 보정전 이미지의 피사체를 상기 구상에 직교 사영하고, 상기 직교 사영된 피사체를 상기 구상의 중심점에 대해 원근법으로 사영하고, 상기 초기 좌표계를 이용하여 초기 디스플레이 시점에서의 보정후 이미지를 획득하는 것을 특징으로 하는 왜곡 영상 보정 장치.
  8. 제 7항에 있어서 상기 영상 보정부는
    변경된 디스플레이 시점에서는, 상기 구상과 상기 변경된 디스플레이 시점을 반영하는 상기 보정전 이미지의 특정 좌표에 상응하는 새로운 좌표계를 정의하고, 상기 보정전 이미지의 피사체를 상기 구상에 직교 사영하고, 상기 직교 사영된 피사체를 상기 구상의 중심점에 대해 원근법으로 사영하고, 상기 새로운 좌표계를 이용하여 변경된 디스플레이 시점에서의 보정후 이미지를 획득하는 것을 특징으로 하는 왜곡 영상 보정 장치.
  9. 어안 렌즈를 가지는 카메라를 통해 180도 이상의 화각을 가지는 3차원의 영상을 2차원의 보정전 이미지로 획득하는 이미지 입력 단계;
    상기 어안 렌즈의 파라메터를 획득하는 파라메터 획득 단계;
    상기 어안 렌즈의 파라메터를 통해 임의의 구상을 생성하고, 상기 보정전 이미지를 상기 생성된 구상에 대해 구면 기하 및 사영 기하하여 실시간 보정하고, 초 기 디스플레이 시점을 반영하는 보정후 이미지를 획득하는 초기 디스플레이 시점에서의 왜곡 영상 보정 단계;
    상기 디스플레이 시점을 변경하는 시점 변경 단계; 및
    상기 변경된 디스플레이 시점을 반영하는 보정후 이미지를 획득하는 변경된 디스플레이 시점에서의 왜곡 영상 보정 단계를 구비하는 것을 특징으로 하는 왜곡 영상 보정 방법.
  10. 제 9항에 있어서, 상기 어안 렌즈의 파라메터는
    상기 어안렌즈의 광학 중심점과 초점 거리인 것을 특징으로 하는 왜곡 영상 보정 방법.
  11. 제 10 항에 있어서, 상기 보정전 이미지는
    상기 어안렌즈의 광학 중심점을 중심점으로 구비하는 것을 특징으로 하는 왜곡 영상 보정 방법.
  12. 제 9항에 있어서, 상기 파라메터 획득 단계는
    정방형 격자 무늬를 가지는 테스트 이미지를 복수개의 방향에 대해 캡쳐한 경우, 왜곡 없이 나타나는 직선들이 교차되는 하나의 점을 어안 렌즈의 광학 중심점으로 획득하는 것을 특징으로 하는 왜곡 영상 보정 장치.
  13. 제 9항에 있어서, 상기 초기 디스플레이 시점에서의 왜곡 영상 보정 단계는
    상기 어안 렌즈의 파라메터에 따라 임의의 구상을 생성하고, 상기 보정전 이미지를 보정전 이미지내의 상기 어안렌즈의 광학 중심점을 지나는 직선이 상기 구상에 접하도록 배치하는 단계;
    상기 구상과 상기 어안렌즈의 광학 중심점에 대응되는 초기 좌표계를 획득하는 단계;
    상기 보정전 이미지 피사체를 상기 구상의 표면상에 직교사영하는 단계; 및
    상기 구상의 표면상의 피사체를 상기 구상의 중심점에 대해 원근법으로 사영하고, 상기 초기 좌표계를 이용하여 초기 디스플레이 시점에서의 보정후 이미지를 획득하는 단계를 구비하는 것을 특징으로 하는 왜곡 영상 보정 방법.
  14. 제 9항에 있어서, 상기 시점 변경 단계는
    상기 변경된 디스플레이 시점을 반영하는 상기 보정전 이미지의 특정 좌표값을 획득하는 것을 특징으로 하는 왜곡 영상 보정 방법.
  15. 제 9 또는 14항에 있어서, 상기 변경된 디스플레이 시점에서의 왜곡 영상 보정 단계는
    상기 보정전 이미지의 특정 좌표를 상기 구상의 표면상에 직교사영하는 단계; 및
    상기 구상과 상기 구상의 표면상의 직교 사영된 특정 좌표에 대응되는 새로 운 좌표계를 획득하는 단계;
    상기 보정전 이미지 피사체를 상기 구상의 표면상에 직교사영하는 단계; 및
    상기 구상의 표면상의 피사체를 상기 구상의 중심점에 대해 원근법으로 사영하고, 상기 새로운 좌표계를 이용하여 초기 디스플레이 시점에서의 보정후 이미지를 획득하는 단계를 구비하는 것을 특징으로 하는 왜곡 영상 보정 방법.
  16. 제 9항에 있어서, 상기 왜곡 영상 보정 방법은
    상기 보정전 이미지와 상기 보정후 이미지를 서로 다른 저장 영역에 저장하는 단계를 더 구비하는 것을 특징으로 하는 왜곡 영상 보정 방법.
  17. 어안 렌즈를 통해 180도 이상의 화각을 가지는 3차원의 영상을 2차원의 보정전 이미지로 획득하는 카메라;
    일반 동작 모드시에는 모니터를 통해 보정전 이미지를 디스플레이하고, 왜곡 영상 보정 모드시에는 모니터를 통해 보정후 이미지를 디스플레이하는 디스플레이부;
    마우스 또는 복수개의 키 버튼을 구비하고, 사용자가 동작 모드를 선택하거나 디스플레이 시점을 변경할 수 있도록 하는 사용자 인터페이스부;
    상기 사용자 인터페이스부를 통해 왜곡 영상 보정 모드가 선택되면 왜곡 영상 보정 모드를 설정하고, 왜곡 영상 보정 모드가 선택되지 않으면 일반 동작 모드를 설정하는 제어부; 및
    왜곡 영상 보정 모드시에 임의의 구상을 생성하고, 상기 보정전 이미지가 입력되면, 상기 보정전 이미지를 상기 구상에 대해 구면 기하 및 사영 기하하여 실시간을 보정하고, 상기 디스플레이 시점을 반영하는 보정후 이미지를 획득하는 왜곡 영상 보정부를 구비하는 것을 특징으로 하는 영상 디스플레이 시스템.
  18. 제 17항에 있어서, 상기 왜곡 영상 보정부는
    상기 어안렌즈의 파라메터를 획득하고, 디스플레이 시점을 반영하는 상기 보정전 이미지의 특정 좌표를 획득하는 왜곡 계수 획득부;
    상기 보정전 이미지를 입력받으면, 상기 어안 렌즈의 파라메터를 통해 임의의 구상을 생성하고, 상기 보정전 이미지를 상기 생성된 구상에 대해 구면 기하 및 사영 기하하여 실시간을 보정하고, 상기 디스플레이 시점을 반영하는 보정후 이미지를 획득하는 영상 보정부; 및
    보정전 이미지와 보정후 이미지를 별도의 영역에 분리하여 저장하는 이미지 버퍼를 구비하는 것을 특징으로 하는 영상 디스플레이 시스템.
  19. 제 18항에 있어서, 상기 이미지 버퍼는
    소정 개수의 보정전 이미지용 버퍼들과, 소정 개수의 보정전 이미지용 버퍼들 각각에 대응되는 소정 개수의 보정후 이미지용 버퍼들을 구비하는 이중 버퍼를 구조를 채택하는 것을 특징으로 하는 왜곡 영상 보정 장치.
  20. 제 19항에 있어서, 상기 이미지 버퍼는
    상기 어안 렌즈의 파라메터와 상기 디스플레이 시점을 반영하는 상기 보정전 이미지의 특정 좌표를 저장하는 인덱스 버퍼를 더 구비하는 것을 특징으로 하는 왜곡 영상 보정 장치.
  21. 제 18항에 있어서, 상기 어안렌즈의 파라메터는
    상기 어안 렌즈의 초점 거리와 광학 중심점인 것을 특징으로 하는 왜곡 영상 보정 장치.
  22. 제 18항에 있어서 상기 왜곡 영상 보정부는
    초기 디스플레이 시점에서는, 상기 어안 렌즈의 초점 거리에 대응되는 임의의 구상을 생성하고, 상기 구상과 상기 보정전 이미지의 중심점에 상응하는 초기 좌표계를 정의하고, 상기 보정전 이미지의 피사체를 상기 구상에 직교 사영하고, 상기 직교 사영된 피사체를 상기 구상의 중심점에 대해 원근법으로 사영하고, 상기 초기 좌표계를 이용하여 초기 디스플레이 시점에서의 보정후 이미지를 획득하는 것을 특징으로 하는 왜곡 영상 보정 장치.
  23. 제 22항에 있어서 상기 왜곡 영상 보정부는
    변경된 디스플레이 시점에서는, 상기 구상과 상기 변경된 디스플레이 시점을 반영하는 상기 보정전 이미지의 특정 좌표에 상응하는 새로운 좌표계를 정의하고, 상기 보정전 이미지의 피사체를 상기 구상에 직교 사영하고, 상기 직교 사영된 피사체를 상기 구상의 중심점에 대해 원근법으로 사영하고, 상기 새로운 좌표계를 이용하여 변경된 디스플레이 시점에서의 보정후 이미지를 획득하는 것을 특징으로 하는 왜곡 영상 보정 장치.
  24. 제 17항에 있어서, 상기 제어부는
    상기 어안렌즈의 파라메터를 획득하고, 디스플레이 시점을 반영하는 상기 보정전 이미지의 특정 좌표를 획득하는 기능을 더 구비하는 것을 특징으로 하는 왜곡 영상 보정 장치.
  25. 제 17항에 있어서, 상기 영상 디스플레이 시스템은
    상기 카메라로부터 전송되는 보정전 이미지를 순차적으로 저장하는 메모리부를 더 구비하는 것을 특징으로 하는 영상 디스플레이 시스템.
  26. 제 17항에 있어서, 상기 카메라는
    고해상도를 지원하며, 영상비가 1인 CCD 카메라, 및 CMOS 카메라등인 것을 특징으로 하는 영상 디스플레이 시스템.
KR1020040090598A 2004-11-08 2004-11-08 왜곡 영상 보정 장치 및 방법 및 이를 이용하는 영상디스플레이 시스템 KR100596976B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020040090598A KR100596976B1 (ko) 2004-11-08 2004-11-08 왜곡 영상 보정 장치 및 방법 및 이를 이용하는 영상디스플레이 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020040090598A KR100596976B1 (ko) 2004-11-08 2004-11-08 왜곡 영상 보정 장치 및 방법 및 이를 이용하는 영상디스플레이 시스템

Publications (2)

Publication Number Publication Date
KR20060041116A KR20060041116A (ko) 2006-05-11
KR100596976B1 true KR100596976B1 (ko) 2006-07-05

Family

ID=37147849

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040090598A KR100596976B1 (ko) 2004-11-08 2004-11-08 왜곡 영상 보정 장치 및 방법 및 이를 이용하는 영상디스플레이 시스템

Country Status (1)

Country Link
KR (1) KR100596976B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080053834A (ko) * 2006-12-11 2008-06-16 현대자동차주식회사 차량의 후방 카메라의 영상 왜곡 변환 방법 및 주차궤적표현 방법
KR100856729B1 (ko) 2007-04-04 2008-09-04 장상진 왜곡 영상 보정 장치 및 방법
KR101404527B1 (ko) 2007-12-26 2014-06-09 다이니폰 인사츠 가부시키가이샤 화상 변환 장치 및 화상 변환 방법
KR101478980B1 (ko) * 2013-05-22 2015-01-05 아이오솔루션(주) 어안 렌즈를 이용한 다중 채널 디스플레이 시스템

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100882875B1 (ko) * 2007-12-18 2009-02-10 주식회사 현대오토넷 영상 위치 변환을 위한 차량 후방 영상 표시 장치 및 방법
KR100953522B1 (ko) * 2008-10-06 2010-04-21 인하대학교 산학협력단 수중 카메라의 왜곡 보정 방법
KR101272257B1 (ko) * 2011-08-30 2013-06-19 에스엘 주식회사 차량의 주변 영상 보정 장치 및 방법
KR101278654B1 (ko) * 2011-08-31 2013-06-25 에스엘 주식회사 차량의 주변 영상 디스플레이 장치 및 방법
KR101428169B1 (ko) 2012-07-09 2014-08-07 현대자동차주식회사 후방 카메라의 영상 왜곡 보정 장치 및 방법
KR101592740B1 (ko) 2014-07-24 2016-02-15 현대자동차주식회사 차량용 광각카메라의 영상 왜곡 보정 장치 및 방법
KR101902999B1 (ko) * 2016-05-17 2018-10-01 (주)유비크마이크로 360도 이미지를 형성할 수 있는 카메라
KR101882977B1 (ko) * 2016-05-17 2018-07-27 (주)유비크마이크로 360도 이미지를 형성할 수 있는 렌즈 모듈 및 360도 이미지 형성 어플리케이션
KR102028469B1 (ko) * 2018-01-15 2019-10-04 주식회사 스트리스 어안 렌즈 및 전방위 영상의 왜곡 제거를 위한 장치 및 방법
CN113554686B (zh) * 2020-04-24 2024-03-12 株式会社理光 图像处理方法、装置和计算机可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0793526A (ja) * 1993-02-08 1995-04-07 Telerobotics Internatl Inc 全視覚静止カメラ監視システム
WO2003056516A1 (en) 2001-12-03 2003-07-10 Tempest Microsystems Panoramic imaging and display system with canonical magnifier

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0793526A (ja) * 1993-02-08 1995-04-07 Telerobotics Internatl Inc 全視覚静止カメラ監視システム
WO2003056516A1 (en) 2001-12-03 2003-07-10 Tempest Microsystems Panoramic imaging and display system with canonical magnifier

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080053834A (ko) * 2006-12-11 2008-06-16 현대자동차주식회사 차량의 후방 카메라의 영상 왜곡 변환 방법 및 주차궤적표현 방법
KR100856729B1 (ko) 2007-04-04 2008-09-04 장상진 왜곡 영상 보정 장치 및 방법
KR101404527B1 (ko) 2007-12-26 2014-06-09 다이니폰 인사츠 가부시키가이샤 화상 변환 장치 및 화상 변환 방법
KR101478980B1 (ko) * 2013-05-22 2015-01-05 아이오솔루션(주) 어안 렌즈를 이용한 다중 채널 디스플레이 시스템

Also Published As

Publication number Publication date
KR20060041116A (ko) 2006-05-11

Similar Documents

Publication Publication Date Title
US7834907B2 (en) Image-taking apparatus and image processing method
TWI524306B (zh) 圖像轉換和多視圖輸出系統及方法
US9262807B2 (en) Method and system for correcting a distorted input image
KR100596976B1 (ko) 왜곡 영상 보정 장치 및 방법 및 이를 이용하는 영상디스플레이 시스템
KR101521008B1 (ko) 어안 렌즈를 사용하여 얻은 왜곡영상에 대한 보정방법 및 이를 구현하기 위한 영상 디스플레이 시스템
KR100743803B1 (ko) 프로젝터 및 투사 영상 보정 방법
US8913162B2 (en) Image processing method, image processing apparatus and image capturing apparatus
WO2014208230A1 (ja) 座標算出装置及び方法、並びに画像処理装置及び方法
KR20160118868A (ko) 하나의 룩업 테이블을 이용한 파노라마 영상 출력 시스템 및 방법
JP5735846B2 (ja) 画像処理装置およびその方法
JP6804056B2 (ja) 投写型表示装置、投写型表示装置の制御方法、及びプログラム
CN109547692B (zh) 图像姿态矫正方法、设备及终端
JP2017092756A (ja) 画像処理装置、画像処理方法、画像投影システムおよびプログラム
JP4860431B2 (ja) 画像生成装置
JP3594225B2 (ja) 広視野カメラ装置
KR101222155B1 (ko) 어안렌즈를 이용한 증강현실 구현 시스템 및 그 구현 방법
US20220309709A1 (en) Method of controlling a camera
JP2023118479A (ja) 情報処理装置、情報処理方法、プログラム、及び、記憶媒体
US11143874B2 (en) Image processing apparatus, head-mounted display, and image displaying method
JP2022138883A (ja) 画像生成方法、制御方法、および情報処理装置
JP4568050B2 (ja) カメラパラメータ算出較正装置およびカメラパラメータ算出較正プログラム
CN111625210A (zh) 一种大屏控制方法、装置及设备
WO2011158344A1 (ja) 画像処理方法、プログラム、画像処理装置及び撮像装置
WO2022044806A1 (ja) 情報処理装置および方法
JP7277187B2 (ja) 画像処理装置、撮像装置、画像処理方法、およびプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130603

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20140603

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20150602

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20160530

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20170529

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20180529

Year of fee payment: 13

FPAY Annual fee payment

Payment date: 20190528

Year of fee payment: 14