KR20110122819A

KR20110122819A - Method and apparatus for correction of an image from a fisheye lens in a camera

Info

Publication number: KR20110122819A
Application number: KR1020117017882A
Authority: KR
Inventors: 달라스 드와이트 힉커슨
Original assignee: 파나소닉 오토모티브 시스템즈 컴퍼니 오브 어메리카, 디비젼 오브 파나소닉 코포레이션 오브 노쓰 어메리카
Priority date: 2009-01-30
Filing date: 2010-01-29
Publication date: 2011-11-11
Also published as: CN102292733B; WO2010087989A8; CN102292733A; US20150163380A1; US20100194850A1; JP5460736B2; JP2012516640A; US9531923B2; US20170048426A1; KR101637621B1; EP2384486A1; US8988492B2; EP2384486A4; WO2010087989A1

Abstract

비디오 시스템을 조작하는 방법은 어안 렌즈의 사용에 의해 캡처된 이미지를 수신하는 것을 포함한다. 상기 이미지는 복수의 수평 이미지 라인들로 분할된다. 각각의 상기 수평 이미지 라인들의 각각의 프랙션이 상이한 각각의 샘플링 주파수로 샘플링된다. 각각의 샘플링 주파수는 상기 샘플링된 프랙션의 사이즈와 역관계에 있다. 샘플링된 프랙션의 사이즈는 상기 이미지의 상부로부터 상기 이미지의 하부까지 진행하면서 각각의 수평 이미지 라인과 함께 증가한다.A method of manipulating a video system includes receiving an image captured by the use of a fisheye lens. The image is divided into a plurality of horizontal image lines. Each fraction of each of the horizontal image lines is sampled at a different respective sampling frequency. Each sampling frequency is inversely related to the size of the sampled fraction. The size of the sampled fraction increases with each horizontal image line as it progresses from the top of the image to the bottom of the image.

Description

카메라의 어안 렌즈로부터의 이미지의 정정을 위한 방법 및 장치{METHOD AND APPARATUS FOR CORRECTION OF AN IMAGE FROM A FISHEYE LENS IN A CAMERA}TECHNICAL AND APPARATUS FOR CORRECTION OF AN IMAGE FROM A FISHEYE LENS IN A CAMERA

본 발명은 어안 렌즈(fisheye lens)를 포함하는 카메라 시스템을 조작하기 위한 장치 및 방법에 관한 것이며, 특히, 어안 렌즈를 포함하는 자동차용 리어 뷰 카메라 시스템을 조작하기 위한 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for operating a camera system comprising a fisheye lens, and more particularly, to an apparatus and method for operating an automotive rear view camera system comprising a fisheye lens.

자동차용 리어 뷰 카메라는 종종 광학 어안 렌즈를 사용한다. 어안 렌즈는 매우 넓은 반구상의 이미지(hemispherical image)를 생성하는 광각 렌즈의 한 유형이다. 모든 초광각 렌즈들과 같이, 어안 렌즈는, 특히 극단적으로 넓은 화각들(extremely wide angles of view)에 대하여, 원통형 왜곡(barrel distortion)을 겪고, 이로 인해 볼록한 외관(convex appearance)이 생긴다.Automotive rear view cameras often use optical fisheye lenses. Fisheye lenses are a type of wide-angle lens that produces very wide hemispherical images. Like all ultra wide angle lenses, fisheye lenses suffer from barrel distortion, especially for extremely wide angles of view, resulting in a convex appearance.

자동차용 리어 뷰 카메라를 통해 캡처된 왜곡된 이미지의 예가 도 1에 도시되어 있다. 어안 렌즈에 의해 생성된 왜곡을 표상하는 바와 같이, 시야(field of view)는 이미지의 하부에서보다 이미지의 상부에서 훨씬 더 넓고, 예를 들면, 약 3배 정도 더 넓다. 이러한 상이(disparity)의 이유는 이미지의 상부에 있는 물체들이 이미지의 하부에 있는 물체들보다 렌즈로부터 더 멀리 떨어져 있기 때문일 수 있다.An example of a distorted image captured through a car rear view camera is shown in FIG. 1. As representing the distortion produced by the fisheye lens, the field of view is much wider at the top of the image than at the bottom of the image, for example about three times wider. The reason for this disparity may be that objects at the top of the image are farther from the lens than objects at the bottom of the image.

어안 렌즈에 의해 생성된 왜곡을 SDRAM을 갖는 비디오 디지털 신호 프로세서(DSP)를 이용하여 제거하는 것이 가능할 수 있다. 그러나, 그러한 완비된(full-blown) DSP의 사용은 고비용의 해결책일 수 있고 따라서 과잉(overkill)으로 생각될 수 있다.It may be possible to remove the distortion produced by the fisheye lens using a video digital signal processor (DSP) with SDRAM. However, the use of such a full-blown DSP can be a costly solution and thus can be thought of as overkill.

따라서, 종래 기술에 비추어 예상되지도 않고 명백하지도 않은 것은 어안 렌즈의 사용에 의해 캡처된 이미지들로부터 왜곡을 제거하고, 저비용의 방법으로 그렇게 하는 옵션을 뷰어(viewer)에 제공하는 방법이다.Thus, neither expected nor apparent in the light of the prior art is a method of removing distortion from images captured by the use of a fisheye lens and providing the viewer with the option to do so in a low cost way.

[발명의 개요]SUMMARY OF THE INVENTION [

본 발명은 왜곡의 양에 비례하여 이미지의 상부의 중간 부분을 "늘이는"(stretching out) 것에 의해 어안렌즈 왜곡을 정정하는 방법을 제공한다. "늘이는" 정도, 또는 늘임(stretching) 동안에 제거되는 이미지의 주변부의 폭은 이미지의 하부에서 캡처된 이미지 전체가 포함될 때까지 이미지의 상부로부터 이미지의 하부까지 끊임없이 감소할 수 있다.The present invention provides a method for correcting fisheye lens distortion by "stretching out" the middle portion of the top of the image in proportion to the amount of distortion. The degree of "stretching," or the width of the periphery of the image that is removed during stretching, may constantly decrease from the top of the image to the bottom of the image until the entire captured image is included at the bottom of the image.

하나의 실시예에서, 어안 렌즈에 의해 야기된 왜곡을 제거하기 위해 비디오 FIFO(First-In, First-Out) 메모리가 사용되고, 왜곡의 제거는 왜곡의 정도에 비례하여 FIFO 메모리의 클록을 변조하는 것에 의해 달성된다.In one embodiment, video first-in, first-out (FIFO) memory is used to remove distortion caused by the fisheye lens, and removal of the distortion is achieved by modulating the clock of the FIFO memory in proportion to the degree of distortion. Is achieved by

본 발명은, 그것의 한 형태로, 어안 렌즈의 사용에 의해 캡처된 이미지를 수신하는 것을 포함하는 비디오 시스템을 조작하는 방법을 포함한다. 상기 이미지는 복수의 수평 이미지 라인들로 분할된다. 각각의 상기 수평 이미지 라인들의 각각의 프랙션(fraction)이 상이한 각각의 샘플링 주파수로 샘플링된다. 각각의 샘플링 주파수는 상기 샘플링된 프랙션의 사이즈와 역관계에 있다(inversely related). 샘플링된 프랙션의 사이즈는 상기 이미지의 상부로부터 상기 이미지의 하부까지 진행하면서 각각의 수평 이미지 라인과 함께 증가한다. 상기 샘플링된 프랙션의 사이즈(및 따라서 샘플링 주파수)는 왜곡 특성과 같은 렌즈의 특성의 함수일 수 있다.The invention includes, in one form thereof, a method of manipulating a video system comprising receiving an image captured by the use of a fisheye lens. The image is divided into a plurality of horizontal image lines. Each fraction of each of the horizontal image lines is sampled at a different respective sampling frequency. Each sampling frequency is inversely related to the size of the sampled fraction. The size of the sampled fraction increases with each horizontal image line as it progresses from the top of the image to the bottom of the image. The size of the sampled fraction (and thus the sampling frequency) may be a function of the characteristics of the lens such as the distortion characteristic.

본 발명은, 그것의 다른 형태로, 어안 렌즈의 사용에 의해 캡처된 제1 아날로그 이미지를 수신하는 것을 포함하는 비디오 시스템을 조작하는 방법을 포함한다. 상기 아날로그 이미지는 디지털 이미지 데이터로 변환된다. 상기 이미지 데이터는 복수의 이미지 라인들로 분할된다. 각각의 상기 이미지 라인들의 각각의 중간 부분이 상이한 각각의 샘플링 주파수로 샘플링된다. 각각의 샘플링 주파수는 상기 중간 부분이 차지하는 상기 각각의 이미지 라인의 프랙션과 역관계에 있다. 상기 중간 부분이 차지하는 상기 이미지 라인의 프랙션은 상기 이미지의 제1 에지로부터 상기 이미지의 제2 에지까지 진행하면서 각각의 이미지 라인과 함께 증가한다. 상기 샘플링된 디지털 이미지 라인들은 제2 아날로그 이미지로 변환된다.The present invention, in its other form, includes a method of operating a video system comprising receiving a first analog image captured by the use of a fisheye lens. The analog image is converted into digital image data. The image data is divided into a plurality of image lines. Each intermediate portion of each of the image lines is sampled at a different respective sampling frequency. Each sampling frequency is inversely related to the fraction of each image line occupied by the intermediate portion. The fraction of the image line occupied by the middle portion increases with each image line as it progresses from the first edge of the image to the second edge of the image. The sampled digital image lines are converted into a second analog image.

본 발명은, 그것의 또 다른 형태로, 어안 렌즈의 사용에 의해 캡처된 제1 이미지를 수신하는 것을 포함하는 비디오 시스템을 조작하는 방법을 포함한다. 상기 이미지는 복수의 수평 이미지 라인들로 분할된다. 각각의 이미지 라인은 중간 부분 및 2개의 측면 부분들(lateral portions)을 갖는다. 상기 측면 부분들에 관한 상기 중간 부분의 사이즈는 상기 이미지의 상부로부터 상기 이미지의 하부까지 각각의 수평 이미지 라인과 함께 증가한다. 상기 이미지 라인들의 상기 측면 부분들은 버려진다. 각각의 상기 중간 부분들은 실질적으로 같은 수의 샘플들에 의해 표현된다. 상기 샘플들을 포함하는 제2 이미지가 형성된다.The present invention, in another form thereof, includes a method of manipulating a video system comprising receiving a first image captured by the use of a fisheye lens. The image is divided into a plurality of horizontal image lines. Each image line has a middle portion and two lateral portions. The size of the middle portion with respect to the side portions increases with each horizontal image line from the top of the image to the bottom of the image. The side portions of the image lines are discarded. Each of these intermediate portions is represented by substantially the same number of samples. A second image is formed comprising the samples.

본 발명의 이점은 어안 렌즈에 의해 생성된 이미지 왜곡이 저비용으로 정정될 수 있다는 것이다.An advantage of the present invention is that the image distortion produced by the fisheye lens can be corrected at low cost.

본 발명의 실시예들에 대한 하기의 설명을 첨부 도면들과 함께 참조함으로써 이 발명의 위에 언급된 및 다른 특징들 및 목적들, 및 그것들을 달성하는 방법은 더 명백할 것이고 본 발명 자체가 더 잘 이해될 것이다.
도 1은 종래 기술의 어안 렌즈에 의해 캡처된 예시적인 왜곡된 이미지이다.
도 2a는 본 발명의 방법의 하나의 실시예에 따라 비디오 스크린 상에 디스플레이되는 도 1의 이미지의 상부 라인 및 하부 라인의 부분들을 도시하는 도이다.
도 2b는 본 발명의 방법의 하나의 실시예에 따라 비디오 스크린 상에 이미지를 디스플레이하는 데 사용된 도 2a의 이미지의 수평 라인의 함수로서 비디오 클록 주파수를 도시하는 플롯(plot)이다.
도 3은 본 발명의 비디오 시스템의 하나의 실시예의 블록도이다.
도 4는 도 3의 비디오 시스템의 클록 변조기의 하나의 실시예의 블록도이다.
도 5는 비디오 시스템을 조작하기 위한 본 발명의 방법의 하나의 실시예의 순서도이다.
도 6은 비디오 시스템을 조작하기 위한 본 발명의 방법의 다른 실시예의 순서도이다.The above and other features and objects, and methods of achieving them, of the present invention will be more apparent by reference to the following description of embodiments of the invention, in conjunction with the accompanying drawings, and the invention itself is better Will be understood.
1 is an exemplary distorted image captured by a fisheye lens of the prior art.
FIG. 2A is a diagram illustrating portions of the top line and bottom line of the image of FIG. 1 displayed on a video screen in accordance with one embodiment of the method of the present invention. FIG.
FIG. 2B is a plot showing the video clock frequency as a function of the horizontal line of the image of FIG. 2A used to display an image on a video screen in accordance with one embodiment of the method of the present invention.
3 is a block diagram of one embodiment of a video system of the present invention.
4 is a block diagram of one embodiment of a clock modulator of the video system of FIG.
5 is a flowchart of one embodiment of a method of the present invention for manipulating a video system.
6 is a flowchart of another embodiment of a method of the present invention for manipulating a video system.

이하에 개시된 실시예들은 총망라하거나 또는 본 발명을 하기의 설명에 개시된 정확한 형태들로 제한하기 위해 의도된 것이 아니다. 오히려 이 실시예들은 이 기술 분야의 숙련된 다른 사람들이 그것의 가르침을 이용할 수 있도록 선택되고 설명되었다.The examples disclosed below are not intended to be exhaustive or to limit the invention to the precise forms disclosed in the following description. Rather, these embodiments have been selected and described so that others skilled in the art may use its teachings.

하나의 실시예에서, 본 발명의 방법은 클록 변조, 즉, 스크린 또는 모니터 상의 재생을 위해 이미지가 샘플링되는 주파수의 변조를 포함한다. 하나의 특정한 실시예에서, 캡처된 이미지는 13.5 MHz에서 샘플링된, 수평 라인 주파수(F_h) = 15,734.266 Hz를 갖는 NTSC(National Television System Committee) 아날로그 텔레비전 시스템을 통해 스크린 상에 재생된다. 이 레이트에서는, 수평 블랭킹 인터벌(Horizontal Blanking Interval)을 포함하여, 비디오 스크린의 라인 전체에 걸쳐 858(즉, 13.5 MHz/15,734.266 Hz)개 샘플들이 있을 것이다. 액티브 라인, 즉, 비디오 라인의 가시 부분(visible portion) 내에, 858개 샘플들 중 720개가 있을 수 있다. 만약 클록 레이트가 증가되면, 라인마다 더 많은 샘플들이 캡처될 수 있고, 또는, 더 중요한 것은, 720개 샘플들은 주어진 라인의 보다 작은 부분 내에 캡처될 수 있다는 것이다.In one embodiment, the method includes clock modulation, ie modulation of the frequency at which an image is sampled for playback on a screen or monitor. In one particular embodiment, the captured image is reproduced on the screen via a National Television System Committee (NTSC) analog television system with horizontal line frequency F _h = 15,734.266 Hz, sampled at 13.5 MHz. At this rate, there will be 858 (ie 13.5 MHz / 15,734.266 Hz) samples across the line of the video screen, including the Horizontal Blanking Interval. Within the active line, ie the visible portion of the video line, there may be 720 of 858 samples. If the clock rate is increased, more samples can be captured per line, or more importantly, 720 samples can be captured in a smaller portion of a given line.

예를 들면, 주어진 비디오 이미지의 상부 라인에 적용된 대략 40 MHz의 최초(initial) 최대 클록 레이트를 생각해보자. 이 레이트에서는, 수평 블랭킹 인터벌을 포함하여, 비디오 스크린의 상부 라인 전체에 걸쳐 2,542(즉, 40 MHz/15,734.266 Hz)개 샘플들이 있을 것이다. 액티브 라인, 즉, 비디오 라인의 가시 부분 내에, 2,542개 샘플들 중 2,133개가 있을 수 있다. 본 발명의 하나의 실시예에 따르면, 도 2a에 도시된 바와 같이, 상부 비디오 라인의 중간 부분, 예를 들면 중간 3분의 1(middle third)로부터 FIFO(First-In, First-Out) 메모리에 720개 샘플들, 즉, 2,133개 샘플 비디오 라인의 대략 3분의 1이 캡처될 수 있다.For example, consider an initial maximum clock rate of approximately 40 MHz applied to the top line of a given video image. At this rate, there will be 2,542 (ie 40 MHz / 15,734.266 Hz) samples across the top line of the video screen, including the horizontal blanking interval. Within the active line, ie the visible portion of the video line, there may be 2,133 of 2,542 samples. According to one embodiment of the present invention, as shown in FIG. 2A, the first portion of the upper video line, for example, the middle third, is stored in the FIFO (First-In, First-Out) memory. 720 samples, that is, approximately one third of the 2,133 sample video lines may be captured.

아래쪽으로 각각의 후속 라인에 대하여, 클록 레이트는, 도 2b에 도시된 바와 같이, 소망의 720개 샘플들이 비디오 라인의 증가하는 비율들을 캡처하도록 감소될 수 있다. 이미지의 하부에서, 13.5 MHz의 최소 클록 주파수에 도달하고 720개 샘플들은 라인 전체를 캡처한다.For each subsequent line downward, the clock rate can be reduced such that the desired 720 samples capture the increasing rates of the video line, as shown in FIG. 2B. At the bottom of the image, a minimum clock frequency of 13.5 MHz is reached and 720 samples capture the entire line.

샘플 클록은 720개 클록 펄스들 내에 있지 않은 이미지의 삼각형 코너 부분들(10a, 10b) 동안에 억제될 수 있다. 이러한 샘플 클록의 억제는 이 코너 부분들(10a, 10b)이 분실되고 및/또는 버려지는 결과를 초래한다.The sample clock may be suppressed during the triangle corner portions 10a, 10b of the image that are not within 720 clock pulses. This suppression of the sample clock results in the corner portions 10a and 10b being lost and / or discarded.

하나의 실시예에서, 클록은 아날로그-디지털 변환 클록으로서도 기능하고 FIFO 입력 클록으로서도 기능한다. 도 2b의 이미지의 상부에서, 클록은 적당한 때, 예를 들면, 상부 라인을 통한 도중의 약 3분의 1의 위치에 있을 때까지 억제될 수 있고, 그 후 도시된 바와 같이 이미지의 중심으로부터 높은 주파수(대략 40 MHz)에서 720개 샘플들이 캡처된다. 변환 클록 주파수는, 하부 라인에서, 그 주파수가 13.5 MHz인 때까지, 상부로부터 하부까지 각 라인에 대하여 감소한다. In one embodiment, the clock also functions as an analog-to-digital conversion clock and also as a FIFO input clock. At the top of the image of FIG. 2B, the clock can be suppressed at a suitable time, for example, until it is in a position of about one third of the way through the top line, and then high from the center of the image as shown. 720 samples are captured at a frequency (approximately 40 MHz). The conversion clock frequency decreases for each line from the top down to the bottom line until its frequency is 13.5 MHz.

FIFO 출력 클록으로서도 기능하고 디지털-아날로그 변환 클록으로서도 기능하는 또 다른 클록은 13.5 MHz의 일정한 레이트에서 가동한다. 각각의 비디오 라인은 720개 클록 펄스들을 포함하기 때문에, 40 MHz에서 캡처된, 상부 라인의 부분은, 감소하는 레이트들에서 캡처된 각각의 잇따른 라인과 마찬가지로, 비디오 스크린 전체에 걸쳐 늘여진다(stretched). 따라서, 각 라인의 샘플링된 중간 부분들은 조합되어 직사각형 스크린 상에 이미지를 형성할 수 있다.Another clock, which acts as a FIFO output clock and also as a digital-to-analog converter clock, runs at a constant rate of 13.5 MHz. Since each video line contains 720 clock pulses, the portion of the top line, captured at 40 MHz, is stretched across the video screen, as is each subsequent line captured at decreasing rates. . Thus, the sampled intermediate portions of each line can be combined to form an image on a rectangular screen.

본 발명의 비디오 시스템(12)의 하나의 실시예가 도 3에 도시되어 있다. 시스템(12)은 어안 렌즈를 갖는 카메라(14)를 포함한다. 동기결합(genlock) 클록 발생기(16)는 카메라(14)의 비디오 출력을 이용하여 마스터 클록 신호(18)와 수평 동기화 신호(H) 모두를 생성한다. 클록 변조기(20)는 FIFO 입력 클록 신호(22)를 생성하고 이 신호는 아날로그-디지털 변환기(24)와 FIFO 메모리(26) 모두에 전송된다. 마스터 클록 신호(18)는 FIFO 출력 클록 신호로서 FIFO 메모리(26)에 공급되고 디지털-아날로그 변환기(28)에 공급된다. 비록 카메라(14)는 어안 왜곡을 갖는 비디오를 출력하지만, 비디오 시스템(12), 및 특히 디지털-아날로그 변환기(28)는 어안 왜곡이 없는 비디오를 출력한다. 카메라(14)를 제외한 시스템(12) 전체가 단일의 ASIC(application-specific integrated circuit)에 포함되는 것이 가능하다.One embodiment of the video system 12 of the present invention is shown in FIG. System 12 includes a camera 14 with a fisheye lens. The genlock clock generator 16 uses the video output of the camera 14 to generate both the master clock signal 18 and the horizontal synchronization signal H. Clock modulator 20 generates FIFO input clock signal 22, which is transmitted to both analog-to-digital converter 24 and FIFO memory 26. The master clock signal 18 is supplied to the FIFO memory 26 as a FIFO output clock signal and to the digital-to-analog converter 28. Although camera 14 outputs video with fisheye distortion, video system 12, and in particular digital-to-analog converter 28, outputs video without fisheye distortion. It is possible for the entire system 12 except for the camera 14 to be included in a single application-specific integrated circuit (ASIC).

도 4에는 마스터 클록 신호(18)와 수평 동기화 신호(H)를 수신하고 FIFO 입력 클록 신호(22)를 출력하기 위한 클록 변조기(20)의 하나의 특정한 실시예가 도시되어 있다. 디지털 라인 카운터(30)는 수신된 수평 동기화 신호(H)에 기초하여, 예를 들면, 이미지의 상부로부터 하부까지, 비디오 라인들을 카운트할 수 있다. 최대 클록 레이트는 라인 카운트에 정비례하는 값으로 나누어질 수 있다. 특히, 도 4의 실시예에서, 카운터(30)로부터의 라인 카운트에 비례하는 값 "n"이 32에서 생성된다. 마스터 클록 신호(18)는 위상 동기 루프(phase locked loop, 34)에 의해 수신된다. 위상 동기 루프(34)의 출력 신호(36)의 주파수는 마스터 클록 신호(18)의 주파수보다 대략 3배 더 클 수 있다. 주파수 분주기(frequency divider, 38)는 출력 신호(36)의 주파수를 양 n으로 나눈 주파수를 갖는 FIFO 입력 클록 신호(22)를 출력할 수 있다.4 shows one particular embodiment of a clock modulator 20 for receiving a master clock signal 18 and a horizontal synchronization signal H and outputting a FIFO input clock signal 22. The digital line counter 30 may count video lines, for example, from the top to the bottom of the image, based on the received horizontal synchronization signal H. The maximum clock rate can be divided by a value that is directly proportional to the line count. In particular, in the embodiment of FIG. 4, a value “n” is generated at 32 that is proportional to the line count from the counter 30. The master clock signal 18 is received by a phase locked loop 34. The frequency of the output signal 36 of the phase locked loop 34 may be approximately three times greater than the frequency of the master clock signal 18. The frequency divider 38 may output a FIFO input clock signal 22 having a frequency obtained by dividing the frequency of the output signal 36 by a quantity n.

클록 변조기(20)는 또한 마스터 클록 신호(18)에 따라 마스터 클록 사이클들을 카운트하고 적당한 때까지, 샘플 클록의 시동, 즉, FIFO 입력 클록(22)의 시동을 억제하는 디지털 픽셀 카운터(40)를 포함할 수 있다. 하나의 실시예에서, "적당한 때"는 이미지의 중심 부분이 임의의 주어진 라인 내에 캡처되도록 선택된다. 예를 들면, 이미지의 상부에서, 샘플 클록은 상부 라인의 대략 중심 3분의 1이 캡처되도록 라인의 대략 3분의 1에 대하여 억제되고; 상부 라인과 하부 라인 사이의 중도의 라인에서, 샘플 클록은 라인의 대략 중심 3분의 2가 캡처되도록 라인의 대략 6분의 1에 대하여 억제되고; 이미지의 마지막 라인에서, 샘플 클록은 전혀 억제되지 않고 라인 전체가 캡처된다.Clock modulator 20 also counts master clock cycles in accordance with master clock signal 18 and, until appropriate, suppresses digital pixel counter 40, which inhibits startup of the sample clock, that is, startup of FIFO input clock 22. It may include. In one embodiment, “when appropriate” is selected such that the central portion of the image is captured within any given line. For example, at the top of the image, the sample clock is suppressed for approximately one third of the line such that approximately one third of the center of the top line is captured; In the intermediate line between the upper line and the lower line, the sample clock is suppressed for approximately one sixth of the line such that approximately two thirds of the center of the line is captured; In the last line of the image, the sample clock is not suppressed at all and the entire line is captured.

위에 설명된 샘플 클록의 억제는 주파수 분주기(38)로부터의 미가공(raw) FIFO 입력 클록 신호(44) 및 픽셀 카운터(40)로부터의 억제 신호(46)를 수신하는 클록 억제 모듈(42)에 의해 수행될 수 있다. 억제 신호(46)는 억제되어야 하는 이미지의 끝 부분들에 대응할 때는 0의 값, 및 억제되지 않아야 하는 이미지의 중간 부분에 대응할 때는 1의 값을 갖는 이진 신호일 수 있다. 클록 억제 모듈(42)은 주파수 분주기(38)로부터의 미가공 FIFO 입력 클록 신호(44)와 픽셀 카운터(40)로부터의 억제 신호(46)를 함께 논리적으로 AND 연산하여 FIFO 입력 클록 신호(22)를 생성할 수 있다.The suppression of the sample clock described above is applied to the clock suppression module 42 which receives the raw FIFO input clock signal 44 from the frequency divider 38 and the suppression signal 46 from the pixel counter 40. Can be performed by The suppression signal 46 may be a binary signal having a value of 0 when corresponding to end portions of the image to be suppressed, and a value of 1 when corresponding to an intermediate portion of the image which should not be suppressed. The clock suppression module 42 logically ANDs the raw FIFO input clock signal 44 from the frequency divider 38 and the suppression signal 46 from the pixel counter 40 together to logically AND the FIFO input clock signal 22. Can be generated.

(도시되지 않은) 하나의 실시예에서, 픽셀 카운터(40)는 라인 카운터(30)의 출력으로부터 현재 라인 정보를 수신한다. 따라서, 픽셀 카운터(40)는 라인 넘버에 따라 변하는 수의 픽셀들에 대하여 FIFO 입력 클록 신호(22)를 억제할 수 있다.In one embodiment (not shown), pixel counter 40 receives current line information from the output of line counter 30. Thus, pixel counter 40 may suppress the FIFO input clock signal 22 for a number of pixels that vary with line number.

위에 개시된 실시예에서, FIFO 입력 클록 신호(22)의 주파수는 카운터(30)에 의해 생성된 라인 카운트와 특정한 관계를 갖는다. 그러나, 본 발명은 더 일반적으로 카운터(30)에 의해 생성된 라인 카운트가 증가할 때 FIFO 입력 클록 신호(22)의 주파수가 감소하는 어떠한 실시예라도 포함한다는 것을 이해해야 한다.In the embodiment disclosed above, the frequency of the FIFO input clock signal 22 has a specific relationship with the line count generated by the counter 30. However, it should be understood that the present invention more generally encompasses any embodiment in which the frequency of the FIFO input clock signal 22 decreases as the line count generated by the counter 30 increases.

비디오 시스템을 조작하기 위한 본 발명의 방법(500)의 하나의 실시예가 도 5에 도시되어 있다. 제1 단계(502)에서, 어안 렌즈의 사용에 의해 캡처된 제1 이미지가 수신된다. 예를 들면, 카메라(14)는 도 1 및 2a에 도시된 이미지들을 캡처할 수 있는 어안 렌즈를 포함할 수 있다.One embodiment of the method 500 of the present invention for manipulating a video system is shown in FIG. In a first step 502, a first image captured by the use of a fisheye lens is received. For example, camera 14 may include a fisheye lens capable of capturing the images shown in FIGS. 1 and 2A.

단계(504)에서, 이미지는 복수의 수평 이미지 라인들로 분할되고, 각각의 이미지 라인은 중간 부분 및 2개의 측면 부분들을 갖고, 측면 부분들에 관한 중간 부분의 사이즈는 이미지의 상부로부터 이미지의 하부까지 각각의 수평 이미지 라인과 함께 증가한다. 즉, 도 2a에 도시된 이미지는 평행의, 수평 이미지 라인들의 세트로 형성되거나, 분할될 수 있고, 각각의 라인은 이미지의 왼쪽 변과 오른쪽 변 사이에 연장한다. 도 2a에 도시된 바와 같이, 이미지는 2개의 측면 부분들(10a 및 10b) 및 그 사이에 배치된 사다리꼴의 중간 부분을 포함할 수 있다. 도 2a에서 알 수 있는 바와 같이, 중간 부분은 이미지의 상부에서 가장 작고 이미지의 하부에 접근하면서 측면 부분들에 관하여 차차 더 커진다.In step 504, the image is divided into a plurality of horizontal image lines, each image line having a middle portion and two side portions, the size of the middle portion with respect to the side portions being from the top of the image to the bottom of the image. As far as each horizontal image line increases. That is, the image shown in FIG. 2A can be formed or divided into a set of parallel, horizontal image lines, each line extending between the left and right sides of the image. As shown in FIG. 2A, the image may include two side portions 10a and 10b and a trapezoidal middle portion disposed therebetween. As can be seen in FIG. 2A, the middle portion is the smallest at the top of the image and gradually grows with respect to the side portions while approaching the bottom of the image.

다음 단계(506)에서, 이미지 라인들의 측면 부분들은 버려진다. 하나의 실시예에서, 클록 억제 모듈(42)은 측면 부분들(10a 및 10b)의 샘플링을 막고 이미지의 중간 부분만이 샘플링되게 한다. 따라서, 이미지 라인들의 측면 부분들은 결코 디지털화되거나, 메모리에 저장되거나, 다르게 처리되지 않으며, 따라서 사실상 분실되거나 버려진다.In the next step 506, the side portions of the image lines are discarded. In one embodiment, clock suppression module 42 prevents sampling of side portions 10a and 10b and allows only the middle portion of the image to be sampled. Thus, the lateral portions of the image lines are never digitized, stored in memory, or otherwise processed, and are therefore virtually lost or discarded.

다음으로, 단계(508)에서, 각각의 중간 부분들은 실질적으로 같은 수의 샘플들에 의해 표현된다. 예를 들면, 상기 실시예들에서 설명된 바와 같이, 중간 부분의 길이에 상관없이, 이미지의 수평 라인들 각각의 중간 부분으로부터 720개 샘플들이 취해진다. 이 720개 샘플들은 사실상 그것들이 취해지는 각각의 중간 부분을 표현한다. 중간 부분들의 상이한 길이들을 보상하기 위하여, 샘플링 주파수는 중간 부분의 길이에 걸쳐서 720개 클록 펄스들, 즉 720개 샘플들을 유지하도록 변할 수 있다. 중간 부분들, 즉 샘플링된 프랙션들의 사이즈는 렌즈의 왜곡 특성에 의존할 수 있다. 따라서, 샘플링 주파수도 렌즈의 왜곡 특성에 따라 변할 수 있다.Next, in step 508, each intermediate portion is represented by substantially the same number of samples. For example, as described in the above embodiments, 720 samples are taken from the middle portion of each of the horizontal lines of the image, regardless of the length of the middle portion. These 720 samples actually represent each intermediate part where they are taken. To compensate for the different lengths of the intermediate portions, the sampling frequency can be varied to maintain 720 clock pulses, i.e. 720 samples, over the length of the intermediate portion. The size of the intermediate portions, ie the sampled fractions, may depend on the distortion characteristics of the lens. Therefore, the sampling frequency may also change according to the distortion characteristics of the lens.

마지막 단계(510)에서, 샘플들을 포함하는 제2 이미지가 형성된다. 즉, 단계(508)에서 취해진 모든 샘플들이 함께 모아져서 무왜곡(non-distorted) 이미지를 형성할 수 있다.In a final step 510, a second image is formed comprising the samples. That is, all the samples taken in step 508 can be gathered together to form a non-distorted image.

비디오 시스템을 조작하기 위한 본 발명의 방법(600)의 다른 실시예가 도 6에 도시되어 있다. 제1 단계(602)에서, 어안 렌즈의 사용에 의해 캡처된 제1 아날로그 이미지가 수신된다. 예를 들면, 예를 들면, 카메라(14)는 도 1 및 2a에 도시된 이미지들을 캡처할 수 있는 어안 렌즈를 포함할 수 있다.Another embodiment of the method 600 of the present invention for manipulating a video system is shown in FIG. In a first step 602, a first analog image captured by the use of a fisheye lens is received. For example, camera 14 may include a fisheye lens capable of capturing the images shown in FIGS. 1 and 2A.

단계(604)에서, 아날로그 이미지는 디지털 이미지 데이터로 변환될 수 있다. 하나의 실시예에서, 아날로그-디지털 변환기(24)가 카메라(14)로부터의 아날로그 이미지를 FIFO 메모리(26)에 저장된 디지털 이미지 데이터로 변환한다.In step 604, the analog image may be converted to digital image data. In one embodiment, analog-to-digital converter 24 converts the analog image from camera 14 into digital image data stored in FIFO memory 26.

다음 단계(606)에서, 이미지는 복수의 수평 이미지 라인들로 분할된다. 즉, 도 2a에 도시된 이미지는 평행의, 수평 이미지 라인들의 세트로 형성되거나, 분할될 수 있고, 각각의 라인은 이미지의 왼쪽 변과 오른쪽 변 사이에 연장한다. In a next step 606, the image is divided into a plurality of horizontal image lines. That is, the image shown in FIG. 2A can be formed or divided into a set of parallel, horizontal image lines, each line extending between the left and right sides of the image.

다음으로, 단계(608)에서, 각각의 이미지 라인들의 각각의 중간 부분이 상이한 각각의 샘플링 주파수로 샘플링되고, 각각의 샘플링 주파수는 중간 부분이 차지하는 각각의 이미지 라인의 프랙션과 역관계에 있고, 중간 부분이 차지하는 이미지 라인의 프랙션은 이미지의 상부 에지로부터 이미지의 하부 에지까지 진행하면서 각각의 이미지 라인과 함께 증가한다. 예를 들면, 위에 설명된 실시예에서, 측면 부분들(10a, 10b) 사이의 이미지 라인들의 중간 부분들은 이미지의 상부에서 40 MHz로부터 이미지의 하부에서 13.5 MHz까지의 범위에 이르는 변하는 샘플링 주파수들로 샘플링된다. 샘플링 주파수들은 이미지 라인 전체의 백분율로서 중간 부분의 사이즈와 역관계에 있다. 예를 들면, 중간 부분은 샘플링 주파수가 40 MHz인 이미지의 상부에서는 이미지 라인 전체의 약 3분의 1이다. 그 중간 부분의 사이즈는, 샘플링 주파수가 40 MHz로부터 13.5 MHz까지 차차 감소하면서, 이미지 라인의 3분의 1로부터 이미지의 하부에서 이미지 라인 전체까지 차차 증가한다.Next, in step 608, each middle portion of each image line is sampled at a different respective sampling frequency, each sampling frequency being inversely related to the fraction of each image line occupied by the middle portion, The fraction of image lines occupied by the portion increases with each image line as it progresses from the top edge of the image to the bottom edge of the image. For example, in the embodiment described above, the middle portions of the image lines between the side portions 10a, 10b are at varying sampling frequencies ranging from 40 MHz at the top of the image to 13.5 MHz at the bottom of the image. Sampled. Sampling frequencies are inversely related to the size of the middle portion as a percentage of the entire image line. For example, the middle portion is about one third of the entire image line at the top of the image with a sampling frequency of 40 MHz. The size of the middle portion gradually increases from one third of the image line to the entire image line at the bottom of the image, while the sampling frequency gradually decreases from 40 MHz to 13.5 MHz.

마지막 단계(610)에서, 샘플링된 디지털 이미지 라인들은 제2 아날로그 이미지로 변환된다. 위에 설명된 실시예에서, FIFO 메모리(26)에 저장된 샘플링된 디지털 이미지 라인들은 디지털-아날로그 변환기(28)에 의해 아날로그 이미지로 변환된다.In a final step 610, the sampled digital image lines are converted to a second analog image. In the embodiment described above, sampled digital image lines stored in FIFO memory 26 are converted into analog images by digital-to-analog converter 28.

이 발명은 예시적인 설계를 갖는 것으로 설명되었지만, 본 발명은 이 명세서의 정신 및 범위 내에서 더 변경될 수 있다. 따라서 이 출원은 그것의 일반적인 원리들을 이용한 본 발명의 임의의 변형들, 사용들, 또는 개조들을 포함하는 것이 의도된다. 더욱이, 이 출원은 본 발명이 속하는 기술에서 알려진 또는 관습적인 실시 내에 있는 본 명세서로부터의 그러한 일탈들을 포함하는 것이 의도된다.Although the invention has been described as having an exemplary design, the invention may be further modified within the spirit and scope of this specification. This application is therefore intended to cover any variations, uses, or adaptations of the invention using its general principles. Moreover, this application is intended to cover such departures from this specification that are within known or customary practice in the art to which this invention pertains.

Claims

비디오 시스템을 조작하는 방법으로서,
어안 렌즈(fisheye lens)의 사용에 의해 캡처된 이미지를 수신하는 단계;
상기 이미지를 복수의 수평 이미지 라인으로 분할하는 단계; 및
각각의 상기 수평 이미지 라인들의 각각의 프랙션(fraction)을 상이한 각각의 샘플링 주파수로 샘플링하는 단계 - 각각의 샘플링 주파수는 상기 샘플링된 프랙션의 사이즈와 역관계에 있고(inversely related), 상기 샘플링된 프랙션의 사이즈는 상기 이미지의 상부로부터 상기 이미지의 하부까지 진행하면서 각각의 수평 이미지 라인마다 증가함 -
를 포함하는 방법.As a method of operating a video system,
Receiving an image captured by the use of a fisheye lens;
Dividing the image into a plurality of horizontal image lines; And
Sampling each fraction of each of the horizontal image lines at a different respective sampling frequency, wherein each sampling frequency is inversely related to the size of the sampled fraction and the sampled fraction The size of the section increases with each horizontal image line running from the top of the image to the bottom of the image.
How to include.

제1항에 있어서, 각각의 상기 프랙션은 각각의 상기 이미지 라인의 각각의 중간 부분을 포함하는 방법.The method of claim 1 wherein each said fraction comprises a respective middle portion of each said image line.

제1항에 있어서, 상기 샘플링된 프랙션의 사이즈는 상기 이미지의 상부에서 상기 이미지 라인의 대략 3분의 1을 포함하고, 상기 이미지의 하부에서 상기 이미지 라인 전체를 포함하는 방법.The method of claim 1, wherein the size of the sampled fraction comprises approximately one third of the image line at the top of the image and includes the entirety of the image line at the bottom of the image.

제1항에 있어서, 상기 이미지는 아날로그 이미지를 포함하고, 상기 방법은,
상기 아날로그 이미지를 디지털 이미지 데이터로 변환하는 단계; 및
샘플링된 디지털 이미지 라인들을 제2 아날로그 이미지로 변환하는 단계
를 더 포함하는 방법.The method of claim 1, wherein the image comprises an analog image, the method comprising:
Converting the analog image into digital image data; And
Converting the sampled digital image lines into a second analog image
How to include more.

제1항에 있어서, 상기 이미지의 상부에 있는 물체들은 상기 이미지의 하부에 있는 물체들보다 상기 렌즈로부터 더 멀리 떨어져 있는 방법.The method of claim 1, wherein objects at the top of the image are farther from the lens than objects at the bottom of the image.

제1항에 있어서, 각각의 수평 라인에서, 상기 샘플링된 프랙션의 밖에 있는 부분들을 버리는 단계를 더 포함하는 방법.2. The method of claim 1, further comprising discarding, at each horizontal line, portions that are outside of the sampled fraction.

제1항에 있어서,
상기 수평 이미지 라인들을 카운트하는 단계;
각각의 상기 이미지 라인 내의 픽셀들의 수를 카운트하는 단계; 및
각각의 라인의 샘플링을 시작하고 종료할 때들을 결정하는 단계 - 상기 결정하는 단계는 상기 카운트하는 단계들 각각에 기초함 -
를 더 포함하는 방법.The method of claim 1,
Counting the horizontal image lines;
Counting the number of pixels in each of the image lines; And
Determining when to start and end sampling of each line, the determining being based on each of the counting steps
How to include more.

비디오 시스템을 조작하는 방법으로서,
어안 렌즈의 사용에 의해 캡처된 제1 아날로그 이미지를 수신하는 단계;
상기 제1 아날로그 이미지를 디지털 이미지 데이터로 변환하는 단계;
상기 이미지 데이터를 복수의 이미지 라인으로 분할하는 단계;
각각의 상기 이미지 라인들의 각각의 중간 부분을 상이한 각각의 샘플링 주파수로 샘플링하는 단계 - 각각의 샘플링 주파수는 상기 중간 부분이 차지하는 상기 각각의 이미지 라인의 프랙션과 역관계에 있고, 상기 중간 부분이 차지하는 상기 이미지 라인의 프랙션은 상기 이미지의 제1 에지로부터 상기 이미지의 제2 에지까지 진행하면서 각각의 이미지 라인마다 증가함 -; 및
상기 샘플링된 디지털 이미지 라인들을 제2 아날로그 이미지로 변환하는 단계
를 포함하는 방법.As a method of operating a video system,
Receiving a first analog image captured by the use of a fisheye lens;
Converting the first analog image into digital image data;
Dividing the image data into a plurality of image lines;
Sampling each middle portion of each of the image lines with a different respective sampling frequency, each sampling frequency being inversely related to the fraction of each image line occupied by the middle portion, wherein the middle portion occupies the The fraction of the image lines increases for each image line running from the first edge of the image to the second edge of the image; And
Converting the sampled digital image lines into a second analog image
How to include.

제8항에 있어서, 각각의 상기 샘플링 주파수는 대략 마스터 클록 주파수의 1배에서 3배 사이이고, 상기 렌즈의 왜곡 특성에 의존하는 방법.9. The method of claim 8, wherein each said sampling frequency is approximately between one and three times the master clock frequency and depends on the distortion characteristics of said lens.

제8항에 있어서, 상기 샘플링된 중간 부분의 사이즈는 상기 이미지의 상기 제1 에지에서 상기 이미지 라인의 대략 3분의 1을 포함하고 상기 이미지의 상기 제2 에지에서 상기 이미지 라인 전체를 포함하는 방법.The method of claim 8, wherein the size of the sampled intermediate portion comprises approximately one third of the image line at the first edge of the image and includes the entirety of the image line at the second edge of the image. .

제8항에 있어서, 상기 샘플링된 디지털 이미지 라인들을 FIFO 메모리 장치에 저장하는 단계를 더 포함하는 방법.10. The method of claim 8, further comprising storing the sampled digital image lines in a FIFO memory device.

제8항에 있어서, 상기 이미지의 상기 제1 에지에 있는 물체들은 상기 이미지의 상기 제2 에지에 있는 물체들보다 상기 렌즈로부터 더 멀리 떨어져 있는 방법.The method of claim 8, wherein objects at the first edge of the image are further away from the lens than objects at the second edge of the image.

제8항에 있어서, 각각의 수평 라인에서, 상기 중간 부분의 밖에 있는 부분들을 버리는 단계를 더 포함하는 방법.9. The method of claim 8, further comprising discarding, in each horizontal line, portions outside of the middle portion.

제8항에 있어서,
상기 이미지 라인들을 카운트하는 단계;
각각의 상기 이미지 라인 내의 픽셀들의 수를 카운트하는 단계; 및
각각의 라인의 샘플링을 시작하고 종료할 때들을 결정하는 단계 - 상기 결정하는 단계는 상기 카운트하는 단계들 각각에 기초함 -
를 더 포함하는 방법.The method of claim 8,
Counting the image lines;
Counting the number of pixels in each of the image lines; And
Determining when to start and end sampling of each line, the determining being based on each of the counting steps
How to include more.

비디오 시스템을 조작하는 방법으로서,
어안 렌즈의 사용에 의해 캡처된 제1 이미지를 수신하는 단계;
상기 제1 이미지를 복수의 수평 이미지 라인으로 분할하는 단계 - 각각의 이미지 라인은 중간 부분 및 2개의 측면 부분들(lateral portions)을 갖고, 상기 측면 부분들과 비교한 상기 중간 부분의 사이즈는 상기 이미지의 상부로부터 상기 이미지의 하부까지 각각의 수평 이미지 라인마다 증가함 -;
상기 이미지 라인들의 상기 측면 부분들을 버리는 단계;
각각의 상기 중간 부분들을 실질적으로 같은 수의 샘플들에 의해 표현하는 단계; 및
상기 샘플들을 포함하는 제2 이미지를 형성하는 단계
를 포함하는 방법.As a method of operating a video system,
Receiving a first image captured by the use of a fisheye lens;
Dividing the first image into a plurality of horizontal image lines, each image line having a middle portion and two lateral portions, the size of the middle portion compared to the side portions being the image Increases with each horizontal image line from the top of the bottom to the bottom of the image;
Discarding the side portions of the image lines;
Representing each of said intermediate portions by substantially the same number of samples; And
Forming a second image comprising the samples
How to include.

제15항에 있어서, 상기 제2 이미지는 상기 샘플들만을 포함하는 방법.The method of claim 15, wherein the second image comprises only the samples.

제15항에 있어서, 상기 표현하는 단계는 각각의 상기 이미지 라인들의 각각의 상기 중간 부분을 상이한 각각의 샘플링 주파수로 샘플링하는 단계 - 각각의 샘플링 주파수는 상기 중간 부분이 차지하는 상기 각각의 이미지 라인의 프랙션과 역관계에 있음 - 를 포함하는 방법.16. The method of claim 15, wherein the expressing comprises sampling the middle portion of each of the image lines at different respective sampling frequencies, each sampling frequency being the fraction of each image line occupied by the middle portion. Inversely related to Sean.

제17항에 있어서,
상기 수평 이미지 라인들을 카운트하는 단계;
각각의 상기 이미지 라인 내의 픽셀들의 수를 카운트하는 단계; 및
각각의 라인의 샘플링을 시작하고 종료할 때들을 결정하는 단계 - 상기 결정하는 단계는 상기 카운트하는 단계들 각각에 기초함 -
를 더 포함하는 방법.The method of claim 17,
Counting the horizontal image lines;
Counting the number of pixels in each of the image lines; And
Determining when to start and end sampling of each line, the determining being based on each of the counting steps
How to include more.

제17항에 있어서, 상기 샘플링된 중간 부분의 사이즈는 상기 이미지의 상부에서 상기 이미지 라인의 대략 3분의 1을 포함하고 상기 이미지의 하부에서 상기 이미지 라인 전체를 포함하는 방법.18. The method of claim 17, wherein the size of the sampled intermediate portion comprises approximately one third of the image line at the top of the image and includes the entirety of the image line at the bottom of the image.

제15항에 있어서, 상기 이미지의 상부에 있는 물체들이 상기 이미지의 하부에 있는 물체들보다 상기 렌즈로부터 더 멀리 떨어져 있도록 상기 어안 렌즈를 오리엔팅(orienting)하는 단계를 더 포함하는 방법.16. The method of claim 15, further comprising orienting the fisheye lens such that objects at the top of the image are further away from the lens than objects at the bottom of the image.