KR101823657B1 - Stereo image rectification method for mono cameras - Google Patents

Stereo image rectification method for mono cameras Download PDF

Info

Publication number
KR101823657B1
KR101823657B1 KR1020160152113A KR20160152113A KR101823657B1 KR 101823657 B1 KR101823657 B1 KR 101823657B1 KR 1020160152113 A KR1020160152113 A KR 1020160152113A KR 20160152113 A KR20160152113 A KR 20160152113A KR 101823657 B1 KR101823657 B1 KR 101823657B1
Authority
KR
South Korea
Prior art keywords
image
processing apparatus
stereo
converted
images
Prior art date
Application number
KR1020160152113A
Other languages
Korean (ko)
Inventor
전재욱
쾅 빈 딘
변진영
조병오
Original Assignee
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교산학협력단 filed Critical 성균관대학교산학협력단
Priority to KR1020160152113A priority Critical patent/KR101823657B1/en
Application granted granted Critical
Publication of KR101823657B1 publication Critical patent/KR101823657B1/en

Links

Images

Classifications

    • H04N13/0246—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H04N13/0022—
    • H04N13/0242—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

According to the present invention, a stereo image rectifying method for heterogeneous cameras comprises the following steps: an image processing apparatus receives first, second, and third images which are acquired by three heterogeneous cameras; the image processing apparatus corrects a focal distance between the first and second images and primarily rectifies the first and second images in which the focal distance is corrected; the image processing apparatus corrects a focal distance between the second and third images, and secondarily rectifies the second and third images in which the focal distance is corrected; and the image processing apparatus estimates a relation between the primarily rectified second image and the secondarily rectified second image.

Description

이종 카메라를 위한 스테레오 영상 교정 방법{STEREO IMAGE RECTIFICATION METHOD FOR MONO CAMERAS}{STEREO IMAGE RECIFICATION METHOD FOR MONO CAMERAS}

이하 설명하는 기술은 이종의 모노 카메라로 획득한 영상에 대한 스테레오 영상 교정 기법에 관한 것이다.The technique described below relates to a stereo image correction technique for an image acquired with a different mono camera.

스테레오 카메라는 3차원 영상 처리 기술의 다양한 분야에서 활용되고 있는 영상획득 장치이다. 스테레오 영상 교정(rectification)은 스테레오 정합 과정에서 에피폴라 라인(epipolar line)을 서로 평행하게 일치시키기 위한 것이다. Stereo cameras are image acquisition devices that are used in various fields of 3D image processing technology. Stereo image rectification is to match the epipolar lines in parallel with each other in the stereo matching process.

한국등록특허 제10-1457385호Korean Patent No. 10-1457385

스테레오 영상 교정은 2개의 이미지 센서를 일체형으로 포함하는 카메라가 획득한 영상 또는 2개의 이격된 카메라가 획득한 영상에 대해 수행된다. 종래 스테레오 영상 교정은 동일한 종류의 카메라를 가정한 것이다. Stereo image calibration is performed on an image acquired by a camera including two image sensors in one body or an image acquired by two separated cameras. Conventional stereo image correction assumes the same type of camera.

이하 설명하는 기술은 서로 다른 종류의 카메라가 획득한 영상에 대한 스테레오 영상 교정 기법을 제공하고자 한다.The technique described below is intended to provide a stereo image correction technique for images acquired by different kinds of cameras.

이종 카메라를 위한 스테레오 영상 교정 방법은 영상 처리 장치가 3개의 이종 카메라가 각각 획득한 제1 영상, 제2 영상 및 제 3영상을 입력받는 단계, 상기 영상 처리 장치가 상기 제1 영상과 상기 제2 영상 사이의 초점 거리를 보정하고, 초점 거리가 보정된 상기 제1 영상 및 제2 영상에 대한 제1 교정을 수행하는 단계, 상기 영상 처리 장치가 상기 제2 영상과 상기 제3 영상 사이의 초점 거리를 보정하고, 초점 거리가 보정된 상기 제2 영상 및 상기 제3 영상에 대한 제2 교정을 수행하는 단계 및 상기 영상 처리 장치가 상기 제1 교정된 상기 제2 영상 및 상기 제2 교정된 상기 제2 영상 사이의 관계를 추정하는 단계를 포함한다.A stereo image calibrating method for a heterogeneous camera includes the steps of: receiving a first image, a second image, and a third image obtained by the three different cameras of the image processing apparatus; Correcting a focal distance between images and performing a first correction on the first image and the second image with the focal distance corrected, the method comprising the steps of: determining a focal distance between the second image and the third image And performing a second calibration on the second image and the third image on which the focal length is corrected, and correcting the focal distance based on the first corrected second image and the second corrected image Lt; RTI ID = 0.0 > 2 < / RTI > images.

이하 설명하는 기술은 예컨대 차량에 설치된 복수의 모노 카메라를 이용하여 일정한 스테레오 영상을 생성할 수 있다.The technique described below can generate a constant stereo image using a plurality of mono cameras installed in a vehicle, for example.

도 1은 이종 카메라를 사용하는 자동차에 대한 예이다.
도 2은 2개의 이종 카메라를 사용하여 스테레오 영상을 교정하는 방법에 대한 순서도의 예이다.
도 3은 2개의 이종 카메라를 사용하여 스테레오 영상을 교정하는 방법에 대한 순서도의 다른 예이다.
도 4는 3개의 이종 카메라를 사용하여 스테레오 영상을 교정하는 방법에 대한 순서도의 예이다.
도 5는 3개의 이종 카메라로 획득한 영상을 교정하는 과정에 대한 예이다.1 is an example of a vehicle using a heterogeneous camera.
Figure 2 is an example of a flowchart for a method of calibrating a stereo image using two heterogeneous cameras.
3 is another example of a flowchart for a method of calibrating a stereo image using two different cameras.
Figure 4 is an example of a flowchart for a method of calibrating a stereo image using three different cameras.
5 is an example of a process of correcting an image acquired by three different cameras.

이하 설명하는 기술은 다양한 변경을 가할 수 있고 여러 가지 실시례를 가질 수 있는 바, 특정 실시례들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 이하 설명하는 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 이하 설명하는 기술의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.The following description is intended to illustrate and describe specific embodiments in the drawings, since various changes may be made and the embodiments may have various embodiments. However, it should be understood that the following description does not limit the specific embodiments, but includes all changes, equivalents, and alternatives falling within the spirit and scope of the following description.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 해당 구성요소들은 상기 용어들에 의해 한정되지는 않으며, 단지 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 이하 설명하는 기술의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.The terms first, second, A, B, etc., may be used to describe various components, but the components are not limited by the terms, but may be used to distinguish one component from another . For example, without departing from the scope of the following description, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component. And / or < / RTI > includes any combination of a plurality of related listed items or any of a plurality of related listed items.

본 명세서에서 사용되는 용어에서 단수의 표현은 문맥상 명백하게 다르게 해석되지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함한다" 등의 용어는 설시된 특징, 개수, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 의미하는 것이지, 하나 또는 그 이상의 다른 특징들이나 개수, 단계 동작 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하지 않는 것으로 이해되어야 한다.As used herein, the singular " include "should be understood to include a plurality of representations unless the context clearly dictates otherwise, and the terms" comprises & , Parts or combinations thereof, and does not preclude the presence or addition of one or more other features, integers, steps, components, components, or combinations thereof.

도면에 대한 상세한 설명을 하기에 앞서, 본 명세서에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주기능 별로 구분한 것에 불과함을 명확히 하고자 한다. 즉, 이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다. 그리고 이하에서 설명할 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있음은 물론이다.Before describing the drawings in detail, it is to be clarified that the division of constituent parts in this specification is merely a division by main functions of each constituent part. That is, two or more constituent parts to be described below may be combined into one constituent part, or one constituent part may be divided into two or more functions according to functions that are more subdivided. In addition, each of the constituent units described below may additionally perform some or all of the functions of other constituent units in addition to the main functions of the constituent units themselves, and that some of the main functions, And may be carried out in a dedicated manner.

또, 방법 또는 동작 방법을 수행함에 있어서, 상기 방법을 이루는 각 과정들은 문맥상 명백하게 특정 순서를 기재하지 않은 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 과정들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.Also, in performing a method or an operation method, each of the processes constituting the method may take place differently from the stated order unless clearly specified in the context. That is, each process may occur in the same order as described, may be performed substantially concurrently, or may be performed in the opposite order.

이하 설명하는 기술은 이종의 모노 카메라가 획득한 영상에 대한 스테레오 영상 교정 기법에 관한 것이다. 이종의 모노 카메라는 해상도, 줌 레벨, 초점 거리, 화각 등이 서로 다를 수 있다. The technique described below relates to a stereo image correction technique for an image obtained by a monochrome camera of a different kind. Different mono cameras may have different resolutions, zoom levels, focal lengths, and angle of view.

도 1은 이종 카메라를 사용하는 자동차에 대한 예이다. 도 1은 차량(10)에 배치된 카메라가 화각이 중첩되는 영상을 획득하는 예이다. 도 1은 차량(10)에 복수의 카메라가 배치된 하나의 예이다. 카메라 1(camera 1)은 차량(10)의 전면부에 배치되고, 차량의 전면 방향의 영상을 획득한다. 카메라 2(camera 2)는 차량(10)의 좌측 사이드 미러에 배치되고, 차량의 후면 방향의 영상을 획득한다. 카메라 3(camera 3)은 차량(10)의 우측 사이드 미러에 배치되고, 차량의 후면 방향의 영상을 획득한다. 카메라 4(camera 4)는 차량(10)의 상부에 배치되고, 차량의 전면 방향의 영상을 획득한다. 카메라 5(camera 5)는 차량(10)의 후면부에 배치되고, 차량의 후면 방향의 영상을 획득한다.1 is an example of a vehicle using a heterogeneous camera. 1 is an example in which a camera disposed in the vehicle 10 acquires an image in which the angle of view is superimposed. Fig. 1 is an example in which a plurality of cameras are arranged in the vehicle 10. Fig. A camera 1 is disposed on the front side of the vehicle 10 and acquires an image of the front direction of the vehicle. The camera 2 is disposed on the left side mirror of the vehicle 10 and acquires an image of the rear direction of the vehicle. The camera 3 is disposed on the right side mirror of the vehicle 10 and acquires an image of the rear direction of the vehicle. A camera 4 is disposed on the upper side of the vehicle 10 and acquires an image of the front direction of the vehicle. A camera 5 is disposed on the rear side of the vehicle 10 and acquires an image of the rear direction of the vehicle.

카메라 1과 카메라 4는 차량(10)의 전면 방향을 촬영하면서 중첩된 영역 A에 대한 영상을 획득할 수 있다. 카메라 2와과 카메라 5는 차량(10)의 후면 방향을 촬영하면서 중첩된 영역 B에 대한 영상을 획득할 수 있다. 카메라 2와 카메라 3은 차량(10)의 후면 방향을 촬영하면서 중첩된 영역 C에 대한 영상을 획득할 수 있다.The camera 1 and the camera 4 can acquire an image of the overlapped area A while photographing the front direction of the vehicle 10. [ The camera 2 and the camera 5 can acquire an image of the overlapped area B while photographing the backward direction of the vehicle 10. [ The camera 2 and the camera 3 can acquire an image of the overlapping region C while photographing the backward direction of the vehicle 10. [

이하 설명하는 기술은 이와 같이 복수의 이종 카메라가 획득한 영상을 이용하여 스테레오 영상을 생성하기 위한 것이다. 도 1을 살펴보면, 영역 A에 대한 영상을 획득하는 카메라 1 및 카메라 4의 위치 및 높이 등이 다르다. 나아가 카메라 1 및 카메라 4는 하드웨어 스펙 등도 서로 다를 수 있다. 따라서 종래 스테레오 카메라에 대한 처리 위해 추가적인 전처리 내지 후처리가 필요할 수 있다. The technique described below is for generating a stereo image using an image acquired by a plurality of heterogeneous cameras. Referring to FIG. 1, the positions and heights of the camera 1 and the camera 4 for acquiring images for the region A are different. Further, the hardware specifications and the like of the camera 1 and the camera 4 may be different from each other. Therefore, additional preprocessing or post-processing may be required for processing of conventional stereo cameras.

이하 설명에서 설명의 편의를 위해 영상 처리 장치가 스테레오 영상을 교정한다고 가정한다. 영상 처리 장치는 카메라가 획득한 영상을 이용하여 스테레오 영상을 생성하는 장치이다. 예컨대, 영상 처리 장치는 PC, 서버, 차량에 탑재된 임베디드 칩 등일 수 있다. In the following description, it is assumed that the image processing apparatus corrects the stereo image for convenience of explanation. The image processing apparatus is a device for generating a stereo image using an image acquired by a camera. For example, the image processing apparatus may be a PC, a server, an embedded chip mounted on a vehicle, or the like.

영상 처리 장치는 복수의 영상을 사용하여 스테레오 영상을 생성한다. 설명의 편의를 위해 먼저 영상 처리 장치가 2개의 카메라가 획득한 영상을 이용하여 스테레오 영상을 생성한다고 가정한다. 영상 처리 장치는 제1 카메라가 획득한 영상 A와 제2 카메라가 획득한 영상 B를 이용한다고 가정한다. 영상 A은 좌측 영상이고, 영상 B은 우측 영상일 수 있다.The image processing apparatus generates a stereo image using a plurality of images. For convenience of explanation, it is assumed that the image processing apparatus generates a stereo image using an image acquired by two cameras. It is assumed that the image processing apparatus uses the image A acquired by the first camera and the image B acquired by the second camera. Image A can be the left image, and image B can be the right image.

도 2은 2개의 이종 카메라를 사용하여 스테레오 영상을 교정하는 방법(100)에 대한 순서도의 예이다. 도 2는 2개의 카메라가 하나의 프레임에 고정된 상태를 가정한다. 즉 2개의 카메라는 동일한 가로 선상에서 영상을 획득한다. 제1 카메라와 제2 카메라의 초점 거리가 상이하다고 가정한다. 영상 처리 장치는 제1 카메라가 획득한 영상 A를 입력 받고(110), 제2 카메라가 획득한 영상 B를 입력 받는다(120).Figure 2 is an example of a flowchart for a method 100 for calibrating a stereo image using two heterogeneous cameras. FIG. 2 assumes that two cameras are fixed in one frame. That is, two cameras acquire images on the same horizontal line. It is assumed that the focal lengths of the first camera and the second camera are different. The image processing apparatus receives the image A acquired by the first camera 110 and receives the image B acquired by the second camera 120.

영상 처리 장치는 먼저 영상 A 및 영상 B를 이용하여 초점 거리를 보상한다(130). 영상 처리 장치는 어느 하나의 영상을 기준으로 나머지 영상에 대한 확대 내지 축소를 하여 초점 거리를 보상할 수 있다. 경우에 따라서 영상 처리 장치는 두 개의 영상에 대해 각각 확대 및 축소를 하여 초점 거리를 보상할 수도 있다. 초점 거리 보상에 대해 먼저 설명한다.The image processing apparatus first compensates the focal length using the image A and the image B (130). The image processing apparatus can compensate the focal length by enlarging or reducing the remaining images based on any one of the images. In some cases, the image processing apparatus may compensate the focal length by enlarging and reducing the two images, respectively. The focal length compensation will first be described.

A. 초점 거리 보상A. Focal length compensation

영상 처리 장치는 초점 거리가 동일한 영상 A와 영상 B를 이용하여 스테레오 영상을 생성한다. 한편 이종 카메라는 서로 다른 지점에 위치하여 초점 거리(focal length)가 서로 다를 수 있다. 예컨대, 복수의 카메라는 서로 다른 줌 레벨(zoom level)을 가질 수 있다. 이종 카메라가 획득한 영상으로 스테레오 영상을 생성하기 위해서 영상 처리 장치는 이종 카메라가 획득한 영상의 초점 거리를 일정하게 보상할 필요가 있다. The image processing apparatus generates a stereo image using the images A and B having the same focal distance. On the other hand, the heterogeneous cameras may be located at different points and the focal lengths may be different from each other. For example, a plurality of cameras may have different zoom levels. In order to generate a stereo image from an image acquired by a heterogeneous camera, the image processing apparatus needs to constantly compensate the focal length of the image acquired by the heterogeneous camera.

각 카메라의 초점 거리에 대한 정보가 있다면 영상 처리 장치는 초점 거리의 비율을 기반으로 영상에 대한 초점 거리를 보상할 수 있다. 예컨대, 제1 초점 거리를 갖는 제1 카메라가 획득한 영상 A와 제1 초점 거리보다 초점 거리가 긴 제2 카메라가 획득한 영상 B를 예로 설명한다. 영상 처리 장치는 초점 거리가 상대적으로 긴 영상 B를 기준으로 초점 거리를 보상할 수 있다. 즉 영상 처리 장치는 영상 A에 대한 초점 거리를 조정하여 영상 A와 영상 B의 초점 거리가 같도록 할 수 있다. 영상 처리 장치가 제1 카메라와 제2 카메라의 초점 거리를 사전에 알고 있다면, 사전에 알고 있는 초점 거리를 이용하여 영상 A 및 영상 B 중 적어도 하나의 초점 거리를 보정할 수 있다.If there is information on the focal length of each camera, the image processing apparatus can compensate the focal length of the image based on the ratio of the focal length. For example, the image A acquired by the first camera having the first focal length and the image B acquired by the second camera having the focal distance longer than the first focal distance will be described as an example. The image processing apparatus can compensate the focal length based on the image B having a relatively long focal length. That is, the image processing apparatus can adjust the focal distance of the image A so that the focal lengths of the image A and the image B can be the same. If the image processing apparatus knows the focal lengths of the first camera and the second camera in advance, the focal length of at least one of the image A and the image B can be corrected using a previously known focal length.

나아가 영상 처리 장치가 사전에 제1 카메라와 제2 카메라의 초점 거리를 알지 못할 수도 있다. 이 경우 영상 처리 장치는 영상 분석을 통해 초점 거리를 일치시키는 과정을 수행할 수 있다.Furthermore, the image processing apparatus may not know the focal distance of the first camera and the second camera in advance. In this case, the image processing apparatus can perform a process of matching the focal distance through image analysis.

영상 처리 장치는 영상 A 및 영상 B에서 일정한 특징점을 검출하여 대응되는 지점을 결정할 수 있다. 예컨대, 영상 처리 장치는 영상에 대한 SIFT(Scale-Invariant Feature Transform)를 수행하여 특징점을 추출할 수 있다. 물론 영상 처리 장치는 다른 기법을 이용하여 영상의 특징점을 추출할 수도 있다.The image processing apparatus can detect a predetermined feature point in the image A and the image B and determine a corresponding point. For example, the image processing apparatus may perform a Scale-Invariant Feature Transform (SIFT) on an image to extract feature points. Of course, the image processing apparatus may extract the feature points of the image using another technique.

영상 처리 장치가 추출하는 영상 A의 특징점 집합을

Figure 112016111527390-pat00001
라고 하고, 영상 B의 특징점 집합을
Figure 112016111527390-pat00002
라고 한다.
Figure 112016111527390-pat00003
과
Figure 112016111527390-pat00004
은 순서에 따라 서로 대응되는 특징점을 포함한다. The feature point set of the image A extracted by the image processing apparatus
Figure 112016111527390-pat00001
And the set of feature points of image B
Figure 112016111527390-pat00002
.
Figure 112016111527390-pat00003
and
Figure 112016111527390-pat00004
Include minutiae corresponding to each other in order.

영상 처리 장치는 수직 방향을 기준으로 특징점의 값을 식별하여 보상 과정을 수행할 수도 있다. 수직 방향에 따른 식별자로 구분하여 특징점을 추출하면 영상 A의 특징점 집합은

Figure 112016111527390-pat00005
이고, 영상 A의 특징점 집합은
Figure 112016111527390-pat00006
이라고 할 수 있다.The image processing apparatus may perform the compensation process by identifying the value of the feature point based on the vertical direction. If the feature points are extracted by dividing them into identifiers according to the vertical direction, the feature point set of the image A
Figure 112016111527390-pat00005
, And the feature point set of image A is
Figure 112016111527390-pat00006
.

초점 거리는 일반적으로 렌즈에서 이미지 센서까지의 거리를 의미한다. 초점 거리가 길다면 화면에 피사체가 더 크게 나타나고, 초점 거리가 짧다면 화면에 나타나는 범위(화각)가 넓어진다. 설명의 편의를 위해 영상 A를 획득하는 제1 카메라의 초점 거리가 영상 B를 획득하는 제2 카메라보다 길다고 가정한다. 따라서 영상 A에 나타나는 객체의 크기가 영상 B보다 크다. 영상 처리 장치는 영상 A의 영상 크기를 줄여서 영상 B와의 초점 거리를 보정할 수 있다. 또는 반대로 영상 처리 장치는 영상 B의 크기를 늘여서 영상 A와의 초점 거리를 보정할 수도 있다. 크기가 작은 영상을 확장하면 해상도가 흐려질 수 있기 때문에 이하 크기가 작은 영상을 축소하는 예로 설명한다.The focal length generally refers to the distance from the lens to the image sensor. If the focal length is long, the subject appears larger on the screen. If the focal length is short, the range (angle of view) on the screen is widened. For convenience of explanation, it is assumed that the focal length of the first camera acquiring the image A is longer than that of the second camera acquiring the image B. [ Therefore, the size of the object appearing in the image A is larger than that of the image B. The image processing apparatus can reduce the image size of the image A and correct the focal distance to the image B. Alternatively, the image processing apparatus may increase the size of the image B to correct the focal distance from the image A. Since enlarging an image with a small size may result in blurring of resolution, it is described as an example of reducing an image having a smaller size.

이를 위해 영상 처리 장치는 영상 A 및 영상 B에서 대응되는 특정 특징점 사이의 거리를 결정한다. 영상 A에서의 특정 특징점 사이의 거리를 제1 거리라고 하고, 영상 B에서의 특정 특징점 사이의 거리를 제2 거리라고 한다. 제1 거리와 제2 거리를 영상에서 서로 대응되는 지점(동일한 객체의 위치) 사이의 거리에 해당한다. 영상 처리 장치는 제1 거리와 제2 거리의 차이를 기준으로 영상에 대한 초점 거리를 보상할 수 있다.To this end, the image processing apparatus determines distances between corresponding feature points in the image A and the image B, respectively. The distance between specific feature points in the image A is referred to as a first distance, and the distance between specific feature points in the image B is referred to as a second distance. The distance between the first distance and the second distance corresponds to a distance between points (locations of the same object) corresponding to each other in the image. The image processing apparatus can compensate the focal length of the image based on the difference between the first distance and the second distance.

영상 처리 장치는

Figure 112016111527390-pat00007
및
Figure 112016111527390-pat00008
각각에 포함된 n개의 요소에 대해
Figure 112016111527390-pat00009
개의 수직 거리 차이를 연산할 수 있다. 아래 수학식 1은
Figure 112016111527390-pat00010
에서 수직 거리를 연산하는 수식이고, 수학식 2는
Figure 112016111527390-pat00011
에서 수직 거리를 연산하는 수식이다.The image processing apparatus
Figure 112016111527390-pat00007
And
Figure 112016111527390-pat00008
For each of the n elements contained in each
Figure 112016111527390-pat00009
The vertical distance difference can be calculated. The following equation (1)
Figure 112016111527390-pat00010
And the equation (2)
Figure 112016111527390-pat00011
Is a formula for calculating the vertical distance.

Figure 112016111527390-pat00012
Figure 112016111527390-pat00012

Figure 112016111527390-pat00013
Figure 112016111527390-pat00013

Figure 112016111527390-pat00014
는
Figure 112016111527390-pat00015
에서 i 번째 요소이고,
Figure 112016111527390-pat00016
은
Figure 112016111527390-pat00017
에서 i 번째 요소이다. 영상 처리 장치는 초점 거리의 차이를 보정하기 위하여 두 개의 영상 중 어느 하나의 영상을 줄이기 위한 지수 t를 연산할 수 있다. 아래 수학식 3 내지 수학식 7을 통해 지수 t를 연산할 수 있다.
Figure 112016111527390-pat00014
The
Figure 112016111527390-pat00015
I < / RTI >
Figure 112016111527390-pat00016
silver
Figure 112016111527390-pat00017
Is the i-th element. The image processing apparatus can calculate an index t for reducing any one of the two images in order to correct the difference in focal length. The exponent t can be calculated through the following equations (3) to (7).

Figure 112016111527390-pat00018
Figure 112016111527390-pat00018

Figure 112016111527390-pat00019
Figure 112016111527390-pat00019

Figure 112016111527390-pat00020
Figure 112016111527390-pat00020

수학식 5는 수학식 3의 미분 계수(derivative)이다.Equation (5) is a derivative of (3).

Figure 112016111527390-pat00021
Figure 112016111527390-pat00021

수학식 5의 값이 0이 되기 위한 t를 연산하면 아래의 수학식 7과 같다.The calculation of t for the value of Equation (5) to be 0 is expressed by Equation (7) below.

Figure 112016111527390-pat00022
Figure 112016111527390-pat00022

영상 처리 장치는 초점 거리가 긴 영상 A를 지수 t를 이용하여 줄일 수 있다. The image processing apparatus can reduce the image A having a long focal length by using the exponent t.

영상 처리 장치는 초점 거리가 보상된 영상을 대한 교정을 수행한다(140). 교정은 널리 알려진 바와 같이 영상 A 및 영상 B에서 에피폴라 라인(epipolar line)을 평행하도록 이미지를 변환하는 과정을 의미한다. 영상 처리 장치는 다양한 알고리즘을 통해 2개의 영상에 대한 교정 작업을 수행할 수 있다. 교정 작업은 널리 알려진 과정이므로 상세한 설명을 생략한다.The image processing apparatus performs the correction of the focal length compensated image (140). Calibration refers to a process of transforming an image so that the epipolar line is parallel to the image A and the image B, as is well known. The image processing apparatus can perform a correction operation on two images through various algorithms. The calibration process is a well-known process, so a detailed description will be omitted.

이후 영상 처리 장치는 교정된 영상 A 및 영상 B를 입력으로 삼아 최종적인 스테레오 영상을 생성한다(150).Then, the image processing apparatus generates the final stereo image using the corrected images A and B as an input (150).

도 3은 2개의 이종 카메라를 사용하여 스테레오 영상을 교정하는 방법(200)에 대한 순서도의 다른 예이다. 제1 카메라와 제2 카메라의 초점 거리가 상이하다고 가정한다. 영상 처리 장치는 제1 카메라가 획득한 영상 A를 입력 받고(210), 제2 카메라가 획득한 영상 B를 입력 받는다(220).Figure 3 is another example of a flowchart for a method 200 of calibrating a stereo image using two different cameras. It is assumed that the focal lengths of the first camera and the second camera are different. The image processing apparatus receives the image A acquired by the first camera 210 and receives the image B acquired by the second camera 220.

영상 처리 장치는 먼저 영상 A 및 영상 B를 이용하여 초점 거리를 보상한다(230). 초점 거리 보상은 도 2에서 전술한 과정과 동일하다. 나아가 영상 처리 장치는 영상 A 및 영상 B에 대해 동일한 가로 선 상에 위치(row-aligned)하도록 보정을 수행한다(230). 제1 카메라와 제2 카메라가 공간에서 동일한 가로 선 상에 위치하지 않는다면 제1 카메라가 획득한 영상 A은 제2 카메라가 획득한 영상 B에 비하여 일정하게 회전된 상태라고 할 수 있다. 예컨대, 차량에 배치된 서로 다른 카메라는 동일한 가로 선 상에 위치하지 않을 수 있다. 이 경우 제1 카메라와 제2 카메라가 획득한 영상을 서로 평행하게 일치시키는 과정이 필요하다. The image processing apparatus first compensates the focal length using the image A and the image B (230). The focal length compensation is the same as that described above in Fig. Further, the image processing apparatus performs correction (230) so as to be row-aligned on the same horizontal line with respect to the image A and the image B, respectively. If the first camera and the second camera are not located on the same horizontal line in the space, the image A acquired by the first camera may be considered to be rotated constantly compared with the image B acquired by the second camera. For example, different cameras disposed in a vehicle may not be located on the same horizontal line. In this case, a process of matching images acquired by the first camera and the second camera to each other is required.

영상 처리 장치는 영상 A 및 영상 B의 특징점을 찾아 대응되는 특징점이 동일한 가로 선 상에 위치하도록 보정할 수 있다. 또는 영상 처리 장치는 영상 A 및 영상 B에서 대응되는 복수의 특징점이 동일한 가로 선 상에 위치하도록 보정할 수 있다. 다른 말로 하면 영상 처리 장치는 화면에 나타나는 특정 객체에 대한 정보를 기준으로 영상 A와 영상 B가 평행하도록 보정한다고 할 수 있다.The image processing apparatus can search for the feature points of the image A and the image B and correct the corresponding feature points to be located on the same horizontal line. Or the image processing apparatus can correct the plurality of feature points corresponding to the image A and the image B to be positioned on the same horizontal line. In other words, the image processing apparatus may correct the image A and the image B so that they are parallel to each other based on information about a specific object appearing on the screen.

한편 영상 처리 장치는 초점 거리를 보상한 영상 A 및 영상 B 중 하나의 영상에서 일정한 영역을 제거한다(240). 영상 A와 영상 B는 초점 거리가 서로 다른 영상이었다. 따라서 기본적으로 영상 A에 나타나는 객체와 영상 B에 나타나는 객체가 상이할 수 있다. 제1 카메라와 제2 카메라가 동일한 지점에서 영상을 촬영해도 초점 거리가 다르면 영상 A와 영상 B에 나타나는 객체는 서로 다르다. 초점 거리가 짧은 카메라로 촬영한 영상이 보다 넓은 화각을 갖기 때문이다.On the other hand, the image processing apparatus removes a predetermined region from the image of one of the image A and the image B compensating the focal length (240). Image A and Image B were images with different focal lengths. Therefore, basically, the objects appearing in the image A and the objects appearing in the image B may be different. If the first camera and the second camera shoot images at the same point, the objects appearing in the images A and B are different if the focal distances are different. This is because images taken with a short focal length camera have a wider viewing angle.

예컨대, 영상 처리 장치가 영상 A의 크기를 줄이면, 영상 B에는 영상 A에 나타나지 않은 영역이 존재한다. 영상 처리 장치는 동일한 크기의 스테레오 영상을 생성하기 위해 영상 B 중 영상 A에 나타나지 않은 영역을 제거(crop)해야 한다. For example, when the image processing apparatus reduces the size of the image A, the image B has an area not shown in the image A. The image processing apparatus should crop an area that is not displayed in the image A of the image B in order to generate a stereo image of the same size.

제1 카메라와 제2 카메라는 배치된 위치가 다르기 때문에 영상 A와 영상 B는 기본적으로 다른 시점을 갖는다. 영상 처리 장치는 영역 제거를 통해 일반적인 스테레오 카메라가 획득한 영상과 같은 영상을 생성한다.Since the positions of the first camera and the second camera are different, the images A and B basically have different viewpoints. The image processing apparatus generates an image similar to an image acquired by a general stereo camera through region elimination.

영상 B에서 제거되는 영역은 4개의 구역이다. 4개의 구역은 위쪽 영역인 dtop, 아래쪽 영역인 dbottom, 왼쪽 영역인 dleft 및 오른쪽 영역인 dright이라고 한다. 영상 A에서 줄어든 높이(height distance)를 Hr이라고하고, 영상 A에서 줄어든 너비(width distance)를 Wr이라고 한다. dtop 및 dbottom는 합산하여 Hr 만큼 제거되고, dleft 및 dright는 합산하여 Wr 만큼 제거될 수 있다.The area removed from image B is four zones. The four regions are referred to as d top , the bottom region d bottom , the left region d left, and the right region d right . Let H r be the height distance of the image A, and W r be the width distance of the image A. d top and d bottom can be summed and removed by H r , and d left and d right can be summed and removed by W r .

영상 처리 장치가 초점 거리 보정하고 일부 영역을 제거한 영상 A 및 영상 B은 일반적인 스테레오 카메라가 획득한 영상에 해당한다. 따라서 초점 거리 보상, 가로 라인 정렬 및 일정한 영역 제거는 전처리 과정이라고 할 수 있다.The image A and the image B obtained by the image processing apparatus for correcting the focal distance and removing a part of the area correspond to the image obtained by a general stereo camera. Therefore, focal length compensation, horizontal line alignment, and constant area removal are preprocessing processes.

영상 처리 장치는 전처리된 영상에 대한 교정을 수행한다(250). 이후 영상 처리 장치는 교정된 영상 A 및 영상 B를 입력으로 삼아 최종적인 스테레오 영상을 생성한다(260).The image processing apparatus performs a calibration on the preprocessed image (250). Then, the image processing apparatus generates the final stereo image using the corrected images A and B as inputs (260).

이제 3개의 이종 카메라를 사용하여 한 쌍의 스테레오 영상을 생성하는 과정에 대해 설명한다. 도 4는 3개의 이종 카메라를 사용하여 스테레오 영상을 교정하는 방법(300)에 대한 예이다. Now we will describe the process of creating a pair of stereo images using three heterogeneous cameras. Figure 4 is an example of a method 300 for calibrating a stereo image using three different cameras.

영상 처리 장치는 제1 카메라가 획득한 영상 A를 입력 받고(310), 제2 카메라가 획득한 영상 B를 입력 받고(320), 제3 카메라가 획득한 영상 C를 입력 받는다(320). 제1 카메라와 제2 카메라의 초점 거리가 상이하고, 제2 카메라와 제3 카메라의 초점 거리가 상이하다고 가정한다. The image processing apparatus receives the image A acquired by the first camera 310, receives the image B acquired by the second camera 320, and receives the image C acquired by the third camera 320. It is assumed that the focal lengths of the first camera and the second camera are different and the focal lengths of the second camera and the third camera are different.

영상 처리 장치는 영상 A 및 영상 B를 이용한 스테레오 영상 및 영상 B 및 영상 C를 이용한 스테레오 영상을 생성하고자 한다. 따라서 영상 처리 장치는 영상 A 및 영상 B의 한 쌍과 영상 B 및 영상 C의 한 쌍에 대해 전술한 과정을 개별적으로 수행한다.The image processing apparatus attempts to generate a stereo image using the image A and the image B, and a stereo image using the image B and the image C. Accordingly, the image processing apparatus individually performs the above-described processes for a pair of image A and image B, image B, and image pair C, respectively.

영상 처리 장치는 영상 A 및 영상 B를 이용하여 초점 거리를 보상한다(340). 초점 거리 보상은 도 2에서 전술한 과정과 동일하다. 영상 처리 장치는 영상 A 및 영상 B에 대해 동일한 가로 선 상에 위치(row-aligned)하도록 보정을 수행한다(350). 영상 처리 장치는 보정된 영상 A 및 영상 B 쌍을 교정한다(360).The image processing apparatus compensates the focal distance using the image A and the image B (340). The focal length compensation is the same as that described above in Fig. The image processing apparatus performs the correction so as to be row-aligned on the same horizontal line with respect to the image A and the image B (350). The image processing apparatus corrects the corrected image A and image B pairs (360).

한편 영상 처리 장치는 영상 B 및 영상 C를 이용하여 초점 거리를 보상한다(340). 초점 거리 보상은 도 2에서 전술한 과정과 동일하다. 영상 처리 장치는 영상 B 및 영상 C에 대해 동일한 가로 선 상에 위치(row-aligned)하도록 보정을 수행한다(350). 영상 처리 장치는 보정된 영상 B 및 영상 C 쌍을 교정한다(360).Meanwhile, the image processing apparatus compensates the focal distance using the image B and the image C (340). The focal length compensation is the same as that described above in Fig. The image processing apparatus performs the correction so as to be row-aligned on the same horizontal line with respect to the image B and the image C (350). The image processing apparatus corrects the corrected image B and the image C pair (360).

영상 A와 영상 B 쌍에 대한 교정까지 수행되면, 최초 입력 영상 A는 영상 A1로 변경되고, 입력 영상 B는 영상 B1로 변경된다. 또한 영상 B와 영상 C 쌍에 대한 교정까지 수행되면, 최초 입력 영상 B는 영상 B2로 변경되고, 입력 영상 C는 영상 C2로 변경된다. 영상 B1 및 영상 B2는 서로 다른 과정으로 변환되었기 때문에 동일하지 않다. 따라서 영상 A1과 영상 B1으로부터 연산된 깊이 정보와 영상 B2와 영상 C2로부터 연산된 깊이 정보를 병합하기 위해서는 영상 B1과 영상B2 사이의 관계를 파악해야 한다(370).When the calibration for the image A and the image B is performed, the first input image A is changed to the image A 1 , and the input image B is changed to the image B 1 . Also, when the correction for the image B and the image C is performed, the first input image B is changed to the image B 2 , and the input image C is changed to the image C 2 . The images B 1 and B 2 are not the same because they are transformed into different processes. Therefore, in order to merge the images A 1 and the image depth information calculated from the B 1 and B 2 and the image depth information calculated from the image C 2 must identify the relationship between the video picture B 1 and B 2 (370).

다양한 방법으로 영상 B1과 영상 B2 사이의 관계를 파악할 수 있을 것이다. 하나의 예로 유전자 알고리즘의 개선된 형태인 ABC(artificial bee colony) 알고리즘을 이용하여 영상 B1과 영상 B2 사이의 관계를 파악할 수 있다.The relationship between image B 1 and image B 2 can be grasped in various ways. One example is the relationship between image B 1 and image B 2 using an artificial bee colony (ABC) algorithm, an improved form of genetic algorithm.

ABC 알고리즘에서는 문제의 구조(structure of problem)를 정의하고, 비용 함수를 설정하는 것이 중요하다. 영상 B1과 영상 B2 사이의 차이는 회전(rotation)과 변환(translation)이라는 요소로 정의할 수 있다. 회전 R 과 변환 T는 각각 아래의 수학식 8과 수학식 9로 정의할 수 있다. 아래 수식에서 x1, x2 및 x3은 추정해야 하는 변수이다.In the ABC algorithm, it is important to define the structure of the problem and set the cost function. The difference between image B 1 and image B 2 can be defined as an element of rotation and translation. The rotation R and the transformation T can be defined by the following equations (8) and (9), respectively. In the following formulas, x 1 , x 2 and x 3 are variables to be estimated.

Figure 112016111527390-pat00023
Figure 112016111527390-pat00023

Figure 112016111527390-pat00024
Figure 112016111527390-pat00024

(i) 문제의 구조(i) the structure of the problem

회전 메트릭스 R은 회전의 정도를 나타내는 x1이라는 값을 사용한다. 회전은 일반적으로 어느 하나의 영상을 기준으로 다른 영상이 회전하는 정도를 의미한다. 따라서 x1은 0˚ ≤ x1 ≤ 360˚범위를 갖는다.The rotation matrix R uses a value of x 1 indicating the degree of rotation. Rotation generally refers to the degree to which another image is rotated based on one image. Therefore, x 1 has a range of 0 ° ≤ x 1 ≤ 360 °.

변환 메트릭스 T는 x축 방향 이동(shift)을 나타내는 x2와 y축 방향 이동을 나타내는 x3라는 값을 사용한다. x2는 -W ≤ x1 ≤ W 범위를 갖는다. W는 화면의 너비이다. x3은 -H ≤ x1 ≤ H 범위를 갖는다. H는 화면의 높이이다.The transformation matrix T uses the values x 2 representing x-axis shift and x 3 representing y-axis movement. x 2 has a range of -W < x 1 < W. W is the width of the screen. x 3 has a range of -H? x 1 ? H. H is the height of the screen.

따라서 ABC 알고리즘에서 솔루션(solution) X는 길이 3을 갖는 배열(array)로 정의할 수 있다. X = [x1 x2 x3]이다. 그리고 하한 임계값 lb = [ 0 -W -H]이고, 상한 임계값 ub = [360 W H]이다.Therefore, the solution X in the ABC algorithm can be defined as an array of length 3. X = [x 1 x 2 x 3 ]. And the lower threshold value lb = [0-W-H], and the upper threshold value ub = [360 WH].

(ii) 비용 함수(ii) cost function

영상 처리 장치는 두 개의 영상 B1과 B2 전체에 대해 차이를 연산할 수도 있다. 효율적인 연산을 위해 영상 처리 장치는 영상 B1과 영상 B2에서 대응되는 지점들에 대한 차이를 연산한다고 가정한다. 영상 처리 장치는 교정 과정과 유사하게 영상 B1과 영상 B2에 SIFT를 수행하여 대응되는 지점들을 찾을 수 있다. 영상 B1과 영상 B2에서 대응되는 지점의 집합을 각각

Figure 112016111527390-pat00025
및
Figure 112016111527390-pat00026
라고 한다.The image processing apparatus may calculate the difference between the two images B 1 and B 2 as a whole. For efficient computation, it is assumed that the image processing apparatus computes the difference between corresponding points in the images B 1 and B 2 . The image processing apparatus can perform SIFT on the images B 1 and B 2 similarly to the calibration process to find corresponding points. A set of corresponding points in image B 1 and image B 2 is denoted by
Figure 112016111527390-pat00025
And
Figure 112016111527390-pat00026
.

영상 B1과 영상 B2에서 대응되는 지점들이 동일한 좌표를 갖도록 하기 위해 영상 B1를 변경하거나 영상 B2를 변경할 수 있다. 설명의 편의를 위해 이하

Figure 112016111527390-pat00027
은 고정하고,
Figure 112016111527390-pat00028
에 대해서만 회전 및 변환을 수행한다고 가정한다. 집합 B2에서 변환한 집합을
Figure 112016111527390-pat00029
라고 명명한다.
Figure 112016111527390-pat00030
는 아래의 수학식 10 또는 수학식 11로 연산할 수 있다. 수학식 10은 변환 연산 전에 회전 연산이 수행되었다고 가정한 것이고, 수학식 11은 반대로 변환 연산 후에 화전 연산이 수행되었다고 가정한 것이다.It is possible to change the image B 1 or change the image B 2 so that corresponding points in the images B 1 and B 2 have the same coordinates. For convenience of explanation,
Figure 112016111527390-pat00027
Lt; / RTI >
Figure 112016111527390-pat00028
≪ / RTI & Set B 2 converted set
Figure 112016111527390-pat00029
.
Figure 112016111527390-pat00030
Can be calculated by the following Equation (10) or (11). Equation (10) assumes that a rotation operation has been performed before the conversion operation, and (11) assumes that the flame operation has been performed after the conversion operation.

Figure 112016111527390-pat00031
Figure 112016111527390-pat00031

Figure 112016111527390-pat00032
Figure 112016111527390-pat00032

예를 들어

Figure 112016111527390-pat00033
및
Figure 112016111527390-pat00034
로부터 오차(또는 비용)를 연산하면 아래의 수학식 12와 같다.E.g
Figure 112016111527390-pat00033
And
Figure 112016111527390-pat00034
(Or cost) is calculated from the following equation (12).

Figure 112016111527390-pat00035
Figure 112016111527390-pat00035

최종 비용은 아래의 수학식 13과 같이

Figure 112016111527390-pat00036
와
Figure 112016111527390-pat00037
사이의 차이 및
Figure 112016111527390-pat00038
와
Figure 112016111527390-pat00039
사이의 차이 중 작은 에러를 갖는 값으로 결정할 수 있다.The final cost is given by Equation 13 below
Figure 112016111527390-pat00036
Wow
Figure 112016111527390-pat00037
Differences between
Figure 112016111527390-pat00038
Wow
Figure 112016111527390-pat00039
Can be determined as a value having a small error.

Figure 112016111527390-pat00040
Figure 112016111527390-pat00040

수학식 13으로 결정되는 f는 ABC 알고리즘을 위한 비용 함수가 된다.F determined by Equation (13) becomes a cost function for the ABC algorithm.

영상 처리 장치는 ABC 알고리즘에 전술한 문제의 구조와 비용 함수를 적용하여 회전과 변환에 대한 파라미터 값을 도출할 수 있다. 즉 정의된 오류(비용)이 가장 작은 특정 파라미터 값을 추정하는 것이다.The image processing apparatus can derive the parameter values for the rotation and the transformation by applying the structure of the problem and the cost function to the ABC algorithm. That is, estimating the specific parameter value with the smallest defined error (cost).

영상 처리 장치는 전술한 ABC 알고리즘 등을 이용하여 영상 B1과 영상 B2 사이의 관계를 추정할 수 있다. 이후 영상 처리 장치는 스테레오 영상 쌍 A1과 B1에서의 제1 깊이 정보와 스테레오 영상 쌍 B2와 C1에서의 제2 깊이 정보를 관계를 파악할 수 있다. 영상 처리 장치는 제1 깊이 정보와 제2 깊이 정보를 이용하여 2개의 스테레오 영상에 대한 통합적인 처리가 가능하다.The image processing apparatus can estimate the relationship between the image B 1 and the image B 2 using the above-described ABC algorithm or the like. The image processing apparatus can then determine the relationship between the first depth information in the stereo image pairs A 1 and B 1 and the second depth information in the stereo image pairs B 2 and C 1 . The image processing apparatus can perform integrated processing on the two stereo images using the first depth information and the second depth information.

관계 추정 이후에 영상 처리 장치는 교정된 영상 A 및 영상 B를 이용하여 제1 스테레오 영상을 생성하고(380), 교정된 영상 B 및 영상 C를 이용하여 제2 스테레오 영상을 생성한다(390).After estimating the relationship, the image processing apparatus generates a first stereo image using the corrected images A and B (380), and generates a second stereo image using the corrected images B and C (390).

도 5는 3개의 이종 카메라로 획득한 영상을 교정하는 과정에 대한 예이다. 도 5에서 (a)과정은 영상 처리 장치가 3개의 카메라가 획득한 영상을 입력받는 예이다. 가장 좌측부터 우측 방향으로 제1 카메라가 획득한 영상 A, 제2 카메라가 획득한 영상 B 및 제3 카메라가 획득한 영상 C라고 가정한다. 제1 카메라의 초점 거리는 16nm, 제2 카메라의 초점 거리는 12nm, 제3 카메라의 초점 거리는 16nm일 수 있다.5 is an example of a process of correcting an image acquired by three different cameras. 5 (a) shows an example in which the image processing apparatus receives images acquired by three cameras. It is assumed that the image A obtained by the first camera from the leftmost to the right, the image B acquired by the second camera, and the image C acquired by the third camera. The focal distance of the first camera may be 16 nm, the focal distance of the second camera may be 12 nm, and the focal distance of the third camera may be 16 nm.

도 5에서 (b) 과정은 영상 처리 장치가 영상에 대한 초점 거리 및 영역 제거를 수행한 예이다. (a) 과정에서 영상 A에 나타난 붉은색 직선, 영상 B에 나타난 초록색 직선, 영상 C에 나타난 붉은색 직선은 서로 대응되는 특징점을 연결한 것이다. 상기 직선의 길이의 차이를 통해 영상 처리 장치는 영상 A와 영상 B, 영상 B와 영상 C의 초점 거리를 보정할 수 있다. 영상 처리 장치는 영상 A와 영상 C를 일정하게 축소하여 영상 B와 초점 거리를 동일하게 할 수 있다. 또한 영상 처리 장치는 영상 B에서 영상 A 내지 영상 C에 나타나지 않은 영역을 제거할 수 있다. 제거되는 영역 중 하나를 (a) 과정의 영상 B에 표시하였다. 영상 B에 초록색 화살표로 나타나는 영역이 삭제될 영역 중 위쪽 영역인 dtop에 해당한다.5 (b) shows an example in which the image processing apparatus performs focal length and area removal on an image. (a), the red straight line in image A, the green straight line in image B, and the red straight line in image C are connected to each other. The image processing apparatus can correct the focal distances of the image A, the image B, the image B, and the image C through the difference in the lengths of the straight lines. The image processing apparatus can reduce the image A and the image C uniformly and make the image B and the focal distance equal. Further, the image processing apparatus can remove an area not shown in the image A to the image C in the image B. One of the areas to be removed is shown in image B of process (a). The area indicated by the green arrow in the image B corresponds to d top which is the upper area of the area to be deleted.

도 5에서 (c) 과정은 보정된 영상 A 및 영상 B를 기반으로 교정된 영상을 나타난 예이다. 도 5에서 (d) 과정은 보정된 영상 B 및 영상 C를 기반으로 교정된 영상을 나타난 예이다.5 (c) shows an example in which the corrected image based on the corrected image A and image B is displayed. 5 (d) shows an example of a corrected image based on the corrected image B and the corrected image C, respectively.

본 실시례 및 본 명세서에 첨부된 도면은 전술한 기술에 포함되는 기술적 사상의 일부를 명확하게 나타내고 있는 것에 불과하며, 전술한 기술의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형 예와 구체적인 실시례는 모두 전술한 기술의 권리범위에 포함되는 것이 자명하다고 할 것이다.The present embodiment and drawings attached hereto are only a part of the technical idea included in the above-described technology, and it is easy for a person skilled in the art to easily understand the technical idea included in the description of the above- It will be appreciated that variations that may be deduced and specific embodiments are included within the scope of the foregoing description.

10 : 차량10: Vehicle

Claims (10)

3개의 이종 카메라를 포함하는 영상 처리 장치의 스테레오 영상 교정 방법에 있어서,
3개의 이종 카메라가 각각 획득한 제1 영상, 제2 영상 및 제 3영상을 입력받는 단계;
상기 제1 영상과 상기 제2 영상 사이의 초점 거리를 보정하고, 초점 거리가 보정된 상기 제1 영상 및 제2 영상이 동일 가로 선상에 위치하도록 보정함으로써 제 1 변환된 제 1 영상 및 제 1 변환된 제 2 영상을 생성하는 단계;
상기 제2 영상과 상기 제3 영상 사이의 초점 거리를 보정하고, 초점 거리가 보정된 상기 제2 영상 및 상기 제3 영상이 동일 가로 선상에 위치하도록 보정함으로써 제 2 변환된 제 2 영상 및 제 2 변환된 제 3 영상을 생성하는 단계;
상기 제 1 변환된 상기 제2 영상 및 상기 제 2 변환된 상기 제2 영상 사이의 관계를 추정하는 단계;
상기 추정된 상기 제 1 변환된 상기 제 2 영상 및 상기 제 2 변환된 상기 제 2 영상의 관계에 기초하여, 제 1 깊이 정보와 제 2 깊이 정보의 관계를 파악하는 단계로서, 상기 제 1 깊이 정보는 상기 제 1 변환된 상기 제 1 영상 및 상기 제 1 변환된 상기 제 2 영상 간의 깊이 정보이고, 상기 제 2 깊이 정보는 상기 제 2 변환된 상기 제 2 영상 및 상기 제 2 변환된 상기 제 3 영상 간의 깊이 정보인, 상기 파악하는 단계;
상기 제 1 깊이 정보 및 상기 제 2 깊이 정보를 통합 처리함으로써 제 1 스테레오 영상 및 제 2 스테레오 영상을 생성하는 단계로서, 상기 제 1 스테레오 영상은 상기 제 1 변환된 상기 제 1 영상 및 상기 제 1 변환된 상기 제 2 영상을 포함하고, 상기 제 2 스테레오 영상은 상기 제 2 변환된 상기 제 2 영상 및 상기 제 2 변환된 상기 제 3 영상을 포함하는, 상기 생성 단계를 포함하는, 스테레오 영상 교정 방법.A stereo image calibrating method for an image processing apparatus including three different cameras,
Receiving a first image, a second image, and a third image acquired by the three different cameras;
Correcting the focal distance between the first image and the second image and correcting the first and second images whose focal lengths have been corrected to be located on the same horizontal line, Generating a second image;
Correcting the focal length between the second image and the third image, correcting the focal distance corrected second and third images so that they are located on the same horizontal line, Generating a transformed third image;
Estimating a relationship between the first converted first image and the second converted second image;
Determining a relationship between the first depth information and the second depth information on the basis of the relationship between the estimated first converted first image and the second converted second image, Is the depth information between the first converted first image and the first converted second image, and the second depth information is the depth information between the second converted first image and the second converted third image Wherein the depth information is depth information between the first image and the second image.
Generating a first stereo image and a second stereo image by integrating the first depth information and the second depth information, wherein the first stereo image includes a first stereo image and a second stereo image, Wherein the second stereo image comprises the second transformed second image and the second transformed third image, wherein the second stereo image comprises the second transformed second image and the second transformed third image. 삭제delete 삭제delete 제1항에 있어서,
초점 거리가 보정된 상기 제1 영상 및 상기 제2 영상 중 어느 하나의 영상에서 다른 하나의 영상에 존재하지 않는 영역을 제거하는 단계; 및 초점 거리가 보정된 상기 제2 영상 및 상기 제3 영상 중 어느 하나의 영상에서 다른 하나의 영상에 존재하지 않는 영역을 제거하는 단계를 더 포함하는, 스테레오 영상 교정 방법.The method according to claim 1,
Removing an area that is not present in the other image from any one of the first image and the second image whose focal length is corrected; And removing an area not present in the other one of the second image and the third image whose focal length is corrected. 제1항에 있어서,
상기 영상 처리 장치는 영상에서 특징점을 찾는 기법을 이용하여 2개의 영상에 대한 초점 거리 보정 및 2개의 영상에 대한 관계 추정을 수행하는, 스테레오 영상 교정 방법.The method according to claim 1,
Wherein the image processing apparatus performs a focal distance correction on two images and a relation estimation on two images using a technique of finding a feature point in an image. 제1항에 있어서,
상기 영상 처리 장치는 상기 제1 변환된 상기 제2 영상 및 상기 제2 변환된 상기 제2 영상 중 어느 하나의 영상을 기준으로 다른 하나의 영상과 상대적인 회전 및 위치 이동에 정보로 상기 관계를 추정하는 이종 카메라를 위한 스테레오 영상 교정 방법.The method according to claim 1,
The image processing apparatus estimates the relationship by using rotation and positional movement relative to the other image based on any one of the first and second converted images and the second converted second image A stereo image correction method for heterogeneous cameras. 제1항에 있어서,
상기 영상 처리 장치는 상기 제1 변환된 상기 제2 영상과 상기 제2 변환된 상기 제2 영상 사이의 상대적인 회전 정도 및 위치 이동을 문제 구조로 갖고, 상기 회전 정도 및 위치 이동에 따른 차이를 최소화하기 위한 유전자 알고리즘을 통해 상기 관계를 추정하는, 스테레오 영상 교정 방법.The method according to claim 1,
Wherein the image processing apparatus has a problem structure in which the relative degree of rotation and the positional shift between the first converted second image and the second converted second image are in a problem structure, And estimating the relationship through a genetic algorithm for the stereo image. 삭제delete 삭제delete 삭제delete
KR1020160152113A 2016-11-15 2016-11-15 Stereo image rectification method for mono cameras KR101823657B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160152113A KR101823657B1 (en) 2016-11-15 2016-11-15 Stereo image rectification method for mono cameras

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160152113A KR101823657B1 (en) 2016-11-15 2016-11-15 Stereo image rectification method for mono cameras

Publications (1)

Publication Number Publication Date
KR101823657B1 true KR101823657B1 (en) 2018-01-30

Family

ID=61070785

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160152113A KR101823657B1 (en) 2016-11-15 2016-11-15 Stereo image rectification method for mono cameras

Country Status (1)

Country Link
KR (1) KR101823657B1 (en)

Similar Documents

Publication Publication Date Title
US11546576B2 (en) Systems and methods for dynamic calibration of array cameras
US9374571B2 (en) Image processing device, imaging device, and image processing method
US9094672B2 (en) Stereo picture generating device, and stereo picture generating method
US9070042B2 (en) Image processing apparatus, image processing method, and program thereof
US20150278996A1 (en) Image processing apparatus, method, and medium for generating color image data
CN107409205B (en) Apparatus and method for focus adjustment and depth map determination
US9025862B2 (en) Range image pixel matching method
CN105069804B (en) Threedimensional model scan rebuilding method based on smart mobile phone
US9619886B2 (en) Image processing apparatus, imaging apparatus, image processing method and program
US10205928B2 (en) Image processing apparatus that estimates distance information, method of controlling the same, and storage medium
JP6970577B2 (en) Peripheral monitoring device and peripheral monitoring method
EP2887313B1 (en) Image processing apparatus, system, image processing method, and computer-readable recording medium
JP2015100066A (en) Imaging apparatus, control method of the same, and program
JP7378219B2 (en) Imaging device, image processing device, control method, and program
US20080226159A1 (en) Method and System For Calculating Depth Information of Object in Image
JP4394487B2 (en) Stereo image processing device
JP6251099B2 (en) Distance calculation device
US9538161B2 (en) System and method for stereoscopic photography
KR101823657B1 (en) Stereo image rectification method for mono cameras
WO2015182771A1 (en) Image capturing device, image processing device, image processing method, and computer program
KR101869226B1 (en) Disparity map generating method for mono cameras
JP6481375B2 (en) Information processing system, information processing method, program, and information processing apparatus
KR101323195B1 (en) 3D image generating method from 2D images
KR100928906B1 (en) Estimation device and estimation method using parallax
CN118158530A (en) Image processing method, image processing apparatus, electronic device, and storage medium

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant