KR20100072963A - Method and apparatus for controlling convergence in parallel axis typed sterocamera - Google Patents

Method and apparatus for controlling convergence in parallel axis typed sterocamera Download PDF

Info

Publication number
KR20100072963A
KR20100072963A KR1020080131534A KR20080131534A KR20100072963A KR 20100072963 A KR20100072963 A KR 20100072963A KR 1020080131534 A KR1020080131534 A KR 1020080131534A KR 20080131534 A KR20080131534 A KR 20080131534A KR 20100072963 A KR20100072963 A KR 20100072963A
Authority
KR
South Korea
Prior art keywords
focal length
image
camera
vergence
control
Prior art date
Application number
KR1020080131534A
Other languages
Korean (ko)
Other versions
KR101069209B1 (en
Inventor
이형근
최낙진
박강호
한상준
김종호
이용범
Original Assignee
한국전자통신연구원
(주)브이쓰리아이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원, (주)브이쓰리아이 filed Critical 한국전자통신연구원
Priority to KR1020080131534A priority Critical patent/KR101069209B1/en
Publication of KR20100072963A publication Critical patent/KR20100072963A/en
Application granted granted Critical
Publication of KR101069209B1 publication Critical patent/KR101069209B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)

Abstract

PURPOSE: A method and an apparatus for controlling convergence in a parallel axis typed stereoscopic camera are provided to control a main view angle automatically by electronically controlling the main view angle through a preset lookup table. CONSTITUTION: A stereo camera unit(21) includes left/right cameras, and a focus distance detector(23) detects the focus distance for a certain object through an automatic focus function. When the focus distance of the left/right cameras is determined, a main view angle controller(24) determines a main view angle control value depending on the focus distance through a lookup table. According to the determined main view angle control value, an image processor(22) corrects the images of the left/right cameras.

Description

평행축 방식의 입체 카메라에서의 주시각 제어 장치 및 방법{METHOD AND APPARATUS FOR CONTROLLING CONVERGENCE IN PARALLEL AXIS TYPED STEROCAMERA}TECHNICAL AND APPARATUS FOR CONTROLLING CONVERGENCE IN PARALLEL AXIS TYPED STEROCAMERA}

본 발명은 두 개의 카메라를 이용하는 입체카메라의 주시각 제어 장치 및 방법에 관한 것으로, 특히 평행축 방식의 입체 카메라에서 자동으로 주시각을 제어할 수 있는 장치 및 방법에 관한 것이다. The present invention relates to an apparatus and method for controlling a viewing angle of a stereoscopic camera using two cameras, and more particularly, to an apparatus and a method for automatically controlling a viewing angle in a stereoscopic camera of a parallel axis type.

본 발명은 지식경제부 및 정보통신연구진흥원의 IT원천기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호 : 2006-S-006-03, 과제명 : 유비쿼터스 단말용 부품 모델]The present invention is derived from the research conducted as part of the IT source technology development project of the Ministry of Knowledge Economy and the Ministry of Information and Communication Research and Development. [Task management number: 2006-S-006-03, Task name: Component model for ubiquitous terminal]

일반적으로 3차원 입체영상 구현을 위해서는 상호간에 유효한 시차를 갖는 2장 이상의 2차원 영상이 필요하며, 상기와 같은 2장 이상의 2차원 영상을 획득하기 위해 사용되는 카메라를 입체 카메라라고 한다.In general, two or more two-dimensional images having effective parallax are required to implement a three-dimensional stereoscopic image, and a camera used to acquire two or more two-dimensional images as described above is called a three-dimensional camera.

상기 입체 카메라는 그 방식에 따라 단일 카메라를 활용하는 방법, 양안 카메라를 활용하는 방법, 그리고 다시점 카메라를 활용하는 방법 등이 있으나, 양안 카메라를 활용하는 방법을 주로 사용한다. 상기 양안 입체 카메라는 사람의 눈과 같이 두 개의 카메라를 이용하여 좌우 영상으로 구성되는 2차원 영상을 동시 또는 순차적으로 획득하여 3차원 영상을 촬영하는 장치이며, 지금까지 사용되어온 가장 일반적인 입체 카메라가 상기 양안 입체 카메라이다. The stereoscopic camera has a method of using a single camera, a method of using a binocular camera, and a method of using a multi-view camera according to the method, but mainly use a method of using a binocular camera. The binocular stereoscopic camera is a device for capturing three-dimensional images by simultaneously or sequentially acquiring two-dimensional images consisting of left and right images using two cameras, such as a human eye, and the most common stereoscopic cameras used so far are It is a binocular stereoscopic camera.

또한, 상기 양안 입체 카메라는 두 개의 영상 센서의 배열방법에 따라 평행축 방식(parallel axis)과 교차축(cross axis) 방식 그리고 평행 이동축(parallel moving axis) 방식이 사용된다.In addition, the binocular stereoscopic camera uses a parallel axis method, a cross axis method, and a parallel moving axis method according to an arrangement method of two image sensors.

이러한 방식중 상기 평행축 방식은 두 개의 카메라가 고정되므로 구조가 간단하여 자주 사용되는 방식이다.Among these methods, the parallel axis method is a method that is frequently used because the two cameras are fixed.

그러나 입체 카메라에서는 단안 카메라와 달리 두 개의 카메라를 이용하므로 줌, 포커스 이외에 카메라의 주시각을 정확히 제어할 수 있어야 양질의 입체 영상을 구현할 수 있게 된다.However, since stereo cameras use two cameras unlike monocular cameras, it is necessary to accurately control the camera's viewing angle in addition to zoom and focus to realize high quality stereoscopic images.

여기서 상기 주시각 제어란 두개의 카메라가 일정 간격으로 떨어져 있음으로 인해 좌우 카메라의 영상이 차이가 나게 되는데 이러한 좌우 카메라의 영상이 차이(시차)가 나지 않도록 제어하는 것을 의미한다.Here, the vergence control means that the images of the left and right cameras are different because the two cameras are separated at a predetermined interval. This means that the images of the left and right cameras are controlled so as not to have a difference (parallax).

일반적으로 상기 평행축 방식의 입체 카메라에서는 두 개의 카메라가 고정되어 있는 구조이어서, 실질적으로 주시각을 제어할 수가 없다. 이를 해결하기 위해서 사용자가 별도의 기계적 장치를 이용하여 주시각을 제어하게 된다. 즉 사용자가 별도의 기계적 장치를 이용하여 각 좌우 카메라를 직접 좌우측으로 변경하여 주시각을 제어하게 된다. 이러한 방식에서는 영상 촬영시마다 주시각을 수동적으로 변경하여야 하므로 번거롭다는 단점이 발생한다.In general, in the parallel axis stereoscopic camera, since two cameras are fixed, the viewing angle cannot be substantially controlled. To solve this problem, the user controls the gaze angle using a separate mechanical device. That is, the user controls the gaze angle by directly changing the left and right cameras left and right using a separate mechanical device. This method has a disadvantage in that it is cumbersome because the viewing angle must be changed manually every time the image is taken.

따라서 본 발명의 목적은 평행축 방식의 입체 카메라에서 미리 설정된 룩업 테이블을 이용하여 자동으로 주시각을 제어할 수 있는 장치 및 방법을 제공함에 있다.Accordingly, an object of the present invention is to provide an apparatus and a method for automatically controlling the viewing angle using a lookup table preset in a parallel axis stereoscopic camera.

상술한 바를 달성하기 위한 본 발명의 평행축 방식의 입체 카메라에서의 주시각 제어 장치는 렌즈와 영상 센서를 각각 구비하는 좌우 카메라를 포함하는 입체 카메라부와, 초점 거리에 따른 주시각 제어값이 포함된 룩업 테이블을 저장하는 메모리와, 자동 초점 기능에 의해 특정 물체에 대한 초점 거리를 검출하는 초점 거리 검출부와, 상기 좌우 카메라의 초점 거리가 결정되면, 상기 룩업 테이블을 통해 상기 초점 거리에 따른 주시각 제어값을 결정하는 주시각 제어부와, 상기 결정된 주시각 제어값에 따라 상기 좌우 카메라의 영상을 보정하는 영상 처리부와, 상기 보정된 영상을 표시하는 표시부를 포함한다.To achieve the above, the apparatus for controlling the angle of view in a stereoscopic camera of a parallel axis type according to the present invention includes a stereoscopic camera unit including a left and right camera each having a lens and an image sensor, and a viewing angle control value according to a focal length. A memory for storing the lookup table, a focal length detector for detecting a focal length with respect to a specific object by an auto focus function, and a focal length according to the focal length through the lookup table when the focal length of the left and right cameras is determined. A vergence controller configured to determine a control value, an image processor to correct an image of the left and right cameras according to the determined vergence control value, and a display unit to display the corrected image.

상기 룩업 테이블은 좌우 카메라 각각이 포함하는 렌즈와 영상 센서간의 초점 거리와, 상기 초점 거리에 따라 특정 물체와 상기 렌즈간의 거리와, 상기 특정 물체와 상기 렌즈간의 거리에 따른 주시각 제어값을 포함한다.The lookup table includes a focal length between a lens included in each of the left and right cameras and an image sensor, a distance between a specific object and the lens according to the focal length, and a vergence control value according to the distance between the specific object and the lens. .

상기 영상 처리부는 상기 주시각 제어부의 제어하에 상기 좌 카메라의 영상을 상기 주시각 제어값만큼 우측으로 이동시키며, 상기 상기 우 카메라의 영상을 상기 주시각 제어값만큼 좌측으로 이동시켜 상기 좌우 카메라의 영상을 보정한다.The image processing unit moves the image of the left camera to the right by the vergence control value under the control of the viewing angle control unit, and moves the image of the right camera to the left by the vergence control value to make the image of the left and right cameras. To correct.

상술한 바를 달성하기 위한 본 발명의 평행축 방식의 입체 카메라에서의 주시각 제어 방법은 초점 거리에 따른 주시각 제어값이 포함된 룩업 테이블을 미리 설정하는 단계와, 좌우 카메라를 포함하는 입체 카메라의 주시각을 제어하기 위해 에지 검출 윈도우를 설정하는 단계와, 상기 설정된 에지 검출 윈도우를 기준으로 특정 물체에 대한 자동 초점 기능을 수행하여 상기 특정 물체의 초점 거리를 검출하는 단계와, 상기 룩업 테이블을 통해 상기 검출된 초점 거리에 따른 주시각 제어값을 결정하는 단계와, 상기 주시각 제어값에 따라 상기 입체 카메라의 영상을 보정하는 단계를 포함한다.According to the present invention, there is provided a method of controlling a viewing angle in a stereoscopic camera of a parallel axis type according to the present invention, by setting a lookup table including a viewing angle control value according to a focal length in advance, Setting an edge detection window to control a viewing angle, performing an autofocus function on a specific object based on the set edge detection window, detecting a focal length of the specific object, and using the lookup table Determining a viewing angle control value according to the detected focal length, and correcting an image of the stereoscopic camera according to the viewing angle control value.

상기 룩업 테이블을 설정하는 단계는 상기 입체 카메라에 대한 입출력 영상 해상도, 영상 센서 사양, 영상 센서 간격, 및 초점 거리에 대한 초기값을 설정하는 단계와, 상기 초기값과 입출력 영상 해상도에 따른 주시각 제어 범위를 계산하는 단계와, 상기 주시각 제어 범위내에서 특정 물체와의 거리에 따라 변경되는 초점 거리와, 상기 초점 거리에 따른 초기 주시각 제어값을 계산하는 단계를 포함한다.The setting of the lookup table may include setting initial values for input / output image resolution, image sensor specification, image sensor interval, and focal length for the stereoscopic camera, and control of gaze angle according to the initial value and input / output image resolution. Calculating a range, a focal length that changes according to a distance to a specific object within the vergence control range, and an initial vergence control value according to the focal length.

상기 주시각 제어 범위를 계산하는 단계는 상기 특정 물체와 렌즈간의 거리가 무한대일때의 입출력 해상도의 제1 화각 및 제어 범위의 제2 화각을 계산하는 단계와, 상기 제2 화각 및 상기 영상 센서 간격을 기준으로 주시각 제어 가능한 최소 중심 거리(Lmin)를 계산하는 단계를 포함한다.The calculating of the viewing angle control range may include calculating a first angle of view of input / output resolution and a second angle of view of a control range when the distance between the specific object and the lens is infinite, and calculating the second angle of view and the image sensor interval. Comprising the step of calculating the minimum controllable center distance (Lmin) as a reference.

여기서 상기 주시각 제어 방법은 상기 초점 거리에 따른 주시각 제어값의 측정 오차를 하는 단계와, 상기 계산된 측정 오차를 상기 계산된 초기 주시각 제어값 에 반영하여 주시각 제어값을 계산하는 단계를 더 포함한다.Herein, the method of controlling the vergence may include performing a measurement error of the vergence control value according to the focal length, and calculating the vergence control value by reflecting the calculated measurement error to the calculated initial vergence control value. It includes more.

상기 에지 검출 윈도우는 좌우 각 카메라의 주시각 제어를 위한 이동 방향으로 설정된다.The edge detection window is set in a moving direction for control of the vergence of the left and right cameras.

상기 주시각 제어값에 따라 상기 입체 카메라의 영상을 보정하는 단계는 상기 좌 카메라의 영상을 상기 주시각 제어값만큼 우측으로 이동시키는 단계와, 상기 우 카메라의 영상을 상기 주시각 제어값만큼 좌측으로 이동시키는 단계를 포함한다.Correcting the image of the stereoscopic camera according to the viewing angle control value includes moving the image of the left camera to the right by the viewing angle control value, and moving the image of the right camera to the left by the viewing angle control value. Moving.

상술한 바와 같이 본 발명은 특정 물체에 대해 자동 초점 기능을 수행하여 초점 거리를 검출한 후 미리 설정된 룩업 테이블을 이용하여 전자적으로 주시각을 제어할 수 있어 자동적 제어할 수 있는 효과가 있다.As described above, according to the present invention, the focal length can be electronically controlled using a look-up table after detecting a focal length by performing an auto focus function on a specific object, thereby automatically controlling the object.

또한 상기 룩업 테이블은 렌즈와 영상 센서간의 초점 거리에 따라 카메라와 특정 물체까지의 거리를 정확히 검출할 수 있는 효과가 있다.In addition, the look-up table has an effect of accurately detecting the distance between the camera and a specific object according to the focal length between the lens and the image sensor.

이하 본 발명의 바람직한 실시 예들의 상세한 설명이 첨부된 도면들을 참조하여 설명될 것이다. 도면들 중 동일한 구성들은 가능한 한 어느 곳에서든지 동일한 부호들을 나타내고 있음을 유의하여야 한다. 하기 설명에서 구체적인 특정사항들이 나타나고 있는데, 이는 본 발명의 보다 전반적인 이해를 돕기 위해 제공된 것 이다. 그리고 본 발명을 설명함에 있어, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, a detailed description of preferred embodiments of the present invention will be given with reference to the accompanying drawings. It should be noted that the same components in the figures represent the same numerals wherever possible. Specific details are set forth in the following description, which is provided to aid a more general understanding of the present invention. In the following description of the present invention, detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear.

본 발명은 평행축 방식의 입체 카메라에서 특정 물체에 대한 검출할 경우 렌즈와 영상 센서간의 초점 거리에 따라 자동으로 주시각을 제어할 수 있는 장치 및 방법을 제안한다.The present invention proposes an apparatus and method for automatically controlling the viewing angle according to a focal length between a lens and an image sensor when detecting a specific object in a parallel axis stereoscopic camera.

이를 위해 우선 본 발명의 평행축 방식의 입체 카메라에서의 주시각 제어 장치를 설명한 후 이에 따른 주시각 제어 방법을 설명하기로 한다.To this end, first of all, a description of the angle of view control apparatus for a three-dimensional camera of the parallel axis method of the present invention will be described with respect to this.

도 1은 본 발명에 따라 평행축 방식의 입체 카메라에서의 주시각 제어 장치를 나타낸 도면이다.1 is a view showing a vergence control device in a parallel axis stereoscopic camera according to the present invention.

도 1을 참조하면, 주시각 제어 장치(100)는 입체 카메라부(21), 초점 거리 검출부(23), 주시각 제어부(24), 영상 처리부(22), 표시부(25) 및 메모리(26)를 포함한다.Referring to FIG. 1, the viewing angle controller 100 includes a stereoscopic camera unit 21, a focal length detector 23, a viewing angle controller 24, an image processor 22, a display unit 25, and a memory 26. It includes.

상기 입체 카메라부(21)는 두 개의 좌우 카메라로 구성되며, 상기 좌우 카메라 각각은 렌즈와 영상 센서로 구성된다. 평행축 방식의 입체 카메라는 상기 렌즈와 상기 영상 센서는 일체형으로 구현되어 있다. 상기 영상 센서는 CMOS 형태로 구현될 수 있다.The stereoscopic camera unit 21 is composed of two left and right cameras, each of the left and right cameras is composed of a lens and an image sensor. In the parallel axis stereoscopic camera, the lens and the image sensor are integrally implemented. The image sensor may be implemented in a CMOS form.

상기 초점 거리 검출부(23)는 자동 초점(Auto Focusing) 기능에 의해 특정 물체에 대한 초점 거리를 검출한다. 여기서 상기 초점 거리는 상기 렌즈와 상기 영상 센서간의 거리를 의미한다.The focal length detector 23 detects a focal length with respect to a specific object by an auto focusing function. Here, the focal length means a distance between the lens and the image sensor.

상기 주시각 제어부(24)는 상기 좌우 카메라의 초점 거리가 결정되면, 미리 설정한 룩업 테이블을 통해 상기 초점 거리에 따른 주시각 제어값을 결정하며, 상기 결정된 주시각 제어값에 따라 상기 영상 처리부(220)에서 상기 좌우 카메라에서 입력된 영상을 보정하도록 제어한다.When the focal length of the left and right cameras is determined, the gaze controller 24 determines a gaze control value according to the focal length through a preset lookup table, and the image processor (eg, the gaze control value) according to the determined gaze control value. In operation 220, the control unit 110 corrects an image input from the left and right cameras.

상기 룩업 테이블은 좌우 카메라의 사양에 따라 초점 거리와 상기 초점 거리에 따라 특정 물체와 상기 렌즈간의 거리와, 상기 특정 물체와 상기 렌즈간의 거리에 따른 주시각 제어값을 포함하고 있다. 이러한 파라미터를 포함한 상기 룩업 테이블은 별도의 메모리(26)에 미리 저장된다.The lookup table includes a focal length control value according to a specification of a left and right camera and a distance between a specific object and the lens according to the focal length, and a distance between the specific object and the lens. The lookup table including these parameters is previously stored in a separate memory 26.

상기 영상 처리부(22)는 상기 주시각 제어부(24)에서 결정된 주시각 제어값을 입력받으면, 좌 카메라의 입력 영상을 상기 주시각 제어값만큼 오른쪽으로 이동시키며, 상기 우 카메라의 입력 영상을 상기 주시각 제어값만큼 왼쪽으로 이동시키게 된다.When the image processing unit 22 receives the vergence control value determined by the vergence control unit 24, the image processor 22 moves the input image of the left camera to the right by the vergence control value, and moves the input image of the right camera to the main image. It will move to the left by the time control value.

상기 표시부(25)는 상기 영상 처리부(22)에서 주시각 제어된 좌우 영상을 표시한다.The display unit 25 displays left and right images controlled by the image processor 22.

본 발명에 따른 입체 카메라(100)는 사용자에 의해 필요한 에지 검출 윈도우가 설정된 후, 상기 설정된 에지 검출 윈도우에서 존재하는 특정 물체가 검출되는 경우, 자동 초점 기능에 의해 초점 거리를 계산하고, 미리 설정된 룩업 테이블을 통해 상기 계산된 초점 거리에 따른 주시각 제어값을 결정하여 자동으로 주시각을 제어하게 된다.The stereoscopic camera 100 according to the present invention calculates a focal length by an auto focus function when a specific object existing in the set edge detection window is detected after the edge detection window required by the user is set, and sets a preset lookup. The angle of view control value according to the calculated focal length is determined through a table to automatically control the angle of view.

즉 본 발명에서는 자동으로 주시각 제어를 하기위해 상기 룩업 테이블을 구 비하여야한다. 이하에서는 도면을 이용하여 상기 룩업 테이블을 설정하는 방법을 설명하겠다. 상기 룩업 테이블을 설정하는 방법은 입체 카메라의 사양에 따라 결정되는 주시각 제어 범위를 결정하고, 물체와 렌즈간의 거리(L)에 따라 입체 카메라의 영상 센서와 렌즈 사이의 초점 거리(F) 및 주 시각 제어 값을 계산하는 과정을 포함한다.That is, in the present invention, the lookup table should be provided to automatically control the viewing angle. Hereinafter, a method of setting the lookup table will be described with reference to the accompanying drawings. The method of setting the look-up table may include determining a viewing angle control range determined according to the specification of the stereoscopic camera, and focusing distance (F) and the main focal length between the image sensor and the lens of the stereoscopic camera according to the distance (L) between the object and the lens. Calculating a visual control value.

그러면, 이하 도면을 이용하여 상기 룩업 테이블을 설정하는 방법을 다음의 도 2 내지 도 4를 이용하여 설명하기로 한다.Next, a method of setting the lookup table using the drawings will be described with reference to FIGS. 2 to 4.

도 2는 본 발명의 입체 카메라에서 특정 물체(201)와 렌즈간의 거리(L)가 무한대일 때 표시되는 영상을 나타낸 도면이다.2 is a view showing an image displayed when the distance (L) between the specific object 201 and the lens in the stereoscopic camera of the present invention is infinite.

도 2를 살펴보면, 두 개의 좌우 카메라(21a, 21b)로 구성되며, 각 좌우 카메라는 렌즈(201)와 영상 센서(202)를 구비한다. 상기 좌우 카메라(21a, 21b) 각각은 영상 센서에 입력되는 영상(IL, IR)과 상기 입력된 영상(IL, IR)중 표시부(25)에 출력되는 영상(OL, OR)은 상이하다. 여기서 상기 영상 센서(202)에 입력되는 영상(IL, IR)을 입력 영상이라 칭하며, 상기 표시부(25)에 출력되는 영상(OL, OR)의 해상도를 출력 영상이라 칭하기로 한다.Referring to FIG. 2, two left and right cameras 21a and 21b are configured, and each left and right camera includes a lens 201 and an image sensor 202. The right and left cameras (21a, 21b), each image input to the image sensor (I L, I R) and the input image (I L, I R) image (O of the output to the display unit (25) L, O R ) Is different. Here, the images I L and I R input to the image sensor 202 are referred to as input images, and the resolution of the images O L and O R output to the display unit 25 will be referred to as output images.

도 2에서 상기 좌우 카메라(21a, 21b) 각각에서 실선으로 표시된 부분은 입력 영상(IL ,IR)을 나타내며, 점선으로 표시된 부분은 출력 영상(OL ,OR)을 나타낸 부분이다. 상기 좌 카메라(21a)는 상기 입출력 영상의 해상도 차이가 C2만큼 발생한다. 이러한 C2의 해상도 차이는 상기 좌 카메라(21a)가 주시각을 제어할 수 있는 범위가 된다. 또한 상기 우 카메라(21b)도 입출력 영상의 해상도 차이로 인해 C1만큼의 발생되며, 상기 C1의 해상도 차이만큼 주시각을 제어할 수 있는 범위를 갖게 된다.In FIG. 2, portions indicated by solid lines in the left and right cameras 21a and 21b represent input images I L and I R , and portions indicated by dotted lines represent output images O L and O R. The left camera 21a generates a difference in resolution of the input / output image by C2. The resolution difference of C2 is a range in which the left camera 21a can control the viewing angle. In addition, the right camera 21b is generated as much as C1 due to the difference in resolution of the input and output image, and has a range that can control the viewing angle by the difference in resolution of the C1.

즉, 본 발명에서는 상기 입출력 영상의 해상도 차이에 의해 발생되는 여유 영상을 이용하여 주시각을 제어할 수 있는 범위가 결정된다. 예를 들어 입력 영상(IL ,IR)의 해상도가 800*600이며, 출력 영상(OL ,OR)의 해상도가 640*480인 경우, 주시각을 제어할 수 있는 범위는 (800-640)/2= 80 이다. 이에 따라 상기 좌우 카메라(21a, 21b)는 80 픽셀 범위에서 주시각을 제어할 수 있게 된다. 즉 본 발명의 입체 카메라부(21)는 상기 좌 카메라(21a)의 입력 영상(IL)을 광축(203) 기준으로 오른쪽 방향으로 80픽셀까지 이동시킨 출력 영상(OL)을 나타낼 수 있으며, 상기 우 카메라(21b)의 입력 영상(IR)을 광축(203) 기준으로 왼쪽 방향으로 80픽셀까지 이동시켜 출력 영상(OR)을 나타낼 수 있다. 따라서 이러한 경우 상기 주시각은 80픽셀 범위내에서 제어가 가능하다.That is, in the present invention, a range in which the viewing angle can be controlled using the spare image generated by the difference in resolution of the input / output image is determined. For example, if the resolution of the input image (I L , I R ) is 800 * 600 and the resolution of the output image (O L , O R ) is 640 * 480, the range that can control the viewing angle is (800- 640) / 2 = 80. Accordingly, the left and right cameras 21a and 21b can control the viewing angle in the 80 pixel range. That is, the stereoscopic camera unit 21 of the present invention may represent an output image O L obtained by moving the input image I L of the left camera 21 a to the right in the right direction with respect to the optical axis 203. The input image I R of the right camera 21b may be moved up to 80 pixels in the left direction with respect to the optical axis 203 to represent the output image O R. In this case, therefore, the viewing angle can be controlled within a range of 80 pixels.

도 3은 본 발명의 입체 카메라(100)에서 주시각 제어가 가능한 최소 거리를 나타낸 도면으로, 좌우 카메라의 출력 영상(OL ,OR)을 나타내었다.3 is a view showing the minimum distance that can be controlled in the three-dimensional camera 100 of the present invention, it shows the output image (O L , O R ) of the left and right cameras.

상기 주시각 제어가 가능한 최소 거리는 주시각 제어가 가능한 범위내에서 물체(201)와 렌즈(201)간의 최소 거리를 나타낸 것으로, 이를 최소 중심 거리(Lmin)라 한다.The minimum distance at which the vergence control is possible represents the minimum distance between the object 201 and the lens 201 within a range in which the vergence control is possible, which is referred to as a minimum center distance Lmin.

도 3을 살펴보면, 최소 중심 거리(Lmin)는 상기 도 2에서 좌 카메라(21a)의 입력 영상(IL)이 주시각 제어 가능 범위인 C2만큼 오른쪽으로 이동하고, 상기 우 카메라(21b)의 입력 영상(IR)이 C1만큼 이동했을 때의 거리임을 알 수 있다.Referring to FIG. 3, the minimum center distance Lmin moves to the right as much as C2, which is a controllable range of the input image I L of the left camera 21a in FIG. 2, and the input of the right camera 21b. It can be seen that the distance when the image I R is moved by C1.

도 4는 본 발명의 입체 카메라에서 물체와 렌즈간의 거리(L)가 제어 가능한 범위에 있을 때 초점 거리에 따라 주시각제어가 된 출력 영상 출력 영상(OL ,OR)을 나타낸 도면이다.FIG. 4 is a view showing an output image output image O L , O R subjected to a vergence control according to a focal length when the distance L between an object and a lens is within a controllable range in the stereoscopic camera of the present invention.

도시된 바와 같이, 상기 좌 카메라(21a)는 미리 설정된 룩업 테이블을 통해 결정된 주시각 제어값에 따라 입력 영상을 광축(203) 기준으로 오른쪽 방향으로 이동시키며, 우 카메라(21b)는 미리 설정된 룩업 테이블을 통해 결정된 주시각 제어값에 따라 입력 영상을 광축(203) 기준으로 왼쪽 방향으로 이동시켜 주시각을 제어하게 된다.As shown in the drawing, the left camera 21a moves the input image to the right direction based on the optical axis 203 according to the vergence control value determined through the preset lookup table, and the right camera 21b sets the preset lookup table. The angle of view is controlled by moving the input image to the left direction based on the optical axis 203 according to the angle of view control value determined through the control.

다음으로 본 발명의 따른 주시각 제어 방법을 설명하기로 한다.Next, the vergence control method according to the present invention will be described.

도 5는 도 1의 주시각 제어 장치(100)에서의 주시각 제어 방법을 나타낸 도면이다.FIG. 5 is a diagram illustrating a perspective view control method in the perspective view control device 100 of FIG. 1.

도 5를 참조하면, 상기 주시각 제어 장치(100)는 501 단계에서 초점 거리(F)에 따른 주시각 제어값이 포함된 룩업 테이블을 미리 설정하여 메모리(26)에 저장한다. 그런후 503 단계에서 입체 카메라의 주시각을 제어하기 위해 에지 검출 윈도우를 설정한다. 상기 에지 검출 윈도우는 좌우 카메라(21a, 21b)에 각각 설정한다.Referring to FIG. 5, in operation 501, the gaze control device 100 presets a lookup table including a gaze control value according to the focal length F and stores the look-up table in the memory 26. Then, in step 503, the edge detection window is set to control the viewing angle of the stereoscopic camera. The edge detection windows are set in the left and right cameras 21a and 21b, respectively.

이러한 상기 에지 검출 윈도우는 도 6와 같이 설정할 수 있다.The edge detection window may be set as shown in FIG. 6.

도 6의 (a)는 좌 카메라(21a)의 입출력 영상을 나타내었으며, 도 6의 (b)는 우 카메라(21b)의 입출력 영상을 나타내었다. 여기서 상기 입력 영상(601, 603)은 800*600의 해상도이며, 상기 출력 영상(611, 613)은 640*480의 해상도를 갖는 일례를 이용한다.FIG. 6A illustrates an input / output image of the left camera 21a, and FIG. 6B illustrates an input / output image of the right camera 21b. The input images 601 and 603 have a resolution of 800 * 600, and the output images 611 and 613 have an resolution of 640 * 480.

상기 좌 카메라(21a)는 주시각을 오른쪽 방향으로만 제어하기 때문에, 에지 검출 윈도우(605)는 광축(203)을 기준으로 오른쪽 부분에 설정된다. 이에 대한 상기 에지 검출 윈도우(605)의 크기는 주시각 제어에 필요한 물체에 따라 결정될 수 있다. 즉 인물과 같은 물체에 대해서는 좁은 범위의 에지 검출 윈도우를 설정하고, 원거리에 위치한 산과 같은 물체에 대해서는 넓은 범위의 에지 검출 윈도우를 설정할 수 있다. Since the left camera 21a controls the viewing angle only in the right direction, the edge detection window 605 is set on the right side with respect to the optical axis 203. The size of the edge detection window 605 may be determined according to the object required for the vergence control. That is, a narrow range of edge detection windows may be set for an object such as a person, and a wide range of edge detection windows may be set for an object such as a mountain located at a far distance.

상기 우 카메라(21a)는 주시각을 왼쪽 방향으로만 제어하기 때문에, 이에 대한 상기 에지 검출 윈도우(615)는 광축(203)을 기준으로 왼쪽 부분에 설정된다. 상기 에지 검출 윈도우(615)의 크기는 주시각 제어에 필요한 물체에 따라 결정된다.Since the right camera 21a controls the viewing angle only in the left direction, the edge detection window 615 is set at the left portion with respect to the optical axis 203. The size of the edge detection window 615 is determined according to the object required for the vergence control.

다시 도 5를 이용하여 주시각 제어 방법을 다시 설명하면, 상기 좌우 카메라(21a, 21b)는 505단계에서 상기 에지 검출 윈도우내에 검출된 물체에 대해 자동 초점(Auto Focusing) 기능이 동작하도록 제어하고, 상기 자동 초점 기능이 제어되었을 때의 초점 거리(F)를 검출한다. 그런후 상기 주시각 제어부(24)는 507 단계에 서 상기 초점 거리(F)가 변경되었는지 확인한다.5, the left and right cameras 21a and 21b control the operation of an auto focusing function on an object detected in the edge detection window in step 505. The focal length F when the auto focus function is controlled is detected. Then, the gaze angle controller 24 checks whether the focal length F is changed in step 507.

상기 초점 거리(F)가 변경되면, 상기 주시각 제어부(24)는 509 단계에서 미리 설정된 룩업 테이블에서 상기 초점 거리(F)에 따라 물체와 렌즈까지의 거리(L)를 계산한다. 이후 511 단계에서 상기 계산된 거리(L)에 대한 주시각 제어값을 결정하여 주시각 제어를 수행한다.When the focal length F is changed, the gaze angle controller 24 calculates the distance L between the object and the lens according to the focal length F in the preset lookup table (509). Thereafter, in step 511, the vergence control value for the calculated distance L is determined to perform the vergence control.

본 발명의 주시각 제어 장치(100)는 501단계에서와 상기 룩업 테이블을 설정하는 단계를 도 7을 이용하여 설명한다. Referring to FIG. 7, the gaze control device 100 of the present invention sets up the lookup table in step 501.

도 7를 참조하면, 미리 룩업 테이블을 설정하기 위해 701단계에서 우선 상기 입체 카메라에 따른 사양을 근거로 주시각 제어를 위한 초기값을 설정한다. 상기 입체 카메라 사양의 초기값은 입출력 영상 해상도, 센서 사양, 센서 간격, 및 초점 거리를 포함한다.Referring to FIG. 7, in step 701, an initial value for visual angle control is set based on a specification according to the stereoscopic camera in order to set a lookup table in advance. The initial value of the stereoscopic camera specification includes input / output image resolution, sensor specification, sensor interval, and focal length.

상기 초기값이 설정되면, 703 단계에서 상기 특정 물체와 렌즈간의 거리(L)가 무한대일때의 입출력 해상도의 화각 및 제어 범위의 화각을 계산하여 상기 특정 물체가 카메라에 가장 근접할 때의 거리인 최소 중심 거리(Lmin)를 계산하게 된다.When the initial value is set, in step 703, the angle of view of the input / output resolution when the distance L between the specific object and the lens is infinite and the angle of view of the control range are calculated to be the minimum when the specific object is closest to the camera. The center distance Lmin is calculated.

도 8에 나타낸 입체 카메라의 사양을 일례로 상기 초기값을 설명하면, 입력 영상의 해상도(Hs, Hv)는 800*600이며, 출력 영상의 해상도(Ho, Vo)는 640*480이며, 센서 사양(w, d)은 (4.73mm, 3.52mm)이며, 센서 간격(s)는 60 mm 이며, 초점 거리(F)는 4.55mm 내지 4.7mm 의 범위를 갖는다.Referring to the initial value of the stereoscopic camera shown in FIG. 8 as an example, the resolution (Hs, Hv) of the input image is 800 * 600, and the resolution (Ho, Vo) of the output image is 640 * 480. (w, d) is (4.73 mm, 3.52 mm), the sensor interval s is 60 mm, and the focal length F has a range of 4.55 mm to 4.7 mm.

여기서, 상기 센서 사양(w,d), 입출력 해상도 및 센서 간격(s), 초점 거리(F)에 의해 주시각 제어가 가능한 제어 범위가 결정된다. 상기 주시각 제어 범위의 픽셀(Hc)는 다음의 <수학식 1>과 같이 계산되며, 상기 특정 물체와 렌즈간의 거리가 무한대일때의 입출력 해상도의 화각(θ, Ψ) 및 주시각 제어 범위의 화각(δ)은 다음의 <수학식 2>와 같이 계산된다.Here, the control range in which the viewing angle control is possible is determined by the sensor specification (w, d), input / output resolution, sensor interval (s), and focal length (F). The pixel Hc of the viewing angle control range is calculated as in Equation 1 below, and the angle of view (θ, Ψ) of the input / output resolution when the distance between the specific object and the lens is infinite and the viewing angle of the viewing angle control range (δ) is calculated as shown in Equation 2 below.

<수학식 1>&Quot; (1) &quot;

Hc = (입력 영상의 수평 해상도 - 출력 영상의 수평해상도)/2Hc = (horizontal resolution of the input image-horizontal resolution of the output image) / 2

<수학식 2><Equation 2>

AOV(θ, Ψ, δ)= 2 * ATAN[w/(2*F∞)] AOV (θ, Ψ, δ) = 2 * ATAN [w / (2 * F∞)]

여기서, 상기 w는 영상 센서의 가로 크기, 상기 렌즈사양 F∞ 는 물체까지의 거리가 무한대인 경우의 초점 거리이다.Here, w is the horizontal size of the image sensor, the lens specification F∞ is the focal length when the distance to the object is infinite.

도 8과 같은 일례에서는 상기 주시각 제어가 가능한 제어 범위의 픽셀은 수평으로 80픽셀이며, 화각은 수평으로 5.76mm 로 계산된다.In the example of FIG. 8, the pixel of the control range in which the vergence control is possible is 80 pixels horizontally, and the angle of view is calculated to be 5.76 mm horizontally.

이후 703 단계에서 상기 화각(δ)과 영상 센서 간격(s)를 기준으로 주시각 제어의 최소 중심 거리(Lmin)은 계산하며, 상기 최소 중심 거리(Lmin)는 다음의 <수학식 3>과 같이 계산된다.Thereafter, in step 703, the minimum center distance Lmin of the vergence control is calculated based on the angle of view δ and the image sensor interval s, and the minimum center distance Lmin is expressed by Equation 3 below. Is calculated.

<수학식 3><Equation 3>

L min = (S/2) / TAN(δ) L min = (S / 2) / TAN (δ)

상기 도 8의 일례에서 상기 최소 중심 거리(Lmin)은 297mm 로 계산된다.In the example of FIG. 8, the minimum center distance Lmin is calculated to be 297 mm.

그런 후, 상기 705 단계에서 상기 주시각 제어 범위내에서 특정 물체와의 거리(L)에 따라 변경되는 초점 거리를 계산한다. 마지막으로 707 단계에서 상기 거리 거리(L)에 따른 주시각 제어값을 계산하여 룩업 테이블을 구성한다.Thereafter, in step 705, a focal length that is changed according to the distance L with a specific object within the gaze angle control range is calculated. Finally, in step 707, a vergence control value according to the distance distance L is calculated to construct a lookup table.

도 9는 도 8의 일례에서의 룩업 테이블을 나타낸 도면이다.9 is a diagram illustrating a lookup table in the example of FIG. 8.

도 9를 살펴보면, 상기 룩업 테이블은 최소 중심 거리(Lmin)에서부터 주시각이 제어 가능한 거리까지의 주시각 제어값이 저장된다. 그리고 상기 주시각 제어값은 다수의 파라미터들을 이용하여 계산된다. Referring to FIG. 9, the lookup table stores a vergence control value from a minimum center distance Lmin to a distance whose vergence can be controlled. The vergence control value is calculated using a plurality of parameters.

각 파라미터들의 의미와 계산 방법은 다음과 같다.Meaning of each parameter and calculation method are as follows.

1) 물체거리에 따른 주 시각제어 거리(Cd) = L * TAN(δ) 1) Main visual control distance according to object distance (Cd) = L * TAN (δ)

2) 물체거리에 따른 픽셀의 크기(Pd) = Cd / Hc 2) Pixel size according to object distance (Pd) = Cd / Hc

3) 물체거리에 따른 1[mm]의 픽셀 수(Dp) = Hc / Cd 3) Number of pixels (Dp) of 1 [mm] according to the object distance = Hc / Cd

4) 물체거리에 따른 주 시각제어 픽셀(Cp) = S / Dp 4) Main visual control pixel (Cp) = S / Dp according to object distance

5) 측정오차(E) = Cp-Mp 5) Measurement error (E) = Cp-Mp

6) 측정 오차에 따른 최종 주시각 제어값(Cpc) = Cp - E 6) Final View Angle Control Value (Cpc) = Cp-E

상기 파라미터들을 살펴보면, 계산된 주시각 제어값인 주시각 제어 픽셀(Cp)는 이론치이며, 실제 입체 카메라에서는 제조 공정등에서 오차가 발생할 수 있다. 이에 따라 상기 룩업 테이블에는 실제 측정에 따라 발생되는 측정오차(E)를 감안하여 최종 주시각 제어값(Cpc)에 반영하여야 한다.Looking at the parameters, the calculated control angle of the control pixel (Cp) is a theoretical value, an error may occur in the manufacturing process, such as in the real three-dimensional camera. Accordingly, the lookup table should be reflected in the final view angle control value Cpc in consideration of the measurement error E generated according to the actual measurement.

상술한 바와 같이 평행축 방식의 입체 카메라에서는 카메라 사양에 따른 입출력 영상의 해상도 차이를 이용하여 주시각 제어를 하며, 상기 주시각 제어값은 룩업 테이블에 미리 저장하여 사용하므로 자동으로 주시각을 제어할 수 있게 된다. 또한 상기 룩업 테이블에는 거리(L)값도 저장될 수도 있어, 본 발명의 주시각 제어 기술은 입체 카메라를 사용하는 로봇 기술에서 특정 물체와 거리 측정 및 정확한 위치 인식에서도 응용이 가능하다.As described above, in the stereoscopic camera of the parallel axis type, the control of the viewing angle is performed by using the resolution difference of the input / output image according to the camera specification. It becomes possible. In addition, since the distance L value may be stored in the lookup table, the vergence control technique of the present invention may be applied to a specific object and distance measurement and accurate position recognition in a robot technology using a stereoscopic camera.

한편 본 발명의 상세한 설명에서는 하나의 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 대역에서의 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 안되며 후술하는 특허청구의 범위뿐 아니라 이 특허청구의 범위와 균등한 것들에 의해서 정해져야 한다.Meanwhile, in the detailed description of the present invention, one embodiment has been described. However, variations in various bands are possible without departing from the scope of the present invention. Therefore, the scope of the present invention should not be limited by the described embodiments, but should be determined by the scope of the appended claims and equivalents thereof.

도 1은 본 발명에 따라 평행축 방식의 입체 카메라에서의 주시각 제어 장치를 나타낸 도면1 is a view showing a vergence control device in a parallel axis stereoscopic camera according to the present invention;

도 2는 본 발명의 입체 카메라에서 물체와 렌즈간의 거리(L)가 무한대일 때 표시되는 영상을 나타낸 도면2 is a view showing an image displayed when the distance (L) between the object and the lens in the stereoscopic camera of the present invention is infinite

도 3은 본 발명의 입체 카메라에서 주시각 제어가 가능한 물체와 렌즈간의 최소 거리일 때 표시되는 영상을 나타낸 도면3 is a view showing an image displayed when the minimum distance between the object and the lens that can be controlled in the three-dimensional camera of the present invention

도 4는 본 발명의 입체 카메라에서 물체와 렌즈간의 거리(L)가 제어 가능한 범위에 있을 때 표시되는 영상을 나타낸 도면FIG. 4 is a view showing an image displayed when the distance L between an object and a lens is within a controllable range in the stereoscopic camera of the present invention.

도 5는 도 1의 주시각 제어 장치에서의 주시각 제어 방법을 나타낸 도면FIG. 5 is a view illustrating a perspective view control method in the perspective view control device of FIG. 1. FIG.

도 6은 에지 검출 윈도우를 설정하는 원리를 나타낸 도면6 illustrates the principle of setting an edge detection window;

도 7은 본 발명의 룩업 테이블을 설정하는 단계를 나타낸 도면7 is a diagram showing the steps of setting up a lookup table of the present invention;

도 8은 입체 카메라 사양의 일례를 나타낸 도면8 is a diagram illustrating an example of a stereoscopic camera specification.

도 9는 도 8의 입체 카메라에서의 룩업 테이블의 일례를 나타낸 도면9 is a diagram illustrating an example of a lookup table in the stereoscopic camera of FIG. 8. FIG.

<도면의 주요 부분에 대한 부호의 설명> <Explanation of symbols for the main parts of the drawings>

21 : 입체 카메라부 21a, 21b : 좌 카메라, 우 카메라21: stereoscopic camera portion 21a, 21b: left camera, right camera

22 : 영상 처리부 23 : 초점거리 검출부22: image processing unit 23: focal length detection unit

24 : 주시각 제어부 25 : 표시부24: visual control unit 25: display unit

26 : 메모리 605 : 좌 카메라의 에지 검출 윈도우26 memory 605: left edge detection window of the camera

615 : 우 카메라의 에지 검출 윈도우615: right camera edge detection window

Claims (11)

렌즈와 영상 센서를 각각 구비하는 좌우 카메라를 포함하는 입체 카메라부와,A stereo camera unit including a left and right camera each having a lens and an image sensor; 초점 거리에 따른 주시각 제어값이 포함된 룩업 테이블을 저장하는 메모리와,A memory for storing a lookup table including a vergence control value according to a focal length; 자동 초점 기능에 의해 특정 물체에 대한 초점 거리를 검출하는 초점 거리 검출부와,A focal length detector for detecting a focal length with respect to a specific object by an auto focus function; 상기 좌우 카메라의 초점 거리가 결정되면, 상기 룩업 테이블을 통해 상기 초점 거리에 따른 주시각 제어값을 결정하는 주시각 제어부와,A vergence controller configured to determine a vergence control value according to the focal length through the look-up table when the focal length of the left and right cameras is determined; 상기 결정된 주시각 제어값에 따라 상기 좌우 카메라의 영상을 보정하는 영상 처리부와,An image processor to correct an image of the left and right cameras according to the determined viewing angle control value; 상기 보정된 영상을 표시하는 표시부를 포함하는 평행축 방식의 입체 카메라에서의 주시각 제어 장치.Viewing angle control device in a parallel-axis stereoscopic camera comprising a display unit for displaying the corrected image. 제 1항에 있어서, 상기 룩업 테이블은,The method of claim 1, wherein the lookup table, 좌우 카메라 각각이 포함하는 렌즈와 영상 센서간의 초점 거리와,The focal length between the lens and the image sensor included in each of the left and right cameras, 상기 초점 거리에 따라 특정 물체와 상기 렌즈간의 거리와,A distance between a specific object and the lens according to the focal length, 상기 특정 물체와 상기 렌즈간의 거리에 따른 주시각 제어값을 포함하는 평 행축 방식의 입체 카메라에서의 주시각 제어 장치.Viewing angle control device in a three-dimensional camera of a parallel axis type including a control angle of view according to the distance between the specific object and the lens. 제 1항에 있어서, 상기 영상 처리부는,The method of claim 1, wherein the image processor, 상기 주시각 제어부의 제어하에 Under the control of the viewing angle controller 상기 좌 카메라의 영상을 상기 주시각 제어값만큼 우측으로 이동시키며, 상기 상기 우 카메라의 영상을 상기 주시각 제어값만큼 좌측으로 이동시켜 상기 좌우 카메라의 영상을 보정하는 평행축 방식의 입체 카메라에서의 주시각 제어 장치.In a three-dimensional camera of a parallel axis type to correct the image of the left and right camera by moving the image of the left camera to the right by the viewing angle control value, and moving the image of the right camera to the left by the viewing angle control value. Vertex control device. 초점 거리에 따른 주시각 제어값이 포함된 룩업 테이블을 미리 설정하는 단계와,Presetting a look-up table including a vergence control value according to a focal length; 좌우 카메라를 포함하는 입체 카메라의 주시각을 제어하기 위해 에지 검출 윈도우를 설정하는 단계와,Setting an edge detection window to control a viewing angle of a stereoscopic camera including left and right cameras; 상기 설정된 에지 검출 윈도우를 기준으로 특정 물체에 대한 자동 초점 기능을 수행하여 상기 특정 물체의 초점 거리를 검출하는 단계와,Detecting a focal length of the specific object by performing an auto focus function on the specific object based on the set edge detection window; 상기 룩업 테이블을 통해 상기 검출된 초점 거리에 따른 주시각 제어값을 결정하는 단계와,Determining a vergence control value according to the detected focal length through the lookup table; 상기 주시각 제어값에 따라 상기 입체 카메라의 영상을 보정하는 단계를 포함하는 평행축 방식의 입체 카메라에서의 주시각 제어 방법.And correcting an image of the stereoscopic camera according to the vergence control value. 제 4항에 있어서, 상기 룩업 테이블을 설정하는 단계는,The method of claim 4, wherein the setting of the lookup table comprises: 상기 입체 카메라에 대한 입출력 영상 해상도, 영상 센서 사양, 영상 센서 간격, 및 초점 거리에 대한 초기값을 설정하는 단계와,Setting initial values for input / output image resolution, image sensor specification, image sensor interval, and focal length for the stereoscopic camera; 상기 초기값과 입출력 영상의 해상도에 따른 주시각 제어 범위를 계산하는 단계와,Calculating a vergence control range according to the initial value and the resolution of the input / output image; 상기 주시각 제어 범위내에서 특정 물체와의 거리에 따라 변경되는 초점 거리와, 상기 초점 거리에 따른 초기 주시각 제어값을 계산하는 단계를 포함하는 평행축 방식의 입체 카메라에서의 주시각 제어 방법.And calculating a focal length that changes according to a distance to a specific object within the vergence control range, and an initial vergence control value according to the focal length. 제 5항에 있어서, 상기 주시각 제어 범위를 계산하는 단계는,The method of claim 5, wherein the calculating of the vergence control range comprises: 상기 특정 물체와 렌즈간의 거리가 무한대일때의 입출력 해상도의 제1 화각 및 제어 범위의 제2 화각을 계산하는 단계와,Calculating a first field of view of input / output resolution and a second field of view of a control range when the distance between the specific object and the lens is infinite; 상기 제2 화각 및 상기 영상 센서 간격을 기준으로 주시각 제어 가능한 최소 중심 거리(Lmin)를 계산하는 단계를 포함하는 평행축 방식의 입체 카메라에서의 주시각 제어 방법.And calculating a minimum center distance (Lmin) of the vergence controllable based on the second angle of view and the image sensor interval. 제 5항에 있어서,The method of claim 5, 상기 초점 거리에 따른 주시각 제어값의 측정 오차를 계산하는 단계와,Calculating a measurement error of the vergence control value according to the focal length; 상기 계산된 측정 오차를 상기 계산된 초기 주시각 제어값에 반영하여 주시각 제어값을 계산하는 단계를 더 포함하는 평행축 방식의 입체 카메라에서의 주시각 제어 방법.And calculating a viewing angle control value by reflecting the calculated measurement error in the calculated initial viewing angle control value. 제 5항에 있어서, 상기 화각은,The method of claim 5, wherein the angle of view, AOV(δ) = 2 * ATAN[w/(2*F∞)] AOV (δ) = 2 * ATAN [w / (2 * F∞)] (여기서 상기 δ 는 주시각 제어 범위가 가능한 화각이며, 상기 w는 영상 센서 영상 센서의 가로 크기, 상기 F∞는 무한거리에서의 초점 거리)(Where δ is an angle of view capable of a vergence control range, w is a horizontal size of the image sensor, and F∞ is a focal length at an infinite distance) 로 계산되는 평행축 방식의 입체 카메라에서의 주시각 제어 방법.Viewing angle control method in a three-dimensional camera of a parallel axis method calculated by. 제 5항에 있어서, 상기 주시각 제어의 최소 중심거리는,The method of claim 5, wherein the minimum center distance of the vergence control, L min = (S/2) / TAN(δ) L min = (S / 2) / TAN (δ) (여기서 상기 L min는 상기 주시각 제어의 최소 중심거리이며, 상기 S는 영상 센서 간격이며, 상기 δ 는 제어범위에 대한 화각)Where L min is the minimum center distance of the vergence control, S is the image sensor interval, and δ is the angle of view for the control range. 로 계산되는 평행축 방식의 입체 카메라에서의 주시각 제어 방법.Viewing angle control method in a three-dimensional camera of a parallel axis method calculated by. 제 4항에 있어서, 상기 에지 검출 윈도우는,The method of claim 4, wherein the edge detection window, 좌우 각 카메라의 주시각 제어를 위한 이동 방향으로 설정되는 평행축 방식의 입체 카메라에서의 주시각 제어 방법.Viewing angle control method in a three-dimensional camera of a parallel axis is set in the movement direction for the control of the viewing angle of the left and right angle cameras. 제 4항에 있어서, 상기 주시각 제어값에 따라 상기 입체 카메라의 영상을 보정하는 단계는,The method of claim 4, wherein correcting the image of the stereoscopic camera according to the vergence control value comprises: 상기 좌 카메라의 영상을 상기 주시각 제어값만큼 우측으로 이동시키는 단계와,Moving the image of the left camera to the right by the vergence control value; 상기 우 카메라의 영상을 상기 주시각 제어값만큼 좌측으로 이동시키는 단계를 포함하는 평행축 방식의 입체 카메라에서의 주시각 제어 방법.And moving the image of the right camera to the left by the vergence control value.
KR1020080131534A 2008-12-22 2008-12-22 Method and apparatus for controlling convergence in parallel axis typed sterocamera KR101069209B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080131534A KR101069209B1 (en) 2008-12-22 2008-12-22 Method and apparatus for controlling convergence in parallel axis typed sterocamera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080131534A KR101069209B1 (en) 2008-12-22 2008-12-22 Method and apparatus for controlling convergence in parallel axis typed sterocamera

Publications (2)

Publication Number Publication Date
KR20100072963A true KR20100072963A (en) 2010-07-01
KR101069209B1 KR101069209B1 (en) 2011-09-30

Family

ID=42636033

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080131534A KR101069209B1 (en) 2008-12-22 2008-12-22 Method and apparatus for controlling convergence in parallel axis typed sterocamera

Country Status (1)

Country Link
KR (1) KR101069209B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101276312B1 (en) * 2010-11-22 2013-06-18 (주)옵티스 Convergence angle control system of 3d image camera and convergence angle control method thereof
KR101334570B1 (en) * 2012-01-05 2013-11-28 삼성전자주식회사 Stereoscopic camera system

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019041035A1 (en) 2017-08-30 2019-03-07 Innovations Mindtrick Inc. Viewer-adjusted stereoscopic image display

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100597587B1 (en) 2004-04-13 2006-07-06 한국전자통신연구원 The apparatus and method for vergence control of a parallel-axis stereo camera system using compensated image signal processing
KR100688456B1 (en) * 2005-09-13 2007-03-02 한국방송공사 Method for controlling zoom-convergence interlock in parallel translation axis typed stereo camera system
KR100726933B1 (en) 2006-02-15 2007-06-14 주식회사 이시티 Image signal processing method for auto convergence control method of two fixed cameras
KR100778085B1 (en) * 2007-03-14 2007-11-22 주식회사 이시티 Signal processing method and equipment of stereoscopic images for controlling convergence of stereoscopic camera

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101276312B1 (en) * 2010-11-22 2013-06-18 (주)옵티스 Convergence angle control system of 3d image camera and convergence angle control method thereof
KR101334570B1 (en) * 2012-01-05 2013-11-28 삼성전자주식회사 Stereoscopic camera system

Also Published As

Publication number Publication date
KR101069209B1 (en) 2011-09-30

Similar Documents

Publication Publication Date Title
US9971153B2 (en) Method and apparatus for displaying video data
US9749614B2 (en) Image capturing system obtaining scene depth information and focusing method thereof
US8208008B2 (en) Apparatus, method, and program for displaying stereoscopic images
AU2019205611A1 (en) Augmented reality displays with active alignment and corresponding methods
CN109922255B (en) Dual camera system for generating real-time depth maps
EP2229000B1 (en) Apparatus and method for capturing stereoscopic images of a scene
KR20170139521A (en) Image processing apparatus and image processing system
CN102595182B (en) Stereo display equipment, and correction method, device and system thereof
US20130114887A1 (en) Stereo distance measurement apparatus and stereo distance measurement method
US8698878B2 (en) 3-D auto-convergence camera
US11115643B2 (en) Alignment system
US20120019527A1 (en) Display apparatus, display method, and computer-readable recording medium
JP2012124555A (en) Imaging apparatus
KR101069209B1 (en) Method and apparatus for controlling convergence in parallel axis typed sterocamera
JP2016170052A (en) Eye detector and vehicle display system
KR20140135416A (en) Stereo Camera
KR101737260B1 (en) Camera system for extracting depth from images of different depth of field and opertation method thereof
KR20150073676A (en) Apparatus and method for correcting distortion of vehicle
EP2717582B1 (en) Camera module and apparatus for calibrating position thereof
US20160065941A1 (en) Three-dimensional image capturing apparatus and storage medium storing three-dimensional image capturing program
JP2013050689A (en) Imaging device, focus control method of the same and computer program
CN113271451B (en) 3D imaging parallax adjustment method, control device and 3D imaging system
WO2023221141A1 (en) Photographing apparatus and focusing control program
KR20150090640A (en) The zoom function conformity method using the image feature point
KR101283825B1 (en) 3-d auto-convergence camera

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140827

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150827

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160826

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20170828

Year of fee payment: 7