KR20100072963A - Method and apparatus for controlling convergence in parallel axis typed sterocamera - Google Patents
Method and apparatus for controlling convergence in parallel axis typed sterocamera Download PDFInfo
- Publication number
- KR20100072963A KR20100072963A KR1020080131534A KR20080131534A KR20100072963A KR 20100072963 A KR20100072963 A KR 20100072963A KR 1020080131534 A KR1020080131534 A KR 1020080131534A KR 20080131534 A KR20080131534 A KR 20080131534A KR 20100072963 A KR20100072963 A KR 20100072963A
- Authority
- KR
- South Korea
- Prior art keywords
- focal length
- image
- camera
- vergence
- control
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Studio Devices (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
Abstract
Description
본 발명은 두 개의 카메라를 이용하는 입체카메라의 주시각 제어 장치 및 방법에 관한 것으로, 특히 평행축 방식의 입체 카메라에서 자동으로 주시각을 제어할 수 있는 장치 및 방법에 관한 것이다. The present invention relates to an apparatus and method for controlling a viewing angle of a stereoscopic camera using two cameras, and more particularly, to an apparatus and a method for automatically controlling a viewing angle in a stereoscopic camera of a parallel axis type.
본 발명은 지식경제부 및 정보통신연구진흥원의 IT원천기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호 : 2006-S-006-03, 과제명 : 유비쿼터스 단말용 부품 모델]The present invention is derived from the research conducted as part of the IT source technology development project of the Ministry of Knowledge Economy and the Ministry of Information and Communication Research and Development. [Task management number: 2006-S-006-03, Task name: Component model for ubiquitous terminal]
일반적으로 3차원 입체영상 구현을 위해서는 상호간에 유효한 시차를 갖는 2장 이상의 2차원 영상이 필요하며, 상기와 같은 2장 이상의 2차원 영상을 획득하기 위해 사용되는 카메라를 입체 카메라라고 한다.In general, two or more two-dimensional images having effective parallax are required to implement a three-dimensional stereoscopic image, and a camera used to acquire two or more two-dimensional images as described above is called a three-dimensional camera.
상기 입체 카메라는 그 방식에 따라 단일 카메라를 활용하는 방법, 양안 카메라를 활용하는 방법, 그리고 다시점 카메라를 활용하는 방법 등이 있으나, 양안 카메라를 활용하는 방법을 주로 사용한다. 상기 양안 입체 카메라는 사람의 눈과 같이 두 개의 카메라를 이용하여 좌우 영상으로 구성되는 2차원 영상을 동시 또는 순차적으로 획득하여 3차원 영상을 촬영하는 장치이며, 지금까지 사용되어온 가장 일반적인 입체 카메라가 상기 양안 입체 카메라이다. The stereoscopic camera has a method of using a single camera, a method of using a binocular camera, and a method of using a multi-view camera according to the method, but mainly use a method of using a binocular camera. The binocular stereoscopic camera is a device for capturing three-dimensional images by simultaneously or sequentially acquiring two-dimensional images consisting of left and right images using two cameras, such as a human eye, and the most common stereoscopic cameras used so far are It is a binocular stereoscopic camera.
또한, 상기 양안 입체 카메라는 두 개의 영상 센서의 배열방법에 따라 평행축 방식(parallel axis)과 교차축(cross axis) 방식 그리고 평행 이동축(parallel moving axis) 방식이 사용된다.In addition, the binocular stereoscopic camera uses a parallel axis method, a cross axis method, and a parallel moving axis method according to an arrangement method of two image sensors.
이러한 방식중 상기 평행축 방식은 두 개의 카메라가 고정되므로 구조가 간단하여 자주 사용되는 방식이다.Among these methods, the parallel axis method is a method that is frequently used because the two cameras are fixed.
그러나 입체 카메라에서는 단안 카메라와 달리 두 개의 카메라를 이용하므로 줌, 포커스 이외에 카메라의 주시각을 정확히 제어할 수 있어야 양질의 입체 영상을 구현할 수 있게 된다.However, since stereo cameras use two cameras unlike monocular cameras, it is necessary to accurately control the camera's viewing angle in addition to zoom and focus to realize high quality stereoscopic images.
여기서 상기 주시각 제어란 두개의 카메라가 일정 간격으로 떨어져 있음으로 인해 좌우 카메라의 영상이 차이가 나게 되는데 이러한 좌우 카메라의 영상이 차이(시차)가 나지 않도록 제어하는 것을 의미한다.Here, the vergence control means that the images of the left and right cameras are different because the two cameras are separated at a predetermined interval. This means that the images of the left and right cameras are controlled so as not to have a difference (parallax).
일반적으로 상기 평행축 방식의 입체 카메라에서는 두 개의 카메라가 고정되어 있는 구조이어서, 실질적으로 주시각을 제어할 수가 없다. 이를 해결하기 위해서 사용자가 별도의 기계적 장치를 이용하여 주시각을 제어하게 된다. 즉 사용자가 별도의 기계적 장치를 이용하여 각 좌우 카메라를 직접 좌우측으로 변경하여 주시각을 제어하게 된다. 이러한 방식에서는 영상 촬영시마다 주시각을 수동적으로 변경하여야 하므로 번거롭다는 단점이 발생한다.In general, in the parallel axis stereoscopic camera, since two cameras are fixed, the viewing angle cannot be substantially controlled. To solve this problem, the user controls the gaze angle using a separate mechanical device. That is, the user controls the gaze angle by directly changing the left and right cameras left and right using a separate mechanical device. This method has a disadvantage in that it is cumbersome because the viewing angle must be changed manually every time the image is taken.
따라서 본 발명의 목적은 평행축 방식의 입체 카메라에서 미리 설정된 룩업 테이블을 이용하여 자동으로 주시각을 제어할 수 있는 장치 및 방법을 제공함에 있다.Accordingly, an object of the present invention is to provide an apparatus and a method for automatically controlling the viewing angle using a lookup table preset in a parallel axis stereoscopic camera.
상술한 바를 달성하기 위한 본 발명의 평행축 방식의 입체 카메라에서의 주시각 제어 장치는 렌즈와 영상 센서를 각각 구비하는 좌우 카메라를 포함하는 입체 카메라부와, 초점 거리에 따른 주시각 제어값이 포함된 룩업 테이블을 저장하는 메모리와, 자동 초점 기능에 의해 특정 물체에 대한 초점 거리를 검출하는 초점 거리 검출부와, 상기 좌우 카메라의 초점 거리가 결정되면, 상기 룩업 테이블을 통해 상기 초점 거리에 따른 주시각 제어값을 결정하는 주시각 제어부와, 상기 결정된 주시각 제어값에 따라 상기 좌우 카메라의 영상을 보정하는 영상 처리부와, 상기 보정된 영상을 표시하는 표시부를 포함한다.To achieve the above, the apparatus for controlling the angle of view in a stereoscopic camera of a parallel axis type according to the present invention includes a stereoscopic camera unit including a left and right camera each having a lens and an image sensor, and a viewing angle control value according to a focal length. A memory for storing the lookup table, a focal length detector for detecting a focal length with respect to a specific object by an auto focus function, and a focal length according to the focal length through the lookup table when the focal length of the left and right cameras is determined. A vergence controller configured to determine a control value, an image processor to correct an image of the left and right cameras according to the determined vergence control value, and a display unit to display the corrected image.
상기 룩업 테이블은 좌우 카메라 각각이 포함하는 렌즈와 영상 센서간의 초점 거리와, 상기 초점 거리에 따라 특정 물체와 상기 렌즈간의 거리와, 상기 특정 물체와 상기 렌즈간의 거리에 따른 주시각 제어값을 포함한다.The lookup table includes a focal length between a lens included in each of the left and right cameras and an image sensor, a distance between a specific object and the lens according to the focal length, and a vergence control value according to the distance between the specific object and the lens. .
상기 영상 처리부는 상기 주시각 제어부의 제어하에 상기 좌 카메라의 영상을 상기 주시각 제어값만큼 우측으로 이동시키며, 상기 상기 우 카메라의 영상을 상기 주시각 제어값만큼 좌측으로 이동시켜 상기 좌우 카메라의 영상을 보정한다.The image processing unit moves the image of the left camera to the right by the vergence control value under the control of the viewing angle control unit, and moves the image of the right camera to the left by the vergence control value to make the image of the left and right cameras. To correct.
상술한 바를 달성하기 위한 본 발명의 평행축 방식의 입체 카메라에서의 주시각 제어 방법은 초점 거리에 따른 주시각 제어값이 포함된 룩업 테이블을 미리 설정하는 단계와, 좌우 카메라를 포함하는 입체 카메라의 주시각을 제어하기 위해 에지 검출 윈도우를 설정하는 단계와, 상기 설정된 에지 검출 윈도우를 기준으로 특정 물체에 대한 자동 초점 기능을 수행하여 상기 특정 물체의 초점 거리를 검출하는 단계와, 상기 룩업 테이블을 통해 상기 검출된 초점 거리에 따른 주시각 제어값을 결정하는 단계와, 상기 주시각 제어값에 따라 상기 입체 카메라의 영상을 보정하는 단계를 포함한다.According to the present invention, there is provided a method of controlling a viewing angle in a stereoscopic camera of a parallel axis type according to the present invention, by setting a lookup table including a viewing angle control value according to a focal length in advance, Setting an edge detection window to control a viewing angle, performing an autofocus function on a specific object based on the set edge detection window, detecting a focal length of the specific object, and using the lookup table Determining a viewing angle control value according to the detected focal length, and correcting an image of the stereoscopic camera according to the viewing angle control value.
상기 룩업 테이블을 설정하는 단계는 상기 입체 카메라에 대한 입출력 영상 해상도, 영상 센서 사양, 영상 센서 간격, 및 초점 거리에 대한 초기값을 설정하는 단계와, 상기 초기값과 입출력 영상 해상도에 따른 주시각 제어 범위를 계산하는 단계와, 상기 주시각 제어 범위내에서 특정 물체와의 거리에 따라 변경되는 초점 거리와, 상기 초점 거리에 따른 초기 주시각 제어값을 계산하는 단계를 포함한다.The setting of the lookup table may include setting initial values for input / output image resolution, image sensor specification, image sensor interval, and focal length for the stereoscopic camera, and control of gaze angle according to the initial value and input / output image resolution. Calculating a range, a focal length that changes according to a distance to a specific object within the vergence control range, and an initial vergence control value according to the focal length.
상기 주시각 제어 범위를 계산하는 단계는 상기 특정 물체와 렌즈간의 거리가 무한대일때의 입출력 해상도의 제1 화각 및 제어 범위의 제2 화각을 계산하는 단계와, 상기 제2 화각 및 상기 영상 센서 간격을 기준으로 주시각 제어 가능한 최소 중심 거리(Lmin)를 계산하는 단계를 포함한다.The calculating of the viewing angle control range may include calculating a first angle of view of input / output resolution and a second angle of view of a control range when the distance between the specific object and the lens is infinite, and calculating the second angle of view and the image sensor interval. Comprising the step of calculating the minimum controllable center distance (Lmin) as a reference.
여기서 상기 주시각 제어 방법은 상기 초점 거리에 따른 주시각 제어값의 측정 오차를 하는 단계와, 상기 계산된 측정 오차를 상기 계산된 초기 주시각 제어값 에 반영하여 주시각 제어값을 계산하는 단계를 더 포함한다.Herein, the method of controlling the vergence may include performing a measurement error of the vergence control value according to the focal length, and calculating the vergence control value by reflecting the calculated measurement error to the calculated initial vergence control value. It includes more.
상기 에지 검출 윈도우는 좌우 각 카메라의 주시각 제어를 위한 이동 방향으로 설정된다.The edge detection window is set in a moving direction for control of the vergence of the left and right cameras.
상기 주시각 제어값에 따라 상기 입체 카메라의 영상을 보정하는 단계는 상기 좌 카메라의 영상을 상기 주시각 제어값만큼 우측으로 이동시키는 단계와, 상기 우 카메라의 영상을 상기 주시각 제어값만큼 좌측으로 이동시키는 단계를 포함한다.Correcting the image of the stereoscopic camera according to the viewing angle control value includes moving the image of the left camera to the right by the viewing angle control value, and moving the image of the right camera to the left by the viewing angle control value. Moving.
상술한 바와 같이 본 발명은 특정 물체에 대해 자동 초점 기능을 수행하여 초점 거리를 검출한 후 미리 설정된 룩업 테이블을 이용하여 전자적으로 주시각을 제어할 수 있어 자동적 제어할 수 있는 효과가 있다.As described above, according to the present invention, the focal length can be electronically controlled using a look-up table after detecting a focal length by performing an auto focus function on a specific object, thereby automatically controlling the object.
또한 상기 룩업 테이블은 렌즈와 영상 센서간의 초점 거리에 따라 카메라와 특정 물체까지의 거리를 정확히 검출할 수 있는 효과가 있다.In addition, the look-up table has an effect of accurately detecting the distance between the camera and a specific object according to the focal length between the lens and the image sensor.
이하 본 발명의 바람직한 실시 예들의 상세한 설명이 첨부된 도면들을 참조하여 설명될 것이다. 도면들 중 동일한 구성들은 가능한 한 어느 곳에서든지 동일한 부호들을 나타내고 있음을 유의하여야 한다. 하기 설명에서 구체적인 특정사항들이 나타나고 있는데, 이는 본 발명의 보다 전반적인 이해를 돕기 위해 제공된 것 이다. 그리고 본 발명을 설명함에 있어, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, a detailed description of preferred embodiments of the present invention will be given with reference to the accompanying drawings. It should be noted that the same components in the figures represent the same numerals wherever possible. Specific details are set forth in the following description, which is provided to aid a more general understanding of the present invention. In the following description of the present invention, detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear.
본 발명은 평행축 방식의 입체 카메라에서 특정 물체에 대한 검출할 경우 렌즈와 영상 센서간의 초점 거리에 따라 자동으로 주시각을 제어할 수 있는 장치 및 방법을 제안한다.The present invention proposes an apparatus and method for automatically controlling the viewing angle according to a focal length between a lens and an image sensor when detecting a specific object in a parallel axis stereoscopic camera.
이를 위해 우선 본 발명의 평행축 방식의 입체 카메라에서의 주시각 제어 장치를 설명한 후 이에 따른 주시각 제어 방법을 설명하기로 한다.To this end, first of all, a description of the angle of view control apparatus for a three-dimensional camera of the parallel axis method of the present invention will be described with respect to this.
도 1은 본 발명에 따라 평행축 방식의 입체 카메라에서의 주시각 제어 장치를 나타낸 도면이다.1 is a view showing a vergence control device in a parallel axis stereoscopic camera according to the present invention.
도 1을 참조하면, 주시각 제어 장치(100)는 입체 카메라부(21), 초점 거리 검출부(23), 주시각 제어부(24), 영상 처리부(22), 표시부(25) 및 메모리(26)를 포함한다.Referring to FIG. 1, the
상기 입체 카메라부(21)는 두 개의 좌우 카메라로 구성되며, 상기 좌우 카메라 각각은 렌즈와 영상 센서로 구성된다. 평행축 방식의 입체 카메라는 상기 렌즈와 상기 영상 센서는 일체형으로 구현되어 있다. 상기 영상 센서는 CMOS 형태로 구현될 수 있다.The
상기 초점 거리 검출부(23)는 자동 초점(Auto Focusing) 기능에 의해 특정 물체에 대한 초점 거리를 검출한다. 여기서 상기 초점 거리는 상기 렌즈와 상기 영상 센서간의 거리를 의미한다.The focal length detector 23 detects a focal length with respect to a specific object by an auto focusing function. Here, the focal length means a distance between the lens and the image sensor.
상기 주시각 제어부(24)는 상기 좌우 카메라의 초점 거리가 결정되면, 미리 설정한 룩업 테이블을 통해 상기 초점 거리에 따른 주시각 제어값을 결정하며, 상기 결정된 주시각 제어값에 따라 상기 영상 처리부(220)에서 상기 좌우 카메라에서 입력된 영상을 보정하도록 제어한다.When the focal length of the left and right cameras is determined, the
상기 룩업 테이블은 좌우 카메라의 사양에 따라 초점 거리와 상기 초점 거리에 따라 특정 물체와 상기 렌즈간의 거리와, 상기 특정 물체와 상기 렌즈간의 거리에 따른 주시각 제어값을 포함하고 있다. 이러한 파라미터를 포함한 상기 룩업 테이블은 별도의 메모리(26)에 미리 저장된다.The lookup table includes a focal length control value according to a specification of a left and right camera and a distance between a specific object and the lens according to the focal length, and a distance between the specific object and the lens. The lookup table including these parameters is previously stored in a separate memory 26.
상기 영상 처리부(22)는 상기 주시각 제어부(24)에서 결정된 주시각 제어값을 입력받으면, 좌 카메라의 입력 영상을 상기 주시각 제어값만큼 오른쪽으로 이동시키며, 상기 우 카메라의 입력 영상을 상기 주시각 제어값만큼 왼쪽으로 이동시키게 된다.When the image processing unit 22 receives the vergence control value determined by the
상기 표시부(25)는 상기 영상 처리부(22)에서 주시각 제어된 좌우 영상을 표시한다.The display unit 25 displays left and right images controlled by the image processor 22.
본 발명에 따른 입체 카메라(100)는 사용자에 의해 필요한 에지 검출 윈도우가 설정된 후, 상기 설정된 에지 검출 윈도우에서 존재하는 특정 물체가 검출되는 경우, 자동 초점 기능에 의해 초점 거리를 계산하고, 미리 설정된 룩업 테이블을 통해 상기 계산된 초점 거리에 따른 주시각 제어값을 결정하여 자동으로 주시각을 제어하게 된다.The
즉 본 발명에서는 자동으로 주시각 제어를 하기위해 상기 룩업 테이블을 구 비하여야한다. 이하에서는 도면을 이용하여 상기 룩업 테이블을 설정하는 방법을 설명하겠다. 상기 룩업 테이블을 설정하는 방법은 입체 카메라의 사양에 따라 결정되는 주시각 제어 범위를 결정하고, 물체와 렌즈간의 거리(L)에 따라 입체 카메라의 영상 센서와 렌즈 사이의 초점 거리(F) 및 주 시각 제어 값을 계산하는 과정을 포함한다.That is, in the present invention, the lookup table should be provided to automatically control the viewing angle. Hereinafter, a method of setting the lookup table will be described with reference to the accompanying drawings. The method of setting the look-up table may include determining a viewing angle control range determined according to the specification of the stereoscopic camera, and focusing distance (F) and the main focal length between the image sensor and the lens of the stereoscopic camera according to the distance (L) between the object and the lens. Calculating a visual control value.
그러면, 이하 도면을 이용하여 상기 룩업 테이블을 설정하는 방법을 다음의 도 2 내지 도 4를 이용하여 설명하기로 한다.Next, a method of setting the lookup table using the drawings will be described with reference to FIGS. 2 to 4.
도 2는 본 발명의 입체 카메라에서 특정 물체(201)와 렌즈간의 거리(L)가 무한대일 때 표시되는 영상을 나타낸 도면이다.2 is a view showing an image displayed when the distance (L) between the
도 2를 살펴보면, 두 개의 좌우 카메라(21a, 21b)로 구성되며, 각 좌우 카메라는 렌즈(201)와 영상 센서(202)를 구비한다. 상기 좌우 카메라(21a, 21b) 각각은 영상 센서에 입력되는 영상(IL, IR)과 상기 입력된 영상(IL, IR)중 표시부(25)에 출력되는 영상(OL, OR)은 상이하다. 여기서 상기 영상 센서(202)에 입력되는 영상(IL, IR)을 입력 영상이라 칭하며, 상기 표시부(25)에 출력되는 영상(OL, OR)의 해상도를 출력 영상이라 칭하기로 한다.Referring to FIG. 2, two left and
도 2에서 상기 좌우 카메라(21a, 21b) 각각에서 실선으로 표시된 부분은 입력 영상(IL ,IR)을 나타내며, 점선으로 표시된 부분은 출력 영상(OL ,OR)을 나타낸 부분이다. 상기 좌 카메라(21a)는 상기 입출력 영상의 해상도 차이가 C2만큼 발생한다. 이러한 C2의 해상도 차이는 상기 좌 카메라(21a)가 주시각을 제어할 수 있는 범위가 된다. 또한 상기 우 카메라(21b)도 입출력 영상의 해상도 차이로 인해 C1만큼의 발생되며, 상기 C1의 해상도 차이만큼 주시각을 제어할 수 있는 범위를 갖게 된다.In FIG. 2, portions indicated by solid lines in the left and
즉, 본 발명에서는 상기 입출력 영상의 해상도 차이에 의해 발생되는 여유 영상을 이용하여 주시각을 제어할 수 있는 범위가 결정된다. 예를 들어 입력 영상(IL ,IR)의 해상도가 800*600이며, 출력 영상(OL ,OR)의 해상도가 640*480인 경우, 주시각을 제어할 수 있는 범위는 (800-640)/2= 80 이다. 이에 따라 상기 좌우 카메라(21a, 21b)는 80 픽셀 범위에서 주시각을 제어할 수 있게 된다. 즉 본 발명의 입체 카메라부(21)는 상기 좌 카메라(21a)의 입력 영상(IL)을 광축(203) 기준으로 오른쪽 방향으로 80픽셀까지 이동시킨 출력 영상(OL)을 나타낼 수 있으며, 상기 우 카메라(21b)의 입력 영상(IR)을 광축(203) 기준으로 왼쪽 방향으로 80픽셀까지 이동시켜 출력 영상(OR)을 나타낼 수 있다. 따라서 이러한 경우 상기 주시각은 80픽셀 범위내에서 제어가 가능하다.That is, in the present invention, a range in which the viewing angle can be controlled using the spare image generated by the difference in resolution of the input / output image is determined. For example, if the resolution of the input image (I L , I R ) is 800 * 600 and the resolution of the output image (O L , O R ) is 640 * 480, the range that can control the viewing angle is (800- 640) / 2 = 80. Accordingly, the left and
도 3은 본 발명의 입체 카메라(100)에서 주시각 제어가 가능한 최소 거리를 나타낸 도면으로, 좌우 카메라의 출력 영상(OL ,OR)을 나타내었다.3 is a view showing the minimum distance that can be controlled in the three-
상기 주시각 제어가 가능한 최소 거리는 주시각 제어가 가능한 범위내에서 물체(201)와 렌즈(201)간의 최소 거리를 나타낸 것으로, 이를 최소 중심 거리(Lmin)라 한다.The minimum distance at which the vergence control is possible represents the minimum distance between the
도 3을 살펴보면, 최소 중심 거리(Lmin)는 상기 도 2에서 좌 카메라(21a)의 입력 영상(IL)이 주시각 제어 가능 범위인 C2만큼 오른쪽으로 이동하고, 상기 우 카메라(21b)의 입력 영상(IR)이 C1만큼 이동했을 때의 거리임을 알 수 있다.Referring to FIG. 3, the minimum center distance Lmin moves to the right as much as C2, which is a controllable range of the input image I L of the
도 4는 본 발명의 입체 카메라에서 물체와 렌즈간의 거리(L)가 제어 가능한 범위에 있을 때 초점 거리에 따라 주시각제어가 된 출력 영상 출력 영상(OL ,OR)을 나타낸 도면이다.FIG. 4 is a view showing an output image output image O L , O R subjected to a vergence control according to a focal length when the distance L between an object and a lens is within a controllable range in the stereoscopic camera of the present invention.
도시된 바와 같이, 상기 좌 카메라(21a)는 미리 설정된 룩업 테이블을 통해 결정된 주시각 제어값에 따라 입력 영상을 광축(203) 기준으로 오른쪽 방향으로 이동시키며, 우 카메라(21b)는 미리 설정된 룩업 테이블을 통해 결정된 주시각 제어값에 따라 입력 영상을 광축(203) 기준으로 왼쪽 방향으로 이동시켜 주시각을 제어하게 된다.As shown in the drawing, the
다음으로 본 발명의 따른 주시각 제어 방법을 설명하기로 한다.Next, the vergence control method according to the present invention will be described.
도 5는 도 1의 주시각 제어 장치(100)에서의 주시각 제어 방법을 나타낸 도면이다.FIG. 5 is a diagram illustrating a perspective view control method in the perspective
도 5를 참조하면, 상기 주시각 제어 장치(100)는 501 단계에서 초점 거리(F)에 따른 주시각 제어값이 포함된 룩업 테이블을 미리 설정하여 메모리(26)에 저장한다. 그런후 503 단계에서 입체 카메라의 주시각을 제어하기 위해 에지 검출 윈도우를 설정한다. 상기 에지 검출 윈도우는 좌우 카메라(21a, 21b)에 각각 설정한다.Referring to FIG. 5, in
이러한 상기 에지 검출 윈도우는 도 6와 같이 설정할 수 있다.The edge detection window may be set as shown in FIG. 6.
도 6의 (a)는 좌 카메라(21a)의 입출력 영상을 나타내었으며, 도 6의 (b)는 우 카메라(21b)의 입출력 영상을 나타내었다. 여기서 상기 입력 영상(601, 603)은 800*600의 해상도이며, 상기 출력 영상(611, 613)은 640*480의 해상도를 갖는 일례를 이용한다.FIG. 6A illustrates an input / output image of the
상기 좌 카메라(21a)는 주시각을 오른쪽 방향으로만 제어하기 때문에, 에지 검출 윈도우(605)는 광축(203)을 기준으로 오른쪽 부분에 설정된다. 이에 대한 상기 에지 검출 윈도우(605)의 크기는 주시각 제어에 필요한 물체에 따라 결정될 수 있다. 즉 인물과 같은 물체에 대해서는 좁은 범위의 에지 검출 윈도우를 설정하고, 원거리에 위치한 산과 같은 물체에 대해서는 넓은 범위의 에지 검출 윈도우를 설정할 수 있다. Since the
상기 우 카메라(21a)는 주시각을 왼쪽 방향으로만 제어하기 때문에, 이에 대한 상기 에지 검출 윈도우(615)는 광축(203)을 기준으로 왼쪽 부분에 설정된다. 상기 에지 검출 윈도우(615)의 크기는 주시각 제어에 필요한 물체에 따라 결정된다.Since the
다시 도 5를 이용하여 주시각 제어 방법을 다시 설명하면, 상기 좌우 카메라(21a, 21b)는 505단계에서 상기 에지 검출 윈도우내에 검출된 물체에 대해 자동 초점(Auto Focusing) 기능이 동작하도록 제어하고, 상기 자동 초점 기능이 제어되었을 때의 초점 거리(F)를 검출한다. 그런후 상기 주시각 제어부(24)는 507 단계에 서 상기 초점 거리(F)가 변경되었는지 확인한다.5, the left and
상기 초점 거리(F)가 변경되면, 상기 주시각 제어부(24)는 509 단계에서 미리 설정된 룩업 테이블에서 상기 초점 거리(F)에 따라 물체와 렌즈까지의 거리(L)를 계산한다. 이후 511 단계에서 상기 계산된 거리(L)에 대한 주시각 제어값을 결정하여 주시각 제어를 수행한다.When the focal length F is changed, the
본 발명의 주시각 제어 장치(100)는 501단계에서와 상기 룩업 테이블을 설정하는 단계를 도 7을 이용하여 설명한다. Referring to FIG. 7, the
도 7를 참조하면, 미리 룩업 테이블을 설정하기 위해 701단계에서 우선 상기 입체 카메라에 따른 사양을 근거로 주시각 제어를 위한 초기값을 설정한다. 상기 입체 카메라 사양의 초기값은 입출력 영상 해상도, 센서 사양, 센서 간격, 및 초점 거리를 포함한다.Referring to FIG. 7, in
상기 초기값이 설정되면, 703 단계에서 상기 특정 물체와 렌즈간의 거리(L)가 무한대일때의 입출력 해상도의 화각 및 제어 범위의 화각을 계산하여 상기 특정 물체가 카메라에 가장 근접할 때의 거리인 최소 중심 거리(Lmin)를 계산하게 된다.When the initial value is set, in
도 8에 나타낸 입체 카메라의 사양을 일례로 상기 초기값을 설명하면, 입력 영상의 해상도(Hs, Hv)는 800*600이며, 출력 영상의 해상도(Ho, Vo)는 640*480이며, 센서 사양(w, d)은 (4.73mm, 3.52mm)이며, 센서 간격(s)는 60 mm 이며, 초점 거리(F)는 4.55mm 내지 4.7mm 의 범위를 갖는다.Referring to the initial value of the stereoscopic camera shown in FIG. 8 as an example, the resolution (Hs, Hv) of the input image is 800 * 600, and the resolution (Ho, Vo) of the output image is 640 * 480. (w, d) is (4.73 mm, 3.52 mm), the sensor interval s is 60 mm, and the focal length F has a range of 4.55 mm to 4.7 mm.
여기서, 상기 센서 사양(w,d), 입출력 해상도 및 센서 간격(s), 초점 거리(F)에 의해 주시각 제어가 가능한 제어 범위가 결정된다. 상기 주시각 제어 범위의 픽셀(Hc)는 다음의 <수학식 1>과 같이 계산되며, 상기 특정 물체와 렌즈간의 거리가 무한대일때의 입출력 해상도의 화각(θ, Ψ) 및 주시각 제어 범위의 화각(δ)은 다음의 <수학식 2>와 같이 계산된다.Here, the control range in which the viewing angle control is possible is determined by the sensor specification (w, d), input / output resolution, sensor interval (s), and focal length (F). The pixel Hc of the viewing angle control range is calculated as in Equation 1 below, and the angle of view (θ, Ψ) of the input / output resolution when the distance between the specific object and the lens is infinite and the viewing angle of the viewing angle control range (δ) is calculated as shown in
<수학식 1>&Quot; (1) "
Hc = (입력 영상의 수평 해상도 - 출력 영상의 수평해상도)/2Hc = (horizontal resolution of the input image-horizontal resolution of the output image) / 2
<수학식 2><
AOV(θ, Ψ, δ)= 2 * ATAN[w/(2*F∞)] AOV (θ, Ψ, δ) = 2 * ATAN [w / (2 * F∞)]
여기서, 상기 w는 영상 센서의 가로 크기, 상기 렌즈사양 F∞ 는 물체까지의 거리가 무한대인 경우의 초점 거리이다.Here, w is the horizontal size of the image sensor, the lens specification F∞ is the focal length when the distance to the object is infinite.
도 8과 같은 일례에서는 상기 주시각 제어가 가능한 제어 범위의 픽셀은 수평으로 80픽셀이며, 화각은 수평으로 5.76mm 로 계산된다.In the example of FIG. 8, the pixel of the control range in which the vergence control is possible is 80 pixels horizontally, and the angle of view is calculated to be 5.76 mm horizontally.
이후 703 단계에서 상기 화각(δ)과 영상 센서 간격(s)를 기준으로 주시각 제어의 최소 중심 거리(Lmin)은 계산하며, 상기 최소 중심 거리(Lmin)는 다음의 <수학식 3>과 같이 계산된다.Thereafter, in
<수학식 3><Equation 3>
L min = (S/2) / TAN(δ) L min = (S / 2) / TAN (δ)
상기 도 8의 일례에서 상기 최소 중심 거리(Lmin)은 297mm 로 계산된다.In the example of FIG. 8, the minimum center distance Lmin is calculated to be 297 mm.
그런 후, 상기 705 단계에서 상기 주시각 제어 범위내에서 특정 물체와의 거리(L)에 따라 변경되는 초점 거리를 계산한다. 마지막으로 707 단계에서 상기 거리 거리(L)에 따른 주시각 제어값을 계산하여 룩업 테이블을 구성한다.Thereafter, in
도 9는 도 8의 일례에서의 룩업 테이블을 나타낸 도면이다.9 is a diagram illustrating a lookup table in the example of FIG. 8.
도 9를 살펴보면, 상기 룩업 테이블은 최소 중심 거리(Lmin)에서부터 주시각이 제어 가능한 거리까지의 주시각 제어값이 저장된다. 그리고 상기 주시각 제어값은 다수의 파라미터들을 이용하여 계산된다. Referring to FIG. 9, the lookup table stores a vergence control value from a minimum center distance Lmin to a distance whose vergence can be controlled. The vergence control value is calculated using a plurality of parameters.
각 파라미터들의 의미와 계산 방법은 다음과 같다.Meaning of each parameter and calculation method are as follows.
1) 물체거리에 따른 주 시각제어 거리(Cd) = L * TAN(δ) 1) Main visual control distance according to object distance (Cd) = L * TAN (δ)
2) 물체거리에 따른 픽셀의 크기(Pd) = Cd / Hc 2) Pixel size according to object distance (Pd) = Cd / Hc
3) 물체거리에 따른 1[mm]의 픽셀 수(Dp) = Hc / Cd 3) Number of pixels (Dp) of 1 [mm] according to the object distance = Hc / Cd
4) 물체거리에 따른 주 시각제어 픽셀(Cp) = S / Dp 4) Main visual control pixel (Cp) = S / Dp according to object distance
5) 측정오차(E) = Cp-Mp 5) Measurement error (E) = Cp-Mp
6) 측정 오차에 따른 최종 주시각 제어값(Cpc) = Cp - E 6) Final View Angle Control Value (Cpc) = Cp-E
상기 파라미터들을 살펴보면, 계산된 주시각 제어값인 주시각 제어 픽셀(Cp)는 이론치이며, 실제 입체 카메라에서는 제조 공정등에서 오차가 발생할 수 있다. 이에 따라 상기 룩업 테이블에는 실제 측정에 따라 발생되는 측정오차(E)를 감안하여 최종 주시각 제어값(Cpc)에 반영하여야 한다.Looking at the parameters, the calculated control angle of the control pixel (Cp) is a theoretical value, an error may occur in the manufacturing process, such as in the real three-dimensional camera. Accordingly, the lookup table should be reflected in the final view angle control value Cpc in consideration of the measurement error E generated according to the actual measurement.
상술한 바와 같이 평행축 방식의 입체 카메라에서는 카메라 사양에 따른 입출력 영상의 해상도 차이를 이용하여 주시각 제어를 하며, 상기 주시각 제어값은 룩업 테이블에 미리 저장하여 사용하므로 자동으로 주시각을 제어할 수 있게 된다. 또한 상기 룩업 테이블에는 거리(L)값도 저장될 수도 있어, 본 발명의 주시각 제어 기술은 입체 카메라를 사용하는 로봇 기술에서 특정 물체와 거리 측정 및 정확한 위치 인식에서도 응용이 가능하다.As described above, in the stereoscopic camera of the parallel axis type, the control of the viewing angle is performed by using the resolution difference of the input / output image according to the camera specification. It becomes possible. In addition, since the distance L value may be stored in the lookup table, the vergence control technique of the present invention may be applied to a specific object and distance measurement and accurate position recognition in a robot technology using a stereoscopic camera.
한편 본 발명의 상세한 설명에서는 하나의 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 대역에서의 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 안되며 후술하는 특허청구의 범위뿐 아니라 이 특허청구의 범위와 균등한 것들에 의해서 정해져야 한다.Meanwhile, in the detailed description of the present invention, one embodiment has been described. However, variations in various bands are possible without departing from the scope of the present invention. Therefore, the scope of the present invention should not be limited by the described embodiments, but should be determined by the scope of the appended claims and equivalents thereof.
도 1은 본 발명에 따라 평행축 방식의 입체 카메라에서의 주시각 제어 장치를 나타낸 도면1 is a view showing a vergence control device in a parallel axis stereoscopic camera according to the present invention;
도 2는 본 발명의 입체 카메라에서 물체와 렌즈간의 거리(L)가 무한대일 때 표시되는 영상을 나타낸 도면2 is a view showing an image displayed when the distance (L) between the object and the lens in the stereoscopic camera of the present invention is infinite
도 3은 본 발명의 입체 카메라에서 주시각 제어가 가능한 물체와 렌즈간의 최소 거리일 때 표시되는 영상을 나타낸 도면3 is a view showing an image displayed when the minimum distance between the object and the lens that can be controlled in the three-dimensional camera of the present invention
도 4는 본 발명의 입체 카메라에서 물체와 렌즈간의 거리(L)가 제어 가능한 범위에 있을 때 표시되는 영상을 나타낸 도면FIG. 4 is a view showing an image displayed when the distance L between an object and a lens is within a controllable range in the stereoscopic camera of the present invention.
도 5는 도 1의 주시각 제어 장치에서의 주시각 제어 방법을 나타낸 도면FIG. 5 is a view illustrating a perspective view control method in the perspective view control device of FIG. 1. FIG.
도 6은 에지 검출 윈도우를 설정하는 원리를 나타낸 도면6 illustrates the principle of setting an edge detection window;
도 7은 본 발명의 룩업 테이블을 설정하는 단계를 나타낸 도면7 is a diagram showing the steps of setting up a lookup table of the present invention;
도 8은 입체 카메라 사양의 일례를 나타낸 도면8 is a diagram illustrating an example of a stereoscopic camera specification.
도 9는 도 8의 입체 카메라에서의 룩업 테이블의 일례를 나타낸 도면9 is a diagram illustrating an example of a lookup table in the stereoscopic camera of FIG. 8. FIG.
<도면의 주요 부분에 대한 부호의 설명> <Explanation of symbols for the main parts of the drawings>
21 : 입체 카메라부 21a, 21b : 좌 카메라, 우 카메라21:
22 : 영상 처리부 23 : 초점거리 검출부22: image processing unit 23: focal length detection unit
24 : 주시각 제어부 25 : 표시부24: visual control unit 25: display unit
26 : 메모리 605 : 좌 카메라의 에지 검출 윈도우26 memory 605: left edge detection window of the camera
615 : 우 카메라의 에지 검출 윈도우615: right camera edge detection window
Claims (11)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020080131534A KR101069209B1 (en) | 2008-12-22 | 2008-12-22 | Method and apparatus for controlling convergence in parallel axis typed sterocamera |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020080131534A KR101069209B1 (en) | 2008-12-22 | 2008-12-22 | Method and apparatus for controlling convergence in parallel axis typed sterocamera |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20100072963A true KR20100072963A (en) | 2010-07-01 |
KR101069209B1 KR101069209B1 (en) | 2011-09-30 |
Family
ID=42636033
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020080131534A KR101069209B1 (en) | 2008-12-22 | 2008-12-22 | Method and apparatus for controlling convergence in parallel axis typed sterocamera |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101069209B1 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101276312B1 (en) * | 2010-11-22 | 2013-06-18 | (주)옵티스 | Convergence angle control system of 3d image camera and convergence angle control method thereof |
KR101334570B1 (en) * | 2012-01-05 | 2013-11-28 | 삼성전자주식회사 | Stereoscopic camera system |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019041035A1 (en) | 2017-08-30 | 2019-03-07 | Innovations Mindtrick Inc. | Viewer-adjusted stereoscopic image display |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100597587B1 (en) | 2004-04-13 | 2006-07-06 | 한국전자통신연구원 | The apparatus and method for vergence control of a parallel-axis stereo camera system using compensated image signal processing |
KR100688456B1 (en) * | 2005-09-13 | 2007-03-02 | 한국방송공사 | Method for controlling zoom-convergence interlock in parallel translation axis typed stereo camera system |
KR100726933B1 (en) | 2006-02-15 | 2007-06-14 | 주식회사 이시티 | Image signal processing method for auto convergence control method of two fixed cameras |
KR100778085B1 (en) * | 2007-03-14 | 2007-11-22 | 주식회사 이시티 | Signal processing method and equipment of stereoscopic images for controlling convergence of stereoscopic camera |
-
2008
- 2008-12-22 KR KR1020080131534A patent/KR101069209B1/en active IP Right Grant
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101276312B1 (en) * | 2010-11-22 | 2013-06-18 | (주)옵티스 | Convergence angle control system of 3d image camera and convergence angle control method thereof |
KR101334570B1 (en) * | 2012-01-05 | 2013-11-28 | 삼성전자주식회사 | Stereoscopic camera system |
Also Published As
Publication number | Publication date |
---|---|
KR101069209B1 (en) | 2011-09-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9971153B2 (en) | Method and apparatus for displaying video data | |
US9749614B2 (en) | Image capturing system obtaining scene depth information and focusing method thereof | |
US8208008B2 (en) | Apparatus, method, and program for displaying stereoscopic images | |
AU2019205611A1 (en) | Augmented reality displays with active alignment and corresponding methods | |
CN109922255B (en) | Dual camera system for generating real-time depth maps | |
EP2229000B1 (en) | Apparatus and method for capturing stereoscopic images of a scene | |
KR20170139521A (en) | Image processing apparatus and image processing system | |
CN102595182B (en) | Stereo display equipment, and correction method, device and system thereof | |
US20130114887A1 (en) | Stereo distance measurement apparatus and stereo distance measurement method | |
US8698878B2 (en) | 3-D auto-convergence camera | |
US11115643B2 (en) | Alignment system | |
US20120019527A1 (en) | Display apparatus, display method, and computer-readable recording medium | |
JP2012124555A (en) | Imaging apparatus | |
KR101069209B1 (en) | Method and apparatus for controlling convergence in parallel axis typed sterocamera | |
JP2016170052A (en) | Eye detector and vehicle display system | |
KR20140135416A (en) | Stereo Camera | |
KR101737260B1 (en) | Camera system for extracting depth from images of different depth of field and opertation method thereof | |
KR20150073676A (en) | Apparatus and method for correcting distortion of vehicle | |
EP2717582B1 (en) | Camera module and apparatus for calibrating position thereof | |
US20160065941A1 (en) | Three-dimensional image capturing apparatus and storage medium storing three-dimensional image capturing program | |
JP2013050689A (en) | Imaging device, focus control method of the same and computer program | |
CN113271451B (en) | 3D imaging parallax adjustment method, control device and 3D imaging system | |
WO2023221141A1 (en) | Photographing apparatus and focusing control program | |
KR20150090640A (en) | The zoom function conformity method using the image feature point | |
KR101283825B1 (en) | 3-d auto-convergence camera |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20140827 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20150827 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20160826 Year of fee payment: 6 |
|
FPAY | Annual fee payment |
Payment date: 20170828 Year of fee payment: 7 |