WO2012165707A1 - 스테레오 카메라용 보정 시스템 및 스테레오 영상 보정 장치 - Google Patents

스테레오 카메라용 보정 시스템 및 스테레오 영상 보정 장치 Download PDF

Info

Publication number
WO2012165707A1
WO2012165707A1 PCT/KR2011/005642 KR2011005642W WO2012165707A1 WO 2012165707 A1 WO2012165707 A1 WO 2012165707A1 KR 2011005642 W KR2011005642 W KR 2011005642W WO 2012165707 A1 WO2012165707 A1 WO 2012165707A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
correction
stereo image
stereo
image
Prior art date
Application number
PCT/KR2011/005642
Other languages
English (en)
French (fr)
Inventor
최병호
김동순
김제우
송혁
이천
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to US14/116,458 priority Critical patent/US9396536B2/en
Publication of WO2012165707A1 publication Critical patent/WO2012165707A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths

Definitions

  • the present invention relates to a stereo camera system for acquiring three-dimensional stereoscopic images that are the mainstream of the next generation broadcasting and digital contents industries, and more particularly to a correction system for acquiring corrected stereo images.
  • the stereo image viewer can comfortably observe the 3D image without visual fatigue.
  • Techniques for making this known are known.
  • the known technique for correcting stereo images is mainly focused on correction processing through image processing. That is, since correction is not performed through physical adjustment of the camera, such as binocular lens adjustment, separation distance between lenses, and convergence, convergence of the stereo camera, there is a fundamental limitation in the correction of the stereo image.
  • An object of the present invention is to provide a technical method for improving the distortion correction result of a stereo image by interlocking a physical correction for a stereo camera and an image processing correction for a stereo image.
  • a rig control for performing a physical correction of the camera by controlling the electric rig in accordance with the input camera correction parameters, when the camera correction parameters are input
  • a module a stereo image correction apparatus for acquiring the camera correction parameters through correction of stereo images, and outputting the camera correction parameters to the camera control module; and outputting or outputting the camera correction parameters input from the stereo image correction apparatus to the rig control module. It includes a camera control module.
  • the stereo image correcting apparatus includes a stereo color correction module for performing color correction on a stereo image; And a geometric correction module for generating a calibration stereo image through geometry correction on the color corrected stereo image, and analyzing the generated calibration stereo image to obtain the camera calibration parameter.
  • the correction system for a stereo camera further includes a multiplexer for receiving and outputting at least one of the color corrected stereo image and the corrected stereo image.
  • the stereo image correcting apparatus further includes a three-dimensional depth information module for generating three-dimensional depth information of the color-corrected stereo image and outputting the three-dimensional depth information to the multiplexer.
  • the camera control module may control the color corrected stereo image to be input to the geometrical correction module during a predetermined time after the zoom magnification is changed in the camera setup mode or the camera photographing mode.
  • the stereo image correction device for achieving the above technical problem, a stereo color correction module for performing a color correction for a stereo image, and the geometric correction (Geometry Calibration) for the color corrected stereo image It includes a geometric correction module for obtaining the camera correction parameters for the physical correction of the camera through the) and outputs to the camera control module.
  • the geometric correction module includes a first calibration image generator configured to analyze the color corrected stereo image to generate a corrected stereo image, and two-dimensional warping of the color corrected stereo image based on a camera parameter input from the camera control module. obtaining a camera correction parameter through a second calibration image generator for generating a calibration stereo image through warping, and a calibration stereo image analysis generated by the first calibration image generator or the second calibration image generator; And a correction parameter obtaining unit output to the camera control module.
  • the stereo image correcting apparatus further generates a three-dimensional depth information module for generating three-dimensional depth information of the color-corrected stereo image and outputting the generated three-dimensional depth information to a multiplexer to which the color-corrected stereo image is input. Include.
  • the camera use setting becomes more convenient and convenient.
  • the present invention provides a method for correcting the optical settings and camera parameters of the camera when the camera is set before shooting, by correcting the horizontal (vertical, vertical, size, and rotational errors). By measuring the error and giving its correction value as feedback, it is easy to perform the physical correction of the camera.
  • the present invention is to minimize the error of the camera physical correction, the error in the image (exposure error, color error, synchronization error, etc.) of the three-dimensional image during real-time shooting can be corrected through color correction to obtain a corrected stereo image do.
  • the stereo image correction device includes a three-dimensional depth information module that inputs color-corrected left and right images so that disparity vector and depth map information according to the camera focus center and object characteristics are included. By extracting, the cameraman or stereographer can easily see the composition of the stereoscopic image.
  • FIG. 1 is a block diagram of a correction system for a stereo camera according to an embodiment of the present invention.
  • FIG. 2 is a block diagram of a geometrical correction module in accordance with an embodiment of the present invention.
  • FIG. 1 is a block diagram of a correction system for a stereo camera according to an embodiment of the present invention.
  • a correction system for a stereo camera includes a left lens 110 that is a stereo camera configuration and a left image sensor that reconstructs light transmitted through the left lens 110 into an image that is an electrical signal.
  • Left image signal processor (Left Image Signal Processor, Left ISP) 150 for signal processing the output image of the 130 and the left image sensor 130
  • the right lens (Rigth Lens) 120 and the right lens (120)
  • Right image sensor 140 for reconstructing the light transmitted through the image as an electrical signal and right image signal processor for processing the output image of the right image sensor 140.
  • the left lens 110, the left image sensor 130, the right lens 120, and the right image sensor 140 are mounted to the auto rig 200.
  • the correction system for a stereo camera includes a Rig Control Module 300, a Camera Main Controller 400, and a Stereo Image Correction Device 500 for electric control of the electric rig 200. do.
  • the stereo camera correction system further includes a multiplexer for receiving and outputting a stereo image corrected by the stereo image correction apparatus 500.
  • the rig control module 300 is a configuration for physically adjusting the position, rotation angle, etc. between the left and right lenses 110 and 120 and the image sensors 130 and 140 by direct electric control of the electric rig 200.
  • the rig control module 300 controls the electric rig 200 in accordance with the camera correction parameter input from the camera control module 400, the left and right lenses 110, 120 and the image sensor 130, 140) correct the error.
  • the camera control module 400 is a component for overall control of the correction system for a stereo camera. That is, the camera control module 400 controls the operations of the rig control module 300 and the stereo image calibrating apparatus 500 and overall camera operations.
  • the camera control module 400 outputs the camera correction parameters input from the stereo image correction apparatus 500 to the rig control module 300 or outputs the camera correction parameter information to the viewfinder. In the latter case, the user visually checks the camera calibration parameter information and performs the manual physical manipulation of the camera. In addition, the camera control module 400 also transmits information about the current camera status such as camera parameter information, camera settings, zoom in / zoom out, etc. to the stereo image calibrating apparatus 500 as an input.
  • the stereo image calibrating apparatus 500 is configured for stereo image calibration, and performs image processing correction for left and right images and physical correction of the camera from the result of the correction. It is configured to include one or more processors to obtain the camera calibration parameters and output to the camera control module 400.
  • the stereo image correcting apparatus 500 includes a stereo color correction module 510 and a geometric correction module 520.
  • the stereo color correction module 510 performs stereo color correction on the stereo image input from the left and right image signal processors 150 and 160. That is, the stereo color correction module 510 corrects the identity of the stereo image by correcting the exposure error, color error, and synchronization errors of the input left and right images.
  • the geometric correction module 520 performs geometry correction on the color corrected stereo image.
  • the geometric correction module 520 generates a calibration stereo image by performing a calibration on the color corrected stereo image based on a correction tool, and generates a calibration stereo image.
  • camera correction parameters for physical correction such as camera horizontal error, vertical error, size error, rotation error, and focus error are obtained and output to the camera control module 400.
  • the camera correction parameter is a parameter for physically correcting the left lens 110 and the left image sensor 130 based on the right lens 120 and the right image sensor 140, or conversely, the left lens 110 and the left image.
  • the geometric correction module 520 obtains a camera correction parameter by comparing the corrected left image or the right image or the left image corrected based on the right image.
  • the stereo image calibrating apparatus 500 further includes a three-dimensional depth information module 530.
  • the three-dimensional depth information module 530 may use a parallax vector or disparity with respect to some blocks (eg, 2 ⁇ 2 blocks, 4 ⁇ 4 blocks, etc.) of the stereo image corrected by the stereo color correction module 510. By generating disparity information, calculating a 3D depth, and generating a 3D depth map, the depth information of the 3D stereoscopic image is generated and output to the multiplexer 600.
  • the three-dimensional depth information module 530 performs a process for generating three-dimensional depth information by designating some blocks of the color-corrected stereo image according to a control signal of the camera control module 400. do.
  • the multiplexer 600 independently outputs the left and right images after the correction input from the stereo color correction module 510 or screens the mixed image of the left and right images.
  • the multiplexer 600 includes an overlay function and overlays the depth information input from the 3D depth information module 530 onto the corrected stereo image and outputs the screen.
  • the multiplexer 600 may overlay the calibration stereo image on the color corrected stereo image and output the overlayed stereo image.
  • the color-corrected stereo image may be overlaid on the calibration stereo image and output.
  • the depth information may also be overlaid and output.
  • the reason why the color corrected stereo image and the corrected stereo image are output together is to allow the user to visually check the degree of mismatch between the color corrected image and the corrected stereo image.
  • the overall operation according to the camera mode will be described with reference to FIG. 1.
  • the operation when the camera setup mode is set by the camera control module 400 will be described.
  • the left and right lenses 110 and 120, the left and right image sensors 130 and 140, and the left and right image signal processors 150 and 160 clear stereo images before correction generated from light are obtained.
  • the obtained stereo image before correction is input to the stereo color correction module 510.
  • the stereo color correction module 510 performs color correction on the input stereo image before correction.
  • the color corrected stereo image is output to the multiplexer 600 and also to the 3D depth information module 530.
  • the camera control module 400 applies a control signal as shown in FIG.
  • the geometric correction module 520 performs a geometric correction on the color corrected stereo image to generate a corrected stereo image, and obtains a camera correction parameter by comparing the corrected stereo image with the left image and the right image.
  • the geometric correction module 520 generates a calibration stereo image with only the color corrected stereo image.
  • geometric correction module 520 generates a calibration stereo image with color corrected stereo images and camera parameters input from camera control module 400.
  • the geometric correction module 520 outputs the camera correction parameters to the camera control module 400 and optionally outputs a calibration stereo image to the multiplexer 600.
  • the camera control module 400 transmits the input camera correction parameter to the viewfinder while transmitting the screen to the rig control module 300. Alternatively, the camera control module 400 may perform only one of outputting a camera calibration parameter and transferring the same to the rig control module 300.
  • the multiplexer 600 receives the color corrected stereo image, the 3D depth information, and the corrected stereo image and overlays the screen image.
  • the rig control module 300 controls the electric rig 200 to correct camera horizontal error, vertical error, size error, rotation error, and focus error according to the camera correction parameter input from the camera control module 400. .
  • the stereo image is acquired again after the physical correction for the camera, and the color correction and the geometric correction are performed again to repeat the camera correction parameter to be within the allowable threshold to complete the physical correction for the camera.
  • the stereo color correction module 510 performs color correction on the input stereo image before correction.
  • the color corrected stereo image is input to the multiplexer 600 and also to the 3D depth information module 530.
  • the 3D depth information module 530 generates depth information about the stereo image and outputs the depth information to the multiplexer 600.
  • the multiplexer 600 independently outputs or mixes the left image and the right image, which are color-corrected stereo images, to the screen output. In this case, since the multiplexer 600 includes an overlay function, the multiplexer 600 may additionally express three-dimensional depth information along with the color corrected left / right images and output the screen.
  • the zoom magnification is changed in the camera shooting mode
  • for the predetermined frames for a predetermined time after the zoom magnification is changed for example, about 1 to 5 frames within about 1 second, in the camera setup mode described above.
  • the camera control module 400 controls the output of the stereo color correction module 510 to be input to the geometric correction module 520 within a predetermined time after the zoom magnification is changed.
  • the color corrected stereo image is input to the geometric correction module, and the geometric correction module 520 acquires camera correction parameters using a correction tool and transfers them to the camera control module 400 through the electric rig 200.
  • fine camera physical correction it is possible to increase the correction accuracy of the stereo image.
  • FIG. 2 is a block diagram of a geometric correction module according to an embodiment of the present invention.
  • the geometric correction module 520 includes a first calibration image generator 521, a second calibration image generator 522, and a correction parameter acquirer 523.
  • the first calibration image generator 521 is a component for generating a calibration stereo image without information on camera parameters
  • the second calibration image generator 522 is a component for generating a calibration stereo image using camera parameters.
  • the first calibration image generator 521 extracts a feature point between the left and right images from the color-corrected stereo image, generates a fundamental matrix and a correction homography, and then converts the image. Acquire a calibrated stereo image through This is called an uncalibrated rectification method.
  • the second calibration image generator 522 receives correct camera parameters from the camera control module 400 and performs color correction with 2D warping through image rectification and a projection matrix. Create a calibration stereo image for the image. This is called a calibrated rectification method.
  • one of the first calibration image generator 521 and the second calibration image generator 522 performs a process for generating a calibration stereo image under the control of the camera control module 400.
  • the second calibration image generator 522 performs a process for generating a calibration stereo image
  • the first calibration image generator ( 521 performs a process for generating a calibration stereo image.
  • the correction parameter obtaining unit 523 compares the left and right calibration images generated by the first and second calibration image generators 521 and 522, and analyzes the position of the cameras. Obtain the calibration parameters.
  • the correction parameter obtaining unit 523 transmits the obtained camera correction parameter to the camera control module 400.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

스테레오 카메라용 보정 시스템이 개시된다. 이 시스템은 카메라 보정 파라미터가 입력되면, 상기 입력된 카메라 보정 파라미터에 따라 전동식 리그를 제어하여 카메라의 물리적 보정을 수행하는 리그 제어 모듈과, 스테레오 영상에 대한 보정을 통해 상기 카메라 보정 파라미터를 획득하여 카메라 제어 모듈로 출력하는 스테레오 영상 보정 장치, 및 상기 스테레오 영상 보정 장치로부터 입력된 카메라 보정 파라미터를 상기 리그 제어 모듈로 출력하거나 화면 출력하는 카메라 제어 모듈을 포함한다. 이에 의해 카메라에 대한 물리적 보정과 함께 이미지 프로세싱 보정을 연계하여 처리할 수 있게 된다.

Description

스테레오 카메라용 보정 시스템 및 스테레오 영상 보정 장치
본 발명은 차세대 방송 및 디지털 콘텐츠 산업의 주류가 되는 3차원 입체 영상을 획득하는 스테레오 카메라 시스템에 관한 것으로, 특히 보정된 스테레오 영상을 획득하기 위한 보정 시스템에 관한 것이다.
스테레오 카메라를 통하여 획득된 스테레오 영상의 왜곡, 예를 들어 좌측 영상과 우측 영상 간의 컬러 분포 불일치, 렌즈 왜곡, 시차 왜곡을 보정함으로써, 스테레오 영상 관찰자로 하여금 시각 피로 없이 편안하게 3차원 영상을 관찰할 수 있게 하는 기술이 알려져 있다. 그런데 알려진 스테레오 영상을 보정하는 기술은 대부분 이미지 프로세싱을 통한 보정 처리만을 주로 하고 있다. 즉, 스테레오 카메라의 양안 렌즈 조절, 렌즈 간 이격 거리, 컨버전스(convergence) 조절 등 카메라의 물리적 조정을 통한 보정이 수행되지 않기 때문에, 스테레오 영상의 보정에 있어서 근본적인 한계를 가질 수밖에 없다.
본 발명은 스테레오 카메라에 대한 물리적 보정과 스테레오 영상에 대한 이미지 프로세싱 보정을 연동함으로써, 스테레오 영상의 왜곡 보정 결과를 향상시킬 수 있는 기술적 방안을 제공함을 목적으로 한다.
전술한 기술적 과제를 달성하기 위한 본 발명의 일 양상에 따른 스테레오 카메라용 보정 시스템은 카메라 보정 파라미터가 입력되면, 상기 입력된 카메라 보정 파라미터에 따라 전동식 리그를 제어하여 카메라의 물리적 보정을 수행하는 리그 제어 모듈과, 스테레오 영상에 대한 보정을 통해 상기 카메라 보정 파라미터를 획득하여 카메라 제어 모듈로 출력하는 스테레오 영상 보정 장치, 및 상기 스테레오 영상 보정 장치로부터 입력된 카메라 보정 파라미터를 상기 리그 제어 모듈로 출력하거나 화면 출력하는 카메라 제어 모듈을 포함한다.
상기 스테레오 영상 보정 장치는 스테레오 영상에 대한 컬러 보정을 수행하는 스테레오 컬러 보정 모듈; 및 상기 컬러 보정된 스테레오 영상에 대한 기하학적 보정(Geometry Calibration)을 통해 교정 스테레오 영상을 생성하고, 상기 생성된 교정 스테레오 영상을 분석하여 상기 카메라 보정 파라미터를 획득하는 기하학적 보정 모듈을 포함한다.
나아가 스테레오 카메라용 보정 시스템은 상기 컬러 보정된 스테레오 영상과 상기 교정 스테레오 영상 중 적어도 하나를 입력받아 출력하는 다중화기를 더 포함한다.
나아가 상기 스테레오 영상 보정 장치는 상기 컬러 보정된 스테레오 영상에 대한 삼차원 깊이(depth) 정보를 생성하여 상기 다중화기로 출력하는 삼차원 깊이 정보 모듈을 더 포함한다.
나아가 상기 카메라 제어 모듈은 카메라 셋업 모드시 혹은 카메라 촬영 모드에서 줌 배율의 변경 후 소정 시간 이내 동안에 상기 컬러 보정된 스테레오 영상이 상기 기하학적 보정 모듈로 입력되도록 제어함을 특징으로 한다.
한편, 전술한 기술적 과제를 달성하기 위한 본 발명의 일 양상에 따른 스테레오 영상 보정 장치는 스테레오 영상에 대한 컬러 보정을 수행하는 스테레오 컬러 보정 모듈, 및 상기 컬러 보정된 스테레오 영상에 대한 기하학적 보정(Geometry Calibration)을 통해 카메라의 물리적 보정을 위한 카메라 보정 파라미터를 획득하여 카메라 제어 모듈로 출력하는 기하학적 보정 모듈을 포함한다.
상기 기하학적 보정 모듈은 상기 컬러 보정된 스테레오 영상을 분석하여 교정 스테레오 영상을 생성하는 제1교정 영상 생성부와, 상기 카메라 제어 모듈로부터 입력된 카메라 파라미터에 근거하여 상기 컬러 보정된 스테레오 영상에 대한 이차원 워핑(warping)을 통해 교정 스테레오 영상을 생성하는 제2교정 영상 생성부 및, 상기 제1교정 영상 생성부 혹은 상기 제2교정 영상 생성부에 의해 생성된 교정 스테레오 영상 분석을 통해 카메라 보정 파라미터를 획득하여 상기 카메라 제어 모듈로 출력하는 보정 파라미터 획득부를 포함한다.
나아가 상기 스테레오 영상 보정 장치는 상기 컬러 보정된 스테레오 영상에 대한 삼차원 깊이(depth) 정보를 생성하여 상기 컬러 보정된 스테레오 영상이 입력되는 다중화기로 상기 생성된 삼차원 깊이 정보를 출력하는 삼차원 깊이 정보 모듈을 더 포함한다.
본 발명에 따르면, 카메라 사용 설정이 보다 효율적으로 편리해진다. 즉, 본 발명은 촬영 전 카메라 세팅시 카메라의 광학 설정 및 카메라 파라미터 등의 설정을 보정하기 위해서 교정(수평, 수직, 크기, 회전 오차 등을 보정) 기반 이미지 프로세싱을 통해서 양쪽 카메라 렌즈 및 이미지 센서 간의 오차를 측정하고 이의 보정값을 피드백으로 알려줌으로써 쉽게 카메라의 물리적 보정을 수행하도록 한다.
또한 본 발명은 카메라 물리적 보정의 오차를 최소화하고, 실시간 촬영시 입체 영상이 갖는 이미지상의 오차(노출 오차, 색상 오차, 동기화 오차 등)들은 컬러 보정을 통해서 보정함으로써 보정된 스테레오 영상을 획득할 수 있게 한다.
뿐만 아니라 스테레오 영상 보정 장치 내에는 컬러 보정된 좌측 및 우측 영상을 입력으로 하는 삼차원 깊이 정보 모듈이 포함되어 있어 카메라 포커스 중심 및 객체 특징에 따른 시차 벡터(disparity vector) 및 깊이 맵(depth map) 정보를 추출하여 카메라맨이나 스테레오 그래퍼에게 쉽게 입체 영상의 구성을 볼 수 있도록 한다.
도 1은 본 발명의 일 실시예에 따른 스테레오 카메라용 보정 시스템 블록도.
도 2는 본 발명의 일 실시예에 따른 기하학적 보정 모듈 블록도.
전술한, 그리고 추가적인 본 발명의 양상들은 첨부된 도면을 참조하여 설명되는 바람직한 실시예들을 통하여 더욱 명백해질 것이다. 이하에서는 본 발명을 이러한 실시예를 통해 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 스테레오 카메라용 보정 시스템 블록도이다.
도시된 바와 같이, 스테레오 카메라용 보정 시스템은 스테레오 카메라 구성인 좌측 렌즈(Left Lens)(110)와 좌측 렌즈(110)를 투과한 빛을 전기적 신호인 이미지로 재구성하는 좌측 이미지 센서(Left Image Sensor)(130) 및 좌측 이미지 센서(130)의 출력 이미지를 신호 처리하는 좌측 영상 신호 처리기(Left Image Signal Processor, Left ISP)(150), 그리고 우측 렌즈(Rigth Lens)(120)와 우측 렌즈(120)를 투과한 빛을 전기적 신호인 이미지로 재구성하는 우측 이미지 센서(Right Image Sensor)(140) 및 우측 이미지 센서(140)의 출력 이미지를 신호 처리하는 우측 영상 신호 처리기(Right Image Signal Processor, Right ISP)(160)를 포함한다. 여기서 좌측 렌즈(110)와 좌측 이미지 센서(130) 및 우측 렌즈(120)와 우측 이미지 센서(140)는 전동식 리그(Auto Rig)(200)에 장착된다. 또한 스테레오 카메라용 보정 시스템은 전동식 리그(200)를 전동 제어하기 위한 리그 제어 모듈(Rig Control Module)(300)과 카메라 제어 모듈(Camera Main Controller)(400) 및 스테레오 영상 보정 장치(500)를 포함한다. 또한 스테레오 카메라용 보정 시스템은 스테레오 영상 보정 장치(500)에 의해 보정된 스테레오 영상을 입력받아 출력하는 다중화기(multiplexer)를 더 포함한다.
리그 제어 모듈(300)은 전동식 리그(200)를 직접적으로 전동 제어하여 좌/우 렌즈(110, 120)와 이미지 센서(130, 140) 간의 위치, 회전각 등을 물리적으로 조정하기 위한 구성이다. 일 실시예에 있어서, 리그 제어 모듈(300)은 카메라 제어 모듈(400)로부터 입력되는 카메라 보정 파라미터에 따라 전동식 리그(200)를 제어하여 좌/우 렌즈(110, 120)와 이미지 센서(130, 140) 간의 오차를 보정한다. 카메라 제어 모듈(400)은 스테레오 카메라용 보정 시스템을 전반적으로 제어하기 위한 구성이다. 즉, 카메라 제어 모듈(400)은 리그 제어 모듈(300) 및 스테레오 영상 보정 장치(500)의 동작, 그리고 카메라 동작 전반에 대한 제어를 수행한다. 이러한 카메라 제어 모듈(400)은 스테레오 영상 보정 장치(500)로부터 입력되는 카메라 보정 파라미터를 리그 제어 모듈(300)로 출력하거나, 그 카메라 보정 파라미터 정보를 뷰파인더(viewfinder)로 출력한다. 후자의 경우는 사용자가 카메라 보정 파라미터 정보를 시각적으로 확인하여 직접 수동 조작을 통해 카메라의 물리적 보정을 하도록 하기 위함이다. 또한, 카메라 제어 모듈(400)은 기 획득된 카메라 파라미터 정보, 카메라 셋팅, 줌인/줌아웃 등 카메라 현 상태(status)에 대한 정보를 스테레오 영상 보정 장치(500)에 입력으로 전송하는 역할도 한다.
스테레오 영상 보정 장치(500)는 스테레오 영상 보정(Stereo Image Calibration)을 위한 구성으로써, 좌측 영상(left image)과 우측 영상(right image)에 대한 이미지 프로세싱 보정 및 그 보정 결과로부터 카메라의 물리적 보정을 위한 카메라 보정 파라미터를 획득하여 카메라 제어 모듈(400)로 출력하는 하나 이상의 프로세서를 포함하여 구성된다. 본 발명의 일 양상에 따라 스테레오 영상 보정 장치(500)는 스테레오 컬러 보정 모듈(510)과 기하학적 보정 모듈(520)을 포함한다. 스테레오 컬러 보정 모듈(510)은 좌/우 영상 신호 처리기(150, 160)로부터 입력된 스테레오 영상에 대한 컬러 보정(Stereo color correction)을 수행한다. 즉, 스테레오 컬러 보정 모듈(510)은 입력된 좌측 영상과 우측 영상이 갖고 있는 노출 오차, 색상 오차, 그리고 동기화 오차들을 보정하여 스테레오 영상의 동일성 보정을 수행한다.
기하학적 보정 모듈(520)은 컬러 보정된 스테레오 영상에 대해 기하학적 보정(Geometry Calibration)을 수행한다. 일 실시예에 있어서, 기하학적 보정 모듈(520)은 교정 툴(rectification tool)을 기반으로 컬러 보정된 스테레오 영상에 대한 교정을 수행하여 교정 스테레오 영상을 생성하고, 그 생성된 교정 스테레오 영상인 좌측 영상과 우측 영상의 비교를 통해 카메라 수평 오차, 수직 오차, 크기 오차, 회전 오차, 그리고 초점 오차 등의 물리적 보정을 위한 카메라 보정 파라미터를 획득하여 카메라 제어 모듈(400)로 출력하며, 옵션으로 교정 스테레오 영상을 다중화기(600)로 출력한다. 그리고 카메라 보정 파라미터는 우측 렌즈(120)와 우측 이미지 센서(140)를 기준으로 좌측 렌즈(110)와 좌측 이미지 센서(130)를 물리적으로 보정하기 위한 파라미터이거나, 반대로 좌측 렌즈(110)와 좌측 이미지 센서(130)를 기준으로 우측 렌즈(120)와 우측 이미지 센서(140)를 물리적으로 보정하기 위한 파라미터일 수 있다. 즉, 기하학적 보정 모듈(520)은 교정된 좌측 영상과 혹은 우측 영상을 기준으로 교정된 우측 영상 혹은 좌측 영상과 비교하여 카메라 보정 파라미터를 획득하는 것이다.
추가로, 스테레오 영상 보정 장치(500)는 삼차원 깊이 정보 모듈(530)을 더 포함한다. 삼차원 깊이 정보 모듈(530)은 스테레오 컬러 보정 모듈(510)에 의해 컬러 보정된 스테레오 영상의 일부 블록(예를 들어 2×2 블록, 4×4 블록 등)에 대해 시차 벡터(disparity vector), 시차(disparity) 정보 생성, 삼차원 깊이(3D depth) 계산, 그리고 삼차원 깊이 맵(3D depth map) 생성 등을 수행하여 삼차원 입체 영상의 깊이 정보를 생성하여 다중화기(600)로 출력한다. 일 실시예에 있어서, 삼차원 깊이 정보 모듈(530)은 카메라 제어 모듈(400)의 제어신호(control signal)에 따라 컬러 보정된 스테레오 영상의 일부 블록을 지정하여 삼차원 깊이 정보를 생성하기 위한 프로세스를 수행한다.
다중화기(600)는 스테레오 컬러 보정 모듈(510)로부터 입력된 보정 후의 좌측 영상과 우측 영상을 각각 독립적으로 출력하거나 좌측 영상과 우측 영상을 혼합한 영상을 화면 출력한다. 바람직하게 다중화기(600)는 오버레이 기능을 포함하며, 삼차원 깊이 정보 모듈(530)로부터 입력된 깊이 정보를 보정된 스테레오 영상에 오버레이하여 화면 출력할 수도 있다. 나아가 기하학적 보정 모듈(520)로부터 교정 스테레오 영상이 입력된 경우에, 다중화기(600)는 컬러 보정된 스테레오 영상에 교정 스테레오 영상을 오버레이하여 출력할 수 있다. 아니면 반대로 교정 스테레오 영상에 컬러 보정된 스테레오 영상을 오버레이하여 출력할 수도 있다. 이때 깊이 정보 또한 함께 오버레이되어 출력될 수도 있음은 물론이다. 참고로 컬러 보정된 스테레오 영상과 교정 스테레오 영상이 함께 출력되도록 하는 이유는 사용자로 하여금 컬러 보정 영상과 교정 스테레오 영상의 불일치 정도를 시각적으로 확인할 수 있도록 하기 위함이다.
이하, 도 1을 참조하여 카메라 모드에 따른 전체적인 동작을 설명하기로 한다. 우선, 카메라 제어 모듈(400)에 의해 카메라 셋업 모드가 설정된 경우의 동작에 대해 설명한다. 좌/우 렌즈(110, 120)와 좌/우 이미지 센서(130, 140) 및 좌/우 영상 신호 처리기(150, 160)를 통해서 빛으로부터 생성된 보정 전의 선명한 스테레오 영상이 획득된다. 이 획득된 보정 전의 스테레오 영상은 스테레오 컬러 보정 모듈(510)로 입력된다. 스테레오 컬러 보정 모듈(510)은 입력된 보정 전 스테레오 영상에 대해 컬러 보정을 수행한다. 컬러 보정된 스테레오 영상은 다중화기(600)로 출력되며, 삼차원 깊이 정보 모듈(530)로도 출력된다. 또한 카메라 셋업 모드시, 카메라 제어 모듈(400)은 스테레오 컬러 보정 모듈(510)의 출력이 기하학적 보정 모듈(520)로 입력되도록 도 1에 도시된 바와 같이 제어 신호(control signal)를 인가한다. 따라서 컬러 보정된 스테레오 영상은 기하학적 보정 모듈(520)로도 출력된다. 기하학적 보정 모듈(520)은 컬러 보정된 스테레오 영상에 대해 기하학적 보정을 수행하여 교정 스테레오 영상을 생성하고, 이 교정 스테레오 영상인 좌측 영상과 우측 영상의 비교를 통해 카메라 보정 파라미터를 획득한다. 일 실시예에 있어서, 기하학적 보정 모듈(520)은 컬러 보정된 스테레오 영상만을 가지고 교정 스테레오 영상을 생성한다. 다른 실시예에 있어서, 기하학적 보정 모듈(520)은 컬러 보정된 스테레오 영상 및 카메라 제어 모듈(400)로부터 입력되는 카메라 파라미터를 가지고 교정 스테레오 영상을 생성한다.
기하학적 보정 모듈(520)은 카메라 보정 파라미터를 카메라 제어 모듈(400)로 출력하며, 옵션으로 교정 스테레오 영상을 다중화기(600)로도 출력한다. 카메라 제어 모듈(400)은 입력된 카메라 보정 파라미터를 뷰파인더에 화면 출력하면서 리그 제어 모듈(300)로 전달한다. 아니면 카메라 제어 모듈(400)은 카메라 보정 파라미터를 화면 출력하는 것과 리그 제어 모듈(300)로 전달하는 것 중 어느 하나만을 수행할 수도 있다. 그리고 다중화기(600)는 컬러 보정된 스테레오 영상과 삼차원 깊이 정보 및 교정 스테레오 영상을 입력받아 오버레이하여 화면 출력한다. 리그 제어 모듈(300)은 카메라 제어 모듈(400)로부터 입력된 카메라 보정 파라미터에 따라 카메라 수평 오차, 수직 오차, 크기 오차, 회전 오차, 그리고 초점 오차 등의 보정을 위해 전동식 리그(200)를 제어한다. 이 같이 카메라에 대한 물리적 보정 후 다시 스테레오 영상을 획득하고, 다시 컬러 보정 및 기하학적 보정을 수행하여 카메라 보정 파라미터가 허용 임계치 내에 들어오도록 반복 수행하여 카메라에 대한 물리적 보정을 완료한다.
다음으로, 카메라 제어 모듈(400)에 의해 카메라 촬영 모드가 설정된 경우의 동작에 대해 설명한다. 좌/우 렌즈(110, 120)와 좌/우 이미지 센서(130, 140) 및 좌/우 영상 신호 처리기(150, 160)를 통해서 빛으로부터 생성된 보정 전의 선명한 스테레오 영상이 획득된다. 이 획득된 보정 전의 스테레오 영상은 스테레오 컬러 보정 모듈(510)로 입력된다. 스테레오 컬러 보정 모듈(510)은 입력된 보정 전 스테레오 영상에 대해 컬러 보정을 수행한다. 컬러 보정된 스테레오 영상은 다중화기(600)로 입력되며, 삼차원 깊이 정보 모듈(530)로도 입력된다. 삼차원 깊이 정보 모듈(530)은 스테레오 영상에 대한 깊이 정보를 생성하여 다중화기(600)로 출력한다. 다중화기(600)는 컬러 보정된 스테레오 영상인 좌측 영상과 우측 영상을 각각 독립적으로 출력하거나 혼합하여 화면 출력한다. 이때 다중화기(600)는 오버레이 기능을 포함하고 있어 컬러 보정된 좌/우 영상과 함께 삼차원 깊이 정보를 추가로 표현하여 화면 출력할 수 있다.
한편, 카메라 촬영 모드 중 줌(zoom) 배율의 변경시에는 줌 배율 변경 후 소정 시간 동안의 소정 프레임들에 대해서, 예를 들어 약 1초 이내에서 1 ~ 5 프레임 정도에 대해서는 전술한 카메라 셋업 모드에서의 동작을 수행한다. 즉, 카메라 제어 모듈(400)은 줌 배율 변경 후 소정 시간 이내에 스테레오 컬러 보정 모듈(510)의 출력이 기하학적 보정 모듈(520)에도 입력되도록 제어한다. 따라서 컬러 보정된 스테레오 영상은 기하학적 보정 모듈에 입력이 되며, 기하학적 보정 모듈(520)은 교정 툴을 이용하여 카메라 보정 파라미터를 획득하고 이를 카메라 제어 모듈(400)로 전달하여 전동식 리그(200)를 통해서 미세한 카메라 물리적 보정을 수행함으로써, 스테레오 영상의 보정 정확도를 높일 수 있다.
도 2는 본 발명의 일 실시예에 따른 기하학적 보정 모듈 블록도이다.
도시된 바와 같이, 기하학적 보정 모듈(520)은 제1교정 영상 생성부(521)와 제2교정 영상 생성부(522) 및 보정 파라미터 획득부(523)를 포함한다. 제1교정 영상 생성부(521)는 카메라 파라미터에 대한 정보 없이 교정 스테레오 영상을 생성하기 위한 구성이며, 제2교정 영상 생성부(522)는 카메라 파라미터를 이용하여 교정 스테레오 영상을 생성하기 위한 구성이다. 구체적으로 제1교정 영상 생성부(521)는 컬러 보정된 스테레오 영상으로부터 좌측 영상과 우측 영상 간의 특징점을 추출하고, 기초 매트릭스(fundamental matrix) 및 교정 호모그래피(rectification homography)를 생성한 후 영상 변환 과정을 통해 교정 스테레오 영상을 획득한다. 이를 uncalibrated rectification 방식이라 한다. 그리고 제2교정 영상 생성부(522)는 카메라 제어 모듈(400)로부터 정확한 카메라 파라미터를 입력받아서 영상 교정(image rectification)과 투영 매트릭스(projection matrix)를 통해서 이차원 워핑(2D warping)으로 컬러 보정된 스테레오 영상에 대한 교정 스테레오 영상을 생성한다. 이를 calibrated rectification 방식이라 한다.
일 실시예에 있어서, 카메라 제어 모듈(400)의 제어에 의해 제1교정 영상 생성부(521)와 제2교정 영상 생성부(522) 중 어느 하나가 교정 스테레오 영상을 생성하기 위한 프로세스를 수행한다. 바람직하게, 카메라 제어 모듈(400)로부터 카메라 파라미터가 입력되면 제2교정 영상 생성부(522)가 교정 스테레오 영상을 생성하기 위한 프로세스를 수행하며, 카메라 파라미터의 입력이 없으면 제1교정 영상 생성부(521)가 교정 스테레오 영상을 생성하기 위한 프로세스를 수행한다. 한편, 보정 파라미터 획득부(523)는 제1교정 영상 생성부(521) 혹은 제2교정 영상 생성부(522)에 의해 생성된 좌측 교정 영상과 우측 교정 영상을 비교하여 카메라의 위치 분석을 통해 카메라 보정 파라미터를 획득한다. 보정 파라미터 획득부(523)는 획득된 카메라 보정 파라미터를 카메라 제어 모듈(400)로 전달한다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (8)

  1. 카메라 보정 파라미터가 입력되면, 상기 입력된 카메라 보정 파라미터에 따라 전동식 리그를 제어하여 카메라의 물리적 보정을 수행하는 리그 제어 모듈;
    스테레오 영상에 대한 보정을 통해 상기 카메라 보정 파라미터를 획득하여 카메라 제어 모듈로 출력하는 스테레오 영상 보정 장치; 및
    상기 스테레오 영상 보정 장치로부터 입력된 카메라 보정 파라미터를 상기 리그 제어 모듈로 출력하거나 화면 출력하는 카메라 제어 모듈;
    을 포함하는 것을 특징으로 하는 스테레오 카메라용 보정 시스템.
  2. 제1항에 있어서, 상기 스테레오 영상 보정 장치는 :
    스테레오 영상에 대한 컬러 보정을 수행하는 스테레오 컬러 보정 모듈; 및
    상기 컬러 보정된 스테레오 영상에 대한 기하학적 보정(Geometry Calibration)을 통해 교정 스테레오 영상을 생성하고, 상기 생성된 교정 스테레오 영상을 분석하여 상기 카메라 보정 파라미터를 획득하는 기하학적 보정 모듈;
    을 포함하는 것을 특징으로 하는 스테레오 카메라용 보정 시스템.
  3. 제2항에 있어서,
    상기 컬러 보정된 스테레오 영상과 상기 교정 스테레오 영상 중 적어도 하나를 입력받아 출력하는 다중화기;
    를 더 포함하는 것을 특징으로 하는 스테레오 카메라용 보정 시스템.
  4. 제3항에 있어서, 상기 스테레오 영상 보정 장치는 :
    상기 컬러 보정된 스테레오 영상에 대한 삼차원 깊이(depth) 정보를 생성하여 상기 다중화기로 출력하는 삼차원 깊이 정보 모듈;
    을 더 포함하는 것을 특징으로 하는 스테레오 카메라용 보정 시스템.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 카메라 제어 모듈은 카메라 셋업 모드시 혹은 카메라 촬영 모드에서 줌 배율의 변경 후 소정 시간 이내 동안에 상기 컬러 보정된 스테레오 영상이 상기 기하학적 보정 모듈로 입력되도록 제어함을 특징으로 하는 스테레오 카메라용 보정 시스템.
  6. 스테레오 영상에 대한 컬러 보정을 수행하는 스테레오 컬러 보정 모듈; 및
    상기 컬러 보정된 스테레오 영상에 대한 기하학적 보정(Geometry Calibration)을 통해 카메라의 물리적 보정을 위한 카메라 보정 파라미터를 획득하여 카메라 제어 모듈로 출력하는 기하학적 보정 모듈;
    을 포함하는 것을 특징으로 하는 스테레오 영상 보정 장치.
  7. 제6항에 있어서, 상기 기하학적 보정 모듈은 :
    상기 컬러 보정된 스테레오 영상을 분석하여 교정 스테레오 영상을 생성하는 제1교정 영상 생성부;
    상기 카메라 제어 모듈로부터 입력된 카메라 파라미터에 근거하여 상기 컬러 보정된 스테레오 영상에 대한 이차원 워핑(warping)을 통해 교정 스테레오 영상을 생성하는 제2교정 영상 생성부; 및
    상기 제1교정 영상 생성부 혹은 상기 제2교정 영상 생성부에 의해 생성된 교정 스테레오 영상 분석을 통해 카메라 보정 파라미터를 획득하여 상기 카메라 제어 모듈로 출력하는 보정 파라미터 획득부;
    를 포함하는 것을 특징으로 하는 스테레오 영상 보정 장치.
  8. 제6항 또는 제7항에 있어서, 상기 스테레오 영상 보정 장치는 :
    상기 컬러 보정된 스테레오 영상에 대한 삼차원 깊이(depth) 정보를 생성하여 상기 컬러 보정된 스테레오 영상이 입력되는 다중화기로 상기 생성된 삼차원 깊이 정보를 출력하는 삼차원 깊이 정보 모듈;
    을 더 포함하는 것을 특징으로 하는 스테레오 영상 보정 장치.
PCT/KR2011/005642 2011-05-30 2011-08-01 스테레오 카메라용 보정 시스템 및 스테레오 영상 보정 장치 WO2012165707A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/116,458 US9396536B2 (en) 2011-05-30 2011-08-01 Calibration system for stereo camera and calibration apparatus for calibrating stereo image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2011-0051519 2011-05-30
KR1020110051519A KR101276208B1 (ko) 2011-05-30 2011-05-30 스테레오 카메라용 보정 시스템 및 스테레오 영상 보정 장치

Publications (1)

Publication Number Publication Date
WO2012165707A1 true WO2012165707A1 (ko) 2012-12-06

Family

ID=47259534

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2011/005642 WO2012165707A1 (ko) 2011-05-30 2011-08-01 스테레오 카메라용 보정 시스템 및 스테레오 영상 보정 장치

Country Status (3)

Country Link
US (1) US9396536B2 (ko)
KR (1) KR101276208B1 (ko)
WO (1) WO2012165707A1 (ko)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101918030B1 (ko) * 2012-12-20 2018-11-14 삼성전자주식회사 하이브리드 멀티-뷰 랜더링 방법 및 장치
TWI554100B (zh) * 2012-12-27 2016-10-11 Metal Ind Res &Development Ct Correction sheet design for correcting a plurality of image capturing apparatuses and correction methods of a plurality of image capturing apparatuses
KR101373604B1 (ko) * 2013-02-15 2014-03-12 전자부품연구원 다중 교정 기법을 이용한 카메라 교정 방법 및 이를 적용한 영상 시스템
JP6248533B2 (ja) * 2013-10-22 2017-12-20 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
KR101586249B1 (ko) 2013-12-24 2016-01-18 (주)에프엑스기어 광 시야각 영상 처리 장치 및 방법
KR102265109B1 (ko) 2014-01-24 2021-06-15 삼성전자주식회사 영상 처리 방법 및 장치
TWI577172B (zh) * 2014-09-10 2017-04-01 鈺立微電子股份有限公司 影像校正系統和立體照相機的校正方法
US9706187B2 (en) 2014-10-06 2017-07-11 Electronics And Telecommunications Research Institute Camera rig for shooting multi-view images and videos and image and video processing method for use with same
KR102242923B1 (ko) * 2014-10-10 2021-04-21 주식회사 만도 스테레오 카메라의 정렬장치 및 스테레오 카메라의 정렬방법
US9958383B2 (en) 2014-12-18 2018-05-01 Microsoft Technology Licensing, Llc. Range camera
KR101973460B1 (ko) 2015-02-09 2019-05-02 한국전자통신연구원 다중 입력 영상 보정 장치 및 방법
JP6674127B2 (ja) * 2015-03-20 2020-04-01 株式会社リコー 画像処理装置、撮影装置、プログラム、機器制御システム及び機器
EP3298764B1 (en) * 2015-05-20 2021-08-11 Cognimatics AB Method and arrangement for calibration of cameras
WO2016195123A1 (ko) * 2015-05-29 2016-12-08 (주)에프엑스기어 광 시야각 영상 처리 장치 및 방법
KR101766756B1 (ko) * 2015-11-20 2017-08-10 경북대학교 산학협력단 스테레오 비전 시스템의 렉티피케이션 장치 및 그 방법
CN110506297B (zh) * 2017-04-17 2023-08-11 康耐视公司 高精确度校准***和方法
KR101849326B1 (ko) * 2017-08-31 2018-04-17 주식회사 핀텔 차량용 카메라 시스템
US10785422B2 (en) 2018-05-29 2020-09-22 Microsoft Technology Licensing, Llc Face recognition using depth and multi-spectral camera
WO2020123398A1 (en) * 2018-12-09 2020-06-18 Verma Pramod Kumar Stick device and user interface
US11245875B2 (en) 2019-01-15 2022-02-08 Microsoft Technology Licensing, Llc Monitoring activity with depth and multi-spectral camera
CN110830781B (zh) * 2019-10-30 2021-03-23 歌尔科技有限公司 一种基于双目视觉的投影图像自动校正方法及***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060063575A (ko) * 2004-12-06 2006-06-12 한국전자통신연구원 스테레오 카메라의 영상왜곡 보정 장치 및 그 방법
KR20070055882A (ko) * 2005-11-28 2007-05-31 삼성전자주식회사 입체 영상 신호 처리 장치 및 방법
KR100943719B1 (ko) * 2008-11-04 2010-02-23 광주과학기술원 다시점 영상의 기하학적 보정 시스템 및 방법
KR20110003611A (ko) * 2009-07-06 2011-01-13 (주) 비전에스티 스테레오 카메라의 고속 칼리브레이션 및 렉티피케이션 방법 및 장치

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1110413A1 (en) * 1999-06-11 2001-06-27 Emile Hendriks Acquisition of 3-d scenes with a single hand held camera
JP4774824B2 (ja) * 2005-06-17 2011-09-14 オムロン株式会社 ３次元計測処理の計測対象範囲の確認方法および計測対象範囲の設定方法ならびに各方法を実施する装置
US20070146478A1 (en) * 2005-07-14 2007-06-28 Butler-Smith Bernard J Stereoscopic 3D rig calibration and viewing device
CN101563709B (zh) * 2006-12-18 2013-07-31 皇家飞利浦电子股份有限公司 校准照相机***
JP4492654B2 (ja) * 2007-08-29 2010-06-30 オムロン株式会社 ３次元計測方法および３次元計測装置
CN101755190B (zh) * 2008-05-19 2012-02-22 松下电器产业株式会社 校准方法、校准装置及具备该校准装置的校准***
US8248476B2 (en) * 2008-09-03 2012-08-21 University Of South Carolina Robust stereo calibration system and method for accurate digital image correlation measurements
JP5316118B2 (ja) * 2009-03-12 2013-10-16 オムロン株式会社 ３次元視覚センサ
JP5257335B2 (ja) * 2009-11-24 2013-08-07 オムロン株式会社 ３次元視覚センサにおける計測有効領域の表示方法および３次元視覚センサ

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060063575A (ko) * 2004-12-06 2006-06-12 한국전자통신연구원 스테레오 카메라의 영상왜곡 보정 장치 및 그 방법
KR20070055882A (ko) * 2005-11-28 2007-05-31 삼성전자주식회사 입체 영상 신호 처리 장치 및 방법
KR100943719B1 (ko) * 2008-11-04 2010-02-23 광주과학기술원 다시점 영상의 기하학적 보정 시스템 및 방법
KR20110003611A (ko) * 2009-07-06 2011-01-13 (주) 비전에스티 스테레오 카메라의 고속 칼리브레이션 및 렉티피케이션 방법 및 장치

Also Published As

Publication number Publication date
US20140118501A1 (en) 2014-05-01
KR101276208B1 (ko) 2013-06-18
KR20120133041A (ko) 2012-12-10
US9396536B2 (en) 2016-07-19

Similar Documents

Publication Publication Date Title
WO2012165707A1 (ko) 스테레오 카메라용 보정 시스템 및 스테레오 영상 보정 장치
CN101884222B (zh) 用于支持立体呈现的图像处理
US8208008B2 (en) Apparatus, method, and program for displaying stereoscopic images
US8026950B2 (en) Method of and apparatus for selecting a stereoscopic pair of images
US20110149031A1 (en) Stereoscopic image, multi-view image, and depth image acquisition apparatus and control method thereof
EP2549762A1 (en) Stereovision-image position matching apparatus, stereovision-image position matching method, and program therefor
KR20110124473A (ko) 다중시점 영상을 위한 3차원 영상 생성 장치 및 방법
US8698878B2 (en) 3-D auto-convergence camera
CN105407342B (zh) 图像校准***和立体摄像机的校准方法
JP2016208380A5 (ko)
WO2014204950A1 (en) Controlling light sources of a directional backlight
KR20130035422A (ko) 카메라 모듈의 보정 장치
EP2302593A2 (en) Image conversion method and apparatus
US8648953B2 (en) Image display apparatus and method, as well as program
CN108462867B (zh) 自动标定跟踪式裸眼立体显示设备的***及方法
JP2012019399A (ja) 立体視映像補正装置と立体視映像補正方法と立体視映像補正システム
WO2011070774A1 (ja) ３ｄ映像処理装置および３ｄ映像処理方法
CN107155102A (zh) 3d自动对焦显示方法及其***
KR101650381B1 (ko) 입체 영상 보정 장치 및 방법
US20110074775A1 (en) Image signal processing device and image signal processing method
JP2014135714A (ja) 立体映像信号処理装置及び立体映像撮像装置
KR101634225B1 (ko) 다시점 입체 영상 보정 장치 및 방법
JP5891645B2 (ja) 撮像装置およびプログラム
WO2011003077A2 (en) 3-d auto-convergence camera
US20160065941A1 (en) Three-dimensional image capturing apparatus and storage medium storing three-dimensional image capturing program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11867054

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14116458

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11867054

Country of ref document: EP

Kind code of ref document: A1