KR101083824B1 - 스테레오 카메라 시스템 및 이를 이용한 시차검출방법 - Google Patents
스테레오 카메라 시스템 및 이를 이용한 시차검출방법 Download PDFInfo
- Publication number
- KR101083824B1 KR101083824B1 KR1020090031331A KR20090031331A KR101083824B1 KR 101083824 B1 KR101083824 B1 KR 101083824B1 KR 1020090031331 A KR1020090031331 A KR 1020090031331A KR 20090031331 A KR20090031331 A KR 20090031331A KR 101083824 B1 KR101083824 B1 KR 101083824B1
- Authority
- KR
- South Korea
- Prior art keywords
- parallax
- camera
- comparison
- block
- image
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B35/00—Stereoscopic photography
- G03B35/18—Stereoscopic photography by simultaneous viewing
- G03B35/20—Stereoscopic photography by simultaneous viewing using two or more projectors
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
- G02B7/287—Systems for automatic generation of focusing signals including a sight line detecting device
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
- G03B13/18—Focusing aids
- G03B13/20—Rangefinders coupled with focusing arrangements, e.g. adjustment of rangefinder automatically focusing camera
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B35/00—Stereoscopic photography
- G03B35/08—Stereoscopic photography by simultaneous recording
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
본 발명은 시차를 검출하는 스테레오 카메라 시스템 및 이를 이용한 시차검출방법에 관한 것으로, 더 상세하게는 2개의 스테레오 카메라를 이용하여 얻어진 기준영상 및 비교영상 신호의 시차를 검출하고 이를 기반으로 블록 단위의 거리데이터를 추출하여 능동적으로 카메라의 초점을 제어하고, 3차원의 입체지도를 생성할 수 있는 스테레오 카메라 시스템 및 이를 이용한 시차검출방법에 관한 것이다.
본 발명에 따른 스테레오 카메라 시스템에 의하면 두 대의 카메라를 통해 입력되는 스테레오 이미지상의 시차를 검출하고 이를 기반으로 물체의 거리를 인식하고 대상 물체의 거리에 따라 능동적으로 카메라의 초점을 제어하여 기존의 방식처럼 렌즈를 조절한 후 초점을 맞추지 않으므로 실시간 제어가 가능하며 동체의 움직임에 따라 예측제어가 가능하여 동영상 촬영에 적합한 장점이 있다.
스테레오 카메라 시스템, 시차분석,
Description
본 발명은 시차를 검출하는 스테레오 카메라 시스템 및 이를 이용한 시차검출방법에 관한 것으로, 더 상세하게는 2개의 스테레오 카메라를 이용하여 얻어진 기준영상 및 비교영상 신호의 시차를 검출하고 이를 기반으로 블록 단위의 거리데이터를 추출하여 능동적으로 카메라의 초점을 제어하고, 3차원의 입체지도를 생성할 수 있는 스테레오 카메라 시스템 및 이를 이용한 시차검출방법에 관한 것이다.
정보통신 기술의 발전은 문자, 음성 및 영상을 고속 처리하는 디지털 단말기에 2차원 영상과 음성을 지원하는 멀티미디어 서비스를 가능하게 하였으며, 현재 입체적으로 실감나는 멀티미디어 서비스를 제공하는 3차원 입체 정보통신 서비스에 대한 연구가 시행되고 있다.
일반적으로 3차원 영상을 표현하는 입체 화상은 두 눈을 통한 스테레오 시각의 원리에 의하여 이루어지게 된다. 입체감의 중요한 요인은 사람의 두 눈이 약 65mm 정도 떨어져 있기 때문에 나타나게 되는 두 눈의 시차, 즉 양안시차라 할 수 있다. 따라서, 좌우의 눈이 각각 서로 다른 2 차원 화상을 보게 되고, 이 두화상이 망막을 통해 뇌로 전달되면 뇌는 이를 서로 융합하여 본래의 3차원 영상의 깊이감과 실제감을 재생하게 되는데 이를 통상적으로 스테레오그라피(stereography)라 한다.
한편 최근에는 전방에 있는 물체의 거리를 감지할 수 있는 스테레오 시각시스템에 대한 연구가 진행되고 있다. 이러한 스테레오 시각시스템은 투시변환에 의해 3차원 공간을 2차원 공간으로 매핑하는 스테레오 카메라 2대를 이용하며 스테레오 카메라의 기하학적인 배치로부터 3차원 정보를 복구하게 된다.
상기의 방법으로 거리정보를 구하는 종래의 방법은 2개의 카메라를 이용하여 좌측영상 데이터와 우측영상 데이터를 각각 얻은 후, 이렇게 얻은 2개의 영상데이터에 대해 각각 윤곽선검출작업을 하고, 여기서 서로 매칭되는 포인트를 찾는 것에 의해 거리 정보를 구하게 된다.
그러나 상기의 방법에 의하면 윤곽선이 검출된 부분에만 3차원 정보를 얻을수 있으며, 또한 윤곽선 검출효율에 따라 시스템의 효율이 달라진다는 문제점이 있었다.
본 발명이 이루고자 하는 기술적 과제는 기준카메라와 비교카메라로 이루어진 2개의 스테레오 카메라를 이용하여 얻어진 기준영상 및 비교영상 신호의 시차를 검출하고 이를 기반으로 블록 단위의 거리데이터를 추출하여 능동적으로 카메라의 초점을 제어하고, 3차원의 입체지도를 생성할 수 있는 스테레오 카메라 시스템 및 이를 이용한 시차검출방법을 제공하는데 있다.
상기 기술적 과제를 이루기 위한 본 발명에 따른 스테레오 카메라 시스템은,기준카메라와 비교카메라를 구비하는 카메라부, 상기 기준카메라와 상기 비교카메라로부터 얻어지는 영상신호를 이용하여 입체영상을 출력하고, 선택 지점에서의 시차를 검출하기 위해 상기 영상신호를 동기화시키는 포맷변환 및 동기화부, 상기 포맷변환 및 동기화부로부터 동기화된 영상신호를 입력받아 선택 지점에서의 시차를 검출하는 시차검출부, 상기 선택 지점의 시차 정보로부터 선택 지점까지의 거리정보를 추출하는 거리계산부 및 상기 거리계산부에서 추출된 상기 거리정보를 이용하여 상기 카메라부의 초점을 제어하기 위한 값을 산출하는 초점제어값 산출부를 구비하고, 상기 시차검출부는, 상기 기준카메라에서 얻어지는 영상의 이미지를 특정 사이즈로 세분화한 기준블록과 상기 비교카메라에서 얻어지는 영상의 이미지를 특정 사이즈로 세분화한 비교블록을 픽셀단위로 절대값을 비교하여 시차를 검출하는 것을 특징으로 한다.
상기 기술적 과제를 이루기 위한 본 발명에 따른 스테레오 카메라 시스템을 이용한 시차검출방법은, 기준카메라와 비교카메라를 이용하여 물체의 영상신호를 획득하는 영상신호 획득단계, 상기 기준카메라와 상기 비교카메라로부터 얻어지는 영상신호를 이용하여 입체영상을 출력하고, 선택 지점에서의 시차를 검출하기 위해 상기 영상신호를 동기화시키는 포맷변환 및 동기화단계 및 상기 동기화된 영상신호를 입력받아 선택 지점에서의 시차를 검출하는 시차검출단계를 구비하고, 상기 시 차검출단계는, 상기 기준카메라에서 얻어지는 영상의 이미지를 특정 사이즈로 세분화한 기준블록에 대해 상기 비교카메라에서 얻어지는 영상의 이미지를 특정 사이즈로 세분화한 비교블록을 픽셀 단위로 절대값을 비교하여 시차를 검출하는 것을 특징으로 한다.
본 발명에 따른 스테레오 카메라 시스템에 의하면 두 대의 카메라를 통해 입력되는 스테레오 이미지상의 시차를 검출하고 이를 기반으로 물체의 거리를 인식하고 대상 물체의 거리에 따라 능동적으로 카메라의 초점을 제어하고, 3차원의 입체지도를 생성할 수 있는 장점이 있다.
또한, 본 발명에 따른 스테레오 카메라 시스템에 의하면 화면전체의 시차정보를 분석하여 처리함으로써 화면상의 특정한 대상 물체를 선택하여 그 물체에 집중하여 시차와 초점을 맞추는 것이 가능하므로 동영상이나 정지영상 모두 최적의 제어가 가능하다는 효과가 있다.
이하 도면을 참조하여 본 발명을 상세히 설명하기로 한다.
도 1은 본 발명에 따른 스테레오 카메라 시스템의 구성을 나타내는 블록도이다.
도 1을 참고하면 본 발명에 따른 스테레오 카메라 시스템은, 카메라부(110), 포맷변환 및 동기화부(120), 시차검출부(130), 거리계산부(140), 초점제어값 산출부(150), 카메라인터페이스부(160), 지도작성부(170), 이미지 위치조절 부(180) 및 제어부(190)를 구비한다.
상기 카메라부(110)는 기준카메라(111) 및 비교카메라(112)의 2개의 스테레오 카메라를 통해 물체의 영상을 감지한다.
상기 포맷변환 및 동기화부(120)는 상기 카메라부(110)의 기준카메라(111) 및 비교카메라(112)에서 감지된 좌측 및 우측의 스테레오 영상을 입력받아 외부와 연결된 디스플레이부(121)에서 요구하는 입체 영상 포맷에 맞도록 변환하여 디스플레이부(121)로 출력한다. 이때 LCD 또는 외부 디스플레이의 종류에 따라 지원 가능한 포맷으로는 도트 바이 도트(dot by dot), 사이드 바이 사이드(side by side) 방식 등이 있다.
한편, 상기 포맷변환 및 동기화부(120)는 기준카메라(111) 및 비교카메라(112)로부터 입력받은 영상신호로부터 시차를 검출하기 위해 입력받은 영상신호의 동기를 일치시킨 후 시차검출부로 전달한다.
이때 상기 포맷변환 및 동기화부(120)는 상기 기준카메라(111)의 영상신호와 상기 비교카메라(112)의 영상신호를 동기화시키기 위해 상기 영상신호를 일시 저장하는 이미지 프레임 버퍼부(미도시)를 더 구비하는 것이 바람직하다.
상기 이미지 프레임 버퍼부는 시스템의 구성에 따라 디램(D-RAM)이나, 에스디램(SDRAM) 및 에스램(SRAM)등을 선택적으로 사용할 수 있으며, 그에 따라 인터페이스는 달라질 수 있다.
상기 시차검출부(130)는 상기 포맷변환 및 동기화부(120)로부터 동기화된 기준카메라(111) 및 비교카메라(112)의 영상을 입력받아 특정한 선택지점에서의 시차 를 검출한다. 이러한 출력은 화면상에서 선택된 지점의 시차 값 출력이며 기본적으로 정수 값을 출력한다. 이 선택은 기본적으로 화면상의 특정 지점을 기준으로 초점과 주 시각을 맞출것인지를 선택하는 것으로 기본적으로 화면의 중심부가 되겠지만 이는 사용자의 필요에 따라 바뀔 수 있다. 상기 시차검출부(130)에서 시차를 검출하는 동작에 대해서는 뒤에서 상세히 설명하기로 한다.
상기 거리계산부(140)는 상기 시차검출부(130)에서 검출한 선택 지점의 시차 데이터로부터 물체에 대한 거리 정보를 얻는다. 즉, 상기 시차검출부(130)에서 검출한 선택 지점의 시차 데이터와 카메라의 특성에 따른 파라미터를 입력받아 카메라부(110)로부터 선택 지점까지의 거리를 정수 단위로 출력한다.
이때 상기 거리계산부(140)는 동영상에 대한 대응을 고려하여 가능한 빠른 연산 결과를 얻기 위해 마이컴을 사용하지 않고 로직만으로 구성할 수 있으며, 필요에 따라 다른 구조로의 변환도 가능하다.
카메라의 특성에 따른 파라미터는 선택된 카메라에 따라 고정되는 값이므로 롬(ROM) 등에 고정된 값으로 저장한 후 거리계산시에 입력하는 것이 바람직하다. 상기 카메라의 특성에 따른 파라미터로는 카메라의 초점 거리나 시야각, 해상도 및 카메라 간격 등이 있다.
상기 초점제어값 산출부(150)는 상기 거리계산부(140)에서 출력된 물체의 거리 정보와, 오프셋값 설정부(151)로부터 상기 거리정보의 편차를 보상하는 오프셋 값을 입력받아 카메라부(110)의 초점을 제어하는 초점제어값을 산출하여 카메라 인터페이스부(160)로 전달한다.
상기 초점제어값 산출부(150)는 기본적으로 카메라와 물체 사이의 거리 데이터에 따라 해당 값을 가져올 수 있는 테이블 룩업 구조를 사용하되 외부여건에 따라 오프셋 값을 달리하여 초점제어값을 조절할 수 있다. 이때의 초점제어값은 카메라의 사양에 따라 달라지며 대체로 8비트나 16비트의 정수 값을 출력한다.
카메라 인터페이스부(160)는 상기 초점제어값 산출부(150)로부터 얻어진 초점 제어값을 이용하여 상기 기준카메라(111) 및 비교카메라(112)의 초점을 제어한다. 이때 상기 카메라 인터페이스부(160)의 출력은 상기 기준카메라(111) 및 비교카메라(112)의 사양에 따라 선택되는 것으로 제어통신용의 I2C나 아날로그 레벨의 값이 상기 기준카메라(111) 및 비교카메라(112)로 입력된다.
한편, 상기 지도작성부(170)는 상기 거리계산부(140)에서 추출된 블록 단위의 거리정보를 모아 공간 상태를 분석한 뒤 3차원 입체지도를 작성하고 인터페이스(미도시)를 통해 호스트(171)에 전달한다.
상기 이미지 위치조절부(180)는 시차검출부(130)에서 얻어진 시차를 기반으로 하여 디스플레이부(121)에 출력되는 상기 기준카메라(111) 및 비교카메라(112)로부터 얻어지는 이미지의 위치를 조절하여 특정한 선택 지점에서의 시차를 일치시키기 위한 시차조절용 이미지 위치조절값을 출력하여 상기 포맷변환 및 동기화부(120)로 전달한다.
상기 시차조절용 이미지 위치조절값은 상기 포맷변환 및 동기화부(120)의 구성과 사양에 따라 달라지는 것으로, 기본적으로 특정한 선택 지점에서의 시차를 0으로 만드는 것을 원칙으로 하지만 옵셋 설정 값에 따라 다른 변위를 가질 수 있 다. 이는 시청자의 시각 초점이 해당위치에 있다는 것을 전제로 하는 것으로 해당위치의 시차를 0으로 하여 가장 편안하게 볼 수 있도록 하기 위한 것이다.
상기 제어부(190)는 본 발명에 따른 스테레오 카메라 시스템을 전반적으로 제어하고, 상기 시차검출부(130)에서 얻어진 시차 정보를 기반으로 각종 처리를 수행한다.
상기 제어부는 32비트 마이크로 프로세서의 일종인 ARM7 이상을 기본으로 하고 있으나, 단순히 특정한 선택지점에서의 거리 정보만을 취하는 것을 목적으로 하는 경우에는 8비트의 마이컴을 사용할 수도 있다.
도 2는 본 발명에 따른 스테레오 카메라 시스템을 이용한 시차검출방법의 일 실시예의 흐름을 나타내는 도면이다.
도 2를 참고하면 본 발명에 따른 스테레오 카메라 시스템을 이용한 시차검출방법은 영상신호 획득단계(S210), 포맷변환 및 동기화단계(S220) 및 시차검출단계(S230)를 구비한다.
상기 영상신호 획득단계(S210)는 기준카메라(111) 및 비교카메라(112)를 통해 물체의 영상신호를 획득하는 단계이다.
상기 포맷변환 및 동기화단계(S220)에서는 상기 영상신호 획득단계(S210)에서 수집된 기준카메라의 영상 및 비교카메라의 영상을 입력받아 외부와 연결된 디스플레이부에서 요구하는 입체 영상 포맷에 맞도록 변환하여 입체영상을 출력하고, 기준카메라(111) 및 비교카메라(112)로부터 입력받은 영상신호로부터 시차를 검출하기 위해 입력받은 영상신호의 동기를 일치시킨 후 시차검출부로 전달한다.
상기 시차검출단계(S230)에서는 상기 동기화된 영상신호를 입력받아 선택지점에서의 시차를 검출한다.
이때 상기 시차검출단계(S230)에서는, 상기 기준카메라(111)에서 얻어지는 영상의 이미지를 특정 사이즈로 세분화한 기준블록과 상기 비교카메라(112)에서 얻어지는 영상의 이미지를 특정 사이즈로 세분화한 비교블록을 픽셀단위로 절대값을 비교하여 시차를 검출한다.
상기 시차검출단계(S230)는 상기 기준블록 중 하나의 기준블록에 대해 상기 비교블록 중 제1 행의 비교블록을 1픽셀 단위로 위치를 이동하면서 비교를 반복하고, 그 차이의 절대값을 모두 더하여 차이 값이 가장 작게 나오는 비교블록이 상기 기준블록과 가장 일치하는 것으로 판단하여 제1행 전체의 비교블록의 시차를 검출하는 제1행 시차검출단계를 구비한다.
상기 시차검출단계(S230)는 상기 제1행 시차검출단계이후 제2행 내지 n행의 전체블록에 대해 상기 제1행 시차검출단계에서와 같은 비교를 반복하여 전체화면의 시차를 검출하는 제2행 시차검출단계 내지 제n행 시차검출단계를 더 구비한다.
도 3 내지 도 5에는 이러한 시차검출방법이 도시되어 있다.
도 3은 본 발명에 따른 스테레오 카메라 시스템을 이용한 시차검출방법에서 기준블록과 비교블록을 비교하는 과정을 설명하는 도면이고, 도 4는 1개의 기준블록과 비교블록 어레이를 비교하는 과정을 설명하는 도면이며, 도 5는 비교블록을 픽셀단위로 이동하면서 비교하는 과정을 설명하는 도면이다.
도 3을 참고하여 기준블록 중 한 개의 기준블록의 이미지에 대해 비교블록 중 1행 전체의 비교블록을 동시에 비교하는 과정을 설명한다.
예를 들어, 기준카메라 및 비교카메라의 해상도가 720x480이고, 기준블록의 사이즈가 16x16 이라면, 기준카메라에 의한 첫 번째 기준블록이 입력될 때 비교카메라의 1행 전체의 비교블록은 해상도 720을 사이즈 16으로 나눈 45개가 되고, 45개의 비교블록 전체를 기준블록과 비교하여 동시에 그 일치 정도를 검사한다.
이때 기준블록과 비교블록 간의 비교방법은 도 4에 도시된 바와 같이 기준블록의 개별적인 구성 픽셀에 대해 비교블록의 개별적인 구성 픽셀을 일대일로 절대 값을 비교하여 그 차이 값을 모두 더하여 그 값이 가장 적은 비교블록이 기준블록과 가장 일치하는 것으로 본다.
한편, 시차를 검출할 때는 각 블록에서 픽셀 단위의 시차 편이를 고려해야 한다. 즉, 도 5에 도시된 바와 같이 기준블록에 대해 비교블록을 1픽셀 단위로 위치를 이동하며 비교를 반복하고 가장 차이 값이 적게 나오는 위치를 확인한 뒤 이 값이 가장 적게 나타난 블록의 번호에 블록의 사이즈 단위를 곱하고 여기에 이동 횟수를 더한 값을 시차로 본다.
예를 들어, 블록의 사이즈가 16x16이고 좌측 6번째 블록에서 3회 이동시 차이 값이 가장 적었다면, 이때의 시차는 16x6+3=99 로 나타낼 수 있다.
상기의 설명은 개별적인 블록에 대한 시차 추출방법을 설명한 것으로 전체화면의 시차를 비교할 때는 위의 개별 블록에 대한 시차 추출방법을 한 행의 블록 수(45개) 만큼 반복하여 1행 전체의 시차를 추출하고 다시 수직으로 모든 행의 전체블록에 대해 반복하여 전체화면의 시차를 추출한다.
위에서 예로 든 바와 같이 기준카메라 및 비교카메라의 해상도가 720x480이고, 기준블록의 사이즈가 16x16 이라면, 비교블록의 전체 행은 세로측 해상도 480을 사이즈 16으로 나눈 30이 되고, 따라서 제2행 내지 제30행의 전체블록에 대해 제1행에서와 같은 과정을 반복하여 전체화면의 시차를 추출한다.
이때 제1행에 대한 시차검출이 진행되는 동안 제2행 이하의 블록에 대한 이미지를 얻고 제1행에 대한 시차검출이 완료된 후 제2행에 대해 시차검출을 진행하게 된다. 따라서 시차검출 시간은 영상회로의 주사시간과 맞물려 리얼타임으로 동시에 이루어 질 수 있다.
도 6은 본 발명에 따른 스테레오 카메라 시스템을 이용한 시차검출방법의 다른 일 실시예의 흐름을 나타내는 도면이다.
도 6을 참고하면 본 발명에 따른 스테레오 카메라 시스템을 이용한 시차검출방법은 영상신호 획득단계(S210), 포맷변환 및 동기화단계(S220), 시차검출단계(S230), 거리정보 추출단계(S240), 초점제어값 산출단계(S250), 초점제어단계(S260) 및 지도작성단계(S270)를 구비한다.
상기 영상신호 획득단계(S210), 포맷변환 및 동기화단계(S220) 및 시차검출단계(S230)는 도 2에서 설명한 바와 동일하므로 상세한 설명은 생략한다.
시차검출단계(S230)이후 상기 거리정보 추출단계(S240)에서는 검출된 선택지점의 시차를 이용하여 선택지점까지의 거리정보를 추출한다. 사용된 카메라의 시야각이 알려진 상태에서 상기 카메라의 시야각을 검출된 픽셀 단위의 시차 값으로 나누면 카메라와 물체 사이의 시야각을 알 수 있고, 사용된 두 카메라 사이의 거리와 두 카메라와 물체 사이의 시야각을 이용하여 물체까지의 거리 정보를 추출할 수 있다.
초점제어값 산출단계(S250)에서는 상기 거리정보 추출단계(S240)에서 추출된 거리정보를 이용하여 카메라와 물체와의 거리에 따른 카메라 자체의 초점값 테이블로부터 상기 기준카메라와 상기 비교카메라의 초점을 제어하기 위한 초점제어값을 산출한다.
이후 상기 초점제어값을 상기 기준카메라와 상기 비교카메라에 전달하여 상기 기준카메라와 상기 비교카메라의 초점을 제어하는 초점제어단계(S260)를 수행한다.
한편, 상기 지도작성단계(S270)에서는 상기 거리정보 추출단계(S240)에서 소블록 단위로 추출된 거리정보를 모아 물체의 공간 상태를 분석한 뒤 3차원의 입체지도를 작성하고 인터페이스를 통해 호스트에 전달한다.
상기에서 살펴본 바와 같이 본 발명의 핵심적인 아이디어는 기준카메라와 비교카메라에 의한 영상을 블록단위로 나누고, 비교카메라에 의한 영상블록을 학습된 데이터로 삼아 기준카메라에 의한 영상블록과 픽셀단위로 비교하여 차이 값의 합이 가장 적은 블록을 확인하여 시차 값을 검출하는데 있다.
한편, 본 발명의 또 다른 핵심적인 아이디어는 기준카메라의 영상과 비교카메라의 영상을 블록단위로 비교하는 과정에서 기준블록 1개에 대해 비교블록 전체를 동시에 비교함으로써 실시간으로 시차를 검출하고 이러한 시차 값을 통해 블록단위의 거리정보를 추출하여 3차원 입체지도를 작성할 수 있는 스테레오 카메라 시 스템을 제공하는 데 있다.
이상에서 본 발명에 대한 기술사상을 첨부 도면과 함께 서술하였지만 이는 본 발명의 바람직한 실시예를 예시적으로 설명한 것이지 본 발명을 한정하는 것은 아니다. 또한 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 누구나 본 발명의 기술적 사상의 범주를 이탈하지 않는 범위 내에서 다양한 변형 및 모방이 가능함은 명백한 사실이다.
도 1은 본 발명에 따른 스테레오 카메라 시스템의 구성을 나타내는 블록도이다.
도 2는 본 발명에 따른 스테레오 카메라 시스템을 이용한 시차검출방법의 일 실시예의 흐름을 나타내는 도면이다.
도 3은 본 발명에 따른 스테레오 카메라 시스템을 이용한 시차검출방법에서 기준블록과 비교블록을 비교하는 과정을 설명하는 도면이다.
도 4는 본 발명에 따른 스테레오 카메라 시스템을 이용한 시차검출방법에서 1개의 기준블록과 비교블록 어레이를 비교하는 과정을 설명하는 도면이다.
도 5는 본 발명에 따른 스테레오 카메라 시스템을 이용한 시차검출방법에서 비교블록을 픽셀단위로 이동하면서 비교하는 과정을 설명하는 도면이다.
도 6은 본 발명에 따른 스테레오 카메라 시스템을 이용한 시차검출방법의 다른 일 실시예의 흐름을 나타내는 도면이다.
Claims (19)
- 삭제
- 스테레오 카메라 시스템에 있어서,기준카메라와 비교카메라를 구비하는 카메라부;상기 기준카메라와 상기 비교카메라로부터 얻어지는 영상신호를 이용하여 입체영상을 출력하고, 선택 지점에서의 시차를 검출하기 위해 상기 영상신호를 동기화시키는 포맷변환 및 동기화부;상기 포맷변환 및 동기화부로부터 동기화된 영상신호를 입력받아 선택 지점에서의 시차를 검출하는 시차검출부;상기 선택 지점의 시차 정보로부터 선택 지점까지의 거리정보를 추출하는 거리계산부; 및상기 거리계산부에서 추출된 상기 거리정보를 이용하여 상기 카메라부의 초점을 제어하기 위한 값을 산출하는 초점제어값 산출부;를 구비하고,상기 시차검출부는,상기 기준카메라에서 얻어지는 영상의 이미지를 특정 사이즈로 세분화한 기준블록과 상기 비교카메라에서 얻어지는 영상의 이미지를 특정 사이즈로 세분화한 비교블록을 픽셀단위로 절대값을 비교하여 시차를 검출하되,상기 기준블록 중 하나의 기준블록에 대해 상기 비교블록 중 제1행의 비교블록을 1픽셀 단위로 위치를 이동하면서 비교를 반복하고, 그 차이의 절대값을 모두 더하여 차이 값이 가장 작게 나오는 비교블록이 상기 기준블록과 가장 일치하는 것으로 판단하여 제1행 전체의 비교블록의 시차를 검출하는 것을 특징으로 하는 스테레오 카메라 시스템.
- 제2항에 있어서, 상기 시차검출부는상기 기준블록 중 하나의 기준블록에 대해 상기 비교블록 중 제2행 내지 제n행의 비교블록을 1픽셀 단위로 위치를 이동하면서 비교를 반복하고, 그 차이의 절대값을 모두 더하여 차이 값이 가장 작게 나오는 비교블록이 상기 기준블록과 가장 일치하는 것으로 판단하여 전체화면의 시차를 검출하는 것을 특징으로 하는 스테레오 카메라 시스템.
- 제3항에 있어서, 상기 포맷변환 및 동기화부는상기 기준카메라의 영상신호와 상기 비교카메라의 영상신호를 동기화시키기 위해 상기 영상신호를 일시 저장하는 이미지 프레임 버퍼부를 더 구비하는 것을 특징으로 하는 스테레오 카메라 시스템.
- 제3항에 있어서, 상기 거리계산부는상기 시차검출부에서 검출된 시차를 이용하여 선택 지점까지의 거리를 블록 단위로 계산하는 것을 특징으로 하는 스테레오 카메라 시스템.
- 제5항에 있어서, 상기 초점제어값 산출부는상기 거리계산부에서 추출된 상기 거리정보와 상기 거리정보의 편차를 보상하는 오프셋 값을 입력받아 초점제어값을 산출하는 것을 특징으로 하는 스테레오 카메라 시스템.
- 제6항에 있어서,상기 초점제어값을 상기 카메라부에 전달하는 카메라 인터페이스부를 더 구비하는 것을 특징으로 하는 스테레오 카메라 시스템.
- 제3항에 있어서,상기 시차검출부에서 검출된 시차를 이용하여 상기 기준카메라와 상기 비교카메라로부터 얻어지는 이미지의 위치를 조절하여 선택지점의 시차를 일치시키기 위한 이미지 위치조절값을 출력하는 이미지 위치조절부를 더 구비하는 것을 특징으로 하는 스테레오 카메라 시스템.
- 제3항에 있어서,상기 시차검출부의 동작을 제어하는 제어부를 더 구비하는 것을 특징으로 하는 스테레오 카메라 시스템.
- 제5항에 있어서,상기 거리계산부에서 추출된 블록 단위의 거리정보를 모아 물체의 공간 상태를 분석한 뒤 3차원 입체지도를 작성하고 인터페이스를 통해 호스트에 전달하는 지도작성부를 더 구비하는 것을 특징으로 하는 스테레오 카메라 시스템.
- 삭제
- 기준카메라와 비교카메라를 이용하여 물체의 영상신호를 획득하는 영상신호 획득단계;상기 기준카메라와 상기 비교카메라로부터 얻어지는 영상신호를 이용하여 입체영상을 출력하고, 선택 지점에서의 시차를 검출하기 위해 상기 영상신호를 동기화시키는 포맷변환 및 동기화단계; 및상기 동기화된 영상신호를 입력받아 선택 지점에서의 시차를 검출하는 시차검출단계;를 구비하고,상기 시차검출단계는,상기 기준카메라에서 얻어지는 영상의 이미지를 특정 사이즈로 세분화한 기준블록에 대해 상기 비교카메라에서 얻어지는 영상의 이미지를 특정 사이즈로 세분화한 비교블록을 픽셀 단위로 절대값을 비교하여 시차를 검출하되,상기 기준블록 중 하나의 기준블록에 대해 상기 비교블록 중 제1행 전체의 비교블록을 1픽셀 단위로 위치를 이동하면서 비교를 반복하고, 그 차이의 절대 값을 모두 더하여 차이 값이 가장 작게 나오는 비교블록이 상기 기준블록과 가장 일치하는 것으로 판단하여 제1행 전체의 비교블록의 시차를 검출하는 제1행 시차검출단계를 구비하는 것을 특징으로 하는 스테레오 카메라 시스템을 이용한 시차검출방법.
- 제12항에 있어서, 상기 제1행 시차검출단계는상기 기준블록 중 하나의 기준블록에 대해 상기 비교블록 중 제1행 비교블록의 전체블록을 1픽셀 단위로 위치를 이동하면서 비교를 반복하고 그 차이의 절대 값을 모두 더하여 차이 값이 가장 작게 나오는 비교블록의 위치를 확인한 후,상기 차이 값이 가장 작게 나오는 비교블록의 블록번호에 블록의 사이즈 단위를 곱한 후 픽셀 단위로 이동한 횟수를 더하여 시차를 검출하는 것을 특징으로 하는 스테레오 카메라 시스템을 이용한 시차검출방법.
- 제13항에 있어서, 상기 시차검출단계는상기 제1행 시차검출단계 이후, 상기 비교블록 중 제2행 비교블록 내지 제n행 비교블록의 전체블록에 대해 상기 제1행 시차검출단계와 동일한 방법으로 시차를 검출하는 제2행 시차검출단계 내지 제n행 시차검출단계를 더 구비하여 전체화면의 시차를 검출하는 것을 특징으로 하는 스테레오 카메라 시스템을 이용한 시차검 출방법.
- 제14항에 있어서, 상기 제1행 시차검출단계 내지 제n행 시차검출단계는상기 기준카메라와 상기 비교카메라를 이용하여 물체의 영상신호를 획득하는 영상신호 획득단계와 동시에 진행되는 것을 특징으로 하는 스테레오 카메라 시스템을 이용한 시차검출방법.
- 제15항에 있어서, 상기 시차검출단계 이후상기 검출된 선택 지점의 시차로부터 선택 지점까지의 거리정보를 추출하는 거리정보 추출단계를 더 구비하는 것을 특징으로 하는 스테레오 카메라 시스템을 이용한 시차검출방법.
- 제16항에 있어서,상기 거리정보를 이용하여 상기 기준카메라와 상기 비교카메라의 초점을 제어하기 위한 초점제어값을 산출하는 초점제어값 산출단계를 더 구비하는 것을 특징으로 하는 스테레오 카메라 시스템을 이용한 시차검출방법.
- 제17항에 있어서,상기 초점제어값을 이용하여 상기 기준카메라와 상기 비교카메라의 초점을 제어하는 초점제어단계를 더 구비하는 것을 특징으로 하는 스테레오 카메라 시스템 을 이용한 시차검출방법.
- 제16항에 있어서, 상기 거리정보 추출단계 이후상기 추출된 거리정보를 모아 공간 상태를 분석한 뒤 3차원의 입체지도를 작성하여 호스트에 전달하는 지도작성단계를 더 구비하는 것을 특징으로 하는 스테레오 카메라 시스템을 이용한 시차검출방법.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020090031331A KR101083824B1 (ko) | 2009-04-10 | 2009-04-10 | 스테레오 카메라 시스템 및 이를 이용한 시차검출방법 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020090031331A KR101083824B1 (ko) | 2009-04-10 | 2009-04-10 | 스테레오 카메라 시스템 및 이를 이용한 시차검출방법 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20100112840A KR20100112840A (ko) | 2010-10-20 |
KR101083824B1 true KR101083824B1 (ko) | 2011-11-18 |
Family
ID=43132625
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020090031331A KR101083824B1 (ko) | 2009-04-10 | 2009-04-10 | 스테레오 카메라 시스템 및 이를 이용한 시차검출방법 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101083824B1 (ko) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101501591B1 (ko) * | 2014-07-04 | 2015-03-12 | 연세대학교 산학협력단 | 로컬 워핑과 텍스쳐 합성을 이용한 스테레오 영상의 초점 보정 방법 및 그 장치 |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101733131B1 (ko) | 2010-12-14 | 2017-05-10 | 한국전자통신연구원 | 3차원 제스처 처리 방법 및 장치 |
KR20130044976A (ko) | 2011-10-25 | 2013-05-03 | 삼성전기주식회사 | 스테레오카메라의 동기화 장치, 스테레오카메라 및 스테레오카메라의 동기화 방법 |
KR101963385B1 (ko) * | 2012-12-12 | 2019-03-28 | 엘지디스플레이 주식회사 | 디스패러티 산출방법과 이를 이용한 입체영상 표시장치 |
US10033989B2 (en) | 2013-07-05 | 2018-07-24 | Mediatek Inc. | Synchronization controller for multi-sensor camera device and related synchronization method |
KR102178824B1 (ko) * | 2014-01-29 | 2020-11-13 | 엘지이노텍 주식회사 | 보이스 코일 모터의 위치검출 장치 및 이를 포함하는 카메라 모듈 |
KR102302574B1 (ko) * | 2015-01-12 | 2021-09-14 | 엘지전자 주식회사 | 스테레오 카메라 모듈 및 스테레오 카메라의 캘리브레이션 방법 |
KR20170000686A (ko) * | 2015-06-24 | 2017-01-03 | 삼성전기주식회사 | 거리 검출 장치 및 이를 포함하는 카메라 모듈 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001092971A (ja) * | 1999-09-24 | 2001-04-06 | Sony Corp | 画像処理装置および方法、並びに記録媒体 |
JP2004080727A (ja) | 2002-08-21 | 2004-03-11 | Sapporo Television Broadcasting Co Ltd | 立体映像2画面連結映像システム |
-
2009
- 2009-04-10 KR KR1020090031331A patent/KR101083824B1/ko not_active IP Right Cessation
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001092971A (ja) * | 1999-09-24 | 2001-04-06 | Sony Corp | 画像処理装置および方法、並びに記録媒体 |
JP2004080727A (ja) | 2002-08-21 | 2004-03-11 | Sapporo Television Broadcasting Co Ltd | 立体映像2画面連結映像システム |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101501591B1 (ko) * | 2014-07-04 | 2015-03-12 | 연세대학교 산학협력단 | 로컬 워핑과 텍스쳐 합성을 이용한 스테레오 영상의 초점 보정 방법 및 그 장치 |
Also Published As
Publication number | Publication date |
---|---|
KR20100112840A (ko) | 2010-10-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101083824B1 (ko) | 스테레오 카메라 시스템 및 이를 이용한 시차검출방법 | |
EP3560195B1 (en) | Stereoscopic omnidirectional imaging | |
US8760502B2 (en) | Method for improving 3 dimensional effect and reducing visual fatigue and apparatus enabling the same | |
CN102124749B (zh) | 立体图像显示装置 | |
WO2011052389A1 (ja) | 画像処理装置及び画像処理方法 | |
EP2391142A1 (en) | Imaging device, method and program, and recording medium using same | |
CN102547356A (zh) | 图像处理装置、图像处理方法和程序 | |
JPWO2013108339A1 (ja) | ステレオ撮影装置 | |
CN113156649B (zh) | 具有动态区域分辨率的虚拟/增强现实*** | |
CN102822621A (zh) | 校准数据选择装置、选择方法、选择程序以及三维位置测量设备 | |
JP6585938B2 (ja) | 立体像奥行き変換装置およびそのプログラム | |
JPWO2011125461A1 (ja) | 画像生成装置及び方法並びにプリンタ | |
CN103959770A (zh) | 图像处理设备、图像处理方法和程序 | |
CN103702103A (zh) | 基于双目相机的光栅立体印刷图像合成方法 | |
KR20090037247A (ko) | 다중 초점 2차원 영상을 이용한 3차원 입체 영상 변환 방법및 변환 장치와 이를 위한 기록매체 | |
US9258546B2 (en) | Three-dimensional imaging system and image reproducing method thereof | |
CN103108198A (zh) | 图像产生装置及图像调整方法 | |
US20170257614A1 (en) | Three-dimensional auto-focusing display method and system thereof | |
US9177380B2 (en) | 3D video camera using plural lenses and sensors having different resolutions and/or qualities | |
KR101025785B1 (ko) | 3차원 실물 화상장치 | |
CN208724107U (zh) | 一种立体场景拍摄装置 | |
JP2014072809A (ja) | 画像生成装置、画像生成方法、画像生成装置用プログラム | |
JP5088973B2 (ja) | 立体撮像装置およびその撮像方法 | |
KR20070028087A (ko) | 입체 영상 디스플레이 기능을 갖는 모바일 기기 및 이를이용한 입체 영상 디스플레이 방법 | |
CN109104602A (zh) | 一种立体场景拍摄装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
LAPS | Lapse due to unpaid annual fee |