KR950001578B1

KR950001578B1 - 3차원 스테레오 비젼 방법 및 장치

Info

Publication number: KR950001578B1
Application number: KR1019860002914A
Authority: KR
Inventors: 마고도 시오야; 모도히사 후나바시; 다구시 니시야
Original assignee: 가부시기가이샤 히다찌세이사꾸쇼; 미쓰다 가쓰시게
Priority date: 1985-04-17
Filing date: 1986-04-16
Publication date: 1995-02-25
Also published as: KR860008462A; JPS61240376A; US4792694A; JPH07109625B2; DE3683524D1; EP0199269A3; EP0199269B1; EP0199269A2; EP0199269B2; CA1255788A

Abstract

내용없음.

Description

3차원 스테레오 비젼 방법 및 장치

제1도는 종래의 2개의 휘도 데이터의 패턴 매칭 방법을 이용한 3차원 스테레오 비젼 방법의 설명용 참고도.

제2도는 패턴 매칭 방법에 의한 상기 스테레오 비젼 방법에 있어서의 원리적 오차 발생의 설명용의 참고도.

제3도는 본 발명에 의한 3차원 스테레오 비젼 방법의 원리 설명도.

제4도는 본 발명의 제1의 실시예의 블럭 구성도.

제5도는 본 발명의 제2의 실시예의 블럭 구성도.

제6도 및 제7도는 본 발명에 있어서의 대응점 후보 감소 방법의 설명도.

본 발명은, 시각 시스템에 관한 것으로, 특히 3차원 거리 정보를 추출할 수 있는 패시브 3차원 스테레오비젼(stereo vision) 방법 및 장치에 관한 것이다.

구체적인 응용분야는 자동차(자동차가 차고로 들어갈 때, 주차시, 정체로나 고속도로에서 주행할 때 자동차를 가이드하기 위해, 또 일반도로에서의 운행을 용이하게 하기 위해), 자동차 이외의 이동체, 로봇, FA(factory automation), LA(laboratory automation), OA(office automation), BA(building automation), HA(home automation), 정밀계측, 그외에 일반적인 고정밀도 고속 패시브 시각 시스템을 필요로 하는 분야이다.

상세한 항목의 에로서, 무인 수리ㆍ점검 작업, 무인 운반차, 무인 크레인, 무인 건설ㆍ토목 기계, 정밀부품조립, 대인수 계측방법시스템, 방재시스템, 맹인 인도장치, 속도 검출기, 거리 검출기, 물체 검출기, 현미경ㆍ확대기ㆍ영사기ㆍ복사기ㆍ광디스크 픽업 카메라등의 자동 초점 맞춤기구, 문자 도면등의 인식, 번호판 인식, 입체 카메라(정지화면, 움직이는 화면), 게임/레저기구등이 있다.

종래의 3차원 스테레오 비젼 방법으로서는 두눈을 통해서 얻어진 2개의 휘도 데이터를 서로 대응시키는(대응점 결정)패턴 매칭의 방법에 의해 실행되는 것이 있다.

패턴 매칭의 방법은 기본적으로는 휘도분포가 존재하는 좌표공간의 각 점에서 좌표공간 척도의 확대 축소 변환을 행하여 휘도분포의 형태를 바꾸고, 변환후의 좌표공간에서의 휘도분포와 비교대상의 휘도분포와의 서로 다름이 어떠한 기준하에서 최소로 되도록(매칭하도록) 상기 척도 변환을 실행하는 것이다.

따라서, 패턴 매칭의 방법으로서는 우선 첫째로, 좌표 공간 척도의 확대 축소 변환을 실행하여야 할 좌표점의 수는 휘선의 수만큼 있고, 위치가 겹치지 않게 하는 방법은 각 휘선에 대해 인접관계를 바꾸지 않는 범위에서 임의이기 때문에 가능한 척도변환의 조합의 수가 원리상 방대하게 되어, 그들 중에서 휘도분포의 차이를 CHL소로 하SMS 것을 선택하는 것으로 된다. 이로인해, 이것을 디지탈 처리로 실현하려고 하면, 처리 시간이 걸린다는 문제가 있었다.

또, 패턴 매칭의 방법인 경우, 둘째로는 휘선끼리의 인접관계를 바꾸지 않는 척도 변환을 GKRL 때문에, 제1의 렌즈 결상계(1계)와 제2의 렌즈 결상계(2계)로서 원래 인접관계가 일치하지 않는 휘도분포를 포함하는 피사계인 경우에는 원리적인 오차가 따른다고 하는 문제가 있었다. 이것은 피사점 서로간의 전후위치(안길이)의 차이 상하좌우 위치(방위 각도)의 차이에 비해서 큰 피사계인 경우이다.

피사계가 독립된 점으로 구성되지 않고 연속적으로 분포하고 있는 경우에는 연속분포를 이산화해서 디지탈 처리를 하기 때문에, 상기 2가지 문제점은 마찬가지로 존재한다.

또, 다수의 휘도분포를 데이터를 사용하여 패턴 매칭의 정밀도를 높이는 경우에도 패턴 매칭의 방법을 이용하는 한, 상기의 2가지 문제점은 역시 마찬가지로 존재한다.

본 발명의 목적은 상기 종래 기술의 문제점을 개선하여, 처리시간이 짧으며, 또한 피사계의 분포상황에 의존하는 원리적인 오차를 포함하지 않는 3차원 스테레오 비젼 방법 및 장치를 제공하는 것이다.

본 발명의 개요를 간단히 설명하면 다음과 같다. 이하, 본 발명의 실시예의 설명에 있어서는 본 발명의 개요를 사용하여 설명한다.

본 발명에 있어서는 렌즈 결상계를 다시 1개 이상 증가시켜 합계 3개 이상의 렌즈 결상계(눈)을 사용한다. 3개 이상의 눈이 있을 경우, 동일 피사점의 검출면 위의 각 눈에 대응하는 각 결상점(휘선)상호간의 기하학적 배치관계와, 각 눈 상호 및 검출면과의 사이의 기하학적 배치관계 사이에는 특정한 관계가 존재한다. 본 발명은 이 특정한 관계를 대응점 결정(동일한 피사점에 유래하는 휘선의 대응)에 이용하는 것에 의해, 패턴 매칭의 방법을 채용하는 것에 기인하는 종래의 2가지 문제점을 제기한다.

기하학적 배치관계에 있어서의 특정한 관계라 함은 예를 들면, 3개 이상의 눈이 같은 평AUS위에 놓인다고 하고, 그 평면과 결상 검출 평면이 평행인 경우, 같은 피사점의 각 눈의 서로의 간격비와 같은 관계이다. 바꾸어 말하면, 각 눈을 서로 연결하여 되는 도형과 대응하는 각 휘선에 대한 도형과는 서로가 상사형(닮은꼴)을 이룬다고 하는 것이다.

따라서, 검출면위의 휘선이 어떤눈을 통해서 온 것인가를 알수 있도록 하여 두면, RN체적으로는 검출면을 눈의 개수만큼 적더라도 논리적으로 준비하여 두면(여기서는 검출면이 물리적으로 1개 뿐이라도 검출시점을 n개로 하면, 논리적으로는 n개의 검출면이 준비된 것으로 한다), 서로가 다른 눈을 통해서 온 휘선중, 휘선 상호의 간격비가 각 눈 상호의 간격비와 같은 휘선의 조를 선출하는 것에 의해, 대응점의 후보가 추출되는 것이다.

이와 같이 하여, 추출된 모듣 대응점의 후보에는 피사점중, 모든 검출면에 결상된 것이(검출면에서 벗어나지 않은 것) 전부 포함되고, 또한 각 검출면 서로가 원래 인접관계가 일치하지 않는 휘도분포를 포함하는 피사계인 경우에도 이들에 원리적인 오차는 포함되지 않는다.

그러나, 실제로는 존재하지 않는 피사점이라도 극히 적긴 하지만, 가끔 상기의 특정한 관계를 만족하는 대응점으로서 추출되는 것이 있다.

이들 존재하지 않는 피사점 추출의 가능성은 눈의 개수를 증가시키거나, 또는 눈의 상호 간격을 같은 간격으로 하지 않든가, 눈을 반드시 같은 평면위에 놓지 않든가 하는 눈의 기하학적 배치를 복잡하게 하여 저감된다. 이것의 대책은 대응점 결정의 제약조건을 엄격하게 하는 것에 해당하기 때문이다.

이와 같이 해서, 추출된 모든 대응점의 후보는 그대로 모든 대응점으로 하여도 좋으나, 실제로는 그중에 대응점 후보를 거듭 걸러내는데 이용이 가능한 정보를 갖고 있다. 그 정보가 휘도의 값이다. 검출면이 휘도(농담ㆍ강도ㆍ진폭)뿐만 아니라, 색(주파수 특성), 위상, 편광 방향이나, 그들의 미분값(공간적, 시각적)등의 데이타도 검출하고 있는 경우에는 그들의 데이타도 이용이 가능하다. 지금, 휘도의 경우로 설명하면, 동일한 피사점이 각각의 눈을 통해서 검출면에 얼마만큼의 휘도를 부여할 것인가가 상대적인 비로 알고 있다고 하고, 그 비를 만족하는 대응점만을 추출한다. 구체적으로 휘도는 피사점의 반사율의 방향 의존성과 검출면까지의 거리에 의존하지만, 후자는 대응점 후보가 추출된 단계에서 이미 판명되기 때문에, 전자의 반사율의 방향 의존성만이 현실적으로 간주되는 대응점만을 추출한다. 그외의 정보를 이용하는 경우도 각각의 방법으로 가능하다.

우선, 본 발명의 이해를 용이하게 하기 위하여, 제1도와 제2도에 따라 종래 기술을 설명한다.

제1도는 2개의 눈을 통해서 얻어진 2개의 휘도 데이타의 페턴 매칭의 설명용 참고 도면이고, 간단하게 하기 위해서 피사계가 a, b, c점 만인 경우를 도시하고 있다. 종래의 방법에서는 렌즈 결상계(1)(1계) 및 (2)(2계)의 2계를 준비하고, 이들을 통해서 얻어지는 검출면위의 휘도분포를 결상게의 1계와 2계의 대응시켜서 각각을 얻는다. 제1도의 예에서는 피사계로서 서로 분리된 위치에 있는 3점만을 고려하고 있으므로, 휘도분포는 도면에 도시한 것과 같이, 1계, 2계가 모두 3개의 휘선(a1, b1, c1, 및 a2, b2, c2)를 가진 이산분포로 된다. 이 1계, 2계의 휘선이 서로 다른계의 어떤 휘선과 대응하고 있는가(같은 피사점에 유래하는 것인가)를 임의의 방법으로 결정하고, 대응하는 2개의 휘선 사이의 간격거리 1에서 피사계까지의 안길이 거리를 휘선의 렌즈 결상계에 대한 기하학적 위치관계 1g로서 피사계의 방위각도를 각각 결정하는 것에 의해, 피사계의 3차원 거리 정보를 추출한다.

종래의 방법에서는 이 1계의 휘선과 2계의 휘선의 대응(대응점 결정)을 어떠한 패턴 방법으로 실행한다. 패턴 매칭의 방법은 기본적으로는 휘도분포가 존재하는 좌표공간의 각 점에서 좌표공간 척도의 확대 축소 변환을 실행하여 휘도분포의 형태를 변경하고, 변환후의 좌표공간에서의 휘도분포와 비교대상의 휘도분포와의 차이가 어떠한 기준하에서 최소로(매칭하도록) 상기의 척도 변환을 실행하는 것이다. 제1도의 경우, 척도 변환은 a2와 b2의 간격이나, b2와 c2의 간격을 바꾸는 것, 즉 a2, b2, c2의 인접관계를 바꾸지 않고, 위치를 겹치지 않게 하는 것에 해당하고, 패턴 매칭은 위치를 엇갈리게 한 결과, a1, b1, c1의 위치관계와 a2, b2, c2의 위치관계가 동일하게 되도록 하는 것이(이와 같이 하면, 휘도분포를 전부 동일하게 할 수가 있어 차이가 없어지기 때문)에 해당한다.

제2도는 피사점 상호의 전후위치(안길이)의 차이가 상하 좌우위치(방위각도)의 차이에 비해서 큰 피사체인 경우에 있어서의 상기 원리적 오차 발생의 설명용 참고 도면이고, 제1도에 있어서의 점 a대신 점 a'가 있다.

a'와 b와의 안길이의 차이는 방위각도의 차이에 비해서 b와 2개의 렌즈 결상계를 연결한 선이 만드는 각도내에 a'가 포함되는 정도로 크다. 제2도에 도시한 것과 같이, 1계와 2계의 휘도분포에 있어서, a'와 b의 인접관계는 같지 않으며, 1계에서는 a'1, b1로 좌우로 나란히 늘어서고 있는 것에 대해, 2계에서는 b2, a'2로 나란히 좌우로 나란히 늘어서 있다. 이 휘도분포 데이타를 기초로 패턴 매칭을 실행하면, 휘선의 a'1과 b2를 대응시켜, b1과 a'2를 대응시켜 버릴 가능성이 매우 높다. 그 결과, 피사계로서 a'와 b가 역산되어야할 점을 점 m와 n에 피사계가 존재하는 것으로 되어버려, 원리적인 오차가 발생되는 것이다. 발명의 개요에 있어서 기술한 원리를 이용해서 검출면과 평행인 일직선상으로 늘어선 3개의 눈을 이용하는 경우에 대해서, 제3도를 이용해서 간단하게 설명한다.

제3도는 제2도의 눈(1), (2)에 눈(3)을 추가한 경우이다. 눈(1)과 (2)의 간격 112, 눈(2)와 (3)의 간격 123에 각각 같은 거리를 두고, 1계, 2계, 3계의 논리적인 검출면 위의 휘도분포를 도시하고 있다.

이것은 각 눈 상호 및 검출면과의 사이의 기하학적 배치관계가 동일한 피사점의 검출면위의 각 눈에 대응하는 각 결상점(휘선)상호간의 기하학적 배치관계와의 사이에 존재하는 특정한 관계를 설명도 위에서 알기 쉽게 하기 위해서이다. 제3도의 경우에서 특정한 관계라고 하는 것은 눈 사이의 간격비가 휘선 사이의 간격비와 같다는 것이기 때문에, 각 계의 휘도분포를 상기 간격으로 배치하면, 동일 피사점으로 부터의 3개의 휘선은 동일 직선상에 놓이게 된다.

역으로 같은 직선위에 놓인 3개의 휘선의 조를 구하면, 대응점의 후보가 추출되는 것으로 된다. 제3도에서 이 휘선을 대응시키는 직선은 파선으로 표시한 A, A', B, C, P이다. 이들 직선의 하나를 구하는 방법은 어떠한 계(예를 들면 2계)의 임의의 휘선의 위치에서 1계 위에서 좌측으로 112, 3계 위에서 우측으로 123의 길이의 비율로 어긋난 위치로 1계, 3계의 휘선이 함께 존재하는 것을 확인하는 것에 의한다. 이것은 1계 위와 3계 위의 112 대 123의 길이의 비율에 의한 위치 결정 처리와 그들의 위치에서 얻어진 휘선 정보(예를 들면, 휘도)의 AND처리에 의해 하드(hard)적으로도 소프트(soft)적으로도 고속이며, 또한 용이하게 실현할 수가 있다.

나머지 직선을 구하려면, 2계 이상의 휘선으로 처음 것과는 별도의 휘선을 이용할 것과 위치 결정 처리에 있어서 112 대 123의 길이 비율을 유지한 그대로 2계 위의 휘선과 1계, 3계 위의 위치와의 절대적인 길이를 처음의 길이와는 여러가지 다른 길이로 하는 것에 실행한다.

이 경우, 1계, 2계, 3계위의 위치 결정 처리의 회수는 증가하지만, 그 회수는 2계 위의 휘선의 수(렌즈 결상계가 놓이는 직선과 평행인 방향-수평 방위 방향으로 하는-에 있는 피사점의 수)와 1계 내지는 3계위의 휘선의 수(2계 위의 휘선과의 조합으로 피사점까지의 수직거리(안길이)를 규정하는)와 수직 방위각 방향의 휘선의 수와의 곱과 거의 같다.

지금, 각 계위의 휘선의 수가 검출면의 각 방향의 공간 분해능(해상도)과 같다고 하는 최대의 경우를 생각하고, 또한, 분해능이 등방적이라고 가정하면, 위치 결정 처리의 회수는 최대이며, 그 분해능의 3승으로 된다.

공간 분해능이 500인 경우의 위치 결정 처리 회수는 125×10⁶회이고, 1MHz의 클럭을 이용해서, 시리얼인 디지탈처리로 이것을 실행하였다고 하면 125sec, 10MHz의 클럭에서는 12.5sec에 각각 비례하는 처리시간을 요한다.

실제로 이 위치 결정 처리는 병렬(parallel)처리에 의해 실행이 가능하고, 처리시간은 대폭적으로 단축이 가능하다. 예를 들면, 수직방위각 방향은 각 방위각마다 독립해서 얻어진 휘도분포 데이타를 사용하기 때문에, 모든 방위각에 관해서, 한번에 병렬로 처리할 수가 있어, 처리회수가 대략 25×10⁴회로 되므로, 1MHz에서 0.25sec, 10MHz에서 0.025sec에 각각 비례한 처리시간에서 끝난다. 또, 수평 방위각 방향(2계)와 수직거리(1계 내지 3계)의 어느 한쪽은 한편을 고정하면, 역시 한번에 병렬로 처리할 수 잇어 처리회수가 대략 500회로 되어, 1MHz에서 0.5m sec, 10MHz에서 0.05m sec에 각각 비례한 처리시간으로 된다. 이 500회의 처리에는 파이프 라인형의 처리를 적용할 수도 있다.

또한, 원리상 수평 방위각 방향과 수직거리와의 조합을 모두 알고 있으므로, 모든 것을 병렬로 처리시킬 수 있어서, 처리회수가 1회로만 되므로 1MHz에서 1㎲, 10MHZ에서 0.1μs가 가능하다.

만약, 수평 방위각 방향, 수직 방위각 방향, 수직거리(안길이)의 한정된 범위에 대해서만 조사하면, 좋은 경우에는 각각의 범위가 전체의 10%였다고 하면, 병렬처리를 이용하지 않는 경우라도 125×10³회, 1MHz에서 0.125sec, 10MHz에서 0.0125sec로 된다.

또, 피사점 그 자체의 휘도분포 대신으로 에지를 나타내는 휘도분포를 이용할 수 있는 경우에는 에지를 표시하는 휘선수가 어떤 방향에 관해서도 처음의 휘선수의 20%로 되었다고 하면, 병렬 처리를 이용하지 않는 경우에도, 10⁶회, 1MHz에서 1sec, 10MHz에서 0.1sec로 된다.

상기의 처리 시간에서 대응점 후보를 추출하는 직선 A, A', B, C, P가 구해지지만, 제3도에서 알 수 있는 것과 같이, 직선 A, A', B, C는 현실의 a, a', b, c에 대응하고 있으나, 직선 p에 대응하는 피사점 p는 실제로 존재하지 않는다. 이것은 피사점 a, a', b,의 각각 1계, 2계, 3계위의 휘선 a1, a'2, b3이 그들 사이의 간격비가 눈 사이의 간격비와 일치하는 것과 같은 위치에 이따금 존재하였기 때문이다.

이와 같은 가능성은 제4의 눈을 임의의 위치로 도입하는 것에 의해 감소되는 것이 도면에서 추출된다. 간단하게 하기 위해서, 제4의 눈을 눈(1), (2), (3)이 놓인 직선과 동일 직선위에 놓인 경우를 생각하면, 제3도에서 용이하게 추측된다.

제4의 눈을 도입하는 대신에 눈(1), (2), (3)의 기하학적 배치를 바꾸는 것에 의해서, 상기의 가능성이 감소하는 것이 유추된다. 간단하게 눈(1), (2), (3)의 동일 직선위에서의 간격비를 바꾼 경우를 고려하면, 제3도에서 용이하게 유추된다.

극단적인 경우로서, 피사점이 연속적으로 직선형태로 존재하는 경우를 제6도를 이용하여 설명한다. 제6도는 선분 ac가 놓이는 평면위에 3개의 눈(1), (2), (3)이 전부 놓이는 경우이다. 이 경우 각 눈과 선분의 양끝을 연결하여 되는 3개의 3각 형상의 안쪽의 공통부분(사선을 한 부분)은 어떠한 눈을 통한 검출면위에도 휘선이 존재하기 때문에, 그 공통 부분에는 마치 피사계가 있는 것과 같이 볼 수 있다.

피사점이 면상에 존재하는 경우, 이 사선부분에 해당하는 것은 일반적으로 각 눈과 면의 가장자리를 연결하여 되는 3개의 원뿔 형상의 공통 부분으로 된다.

그런데, 제6도에서 발생한 사선 부분은 눈(3)을 눈(1), (2)와 선분 ac가 높이는 평면상에서 어긋난 곳에 놓는 것에 의해 제거할 수 있다. 제7도는 그 설명 도면이며, 눈(3)을 평면의 윗쪽으로 비켜놓아 눈(3')로 하고 있다. 이와 같이 하면, 눈(3')와 선분 ac가 만드는 3각 형상은 평면과 선분 ac가 있는 곳에서만 교차하는 것으로 되어 사선 부분은 없어진다.

눈(3')대신에 제4의 눈을 눈(1), (2), (3)과 동일 평면위로 도입하여도 사선 부분을 좁게 할 수 있는 것이 용이하게 유추된다.

피사점이 면상태로 존재히는 경우에도, 마찬가지로 눈의 배치나 개수를 고려하는 것에 의해, 감소되는 것을 알 수가 있다. 면 상태의 경우는 에지 추출등의 사전 처리를 가하여 선 상태로 하여 두던가, 면의 크기를 적게하여 두는 것에 의해, 사선부분을 격감시키는 것이 가능하다.

제3도에 있어서, 나타난 현실에 존재하지 않는 피사점 p에 대응하는 직선 p는 이 경우, 휘선의 휘도 정보를 이용하여 제거된다. 지금, 동일 피사점에서 3개의 눈을 통해서 각 검출면에 도달한 빛의 휘도가 서로 같다고 가정(제3도)하면, 직선으로 대응시켜진 휘선의 휘도가 서로 같지 않는 것을 포함하는 경우에는 그것을 제거하면 좋다. 직선 A, A', B, C의 각각에 대응하는 휘선은 각각 서로 휘도가 같으나, 직선 p에 대응하는 휘선을 a1과 a'2의 휘도와 b3의 휘도가 다르므로, 그 경우 p가 제거된다.

이 처리는 소프트 웨어나 하드웨어로도 용이하게 짧은 시간에서 실현되어, 상술의 위치결정 처리와 조합하여 동시에 실행하는 것도 가능하다.

다음에, 동일 피사점으로부터의 검출면위의 동휘도성이 성립되지 않고, 피사점에 있어서의 반사율(피사점이 발광체인 경우는 발광휘도)의 등방성만이 성립하는 경우, 검출면위의 휘도는 피사점의 거리의 2승에 반비례하기 때문에, 각 대응직선 위의 휘도에 거리의 2승을 곱한 것이 같던가, 같지 않든가로 대응직선의 제거판단을 하면 좋다.

이들 가정하에서 대부분의 경우는 처리가 가능하지만, 반사율에 등방성이 성립하지 않을 경우라도, 어느정도의 이방성인가를 사전에 알고 있으면 그것을 각 휘선의 휘도에 관해서 보정하여 주면, 대응직선의 제거판단이 가능하게 된다. 이들의 처리도 등휘도인 경우와 마찬가지로 소프트 웨어나 하드웨어에도 용이하게 짧은시간에서 실현할 수 있다.

패턴 매칭법에 의한 종래의 방법은 검출 면위의 등휘도성의 가정 아래에서의 대응점 결정 방법이라고 볼 수 있다.

이상 기술한 방법으로, 대응점을 결정한 후, 3개의 휘선중, 적어도 2개의 휘선의 검출면위의 위치 정보와 렌즈 결상계와의 기하학적 위치관계 정보를 이용해서, 피사점에 관한 2차원 거리정보(검출면으로 부터의 수직거리)(안길이)와 1개의 수평 방위각, 또는 2개의 수평 방위각)을 얻는다. 이것과 독립해서 얻어지는 수직 방위각 정보를 합쳐서, 최종적으로 피사점의 3차원 거리 정보를 얻는다.

이들 거리를 구하는 처리는 단순한 대수식에 따른 처리이며, 용이하게 짧은 시간에 실현되지만, 전체의 처리량은 피사점의 수에 비례한다.

다음에 본 발명의 제1의 실시예를 제4도에 의해 설명한다.

본 실시예에 의한 3차원 스테레오 비젼 방법은 렌즈, 미러등의 결상계(11), (12), (13), 결상 상황의 검출면(21), (22), (23), 검출 정보전 처리부(30), 검출 정보 기억부(40), 대응점 후보 추출부(50), 비실재 대응점 제거부(60), 3차원 거리 정보 추출부(70), 결상계 배치 변경부(80)으로 구성되는 시스템으로 실현된다.

결상계(11), (12), (13)은 반드시 검출면(21), (22), (23)과 평행인 일직선위에 놓여져 있는 것은 아니고, (11), (12), (13)이 놓인 평면은 3차원 공간에 있어서 검출면(21), (22), (23)과 임의의 각도를 이루도록, 결상계 배치 변경부(80)에서 조정이 가능하다.

결상계(11), (12), (13)을 통해서, 검출면(21), (22), (23)에 도달한 피사계의 상은 검출 정보전 처리부(30)에 보내진다. 전처리부(30)에서는 결상계의 왜곡이나, 각종 수차의 보정을 하던지 필요에 따라서, 에지 추출이나, 3차원 거리 정보 추출에 이용하고자 하는 휘도 범위나, 색등의 조건을 만족하는 휘선의 추출을 하던지 하여, 그 결과를 검출 정보 기억부(40)에 보낸다. 이때, 결상계를 3개 이상으로 해서 비실제 대응점을 감소시키고자 하는 경우는 결상계 배치 변경부(80)에서 결상계(11), (12), (13), 검출면(21), (22), (23)의 배치를 바꾸고, 그와 같이 하여 얻어진 피사계의 정보도 마찬가지로 전처리를 실행한 후에, 기억부(40)에 기억한다. 다음에, 대응점 후보 추출부(50)이 검출정보 기억부(40)에 기억된 정보를 이용하여, 발명의 개요에 있어서 기술한 방법에 따라서 기하학적 배치의 관계를 이용해서 대응점의 후보를 추출한다. 추출된 대응점 후보중에서 실재하지 않는 피사점에 대응하는 대응점 후보를 발명의 개요에서 기술한 것과 같이 휘도등의 조건을 이용해서 제거하는 처리를 비실제 대응점 제거부(60)에서 실행하고, 그 결과는 3차원 거리 정보 추출부(70)에 보내고, 여기서 발명의 개요에서 기술한 방법에 따라 추출한다.

본 실시예에 의하면, 결상계와 검출면의 배치를 자유로이 비꿀 수 있으며, 동시에 이와 같이 해서 얻은 정보를 기억하는 것에 의해 사실상의 4눈 이상도 실현할 수가 있으므로, 피사계가 어떤 것이라도 대응점 후보 추출의 용장성을 크게 감소시키는 효과가 있다.

다음에 본 발명의 제2의 실시예를 제5도에 의해 설명한다.

본 실시예에 의한 3차원 스테레오 비젼 방법은 3원색 필터(101), (102), (103), 광로길이 보정부(112), (113), 미러(123), (133), (121), (131), 전 처리계(200), 결상계(300), 칼라 촬상소자(400), 수평방향 어드레싱부(500), 휘도 보정용 회로(600), 휘도 보정부(700), AND회로(800), 2차원 거리 정보 추출부(900), 3차원 거리 정보 추출부(1000)으로 구성되는 시스템으로 실현된다.

색 필터(101), (102), (103)은 각각 적색, 녹색, 청색의 투과 필터이고, 칼라 촬상소자(400)에 사용되는 3원색 필터에 대응하고 있다. 3원색 필터(101), (102), (103), 광로 길이 보정부(112), (113) 및 미러(123), (133), (121), (131)은 색 필터(101), (102), (103)과 칼라 촬상소자(400)과의 사이의 광로길이가 같게 되도록, 각 색 필터를 통하는 수평면 위에 놓이고 칼라 촬상소자 위의 각 색 필터의 수평 방향의 폭만큼 어긋나도록 배치하고 있다. 그리고, 미러(133), (131)은 보통의 미러가 아니고, 뒤쪽으로 부터의 빛의 투과가 가능한 미러이다.

3원색 필터(101), (102), (103), 광로 길이 보정부(112), (113), 미러(123), (133), (121), (131)을 통한 피사계로 부터의 빛은 전처리계(200)에서 필요한 휘도 변환 처리나 편광 처리등을 받은 후, 결상계(300)에서 칼라 촬상소자(400)위로 결상되게 된다. 칼라 촬상소자(400)은 수평 방향 어드레싱부(500)에 의해 각 색마다의 어드레싱이 가능하도록 되어 있다. 또, 그 어드레싱에 의해 수직 방향의 화소에 대해서는 동시에 검출정보를 끄집어 낼수가 있도록 만들어져 있다. 지금, 소정의 순서로 수평 방향 어드레싱이 이루어지면 그 어드레스에 상당하는 화소의 각 색 필터 대응의 검출 정보가 동시에 끄집어내어져, 휘도 보정용 회로(600)의 각 색 대응, 각 수직 방향 대응의 회로로 입력되고, 휘도 보정부(700)에서 지정된 각 회로 정수에 따라서 변환을 받은 후, 3색 1조로 하여 1개의 AND회로(800)에 송출된다. 휘도보정부(700)은 3원색의 휘도 밸런스 보정이나, 피사계의 특성에 의존하는 휘도 보정, 휘도 레벨분해등을 실행하기 위한 회로 정수를 보정용 회로(600)에 설정한다.

휘도 보정후의 3원색 정보를 받은 AND회로(800)에서는 3원색이 전부 같은 범위에 있으면 ON정보를 출력하고, 1개라도 같은 범위가 아니면, OFF정보를 출력한다. ON-OFF정보는 2차원 거리 정보 추출부(900)에 입력되어 ON이면 피사점이 있다고 간주하여 발명의 개요에서 기술한 방법에 따라서 수평방향 어드레싱부(500)으로부터의 어드레스 정보를 이용해서 2차원 거리 정보를 추출한다. OFF이면 피사점은 없다고 간주하여 아무것도 하지 않는다.

이와 같이 해서 얻어진 모든 수직방향에 관한 2차원 거리 정보는 3차원 거리 정보 추출부(1000)으로 보내져서, 최종적으로 3차원 거리 정보로서 결정되어 출력된다.

본 실시예에 의하면, (1) 수직 방향에 관하여 병렬로 처리하므로 처리시간을 대폭 감소할 수 있다. (2) 전부를 하드웨어화 할 수 있으므로 생산성, 신뢰성이 높아짐과 동시에, 고속처리가 가능하게 된다. (3) 검출면이 칼라 촬상소자 1개로서 되기 때문에 간단하며, 저렴하게 만들 수 있는 등의 효과가 있다.

이상 기술한 바와 같이, 본 발명에 의하면, 처리시간이 짧고, 또한 피사계의 분포상황에 의존하는 원리적인 오차를 포함하지 않는, 3차원 스테레오 비젼 방법이 가능하다.

또, 이외에도 다음과 같은 효과가 있다.

(1) 눈의 개수와 배치를 적절하게 선택하는 것에 의해, 특이한 패턴을 가진 피사계에서도 정확한 스테레오 비젼이 가능하다.

(2) 결상의 위치 정보뿐만 아니라, 휘도, 색도등의 정보를 병용하는 것이나, 그들을 이용한 단계적 처리도 가능하게 되어, 정확화 및 고속화가 가능하게 된다.

(3) 전체를 한번에 처리하는 패턴 매칭의 방법과 달리, 특정한 거리 범위, 특정한 수평 방위각 범위, 특정한 수직 방위가 범위를 조사하고자 하는 순서로 지정하여 3차원 정보 추출이나, 피사점의 유무의 판단이 가능하며, 목적에 따라서 효율적인 사용 방법이 된다.

(4) 전체를 한번에 처리하는 패턴 매칭의 방법과 달리, 각 피사점마다 대응점 결정이 가능하기 때문에, 결상정보에 국부적인 오차가 가해졌어도, 그 오차를 3차원 거리 정보 추출에 있어서 국소 영역에 가두어 두는 것이 가능하며, 관계가 없는 피사점의 3차원 거리 정보 추출에까지 영향을 주는 일은 없다.

(5) 병렬처리를 병용하는 것에 의해, 처리를 보다 고속화 할 수 있다.

(6) 에지 추출등의 전처리를 실행하였을 경우는 휘선의 수가 감소하므로, 더욱 고속화가 가능하다.

(7) 결상계와 검출면은 적어도 논리적으로 3개 이상 있으면 좋기 때문에, 물리적으로는 1개의 결상계와 검출면을 시분할로 이용하는 등, 목적에 따라서 하드웨어의 물리적 구성을 선택할 수가 있다.

이와 같은 효과를 가진 본 발명은 광학계 뿐만 아니라, 전자파계, 음향계, 탄성파계, 전자빔등의 입자계(현미경등), 그외의 각종의 전자계에도 이용이 가능하다.

Claims

피사계의 적어도 세개의 피사체 영상이 각 결상 상황 검출 영역 위에 형성되도록 적어도 세개의 결상계를 이용하여 결상 상황 검출면 위에 피사계의 영상을 형성하는 스텝, 영상점 사이의 기하학적 배치 관계와 상기 결상계 자체 사이의 기하학적 배치 관계 사이 및 상기 결상계와 상기 결상 상황 검출 영역 사이에 존재하는 관계를 이용하여 상기 결상계에 의해 상기 각 결상 상황 검출 영역 위에 형성된 피사점의 영상점을 상관시키는 상과 스텝과 결상 상황 검출 영역 위의 적어도 두개의 대응 영상점의 위치에 대한 정보 및 상기 두개의 대응 영상점과 결상계 사이의 기하학적 배치 관계에 대한 정보를 이용하여 상기 피사점의 3차원 거리 정보를 얻는 스텝을 포함하며, 상기 영상점의 상관스텝은 상기 결상계의 공간 관계에 대응하는 공간 관계로 겹쳐 놓여진 각 가상 평면에 상기 각 결상 상황 검출 영역 위에 형성된 피사체 영상을 배치하여, 동일 직선위에 있는 가상평면 위의 피사체 영상의 영상점을 검출하는 스텝을 포함하는 3차원 거리 정보를 얻는 방법.
피사계의 적어도 세개의 피사체 영상이 각 결상 상황 검출 영역 위에 형성되도록 적어도 세개의 결상계를 이용하여 결상 상황 검출면 위에 피사계의 영상을 형성하는 스텝, 영상점 사이의 가하학적 배치 관계와 상기 결상계 자체 사이의 기하학적 배치 관계 사이 및 상기 결상계와 상기 결상 상황 검출 영역 사이에 존재하는 관계를 이용하여 상기 결상계에 의해 상기 각 결상 상황 검출 영역 위에 형성된 피사점의 영상점을 상관시키는 상과 스텝과 결상 상황 검출 영역 위의 적어도 두개의 영상점의 위치에 대한 정보 및 상기 두개의 대응 영상점과 결상계 사이의 기하학적 배치 관계에 대한 정보를 이용하여 상기 피사점의 3차원 거리 정보를 얻는 스텝을 포함하며, 상기 영상점의 상관 스텝은 각각의 제2 및 제3의 결상 상황 검출 영역내의 동일 피사점의 제2 및 제3의 영상점 사이의 거리에 대한 각각의 제1 및 제2의 결상 상황 검출 영역내의 피사점의 제1 및 제2의 영상점 사이의 거리의 비가 제2 및 제3의 결상계 사이의 거리에 대한 제1 및 제2의 결상계 사이의 거리의 비와 같은 관계를 만족하는 걱 결상 상황 검출 영역내의 영상점을 검출하는 스텝을 포함하는 3차원 거리 정보를 얻는 방법.
피사체의 적어도 세개의 피사체 영상이 결상 상황 검출면 위에 형성되도록 적어도 세개의 결상계를 이용하여 적어도 하나의 결상 상황 검출면에 피사체의 영상을 형성하는 스텝, 형상이 상기 적어도 세개의 결상계를 연결하여 형성되고, 상기 형성과 결상 상황 검출면 사이에 배치된 닮은꼴의 형상을 형성하도록 상기 형상이 닮은꼴의 모양을 유지하면서 상기 경상 상황 검출면을 향해 평행하게 움직이는 기하학적 관계를 이용하는 것에 의해, 그 각각이 상기 닮은꼴의 형상의 대응 정점과 상기 형상의 정점을 통과하는 직선과 상기 결상 상황 검출면의 교차점상에 존재하는 피사점에 대응하고 상기 결상 상황 검출면 위에 형성되는 상기 영상의 영상점과 상기 피사체 위의 피사점 사이의 대응을 결정하는 스텝과 임의의 피사점에 대응하는 상기 결상 상황 검출면 위에 형성된 적어도 두개의 상기 영상점의 위치에 대한 정보 및 상기 두개의 대응 영상점과 상기 결상계 사이의 기하학적 배치 관계에 대한 정보를 이용하여 상기 피사점의 3차원 거리 정보를 얻는 스텝을 포함하는 3차원 거리 정보를 얻는 방법.
특허청구의 범위 제1항에 있어서, 상기 결상 상황 검출 영역의 각각은 동일한 1차원 결상 상황 검출면 위에 형성되는 3차원 거리 정보를 얻는 방법.
특허청구의 범위 제1항에 있어서, 단일 결상계 및 단일 결상 상황 검출면은 적어도 세개의 다른 위치에 연속하여 고정되고, 상기 피사계의 영상은 상기 결상 상황 검출면 위에 형성된 영상 데이타를 이용하여 적어도 세개의 피사체 영상을 만들도록 상기 결상 상황 검출면 위에 형성되는 3차원 거리 정보를 얻는 방법.
특허청구의 범위 제1항에 있어서, 단일 경상계는 상기 피사계의 영상이 적어도 결상 상황 검출면의 각각 위에 형성될 수 있도록 다른 위치에 연속하여 고정되는 3차원 거리 정보를 얻는 방법.
특허청구의 범위 제1항에 있어서, 상기 결상계는 직선 위에 배열되는 3차원 거리 정보를 얻는 방법.
특허청구의 범위 제1항에 있어서, 상기 결상계는 평면에 배열되는 3차원 거리 정보를 얻는 방법.
특허청구의 범위 제1항에 있어서, 상기 결상계는 곡면에 배열되는 3차원 거리 정보를 얻는 방법.
특허청구의 범위 제1항에 있어서, 상기 결상계는 등간격으로 직선 위에 배열되는 3차원 거리 정보를 얻는 방법.
특허청구의 범위 제3항에 있어서, 상기 적어도 세개의 결상계가 상기 검출면과 평행인 선위에 배열될 때, 상기 대응의 결정은 근접한 결상계의 거리 사이의 비가 임의의 피사점에 대응하는 영상점의 거리비와 동일한 기하학적 관계를 이용하는 것에 의해 이루어지는 3차원 거리 정보를 얻는 방법.
특허청구의 범위 제3항에 있어서, 상기 적어도 세개의 결상계는 상기 결상 상황 검출면에 대해 수직인 공통평면 위에 배열되는 3차원 거리 정보를 얻는 방법.
특허청구의 범위 제3항에 있어서, 상기 적어도 세개의 결상계는 임의의 피사점에 대응하는 모든 영상점이 상기 결상 상황 검출면 위에서 평면위에 형성된 상기 형상과 닮은꼴인 도형의 정점위에 존재하도록 상기 결상 상황 검출면과 평행으로 공통 평면위에 배열되는 3차원 거리 정보를 얻는 방법.
피사계의 적어도 세개의 피사체 영상이 각 결상 상황 검출 영역 위에 형성되도록 적어도 세개의 결상계를 이용하여 결상 상황 검출면 위에 피사계의 영상을 형성하는 스텝, 영상점 시이의 기하학적 배치 관계와 상기 결상계 자체 사이의 기하학적 배치 관계 사이 및 상기 결상계와 상기 결상 상황 검출 영역 사이에 존재하는 관계를 이용하여 상기 결상계에 의해 상기 각 결상 상황 검출 영역 위에 형성된 피사점의 영상점을 상관시키는 상관 스텝과 결상 검출 영역 위의 적어도 두개의 대응 영상점의 위치에 대한 정보 및 상기 두개의 대응 영상점과 결상계 사이의 기하학적 배치 관계에 대한 정보를 이용하여 상기 피사점의 3차원 거리정보를 얻는 스텝을 포함하며, 상기 결상계는 정다각형을 형성하기 위해 평면에 배열되는 3차원 거리 정보를 얻는 방법.
피사계의 적어도 세개의 피사체 영상이 각 결상 상황 검출 영역 위에 형성되도록 적어도 세개의 결상계를 이용하여 결상 상황 검출면 위에 피사체의 영상을 형성하는 스텝, 영상점 사이의 기하학적 배치 관계와 상기 결상계 자체 사이의 기하학적 배치 관계 사이 및 상기 결상계와 상기 결상 상황 검출 영역 사이에 존재하는 관계를 이용하여 상기 결상계에 의해 상기 각 결상 상황 검출 영역 위에 형성된 피사점의 영상점을 상관시키는 상과 스텝과 결상 상황 검출 영역 위의 적어도 두개의 대응 영상점의 위치에 대한 정보 및 상기 두개의 대응 영상점과 결상계 사이의 기하학적 배치 관계에 대한 정보를 이용하여 상기 피사점의 3차원 거리 정보를 얻는 스텝을 포함하며, 상기 결상계는 무작위로 직선 위에 배열되는 3차원 거리 정보를 얻는 방법.
피사계의 적어도 세개의 피사체 영상이 각 결상 상황 영역 위에 형성되도록 적어도 세개의 결상계를 이용하여 결상 상황 검출면 위에 피사계의 영상을 형성하는 스텝, 영상점 사이의 기하학적 배치 관계와 상기 결상계 자체 사이의 기하학적 배치 관계 사이 및 상기 결상계와 상기 상황 검출 영역 사이에 존재하는 관계를 이용하여 상기 결상계에 의해 상기 각 결상 상황 검출 영역 위에 형성된 피사점의 영상을 상관시키는 상관 스텝과 결상 상황 검출 영역 위의 적어도 두개의 대응 영상점의 위치에 대한 정보 및 상기 두개의 대응 영상점과 결상계 사이의 기하학적 배치 관계에 대한 정보를 이용하여 상기 피사점의 3차원 거리 정보를 얻는 스텝을 포함하며, 상기 결상계는 일반 다각형을 형성하기 위해 평면에 배열되는 3차원 거리 정보를 얻는 방법.
피사계의 적어도 세개의 영상이 각결상 상황 검출 영역 위에 형성되도록 적어도 세개의 결상계를 이용하여 결상 상황 검출면 위에 피사계의 영상을 형성하는 스텝, 영상점 기하학적 배치 관계와 상기 결상계 자체 사이의 기하학적 배치 관계 사이의 상기 결상계와 상기 결상 상황 검출 영역 사이에 존재하는 관계를 이용하여 상기 결상계에 의해 상기 각 결상 상황 검출 영역에 형성된 피사점의 영상점을 상관시키는 상관 스텝과 결상 상황 검출 영역 위의 적어도 두개의 대응 영상점의 위치에 대한 정보 및 상기 두개의 대응 영상점과 결상계사이의 기하학적 배치 관계에 대한 정보를 이용하여 상기 피사점의 3차원 거리정보를 얻는 스텝을 포함하며, 상기 결상계는 상기 결상 상황 검출면에 대해서 평행인 평면에 배열되는 3차원 거리 정보를 얻는 방법.
피사계의 적어도 세개의 피사체 영상이 각 결상 상황 검출 영역위에 형성되도록 적어도 세개의 결상계를 이용하여 결상 상황 검출면 위에 피사계의 영상을 형성하는 스텝, 영상점 사이의 기하학적 배치 관계와 상기 결상계 자체 사이의 기하학적 배치관계 사이 및 상기 결상계와 상기 결상 상황 검출 영역 사이에 존재하는 관계를 이용하여 상기 결상계에 의해 상기 각 결상 상황 검출 영역위에 형성된 피사점의 영상점을 상관시키는 상관 스텝과 결상 상황 영역위의 적어도 두개의 대응 영상점의 위치에 대한 정보 및 상기 두개의 대응 영상점과 결상계 사이의 기하학적 배치 관계에 대한 정보를 이용하여 상기 피사점의 3차원 가리 정보를 얻는 스텝을 포함하며, 상기 결상계는 상기, 결상 상황 검출면에 대해서 비스듬한 평면에 배열되는 3차원 거리 정보를 얻는 방법.
피사계의 적어도 세개의 피사체 영상이 각 결상 상황 검출영역 위에 형성되도록 적어도 세개의 결상계를 이용하여 결상 상황 검출면 위에 피사계의 영상을 형성하는 스텝, 영상점 사이의 기하학적 배치 관계와 상기 결상계 자체 사이의 기하학적 배치 관계 사이 및 상기 결상 상황 검출 영역 사이에 존재하는 관계를 이용하여 상기 결상계에 의해 상기 각 결상 상황 검출 영역 위에 형성된 피사점의 영상점을 상관시키는 상관 스텝과 결상 상황 검출 영역 위의 적어도 두개의 대응 영상점의 위치에 대한 정보 및 상기 두개의 대응 영상점과 결상계 사이의 기하학적 배치 관계에 대한 정보를 이용하여 상기 피사점의 3차원 거리 정보를 얻는 스텝을 포함하며, 상관점에 대한 수직 방위각의 범위에 대응하는 다수의 처리는 병렬로 실행되는 3차원 거리정보를 얻는 방법.
피사계의 적어도 세개의 영상이 각 결상 상황 검출 영역위에 형성되도록 적어도 세개의 결상계를 이용하여 결상 상황 검출면 위에 피사계의 영상을 형성하는 스텝, 영상점 사이의 기하학적 배치 관계와 상기 결상계 자체 사이의 기하학적 배치 관계 사이 및 상기 결상계와 상기 결상 상황 검출 영역 사이에 존재하는 관계를 이용하여 상기 결상계에 의해 상기 각 결상 상황 검출 영역 위에 형성된 피사점의 영상점을 상관시키는 상관 스텝과 결상 상황 검출 영역위의 적어도 두개의 대응 영상점의 위치에 대한 정보 및 상기 두개의 대응 영상점과 결상계 사이의 기하학적 배치 관계에 대한 정보를 이용하여 상기 피사점의 3차원 거리 정보를 얻는 스텝을 포함하며, 상관점에 대한 수직 방위각의 범위 및 수평 방위각의 범위에 대응하는 다수의 처리는 병렬로 실행되는 3차원 거리 정보를 얻는 방법.
피사계의 적어도 세개의 피사체 영상이 각 결상 상황 검출 영역 위에 형성되도록 적어도 세개의 결상계를 이용하여 결상 상황 검출 면위에 피사계의 영상을 형성하는 스텝, 영상점 사이의 기하학적 배치 관계와 상기 결상계 자체 사이의 기하학적 배치 관계 사이 및 상기 결상계와 상기 결상 상황 검출 영역 사이에 존재하는 관계를 이용하여 상기 결상계에 의해 상기 각 결상 상황 검출 영역위에 형성된 피사점의 영상점을 상관시키는 상관 스텝과 결상 상황 검출 영역위의 적어도 두개의 대응 영상점의 위치에 대한 정보 및 상기 두개의 대응 영상점과 결상계 사이의 기학적 배치 관계에 대한 정보를 이용하여 상기 피사점의 3차원 거리 정보를 얻는 스텝을 포함하며, 대응점은 수직방위각의 한정 범위 및 수평 방위각의 한정범위내에서 결정되는 3차원 거리 정보를 얻는 방법.
피사계의 적어도 세개의 피사체 영상이 각 결상 상황 검출 영역 위에 형성되도록 적어도 세개의 결상계를 이용하여 결상 상황 검출면 위에 피사계의 영상을 형성하는 스텝, 영상점 사이의 기학적 배치 관계와 상기 결상계 자체 사이의 기하학적 배치 관계 사이 및 상기 결상계와 상기 결상 상황 검출 영역 사이에 존재하는 관계를 이용하여 상기 결상계에 의해 상기 각 결상 상황 검출 영역 위에 형성된 피사점의 영상점을 상관시키는 상관 스텝과 결상 상황 검출 영역위의 적어도 두개의 대응 영상점의 위치에 대한 정보 및 상기 두개의 대응 영상점과 결상계 사이의 기하학적 배치 관계에 대한 정보를 이용하여 상기 피사점의 3차원 거리 정보를 얻는 스텝을 포함하며, 수직방위각의 다수의 한정범위 및 수평 방위 각의 다수의 한정범위는 바라는 순서대로 지정되고, 대응점은 수직방위각의 각각의 지정된 범위 및 한정된 범위 내에서 얻어지며, 또한 수평 방위각의 각각의 지정된 범위 및 한정된 범위 내에서 얻어지는 3차원 거리 정보를 얻는 방법.
피사계의 적어도 세개의 피사체 영상이 각 결상 상황 검출 영역위에 형성되도록 세개의 결상계를 이용하여 결상 상황 검출면위에 피사계의 영상을 형성하는 스텝, 영상점 사이의 기하학적 배치 관계와 상기 결상계 자체 사이의 기하학적 배치 관계 사이 및 상기 결상계와 상기 결상 상황 검출 영역사이에 존재하는 관계를 이용하여 상기 결상계에 의해 상기 각 결상 상황 검출 영역위에 형성된 피사점의 영상점을 상관시키는 상관 스텝과 결상 상황 검출 영역 위의 적어도 두개의 대응 영상점의 위치에 대한 정보 및 상기 두개의 대응 영상점과 피사계 사이의 기하학적 배치 관계에 대한 정보를 이용하여 상기 피사점의 3차원 거리 정보를 얻는 스텝을 포함하며, 비실재 피사점에 대응하는 영상점은 상기 결상 상황 검출 영역위에서 얻어진 휘도 정보에 따라 제거되는 3차원 거리 정보를 얻는 방법.
3원색에 대응하고, 서로 공간을 두고 떨어져 있으며, 피사계로부터의 빛을 세개의 광 수단으로 분할하는 세개의 색 필터링 수단, 상기 색 필터링 수단에서 받은 상기 피사계의 상기 광빔을 이용하여 피사계의 영상을 형성하는 결상계, 상기 세개의 광빔을 분리하여 검출하기 위해서, 칼라 촬상 소자를 형성하고 또한 수평 방향으로 주사하고 이 스텝은 화소에 수평 방향으로 반복하여 세개의 색 필터가 놓여지도록, 상기 세개의 색 필터링 수단에 대응하는 세종류의 색 필터가 마련되어 잇는 상기 칼라 촬상소자로 형성된 결상 검출 수단, 상기 세개의 색 필터링 수단에서의 상기 결상계의 축에 대해 평행하게 하고, 상기 광축이 서로에 대해 편향하도록 상기 광선의 광축을 상기 칼라 촬상소자의 수평 화소층에 평행인 방향으로 나란히 놓으며, 상기 세개의 색 필터링 수단의 각각과 상기 결상 검출 수단의 결상 상황 검출면사이에 동일한 광로 길이를 마련하는 광편향 수단, 상기 세개의 색 필터가 마련되어 있는 세개의 화소를 각각 구비하는 다수의 화소군이 소정의 순서로 연속하여 어드레스되고, 또한 각 화소군의 상기 세개의 화소의 출력이 동시에 끄집어 내어지도록, 상기 칼라 촬상 소자의l수평 화소층에 포함되는 화소에서 정보를 끄집어 내는 수평 어드레싱 수단, 상기 세개의 색 필터링 수단에서의 상기 세개의 광빔이 상기 수평 어드레싱 수단에 의해 어드레스된 수평 화소 층의 세개의 화소에서 소정의 범위내의 휘도값을 가질 때 ON정보를 나타내고, 상기 세개의 광빔중 적어도 하나가 상기 세개의 화소중 하나에서 소정의 범위내의 휘도 값을 갖지 않을 때 OFF정보를 나타내는 검출수단, 상기 결상 상황 검출면에서 상기 피사계까지의 수직거리(안길이 거리) 및 적어도 하나의 수평 방위각을 구비하는 2차원 거리 정보를 상기 칼라 촬상 소자위의 수평 어드레스 정보에서 얻는 2차원 거리 정보 추출수단과 상기 칼라 촬상 소자위의 수직 어드레스 정보를 이용하여, 상기 피사계의 상기 2차원의 거리 정보 및 수직 방위각을 구비하는 3차원 거리 정보를 얻는 3차원 거리 정보 추출수단을 포함하는 3차원 거리 정보를 얻는 장치.
특허청구의 범위 제46항에 있어서, 또 하나의 화소군내에 포함되고 상기 세개의 색 필터가 마련되어 있는 세개의 화소의 출력에 대해 휘도 보정부를 실행하는 휘도 보정부를 포함하는 3차원 거리 정보를 얻는 장치.
특허청구의 범위 제46항에 있어서, 윤곽추출 소자가 상기 결상 상황 검출면의 앞에 놓이는 3차원 거리 정보를 얻는 장치.
특허청구의 범위 제46항에 있어서, 상기 세개의 광빔을 분리하여 검출하는 세개의 편광자 및 세개의 검광자는 상기 세개의 색 필터링 수단 및 상기 세개의 색 필터 수단의 기능과 동일한 기능을 각각 실행하는 3차원 거리 정보를 얻는 장치.
3원색에 대응하고, 서로 공간을 두고 떨어져 있으며, 피사계로부터의 빛을 세개의 광수단으로 분할하는 세개의 색 필터링 수단, 상기 색 필터링 수단에서 받은 상기 피사계의 상기 광빔을 이용하여 피사계의 영상을 형성하는 결상계, 상기 세개의 광빔을 분리하여 검출하기 위해서, 칼라 촬상 소자를 형성하고 또한 수평 방향으로 주사하고 있는 화소에 수평방향으로 반복하여 세개의 색 필터가 놓여지도록, 상기 세개의 색 필터링 수단에 대응하는 세종류의 색 필터가 마련되어 있는 상기 칼라 촬살소자로 형성된 결상 검출 수단, 상기 세개의 색 필터링 수단에서의 상기 광빔의 광축을 상기 결상계의 축에 대해 평행하게 하고, 상기 광축이 서로에 대해 편향하도록 상기 광선의 상기 광축을 상기 칼라 촬상 소자의 수평 화소층에 평행인 방향으로 나란히 놓으며, 상기 세개의 색 필터링 수단의 각각과 상기 결상검출수단의 결상 상황 검출면사이에 동일한 광로길이를 마련하는 광편향 수단, 상기 세개의 색 필터가 마련되어 있는 세개의 화소를 각각 구비하는 다수의 화소군이 소정의 순서로 연속하여 어드레스되고, 또한 각 화소군의 상기 세개의 화소의 출력이 동시에 끄집어 내어지도록 상기 칼라 촬상 소자의 수평 화소층에 포함되는 화소에서 정보를 끄집어내는 수평 어드레싱 수단, 상기 세개의 색 필터링 수단에서의 상기 세개의 광빔이 상기 수평 어드레싱 수단에 의해 어드레스 된 수평 화소층의 이들 세개의 소정의 화소에서 소정의 범위내의 휘도값을 가질 때 ON정보를 나타내고, 상기 세개의 광빔 중 적어도 하나가 상기 세개의 화소중 하나에서 소정의 범위 내의 휘도값을 갖지 않을 때 OFF정보를 나타내는 검출수단, 상기 칼라 촬상 소자위의 수평 어드레스 정보에서, 두개의 수평방위각을 구비하는 2차원 거리 정보를 얻는 2차원 거리 정보 추출수단과 상기 칼라 촬상소자위의 수직 어드레스 정보를 이용하여, 상기 피사계의 상기 2차원 거리 정보 및 수직 방위각을 구비하는 3차원 거리 정보를 얻는 3차원 거리 정보를 얻는 장치.