JPH0843055A - Method and apparatus for recognizing shape of three dimensional object - Google Patents

Method and apparatus for recognizing shape of three dimensional object

Info

Publication number
JPH0843055A
JPH0843055A JP6178569A JP17856994A JPH0843055A JP H0843055 A JPH0843055 A JP H0843055A JP 6178569 A JP6178569 A JP 6178569A JP 17856994 A JP17856994 A JP 17856994A JP H0843055 A JPH0843055 A JP H0843055A
Authority
JP
Japan
Prior art keywords
dimensional object
image
distance
imaging method
horizontal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP6178569A
Other languages
Japanese (ja)
Inventor
Toshiaki Kondo
俊明 近藤
Katsumi Iijima
克己 飯島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP6178569A priority Critical patent/JPH0843055A/en
Priority to US08/457,397 priority patent/US6118475A/en
Publication of JPH0843055A publication Critical patent/JPH0843055A/en
Pending legal-status Critical Current

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

PURPOSE:To accurately measure three dimensional shape of an object. CONSTITUTION:Two cameras 10 and 20 are used. A distance DS to a subject is obtained from the picked-up stereo images at a distance-measuring part 70 according to a stereo measuring method. Meanwhile, distance data DR and DL are obtained at front and rear stereo distance-measuring parts 60 and 80 according to a front and rear stereo measuring method while the distance to the subject is changed. A total processing part 90 processes each data DS, DR, DL through a weighted mean treatment in accordance with the respective reliability, thereby to obtain an ultimate distance to the subject. Accordingly, a three- dimensional shape of the subject can be highly accurately and stably measured with the measuring results according to two methods compensated each other.

Description

【発明の詳細な説明】Detailed Description of the Invention

【０００１】[0001]

【産業上の利用分野】本発明は、画像データから環境、
障害物、地形、工業製品等を非接触に計測、認識する３
次元物体形状認識方法及び装置に関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention
Non-contact measurement and recognition of obstacles, terrain, industrial products, etc. 3
The present invention relates to a three-dimensional object shape recognition method and apparatus.

【０００２】[0002]

【従来の技術】従来、画像データを用いた３次元物体形
状認識方法及び装置としては、対象物体を異なる視点か
ら撮像した複数の画像データにおける当対象物体の各点
の対応関係から求まる空間的な位置情報を用いて、三角
測量の原理に従って、認識、計測する方法、いわゆる多
視点撮像法が広く活用されている。この多視点撮像法に
は、単眼で視点を変えて撮像した時系列画像データを用
いて、擬似的に多視点撮像法を実現する方法もある。2. Description of the Related Art Conventionally, as a three-dimensional object shape recognition method and apparatus using image data, a spatial method obtained from a correspondence relationship between respective points of the target object in a plurality of image data obtained by imaging the target object from different viewpoints. A method of recognizing and measuring by using position information according to the principle of triangulation, a so-called multi-view imaging method is widely used. In this multi-viewpoint imaging method, there is also a method of quasi-realizing the multi-viewpoint imaging method by using time-series image data taken by changing the viewpoint with a single eye.

【０００３】ここで、上記多視点撮像法（あるいは多視
点測距法）のうち、２台の撮像装置（以下、カメラと言
う）を水平に配置した通常のステレオ撮像法の測距原理
と１台のカメラを光軸方向に前後に移動させて撮像した
画像データを利用する前後（視差）ステレオ測距法の測
距原理を、それぞれ図１０、図１１を用いて説明する。
なお、前者は〔特許請求の範囲〕記載の水平／垂直面内
視差型の多視点撮像法の基本原理に相当し、後者は〔特
許請求の範囲〕記載の前後視差型の多視点撮像法の基本
原理に相当する。Here, of the multi-viewpoint imaging method (or multi-viewpoint distance measuring method), the distance measuring principle of a normal stereo image pickup method in which two image pickup devices (hereinafter, referred to as cameras) are horizontally arranged and 1 The distance measurement principle of the front-back (parallax) stereo distance-measuring method using image data obtained by moving the two cameras back and forth in the optical axis direction will be described with reference to FIGS. 10 and 11, respectively.
The former corresponds to the basic principle of the horizontal / vertical in-plane parallax type multi-viewpoint imaging method described in [Claims], and the latter corresponds to the front-back parallax type multi-viewpoint imaging method described in [Claims]. It corresponds to the basic principle.

【０００４】また、ここで上記“水平／垂直面内視差型
の多視点撮像法”とは、例えば人間の目やステレオ撮像
装置のごとく、被写体に対して平行に異なる視点から撮
像した画像を用いて、三角測量則に従い被写体の認識を
行うものである。以後、簡単のため、単に“ステレオ撮
像法”あるいは“ステレオ測距法”と書く。一方、上記
“前後視差型の多視点撮像法”とは、カメラの光軸を変
化させずにこの光軸に沿って前後に異なる視点から撮像
した画像を用いるものである。以後、本手法を簡単のた
め“前後ステレオ撮像法”あるいは“前後ステレオ測距
法”と書く。Further, the "horizontal / vertical in-plane parallax type multi-viewpoint imaging method" used here is an image picked up from different viewpoints parallel to an object, such as human eyes or a stereo imaging device. Then, the object is recognized according to the triangulation rule. Hereinafter, for the sake of simplicity, simply referred to as “stereo imaging method” or “stereo distance measuring method”. On the other hand, the "front-back parallax multi-viewpoint imaging method" uses images captured from different viewpoints in the front and back along the optical axis of the camera without changing the optical axis of the camera. Hereinafter, this method will be referred to as “front and rear stereo imaging method” or “front and rear stereo distance measuring method” for simplicity.

【０００５】図１０は、ステレオ測距法の基本原理、三
角測量の原理を説明するための図である。図中の記号
Ｄ，ｆ，Ｂ，ｈL ，ｈR は、それぞれ被写体距離、焦点
距離、基線長、左撮像系における物体（対象物体）の撮
像位置、そして右撮像系における物体の撮像位置を示し
ている。同図より、以下の幾何学的関係が成立すること
は自明である。即ち、 （ｈR −ｈL ）：ｆ＝Ｂ：（Ｄ−ｆ） …………………… （１） （１）式を被写体距離Ｄに関して解けば、 Ｄ＝｛（Ｂ・ｆ）／（ｈR −ｈL ）｝＋ｆ …………………… （２） となる。（２）式中、Ｂ，ｆは定数で既知であるから、
被写体距離Ｄを求めるためには、撮像面上の視差（ｈR
−ｈL ）を検出する必要がある。このために、通常、相
関演算に基づくマッチング法や勾配法（ｃｆ．特公昭６
０−４６８７８号公報）等の画像処理が行われる。FIG. 10 is a diagram for explaining the basic principle of the stereo distance measuring method and the principle of triangulation. Symbols D, f, B, h L , and h R in the figure represent the subject distance, the focal length, the base line length, the imaging position of the object (target object) in the left imaging system, and the imaging position of the object in the right imaging system, respectively. Shows. From the figure, it is obvious that the following geometric relationship holds. That is, (h R −h L ): f = B: (D−f) (1) If the equation (1) is solved for the subject distance D, D = {(B · f) / (H R −h L )} + f …………………… (2) In the equation (2), B and f are constants and known,
To obtain the subject distance D, the parallax (h R
-H L ) needs to be detected. For this reason, a matching method and a gradient method (cf.
0-46878) and the like.

【０００６】次に図１１を用いて、上記前後（視差）ス
テレオ測距法の測距原理を説明する。図１１中、Ｈ，
Ｄ，Ｄ′，ｈ，ｈ′，ｆのうち、Ｈは被写体の注目点か
ら光軸までの高さ、Ｄ，Ｄ′は被写体と撮像面との距離
で、カメラがより被写体に近づいた時の距離がＤ、遠い
時の距離がＤ′である。またＤ，Ｄ′の時の撮像面上に
おける結像点がｈ，ｈ′で、焦点距離がｆである。この
図１１の幾何学的関係から、Next, the principle of distance measurement of the front-back (parallax) stereo distance measuring method will be described with reference to FIG. In FIG. 11, H,
Of D, D ', h, h', and f, H is the height from the point of interest of the subject to the optical axis, and D, D'is the distance between the subject and the imaging surface, when the camera is closer to the subject. Is D, and the distance when it is far is D '. Further, when D and D ', the image forming points on the image pickup surface are h and h', and the focal length is f. From the geometrical relationship of FIG. 11,

【０００７】 Ｈ：（Ｄ−ｆ）＝ｈ：ｆ …………………… （３） Ｈ：（Ｄ′−ｆ）＝ｈ′：ｆ …………………… （４） が成り立つ。 （３）式より、Ｈ・ｆ＝ｈ・（Ｄ−ｆ） …………………… （５） （４）式より、Ｈ・ｆ＝ｈ′・（Ｄ′−ｆ） …………………… （６） となる。ここで（５）＝（６）であるから、H: (D−f) = h: f ……………… (3) H: (D′−f) = h ′: f ……………… (4) It holds. From the equation (3), H · f = h · (D−f) ……………… (5) From the equation (4), H · f = h ′ · (D′−f) …… …………… (6) Since (5) = (6) here,

【０００８】 ｈ・（Ｄ−ｆ）＝ｈ′・（Ｄ′−ｆ） …………………… （７） である。今、カメラの移動量（前後差）（Ｄ′−Ｄ）は
既知であるとする。この前後差（Ｄ′−Ｄ）をＢとおい
て、（７）式をＤについて解くと、H · (D−f) = h ′ · (D′−f) (7) Now, it is assumed that the movement amount (difference between front and rear) (D'-D) of the camera is known. When this front-back difference (D'-D) is set to B and equation (7) is solved for D,

【０００９】 ｈ・（Ｄ−ｆ）＝ｈ′・（Ｄ′−ｆ） ＝ｈ′・｛（Ｂ＋Ｄ）−ｆ｝ だから、 Ｄ＝｛（Ｂ・ｈ′）／（ｈ−ｈ′）｝＋ｆ …………………… （８）H · (D−f) = h ′ · (D′−f) = h ′ · {(B + D) −f} Therefore, D = {(B · h ′) / (h−h ′)} + F ………………………… (8)

【００１０】を得る。従って、（８）式より、注目点の
撮像面上の移動量（ｈ−ｈ′）が求まれば、被写体まで
の距離Ｄを計算することができる。To obtain Therefore, if the amount of movement (h-h ') of the point of interest on the imaging surface is obtained from the equation (8), the distance D to the subject can be calculated.

【００１１】以上、図１０、図１１を用いて左右視差の
ステレオ測距法及び前後視差のステレオ測距法の測距原
理についてそれぞれ説明した。（２），（８）式より、
いずれの場合についても左右画像あるいは前後画像間の
各点の対応付け問題に帰着することが判る。The distance measuring principles of the stereo distance measuring method for left and right parallax and the stereo distance measuring method for front and rear parallax have been described above with reference to FIGS. 10 and 11. From equations (2) and (8),
It can be seen that in both cases, the problem of associating each point between the left and right images or the front and rear images results.

【００１２】[0012]

【発明が解決しようとする課題】しかしながら、上記従
来例では、画像データを用いた対応点探索をするので、
画像内に十分な特徴が無い場合、あるいは逆に細かい周
期パターンのような高周波成分が多い場合などで十分な
精度が得られないという欠点がある。また、異なる視点
から得た画像を用いるので、一方では写っているが、他
方では隠れている領域が必ず存在し、当領域においては
対応点が存在していないので、原理的に測距できないと
いう欠点がある。このように、画像データを用いた対応
点探索の精度は、注目点を中心とする周辺の画像データ
の特性に直接影響を受けるので、計測結果は不確実で不
安定であるという問題がある。However, in the above conventional example, since the corresponding points are searched using the image data,
There is a drawback that sufficient accuracy cannot be obtained when there are not enough features in the image or conversely when there are many high frequency components such as a fine periodic pattern. In addition, since images obtained from different viewpoints are used, on the one hand there is always a hidden area, but on the other hand there is always a hidden area, and there is no corresponding point in this area, so it is theoretically impossible to measure the distance. There are drawbacks. As described above, the accuracy of the corresponding point search using the image data is directly influenced by the characteristics of the peripheral image data centering on the target point, so that there is a problem that the measurement result is uncertain and unstable.

【００１３】さらに前後（視差）ステレオ測距法に関し
ては、上記問題に加え、対応付けをする画像間でパター
ンの倍率が異なることによる精度劣化という問題があ
る。またさらに、前後の視点位置が大きくなると変倍率
も大きくなり、左・右又は上・下のカメラで入力された
画像間で共通視野領域が小さくなり、測距可能範囲が小
さくなる、分解能が低下する等の問題がある。In addition to the above-mentioned problems, the front-back (parallax) stereo distance measuring method has a problem that the accuracy is deteriorated due to the difference in the pattern magnification between the images to be associated with each other. Furthermore, the magnification increases as the front and rear viewpoint positions increase, the common field of view decreases between the images input by the left and right or the upper and lower cameras, the range that can be measured decreases, and the resolution decreases. There is a problem such as doing.

【００１４】本発明は以上の問題に鑑みて成されたもの
で、請求項１、８の発明の目的は、物体の３次元形状計
測の動作の精度、確実性、安定性を増し、３次元物体形
状認識方法及び装置の信頼性を高めることにある。The present invention has been made in view of the above problems, and an object of the inventions of claims 1 and 8 is to increase the accuracy, reliability, and stability of the operation of measuring the three-dimensional shape of an object, thereby increasing the three-dimensional shape. It is to improve the reliability of the object shape recognition method and apparatus.

【００１５】請求項２、９の発明の目的は、前後ステレ
オ撮像法の精度を向上させることにある。An object of the inventions of claims 2 and 9 is to improve the accuracy of the front-rear stereo imaging method.

【００１６】請求項３、１０の発明の目的は、水平／垂
直面内視差型の多視点撮像法により求まった被写体距離
を利用して、前後視差型の多視点撮像法で利用する変倍
された画像間の倍率補正をすることにより、前後視差型
の多視点撮像法による測距精度を向上させることにあ
る。It is an object of the inventions of claims 3 and 10 to utilize the object distance obtained by the horizontal / vertical in-plane parallax type multi-viewpoint imaging method to perform scaling with the front-back parallax type multi-viewpoint imaging method. Another object is to improve the distance measurement accuracy by the front-back parallax multi-viewpoint imaging method by correcting the magnification between the images.

【００１７】請求項４、１１の発明の目的は、前後視差
型の多視点撮像法で利用する変倍された画像間の対応付
けに、パターンの変倍に強いＦｏｕｒｉｅｒ−Ｍｅｌｌ
ｉｎ変換法を利用することにより、前後視差型の多視点
撮像法による測距精度を向上させることにある。It is an object of the inventions of claims 4 and 11 to associate the scaled images used in the front-back parallax type multi-viewpoint imaging method with a Fourier-Mell that is strong against the scaling of the pattern.
The in-conversion method is used to improve the ranging accuracy by the front-back parallax multi-viewpoint imaging method.

【００１８】請求項５、１２の発明の目的は、入力画像
の斜め方向の空間勾配成分と水平／垂直方向の空間勾配
成分とに分離するフィルタを設けて、各々の成分を画像
の平行移動を検出することが主たる働きとなる水平／垂
直面内視差型の多視点撮像部と、画像の放射状の動きを
検出することが主たる働きとなる前後視差型の多視点撮
像部とにそれぞれ供給することにより、両手法の測距精
度を向上させることにある。It is an object of the present invention to provide a filter for separating a spatial gradient component in an oblique direction and a spatial gradient component in a horizontal / vertical direction of an input image, each component being translated in the image. Supplying to a horizontal / vertical in-plane parallax type multi-viewpoint imaging unit whose main function is to detect and a front-to-back parallax type multi-viewpoint imaging unit whose main function is to detect radial movement of an image. Therefore, the distance measurement accuracy of both methods is improved.

【００１９】請求項６、１３の発明の目的は、前後ステ
レオ撮像法及びステレオ測距法おのおのの測距精度を逐
次高めていくことにより、様々な要求精度にフレキシブ
ルに対応できる自由度の高い被写体の３次元形状認識方
法及び装置を実現することにある。It is an object of the sixth and thirteenth aspects of the present invention to provide a highly flexible subject that can flexibly meet various required precisions by successively increasing the ranging accuracy of each of the front-rear stereo imaging method and the stereo ranging method. To realize the three-dimensional shape recognition method and apparatus.

【００２０】請求項７、１４の目的は、単位時間（画像
サンプル時間）に比して前後進移動量が大きくなり、有
効な画像領域が狭くなった時でも、左右あるいは上下に
配置された複数のカメラで共通の被写体を撮像できるよ
うに上記複数のカメラを被写体に指向させて、例えば高
速に走行する自律走行車にも適用できるようにすること
にある。The object of claims 7 and 14 is to arrange a plurality of images arranged horizontally or vertically even when the amount of forward and backward movement is large compared to the unit time (image sample time) and the effective image area is narrowed. It is intended to direct the plurality of cameras to a subject so that a common subject can be imaged by the camera, so that it can be applied to, for example, an autonomous vehicle that travels at high speed.

【００２１】[0021]

【課題を解決するための手段】上記目的を達成するため
に、請求項１、８の発明はステレオ測距法と前後ステレ
オ測距法とを組み合わせることを特徴とする。In order to achieve the above object, the inventions of claims 1 and 8 are characterized in that a stereo distance measuring method and a front and rear stereo distance measuring method are combined.

【００２２】請求項２、３、９、１０の発明では、画像
の倍率補正を行うことを特徴とする。The inventions of claims 2, 3, 9 and 10 are characterized in that the magnification of the image is corrected.

【００２３】請求項４、１１の発明では、前後ステレオ
測距法における対応付けにフーリエ・メラン変換法を利
用することを特徴とする。The inventions of claims 4 and 11 are characterized in that the Fourier-Melan transform method is used for association in the front-back stereo distance measuring method.

【００２４】請求項５、１２の発明では、画像の水平／
垂直方向の空間勾配成分と斜め方向の空間勾配成分に分
離するフィルタを有することを特徴とする。According to the fifth and the twelfth aspects of the present invention, the image horizontal / horizontal
The present invention is characterized by having a filter for separating a vertical spatial gradient component and a diagonal spatial gradient component.

【００２５】請求項６、１３の発明では、測距結果を時
間方向に統合することを特徴とする。The invention of claims 6 and 13 is characterized in that the distance measurement results are integrated in the time direction.

【００２６】請求項７、１４の発明では、複数のカメラ
を同一被写体を捉えるように指向させることを特徴とす
る。The inventions of claims 7 and 14 are characterized in that a plurality of cameras are oriented so as to capture the same subject.

【００２７】[0027]

【作用】請求項１、８の発明によれば、上記２種類の異
なる測距法を組み合わせ、各々の手法に基づいて計測さ
れた被写体距離に関する情報を各々の信頼性に応じて荷
重平均するので、測距動作の精度、確実性、安定性が増
し、信頼性が向上する。According to the inventions of claims 1 and 8, the above-mentioned two different distance measuring methods are combined, and the information on the object distance measured based on each method is weighted averaged according to each reliability. , The accuracy, reliability and stability of the distance measuring operation are increased, and the reliability is improved.

【００２８】請求項２、３、９、１０の発明によれば、
前後ステレオ測距法、ステレオ測距法に基づき計測され
た測距情報に応じて画像の倍率補正を行うように動作す
るので、前後ステレオ測距法、ステレオ測距法の精度が
向上する。According to the inventions of claims 2, 3, 9, and 10,
Since the operation is performed so as to correct the magnification of the image according to the front and rear stereo distance measuring method and the distance measuring information measured based on the stereo distance measuring method, the accuracy of the front and rear stereo distance measuring method and the stereo distance measuring method is improved.

【００２９】請求項４、１１の発明によれば、フーリエ
・メラン変換については、" Applied Optics, 1976, Vo
1.15 " (D.Casasen et al.) の" Position, rotation a
nd scale invariant optical correlation "や特開平６
−２８４７６号公報に詳しく述べられているが、画像パ
ターンの回転や変倍に強い対応付けをすることができる
ので、前後ステレオ測距法の精度が向上する。（尚、フ
ーリエ・メラン変換の手順については後述する第３の実
施例で述べる。）According to the inventions of claims 4 and 11, the Fourier-Melan transform is described in "Applied Optics, 1976, Vo.
1.15 "(D.Casasen et al.)" Position, rotation a
nd scale invariant optical correlation "and JP-A-6
As described in detail in Japanese Patent Publication No. 28476, since it is possible to make a strong correspondence to the rotation and the magnification change of the image pattern, the accuracy of the front and rear stereo distance measuring method is improved. (Note that the Fourier-Melan transform procedure will be described in a third embodiment described later.)

【００３０】請求項５、１２の発明によれば、フィルタ
により抽出された水平／垂直成分はステレオ測距法によ
る測距手段へ、抽出された斜め成分は前後ステレオ測距
法による測距手段へそれぞれ優先的に入力される。ステ
レオ測距法は、平行に視点を変化させているので、対応
点の探索も平行方向に行うのが一般的である。従って、
水平あるいは垂直方向の空間勾配情報が必要である。一
方、前後ステレオ測距法では、カメラの光軸に沿って前
後に視点を変化させるので、対応点の探索は放射状に行
う。従って、斜め方向の勾配情報が有効である。上記フ
ィルタは、各々の測距手段に各々が得意とする勾配成分
を出力するので、ステレオ測距、前後ステレオ測距共に
測距精度が向上する。According to the fifth and the twelfth aspects of the invention, the horizontal / vertical components extracted by the filter are sent to the distance measuring means by the stereo distance measuring method, and the extracted oblique components are sent to the distance measuring means by the front and rear stereo distance measuring method. Each is entered with priority. In the stereo distance measuring method, since the viewpoints are changed in parallel, it is common to search corresponding points in parallel directions. Therefore,
Horizontal or vertical spatial gradient information is required. On the other hand, in the front-back stereo distance measuring method, since the viewpoint is changed back and forth along the optical axis of the camera, the corresponding points are searched radially. Therefore, the gradient information in the diagonal direction is effective. Since the above-mentioned filter outputs the gradient component which each one is good at to each distance measuring means, the distance measuring accuracy is improved in both the stereo distance measuring and the front and rear stereo distance measuring.

【００３１】請求項６、１３の発明によれば、過去に計
測された距離情報と最新の距離情報とを各々の信頼性に
基づいて荷重平均するように動作するので、ある時刻に
突発的に加わるノイズに対して安定度が増し、かつ時間
方向の情報結合により測距の精度が向上する。更に、測
距精度を逐次高めていくので、多様な要求スペックに柔
軟に対応できる自由度の高い測距が行なわれる。According to the sixth and thirteenth aspects of the present invention, the distance information measured in the past and the latest distance information are weight-averaged based on their respective reliability, so that they suddenly occur at a certain time. The stability is increased with respect to the added noise, and the accuracy of distance measurement is improved by combining the information in the time direction. Further, since the distance measurement accuracy is gradually increased, the distance measurement with a high degree of freedom capable of flexibly meeting various required specifications can be performed.

【００３２】請求項７、１４の発明によれば、カメラの
前後進移動速度に応じて常時視野内に同一の被写体を入
力できるようにカメラを被写体に指向する際に発生する
画像の台形歪みを補正するように動作するので、移動速
度が大きい時のステレオ測距法の分解能、測距精度が向
上する。According to the seventh and fourteenth aspects of the present invention, the trapezoidal distortion of the image generated when the camera is directed to the subject so that the same subject can always be input within the field of view according to the forward and backward moving speed of the camera. Since the correction operation is performed, the resolution and the distance measurement accuracy of the stereo distance measuring method when the moving speed is high are improved.

【００３３】[0033]

【実施例】【Example】

（第１の実施例）図１は本発明の特徴を最もよく表す図
面であり、本発明の３次元物体形状認識装置を自律走行
車に搭載した例である。同図において、１０，２０は撮
像部としての左右のカメラ、３０は自走車の移動量検出
部、４０，５０はフィールドメモリ又はフレームメモリ
のような画像メモリ、６０，８０は前述の前後ステレオ
測距部、７０は前述のステレオ測距部、９０は測距結果
の統合処理部、１００は最終的な測距結果の出力端子で
ある。(First Embodiment) FIG. 1 is a drawing best showing the features of the present invention, and is an example in which the three-dimensional object shape recognition device of the present invention is mounted on an autonomous vehicle. In the figure, 10 and 20 are left and right cameras as an image pickup unit, 30 is a moving amount detection unit of a self-propelled vehicle, 40 and 50 are image memories such as a field memory or a frame memory, and 60 and 80 are the front and rear stereos described above. A distance measuring unit, 70 is the above-described stereo distance measuring unit, 90 is a distance measuring result integration processing unit, and 100 is a final distance measuring result output terminal.

【００３４】以下、図１の動作を詳しく説明する。水平
あるいは垂直に配置された２つのカメラ１０，２０は互
いに光軸が平行になるよう固定されており、その間隔、
いわゆる基線長も固定されている。測距部６０，８０で
は、それぞれ画像メモリ４０，５０を介して時刻の異な
る画像間の対応付けを行い、更に移動量検出部３０で求
まるカメラの前後の移動量を用いて（８）式の三角測量
則に従って測距を行う。対応付けの手法としては前述の
マッチング法や勾配法に限らず、相互相関法、フーリエ
変換法等、画像データを用いる手法であれば何でも良
い。The operation of FIG. 1 will be described in detail below. The two cameras 10 and 20 arranged horizontally or vertically are fixed so that their optical axes are parallel to each other, and the distance between them is
The so-called baseline length is also fixed. In the distance measuring units 60 and 80, images at different times are associated with each other via the image memories 40 and 50, respectively, and the movement amounts before and after the camera obtained by the movement amount detection unit 30 are used to obtain the equation (8). Distance measurement is performed according to the triangulation rule. The method of associating is not limited to the above-mentioned matching method and gradient method, but may be any method using image data, such as a cross-correlation method and a Fourier transform method.

【００３５】一方、測距部７０では、物体を異なる視点
から撮像した同時刻における画像ペア間の対応付けを行
い、（２）式の三角測量則に基づき被写体距離を演算す
る。ここでの対応付け手法も前記の通り特定の手法に限
定されるものではない。On the other hand, the distance measuring unit 70 associates the image pairs at the same time when the object is imaged from different viewpoints, and calculates the object distance based on the triangulation law of the equation (2). The association method here is not limited to the specific method as described above.

【００３６】統合処理部９０では、測距部６０，７０，
８０で求められた距離データＤR ，ＤS ，ＤL を各々の
信頼性に基づいて荷重平均する。マッチング法を例にと
れば、距離データの信頼性はマッチングの相関係数値
や、相関係数のピークの鋭さなどを利用することができ
る。いま、カメラ１０の前進運動中の時系列画像間の対
応付けから求められた距離情報をＤR 、カメラ２０の前
進運動中の時系列画像間の対応付けから求められた距離
情報をＤL 、そしてカメラ１０，２０間の対応付けから
求められた距離情報をＤS とし、それぞれの信頼性をｋ
R ，ｋL ，ｋS と表せば、最終結果の距離Ｄは、例え
ば、In the integrated processing unit 90, the distance measuring units 60, 70,
The distance data D R , D S , and D L obtained at 80 are weighted averaged based on their respective reliability. Taking the matching method as an example, the reliability of the distance data can utilize the correlation coefficient value of the matching, the sharpness of the peak of the correlation coefficient, and the like. Now, the distance information obtained from the correspondence between the time series images during the forward movement of the camera 10 is D R , the distance information obtained from the correspondence between the time series images during the forward movement of the camera 20 is D L , Then, the distance information obtained from the correspondence between the cameras 10 and 20 is D S, and the reliability of each is k.
If expressed as R , k L , k S , the distance D of the final result is, for example,

【００３７】 Ｄ＝［｛ｋR ／（ｋR ＋ｋL ＋ｋS ）｝・ＤR ］ ＋［｛ｋL ／（ｋR ＋ｋL ＋ｋS ）｝・ＤL ］ ＋［｛ｋS ／（ｋR ＋ｋL ＋ｋS ）｝・ＤS ］ ………… （９） と表現できる。D = [{k R / (k R + k L + k S )} · D R ] + [{k L / (k R + k L + k S )} · D L ] + [{k S / (k R + k L + k S )} ・ D S ] ………… (9)

【００３８】また、２つのカメラ１０，２０が水平に配
置された場合、一般に水平方向のエッジに沿った測距精
度は、垂直方向のエッジに沿った測距精度よりも低い。
上記２つのカメラ１０，２０を上下に配置する場合に
は、その逆である。つまり、ステレオ測距法では、２つ
のカメラの配置の仕方で高精度に計測できる方向が決ま
ることになる。従って、この測距精度の方向性を利用し
て前記ＤR ，ＤL とＤSの荷重平均をエッジの方向に応
じて行っても良い。When the two cameras 10 and 20 are arranged horizontally, the distance measuring accuracy along the horizontal edge is generally lower than the distance measuring accuracy along the vertical edge.
The opposite is true when the two cameras 10 and 20 are arranged vertically. That is, in the stereo distance measuring method, the direction in which the two cameras are arranged determines the direction in which the measurement can be performed with high accuracy. Therefore, the weight average of the D R , D L and D S may be performed according to the direction of the edge by utilizing the directionality of the distance measuring accuracy.

【００３９】以上のように本発明の第１の実施例では、
２つの測距方法を組み合わせることにより、本来、不確
実、不安定であった画像処理によるリモート・センシン
グ（非接触計測）の動作を確実、安定なものとし、入力
される画像データの特性の変化にロバストな信頼性の高
い３次元形状計測方法及び装置を提供することができ
る。尚、カメラ１０，２０は２つ以上用いてもよい。As described above, in the first embodiment of the present invention,
By combining two distance measurement methods, the operation of remote sensing (non-contact measurement) by image processing, which was originally uncertain and unstable, is made reliable and stable, and the characteristics of input image data are changed. A highly robust and highly reliable three-dimensional shape measuring method and apparatus can be provided. Two or more cameras 10 and 20 may be used.

【００４０】（第２の実施例）図２は第２の実施例を示
す。この第２の実施例も第１の実施例と同様に本発明に
よる３次元物体形状認識装置を自律走行車に搭載して、
障害物や道路の認識をさせるものである。第１の実施例
との違いは倍率補正部４５，５５が新たに追加されてい
る点であり、他の部分は図１と同一に構成されている。(Second Embodiment) FIG. 2 shows a second embodiment. Also in the second embodiment, as in the first embodiment, the three-dimensional object shape recognition device according to the present invention is mounted on an autonomous vehicle,
It recognizes obstacles and roads. The difference from the first embodiment is that magnification correction units 45 and 55 are newly added, and the other parts are configured the same as in FIG.

【００４１】倍率補正部４５，５５では、ステレオ測距
部７０で求められた距離情報ＤS と移動量検出部３０で
求められる画像メモリ４０，５０が画像データを保持す
る時間内の自走車の移動量Ｂを用いて画像パターンの倍
率の補正を行う。倍率補正の具体的な内容を以下で説明
する。画像パターンの拡大率ｒは前記（３），（４）式
を連立させてｈ／ｈ′について解けば、In the magnification correction units 45 and 55, the distance information D S obtained by the stereo distance measuring unit 70 and the image memories 40 and 50 obtained by the movement amount detection unit 30 hold the image data in the self-propelled vehicle within the time period. The magnification of the image pattern is corrected using the movement amount B of. The specific contents of the magnification correction will be described below. The magnification ratio r of the image pattern can be obtained by solving the above equations (3) and (4) and solving for h / h '.

【００４２】 ｒ＝ｈ／ｈ′＝（Ｄ′−ｆ）／（Ｄ−ｆ） …………………… （１０） となり、Ｄ′−Ｄ＝Ｂを用いて、 ｒ＝ｈ／ｈ′＝１＋｛Ｂ／（Ｄ−ｆ）｝ …………………… （１１） と表せる。この概形を図３に示す。この図３によれば、
拡大率ｒと被写体距離Ｄとの関係は、Ｄ＝ｆ，ｒ＝１を
漸近線とする双曲線で表わされることが判る。これは、
遠距離の物体ほど拡大率が小さく、近距離の物体ほど大
きい拡大を受けることを意味している。従って、画像パ
ターンの倍率補正は被写体距離の大きさに応じて適応的
に行う必要がある。R = h / h ′ = (D′−f) / (D−f) (10) Then, using D′−D = B, r = h / h ′ = 1 + {B / (D−f)} …………………… (11) This outline is shown in FIG. According to this FIG.
It can be seen that the relationship between the magnification ratio r and the subject distance D is represented by a hyperbola whose asymptote is D = f, r = 1. this is,
It means that the farther the object is, the smaller the magnification is, and the closer the object is, the larger the magnification is. Therefore, it is necessary to adaptively correct the magnification of the image pattern according to the size of the subject distance.

【００４３】本発明においては、ステレオ測距部７０に
より被写体距離ＤS と移動量検出部３０により自走車の
前進（あるいは後進）量Ｂとが得られるので、これらの
値Ｄ S ，Ｂを用いて画像パターンの倍率補正を適応的に
実行可能である。In the present invention, the stereo distance measuring unit 70
More subject distance DSAnd the movement detection unit 30
Since the amount of forward (or backward) B is obtained, these
Value D S, B to adaptively correct the image pattern magnification
It is feasible.

【００４４】具体的には、（１１）式を用いてマッチン
グに用いるテンプレート（＝ブロック）のサイズを被写
体距離に応じて適応的に、例えば５×５ｐｅｌを７×７
ｐｅｌへ拡大してから対応付けの演算を始める。あるい
は、逆に拡大後の画像を（１１）式に応じて縮小あるい
は間引いて、拡大前の画像サイズに合わせてから対応付
けを行うようにしても良い。Specifically, the size of the template (= block) used for matching is adaptively adjusted according to the subject distance using the equation (11), for example, 5 × 5 pel is 7 × 7.
After expanding to pel, the calculation of association is started. Alternatively, conversely, the enlarged image may be reduced or thinned according to the equation (11), and the correspondence may be performed after matching the image size before the enlargement.

【００４５】以上述べた第２の実施例では、移動量Ｂ、
被写体距離Ｄに応じて適応的に画像の倍率の差を幾何学
的に補正するので、前後ステレオ測距法における対応付
けの精度を格段に向上させることができるという効果が
ある。本実施例は、特に被写体距離に応じて変倍率が大
きく変化する近距離の物体に対して有効である。近距離
物体の測距では、ステレオ測距する場合、視差の大きさ
ゆえにオクルージョン問題が発生し易いが、その際の前
後ステレオ測距法の信頼性を高めるため総合的な信頼性
も高めるという特有の効果がある。従って、本実施例に
おける統合処理部９０では、被写体距離に応じて、前後
ステレオ測距法による計測結果ＤR ，Ｄ L とステレオ測
距法による計測結果ＤS とを荷重平均することもでき
る。In the second embodiment described above, the movement amount B,
Geometrically adjusts the difference in image magnification according to the subject distance D
Since it is corrected dynamically, it is compatible with front and rear stereo distance measurement
The effect of being able to significantly improve the accuracy of injury
is there. In this embodiment, the scaling factor is large especially according to the subject distance.
It is effective for near-distance objects that change rapidly. Short distance
When measuring the distance of an object, the size of the parallax
Therefore, occlusion problems tend to occur, but before that
Comprehensive reliability to increase the reliability of post-stereo ranging
It also has the unique effect of increasing Therefore, in this embodiment
In the integrated processing unit 90 in the
Measurement result D by the stereo distance measuring methodR, D LAnd stereo measurement
Distance measurement result DSYou can also weight average
It

【００４６】（第３の実施例）図４は本発明の第３の実
施例を示す。図４において、第１の実施例との相異点は
前後ステレオ測距部６０，８０の前にフリーエ・メラン
変換部２６０，２７０，２８０，２９０を設けた点であ
る。次に、フリーエ・メラン変換部の動作について図５
を用いて説明する。(Third Embodiment) FIG. 4 shows a third embodiment of the present invention. In FIG. 4, the difference from the first embodiment is that the front and rear stereo distance measuring units 60, 80 are provided with Freeie-Melan converting units 260, 270, 280, 290. Next, the operation of the Friede-Melan converter is shown in FIG.
Will be explained.

【００４７】ステップＳ１０により入力された画像デー
タは、まずステップＳ２０で、フーリエ変換される。画
像パターンのフーリエ変換後の振幅（又はパワー）は、
パターンが平行移動しても不変であり、パターンの拡
大、例えばａ倍されると１／ａ倍に縮小される。また、
パターンの回転θに対しては同じθだけ振幅も回転す
る。そこで、次のステップＳ３０において、その振幅像
を縦軸にその偏角、横軸に対数目盛りの動径をとって座
標変換を施して表現する。The image data input in step S10 is first Fourier transformed in step S20. The amplitude (or power) after Fourier transform of the image pattern is
It does not change even if the pattern moves in parallel, and when the pattern is enlarged, for example, multiplied by a, it is reduced by 1 / a. Also,
With respect to the rotation θ of the pattern, the amplitude also rotates by the same θ. Therefore, in the next step S30, the amplitude image is expressed by performing coordinate conversion by taking the deflection angle on the vertical axis and the radius vector of the logarithmic scale on the horizontal axis.

【００４８】上記座標変換後には、元のパターンを回転
させると縦軸方向への平行移動をし、元のパターンが変
倍されると横軸方向への平行移動をするので、次のステ
ップＳ４０で再度フーリエ変換した後の振幅は、元のパ
ターンの回転／変倍に対して不変なものとなる。当パタ
ーンを用いて、次のステップＳ５０の前後ステレオ測距
部で対応付けを行えば、パターンの回転や変倍に強い測
距を実現することができる。After the above coordinate conversion, when the original pattern is rotated, it is translated in the vertical axis direction, and when the original pattern is scaled, it is translated in the horizontal axis direction. The amplitude after the Fourier transform again becomes invariable with respect to the rotation / magnification of the original pattern. If this pattern is used to make correspondence between the front and rear stereo distance measuring units in the next step S50, it is possible to realize distance measurement that is strong against rotation and variable magnification of the pattern.

【００４９】以上のように、本実施例によれば、変倍さ
れたパターンの対応付けにフーリエ・メラン変換を用い
ることで、前後ステレオ測距法の精度が向上するという
効果がある。特に、本実施例ではステレオ測距部７０と
完全に独立な処理となるので、ステレオ測距及び前後ス
テレオ測距両手法の共倒れを防ぐことができ、信頼性、
安全性が向上する効果がある。As described above, according to the present embodiment, there is an effect that the accuracy of the front-back stereo distance measuring method is improved by using the Fourier-Melan transform for associating the scaled patterns. In particular, in the present embodiment, since the processing is completely independent of the stereo distance measuring unit 70, it is possible to prevent both the stereo distance measuring method and the front and rear stereo distance measuring methods from collapsing, and reliability,
It has the effect of improving safety.

【００５０】（第４の実施例）図６は本発明の第４の実
施例を示し、同図において３０はカメラ１０，２０の光
軸方向の移動量検出部、４３０，４４０は画像データの
斜め方向の空間勾配成分を阻止するクロスフィルタ、４
５０，４６０はスルーで入力され画像とフィルタリング
後の画像の差分を計算する減算器、４７０，４８０，４
９０，５００は画像メモリである。(Fourth Embodiment) FIG. 6 shows a fourth embodiment of the present invention. In FIG. 6, reference numeral 30 is a movement amount detection unit of the cameras 10 and 20 in the optical axis direction, and 430 and 440 are image data. Cross filter for blocking diagonal spatial gradient components, 4
50 and 460 are subtractors 470, 480, and 4 that calculate the difference between the image input through and the image after filtering.
90 and 500 are image memories.

【００５１】本実施例と第１の実施例との特に大きな違
いは、フィルタ４３０，４４０を新たに設けて前後ステ
レオ測距部６０，８０とステレオ測距部７０とへそれぞ
れ画像の斜め方向の勾配成分と水平／垂直方向の勾配成
分とを入力する点である。次にフィルタ４３０，４４０
の働らきについて説明する。A particularly big difference between this embodiment and the first embodiment is that filters 430 and 440 are newly provided to the front and rear stereo distance measuring units 60 and 80 and the stereo distance measuring unit 70 respectively in the diagonal direction of the image. This is a point where a gradient component and a horizontal / vertical gradient component are input. Next, the filters 430 and 440
Explain the work of.

【００５２】ステレオ測距法では、２台のカメラ１０，
２０が同じ被写体距離で、かつ異なる視点になるように
配置されているので、２台のカメラ１０，２０から取り
込まれた画像同士の対応付けの結果は、被写体距離によ
って長さは異なるものの、ほぼ同方向に並ぶオプティカ
ルフローとして表現できる。例えば、２台のカメラが水
平に並べられている場合には、左右画像の各画素の対応
関係を示すオプティカルフローはほぼ水平方向にそろっ
たものとなるし、同様に２台のカメラが垂直に配置され
た場合には上下画像の各画素の対応関係を示すオプティ
カルフローはほぼ垂直方向にそろったものとなる。In the stereo distance measuring method, two cameras 10,
Since 20 are arranged so as to have the same subject distance and different viewpoints, the result of associating the images captured from the two cameras 10 and 20 with each other is almost the same although the length differs depending on the subject distance. It can be expressed as an optical flow lined up in the same direction. For example, when two cameras are arranged horizontally, the optical flows showing the correspondence between the pixels of the left and right images are almost horizontal, and similarly, the two cameras are arranged vertically. When arranged, the optical flows showing the correspondence between the pixels of the upper and lower images are substantially aligned in the vertical direction.

【００５３】また、１台のカメラをその光軸方向に前後
して入力した前後画像の各画素の対応関係を表すオプテ
ィカルフローは、ほぼ画像中心を中心として放射状に分
布する。The optical flow representing the correspondence between the pixels of the front and rear images input and output in the direction of the optical axis of one camera is distributed radially around the center of the image.

【００５４】次に、画像処理による対応付けや動き検出
の際に問題となる開口問題（アパーチャ問題）について
説明する。図７の（ａ）〜（ｃ）はそれぞれ水平、垂
直、斜め（４５°）方向にしか空間勾配が無いパターン
で、これが図示した右斜め４５°方向へＶだけ移動した
時の様子を示している。図７（ａ）の場合にはＶx は正
しく検出できるものの、Ｖyの検出は不可能である。図
７（ｂ）の場合には逆にＶy は正しく検出できるもの
の、Ｖx は検出不可能である。一方、図７（ｃ）の場合
には正しくＶx ，Ｖy を検出することができる。Next, the aperture problem, which is a problem at the time of matching and motion detection by image processing, will be described. 7A to 7C are patterns having a spatial gradient only in the horizontal, vertical, and diagonal (45 °) directions, respectively, and show the state when the pattern is moved by V in the diagonal direction 45 ° to the right. There is. In the case of FIG. 7A, V x can be detected correctly, but V y cannot be detected. On the contrary, in the case of FIG. 7B, V y can be detected correctly, but V x cannot be detected. On the other hand, in the case of FIG. 7C, V x and V y can be detected correctly.

【００５５】このように、画像処理による対応付け、あ
るいは動き検出は、画像の空間勾配を絶対不可欠な手掛
かりとしている。そこで、前記ステレオ測距部７０には
水平ないしは垂直方向の空間勾配を優先的に供給し、前
記前後ステレオ測距部６０，８０には斜め方向の勾配成
分を優先的に供給することにより、両手法の測距精度を
向上させる効果がある。As described above, the correlation by image processing or the motion detection uses the spatial gradient of the image as an absolutely indispensable clue. Therefore, the stereo distance measuring unit 70 is preferentially supplied with a horizontal or vertical spatial gradient, and the front and rear stereo distance measuring units 60, 80 are preferentially supplied with an oblique gradient component, so that both hands This has the effect of improving the distance measurement accuracy of the method.

【００５６】尚、図６では、前後ステレオ測距部６０，
８０には斜め成分のみを、ステレオ測距部７０には水平
／垂直成分のみを送るように構成されているが、実際に
はクロスフィルタ４３０，４４０の帯域制限の遷移域を
緩やかにするこにより、適度に両勾配が混在するように
各手法へ画像データを供給することができる。ステレオ
測距法には水平／垂直の勾配が、前後ステレオ測距には
等方的な勾配分布が望ましい。尚、クロスフィルタの設
計方法は、本発明者による特開平４−１０８７３号公報
「動きベクトル検出装置」に詳しく記述してある。In FIG. 6, the front and rear stereo distance measuring units 60,
Although only the oblique component is sent to 80 and only the horizontal / vertical component is sent to the stereo distance measuring unit 70, in practice, the transition range of the band limitation of the cross filters 430 and 440 is moderated. , Image data can be supplied to each method so that both gradients are mixed appropriately. Horizontal / vertical gradients are preferable for stereo distance measurement, and isotropic gradient distributions are preferable for front and rear stereo distance measurement. The method of designing the cross filter is described in detail in Japanese Unexamined Patent Publication No. 4-10873, “Motion vector detecting device”.

【００５７】（第５の実施例）次に第５の実施例につい
て説明する。上記第１〜第４の実施例ではいずれも、あ
る時刻のステレオ画像の対応付けから求まる距離データ
ＤS と倍率の異なる時系列画像ペアの対応付けから求ま
る距離データＤR 及びＤL とにつてい説明した。しかし
ながら、画像は、焦点距離をワイド側からテレ側へ連続
的にズームしながら、入力されて来るので、各々独立に
時々刻々求められるＤS ，ＤR ，ＤL を次の時刻の
ＤS ′，ＤR ′，ＤL ′を求める時に参照することがで
きる。(Fifth Embodiment) Next, a fifth embodiment will be described. In each of the first to fourth embodiments, the distance data D S obtained from the association of the stereo images at a certain time and the distance data D R and D L obtained from the association of the time-series image pairs with different magnifications. Explained. However, the image is input while continuously zooming the focal length from the wide side to the tele side, so that D S , D R , and D L, which are individually and momentarily obtained, are set to the next time D S ′. , D R ′, D L ′ can be referred to.

【００５８】時間方向の距離データの利用法の一例とし
て、ここではステレオ測距法にカルマンフィルタ（Ｋａ
ｌｍａｎ Ｆｉｌｔｅｒ）を適用する方法について説明
する。カルマンフィルタの適用のため、被写体距離の逆
数１／Ｄを状態変数として、測距システムを以下のよう
に定式化する。As an example of a method of using distance data in the time direction, here, a Kalman filter (Ka
The method of applying the lman Filter) will be described. In order to apply the Kalman filter, the reciprocal 1 / D of the object distance is used as a state variable, and the ranging system is formulated as follows.

【００５９】・信号過程（状態変数の特性） （１／Ｄt ）＝（１／Ｄt-1 ）＋ηt …………………… （１２） ・観測過程（三角測量則） ｕt ＝Ｂ・ｆ・（１／Ｄt ）＋ξt …………………… （１３） 但し、ηt は信号に加わる雑音で距離データ１／Ｄの時
間変動分に相当している。ξt は対応点の探索プロセス
中に加わる雑音で計測誤差に相当している。Ｂは基線
長、ｆは焦点距離、ｕt は動きベクトルである。この
時、カルマンフィルタによって推測される距離情報（１
／Ｄt ）+ は下式（１４）のように表わされる。 （１／Ｄt ）+ ＝Ｋt ・ｕt ＋［１−Ｂ・ｆ・Ｋt ］・（１／Ｄt ）- …………………… （１４） 但し、Ｋt はカルマンゲイン、（１／Ｄt ）- は１時刻
前の距離データから現在予測される距離データで、 （１／Ｄt ）- ＝（１／Ｄt-1 ）+ …………………… （１５） という関係が成り立っている。ここで＋記号はカルマン
フィルタの出力、−記号は次の時刻への予測値を示して
いる。[0059] - (characteristic of the state variable) signal process (1 / D t) = ( 1 / D t-1) + η t ........................ (12) · observation process (triangulation law) u t = B · f · (1 / D t ) + ξ t ………… (13) However, η t is noise added to the signal and corresponds to the time variation of the distance data 1 / D. ξ t is the noise added during the process of searching for the corresponding points and corresponds to the measurement error. B is the baseline length, f is the focal length, and u t is the motion vector. At this time, the distance information (1
/ D t ) + is expressed by the following equation (14). (1 / D t ) + = K t · u t + [1-B · f · K t ] · (1 / D t ) − …………………… (14) where K t is Kalman gain , (1 / D t) - the distance data which is currently predicted from one time before the distance data, (1 / D t) - = (1 / D t-1) + ........................ ( 15) is established. Here, the + symbol indicates the output of the Kalman filter, and the − symbol indicates the predicted value for the next time.

【００６０】図８は上記（１２）〜（１５）式を模式的
に描いた図である。図中６００は本測距システムの状態
変数で、求めたい信号であり、１／（被写体距離）と定
義している。状態変数６００の時間変化のプロセスが上
記（１２）式で表現されている。６１０は乗算器で、上
記状態変数６００に基線長Ｂと焦点距離ｆとを乗じて画
像上の移動量（動きベクトル＝視差）を求めている。こ
の関係は三角測量則に基づくもので、前記（２）式にＤ
≫ｆを仮定して簡略化したものである。FIG. 8 is a diagram schematically illustrating the above equations (12) to (15). In the figure, 600 is a state variable of the distance measuring system, which is a signal to be obtained and is defined as 1 / (subject distance). The process of time change of the state variable 600 is expressed by the above equation (12). A multiplier 610 calculates the amount of movement (motion vector = parallax) on the image by multiplying the state variable 600 by the baseline length B and the focal length f. This relationship is based on the triangulation law, and D
>> This is a simplified version assuming f.

【００６１】６２０は加算器であり、上記動きベクトル
を求める際に加わる計測誤差ξが加算される。６３０は
上記動きベクトルである。６４０は上記動きベクトルに
カルマンゲインを乗ずる乗算器である。尚、カルマンゲ
インについては後述する。Reference numeral 620 is an adder, which adds the measurement error ξ added when the motion vector is obtained. 630 is the motion vector. Reference numeral 640 is a multiplier that multiplies the motion vector by the Kalman gain. The Kalman gain will be described later.

【００６２】６５０は加算器であり、現在観測された動
きベクトル（＝視差）に基づいて推測される距離と過去
から推測される距離とを荷重加算するためのものであ
る。６６０は上記過去から推測される距離に荷重を乗ず
るための乗算器である。そして、６７０がカルマンフィ
ルタによって推測される距離データである。この距離デ
ータ６７０は次の距離推定のために順次利用されてい
く。Reference numeral 650 is an adder for weighting the distance estimated based on the currently observed motion vector (= parallax) and the distance estimated from the past. Reference numeral 660 denotes a multiplier for multiplying the distance estimated from the past by a load. 670 is distance data estimated by the Kalman filter. This distance data 670 is sequentially used for the next distance estimation.

【００６３】次にカルマンゲインについて説明する。カ
ルマンゲインは現在測定された動きベクトルに基づき推
測される距離と過去から推測される距離との荷重を決定
する。カルマンゲインを用いた本測距システムでは、カ
ルマンゲインＫt は式次で表わされる。 Ｋt ＝（Ｐt - ・Ｂ・ｆ）／｛（Ｂ2 ・ｆ2 ・Ｐt - ）＋Ｒt ｝ …………………… （１６） 但し、 Ｐt - ＝Ｐt-1 + ＋Ｑt-1 …………………… （１７） ここで、Ｒt は観測過程中に加わる雑音ξの分散値、Ｑ
t は信号過程に加わる雑音ηの分散値、Ｐt は指定誤差
の２乗（１／Ｄt −１／Ｄt + ）2 である。Next, the Kalman gain will be described. The Kalman gain determines the weight of the distance estimated based on the currently measured motion vector and the distance estimated from the past. In this distance measuring system using the Kalman gain, the Kalman gain K t is expressed by the following equation. K t = (P t - · B · f) / {(B 2 · f 2 · P t -) + R t} ........................ (16) where, P t - = P t- 1 + + Q t-1 …………………… (17) where R t is the variance of noise ξ added during the observation process, and Q t.
t is the variance of noise η added to the signal process, and P t is the square of the specified error (1 / D t −1 / D t + ) 2 .

【００６４】いま、対応点探索の計測誤差Ｒt が小さ
く、現在観測された動きベクトルの精度が高い時、即ち
Ｒt ≒０のときには、（１６）式よりカルマンゲインＫ
t は１／（Ｂ・ｆ）に近づき、過去からの推測値への荷
重（１−Ｂ・ｆ・Ｋt ）はゼロに近づく。逆に、Ｒt の
値が大きくなれば、現在観測された動きベクトルに基づ
いて求められた距離よりも過去から推測される距離を重
視するように適応的にその荷重を変化させていく。Now, when the measurement error R t of the corresponding point search is small and the accuracy of the currently observed motion vector is high, that is, when R t ≈0, the Kalman gain K is calculated from the equation (16).
t approaches 1 / (B · f), and the load (1-B · f · K t ) on the estimated value from the past approaches zero. On the contrary, if the value of R t becomes large, the weight is adaptively changed so that the distance estimated from the past is more important than the distance obtained based on the currently observed motion vector.

【００６５】以上のようにカルマンフィルタでは、現在
観測されるデータ（ここでは動きベクトル又は視差）の
信頼性、即ちＲt の大小に応じて適応的に“最新の観測
データに基づいて推測される状態変数（ここでは被写体
距離）”と“過去の推移から予測される現在の状態変
数”とのバランスを変化させ、常に安定した推測値を得
ようとするものである。As described above, in the Kalman filter, according to the reliability of the currently observed data (here, the motion vector or the parallax), that is, the magnitude of R t , the "state estimated based on the latest observed data" is adaptively applied. The balance (variable (here, subject distance)) and "current state variable predicted from past transition" are changed to always obtain a stable estimated value.

【００６６】カルマンフィルタの適用の際に問題となる
初期値１／Ｄ0 ，Ｐ0 については、本発明では前後ステ
レオ測距法によって求められる値をそのまま利用するこ
とができるメリットがある。逆に、ステレオ測距法によ
る計測結果を初期値としてズーム測距方法にカルマンフ
ィルタを適用することも可能である。また、カルマンゲ
インを決定するＲt は、観測データの信頼性を表わすも
のとして、例えばマッチング演算の残差の分布を利用す
ることができ、その公知技術としては、International
Journal of Computer Vision, 3, 209-238 (1989) 記載
の" Kalman Filter-based Algorithms for Estimating
Depth from Image Sequences "がある。Regarding the initial values 1 / D 0 and P 0 which are problematic when applying the Kalman filter, the present invention has an advantage that the values obtained by the front-back stereo distance measuring method can be used as they are. On the contrary, it is also possible to apply the Kalman filter to the zoom distance measuring method using the measurement result of the stereo distance measuring method as an initial value. Further, the R t of determining the Kalman gain, as representing the reliability of the observation data, for example, can use the distribution of the residuals of the matching operation, As the prior art, International
"Kalman Filter-based Algorithms for Estimating" in Journal of Computer Vision, 3, 209-238 (1989).
Depth from Image Sequences "is available.

【００６７】以上、ステレオ測距法にカルマンフィルタ
を適用した例について説明したが、同じ要領で前後ステ
レオ測距法へ適用することも可能なことは言うまでもな
い。The example in which the Kalman filter is applied to the stereo distance measuring method has been described above, but it goes without saying that it can be applied to the front and rear stereo distance measuring method in the same manner.

【００６８】この第５の実施例は、測距の時間方向の情
報統合の一手法となるもので、演算量が大幅に増加する
ことなく、徐々に測距精度を高めることができ、かつ過
去の測距結果を利用することで、現在入力された画像の
みに依存する不安定さが減ぜられる効果がある。The fifth embodiment is a method for integrating information in the time direction of distance measurement, and the distance measurement accuracy can be gradually increased without significantly increasing the amount of calculation, and the past By using the distance measurement result of, there is an effect that instability that depends only on the currently input image is reduced.

【００６９】また、逐次測距精度を高めることができる
ため、高速に被写体の概形を把握することから、やや時
間をかけて高精度、高密度に被写体の３次元形状を計測
することまで実行可能であり、目的に応じた自由度の高
い測距を実現できる。Further, since it is possible to successively improve the accuracy of distance measurement, it is possible to grasp the outline of the subject at high speed and to measure the three-dimensional shape of the subject with high accuracy and high density over a short period of time. It is possible, and distance measurement with a high degree of freedom according to the purpose can be realized.

【００７０】なお、本実施例では時間方向の測距データ
の融合方法をカルマンフィルタを例にとって説明した
が、時間方向の情報統合が可能である他の手法であって
も構わない。In this embodiment, the Kalman filter has been described as an example of the method for fusing the distance measurement data in the time direction, but another method capable of integrating information in the time direction may be used.

【００７１】上述した第１〜第５の実施例では、ステレ
オ撮像部の光軸は平行であるとした。しかしながら、走
行していく過程で、画角が非常にせばまり対象物体を共
通視野に捉えられなくなる場合が考えられる。この場合
には、走行スピードと連動して両カメラを内側に駆動す
るようにしても良い。In the above-described first to fifth embodiments, the optical axes of the stereo image pickup section are assumed to be parallel. However, in the process of traveling, the angle of view may be so narrow that the target object may not be captured in the common field of view. In this case, both cameras may be driven inward in association with the traveling speed.

【００７２】（第６の実施例）図９に第６の実施例を示
す。図１との相違点は、２つのカメラ１０，２０が互い
に内側に向かっている点、及びカメラ１０，２０の直後
に画像の歪みを補正する歪み補正部７００，７１０が追
加された点である。(Sixth Embodiment) FIG. 9 shows a sixth embodiment. The difference from FIG. 1 is that the two cameras 10 and 20 are facing each other inward, and that distortion correction units 700 and 710 for correcting image distortion are added immediately after the cameras 10 and 20. .

【００７３】図９で示すようにカメラ１０，２０により
左右（あるいは上下）２つの異なる視点から撮影した画
像は、光軸が交差することにより台形歪みが生じる。そ
こで、画像データを各測距部６０，７０，８０へ送る前
に、上記台形歪みを補正する必要がある。As shown in FIG. 9, an image taken by the cameras 10 and 20 from two different viewpoints (left and right) has trapezoidal distortion due to the intersection of the optical axes. Therefore, it is necessary to correct the trapezoidal distortion before sending the image data to the distance measuring units 60, 70, 80.

【００７４】ここで、２つのカメラ１０，２０の基線長
をＢ、２つのカメラ１０，２０のなす角度即ち輻輳角を
Ｐ、撮影した複数の入力画像のうち、基準となる１つの
画像の座標を（ｘ，ｙ）、但し画像の中心を原点（０，
０）とする。撮像レンズの焦点距離をｆ、被写体距離を
Ｄとすると、ステレオ画像ペアの各点の対応関係（ｕ，
ｖ）は下式で表される。 ｕ＝−ｆ・Ｂ／Ｄ（ｘ，ｙ）−｛（ｘ2 ＋ｆ2 ）・ｓｉｎＰ｝／（ｆ・ｃｏｓ Ｐ＋ｘ・ｓｉｎＰ） …………………… （１８） ｖ＝［−｛ｆ−（ｆ・ｃｏｓＰ＋ｘ・ｓｉｎＰ）｝・ｙ］／（ｆ・ｃｏｓＰ＋ ｘ・ｓｉｎＰ） …………………… （１９）Here, the base line length of the two cameras 10 and 20 is B, the angle formed by the two cameras 10 and 20, that is, the vergence angle is P, and the coordinates of one reference image out of a plurality of captured input images. (X, y), where the center of the image is the origin (0,
0). Letting f be the focal length of the imaging lens and D be the subject distance, the correspondence relationship (u,
v) is represented by the following formula. u = −f · B / D (x, y) − {(x 2 + f 2 ) · sinP} / (f · cos P + x · sinP) …………………… (18) v = [-{f -(F · cosP + x · sinP)} · y] / (f · cosP + x · sinP) …………………… (19)

【００７５】（１８）式の第１項−ｆ・Ｂ／Ｄ（ｘ，
ｙ）は、２つのカメラ１０，２０の視点が異なることに
よる画像の平行シフト量を示しており、台形歪みとは関
係がない。それ以外の項は、すべて輻輳角Ｐが含まれて
おり台形歪みの要因となる項である。（１８），（１
９）式より（ｘ，ｙ）の値が大きい画像周辺ほど大きく
歪むことが判る。The first term of the equation (18) -f.B / D (x,
y) indicates the parallel shift amount of the image due to the viewpoints of the two cameras 10 and 20 being different, and is not related to the trapezoidal distortion. The other terms are all terms that include the convergence angle P and cause trapezoidal distortion. (18), (1
It can be seen from the equation (9) that the image is distorted more in the vicinity of the image having a larger value of (x, y).

【００７６】歪み補正部７００，７１０では（１８），
（１９）式の輻輳角Ｐを含む項を逆補正して、光軸が平
行な２つのカメラによって、入力したかのように画像を
幾何学的に修正する。In the distortion correction units 700 and 710, (18),
The term including the vergence angle P in the equation (19) is inversely corrected to geometrically correct the image as if it was input by the two cameras whose optical axes are parallel to each other.

【００７７】以上述べた第６の実施例では、ズームレン
ズに輻輳角をつけることによって発生する被写体の台形
歪みを対応付けの前に幾何学的に補正するので、ステレ
オ測距法、前後ステレオ測距法ともに計測精度を向上さ
せることができる。また、各カメラ１０，２０が被写体
を注視するので、より多くの画素で被写体を捉えること
ができ、被写体のより細部の測距まで可能となる。即ち
測距の分解能が向上するという固有の効果がある。In the sixth embodiment described above, the trapezoidal distortion of the object, which occurs due to the convergence angle of the zoom lens, is geometrically corrected before association, so that the stereo distance measuring method and the front-rear stereo measuring method are performed. It is possible to improve the measurement accuracy with the distance method. Further, since each of the cameras 10 and 20 gazes at the subject, it is possible to capture the subject with more pixels, and it is possible to measure the distance of the subject in more detail. That is, there is a unique effect that the resolution of distance measurement is improved.

【００７８】[0078]

【発明の効果】以上説明したように、請求項１、８の発
明によれば、画像処理による３次元物体形状の認識の信
頼性を向上させる効果がある。As described above, according to the inventions of claims 1 and 8, there is an effect of improving the reliability of recognition of a three-dimensional object shape by image processing.

【００７９】また、請求項２、９の発明によれば、画像
間の倍率が異なる時の前後測距法の測距精度を向上させ
る効果がある。Further, according to the inventions of claims 2 and 9, there is an effect that the distance measuring accuracy of the front and rear distance measuring method is improved when the magnification between images is different.

【００８０】請求項３、１０によれば、画像間の倍率が
異なる時の前後ステレオ測距法の測距精度を向上させる
効果がある。According to the third and tenth aspects, there is an effect that the distance measurement accuracy of the front-rear stereo distance measurement method is improved when the magnification between images is different.

【００８１】請求項４、１１の発明によれば、画像の変
倍や回転に強い前後ステレオ測距法を実現できる効果が
ある。According to the fourth and eleventh aspects of the present invention, there is an effect that a front and rear stereo distance measuring method that is resistant to image scaling and rotation can be realized.

【００８２】請求項５、１２の発明によれば、画像の様
々な方向の勾配成分を効果的にステレオ測距部と前後ス
テレオ測距部とに振り分けるので、両手法の測距精度を
向上させる効果がある。According to the fifth and the twelfth aspects of the present invention, gradient components in various directions of the image are effectively distributed to the stereo distance measuring unit and the front and rear stereo distance measuring units, so that the distance measuring accuracy of both methods is improved. effective.

【００８３】請求項６、１３の発明によれば、前後ステ
レオ測距法、ステレオ測距法の精度を向上させ突発的な
ノイズに強くするとともに、目的精度や分解能に応じた
測距が実行できる効果がある。According to the sixth and thirteenth aspects of the present invention, the accuracy of the front-rear stereo distance measuring method and the stereo distance measuring method is improved to be resistant to sudden noise, and the distance can be measured according to the target accuracy and resolution. effective.

【００８４】請求項７、１４によれば、測距装置が大き
く前後に移動しても共通の被写体を複数のカメラで捉え
ることができ、かつその時に発生する画像歪みが補正さ
れるのでステレオ測距法の分解能、測距精度を向上させ
る効果がある。According to the seventh and the fourteenth aspects, even if the distance measuring device largely moves back and forth, a common subject can be captured by a plurality of cameras, and the image distortion generated at that time is corrected. This has the effect of improving the resolution and distance measurement accuracy of the distance method.

【図面の簡単な説明】[Brief description of drawings]

【図１】本発明の第１の実施例を示すブロック図であ
る。FIG. 1 is a block diagram showing a first embodiment of the present invention.

【図２】本発明の第２の実施例を示すブロック図であ
る。FIG. 2 is a block diagram showing a second embodiment of the present invention.

【図３】被写体距離と画像の変倍率との関係を示す特性
図である。FIG. 3 is a characteristic diagram showing a relationship between a subject distance and an image scaling ratio.

【図４】本発明の第３の実施例を示すブロック図であ
る。FIG. 4 is a block diagram showing a third embodiment of the present invention.

【図５】フーリエ・メラン変換を示すフローチャートで
ある。FIG. 5 is a flowchart showing a Fourier-Melan transform.

【図６】本発明の第４の実施例を示すブロック図であ
る。FIG. 6 is a block diagram showing a fourth embodiment of the present invention.

【図７】アパーチャ補正に関する問題を説明する構成図
である。FIG. 7 is a configuration diagram illustrating a problem related to aperture correction.

【図８】本発明の第５の実施例で用いられるカルマンフ
ィルタを示す構成図である。FIG. 8 is a configuration diagram showing a Kalman filter used in a fifth embodiment of the present invention.

【図９】本発明の第６の実施例を示すブロック図であ
る。FIG. 9 is a block diagram showing a sixth embodiment of the present invention.

【図１０】従来のステレオ測距法を示す構成図である。FIG. 10 is a configuration diagram showing a conventional stereo distance measuring method.

【図１１】従来の前後ステレオ測距法を示す構成図であ
る。FIG. 11 is a configuration diagram showing a conventional front-back stereo distance measuring method.

【符号の説明】[Explanation of symbols]

１０，２０ カメラ ３０ 移動量検出器 ４０，５０，４７０，４８０，４９０，５００ 画像メ
モリ ６０，８０ 前後ステレオ測距部 ７０ ステレオ測距部 ９０ 統合処理部 ４５，５５ 倍率補正部 ２６０，２７０，２８０，２９０ フーリエ・メラン変
換部 ４３０，４４０ クロスフィルタ ７００，７１０ 台形歪み補正部10, 20 Camera 30 Moving amount detector 40, 50, 470, 480, 490, 500 Image memory 60, 80 Front and rear stereo distance measuring unit 70 Stereo distance measuring unit 90 Integrated processing unit 45, 55 Magnification correction unit 260, 270, 280 , 290 Fourier-Melan transform unit 430, 440 Cross filter 700, 710 Trapezoidal distortion correction unit

Claims (14)

【特許請求の範囲】[Claims] 【請求項１】 物体の３次元形状を非接触に計測、認識
する方法において、 同じ被写体距離で異なる視点から入力された複数の画像
を用いる水平／垂直面内視差型の多視点撮像法により物
体を認識するステップと、 異なる被写体距離で同じ視点から入力された複数の画像
を用いる前後視差型の多視点撮像法により物体を認識す
るステップと、 上記各ステップでそれぞれ独立に又は協調的に求めた３
次元物体の形状計測、認識結果を統合して荷重平均する
ステップとを有する３次元物体形状認識方法。1. A method for measuring and recognizing a three-dimensional shape of an object in a non-contact manner by a horizontal / vertical in-plane parallax type multi-viewpoint imaging method using a plurality of images input from different viewpoints at the same subject distance. And the step of recognizing an object by the front-back parallax type multi-viewpoint imaging method using a plurality of images input from the same viewpoint at different subject distances. Three
A method of recognizing a shape of a three-dimensional object, integrating the weighted recognition results, and averaging the recognition results. 【請求項２】 上記前後視差型の多視点撮像法で使用す
る異なる倍率の画像間の倍率補正を行うステップを有す
ることを特徴とする請求項１記載の３次元物体形状認識
方法。2. The three-dimensional object shape recognition method according to claim 1, further comprising a step of performing magnification correction between images of different magnifications used in the front-back parallax multi-viewpoint imaging method. 【請求項３】 上記水平／垂直面内視差型の多視点撮像
法で求められた被写体距離に応じて倍率補正を行うステ
ップを有することを特徴とする請求項１記載の３次元物
体形状認識方法。3. The three-dimensional object shape recognition method according to claim 1, further comprising a step of performing magnification correction according to a subject distance obtained by the horizontal / vertical in-plane parallax type multi-viewpoint imaging method. . 【請求項４】 上記前後視差型の多視点撮像法で用いる
異なる倍率の画像間の対応付けにフーリエ・メラン変換
法を用いることを特徴とする請求項１記載の３次元物体
形状認識方法。4. The three-dimensional object shape recognition method according to claim 1, wherein a Fourier-Melan transform method is used for associating images of different magnifications used in the front-back parallax multi-viewpoint imaging method. 【請求項５】 フィルタにより画像の斜め方向の空間勾
配成分と上記画像の水平／垂直方向の空間勾配成分とを
分離し、画像の水平／垂直方向の空間勾配成分は上記水
平／垂直面内視差型の多視点撮像法に優先的に供給し、
上記画像の斜め方向の空間勾配成分は上記前後視差型の
多視点撮像法へ優先的に供給することを特徴とする請求
項１記載の３次元物体形状認識方法。5. A filter separates a diagonal spatial gradient component of the image and a horizontal / vertical spatial gradient component of the image, and the horizontal / vertical spatial gradient component of the image is the horizontal / vertical in-plane parallax. Type multi-view imaging method
The three-dimensional object shape recognition method according to claim 1, wherein the spatial gradient component in the diagonal direction of the image is preferentially supplied to the front-back parallax multi-viewpoint imaging method. 【請求項６】 過去の３次元物体形状認識結果を利用す
ることを特徴とする請求項１記載の３次元物体形状認識
方法。6. The three-dimensional object shape recognition method according to claim 1, wherein the past three-dimensional object shape recognition result is used. 【請求項７】 複数の撮像装置をこれらの撮像装置の前
後進速度に応じて同一の被写体を視野に含むように指向
させることを特徴とする請求項１記載の３次元物体形状
認識方法。7. The three-dimensional object shape recognition method according to claim 1, wherein a plurality of image pickup devices are oriented so that the same subject is included in the visual field according to the forward and backward movement speeds of these image pickup devices. 【請求項８】 同じ被写体距離で異なる視点から入力さ
れた複数の画像を用いる水平／垂直面内視差型の多視点
撮像法により物体認識する認識手段と、 異なる被写体距離で同じ視点から入力された複数の画像
を用いる前後視差型の多視点撮像法により物体認識する
認識手段と、 上記各認識手段によりそれぞれ独立に又は協調的に求め
た３次元物体の形状計測、認識結果を荷重平均する統合
処理手段とを備えた３次元物体形状認識装置。8. A recognition means for recognizing an object by a horizontal / vertical in-plane parallax multi-viewpoint imaging method using a plurality of images input from different viewpoints at the same subject distance, and input from the same viewpoint at different subject distances. Recognizing means for recognizing an object by a front-back parallax multi-viewpoint imaging method using a plurality of images, shape measurement of a three-dimensional object independently or cooperatively obtained by each recognizing means, and integrated processing for weighted averaging the recognition results. And a three-dimensional object shape recognition device. 【請求項９】 上記前後視差型の多視点撮像法で使用す
る異なる倍率の画像間の倍率補正を行う補正手段を設け
たことを特徴とする請求項８記載の３次元物体形状認識
装置。9. The three-dimensional object shape recognition device according to claim 8, further comprising a correction unit for correcting magnification between images of different magnifications used in the front-back parallax type multi-viewpoint imaging method. 【請求項１０】 上記水平／垂直面内視差型の多視点撮
像法で求められた被写体距離に応じて倍率補正を行う補
正手段を設けたことを特徴とする請求項８記載の３次元
物体形状認識装置。10. The three-dimensional object shape according to claim 8, further comprising correction means for correcting magnification in accordance with a subject distance obtained by the horizontal / vertical in-plane parallax type multi-viewpoint imaging method. Recognition device. 【請求項１１】 上記前後視差型の多視点撮像法で用い
る異なる倍率の画像間の対応付けにフーリエ・メラン変
換法を用いることを特徴とする請求項８記載の３次元物
体形状認識装置。11. The three-dimensional object shape recognition device according to claim 8, wherein a Fourier-Melan transform method is used for associating images of different magnifications used in the front-back parallax multi-viewpoint imaging method. 【請求項１２】 画像の斜め方向の空間勾配成分と上記
画像の水平／垂直方向の空間勾配成分とを分離するフィ
ルタを有し、画像の水平／垂直方向の空間勾配成分は上
記水平／垂直面内視差型の多視点撮像法による認識手段
に優先的に供給し、上記画像の斜め方向の空間勾配成分
は上記前後視差型の多視点撮像法による認識手段に優先
的に供給することを特徴とする請求項８記載の３次元物
体形状認識装置。12. A filter for separating a spatial gradient component in an oblique direction of an image and a spatial gradient component in the horizontal / vertical direction of the image, wherein the spatial gradient component in the horizontal / vertical direction of the image is in the horizontal / vertical plane. It is characterized in that it is preferentially supplied to the recognition means by the internal parallax type multi-viewpoint imaging method, and the spatial gradient component in the oblique direction of the image is preferentially supplied to the recognition means by the front-back parallax type multi-viewpoint imaging method. The three-dimensional object shape recognition device according to claim 8. 【請求項１３】 過去の３次元物体形状認識結果を利用
することを特徴とする請求項８記載の３次元物体形状認
識装置。13. The three-dimensional object shape recognition device according to claim 8, wherein a past three-dimensional object shape recognition result is used. 【請求項１４】 複数の撮像装置をこれらの撮像装置の
前後進速度に応じて同一の被写体を視野に含むように指
向させることを特徴とする請求項８記載の３次元物体形
状認識装置。14. The three-dimensional object shape recognition device according to claim 8, wherein a plurality of image pickup devices are oriented so that the same subject is included in the field of view according to the forward and backward movement speeds of these image pickup devices.
JP6178569A 1994-06-02 1994-07-29 Method and apparatus for recognizing shape of three dimensional object Pending JPH0843055A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP6178569A JPH0843055A (en) 1994-07-29 1994-07-29 Method and apparatus for recognizing shape of three dimensional object
US08/457,397 US6118475A (en) 1994-06-02 1995-06-01 Multi-eye image pickup apparatus, and method and apparatus for measuring or recognizing three-dimensional shape

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP6178569A JPH0843055A (en) 1994-07-29 1994-07-29 Method and apparatus for recognizing shape of three dimensional object

Publications (1)

Publication Number Publication Date
JPH0843055A true JPH0843055A (en) 1996-02-16

Family

ID=16050780

Family Applications (1)

Application Number Title Priority Date Filing Date
JP6178569A Pending JPH0843055A (en) 1994-06-02 1994-07-29 Method and apparatus for recognizing shape of three dimensional object

Country Status (1)

Country Link
JP (1) JPH0843055A (en)

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11183142A (en) * 1997-12-19 1999-07-09 Fuji Xerox Co Ltd Method and apparatus for picking up three-dimensional image
EP0942610A3 (en) * 1998-03-12 2001-03-07 Fuji Jukogyo Kabushiki Kaisha System and method for adjusting the convergence of a stereo camera
JP2002048513A (en) * 2000-05-26 2002-02-15 Honda Motor Co Ltd Position detector, method of detecting position, and program for detecting position
JP2003098424A (en) * 2001-09-25 2003-04-03 Fujitsu Ten Ltd Range finder based on image processing
US6847392B1 (en) 1996-10-31 2005-01-25 Nec Corporation Three-dimensional structure estimation apparatus
WO2005010817A1 (en) * 2003-07-24 2005-02-03 Olympus Corporation Image processing device
JP2006052975A (en) * 2004-08-10 2006-02-23 Nikon Corp Binocular vision apparatus
JP2006250917A (en) * 2005-02-14 2006-09-21 Kazuo Iwane High-precision cv arithmetic unit, and cv-system three-dimensional map forming device and cv-system navigation device provided with the high-precision cv arithmetic unit
JP2007263669A (en) * 2006-03-28 2007-10-11 Denso It Laboratory Inc Three-dimensional coordinates acquisition system
JP2007263657A (en) * 2006-03-28 2007-10-11 Denso It Laboratory Inc Three-dimensional coordinates acquisition system
JP2008524673A (en) * 2004-12-06 2008-07-10 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート Stereo camera image distortion correction apparatus and method
JP2011022157A (en) * 2000-05-26 2011-02-03 Honda Motor Co Ltd Position detection apparatus, position detection method and position detection program
JP2013518340A (en) * 2010-01-26 2013-05-20 サーブ アクティエボラーグ Automated 3D mapping method
WO2013072965A1 (en) * 2011-11-17 2013-05-23 パナソニック株式会社 Video processing device and video processing method
WO2013132951A1 (en) * 2012-03-09 2013-09-12 日立オートモティブシステムズ株式会社 Distance calculation device and distance calculation method
JP2015133108A (en) * 2014-01-10 2015-07-23 ホンダ リサーチ インスティテュート ヨーロッパ ゲーエムベーハーＨｏｎｄａ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ Ｅｕｒｏｐｅ ＧｍｂＨ Method of analyzing related image, image processing system, vehicle having the system, and computer program product
JP2015206798A (en) * 2015-06-25 2015-11-19 日立オートモティブシステムズ株式会社 distance calculation device
JP2019056647A (en) * 2017-09-21 2019-04-11 三菱電機株式会社 Image generation device, image generation program, and picture-taking vehicle
US10412370B2 (en) 2016-06-07 2019-09-10 Kabushiki Kaisha Toshiba Photographing device and vehicle
US10571246B2 (en) 2017-07-05 2020-02-25 Kabushiki Kaisha Toshiba Imaging processing apparatus, distance measuring apparatus and processing system
JP2020091415A (en) * 2018-12-06 2020-06-11 キヤノン株式会社 Lens control device and its control method
US11100662B2 (en) 2018-08-10 2021-08-24 Kabushiki Kaisha Toshiba Image processing apparatus, ranging apparatus and processing apparatus
WO2022107405A1 (en) * 2020-11-19 2022-05-27 株式会社日立製作所 Three-dimensional image processing device
US11587261B2 (en) 2017-09-08 2023-02-21 Kabushiki Kaisha Toshiba Image processing apparatus and ranging apparatus

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6847392B1 (en) 1996-10-31 2005-01-25 Nec Corporation Three-dimensional structure estimation apparatus
JPH11183142A (en) * 1997-12-19 1999-07-09 Fuji Xerox Co Ltd Method and apparatus for picking up three-dimensional image
EP0942610A3 (en) * 1998-03-12 2001-03-07 Fuji Jukogyo Kabushiki Kaisha System and method for adjusting the convergence of a stereo camera
JP2002048513A (en) * 2000-05-26 2002-02-15 Honda Motor Co Ltd Position detector, method of detecting position, and program for detecting position
JP2011022157A (en) * 2000-05-26 2011-02-03 Honda Motor Co Ltd Position detection apparatus, position detection method and position detection program
JP2003098424A (en) * 2001-09-25 2003-04-03 Fujitsu Ten Ltd Range finder based on image processing
CN100365654C (en) * 2003-07-24 2008-01-30 奥林巴斯株式会社 Image processing device
WO2005010817A1 (en) * 2003-07-24 2005-02-03 Olympus Corporation Image processing device
US7424174B2 (en) 2003-07-24 2008-09-09 Olympus Corporation Image processing device
JP2006052975A (en) * 2004-08-10 2006-02-23 Nikon Corp Binocular vision apparatus
JP2008524673A (en) * 2004-12-06 2008-07-10 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート Stereo camera image distortion correction apparatus and method
JP2006250917A (en) * 2005-02-14 2006-09-21 Kazuo Iwane High-precision cv arithmetic unit, and cv-system three-dimensional map forming device and cv-system navigation device provided with the high-precision cv arithmetic unit
JP2007263657A (en) * 2006-03-28 2007-10-11 Denso It Laboratory Inc Three-dimensional coordinates acquisition system
JP2007263669A (en) * 2006-03-28 2007-10-11 Denso It Laboratory Inc Three-dimensional coordinates acquisition system
JP2013518340A (en) * 2010-01-26 2013-05-20 サーブ アクティエボラーグ Automated 3D mapping method
US9224242B2 (en) 2010-01-26 2015-12-29 Saab Ab Automated three dimensional mapping method
WO2013072965A1 (en) * 2011-11-17 2013-05-23 パナソニック株式会社 Video processing device and video processing method
WO2013132951A1 (en) * 2012-03-09 2013-09-12 日立オートモティブシステムズ株式会社 Distance calculation device and distance calculation method
JP2013186042A (en) * 2012-03-09 2013-09-19 Hitachi Automotive Systems Ltd Distance calculating device and distance calculating method
JP2015133108A (en) * 2014-01-10 2015-07-23 ホンダ リサーチ インスティテュート ヨーロッパ ゲーエムベーハーＨｏｎｄａ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ Ｅｕｒｏｐｅ ＧｍｂＨ Method of analyzing related image, image processing system, vehicle having the system, and computer program product
JP2015206798A (en) * 2015-06-25 2015-11-19 日立オートモティブシステムズ株式会社 distance calculation device
US10412370B2 (en) 2016-06-07 2019-09-10 Kabushiki Kaisha Toshiba Photographing device and vehicle
US10571246B2 (en) 2017-07-05 2020-02-25 Kabushiki Kaisha Toshiba Imaging processing apparatus, distance measuring apparatus and processing system
US11587261B2 (en) 2017-09-08 2023-02-21 Kabushiki Kaisha Toshiba Image processing apparatus and ranging apparatus
JP2019056647A (en) * 2017-09-21 2019-04-11 三菱電機株式会社 Image generation device, image generation program, and picture-taking vehicle
US11100662B2 (en) 2018-08-10 2021-08-24 Kabushiki Kaisha Toshiba Image processing apparatus, ranging apparatus and processing apparatus
US11573479B2 (en) 2018-12-06 2023-02-07 Canon Kabushiki Kaisha Lens control apparatus and method for controlling the same
JP2020091415A (en) * 2018-12-06 2020-06-11 キヤノン株式会社 Lens control device and its control method
WO2022107405A1 (en) * 2020-11-19 2022-05-27 株式会社日立製作所 Three-dimensional image processing device

Similar Documents

Publication Publication Date Title
JPH0843055A (en) Method and apparatus for recognizing shape of three dimensional object
US6118475A (en) Multi-eye image pickup apparatus, and method and apparatus for measuring or recognizing three-dimensional shape
JP3539788B2 (en) Image matching method
CN106960454B (en) Depth of field obstacle avoidance method and equipment and unmanned aerial vehicle
US20070189750A1 (en) Method of and apparatus for simultaneously capturing and generating multiple blurred images
US6236748B1 (en) Compound eye image pickup device utilizing plural image sensors and plural lenses
CN101539422B (en) Monocular vision real time distance measuring method
EP0121411A2 (en) Stereoscopic vision system
KR100938195B1 (en) Method for distance estimation and apparatus for the same using a stereo matching
JP3349121B2 (en) Stereo camera mounting structure
CN105551020B (en) A kind of method and device detecting object size
US11347133B2 (en) Image capturing apparatus, image processing apparatus, control method, and storage medium
CN108510540A (en) Stereoscopic vision video camera and its height acquisition methods
JP2000283753A (en) Device for measuring distance using stereographic picture
JPH0814861A (en) Method of measuring three-dimensional shape and device therefor
KR101715553B1 (en) Focus position detection device, focus position detection method and a computer program for focus position detection
JP2011232965A (en) Plane area detection device and stereo camera system
Gao et al. Single camera stereo using planar parallel plate
JPH07181024A (en) Method and apparatus for measuring three-dimensional profile
EP4235574A1 (en) Measuring device, moving device, measuring method, and storage medium
CN111260538B (en) Positioning and vehicle-mounted terminal based on long-baseline binocular fisheye camera
WO2022118513A1 (en) Position/orientation calculation device, position/orientation calculation method, and surveying device
JPH0875454A (en) Range finding device
US20130076868A1 (en) Stereoscopic imaging apparatus, face detection apparatus and methods of controlling operation of same
JP3728460B2 (en) Method and system for determining optimal arrangement of stereo camera