JPH0250273A - Stereo picture corresponding device - Google Patents
Stereo picture corresponding deviceInfo
- Publication number
- JPH0250273A JPH0250273A JP63200157A JP20015788A JPH0250273A JP H0250273 A JPH0250273 A JP H0250273A JP 63200157 A JP63200157 A JP 63200157A JP 20015788 A JP20015788 A JP 20015788A JP H0250273 A JPH0250273 A JP H0250273A
- Authority
- JP
- Japan
- Prior art keywords
- image
- end point
- point
- image data
- edge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 claims description 50
- 238000000605 extraction Methods 0.000 claims description 15
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 230000002411 adverse Effects 0.000 abstract 2
- 238000000034 method Methods 0.000 description 29
- 238000010586 diagram Methods 0.000 description 10
- 239000000284 extract Substances 0.000 description 9
- 238000013507 mapping Methods 0.000 description 4
- 238000011524 similarity measure Methods 0.000 description 4
- 101150073597 DLST gene Proteins 0.000 description 1
- 101100295675 Dictyostelium discoideum odhB gene Proteins 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
【発明の詳細な説明】
（産業上の利用分野）
本発明はステレオ画像対応付は装置の改良に関するもの
である。DETAILED DESCRIPTION OF THE INVENTION (Field of Industrial Application) The present invention relates to an improvement of a stereo image correspondence apparatus.
（従来の技術）
従来より、所定間隔を隔てて水平方向に配置した２台の
テレビカメラ等により撮影された左右の画像（ステレオ
画像）から撮影対象物の３次元的な情報を取出すため、
各画像をそれぞれアナログ・ディジタル変換して得られ
る左画像データ及び右画像データより各走査線毎に互い
に対応する点を求めるステレオ画像対応付は装置が研究
されている。(Prior Art) Conventionally, in order to extract three-dimensional information of a photographed object from left and right images (stereo images) photographed by two television cameras, etc. arranged horizontally at a predetermined interval,
A device for stereo image correspondence is being researched to find mutually corresponding points for each scanning line from left image data and right image data obtained by analog-to-digital conversion of each image.
従来のこの種の装置においては、太１）他著「動的計画
法によるステレオ画像の区間対応法」（電子通信学会論
文誌ＶＯＬ、Ｊ８８−Ｄ Ｎｏ、４１９８５−４Ｐ、５
５４〜Ｐ、５６１ ）に開示されるように、動的計画法
を用いて左右の画像データ中の対となる走査線毎に対応
点を求めていた。In the conventional device of this type, there is a method described by Tai 1) et al., "Stereo image interval correspondence method using dynamic programming" (IEICE Transactions VOL, J88-D No. 41985-4P, 5).
54-P, 561), dynamic programming was used to find corresponding points for each pair of scanning lines in left and right image data.
第２図は前記動的計画法による対応付けのようすを説明
するためのもので、第２図（ａ）は撮影対象物の一例を
示す側面図、第２図（ｂ）はその対応探索平面を示す図
である。なお、ここでは走査線上で濃度変化が一定値以
上の点（以下、工・ツジ点と称す。）同士に挟まれた区
間を対応単位と考える場合について説明するが、画素を
対応単位と考える場合にはエツジ点を全ての画素間に置
いた場合に置き換えて考えれば良い。FIG. 2 is for explaining the state of correspondence by the dynamic programming method. FIG. 2(a) is a side view showing an example of an object to be photographed, and FIG. 2(b) is its correspondence search plane. FIG. Note that here we will explain the case in which the interval between points on the scanning line where the density change exceeds a certain value (hereinafter referred to as "work/tsuji points") is considered as the corresponding unit, but when we consider pixels as the corresponding unit. In this case, the edge points can be placed between all pixels.
第２図（ａ）に示すような凸型の撮影対象物１を矢印２
で示す左方向及び矢印３で示す右方向より図示しないテ
レビカメラ等１とよって撮影した場合、頂面が最も明る
く底面が最も暗く且つ両側面がその中間の明るさを持つ
とすれば、左右の画像中の一の走査線上の明るさは第２
図（ｂ）の符号４及び５に示すような変化を示す。但し
、明るさの変化曲線４において横軸は左画像中の走査線
（以下、左走査線と称す。）上の位置を示し、縦軸は明
るさを示し、また、明るさの変化曲線５において縦軸は
右画像中の走査線（以下、右走査線と称す。）上の位置
を示し、横軸は明るさを示す。A convex photographic object 1 as shown in FIG. 2(a) is indicated by an arrow 2.
When photographing with a television camera (not shown) 1 from the left direction indicated by and the right direction indicated by arrow 3, if the top surface is the brightest and the bottom surface is the darkest and both sides have an intermediate brightness, then the left and right sides are The brightness on one scanning line in the image is the second
Changes such as those shown by reference numerals 4 and 5 in Figure (b) are shown. However, in the brightness change curve 4, the horizontal axis indicates the position on the scanning line in the left image (hereinafter referred to as the left scanning line), the vertical axis indicates the brightness, and the brightness change curve 5 , the vertical axis indicates the position on the scanning line (hereinafter referred to as the right scanning line) in the right image, and the horizontal axis indicates the brightness.
また、第２図（ｂ）において、６は前記変化曲線４及び
５に対応する動的計画法１こよる対応探索平面を表わし
ており、左右走査線間の対応探索は該平面６上で対応を
示すバスを求める問題として解かれる。該平面６におい
て、横軸は左走査線上の位置に対応し、縦軸は右走査線
上の位置に対応し、また、縦線は左走査線上で検出され
たエツジ点の位置を示し、横線は右走査線上で検出され
たエツジ点の位置を示しており、各走査線の両端も便宜
上、エツジ点として扱っている。これらの直線の交点を
ノードと呼ぶことにすれば、ノードは動的計画法におけ
る決定段階に相当し、各ノードにおいてそこに至るバス
のうち最小コストを持つものを選択する操作を行なうこ
とになる。In addition, in FIG. 2(b), 6 represents a correspondence search plane by dynamic programming 1 corresponding to the change curves 4 and 5, and the correspondence search between the left and right scanning lines is performed on the plane 6. It is solved as a problem to find a bus that represents . In the plane 6, the horizontal axis corresponds to the position on the left scanning line, the vertical axis corresponds to the position on the right scanning line, the vertical line indicates the position of the edge point detected on the left scanning line, and the horizontal line indicates the position of the edge point detected on the left scanning line. It shows the positions of edge points detected on the right scanning line, and both ends of each scanning line are also treated as edge points for convenience. If we call the intersection of these straight lines a node, a node corresponds to the decision stage in dynamic programming, and each node performs an operation to select the bus that leads to it with the minimum cost. .
縦横の直線で区切られた矩形が左右走査線上の１対の区
間の対応可能性を表わす。左右１対の区間の対応を示す
バス（即ち、探索平面上のある矩形の対角線又は辺）を
原子バスと呼ぶことにすれば、左右走査線の対応は探索
平面上で左上から右下に至る原子パスを連結したバスに
よって表現される。但し、動的計画法による探索を可能
とするため、互いに対応する区間の順序は左右の走査線
上で入れ替わっていないという仮定が成立しているもの
とする。A rectangle separated by vertical and horizontal straight lines represents the possibility of correspondence between a pair of sections on the left and right scanning lines. If we call a bus that indicates the correspondence between a pair of left and right sections (i.e., a diagonal line or side of a certain rectangle on the search plane) an atomic bus, then the correspondence between the left and right scanning lines extends from the upper left to the lower right on the search plane. It is expressed by a bus connecting atomic paths. However, in order to enable search by dynamic programming, it is assumed that the order of mutually corresponding sections is not reversed on the left and right scan lines.
動的計画法では、以下の手法により最適バスのコストを
算出して左右両画像の対応を決定する。In dynamic programming, the cost of the optimal bus is calculated using the following method and the correspondence between the left and right images is determined.
まず、各記号を次のように定義する。First, each symbol is defined as follows.
ｍ：右走査線上で検出されたエツジ点に左から右の順て
付した指標。走査線の両端も便宜上、エツジ点と考え、
左端を０、右端をＭとする。m: Index attached to edge points detected on the right scanning line in order from left to right. For convenience, both ends of the scanning line can be considered as edge points,
Let the left end be 0 and the right end be M.
ｎ：左走査線に対する前記同様の指標。左端は０、右端
はＮとする。n: The same index as above for the left scanning line. The left end is 0 and the right end is N.
Ｍ：右走査線上の区間数。M: Number of sections on the right scan line.
Ｎ：左走査線上の区間数。N: Number of sections on the left scanning line.
Ｌ：走査線長（画素数）。L: Scanning line length (number of pixels).
ｍ−（ｍ、ｎ）：右エツジ点ｍと左エツジ点ｎとで探索
平面上に形成されるノードの指標。m-(m, n): Index of a node formed on the search plane by right edge point m and left edge point n.
０− （０，Ｏ）：左右走査線の左端同士の対応を示す
ノード（バスの始端）。0- (0, O): Node indicating the correspondence between the left ends of the left and right scanning lines (starting end of the bus).
Ｍ−（Ｍ、Ｎ）：左右走査線の右端同士の対応を示すノ
ード（パスの終端）。M-(M, N): Node indicating the correspondence between the right ends of the left and right scanning lines (end of path).
ｄ （ｍ、ｋ）：ノードｋからノードｍに至る原子パス
のコスト。d (m, k): cost of the atomic path from node k to node m.
Ｄ （ｍ） ：ノード９からノード里に至る最適ノ（
スのコスト。D (m): Optimal node from node 9 to node village (
cost.
左右走査線の最適な対応はＤ （Ｍ）を与えるノくスを
求めることにより得られ、それは次の漸化式で計算でき
る。The optimal correspondence between the left and right scan lines can be obtained by finding the cross that gives D (M), which can be calculated using the following recurrence formula.
Ｄ （０） 編０ 但し、１−（Ｌ＋ Ｊ） 、Ｏ≦ｉ≦ｍ。D (0) Part 0 However, 1-(L+J), O≦i≦m.
０≦ｊ ≦ｎ、ｉ＋ｊ ≠０ ｔ−（ｔ＋Ｊ）がノードｍに至る原子バスを示す。0≦j≦n, i+j≠0 t-(t+J) indicates the atomic bus leading to node m.
なお、前記記号中、下線を付した記号と付していない記
号とは異なることを示す。Note that among the above symbols, underlined symbols and non-underlined symbols indicate that they are different.
（発明が解決しようとする課８）
ところで、前述した動的計画法による対応付けでは、左
画像の左右両端及び右画像の左右両端をそれぞれコスト
計算を行なう際の各走査線の始端及び終端とみなしてい
た。(Problem 8 to be solved by the invention) By the way, in the above-mentioned mapping using the dynamic programming method, both the left and right ends of the left image and the left and right ends of the right image are used as the starting and ending ends of each scanning line when performing cost calculations, respectively. It was regarded as such.
しかしながら、所定間隔を隔てて水平方向に配置した２
台のテレビカメラ等により撮影された実際の左右の画像
（ステレオ画像）では、左画像の左端部の画像と右画像
の左端部の画像、又は左画像の右端部の画像と右画像の
右端部の画像とが必ずしも一致するとは限らない。However, two
In the actual left and right images (stereo images) taken with a TV camera etc. on a stand, the image at the left end of the left image and the image at the left end of the right image, or the image at the right end of the left image and the right end of the right image. The images may not necessarily match.
第３図はステレオ画像を撮影する２台のテレビカメラに
おける撮影範囲のずれを示すもので、左画像を撮影する
テレビカメラ７による撮影対象物８に対する撮影範囲は
ａｌ及びａ ｊ間となり、また、右画像を撮影するテレ
ビカメラ９による撮影対象物８に対する撮影範囲はｂｌ
及びｂ２間となり、ａｌ及びｂｌ間の画像についてはテ
レビカメラ９では撮影されず、また、ａ２及びｂ２間の
画像についてはテレビカメラ７では撮影されず、左画像
の左端部の対象物の画像は右画像の左端部には存在せず
、また、右画像の右端部の対象物の画像は左画像の右端
部には存在しない。なお、第３図では便宜上、撮影対象
物８を平面的に表わしたが、立体的な珈合でも同様であ
る。FIG. 3 shows the deviation of the photographing ranges of the two television cameras that photograph stereo images.The photographing range of the photographed object 8 by the television camera 7 that photographs the left image is between al and aj, and The photographing range of the photographing object 8 by the television camera 9 which photographs the right image is bl
and b2, and the image between al and bl is not captured by the TV camera 9, and the image between a2 and b2 is not captured by the TV camera 7, and the image of the object at the left end of the left image is The object does not exist at the left end of the right image, and the image of the object at the right end of the right image does not exist at the right end of the left image. In addition, in FIG. 3, for convenience, the object 8 to be photographed is shown in a two-dimensional manner, but the same applies to a three-dimensional arrangement.
従って、撮影され入力された左画像の左右両端及び右画
像の左右両端をそのまま各走査線の両端としてコスト計
算を行なうと、左右の走査線の一方のみにしか存在しな
い区間に対して原子パスのコストｄ （ｍ、ｋ）を算出
する場合が生じ、対応検索の対象としたい領域、即ち左
右の画像の双方に存在する対象物の画像に対する最適パ
スのコストＤ（ｍ）の算出において、左右一方のみにし
か存在しない区間の原子バスのコストｄ （ｍ、ｋ）が
関与し、ひいては最適パスのコストＤ （ｍ）を与える
最適パスの決定に悪影響を及ぼすという問題点があった
。Therefore, if cost calculations are performed using both the left and right ends of the photographed and input left image and the left and right ends of the right image as both ends of each scanning line, the atomic path will be There is a case where the cost d (m, k) is calculated, and in calculating the cost D (m) of the optimal path for the area that you want to target for correspondence search, that is, the image of the object that exists in both the left and right images, There has been a problem in that the cost d (m, k) of the atomic bus in the section that exists only in this section is involved, which has a negative effect on the determination of the optimal path that gives the cost D (m) of the optimal path.
本発明は前述した問題点に鑑み、左右の画像の双方に存
在する対象物の画像の両端を各走査線の両端とし、その
後、対応点を決定することにより、左右の走査線の一方
のみに存在する部分がひき起す悪影響を除去し得る高性
能なステレオ画像対応付は装置を提供することを目的と
する。In view of the above-mentioned problems, the present invention sets both ends of the image of an object that exists in both the left and right images as both ends of each scanning line, and then determines corresponding points, so that only one of the left and right scanning lines can be displayed. It is an object of the present invention to provide a high-performance stereo image matching device capable of eliminating the negative effects caused by existing parts.
（課題を解決するための手段）
本発明では前記目的を達成するため、所定間隔を隔てて
水平方向に配置した２台のテレビカメラ等により撮影さ
れた左右の画像（ステレオ画像）をそれぞれアナログ・
ディジタル変換して得られる左画像データ及び右画像デ
ータから各走査線毎に互いに対応する点を求めるステレ
オ画像対応付は装置において、左画像データ中の各走査
線毎に左画像の右端部の特徴を代表的に示す点を検出し
、これを左画像データの右端点として出力する左画像右
端点決定手段と、右画像データ中の各走査線毎に右画像
の左端部の特徴を代表的に示す点を検出し、これを右画
像データの左端点として出力する右画像左端点検出手段
と、左画像データ中の各走査線毎に前記右画像左端点に
最も類似した点を検出し、これを左画像データの左端点
として出力する左画像左端点検出手段と、右画像データ
中の各走査線毎に前記左画像右端点に最も類似した点を
検出し、これを右画像データの右端点として出力する右
画像右端点検出手段と、前記左画像左端点と左画像右端
点との間の左画像データ及び前記右画像左端点と右画像
右端点との間の右画像データを各走査線毎に対応付けす
る対応付は手段とを備えたステレオ画像対応付は装置と
、該ステレオ画像対応付は装置において、左画像右端点
決定手段として、左画像データ中の各走査線毎に濃度変
化が一定値以上の点を検出し、これをエツジ点として出
力する左画像エツジ点検出手段と、左画像データ中の各
走査線毎に最も右側に存在する工・ツジ点を検出し、こ
れを左画像データの右端点として出力する左画像右端点
決定手段とを用い、右画像左端点検出手段として、右画
像データ中の各走査線毎に濃度変化が一定値以上の点を
検出し、これをエツジ点として出力する右画像エツジ点
検出手段と、右画像データ中の各走査線毎に最も左側に
存在するエツジ点を検出し、これを右画像データの左端
点として出力する右画像左端点決定手段とを用い、左画
像左端点検出手段として、左画像データ中の各走査線毎
に右画像左端点より右に存在する全てのエツジ点を抽出
し、これを左画像データの左端点候補として出力する左
画像左端点候補抽出手段と、左画像データ中の各走査線
毎に一の前記左画像左端点候補から前記左画像の、右端
部に存在するエツジ点までの濃度分布と前記右画像左端
点から前記右画像の右端部に存在するエツジ点までの濃
度分布との類似度を全ての前記左画像左端点候補につい
て算出し、該類似度が最大値を与える左画像左端点候補
を左画像データの左端点として出力する左画像右端点決
定手段とを用い、右画像右端点検出手段として、右画像
データ中の各走査線毎に左画像右端点より左に存在する
全てのエツジ点を抽出し、これを右画像データの右端点
候補として出力する右画像右端点候補抽出手段と、右画
像データ中の各走査線毎に前記右画像の左端部に存在す
るエツジ点から一の前記右画像右端点候補までの濃度分
布と前記左画像の左端部に存在するエツジ点から前記左
画像右端点までの濃度分布との類似度を全ての前記右画
像右端点候補について算出し、該類似度が最大値を与え
る右画像右端点候補を右画像データの右端点として出力
する右画像右端点検出手段とを用いたステレオ画像対応
付は装置と、前記ステレオ画像対応付は装置において、
左画像右端点決定手段として、左画像データ中の各走査
線毎に濃度変化が一定値以上の点を検出し、これをエツ
ジ点として出力する左画像エツジ点検出手段と、左画像
データ中の各走査線毎に最も右側に存在するエツジ点を
検出し、これを左画像データの右端点として出力する左
画像右端点決定手段とを用い、右画像左端点検出手段と
して、右画像データ中の各走査線毎に濃度変化が一定値
以上の点を検出し、これをエツジ点として出力する右画
像エツジ点検出手段と、右画像データ中の各走査線毎に
最も左側に存在するエツジ点を検出し、これを右画像デ
ータの左端点として出力する右画像左端点決定手段とを
用い、左画像左端点検出手段として、左画像データ中の
各走査線毎にその中央付近において隣接エツジ点間の画
素数が最大となる区間を検出し、該区間を代表する位置
を左画像データの中間点として算出し、右画像データ中
の各走査線毎にその中央付近において隣接エツジ点間の
画素数が最大となる区間を検出し、該区間を代表する位
置を右画像データの中間点として算出する中間点算出手
段と、左画像データ中の各走査線毎に右画像左端点より
右且つ左画像中間点より左に存在する全てのエツジ点を
抽出し、これを左画像データの左端点候補として出力す
る左画像左端点候補抽出手段と、左画像データ中の各走
査線毎に一の前記左画像左端点候補から前記左画像中間
点までの濃度分布と前記右画像左端点から前記右画像中
間点までの濃度分布との類似度を全ての前記左画像左端
点候補について算出し、該類似度が最大値を与える左画
像左端点候補を左画像データの左端点として出力する左
画像左端点決定手段とを用い、右画像右端点検出手段と
して、中間点算出手段と、右画像データ中の各走査線毎
に左画像右端点より左且つ右画像中間点より右に存在す
る全てのエツジ点を抽出し、これを右画像データの右端
点候補として出力する右画像右端点候補抽出手段と、右
画像データ中の各走査線毎に前記右画像中間点から一の
前記右画像右端点候補までの濃度分布と前記左画像中間
点から前記左画像右端点までの濃度分布との類似度を全
ての前記右画像右端点候補について算出し、該類似度が
最大値を与える右画像右端点候補を右画像データの右端
点として出力する右画像右端点決定手段とを用いたステ
レオ画像対応付は装置と、該ステレオ画像対応付は装置
において、左画像データ（又は右画像データ）中の各走
査線毎にその中央付近において隣接エツジ点間の画素数
が最大となる区間を検出し、該区間を代表する位置を左
画像データ（又は右画像データ）の中間点として出力し
、右画像データ（又は左画像データ）中の各走査線毎に
前記左画像（又は右画像）中間点に対応する点を検出し
、これを右画像データ（又は左画像データ）の中間点と
して出力する中間点算出手段を用いたステレオ画像対応
付は装置とを提案する。(Means for Solving the Problems) In order to achieve the above-mentioned object, in the present invention, left and right images (stereo images) taken by two television cameras etc. arranged horizontally at a predetermined interval are respectively converted into analog images.
Stereo image matching, which calculates points that correspond to each other for each scanning line from the left image data and right image data obtained by digital conversion, is performed in the device by determining the characteristics of the right edge of the left image for each scanning line in the left image data. a left image right end point determining means for detecting a representative point and outputting it as the right end point of the left image data; a right image left end point detection means for detecting a point indicated by the left end point of the right image data and outputting it as the left end point of the right image data; A left image left end point detection means outputs the left end point as the left end point of the left image data, and a point most similar to the left image right end point is detected for each scanning line in the right image data, and this is determined as the right end point of the right image data. A right image right end point detection means outputs the left image data between the left end point of the left image and the right end point of the left image and the right image data between the right image left end point and the right image right end point for each scanning line. a stereo image mapping device having a mapping means for mapping each image; a left image edge point detection means that detects a point where is greater than a certain value and outputs it as an edge point; The left image right end point determining means outputs as the right end point of the left image data, and the right image left end point detecting means detects a point where the density change is equal to or greater than a certain value for each scanning line in the right image data. Right image edge point detection means outputs as an edge point, and right image left end point detects the leftmost edge point for each scanning line in right image data and outputs this as the left end point of right image data. The left image left end point detection means extracts all edge points to the right of the right image left end point for each scanning line in the left image data, and uses these as left image data left end point candidates. a left image left end point candidate extraction means for outputting a left image left end point candidate for each scanning line in the left image data; The similarity with the density distribution from the left end point of the image to the edge point existing at the right end of the right image is calculated for all the left image left end point candidates, and the left image left end point candidate that gives the maximum similarity is selected. The left image right end point determining means outputs as the left end point of the left image data, and the right image right end point detecting means detects all edge points to the left of the left image right end point for each scanning line in the right image data. a right image right end point candidate extracting means for extracting the right end point candidate and outputting it as a right end point candidate of the right image data; The degree of similarity between the density distribution up to the right end point candidate of the right image and the density distribution from the edge point existing at the left end of the left image to the right end point of the left image is calculated for all right image right end point candidates, and the similarity A stereo image correspondence is performed using a right image right end point detection means that outputs a right image right end point candidate whose degree has a maximum value as a right end point of right image data;
The left image right end point determining means includes a left image edge point detection means that detects a point where the density change is equal to or greater than a certain value for each scanning line in the left image data and outputs this as an edge point; The left image right end point determining means detects the rightmost edge point for each scanning line and outputs it as the right end point of the left image data. Right image edge point detection means detects a point where the density change is equal to or greater than a certain value for each scanning line and outputs it as an edge point, The left image left end point detection means detects the left end point of the right image data and outputs it as the left end point of the right image data. Detect the section where the number of pixels is maximum, calculate the position representing the section as the midpoint of the left image data, and calculate the number of pixels between adjacent edge points for each scanning line in the right image data near the center. intermediate point calculating means for detecting a section where the maximum is the maximum and calculating a position representing the section as the midpoint of the right image data; a left image left end point candidate extraction means for extracting all edge points to the left of the midpoint and outputting them as left end point candidates of left image data; The degree of similarity between the density distribution from the left end point candidate of the image to the midpoint of the left image and the density distribution from the left end point of the right image to the midpoint of the right image is calculated for all the left end point candidates of the left image, and the degree of similarity is calculated. A left image left end point determining means outputs the left end point candidate of the left image giving the maximum value as the left end point of the left image data. right image right end point candidate extraction means for extracting all edge points to the left of the right end point of the left image and to the right of the right image midpoint for each scanning line, and outputting these as right end point candidates of right image data; For each scanning line in the image data, the similarity between the density distribution from the right image midpoint to one of the right image right end point candidates and the density distribution from the left image midpoint to the left image right end point candidate is calculated as The stereo image correspondence is performed using a right image right end point determining means that calculates the right end point candidate of the right image and outputs the right end point candidate of the right image giving the maximum similarity as the right end point of the right image data. , the stereo image matching is performed in the device by detecting the section where the number of pixels between adjacent edge points is maximum near the center of each scanning line in the left image data (or right image data), and using this section as a representative. The position corresponding to the midpoint of the left image data (or right image data) is outputted as the midpoint of the left image data (or right image data), and the point corresponding to the midpoint of the left image (or right image) is output for each scanning line in the right image data (or left image data). We propose an apparatus for stereo image matching using intermediate point calculation means that detects and outputs this as the intermediate point of right image data (or left image data).
（作 用）
本発明によれば、左画像右端点決定手段により左画像デ
ータ中の右端部の特徴を代表する点、例えばデータ中の
最も右側の点が左画像右端点として各走査線毎に検出さ
れ、また、右画像左端点検出手段により右画像データ中
の左端部の特徴を代表する点、例えばデータ中の最も左
側の点が右画像左端点として各走査線毎に検゛出され、
また、左画像左端点検出手段により左画像データ中で前
記右画像データ中の最も左側の点に最も類似した点が左
画像左端点として各走査線毎に検出され、また、右画像
右端点検出手段により右画像データ中で前記左画像デー
タ中の最も右側の点に最も類似した点が右画像右端点と
して各走査線毎に検出され、さらに対応付は手段により
前記左画像左端点と左画像右端点との間の左画像データ
及び前記右画像左端点と右画像右端点との間の右画像デ
ータが各走査線毎に対応付けされる。(Function) According to the present invention, the left image right end point determining means selects a point representing the characteristics of the right end in the left image data, for example, the rightmost point in the data, as the left image right end point for each scanning line. Also, a point representative of the characteristics of the left end in the right image data, for example, the leftmost point in the data, is detected for each scanning line as the left end point of the right image by the right image left end point detection means,
In addition, the left image left end point detection means detects the point most similar to the leftmost point in the right image data in the left image data as the left end point of the left image for each scanning line, and also detects the right end point of the right image. The means detects the point in the right image data that is most similar to the rightmost point in the left image data as the right end point of the right image for each scanning line, and the means further associates the left end point with the left end point of the left image. Left image data between the right end point and right image data between the left end point of the right image and the right end point of the right image are associated for each scanning line.
また、本発明によれば、左画像エツジ点検出手段及び右
画像エツジ点検出手段により左画像データ及び右画像デ
ータ中のエツジ点が各走査線毎に検出され、また、左画
像右端点決定手段及び右画像右端点検出手段に、より左
画像データ中の最も右側に存在するエツジ点及び右画像
データ中の最も左側に存在するエツジ点が左画像右端点
及び右画像左端点として各走査線毎に決定され、また、
左画像左端点候補抽出手段及び右画像右端点候補抽出手
段により左画像データ中の右画像左端点より右に存在す
る全てのエツジ点及び右画像データ中の左画像右端点よ
り左に存在する全てのエツジ点が左画像左端点候補及び
右画像右端点候補として各走査線毎に抽出さ−れ、また
、左画像左端点決定手段及び右画像右端点決定手段によ
り前記左画像左端点候補及び右画像右端点候補中、対応
する区間の濃度分布の類似度に最大値を与える点が左画
像左端点及び右画像右端点として各走査線毎に決定され
、さらに対応付は手段により前記左画像左端点と左画像
右端点との間の左画像データ及び前記右画像左端点と右
画像右端点との間の右画像データが各走査線毎に対応付
けされる。Further, according to the present invention, the edge points in the left image data and the right image data are detected for each scanning line by the left image edge point detection means and the right image edge point detection means, and the left image right end point determination means And the right image right end point detection means detects the rightmost edge point in the left image data and the leftmost edge point in the right image data as the left image right end point and right image left end point for each scanning line. It was determined that
The left image left end point candidate extraction means and the right image right end point candidate extraction means extract all edge points to the right of the left end point of the right image in the left image data and all edge points to the left of the right end point of the left image in the right image data. The edge points of the left image are extracted as the left end point candidates and the right end point candidates of the right image for each scanning line. Among the image right end point candidates, the point that gives the maximum value of the similarity of the density distribution in the corresponding section is determined for each scanning line as the left end point of the left image and the right end point of the right image, and the correspondence is further determined by means of the left end point of the left image. Left image data between the point and the right end point of the left image and right image data between the left end point of the right image and the right end point of the right image are associated for each scanning line.
また、本発明によれば、中間点算出手段により左画像デ
ータの中央付近において隣接エツジ点間の画素数が最大
となる区間を代表する位置が左画像中間点として各走査
線毎に算出され、また、右画像データの中央付近におい
て隣接エツジ点間の画素数が最大となる区間を代表する
位置が右画像中間点として各走査線毎に算出され、また
、左画像左端点候補抽出手段及び右画像右端点候補抽出
手段により左画像・データ中の右画像左端点より右且つ
左画像中間点より左に存在する全てのエツジ点及び右画
像データ中の左画像右端点より左且つ右画像中間点より
右に存在する全てのエツジ点が左画像左端点候補及び右
画像右端点候補として各走査線毎に抽出され、また、左
画像左端点決定手段及び右画像右端点決定手段により前
記左画像左端点候補及び右画像右端点候補中、対応する
区間の濃度分布の類似度に最大値を与える点が左画像左
端点及び右画像右端点として各走査線毎に決定され、さ
らに対応付は手段により前記左画像左端点と左画像右端
点との間の左画像データ及び前記右画像左端点と右画像
右端点との間の右画像データが各走査線毎に対応付けさ
れる。Further, according to the present invention, the intermediate point calculation means calculates a position representing the section where the number of pixels between adjacent edge points is maximum near the center of the left image data for each scanning line as the left image intermediate point, In addition, a position representing the section where the number of pixels between adjacent edge points is maximum near the center of the right image data is calculated for each scanning line as the right image midpoint, and the left image left end point candidate extraction means and the right The image right end point candidate extraction means extracts all edge points to the right of the left end point of the right image in the left image/data and to the left of the left image midpoint, and to the left of the right end point of the left image in the right image data and to the right image midpoint. All edge points existing to the right are extracted for each scanning line as left image left end point candidates and right image right end point candidates, and the left end point determination means and right image right end point determination means extract the left end point candidates of the left image. Among the point candidates and the right end point candidates of the right image, the point that gives the maximum value of the similarity of the density distribution of the corresponding section is determined for each scanning line as the left end point of the left image and the right end point of the right image, and the correspondence is further determined by means. Left image data between the left end point of the left image and right end point of the left image and right image data between the left end point of the right image and the right end point of the right image are associated for each scanning line.
また、本発明によれば、中間点算出手段により左画像デ
ータ（又は右画像データ）の中央付近において隣接エツ
ジ点間の画素数が最大となる区間を代表する位置が左画
像（又は右画像）中間点として各走査線毎に算出され、
右画像データ（又は左画像データ）中の前記左画像（又
は右画像）中間点に対応する点が右画像（又は左画像）
中間点として各走査線毎に出力される。Further, according to the present invention, the position representing the section where the number of pixels between adjacent edge points is maximum near the center of the left image data (or right image data) is determined by the intermediate point calculation means as the left image (or right image data). is calculated for each scan line as the midpoint,
The point corresponding to the midpoint of the left image (or right image) in the right image data (or left image data) is the right image (or left image)
It is output as an intermediate point for each scanning line.
（実施例）
第１図は本発明のステレオ画像対応付は装置の概要を示
す機能ブロック図であり、図中、１１は左画像右端点決
定手段、１２は右画像左端点検出手段、１３は左画像左
端点検出手段、１４は右画像右端点検出手段、１５は対
応付は手段である。(Embodiment) FIG. 1 is a functional block diagram showing the outline of the stereo image matching apparatus of the present invention, in which 11 is a left image right end point determining means, 12 is a right image left end point detecting means, and 13 is a A left image left end point detection means, 14 a right image right end point detection means, and 15 a correspondence means.
左画像右端点決定手段１１は所定間隔を隔てて水平方向
に配置した２台のテレビカメラのうち、左側のテレビカ
メラにより撮影された左画像をアナログ・ディジタル変
換して得られる左画像データ中の各走査線毎に°左画像
の右端部の特徴を代表的に示す点を検出し、これを左画
像データの右端点として出力する。また、右画像左端点
検出手段１２は所定間隔を隔てて水平方向に配置した２
台のテレビカメラのうち、右側のテレビカメラにより撮
影された右画像をアナログ・ディジタル変換して得られ
る右画像データ中の各走査線毎に右画像の左端部の特徴
を代表的に示す点を検出し、これを右画像データの左端
点として出力する。The left image right end point determining means 11 determines the left image data in the left image data obtained by analog-to-digital conversion of the left image photographed by the left television camera of two television cameras arranged horizontally at a predetermined interval. For each scanning line, a point representative of the characteristics of the right end of the left image is detected, and this point is output as the right end point of the left image data. Further, the right image left end point detection means 12 is arranged horizontally at a predetermined interval.
The points representative of the characteristics of the left end of the right image are determined for each scanning line in the right image data obtained by analog-to-digital conversion of the right image taken by the right TV camera of the set of TV cameras. Detect and output this as the left end point of the right image data.
左画像左端点検出手段１３は左画像データ中の各走査線
毎に前記右画像左端点に最も類似した点を検出し、これ
を左画像データの左端点として出力する。また、右画像
右端点検出手段１４は右画像データ中の各走査線毎に前
記左画像右端点に最も類似した点を検出し、これを右画
像データの右端点として出力する。The left image left end point detection means 13 detects the point most similar to the right image left end point for each scanning line in the left image data, and outputs this as the left end point of the left image data. Further, the right image right end point detection means 14 detects the point most similar to the left image right end point for each scanning line in the right image data, and outputs this as the right end point of the right image data.
対応付は手段１５は前記左画像左端点と左画像右端点と
の間の左画像データ及び前記右画像左端点と右画像右端
点との間の右画像データを各走査線毎に対応付けする。For the correspondence, means 15 associates the left image data between the left end point of the left image and the right end point of the left image and the right image data between the left end point of the right image and the right end point of the right image for each scanning line. .
第４図は本発明の他のステレオ画像対応付は装置の概要
を示す機能ブロック図であり、図中、１５は対応付は手
段、１６は左画像エツジ点検出手段、１７は右画像エツ
ジ点検出手段、１８は左画像右端点決定手段、１９は右
画像右端点決定手段、２０は左画像左端点候補抽出手段
、２１は右画像右端点候補抽出手段、２２は左画像左端
点決定手段、２３は右画像右端点決定手段である。FIG. 4 is a functional block diagram showing the outline of another stereo image matching device of the present invention, in which 15 is a matching means, 16 is a left image edge point detection means, and 17 is a right image edge inspection device. output means, 18 is a left image right end point determining means, 19 is a right image right end point determining means, 20 is a left image left end point candidate extraction means, 21 is a right image right end point candidate extraction means, 22 is a left image left end point determining means, 23 is right image right end point determining means.
左画像エツジ点検出手段１６は左画像データ中の各走査
線毎に濃度変化が一定値以上の点を検出し、これをエツ
ジ点として出力する。また、右画像エツジ点検出手段１
７は右画像データ中の各走査線毎に濃度変化が一定値以
上の点を検出し、これをエツジ点として出力する。The left image edge point detection means 16 detects a point where the density change is equal to or greater than a certain value for each scanning line in the left image data, and outputs this as an edge point. In addition, right image edge point detection means 1
7 detects a point where the density change is equal to or greater than a certain value for each scanning line in the right image data, and outputs this as an edge point.
左画像右端点決定手段１８は左画像データ中の各走査線
毎に最も右側に存在するエツジ点を検出し、これを左画
像データの右端点として出力する。The left image right end point determining means 18 detects the rightmost edge point for each scanning line in the left image data, and outputs this as the right end point of the left image data.
また、右画像右端点決定手段１９は右画像データ中の各
走査線毎に最も左側に存在するエツジ点を検出し、これ
を右画像データの左端点として出力する。Further, the right image right end point determining means 19 detects the leftmost edge point for each scanning line in the right image data, and outputs this as the left end point of the right image data.
左画像左端点候補抽出手段２０は左画像データ中の各走
査線毎に右画像左端点より右に存在する全てのエツジ点
を抽出し、これを左画像データの左端点候補として出力
する。また、右画像右端点候補抽出手段２１は右画像デ
ータ中の各走査線毎に左画像右端点より左に存在する全
てのエツジ点を抽出し、これを右画像データの右端点候
補として出力する。The left image left end point candidate extraction means 20 extracts all edge points to the right of the right image left end point for each scanning line in the left image data, and outputs them as left end point candidates of the left image data. Further, the right image right end point candidate extracting means 21 extracts all edge points existing to the left of the left image right end point for each scanning line in the right image data, and outputs these as right end point candidates of the right image data. .
左画像左端点決定手段２２は左画像データ中の各走査線
毎に一の前記左画像左端点候補から前記左画像の右端面
に存在するエツジ点までの濃度分布と前記右画像左端点
から前記右画像の右端部に存在するエツジ点までの濃度
分布との類似度を全ての前記左画像左端点候補について
算出し、該類似度が最大値を与える左画像左端点候補を
左画像データの左端点として出力する。また、右画像右
端点決定手段２３は右画像データ中の各走査線毎に前記
右画像の左端部に存在するエツジ点から一の前記右画像
右端点候補までの濃度分布と前記左画像の左端部に存在
するエツジ点から前記左画像右端点までの濃度分布との
類似度を全ての前記右画像右端点候補について算出し、
該類似度が最大値を与える右画像右端点候補を右画像デ
ータの右端点として出力する。The left image left end point determining means 22 determines, for each scanning line in the left image data, the density distribution from one left image left end point candidate to an edge point existing on the right end surface of the left image and from the right image left end point to the edge point. The degree of similarity with the density distribution up to the edge point existing at the right edge of the right image is calculated for all the left image left edge point candidates, and the left image left edge point candidate with the maximum similarity is set as the left edge point candidate of the left image data. Output as points. Further, the right image right end point determining means 23 determines the density distribution from the edge point existing at the left end of the right image to one of the right image right end point candidates for each scanning line in the right image data, and the left end of the left image. Calculate the degree of similarity with the density distribution from the edge point existing in the part to the right end point of the left image for all the right end point candidates of the right image,
The right end point candidate of the right image whose similarity gives the maximum value is output as the right end point of the right image data.
第５図は本発明のさらに他のステレオ画像対応付は装置
の概要を示す機能ブロック図であり、図中、１５は対応
付は手段、１６は左画像エツジ点検出手段、１７は右画
像エツジ点検出手段、１８は左画像右端点決定手段、１
９は右画像左端点決定手段、２４は中間点算出手段、２
５は左画像左端点候補抽出手段、２６は右画像右端点候
補抽出手段、２７は左画像左端点決定手段、２８は右画
像右端点決定手段である。FIG. 5 is a functional block diagram showing the outline of still another stereo image correspondence apparatus of the present invention, in which 15 is a correspondence means, 16 is a left image edge point detection means, and 17 is a right image edge point detection means. Point detection means, 18, left image right end point determination means, 1
9 is a right image left end point determining means; 24 is an intermediate point calculating means; 2
5 is left image left end point candidate extraction means, 26 is right image right end point candidate extraction means, 27 is left image left end point determination means, and 28 is right image right end point determination means.
中間点算出手段２４は左画像データ中の各走査線毎にそ
の中央付近において隣接エツジ点間の画素数が最大とな
る区間を検出し、該区間を代表する位置を左画像データ
の中間点として算出し、右画像データ中の各走査線毎に
その中央付近において隣接エツジ点間の画素数が最大と
なる区間を検出し、該区間を代表する位置を右画像デー
タの中間点として算出する。The midpoint calculation means 24 detects a section in which the number of pixels between adjacent edge points is maximum near the center of each scanning line in the left image data, and determines a position representing this section as the midpoint of the left image data. Then, for each scanning line in the right image data, a section where the number of pixels between adjacent edge points is maximum is detected near the center, and a position representing the section is calculated as the midpoint of the right image data.
左画像左端点候補抽出手段２５は左画像データ中の各走
査線毎に右画像左端点より右且つ左画像中間点より左に
存在する全てのエツジ点を抽出し、これを左画像データ
の左端点候補として出力する。The left image left end point candidate extracting means 25 extracts all edge points to the right of the left end point of the right image and to the left of the left image midpoint for each scanning line in the left image data, and extracts all the edge points that exist to the right of the left end point of the right image and to the left of the left image midpoint. Output as point candidates.
また、右画像右端点候補抽出手段２６は右画像データ中
の各走査線毎に左画像右端点より左且つ右画像中間点よ
り右に存在する全てのエツジ点を抽出し、これを右画像
データの右端点候補として出力する。Further, the right image right end point candidate extracting means 26 extracts all edge points existing to the left of the right end point of the left image and to the right of the right image midpoint for each scanning line in the right image data, and Output as the right end point candidate.
左画像左端点決定手段２７は左画像データ中の各走査線
毎に一の前記左画像左端点候補から前記左画像中間点ま
での濃度分布と前記右画像左端点から前記右画像中間点
までの濃度分布との類似度を全ての前記左画像左端点候
補について算出し、該類似度が最大値を与える左画像左
端点候補を左画像データの左端点として出力する。また
、右画像右端点決定手段２８は右画像データ中の各走査
線毎に前記右画像中間点から一の前記右画像右端点候補
までの濃度分布と前記左画像中間点から前記左画像右端
点までの濃度分布との類似度を全ての前記右画像右端点
候補について算出し、該類似度が最大値を与える右画像
右端点候補を右画像データの右端点として出力する。The left image left end point determining means 27 determines the density distribution from one left image left end point candidate to the left image midpoint and the density distribution from the right image left end point to the right image midpoint for each scanning line in the left image data. The degree of similarity with the density distribution is calculated for all the left image left end point candidates, and the left image left end point candidate for which the degree of similarity gives the maximum value is output as the left end point of the left image data. Further, the right image right end point determining means 28 determines the density distribution from the right image midpoint to one of the right image right end point candidates for each scanning line in the right image data, and the density distribution from the left image midpoint to the left image right end point. The degree of similarity with the density distribution up to and including the density distribution is calculated for all the right image right end point candidates, and the right image right end point candidate whose similarity gives the maximum value is output as the right end point of the right image data.
第６図は本発明のさらに他のステレオ画像対応付は装置
の概要を示す機能ブロック図であり、図中、１５は対応
付は手段、１６は左画像エツジ点検出手段、１７は右画
像エツジ点検出手段、１８は左画像右端点決定手段、１
９は右画像左端点決定手段、２５は左画像左端点候補抽
出手段、２６は右画像右端点候補抽出手段、２７は左画
像左端点決定手段、２８は右画像右端点決定手段、２９
は中間点算出手段である。FIG. 6 is a functional block diagram showing the outline of still another stereo image correspondence apparatus of the present invention, in which 15 is a correspondence means, 16 is a left image edge point detection means, and 17 is a right image edge point detection means. Point detection means, 18, left image right end point determination means, 1
9 is a right image left end point determining means, 25 is a left image left end point candidate extracting means, 26 is a right image right end point candidate extracting means, 27 is a left image left end point determining means, 28 is a right image right end point determining means, 29
is an intermediate point calculation means.
中間点算出手段２９は左画像データ（又は右画像データ
）中の各走査線毎にその中央付近において隣接エツジ点
間の画素数が最大となる区間を検出し、該区間を代表す
る位置を左画像データ（又は右画像データ）の中間点と
して出力し、右画像データ（又は左画像データ）中の各
走査線毎に前記左画像（又は右画像）中間点に対応する
点を検出し、これを右画像データ（又は左画像データ）
の中間点として出力する。The intermediate point calculating means 29 detects the section where the number of pixels between adjacent edge points is maximum near the center of each scanning line in the left image data (or right image data), and selects the position representing the section on the left. output as the midpoint of the image data (or right image data), detect a point corresponding to the midpoint of the left image (or right image) for each scanning line in the right image data (or left image data), and The right image data (or left image data)
Output as the midpoint of
第７図は本発明のステレオ画像対応付は装置の一実施例
を示すもので、ここでは第６図のステレオ画像対応付は
装置に対応した例を示す。図中、３１は左画像データ入
力部、３２は右画像データ入力部、３３は左画像エツジ
点検出部、３４は右画像エツジ点検出部、３５は左画像
終端決定部、３６は右画像始端決定部、３７は画像中間
点計算部、３８は左画像始端候補計算部、３９は右画像
終端候補計算部、４０は左画像始端決定部、４１は右画
像終端決定部、４２は対応付は処理部である。FIG. 7 shows an embodiment of the stereo image correspondence apparatus of the present invention, and here an example in which the stereo image correspondence of FIG. 6 is compatible with the apparatus is shown. In the figure, 31 is a left image data input section, 32 is a right image data input section, 33 is a left image edge point detection section, 34 is a right image edge point detection section, 35 is a left image end determination section, and 36 is a right image start end. Determination unit, 37 is an image midpoint calculation unit, 38 is a left image start edge candidate calculation unit, 39 is a right image end candidate calculation unit, 40 is a left image start edge determination unit, 41 is a right image end determination unit, 42 is a correspondence This is the processing section.
左画像データ入力部３１は地面からの高さが互いに等し
くなる位置に設置した２台のテレビカメラ（図示せず）
のうち、撮影（入力）対象物に向って左側に設置したテ
レビカメラにより撮影された画像に所定のアナログ・デ
ィジタル変換を行ない、左画像データ５１として左画像
エツジ点検出部３３、画像中間点計算部３７及び対応付
は処理部４２へ出力し、また、右画像データ入力部３２
は入力対象物に向って右側に設置したテレビカメラによ
り撮影された画像に所定のアナログ・ディジタル変換を
行ない、右画像データ５２として右画像エツジ点検出部
３４、画像中間点計算部３７及び対応付は処理部４２へ
出力する。The left image data input section 31 includes two television cameras (not shown) installed at positions with equal heights from the ground.
Among these images, a predetermined analog-to-digital conversion is performed on the image taken by a television camera installed on the left side facing the object to be photographed (input), and the left image edge point detection unit 33 calculates the image midpoint as left image data 51. The section 37 and the correspondence are output to the processing section 42, and the right image data input section 32
performs a predetermined analog-to-digital conversion on the image taken by a television camera installed on the right side facing the input object, and outputs the right image edge point detection unit 34, image midpoint calculation unit 37, and correspondence as right image data 52. is output to the processing section 42.
左画像エツジ点検出部３３は左画像データ５１の各走査
線における濃度変化が一定値以上である点を検出して、
そのアドレス値（以下、左画像エツジ点アドレスと称す
。）５３を左画像終端決定部３５、画像中間点計算部３
７、左画像始端候補計算部３８及び対応付は処理部４２
へ出力する。The left image edge point detection unit 33 detects points where the density change in each scanning line of the left image data 51 is equal to or greater than a certain value, and
The address value (hereinafter referred to as the left image edge point address) 53 is sent to the left image end determining section 35 and the image midpoint calculating section 3.
7. Left image starting edge candidate calculation unit 38 and correspondence processing unit 42
Output to.
また、右画像エツジ点検出部３４は右画像データ５２の
各走査線における濃度変化が一定値以上である点を検出
して、そのアドレス値（以下、右画像エツジ点アドレス
と称す。）５４を右画像始端決定部３６、画像中間点計
算部３７、右画像終端候補計算部３９及び対応付は処理
部４２へ出力する。Further, the right image edge point detection unit 34 detects a point where the density change in each scanning line of the right image data 52 is equal to or greater than a certain value, and calculates the address value (hereinafter referred to as the right image edge point address) 54. The right image starting edge determining unit 36, image midpoint calculating unit 37, right image ending candidate calculating unit 39, and correspondence are output to the processing unit 42.
なお、本実施例では左画像及び右画像とも画像の左側を
データの始端、即ちアドレス値の始端とし、画像の右側
をデータの終端、即ちアドレス値の終端とし、走査線上
のアドレス値は画像の左から右へ向って増加するものと
定義する。Note that in this embodiment, the left side of the image for both the left image and the right image is the start of data, that is, the start of the address value, and the right side of the image is the end of the data, that is, the end of the address value, and the address value on the scanning line is the end of the image. It is defined as increasing from left to right.
左画像終端決定部３５は左画像エツジ点アドレス５３の
中で最も右側に位置する値を左画像終端アドレス５５と
して右画像終端候補計算部３９、右画像終端決定部４１
及び対応付は処理部４２へ出力する。また、右画像始端
決定部３６は右画像エツジ点アドレス５４の中で最も左
側に位置する値を右画像始端アドレス５６として左画像
始端候補計算部３８、左画像始端決定部４０及び対応付
は処理部４２へ出力する。The left image end determination unit 35 sets the rightmost value among the left image edge point addresses 53 as the left image end address 55, and the right image end candidate calculation unit 39 and the right image end determination unit 41
and the correspondence are output to the processing unit 42. In addition, the right image start edge determination unit 36 sets the value located on the leftmost side of the right image edge point addresses 54 as the right image start edge address 56, and the left image start edge candidate calculation unit 38, the left image start edge determination unit 40, and the correspondence processing are performed. It outputs to section 42.
画像中間点計算部３７は左画像データ５１、右画像デー
タ５２、左画像エツジ点アドレス５３及び右画像エツジ
点アドレス５４を入力し、後述する如くして左画像中間
点アドレス５７を計算し、これを左画像始端候補計算部
３８、左画像始端決定部４０及び右画像終端決定部４１
へ出力するとともに、右画像中間点アドレス５８を計算
し、これを右画像終端候補計算部３９、左画像始端決定
部４０及び右画像終端決定部４１へ出力する。The image midpoint calculation unit 37 inputs the left image data 51, the right image data 52, the left image edge point address 53, and the right image edge point address 54, and calculates the left image midpoint address 57 as described later. The left image starting edge candidate calculation unit 38, the left image starting edge determining unit 40, and the right image ending edge determining unit 41
At the same time, the right image midpoint address 58 is calculated and outputted to the right image end candidate calculation section 39, the left image start end determination section 40, and the right image end determination section 41.
左画像始端候補計算部３８は左画像エツジ点アドレス５
３、右画像始端アドレス５６及び左画像中間点アドレス
５７を入力し、右画像始端（左端点）より右且つ左画像
中間点より左に位置する左画像エツジ点アドレスを全て
左画像始端（左端点）候補アドレス５９として左画像始
端決定部４０へ出力する。また、右画像終端候補計算部
３９は右画像エツジ点アドレス５４、左画像終端アドレ
ス５５及び右画像中間点アドレス５８を入力し、左画像
終端（右端点）より左且つ右画像中間点より右に位置す
る右画像エツジ点アドレスを全て右画像終端（右端点）
候補アドレス６０として右画像終端決定部４１へ出力す
る。The left image starting edge candidate calculation unit 38 calculates the left image edge point address 5.
3. Input the right image starting edge address 56 and the left image midpoint address 57, and all the left image edge point addresses located to the right of the right image starting edge (left end point) and to the left of the left image midpoint ) is output to the left image start end determination unit 40 as a candidate address 59. In addition, the right image end candidate calculation unit 39 inputs the right image edge point address 54, the left image end address 55, and the right image midpoint address 58, and inputs the right image end point address 54, the left image end address 55, and the right image midpoint address 58, All located right image edge point addresses are located at the right image end (right end point)
It is output to the right image end determining section 41 as a candidate address 60.
左画像始端決定部４０は右画像始端アドレス５６、左画
像中間点アドレス５７、右画像中間点アドレス５８及び
左画像始端候補アドレス５９を入力し、左画像始端候補
の中から最適な点を後述する如くして選択し、左画像始
端アドレス６１として対応付は処理部４２へ出力する。The left image starting edge determining unit 40 inputs the right image starting edge address 56, the left image midpoint address 57, the right image midpoint address 58, and the left image starting edge candidate address 59, and selects the optimal point from among the left image starting edge candidates, which will be described later. The left image starting end address 61 is selected in this way and the correspondence is output to the processing unit 42 .
また、右画像終端決定部４１は左画像終端アドレス５５
、左画像中間点アドレス５７、右画像中間点アドレス５
８及び右画像終端候補アドレス６０を入力し、右画像終
端候補の中から最適な点を後述する如（して選択し、右
画像終端アドレス６２として対応付は処理部４２へ出力
する。In addition, the right image end determination unit 41 also has a left image end address 55.
, left image midpoint address 57, right image midpoint address 5
8 and the right image end candidate address 60 are input, the optimal point is selected from the right image end candidates as will be described later, and the correspondence is outputted to the processing section 42 as the right image end address 62.
対応付は処理部４２は左画像データ５１．右画像データ
５２．左画像エツジ点アドレス５３．右画像エツジ点ア
ドレス５４．左画像終端アドレス５５、右画像始端アド
レス５６．左画像始端アドレス６１及び右画像終端アド
レス６２を入力し、左画像中の左画像始端アドレス６１
と左画像終端アドレス５５との間に挟まれた部分及び右
画像中の右画像始端アドレス５６と右画像終端アドレス
６２との間に挟まれた部分について周知の手法、例えば
動的計画法により各走査線毎に対応付けを行なう。For the correspondence, the processing unit 42 uses the left image data 51. Right image data 52. Left image edge point address 53. Right image edge point address 54. Left image end address 55, right image start end address 56. Input the left image start end address 61 and the right image end address 62, and enter the left image start end address 61 in the left image.
and the left image end address 55, and the part between the right image start end address 56 and the right image end address 62 in the right image, by a well-known method, for example, dynamic programming. Correspondence is made for each scanning line.
第８図（ａ）（ｂ）は画像中間点計算部３７における処
理手順を示すフローチャート、第９図は左画像始端決定
部４０における処理手順を示すフローチャート、第１０
図は右画像終端決定部４１における処理手順を示すフロ
ーチャートであり、以下、これらの動作について説明す
る。8(a) and 8(b) are flowcharts showing the processing procedure in the image midpoint calculation section 37, FIG. 9 is a flowchart showing the processing procedure in the left image starting edge determining section 40, and FIG.
The figure is a flowchart showing the processing procedure in the right image end determining section 41, and these operations will be explained below.
なお、以下の処理において使用する類似度尺度の例は次
に示す通りである。Note that examples of similarity measures used in the following processing are as shown below.
即ち、左画像始端アドレスをρＳ１左画像終端アドレス
をＩＩ’ ｅ ｓ右画像始端アドレスをｒＳ、右画像終
端アドレスをｒｅ、画像データの水平方向の画素数をＸ
Ｗｌ一の走査線における左画像濃度値を１ｎ（１）（但
し、Ｌ−０〜ＸＷ−１）、一の走査線における右画像濃
度値をＩｒ（１）（但し、ｉ−０〜ＸＷ−１）とすると
、市街地距離はＯ＋
（但し、ｆ（１）−ｒｓ ＋ （ｉ−Ｕｓ）＊ （ｒ
ｅ −ｒｓ）／ （Ｒｅ −１ｓ））となり、ユ
ークリッド距離は
（但し、ｆ（１） −ｒｓ ＋ （ｉ−ｆＩｓ）＊
（ｒｅ−ｒｓ）／ Ｎ？ｅ −ｆＩ ｓ））とな
る。That is, the left image start address is ρS1, the left image end address is II' e s, the right image start address is rS, the right image end address is re, and the number of pixels in the horizontal direction of the image data is X
The left image density value in the first scanning line Wl is 1n(1) (however, L-0 to XW-1), and the right image density value in the first scanning line is Ir(1) (however, i-0 to XW- 1), the city distance is O+ (however, f(1)-rs + (i-Us)* (r
e −rs)/(Re −1s)), and the Euclidean distance is (however, f(1) −rs + (i−fIs)*
(re-rs) / N? e − fI s)).
次に、第８図（ａ）（ｂ）に従って、画像中間点計算部
３７における処理手順を説明する。Next, the processing procedure in the image midpoint calculation section 37 will be explained according to FIGS. 8(a) and 8(b).
一の走査線において、左画像中間点アドレスの最小値を
ｌ ｃＩＩｉｎｓ左画像中間点アドレスの最大値をｌ
ｃｔｒａｘｓ左画像のエツジ点の総数をｅｎｏｊｌ）
、左画像エツジ点アドレスをｅａｄｉｌ （１） （
但し、ｉ −０〜ｅｎｏ！ｌ−１） 、左画像中間点ア
ドレスをｐ ｃｅｎｔｅｒ、該走査線における左画像濃
度値を１ｆｆ（ｊ）（但し、ｊ−０〜ＸＷ−１）、右画
像濃度値を１ｒ（Ｄ（但し、ｊ−０〜ＸＷ−１）、右画
像中間アドレスをｒ ｃｅｎｔｅｒ、右画像中間点探索
幅画素数をｘｗ、距離計算画素数をｄｗとし、右画像中
間点は左画像中間点ρｃｅｎｔｅｒよりＤ ｃｅｎｔｅ
ｒ−ｘｗの間に存在するものと仮定する。In one scanning line, the minimum value of the left image midpoint address is l cIIins the maximum value of the left image midpoint address is l
ctraxs total number of edge points in left image enojl)
, set the left image edge point address to eadil (1) (
However, i −0 ~ eno! l-1), the left image midpoint address is p center, the left image density value in the scanning line is 1ff(j) (however, j-0 to XW-1), and the right image density value is 1r(D (however, j−0 to
Assume that it exists between r-xw.
最初に左画像中間点アドレスを算出する。まず、ｅｗｍ
ａｘ −０
，１７ｃｍｉｎ讃ＸＷ／４
！ｌ ｃａａｘ −ＸＷ ＊ ３ ／ ４の初期設定を
行なう（ステップｓＬ）。但し、ｅｗｍａｘは隣接エツ
ジ間の画素数の最大値である。First, the left image midpoint address is calculated. First, ewm
ax -0, 17cm XW/4! Initial setting of lcaax-XW*3/4 is performed (step sL). However, ewmax is the maximum number of pixels between adjacent edges.
次に、隣接エツジ点間の中間点アドレスａｄｃをａｄｃ
＝ （ｅａｄΩ（ｉｌｌ） −ｅａｄｊｌ （１）
） ／ ２により計算しくステップＳ２）、該中間点ア
ドレスａｄｃが
１） ｃｍｉｎ＜ ａｄｃ ＜ ｊ！ ｃａ＋ａｘを
満足するか否かを判定しくステップＳ３）、満足する場
合はステップｓ４．ｓ５の処理を行なってからステップ
Ｓ６の処理を行ない、満足しない場合はそのままステッ
プＳ８の処理を行なう。Next, the intermediate point address adc between adjacent edge points is set to adc
= (eadΩ(ill) −eadjl (1)
) / 2, step S2), the intermediate point address adc is 1) cmin<adc<j! It is determined whether or not ca+ax is satisfied (step S3), and if it is satisfied, step s4. After performing the process of s5, the process of step S6 is performed, and if the result is not satisfied, the process of step S8 is directly performed.
ステップＳ４においては隣接エツジ点間の画素数（ｅａ
ｄｌ （ｆｉｌ） −ｅａｄｆｆ （１） ）がｅａｄ
ｊｌ （ｉｌｌ） −ｅａｄＮ （１） ＞ ｅ ｗｍ
ａｘを満足するか否かを判定し、満足する場合は、ステ
ップｓ５にて
ｅ ｗｍａｘ −ｅａｄＮ （１＋１） −ｅａｄｆｆ
（１）Ｒｃｅｎｔｅｒ −ａｄｃ
とし、満足しない場合はステップｓ６へ進む。ステップ
ｓＢにおいては
ｉ−ｉｌｌ
とし、さらに
ｉ ＜ ｅｎｏｌｌ
を満足するか否かを判定しくステップｓ７）、満足する
場合はステップｓ２からの処理を繰返し、また、満足し
ない場合はその時点における中間点アドレスｐ ｃｅｎ
ｔｅｒを左画像中間点アドレス５７として出力し、右画
像中間点アドレスの算出へ移行する。In step S4, the number of pixels (ea
dl (fil) -eadff (1) ) is ead
jl (ill) -eadN (1) > e wm
It is determined whether or not ax is satisfied, and if it is satisfied, e wmax −eadN (1+1) −eadff is determined in step s5.
(1) Set Rcenter -adc, and if not satisfied, proceed to step s6. In step sB, it is set as i-ill, and it is further determined whether or not i < enoll is satisfied (step s7). If it is satisfied, the process from step s2 is repeated, and if it is not satisfied, the intermediate point address at that point is p cen
ter is output as the left image midpoint address 57, and the process moves to calculation of the right image midpoint address.
この際、まず、
ｄｓｌｎ −ＭＡＸ
ｉｍ０
の初期設定を行なう（ステップｓ８）。但し、ｄ ｍ１
ｎは距離、ＭＡＸは距離値最大値と考えられる値であり
、階調によって決定される。At this time, first, dsln-MAX im0 is initialized (step s8). However, d m1
n is the distance, and MAX is a value considered to be the maximum distance value, which is determined by the gradation.
次に、距離計算に必要な初期設定
ｄ １ｓｔ、 −Ｏ
ｄｓ −ＩＩ ｃｅｎｔｅｒ−ｘｗ＋ ｉ−ｄｗを行な
う（ステップｓ９）。但し、ｄ １ｓｔは距離値、ｄｓ
は右画像スタートアドレスである。次に、ｄｉｓｔ −
ｄｌｓｔ ＋ ｌ １４） （Ｎ ｃｅｎｔｅｒ−
ｄｗ＋ ｊ）Ｉｒ（ｄｓ＋ｊ）
の計算を行ない（ステップ５ＬＯ）、さらにｊ−ｊ＋１
の計算を行ない（ステップｓ １１）、ｊ＜２＊ｄｗ＋
１
を満足するか否かを判定しくステップ５１２）、満足す
る場合はステップｓｌＯからの処理を繰返し行ない、満
足しない場合はステップｓ１３以降の処理を行なう。ス
テップａｌｌにおいては
ｄ １ｓｔ ＜ ｄ １ｌｉｎ
を満足するか否かを判定し、満足する場合はｄ ｓｉｎ
−ｄ １ｓｔ
ｒ ｃｅｎｔｅｒ −１ｃｅｎｔｅｒ −ｘ ｗ ＋
ｉとしくステップ８１４）、満足しない場合はｉ−ｉ＋
１
としくステップ８１５）、さらに
ｉ＜ｘｗ＋１
を満足するか否かを判定しくステップｓｆ［ｉ）、満足
する場合はステップＳ９からの処理を繰返し行ない、満
足しない場合はその時点における右画像中間点アドレス
ｒ ｃｅｎｔｅｒを右画像中間点アドレス５８として出
力し、本処理を終了する。Next, initial settings d1st, -O ds -II center-xw+i-dw necessary for distance calculation are performed (step s9). However, d 1st is the distance value, ds
is the right image start address. Next, dist −
dlst + l 14) (N center-
dw+j)Ir(ds+j) is calculated (step 5LO), and j−j+1 is further calculated (step s11), so that j<2*dw+
1 is satisfied or not (step 512). If satisfied, the process from step slO is repeated; if not, the process from step s13 is performed. In step all, it is determined whether d 1st < d 1lin is satisfied, and if it is satisfied, d sin
-d 1st r center -1center -x w +
i, step 814), and if not satisfied, i−i+
1 (step 815), and further determines whether or not i<xw+1 is satisfied (step sf[i); if it is satisfied, repeats the process from step S9; if not, the midpoint of the right image at that point is The address r center is output as the right image midpoint address 58, and this processing ends.
なお、ここでは類似度尺度として市街地距離を用いたが
、他の類似度尺度、例えば前述したユクリッド距離を用
いることも可能である。Although the urban area distance is used here as the similarity measure, it is also possible to use other similarity measures, such as the above-mentioned Euclidean distance.
また、前記説明とは逆に右画像中間点アドレスを算出し
た後、左画像中間点アドレスを算出することも可能であ
り、また、ステップｓ １− ｓ ７と同様な処理によ
って右画像中間点アドレスを左画像中間点アドレスとは
独立に算出することも可能である。Further, contrary to the above description, it is also possible to calculate the left image midpoint address after calculating the right image midpoint address, and the right image midpoint address can be calculated by processing similar to steps s1 to s7. It is also possible to calculate independently of the left image midpoint address.
次に、第９図に従って、左画像始端決定部４０における
処理手順を説明する。Next, the processing procedure in the left image starting edge determining section 40 will be explained according to FIG.
本処理を行なう以前に算出されている右画像始端アドレ
スをｒ ５ｔａｒｔ 、左画像始端候補の総数をＩＩ
５ｃｎｏ、左画像始端候補アドレスをｕｓｅ（１）（但
し、ｉ ｍＯ〜ｌｌ５ｃｎｏ−１）とする。まず、ｍａ
ｘ−Ｏ
ｍＯ
の初期設定を行なう（ステップｓ ２１）。但し、Ｓ
ｆｆ１ａｘは類似度の最大値を示す。The right image starting edge address calculated before this process is r 5tart, and the total number of left image starting edge candidates is II
5cno, and the left image starting end candidate address is set to use(1) (however, i mO to ll5cno-1). First, ma
Initial setting of x-O mO is performed (step s21). However, S
ff1ax indicates the maximum value of similarity.
次に、ｉ番目の左画像始端候補に対する類似度Ｓ Ｉａ
＋（１）を
Ｓ ｉｍ（１） ＝ Ｓ Ｅ Ｌ （Ｎ ５ｃ（１）
、 ｆｌ ｃｅｎｔｅｒ） 。Next, the similarity degree S Ia for the i-th left image starting edge candidate
+(1) as Sim(1) = S E L (N 5c(1)
, fl center).
Ｒ（ｒ ５ｔａｒｔ 、 ｒ ｃｅｎｔｅｒ） ］（
但し、Ｓ ［Ｌ （Ｎ ｓ ＋ ｉｅ） ＊ Ｒ（
ｒｓ ＋「ｅ）］は左画像のｌ ｓ −９ｅと右画像の
ｒｓ〜「ｅと間の類似度を表わす値である。）により算
出する（ステップ５２２）。なお、類似度の尺度として
は市街地距離、ユークリッド距離等を用いることが可能
であり、また、類似度計算に使用する特徴パラメータと
しては濃度、濃度変化量等を用いることが可能であり、
類似度尺度、特徴パラメータとも唯一限定されるもので
はない。R(r 5tart, r center) ](
However, S [L (N s + ie) * R(
rs + "e)" is calculated from l s -9e of the left image and rs - "e" of the right image (step 522).As a measure of similarity, It is possible to use urban area distance, Euclidean distance, etc., and it is also possible to use concentration, concentration change amount, etc. as the feature parameter used for similarity calculation.
Neither the similarity measure nor the feature parameters are limited.
次に、前記求めた類似度Ｓ １ｍ（１）がＳ ｉｍ（１
） ＞ Ｓ Ｌｌａｘ
を満足するか否かを判定しくステップ８２３）、満足す
る場合は、
Ｓ ｗａｘ −Ｓ １ａ＋（１）
Ｉ ５ｔａｒｔ −Ｌｓｃ（１）
としくステップ５２４）、満足しない場合はｉｍｉ＋１
としくステップ５２５）、さらに
ｉ ＜ ｌ ｓｃｎ。Next, the obtained similarity S 1m(1) is S im(1
) > S Llax is satisfied or not (step 823), if it is satisfied, S wax -S 1a+(1) I 5tart -Lsc(1) is determined (step 524), if not, imi+1 is determined. step 525), and i < l scn.
を満足するか否かを判定しくステップ５２Ｂ）、満足す
る場合はステップｓ２２からの処理を繰返し行ない、満
足しない場合はその時点における左画像始端アドレスｊ
！ ５ｔａｒｔを左画像始端アドレス６１として出力し
、本処理を終了する。(step 52B). If satisfied, the process from step s22 is repeated; if not, the left image starting end address j at that point is determined.
! 5tart is output as the left image start end address 61, and this processing is ended.
次に、第１Ｏ図に従って、右画像終端決定部４１におけ
る処理手順を説明する。Next, the processing procedure in the right image end determining section 41 will be explained according to FIG. 1O.
本処理を行なう以前に算出されている左画像終端アドレ
スを４７ ｅｎｄ 、右画像終端候補の総数をｒ ｅｃ
ｎＯｓ右画像終端候補アドレスをｒ ｅｅ（１） （
但し、ｉ−０〜ｒ ｅｃｎｏ −１）とする。まず、５
ｉａｘ＝Ｏ
の初期設定を行なう（ステップ５３１）。但し、Ｓ ｍ
ａｘは類似度の最大値を示す。The left image end address calculated before this process is 47 end, and the total number of right image end candidates is rec.
nOs right image end candidate address ree(1) (
However, it is assumed that i-0 to r ecno -1). First, 5
Initial setting of iax=O is performed (step 531). However, S m
ax indicates the maximum value of similarity.
次に、ｉ番目の右画像終端候補に対する類似度Ｓ １ｍ
（１）を
Ｓ ｉａ＋（１） −Ｓ ［Ｌ （ｐｃｅｎｔｅｒ、
ｌ ｅｎｄ ） 。Next, the degree of similarity S 1m for the i-th right image end candidate
(1) as S ia+(1) −S [L (pcenter,
end).
Ｒ（ｒ ｃｅｎｔｅｒ、 ｒ ｅｃ（１） ） ］（
但し、Ｓ ＥＬ （Ｊｓ、Ｒｅ）、Ｒ（ｒｓ。R(r center, rec(1)) ](
However, S EL (Js, Re), R (rs.
ｒｅ）］は左画像のｊ！ ｓ −１ｅと右画像の「Ｓ〜
「ｅと間の類似度を表わす値である。）により算出する
（ステップ５３２）。なお、類似度の尺度としては市街
地距離、ユークリッド距離等を用いることが可能であり
、また、類似度計算に使用する特徴パラメータとしては
濃度、濃度変化量等を用いることが可能であり、類似度
尺度、特徴パラメータとも唯一限定されるものではない
。re)] is j in the left image! s -1e and “S~” in the right image
"It is a value representing the degree of similarity between Concentration, concentration change amount, etc. can be used as the feature parameter, and neither the similarity scale nor the feature parameter is limited to the only one.
次に、前記求めた類似度Ｓ １ｍ（１）がＳ １ｍ（１
） ＞ Ｓ ｗａｘ
を満足するか否かを判定しくステップ８３３）、満足す
る場合は、
Ｓ ｗａｘ −Ｓ ｉｍ（１）
ｒ ｅｎｄ −ｒ ｅｃ（１）
としくステップ８３４）、満足しない場合はｉｍｉ＋１
としくステップ８３５）、さらに
ｉ＜ ｒ ｅｃｎ。Next, the obtained similarity S 1m(1) is changed to S 1m(1
)> S wax is satisfied or not (Step 833), if it is satisfied, S wax -S im(1) r end -rec(1) is determined (Step 834), and if not, imi+1 is determined. step 835), and i<recn.
を満足するか否かを判定しくステップ８３Ｂ）％満足す
る場合はステップｓ３２からの処理を繰返し行ない、満
足しない場合はその時点における右画像終端アドレスｒ
ｅｎｄを右画像終端アドレス６２として出力し、本処
理を終了する。Step 83B) If satisfied, the process from step s32 is repeated; if not, the right image end address r at that point is determined.
end is output as the right image end address 62, and this process ends.
なお、第４図のステレオ画像対応付け装置のように左画
像中間点及び右画像中間点を使用することなく左画像始
端（左端点）及び肴画像終端（右端点）を決定するには
、第９図のステップｓ２２においてｉｔ ｃｅｎｔｅｒ
及びｒ ｃｅｎｔｅｒの代りに左画像データ中の最も右
に存在するエツジ点及び右画像データ中の最も右に存在
するエツジ点を用い、求た、第１Ｏ図のステップｓ３２
においてｊ７ ｃｅｎｔｅｒ及びｒｃｅｎｔｅｒの代り
に左画像データ中の最も左に存在するエツジ点及び右画
像データ中の最も左に存在するエツジ点を用いれば良い
。In addition, in order to determine the left image start point (left end point) and the appetizer image end point (right end point) without using the left image midpoint and right image midpoint as in the stereo image matching device shown in FIG. In step s22 of FIG.
Step s32 in FIG. 1O, which is obtained by using the rightmost edge point in the left image data and the rightmost edge point in the right image data instead of r center.
Instead of j7 center and rcenter, the leftmost edge point in the left image data and the leftmost edge point in the right image data may be used.
（発明の効果）
以上説明したように本発明によれば、左画像データにつ
いてはその右端点及び右画像データ中の左端点に対応す
る点を、また、右画像データについてはその左端点及び
左画像データ中の右端点に対応する点を各走査線毎に求
め、これらの点の間で対応付けするようになしたので、
左右の画像の双方に存在する対象物についてのみ対応付
けが行なわれ、左右の画像の一方にのみ存在する画像が
ひき起す悪影響を除去することができ、精度の高いステ
レオ画像の対応付けが可能となる。また、本発明によれ
ば、画像データ中より濃度が大きく変化するエツジ点を
求め、該エツジ点より左画像右端点、右画像左端点、左
画像左端点候補及び右画像右端点候補を求め、さらに左
画像左端点候補と左画像の右端部のエツジ点との間及び
右画像左端点と右画像の右端部のエツジ点との間におけ
る濃度分布の類似度、並びに右画像の左端部のエツジ点
と右画像右端点候補との間及び左画像の左端部のエツジ
点と左画像右端点との間における濃度分布の類似度を求
め、類似度が最大となる左画像左端点候補並びに右画像
右端点候補をそれぞれ左画像左端点並びに右画像右端点
となしたため、左右の画像の双方に存在する対象物をそ
の間に挟む点を正確に求めることができる。また、本発
明によれば、左右の画像データ中よりその中央付近にお
いて隣接エツジ点間の画素数が最大となる区間を求め、
該区間を代表する位置を左右の画像の中間点とし、左画
像左端点候補と左画像中間点との間及び右画像左端点と
右画像中間点との間における濃度分布の類似度、並びに
右画像中間点と右画保有端点候補との間及び左画像中間
点と左画像右端点との間における濃度分布の類似度を求
めたため、より精度の高い濃度分布の類似度が得られ、
左右の画像の双方に存在する対象物をその間に挟む点を
より正確に求めることができる。また、本発明によれば
、左画像データ（又は右画像データ）中よりその中央付
近において隣接エツジ点間の画素数が最大となる区間を
求め、該区間を代表する位置を左画像の中間点（又は右
画像の中間点）とし、右画像データ（又は左画像データ
）中から前記左画像の中間点（又は右画像の中間点）に
対応する点を求め、これを右画像の中間点（又は左画像
の中間点）としたため、より正確な中間点が求められ、
従って、より精度の高い濃度分布の類似度が得られ、左
右の画像の双方に存在する対象物をその間に挟む点をさ
らに正確に求めることができる等の利点がある。(Effects of the Invention) As explained above, according to the present invention, for left image data, the right end point and the point corresponding to the left end point in the right image data, and for right image data, the left end point and the left The point corresponding to the right end point in the image data is found for each scanning line, and the correspondence is created between these points.
Correlation is performed only for objects that exist in both the left and right images, which eliminates the negative effects caused by images that exist only in one of the left and right images, making it possible to correlate stereo images with high accuracy. Become. Further, according to the present invention, an edge point where the density changes more greatly than in image data is determined, and from the edge point, a right end point of the left image, a left end point of the right image, a left end point candidate of the left image, and a right end point candidate of the right image are determined, Furthermore, the similarity of the density distribution between the left end point candidate of the left image and the edge point at the right end of the left image, and between the left end point of the right image and the edge point at the right end of the right image, and the similarity of the density distribution between the left end point candidate of the left image and the edge point at the right end of the right image, The similarity of the density distribution between the point and the right end point candidate of the right image and between the edge point at the left end of the left image and the right end point of the left image is calculated, and the left end point candidate of the left image and the right end point candidate with the maximum similarity are determined. Since the right end point candidates are the left end point of the left image and the right end point of the right image, it is possible to accurately determine the point between which the object existing in both the left and right images is sandwiched. Further, according to the present invention, a section in which the number of pixels between adjacent edge points is maximum is found in the left and right image data near the center thereof, and
The position representing this section is set as the midpoint between the left and right images, and the similarity of the density distribution between the left end point candidate of the left image and the midpoint of the left image, between the left end point of the right image and the right image midpoint, and the right Since the similarity of the density distribution between the image midpoint and the right image holding end point candidate and between the left image midpoint and the left image right end point is determined, a more accurate density distribution similarity can be obtained.
It is possible to more accurately determine the point between the left and right images where the object exists between them. Further, according to the present invention, a section in which the number of pixels between adjacent edge points is maximum is found in the left image data (or right image data) near the center, and a position representing the section is set as the midpoint of the left image. (or the midpoint of the right image), find a point corresponding to the midpoint of the left image (or the midpoint of the right image) from the right image data (or left image data), and calculate this as the midpoint of the right image ( or the midpoint of the left image), a more accurate midpoint can be found,
Therefore, it is possible to obtain a more accurate degree of similarity in density distribution, and there are advantages such as the ability to more accurately determine the point between which the object existing in both the left and right images is sandwiched.
第１図は本発明のステレオ画像対応付は装置の概要を示
す機能ブロック図、゛第２図（ａ） （ｂ）は動的計画
法による対応付けのようすの説明図、第３図は２台のテ
レビカメラにおける撮影範囲のずれを示す説明図、第４
図は本発明の他のステレオ画像対応付は装置の概要を示
す機能ブロック図、第５図は本発明のさらに他のステレ
オ画像対応付は装置の概要を示す機能ブロック図、第６
図は本発明のさらに他のステレオ画像対応付は装置の概
要を示す機能ブロック図、第７図は本発明のステレオ画
像対応付は装置の一実施例を示すブロック構成図、第８
図（ａ） （ｂ）は第７図中の画像中間点計算部におけ
る処理手順を示すフローチャート、第９図は第７図中の
左画像始端決定部における処理手順を示すフローチャー
ト、第１θ図は第７図中の右画像終端決定部における処
理手順を示すフローチャートである。
１１・・・左画像右端点決定手段、１２・・・右画像左
端点検出手段、１３・・・左画像左端点検出手段、１４
・・・右画像右端点検出手段、１５・・・対応付は手段
、１６・・・左画像エツジ点検出手段、１７・・・右画
像エツジ点検出手段、１８・・・左画像右端点決定手段
、１９・・・右画像右端点検出手段、２０゜２５・・・
左画像左端点候補抽出手段、２１．２６・・・右画像右
端点候補抽出手段、２２．２７・・・左画像右端点決定
手段、２３．２８・・・右画像右端点検出手段、２４．
２９・・・中間点算出手段。
（ａ）
特許出願人 沖電気工業株式会社Fig. 1 is a functional block diagram showing an overview of the stereo image matching apparatus of the present invention, Figs. Explanatory diagram showing the deviation of the shooting range of the TV camera, Part 4
FIG. 5 is a functional block diagram showing an outline of another stereo image matching device of the present invention; FIG. 5 is a functional block diagram showing an outline of still another stereo image matching device of the present invention;
FIG. 7 is a functional block diagram showing an overview of another stereo image matching apparatus of the present invention, FIG. 7 is a block diagram showing an embodiment of the stereo image matching apparatus of the present invention, and FIG.
Figures (a) and (b) are flowcharts showing the processing procedure in the image midpoint calculation unit in Fig. 7, Fig. 9 is a flowchart showing the processing procedure in the left image starting edge determination unit in Fig. 7, and Fig. 1θ is a flowchart showing the processing procedure in the image midpoint calculation unit in Fig. 8 is a flowchart showing the processing procedure in the right image end determining section in FIG. 7. FIG. 11... Left image right end point determining means, 12... Right image left end point detecting means, 13... Left image left end point detecting means, 14
. . . right image right end point detection means, 15 . . . correspondence means, 16 . . . left image edge point detection means, 17 . . . right image edge point detection means, 18 . . . left image right end point determination. Means, 19...Right image right end point detection means, 20°25...
Left image left end point candidate extraction means, 21.26... Right image right end point candidate extraction means, 22.27... Left image right end point determination means, 23.28... Right image right end point detection means, 24.
29...Intermediate point calculation means. (a) Patent applicant Oki Electric Industry Co., Ltd.
Claims (4)
ビカメラ等により撮影された左右の画像（ステレオ画像
）をそれぞれアナログ・ディジタル変換して得られる左
画像データ及び右画像データから各走査線毎に互いに対
応する点を求めるステレオ画像対応付け装置において、 左画像データ中の各走査線毎に左画像の右端部の特徴を
代表的に示す点を検出し、これを左画像データの右端点
として出力する左画像右端点検出手段と、 右画像データ中の各走査線毎に右画像の左端部の特徴を
代表的に示す点を検出し、これを右画像データの左端点
として出力する右画像左端点検出手段と、 左画像データ中の各走査線毎に前記右画像左端点に最も
類似した点を検出し、これを左画像データの左端点とし
て出力する左画像左端点検出手段と、 右画像データ中の各走査線毎に前記左画像右端点に最も
類似した点を検出し、これを右画像データの右端点とし
て出力する右画像右端点検出手段と、 前記左画像左端点と左画像右端点との間の左画像データ
及び前記右画像左端点と右画像右端点との間の右画像デ
ータを各走査線毎に対応付けする対応付け手段とを備え
た ことを特徴とするステレオ画像対応付け装置。(1) Each scan is performed from left image data and right image data obtained by analog-to-digital conversion of left and right images (stereo images) taken by two television cameras, etc. placed horizontally at a predetermined interval. In a stereo image matching device that finds points that correspond to each other on a line-by-line basis, a point representative of the characteristics of the right edge of the left image is detected for each scanning line in the left image data, and this point is used as the right edge of the left image data. a left image right end point detection means for outputting as a point, and a point that representatively indicates the characteristics of the left end of the right image for each scanning line in the right image data, and outputting this as the left end point of the right image data. right image left end point detection means; left image left end point detection means for detecting a point most similar to the right image left end point for each scanning line in left image data and outputting this as a left end point of left image data; , right image right end point detection means for detecting a point most similar to the right end point of the left image for each scanning line in the right image data, and outputting this as the right end point of the right image data; The present invention is characterized by comprising an association means for associating the left image data between the right end point of the left image and the right image data between the left end point of the right image and the right end point of the right image for each scanning line. Stereo image matching device.
点を検出し、これをエッジ点として出力する左画像エッ
ジ点検出手段と、左画像データ中の各走査線毎に最も右
側に存在するエッジ点を検出し、これを左画像データの
右端点として出力する左画像右端点決定手段とを用い、 右画像左端点検出手段として、 右画像データ中の各走査線毎に濃度変化が一定値以上の
点を検出し、これをエッジ点として出力する右画像エッ
ジ点検出手段と、右画像データ中の各走査線毎に最も左
側に存在するエッジ点を検出し、これを右画像データの
左端点として出力する右画像左端点決定手段とを用い、 左画像左端点検出手段として、 左画像データ中の各走査線毎に右画像左端点より右に存
在する全てのエッジ点を抽出し、これを左画像データの
左端点候補として出力する左画像左端点候補抽出手段と
、左画像データ中の各走査線毎に一の前記左画像左端点
候補から前記左画像の右端部に存在するエッジ点までの
濃度分布と前記右画像左端点から前記右画像の右端部に
存在するエッジ点までの濃度分布との類似度を全ての前
記左画像左端点候補について算出し、該類似度が最大値
を与える左画像左端点候補を左画像データの左端点とし
て出力する左画像左端点決定手段とを用い、 右画像右端点検出手段として、 右画像データ中の各走査線毎に左画像右端点より左に存
在する全てのエッジ点を抽出し、これを右画像データの
右端点候補として出力する右画像右端点候補抽出手段と
、右画像データ中の各走査線毎に前記右画像の左端部に
存在するエッジ点から一の前記右画像右端点候補までの
濃度分布と前記左画像の左端部に存在するエッジ点から
前記左画像右端点までの濃度分布との類似度を全ての前
記右画像右端点候補について算出し、該類似度が最大値
を与える右画像右端点候補を右画像データの右端点とし
て出力する右画像右端点決定手段とを用いた ことを特徴とする請求項（１）記載のステレオ画像対応
付け装置。(2) A left image edge point detection means that detects a point where the density change is equal to or greater than a certain value for each scanning line in the left image data and outputs this as an edge point, as a left image right end point detection means; The left image right end point determining means detects the rightmost edge point for each scanning line in the data and outputs it as the right end point of the left image data. A right image edge point detection means detects a point where the density change exceeds a certain value for each scanning line in the data and outputs this as an edge point; Right image left end point determining means detects an edge point and outputs it as the left end point of right image data. a left image left end point candidate extraction means for extracting all the edge points existing on the right and outputting them as left end point candidates of the left image data; and one left image left end point for each scanning line in the left image data. The similarity between the density distribution from the candidate to the edge point existing at the right edge of the left image and the density distribution from the left edge point of the right image to the edge point existing at the right edge of the right image is calculated as the similarity between the density distribution from the candidate to the edge point existing at the right edge of the left image. and a left image left end point determining means that calculates the point candidates and outputs the left image left end point candidate whose similarity gives the maximum value as the left end point of the left image data. a right image right end point candidate extracting means for extracting all edge points to the left of the right end point of the left image for each scanning line in the image data, and outputting these as right end point candidates of the right image data; For each scanning line, the density distribution from the edge point existing at the left end of the right image to one candidate right end point of the right image, and the density from the edge point existing at the left end of the left image to the right end point of the left image right image right end point determining means that calculates the degree of similarity with the distribution for all the right image right end point candidates and outputs the right image right end point candidate giving the maximum similarity as the right end point of the right image data. The stereo image matching device according to claim 1, characterized in that:
点を検出し、これをエッジ点として出力する左画像エッ
ジ点検出手段と、左画像データ中の各走査線毎に最も右
側に存在するエッジ点を検出し、これを左画像データの
右端点として出力する左画像右端点決定手段とを用い、 右画像左端点検出手段として、 右画像データ中の各走査線毎に濃度変化が一定値以上の
点を検出し、これをエッジ点として出力する右画像エッ
ジ点検出手段と、右画像データ中の各走査線毎に最も左
側に存在するエッジ点を検出し、これを右画像データの
左端点として出力する右画像左端点決定手段とを用い、 左画像左端点検出手段として、 左画像データ中の各走査線毎にその中央付近において隣
接エッジ点間の画素数が最大となる区間を検出し、該区
間を代表する位置を左画像データの中間点として算出し
、右画像データ中の各走査線毎にその中央付近において
隣接エッジ点間の画素数が最大となる区間を検出し、該
区間を代表する位置を右画像データの中間点として算出
する中間点算出手段と、左画像データ中の各走査線毎に
右画像左端点より右且つ左画像中間点より左に存在する
全てのエッジ点を抽出し、これを左画像データの左端点
候補として出力する左画像左端点候補抽出手段と、左画
像データ中の各走査線毎に一の前記左画像左端点候補か
ら前記左画像中間点までの濃度分布と前記右画像左端点
から前記右画像中間点までの濃度分布との類似度を全て
の前記左画像左端点候補について算出し、該類似度が最
大値を与える左画像左端点候補を左画像データの左端点
として出力する左画像左端点決定手段とを用い、 右画像右端点検出手段として、 中間点算出手段と、右画像データ中の各走査線毎に左画
像右端点より左且つ右画像中間点より右に存在する全て
のエッジ点を抽出し、これを右画像データの右端点候補
として出力する右画像右端点候補抽出手段と、右画像デ
ータ中の各走査線毎に前記右画像中間点から一の前記右
画像右端点候補までの濃度分布と前記左画像中間点から
前記左画像右端点までの濃度分布との類似度を全ての前
記右画像右端点候補について算出し、該類似度が最大値
を与える右画像右端点候補を右画像データの右端点とし
て出力する右画像右端点決定手段とを用いた ことを特徴とする請求項（１）記載のステレオ画像対応
付け装置。(3) A left image edge point detection means that detects a point where the density change exceeds a certain value for each scanning line in the left image data and outputs this as an edge point, as a left image right end point detection means; The left image right end point determining means detects the rightmost edge point for each scanning line in the data and outputs it as the right end point of the left image data. A right image edge point detection means detects a point where the density change exceeds a certain value for each scanning line in the data and outputs this as an edge point; The left image left end point determining means detects an edge point and outputs it as the left end point of the right image data. Detect the section where the number of pixels between edge points is maximum, calculate the position representing this section as the midpoint of the left image data, and calculate the distance between adjacent edge points near the center for each scanning line in the right image data. intermediate point calculation means for detecting an interval in which the number of pixels is maximum, and calculating a position representing the interval as an intermediate point of the right image data; and a left image left end point candidate extracting means for extracting all edge points to the left of the left image midpoint and outputting them as left end point candidates of the left image data; calculating the degree of similarity between the density distribution from the left end point candidate of the left image to the midpoint of the left image and the density distribution from the left end point of the right image to the right image midpoint for all the left image left end point candidates; Left image left end point determining means outputs the left image left end point candidate giving the maximum similarity as the left end point of left image data; right image right end point candidate extracting means for extracting all edge points existing to the left of the right end point of the left image and to the right of the right image midpoint for each scanning line in the image data, and outputting these as right end point candidates of right image data; and the degree of similarity between the density distribution from the right image midpoint to one of the right image right end point candidates and the density distribution from the left image midpoint to the left image right end point candidate for each scanning line in the right image data. is calculated for all the right image right end point candidates, and the right image right end point candidate that gives the maximum similarity is output as the right end point of the right image data. The stereo image matching device according to claim (1).
毎にその中央付近において隣接エッジ点間の画素数が最
大となる区間を検出し、該区間を代表する位置を左画像
データ（又は右画像データ）の中間点として出力し、右
画像データ（又は左画像データ）中の各走査線毎に前記
左画像（又は右画像）中間点に対応する点を検出し、こ
れを右画像データ（又は左画像データ）の中間点として
出力する中間点算出手段を用いたことを特徴とする請求
項（３）記載のステレオ画像対応付け装置。(4) For each scanning line in the left image data (or right image data), detect the section where the number of pixels between adjacent edge points is the maximum near the center, and locate the position representing the section in the left image data ( The point corresponding to the midpoint of the left image (or right image) is detected for each scanning line in the right image data (or left image data), and this is output as the midpoint of the right image data. 4. The stereo image correlating device according to claim 3, further comprising intermediate point calculation means for outputting the data (or left image data) as the intermediate point.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP63200157A JPH0786930B2 (en) | 1988-08-12 | 1988-08-12 | Stereo image matching device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP63200157A JPH0786930B2 (en) | 1988-08-12 | 1988-08-12 | Stereo image matching device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0250273A true JPH0250273A (en) | 1990-02-20 |
| JPH0786930B2 JPH0786930B2 (en) | 1995-09-20 |
Family
ID=16419739
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP63200157A Expired - Lifetime JPH0786930B2 (en) | 1988-08-12 | 1988-08-12 | Stereo image matching device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH0786930B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018047687A1 (en) * | 2016-09-12 | 2018-03-15 | パナソニックＩｐマネジメント株式会社 | Three-dimensional model generating device and three-dimensional model generating method |
-
1988
- 1988-08-12 JP JP63200157A patent/JPH0786930B2/en not_active Expired - Lifetime
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018047687A1 (en) * | 2016-09-12 | 2018-03-15 | パナソニックＩｐマネジメント株式会社 | Three-dimensional model generating device and three-dimensional model generating method |
| CN109690620A (en) * | 2016-09-12 | 2019-04-26 | 松下知识产权经营株式会社 | Threedimensional model generating means and threedimensional model generation method |
| JPWO2018047687A1 (en) * | 2016-09-12 | 2019-06-24 | パナソニックＩｐマネジメント株式会社 | Three-dimensional model generation device and three-dimensional model generation method |
| US10893251B2 (en) | 2016-09-12 | 2021-01-12 | Panasonic Intellectual Property Management Co., Ltd. | Three-dimensional model generating device and three-dimensional model generating method |
| CN109690620B (en) * | 2016-09-12 | 2023-05-30 | 松下知识产权经营株式会社 | Three-dimensional model generation device and three-dimensional model generation method |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0786930B2 (en) | 1995-09-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101121034B1 (en) | System and method for obtaining camera parameters from multiple images and computer program products thereof | |
| KR20160028490A (en) | Image processing apparatus, image processing method, and imaging system | |
| JP3773011B2 (en) | Image composition processing method | |
| JP2011188496A (en) | Backlight detection device and backlight detection method | |
| CN109525786B (en) | Video processing method and device, terminal equipment and storage medium | |
| JP5170276B2 (en) | Image reconstruction device, image reconstruction method, and image reconstruction program | |
| JP2001266128A (en) | Method and device for obtaining depth information and recording medium recording depth information obtaining program | |
| US6483949B1 (en) | Image processing apparatus and method, and medium therefor | |
| WO2020090358A1 (en) | Ranging camera | |
| JP2009293971A (en) | Distance measuring device and method, and program | |
| JPH0250273A (en) | Stereo picture corresponding device | |
| JP5375401B2 (en) | Image processing apparatus and method | |
| JP5076567B2 (en) | Template matching device, camera equipped with template matching device, computer matching program for computer | |
| US10430971B2 (en) | Parallax calculating apparatus | |
| KR100953737B1 (en) | System for drawing manhole using image matching | |
| JP2006047252A (en) | Image processing unit | |
| JP2004145592A (en) | Motion vector extraction device, method and program, and its recording medium | |
| TW200910262A (en) | A fast dynamic stitching point search method | |
| JPH1194527A (en) | Stereo measuring method and device using image processing | |
| CN111080689B (en) | Method and device for determining face depth map | |
| JP2000348175A (en) | Method and device for corresponding point detection | |
| JP2000180121A (en) | Processor and method for image processing and provision medium | |
| JP2022111859A (en) | Information processing device, method thereof, and program | |
| JP2021040178A (en) | Image processing apparatus, imaging apparatus, control method, and program | |
| JP6558978B2 (en) | Image processing apparatus, image processing method, and program |