JP2007322357A - Program, apparatus and method for measuring distance - Google Patents
Program, apparatus and method for measuring distance Download PDFInfo
- Publication number
- JP2007322357A JP2007322357A JP2006155856A JP2006155856A JP2007322357A JP 2007322357 A JP2007322357 A JP 2007322357A JP 2006155856 A JP2006155856 A JP 2006155856A JP 2006155856 A JP2006155856 A JP 2006155856A JP 2007322357 A JP2007322357 A JP 2007322357A
- Authority
- JP
- Japan
- Prior art keywords
- distance
- feature point
- frame
- search
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Measurement Of Optical Distance (AREA)
Abstract
Description
本発明は、移動体と障害物との距離を測定する距離測定プログラム、距離測定装置、距離測定方法に関するものである。 The present invention relates to a distance measurement program, a distance measurement device, and a distance measurement method for measuring the distance between a moving object and an obstacle.
移動車両に固定された単眼の撮像部を用いて、移動車両と障害物の間の距離を測定するステレオ視による距離測定方法について説明する。図１３は、従来のステレオ視による距離測定方法の一例を示す平面図である。２地点において互いに異なる時間に撮像を行い、同一特徴点の対応関係から三角測量を行う。ここで、視差をｘ、撮像部の焦点距離をｆ、撮像地点間の距離をＢＬ、焦点から特徴点までの距離をＬとすると、これらの値の関係は次式で表される。 A stereo distance measurement method for measuring the distance between a moving vehicle and an obstacle using a monocular imaging unit fixed to the moving vehicle will be described. FIG. 13 is a plan view showing an example of a conventional distance measuring method using stereo vision. Images are taken at different times at two points, and triangulation is performed from the correspondence of the same feature points. Here, when the parallax is x, the focal length of the imaging unit is f, the distance between the imaging points is BL, and the distance from the focal point to the feature point is L, the relationship between these values is expressed by the following equation.
また、数１により、Ｌは、次式で表される。
In addition, L is expressed by the following equation according to
更に、数２により、視差の変化に伴うＬの変化ΔＬは、次式で表される。
Further, according to
ここで、ｆは撮像部固有の値であり、ここでは単眼の撮像部を用いる場合の考察であるため一定である。また、特徴点探索の情報源に画像を用いるため、量子化誤差Δｘが生じる。Δｘは撮像部の分解能と撮像素子サイズに依存する値であ
り、一定である。
Here, f is a value specific to the imaging unit, and here is constant because it is a consideration when a monocular imaging unit is used. Further, since an image is used as an information source for feature point search, a quantization error Δx occurs. Δx is a value that depends on the resolution of the imaging unit and the size of the imaging device, and is constant.
なお、本発明の関連ある従来技術として、移動車両に備えた単一のカメラで時系列の画像を撮像し、視差付けされた異なる地点での画像に基づき、立体物を検出し、移動車両から立体物への距離を算出する駐車支援装置がある（例えば、特許文献１参照）。また、移動車両の周辺を少なくとも２地点で撮像した画像に基づき３次元環境を構築し、移動車両の周辺に駐車可能な大きさ以上の領域があるか否かを判定する移動体周辺監視装置がある（例えば、特許文献２参照）。
図１４は、従来のステレオ視による距離測定方法の問題点を示す表である。この表に示すように、数２により、２つの撮像地点間の距離ＢＬが短い場合には視差ｘが小さくなるため、視差に占める誤差の割合（視差の相対誤差）が大きくなる。一方、２つの撮像地点間の距離ＢＬが長い場合には視差ｘが大きくなるため、視差の相対誤差が小さくなる。しかし、使用する２枚の画像間における同一特徴点の探索範囲が広くなるため、局所解に陥りやすい。更に、視差が大きくなることにより、計算コストが増大するという問題がある。
FIG. 14 is a table showing problems of a conventional distance measuring method using stereo vision. As shown in this table, according to
また、数３によれば、求める距離Ｌの誤差｜ΔＬ｜を小さくするにはＢＬを大
きくする必要があり、｜ΔＬ｜を一定とするには、Ｌに対して適切なＢＬを設定
する必要がある。
Further, according to Equation 3, it is necessary to increase BL in order to reduce the error | ΔL | of the distance L to be obtained, and to make | ΔL | constant, it is necessary to set an appropriate BL for L. There is.
また、特許文献１において、単一のカメラによって異なる２地点でのみ撮像された画像から視差を算出しているため、前述の通り、２地点のカメラ間の距離が短い場合には、算出される距離（視差）の相対誤差が大きくなる。一方、２地点のカメラ間の距離が長い場合には、特徴点探索範囲が広くなるため同一特徴点探索が局所解に陥りやすく距離（視差）の信頼性に欠ける。また、特許文献１では車両の移動データを用いて２枚の画像中の同一特徴点の位置を予想することにより、探索コストを削減しようとしている。しかし、当然、視差はわかっていないため、予想が外れる可能性も大きく、信頼性に欠ける。また、特許文献２において、特許文献１と同様、十分な視差が得られない場合についての対応を考慮していない。
Further, in
図１５は、従来のステレオ視による駐車スペースの奥行き測定方法の一例を示す平面図である。この図は、駐車スペースｒの奥行き（移動車両ｔから点ｐまでの距離Ｌｐと移動車両ｔから点ｑまでの距離Ｌｑ）を、移動車両ｔに固定された撮像部ｓを用いて測定する方法を示している。また、ここでは、特許文献１や特許文献２のように十分な視差を得られない場合についての対応を考慮していない従来手法により、奥行きを算出する場合を考える。
FIG. 15 is a plan view showing an example of a conventional method for measuring the depth of a parking space by stereo vision. This figure shows a method for measuring the depth of the parking space r (the distance Lp from the moving vehicle t to the point p and the distance Lq from the moving vehicle t to the point q) using the imaging unit s fixed to the moving vehicle t. Is shown. Here, a case is considered where the depth is calculated by a conventional method that does not take into account the case where sufficient parallax cannot be obtained as in
ここで、Ｌｐ＝１．５［ｍ］、Ｌｑ＝６．５［ｍ］、ｆ＝３．６ｅ−３［ｍ］、ＢＬ＝１．０ｅ−１［ｍ］とする。また、撮像部ｓの分解能を６４０×４８０画素、撮像素子サイズを１／２インチとすると、Δｘ＝０．８ｅ−３／６４０と
なる。数３により、駐車スペースの奥行きＬｐ、Ｌｑのそれぞれの誤差｜ΔＬｐ
｜、｜ΔＬｑ｜は、次式で表される。
Here, it is assumed that Lp = 1.5 [m], Lq = 6.5 [m], f = 3.6e−3 [m], and BL = 1.0e−1 [m]. Further, if the resolution of the imaging unit s is 640 × 480 pixels and the imaging element size is 1/2 inch, Δx = 0.8e−3 / 640. According to Equation 3, each error | ΔLp of the depth Lp and Lq of the parking space
| And | ΔLq | are expressed by the following equations.
一般的に、駐車スペースは、図１５の例のように凹凸がある形状（駐車スペースの両脇の壁と奥の壁との３方を囲まれた形状）である場合が多く、車両と測距特徴点との間の距離は一定ではない。このように凹凸がある形状の駐車スペースに従来手法を用いると、手前の測距特徴点ｐでは誤差が小さいが、奥の測距特徴点ｑでは誤差が非常に大きくなり、駐車の支援を実現することはできない。 In general, a parking space often has an uneven shape as shown in the example of FIG. 15 (a shape surrounded by three sides of the parking space on both sides and the back wall). The distance between the distance feature points is not constant. When the conventional method is used for a parking space with such an uneven shape, the error is small at the distance measurement feature point p in the foreground, but the error is very large at the distance measurement feature point q in the back, and parking assistance is realized. I can't do it.
撮像地点間の距離をより大きくすることにより誤差｜ΔＬｐ｜と｜ΔＬｑ｜を
ともに小さくすることができる。しかし、点ｐの測距では同一特徴点探索範囲が広くなるため対応点計算が局所解に陥りやすく距離（視差）の信頼性に欠けるという問題が起きる。このように従来手法を用いると、距離が一定ではない移動車両と測距のための特徴点との間の距離を高精度に算出することは困難である。
Both errors | ΔLp | and | ΔLq | can be reduced by increasing the distance between the imaging points. However, in the distance measurement of the point p, since the same feature point search range is widened, there is a problem that the corresponding point calculation tends to fall into a local solution and the reliability of the distance (parallax) is lacking. As described above, when the conventional method is used, it is difficult to calculate the distance between the moving vehicle whose distance is not constant and the feature point for distance measurement with high accuracy.
本発明は上述した問題点を解決するためになされたものであり、移動体と障害物との距離の測定の精度を向上させる距離測定プログラム、距離測定装置、距離測定方法を提供することを目的とする。 The present invention has been made to solve the above-described problems, and an object thereof is to provide a distance measurement program, a distance measurement device, and a distance measurement method that improve the accuracy of measurement of the distance between a moving object and an obstacle. And
上述した課題を解決するため、本発明は、移動体と障害物の間の距離の測定をコンピュータに実行させる距離測定プログラムであって、前記移動体に設けられた撮像部により連続して複数のフレームの撮像を行うと共に該撮像を行った位置と姿勢である撮像位置姿勢を検出し、前記フレームと撮像位置姿勢を対応付けて記録する撮像ステップと、前記撮像ステップにより撮像されたフレームに含まれる前記障害物の特徴点を抽出して該フレームを基準フレームおよび参照フレームとすると共に該特徴点を基準特徴点および参照特徴点とするフレーム決定ステップと、前記フレーム決定ステップにより決定された参照フレームより後の時刻に撮像されたフレームである探索フレームにおいて前記参照特徴点に対応する特徴点である探索特徴点を探索する探索ステップと、前記探索ステップにより決定された基準特徴点と前記探索ステップにより決定された探索特徴点と前記撮像ステップにより記録された撮像位置姿勢に基づいてステレオ視を実行し、前記移動体と特徴点の間の距離の算出を行う距離算出ステップと、前記距離算出ステップにより算出された距離の誤差が所定の条件を満たすか否かの判定を行い、該誤差が前記条件を満たす場合、前記距離算出ステップにより算出された距離を確定した距離として出力する誤差判定ステップとをコンピュータに実行させるものである。 In order to solve the above-described problem, the present invention is a distance measurement program that causes a computer to measure the distance between a moving body and an obstacle, and a plurality of images are continuously acquired by an imaging unit provided in the moving body. An imaging step of capturing an image of a frame, detecting an imaging position and orientation that is the position and orientation of the imaging, and recording the frame and the imaging position and orientation in association with each other; and included in the frame imaged by the imaging step Extracting feature points of the obstacle to make the frame a reference frame and a reference frame and using the feature points as a reference feature point and a reference feature point; and a reference frame determined by the frame determination step A search feature point that is a feature point corresponding to the reference feature point in a search frame that is a frame imaged at a later time A search step for searching; a reference feature point determined by the search step; a search feature point determined by the search step; and an imaging position and orientation recorded by the imaging step; A distance calculating step for calculating a distance between the feature point and a distance calculation step that determines whether or not an error in the distance calculated in the distance calculating step satisfies a predetermined condition. An error determination step for outputting the distance calculated in the distance calculation step as a fixed distance is executed by a computer.
この距離測定プログラムによれば、距離の誤差が所定の条件を満たす２つのフレームを用いてステレオ視を行うことにより、移動体と障害物との距離に関わらず測定の精度を向上させることができる。 According to this distance measurement program, the accuracy of measurement can be improved regardless of the distance between the moving object and the obstacle by performing stereo vision using two frames in which the error in the distance satisfies a predetermined condition. .
また、本発明に係る距離測定プログラムにおいて、更に、最後に算出された距離の誤差が前記条件を満たさない場合、最新の探索フレームを新たな参照フレームとすると共に最新の探索特徴点を新たな参照特徴点とするフレーム再決定ステップと、前記フレーム再決定ステップにより決定された参照フレームより後の時刻に撮像されたフレームを新たな探索フレームとし、該探索フレームにおいて前記参照特徴点に対応する探索特徴点を探索する再探索ステップと、前記再探索ステップにより決定された基準特徴点と前記再探索ステップにより決定された探索特徴点と前記撮像ステップにより記録された撮像位置姿勢に基づいてステレオ視を実行し、前記移動体と特徴点の間の距離の算出を行う距離再算出ステップと、前記距離再算出ステップにより算出された距離の誤差が前記条件を満たすか否かの判定を行い、該誤差が前記条件を満たすまで、前記フレーム再決定ステップと前記再探索ステップと前記距離再算出ステップとを繰り返し、該誤差が前記条件を満たす場合、最新の前記距離再算出ステップにより算出された距離を確定した距離として出力する誤差再判定ステップとをコンピュータに実行させることを特徴とするものである。 Further, in the distance measurement program according to the present invention, when the error of the distance calculated at the end does not satisfy the above condition, the latest search frame is set as a new reference frame and the latest search feature point is newly referenced. A frame re-determination step as a feature point, and a frame captured at a time later than the reference frame determined in the frame re-determination step as a new search frame, and a search feature corresponding to the reference feature point in the search frame A stereo search is performed based on a re-search step for searching for a point, a reference feature point determined by the re-search step, a search feature point determined by the re-search step, and an imaging position and orientation recorded by the imaging step A distance recalculation step for calculating a distance between the moving object and the feature point; and the distance recalculation step. Determining whether or not the error of the distance calculated by the above condition satisfies the condition, and repeating the frame re-determination step, the re-search step, and the distance re-calculation step until the error satisfies the condition, When the error satisfies the condition, the computer is caused to execute an error redetermination step of outputting the distance calculated by the latest distance recalculation step as a confirmed distance.
この距離測定プログラムによれば、移動体と障害物との距離に関わらず所定の探索範囲で特徴点の探索を行い、距離の誤差が所定の条件を満たすまで繰り返すことから、測定の精度を向上させることができる。 According to this distance measurement program, feature points are searched in a predetermined search range regardless of the distance between the moving object and the obstacle, and the error of the distance is repeated until the predetermined condition is satisfied, thereby improving the measurement accuracy. Can be made.
また、本発明に係る距離測定プログラムにおいて、前記条件は、前記距離の誤差が所定の閾値以下となることであることを特徴とするものである。 In the distance measurement program according to the present invention, the condition is that the error in the distance is a predetermined threshold value or less.
この距離測定プログラムによれば、移動体と障害物との距離に関わらず距離の誤差を所定の閾値以下に抑えることができる。 According to this distance measurement program, the distance error can be suppressed to a predetermined threshold value or less regardless of the distance between the moving object and the obstacle.
また、本発明の構成要素、または構成要素の任意の組合せを、方法、装置、システム、記録媒体、データ構造などに適用したものも本発明に含む。 Moreover, what applied the component of this invention, or arbitrary combinations of a component to a method, an apparatus, a system, a recording medium, a data structure, etc. is also contained in this invention.
本発明によれば、移動体と障害物との距離の測定の精度を向上させることができる。 ADVANTAGE OF THE INVENTION According to this invention, the precision of the measurement of the distance of a mobile body and an obstruction can be improved.
以下、本発明の実施の形態について図面を参照しつつ説明する。 Embodiments of the present invention will be described below with reference to the drawings.
本実施の形態においては、本発明の距離測定装置を適用した駐車支援装置について説明する。 In the present embodiment, a parking assistance device to which the distance measuring device of the present invention is applied will be described.
まず、本実施の形態に係る駐車支援装置の構成について説明する。 First, the structure of the parking assistance apparatus according to the present embodiment will be described.
図１は、実施の形態１に係る駐車支援装置の構成の一例を示すブロック図である。この駐車支援装置は、移動車両（移動体）に設けられるコンピュータまたはそれに接続された装置によって実現される。また、この駐車支援装置は、移動車両の位置と移動車両の運動を検出する車両状態検出部２１と、移動車両の周辺を撮像し時間的に連続したフレーム（画像）を取得すると共に単眼の撮像部１１（カメラ）と、撮像部１１により撮像されたフレームとそのフレームが撮像された時点の車両状態検出部２１により検出された位置である撮像地点（撮像位置）を記憶するメモリ１２と、各フレームから特徴点を抽出する特徴点抽出部１３と、特徴点に基づき移動車両と目標駐車スペース周辺の障害物との位置姿勢や前記目標駐車スペースの幅や奥行きを算出する距離算出部１４と、距離算出部１４（フレーム決定部、探索部、距離算出部、誤差判定部）が算出した移動車両と駐車スペース周辺の障害物との位置姿勢や目標駐車スペースの幅や奥行きとから目標駐車スペースの３次元モデルを生成する３次元モデル生成部１５（障害物形状生成部）と、予め移動車両の外形寸法を記憶する車両外形寸法記憶部１６と、３次元モデルと判定部から駐車可能かどうかを判定する判定部１７（接触判定部）と、判定部１７による判定結果などを表示することにより運転者に伝達する表示部１８とを備えている。
FIG. 1 is a block diagram illustrating an example of the configuration of the parking assistance apparatus according to the first embodiment. This parking assistance device is realized by a computer provided in a moving vehicle (moving body) or a device connected thereto. In addition, the parking assist device captures a vehicle
ここで、車両状態検出部２１は、例えば、車速パルス、操舵角あるいはジャイロセンサ等を用いて、移動車両の位置姿勢を検出する。
Here, the vehicle
次に、本実施の形態に係る駐車支援装置の動作について説明する。 Next, the operation of the parking assistance apparatus according to the present embodiment will be described.
図２は、実施の形態１に係る駐車支援装置の動作の一例を示すフローチャートである。まず、移動車両の運転者により本駐車判定装置が起動される（Ｓ１１１）。その後、運転者は、移動車両の駐車（車庫入れ駐車や縦列駐車など）動作を行う。図３は、実施の形態１に係る移動車両の車庫入れ駐車動作の一例を示す平面図である。図４は、実施の形態１に係る移動車両の縦列駐車動作の一例を示す平面図である。なお、移動車両は、図３、図４ともに、図に示す位置に到達した後、バックして駐車目標位置に駐車するものである。そして、その際に、移動車両の運転者は、後に説明する本装置の出力結果を参考にして、駐車操作を行うことになる。 FIG. 2 is a flowchart showing an example of the operation of the parking assistance apparatus according to the first embodiment. First, the parking determination apparatus is activated by the driver of the moving vehicle (S111). Thereafter, the driver performs a parking operation (such as garage parking or parallel parking) of the moving vehicle. FIG. 3 is a plan view showing an example of the garage parking operation of the moving vehicle according to the first embodiment. FIG. 4 is a plan view illustrating an example of parallel parking operation of the moving vehicle according to the first embodiment. 3 and 4, the moving vehicle is backed and parked at the parking target position after reaching the position shown in the figure. At that time, the driver of the moving vehicle performs the parking operation with reference to the output result of the present apparatus described later.
次に、移動車両が図３と図４に示すような状態となり、車両状態検出部２１は、移動車両の車速が低速を示す所定の範囲になったか否かの判断を行う（Ｓ１１２）。移動車両が低速になっていない場合（Ｓ１１２，ＮＯ）、処理Ｓ１１２へ戻る。一方、移動車両が低速になると（Ｓ１１２，ＹＥＳ）、車両状態検出部２１は、移動車両が目標駐車スペースを低速で通過（駐車のための準備行動）すると判断し、撮像部１１で時系列として連続する複数のフレームを撮像し、撮像した複数のフレームをメモリ１２に格納すると共に、車両状態検出部２１は、フレームを撮像した時点の位置姿勢を示す撮像地点（撮像位置姿勢）をフレームに対応付けてメモリ１２に格納する（Ｓ１１３）（撮像ステップ）。次に、特徴点抽出部１３は、メモリ１２に記憶された各フレームにおける特徴点を抽出し、特徴点の座標をメモリ１２に格納する（Ｓ１２１）。
Next, the moving vehicle is in a state as shown in FIGS. 3 and 4, and the vehicle
ここで、撮像部１１が全てのフレームをメモリ１２に格納するのではなく、特徴点抽出部１３が抽出した特徴点の平面座標をメモリ１２に格納するようにしても良い。これにより、メモリ１２は、撮像部１１で撮像したフレームを全て記憶する必要はなく、同一特徴点の対応関係を記憶しておけばよいため、メモリ１２の容量を低減することができる。
Here, instead of the imaging unit 11 storing all the frames in the
次に、距離算出部１４は、撮像時の移動車両の位置姿勢と複数のフレームの特徴点とに基づいて、移動車両と駐車スペース周辺の障害物との位置姿勢や目標駐車スペースの幅や奥行きを算出する（Ｓ１２２）。次に、３次元モデル生成部１５は、距離算出部１４が算出した移動車両と駐車スペース周辺の障害物との位置姿勢や目標駐車スペースの幅や奥行きから目標駐車スペースの３次元モデルを生成する（Ｓ１２３）（障害物形状生成ステップ）。次に、この結果と予め車両外形寸法記憶部１６に格納された移動車両の外形とから判断部１７において駐車可能かどうかを判定する（Ｓ１３１）（接触判定ステップ）。次に、表示部１８は、この判定結果に従って駐車の可否を表示し、運転者に伝達する（Ｓ１３２）。
Next, the distance calculation unit 14 determines the position and orientation of the moving vehicle and obstacles around the parking space, the width and depth of the target parking space, based on the position and orientation of the moving vehicle at the time of imaging and the feature points of the plurality of frames. Is calculated (S122). Next, the three-dimensional
なお、本実施の形態において、表示部１８（形状表示部）は、判定結果を表示するとしたが、３次元モデル生成部１５により生成された３次元モデルを表示し（形状表示ステップ）ても良いし、更に、表示部１８は、前記車両状態検出部２１による車両の位置姿勢に従って、車両外形寸法記憶部１６に格納された移動車両の外形を、３次元モデルに重ねて表示しても良い。
In the present embodiment, the display unit 18 (shape display unit) displays the determination result. However, the 3D model generated by the 3D
次に、距離算出部１４の動作の詳細について説明する。 Next, details of the operation of the distance calculation unit 14 will be described.
図５は、実施の形態１に係る距離算出部１４の動作の一例を示すフローチャートである。まず、距離算出部１４は、特徴点番号ｎ＝１とし（Ｓ１０）、メモリ１２における特徴点と対応する撮像地点に基づいて、特徴点Ｐｎが最初に出現する（撮像された）撮像地点をｔｋとし、その撮像地点で撮像されたフレームである出現開始位置フレーム（基準フレーム、参照フレーム）を第１の画像Ｆ０とする（Ｓ１１）（フレーム決定ステップ）。また、時系列においてフレームＦ０に続くフレームをＦ１、Ｆ２、Ｆ３・・・とする。
FIG. 5 is a flowchart illustrating an example of the operation of the distance calculation unit 14 according to the first embodiment. First, the distance calculation unit 14 sets the feature point number n = 1 (S10), and based on the imaging point corresponding to the feature point in the
ここで、距離算出部１４の動作の説明のための駐車動作の具体例を示す。図６は、実施の形態１に係る駐車動作の一例を示す平面図である。この図は、凹凸のある目標駐車スペースへ移動車両が駐車する車庫入れ駐車動作を示す。ここで、画像が撮像された地点である撮像地点をｔ１、ｔ２、ｔ３、ｔ４、・・・ｔ８、ｔ９とする。また、特徴点抽出部１３により抽出された特徴点をＰ１、Ｐ２、Ｐ３、Ｐ４とする。図７は、実施の形態１に係る特徴点と撮像地点の関係の一例を示すグラフである。図６の例において、特徴点Ｐ１が撮像される撮像地点はｔ１〜ｔ３、特徴点Ｐ２が撮像される撮像地点はｔ３〜ｔ９、特徴点Ｐ３が撮像される撮像地点はｔ２〜ｔ８、特徴点Ｐ４が撮像される撮像地点はｔ８〜ｔ９である。
Here, the specific example of the parking operation for description of operation | movement of the distance calculation part 14 is shown. FIG. 6 is a plan view showing an example of the parking operation according to the first embodiment. This figure shows a garage parking operation in which a moving vehicle parks in an uneven target parking space. Here, imaging points, which are points where images are taken, are defined as t1, t2, t3, t4,... T8, t9. Further, the feature points extracted by the feature
次に、距離算出部１４は、フレーム番号ｍ＝１とし（Ｓ１２）、第１の画像Ｆ０における特徴点（基準特徴点、参照特徴点）に対して第２の画像Ｆｍ（探索フレーム）における同一特徴点（探索特徴点）を探索し（探索ステップ、再探索ステップ）、第１の画像Ｆ０（基準フレーム）と第２の画像Ｆｍ（探索フレーム）における同一特徴点間（基準特徴点と探索特徴点の間）の距離Ｌｍ（視差Ｘｍ）を算出する（距離算出ステップ、距離再算出ステップ）（Ｓ１３）。ここで、特徴点Ｐ１については撮像地点ｔ１と撮像地点ｔ２の画像から、特徴点Ｐ２については撮像地点ｔ３と撮像地点ｔ４の画像から、特徴点Ｐ３については撮像地点ｔ２と撮像地点ｔ３の画像から、特徴点Ｐ４については撮像地点ｔ８と撮像地点ｔ９の画像からそれぞれ距離Ｌｍ（視差Ｘｍ）を算出する。 Next, the distance calculation unit 14 sets the frame number m = 1 (S12), and is the same in the second image Fm (search frame) with respect to the feature points (standard feature point, reference feature point) in the first image F0. A feature point (search feature point) is searched (search step, re-search step), and between the same feature points (reference feature point and search feature) in the first image F0 (reference frame) and the second image Fm (search frame). A distance Lm (parallax Xm) between the points is calculated (distance calculation step, distance recalculation step) (S13). Here, for the feature point P1, from the images at the imaging points t1 and t2, for the feature point P2, from the images at the imaging points t3 and t4, and for the feature point P3 from the images at the imaging points t2 and t3. For the feature point P4, the distance Lm (parallax Xm) is calculated from the images at the imaging point t8 and the imaging point t9.
その後、距離算出部１４は、数３より求まる距離の誤差｜ΔＬ｜が予め設定し
た閾値以下か否かを判断する（Ｓ１４）（誤差判定ステップ、誤差再判定ステップ）。距離算出部１４は、｜ΔＬ｜が上記閾値以下の場合（Ｓ１４，ＹＥＳ）、
処理Ｓ１６に進み、｜ΔＬ｜が上記閾値より大きい場合（Ｓ１４，ＮＯ）、第２
の画像を新たな参照フレームとし、参照フレーム中で探索された特徴点を参照特徴点とし、ｍ＝ｍ＋１として第２の画像Ｆｍを次の探索フレームとし、参照特徴点と同一特徴点（探索特徴点）を探索し（Ｓ１５）、｜ΔＬ｜が上記閾値以下に
なるまで処理Ｓ１３からのフローを繰り返す。
Thereafter, the distance calculation unit 14 determines whether or not the distance error | ΔL | obtained from Equation 3 is equal to or smaller than a preset threshold value (S14) (error determination step, error re-determination step). When | ΔL | is equal to or smaller than the threshold value (S14, YES), the distance calculation unit 14
When the process proceeds to step S16 and | ΔL | is larger than the threshold (S14, NO), the second
As a new reference frame, a feature point searched in the reference frame as a reference feature point, m = m + 1, the second image Fm as the next search frame, and the same feature point as the reference feature point (search feature) Point) is searched (S15), and the flow from step S13 is repeated until | ΔL |
図８は、実施の形態１に係る処理Ｓ１３〜Ｓ１５の動作の一例を示す図である。まず、距離算出部１４は、異なる撮像地点で撮像された連続する複数枚（Ｎ枚）の画像のうち、撮像地点の距離が最も近い（視差が最も小さい）２枚の画像（Ｆ０とＦ１）における同一特徴点の距離Ｌ１（視差）を算出する。次に、距離算出部１４は、数３における｜ΔＬ｜が所定の閾値より大きければ視差に占める誤
差の割合が下がるように、次に撮像地点間の距離が離れた２枚の画像（Ｆ０とＦ２）から同一特徴点間（基準特徴点と探索特徴点の間）の視差を算出する、という処理を｜ΔＬ｜が所定の閾値以下になるまで複数回（ｍ回）繰り返す。その結
果、距離算出部１４は、距離の測定に利用する第１の画像（Ｆ０）と第２の画像（Ｆｍ）とを決定し、これらの画像を利用して特徴点と車両との距離（Ｌｍ）を求める。また、駐車スペースは凹凸がある形状である場合が多いため、第１の画像と第２の画像は、測距対象とする特徴点ごとに選定する。
FIG. 8 is a diagram illustrating an example of operations of processes S13 to S15 according to the first embodiment. First, the distance calculation unit 14 has two images (F0 and F1) having the shortest distance between the imaging points (the smallest parallax) among a plurality of consecutive (N) images captured at different imaging points. The distance L1 (parallax) between the same feature points at is calculated. Next, the distance calculation unit 14 determines that two images (F0 and F0) that are next separated from each other are separated so that the error ratio in the parallax decreases if | ΔL | in Equation 3 is greater than a predetermined threshold. The process of calculating the parallax between the same feature points (between the reference feature points and the search feature points) from F2) is repeated a plurality of times (m times) until | ΔL | becomes a predetermined threshold value or less. As a result, the distance calculation unit 14 determines the first image (F0) and the second image (Fm) to be used for distance measurement, and uses these images to determine the distance between the feature point and the vehicle ( Lm). In addition, since the parking space often has an uneven shape, the first image and the second image are selected for each feature point to be measured.
ここで、従来技術の同一特徴点探索と本実施の形態の同一特徴点探索との違いについて説明する。 Here, the difference between the same feature point search of the prior art and the same feature point search of the present embodiment will be described.
図９は、従来の同一特徴点探索の一例を示す図である。この図は、第１の画像における特徴点と同一の特徴点を第２の画像において探索する場合を示す。第２の画像中の網掛け部は、同一特徴点の探索範囲であり、第１の画像における特徴点を中心に、一辺の長さが３ｘの正方形の探索範囲を設定する。このように、従来手法においては大きい視差を得ようとすると探索範囲が広くする必要があるため、誤認識する可能性のある特徴点が多くなり、同一特徴点探索が局所解に陥りやすい。 FIG. 9 is a diagram illustrating an example of a conventional identical feature point search. This figure shows a case where a feature point identical to the feature point in the first image is searched for in the second image. The shaded part in the second image is a search range for the same feature point, and a square search range with a side length of 3x is set around the feature point in the first image. As described above, in the conventional method, if a large parallax is to be obtained, the search range needs to be widened. Therefore, there are many feature points that may be erroneously recognized, and the same feature point search tends to fall into a local solution.
図１０は、実施の形態１に係る同一特徴点探索の一例を示す図である。この図は、上から順に、フレームＦ０（参照フレーム）における特徴点（参照特徴点）と同一の特徴点（探索特徴点）を次のフレームＦ１（探索フレーム）において探索する場合、フレームＦ１（参照フレーム）における特徴点（参照特徴点）と同一の特徴点（探索特徴点）を次のフレームＦ２（探索フレーム）において探索する場合、フレームＦ２（参照フレーム）における特徴点（参照特徴点）と同一の特徴点（探索特徴点）を次のフレームＦ３（探索フレーム）において探索する場合を示す。各フレーム中の網掛け部は、同一特徴点の探索範囲であり、一つ前のフレームにおける特徴点を中心に、一辺の長さがｘの正方形の探索範囲を設定する。結果として、３ｘの視差（基準特徴点と最新の探索特徴点の間の距離）を得ることができる。 FIG. 10 is a diagram illustrating an example of the same feature point search according to the first embodiment. In this figure, in order from the top, when searching for the same feature point (search feature point) as the feature point (reference feature point) in the frame F0 (reference frame) in the next frame F1 (search frame), the frame F1 (reference) When searching for the same feature point (search feature point) as the feature point (reference feature point) in the frame) in the next frame F2 (search frame), it is the same as the feature point (reference feature point) in the frame F2 (reference frame) This is a case where the feature point (search feature point) is searched in the next frame F3 (search frame). The shaded portion in each frame is a search range for the same feature point, and a square search range having a side length of x is set around the feature point in the previous frame. As a result, 3 × parallax (distance between the reference feature point and the latest search feature point) can be obtained.
つまり、同じ３ｘの視差を得るために、従来の同一特徴点探索である図９では、一辺が３ｘの探索範囲を設定するのに対して、本実施の形態の同一特徴点探索である図１０では、一辺が小さいｘの探索範囲を設定し、３回に分けて行うため、より小さい探索範囲で済むことになり、従来の課題を解決し、算出される距離（視差）の信頼性が高くなる。 That is, in order to obtain the same 3x parallax, in FIG. 9, which is a conventional search for the same feature point, a search range having a side of 3x is set, whereas in FIG. 10 which is the same feature point search of the present embodiment. Then, since the search range of x with a small side is set and divided into three times, a smaller search range is required, which solves the conventional problem and increases the reliability of the calculated distance (parallax). Become.
図１１は、実施の形態１に係る駐車動作中に撮像された複数の画像と同一特徴点の視差の一例を示す図である。この図は、図６の例において、撮像地点ｔ１、ｔ２、ｔ３、ｔ４、ｔ８、ｔ９で撮像されたフレームのうち、特徴点Ｐ１，Ｐ２，Ｐ３，Ｐ４のそれぞれの視差を求めるために選択されるフレームの組を表す。上述した処理Ｓ１３〜Ｓ１５の動作により、距離算出部１４は、特徴点毎に適切な視差を求めるのに最適なフレームの組を選択することができる。 FIG. 11 is a diagram illustrating an example of parallax with the same feature points as a plurality of images captured during the parking operation according to the first embodiment. This figure is selected in the example of FIG. 6 to obtain the respective parallaxes of the feature points P1, P2, P3, and P4 from the frames imaged at the imaging points t1, t2, t3, t4, t8, and t9. Represents a set of frames. The distance calculation unit 14 can select an optimal frame set for obtaining an appropriate parallax for each feature point by the operations of the processes S13 to S15 described above.
図６の例において、距離算出部１４は、特徴点Ｐ１の距離測定に撮像地点ｔ１と撮像地点ｔ２の画像を利用すると視差が十分大きい（距離精度が高い）ため、処理Ｓ１６に進む。また、距離算出部１４は、特徴点Ｐ２の距離測定に撮像地点ｔ３と撮像地点ｔ４の画像を利用すると距離精度が低いため、処理Ｓ１５へ進み、十分な視差が得られる撮像地点ｔ３と撮像地点ｔ９の画像を利用する。また、距離算出部１４は、特徴点Ｐ３の距離測定に撮像地点ｔ２と撮像地点ｔ３の画像を利用すると距離精度が低いため、処理Ｓ１５へ進み、十分な視差が得られる撮像地点ｔ２と撮像地点ｔ８の画像を利用する。また、距離算出部１４は、特徴点Ｐ４の距離測定は撮像地点ｔ８と撮像地点ｔ９の画像で視差が十分大きい（距離精度が高い）ため、処理Ｓ１６へ進む。 In the example of FIG. 6, the distance calculation unit 14 proceeds to the process S16 because the parallax is sufficiently large (distance accuracy is high) when the images of the imaging point t1 and the imaging point t2 are used for the distance measurement of the feature point P1. Further, the distance calculation unit 14 proceeds to the process S15 because the distance accuracy is low if the images of the imaging point t3 and the imaging point t4 are used for the distance measurement of the feature point P2, and the imaging point t3 and the imaging point where sufficient parallax can be obtained. The image at t9 is used. Further, the distance calculation unit 14 proceeds to step S15 because the distance accuracy is low when the images of the imaging point t2 and the imaging point t3 are used for the distance measurement of the feature point P3, and the imaging point t2 and the imaging point where sufficient parallax can be obtained. The image at t8 is used. The distance calculation unit 14 proceeds to the process S16 because the distance measurement of the feature point P4 is sufficiently large (distance accuracy is high) in the images of the imaging point t8 and the imaging point t9.
処理Ｓ１６において、距離算出部１４は、上述のようにして算出された距離Ｌｍを移動車両と特徴点Ｐｎ間の距離として出力する。そして処理Ｓ１７では撮像地点ｔｋ中の全ての特徴点に関して距離（視差）を算出したか否かを判断する（Ｓ１７）。全てを算出した場合（Ｓ１７，ＹＥＳ）、このフローは終了する。一方、全てを算出していない場合（Ｓ１７，ＮＯ）、距離算出部１４は、ｎ＝ｎ＋１とし（Ｓ１８）、処理Ｓ１１からのフローを繰り返す。 In process S16, the distance calculation unit 14 outputs the distance Lm calculated as described above as the distance between the moving vehicle and the feature point Pn. In step S17, it is determined whether distances (parallaxes) have been calculated for all feature points in the imaging point tk (S17). If all are calculated (S17, YES), this flow ends. On the other hand, if not all have been calculated (S17, NO), the distance calculation unit 14 sets n = n + 1 (S18), and repeats the flow from step S11.
本実施の形態によれば、移動車両に設けられた撮像部１１により時系列に従って連続して撮像された複数枚の画像の中から、距離算出に十分な視差を持つ２枚の画像を、測距特徴点ごとに選定することを特徴としているため、距離が一定ではない車両と測距特徴点の間の測距を高精度に行うことが可能となり、算出される距離の信頼性も向上させることができる。 According to the present embodiment, two images having a parallax sufficient for distance calculation are measured from a plurality of images continuously captured in time series by the imaging unit 11 provided in the moving vehicle. Since each distance feature point is selected, the distance between the vehicle and the distance measurement feature point that is not constant can be measured with high accuracy, and the reliability of the calculated distance is improved. be able to.
実施の形態２．
本実施の形態においては、撮像部１１のフレームレートを制御する駐車支援装置について説明する。
In the present embodiment, a parking assistance device that controls the frame rate of the imaging unit 11 will be described.
まず、本実施の形態に係る駐車支援装置の構成について説明する。 First, the structure of the parking assistance apparatus according to the present embodiment will be described.
図１２は、実施の形態２に係る駐車支援装置の構成の一例を示すブロック図である。この図において、図１と同一符号は図１に示された対象と同一又は相当物を示しており、ここでの説明を省略する。この図は、図１と比較すると、新たに撮像指示部２２を備える。撮像指示部２２は、車両状態検出部２１により検出された移動車両の車速に応じて撮像部１１のフレームレート（撮像タイミング）を設定し、撮像部１１へ指示する。撮像部１１は、撮像指示部２２からの指示に応じて移動車両周辺を撮像する。
FIG. 12 is a block diagram illustrating an example of the configuration of the parking assistance apparatus according to the second embodiment. In this figure, the same reference numerals as those in FIG. 1 denote the same or corresponding parts as those in FIG. 1, and the description thereof is omitted here. Compared with FIG. 1, this figure newly includes an
撮像指示部２２は、撮像地点間の距離（例えばＢＬ）を車速等に因らずある一定の値以上に保つようにフレームレートを制御する。または、撮像した連続する複数枚の画像のうち決定したフレームレートに対して不要な画像を間引く。
The
ここで、撮像指示部２２による移動車両の車速と撮像部１１のフレームレートの対応付けについて説明する。
Here, the association between the vehicle speed of the moving vehicle and the frame rate of the imaging unit 11 by the
図１３において、高い精度で算出する必要がある距離Ｌの最小値をＬｍｉｎ、その精度での視差ｘをｘｍｉｎとすると、撮像地点間の距離ＢＬの最小値ＢＬｍｉｎは数１により、以下の式で表される。 In FIG. 13, if the minimum value of the distance L that needs to be calculated with high accuracy is Lmin, and the parallax x with that accuracy is xmin, the minimum value BLmin of the distance BL between the imaging points is expressed by the following equation (1). expressed.
したがって、ＢＬｍｉｎより短いＢＬを持つ画像（基準となるフレームからＢＬｍｉｎより短い距離にある撮像地点で撮像された画像）は不要である。また、車速をｖ（ｍ／ｓ）、撮像部１１のフレームレートをＲ（フレーム／ｓ）とすると、この条件での取り得る最小の撮像地点間（１フレーム間）の距離Ｂｍｉｎは、以下の式で表される。 Therefore, an image having a BL shorter than BLmin (an image taken at an imaging point at a distance shorter than BLmin from a reference frame) is unnecessary. Further, assuming that the vehicle speed is v (m / s) and the frame rate of the imaging unit 11 is R (frame / s), the minimum distance between imaging points (between one frame) that can be taken under this condition is as follows: It is expressed by a formula.
従って、ｎフレーム（ｎは１以上の整数）離れた撮像地点間の距離は、以下の式で表される。 Therefore, the distance between imaging points separated by n frames (n is an integer of 1 or more) is expressed by the following equation.
更に、数５と数７により以下の式が得られる。
従って、数８を満たす最小のｎとなるようにｎをコントロールさせればよい。つまり、数８を満たすようにフレームレートをＲ／ｎ（フレーム／ｓ）とするか、あるいはフレームレートＲ（フレーム／ｓ）で撮像した時系列的に連続な複数枚の画像のうちのｎ＝１，２，・・・ｎ−１のフレームを間引き、視差算出に用いる撮像地点間の距離をｖ／Ｒ×ｎになるようにすればよい。 Therefore, it is only necessary to control n so that the minimum n satisfying Equation 8 is obtained. That is, the frame rate is set to R / n (frame / s) so as to satisfy Formula 8, or n = of a plurality of time-series continuous images captured at the frame rate R (frame / s). It suffices to thin out 1, 2,..., N-1 frames so that the distance between imaging points used for parallax calculation is v / R × n.
本実施の形態によれば、撮像指示部２２が指示するフレームレートに応じて撮像部１１が撮像することにより撮像地点間の距離をある値以上に保つようにできたり、あるいは、撮像指示部２２の指示に応じて撮像した連続する複数枚の画像のうち必要な精度に対して不要な画像を間引いたりすることが出来る。
According to the present embodiment, the distance between the imaging points can be maintained at a certain value or more by imaging by the imaging unit 11 according to the frame rate instructed by the
また、本実施の形態に係る距離測定装置は、車載情報処理装置に容易に適用することができ、車載情報処理装置の性能をより高めることができる。ここで、車載情報処理装置には、例えばカーナビゲーションシステム、ＥＣＵ（Electric Control Unit）等が含まれ得る。 Moreover, the distance measuring device according to the present embodiment can be easily applied to the in-vehicle information processing device, and the performance of the in-vehicle information processing device can be further improved. Here, the in-vehicle information processing apparatus may include, for example, a car navigation system, an ECU (Electric Control Unit), and the like.
更に、距離測定装置を構成するコンピュータにおいて上述した各ステップを実行させるプログラムを、距離測定プログラムとして提供することができる。上述したプログラムは、コンピュータにより読取り可能な記録媒体に記憶させることによって、距離測定装置を構成するコンピュータに実行させることが可能となる。ここで、上記コンピュータにより読取り可能な記録媒体としては、ＲＯＭやＲＡＭ等のコンピュータに内部実装される内部記憶装置、ＣＤ−ＲＯＭやフレキシブルディスク、ＤＶＤディスク、光磁気ディスク、ＩＣカード等の可搬型記憶媒体や、コンピュータプログラムを保持するデータベース、或いは、他のコンピュータ並びにそのデータベースや、更に回線上の伝送媒体をも含むものである。 Furthermore, a program that causes a computer constituting the distance measuring apparatus to execute the above steps can be provided as a distance measuring program. The above-described program can be executed by a computer constituting the distance measuring device by storing the program in a computer-readable recording medium. Here, examples of the recording medium readable by the computer include an internal storage device such as a ROM and a RAM, a portable storage such as a CD-ROM, a flexible disk, a DVD disk, a magneto-optical disk, and an IC card. It includes a medium, a database holding a computer program, another computer and its database, and a transmission medium on a line.
（付記１） 移動体と障害物の間の距離の測定をコンピュータに実行させる距離測定プログラムであって、
前記移動体に設けられた撮像部により連続して複数のフレームの撮像を行うと共に該撮像を行った位置と姿勢である撮像位置姿勢を検出し、前記フレームと撮像位置姿勢を対応付けて記録する撮像ステップと、
前記撮像ステップにより撮像されたフレームに含まれる前記障害物の特徴点を抽出して該フレームを基準フレームおよび参照フレームとすると共に該特徴点を基準特徴点および参照特徴点とするフレーム決定ステップと、
前記フレーム決定ステップにより決定された参照フレームより後の時刻に撮像されたフレームである探索フレームにおいて前記参照特徴点に対応する特徴点である探索特徴点を探索する探索ステップと、
前記探索ステップにより決定された基準特徴点と前記探索ステップにより決定された探索特徴点と前記撮像ステップにより記録された撮像位置姿勢に基づいてステレオ視を実行し、前記移動体と特徴点の間の距離の算出を行う距離算出ステップと、
前記距離算出ステップにより算出された距離の誤差が所定の条件を満たすか否かの判定を行い、該誤差が前記条件を満たす場合、前記距離算出ステップにより算出された距離を確定した距離として出力する誤差判定ステップと
をコンピュータに実行させる距離測定プログラム。
（付記２） 付記１に記載の距離測定プログラムにおいて、
更に、最後に算出された距離の誤差が前記条件を満たさない場合、最新の探索フレームを新たな参照フレームとすると共に最新の探索特徴点を新たな参照特徴点とするフレーム再決定ステップと、
前記フレーム再決定ステップにより決定された参照フレームより後の時刻に撮像されたフレームを新たな探索フレームとし、該探索フレームにおいて前記参照特徴点に対応する探索特徴点を探索する再探索ステップと、
前記再探索ステップにより決定された基準特徴点と前記再探索ステップにより決定された探索特徴点と前記撮像ステップにより記録された撮像位置姿勢に基づいてステレオ視を実行し、前記移動体と特徴点の間の距離の算出を行う距離再算出ステップと、
前記距離再算出ステップにより算出された距離の誤差が前記条件を満たすか否かの判定を行い、該誤差が前記条件を満たすまで、前記フレーム再決定ステップと前記再探索ステップと前記距離再算出ステップとを繰り返し、該誤差が前記条件を満たす場合、最新の前記距離再算出ステップにより算出された距離を確定した距離として出力する誤差再判定ステップと
をコンピュータに実行させることを特徴とする距離測定プログラム。
（付記３） 付記１または付記２に記載の距離測定プログラムにおいて、
前記条件は、前記距離の誤差が所定の閾値以下となることであることを特徴とする距離測定プログラム。
（付記４） 付記３に記載の距離測定プログラムにおいて、
前記距離の誤差は、該距離、該距離の算出に用いた基準フレームが撮像された位置と該距離の算出に用いた探索フレームが撮像された位置と間の距離である撮像地点間距離、前記ステレオ視における視差の量子化誤差、前記撮像部の焦点距離を用いて算出されることを特徴とする距離測定プログラム。
（付記５） 付記１乃至付記４のいずれかに記載の距離測定プログラムにおいて、
更に、複数の特徴点について得られた前記確定した距離に基づいて、前記障害物の形状情報を生成する障害物形状生成ステップをコンピュータに実行させることを特徴とする距離測定プログラム。
（付記６） 付記５に記載の距離測定プログラムにおいて、
更に、前記障害物形状生成ステップにより生成された前記障害物の形状情報と、予め記録された前記移動体の外形情報と、前記移動体から検出される前記移動体の位置姿勢とに基づいて、前記障害物と前記移動体の位置関係を表示する形状表示ステップをコンピュータに実行させることを特徴とする距離測定プログラム。
（付記７） 付記５に記載の距離測定プログラムにおいて、
更に、前記障害物形状生成ステップにより生成された前記障害物の形状情報と、予め記録された前記移動体の外形情報とに基づいて、移動体が前記障害物に接触するか否かを判定し、判定結果を前記移動体の運転者に通知する接触判定ステップをコンピュータに実行させることを特徴とする距離測定プログラム。
（付記８） 付記１乃至付記７のいずれかに記載の距離測定プログラムにおいて、
前記撮像ステップは、前記移動体の位置と姿勢の変化に基づいて、前記フレームを撮像する位置の間隔を所定の値以上に保つことを特徴とする距離測定プログラム。
（付記９） 付記１乃至付記７のいずれかに記載の距離測定プログラムにおいて、
前記撮像ステップは、前記移動体の位置と姿勢の変化に基づいて、前記フレームが撮像された位置の間隔が所定の値以上となるように、前記フレームを間引くことを特徴とする距離測定プログラム。
（付記１０） 移動体と障害物の間の距離の測定を行う距離測定装置であって、
前記移動体に設けられ、連続して複数のフレームの撮像を行うと共に該撮像を行った位置と姿勢である撮像位置姿勢を検出し、前記フレームと撮像位置姿勢を対応付けて記録する撮像部と、
前記撮像部により撮像されたフレームに含まれる前記障害物の特徴点を抽出して該フレームを基準フレームおよび参照フレームとすると共に該特徴点を基準特徴点および参照特徴点とするフレーム決定部と、
前記フレーム決定部により決定された参照フレームより後の時刻に撮像されたフレームである探索フレームにおいて前記参照特徴点に対応する特徴点である探索特徴点を探索する探索部と、
前記探索部により決定された基準特徴点と前記探索部により決定された探索特徴点と前記撮像部により記録された撮像位置姿勢に基づいてステレオ視を実行し、前記移動体と特徴点の間の距離の算出を行う距離算出部と、
前記距離算出部により算出された距離の誤差が所定の条件を満たすか否かの判定を行い、該誤差が前記条件を満たす場合、前記距離算出部により算出された距離を確定した距離として出力する誤差判定部と
を備える距離測定装置。
（付記１１） 付記１０に記載の距離測定装置において、
前記フレーム決定部は、最後に算出された距離の誤差が前記条件を満たさない場合、最新の探索フレームを新たな参照フレームとすると共に最新の探索特徴点を新たな参照特徴点とするフレーム再決定処理を行い、
前記探索部は、前記フレーム再決定処理により決定された参照フレームより後の時刻に撮像されたフレームを新たな探索フレームとし、該探索フレームにおいて前記参照特徴点に対応する探索特徴点を探索する再探索処理を行い、
前記距離算出部は、前記再探索処理により決定された基準特徴点と前記再探索処理により決定された探索特徴点と前記撮像部により記録された撮像位置姿勢に基づいてステレオ視を実行し、前記移動体と特徴点の間の距離の算出を行う距離再算出処理を行い、
前記誤差判定部は、前記距離再算出処理により算出された距離の誤差が前記条件を満たすか否かの判定を行い、該誤差が前記条件を満たすまで、前記フレーム再決定処理と前記再探索処理と前記距離再算出処理とを繰り返し、該誤差が前記条件を満たす場合、最新の前記距離再算出処理により算出された距離を確定した距離として出力することを特徴とする距離測定装置。
（付記１２） 付記１０または付記１１に記載の距離測定装置において、
前記条件は、前記距離の誤差が所定の閾値以下となることであることを特徴とする距離測定装置。
（付記１３） 付記１２に記載の距離測定装置において、
前記距離の誤差は、該距離、該距離の算出に用いた基準フレームが撮像された位置と該距離の算出に用いた探索フレームが撮像された位置と間の距離である撮像地点間距離、前記ステレオ視における視差の量子化誤差、前記撮像部の焦点距離を用いて算出されることを特徴とする距離測定装置。
（付記１４） 付記１０乃至付記１３のいずれかに記載の距離測定装置において、
更に、複数の特徴点について得られた前記確定した距離に基づいて、前記障害物の形状情報を生成する障害物形状生成部を備えることを特徴とする距離測定装置。
（付記１５） 付記１４に記載の距離測定装置において、
更に、前記障害物形状生成部により生成された前記障害物の形状情報と、予め記録された前記移動体の外形情報と、前記移動体から検出される前記移動体の位置姿勢とに基づいて、前記障害物と前記移動体の位置関係を表示する形状表示部を備えることを特徴とする距離測定装置。
（付記１６） 付記１４に記載の距離測定装置において、
更に、前記障害物形状生成部により生成された前記障害物の形状情報と、予め記録された前記移動体の外形情報とに基づいて、移動体が前記障害物に接触するか否かを判定し、判定結果を前記移動体の運転者に通知する接触判定部を備えることを特徴とする距離測定装置。
（付記１７） 付記１０乃至付記１６のいずれかに記載の距離測定装置において、
前記撮像部は、前記移動体の位置と姿勢の変化に基づいて、前記フレームを撮像する位置の間隔を所定の値以上に保つことを特徴とする距離測定装置。
（付記１８） 付記１０乃至付記１６のいずれかに記載の距離測定装置において、
前記撮像部は、前記移動体の位置と姿勢の変化に基づいて、前記フレームが撮像された位置の間隔が所定の値以上となるように、前記フレームを間引くことを特徴とする距離測定装置。
（付記１９） 移動体と障害物の間の距離の測定を行う距離測定方法であって、
前記移動体に設けられた撮像部により連続して複数のフレームの撮像を行うと共に該撮像を行った位置と姿勢である撮像位置姿勢を検出し、前記フレームと撮像位置姿勢を対応付けて記録する撮像ステップと、
前記撮像ステップにより撮像されたフレームに含まれる前記障害物の特徴点を抽出して該フレームを基準フレームおよび参照フレームとすると共に該特徴点を基準特徴点および参照特徴点とするフレーム決定ステップと、
前記フレーム決定ステップにより決定された参照フレームより後の時刻に撮像されたフレームである探索フレームにおいて前記参照特徴点に対応する特徴点である探索特徴点を探索する探索ステップと、
前記探索ステップにより決定された基準特徴点と前記探索ステップにより決定された探索特徴点と前記撮像ステップにより記録された撮像位置姿勢に基づいてステレオ視を実行し、前記移動体と特徴点の間の距離の算出を行う距離算出ステップと、
前記距離算出ステップにより算出された距離の誤差が所定の条件を満たすか否かの判定を行い、該誤差が前記条件を満たす場合、前記距離算出ステップにより算出された距離を確定した距離として出力する誤差判定ステップと
を実行する距離測定方法。
（付記２０） 付記１９に記載の距離測定方法において、
更に、最後に算出された距離の誤差が前記条件を満たさない場合、最新の探索フレームを新たな参照フレームとすると共に最新の探索特徴点を新たな参照特徴点とするフレーム再決定ステップと、
前記フレーム再決定ステップにより決定された参照フレームより後の時刻に撮像されたフレームを新たな探索フレームとし、該探索フレームにおいて前記参照特徴点に対応する探索特徴点を探索する再探索ステップと、
前記再探索ステップにより決定された基準特徴点と前記再探索ステップにより決定された探索特徴点と前記撮像ステップにより記録された撮像位置姿勢に基づいてステレオ視を実行し、前記移動体と特徴点の間の距離の算出を行う距離再算出ステップと、
前記距離再算出ステップにより算出された距離の誤差が前記条件を満たすか否かの判定を行い、該誤差が前記条件を満たすまで、前記フレーム再決定ステップと前記再探索ステップと前記距離再算出ステップとを繰り返し、該誤差が前記条件を満たす場合、最新の前記距離再算出ステップにより算出された距離を確定した距離として出力する誤差再判定ステップと
を実行することを特徴とする距離測定方法。
(Supplementary note 1) A distance measurement program for causing a computer to measure the distance between a moving object and an obstacle,
The imaging unit provided in the moving body continuously captures a plurality of frames, detects an imaging position and orientation that is the position and orientation at which the imaging was performed, and records the frames and the imaging position and orientation in association with each other. Imaging step;
Extracting a feature point of the obstacle included in the frame imaged in the imaging step to make the frame a reference frame and a reference frame, and a frame determination step using the feature point as a reference feature point and a reference feature point;
A search step for searching for a search feature point that is a feature point corresponding to the reference feature point in a search frame that is a frame imaged at a time later than the reference frame determined by the frame determination step;
Stereo vision is executed based on the reference feature point determined by the search step, the search feature point determined by the search step, and the imaging position and orientation recorded by the imaging step, and between the moving object and the feature point A distance calculating step for calculating the distance;
It is determined whether or not the error in the distance calculated in the distance calculation step satisfies a predetermined condition. If the error satisfies the condition, the distance calculated in the distance calculation step is output as a fixed distance. A distance measurement program that causes a computer to execute an error determination step.
(Appendix 2) In the distance measurement program described in
Further, when the error of the distance calculated at the end does not satisfy the condition, a frame re-determination step in which the latest search frame is a new reference frame and the latest search feature point is a new reference feature point;
Re-search step of searching for a search feature point corresponding to the reference feature point in the search frame, using a frame imaged at a time later than the reference frame determined in the frame re-determination step as a new search frame;
Stereo vision is executed based on the reference feature point determined by the re-search step, the search feature point determined by the re-search step, and the imaging position and orientation recorded by the imaging step, and the moving object and the feature point A distance recalculation step for calculating a distance between;
It is determined whether or not an error in the distance calculated in the distance recalculation step satisfies the condition, and the frame re-determination step, the re-search step, and the distance re-calculation step until the error satisfies the condition. When the error satisfies the above condition, an error re-determination step for outputting the distance calculated by the latest distance re-calculation step as a fixed distance is executed by the computer. .
(Appendix 3) In the distance measurement program described in
The condition is that the distance error is a predetermined threshold value or less.
(Appendix 4) In the distance measurement program described in Appendix 3,
The error of the distance is the distance between the imaging points that is the distance between the position where the reference frame used for calculating the distance is imaged and the position where the search frame used for calculating the distance is imaged, A distance measurement program calculated using a quantization error of parallax in stereo vision and a focal length of the imaging unit.
(Supplementary note 5) In the distance measurement program according to any one of
Furthermore, the distance measurement program which makes a computer perform the obstruction shape generation step which produces | generates the shape information of the said obstruction based on the said fixed distance acquired about several feature points.
(Appendix 6) In the distance measurement program described in Appendix 5,
Further, based on the shape information of the obstacle generated by the obstacle shape generation step, the external shape information of the mobile body recorded in advance, and the position and orientation of the mobile body detected from the mobile body, A distance measurement program for causing a computer to execute a shape display step for displaying a positional relationship between the obstacle and the moving body.
(Appendix 7) In the distance measurement program described in Appendix 5,
Further, it is determined whether or not the moving body contacts the obstacle based on the obstacle shape information generated by the obstacle shape generation step and the outer shape information of the moving body recorded in advance. A distance measurement program for causing a computer to execute a contact determination step of notifying a driver of the moving body of a determination result.
(Supplementary note 8) In the distance measurement program according to any one of
The distance measurement program characterized in that the imaging step maintains an interval between positions where the frames are captured based on a change in the position and orientation of the moving body.
(Supplementary note 9) In the distance measurement program according to any one of
The distance measurement program characterized in that the imaging step thins out the frames so that an interval between positions where the frames are imaged is equal to or greater than a predetermined value based on a change in position and posture of the moving body.
(Supplementary Note 10) A distance measuring device for measuring a distance between a moving object and an obstacle,
An imaging unit that is provided on the moving body and continuously captures images of a plurality of frames, detects an imaging position and orientation that is the position and orientation of the imaging, and records the frames and the imaging position and orientation in association with each other; ,
A frame determination unit that extracts feature points of the obstacle included in the frame imaged by the imaging unit and sets the frame as a reference frame and a reference frame, and uses the feature point as a reference feature point and a reference feature point;
A search unit that searches for a search feature point that is a feature point corresponding to the reference feature point in a search frame that is a frame imaged at a time later than the reference frame determined by the frame determination unit;
Stereo vision is executed based on the reference feature point determined by the search unit, the search feature point determined by the search unit, and the imaging position and orientation recorded by the imaging unit, and between the moving object and the feature point A distance calculation unit for calculating the distance;
It is determined whether or not an error in the distance calculated by the distance calculation unit satisfies a predetermined condition. If the error satisfies the condition, the distance calculated by the distance calculation unit is output as a fixed distance. A distance measuring device comprising an error determination unit.
(Supplementary note 11) In the distance measuring device according to
The frame determination unit, when the error of the distance calculated last does not satisfy the condition, frame re-determination using the latest search frame as a new reference frame and the latest search feature point as a new reference feature point Process,
The search unit sets, as a new search frame, a frame imaged at a time later than the reference frame determined by the frame redetermination process, and searches for a search feature point corresponding to the reference feature point in the search frame. Perform a search process,
The distance calculation unit performs stereo vision based on the reference feature point determined by the re-search process, the search feature point determined by the re-search process, and the imaging position and orientation recorded by the imaging unit, Perform a distance recalculation process to calculate the distance between the moving object and the feature point,
The error determination unit determines whether or not an error in the distance calculated by the distance recalculation process satisfies the condition, and the frame redetermination process and the re-search process until the error satisfies the condition. And the distance recalculation process are repeated, and if the error satisfies the condition, the distance calculated by the latest distance recalculation process is output as a fixed distance.
(Supplementary Note 12) In the distance measuring device according to
The condition is that the distance error is not more than a predetermined threshold value.
(Supplementary note 13) In the distance measuring device according to
The error of the distance is the distance between the imaging points that is the distance between the position where the reference frame used for calculating the distance is imaged and the position where the search frame used for calculating the distance is imaged, A distance measuring device calculated using a quantization error of parallax in stereo vision and a focal length of the imaging unit.
(Supplementary Note 14) In the distance measuring device according to any one of
The distance measuring device further includes an obstacle shape generation unit that generates shape information of the obstacle based on the determined distance obtained for a plurality of feature points.
(Supplementary Note 15) In the distance measuring device according to Supplementary Note 14,
Furthermore, based on the shape information of the obstacle generated by the obstacle shape generation unit, the external shape information of the mobile body recorded in advance, and the position and orientation of the mobile body detected from the mobile body, A distance measuring apparatus comprising a shape display unit for displaying a positional relationship between the obstacle and the moving body.
(Supplementary note 16) In the distance measuring device according to supplementary note 14,
Further, it is determined whether or not the moving body contacts the obstacle based on the obstacle shape information generated by the obstacle shape generating unit and the outer shape information of the moving body recorded in advance. A distance measurement device comprising a contact determination unit that notifies a determination result to a driver of the moving body.
(Supplementary Note 17) In the distance measuring device according to any one of
The distance measuring apparatus according to
(Supplementary note 18) In the distance measuring device according to any one of
The distance measuring apparatus according to
(Supplementary note 19) A distance measuring method for measuring a distance between a moving object and an obstacle,
The imaging unit provided in the moving body continuously captures a plurality of frames, detects an imaging position and orientation that is the position and orientation at which the imaging was performed, and records the frames and the imaging position and orientation in association with each other. Imaging step;
Extracting a feature point of the obstacle included in the frame imaged in the imaging step to make the frame a reference frame and a reference frame, and a frame determination step using the feature point as a reference feature point and a reference feature point;
A search step for searching for a search feature point that is a feature point corresponding to the reference feature point in a search frame that is a frame imaged at a time later than the reference frame determined by the frame determination step;
Stereo vision is executed based on the reference feature point determined by the search step, the search feature point determined by the search step, and the imaging position and orientation recorded by the imaging step, and between the moving object and the feature point A distance calculating step for calculating the distance;
It is determined whether or not the error in the distance calculated in the distance calculation step satisfies a predetermined condition. If the error satisfies the condition, the distance calculated in the distance calculation step is output as a fixed distance. A distance measurement method that executes an error determination step.
(Supplementary note 20) In the distance measurement method according to
Further, when the error of the distance calculated at the end does not satisfy the condition, a frame re-determination step in which the latest search frame is a new reference frame and the latest search feature point is a new reference feature point;
Re-search step of searching for a search feature point corresponding to the reference feature point in the search frame, using a frame imaged at a time later than the reference frame determined in the frame re-determination step as a new search frame;
Stereo vision is executed based on the reference feature point determined by the re-search step, the search feature point determined by the re-search step, and the imaging position and orientation recorded by the imaging step, and the moving object and the feature point A distance recalculation step for calculating a distance between;
It is determined whether or not an error in the distance calculated in the distance recalculation step satisfies the condition, and the frame re-determination step, the re-search step, and the distance re-calculation step until the error satisfies the condition. When the error satisfies the above condition, an error re-determination step is executed to output the distance calculated by the latest distance re-calculation step as a fixed distance.
１１ 撮像部、１２ メモリ、１３ 特徴点抽出部、１４ 距離算出部、１５ ３次元モデル生成部、１６ 外形寸法記憶部、１７ 判定部、１８ 表示部、２１ 車両状態検出部、２２ 撮像指示部。 DESCRIPTION OF SYMBOLS 11 Image pick-up part, 12 Memory, 13 Feature point extraction part, 14 Distance calculation part, 15 3D model production | generation part, 16 External dimension memory | storage part, 17 Determination part, 18 Display part, 21 Vehicle state detection part, 22 Imaging instruction | indication part
Claims (5)
前記移動体に設けられた撮像部により連続して複数のフレームの撮像を行うと共に該撮像を行った位置と姿勢である撮像位置姿勢を検出し、前記フレームと撮像位置姿勢を対応付けて記録する撮像ステップと、
前記撮像ステップにより撮像されたフレームに含まれる前記障害物の特徴点を抽出して該フレームを基準フレームおよび参照フレームとすると共に該特徴点を基準特徴点および参照特徴点とするフレーム決定ステップと、
前記フレーム決定ステップにより決定された参照フレームより後の時刻に撮像されたフレームである探索フレームにおいて前記参照特徴点に対応する特徴点である探索特徴点を探索する探索ステップと、
前記探索ステップにより決定された基準特徴点と前記探索ステップにより決定された探索特徴点と前記撮像ステップにより記録された撮像位置姿勢に基づいてステレオ視を実行し、前記移動体と特徴点の間の距離の算出を行う距離算出ステップと、
前記距離算出ステップにより算出された距離の誤差が所定の条件を満たすか否かの判定を行い、該誤差が前記条件を満たす場合、前記距離算出ステップにより算出された距離を確定した距離として出力する誤差判定ステップと
をコンピュータに実行させる距離測定プログラム。 A distance measurement program for causing a computer to measure a distance between a moving object and an obstacle,
The imaging unit provided in the moving body continuously captures a plurality of frames, detects an imaging position and orientation that is the position and orientation at which the imaging was performed, and records the frames and the imaging position and orientation in association with each other. Imaging step;
Extracting a feature point of the obstacle included in the frame imaged in the imaging step to make the frame a reference frame and a reference frame, and a frame determination step using the feature point as a reference feature point and a reference feature point;
A search step for searching for a search feature point that is a feature point corresponding to the reference feature point in a search frame that is a frame imaged at a time later than the reference frame determined by the frame determination step;
Stereo vision is executed based on the reference feature point determined by the search step, the search feature point determined by the search step, and the imaging position and orientation recorded by the imaging step, and between the moving object and the feature point A distance calculating step for calculating the distance;
It is determined whether or not the error in the distance calculated in the distance calculation step satisfies a predetermined condition. If the error satisfies the condition, the distance calculated in the distance calculation step is output as a fixed distance. A distance measurement program that causes a computer to execute an error determination step.
更に、最後に算出された距離の誤差が前記条件を満たさない場合、最新の探索フレームを新たな参照フレームとすると共に最新の探索特徴点を新たな参照特徴点とするフレーム再決定ステップと、
前記フレーム再決定ステップにより決定された参照フレームより後の時刻に撮像されたフレームを新たな探索フレームとし、該探索フレームにおいて前記参照特徴点に対応する探索特徴点を探索する再探索ステップと、
前記再探索ステップにより決定された基準特徴点と前記再探索ステップにより決定された探索特徴点と前記撮像ステップにより記録された撮像位置姿勢に基づいてステレオ視を実行し、前記移動体と特徴点の間の距離の算出を行う距離再算出ステップと、
前記距離再算出ステップにより算出された距離の誤差が前記条件を満たすか否かの判定を行い、該誤差が前記条件を満たすまで、前記フレーム再決定ステップと前記再探索ステップと前記距離再算出ステップとを繰り返し、該誤差が前記条件を満たす場合、最新の前記距離再算出ステップにより算出された距離を確定した距離として出力する誤差再判定ステップと
をコンピュータに実行させることを特徴とする距離測定プログラム。 The distance measurement program according to claim 1,
Further, when the error of the distance calculated at the end does not satisfy the condition, a frame re-determination step in which the latest search frame is a new reference frame and the latest search feature point is a new reference feature point;
Re-search step of searching for a search feature point corresponding to the reference feature point in the search frame, using a frame imaged at a time later than the reference frame determined in the frame re-determination step as a new search frame;
Stereo vision is executed based on the reference feature point determined by the re-search step, the search feature point determined by the re-search step, and the imaging position and orientation recorded by the imaging step, and the moving object and the feature point A distance recalculation step for calculating a distance between;
It is determined whether or not an error in the distance calculated in the distance recalculation step satisfies the condition, and the frame re-determination step, the re-search step, and the distance re-calculation step until the error satisfies the condition. When the error satisfies the above condition, an error re-determination step for outputting the distance calculated by the latest distance re-calculation step as a fixed distance is executed by the computer. .
前記条件は、前記距離の誤差が所定の閾値以下となることであることを特徴とする距離測定プログラム。 In the distance measurement program according to claim 1 or 2,
The condition is that the distance error is a predetermined threshold value or less.
前記移動体に設けられ、連続して複数のフレームの撮像を行うと共に該撮像を行った位置と姿勢である撮像位置姿勢を検出し、前記フレームと撮像位置姿勢を対応付けて記録する撮像部と、
前記撮像部により撮像されたフレームに含まれる前記障害物の特徴点を抽出して該フレームを基準フレームおよび参照フレームとすると共に該特徴点を基準特徴点および参照特徴点とするフレーム決定部と、
前記フレーム決定部により決定された参照フレームより後の時刻に撮像されたフレームである探索フレームにおいて前記参照特徴点に対応する特徴点である探索特徴点を探索する探索部と、
前記探索部により決定された基準特徴点と前記探索部により決定された探索特徴点と前記撮像部により記録された撮像位置姿勢に基づいてステレオ視を実行し、前記移動体と特徴点の間の距離の算出を行う距離算出部と、
前記距離算出部により算出された距離の誤差が所定の条件を満たすか否かの判定を行い、該誤差が前記条件を満たす場合、前記距離算出部により算出された距離を確定した距離として出力する誤差判定部と
を備える距離測定装置。 A distance measuring device for measuring a distance between a moving object and an obstacle,
An imaging unit that is provided on the moving body and continuously captures images of a plurality of frames, detects an imaging position and orientation that is the position and orientation of the imaging, and records the frames and the imaging position and orientation in association with each other; ,
A frame determination unit that extracts feature points of the obstacle included in the frame imaged by the imaging unit and sets the frame as a reference frame and a reference frame, and uses the feature point as a reference feature point and a reference feature point;
A search unit that searches for a search feature point that is a feature point corresponding to the reference feature point in a search frame that is a frame imaged at a time later than the reference frame determined by the frame determination unit;
Stereo vision is executed based on the reference feature point determined by the search unit, the search feature point determined by the search unit, and the imaging position and orientation recorded by the imaging unit, and between the moving object and the feature point A distance calculation unit for calculating the distance;
It is determined whether or not an error in the distance calculated by the distance calculation unit satisfies a predetermined condition. If the error satisfies the condition, the distance calculated by the distance calculation unit is output as a fixed distance. A distance measuring device comprising an error determination unit.
前記移動体に設けられた撮像部により連続して複数のフレームの撮像を行うと共に該撮像を行った位置と姿勢である撮像位置姿勢を検出し、前記フレームと撮像位置姿勢を対応付けて記録する撮像ステップと、
前記撮像ステップにより撮像されたフレームに含まれる前記障害物の特徴点を抽出して該フレームを基準フレームおよび参照フレームとすると共に該特徴点を基準特徴点および参照特徴点とするフレーム決定ステップと、
前記フレーム決定ステップにより決定された参照フレームより後の時刻に撮像されたフレームである探索フレームにおいて前記参照特徴点に対応する特徴点である探索特徴点を探索する探索ステップと、
前記探索ステップにより決定された基準特徴点と前記探索ステップにより決定された探索特徴点と前記撮像ステップにより記録された撮像位置姿勢に基づいてステレオ視を実行し、前記移動体と特徴点の間の距離の算出を行う距離算出ステップと、
前記距離算出ステップにより算出された距離の誤差が所定の条件を満たすか否かの判定を行い、該誤差が前記条件を満たす場合、前記距離算出ステップにより算出された距離を確定した距離として出力する誤差判定ステップと
を実行する距離測定方法。 A distance measurement method for measuring a distance between a moving object and an obstacle,
The imaging unit provided in the moving body continuously captures a plurality of frames, detects an imaging position and orientation that is the position and orientation at which the imaging was performed, and records the frames and the imaging position and orientation in association with each other. Imaging step;
Extracting a feature point of the obstacle included in the frame imaged in the imaging step to make the frame a reference frame and a reference frame, and a frame determination step using the feature point as a reference feature point and a reference feature point;
A search step for searching for a search feature point that is a feature point corresponding to the reference feature point in a search frame that is a frame imaged at a time later than the reference frame determined by the frame determination step;
Stereo vision is executed based on the reference feature point determined by the search step, the search feature point determined by the search step, and the imaging position and orientation recorded by the imaging step, and between the moving object and the feature point A distance calculating step for calculating the distance;
It is determined whether or not the error in the distance calculated in the distance calculation step satisfies a predetermined condition. If the error satisfies the condition, the distance calculated in the distance calculation step is output as a fixed distance. A distance measurement method that executes an error determination step.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006155856A JP4899647B2 (en) | 2006-06-05 | 2006-06-05 | Distance measuring program, distance measuring device, distance measuring method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006155856A JP4899647B2 (en) | 2006-06-05 | 2006-06-05 | Distance measuring program, distance measuring device, distance measuring method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2007322357A true JP2007322357A (en) | 2007-12-13 |
| JP4899647B2 JP4899647B2 (en) | 2012-03-21 |
Family
ID=38855305
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006155856A Expired - Fee Related JP4899647B2 (en) | 2006-06-05 | 2006-06-05 | Distance measuring program, distance measuring device, distance measuring method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4899647B2 (en) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009157298A1 (en) * | 2008-06-26 | 2009-12-30 | アイシン精機株式会社 | Parking assistance device, and parking guidance apparatus employing the same |
| JP2010210486A (en) * | 2009-03-11 | 2010-09-24 | Omron Corp | Image processor, method and program |
| WO2010128640A1 (en) * | 2009-05-07 | 2010-11-11 | コニカミノルタホールディングス株式会社 | Device for acquiring stereo image |
| JP2013024686A (en) * | 2011-07-20 | 2013-02-04 | Kokusai Kogyo Co Ltd | Mobile mapping system, method for measuring route object using the same, and position specification program |
| EP2738740A1 (en) | 2012-11-30 | 2014-06-04 | Fujitsu Limited | Image processing device and image processing method |
| WO2014174676A1 (en) * | 2013-04-26 | 2014-10-30 | トヨタ自動車 株式会社 | Parking assist device |
| WO2014192061A1 (en) * | 2013-05-27 | 2014-12-04 | パイオニア株式会社 | Image processing device, image processing method, and image processing program |
| WO2016006451A1 (en) * | 2014-07-10 | 2016-01-14 | オリンパス株式会社 | Observation system |
| WO2018207782A1 (en) * | 2017-05-09 | 2018-11-15 | 株式会社デンソー | Parking space detection device |
| CN109171616A (en) * | 2018-08-07 | 2019-01-11 | 重庆金山医疗器械有限公司 | Obtain the system and method for 3D shape inside measured object |
| CN114638880A (en) * | 2022-05-23 | 2022-06-17 | 中国科学技术大学先进技术研究院 | Planar ranging method, monocular camera and computer readable storage medium |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004069583A (en) * | 2002-08-08 | 2004-03-04 | Nissan Motor Co Ltd | Image processing device |
| JP2004114977A (en) * | 2002-09-30 | 2004-04-15 | Aisin Seiki Co Ltd | Moving body periphery monitoring device |
| JP2005061931A (en) * | 2003-08-11 | 2005-03-10 | Nippon Telegr & Teleph Corp <Ntt> | Three-dimensional shape recovery method, its apparatus, and three-dimensional shape recovery program |
-
2006
- 2006-06-05 JP JP2006155856A patent/JP4899647B2/en not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004069583A (en) * | 2002-08-08 | 2004-03-04 | Nissan Motor Co Ltd | Image processing device |
| JP2004114977A (en) * | 2002-09-30 | 2004-04-15 | Aisin Seiki Co Ltd | Moving body periphery monitoring device |
| JP2005061931A (en) * | 2003-08-11 | 2005-03-10 | Nippon Telegr & Teleph Corp <Ntt> | Three-dimensional shape recovery method, its apparatus, and three-dimensional shape recovery program |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009157298A1 (en) * | 2008-06-26 | 2009-12-30 | アイシン精機株式会社 | Parking assistance device, and parking guidance apparatus employing the same |
| JP2010210486A (en) * | 2009-03-11 | 2010-09-24 | Omron Corp | Image processor, method and program |
| JP5652391B2 (en) * | 2009-05-07 | 2015-01-14 | コニカミノルタ株式会社 | Stereo image acquisition device |
| WO2010128640A1 (en) * | 2009-05-07 | 2010-11-11 | コニカミノルタホールディングス株式会社 | Device for acquiring stereo image |
| JPWO2010128640A1 (en) * | 2009-05-07 | 2012-11-01 | コニカミノルタホールディングス株式会社 | Stereo image acquisition device |
| JP2013024686A (en) * | 2011-07-20 | 2013-02-04 | Kokusai Kogyo Co Ltd | Mobile mapping system, method for measuring route object using the same, and position specification program |
| EP2738740A1 (en) | 2012-11-30 | 2014-06-04 | Fujitsu Limited | Image processing device and image processing method |
| JP5975172B2 (en) * | 2013-04-26 | 2016-08-23 | トヨタ自動車株式会社 | Parking assistance device |
| CN105121231A (en) * | 2013-04-26 | 2015-12-02 | 丰田自动车株式会社 | Parking assist device |
| WO2014174676A1 (en) * | 2013-04-26 | 2014-10-30 | トヨタ自動車 株式会社 | Parking assist device |
| WO2014192061A1 (en) * | 2013-05-27 | 2014-12-04 | パイオニア株式会社 | Image processing device, image processing method, and image processing program |
| WO2016006451A1 (en) * | 2014-07-10 | 2016-01-14 | オリンパス株式会社 | Observation system |
| JP2016017921A (en) * | 2014-07-10 | 2016-02-01 | オリンパス株式会社 | Observation system |
| CN106574831A (en) * | 2014-07-10 | 2017-04-19 | 奥林巴斯株式会社 | Observation system |
| US10485402B2 (en) | 2014-07-10 | 2019-11-26 | Olympus Corporation | Observation system |
| WO2018207782A1 (en) * | 2017-05-09 | 2018-11-15 | 株式会社デンソー | Parking space detection device |
| JP2018190220A (en) * | 2017-05-09 | 2018-11-29 | 株式会社デンソー | Parking space detection device |
| CN109171616A (en) * | 2018-08-07 | 2019-01-11 | 重庆金山医疗器械有限公司 | Obtain the system and method for 3D shape inside measured object |
| CN114638880A (en) * | 2022-05-23 | 2022-06-17 | 中国科学技术大学先进技术研究院 | Planar ranging method, monocular camera and computer readable storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4899647B2 (en) | 2012-03-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4899647B2 (en) | Distance measuring program, distance measuring device, distance measuring method | |
| JP5782708B2 (en) | Driving support device | |
| JP5639874B2 (en) | Driving assistance device | |
| EP2085791A1 (en) | Image processing device, image processing method, and program | |
| JP6405778B2 (en) | Object tracking method and object tracking apparatus | |
| JP5968064B2 (en) | Traveling lane recognition device and traveling lane recognition method | |
| JP4702569B2 (en) | Image processing apparatus for vehicle | |
| US11143511B2 (en) | On-vehicle processing device | |
| JP6520740B2 (en) | Object detection method, object detection device, and program | |
| JP2014034251A (en) | Vehicle traveling control device and method thereof | |
| JP4660569B2 (en) | Object detection apparatus and object detection method | |
| JP2013020458A (en) | On-vehicle object discrimination device | |
| JP6129268B2 (en) | Vehicle driving support system and driving support method | |
| US11468691B2 (en) | Traveling lane recognition apparatus and traveling lane recognition method | |
| CN110945578A (en) | Vehicle-mounted processing device | |
| JP4052291B2 (en) | Image processing apparatus for vehicle | |
| JP2015225546A (en) | Object detection device, drive support apparatus, object detection method, and object detection program | |
| JP2007278813A (en) | Vehicle-position positioning device | |
| JP2002228734A (en) | Peripheral object confirming device | |
| JP2006318062A (en) | Image processor, image processing method and image processing program | |
| JP4553071B1 (en) | 3D information display device and 3D information display method | |
| KR20160125803A (en) | Apparatus for defining an area in interest, apparatus for detecting object in an area in interest and method for defining an area in interest | |
| JP2009014444A (en) | Range finder | |
| JP5903901B2 (en) | Vehicle position calculation device | |
| JP2006322892A (en) | Three-dimensional position measuring device and three-dimensional position measuring program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090309 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110907 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110913 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111111 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111206 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111219 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150113 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |