JP2019003522A - Estimation program, estimation device, and estimation method - Google Patents
Estimation program, estimation device, and estimation method Download PDFInfo
- Publication number
- JP2019003522A JP2019003522A JP2017119232A JP2017119232A JP2019003522A JP 2019003522 A JP2019003522 A JP 2019003522A JP 2017119232 A JP2017119232 A JP 2017119232A JP 2017119232 A JP2017119232 A JP 2017119232A JP 2019003522 A JP2019003522 A JP 2019003522A
- Authority
- JP
- Japan
- Prior art keywords
- vanishing
- vanishing point
- image
- vehicle
- line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、推定プログラム、推定装置、及び推定方法に関する。 The present invention relates to an estimation program, an estimation device, and an estimation method.
危険運転時の映像を自動的に記録するドライブレコーダとして、販売元の訓練された作業者が特殊な作業空間で車両に取り付ける装置から、ユーザが手軽に取り付けられる廉価な装置まで、様々な種類の装置が普及している。さらに、走行中の映像を記録するだけではなく、映像を利用した車線逸脱警報（Lane Departure Warning：ＬＤＷ）等、交通事故削減に向けた安心安全機能を付加することで、製品価値の差別化が促進されている。 As a drive recorder that automatically records images during dangerous driving, various types of equipment can be used, ranging from equipment installed by trained workers of the dealer to a vehicle in a special work space to inexpensive equipment that can be easily installed by the user. Equipment is widespread. In addition to recording images while driving, the product value can be differentiated by adding safety and safety functions to reduce traffic accidents, such as Lane Departure Warning (LDW). Has been promoted.
高精度なＬＤＷを実現するためには、車両に対する車載カメラの取付位置及び姿勢を高精度に検出して、走行環境における車両の状況を正しく認識することが望ましい。車載カメラの取付位置及び姿勢は、専用マーカを用いて専用の作業場で人手によって較正することもでき、走行中の映像を利用して自動的に較正することもできる。しかし、大量に流通する車載カメラに対して、１台ずつ人手で取付位置及び姿勢を較正する作業は負荷が大きく、現実的ではないため、走行中の映像を利用した自動較正が望まれる。 In order to realize a highly accurate LDW, it is desirable to accurately detect the mounting position and posture of the in-vehicle camera with respect to the vehicle and accurately recognize the situation of the vehicle in the traveling environment. The mounting position and orientation of the in-vehicle camera can be calibrated manually at a dedicated work place using a dedicated marker, or can be automatically calibrated using a running image. However, since the work of calibrating the mounting position and posture manually one by one for a large number of vehicle-mounted cameras is heavy and impractical, automatic calibration using moving images is desired.
車載カメラのキャリブレーションを行う技術、及びカメラ画像から得られる消失点を検出する技術が知られている（例えば、特許文献１及び２を参照）。 A technique for calibrating an in-vehicle camera and a technique for detecting a vanishing point obtained from a camera image are known (see, for example, Patent Documents 1 and 2).
車載カメラの画像から消失点を検出し、検出した消失点の位置に基づいて車載カメラの姿勢を推定する場合、消失点の検出精度が十分ではないため、車載カメラの姿勢の推定精度が低下することがある。 When the vanishing point is detected from the image of the in-vehicle camera and the attitude of the in-vehicle camera is estimated based on the position of the detected vanishing point, the estimation accuracy of the in-vehicle camera is lowered because the accuracy of detecting the vanishing point is not sufficient. Sometimes.
なお、かかる問題は、ＬＤＷを実施する場合に限らず、車両に搭載された撮像装置の姿勢に基づいて他の画像処理を行う場合においても生ずるものである。 Such a problem occurs not only when the LDW is performed, but also when other image processing is performed based on the attitude of the imaging device mounted on the vehicle.
１つの側面において、本発明は、車両に搭載された撮像装置により撮影した画像から、撮像装置の姿勢を推定することを目的とする。 In one aspect, an object of the present invention is to estimate an attitude of an imaging device from an image captured by an imaging device mounted on a vehicle.
１つの案では、推定プログラムは、以下の処理をコンピュータに実行させる。
（１）コンピュータは、車両に搭載された撮像装置によって車両の右折時に撮影された、平行線を含む第１路面標示が写っている第１画像から、第１消失点を求める。
（２）コンピュータは、撮像装置によって車両の左折時に撮影された、平行線を含む第２路面標示が写っている第２画像から、第２消失点を求める。
（３）コンピュータは、第１消失点と第２消失点とを用いて消失線を求める。
（４）コンピュータは、消失線を用いて撮像装置の姿勢を推定する。
In one plan, the estimation program causes the computer to execute the following processing.
(1) A computer calculates | requires a 1st vanishing point from the 1st image in which the 1st road marking containing a parallel line was image | photographed at the time of the vehicle's right turn with the imaging device mounted in the vehicle.
(2) A computer calculates | requires a 2nd vanishing point from the 2nd image which was image | photographed at the time of the vehicle left turn with the imaging device and the 2nd road marking containing a parallel line is reflected.
(3) The computer obtains a vanishing line using the first vanishing point and the second vanishing point.
(4) The computer estimates the attitude of the imaging device using the vanishing line.
１つの実施形態によれば、車両に搭載された撮像装置により撮影した画像から、撮像装置の姿勢を推定することができる。 According to one embodiment, the posture of the imaging device can be estimated from an image captured by the imaging device mounted on the vehicle.
以下、図面を参照しながら、実施形態を詳細に説明する。
図１は、車両に搭載された撮像装置の例を示している。この例では、車体１０１の前面に撮像装置１０２が取り付けられている。この場合、車体１０１の前後方向の中心線１１１から撮像装置１０２までの横方向の距離１１４（横オフセット）と、車体１０１の底面から撮像装置１０２までの高さ１１５とを用いて、車体１０１に対する撮像装置１０２の取付位置を表すことができる。
Hereinafter, embodiments will be described in detail with reference to the drawings.
FIG. 1 shows an example of an imaging device mounted on a vehicle. In this example, the
また、車体１０１に対する撮像装置１０２の姿勢は、ロール角１２１、ピッチ角１２２、及びヨー角１２３を用いて表すことができる。ロール角１２１は、中心線１１１の周りの回転角であり、ピッチ角１２２は、中心線１１１と直交する横方向の直線１１２の周りの回転角であり、ヨー角１２３は、中心線１１１及び直線１１２と直交する垂直方向の直線１１３の周りの回転角である。
Further, the posture of the
上述した特許文献１のキャリブレーション装置は、走行中に車載カメラが撮影した映像から抽出された、規格が既知の路面標示を利用して、路面上の２組の平行線を抽出する。そして、キャリブレーション装置は、２組の平行線から求められる２つの消失点を通る消失線を利用して、消失線と画像の水平方向とがなす角度から、車載カメラのロール角を推定する。したがって、車載カメラのロール角の推定精度は、消失線の計算精度に依存する。 The above-described calibration device of Patent Document 1 extracts two sets of parallel lines on a road surface using a road marking with a known standard extracted from an image taken by a vehicle-mounted camera during traveling. And a calibration apparatus estimates the roll angle of a vehicle-mounted camera from the angle which a vanishing line and the horizontal direction of an image make | form using the vanishing line which passes along two vanishing points calculated | required from two sets of parallel lines. Therefore, the estimation accuracy of the roll angle of the in-vehicle camera depends on the calculation accuracy of the vanishing line.
３次元空間において平行な２本の線分が画像に写っている場合、画像内においてそれらの線分は必ずしも平行ではなく、一定の角度をなすことが多い。この場合、画像内でそれらの２本の線分をそれぞれ延長した２本の直線が交差する点は、消失点と呼ばれる。また、３次元空間内の同一平面上に存在する複数組の平行線から複数の消失点が検出された場合、それらの消失点を通る直線は消失線と呼ばれる。 When two parallel line segments appear in an image in a three-dimensional space, the line segments are not necessarily parallel in the image and often form a certain angle. In this case, a point where two straight lines obtained by extending the two line segments in the image intersect is called a vanishing point. Further, when a plurality of vanishing points are detected from a plurality of sets of parallel lines existing on the same plane in the three-dimensional space, a straight line passing through these vanishing points is called a vanishing line.
図２は、消失線の計算精度の例を示している。図２の画像は、６４０画素×４８０画素のVideo Graphics Array（ＶＧＡ）画像である。この画像の左上頂点を原点とし、水平方向にＸ軸を設け、垂直方向にＹ軸を設けた場合、画像内の各点（画素）の位置は、座標（Ｘ，Ｙ）によって表される。 FIG. 2 shows an example of the calculation accuracy of the vanishing line. The image in FIG. 2 is a Video Graphics Array (VGA) image of 640 pixels × 480 pixels. When the upper left vertex of the image is the origin, the X axis is provided in the horizontal direction, and the Y axis is provided in the vertical direction, the position of each point (pixel) in the image is represented by coordinates (X, Y).
画像の中央付近に存在する点Ａの座標を（３５５，２４０）とし、点Ａから水平方向に１０画素だけ離れた点Ｂの座標を（３６５，２４０）とし、画像から点Ａ及び点Ｂの位置を検出する際に、垂直方向に±５画素の検出誤差が発生する場合を想定する。点Ａの座標として、矢印２０１が示すように（３５５，２４５）が検出され、点Ｂの座標として、矢印２０２が示すように（３６５，２３５）が検出された場合、検出された２点を結ぶ線分２０３の傾きＧ１は、次式により計算される。
The coordinates of the point A existing near the center of the image are (355, 240), the coordinates of the point B separated by 10 pixels in the horizontal direction from the point A are (365, 240), and the points A and B from the image Assume that a detection error of ± 5 pixels occurs in the vertical direction when detecting the position. When (355, 245) is detected as the coordinate of the point A as indicated by the
Ｇ１＝（２４５−２３５）／（３６５−３５５）＝１ （１） G1 = (245-235) / (365-355) = 1 (1)
点Ａと点Ｂを結ぶ線分の正しい傾きは０（０度）であるため、式（１）の傾き１（４５度）は、傾きの誤差が１であることを示している。 Since the correct slope of the line connecting point A and point B is 0 (0 degree), slope 1 (45 degrees) in equation (1) indicates that the slope error is 1.
次に、画像の左端に存在する点Ｃの座標を（１，２４０）とし、画像の右端に存在する点Ｄの座標を（６４０，２４０）とし、画像から点Ｃ及び点Ｄの位置を検出する際に、垂直方向に±５画素の検出誤差が発生する場合を想定する。点Ｃの座標として、矢印２０４が示すように（１，２４５）が検出され、点Ｄの座標として、矢印２０５が示すように（６４０，２３５）が検出された場合、検出された２点を結ぶ線分２０６の傾きＧ２は、次式により計算される。
Next, the coordinates of the point C existing at the left end of the image are (1,240), the coordinates of the point D existing at the right end of the image are (640,240), and the positions of the points C and D are detected from the image. In this case, assume that a detection error of ± 5 pixels occurs in the vertical direction. When (1, 245) is detected as the coordinates of the point C as indicated by the
Ｇ２＝（２４５−２３５）／（６４０−１）＝０．０１５ （２） G2 = (245-235) / (640-1) = 0.015 (2)
点Ｃと点Ｄを結ぶ線分の正しい傾きは０であるため、式（２）の傾き０．０１５は、傾きの誤差が０．０１５であることを示しており、点Ａと点Ｂを結ぶ線分の傾きの誤差よりもはるかに小さな値になる。 Since the correct slope of the line segment connecting point C and point D is 0, slope 0.015 in equation (2) indicates that the slope error is 0.015, and point A and point B are This value is much smaller than the error in the slope of the connecting line segment.
このように、各点の検出誤差が同程度あっても、画像内における水平方向の距離が大きな２点を結ぶ線分の傾きは、水平方向の距離が小さな２点を結ぶ線分の傾きよりも高精度に計算することができる。したがって、画像内において水平方向にできるだけ離れた２つの消失点を利用することで、それらの消失点を通る消失線を高精度に求めることが可能になると考えられる。 Thus, even if the detection error at each point is the same, the slope of the line connecting two points with a large horizontal distance in the image is more than the slope of the line connecting two points with a small horizontal distance. Can be calculated with high accuracy. Therefore, it is considered that by using two vanishing points that are separated as much as possible in the horizontal direction in the image, vanishing lines that pass through these vanishing points can be obtained with high accuracy.
しかしながら、同じ時刻に撮影された画像に写っている路面標示から平行線を抽出して消失点を求める場合、水平方向に十分に離れた２つの消失点を求めることは困難である。 However, when a parallel line is extracted from road markings captured in images taken at the same time and a vanishing point is obtained, it is difficult to obtain two vanishing points sufficiently separated in the horizontal direction.
図３は、実施形態の推定装置の機能的構成例を示している。図３の推定装置３０１は、記憶部３１１、消失線推定部３１２、及び姿勢推定部３１３を含む。記憶部３１１は、車両に搭載された撮像装置によって車両の右折時に撮影された、平行線を含む第１路面標示が写っている第１画像３２１と、撮像装置によって車両の左折時に撮影された、平行線を含む第２路面標示が写っている第２画像３２２とを記憶する。消失線推定部３１２及び姿勢推定部３１３は、記憶部３１１が記憶する第１画像３２１及び第２画像３２２を用いて、推定処理を行う。
FIG. 3 illustrates a functional configuration example of the estimation apparatus according to the embodiment. The
図４は、図３の推定装置３０１が行う推定処理の例を示すフローチャートである。まず、消失線推定部３１２は、第１画像３２１から第１消失点を求め（ステップ４０１）、第２画像３２２から第２消失点を求め（ステップ４０２）、第１消失点と第２消失点とを用いて消失線を求める（ステップ４０３）。次に、姿勢推定部３１３は、消失線を用いて撮像装置の姿勢を推定する（ステップ４０４）。
FIG. 4 is a flowchart illustrating an example of an estimation process performed by the
図３の推定装置３０１によれば、車両に搭載された撮像装置により撮影した画像から、撮像装置の姿勢を推定することができる。
According to the
図５は、図３の推定装置３０１の第１の具体例を示している。図５の推定装置３０１は、例えば、撮像装置５０１とともに車両に搭載され、記憶部３１１、消失線推定部３１２、及び姿勢推定部３１３を含む。消失線推定部３１２は、旋回検出部５１１、消失点検出部５１２、消失点検証部５１３、チェック部５１４、及び消失線計算部５１５を含む。撮像装置５０１は、例えば、車両に搭載されたカメラであり、車両の進行方向（前方）の映像を撮影する。撮像装置５０１は、図１の撮像装置１０２に対応する。
FIG. 5 shows a first specific example of the
撮像装置５０１は、車両の停止時又は走行中に映像を撮影して推定装置３０１へ出力する。推定装置３０１は、撮像装置５０１が出力する映像に含まれる各時刻の画像５２１を記憶部３１１に格納する。各時刻の画像５２１は、フレームと呼ばれることもある。
The
旋回検出部５１１は、車両の右折又は左折を車両の旋回として検出する。例えば、旋回検出部５１１は、車両の方向指示器に対して出力される制御信号（ウィンカー信号）、又は車両センサ（加速度センサ、ジャイロセンサ等）から出力されるセンサ信号を用いて、右折又は左折を検出することができる。また、旋回検出部５１１は、複数時刻の画像５２１から路面特徴等を表す特徴点のフローを求め、求めたフローに基づいて右折又は左折を検出することもできる。
The turning
消失点検出部５１２は、旋回検出部５１１が右折又は左折を検出したときの画像５２１から、消失点を検出する。
The vanishing
図６は、図５の消失点検出部５１２の機能的構成例を示している。図６の消失点検出部５１２は、路面標示検出部６０１、平行線検出部６０２、及び交点検出部６０３を含む。路面標示検出部６０１は、画像５２１から、横断歩道の白線、車線の両側に引かれた白線（車線区分線）等の路面標示を検出し、平行線検出部６０２は、検出された路面標示に含まれる１組以上の平行線を検出する。そして、交点検出部６０３は、検出された平行線を延長した２本の直線の交点を消失点として検出し、検出した消失点の位置を、消失点情報５２２として記憶部３１１に格納する。
FIG. 6 shows a functional configuration example of the vanishing
図７は、画像５２１から検出される消失点の例を示している。撮像装置５０１の視線方向と直交しない路面上に存在する直線７０１及び直線７０２からなる１組の平行線は、画像内において１点で交差する。この交点が消失点７０３として検出される。
FIG. 7 shows an example of vanishing points detected from the
車両が右折又は左折する交差点の路面上には、横断歩道、車線区分線等の路面標示が設けられていることが多い。そこで、これらの路面標示に含まれる白線の平行な境界線を利用することで、消失点を容易に検出することができる。 Road markings such as pedestrian crossings and lane markings are often provided on the road surface of intersections where vehicles turn right or left. Therefore, the vanishing point can be easily detected by using a parallel boundary line of white lines included in these road markings.
図８は、交差点を撮影した画像５２１の例を示している。画像８０１は、車両が左折するときに撮影された画像５２１の例であり、画像８０２は、車両が右折するときに撮影された画像５２１の例である。
FIG. 8 shows an example of an
画像８０１に写っている直線８１１及び直線８１２は、路面上の横断歩道に含まれる１組の平行線に対応し、これらの直線の交点が消失点８１３として検出される。この消失点８１３は、画像８０１の左端に近い位置に検出される。
A
一方、画像８０２に写っている直線８２１及び直線８２２は、路面上の横断歩道又は車線区分線に含まれる１組の平行線に対応し、これらの直線の交点が消失点８２３として検出される。この消失点８２３は、画像８０２の右端に近い位置に検出される。
On the other hand, a
この場合、画像８０１から検出された消失点８１３と、画像８０２から検出された消失点８２３との間の水平方向の距離Ｄは、画像８０１及び画像８０２の水平方向のサイズに近い。このように、右折時に撮影された画像５２１と左折時に撮影された画像５２１のそれぞれから消失点を検出することで、画像内において水平方向に大きく離れた２つの消失点を求めることができる。そして、大きく離れた２つの消失点を利用することで、消失線を高精度に求めることができる。
In this case, the horizontal distance D between the vanishing
消失点検証部５１３は、右折時の画像５２１から検出された消失点が、画像５２１の右端から所定距離ＤＲ以内に存在することを検証し、画像５２１の右端からＤＲ以内に存在する消失点の位置を、右消失点情報５２３として記憶部３１１に格納する。
The vanishing
また、消失点検証部５１３は、左折時の画像５２１から検出された消失点が、画像５２１の左端から所定距離ＤＬ以内に存在することを検証し、画像５２１の左端からＤＬ以内に存在する消失点の位置を、左消失点情報５２４として記憶部３１１に格納する。
Also, the vanishing
例えば、画像５２１の幅Ｗ、所定比率ｒＲ、及び所定比率ｒＬを用いて、次式によりＤＲ及びＤＬを決定することができる。
For example, DR and DL can be determined by the following equations using the width W of the
ＤＬ＝Ｗ＊ｒＬ （３）
ＤＲ＝Ｗ＊ｒＲ （４）
DL = W * rL (3)
DR = W * rR (4)
ｒＬ及びｒＲは、０〜０．５の範囲の実数であり、好ましくは０．３以下の実数である。ｒＬ及びｒＲの値が小さいほど、画像５２１の端に近い消失点を求めることができる。例えば、ｒＬ＝ｒＲ＝０．２であってもよい。
rL and rR are real numbers in the range of 0 to 0.5, and are preferably real numbers of 0.3 or less. As the values of rL and rR are smaller, the vanishing point closer to the end of the
チェック部５１４は、右消失点情報５２３及び左消失点情報５２４それぞれに所定数Ｎ以上の消失点が記録されたか否かをチェックする。Ｎは、１以上の整数であり、好ましくは、消失線を統計的に計算するために十分な個数である。例えば、Ｎ＝１０００であってもよい。
The
右消失点情報５２３及び左消失点情報５２４それぞれにＮ個以上の消失点が記録されている場合、消失線計算部５１５は、それらの消失点の位置を用いて消失線を計算し、計算した消失線を示す消失線情報５２５を記憶部３１１に格納する。例えば、消失線計算部５１５は、最小二乗法、Random Sample Consensus（ＲＡＮＳＡＣ）等の統計処理により、消失線を計算することができる。
When N or more vanishing points are recorded in each of the right vanishing
姿勢推定部３１３は、消失線情報５２５が示す消失線を用いて、撮像装置５０１のロール角、ピッチ角、及びヨー角を推定し、それらの角度を示す姿勢情報５２６を記憶部３１１に格納する。例えば、姿勢推定部３１３は、特許文献１に記載された推定方法等によって、ロール角、ピッチ角、及びヨー角を推定することができる。
The
図９は、図５の消失線推定部３１２が行う消失線推定処理の例を示している。消失点検出部５１２は、左折時に撮影された複数時刻の画像９０１から複数の消失点を検出し、消失点検証部５１３は、それらの消失点のうち、画像５２１の左端からＤＬ以内に存在する複数の消失点９１１を抽出する。また、消失点検出部５１２は、右折時に撮影された複数時刻の画像９０２から複数の消失点を検出し、消失点検証部５１３は、それらの消失点のうち、画像５２１の右端からＤＲ以内に存在する複数の消失点９１２を抽出する。
FIG. 9 shows an example of vanishing line estimation processing performed by the vanishing
そして、消失線計算部５１５は、画像５２１の左端に近い複数の消失点９１１と、画像５２１の右端に近い複数の消失点９１２とを用いて、消失線９１３を計算する。
Then, the vanishing
図５の推定装置３０１によれば、右折時の画像５２１から検出された消失点と、左折時の画像５２１から検出された消失点とを用いることで、車両に搭載された撮像装置５０１の姿勢を高精度に推定することができる。また、右折時の複数の画像５２１それぞれから検出された複数の消失点と、左折時の複数の画像５２１それぞれから検出された複数の消失点とを用いて、消失線を統計的に計算することで、撮像装置５０１の姿勢の推定精度がさらに向上する。
According to the
図１０は、図５の推定装置３０１が行う推定処理の第１の具体例を示すフローチャートである。まず、消失線推定部３１２は、記憶部３１１から現時刻の画像５２１を読み出し、旋回検出部５１１は、旋回検出処理を行って（ステップ１００１）、車両の旋回を検出したか否かをチェックする（ステップ１００２）。旋回検出処理において、旋回検出部５１１は、ウィンカー信号、センサ信号等を用いて車両の旋回を検出してもよく、現時刻を含む複数時刻の画像５２１から求めた特徴点のフローに基づいて、車両の旋回を検出してもよい。
FIG. 10 is a flowchart showing a first specific example of the estimation process performed by the
車両の旋回を検出しない場合（ステップ１００２，ＮＯ）、消失線推定部３１２は、次の時刻の画像５２１を読み出し、ステップ１００１以降の処理を繰り返す。
When the turning of the vehicle is not detected (
車両の旋回を検出した場合（ステップ１００２，ＹＥＳ）、消失点検出部５１２の路面標示検出部６０１は、現時刻の画像５２１に対して、路面標示検出処理を行う（ステップ１００３）。そして、路面標示検出部６０１は、路面標示を検出したか否かをチェックする（ステップ１００４）。路面標示を検出しない場合（ステップ１００４，ＮＯ）、消失線推定部３１２は、次の時刻の画像５２１を読み出し、ステップ１００１以降の処理を繰り返す。
When the turning of the vehicle is detected (
路面標示を検出した場合（ステップ１００４，ＹＥＳ）、平行線検出部６０２は、画像５２１内の検出された路面標示を含む領域に対して、平行線検出処理を行い（ステップ１００５）、平行線を検出したか否かをチェックする（ステップ１００６）。平行線を検出しない場合（ステップ１００６，ＮＯ）、消失線推定部３１２は、次の時刻の画像５２１を読み出し、ステップ１００１以降の処理を繰り返す。
When the road marking is detected (
平行線を検出した場合（ステップ１００６，ＹＥＳ）、交点検出部６０３は、検出された平行線を延長して、２本の直線の交点に対応する消失点の位置を計算し、計算した位置を示す座標を消失点情報５２２に記録する（ステップ１００７）。画像５２１から複数組の平行線が検出された場合、それぞれの組の平行線から計算される複数の消失点の座標が消失点情報５２２に記録される。
If a parallel line is detected (
次に、消失点検証部５１３は、検出された消失点が現時刻の画像５２１の端から所定距離以内に存在するか否かをチェックする（ステップ１００８）。ステップ１００２で検出された旋回が右折である場合、消失点検証部５１３は、画像５２１の右端からＤＲ以内に消失点が存在するか否かをチェックする。一方、ステップ１００２で検出された旋回が左折である場合、消失点検証部５１３は、画像５２１の左端からＤＬ以内に消失点が存在するか否かをチェックする。
Next, the vanishing
消失点が画像５２１の端から所定距離以内に存在しない場合（ステップ１００８，ＮＯ）、消失線推定部３１２は、次の時刻の画像５２１を読み出し、ステップ１００１以降の処理を繰り返す。
When the vanishing point does not exist within a predetermined distance from the end of the image 521 (
消失点が画像５２１の右端からＤＲ以内に存在する場合（ステップ１００８，ＹＥＳ）、消失点検証部５１３は、その消失点の座標を右消失点情報５２３に記録する（ステップ１００９）。一方、消失点が画像５２１の左端からＤＬ以内に存在する場合（ステップ１００８，ＹＥＳ）、消失点検証部５１３は、その消失点の座標を左消失点情報５２４に記録する（ステップ１００９）。
When the vanishing point exists within DR from the right end of the image 521 (
次に、チェック部５１４は、右消失点情報５２３及び左消失点情報５２４それぞれに所定数Ｎ以上の消失点が記録されたか否かをチェックする（ステップ１０１０）。右消失点情報５２３又は左消失点情報５２４のいずれかに記録された消失点の個数がＮ個未満である場合（ステップ１０１０，ＮＯ）、消失線推定部３１２は、次の時刻の画像５２１を読み出し、ステップ１００１以降の処理を繰り返す。
Next, the
右消失点情報５２３及び左消失点情報５２４それぞれに記録された消失点の個数がＮ個以上である場合（ステップ１０１０，ＹＥＳ）、消失線計算部５１５は、それらの消失点の座標を用いて、統計処理により消失線を計算する（ステップ１０１１）。そして、消失線計算部５１５は、計算した消失線の位置を示す消失線情報５２５を生成する。
When the number of vanishing points recorded in each of the right vanishing
次に、姿勢推定部３１３は、消失線情報５２５が示す消失線の位置を用いて、撮像装置５０１の姿勢を表すロール角、ピッチ角、及びヨー角を計算し、計算した角度を示す姿勢情報５２６を生成する（ステップ１０１２）。例えば、姿勢推定部３１３は、特許文献１に記載された推定方法により、画像５２１の水平方向の直線（Ｘ軸）と消失線とがなす角度を、撮像装置５０１のロール角として計算することができる。また、姿勢推定部３１３は、特許文献１に記載された推定方法により、ピッチ角及びヨー角も計算することができる。
Next, the
ところで、車両が路面上を走行する場合、車両に積載されている人間又は貨物の重量によって、路面に垂直な方向における車両の傾き（ピッチ）が変化することがある。車両の傾きが変化すると、それに応じて撮像装置５０１の姿勢も変化するため、車両の傾きが異なる状態で撮影された複数の画像５２１を用いて消失線を計算すると、消失線の推定精度が低下する。
By the way, when a vehicle travels on a road surface, the inclination (pitch) of the vehicle in a direction perpendicular to the road surface may change depending on the weight of a person or cargo loaded on the vehicle. When the inclination of the vehicle changes, the orientation of the
図１１は、車両の傾きの例を示している。図１１（ａ）に示す状態では、車体１０１が路面に対して平行になっている。一方、図１１（ｂ）に示す状態では、矢印１１０１が示すように、車体１０１のフロント部分が沈み込み、車体１０１が前方へ傾いている。また、図１１（ｃ）に示す状態では、矢印１１０２が示すように、車体１０１のリア部分が沈み込み、車体１０１が後方へ傾いている。
FIG. 11 shows an example of the inclination of the vehicle. In the state shown in FIG. 11A, the
図１２は、車体１０１が前方へ傾いたときの消失点の位置の変化を示す図である。画像１２０１は、図１１（ａ）に示す状態で撮影された画像であり、画像１２０２は、図１１（ｂ）に示す状態で撮影された、同じシーンの画像である。図１１（ｂ）に示す状態では、車体１０１とともに撮像装置５０１も前方へ傾くため、画像１２０２内における消失点１２１２の位置は、画像１２０１内における消失点１２１１の位置よりもΔＹだけ上方へシフトする。
FIG. 12 is a diagram illustrating a change in the position of the vanishing point when the
このように、車両の傾きが異なる状態で撮影された複数の画像５２１から検出される複数の消失点が混在していると、正しい消失線の位置を推定することが困難になる。そこで、車体１０１の前後方向の傾きが同じ程度の状態で撮影された画像５２１を選別して、消失点の位置を計算する方法が考えられる。
As described above, when a plurality of vanishing points detected from a plurality of
図１３は、このような計算方法を採用した、図３の推定装置３０１の第２の具体例を示している。図１３の推定装置３０１は、図５の構成において、消失線推定部３１２内に傾き検出部１３０１及び傾き検証部１３０２を追加した構成を有する。
FIG. 13 shows a second specific example of the
傾き検出部１３０１は、車両に積載されている人間又は貨物によって発生する車両の垂直方向の傾き（沈み込み）を検出し、検出した傾きを示す傾き情報１３１１を記憶部３１１に格納する。
The
図１４は、図１３の傾き検出部１３０１の機能的構成例を示している。図１４の傾き検出部１３０１は、停止検出部１４０１及び重力方向検出部１４０２を含む。停止検出部１４０１は、車両が停止している状態（停止状態）を検出する。例えば、停止検出部１４０１は、車速センサ等の車両センサから出力されるセンサ信号を用いて、停止状態を検出することができる。また、停止検出部１４０１は、複数時刻の画像５２１から求めた特徴点のフローに基づいて、停止状態を検出することもできる。
FIG. 14 shows a functional configuration example of the
重力方向検出部１４０２は、車両が停止している状態で傾き検出処理を行う。このとき、重力方向検出部１４０２は、加速度センサから出力されるセンサ信号等を用いて、車体１０１に対する重力の方向（重力方向）を検出する。そして、重力方向検出部１４０２は、検出した重力方向と、基準時刻において事前に測定しておいた重力方向とを比較することで、それらの重力方向の差分を車両の傾きとして検出し、検出した傾きを傾き情報１３１１に記録する。基準時刻は、車両に人間又は貨物が積載されていない時刻であることが好ましい。例えば、基準時刻は、車両の工場出荷時であってもよい。
The gravity
傾き検証部１３０２は、傾き情報１３１１が示す傾きが所定範囲内であることを検証する。そして、消失点検出部５１２は、傾き情報１３１１が示す傾きが所定範囲内である場合に、画像５２１から消失点を検出し、検出した消失点の位置を消失点情報５２２に記録する。所定範囲は、事前に決められた所定の角度であってもよく、所定の角度よりも許容誤差だけ小さな値を下限値とし、所定の角度よりも許容誤差だけ大きな値を上限値とする角度範囲であってもよい。
The
図１３の推定装置３０１によれば、車両の傾きが所定範囲内であるときに撮影された画像５２１のみを用いて消失点の位置が計算されるため、車両の傾きの影響を受けることなく、消失線の位置を高精度に推定することができる。
According to the
積載された人間又は貨物の重量に応じて車両の傾きが変化するのは、人間の乗車又は降車、貨物の積み下ろし等が行われるときであり、いずれの場合も車両は停止していると考えられる。そして、車両が走行を開始した後は、次に車両が停止するまで、人間又は貨物の重量によって車両の傾きが変化することはない。そこで、車両の停止状態において傾きを記録しておけば、車両の走行中は、記録されている傾きを車両の最新の傾きとして参照することが可能である。 The inclination of the vehicle changes according to the weight of the loaded person or cargo when a person gets on or off the vehicle, loads or unloads cargo, and in any case, the vehicle is considered to have stopped. . And after a vehicle starts driving | running | working, until the next vehicle stops, the inclination of a vehicle does not change with the weight of a person or a cargo. Therefore, if the inclination is recorded while the vehicle is stopped, it is possible to refer to the recorded inclination as the latest inclination of the vehicle while the vehicle is running.
図１５Ａ及び図１５Ｂは、図１３の推定装置３０１が行う推定処理の第２の具体例を示すフローチャートである。まず、消失線推定部３１２は、記憶部３１１から現時刻の画像５２１を読み出し、停止検出部１４０１は、停止検出処理を行って（ステップ１５０１）、車両の停止状態を検出したか否かをチェックする（ステップ１５０２）。停止検出処理において、停止検出部１４０１は、センサ信号等を用いて車両の停止状態を検出してもよく、現時刻を含む複数時刻の画像５２１から求めた特徴点のフローに基づいて、車両の停止状態を検出してもよい。
FIGS. 15A and 15B are flowcharts illustrating a second specific example of the estimation process performed by the
車両の停止状態を検出した場合（ステップ１５０２，ＹＥＳ）、重力方向検出部１４０２は、傾き検出処理を行って、検出した車両の傾きを傾き情報１３１１に記録する（ステップ１５０３）。そして、傾き検証部１３０２は、傾き情報１３１１が示す傾きが所定範囲内であるか否かをチェックする（ステップ１５０４）。傾きが所定範囲内ではない場合（ステップ１５０４，ＮＯ）、消失線推定部３１２は、次の時刻の画像５２１を読み出し、ステップ１００１以降の処理を繰り返す。
When the stop state of the vehicle is detected (
一方、車両の停止状態を検出しない場合（ステップ１５０２，ＮＯ）、傾き検証部１３０２は、傾き情報１３１１から既に記録されている傾きを取得し（ステップ１５０５）、取得した傾きを用いてステップ１５０４の処理を行う。
On the other hand, when the stop state of the vehicle is not detected (
傾きが所定範囲内である場合（ステップ１５０４，ＹＥＳ）、推定装置３０１は、ステップ１５０６以降の処理を行う。ステップ１５０６〜ステップ１５１７の処理は、図１０のステップ１００１〜ステップ１０１２の処理と同様である。ただし、ステップ１５０７、ステップ１５０９、ステップ１５１１、ステップ１５１３、又はステップ１５１５において判定結果がＮＯである場合、消失線推定部３１２は、次の時刻の画像５２１を読み出し、ステップ１５０１以降の処理を繰り返す。
When the inclination is within the predetermined range (
車両の傾きが所定範囲内であるときに撮影された画像５２１を選別する代わりに、消失点が検出されたときの傾きを記録しておき、傾きに対する統計処理を行って、消失線の計算に用いる消失点を選別する方法も考えられる。
Instead of selecting the
図１６は、このような計算方法を採用した、図３の推定装置３０１の第３の具体例を示している。図１６の推定装置３０１は、図１３の構成において、消失線推定部３１２から傾き検証部１３０２を削除した構成を有する。
FIG. 16 shows a third specific example of the
傾き検出部１３０１は、図１３の場合と同様にして車両の傾きを検出し、検出した傾きを検出時刻とともに傾き情報１３１１に記録する。
The
消失点検証部５１３は、画像５２１の右端からＤＲ以内に存在する消失点が検出された場合、その画像５２１の撮影時刻に対応する傾きを傾き情報１３１１から取得し、右傾き情報１６１１として記憶部３１１に格納する。右傾き情報１６１１に含まれる傾きは、右消失点情報５２３に含まれる複数の消失点の位置のうち、その傾きの検出時刻の画像５２１から検出された消失点の位置と対応付けて、記憶部３１１に格納される。
When the vanishing point existing within DR from the right end of the
また、消失点検証部５１３は、画像５２１の左端からＤＬ以内に存在する消失点が検出された場合、その画像５２１の撮影時刻に対応する傾きを傾き情報１３１１から取得し、左傾き情報１６１２として記憶部３１１に格納する。左傾き情報１６１２に含まれる傾きは、左消失点情報５２４に含まれる複数の消失点の位置のうち、その傾きの検出時刻の画像５２１から検出された消失点の位置と対応付けて、記憶部３１１に格納される。
In addition, when a vanishing point existing within DL from the left end of the
チェック部５１４は、右傾き情報１６１１に含まれる複数の傾きと左傾き情報１６１２に含まれる複数の傾きとを用いて統計処理を行うことで、傾きに対する所定範囲を求める。そして、チェック部５１４は、右消失点情報５２３及び左消失点情報５２４それぞれに、所定範囲内の傾きと対応付けられた所定数Ｎ以上の消失点が記録されたか否かをチェックする。
The
消失線計算部５１５は、右消失点情報５２３及び左消失点情報５２４に含まれる複数の消失点の位置のうち、所定範囲内の傾きと対応付けられた消失点の位置を用いて、消失線を計算する。
The vanishing
図１６の推定装置３０１によれば、車両の傾きが所定範囲内であるときに検出された消失点の位置のみを用いて消失線が計算されるため、車両の傾きの影響を受けることなく、消失線の位置を高精度に推定することができる。
According to the
図１７Ａ及び図１７Ｂは、推定処理の第３の具体例を示すフローチャートである。ステップ１７０１及びステップ１７０２の処理は、図１５Ａのステップ１５０１及びステップ１５０２の処理と同様である。
17A and 17B are flowcharts showing a third specific example of the estimation process. The processing in
車両の停止状態を検出した場合（ステップ１７０２，ＹＥＳ）、傾き検出部１３０１の重力方向検出部１４０２は、傾き検出処理を行って、検出した車両の傾きと現時刻とを対応付けて傾き情報１３１１に記録する（ステップ１７０３）。
When the stop state of the vehicle is detected (
一方、車両の停止状態を検出しない場合（ステップ１７０２，ＮＯ）、重力方向検出部１４０２は、傾き情報１３１１から直前の時刻に対応付けられた傾きを取得し、取得した傾きと現時刻とを対応付けて傾き情報１３１１に記録する（ステップ１７０４）。
On the other hand, when the stop state of the vehicle is not detected (
次に、推定装置３０１は、ステップ１７０５以降の処理を行う。ステップ１７０５〜ステップ１７１２の処理は、図１０のステップ１００１〜ステップ１００８の処理と同様である。
Next, the
消失点が画像５２１の端から所定距離以内に存在しない場合（ステップ１７１２，ＮＯ）、消失線推定部３１２は、次の時刻の画像５２１を読み出し、ステップ１７０１以降の処理を繰り返す。
When the vanishing point does not exist within a predetermined distance from the end of the image 521 (
消失点が画像５２１の右端からＤＲ以内に存在する場合（ステップ１７１２，ＹＥＳ）、消失点検証部５１３は、その消失点の座標を右消失点情報５２３に記録する（ステップ１７１３）。そして、消失点検証部５１３は、その消失点が検出された画像５２１の撮影時刻に対応する傾きを傾き情報１３１１から取得し、その消失点の座標と対応付けて右傾き情報１６１１に記録する。
When the vanishing point exists within DR from the right end of the image 521 (
一方、消失点が画像５２１の左端からＤＬ以内に存在する場合（ステップ１７１２，ＹＥＳ）、消失点検証部５１３は、その消失点の座標を左消失点情報５２４に記録する（ステップ１７１３）。そして、消失点検証部５１３は、その消失点が検出された画像５２１の撮影時刻に対応する傾きを傾き情報１３１１から取得し、その消失点の座標と対応付けて左傾き情報１６１２に記録する。
On the other hand, when the vanishing point exists within DL from the left end of the image 521 (
次に、チェック部５１４は、右傾き情報１６１１に含まれる複数の傾きと左傾き情報１６１２に含まれる複数の傾きとを用いて統計処理を行うことで、尤もらしい車両の傾きを計算する（ステップ１７１４）。尤もらしい車両の傾きとしては、複数の傾きの最頻値、平均値、中央値等の統計値を用いることができる。そして、チェック部５１４は、尤もらしい車両の傾きに対する所定範囲を求める。所定範囲は、計算された統計値であってもよく、統計値よりも許容誤差だけ小さな値を下限値とし、統計値よりも許容誤差だけ大きな値を上限値とする角度範囲であってもよい。
Next, the
次に、チェック部５１４は、右消失点情報５２３及び左消失点情報５２４それぞれに、所定範囲内の傾きと対応付けられた所定数Ｎ以上の消失点が記録されたか否かをチェックする（ステップ１７１５）。右消失点情報５２３又は左消失点情報５２４のいずれかに記録された、所定範囲内の傾きと対応付けられた消失点の個数がＮ個未満である場合（ステップ１７１５，ＮＯ）、消失線推定部３１２は、次の時刻の画像５２１を読み出し、ステップ１７０１以降の処理を繰り返す。
Next, the
右消失点情報５２３及び左消失点情報５２４それぞれに記録された、所定範囲内の傾きと対応付けられた消失点の個数がＮ個以上である場合（ステップ１７１５，ＹＥＳ）、消失線計算部５１５は、ステップ１７１６の処理を行う。ステップ１７１６において、消失線計算部５１５は、所定範囲内の傾きと対応付けられた消失点の座標を用いて、統計処理により消失線を計算する。そして、姿勢推定部３１３は、消失線情報５２５が示す消失線の位置を用いて、撮像装置５０１の姿勢を計算する（ステップ１７１７）。
When the number of vanishing points recorded in the right vanishing
図３、図５、図１３、及び図１６の推定装置３０１の構成は一例に過ぎず、推定装置３０１の用途又は条件に応じて、一部の構成要素を省略又は変更してもよい。図６の消失点検出部５１２の構成は一例に過ぎず、推定装置３０１の用途又は条件に応じて、一部の構成要素を省略又は変更してもよい。図１４の傾き検出部１３０１の構成は一例に過ぎず、推定装置３０１の用途又は条件に応じて、一部の構成要素を省略又は変更してもよい。
The configuration of the
図４、図１０、図１５Ａ、図１５Ｂ、図１７Ａ、及び図１７Ｂのフローチャートは一例に過ぎず、推定装置３０１の構成又は条件に応じて一部の処理を省略又は変更してもよい。例えば、図４の推定処理において、ステップ４０１とステップ４０２の処理の順序を入れ替えても構わない。
The flowcharts of FIGS. 4, 10, 15 </ b> A, 15 </ b> B, 17 </ b> A, and 17 </ b> B are merely examples, and some processes may be omitted or changed depending on the configuration or conditions of the
図１の撮像装置１０２の取付位置は一例に過ぎず、撮像装置１０２は、車体１０１の上面、側面、底面等に取り付けられていてもよい。図２に示した消失線の計算精度は一例に過ぎず、消失線の計算精度は、画像の解像度、消失点の位置等に応じて変化する。図７〜図９及び図１２の消失点は一例に過ぎず、消失点の位置は、撮影される画像に応じて変化する。図１１の車両の傾きは一例に過ぎず、車両の傾きは、車両に積載される人間又は貨物の位置及び重量に応じて変化する。式（３）及び式（４）は一例に過ぎず、ＤＬ及びＤＲを別の計算式により決定してもよい。
The attachment position of the
図１８は、図３、図５、図１３、及び図１６の推定装置３０１として用いられる情報処理装置（コンピュータ）の構成例を示している。図１８の情報処理装置は、Central Processing Unit（ＣＰＵ）１８０１、メモリ１８０２、入力装置１８０３、出力装置１８０４、補助記憶装置１８０５、媒体駆動装置１８０６、及びネットワーク接続装置１８０７を備える。これらの構成要素はバス１８０８により互いに接続されている。
FIG. 18 illustrates a configuration example of an information processing apparatus (computer) used as the
メモリ１８０２は、例えば、Read Only Memory（ＲＯＭ）、Random Access Memory（ＲＡＭ）、フラッシュメモリ等の半導体メモリであり、処理に用いられるプログラム及びデータを格納する。メモリ１８０２は、図３、図５、図１３、及び図１６の記憶部３１１として用いることができる。
The
ＣＰＵ１８０１（プロセッサ）は、例えば、メモリ１８０２を利用してプログラムを実行することにより、図３、図５、図１３、及び図１６の消失線推定部３１２及び姿勢推定部３１３として動作する。ＣＰＵ１８０１は、メモリ１８０２を利用してプログラムを実行することにより、旋回検出部５１１、消失点検出部５１２、消失点検証部５１３、チェック部５１４、消失線計算部５１５、傾き検出部１３０１、及び傾き検証部１３０２としても動作する。
The CPU 1801 (processor) operates as the vanishing
ＣＰＵ１８０１は、メモリ１８０２を利用してプログラムを実行することにより、図６の路面標示検出部６０１、平行線検出部６０２、及び交点検出部６０３としても動作する。ＣＰＵ１８０１は、メモリ１８０２を利用してプログラムを実行することにより、図１４の停止検出部１４０１及び重力方向検出部１４０２としても動作する。
The
入力装置１８０３は、例えば、キーボード、ポインティングデバイス等であり、オペレータ又はユーザからの指示及び情報の入力に用いられる。出力装置１８０４は、例えば、表示装置、プリンタ、スピーカ等であり、オペレータ又はユーザへの問い合わせ又は指示、及び処理結果の出力に用いられる。処理結果は、消失線情報５２５又は姿勢情報５２６であってもよく、姿勢情報５２６に基づいて行われるＬＤＷ等の画像処理の結果であってもよい。
The
補助記憶装置１８０５は、例えば、磁気ディスク装置、光ディスク装置、光磁気ディスク装置、テープ装置等である。補助記憶装置１８０５は、ハードディスクドライブ又はフラッシュメモリであってもよい。情報処理装置は、補助記憶装置１８０５にプログラム及びデータを格納しておき、それらをメモリ１８０２にロードして使用することができる。補助記憶装置１８０５は、図３、図５、図１３、及び図１６の記憶部３１１として用いることができる。
The
媒体駆動装置１８０６は、可搬型記録媒体１８０９を駆動し、その記録内容にアクセスする。可搬型記録媒体１８０９は、メモリデバイス、フレキシブルディスク、光ディスク、光磁気ディスク等である。可搬型記録媒体１８０９は、Compact Disk Read Only Memory（ＣＤ−ＲＯＭ）、Digital Versatile Disk（ＤＶＤ）、Universal Serial Bus（ＵＳＢ）メモリ等であってもよい。オペレータ又はユーザは、この可搬型記録媒体１８０９にプログラム及びデータを格納しておき、それらをメモリ１８０２にロードして使用することができる。
The
このように、処理に用いられるプログラム及びデータを格納するコンピュータ読み取り可能な記録媒体は、メモリ１８０２、補助記憶装置１８０５、又は可搬型記録媒体１８０９のような、物理的な（非一時的な）記録媒体である。
As described above, a computer-readable recording medium that stores a program and data used for processing is a physical (non-transitory) recording medium such as the
ネットワーク接続装置１８０７は、Local Area Network、Wide Area Network等の通信ネットワークに接続され、通信に伴うデータ変換を行う通信インタフェースである。情報処理装置は、プログラム及びデータを外部の装置からネットワーク接続装置１８０７を介して受け取り、それらをメモリ１８０２にロードして使用することができる。
A
なお、情報処理装置が図１８のすべての構成要素を含む必要はなく、用途又は条件に応じて一部の構成要素を省略することも可能である。例えば、情報処理装置がオペレータ又はユーザと対話を行わない場合は、入力装置１８０３及び出力装置１８０４を省略してもよい。また、可搬型記録媒体１８０９又は通信ネットワークを利用しない場合は、媒体駆動装置１８０６又はネットワーク接続装置１８０７を省略してもよい。
Note that the information processing apparatus does not have to include all the components illustrated in FIG. 18, and some of the components may be omitted depending on the application or conditions. For example, when the information processing apparatus does not interact with the operator or the user, the
開示の実施形態とその利点について詳しく説明したが、当業者は、特許請求の範囲に明確に記載した本発明の範囲から逸脱することなく、様々な変更、追加、省略をすることができるであろう。 Although the disclosed embodiments and their advantages have been described in detail, those skilled in the art can make various modifications, additions and omissions without departing from the scope of the present invention as explicitly set forth in the claims. Let's go.
図１乃至図１８を参照しながら説明した実施形態に関し、さらに以下の付記を開示する。
（付記１）
車両に搭載された撮像装置によって前記車両の右折時に撮影された、平行線を含む第１路面標示が写っている第１画像から、第１消失点を求め、
前記撮像装置によって前記車両の左折時に撮影された、平行線を含む第２路面標示が写っている第２画像から、第２消失点を求め、
前記第１消失点と前記第２消失点とを用いて消失線を求め、
前記消失線を用いて前記撮像装置の姿勢を推定する、
処理をコンピュータに実行させるための推定プログラム。
（付記２）
前記コンピュータは、前記第１画像内における前記第１消失点の位置が、前記第１画像の右端から所定距離以内に存在し、かつ、前記第２画像内における前記第２消失点の位置が、前記第２画像の左端から前記所定距離以内に存在する場合、前記第１消失点と前記第２消失点とを用いて前記消失線を求めることを特徴とする付記１記載の推定プログラム。
（付記３）
前記コンピュータは、センサによって検出された、前記車両の路面に対する傾きが、所定範囲内である場合、前記第１消失点と前記第２消失点とを用いて前記消失線を求めることを特徴とする付記１又は２記載の推定プログラム。
（付記４）
前記コンピュータは、
前記車両の右折時に撮影された、前記第１画像を含む複数の画像それぞれから、前記第１消失点を含む複数の消失点を求め、
前記車両の左折時に撮影された、前記第２画像を含む複数の画像それぞれから、前記第２消失点を含む複数の消失点を求め、
前記第１消失点を含む前記複数の消失点と前記第２消失点を含む前記複数の消失点とを用いて、前記消失線を求めることを特徴とする付記１又は２記載の推定プログラム。
（付記５）
前記コンピュータは、
前記第１画像を含む前記複数の画像それぞれが撮影されたときにセンサによってそれぞれ検出された、前記車両の路面に対する複数の傾きを、前記第１消失点を含む前記複数の消失点と対応付けて記憶し、
前記第２画像を含む前記複数の画像それぞれが撮影されたときに前記センサによってそれぞれ検出された、前記車両の前記路面に対する複数の傾きを、前記第２消失点を含む前記複数の消失点と対応付けて記憶し、
前記第１消失点を含む前記複数の消失点と対応付けられた前記複数の傾きと、前記第２消失点を含む前記複数の消失点と対応付けられた前記複数の傾きとを用いて、傾きに対する所定範囲を求め、
前記第１消失点を含む前記複数の消失点のうち、前記所定範囲内の傾きと対応付けられた消失点と、前記第２消失点を含む前記複数の消失点のうち、前記所定範囲内の傾きと対応付けられた消失点とを用いて、前記消失線を求めることを特徴とする付記４記載の推定プログラム。
（付記６）
前記第１路面標示及び前記第２路面標示は、横断歩道又は車線区分線を表す路面標示であることを特徴とする付記１乃至５のいずれか１項に記載の推定プログラム。
（付記７）
車両に搭載された撮像装置によって前記車両の右折時に撮影された、平行線を含む第１路面標示が写っている第１画像と、前記撮像装置によって前記車両の左折時に撮影された、平行線を含む第２路面標示が写っている第２画像とを記憶する記憶部と、
前記第１画像から第１消失点を求め、前記第２画像から第２消失点を求め、前記第１消失点と前記第２消失点とを用いて消失線を求める消失線推定部と、
前記消失線を用いて前記撮像装置の姿勢を推定する姿勢推定部と、
を備えることを特徴とする推定装置。
（付記８）
前記消失線推定部は、前記第１画像内における前記第１消失点の位置が、前記第１画像の右端から所定距離以内に存在し、かつ、前記第２画像内における前記第２消失点の位置が、前記第２画像の左端から前記所定距離以内に存在する場合、前記第１消失点と前記第２消失点とを用いて前記消失線を求めることを特徴とする付記７記載の推定装置。
（付記９）
前記消失線推定部は、センサによって検出された、前記車両の路面に対する傾きが、所定範囲内である場合、前記第１消失点と前記第２消失点とを用いて前記消失線を求めることを特徴とする付記７又は８記載の推定装置。
（付記１０）
前記消失線推定部は、
前記車両の右折時に撮影された、前記第１画像を含む複数の画像それぞれから、前記第１消失点を含む複数の消失点を求め、
前記車両の左折時に撮影された、前記第２画像を含む複数の画像それぞれから、前記第２消失点を含む複数の消失点を求め、
前記第１消失点を含む前記複数の消失点と前記第２消失点を含む前記複数の消失点とを用いて、前記消失線を求めることを特徴とする付記７又は８記載の推定装置。
（付記１１）
コンピュータが、
車両に搭載された撮像装置によって前記車両の右折時に撮影された、平行線を含む第１路面標示が写っている第１画像から、第１消失点を求め、
前記撮像装置によって前記車両の左折時に撮影された、平行線を含む第２路面標示が写っている第２画像から、第２消失点を求め、
前記第１消失点と前記第２消失点とを用いて消失線を求め、
前記消失線を用いて前記撮像装置の姿勢を推定する、
ことを特徴とする推定方法。
（付記１２）
前記コンピュータは、前記第１画像内における前記第１消失点の位置が、前記第１画像の右端から所定距離以内に存在し、かつ、前記第２画像内における前記第２消失点の位置が、前記第２画像の左端から前記所定距離以内に存在する場合、前記第１消失点と前記第２消失点とを用いて前記消失線を求めることを特徴とする付記１１記載の推定方法。
（付記１３）
前記コンピュータは、センサによって検出された、前記車両の路面に対する傾きが、所定範囲内である場合、前記第１消失点と前記第２消失点とを用いて前記消失線を求めることを特徴とする付記１１又は１２記載の推定方法。
（付記１４）
前記コンピュータは、
前記車両の右折時に撮影された、前記第１画像を含む複数の画像それぞれから、前記第１消失点を含む複数の消失点を求め、
前記車両の左折時に撮影された、前記第２画像を含む複数の画像それぞれから、前記第２消失点を含む複数の消失点を求め、
前記第１消失点を含む前記複数の消失点と前記第２消失点を含む前記複数の消失点とを用いて、前記消失線を求めることを特徴とする付記１１又は１２記載の推定方法。
With respect to the embodiment described with reference to FIGS. 1 to 18, the following additional notes are disclosed.
(Appendix 1)
A first vanishing point is obtained from a first image that includes a first road marking including parallel lines, which is taken when the vehicle turns right by an imaging device mounted on the vehicle,
A second vanishing point is obtained from a second image taken by the imaging device at the time of the left turn of the vehicle and including a second road marking including parallel lines,
Using the first vanishing point and the second vanishing point, find the vanishing line,
Estimating the attitude of the imaging device using the vanishing line;
An estimation program for causing a computer to execute processing.
(Appendix 2)
The computer has the position of the first vanishing point in the first image within a predetermined distance from the right end of the first image, and the position of the second vanishing point in the second image is The estimation program according to appendix 1, wherein the vanishing line is obtained using the first vanishing point and the second vanishing point when the second image exists within the predetermined distance from the left end of the second image.
(Appendix 3)
The computer obtains the vanishing line using the first vanishing point and the second vanishing point when an inclination of the vehicle with respect to a road surface detected by a sensor is within a predetermined range. The estimation program according to appendix 1 or 2.
(Appendix 4)
The computer
A plurality of vanishing points including the first vanishing point are obtained from each of a plurality of images including the first image taken at the time of turning right of the vehicle,
A plurality of vanishing points including the second vanishing point are obtained from each of a plurality of images including the second image taken at the time of turning left of the vehicle,
The estimation program according to claim 1 or 2, wherein the vanishing line is obtained using the plurality of vanishing points including the first vanishing point and the plurality of vanishing points including the second vanishing point.
(Appendix 5)
The computer
Associating a plurality of inclinations with respect to the road surface of the vehicle respectively detected by a sensor when each of the plurality of images including the first image is captured with the plurality of vanishing points including the first vanishing point. Remember,
Corresponding to the plurality of vanishing points including the second vanishing point, the plurality of inclinations with respect to the road surface of the vehicle detected by the sensor when each of the plurality of images including the second image is taken. Remember,
Inclination using the plurality of slopes associated with the plurality of vanishing points including the first vanishing point and the plurality of slopes associated with the plurality of vanishing points including the second vanishing point. A predetermined range for
Among the plurality of vanishing points including the first vanishing point, the vanishing point associated with the inclination within the predetermined range and the plurality of vanishing points including the second vanishing point are within the predetermined range. The estimation program according to appendix 4, wherein the vanishing line is obtained using a vanishing point associated with an inclination.
(Appendix 6)
The estimation program according to any one of appendices 1 to 5, wherein the first road marking and the second road marking are road markings representing a pedestrian crossing or a lane marking.
(Appendix 7)
A first image that is captured when the vehicle is turned right by the imaging device mounted on the vehicle, and a parallel line that is captured when the vehicle is turned left by the imaging device. A storage unit for storing a second image in which a second road marking is included;
A vanishing line estimation unit for obtaining a first vanishing point from the first image, obtaining a second vanishing point from the second image, and obtaining a vanishing line using the first vanishing point and the second vanishing point;
A posture estimation unit that estimates the posture of the imaging device using the vanishing line;
An estimation apparatus comprising:
(Appendix 8)
The vanishing line estimation unit is configured such that the position of the first vanishing point in the first image is within a predetermined distance from the right end of the first image, and the second vanishing point in the second image. The estimation apparatus according to claim 7, wherein the vanishing line is obtained by using the first vanishing point and the second vanishing point when the position is within the predetermined distance from the left end of the second image. .
(Appendix 9)
The vanishing line estimation unit obtains the vanishing line using the first vanishing point and the second vanishing point when an inclination of the vehicle with respect to a road surface detected by a sensor is within a predetermined range. The estimation apparatus according to appendix 7 or 8, which is a feature.
(Appendix 10)
The vanishing line estimation unit
A plurality of vanishing points including the first vanishing point are obtained from each of a plurality of images including the first image taken at the time of turning right of the vehicle,
A plurality of vanishing points including the second vanishing point are obtained from each of a plurality of images including the second image taken at the time of turning left of the vehicle,
The estimation device according to appendix 7 or 8, wherein the vanishing line is obtained using the plurality of vanishing points including the first vanishing point and the plurality of vanishing points including the second vanishing point.
(Appendix 11)
Computer
A first vanishing point is obtained from a first image that includes a first road marking including parallel lines, which is taken when the vehicle turns right by an imaging device mounted on the vehicle,
A second vanishing point is obtained from a second image taken by the imaging device at the time of the left turn of the vehicle and including a second road marking including parallel lines,
Using the first vanishing point and the second vanishing point, find the vanishing line,
Estimating the attitude of the imaging device using the vanishing line;
An estimation method characterized by that.
(Appendix 12)
The computer has the position of the first vanishing point in the first image within a predetermined distance from the right end of the first image, and the position of the second vanishing point in the second image is 12. The estimation method according to appendix 11, wherein the vanishing line is obtained using the first vanishing point and the second vanishing point when the second image exists within the predetermined distance from the left end of the second image.
(Appendix 13)
The computer obtains the vanishing line using the first vanishing point and the second vanishing point when an inclination of the vehicle with respect to a road surface detected by a sensor is within a predetermined range. The estimation method according to appendix 11 or 12.
(Appendix 14)
The computer
A plurality of vanishing points including the first vanishing point are obtained from each of a plurality of images including the first image taken at the time of turning right of the vehicle,
A plurality of vanishing points including the second vanishing point are obtained from each of a plurality of images including the second image taken at the time of turning left of the vehicle,
The estimation method according to appendix 11 or 12, wherein the vanishing line is obtained using the plurality of vanishing points including the first vanishing point and the plurality of vanishing points including the second vanishing point.
１０１ 車体
１０２、５０１ 撮像装置
１１１ 中心線
１１２、１１３、７０１、７０２、８１１、８１２、８２１、８２２ 直線
１１４ 距離
１２１ ロール角
１２２ ピッチ角
１２３ ヨー角
２０１、２０２、２０４、２０５、１１０１、１１０２ 矢印
２０３、２０６ 線分
３０１ 推定装置
３１１ 記憶部
３１２ 消失線推定部
３１３ 姿勢推定部
３２１ 第１画像
３２２ 第２画像
５１１ 旋回検出部
５１２ 消失点検出部
５１３ 消失点検証部
５１４ チェック部
５１５ 消失線計算部
５２１、８０１、８０２、１２０１、１２０２ 画像
５２２ 消失点情報
５２３ 右消失点情報
５２４ 左消失点情報
５２５ 消失線情報
５２６ 姿勢情報
６０１ 路面標示検出部
６０２ 平行線検出部
６０３ 交点検出部
７０３、８１３、８２３、１２１１、１２１２ 消失点
９０１、９０２ 複数時刻の画像
９１１、９１２ 複数の消失点
９１３ 消失線
１３０１ 傾き検出部
１３０２ 傾き検証部
１３１１ 傾き情報
１４０１ 停止検出部
１４０２ 重力方向検出部
１６１１ 右傾き情報
１６１２ 左傾き情報
１８０１ ＣＰＵ
１８０２ メモリ
１８０３ 入力装置
１８０４ 出力装置
１８０５ 補助記憶装置
１８０６ 媒体駆動装置
１８０７ ネットワーク接続装置
１８０８ バス
１８０９ 可搬型記録媒体
101
1802
Claims (7)
前記撮像装置によって前記車両の左折時に撮影された、平行線を含む第２路面標示が写っている第２画像から、第２消失点を求め、
前記第１消失点と前記第２消失点とを用いて消失線を求め、
前記消失線を用いて前記撮像装置の姿勢を推定する、
処理をコンピュータに実行させるための推定プログラム。 A first vanishing point is obtained from a first image that includes a first road marking including parallel lines, which is taken when the vehicle turns right by an imaging device mounted on the vehicle,
A second vanishing point is obtained from a second image taken by the imaging device at the time of the left turn of the vehicle and including a second road marking including parallel lines,
Using the first vanishing point and the second vanishing point, find the vanishing line,
Estimating the attitude of the imaging device using the vanishing line;
An estimation program for causing a computer to execute processing.
前記車両の右折時に撮影された、前記第１画像を含む複数の画像それぞれから、前記第１消失点を含む複数の消失点を求め、
前記車両の左折時に撮影された、前記第２画像を含む複数の画像それぞれから、前記第２消失点を含む複数の消失点を求め、
前記第１消失点を含む前記複数の消失点と前記第２消失点を含む前記複数の消失点とを用いて、前記消失線を求めることを特徴とする請求項１又は２記載の推定プログラム。 The computer
A plurality of vanishing points including the first vanishing point are obtained from each of a plurality of images including the first image taken at the time of turning right of the vehicle,
A plurality of vanishing points including the second vanishing point are obtained from each of a plurality of images including the second image taken at the time of turning left of the vehicle,
The estimation program according to claim 1 or 2, wherein the vanishing line is obtained using the plurality of vanishing points including the first vanishing point and the plurality of vanishing points including the second vanishing point.
前記第１画像を含む前記複数の画像それぞれが撮影されたときにセンサによってそれぞれ検出された、前記車両の路面に対する複数の傾きを、前記第１消失点を含む前記複数の消失点と対応付けて記憶し、
前記第２画像を含む前記複数の画像それぞれが撮影されたときに前記センサによってそれぞれ検出された、前記車両の前記路面に対する複数の傾きを、前記第２消失点を含む前記複数の消失点と対応付けて記憶し、
前記第１消失点を含む前記複数の消失点と対応付けられた前記複数の傾きと、前記第２消失点を含む前記複数の消失点と対応付けられた前記複数の傾きとを用いて、傾きに対する所定範囲を求め、
前記第１消失点を含む前記複数の消失点のうち、前記所定範囲内の傾きと対応付けられた消失点と、前記第２消失点を含む前記複数の消失点のうち、前記所定範囲内の傾きと対応付けられた消失点とを用いて、前記消失線を求めることを特徴とする請求項４記載の推定プログラム。 The computer
Associating a plurality of inclinations with respect to the road surface of the vehicle respectively detected by a sensor when each of the plurality of images including the first image is captured with the plurality of vanishing points including the first vanishing point. Remember,
Corresponding to the plurality of vanishing points including the second vanishing point, the plurality of inclinations with respect to the road surface of the vehicle detected by the sensor when each of the plurality of images including the second image is taken. Remember,
Inclination using the plurality of slopes associated with the plurality of vanishing points including the first vanishing point and the plurality of slopes associated with the plurality of vanishing points including the second vanishing point. A predetermined range for
Among the plurality of vanishing points including the first vanishing point, the vanishing point associated with the inclination within the predetermined range and the plurality of vanishing points including the second vanishing point are within the predetermined range. The estimation program according to claim 4, wherein the vanishing line is obtained using a vanishing point associated with an inclination.
前記第１画像から第１消失点を求め、前記第２画像から第２消失点を求め、前記第１消失点と前記第２消失点とを用いて消失線を求める消失線推定部と、
前記消失線を用いて前記撮像装置の姿勢を推定する姿勢推定部と、
を備えることを特徴とする推定装置。 A first image that is captured when the vehicle is turned right by the imaging device mounted on the vehicle, and a parallel line that is captured when the vehicle is turned left by the imaging device. A storage unit for storing a second image in which a second road marking is included;
A vanishing line estimation unit for obtaining a first vanishing point from the first image, obtaining a second vanishing point from the second image, and obtaining a vanishing line using the first vanishing point and the second vanishing point;
A posture estimation unit that estimates the posture of the imaging device using the vanishing line;
An estimation apparatus comprising:
車両に搭載された撮像装置によって前記車両の右折時に撮影された、平行線を含む第１路面標示が写っている第１画像から、第１消失点を求め、
前記撮像装置によって前記車両の左折時に撮影された、平行線を含む第２路面標示が写っている第２画像から、第２消失点を求め、
前記第１消失点と前記第２消失点とを用いて消失線を求め、
前記消失線を用いて前記撮像装置の姿勢を推定する、
ことを特徴とする推定方法。 Computer
A first vanishing point is obtained from a first image that includes a first road marking including parallel lines, which is taken when the vehicle turns right by an imaging device mounted on the vehicle,
A second vanishing point is obtained from a second image taken by the imaging device at the time of the left turn of the vehicle and including a second road marking including parallel lines,
Using the first vanishing point and the second vanishing point, find the vanishing line,
Estimating the attitude of the imaging device using the vanishing line;
An estimation method characterized by that.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017119232A JP2019003522A (en) | 2017-06-19 | 2017-06-19 | Estimation program, estimation device, and estimation method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017119232A JP2019003522A (en) | 2017-06-19 | 2017-06-19 | Estimation program, estimation device, and estimation method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2019003522A true JP2019003522A (en) | 2019-01-10 |
Family
ID=65006813
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017119232A Pending JP2019003522A (en) | 2017-06-19 | 2017-06-19 | Estimation program, estimation device, and estimation method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2019003522A (en) |
-
2017
- 2017-06-19 JP JP2017119232A patent/JP2019003522A/en active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6246867B2 (en) | Driving correction from stationary target | |
| US11181737B2 (en) | Head-up display device for displaying display items having movement attribute or fixed attribute, display control method, and control program | |
| JP4052650B2 (en) | Obstacle detection device, method and program | |
| JP4820221B2 (en) | Car camera calibration device and program | |
| EP2348279B1 (en) | Road measurement device and method for measuring road | |
| JP5962771B2 (en) | Moving object position / posture angle estimation apparatus and moving object position / posture angle estimation method | |
| JP4832321B2 (en) | Camera posture estimation apparatus, vehicle, and camera posture estimation method | |
| CN108367710B (en) | Bird's-eye view image generation device, bird's-eye view image generation system, and storage medium | |
| JP4619962B2 (en) | Road marking measurement system, white line model measurement system, and white line model measurement device | |
| JP2010072807A (en) | Device for detecting and determining road boundary | |
| JP4670528B2 (en) | Imaging device deviation detection method, imaging device deviation correction method, and imaging device | |
| US20190362512A1 (en) | Method and Apparatus for Estimating a Range of a Moving Object | |
| KR20200094657A (en) | Method and device for estimating passenger statuses in 2 dimension image shot by using 2 dimension camera with fisheye lens | |
| JP6384802B2 (en) | MOBILE BODY DETECTING DEVICE, IMAGE PROCESSING DEVICE, MOBILE BODY DETECTING METHOD, AND INTEGRATED CIRCUIT | |
| JP4986883B2 (en) | Orientation device, orientation method and orientation program | |
| JP2007181129A (en) | Vehicle-mounted movable body detection instrument | |
| JP6044084B2 (en) | Moving object position and orientation estimation apparatus and method | |
| US10783350B2 (en) | Method and device for controlling a driver assistance system by using a stereo camera system including a first and a second camera | |
| JP7411108B2 (en) | Vehicle posture estimation system and vehicle posture estimation method | |
| JP2019003522A (en) | Estimation program, estimation device, and estimation method | |
| KR20220153802A (en) | Method and apparatus of calibration | |
| JP6961125B2 (en) | Vehicle posture measuring device and vehicle posture measuring method | |
| JP6507590B2 (en) | Image conversion apparatus and image conversion method | |
| KR102241324B1 (en) | Method for Range Estimation with Monocular Camera for Vision-Based Forward Collision Warning System | |
| JP2019096031A (en) | Estimation program, estimation device, and estimation method |