JP2020115094A - Posture estimation device, posture estimation method, posture estimation program, and recording medium - Google Patents
Posture estimation device, posture estimation method, posture estimation program, and recording medium Download PDFInfo
- Publication number
- JP2020115094A JP2020115094A JP2019006320A JP2019006320A JP2020115094A JP 2020115094 A JP2020115094 A JP 2020115094A JP 2019006320 A JP2019006320 A JP 2019006320A JP 2019006320 A JP2019006320 A JP 2019006320A JP 2020115094 A JP2020115094 A JP 2020115094A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- image
- plane
- unit
- posture estimation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Abstract
Description
本発明は、姿勢推定装置、姿勢推定方法、姿勢推定プログラム及び記録媒体に関する。 The present invention relates to a posture estimation device, a posture estimation method, a posture estimation program, and a recording medium.
従来から、撮像カメラを車両に取り付ける例が存在する。このような撮像カメラは、撮像した画像についてキャリブレーションを行い、キャリブレーション後の画像を表示部に表示したり、キャリブレーション後の画像に基づいて道路の周辺の情報を収集したりする場合に利用される。このような場合、撮像カメラの設置位置及び姿勢を表すパラメータについてキャリブレーションを行う必要があるが、一例として、撮像カメラの道路面からの高さを求め、その高さに基づいてキャリブレーションを行う場合がある。 Conventionally, there is an example in which an imaging camera is attached to a vehicle. Such an imaging camera is used to calibrate the captured image, display the calibrated image on the display unit, or collect information around the road based on the calibrated image. To be done. In such a case, it is necessary to calibrate the parameters indicating the installation position and orientation of the image pickup camera. As an example, the height of the image pickup camera from the road surface is obtained, and the calibration is performed based on the height. There are cases.
特許文献１に記載された発明は、円パターンが設けられたターゲットボードを車両に対して予め定められた位置に設置し、車両に配された撮像カメラによってターゲットボードを撮像して画像データを生成する構成である。特許文献１に記載された発明は、画像データに基づいてターゲットボードの円パターンの座標位置を算出し、その座標位置を撮像データ上の座標位置に変換して、その変換された座標位置に基づいて撮像カメラの取り付け位置を推定する構成である。
In the invention described in
特許文献１に記載された発明は、車両の外部にターゲットボードを設置する必要がある。例えば、天候が雨又は強風等であったり、酷暑等であったりした場合には、車両に対して予め定められた位置にターゲットボードを設置するだけでも、作業者は疲労を感じることになる。このため、ターゲットボードを車両に外部に設置しなくとも、より簡単な方法で撮像カメラの取り付け位置を推定する手法が求められている。
In the invention described in
本発明は、簡単な方法で撮像位置の姿勢を推定できる姿勢推定装置、姿勢推定方法、姿勢推定プログラム及び記録媒体を提供することを目的とする。 An object of the present invention is to provide a posture estimation device, a posture estimation method, a posture estimation program, and a recording medium that can estimate the posture of an image pickup position by a simple method.
一態様に係る姿勢推定装置は、画像データを記憶すると共に、車両の種類と、その車両のホイールベース及びトレッドとを対応付けた車両情報を記憶する記憶部と、記憶部に記憶される画像データに基づいて、画像内に写った車両の種類を特定する特定部と、特定部によって特定された車両の種類と、記憶部に記憶される車両情報とに基づいて、車両の種類を特定した車両のホイールベース及びトレッドを取得する取得部と、記憶部に記憶される画像データに基づいて、車両の種類を特定した車両と路面との３つ以上の接地点を抽出する抽出部と、抽出部によって抽出された３つ以上の接地点と、取得部で取得されたホイールベース及びトレッドとに基づいて、画像データを生成する時の撮像位置から車両における接地点のうちいずれか１つまでの距離を算出すると共に、３つ以上の接地点に基づいて３つ以上の接地点を含む平面を推定し、距離、平面、及び、距離を算出する際に選択した車両の接地点と撮像位置とを結ぶ直線と平面とのなす角に基づいて、平面から撮像位置までの高さを算出する算出部と、を備える。 An attitude estimation device according to one aspect stores image data, a storage unit that stores vehicle information in which a vehicle type, a wheelbase of the vehicle, and a tread are associated with each other, and image data stored in the storage unit. Based on the vehicle type, the vehicle type is identified on the basis of the identifying unit that identifies the vehicle type in the image, the vehicle type identified by the identifying unit, and the vehicle information stored in the storage unit. A wheelbase and a tread of the vehicle, an extraction section that extracts three or more ground points of the vehicle and the road surface that specify the vehicle type based on the image data stored in the storage section, and an extraction section. Based on the three or more ground points extracted by the wheel base and the tread acquired by the acquisition unit, the distance from the imaging position when generating the image data to one of the ground points in the vehicle And a plane including three or more ground points is estimated based on the three or more ground points, and the distance, the plane, and the ground point and the imaging position of the vehicle selected when the distance is calculated are calculated. And a calculator that calculates the height from the plane to the imaging position based on the angle formed by the connecting straight line and the plane.
一態様に係る姿勢推定装置は、撮像位置に配されると共に、被写体を撮像して画像データを生成し、その画像データを記憶部に記憶する撮像部をさらに備えることとしてもよい。 The posture estimation apparatus according to one aspect may be further provided with an image pickup unit that is arranged at the image pickup position, picks up an image of a subject to generate image data, and stores the image data in the storage unit.
一態様に係る姿勢推定装置では、特定部は、複数の車両の種類を予め学習し、その学習の結果に基づいて画像データの画像を認識することにより、画像内に写った車両の種類を特定することとしてもよい。 In the posture estimation device according to one aspect, the specifying unit specifies the type of vehicle shown in the image by learning a plurality of vehicle types in advance and recognizing the image of the image data based on the learning result. It may be done.
一態様に係る姿勢推定装置では、特定部は、画像内に写った複数の車両の種類を特定し、取得部は、複数の車両それぞれのホイールベース及びトレッドを取得し、抽出部は、複数の車両それぞれの３つ以上の接地点を抽出し、算出部は、撮像位置から複数の車両それぞれにおける接地点のいずれか１つまでの距離を算出すると共に、複数の車両それぞれの３つ以上の接地点に基づいて平面を推定し、車両毎に、距離、平面、及び、なす角に基づいて、平面から撮像位置までの高さを算出することとしてもよい。 In the posture estimation apparatus according to one aspect, the specifying unit specifies the types of the plurality of vehicles captured in the image, the acquisition unit acquires the wheelbase and the tread of each of the plurality of vehicles, and the extraction unit includes the plurality of vehicles. The three or more ground points of each vehicle are extracted, and the calculation unit calculates the distance from the imaging position to any one of the ground points of each of the plurality of vehicles, and at the same time, three or more contact points of each of the plurality of vehicles are calculated. The plane may be estimated based on the point, and the height from the plane to the imaging position may be calculated for each vehicle based on the distance, the plane, and the angle formed.
一態様に係る姿勢推定装置では、算出部は、平面から撮像位置までの高さを算出することとして、複数の高さのうち最も高いものを平面から撮像位置までの高さとすることとしてもよい。 In the posture estimation apparatus according to one aspect, the calculation unit may calculate the height from the plane to the image capturing position, and determine the highest one of the plurality of heights as the height from the plane to the image capturing position. ..
一態様に係る姿勢推定装置では、算出部は、平面から撮像位置までの高さを算出することとして、複数の高さの相加平均を算出して、相加平均の値を平面から撮像位置までの高さとすることとしてもよい。 In the posture estimation device according to one aspect, the calculation unit calculates an arithmetic average of a plurality of heights by calculating a height from the plane to the imaging position, and calculates an arithmetic average value from the plane to the imaging position. It may be up to the height.
一態様に係る姿勢推定装置では、特定部は、画像内に複数の車両が写る場合、複数の車両のうち画像内のサイズが最も大きい車両の種類を特定し、抽出部は、その車両に対応する３つ以上の接地点を抽出することとしてもよい。 In the posture estimation device according to one aspect, when a plurality of vehicles are included in the image, the identifying unit identifies the type of the vehicle having the largest size in the image among the plurality of vehicles, and the extracting unit corresponds to the vehicle. It is also possible to extract three or more ground points to be used.
一態様に係る姿勢推定方法では、コンピュータが、画像データを記憶部に記憶すると共に、車両の種類と、その車両のホイールベース及びトレッドとを対応付けた車両情報を記憶部に記憶する記憶ステップと、記憶部に記憶される画像データに基づいて、画像内に写った車両の種類を特定する特定ステップと、特定ステップによって特定された車両の種類と、記憶部に記憶される車両情報とに基づいて、車両の種類を特定した車両のホイールベース及びトレッドを取得する取得ステップと、記憶部に記憶される画像データに基づいて、車両の種類を特定した車両と路面との３つ以上の接地点を抽出する抽出ステップと、抽出ステップによって抽出された３つ以上の接地点と、取得ステップで取得されたホイールベース及びトレッドとに基づいて、画像データを生成する時の撮像位置から車両における接地点のうちいずれか１つまでの距離を算出すると共に、３つ以上の接地点に基づいて３つ以上の接地点を含む平面を推定し、距離、平面、及び、距離を算出する際に選択した車両の接地点と撮像位置とを結ぶ直線と平面とのなす角に基づいて、平面から撮像位置までの高さを算出する算出ステップと、を実行する。 In the attitude estimation method according to one aspect, a storage step in which the computer stores the image data in the storage unit, and also stores in the storage unit, vehicle information in which the type of vehicle, the wheelbase of the vehicle, and the tread are associated with each other Based on the image data stored in the storage unit, based on the identification step of identifying the type of vehicle shown in the image, the type of vehicle identified by the identification step, and the vehicle information stored in the storage unit Based on the image data stored in the storage unit, an acquisition step of acquiring the wheelbase and tread of the vehicle in which the vehicle type is specified, and three or more ground points of the vehicle in which the vehicle type is specified and the road surface. Based on the extraction step of extracting, the three or more ground points extracted in the extraction step, and the wheel base and the tread acquired in the acquisition step, and the ground point in the vehicle from the imaging position when the image data is generated. The distance to any one of them is calculated, the plane including three or more ground points is estimated based on the three or more ground points, and the distance, the plane, and the distance are selected when calculating the distance. And a calculation step of calculating the height from the plane to the image pickup position based on the angle formed by the straight line connecting the ground contact point of the vehicle and the image pickup position with the plane.
一態様に係る姿勢推定プログラムは、コンピュータに、画像データを記憶部に記憶すると共に、車両の種類と、その車両のホイールベース及びトレッドとを対応付けた車両情報を記憶部に記憶する記憶機能と、記憶部に記憶される画像データに基づいて、画像内に写った車両の種類を特定する特定機能と、特定機能によって特定された車両の種類と、記憶部に記憶される車両情報とに基づいて、車両の種類を特定した車両のホイールベース及びトレッドを取得する取得機能と、記憶部に記憶される画像データに基づいて、車両の種類を特定した車両と路面との３つ以上の接地点を抽出する抽出機能と、抽出機能によって抽出された３つ以上の接地点と、取得機能で取得されたホイールベース及びトレッドとに基づいて、画像データを生成する時の撮像位置から車両における接地点のうちいずれか１つまでの距離を算出すると共に、３つ以上の接地点に基づいて３つ以上の接地点を含む平面を推定し、距離、平面、及び、距離を算出する際に選択した車両の接地点と撮像位置とを結ぶ直線と平面とのなす角に基づいて、平面から撮像位置までの高さを算出する算出機能と、を実現させる。 A posture estimation program according to one aspect has a storage function of causing a computer to store image data in a storage unit, and to store in the storage unit vehicle information that associates a vehicle type with a wheelbase and a tread of the vehicle. , Based on the image data stored in the storage unit, a specific function for identifying the type of vehicle shown in the image, the vehicle type identified by the specific function, and vehicle information stored in the storage unit. Based on the image data stored in the storage unit and the acquisition function of acquiring the wheelbase and tread of the vehicle in which the vehicle type is specified, and three or more ground points of the vehicle in which the vehicle type is specified and the road surface. Based on the extraction function for extracting the image, the three or more ground points extracted by the extraction function, and the wheelbase and the tread acquired by the acquisition function, and the ground point in the vehicle from the imaging position when the image data is generated. The distance to any one of them is calculated, the plane including three or more ground points is estimated based on the three or more ground points, and the distance, the plane, and the distance are selected when calculating the distance. And a calculation function for calculating the height from the plane to the image pickup position based on the angle formed by the straight line connecting the ground point of the vehicle and the image pickup position with the plane.
本発明の一態様の姿勢推定装置は、車両の種類を特定すると共に、その車両と道路との接地点を抽出することによって、平面から撮像位置までの高さを算出するので、作業者にターゲットボードを車両の外部に設置する労を強いることなく撮影位置の姿勢を推定することができる。
また、本発明の一態様の姿勢推定方法及び姿勢推定プログラムは、上述した姿勢推定装置と同様の効果を奏することができる。
The posture estimation device of one embodiment of the present invention specifies the type of vehicle and calculates the height from the plane to the imaging position by extracting the grounding point between the vehicle and the road, so that the target for the operator is targeted. The posture of the shooting position can be estimated without the effort of installing the board outside the vehicle.
Further, the posture estimation method and the posture estimation program according to one aspect of the present invention can achieve the same effects as the above-described posture estimation device.
以下、本発明の一実施形態について説明する。
図１は、一実施形態に係る姿勢推定装置の概略について説明するための図である。
An embodiment of the present invention will be described below.
FIG. 1 is a diagram for explaining an outline of a posture estimation device according to an embodiment.
本実施形態の姿勢推定装置１は、例えば、車両１０１の室内等に配される撮像部１１の姿勢を推定する。具体的には、姿勢推定装置１は、撮像部１１の道路１１０（図３参照）からの高さＨ（図３参照）を推定する。
このため、姿勢推定装置１は、例えば、撮像部１１が配された車両１０１が道路１１０を走行し、又は、平らな駐車場に駐車する場合等、撮像部１１によって対向車、前方の車両又は後方の車両（ここでは「対向車１０２」と記載するが、対向車に限らず並行車であってもよい。）を撮像し、対向車１０２の３つ以上の接地点Ｐを取得する。また、姿勢推定装置１は、撮像部１１によって撮像された対向車１０２の種類に基づいて、その対向車１０２のホイールベース及びトレッドを取得する。姿勢推定装置１は、取得した３つ以上の接地点Ｐと、取得したホイールベース及びトレッドとに基づいて、道路１１０から撮像部１１までの高さＨを推定する。
The
Therefore, the
具体的には、姿勢推定装置１は以下の構成となる。姿勢推定装置１は、例えば、コンピュータシステムによって実現される。
図２は、一実施形態に係る姿勢推定装置について説明するためのブロック図である。図３は、撮像部の設置位置の一例について説明するための図である。図４は、撮像部で撮像される画像の一例について説明するための図である。
Specifically, the
FIG. 2 is a block diagram for explaining the posture estimation device according to the embodiment. FIG. 3 is a diagram for explaining an example of the installation position of the imaging unit. FIG. 4 is a diagram for explaining an example of an image captured by the image capturing unit.
図２に示すように、姿勢推定装置１は、撮像部１１、記憶部１２、特定部１３、取得部１４、抽出部１５及び算出部１６を備える。
As shown in FIG. 2, the
撮像部１１は、車両１０１の所定位置に配される。一例として、撮像部１１は、図１，図３に示すように、車両１０１の室内の天井等に配される。撮像部１１は、車両１０１に着脱可能なように配され、車両１０１に臨時に取り付けられる。撮像部１１は、一例として、車両１０１の前方及び斜め前方を撮像する。又は、撮像部１１は、一例として、車両１０１の後方及び斜め後方を撮像する。これにより、撮像部１１は、車両１０１の前方、後方又は斜め方向、を走行する対向車１０２、及び、車両１０１の前方又は斜め方向に駐車する対向車１０２を撮像することが可能である。撮像部１１は、例えば、動画を撮像し、又は、時間的に連続して静止画を撮像する。撮像部１１は、例えば、車両１０１の前方及び斜め前方等にある被写体（対向車１０２）を撮像して画像データを生成し、その画像データを記憶部１２に記憶する。
The
撮像部１１は、車両１０１が走行している場合及び車両１０１が停車している場合のいずれでも被写体を撮像することが可能である。姿勢推定装置１は、後述するように撮像部１１の高さＨを算出するため、車両１０１が停止している場合に撮像部１１で撮像された画像に基づいて撮像部１１の高さＨを算出する方が、車両１０１が走行する場合に撮像部１１で撮像された画像に基づいて撮像部１１の高さＨを算出する場合に比べて、精度が高くなる。
なお、姿勢推定装置１は、記憶部１２、特定部１３、取得部１４、抽出部１５及び算出部１６を備え、撮像部１１を備えない構成であってもよい。この場合、姿勢推定装置１では、記憶部１２は別構成の撮像部によって予め撮像された画像データを記憶することとしてもよい。
The
The
記憶部１２は、撮像部１１で生成された画像データを記憶する。また、記憶部１２は、車両の種類（具体的には、車種）と、その車両のホイールベース及びトレッドとを対応付けた車両情報を記憶する。ホイールベースは、車両の前輪と後輪との間の距離である。また、トレッドは、左前輪（後後輪）と右前輪（右後輪）との間の距離である。ホイールベース及びトレッドとも、一例として、車輪の中心を基準にしてそれぞれの距離が設定される。車両情報は、予め記憶部１２に記憶される。
The
特定部１３は、記憶部１２に記憶される画像データに基づいて、画像内に写った対向車１０２の種類を特定する。特定部１３は、例えば、記憶部１２に記憶される画像データ（動画）の１又は複数のフレームに基づいて、対向車１０２の種類を特定することが可能である。又は、特定部１３は、例えば、記憶部１２に記憶される画像データである１又は複数の静止画に基づいて、対向車１０２の種類を特定することが可能である。
The identifying
特定部１３は、一例として、機械学習等を利用して、画像内に写る対向車１０２の種類を特定することが可能である。すなわち、特定部１３は、複数の車両の種類を予め学習し、その学習の結果を記憶部１２等に記憶する。特定部１３は、画像データを取得すると、その学習の結果に基づいて画像データの画像を認識することにより、画像内に写った対向車１０２の種類を特定する。
又は、特定部１３は、車両の種類（車種）に関するデータを記憶部１２に記憶し、そのデータに基づいて撮像部１１で撮像された画像に基づいてパターンマッチングを行うことにより、対向車１０２の車種を特定してもよい。
特定部１３は、画像内に複数の対向車１０２が写る場合、複数の対向車１０２の中から任意の１つの対向車１０２を選択して、選択した対向車１０２の種類を特定してもよい。又は、特定部１３は、画像内に複数の対向車１０２が写る場合、複数の対向車１０２の全ての種類を特定してもよい。
ここで、特定部１３は、画像内に複数の対向車１０２が写る場合、複数の対向車１０２のうち画像内のサイズが最も大きい対向車１０２の種類を特定することとしてもよい。例えば、特定部１３は、画像を認識することに基づいて画像内に写る複数の対向車１０２のサイズを取得し、最も大きいサイズの対向車１０２の種類を特定する。最も大きいサイズの対向車１０２の種類を特定することにより、後述する撮像部１１の高さＨを算出する場合の精度を高くすることができる。
For example, the identifying
Alternatively, the identifying
When a plurality of oncoming
Here, when the plurality of oncoming
取得部１４は、特定部１３によって特定された対向車１０２の種類と、記憶部１２に記憶される車両情報とに基づいて、種類を特定した対向車１０２のホイールベース及びトレッドを取得する。取得部１４は、特定部１３によって対向車１０２の種類が特定された場合、記憶部１２にアクセスし、記憶部１２に記憶される車両情報に基づいて、特定された対向車１０２のホイールベース及びトレッドを取得する。
The
抽出部１５は、記憶部１２に記憶される画像データに基づいて、種類を特定した対向車１０２と道路１１０（路面）との３つ以上の接地点Ｐを抽出する。すなわち、抽出部１５は、画像内における接地点Ｐ（画像のピクセル位置）を抽出する。抽出部１５は、特定部１３で画像を認識した結果に基づいて、対向車１０２の種類を特定したその対向車の接地点Ｐを取得する。抽出部１５は、一例として、深層学習を利用することにより、対向車１０２の接地点Ｐを取得することが可能である。対向車１０２の接地点Ｐは、その対向車１０２のタイヤが道路１１０に接地する点である。撮像部１１は、対向車１０２を撮像部１１に対して斜め方向から撮像した場合には、図４に例示するように、対向車１０２の左前輪、右前輪及び右後輪を写る画像を取得する。この場合には、抽出部１５は、対向車１０２と道路１１０との３つ以上の接地点Ｐを抽出することが可能である。
The
ここで、特定部１３によって特定された対向車１０２の種類がトラック及びバス等の大型車の場合、例えば、前輪又は後輪（片側）には前後に２以上のタイヤが配されることがある。この場合、抽出部１５は、対向車１０２（大型車）と道路１１０との接地点Ｐとして、少なくとも４つの接地点Ｐを抽出することが可能である。また、対向車１０２の片側に３つ以上のタイヤが配される場合には、最も前のタイヤと、最も後ろのタイヤとの間隔をホイールベースとしてもよい。
また、抽出部１５は、記憶部１２に記憶されるホイールベース及びトレッドに対応したタイヤを選択する、すなわち、それらのタイヤに応じた３つ以上の接地点Ｐを抽出する必要がある。
Here, when the type of the
In addition, the
また、抽出部１５は、画像内に複数の対向車１０２が写る場合、３つ以上の接地点Ｐを抽出できた複数の対向車１０２のうち、画像内のサイズが最も大きい対向車１０２に対応する３つ以上の接地点Ｐを選択することとしてもよい。すなわち、抽出部１５は、画像内に複数の対向車１０２が写ることにより、対向車１０２と道路１１０との３つ以上の接地点Ｐを抽出できた対向車１０２が複数有る場合、画像内のサイズが最も大きい対向車１０２と道路１１０との３つ以上の接地点Ｐを選択することとしてもよい。姿勢推定装置１は、画像内のサイズが最も大きい対向車１０２に基づいて、後述するように道路１１０から撮像部１１までの高さＨを算出することにより、その算出の精度を高くすることができる。
Further, when a plurality of oncoming
図５は、接地点、及び、その接地点に基づいて推定される平面について説明するための図である。 FIG. 5 is a diagram for explaining a grounding point and a plane estimated based on the grounding point.
算出部１６は、抽出部１５によって抽出された３つ以上の接地点Ｐと、取得部１４で取得されたホイールベース及びトレッドとに基づいて、画像データを生成する時の撮像部１１（撮像位置）から対向車１０２における接地点Ｐのうちいずれか１つまでの距離を算出する。また、算出部１６は、３つ以上の接地点Ｐに基づいて３つ以上の接地点Ｐを含む平面Ｍを推定する。そして、算出部１６は、距離、平面Ｍ、及び、その距離を算出する際に選択した対向車１０２の接地点Ｐと撮像部１１（撮像位置）とを結ぶ直線と平面Ｍとのなす角に基づいて、平面Ｍから撮像部１１（撮像位置）までの高さＨを算出する。
The calculation unit 16 generates the image data based on the three or more ground points P extracted by the
すなわち、算出部１６は、３つ以上の接地点Ｐを含む平面Ｍを推定する。算出部１６は、抽出部１５によって接地点Ｐが３つ抽出されている場合、３つの接地点Ｐを頂点とする三角形を求め、その三角形をそれの面に沿って拡張することにより平面Ｍを推定する。
また、算出部１６は、抽出部１５によって４つ以上の接地点Ｐが抽出されている場合、撮像部１１から見て両端の接地点Ｐと、その両端の接地点Ｐの間に有るいずれか１の接地点Ｐとを頂点とする三角形（平面Ｍ）を推定してもよい。又は、算出部１６は、抽出部１５によって４つ以上の接地点Ｐが抽出されている場合、それぞれの接地点Ｐを頂点とする多角形（平面Ｍ）を推定してもよい。
算出部１６は、推定された平面Ｍ（三角形又は多角形）が道路１１０であり、且つ、平面Ｍは水平であると仮定する。
That is, the calculation unit 16 estimates a plane M including three or more ground points P. When the
In addition, when four or more ground points P are extracted by the
The calculation unit 16 assumes that the estimated plane M (triangle or polygon) is the
また、算出部１６は、撮像部１１（撮像位置）から対向車１０２の３つ以上の接地点Ｐのうちいずれか１つの接地点Ｐまでの距離を算出する。
ここで、算出部１６は、上述したように推定された平面Ｍが三角形である場合、三角形の中央の接地点Ｐまでの距離を算出することとしてもよい。例えば、図５に例示するように、抽出部１５によって３つの接地点Ｐ１〜Ｐ３が抽出された場合、算出部１６は、接地点Ｐ３と撮像部１１（撮像位置）との間の距離を算出することとしてもよい。すなわち、算出部１６は、撮像部１１から見て最も左にある接地点Ｐ１と最も右にある接地点Ｐ２との間にある接地点Ｐ３と、撮像部１１（撮像位置）との間の距離を算出することとしてもよい。なお、算出部１６は、上記の一例に限られず、接地点Ｐ１と撮像部１１との間の距離を算出することとしてもよいし、接地点Ｐ２と撮像部１１との間の距離を算出することとしてもよい。
The calculating unit 16 also calculates the distance from the image capturing unit 11 (image capturing position) to any one of the three or more ground contact points P of the
Here, when the plane M estimated as described above is a triangle, the calculation unit 16 may calculate the distance to the ground contact point P at the center of the triangle. For example, as illustrated in FIG. 5, when the
また、算出部１６は、上述したように４つ以上の接地点Ｐに基づいて平面Ｍとして多角形が推定された場合、例えば、撮像部１１から見て最も左にある接地点Ｐと最も右にある接地点Ｐとの間にあるいずれか１つの接地点Ｐと、撮像部１１（撮像位置）との間の距離を算出することとしてもよい。又は、算出部１６は、上記の一例で示す接地点Ｐとは異なる他の接地点Ｐと、撮像部１１（撮像位置）との間の距離を算出することとしてもよい。
In addition, when the polygon is estimated as the plane M based on the four or more ground contact points P as described above, for example, the calculation unit 16 may find the leftmost contact point P and the rightmost contact point P as viewed from the
ここで、算出部１６は、３つ以上の接地点Ｐに基づいて、対向車１０２の向きを推定することが可能である。
図６は、接地点及び対向車等の向きについて説明するための図である。図６（Ａ）は対向車等の天地が反転する姿勢を示し、図６（Ｂ）は複数の接地点のうち両端にある接地点の間にある接地点が対向車等の奥にある場合を示す。
Here, the calculation unit 16 can estimate the direction of the
FIG. 6 is a diagram for explaining directions of a grounding point, an oncoming vehicle, and the like. FIG. 6(A) shows a posture in which an oncoming vehicle or the like is turned upside down, and FIG. 6(B) shows a case where a grounding point between the grounding points at both ends of a plurality of grounding points is at the back of the oncoming vehicle. Indicates.
対向車１０２の向きを推定する場合、図６（Ａ）に示すように、対向車１０２の上下が反転することはありえない。すなわち、対向車１０２の屋根Ｒが下側（道路側）に存在し、その対向車１０２のタイヤＴが上側に存在することはありえない。このため、算出部１６は、対向車１０２の向きを推定する場合、必ず、対向車１０２のタイヤが下側（道路側）に存在し、その対向車１０２の屋根が上側に存在すると決定する。
When estimating the direction of the
また、対向車１０２の向きを推定する場合、図６（Ｂ）に示すように、３つの接地点Ｐのうち撮像部１１から見て中央の頂点（撮像部１１から見て両端の接地点Ｐ５，Ｐ６の間にある接地点Ｐ４）は、撮像部１１から見て最も遠い接地点Ｐとなることはない。すなわち、図６（Ｂ）に示す場合では、抽出部１５によって接地点Ｐ５，Ｐ６，Ｐ７が必ず抽出される。
Further, when estimating the direction of the
同様に、４つ以上の接地点Ｐが抽出された場合にも、撮像部１１から見て最も左にある接地点Ｐと最も右にある接地点Ｐとの間にあるいずれか１つの接地点Ｐは、撮像部１１から見て最も遠い接地点Ｐ（撮像部１１から見て隠れる位置にある接地点Ｐ）として抽出されることはなく、撮像部１１から見て最も近い接地点Ｐと推定することが可能である。
Similarly, when four or more grounding points P are extracted, any one grounding point between the leftmost grounding point P and the rightmost grounding point P viewed from the
そして、算出部１６は、上述したように対向車１０２の向きを決定又は推定することができるので、３つ以上の接地点Ｐを含む平面Ｍについて、その平面Ｍの表裏を含めて一意に決めることができる。また、算出部１６は、３つ以上の接地点Ｐのうち撮像部１１から見て中央にある接地点Ｐが、その撮像部１１から最も近い接地点Ｐとして設定する。算出部１６は、上述したように、撮像部１１から３つ以上の接地点Ｐのうちいずれか１つの接地点Ｐと撮像部１１との間の距離を算出するが、撮像部１１から最も近い接地点Ｐと撮像部１１との間の距離を算出することとしてもよい。
Since the calculator 16 can determine or estimate the direction of the
また、算出部１６は、上述したように対向車１０２の向きを決定又は推定し、さらに例えば、平面Ｍとして三角形が推定される場合、撮像部１１から見て最も近い接地点Ｐと最も右側の接地点Ｐとの間の間隔と、撮像部１１から見て最も近い接地点Ｐと最も左側の接地点Ｐとの間隔とを比較し、より間隔が短いものを車両１０１の前方（後方）部分する一方、より間隔が長いものを車両１０１の側面部分とすることとしてもよい。
Further, the calculation unit 16 determines or estimates the direction of the
図７は、道路から撮像部までの距離を算出する場合を説明するための図である。
なお、図７は、距離の算出を説明するために、簡略化した図（より理解しやすくした図）である。
算出部１６は、上述したように対向車１０２の向きを決定し又は推定したことに基づいて、接地点Ｐ８と接地点Ｐ９との間隔（第１間隔）と、接地点Ｐ８と接地点Ｐ１０との間隔（第２間隔）とに、対向車１０２のホイールベース又はトレッドをそれぞれ当てはめる。図７に例示する場合、算出部１６は、第１間隔に対向車１０２のトレッドを当てはめ、第２間隔に対向車１０２のホイールベースを当てはめることにより、３つの接地点Ｐ８〜Ｐ１０のうち最も近い接地点Ｐ８と、撮像部１１（撮像位置）との間の距離Ｌを算出する。
なお、算出部１６は、上記の例に限られず、接地点Ｐ９と撮像部１１との間の距離Ｌを算出することとしてもよく、接地点Ｐ１０と撮像部１１との間の距離Ｌを算出することとしてもよい。
FIG. 7 is a diagram for explaining a case where the distance from the road to the image capturing unit is calculated.
Note that FIG. 7 is a simplified diagram (a diagram that is easier to understand) for explaining the calculation of the distance.
The calculation unit 16 determines the distance between the ground contact point P8 and the ground contact point P9 (first clearance), the ground contact point P8, and the ground contact point P10 based on the direction of the
Note that the calculation unit 16 is not limited to the above example, and may calculate the distance L between the ground contact point P9 and the
なお、撮像部１１によって対向車線を走行する対向車のみを撮像すると予め設定する場合には、算出部１６は、図７の例示では、接地点Ｐ８と接地点Ｐ９との間隔（第１間隔）が対向車の前方部分、接地点Ｐ８と接地点Ｐ１０との間隔（第２間隔）が対向車の側面部分と特定することができる。
When it is set in advance that only the oncoming vehicle traveling in the oncoming lane is imaged by the
具体的な一例として、算出部１６は、画像内における接地点Ｐ８〜Ｐ１０の位置（ピクセル位置（マーカ座標系））を取得する。算出部１６は、この画像内の接地点Ｐ８〜Ｐ１０のピクセル位置を座標変換行列によりカメラ座標系に変換する。これにより、算出部１６は、撮像部から見た接地点Ｐ８〜Ｐ１０の位置・姿勢を取得することができる。算出部１６は、特定された対向車１０２のホイールベース及びトレッドに基づいて、カメラ座標系における接地点Ｐ８と接地点Ｐ９との間隔（第１間隔）と、接地点Ｐ８と接地点Ｐ１０との間隔（第２間隔）とを取得する。算出部１６は、対向車１０２のホイールベール及びトレッドと、カメラ座標系における第１間隔及び第２間隔とに基づいて、撮像部１１と接地点Ｐとの距離Ｌを算出する。
As a specific example, the calculation unit 16 acquires the positions (pixel positions (marker coordinate system)) of the ground contact points P8 to P10 in the image. The calculation unit 16 converts the pixel positions of the ground contact points P8 to P10 in this image into the camera coordinate system by the coordinate conversion matrix. Accordingly, the calculation unit 16 can acquire the positions/postures of the ground contact points P8 to P10 viewed from the imaging unit. Based on the wheelbase and tread of the
また、算出部１６は、平面Ｍが水平であり、且つ、その平面Ｍが道路であると仮定すると、平面Ｍ及び距離Ｌに基づいて、距離Ｌを算出する際に選択した対向車１０２の接地点Ｐ（一例として、撮像部１１から最も近い接地点Ｐ８）と撮像部１１とを結ぶ直線と、平面Ｍとのなす角θを求めることが可能である。さらに、算出部１６は、距離Ｌ、平面Ｍ及びなす角θに基づいて、平面Ｍ（道路１１０）から撮像部１１（撮像位置）までの高さＨを算出することが可能である。なお、撮像位置は、一例として撮像部１１の中心位置である。
In addition, assuming that the plane M is horizontal and the plane M is a road, the calculation unit 16 determines the contact point of the
具体的な一例として、算出部１６は、上述したようにカメラ座標系において接地点Ｐ８〜Ｐ１０を含む平面Ｍを取得すると、その座標系における平面Ｍと撮像部１１（画像の中心位置）とのなす角θを求めることができる。算出部１６は、カメラ座標系における平面Ｍ、距離Ｌ及びなす角θに基づいて、三角関数を利用することにより、平面Ｍから撮像部１１（画像の中心位置）までの高さＨを取得することができる。 As a specific example, when the calculating unit 16 acquires the plane M including the ground contact points P8 to P10 in the camera coordinate system as described above, the plane M and the image capturing unit 11 (center position of the image) in the coordinate system are acquired. The angle θ formed can be obtained. The calculation unit 16 acquires the height H from the plane M to the image pickup unit 11 (center position of the image) by using a trigonometric function based on the plane M, the distance L, and the angle θ formed in the camera coordinate system. be able to.
本実施形態においては、対向車１０２の接地点Ｐをマーカの代替として用い、それぞれのマーカとしてタイヤの接地点Ｐを用いることで、撮像部１１の撮像系を実寸系に変換することができる。本実施形態においては、対向車１０２の種類毎のホイールベース及びトレッドの実寸を利用し、撮像部１１、すなわち、カメラパラメータは既知のデータであるので、撮像系のデータを実寸系に変換し、撮像部１１の高さＨを算出することができる。既存のソフトウェアとしては、一例として、ＡＲＴｏｏｌＫｉｔ等を利用することができる。
In the present embodiment, the ground contact point P of the
上述した姿勢推定装置１は、複数の対向車１０２に基づいて平面Ｍ（道路１１０）から撮像部１１（撮像位置）までの高さＨを算出することとしてもよい。
特定部１３は、画像内に写った複数の対向車１０２の種類を特定する。取得部１４は、複数の対向車１０２それぞれのホイールベース及びトレッドを取得する。抽出部１５は、複数の対向車１０２それぞれの３つ以上の接地点Ｐを抽出する。算出部１６は、撮像部１１から複数の対向車１０２それぞれにおける接地点Ｐのいずれか１つまでの距離Ｌを算出する。さらに、算出部１６は、複数の対向車１０２それぞれの３つ以上の接地点Ｐに基づいて平面Ｍを推定する。算出部１６は、対向車１０２毎に、距離Ｌ、平面Ｍ、及び、なす角θに基づいて、道路１１０（平面Ｍ）から撮像部１１までの高さＨを算出する。
すなわち、姿勢推定装置１（特定部１３、取得部１４及び算出部１６）は、上述した１つの対向車１０２に基づいて道路１１０から撮像部１１までの高さＨを算出する場合と同様に、複数の対向車１０２それぞれについて道路１１０から撮像部１１までの高さＨを算出する。
The
The identifying
That is, the posture estimation device 1 (
この場合、算出部１６は、道路１１０から撮像部１１までの高さＨを算出することとして、複数の高さＨのうち最も高いものを道路１１０から撮像部１１までの高さＨとすることとしてもよい。すなわち、算出部１６は、複数の対向車１０２それぞれに基づいて複数の高さＨを算出した場合、複数の高さＨのうち最も高い高さＨを採用する。
In this case, the calculating unit 16 calculates the height H from the
又は、算出部１６は、道路１１０から撮像部１１までの高さＨを算出することとして、複数の高さＨの相加平均を算出して、相加平均の値を道路１１０から撮像部１１までの高さＨとすることとしてもよい。すなわち、算出部１６は、複数の対向車１０２それぞれに基づいて複数の高さＨを算出した場合、複数の高さＨの相加平均をさらに算出して、相加平均の値を道路１１０から撮像部１１までの高さＨとして採用する。
Alternatively, the calculating unit 16 calculates the height H from the
上記の各部は、コンピュータにおいて実行されるプログラムによって、そのコンピュータの処理装置等の機能として実現されてもよい。プログラムは、外部記憶装置又は光ディスク等の記録媒体に記録されてもよい。 Each of the above units may be realized as a function of a processing device of the computer by a program executed by the computer. The program may be recorded in a recording medium such as an external storage device or an optical disk.
次に、一実施形態に係る姿勢推定方法について説明する。
図８は、一実施形態に係る姿勢推定方法について説明するためのフローチャートである。
Next, a posture estimation method according to one embodiment will be described.
FIG. 8 is a flowchart for explaining the posture estimation method according to the embodiment.
ステップＳＴ１１において、撮像部１１は、被写体を撮像して画像データを生成する。撮像部１１は、搭載される車両１０１が走行中の場合、及び、その車両１０１が停車中の場合のいずれでも、撮像することが可能である。
In step ST11, the
ステップＳＴ１２において、記憶部１２は、ステップＳＴ１１で生成された画像データを記憶する。
In step ST12, the
ステップＳＴ１３において、特定部１３は、ステップＳＴ１２で記憶部１２に記憶された画像データに基づいて、画像内に写った対向車１０２の種類を特定する。特定部１３は、１つの対向車１０２の種類を特定してもよく、複数の対向車１０２の種類を特定してもよい。
In step ST13, the specifying
なお、ステップＳＴ１３以降は、ステップＳＴ１１及びステップＳＴ１２の処理に時間的に連続して行われてれもよい。すなわち、撮像部１１によって画像データが生成される時に（ステップＳＴ１１及びステップＳＴ１２が行われている時に）、ステップＳＴ１３以降の処理が行われてもよい。
一方、ステップＳＴ１３以降は、ステップＳＴ１１及びステップＳＴ１２の処理が行われてから時間的に間をあけて行われてもよい。すなわち、撮像部１１による画像データの生成が終了し、その画像データを記憶する記憶部１２がオフィスに持ち帰られた後、オフィスに配されるパーソナルコンピュータ等を用いてステップＳＴ１３以降の処理が行われてもよい。
In addition, after step ST13, the processing of step ST11 and step ST12 may be performed continuously in terms of time. That is, when the image data is generated by the image capturing unit 11 (when step ST11 and step ST12 are performed), the processes after step ST13 may be performed.
On the other hand, after step ST13, the processes of step ST11 and step ST12 may be performed at intervals after the process is performed. That is, after the generation of the image data by the
ステップＳＴ１４において、取得部１４は、ステップＳＴ１３で特定された対向車１０２の種類と、記憶部１２に予め記憶される車両情報とに基づいて、ステップＳＴ１３で種類を特定した対向車１０２のホイールベース及びトレッドを取得する。
In step ST14, the
ステップＳＴ１５において、抽出部１５は、ステップＳＴ１２で記憶部１２に記憶された画像データに基づいて、一例として、深層学習等を利用することにより、ステップＳＴ１３で種類を特定した対向車１０２と道路１１０との３つ以上の接地点Ｐを取得する。
In step ST15, the
ステップＳＴ１６において、算出部１６は、ステップＳＴ１４で取得された対向車１０２のホイールベース及びトレッドと、ステップＳＴ１５で取得した３つ以上の接地点Ｐとに基づいて、一例として、撮像部１１から最も近い接地点Ｐと、その撮像部１１との距離Ｌを算出する。算出部１６は、ステップＳＴ１５で取得した３つ以上の接地点Ｐに基づいて、それら全ての接地点Ｐを含む平面Ｍを推定する。算出部１６は、算出した距離Ｌ、推定した平面Ｍ、及び、距離Ｌを算出する際に選択した接地点Ｐ（一例として、撮像部１１から最も近い接地点Ｐ）と撮像部１１とを結ぶ直線に基づいて、道路１１０から撮像部１１までの高さＨを算出する。
In step ST16, the calculation unit 16 uses the wheel base and the tread of the
上述した実施形態では、例えば、以下の効果を奏する。
姿勢推定装置１は、画像データに基づいて、画像内に写った対向車１０２の種類を特定する特定部１３と、特定部１３によって特定された対向車１０２の種類と、記憶部１２に記憶される車両情報とに基づいて、種類を特定した対向車１０２のホイールベース及びトレッドを取得する取得部１４と、記憶部１２に記憶される画像データに基づいて、種類を特定した対向車１０２と道路１１０との３つ以上の接地点Ｐを抽出する抽出部１５と、抽出部１５によって抽出された３つ以上の接地点Ｐと、取得部１４で取得されたホイールベース及びトレッドとに基づいて、道路１１０から撮像部１１までの高さＨを算出する算出部１６と、を備える。
姿勢推定装置１は、従来のようにターゲットボードを車両１０１の外部に設置して、撮像部１１の取り付け位置を推定することがない。このため、作業者等は、従来のように疲労を感じることを抑制することができる。よって、姿勢推定装置１は、従来に比べて簡単な方法で撮像部１１（撮像位置）の姿勢を推定することができる。すなわち、姿勢推定装置１は、撮像部１１（撮像位置）の道路１１０からの高さＨを推定することができる。
In the above-mentioned embodiment, the following effects are produced, for example.
The
The
姿勢推定装置１は、撮像位置に配されると共に、被写体を撮像して画像データを生成し、その画像データを記憶部１２に記憶する撮像部１１をさらに備えることとしてもよい。
姿勢推定装置１は、撮像部１１を車両１０１に固定しておく必要がなく、車両１０１に対して着脱可能な撮像部１１を利用することができる。
The
The
姿勢推定装置１では、特定部１３は、複数の車両の種類を予め学習し、その学習の結果に基づいて画像データの画像を認識することにより、画像内に写った対向車１０２の種類を特定することとしてもよい。
これにより、姿勢推定装置１は、撮像部１１で生成した画像を認識することに基づいて、対向車１０２の種類を特定することができる。また、姿勢推定装置１は、追加で車両を学習することにより、新車が発売された場合でもその新車の種類を特定することができる。
In the
As a result, the
姿勢推定装置１では、特定部１３は画像内に写った複数の対向車１０２の種類を特定し、取得部１４は複数の対向車１０２それぞれのホイールベース及びトレッドを取得し、抽出部１５は複数の対向車１０２それぞれの３つ以上の接地点Ｐを抽出し、算出部１６は、対向車１０２毎に、距離Ｌ、平面Ｍ、及び、なす角θに基づいて、道路１１０から撮像部１１までの高さＨを算出することとしてもよい。
これにより、姿勢推定装置１は、複数の対向車１０２に基づいて道路１１０から撮像部１１までの高さＨを算出するので、得られる高さＨの精度を高くすることができる。
In the
As a result, the
姿勢推定装置１では、算出部１６は、道路１１０から撮像部１１までの高さＨを算出することとして、複数の高さＨのうち最も高いものを道路１１０から撮像部１１までの高さＨとすることとしてもよい。
これにより、姿勢推定装置１は、得られる高さＨの精度を高くすることができる。
In the
Thereby, the
姿勢推定装置１では、算出部１６は、道路１１０から撮像部１１までの高さＨを算出することとして、複数の高さＨの相加平均を算出して、相加平均の値を道路１１０から撮像部１１までの高さＨとすることとしてもよい。
これにより、姿勢推定装置１は、得られる高さＨの精度を高くすることができる。
In the
Thereby, the
姿勢推定装置１では、特定部１３は画像内に複数の対向車１０２が写る場合、複数の対向車１０２のうち画像内のサイズが最も大きい対向車１０２の種類を特定し、抽出部１５はその対向車１０２に対応する３つ以上の接地点Ｐを抽出することとしてもよい。
これにより、姿勢推定装置１は、抽出される３つ以上の接地点Ｐに基づいて推定される平面Ｍ（三角形）のサイズを大きくすることができるので、その平面Ｍ（三角形）に基づいて算出される道路１１０から撮像部１１までの高さＨの精度を高くすることができる。
In the
Thereby, the
また、姿勢推定方法及び姿勢推定プログラムは、上述した姿勢推定装置１と同様の効果を奏する。
Further, the posture estimation method and the posture estimation program have the same effects as those of the
なお、上述した実施形態の姿勢推定装置１は、以下の構成を備えてもよい。
すなわち、記憶部１２は、道路地図に関する地図データを記憶することとしてもよい。この場合、記憶部１２に記憶される地図データを参照し、対向車１０２との間の道路上に障害物がない道路区間又は駐車場において画像データが生成された時に、特定部１３は、その画像データに基づいて対向車１０２の種類を特定し、抽出部１５は、対向車１０２の３つ以上の接地点Ｐを抽出してもよい。
具体的には、姿勢推定装置１は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）等の車両１０１の位置情報を取得する位置情報取得部により、車両１０１の現在位置を取得する。姿勢推定装置１は、取得した位置情報を画像データに記録する。姿勢推定装置１は、画像データに記録される位置情報と、地図データに基づいて、車両１０１が走行する又は駐車する位置（現在位置）に障害物が有るか否かを判断する。ここで、地図データには、中央分離帯等の障害物が存在する道路の情報が記録されている。姿勢推定装置１は、車両１０１の現在位置に障害物が有る場合には、その現在位置において生成された画像データに基づいて道路１１０から撮像部１１までの高さＨは算出しない。一方、姿勢推定装置１は、車両１０１の現在位置に障害物が無い場合には、その現在位置において生成された画像データに基づいて道路１１０から撮像部１１までの高さＨを算出することが可能である。
The
That is, the
Specifically, the
上述した実施形態では、姿勢推定装置１は、車両として対向車１０２の画像に基づいて、道路１１０から撮像部１１までの高さＨを算出することについて説明した。本発明は、この一例に限定されることはなく、少なくとも３つ以上の接地点Ｐを有する工業製品の画像に基づいて、道路１１０から撮像部１１までの高さＨを算出することとしてもよい。工業製品の一例としては、車いす等である。
In the above-described embodiment, the
上記実施形態では、姿勢推定装置１が撮像部１１、記憶部１２、特定部１３、取得部１４、抽出部１５及び算出を備える例について説明した。これらの各機能部は、集積回路等に形成される論理回路等によって実現されてもよい。図９に例示するように、姿勢推定装置１は、撮像回路１１ａ、記憶回路１２ａ、特定回路１３ａ、取得回路１４ａ、抽出回路１５ａ及び算出回路１６ａを備えてもよい。
In the above-described embodiment, the example in which the
１ 姿勢推定装置
１１ 撮像部
１２ 記憶部
１３ 特定部
１４ 取得部
１５ 抽出部
１６ 算出部
DESCRIPTION OF
Claims (22)
前記記憶部に記憶される画像データに基づいて、画像内に写った車両の種類を特定する特定部と、
前記特定部によって特定された車両の種類と、前記記憶部に記憶される前記車両情報とに基づいて、車両の種類を特定した車両のホイールベース及びトレッドを取得する取得部と、
前記記憶部に記憶される画像データに基づいて、車両の種類を特定した車両と路面との３つ以上の接地点を抽出する抽出部と、
前記抽出部によって抽出された前記３つ以上の接地点と、前記取得部で取得されたホイールベース及びトレッドとに基づいて、画像データを生成する時の撮像位置から前記車両における接地点のうちいずれか１つまでの距離を算出すると共に、前記３つ以上の接地点に基づいて前記３つ以上の接地点を含む平面を推定し、前記距離、前記平面、及び、前記距離を算出する際に選択した前記車両の接地点と前記撮像位置とを結ぶ直線と前記平面とのなす角に基づいて、前記平面から前記撮像位置までの高さを算出する算出部と、
を備える姿勢推定装置。 A storage unit that stores image data and also stores vehicle information that associates a vehicle type with a wheel base and a tread of the vehicle,
A specifying unit that specifies the type of vehicle shown in the image based on the image data stored in the storage unit;
Based on the vehicle type specified by the specifying unit, and the vehicle information stored in the storage unit, an acquisition unit that acquires the wheelbase and tread of the vehicle that has specified the vehicle type,
An extraction unit that extracts three or more ground contact points of the vehicle and the road surface, which specify the type of vehicle, based on the image data stored in the storage unit;
Which of the ground points in the vehicle from the imaging position when image data is generated based on the three or more ground points extracted by the extraction unit and the wheel base and the tread acquired by the acquisition unit When calculating a distance to one or more, estimating a plane including the three or more ground points based on the three or more ground points, and calculating the distance, the plane, and the distance A calculating unit that calculates a height from the plane to the image pickup position based on an angle formed by the straight line connecting the selected ground contact point of the vehicle and the image pickup position and the plane.
Posture estimation device comprising:
請求項１に記載の姿勢推定装置。 The posture estimation apparatus according to claim 1, further comprising: an imaging unit that is arranged at the imaging position, images a subject to generate image data, and stores the image data in the storage unit.
請求項１又は２に記載の姿勢推定装置。 The said specific|specification part preliminarily learns the kind of several vehicles, and recognizes the image of image data based on the result of the learning, and specifies the kind of vehicle reflected in the image. Posture estimation device.
前記取得部は、複数の車両それぞれのホイールベース及びトレッドを取得し、
前記抽出部は、複数の車両それぞれの３つ以上の接地点を抽出し、
前記算出部は、前記撮像位置から前記複数の車両それぞれにおける接地点のいずれか１つまでの距離を算出すると共に、前記複数の車両それぞれの３つ以上の接地点に基づいて平面を推定し、前記車両毎に、前記距離、前記平面、及び、前記なす角に基づいて、前記平面から前記撮像位置までの高さを算出する
請求項１〜３のいずれか１項に記載の姿勢推定装置。 The specifying unit specifies a plurality of vehicle types shown in the image,
The acquisition unit acquires a wheel base and a tread of each of a plurality of vehicles,
The extraction unit extracts three or more ground contact points of each of a plurality of vehicles,
The calculating unit calculates a distance from the imaging position to any one of ground contact points of each of the plurality of vehicles, and estimates a plane based on three or more ground contact points of each of the plurality of vehicles, The posture estimation device according to claim 1, wherein a height from the plane to the imaging position is calculated based on the distance, the plane, and the angle formed for each vehicle.
請求項４に記載の姿勢推定装置。 The posture estimation according to claim 4, wherein the calculation unit calculates the height from the plane to the image capturing position, and sets the highest one of the plurality of heights as the height from the plane to the image capturing position. apparatus.
請求項４に記載の姿勢推定装置。 The calculating unit calculates the height from the plane to the image capturing position, calculates an arithmetic average of a plurality of heights, and sets the value of the arithmetic average to the height from the plane to the image capturing position. The posture estimation device according to claim 4.
前記抽出部は、その車両に対応する３つ以上の接地点を抽出する
請求項１〜３のいずれか１項に記載の姿勢推定装置。 When a plurality of vehicles appear in the image, the identifying unit identifies the type of the vehicle having the largest size in the image among the plurality of vehicles,
The posture estimation device according to claim 1, wherein the extraction unit extracts three or more ground contact points corresponding to the vehicle.
画像データを記憶部に記憶すると共に、車両の種類と、その車両のホイールベース及びトレッドとを対応付けた車両情報を記憶部に記憶する記憶ステップと、
前記記憶部に記憶される画像データに基づいて、画像内に写った車両の種類を特定する特定ステップと、
前記特定ステップによって特定された車両の種類と、前記記憶部に記憶される前記車両情報とに基づいて、車両の種類を特定した車両のホイールベース及びトレッドを取得する取得ステップと、
前記記憶部に記憶される画像データに基づいて、車両の種類を特定した車両と路面との３つ以上の接地点を抽出する抽出ステップと、
前記抽出ステップによって抽出された前記３つ以上の接地点と、前記取得ステップで取得されたホイールベース及びトレッドとに基づいて、画像データを生成する時の撮像位置から前記車両における接地点のうちいずれか１つまでの距離を算出すると共に、前記３つ以上の接地点に基づいて前記３つ以上の接地点を含む平面を推定し、前記距離、前記平面、及び、前記距離を算出する際に選択した前記車両の接地点と前記撮像位置とを結ぶ直線と前記平面とのなす角に基づいて、前記平面から前記撮像位置までの高さを算出する算出ステップと、
を実行する姿勢推定方法。 Computer
A storage step of storing the image data in the storage unit, and storing the vehicle information in which the vehicle type and the wheelbase and tread of the vehicle are associated with each other in the storage unit,
A specifying step of specifying the type of vehicle shown in the image based on the image data stored in the storage section;
Based on the type of vehicle specified by the specifying step and the vehicle information stored in the storage unit, an acquisition step of acquiring a wheelbase and a tread of the vehicle specifying the type of vehicle,
An extracting step of extracting three or more ground contact points of the vehicle and the road surface, the type of the vehicle of which is specified, based on the image data stored in the storage unit;
Which one of the ground points in the vehicle from the imaging position when the image data is generated based on the three or more ground points extracted in the extraction step and the wheel base and the tread acquired in the acquisition step When calculating a distance to one or more, estimating a plane including the three or more ground points based on the three or more ground points, and calculating the distance, the plane, and the distance A calculation step of calculating a height from the plane to the image pickup position based on an angle formed by the straight line connecting the selected ground contact point of the vehicle and the image pickup position and the plane;
Pose estimation method for executing.
前記撮像位置に配される撮像部によって被写体を撮像して画像データを生成し、その画像データを前記記憶部に記憶する撮像ステップを実行する
請求項８に記載の姿勢推定方法。 The computer is
The posture estimating method according to claim 8, further comprising: performing an image capturing step of capturing an image of a subject by the image capturing unit arranged at the image capturing position to generate image data, and storing the image data in the storage unit.
請求項８又は９に記載の姿勢推定方法。 The said specific|specification step identifies the kind of vehicle imaged in the image by learning the kind of several vehicles beforehand and recognizing the image of image data based on the result of the learning. Posture estimation method.
前記取得ステップは、複数の車両それぞれのホイールベース及びトレッドを取得し、
前記抽出ステップは、複数の車両それぞれの３つ以上の接地点を抽出し、
前記算出ステップは、前記撮像位置から前記複数の車両それぞれにおける接地点のいずれか１つまでの距離を算出すると共に、前記複数の車両それぞれの３つ以上の接地点に基づいて平面を推定し、前記車両毎に、前記距離、前記平面、及び、前記なす角に基づいて、前記平面から前記撮像位置までの高さを算出する
請求項８〜１０のいずれか１項に記載の姿勢推定方法。 The identifying step identifies the types of vehicles shown in the image,
The acquisition step acquires the wheelbase and tread of each of a plurality of vehicles,
The extraction step extracts three or more ground points of each of a plurality of vehicles,
The calculating step calculates a distance from the imaging position to any one of ground contact points in each of the plurality of vehicles, and estimates a plane based on three or more ground contact points in each of the plurality of vehicles, The posture estimation method according to claim 8, wherein a height from the plane to the imaging position is calculated based on the distance, the plane, and the formed angle for each vehicle.
請求項１１に記載の姿勢推定方法。 The posture estimation according to claim 11, wherein the calculating step calculates the height from the plane to the image capturing position, and sets the highest one of the plurality of heights as the height from the plane to the image capturing position. Method.
請求項１１に記載の姿勢推定方法。 The calculating step calculates the height from the plane to the image capturing position, calculates an arithmetic average of a plurality of heights, and calculates the value of the arithmetic average as the height from the plane to the image capturing position. The posture estimation method according to claim 11.
前記抽出ステップは、その車両に対応する３つ以上の接地点を抽出する
請求項８〜１０のいずれか１項に記載の姿勢推定方法。 The specifying step, when a plurality of vehicles are shown in the image, specifies the type of vehicle having the largest size in the image among the plurality of vehicles,
The posture estimation method according to claim 8, wherein the extraction step extracts three or more ground contact points corresponding to the vehicle.
画像データを記憶部に記憶すると共に、車両の種類と、その車両のホイールベース及びトレッドとを対応付けた車両情報を記憶部に記憶する記憶機能と、
前記記憶部に記憶される画像データに基づいて、画像内に写った車両の種類を特定する特定機能と、
前記特定機能によって特定された車両の種類と、前記記憶部に記憶される前記車両情報とに基づいて、車両の種類を特定した車両のホイールベース及びトレッドを取得する取得機能と、
前記記憶部に記憶される画像データに基づいて、車両の種類を特定した車両と路面との３つ以上の接地点を抽出する抽出機能と、
前記抽出機能によって抽出された前記３つ以上の接地点と、前記取得機能で取得されたホイールベース及びトレッドとに基づいて、画像データを生成する時の撮像位置から前記車両における接地点のうちいずれか１つまでの距離を算出すると共に、前記３つ以上の接地点に基づいて前記３つ以上の接地点を含む平面を推定し、前記距離、前記平面、及び、前記距離を算出する際に選択した前記車両の接地点と前記撮像位置とを結ぶ直線と前記平面とのなす角に基づいて、前記平面から前記撮像位置までの高さを算出する算出機能と、
を実現させる姿勢推定プログラム。 On the computer,
A storage function of storing the image data in the storage unit, and storing in the storage unit vehicle information in which the vehicle type and the wheelbase and tread of the vehicle are associated with each other,
Based on the image data stored in the storage unit, a specific function of specifying the type of vehicle shown in the image,
Based on the type of vehicle specified by the specific function and the vehicle information stored in the storage unit, an acquisition function of acquiring the wheelbase and tread of the vehicle that specifies the type of vehicle,
An extraction function of extracting three or more ground contact points of the vehicle and the road surface, which specify the type of vehicle, based on the image data stored in the storage unit;
Which of the three ground contact points extracted by the extraction function and the wheel base and the tread acquired by the acquisition function, from the image capturing position when the image data is generated, to the ground contact point in the vehicle When calculating a distance to one or more, estimating a plane including the three or more ground points based on the three or more ground points, and calculating the distance, the plane, and the distance A calculation function of calculating a height from the plane to the image pickup position, based on an angle formed by the straight line connecting the selected ground contact point of the vehicle and the image pickup position and the plane.
Posture estimation program that realizes
前記撮像位置に配される撮像部によって被写体を撮像して画像データを生成し、その画像データを前記記憶部に記憶させる撮像機能を実現させる
請求項１５に記載の姿勢推定プログラム。 On the computer,
The posture estimation program according to claim 15, wherein an image capturing function is realized by an image capturing unit arranged at the image capturing position to generate image data, and the image data is stored in the storage unit.
請求項１５又は１６に記載の姿勢推定プログラム。 17. The specific function learns a plurality of vehicle types in advance and recognizes an image of image data based on a result of the learning to identify a vehicle type shown in the image. Posture estimation program.
前記取得機能は、複数の車両それぞれのホイールベース及びトレッドを取得し、
前記抽出機能は、複数の車両それぞれの３つ以上の接地点を抽出し、
前記算出機能は、前記撮像位置から前記複数の車両それぞれにおける接地点のいずれか１つまでの距離を算出すると共に、前記複数の車両それぞれの３つ以上の接地点に基づいて平面を推定し、前記車両毎に、前記距離、前記平面、及び、前記なす角に基づいて、前記平面から前記撮像位置までの高さを算出する
請求項１５〜１７のいずれか１項に記載の姿勢推定プログラム。 The specific function specifies a plurality of vehicle types shown in the image,
The acquisition function acquires the wheelbase and tread of each of a plurality of vehicles,
The extraction function extracts three or more ground points of each of a plurality of vehicles,
The calculation function calculates a distance from the imaging position to any one of ground contact points in each of the plurality of vehicles, and estimates a plane based on three or more ground contact points in each of the plurality of vehicles, The posture estimation program according to any one of claims 15 to 17, wherein a height from the plane to the imaging position is calculated based on the distance, the plane, and the formed angle for each vehicle.
請求項１８に記載の姿勢推定プログラム。 The posture estimation according to claim 18, wherein the calculation function calculates the height from the plane to the imaging position, and sets the highest one of the plurality of heights as the height from the plane to the imaging position. program.
請求項１８に記載の姿勢推定プログラム。 The calculation function calculates the height from the plane to the image pickup position, calculates an arithmetic mean of a plurality of heights, and calculates an arithmetic mean value as a height from the plane to the image pickup position. The posture estimation program according to claim 18.
前記抽出機能は、その車両に対応する３つ以上の接地点を抽出する
請求項１５〜１７のいずれか１項に記載の姿勢推定プログラム。 The specific function, when a plurality of vehicles appear in the image, identifies the type of the vehicle having the largest size in the image among the plurality of vehicles,
The posture estimation program according to any one of claims 15 to 17, wherein the extraction function extracts three or more ground contact points corresponding to the vehicle.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019006320A JP7021131B2 (en) | 2019-01-17 | 2019-01-17 | Posture estimation device, posture estimation method, posture estimation program and recording medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019006320A JP7021131B2 (en) | 2019-01-17 | 2019-01-17 | Posture estimation device, posture estimation method, posture estimation program and recording medium |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020115094A true JP2020115094A (en) | 2020-07-30 |
| JP7021131B2 JP7021131B2 (en) | 2022-02-16 |
Family
ID=71778501
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019006320A Active JP7021131B2 (en) | 2019-01-17 | 2019-01-17 | Posture estimation device, posture estimation method, posture estimation program and recording medium |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7021131B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113591936A (en) * | 2021-07-09 | 2021-11-02 | 厦门市美亚柏科信息股份有限公司 | Vehicle attitude estimation method, terminal device and storage medium |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014059793A (en) * | 2012-09-19 | 2014-04-03 | Nissan Motor Co Ltd | Camera mounting error correction device and camera mounting error correction method |
| JP2018148520A (en) * | 2017-03-09 | 2018-09-20 | 国立研究開発法人農業・食品産業技術総合研究機構 | Attachment direction parameter calculation device for on-vehicle camera and attachment direction parameter calculation method |
-
2019
- 2019-01-17 JP JP2019006320A patent/JP7021131B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014059793A (en) * | 2012-09-19 | 2014-04-03 | Nissan Motor Co Ltd | Camera mounting error correction device and camera mounting error correction method |
| JP2018148520A (en) * | 2017-03-09 | 2018-09-20 | 国立研究開発法人農業・食品産業技術総合研究機構 | Attachment direction parameter calculation device for on-vehicle camera and attachment direction parameter calculation method |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113591936A (en) * | 2021-07-09 | 2021-11-02 | 厦门市美亚柏科信息股份有限公司 | Vehicle attitude estimation method, terminal device and storage medium |
| CN113591936B (en) * | 2021-07-09 | 2022-09-09 | 厦门市美亚柏科信息股份有限公司 | Vehicle attitude estimation method, terminal device and storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7021131B2 (en) | 2022-02-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11763571B2 (en) | Monocular cued detection of three-dimensional structures from depth images | |
| US11854272B2 (en) | Hazard detection from a camera in a scene with moving shadows | |
| JP6670071B2 (en) | Vehicle image recognition system and corresponding method | |
| JP4328692B2 (en) | Object detection device | |
| JP5926228B2 (en) | Depth detection method and system for autonomous vehicles | |
| JP3719095B2 (en) | Behavior detection apparatus and gradient detection method | |
| JP4297501B2 (en) | Moving object periphery monitoring device | |
| JP5867273B2 (en) | Approaching object detection device, approaching object detection method, and computer program for approaching object detection | |
| JP4899424B2 (en) | Object detection device | |
| JP6209141B2 (en) | Obstacle detection apparatus and method | |
| JP6316161B2 (en) | In-vehicle image processing device | |
| JP2017034674A (en) | Travel correction from stationary target | |
| CN110717445B (en) | Front vehicle distance tracking system and method for automatic driving | |
| JP6769477B2 (en) | Image processing device, imaging device, mobile device control system, image processing method, and program | |
| CN109946703B (en) | Sensor attitude adjusting method and device | |
| JP2013140515A (en) | Solid object detection device and program | |
| JPWO2018179281A1 (en) | Object detection device and vehicle | |
| CN107145828B (en) | Vehicle panoramic image processing method and device | |
| JP2009245042A (en) | Traffic flow measurement device and program | |
| JP2019066333A (en) | Outside recognition device for vehicle | |
| TWI682361B (en) | Method and system for road image reconstruction and vehicle positioning | |
| JPWO2020105499A1 (en) | Image processing device, image processing method, and program | |
| JP7021131B2 (en) | Posture estimation device, posture estimation method, posture estimation program and recording medium | |
| JP5981284B2 (en) | Object detection device and object detection method | |
| JP2006053754A (en) | Plane detection apparatus and detection method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210217 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220126 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220201 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220203 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7021131 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |