JP2020115094A - Posture estimation device, posture estimation method, posture estimation program, and recording medium - Google Patents
Posture estimation device, posture estimation method, posture estimation program, and recording medium Download PDFInfo
- Publication number
- JP2020115094A JP2020115094A JP2019006320A JP2019006320A JP2020115094A JP 2020115094 A JP2020115094 A JP 2020115094A JP 2019006320 A JP2019006320 A JP 2019006320A JP 2019006320 A JP2019006320 A JP 2019006320A JP 2020115094 A JP2020115094 A JP 2020115094A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- image
- plane
- unit
- posture estimation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Abstract
Description
本発明は、姿勢推定装置、姿勢推定方法、姿勢推定プログラム及び記録媒体に関する。 The present invention relates to a posture estimation device, a posture estimation method, a posture estimation program, and a recording medium.
従来から、撮像カメラを車両に取り付ける例が存在する。このような撮像カメラは、撮像した画像についてキャリブレーションを行い、キャリブレーション後の画像を表示部に表示したり、キャリブレーション後の画像に基づいて道路の周辺の情報を収集したりする場合に利用される。このような場合、撮像カメラの設置位置及び姿勢を表すパラメータについてキャリブレーションを行う必要があるが、一例として、撮像カメラの道路面からの高さを求め、その高さに基づいてキャリブレーションを行う場合がある。 Conventionally, there is an example in which an imaging camera is attached to a vehicle. Such an imaging camera is used to calibrate the captured image, display the calibrated image on the display unit, or collect information around the road based on the calibrated image. To be done. In such a case, it is necessary to calibrate the parameters indicating the installation position and orientation of the image pickup camera. As an example, the height of the image pickup camera from the road surface is obtained, and the calibration is performed based on the height. There are cases.
特許文献1に記載された発明は、円パターンが設けられたターゲットボードを車両に対して予め定められた位置に設置し、車両に配された撮像カメラによってターゲットボードを撮像して画像データを生成する構成である。特許文献1に記載された発明は、画像データに基づいてターゲットボードの円パターンの座標位置を算出し、その座標位置を撮像データ上の座標位置に変換して、その変換された座標位置に基づいて撮像カメラの取り付け位置を推定する構成である。
In the invention described in
特許文献1に記載された発明は、車両の外部にターゲットボードを設置する必要がある。例えば、天候が雨又は強風等であったり、酷暑等であったりした場合には、車両に対して予め定められた位置にターゲットボードを設置するだけでも、作業者は疲労を感じることになる。このため、ターゲットボードを車両に外部に設置しなくとも、より簡単な方法で撮像カメラの取り付け位置を推定する手法が求められている。
In the invention described in
本発明は、簡単な方法で撮像位置の姿勢を推定できる姿勢推定装置、姿勢推定方法、姿勢推定プログラム及び記録媒体を提供することを目的とする。 An object of the present invention is to provide a posture estimation device, a posture estimation method, a posture estimation program, and a recording medium that can estimate the posture of an image pickup position by a simple method.
一態様に係る姿勢推定装置は、画像データを記憶すると共に、車両の種類と、その車両のホイールベース及びトレッドとを対応付けた車両情報を記憶する記憶部と、記憶部に記憶される画像データに基づいて、画像内に写った車両の種類を特定する特定部と、特定部によって特定された車両の種類と、記憶部に記憶される車両情報とに基づいて、車両の種類を特定した車両のホイールベース及びトレッドを取得する取得部と、記憶部に記憶される画像データに基づいて、車両の種類を特定した車両と路面との3つ以上の接地点を抽出する抽出部と、抽出部によって抽出された3つ以上の接地点と、取得部で取得されたホイールベース及びトレッドとに基づいて、画像データを生成する時の撮像位置から車両における接地点のうちいずれか1つまでの距離を算出すると共に、3つ以上の接地点に基づいて3つ以上の接地点を含む平面を推定し、距離、平面、及び、距離を算出する際に選択した車両の接地点と撮像位置とを結ぶ直線と平面とのなす角に基づいて、平面から撮像位置までの高さを算出する算出部と、を備える。 An attitude estimation device according to one aspect stores image data, a storage unit that stores vehicle information in which a vehicle type, a wheelbase of the vehicle, and a tread are associated with each other, and image data stored in the storage unit. Based on the vehicle type, the vehicle type is identified on the basis of the identifying unit that identifies the vehicle type in the image, the vehicle type identified by the identifying unit, and the vehicle information stored in the storage unit. A wheelbase and a tread of the vehicle, an extraction section that extracts three or more ground points of the vehicle and the road surface that specify the vehicle type based on the image data stored in the storage section, and an extraction section. Based on the three or more ground points extracted by the wheel base and the tread acquired by the acquisition unit, the distance from the imaging position when generating the image data to one of the ground points in the vehicle And a plane including three or more ground points is estimated based on the three or more ground points, and the distance, the plane, and the ground point and the imaging position of the vehicle selected when the distance is calculated are calculated. And a calculator that calculates the height from the plane to the imaging position based on the angle formed by the connecting straight line and the plane.
一態様に係る姿勢推定装置は、撮像位置に配されると共に、被写体を撮像して画像データを生成し、その画像データを記憶部に記憶する撮像部をさらに備えることとしてもよい。 The posture estimation apparatus according to one aspect may be further provided with an image pickup unit that is arranged at the image pickup position, picks up an image of a subject to generate image data, and stores the image data in the storage unit.
一態様に係る姿勢推定装置では、特定部は、複数の車両の種類を予め学習し、その学習の結果に基づいて画像データの画像を認識することにより、画像内に写った車両の種類を特定することとしてもよい。 In the posture estimation device according to one aspect, the specifying unit specifies the type of vehicle shown in the image by learning a plurality of vehicle types in advance and recognizing the image of the image data based on the learning result. It may be done.
一態様に係る姿勢推定装置では、特定部は、画像内に写った複数の車両の種類を特定し、取得部は、複数の車両それぞれのホイールベース及びトレッドを取得し、抽出部は、複数の車両それぞれの3つ以上の接地点を抽出し、算出部は、撮像位置から複数の車両それぞれにおける接地点のいずれか1つまでの距離を算出すると共に、複数の車両それぞれの3つ以上の接地点に基づいて平面を推定し、車両毎に、距離、平面、及び、なす角に基づいて、平面から撮像位置までの高さを算出することとしてもよい。 In the posture estimation apparatus according to one aspect, the specifying unit specifies the types of the plurality of vehicles captured in the image, the acquisition unit acquires the wheelbase and the tread of each of the plurality of vehicles, and the extraction unit includes the plurality of vehicles. The three or more ground points of each vehicle are extracted, and the calculation unit calculates the distance from the imaging position to any one of the ground points of each of the plurality of vehicles, and at the same time, three or more contact points of each of the plurality of vehicles are calculated. The plane may be estimated based on the point, and the height from the plane to the imaging position may be calculated for each vehicle based on the distance, the plane, and the angle formed.
一態様に係る姿勢推定装置では、算出部は、平面から撮像位置までの高さを算出することとして、複数の高さのうち最も高いものを平面から撮像位置までの高さとすることとしてもよい。 In the posture estimation apparatus according to one aspect, the calculation unit may calculate the height from the plane to the image capturing position, and determine the highest one of the plurality of heights as the height from the plane to the image capturing position. ..
一態様に係る姿勢推定装置では、算出部は、平面から撮像位置までの高さを算出することとして、複数の高さの相加平均を算出して、相加平均の値を平面から撮像位置までの高さとすることとしてもよい。 In the posture estimation device according to one aspect, the calculation unit calculates an arithmetic average of a plurality of heights by calculating a height from the plane to the imaging position, and calculates an arithmetic average value from the plane to the imaging position. It may be up to the height.
一態様に係る姿勢推定装置では、特定部は、画像内に複数の車両が写る場合、複数の車両のうち画像内のサイズが最も大きい車両の種類を特定し、抽出部は、その車両に対応する3つ以上の接地点を抽出することとしてもよい。 In the posture estimation device according to one aspect, when a plurality of vehicles are included in the image, the identifying unit identifies the type of the vehicle having the largest size in the image among the plurality of vehicles, and the extracting unit corresponds to the vehicle. It is also possible to extract three or more ground points to be used.
一態様に係る姿勢推定方法では、コンピュータが、画像データを記憶部に記憶すると共に、車両の種類と、その車両のホイールベース及びトレッドとを対応付けた車両情報を記憶部に記憶する記憶ステップと、記憶部に記憶される画像データに基づいて、画像内に写った車両の種類を特定する特定ステップと、特定ステップによって特定された車両の種類と、記憶部に記憶される車両情報とに基づいて、車両の種類を特定した車両のホイールベース及びトレッドを取得する取得ステップと、記憶部に記憶される画像データに基づいて、車両の種類を特定した車両と路面との3つ以上の接地点を抽出する抽出ステップと、抽出ステップによって抽出された3つ以上の接地点と、取得ステップで取得されたホイールベース及びトレッドとに基づいて、画像データを生成する時の撮像位置から車両における接地点のうちいずれか1つまでの距離を算出すると共に、3つ以上の接地点に基づいて3つ以上の接地点を含む平面を推定し、距離、平面、及び、距離を算出する際に選択した車両の接地点と撮像位置とを結ぶ直線と平面とのなす角に基づいて、平面から撮像位置までの高さを算出する算出ステップと、を実行する。 In the attitude estimation method according to one aspect, a storage step in which the computer stores the image data in the storage unit, and also stores in the storage unit, vehicle information in which the type of vehicle, the wheelbase of the vehicle, and the tread are associated with each other Based on the image data stored in the storage unit, based on the identification step of identifying the type of vehicle shown in the image, the type of vehicle identified by the identification step, and the vehicle information stored in the storage unit Based on the image data stored in the storage unit, an acquisition step of acquiring the wheelbase and tread of the vehicle in which the vehicle type is specified, and three or more ground points of the vehicle in which the vehicle type is specified and the road surface. Based on the extraction step of extracting, the three or more ground points extracted in the extraction step, and the wheel base and the tread acquired in the acquisition step, and the ground point in the vehicle from the imaging position when the image data is generated. The distance to any one of them is calculated, the plane including three or more ground points is estimated based on the three or more ground points, and the distance, the plane, and the distance are selected when calculating the distance. And a calculation step of calculating the height from the plane to the image pickup position based on the angle formed by the straight line connecting the ground contact point of the vehicle and the image pickup position with the plane.
一態様に係る姿勢推定プログラムは、コンピュータに、画像データを記憶部に記憶すると共に、車両の種類と、その車両のホイールベース及びトレッドとを対応付けた車両情報を記憶部に記憶する記憶機能と、記憶部に記憶される画像データに基づいて、画像内に写った車両の種類を特定する特定機能と、特定機能によって特定された車両の種類と、記憶部に記憶される車両情報とに基づいて、車両の種類を特定した車両のホイールベース及びトレッドを取得する取得機能と、記憶部に記憶される画像データに基づいて、車両の種類を特定した車両と路面との3つ以上の接地点を抽出する抽出機能と、抽出機能によって抽出された3つ以上の接地点と、取得機能で取得されたホイールベース及びトレッドとに基づいて、画像データを生成する時の撮像位置から車両における接地点のうちいずれか1つまでの距離を算出すると共に、3つ以上の接地点に基づいて3つ以上の接地点を含む平面を推定し、距離、平面、及び、距離を算出する際に選択した車両の接地点と撮像位置とを結ぶ直線と平面とのなす角に基づいて、平面から撮像位置までの高さを算出する算出機能と、を実現させる。 A posture estimation program according to one aspect has a storage function of causing a computer to store image data in a storage unit, and to store in the storage unit vehicle information that associates a vehicle type with a wheelbase and a tread of the vehicle. , Based on the image data stored in the storage unit, a specific function for identifying the type of vehicle shown in the image, the vehicle type identified by the specific function, and vehicle information stored in the storage unit. Based on the image data stored in the storage unit and the acquisition function of acquiring the wheelbase and tread of the vehicle in which the vehicle type is specified, and three or more ground points of the vehicle in which the vehicle type is specified and the road surface. Based on the extraction function for extracting the image, the three or more ground points extracted by the extraction function, and the wheelbase and the tread acquired by the acquisition function, and the ground point in the vehicle from the imaging position when the image data is generated. The distance to any one of them is calculated, the plane including three or more ground points is estimated based on the three or more ground points, and the distance, the plane, and the distance are selected when calculating the distance. And a calculation function for calculating the height from the plane to the image pickup position based on the angle formed by the straight line connecting the ground point of the vehicle and the image pickup position with the plane.
本発明の一態様の姿勢推定装置は、車両の種類を特定すると共に、その車両と道路との接地点を抽出することによって、平面から撮像位置までの高さを算出するので、作業者にターゲットボードを車両の外部に設置する労を強いることなく撮影位置の姿勢を推定することができる。
また、本発明の一態様の姿勢推定方法及び姿勢推定プログラムは、上述した姿勢推定装置と同様の効果を奏することができる。
The posture estimation device of one embodiment of the present invention specifies the type of vehicle and calculates the height from the plane to the imaging position by extracting the grounding point between the vehicle and the road, so that the target for the operator is targeted. The posture of the shooting position can be estimated without the effort of installing the board outside the vehicle.
Further, the posture estimation method and the posture estimation program according to one aspect of the present invention can achieve the same effects as the above-described posture estimation device.
以下、本発明の一実施形態について説明する。
図1は、一実施形態に係る姿勢推定装置の概略について説明するための図である。
An embodiment of the present invention will be described below.
FIG. 1 is a diagram for explaining an outline of a posture estimation device according to an embodiment.
本実施形態の姿勢推定装置1は、例えば、車両101の室内等に配される撮像部11の姿勢を推定する。具体的には、姿勢推定装置1は、撮像部11の道路110(図3参照)からの高さH(図3参照)を推定する。
このため、姿勢推定装置1は、例えば、撮像部11が配された車両101が道路110を走行し、又は、平らな駐車場に駐車する場合等、撮像部11によって対向車、前方の車両又は後方の車両(ここでは「対向車102」と記載するが、対向車に限らず並行車であってもよい。)を撮像し、対向車102の3つ以上の接地点Pを取得する。また、姿勢推定装置1は、撮像部11によって撮像された対向車102の種類に基づいて、その対向車102のホイールベース及びトレッドを取得する。姿勢推定装置1は、取得した3つ以上の接地点Pと、取得したホイールベース及びトレッドとに基づいて、道路110から撮像部11までの高さHを推定する。
The
Therefore, the
具体的には、姿勢推定装置1は以下の構成となる。姿勢推定装置1は、例えば、コンピュータシステムによって実現される。
図2は、一実施形態に係る姿勢推定装置について説明するためのブロック図である。図3は、撮像部の設置位置の一例について説明するための図である。図4は、撮像部で撮像される画像の一例について説明するための図である。
Specifically, the
FIG. 2 is a block diagram for explaining the posture estimation device according to the embodiment. FIG. 3 is a diagram for explaining an example of the installation position of the imaging unit. FIG. 4 is a diagram for explaining an example of an image captured by the image capturing unit.
図2に示すように、姿勢推定装置1は、撮像部11、記憶部12、特定部13、取得部14、抽出部15及び算出部16を備える。
As shown in FIG. 2, the
撮像部11は、車両101の所定位置に配される。一例として、撮像部11は、図1,図3に示すように、車両101の室内の天井等に配される。撮像部11は、車両101に着脱可能なように配され、車両101に臨時に取り付けられる。撮像部11は、一例として、車両101の前方及び斜め前方を撮像する。又は、撮像部11は、一例として、車両101の後方及び斜め後方を撮像する。これにより、撮像部11は、車両101の前方、後方又は斜め方向、を走行する対向車102、及び、車両101の前方又は斜め方向に駐車する対向車102を撮像することが可能である。撮像部11は、例えば、動画を撮像し、又は、時間的に連続して静止画を撮像する。撮像部11は、例えば、車両101の前方及び斜め前方等にある被写体(対向車102)を撮像して画像データを生成し、その画像データを記憶部12に記憶する。
The
撮像部11は、車両101が走行している場合及び車両101が停車している場合のいずれでも被写体を撮像することが可能である。姿勢推定装置1は、後述するように撮像部11の高さHを算出するため、車両101が停止している場合に撮像部11で撮像された画像に基づいて撮像部11の高さHを算出する方が、車両101が走行する場合に撮像部11で撮像された画像に基づいて撮像部11の高さHを算出する場合に比べて、精度が高くなる。
なお、姿勢推定装置1は、記憶部12、特定部13、取得部14、抽出部15及び算出部16を備え、撮像部11を備えない構成であってもよい。この場合、姿勢推定装置1では、記憶部12は別構成の撮像部によって予め撮像された画像データを記憶することとしてもよい。
The
The
記憶部12は、撮像部11で生成された画像データを記憶する。また、記憶部12は、車両の種類(具体的には、車種)と、その車両のホイールベース及びトレッドとを対応付けた車両情報を記憶する。ホイールベースは、車両の前輪と後輪との間の距離である。また、トレッドは、左前輪(後後輪)と右前輪(右後輪)との間の距離である。ホイールベース及びトレッドとも、一例として、車輪の中心を基準にしてそれぞれの距離が設定される。車両情報は、予め記憶部12に記憶される。
The
特定部13は、記憶部12に記憶される画像データに基づいて、画像内に写った対向車102の種類を特定する。特定部13は、例えば、記憶部12に記憶される画像データ(動画)の1又は複数のフレームに基づいて、対向車102の種類を特定することが可能である。又は、特定部13は、例えば、記憶部12に記憶される画像データである1又は複数の静止画に基づいて、対向車102の種類を特定することが可能である。
The identifying
特定部13は、一例として、機械学習等を利用して、画像内に写る対向車102の種類を特定することが可能である。すなわち、特定部13は、複数の車両の種類を予め学習し、その学習の結果を記憶部12等に記憶する。特定部13は、画像データを取得すると、その学習の結果に基づいて画像データの画像を認識することにより、画像内に写った対向車102の種類を特定する。
又は、特定部13は、車両の種類(車種)に関するデータを記憶部12に記憶し、そのデータに基づいて撮像部11で撮像された画像に基づいてパターンマッチングを行うことにより、対向車102の車種を特定してもよい。
特定部13は、画像内に複数の対向車102が写る場合、複数の対向車102の中から任意の1つの対向車102を選択して、選択した対向車102の種類を特定してもよい。又は、特定部13は、画像内に複数の対向車102が写る場合、複数の対向車102の全ての種類を特定してもよい。
ここで、特定部13は、画像内に複数の対向車102が写る場合、複数の対向車102のうち画像内のサイズが最も大きい対向車102の種類を特定することとしてもよい。例えば、特定部13は、画像を認識することに基づいて画像内に写る複数の対向車102のサイズを取得し、最も大きいサイズの対向車102の種類を特定する。最も大きいサイズの対向車102の種類を特定することにより、後述する撮像部11の高さHを算出する場合の精度を高くすることができる。
For example, the identifying
Alternatively, the identifying
When a plurality of oncoming
Here, when the plurality of oncoming
取得部14は、特定部13によって特定された対向車102の種類と、記憶部12に記憶される車両情報とに基づいて、種類を特定した対向車102のホイールベース及びトレッドを取得する。取得部14は、特定部13によって対向車102の種類が特定された場合、記憶部12にアクセスし、記憶部12に記憶される車両情報に基づいて、特定された対向車102のホイールベース及びトレッドを取得する。
The
抽出部15は、記憶部12に記憶される画像データに基づいて、種類を特定した対向車102と道路110(路面)との3つ以上の接地点Pを抽出する。すなわち、抽出部15は、画像内における接地点P(画像のピクセル位置)を抽出する。抽出部15は、特定部13で画像を認識した結果に基づいて、対向車102の種類を特定したその対向車の接地点Pを取得する。抽出部15は、一例として、深層学習を利用することにより、対向車102の接地点Pを取得することが可能である。対向車102の接地点Pは、その対向車102のタイヤが道路110に接地する点である。撮像部11は、対向車102を撮像部11に対して斜め方向から撮像した場合には、図4に例示するように、対向車102の左前輪、右前輪及び右後輪を写る画像を取得する。この場合には、抽出部15は、対向車102と道路110との3つ以上の接地点Pを抽出することが可能である。
The
ここで、特定部13によって特定された対向車102の種類がトラック及びバス等の大型車の場合、例えば、前輪又は後輪(片側)には前後に2以上のタイヤが配されることがある。この場合、抽出部15は、対向車102(大型車)と道路110との接地点Pとして、少なくとも4つの接地点Pを抽出することが可能である。また、対向車102の片側に3つ以上のタイヤが配される場合には、最も前のタイヤと、最も後ろのタイヤとの間隔をホイールベースとしてもよい。
また、抽出部15は、記憶部12に記憶されるホイールベース及びトレッドに対応したタイヤを選択する、すなわち、それらのタイヤに応じた3つ以上の接地点Pを抽出する必要がある。
Here, when the type of the
In addition, the
また、抽出部15は、画像内に複数の対向車102が写る場合、3つ以上の接地点Pを抽出できた複数の対向車102のうち、画像内のサイズが最も大きい対向車102に対応する3つ以上の接地点Pを選択することとしてもよい。すなわち、抽出部15は、画像内に複数の対向車102が写ることにより、対向車102と道路110との3つ以上の接地点Pを抽出できた対向車102が複数有る場合、画像内のサイズが最も大きい対向車102と道路110との3つ以上の接地点Pを選択することとしてもよい。姿勢推定装置1は、画像内のサイズが最も大きい対向車102に基づいて、後述するように道路110から撮像部11までの高さHを算出することにより、その算出の精度を高くすることができる。
Further, when a plurality of oncoming
図5は、接地点、及び、その接地点に基づいて推定される平面について説明するための図である。 FIG. 5 is a diagram for explaining a grounding point and a plane estimated based on the grounding point.
算出部16は、抽出部15によって抽出された3つ以上の接地点Pと、取得部14で取得されたホイールベース及びトレッドとに基づいて、画像データを生成する時の撮像部11(撮像位置)から対向車102における接地点Pのうちいずれか1つまでの距離を算出する。また、算出部16は、3つ以上の接地点Pに基づいて3つ以上の接地点Pを含む平面Mを推定する。そして、算出部16は、距離、平面M、及び、その距離を算出する際に選択した対向車102の接地点Pと撮像部11(撮像位置)とを結ぶ直線と平面Mとのなす角に基づいて、平面Mから撮像部11(撮像位置)までの高さHを算出する。
The calculation unit 16 generates the image data based on the three or more ground points P extracted by the
すなわち、算出部16は、3つ以上の接地点Pを含む平面Mを推定する。算出部16は、抽出部15によって接地点Pが3つ抽出されている場合、3つの接地点Pを頂点とする三角形を求め、その三角形をそれの面に沿って拡張することにより平面Mを推定する。
また、算出部16は、抽出部15によって4つ以上の接地点Pが抽出されている場合、撮像部11から見て両端の接地点Pと、その両端の接地点Pの間に有るいずれか1の接地点Pとを頂点とする三角形(平面M)を推定してもよい。又は、算出部16は、抽出部15によって4つ以上の接地点Pが抽出されている場合、それぞれの接地点Pを頂点とする多角形(平面M)を推定してもよい。
算出部16は、推定された平面M(三角形又は多角形)が道路110であり、且つ、平面Mは水平であると仮定する。
That is, the calculation unit 16 estimates a plane M including three or more ground points P. When the
In addition, when four or more ground points P are extracted by the
The calculation unit 16 assumes that the estimated plane M (triangle or polygon) is the
また、算出部16は、撮像部11(撮像位置)から対向車102の3つ以上の接地点Pのうちいずれか1つの接地点Pまでの距離を算出する。
ここで、算出部16は、上述したように推定された平面Mが三角形である場合、三角形の中央の接地点Pまでの距離を算出することとしてもよい。例えば、図5に例示するように、抽出部15によって3つの接地点P1〜P3が抽出された場合、算出部16は、接地点P3と撮像部11(撮像位置)との間の距離を算出することとしてもよい。すなわち、算出部16は、撮像部11から見て最も左にある接地点P1と最も右にある接地点P2との間にある接地点P3と、撮像部11(撮像位置)との間の距離を算出することとしてもよい。なお、算出部16は、上記の一例に限られず、接地点P1と撮像部11との間の距離を算出することとしてもよいし、接地点P2と撮像部11との間の距離を算出することとしてもよい。
The calculating unit 16 also calculates the distance from the image capturing unit 11 (image capturing position) to any one of the three or more ground contact points P of the
Here, when the plane M estimated as described above is a triangle, the calculation unit 16 may calculate the distance to the ground contact point P at the center of the triangle. For example, as illustrated in FIG. 5, when the
また、算出部16は、上述したように4つ以上の接地点Pに基づいて平面Mとして多角形が推定された場合、例えば、撮像部11から見て最も左にある接地点Pと最も右にある接地点Pとの間にあるいずれか1つの接地点Pと、撮像部11(撮像位置)との間の距離を算出することとしてもよい。又は、算出部16は、上記の一例で示す接地点Pとは異なる他の接地点Pと、撮像部11(撮像位置)との間の距離を算出することとしてもよい。
In addition, when the polygon is estimated as the plane M based on the four or more ground contact points P as described above, for example, the calculation unit 16 may find the leftmost contact point P and the rightmost contact point P as viewed from the
ここで、算出部16は、3つ以上の接地点Pに基づいて、対向車102の向きを推定することが可能である。
図6は、接地点及び対向車等の向きについて説明するための図である。図6(A)は対向車等の天地が反転する姿勢を示し、図6(B)は複数の接地点のうち両端にある接地点の間にある接地点が対向車等の奥にある場合を示す。
Here, the calculation unit 16 can estimate the direction of the
FIG. 6 is a diagram for explaining directions of a grounding point, an oncoming vehicle, and the like. FIG. 6(A) shows a posture in which an oncoming vehicle or the like is turned upside down, and FIG. 6(B) shows a case where a grounding point between the grounding points at both ends of a plurality of grounding points is at the back of the oncoming vehicle. Indicates.
対向車102の向きを推定する場合、図6(A)に示すように、対向車102の上下が反転することはありえない。すなわち、対向車102の屋根Rが下側(道路側)に存在し、その対向車102のタイヤTが上側に存在することはありえない。このため、算出部16は、対向車102の向きを推定する場合、必ず、対向車102のタイヤが下側(道路側)に存在し、その対向車102の屋根が上側に存在すると決定する。
When estimating the direction of the
また、対向車102の向きを推定する場合、図6(B)に示すように、3つの接地点Pのうち撮像部11から見て中央の頂点(撮像部11から見て両端の接地点P5,P6の間にある接地点P4)は、撮像部11から見て最も遠い接地点Pとなることはない。すなわち、図6(B)に示す場合では、抽出部15によって接地点P5,P6,P7が必ず抽出される。
Further, when estimating the direction of the
同様に、4つ以上の接地点Pが抽出された場合にも、撮像部11から見て最も左にある接地点Pと最も右にある接地点Pとの間にあるいずれか1つの接地点Pは、撮像部11から見て最も遠い接地点P(撮像部11から見て隠れる位置にある接地点P)として抽出されることはなく、撮像部11から見て最も近い接地点Pと推定することが可能である。
Similarly, when four or more grounding points P are extracted, any one grounding point between the leftmost grounding point P and the rightmost grounding point P viewed from the
そして、算出部16は、上述したように対向車102の向きを決定又は推定することができるので、3つ以上の接地点Pを含む平面Mについて、その平面Mの表裏を含めて一意に決めることができる。また、算出部16は、3つ以上の接地点Pのうち撮像部11から見て中央にある接地点Pが、その撮像部11から最も近い接地点Pとして設定する。算出部16は、上述したように、撮像部11から3つ以上の接地点Pのうちいずれか1つの接地点Pと撮像部11との間の距離を算出するが、撮像部11から最も近い接地点Pと撮像部11との間の距離を算出することとしてもよい。
Since the calculator 16 can determine or estimate the direction of the
また、算出部16は、上述したように対向車102の向きを決定又は推定し、さらに例えば、平面Mとして三角形が推定される場合、撮像部11から見て最も近い接地点Pと最も右側の接地点Pとの間の間隔と、撮像部11から見て最も近い接地点Pと最も左側の接地点Pとの間隔とを比較し、より間隔が短いものを車両101の前方(後方)部分する一方、より間隔が長いものを車両101の側面部分とすることとしてもよい。
Further, the calculation unit 16 determines or estimates the direction of the
図7は、道路から撮像部までの距離を算出する場合を説明するための図である。
なお、図7は、距離の算出を説明するために、簡略化した図(より理解しやすくした図)である。
算出部16は、上述したように対向車102の向きを決定し又は推定したことに基づいて、接地点P8と接地点P9との間隔(第1間隔)と、接地点P8と接地点P10との間隔(第2間隔)とに、対向車102のホイールベース又はトレッドをそれぞれ当てはめる。図7に例示する場合、算出部16は、第1間隔に対向車102のトレッドを当てはめ、第2間隔に対向車102のホイールベースを当てはめることにより、3つの接地点P8〜P10のうち最も近い接地点P8と、撮像部11(撮像位置)との間の距離Lを算出する。
なお、算出部16は、上記の例に限られず、接地点P9と撮像部11との間の距離Lを算出することとしてもよく、接地点P10と撮像部11との間の距離Lを算出することとしてもよい。
FIG. 7 is a diagram for explaining a case where the distance from the road to the image capturing unit is calculated.
Note that FIG. 7 is a simplified diagram (a diagram that is easier to understand) for explaining the calculation of the distance.
The calculation unit 16 determines the distance between the ground contact point P8 and the ground contact point P9 (first clearance), the ground contact point P8, and the ground contact point P10 based on the direction of the
Note that the calculation unit 16 is not limited to the above example, and may calculate the distance L between the ground contact point P9 and the
なお、撮像部11によって対向車線を走行する対向車のみを撮像すると予め設定する場合には、算出部16は、図7の例示では、接地点P8と接地点P9との間隔(第1間隔)が対向車の前方部分、接地点P8と接地点P10との間隔(第2間隔)が対向車の側面部分と特定することができる。
When it is set in advance that only the oncoming vehicle traveling in the oncoming lane is imaged by the
具体的な一例として、算出部16は、画像内における接地点P8〜P10の位置(ピクセル位置(マーカ座標系))を取得する。算出部16は、この画像内の接地点P8〜P10のピクセル位置を座標変換行列によりカメラ座標系に変換する。これにより、算出部16は、撮像部から見た接地点P8〜P10の位置・姿勢を取得することができる。算出部16は、特定された対向車102のホイールベース及びトレッドに基づいて、カメラ座標系における接地点P8と接地点P9との間隔(第1間隔)と、接地点P8と接地点P10との間隔(第2間隔)とを取得する。算出部16は、対向車102のホイールベール及びトレッドと、カメラ座標系における第1間隔及び第2間隔とに基づいて、撮像部11と接地点Pとの距離Lを算出する。
As a specific example, the calculation unit 16 acquires the positions (pixel positions (marker coordinate system)) of the ground contact points P8 to P10 in the image. The calculation unit 16 converts the pixel positions of the ground contact points P8 to P10 in this image into the camera coordinate system by the coordinate conversion matrix. Accordingly, the calculation unit 16 can acquire the positions/postures of the ground contact points P8 to P10 viewed from the imaging unit. Based on the wheelbase and tread of the
また、算出部16は、平面Mが水平であり、且つ、その平面Mが道路であると仮定すると、平面M及び距離Lに基づいて、距離Lを算出する際に選択した対向車102の接地点P(一例として、撮像部11から最も近い接地点P8)と撮像部11とを結ぶ直線と、平面Mとのなす角θを求めることが可能である。さらに、算出部16は、距離L、平面M及びなす角θに基づいて、平面M(道路110)から撮像部11(撮像位置)までの高さHを算出することが可能である。なお、撮像位置は、一例として撮像部11の中心位置である。
In addition, assuming that the plane M is horizontal and the plane M is a road, the calculation unit 16 determines the contact point of the
具体的な一例として、算出部16は、上述したようにカメラ座標系において接地点P8〜P10を含む平面Mを取得すると、その座標系における平面Mと撮像部11(画像の中心位置)とのなす角θを求めることができる。算出部16は、カメラ座標系における平面M、距離L及びなす角θに基づいて、三角関数を利用することにより、平面Mから撮像部11(画像の中心位置)までの高さHを取得することができる。 As a specific example, when the calculating unit 16 acquires the plane M including the ground contact points P8 to P10 in the camera coordinate system as described above, the plane M and the image capturing unit 11 (center position of the image) in the coordinate system are acquired. The angle θ formed can be obtained. The calculation unit 16 acquires the height H from the plane M to the image pickup unit 11 (center position of the image) by using a trigonometric function based on the plane M, the distance L, and the angle θ formed in the camera coordinate system. be able to.
本実施形態においては、対向車102の接地点Pをマーカの代替として用い、それぞれのマーカとしてタイヤの接地点Pを用いることで、撮像部11の撮像系を実寸系に変換することができる。本実施形態においては、対向車102の種類毎のホイールベース及びトレッドの実寸を利用し、撮像部11、すなわち、カメラパラメータは既知のデータであるので、撮像系のデータを実寸系に変換し、撮像部11の高さHを算出することができる。既存のソフトウェアとしては、一例として、ARToolKit等を利用することができる。
In the present embodiment, the ground contact point P of the
上述した姿勢推定装置1は、複数の対向車102に基づいて平面M(道路110)から撮像部11(撮像位置)までの高さHを算出することとしてもよい。
特定部13は、画像内に写った複数の対向車102の種類を特定する。取得部14は、複数の対向車102それぞれのホイールベース及びトレッドを取得する。抽出部15は、複数の対向車102それぞれの3つ以上の接地点Pを抽出する。算出部16は、撮像部11から複数の対向車102それぞれにおける接地点Pのいずれか1つまでの距離Lを算出する。さらに、算出部16は、複数の対向車102それぞれの3つ以上の接地点Pに基づいて平面Mを推定する。算出部16は、対向車102毎に、距離L、平面M、及び、なす角θに基づいて、道路110(平面M)から撮像部11までの高さHを算出する。
すなわち、姿勢推定装置1(特定部13、取得部14及び算出部16)は、上述した1つの対向車102に基づいて道路110から撮像部11までの高さHを算出する場合と同様に、複数の対向車102それぞれについて道路110から撮像部11までの高さHを算出する。
The
The identifying
That is, the posture estimation device 1 (
この場合、算出部16は、道路110から撮像部11までの高さHを算出することとして、複数の高さHのうち最も高いものを道路110から撮像部11までの高さHとすることとしてもよい。すなわち、算出部16は、複数の対向車102それぞれに基づいて複数の高さHを算出した場合、複数の高さHのうち最も高い高さHを採用する。
In this case, the calculating unit 16 calculates the height H from the
又は、算出部16は、道路110から撮像部11までの高さHを算出することとして、複数の高さHの相加平均を算出して、相加平均の値を道路110から撮像部11までの高さHとすることとしてもよい。すなわち、算出部16は、複数の対向車102それぞれに基づいて複数の高さHを算出した場合、複数の高さHの相加平均をさらに算出して、相加平均の値を道路110から撮像部11までの高さHとして採用する。
Alternatively, the calculating unit 16 calculates the height H from the
上記の各部は、コンピュータにおいて実行されるプログラムによって、そのコンピュータの処理装置等の機能として実現されてもよい。プログラムは、外部記憶装置又は光ディスク等の記録媒体に記録されてもよい。 Each of the above units may be realized as a function of a processing device of the computer by a program executed by the computer. The program may be recorded in a recording medium such as an external storage device or an optical disk.
次に、一実施形態に係る姿勢推定方法について説明する。
図8は、一実施形態に係る姿勢推定方法について説明するためのフローチャートである。
Next, a posture estimation method according to one embodiment will be described.
FIG. 8 is a flowchart for explaining the posture estimation method according to the embodiment.
ステップST11において、撮像部11は、被写体を撮像して画像データを生成する。撮像部11は、搭載される車両101が走行中の場合、及び、その車両101が停車中の場合のいずれでも、撮像することが可能である。
In step ST11, the
ステップST12において、記憶部12は、ステップST11で生成された画像データを記憶する。
In step ST12, the
ステップST13において、特定部13は、ステップST12で記憶部12に記憶された画像データに基づいて、画像内に写った対向車102の種類を特定する。特定部13は、1つの対向車102の種類を特定してもよく、複数の対向車102の種類を特定してもよい。
In step ST13, the specifying
なお、ステップST13以降は、ステップST11及びステップST12の処理に時間的に連続して行われてれもよい。すなわち、撮像部11によって画像データが生成される時に(ステップST11及びステップST12が行われている時に)、ステップST13以降の処理が行われてもよい。
一方、ステップST13以降は、ステップST11及びステップST12の処理が行われてから時間的に間をあけて行われてもよい。すなわち、撮像部11による画像データの生成が終了し、その画像データを記憶する記憶部12がオフィスに持ち帰られた後、オフィスに配されるパーソナルコンピュータ等を用いてステップST13以降の処理が行われてもよい。
In addition, after step ST13, the processing of step ST11 and step ST12 may be performed continuously in terms of time. That is, when the image data is generated by the image capturing unit 11 (when step ST11 and step ST12 are performed), the processes after step ST13 may be performed.
On the other hand, after step ST13, the processes of step ST11 and step ST12 may be performed at intervals after the process is performed. That is, after the generation of the image data by the
ステップST14において、取得部14は、ステップST13で特定された対向車102の種類と、記憶部12に予め記憶される車両情報とに基づいて、ステップST13で種類を特定した対向車102のホイールベース及びトレッドを取得する。
In step ST14, the
ステップST15において、抽出部15は、ステップST12で記憶部12に記憶された画像データに基づいて、一例として、深層学習等を利用することにより、ステップST13で種類を特定した対向車102と道路110との3つ以上の接地点Pを取得する。
In step ST15, the
ステップST16において、算出部16は、ステップST14で取得された対向車102のホイールベース及びトレッドと、ステップST15で取得した3つ以上の接地点Pとに基づいて、一例として、撮像部11から最も近い接地点Pと、その撮像部11との距離Lを算出する。算出部16は、ステップST15で取得した3つ以上の接地点Pに基づいて、それら全ての接地点Pを含む平面Mを推定する。算出部16は、算出した距離L、推定した平面M、及び、距離Lを算出する際に選択した接地点P(一例として、撮像部11から最も近い接地点P)と撮像部11とを結ぶ直線に基づいて、道路110から撮像部11までの高さHを算出する。
In step ST16, the calculation unit 16 uses the wheel base and the tread of the
上述した実施形態では、例えば、以下の効果を奏する。
姿勢推定装置1は、画像データに基づいて、画像内に写った対向車102の種類を特定する特定部13と、特定部13によって特定された対向車102の種類と、記憶部12に記憶される車両情報とに基づいて、種類を特定した対向車102のホイールベース及びトレッドを取得する取得部14と、記憶部12に記憶される画像データに基づいて、種類を特定した対向車102と道路110との3つ以上の接地点Pを抽出する抽出部15と、抽出部15によって抽出された3つ以上の接地点Pと、取得部14で取得されたホイールベース及びトレッドとに基づいて、道路110から撮像部11までの高さHを算出する算出部16と、を備える。
姿勢推定装置1は、従来のようにターゲットボードを車両101の外部に設置して、撮像部11の取り付け位置を推定することがない。このため、作業者等は、従来のように疲労を感じることを抑制することができる。よって、姿勢推定装置1は、従来に比べて簡単な方法で撮像部11(撮像位置)の姿勢を推定することができる。すなわち、姿勢推定装置1は、撮像部11(撮像位置)の道路110からの高さHを推定することができる。
In the above-mentioned embodiment, the following effects are produced, for example.
The
The
姿勢推定装置1は、撮像位置に配されると共に、被写体を撮像して画像データを生成し、その画像データを記憶部12に記憶する撮像部11をさらに備えることとしてもよい。
姿勢推定装置1は、撮像部11を車両101に固定しておく必要がなく、車両101に対して着脱可能な撮像部11を利用することができる。
The
The
姿勢推定装置1では、特定部13は、複数の車両の種類を予め学習し、その学習の結果に基づいて画像データの画像を認識することにより、画像内に写った対向車102の種類を特定することとしてもよい。
これにより、姿勢推定装置1は、撮像部11で生成した画像を認識することに基づいて、対向車102の種類を特定することができる。また、姿勢推定装置1は、追加で車両を学習することにより、新車が発売された場合でもその新車の種類を特定することができる。
In the
As a result, the
姿勢推定装置1では、特定部13は画像内に写った複数の対向車102の種類を特定し、取得部14は複数の対向車102それぞれのホイールベース及びトレッドを取得し、抽出部15は複数の対向車102それぞれの3つ以上の接地点Pを抽出し、算出部16は、対向車102毎に、距離L、平面M、及び、なす角θに基づいて、道路110から撮像部11までの高さHを算出することとしてもよい。
これにより、姿勢推定装置1は、複数の対向車102に基づいて道路110から撮像部11までの高さHを算出するので、得られる高さHの精度を高くすることができる。
In the
As a result, the
姿勢推定装置1では、算出部16は、道路110から撮像部11までの高さHを算出することとして、複数の高さHのうち最も高いものを道路110から撮像部11までの高さHとすることとしてもよい。
これにより、姿勢推定装置1は、得られる高さHの精度を高くすることができる。
In the
Thereby, the
姿勢推定装置1では、算出部16は、道路110から撮像部11までの高さHを算出することとして、複数の高さHの相加平均を算出して、相加平均の値を道路110から撮像部11までの高さHとすることとしてもよい。
これにより、姿勢推定装置1は、得られる高さHの精度を高くすることができる。
In the
Thereby, the
姿勢推定装置1では、特定部13は画像内に複数の対向車102が写る場合、複数の対向車102のうち画像内のサイズが最も大きい対向車102の種類を特定し、抽出部15はその対向車102に対応する3つ以上の接地点Pを抽出することとしてもよい。
これにより、姿勢推定装置1は、抽出される3つ以上の接地点Pに基づいて推定される平面M(三角形)のサイズを大きくすることができるので、その平面M(三角形)に基づいて算出される道路110から撮像部11までの高さHの精度を高くすることができる。
In the
Thereby, the
また、姿勢推定方法及び姿勢推定プログラムは、上述した姿勢推定装置1と同様の効果を奏する。
Further, the posture estimation method and the posture estimation program have the same effects as those of the
なお、上述した実施形態の姿勢推定装置1は、以下の構成を備えてもよい。
すなわち、記憶部12は、道路地図に関する地図データを記憶することとしてもよい。この場合、記憶部12に記憶される地図データを参照し、対向車102との間の道路上に障害物がない道路区間又は駐車場において画像データが生成された時に、特定部13は、その画像データに基づいて対向車102の種類を特定し、抽出部15は、対向車102の3つ以上の接地点Pを抽出してもよい。
具体的には、姿勢推定装置1は、GPS(Global Positioning System)等の車両101の位置情報を取得する位置情報取得部により、車両101の現在位置を取得する。姿勢推定装置1は、取得した位置情報を画像データに記録する。姿勢推定装置1は、画像データに記録される位置情報と、地図データに基づいて、車両101が走行する又は駐車する位置(現在位置)に障害物が有るか否かを判断する。ここで、地図データには、中央分離帯等の障害物が存在する道路の情報が記録されている。姿勢推定装置1は、車両101の現在位置に障害物が有る場合には、その現在位置において生成された画像データに基づいて道路110から撮像部11までの高さHは算出しない。一方、姿勢推定装置1は、車両101の現在位置に障害物が無い場合には、その現在位置において生成された画像データに基づいて道路110から撮像部11までの高さHを算出することが可能である。
The
That is, the
Specifically, the
上述した実施形態では、姿勢推定装置1は、車両として対向車102の画像に基づいて、道路110から撮像部11までの高さHを算出することについて説明した。本発明は、この一例に限定されることはなく、少なくとも3つ以上の接地点Pを有する工業製品の画像に基づいて、道路110から撮像部11までの高さHを算出することとしてもよい。工業製品の一例としては、車いす等である。
In the above-described embodiment, the
上記実施形態では、姿勢推定装置1が撮像部11、記憶部12、特定部13、取得部14、抽出部15及び算出を備える例について説明した。これらの各機能部は、集積回路等に形成される論理回路等によって実現されてもよい。図9に例示するように、姿勢推定装置1は、撮像回路11a、記憶回路12a、特定回路13a、取得回路14a、抽出回路15a及び算出回路16aを備えてもよい。
In the above-described embodiment, the example in which the
1 姿勢推定装置
11 撮像部
12 記憶部
13 特定部
14 取得部
15 抽出部
16 算出部
DESCRIPTION OF
Claims (22)
前記記憶部に記憶される画像データに基づいて、画像内に写った車両の種類を特定する特定部と、
前記特定部によって特定された車両の種類と、前記記憶部に記憶される前記車両情報とに基づいて、車両の種類を特定した車両のホイールベース及びトレッドを取得する取得部と、
前記記憶部に記憶される画像データに基づいて、車両の種類を特定した車両と路面との3つ以上の接地点を抽出する抽出部と、
前記抽出部によって抽出された前記3つ以上の接地点と、前記取得部で取得されたホイールベース及びトレッドとに基づいて、画像データを生成する時の撮像位置から前記車両における接地点のうちいずれか1つまでの距離を算出すると共に、前記3つ以上の接地点に基づいて前記3つ以上の接地点を含む平面を推定し、前記距離、前記平面、及び、前記距離を算出する際に選択した前記車両の接地点と前記撮像位置とを結ぶ直線と前記平面とのなす角に基づいて、前記平面から前記撮像位置までの高さを算出する算出部と、
を備える姿勢推定装置。 A storage unit that stores image data and also stores vehicle information that associates a vehicle type with a wheel base and a tread of the vehicle,
A specifying unit that specifies the type of vehicle shown in the image based on the image data stored in the storage unit;
Based on the vehicle type specified by the specifying unit, and the vehicle information stored in the storage unit, an acquisition unit that acquires the wheelbase and tread of the vehicle that has specified the vehicle type,
An extraction unit that extracts three or more ground contact points of the vehicle and the road surface, which specify the type of vehicle, based on the image data stored in the storage unit;
Which of the ground points in the vehicle from the imaging position when image data is generated based on the three or more ground points extracted by the extraction unit and the wheel base and the tread acquired by the acquisition unit When calculating a distance to one or more, estimating a plane including the three or more ground points based on the three or more ground points, and calculating the distance, the plane, and the distance A calculating unit that calculates a height from the plane to the image pickup position based on an angle formed by the straight line connecting the selected ground contact point of the vehicle and the image pickup position and the plane.
Posture estimation device comprising:
請求項1に記載の姿勢推定装置。 The posture estimation apparatus according to claim 1, further comprising: an imaging unit that is arranged at the imaging position, images a subject to generate image data, and stores the image data in the storage unit.
請求項1又は2に記載の姿勢推定装置。 The said specific|specification part preliminarily learns the kind of several vehicles, and recognizes the image of image data based on the result of the learning, and specifies the kind of vehicle reflected in the image. Posture estimation device.
前記取得部は、複数の車両それぞれのホイールベース及びトレッドを取得し、
前記抽出部は、複数の車両それぞれの3つ以上の接地点を抽出し、
前記算出部は、前記撮像位置から前記複数の車両それぞれにおける接地点のいずれか1つまでの距離を算出すると共に、前記複数の車両それぞれの3つ以上の接地点に基づいて平面を推定し、前記車両毎に、前記距離、前記平面、及び、前記なす角に基づいて、前記平面から前記撮像位置までの高さを算出する
請求項1〜3のいずれか1項に記載の姿勢推定装置。 The specifying unit specifies a plurality of vehicle types shown in the image,
The acquisition unit acquires a wheel base and a tread of each of a plurality of vehicles,
The extraction unit extracts three or more ground contact points of each of a plurality of vehicles,
The calculating unit calculates a distance from the imaging position to any one of ground contact points of each of the plurality of vehicles, and estimates a plane based on three or more ground contact points of each of the plurality of vehicles, The posture estimation device according to claim 1, wherein a height from the plane to the imaging position is calculated based on the distance, the plane, and the angle formed for each vehicle.
請求項4に記載の姿勢推定装置。 The posture estimation according to claim 4, wherein the calculation unit calculates the height from the plane to the image capturing position, and sets the highest one of the plurality of heights as the height from the plane to the image capturing position. apparatus.
請求項4に記載の姿勢推定装置。 The calculating unit calculates the height from the plane to the image capturing position, calculates an arithmetic average of a plurality of heights, and sets the value of the arithmetic average to the height from the plane to the image capturing position. The posture estimation device according to claim 4.
前記抽出部は、その車両に対応する3つ以上の接地点を抽出する
請求項1〜3のいずれか1項に記載の姿勢推定装置。 When a plurality of vehicles appear in the image, the identifying unit identifies the type of the vehicle having the largest size in the image among the plurality of vehicles,
The posture estimation device according to claim 1, wherein the extraction unit extracts three or more ground contact points corresponding to the vehicle.
画像データを記憶部に記憶すると共に、車両の種類と、その車両のホイールベース及びトレッドとを対応付けた車両情報を記憶部に記憶する記憶ステップと、
前記記憶部に記憶される画像データに基づいて、画像内に写った車両の種類を特定する特定ステップと、
前記特定ステップによって特定された車両の種類と、前記記憶部に記憶される前記車両情報とに基づいて、車両の種類を特定した車両のホイールベース及びトレッドを取得する取得ステップと、
前記記憶部に記憶される画像データに基づいて、車両の種類を特定した車両と路面との3つ以上の接地点を抽出する抽出ステップと、
前記抽出ステップによって抽出された前記3つ以上の接地点と、前記取得ステップで取得されたホイールベース及びトレッドとに基づいて、画像データを生成する時の撮像位置から前記車両における接地点のうちいずれか1つまでの距離を算出すると共に、前記3つ以上の接地点に基づいて前記3つ以上の接地点を含む平面を推定し、前記距離、前記平面、及び、前記距離を算出する際に選択した前記車両の接地点と前記撮像位置とを結ぶ直線と前記平面とのなす角に基づいて、前記平面から前記撮像位置までの高さを算出する算出ステップと、
を実行する姿勢推定方法。 Computer
A storage step of storing the image data in the storage unit, and storing the vehicle information in which the vehicle type and the wheelbase and tread of the vehicle are associated with each other in the storage unit,
A specifying step of specifying the type of vehicle shown in the image based on the image data stored in the storage section;
Based on the type of vehicle specified by the specifying step and the vehicle information stored in the storage unit, an acquisition step of acquiring a wheelbase and a tread of the vehicle specifying the type of vehicle,
An extracting step of extracting three or more ground contact points of the vehicle and the road surface, the type of the vehicle of which is specified, based on the image data stored in the storage unit;
Which one of the ground points in the vehicle from the imaging position when the image data is generated based on the three or more ground points extracted in the extraction step and the wheel base and the tread acquired in the acquisition step When calculating a distance to one or more, estimating a plane including the three or more ground points based on the three or more ground points, and calculating the distance, the plane, and the distance A calculation step of calculating a height from the plane to the image pickup position based on an angle formed by the straight line connecting the selected ground contact point of the vehicle and the image pickup position and the plane;
Pose estimation method for executing.
前記撮像位置に配される撮像部によって被写体を撮像して画像データを生成し、その画像データを前記記憶部に記憶する撮像ステップを実行する
請求項8に記載の姿勢推定方法。 The computer is
The posture estimating method according to claim 8, further comprising: performing an image capturing step of capturing an image of a subject by the image capturing unit arranged at the image capturing position to generate image data, and storing the image data in the storage unit.
請求項8又は9に記載の姿勢推定方法。 The said specific|specification step identifies the kind of vehicle imaged in the image by learning the kind of several vehicles beforehand and recognizing the image of image data based on the result of the learning. Posture estimation method.
前記取得ステップは、複数の車両それぞれのホイールベース及びトレッドを取得し、
前記抽出ステップは、複数の車両それぞれの3つ以上の接地点を抽出し、
前記算出ステップは、前記撮像位置から前記複数の車両それぞれにおける接地点のいずれか1つまでの距離を算出すると共に、前記複数の車両それぞれの3つ以上の接地点に基づいて平面を推定し、前記車両毎に、前記距離、前記平面、及び、前記なす角に基づいて、前記平面から前記撮像位置までの高さを算出する
請求項8〜10のいずれか1項に記載の姿勢推定方法。 The identifying step identifies the types of vehicles shown in the image,
The acquisition step acquires the wheelbase and tread of each of a plurality of vehicles,
The extraction step extracts three or more ground points of each of a plurality of vehicles,
The calculating step calculates a distance from the imaging position to any one of ground contact points in each of the plurality of vehicles, and estimates a plane based on three or more ground contact points in each of the plurality of vehicles, The posture estimation method according to claim 8, wherein a height from the plane to the imaging position is calculated based on the distance, the plane, and the formed angle for each vehicle.
請求項11に記載の姿勢推定方法。 The posture estimation according to claim 11, wherein the calculating step calculates the height from the plane to the image capturing position, and sets the highest one of the plurality of heights as the height from the plane to the image capturing position. Method.
請求項11に記載の姿勢推定方法。 The calculating step calculates the height from the plane to the image capturing position, calculates an arithmetic average of a plurality of heights, and calculates the value of the arithmetic average as the height from the plane to the image capturing position. The posture estimation method according to claim 11.
前記抽出ステップは、その車両に対応する3つ以上の接地点を抽出する
請求項8〜10のいずれか1項に記載の姿勢推定方法。 The specifying step, when a plurality of vehicles are shown in the image, specifies the type of vehicle having the largest size in the image among the plurality of vehicles,
The posture estimation method according to claim 8, wherein the extraction step extracts three or more ground contact points corresponding to the vehicle.
画像データを記憶部に記憶すると共に、車両の種類と、その車両のホイールベース及びトレッドとを対応付けた車両情報を記憶部に記憶する記憶機能と、
前記記憶部に記憶される画像データに基づいて、画像内に写った車両の種類を特定する特定機能と、
前記特定機能によって特定された車両の種類と、前記記憶部に記憶される前記車両情報とに基づいて、車両の種類を特定した車両のホイールベース及びトレッドを取得する取得機能と、
前記記憶部に記憶される画像データに基づいて、車両の種類を特定した車両と路面との3つ以上の接地点を抽出する抽出機能と、
前記抽出機能によって抽出された前記3つ以上の接地点と、前記取得機能で取得されたホイールベース及びトレッドとに基づいて、画像データを生成する時の撮像位置から前記車両における接地点のうちいずれか1つまでの距離を算出すると共に、前記3つ以上の接地点に基づいて前記3つ以上の接地点を含む平面を推定し、前記距離、前記平面、及び、前記距離を算出する際に選択した前記車両の接地点と前記撮像位置とを結ぶ直線と前記平面とのなす角に基づいて、前記平面から前記撮像位置までの高さを算出する算出機能と、
を実現させる姿勢推定プログラム。 On the computer,
A storage function of storing the image data in the storage unit, and storing in the storage unit vehicle information in which the vehicle type and the wheelbase and tread of the vehicle are associated with each other,
Based on the image data stored in the storage unit, a specific function of specifying the type of vehicle shown in the image,
Based on the type of vehicle specified by the specific function and the vehicle information stored in the storage unit, an acquisition function of acquiring the wheelbase and tread of the vehicle that specifies the type of vehicle,
An extraction function of extracting three or more ground contact points of the vehicle and the road surface, which specify the type of vehicle, based on the image data stored in the storage unit;
Which of the three ground contact points extracted by the extraction function and the wheel base and the tread acquired by the acquisition function, from the image capturing position when the image data is generated, to the ground contact point in the vehicle When calculating a distance to one or more, estimating a plane including the three or more ground points based on the three or more ground points, and calculating the distance, the plane, and the distance A calculation function of calculating a height from the plane to the image pickup position, based on an angle formed by the straight line connecting the selected ground contact point of the vehicle and the image pickup position and the plane.
Posture estimation program that realizes
前記撮像位置に配される撮像部によって被写体を撮像して画像データを生成し、その画像データを前記記憶部に記憶させる撮像機能を実現させる
請求項15に記載の姿勢推定プログラム。 On the computer,
The posture estimation program according to claim 15, wherein an image capturing function is realized by an image capturing unit arranged at the image capturing position to generate image data, and the image data is stored in the storage unit.
請求項15又は16に記載の姿勢推定プログラム。 17. The specific function learns a plurality of vehicle types in advance and recognizes an image of image data based on a result of the learning to identify a vehicle type shown in the image. Posture estimation program.
前記取得機能は、複数の車両それぞれのホイールベース及びトレッドを取得し、
前記抽出機能は、複数の車両それぞれの3つ以上の接地点を抽出し、
前記算出機能は、前記撮像位置から前記複数の車両それぞれにおける接地点のいずれか1つまでの距離を算出すると共に、前記複数の車両それぞれの3つ以上の接地点に基づいて平面を推定し、前記車両毎に、前記距離、前記平面、及び、前記なす角に基づいて、前記平面から前記撮像位置までの高さを算出する
請求項15〜17のいずれか1項に記載の姿勢推定プログラム。 The specific function specifies a plurality of vehicle types shown in the image,
The acquisition function acquires the wheelbase and tread of each of a plurality of vehicles,
The extraction function extracts three or more ground points of each of a plurality of vehicles,
The calculation function calculates a distance from the imaging position to any one of ground contact points in each of the plurality of vehicles, and estimates a plane based on three or more ground contact points in each of the plurality of vehicles, The posture estimation program according to any one of claims 15 to 17, wherein a height from the plane to the imaging position is calculated based on the distance, the plane, and the formed angle for each vehicle.
請求項18に記載の姿勢推定プログラム。 The posture estimation according to claim 18, wherein the calculation function calculates the height from the plane to the imaging position, and sets the highest one of the plurality of heights as the height from the plane to the imaging position. program.
請求項18に記載の姿勢推定プログラム。 The calculation function calculates the height from the plane to the image pickup position, calculates an arithmetic mean of a plurality of heights, and calculates an arithmetic mean value as a height from the plane to the image pickup position. The posture estimation program according to claim 18.
前記抽出機能は、その車両に対応する3つ以上の接地点を抽出する
請求項15〜17のいずれか1項に記載の姿勢推定プログラム。 The specific function, when a plurality of vehicles appear in the image, identifies the type of the vehicle having the largest size in the image among the plurality of vehicles,
The posture estimation program according to any one of claims 15 to 17, wherein the extraction function extracts three or more ground contact points corresponding to the vehicle.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019006320A JP7021131B2 (en) | 2019-01-17 | 2019-01-17 | Posture estimation device, posture estimation method, posture estimation program and recording medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019006320A JP7021131B2 (en) | 2019-01-17 | 2019-01-17 | Posture estimation device, posture estimation method, posture estimation program and recording medium |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020115094A true JP2020115094A (en) | 2020-07-30 |
JP7021131B2 JP7021131B2 (en) | 2022-02-16 |
Family
ID=71778501
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019006320A Active JP7021131B2 (en) | 2019-01-17 | 2019-01-17 | Posture estimation device, posture estimation method, posture estimation program and recording medium |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7021131B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113591936A (en) * | 2021-07-09 | 2021-11-02 | 厦门市美亚柏科信息股份有限公司 | Vehicle attitude estimation method, terminal device and storage medium |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014059793A (en) * | 2012-09-19 | 2014-04-03 | Nissan Motor Co Ltd | Camera mounting error correction device and camera mounting error correction method |
JP2018148520A (en) * | 2017-03-09 | 2018-09-20 | 国立研究開発法人農業・食品産業技術総合研究機構 | Attachment direction parameter calculation device for on-vehicle camera and attachment direction parameter calculation method |
-
2019
- 2019-01-17 JP JP2019006320A patent/JP7021131B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014059793A (en) * | 2012-09-19 | 2014-04-03 | Nissan Motor Co Ltd | Camera mounting error correction device and camera mounting error correction method |
JP2018148520A (en) * | 2017-03-09 | 2018-09-20 | 国立研究開発法人農業・食品産業技術総合研究機構 | Attachment direction parameter calculation device for on-vehicle camera and attachment direction parameter calculation method |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113591936A (en) * | 2021-07-09 | 2021-11-02 | 厦门市美亚柏科信息股份有限公司 | Vehicle attitude estimation method, terminal device and storage medium |
CN113591936B (en) * | 2021-07-09 | 2022-09-09 | 厦门市美亚柏科信息股份有限公司 | Vehicle attitude estimation method, terminal device and storage medium |
Also Published As
Publication number | Publication date |
---|---|
JP7021131B2 (en) | 2022-02-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11763571B2 (en) | Monocular cued detection of three-dimensional structures from depth images | |
US11854272B2 (en) | Hazard detection from a camera in a scene with moving shadows | |
JP6670071B2 (en) | Vehicle image recognition system and corresponding method | |
JP4328692B2 (en) | Object detection device | |
JP5926228B2 (en) | Depth detection method and system for autonomous vehicles | |
JP3719095B2 (en) | Behavior detection apparatus and gradient detection method | |
JP4297501B2 (en) | Moving object periphery monitoring device | |
JP5867273B2 (en) | Approaching object detection device, approaching object detection method, and computer program for approaching object detection | |
JP4899424B2 (en) | Object detection device | |
JP6209141B2 (en) | Obstacle detection apparatus and method | |
JP6316161B2 (en) | In-vehicle image processing device | |
JP2017034674A (en) | Travel correction from stationary target | |
CN110717445B (en) | Front vehicle distance tracking system and method for automatic driving | |
JP6769477B2 (en) | Image processing device, imaging device, mobile device control system, image processing method, and program | |
CN109946703B (en) | Sensor attitude adjusting method and device | |
JP2013140515A (en) | Solid object detection device and program | |
JPWO2018179281A1 (en) | Object detection device and vehicle | |
CN107145828B (en) | Vehicle panoramic image processing method and device | |
JP2009245042A (en) | Traffic flow measurement device and program | |
JP2019066333A (en) | Outside recognition device for vehicle | |
TWI682361B (en) | Method and system for road image reconstruction and vehicle positioning | |
JPWO2020105499A1 (en) | Image processing device, image processing method, and program | |
JP7021131B2 (en) | Posture estimation device, posture estimation method, posture estimation program and recording medium | |
JP5981284B2 (en) | Object detection device and object detection method | |
JP2006053754A (en) | Plane detection apparatus and detection method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210217 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220126 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220201 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220203 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7021131 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |