JP2017016460A - Traffic flow measurement device and traffic flow measurement method - Google Patents
Traffic flow measurement device and traffic flow measurement method Download PDFInfo
- Publication number
- JP2017016460A JP2017016460A JP2015133473A JP2015133473A JP2017016460A JP 2017016460 A JP2017016460 A JP 2017016460A JP 2015133473 A JP2015133473 A JP 2015133473A JP 2015133473 A JP2015133473 A JP 2015133473A JP 2017016460 A JP2017016460 A JP 2017016460A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- traffic flow
- unit
- measuring device
- flow measuring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、交通流計測装置および交通流計測方法に関するものである。 The present invention relates to a traffic flow measuring device and a traffic flow measuring method.
近年、カメラによって道路平面が撮像されて得られた撮像画像から交通流を計測する技術が開発されている。かかる交通流計測技術においては、撮像画像から背景差分法に基づいて車両シルエット領域を抽出し、車両シルエット領域を追跡しながら撮像範囲を通過した車両シルエット領域の移動速度を計測することによって車両速度を計測するのが一般的である。 In recent years, a technique for measuring traffic flow from a captured image obtained by capturing a road plane with a camera has been developed. In such traffic flow measurement technology, a vehicle silhouette area is extracted from a captured image based on the background difference method, and the vehicle speed is determined by measuring the moving speed of the vehicle silhouette area that has passed through the imaging range while tracking the vehicle silhouette area. It is common to measure.
しかし、かかる一般的な交通流計測技術においては、撮像画像から背景差分法に基づいて安定的に車両シルエット領域の抽出ができない場合には、車両シルエット領域を正確に追跡することが困難な状況が起こり得る。かかる状況では、撮像範囲を通過した車両シルエット領域の移動速度を精度よく計測することが困難となるため、車両速度を精度よく計測することが困難となり得る。 However, in such a general traffic flow measurement technique, when the vehicle silhouette region cannot be stably extracted from the captured image based on the background difference method, it is difficult to accurately track the vehicle silhouette region. Can happen. In such a situation, it is difficult to accurately measure the moving speed of the vehicle silhouette region that has passed through the imaging range, so it may be difficult to accurately measure the vehicle speed.
そこで、道路平面の撮像画像から抽出される車両シルエット領域に応じた所定の検出位置と撮像画像が撮像された撮像時刻との組み合わせに対して得られる投票ピークの位置に基づいて、車両速度を計測する技術が開示されている(例えば、特許文献1参照)。かかる技術によれば、撮像画像に基づいて車両速度を計測するに際して、車両速度の計測精度を向上させることが可能となる。 Therefore, the vehicle speed is measured based on the position of the voting peak obtained for the combination of the predetermined detection position corresponding to the vehicle silhouette region extracted from the captured image of the road plane and the imaging time at which the captured image was captured. The technique to do is disclosed (for example, refer patent document 1). According to this technique, when measuring the vehicle speed based on the captured image, the measurement accuracy of the vehicle speed can be improved.
しかし、投票ピークの位置に基づいて車両速度を計測するに際して、車両速度の計測精度をさらに向上させるための技術が求められる。特に、道路平面を走行する車両が高速になるにつれて、車両速度の計測結果に生じる誤差が大きくなりやすいため、車両速度の計測精度を向上させるための技術がより強く要求される。 However, when measuring the vehicle speed based on the position of the voting peak, a technique for further improving the measurement accuracy of the vehicle speed is required. In particular, as a vehicle traveling on a road plane becomes higher in speed, an error generated in the vehicle speed measurement result tends to increase, so that a technique for improving the measurement accuracy of the vehicle speed is strongly demanded.
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、撮像画像に基づいて車両速度を計測する場合において車両速度の計測精度をさらに向上させる技術を提供することにある。 Therefore, the present invention has been made in view of the above problems, and an object of the present invention is to provide a technique for further improving the measurement accuracy of the vehicle speed when measuring the vehicle speed based on the captured image. There is to do.
上記問題を解決するために、本発明のある観点によれば、道路平面が撮像された撮像画像と撮像時刻とを取得する情報取得部と、前記撮像画像から抽出される車両領域に基づいて所定の検出位置を検出する位置検出部と、前記検出位置と前記撮像時刻との複数の組み合わせから当該組み合わせに対して得られる投票ピークの位置に応じた組み合わせを抽出データとして抽出し、前記抽出データに対する最小二乗法による一次近似に基づいて車両速度を計測する計測部と、を備える、交通流計測装置が提供される。 In order to solve the above problem, according to an aspect of the present invention, an information acquisition unit that acquires a captured image obtained by capturing a road plane and an imaging time, and a predetermined area based on a vehicle area extracted from the captured image. A combination of a position detection unit for detecting the detection position and a position of a voting peak obtained for the combination from a plurality of combinations of the detection position and the imaging time as extraction data, There is provided a traffic flow measuring device including a measuring unit that measures a vehicle speed based on a first-order approximation by a least square method.
前記計測部は、前記検出位置と前記撮像時刻との組み合わせに対してハフ変換を施してハフ空間上で投票ピーク点の位置に応じた組み合わせを前記抽出データとして抽出してもよい。 The measurement unit may perform Hough transform on the combination of the detection position and the imaging time, and extract a combination corresponding to the position of the voting peak point in the Hough space as the extraction data.
前記位置検出部は、前記撮像画像からエッジ特徴を検出し、前記エッジ特徴に基づいて前記車両領域を抽出してもよい。 The position detection unit may detect an edge feature from the captured image and extract the vehicle region based on the edge feature.
前記計測部は、前記投票ピークの数を交通量として計測してもよい。 The measurement unit may measure the number of voting peaks as a traffic volume.
前記位置検出部は、実サイズに合わせて設定された実空間における車両走行軸における座標を前記検出位置として検出してもよい。 The position detection unit may detect, as the detection position, coordinates on a vehicle travel axis in a real space set according to an actual size.
前記位置検出部は、前記車両領域に基づいて実空間における車両走行軸に直交する所定の垂直平面を検出し、前記車両走行軸と前記垂直平面との交点座標を前記検出位置として検出してもよい。 The position detection unit detects a predetermined vertical plane orthogonal to the vehicle travel axis in real space based on the vehicle region, and detects an intersection coordinate between the vehicle travel axis and the vertical plane as the detection position. Good.
前記位置検出部は、前記所定の垂直平面として車両前面または車両背面を検出してもよい。 The position detection unit may detect a vehicle front surface or a vehicle back surface as the predetermined vertical plane.
前記位置検出部は、実空間における車両進行方向が奥から手前に向かう方向の場合には、前記車両前面を前記垂直平面として検出し、実空間における車両進行方向が手前から奥に向かう方向の場合には、前記車両背面を前記垂直平面として検出してもよい。 The position detection unit detects the front surface of the vehicle as the vertical plane when the vehicle traveling direction in the real space is from the back to the front, and the vehicle traveling direction in the real space is the direction from the front to the back. Alternatively, the rear surface of the vehicle may be detected as the vertical plane.
前記交通流計測装置は、第1の車両の前記車両速度と第1の車両および第2の車両の所定位置への到達時間差とに基づいて、前記第1の車両と前記第2の車両との距離を特定する特定部を備えてもよい。 The traffic flow measuring device determines whether the first vehicle and the second vehicle are based on the vehicle speed of the first vehicle and the arrival time difference between the first vehicle and the second vehicle to a predetermined position. You may provide the specific part which specifies distance.
前記特定部は、前記車両速度と前記第1の車両および前記第2の車両それぞれの車両前面の前記所定位置への到達時間差とに基づいて、前記第1の車両と前記第2の車両との車頭間距離を特定してもよい。 The specifying unit determines whether the first vehicle and the second vehicle are based on the vehicle speed and a difference in arrival time to the predetermined position on the front surface of each of the first vehicle and the second vehicle. The head-to-head distance may be specified.
前記特定部は、前記第1の車両の車長と前記車頭間距離とに基づいて、前記第1の車両と前記第2の車両との車間距離を特定してもよい。 The specifying unit may specify an inter-vehicle distance between the first vehicle and the second vehicle based on a vehicle length of the first vehicle and an inter-vehicle head distance.
前記特定部は、前記車両速度と前記第1の車両および前記第2の車両それぞれの車両背面の前記所定位置への到達時間差とに基づいて、前記第1の車両と前記第2の車両との車尾間距離を特定してもよい。 The specifying unit determines whether the first vehicle and the second vehicle are based on the vehicle speed and a difference in arrival time of the first vehicle and the second vehicle at the predetermined positions on the rear surfaces of the vehicles. The distance between the tails may be specified.
また、本発明のある観点によれば、道路平面が撮像された撮像画像と撮像時刻とを取得することと、前記撮像画像から抽出される車両領域に基づいて所定の検出位置を検出することと、前記検出位置と前記撮像時刻との複数の組み合わせから当該組み合わせに対して得られる投票ピークの位置に応じた組み合わせを抽出データとして抽出し、前記抽出データに対する最小二乗法による一次近似に基づいて車両速度を計測することと、を含む、交通流計測方法が提供される。 Further, according to an aspect of the present invention, acquiring a captured image obtained by capturing a road plane and an imaging time, detecting a predetermined detection position based on a vehicle region extracted from the captured image, A vehicle is extracted from a plurality of combinations of the detection position and the imaging time according to the position of the voting peak obtained for the combination as extracted data, and the vehicle is based on a first-order approximation based on the least square method on the extracted data. A method for measuring traffic flow is provided that includes measuring speed.
以上説明したように本発明によれば、撮像画像に基づいて車両速度を計測する場合において車両速度の計測精度をさらに向上させることが可能である。 As described above, according to the present invention, it is possible to further improve the measurement accuracy of the vehicle speed when measuring the vehicle speed based on the captured image.
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。 Exemplary embodiments of the present invention will be described below in detail with reference to the accompanying drawings. In the present specification and drawings, components having substantially the same functional configuration are denoted by the same reference numerals, and redundant description is omitted.
また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なる数字を付して区別する。また、異なる実施形態の類似する構成要素については、同一の符号の後に異なるアルファベットを付して区別する。ただし、実質的に同一の機能構成を有する複数の構成要素等の各々を特に区別する必要がない場合、同一符号のみを付する。 In the present specification and drawings, a plurality of constituent elements having substantially the same functional configuration are distinguished by attaching different numerals to the same reference numerals. Further, similar constituent elements of different embodiments are distinguished by attaching different alphabets after the same reference numerals. However, when there is no need to particularly distinguish each of a plurality of constituent elements having substantially the same functional configuration, only the same reference numerals are given.
[概要の説明]
続いて、本発明の実施形態の概要を説明する。図1は、本発明の実施形態の概要を説明するための図である。図1に示すように、撮像部が組み込まれた交通流計測装置10および道路平面が実空間に存在する。また、撮像部が組み込まれた交通流計測装置10は、撮像方向が道路平面に向けられた状態で設置されている。交通流計測装置10により撮像された撮像画像Img’には道路に設けられたレーンの境界線が映っている。また、図1に示すように、交通流計測装置10のレンズの中心が原点Oに設定されている。
[Description of overview]
Subsequently, an outline of an embodiment of the present invention will be described. FIG. 1 is a diagram for explaining an outline of an embodiment of the present invention. As shown in FIG. 1, a traffic
図1には、交通流計測装置10に撮像部が組み込まれている例が示されているが、撮像部は交通流計測装置10に組み込まれておらず交通流計測装置10の外部に設置されていてもよい。かかる場合、例えば、交通流計測装置10は、撮像部から送信された撮像画像Img’を受信することにより撮像画像Img’を取得してもよい。また、例えば、交通流計測装置10は、記録媒体に記録された撮像画像Img’を読み込むことにより撮像画像Img’を取得してもよい。
FIG. 1 shows an example in which an imaging unit is incorporated in the traffic
ここで、撮像部によって道路平面が撮像されて得られた撮像画像Img’から車両速度を計測する技術が提案されている。かかる交通流計測技術においては、撮像画像Img’から背景差分法に基づいて車両シルエット領域を抽出し、車両シルエット領域を追跡しながら撮像範囲を通過した車両シルエット領域の移動速度を計測することによって車両速度を計測するのが一般的である。 Here, a technique for measuring a vehicle speed from a captured image Img ′ obtained by capturing an image of a road plane by an imaging unit has been proposed. In such traffic flow measurement technology, a vehicle silhouette area is extracted from the captured image Img ′ based on the background difference method, and the vehicle silhouette area is tracked to measure the moving speed of the vehicle silhouette area that has passed through the imaging range. It is common to measure speed.
しかし、撮像画像Img’から背景差分法に基づいて安定的に車両シルエット領域の抽出ができない場合には、車両シルエット領域を正確に追跡することが困難な状況が起こり得る。かかる状況では、撮像範囲を通過した車両シルエット領域の移動速度を精度よく計測することが困難となるため、車両速度を精度よく計測することが困難となり得る。 However, when the vehicle silhouette region cannot be stably extracted from the captured image Img ′ based on the background subtraction method, it may be difficult to accurately track the vehicle silhouette region. In such a situation, it is difficult to accurately measure the moving speed of the vehicle silhouette region that has passed through the imaging range, so it may be difficult to accurately measure the vehicle speed.
例えば、撮像部が屋外に設置されるような場合には、天候の変化や日照の変化などが原因となって、安定的に車両シルエット領域の抽出ができなくなる可能性がある。また、手前側の車両に奥側の車両が隠蔽されてしまう現象が生じた場合には、手前側の車両と奥側の車両との間で車両シルエット領域が重複してしまう状況が起こり得るため、安定的に車両シルエット領域の抽出ができなくなる可能性がある。 For example, when the imaging unit is installed outdoors, there is a possibility that the vehicle silhouette region cannot be stably extracted due to a change in weather or a change in sunlight. In addition, when a phenomenon occurs in which the vehicle on the back side is concealed in the vehicle on the near side, a situation may occur where the vehicle silhouette area overlaps between the vehicle on the near side and the vehicle on the back side. There is a possibility that the vehicle silhouette region cannot be extracted stably.
そこで、道路平面の撮像画像から抽出される車両エッジ特徴に応じた所定の検出位置と撮像画像が撮像された撮像時刻との組み合わせに対して得られる投票ピーク点の位置に基づいて、車両速度を計測する技術が開示されている(例えば、特開2015−41187号公報参照。)。かかる技術によれば、撮像画像に基づいて車両速度を計測するに際して、車両速度の計測精度を向上させることが可能となる。 Therefore, based on the position of the voting peak point obtained for the combination of the predetermined detection position corresponding to the vehicle edge feature extracted from the captured image of the road plane and the imaging time at which the captured image was captured, the vehicle speed is A technique for measuring is disclosed (for example, see JP-A-2015-41187). According to this technique, when measuring the vehicle speed based on the captured image, the measurement accuracy of the vehicle speed can be improved.
しかし、投票ピーク点の位置に基づいて車両速度を計測するに際して、車両速度の計測精度をさらに向上させるための技術が求められる。特に、道路平面を走行する車両が高速になるにつれて、車両速度の計測結果に生じる誤差が大きくなりやすいため、車両速度の計測精度を向上させるための技術がより強く要求される。そこで、本明細書においては、撮像画像に基づいて車両速度を計測する場合において車両速度の計測精度をさらに向上させる技術を主に提案する。 However, when measuring the vehicle speed based on the position of the voting peak point, a technique for further improving the measurement accuracy of the vehicle speed is required. In particular, as a vehicle traveling on a road plane becomes higher in speed, an error generated in the vehicle speed measurement result tends to increase, so that a technique for improving the measurement accuracy of the vehicle speed is strongly demanded. Therefore, in this specification, a technique for further improving the measurement accuracy of the vehicle speed when measuring the vehicle speed based on the captured image is mainly proposed.
以上、本発明の実施形態の概要を説明した。 The outline of the embodiment of the present invention has been described above.
[実施形態の詳細]
続いて、本発明の実施形態の詳細について説明する。まず、本発明の実施形態に係る交通流計測装置10の機能構成について説明する。図2は、本発明の実施形態に係る交通流計測装置10の機能構成例を示す図である。図2に示すように、本発明の実施形態に係る交通流計測装置10は、制御部110、撮像部170、記憶部180および出力部190を備える。
[Details of the embodiment]
Next, details of the embodiment of the present invention will be described. First, the functional configuration of the traffic
制御部110は、交通流計測装置10の動作全体を制御する機能を有する。撮像部170は、実空間を撮像することにより撮像画像を取得する機能を有し、例えば、単眼カメラにより構成される。記憶部180は、制御部110を動作させるためのプログラムやデータを記憶することができる。また、記憶部180は、制御部110の動作の過程で必要となる各種データを一時的に記憶することもできる。出力部190は、制御部110による制御に従って出力を行う機能を有する。出力部190の種類は特に限定されず、計測結果記録装置であってもよいし、計測結果を通信回線にて他装置へ送信する装置であってもよいし、表示装置であってもよいし、音声出力装置であってもよい。
The
なお、図2に示した例では、撮像部170、記憶部180および出力部190は、交通流計測装置10の内部に存在するが、撮像部170、記憶部180および出力部190の全部または一部は、交通流計測装置10の外部に備えられていてもよい。また、制御部110は、情報取得部111と、設定部112と、出力制御部113と、位置検出部114と、計測部115と、特定部116とを備える。制御部110が備えるこれらの各機能部の詳細については、後に説明する。
In the example illustrated in FIG. 2, the
以上、本発明の実施形態に係る交通流計測装置10の機能構成例について説明した。
The functional configuration example of the traffic
まず、本発明の実施形態に係る交通流計測装置10によりキャリブレーションが行われ得る。より詳細には、道路の平面式(以下、「道路平面式」とも言う)を算出する処理と車両の進行方向とを算出する処理とがキャリブレーションとして行われ得る。以下では、図3および図4を参照しながら、設定部112により行われ得るキャリブレーションについて説明する。
First, calibration can be performed by the traffic
図3は、設定部112により使用されるパラメータを示す図である。設定部112は、まず、撮像部170を構成する撮像素子のサイズと制御部110に提供される撮像画像Img’のサイズとに基づいて、撮像素子の単位pixel当たりの撮像画像Img’のサイズpix_dotをパラメータとして算出する。撮像画像Img’は、原点Oから焦点距離だけ離れた撮像素子の撮像面上に撮像された撮像画像Imgに基づいて生成される。また、制御部110に提供された撮像画像Img’は、情報取得部111によって取得されて設定部112によって利用され得る。
FIG. 3 is a diagram illustrating parameters used by the
図3に示すように、ここでは、撮像素子がCCD(Charge Coupled Device)である場合を例として説明するが、CCDは撮像素子の一例に過ぎない。したがって、撮像素子はCMOS(Complementary Metal Oxide Semiconductor)等であってもよい。 As shown in FIG. 3, here, a case where the imaging device is a CCD (Charge Coupled Device) will be described as an example. However, the CCD is merely an example of an imaging device. Therefore, the imaging element may be a CMOS (Complementary Metal Oxide Semiconductor) or the like.
ここで、CCDサイズをccd_sizeとし、撮像画像Img’(横:width×縦:height)のサイズをimg_sizeとすると、設定部112は、以下の(数式1)によりpix_dotを算出することができる。一般的に、CCDサイズは、CCDの対角線の長さで表されるため、この(数式1)に示されるように、CCDサイズが撮像画像Img’の縦横の2乗和の平方根で除されることにより算出される。しかし、このような手法によるパラメータpix_dotの算出は一例に過ぎないため、他の手法によりパラメータpix_dotが算出されてもよい。例えば、CCDの対角線の代わりにCCDの縦または横の長さが用いられてもよい。
Here, if the CCD size is ccd_size and the size of the captured image Img ′ (horizontal: width × vertical: height) is img_size, the
なお、CCDサイズは、例えば、撮像部170から容易に取得される。また、撮像画像Img’のサイズは、例えば、記憶部180から取得される。したがって、制御部110は、これらのサイズに基づいて、CCDの撮像面に撮像される撮像画像Imgの実空間における3次元座標と制御部110に提供される撮像画像Img’の2次元座標との対応関係を把握することができる。すなわち、制御部110は、この対応関係に基づいて、制御部110に提供される撮像画像Img’の2次元座標からCCDの撮像面に撮像される撮像画像Imgの実空間における3次元座標を把握することができる。
Note that the CCD size is easily acquired from the
このように算出されたパラメータを用いてキャリブレーションが行われ得る。以下、図4を参照しながら、設定部112によりパラメータを用いて行われるキャリブレーションについて説明する。
Calibration can be performed using the parameters thus calculated. Hereinafter, the calibration performed using the parameters by the
図4は、設定部112の機能を説明するための図である。図4に示したように、原点Oを基準としたxyz座標系(実空間)を想定する。このxyz座標系において、道路平面式をR1x+R2x+R3z+R4=0とする。また、車両の進行方向を示すベクトルである進行方向ベクトルvを(vx,vy,vz)とする。なお、以下の説明では、図4に示したように、原点Oから焦点距離fだけ離れた点(焦点)をy軸上に設定し、この焦点を通りy軸に垂直な平面を撮像面とし、この撮像面上に撮像画像Imgが撮像されるものとして説明を続けるが、各座標軸の設定はこのような例に限定されない。
FIG. 4 is a diagram for explaining the function of the
道路平面上には、平行な2直線があらかじめ描かれている。したがって、撮像画像Imgには、この平行な2直線が映されている。また、道路平面上には、既知の大きさQ_dis離れた2点Q1,Q2があらかじめ描かれている。撮像画像Imgには、2点Q1,Q2が、Q1’(xs1,f,zs1),Q2’(xs2,f,zs2)として映される。なお、図4に示した例では、Q1,Q2が道路平面上の平行な2直線の各々上の点として描かれているが、Q1,Q2は、道路平面上の点であれば、特に限定されない。 Two parallel straight lines are drawn in advance on the road plane. Therefore, the parallel two straight lines are shown in the captured image Img. On the road plane, two points Q1 and Q2 that are separated by a known size Q_dis are drawn in advance. In the captured image Img, two points Q1 and Q2 are displayed as Q1 '(xs1, f, zs1) and Q2' (xs2, f, zs2). In the example shown in FIG. 4, Q1 and Q2 are drawn as points on two parallel straight lines on the road plane. However, Q1 and Q2 are not particularly limited as long as they are points on the road plane. Not.
また、撮像画像Imgに映る2直線のうち、第1の直線が通る2点をT1(x1,y1,z1)およびT4(x4,y4,z4)とし、第2の直線が通る2点をT2(x2,y2,z2)およびT3(x3,y3,z3)とする。すると、図4に示すように、T1、T2、T3およびT4の各々と原点Oとを結ぶ直線と道路平面との交点の座標は、t1・T1、t2・T2、t3・T3およびt4・T4と表される。設定部112は、例えば、以下に示す(前提条件1)に基づいて、キャリブレーションを行うことができる。
Of the two straight lines shown in the captured image Img, the two points through which the first straight line passes are T1 (x1, y1, z1) and T4 (x4, y4, z4), and the two points through which the second straight line passes are T2. Let (x2, y2, z2) and T3 (x3, y3, z3). Then, as shown in FIG. 4, the coordinates of the intersections of the straight line connecting each of T1, T2, T3 and T4 with the origin O and the road plane are t1 · T1, t2 · T2, t3 · T3 and t4 · T4. It is expressed. For example, the
(前提条件1)
(条件1)道路平面上の平行な2直線の方向ベクトルは同じである。
(条件2)撮像部170のロールは0である。
(条件3)原点Oから道路平面までの距離を高さHとする。
(条件4)道路平面上にQ_dis離れたQ1およびQ2が存在する。
なお、上記ロールが0であるとは、道路平面に対して垂直な方向に設置されている物体が撮像画像Img上においても縦方向に映るように撮像部170が設置されている状態を意味する。
(Prerequisite 1)
(Condition 1) The direction vectors of two parallel straight lines on the road plane are the same.
(Condition 2) The roll of the
(Condition 3) The distance from the origin O to the road plane is the height H.
(Condition 4) Q1 and Q2 that are Q_dis apart exist on the road plane.
Note that the roll being 0 means that the
設定部112は、以上に示したように取得される各種データと(条件1)とに基づいて、以下の(数式2)および(数式3)に示される関係式を導き出すことができる。
The
また、設定部112は、以上に示したように取得される各種データと(条件2)とに基づいて、以下の(数式4)に示される関係式を導き出すことができる。なお、ロールが0の状態であれば、道路平面式と平行な軸方向(図4に示した例では、x軸方向)への道路平面に対する垂線の成分が0になるため、計算式が簡略化される(例えば、x軸方向への垂線の成分が0であれば、R1=0として計算できる)。
Further, the
また、設定部112は、以上に示したように取得される各種データと(条件3)とに基づいて、以下の(数式5)に示される関係式を導き出すことができる。
Further, the
また、設定部112は、以上に示したように取得される各種データと(条件4)とに基づいて、以下の(数式6)および(数式7)に示される関係式を導き出すことができる。
Further, the
ここで、K1は、原点Oから道路平面上のQ1(xr1,yr1,zr1)までの距離が原点Oから撮像画像Img上のQ1’(xs1,f,zs1)までの距離の何倍になっているかを示す値である。同様に、K2は、原点Oから道路平面上のQ2(xr2,yr2,zr2)までの距離が原点Oから撮像画像Img上のQ2’(xs2,f,zs2)までの距離の何倍になっているかを示す値である。したがって、以下の(数式8)に示される関係式を導き出すことができる。 Here, in K1, the distance from the origin O to Q1 (xr1, yr1, zr1) on the road plane is a multiple of the distance from the origin O to Q1 ′ (xs1, f, zs1) on the captured image Img. It is a value indicating whether or not Similarly, in K2, the distance from the origin O to Q2 (xr2, yr2, zr2) on the road plane is a multiple of the distance from the origin O to Q2 ′ (xs2, f, zs2) on the captured image Img. It is a value indicating whether or not Therefore, the relational expression shown in the following (Formula 8) can be derived.
設定部112は、(数式8)に示される関係式から、道路平面上の2点(Q1およびQ2)の距離の測定値Q_dis’を、以下の(数式9)により算出することができる。
The
設定部112は、測定値Q_dis’と既知の大きさQ_disとの差分が最も小さくなる場合におけるR1、R2、R3およびR4を、(数式1)〜(数式9)に基づいて算出することができる。このようにR1、R2、R3およびR4が算出されることにより、道路平面式R1x+R2x+R3z+R4=0が決定される。
The
以上に説明したような道路平面式の算出手法は、一例に過ぎない。したがって、設定部112は、他の手法により道路平面式を算出することも可能である。例えば、道路平面上の平行な2直線間の距離が既知であれば、この道路平面上の平行な2直線間の距離を用いることにより、(条件2)を使用しないで道路平面式を算出することができる。
The road plane calculation method described above is merely an example. Therefore, the
また、設定部112は、進行方向ベクトルv(vx,vy,vz)を算出することもできる。より詳細には、設定部112は、道路平面上の平行な2直線のうちの少なくともいずれか一方の直線の方向を算出することにより、進行方向ベクトルvを算出することができる。例えば、設定部112は、座標t2・T2と座標t3・T3との差分を進行方向ベクトルvとして算出してもよいし、座標t1・T1と座標t4・T4との差分を進行方向ベクトルvとして算出してもよい。
The
以上に説明したような手法により、設定部112は、キャリブレーションを行うことができる。このようなキャリブレーションにより算出された道路平面式R1x+R2x+R3z+R4=0および進行方向ベクトルv(vx,vy,vz)を交通量および車両速度の計測のために利用することができる。図4に示すように、設定部112は、進行方向ベクトルv(vx,vy,vz)と平行な車両走行軸Aを設定してもよい。上記のようにxyz座標が実空間の実サイズに合わせて設定されれば、車両走行軸Aも実空間において実サイズに合わせて設定され得る。
The
また、図4に示すように、設定部112は、計測範囲E1を設定してもよい。そうすれば、計測範囲E1から抽出される車両領域に基づいて交通量および車両速度が計測され得る。例えば、設定部112は、入力操作に基づいて計測範囲E1を設定してもよいし、進行方向ベクトルv(vx,vy,vz)に基づいて自動的に計測範囲E1を設定してもよい。ただし、撮像範囲自体を計測範囲とする場合などには、計測範囲の設定は特になされなくてもよい。以下では、説明を簡便にするため、撮像範囲自体を計測範囲とする場合を主に説明する。出力制御部113は、設定部112によって設定された各種情報を出力部190に出力させてもよい。
Further, as illustrated in FIG. 4, the
以上、設定部112により行われるキャリブレーションについて説明した。
The calibration performed by the
続いて、道路平面が撮像された撮像画像Imgに基づいた交通量計測の詳細について説明する。上記したように、撮像部170から制御部110に対して撮像画像Imgが提供される。さらに、撮像部170は計時機能を有しており、撮像画像Imgの撮像時刻が撮像部170によって検出されると、検出された撮像時刻が制御部110に提供される。情報取得部111は、このようにして撮像部170から提供された撮像画像Imgと撮像時刻とを取得する。
Next, details of traffic volume measurement based on a captured image Img obtained by capturing a road plane will be described. As described above, the captured image Img is provided from the
続いて、位置検出部114は、撮像画像Imgから抽出される車両領域に基づいて所定の検出位置を検出する。所定の検出位置は車両走行軸Aにおける座標であってもよい。すなわち、位置検出部114は、車両走行軸Aにおける座標を検出位置として検出してよい。位置検出部114による検出について、図5を参照しながらさらに詳細に説明する。図5は、位置検出部114の機能の例を説明するための図である。なお、図5に示した例は、位置検出部114による検出の一例に過ぎないため、位置検出部114による検出は、図5に示した例に限定されない。
Subsequently, the
図5を参照すると、道路平面上を車両Mが走行している。まず、位置検出部114は、撮像画像Imgから車両領域を抽出する。車両領域はどのように抽出されてもよい。例えば、車両領域は、車両Mが図5上で映る前後のフレームにおける撮像画像Img同士の差分によって抽出されるシルエットから特定される領域であってもよい。あるいは、背景画像と撮像画像Imgとの差分により抽出されるシルエットであってもよい。
Referring to FIG. 5, the vehicle M is traveling on the road plane. First, the
加えて、撮像映像上の車両M上には車両輪郭およびフロントガラス等によりエッジ特徴が多数検出される。そこで上記処理によって抽出されたシルエットに基づいた車両領域から、位置検出部114ではさらにエッジ特徴を検出し、エッジ特徴に基づいて車両領域を検出すると、撮像環境の変化に対してより高精度な車両領域抽出が行われ得る。
In addition, a large number of edge features are detected on the vehicle M on the captured image by the vehicle outline, the windshield, and the like. Therefore, when the
具体的には、位置検出部114は、上記処理によって抽出されたシルエットに基づいてエッジ特徴を検出し、検出されたエッジ特徴の集まりを車両領域として抽出してもよい。ただし、エッジ検出処理だけでは、1台の車両Mが映った領域が複数のエッジ領域に分断されて抽出されてしまう可能性がある。そこで、位置検出部114は、閾値未満の距離にあるエッジ特徴同士を一つのエッジ領域にまとめてよい。具体的には、位置検出部114は、各エッジ特徴に対してラベリング処理を行い、ラベル付けされたエッジ特徴同士が閾値未満の距離にあれば、そのエッジ特徴同士を一つのエッジ領域にまとめてよい。
Specifically, the
続いて、位置検出部114は、上記したように車両領域に基づいて検出位置を検出する。例えば、位置検出部114は、車両領域に基づいて車両走行軸Aに直交する所定の垂直平面を検出し、車両走行軸Aと所定の垂直平面との交点座標を検出位置として検出すればよい。所定の垂直平面は限定されないが、車両前面であってもよいし、車両背面であってもよい。すなわち、位置検出部114は、所定の垂直平面として車両前面または車両背面を検出してもよい。
Subsequently, the
あるいは、位置検出部114は、所定の垂直平面として車両前面を検出するか車両背面を検出するかを状況に応じて変更してもよい。例えば、位置検出部114は、進行方向ベクトルvが奥から手前に向かう方向の場合には、車両前面を垂直平面として検出し、進行方向ベクトルvが手前から奥に向かう方向の場合には、車両背面を垂直平面として検出してもよい。このようにすれば、奥側の面よりも手前側の面がより鮮明に撮像画像Imgに映る可能性が高いため、検出精度がより高まることが期待される。
Alternatively, the
ここでは、進行方向ベクトルvが右奥から左手前に向かう方向の場合に所定の垂直平面として車両前面F1を検出する手法の一例を説明する。まず、図5に示すように、位置検出部114は、撮像画像Imgから抽出される車両領域に基づいて、車両前面最低点m1’を検出する。車両前面最低点m1’は、車両Mの車体のうち地上からの高さが最も低い点である。車両前面最低点m1’はどのように検出されてもよいが、例えば、進行方向ベクトルvが右奥から左手前に向かう方向の場合には、車両走行軸Aに垂直な平面に対して画像上で最下点となるエッジ線(車両領域の左下の線分)上の点(例えば、中点)が車両前面最低点m1’として検出される。
Here, an example of a method for detecting the vehicle front face F1 as a predetermined vertical plane when the traveling direction vector v is a direction from the right back to the left front will be described. First, as illustrated in FIG. 5, the
続いて、位置検出部114は、実空間上の車両前面最低点m1から道路平面に最低地上高hの長さの垂線を下してその交点m0を通過する車両走行軸Aに垂直な平面を車両前面F1として検出する。ここで、最低地上高hは、あらかじめ決められた値であってもよいし、これまでに検出された最低地上高に基づいて定められる値であってもよい。あらかじめ決められた値を最低地上高hとして使用する場合には、例えば、あらかじめ決められた値として複数の車両における最低地上高の平均値が使用されてもよい。図5には、車両Mが道路平面に接する接地点D0と車体低平面との距離が最低地上高hとして示されている。
Subsequently, the
なお、ここでは、進行方向ベクトルvが右奥から左手前に向かう方向の場合に所定の垂直平面として車両前面F1を検出する手法を説明したが、進行方向ベクトルvが左手前から右奥に向かう方向の場合にも同様にして、最低地上点m1’として車両背面の下部のエッジ線(車両領域の左下の線分)上の点(例えば、中点)が最低地上点m1’として検出され、同様の手法により車両背面が検出され得る。 Here, the method of detecting the vehicle front surface F1 as a predetermined vertical plane when the traveling direction vector v is in the direction from the right back to the left front has been described, but the traveling direction vector v is from the left front to the right back. Similarly, in the case of the direction, a point (for example, a middle point) on the lower edge line (the lower left line segment of the vehicle area) on the back of the vehicle is detected as the lowest ground point m1 ′ as the lowest ground point m1 ′. The rear surface of the vehicle can be detected by a similar method.
また、進行方向ベクトルvが左奥から右手前に向かう方向の場合には、最低地上点m1’として車両前面の下部のエッジ線(車両領域の右下の線分)上の点(例えば、中点)が最低地上点m1’として検出され、同様の手法により車両前面が検出され得る。進行方向ベクトルvが右手前から左奥に向かう方向の場合にも同様にして、最低地上点m1’として車両背面の下部のエッジ線(車両領域の右下の線分)上の点(例えば、中点)が最低地上点m1’として検出され、同様の手法により車両背面が検出され得る。 When the traveling direction vector v is a direction from the left back to the right front, the lowest ground point m1 ′ is a point on the lower edge line (the lower right line segment of the vehicle area) on the front of the vehicle (for example, middle Point) is detected as the lowest ground point m1 ′, and the front surface of the vehicle can be detected by the same method. Similarly, when the traveling direction vector v is in the direction from the right front to the left back, the lowest ground point m1 ′ is a point on the lower edge line (the lower right line segment of the vehicle area) on the back of the vehicle (for example, The middle point) is detected as the lowest ground point m1 ′, and the rear surface of the vehicle can be detected by the same method.
以上の例において説明したような手法により、車両領域に基づいて検出位置が検出され得る。位置検出部114によって検出位置が検出されれば、検出位置と撮像時刻との組み合わせが得られる。図6は、検出位置と撮像時刻との組み合わせの例を示す図である。続いて、計測部115は、このようにして得られた検出位置と撮像時刻との組み合わせから交通量および車両速度を計測する。
The detection position can be detected based on the vehicle region by the method described in the above example. If the detection position is detected by the
ここで、通行車両は通常、一定の運動をしているとみなせるため、検出位置と撮像時間との組み合わせは一定の法則を満たすことになる。そこで、計測部115は、一定の法則を満たす組み合わせに対して投票を行い、投票度数のピーク(以下、「投票ピーク」とも言う。)を、1台の車両領域に基づいて検出された組み合わせの集合が満たすとみなせばよい。したがって、投票ピークの数だけ車両が通過したとみなすことが可能であるため、計測部115は、投票ピークの数を交通量として計測すればよい。
Here, since a passing vehicle can usually be regarded as having a certain movement, the combination of the detection position and the imaging time satisfies a certain law. Therefore, the
なお、投票ピークは、投票度数が閾値を超える場合であり、かつ、投票度数が極大となる場合であってもよい。あるいは、投票ピークは、投票度数が閾値を超える場合であるか、または、投票度数が極大となる場合であってもよい。すなわち、投票ピークは、投票度数が閾値を超える場合、および、投票度数が極大となる場合のうち少なくともいずれか一方であってもよい。 Note that the voting peak may be a case where the voting power exceeds a threshold and the voting power is maximized. Alternatively, the voting peak may be a case where the voting frequency exceeds a threshold value, or a case where the voting frequency becomes a maximum. That is, the voting peak may be at least one of the case where the voting frequency exceeds the threshold and the case where the voting frequency becomes maximum.
かかる手法によれば、投票ピークの数を交通量として計測すればよいため、車両シルエット領域を追跡処理し、撮像範囲内で追跡処理に成功した車両シルエット領域の数をカウントする必要がない。そのため、車両シルエット領域を正確に追跡することが困難な状況が生じている場合であっても、交通量を精度よく計測することが可能となる。したがって、かかる手法によれば、撮像画像に基づいて交通量を計測する場合において交通量計測の精度を向上させることが可能となる。 According to such a method, since the number of voting peaks may be measured as the traffic volume, it is not necessary to track the vehicle silhouette region and count the number of vehicle silhouette regions that have been successfully tracked within the imaging range. Therefore, even when a situation in which it is difficult to accurately track the vehicle silhouette region occurs, the traffic volume can be accurately measured. Therefore, according to this method, it is possible to improve the accuracy of traffic volume measurement when measuring the traffic volume based on the captured image.
具体的な例を用いてさらに説明を続ける。例えば、図5に示した例のように略直線上を車両が走行する場合には、車両はほぼ等速直線運動をすることが推測される。したがって、図6に示したように、撮像時刻と検出位置との各々の組み合わせを2次元座標上にプロットすると、1台の車両領域に基づいた検出位置は、撮像時刻の変化とともにほぼ直線に沿って変化することが推測される。 Further explanation will be continued using a specific example. For example, when the vehicle travels on a substantially straight line as in the example shown in FIG. 5, it is estimated that the vehicle performs a substantially uniform linear motion. Therefore, as shown in FIG. 6, when each combination of the imaging time and the detection position is plotted on the two-dimensional coordinates, the detection position based on one vehicle area substantially follows a straight line as the imaging time changes. It is speculated that it will change.
そこで、検出位置と撮像時刻との組み合わせが直線的に変化すべきであると推測し、計測部115は、各々の組み合わせを通過する直線の集合に対して投票を行い、投票度数がピークとなる直線を1台の車両領域に基づいて検出された組み合わせの集合が満たすとみなせばよい。したがって、計測部115は、投票度数がピークとなる直線の数を交通量として計測すればよい。また、計測部115は、直線の傾きを車両速度として特定することも可能である。
Therefore, it is assumed that the combination of the detection position and the imaging time should change linearly, and the
ここで、投票度数がピークとなる直線をどのように検出するかに関しては特に限定されない。例えば、計測部115は、投票度数がピークとなる直線を検出するため、検出位置と撮像時刻との組み合わせに対してハフ変換を施してもよい。かかる場合、撮像時刻をXとし、検出位置をYとすると、以下の(式1)に示すような関係によって、X−Y平面がρ−θ平面に変換され得る。
Here, there is no particular limitation on how to detect a straight line having a peak vote count. For example, the
ここで、ρは、X−Y平面上において原点Oから直線までの距離に相当し、θは、X軸と原点Oから直線までの垂線とのなす角度に相当する。X−Y平面における一つの直線は、ρ−θ平面においては、曲線の交点として表される。図7は、図6に示した検出位置と撮像時刻との組み合わせに対してハフ変換を施して得られた結果を示す図である。図7に示した例では、投票ピーク点P1、P2が示されており、計測部115は、投票ピーク点の数に相当する「2」を交通量として計測すればよい。出力制御部113は、交通量「2」を出力部190に出力させてよい。
Here, ρ corresponds to the distance from the origin O to the straight line on the XY plane, and θ corresponds to the angle formed by the X axis and the perpendicular from the origin O to the straight line. One straight line in the XY plane is represented as an intersection of curves in the ρ-θ plane. FIG. 7 is a diagram illustrating a result obtained by performing Hough transform on the combination of the detection position and the imaging time illustrated in FIG. In the example illustrated in FIG. 7, voting peak points P <b> 1 and P <b> 2 are illustrated, and the
以上、道路平面が撮像された撮像画像Imgに基づいた交通量計測の詳細について説明した。続いて、かかる交通量計測の動作例について説明する。図8は、交通量計測の動作例を示すフローチャートである。なお、図8に示したフローチャートは、交通量計測の動作の一例を示したに過ぎない。したがって、交通量計測の動作は、図8のフローチャートによって示される動作例に限定されない。 The details of the traffic volume measurement based on the captured image Img obtained by capturing the road plane have been described above. Subsequently, an operation example of the traffic volume measurement will be described. FIG. 8 is a flowchart illustrating an operation example of traffic volume measurement. In addition, the flowchart shown in FIG. 8 only showed an example of the operation | movement of traffic volume measurement. Therefore, the traffic measurement operation is not limited to the operation example shown by the flowchart of FIG.
図8に示すように、まず、交通流計測装置10において情報取得部111は、撮像部170によって道路平面が撮像された撮像画像と撮像画像を撮像した時刻に相当する撮像時刻とを取得する(ステップS11)。続いて、位置検出部114は、撮像画像から車両領域を抽出し(ステップS12)、車両領域に基づいて所定の検出位置を検出する(ステップS13)。続いて、計測部115は、検出位置と撮像時刻との組み合わせに対してハフ変換を施し、ρ−θ平面上における投票ピーク点の数を交通量として計測する(ステップS15)。出力制御部113は、交通量を出力部190に出力させてよい。
As illustrated in FIG. 8, first, in the traffic
以上、交通量計測の動作について説明した。ここで、投票ピークの位置に基づいて車両速度を特定することを想定する。より詳細には、上記したように、θがX−Y平面における原点Oから直線までの垂線とX軸とのなす角度に相当し、車両速度がX−Y平面における直線の傾きに相当することを考慮すれば、投票ピーク点のθを用いて、tan(||θ|−90|)により車両速度を特定することも想定される。図7に示した例では、投票ピーク点P1、P2の各々のθを用いて、それぞれのtan(||θ|−90|)により2台の車両の各々の速度を特定することが可能である。 The operation of traffic volume measurement has been described above. Here, it is assumed that the vehicle speed is specified based on the position of the voting peak. More specifically, as described above, θ corresponds to the angle between the perpendicular line from the origin O to the straight line on the XY plane and the X axis, and the vehicle speed corresponds to the slope of the straight line on the XY plane. In consideration of the above, it is assumed that the vehicle speed is specified by tan (|| θ | -90 |) using θ of the voting peak point. In the example shown in FIG. 7, it is possible to specify the speed of each of the two vehicles using the respective tan (|| θ | −90 |) using θ of each of the voting peak points P1 and P2. is there.
しかし、車両速度の計測精度をさらに向上させるための技術が求められる。特に、道路平面を走行する車両が高速になるにつれて、車両速度の計測結果に生じる誤差が大きくなりやすいため、車両速度の計測精度を向上させるための技術がより強く要求される。そこで、本実施形態においては、計測部115は、検出位置と撮像時刻との複数の組み合わせから当該組み合わせに対して得られる投票ピークの位置に応じた組み合わせを抽出データとして抽出し、抽出データに対する最小二乗法による一次近似に基づいて車両速度を特定する。
However, a technique for further improving the measurement accuracy of the vehicle speed is required. In particular, as a vehicle traveling on a road plane becomes higher in speed, an error generated in the vehicle speed measurement result tends to increase, so that a technique for improving the measurement accuracy of the vehicle speed is strongly demanded. Therefore, in the present embodiment, the
かかる構成によれば、投票ピークの位置に応じた抽出データに対してさらに最小二乗法による一次近似が行われ、一次近似の結果に基づいて車両速度が特定される。すなわち、投票ピークの位置に応じた抽出データに対してのみ上記処理を行うことで、最小二乗法による一次近似の対象から近似精度を劣化させるはずれ値をあらかじめ除外することが可能である。したがって、車両速度の計測精度をさらに向上させることが可能となる。特に、道路平面を走行する車両が高速になるにつれて車両速度の計測結果に生じる誤差が大きくなってしまう可能性を低減し、車両速度の計測精度を向上させることが可能となる。 According to such a configuration, the first-order approximation by the least square method is further performed on the extracted data corresponding to the position of the vote peak, and the vehicle speed is specified based on the result of the first-order approximation. That is, by performing the above process only on the extracted data corresponding to the position of the voting peak, it is possible to exclude in advance the outlier value that degrades the approximation accuracy from the target of the primary approximation by the least square method. Therefore, it is possible to further improve the measurement accuracy of the vehicle speed. In particular, it is possible to reduce the possibility that an error occurring in the measurement result of the vehicle speed increases as the vehicle traveling on the road plane becomes high speed, and to improve the measurement accuracy of the vehicle speed.
このような車両速度の計測についてさらに具体的に説明する。まず、計測部115は、投票ピークの位置を基準とした所定範囲内の組み合わせを抽出データとして抽出する。ここで、所定範囲はあらかじめ定められていてよい。例えば、所定範囲は、X−Y(撮像時刻−検出位置)平面において投票ピークとなる直線の傾きをθ1とし、所定の幅をWi(≧0)とした場合、θ1−Wi≦所定範囲≦θ1+Wiであってもよい。
The measurement of the vehicle speed will be described more specifically. First, the
上記したようにX−Y平面はρ−θ平面にハフ変換されてよい。かかる場合、計測部115は、ハフ空間上において投票ピーク点の位置(θ,ρ)に応じた組み合わせを抽出データとして抽出してよい。このとき、計測部115は、ハフ空間上において投票ピーク点の位置(θ,ρ)を基準とした所定範囲内の組み合わせを抽出データとして抽出すればよい。所定範囲はあらかじめ定められていてよい。例えば、所定範囲は、図7に示したように、θ−ρ平面において投票ピーク点P1のθをθ1とし、所定の幅をWi(≧0)とした場合、θ1−W≦所定範囲≦θ1+Wであってもよい。
As described above, the XY plane may be Hough transformed to the ρ-θ plane. In such a case, the
図9は、抽出データに対する最小二乗法による一次近似の例を示す図である。図9を参照すると、X−Y平面上に抽出データがプロットされている。計測部115は、かかる抽出データに対する最小二乗法による一次近似に基づいて車両速度を特定する。例えば、計測部115は、以下の(数式11)および(数式12)により、抽出データに対する最小二乗法による一次近似の結果として、X−Y平面上における直線Y=aX+bを算出することができる。
FIG. 9 is a diagram illustrating an example of linear approximation by the least square method for extracted data. Referring to FIG. 9, the extracted data is plotted on the XY plane. The measuring
図9に示すように、車両速度をV1とし、検出開始位置をX0とすると、この直線はY=V1(X−X0)とも表すことが可能である。したがって、計測部115は、抽出データに対する最小二乗法による一次近似の結果として得られる傾きaを、車両速度Vとして特定することが可能である。そして、出力制御部113は、車両速度Vを出力部190に出力させてよい。なお、ここでは、投票ピーク点P1の位置に応じた車両速度を特定する例を説明したが、同様の手法によって投票ピーク点P2の位置に応じた車両速度を特定することも可能である。
As shown in FIG. 9, when the vehicle speed is V1 and the detection start position is X0, this straight line can be expressed as Y = V1 (X-X0). Therefore, the measuring
以上、道路平面が撮像された撮像画像Imgに基づいた車両速度計測の詳細について説明した。続いて、かかる車両速度計測の動作例について説明する。図10は、車両速度計測の動作例を示すフローチャートである。なお、図10に示したフローチャートは、車両速度計測の動作の一例を示したに過ぎない。したがって、車両速度計測の動作は、図10のフローチャートによって示される動作例に限定されない。 The details of the vehicle speed measurement based on the captured image Img obtained by capturing the road plane have been described above. Then, the operation example of this vehicle speed measurement is demonstrated. FIG. 10 is a flowchart illustrating an operation example of vehicle speed measurement. Note that the flowchart shown in FIG. 10 only shows an example of the operation of measuring the vehicle speed. Accordingly, the vehicle speed measurement operation is not limited to the operation example shown by the flowchart of FIG.
図10に示すように、計測部115は、投票ピーク点(θ,ρ)の位置に基づいて、検出位置と撮像時刻との組み合わせを抽出データとして抽出する(ステップS21)。より具体的には、計測部115は、投票ピーク点の位置(θ,ρ)を基準とした所定範囲内の組み合わせを抽出データとして抽出すればよい。続いて、計測部115は、検出位置と撮像時刻との組み合わせに対して、最小二乗法による一次近似を行う(ステップS22)。
As shown in FIG. 10, the
続いて、計測部115は、最小二乗法による一次近似の結果に基づいて車両速度を特定する(ステップS23)。より具体的には、計測部115は、最小二乗法による一次近似の結果として得られたX−Y平面上における直線の傾きを車両速度として特定することが可能である。
Subsequently, the
以上、車両速度計測の動作について説明した。このようにして特定された車両速度は、種々の距離の特定に利用されてよい。そうすれば、種々の距離も車両速度によるため、種々の距離の特定精度も向上する。例えば、特定部116は、前方車両(第1の車両)の車両速度と前方車両および後方車両(第2の車両)の所定位置への到達時間差とに基づいて、前方車両および後方車両との距離を特定してもよい。ここで、前方車両および後方車両の距離は特に限定されない。例えば、前方車両と後方車両との距離は、前方車両の前面と後方車両の前面との距離(以下、「車頭間距離」とも言う。)であってもよい。
The operation for measuring the vehicle speed has been described above. The vehicle speed specified in this way may be used to specify various distances. Then, since various distances also depend on the vehicle speed, the identification accuracy of various distances is improved. For example, the specifying
続いて、かかる車頭間距離の特定について説明する。図11は、車頭間距離の特定について説明するための図である。図11に示すように、計測部115は、上記した手法により、前方車両M1の車両速度V1を計測する。また、図11を参照すると、交通流計測装置10による撮像範囲に基準位置N0が含まれている。特定部116は、Y=N0と前方車両M1の動きを示すY=V1(X−X0)との交点によって前方車両M1の前面F1が基準位置N0に到達した時刻J1を検出する。
Subsequently, the specification of the inter-vehicle head distance will be described. FIG. 11 is a diagram for explaining identification of the inter-vehicle head distance. As shown in FIG. 11, the
続いて、特定部116は、同様の手法により、後方車両M2の前面F2が基準位置N0に到達した時刻J2を検出する。そして、特定部116は、前方車両M1の車両速度V1と前方車両M1の前面F1および後方車両M2の前面F2の基準位置N0への到達時間差(J2−J1)とに基づいて、前方車両M1と後方車両M2との車頭間距離Dを特定する。ここで、上記したように、通行車両が一定の運動をしているとみなすと、特定部116は、前方車両M1の運動をモデル化した車両通行モデルLを用いて、L(J2−J1)により車頭間距離Dを特定することができる。
Subsequently, the specifying
特に、上記したように車両がほぼ等速直線運動をすることが推測される場合、図11に示すように、時刻J2においては、前方車両M1の位置N1はN0+V1(J2−J1)と表すことができるため、特定部116は、前方車両M1と後方車両M2との車頭間距離Dを、N1−N0=(N0+V1(J2−J1))−N0=V1(J2−J1)により特定することができる。
In particular, as described above, when it is estimated that the vehicle performs a substantially constant linear motion, as shown in FIG. 11, the position N1 of the forward vehicle M1 is represented as N0 + V1 (J2-J1) at time J2. Therefore, the specifying
なお、ここでは車頭間距離Dを特定する例を説明したが、車間距離を特定することも可能である。例えば、特定部116は、前方車両M1の車長を特定すればよい。前方車両M1の車長を特定する手法は特に限定されないが、例えば、特開2013−148971号公報に開示されている車長を特定する手法を用いることが可能である。特定部116は、車頭間距離Dから車長を減じることによって、車間距離を特定することが可能である。
Although an example in which the inter-vehicle distance D is specified has been described here, the inter-vehicle distance can also be specified. For example, the specifying
また、特定部116は、車両の前面の代わりに車両の背面を利用することによって、同様な手法により車尾間距離を特定することも可能である。また、特定部116は、車尾間距離から後方車両の車長を減じることによって、車間距離を特定することが可能である。後方車両の車長を特定する手法としても、特開2013−148971号公報に開示されている車長を特定する手法を用いることが可能である。また、出力制御部113は、各種の距離(例えば、車頭間距離、車間距離、車尾間距離など)を出力部190に出力させてよい。
Further, the specifying
以上、道路平面が撮像された撮像画像Imgに基づいた種々の距離特定の詳細について説明した。続いて、かかる距離特定の動作例について説明する。図12は、距離特定の動作例を示すフローチャートである。なお、図12に示したフローチャートは、距離特定の動作の一例を示したに過ぎない。したがって、距離特定の動作は、図12のフローチャートによって示される動作例に限定されない。 The details of various distance identification based on the captured image Img obtained by capturing the road plane have been described above. Next, an example of the distance specifying operation will be described. FIG. 12 is a flowchart illustrating an example of the distance specifying operation. The flowchart shown in FIG. 12 merely shows an example of the distance specifying operation. Therefore, the distance specifying operation is not limited to the operation example shown by the flowchart of FIG.
図12に示すように、特定部116は、前方車両M1と後方車両M2との間における基準位置N0への到達時間差を計測する(ステップS31)。続いて、特定部116は、基準位置N0への到達時間差と前方車両M1の車両速度とに基づいて車頭間距離を特定する(ステップS32)。続いて、特定部116は、前方車両M1の車長を特定し(S33)、車頭間距離から車長を減じることによって、車間距離を特定する(ステップS34)。
As shown in FIG. 12, the specifying
以上、種々の距離特定の詳細について説明した。 The details of specifying various distances have been described above.
[効果の説明]
以上に説明したように、本発明の実施形態によれば、道路平面が撮像された撮像画像と撮像時刻とを取得する情報取得部111と、撮像画像から抽出される車両領域に基づいて所定の検出位置を検出する位置検出部114と、検出位置と撮像時刻との複数の組み合わせから当該組み合わせに対して得られる投票ピークの位置に応じた組み合わせを抽出データとして抽出し、抽出データに対する最小二乗法による一次近似に基づいて車両速度を計測する計測部115と、を備える、交通流計測装置10が提供される。
[Description of effects]
As described above, according to the embodiment of the present invention, the
かかる構成によれば、投票ピークの位置に応じた抽出データに対してさらに最小二乗法による一次近似が行われ、一次近似の結果に基づいて車両速度が特定される。すなわち、最小二乗法による一次近似の対象からはずれ値をあらかじめ除外することが可能である。したがって、車両速度の計測精度をさらに向上させることが可能となる。特に、道路平面を走行する車両が高速になるにつれて車両速度の計測結果に生じる誤差が大きくなってしまう可能性を低減し、車両速度の計測精度を向上させることが可能となる。 According to such a configuration, the first-order approximation by the least square method is further performed on the extracted data corresponding to the position of the vote peak, and the vehicle speed is specified based on the result of the first-order approximation. That is, it is possible to exclude a deviation value from the target of linear approximation by the least square method in advance. Therefore, it is possible to further improve the measurement accuracy of the vehicle speed. In particular, it is possible to reduce the possibility that an error occurring in the measurement result of the vehicle speed increases as the vehicle traveling on the road plane becomes high speed, and to improve the measurement accuracy of the vehicle speed.
また、このようにして計測された車両速度を利用して各種の距離を特定することが可能となる。例えば、上記したように、車頭間距離、車間距離、車尾間距離などが各種の距離として特定され得る。車両速度および各種の距離は、様々な場面に用いられ得る。例えば、車両速度および各種の距離は、道路平面を走行する車両の渋滞状況に利用されてもよいし、道路平面上において起きた車両事故の解析に利用されてもよい。 In addition, various distances can be specified using the vehicle speed measured in this way. For example, as described above, the inter-vehicle distance, the inter-vehicle distance, the inter-vehicle distance, and the like can be specified as various distances. Vehicle speed and various distances can be used for various scenes. For example, the vehicle speed and various distances may be used for a traffic jam situation of a vehicle traveling on a road plane, or may be used for analysis of a vehicle accident occurring on the road plane.
[変形例の説明]
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
[Description of modification]
The preferred embodiments of the present invention have been described in detail above with reference to the accompanying drawings, but the present invention is not limited to such examples. It is obvious that a person having ordinary knowledge in the technical field to which the present invention pertains can come up with various changes or modifications within the scope of the technical idea described in the claims. Of course, it is understood that these also belong to the technical scope of the present invention.
例えば、上記の例では、車両がほぼ等速直線運動をする場合について説明した。しかし、車両の走行状況はかかる例に限定されず、カーブした道路平面上を車両が走行する場合であってもよい。かかる場合であっても車両はほぼ等速運動をすることが推測されるため、カーブした道路平面に沿って車両走行軸Aが設定されれば、1台の車両領域に基づいた検出位置は、上記の例と同様に、撮像時刻の変化とともにほぼ直線に沿って変化することが推測されるからである。なお、かかる場合には、計測範囲E1もカーブした道路平面に沿って設定されればよい。 For example, in the above example, the case where the vehicle has a substantially constant linear motion has been described. However, the traveling state of the vehicle is not limited to this example, and the vehicle may travel on a curved road plane. Even in such a case, since it is estimated that the vehicle moves substantially at a constant speed, if the vehicle travel axis A is set along a curved road plane, the detection position based on one vehicle area is This is because, as in the above example, it is estimated that the image changes along a straight line with a change in imaging time. In such a case, the measurement range E1 may be set along a curved road plane.
さらに、車両がほぼ等速運動をする場合ではなく、車両の速さが変化する場合であってもよい。例えば、撮像時刻と検出位置との各々の組み合わせを2次元座標上にプロットすると、1台の車両領域に基づいた検出位置が、撮像時刻の変化とともにほぼ曲線に沿って変化することが推測される場合もあり得る(一例として、車両が等加速度運動する場合には、1台の車両領域に基づいた検出位置が、撮像時刻の変化とともに放物線に沿って変化することが推測される)。 Furthermore, it may be a case where the speed of the vehicle changes instead of the case where the vehicle moves at a substantially constant speed. For example, when each combination of the imaging time and the detection position is plotted on a two-dimensional coordinate, it is estimated that the detection position based on one vehicle area changes substantially along a curve as the imaging time changes. In some cases (for example, when the vehicle moves at a constant acceleration, it is estimated that the detection position based on one vehicle region changes along the parabola with the change of the imaging time).
かかる場合には、検出位置と撮像時刻との組み合わせが曲線上を変化すべきであると推測し、計測部115は、各々の組み合わせを通過する曲線の集合に対して投票を行い、投票度数がピークとなる曲線を1台の車両領域に基づいて検出された組み合わせの集合が満たすとみなせばよい。したがって、計測部115は、投票度数がピークとなる曲線の数を交通量として計測すればよい。また、計測部115は、投票度数がピークとなる曲線それぞれの微分によって各車両速度を特定することも可能である。さらに、計測部115は、投票度数がピークとなる曲線それぞれの二階微分によって各車両の加速度を算出することも可能である。
In such a case, it is assumed that the combination of the detection position and the imaging time should change on the curve, and the
制御部110を構成する各ブロックは、例えば、CPU(Central Processing Unit)、RAM(Random Access Memory)などから構成され、記憶部180により記憶されているプログラムがCPUによりRAMに展開されて実行されることにより、その機能が実現され得る。あるいは、制御部110を構成する各ブロックは、専用のハードウェアにより構成されていてもよいし、複数のハードウェアの組み合わせにより構成されてもよい。
Each block configuring the
尚、本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的に又は個別的に実行される処理をも含む。また時系列的に処理されるステップでも、場合によっては適宜順序を変更することが可能であることは言うまでもない。 In this specification, the steps described in the flowcharts are executed in parallel or individually even if they are not necessarily processed in time series, as well as processes performed in time series in the described order. Including processing to be performed. Further, it goes without saying that the order can be appropriately changed even in the steps processed in time series.
10 交通流計測装置
110 制御部
111 情報取得部
112 設定部
113 出力制御部
114 位置検出部
115 計測部
116 特定部
170 撮像部
180 記憶部
190 出力部
A 車両走行軸
D 車頭間距離
E1 計測範囲
M 車両
M1 前方車両
M2 後方車両
P1、P2 投票ピーク点
V(V1) 車両速度
DESCRIPTION OF
Claims (13)
前記撮像画像から抽出される車両領域に基づいて所定の検出位置を検出する位置検出部と、
前記検出位置と前記撮像時刻との複数の組み合わせから当該組み合わせに対して得られる投票ピークの位置に応じた組み合わせを抽出データとして抽出し、前記抽出データに対する最小二乗法による一次近似に基づいて車両速度を計測する計測部と、
を備える、交通流計測装置。 An information acquisition unit for acquiring a captured image obtained by capturing a road plane and an imaging time;
A position detection unit that detects a predetermined detection position based on a vehicle region extracted from the captured image;
A combination corresponding to the position of the voting peak obtained for the combination from a plurality of combinations of the detection position and the imaging time is extracted as extracted data, and the vehicle speed is based on a first-order approximation based on the least square method on the extracted data. A measurement unit for measuring
A traffic flow measuring device.
請求項1に記載の交通流計測装置。 The measurement unit performs a Hough transform on the combination of the detection position and the imaging time, and extracts a combination according to the position of the voting peak point on the Hough space as the extraction data.
The traffic flow measuring device according to claim 1.
請求項1に記載の交通流計測装置。 The position detection unit detects an edge feature from the captured image, and extracts the vehicle region based on the edge feature;
The traffic flow measuring device according to claim 1.
請求項1に記載の交通流計測装置。 The measuring unit measures the number of voting peaks as a traffic volume;
The traffic flow measuring device according to claim 1.
請求項1に記載の交通流計測装置。 The position detection unit detects, as the detection position, coordinates on a vehicle travel axis in a real space set in accordance with an actual size.
The traffic flow measuring device according to claim 1.
請求項5に記載の交通流計測装置。 The position detection unit detects a predetermined vertical plane orthogonal to a vehicle travel axis in real space based on the vehicle region, and detects an intersection coordinate between the vehicle travel axis and the vertical plane as the detection position;
The traffic flow measuring device according to claim 5.
請求項6に記載の交通流計測装置。 The position detection unit detects a vehicle front surface or a vehicle back surface as the predetermined vertical plane;
The traffic flow measuring device according to claim 6.
請求項7に記載の交通流計測装置。 The position detection unit detects the front surface of the vehicle as the vertical plane when the vehicle traveling direction in real space is from the back to the front, and the vehicle traveling direction in real space is the direction from the front to the back. In detecting the back of the vehicle as the vertical plane,
The traffic flow measuring device according to claim 7.
第1の車両の前記車両速度と第1の車両および第2の車両の所定位置への到達時間差とに基づいて、前記第1の車両と前記第2の車両との距離を特定する特定部を備える、
請求項7に記載の交通流計測装置。 The traffic flow measuring device is
A specifying unit for specifying a distance between the first vehicle and the second vehicle based on the vehicle speed of the first vehicle and a difference in arrival time between the first vehicle and the second vehicle to a predetermined position; Prepare
The traffic flow measuring device according to claim 7.
請求項9に記載の交通流計測装置。 The specifying unit determines whether the first vehicle and the second vehicle are based on the vehicle speed and a difference in arrival time to the predetermined position on the front surface of each of the first vehicle and the second vehicle. Identify the distance between the heads of the car,
The traffic flow measuring device according to claim 9.
請求項10に記載の交通流計測装置。 The specifying unit specifies an inter-vehicle distance between the first vehicle and the second vehicle based on a vehicle length of the first vehicle and an inter-head distance.
The traffic flow measuring device according to claim 10.
請求項9に記載の交通流計測装置。 The specifying unit determines whether the first vehicle and the second vehicle are based on the vehicle speed and a difference in arrival time of the first vehicle and the second vehicle at the predetermined positions on the rear surfaces of the vehicles. Identify the distance between the tails
The traffic flow measuring device according to claim 9.
前記撮像画像から抽出される車両領域に基づいて所定の検出位置を検出することと、
前記検出位置と前記撮像時刻との複数の組み合わせから当該組み合わせに対して得られる投票ピークの位置に応じた組み合わせを抽出データとして抽出し、前記抽出データに対する最小二乗法による一次近似に基づいて車両速度を計測することと、
を含む、交通流計測方法。
Obtaining a captured image and an imaging time when the road plane is imaged;
Detecting a predetermined detection position based on a vehicle region extracted from the captured image;
A combination corresponding to the position of the voting peak obtained for the combination from a plurality of combinations of the detection position and the imaging time is extracted as extracted data, and the vehicle speed is based on a first-order approximation based on the least square method on the extracted data. Measuring
Including traffic flow measurement method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015133473A JP2017016460A (en) | 2015-07-02 | 2015-07-02 | Traffic flow measurement device and traffic flow measurement method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015133473A JP2017016460A (en) | 2015-07-02 | 2015-07-02 | Traffic flow measurement device and traffic flow measurement method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017016460A true JP2017016460A (en) | 2017-01-19 |
Family
ID=57830759
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015133473A Pending JP2017016460A (en) | 2015-07-02 | 2015-07-02 | Traffic flow measurement device and traffic flow measurement method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2017016460A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022224445A1 (en) * | 2021-04-23 | 2022-10-27 | 日本電気株式会社 | Traffic flow monitoring device, traffic flow monitoring method, and recording medium |
CN115346397A (en) * | 2022-07-18 | 2022-11-15 | 岚图汽车科技有限公司 | Traffic flow positioning passing method, system, storage medium and equipment |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10307627A (en) * | 1997-05-07 | 1998-11-17 | Fuji Heavy Ind Ltd | Working border detecting device and copy travel controller for autonomous traveling work vehicle |
JP2000163577A (en) * | 1998-11-25 | 2000-06-16 | Toyota Central Res & Dev Lab Inc | Detector for line |
JP2003256844A (en) * | 2002-02-28 | 2003-09-12 | Nippon Telegr & Teleph Corp <Ntt> | Pattern estimating method, pattern estimating device, program for the same method and recording medium with its program recorded |
JP2005284678A (en) * | 2004-03-29 | 2005-10-13 | Mitsubishi Heavy Ind Ltd | Traffic flow measuring device |
JP2007094919A (en) * | 2005-09-30 | 2007-04-12 | Mitsubishi Electric Corp | Traffic flow measurement device |
JP2012118988A (en) * | 2010-11-29 | 2012-06-21 | Ntt Docomo Inc | Method and apparatus for performing cross-calculation |
JP2013218572A (en) * | 2012-04-10 | 2013-10-24 | Sumitomo Electric Ind Ltd | Pedestrian crossing support device, computer program and pedestrian crossing support method |
JP2015041187A (en) * | 2013-08-21 | 2015-03-02 | 沖電気工業株式会社 | Traffic measurement device, and traffic measurement method |
-
2015
- 2015-07-02 JP JP2015133473A patent/JP2017016460A/en active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10307627A (en) * | 1997-05-07 | 1998-11-17 | Fuji Heavy Ind Ltd | Working border detecting device and copy travel controller for autonomous traveling work vehicle |
JP2000163577A (en) * | 1998-11-25 | 2000-06-16 | Toyota Central Res & Dev Lab Inc | Detector for line |
JP2003256844A (en) * | 2002-02-28 | 2003-09-12 | Nippon Telegr & Teleph Corp <Ntt> | Pattern estimating method, pattern estimating device, program for the same method and recording medium with its program recorded |
JP2005284678A (en) * | 2004-03-29 | 2005-10-13 | Mitsubishi Heavy Ind Ltd | Traffic flow measuring device |
JP2007094919A (en) * | 2005-09-30 | 2007-04-12 | Mitsubishi Electric Corp | Traffic flow measurement device |
JP2012118988A (en) * | 2010-11-29 | 2012-06-21 | Ntt Docomo Inc | Method and apparatus for performing cross-calculation |
JP2013218572A (en) * | 2012-04-10 | 2013-10-24 | Sumitomo Electric Ind Ltd | Pedestrian crossing support device, computer program and pedestrian crossing support method |
JP2015041187A (en) * | 2013-08-21 | 2015-03-02 | 沖電気工業株式会社 | Traffic measurement device, and traffic measurement method |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022224445A1 (en) * | 2021-04-23 | 2022-10-27 | 日本電気株式会社 | Traffic flow monitoring device, traffic flow monitoring method, and recording medium |
CN115346397A (en) * | 2022-07-18 | 2022-11-15 | 岚图汽车科技有限公司 | Traffic flow positioning passing method, system, storage medium and equipment |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112292711B (en) | Associating LIDAR data and image data | |
WO2021004312A1 (en) | Intelligent vehicle trajectory measurement method based on binocular stereo vision system | |
CN104949619B (en) | Vehicle stereoscopic image processing device | |
WO2019116958A1 (en) | Onboard environment recognition device | |
US9824586B2 (en) | Moving object recognition systems, moving object recognition programs, and moving object recognition methods | |
CN110826499A (en) | Object space parameter detection method and device, electronic equipment and storage medium | |
US9736460B2 (en) | Distance measuring apparatus and distance measuring method | |
US9177196B2 (en) | Vehicle periphery monitoring system | |
US9025818B2 (en) | Vehicle type identification device | |
JP6171593B2 (en) | Object tracking method and system from parallax map | |
Pantilie et al. | Real-time obstacle detection in complex scenarios using dense stereo vision and optical flow | |
KR101551026B1 (en) | Method of tracking vehicle | |
JP2014138420A (en) | Depth sensing method and system for autonomous vehicle | |
US20120219183A1 (en) | 3D Object Detecting Apparatus and 3D Object Detecting Method | |
TWI504858B (en) | A vehicle specification measuring and processing device, a vehicle specification measuring method, and a recording medium | |
KR102104005B1 (en) | Methods for detecting objects on the roadside of automobiles, computing devices, driver assistance systems and automobiles | |
EP4213128A1 (en) | Obstacle detection device, obstacle detection system, and obstacle detection method | |
JP2014009975A (en) | Stereo camera | |
JP5783211B2 (en) | Traffic volume measuring apparatus and traffic volume measuring method | |
CN114119729A (en) | Obstacle identification method and device | |
JP6543935B2 (en) | PARALLEL VALUE DERIVING DEVICE, DEVICE CONTROL SYSTEM, MOBILE OBJECT, ROBOT, PARALLEL VALUE DERIVING METHOD, AND PROGRAM | |
Geiger et al. | Object flow: A descriptor for classifying traffic motion | |
JP2017016460A (en) | Traffic flow measurement device and traffic flow measurement method | |
JP6699323B2 (en) | Three-dimensional measuring device and three-dimensional measuring method for train equipment | |
KR102003387B1 (en) | Method for detecting and locating traffic participants using bird's-eye view image, computer-readerble recording medium storing traffic participants detecting and locating program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180515 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190313 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190319 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20190327 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190328 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190516 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20191105 |