JP5337905B2 - 速度計測システム、速度計測方法及びプログラム - Google Patents

速度計測システム、速度計測方法及びプログラム Download PDF

Info

Publication number
JP5337905B2
JP5337905B2 JP2012270188A JP2012270188A JP5337905B2 JP 5337905 B2 JP5337905 B2 JP 5337905B2 JP 2012270188 A JP2012270188 A JP 2012270188A JP 2012270188 A JP2012270188 A JP 2012270188A JP 5337905 B2 JP5337905 B2 JP 5337905B2
Authority
JP
Japan
Prior art keywords
image
imaging
vehicle
frame image
speed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012270188A
Other languages
English (en)
Other versions
JP2013152219A (ja
Inventor
和寛 水町
克巳 杉森
裕信 高橋
祐司 水口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Applied Vision Systems Corp
Original Assignee
Applied Vision Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Applied Vision Systems Corp filed Critical Applied Vision Systems Corp
Priority to JP2012270188A priority Critical patent/JP5337905B2/ja
Publication of JP2013152219A publication Critical patent/JP2013152219A/ja
Application granted granted Critical
Publication of JP5337905B2 publication Critical patent/JP5337905B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は、速度計測システム、速度計測方法及びプログラムに関する。
移動体の速度を計測する装置として、複数のカメラで撮像した画像を元に、移動体の3次元座標を取得し、3次元座標の時間変化から移動体の速度を取得する装置が知られている(例えば、特許文献1乃至3)。
特許文献1に記載の速度計測装置は、道路上を走行する車両の速度を計測する装置であり、道路に垂直に立てられたF字形状の支柱に上下に取り付けられた2つのカメラにより、道路上方から斜め下方に向かって道路上を走行する車両を撮像する。それぞれのカメラで撮像した画像内で車両の同じ物点を示す特徴点同士を対応付けて物点の3次元座標を算出し、その3次元座標の時間変化より物点の移動速度を計測する。
特許文献2に記載の対象物検出装置は、道路上を移動する歩行者や自転車等の位置や速度等の運動情報を検出する装置であり、道路に垂直に立てられたT字上の柱に取り付けられた2つのカメラにより、道路上方から斜め下方に向かって道路上に存在する対象物を撮像する。撮像した画像に基づく対象物検出結果を統合して検出された対象物を追跡し、対象物の位置や速度を検出する。
特許文献3に記載の打球診断装置は、叩打力によって飛翔する球の速度や打球軌跡などを計測する装置であり、レーザ光を照射しているところを打球具が通過することにより、打撃スピードを検出し、打撃スピードに対応するタイミングでストロボ発光と2つのカメラで撮像を行う。2つのカメラは、球の進行方向に対して平行に配列し側方から撮像し、撮像画像に基づく球の速度、回転から打球軌跡を計測する。
特許3629935号公報 特開2009−198445号公報 特開2003−117044号公報
ステレオカメラの撮像画像に基づく3次元座標の誤差は、カメラから対象物までの距離に比例し、2台のカメラ間の距離(基線長)に反比例する。カメラ設置場所の制約から基線長を長く取れない場合には、カメラから離隔した対象物の3次元座標の計測は、誤差が大きくなってしまう。
特許文献1、2に記載された装置は、道路の上方から斜め下方に道路上の移動体を撮像するため、カメラを設置する支柱から遠方にある移動体の物点の3次元座標は誤差が大きくなってしまい、速度を正確に測定できない。
このような場合、計測誤差の削減を図るため、特許文献1では、略同じ速度の特徴点毎にグループ分けして、グループ全体としての速度を求めるとしている。また、特許文献2では、対象物の地面からの高さを検出し、その検出結果に基づいて、画像処理する処理領域を変えて速度を求めている。しかし、この誤差削減のための処理は複雑であり、複数の移動体を同時に計測する場合等は、計測結果出力までに時間がかかってしまう。また、移動体の撮像画像は、移動体の移動により大きさが変化するため対応する物点の特定が困難であり誤測定の要因となる。
更に、夜間の計測のために赤外線カメラを用いる場合、カメラから遠方には十分に赤外光が照射されず、誤差増大の原因となり得る。
一方、特許文献3に記載された装置は、球を側方から撮像する装置であるが、レーザ光を打球具が遮ることにより撮像のタイミングを図る手法を採っているため、道路のように複数の車両が継続して移動する場合には適応していない。また、レーザ照射装置、光検出器なども必要になり構成が複雑である。
本発明は、上記事情に鑑みてなされたものであり、簡易な処理で道路を走行する車両の速度を精度良く計測する速度計測システム等を提供することを目的とする。
上記目的を達成するため、本発明の第1の観点に係る速度計測システムは、
車両の進行方向に対して略垂直の視線方向で、互いに同時に撮像して、予め定めた時間間隔の連続フレーム画像を撮像時刻に対応付けて取得する複数の撮像手段と、
前記複数の撮像手段のうち1の撮像手段が撮像した前記連続フレーム画像から、前記車両を示すフレーム画像を基準フレーム画像として選択し、前記基準フレーム画像中の前記車両の画像と同じ画像をテンプレートとして生成するテンプレート生成手段と、
前記基準フレーム画像の前又は後の前後フレーム画像、並びに、他の撮像手段で、前記基準フレーム画像及び前記前後フレーム画像と同時に撮像したフレーム画像において、前記テンプレートを用いたテンプレートマッチングを行うことにより、前記テンプレートに略一致するテンプレート一致領域を特定するテンプレート一致領域特定手段と、
前記テンプレート及び前記テンプレート一致領域から互いに対応する基準点を決定し、前記複数の撮像手段で同時に撮像したフレーム画像における前記基準点の位置に基づいて、各撮像時刻における前記基準点の3次元座標を取得する3次元座標取得手段と、
前記3次元座標取得手段で取得した前記基準点の3次元座標を少なくとも2つの異なる前記撮像時刻について取得した値と、前記3次元座標を取得するのに使用したフレーム画像の前記撮像時刻の時間差とに基づいて、前記車両の速度を算出する速度算出手段と、を有し、
前記3次元座標取得手段は、前記基準フレーム画像と、複数の前記前後フレーム画像と、他の撮像手段で、前記基準フレーム画像及び前記前後フレーム画像と同時に撮像したフレーム画像と、に基づいて、4以上の撮像時刻について3次元座標を取得し、
前記速度算出手段は、前記車両が等加速度運動をしていると仮定した2次方程式に、4以上の撮像時刻について3次元座標をフィッティングすることにより、各3次元座標における速度のうち最も低い速度を、計測時間内最低速度として出力する、
ことを特徴とする。
前記テンプレート生成手段は、前記複数の撮像手段のうち1の撮像手段が撮像した前記連続フレーム画像から、フレーム画像の略中央に前記撮像手段の視線方向に対して略垂直の前記車両の略平面を示すフレーム画像を前記基準フレーム画像として選択し、前記基準フレーム画像中の前記車両の前記略平面の画像と同じ画像を前記テンプレートとして生成するようにしてもよい。
前記複数の撮像手段のうち1の撮像手段が撮像したフレーム画像の画素値が予め定めた変化量を超えて変化した時の変化量の最大値に対し、所定の割合以上の変化量を有する時間帯のフレーム画像を計測対象画像として取得する計測対象画像取得手段をさらに有し、
前記テンプレート生成手段は、前記計測対象画像取得手段で取得した前記計測対象画像の中から、前記基準フレーム画像を選択するようにしてもよい。
GPS(Global Positioning System)衛星からの電波信号を受信するGPS受信アンテナと、
前記基準フレーム画像と前記前後フレーム画像を撮像したときの前記撮像時刻と、前記撮像手段の現在位置と、を前記GPS受信アンテナから受信した電波信号に基づいて取得し、各フレーム画像と、当該フレーム画像に対応付けて前記撮像時刻と前記現在位置を含む情報と、を記憶する記憶手段と、
をさらに有し、
前記撮像手段は、前記撮像時刻を前記記憶手段から取得するようにしてもよい。
前記複数の撮像手段は、前記車両が進行する道路の延在方向に略垂直かつ略水平方向である方向を視線方向とし、前記車両を側方から撮像するようにしてもよい。
前記複数の撮像手段は、前記車両が進行する道路の延在方向に略垂直かつ略鉛直方向下向きを視線方向とし、車両を上方から撮像するようにしてもよい。
前記基準点は、前記テンプレート及び前記テンプレート一致領域の重心であってもよい。
前記複数の撮像手段が前記視線方向に略平行の方向に赤外光を照射する赤外光照射手段を更に有し、
前記撮像手段は、赤外線撮像が可能なカメラであってもよい。
前記複数の撮像手段が撮像する領域と重複する領域をカラー撮像するカラー撮像装置と、
前記カラー撮像装置が撮像したカラー画像のうち、前記基準フレーム画像と前記前後フレーム画像を前記撮像手段が撮像した時刻と同時刻を含む時間に連続撮像したカラー画像を前記速度算出手段が算出する前記車両の速度と対応付けて記憶するカラー画像記憶手段と、
を更に有してもよい。
前記計測対象画像取得手段が前記計測対象画像を取得したことを検出した後に、前記車両の通過する方向を所定時間カラー撮像するカラー撮像装置と、
前記カラー撮像装置が撮像したカラー画像を前記速度算出手段が算出する前記車両の速度と対応付けて記憶するカラー画像記憶手段と、
を更に有してもよい。
また、本発明の第2の観点に係る速度計測方法は、
車両の進行方向に対して略垂直の視線方向で、互いに同時に撮像して、予め定めた時間間隔の連続フレーム画像を撮像時刻に対応付けて取得する複数の撮像手段で撮像する撮像ステップと、
前記複数の撮像手段のうち1の撮像手段が撮像した前記連続フレーム画像から、前記車両を示すフレーム画像を基準フレーム画像として選択し、前記基準フレーム画像中の前記車両の画像と同じ画像をテンプレートとして生成するテンプレート生成ステップと、
前記基準フレーム画像の前又は後の前後フレーム画像、並びに、他の撮像手段で、前記基準フレーム画像及び前記前後フレーム画像と同時に撮像したフレーム画像において、前記テンプレートを用いたテンプレートマッチングを行うことにより、前記テンプレートに略一致するテンプレート一致領域を特定するテンプレート一致領域特定ステップと、
前記テンプレート及び前記テンプレート一致領域から互いに対応する基準点を決定し、前記複数の撮像手段で同時に撮像したフレーム画像における前記基準点の位置に基づいて、各撮像時刻における前記基準点の3次元座標を取得する3次元座標取得ステップと、
前記3次元座標取得ステップで取得した前記基準点の3次元座標を少なくとも2つの異なる前記撮像時刻について取得した値と、前記3次元座標を取得するのに使用したフレーム画像の前記撮像時刻の時間差とに基づいて、前記車両の速度を算出する速度算出ステップと、を有し、
前記3次元座標取得ステップは、前記基準フレーム画像と、複数の前記前後フレーム画像と、他の撮像手段で、前記基準フレーム画像及び前記前後フレーム画像と同時に撮像したフレーム画像と、に基づいて、4以上の撮像時刻について3次元座標を取得し、
前記速度算出ステップは、前記車両が等加速度運動をしていると仮定した2次方程式に、4以上の撮像時刻について3次元座標をフィッティングすることにより、各3次元座標における速度のうち最も低い速度を、計測時間内最低速度として出力する、
ことを特徴とする。
また、本発明の第3の観点に係るプログラムは、
コンピュータに、
車両の進行方向に対して略垂直の視線方向で、互いに同時に撮像して、予め定めた時間間隔の連続フレーム画像を撮像時刻に対応付けて取得する複数の撮像手段に撮像させる撮像手順と、
前記複数の撮像手段のうち1の撮像手段が撮像した前記連続フレーム画像から、前記車両を示すフレーム画像を基準フレーム画像として選択し、前記基準フレーム画像中の前記車両の画像と同じ画像をテンプレートとして生成するテンプレート生成手順と、
前記基準フレーム画像の前又は後の前後フレーム画像、並びに、他の撮像手段で、前記基準フレーム画像及び前記前後フレーム画像と同時に撮像したフレーム画像において、前記テンプレートを用いたテンプレートマッチングを行うことにより、前記テンプレートに略一致するテンプレート一致領域を特定するテンプレート一致領域特定手順と、
前記テンプレート及び前記テンプレート一致領域から互いに対応する基準点を決定し、前記複数の撮像手段で同時に撮像したフレーム画像における前記基準点の位置に基づいて、各撮像時刻における前記基準点の3次元座標を取得する3次元座標取得手順と、
前記3次元座標取得手順で取得した前記基準点の3次元座標を少なくとも2つの異なる前記撮像時刻について取得した値と、前記3次元座標を取得するのに使用したフレーム画像の前記撮像時刻の時間差とに基づいて、前記車両の速度を算出する速度算出手順と、を実行させるためのプログラムであって、
前記3次元座標取得手順は、前記基準フレーム画像と、複数の前記前後フレーム画像と、他の撮像手段で、前記基準フレーム画像及び前記前後フレーム画像と同時に撮像したフレーム画像と、に基づいて、4以上の撮像時刻について3次元座標を取得し、
前記速度算出手順は、前記車両が等加速度運動をしていると仮定した2次方程式に、4以上の撮像時刻について3次元座標をフィッティングすることにより、各3次元座標における速度のうち最も低い速度を、計測時間内最低速度として出力する、
ことを特徴とする。
本発明によれば、簡易な処理で道路を走行する車両の速度を精度良く計測することができる。
実施の形態1に係る速度計測システムの構成を示す図である。 速度計測システムを構成するカメラとコンピュータの内部構成を示すブロック図である。 コンピュータが実現する機能を説明するための機能ブロック図である。 対象画像選択処理を説明するための図である。 テンプレート生成処理を説明するための図である。 テンプレートマッチング生成処理を説明するための図である。 実施の形態1に係る速度計測処理を示すフローチャートである。 実施の形態2に係る速度計測システムの構成を示す図である。 実施の形態3に係る速度計測処理を示すフローチャートである。 実施の形態4の速度計測システムの構成を示す図である。 実施の形態5のコンピュータが実現する機能を説明するための機能ブロック図である。 実施の形態5に係る速度計測処理を示すフローチャートである。 車両を撮像した画像例を示す図である。 実施の形態6に係る速度計測処理を示すフローチャートである。 背景画像の特定処理を説明するための図である。
(実施の形態1)
本発明の実施の形態1について図面を参照して詳細に説明する。
本実施の形態に係る速度計測システム1は、図1に示すように、道路上を走行する車両10の速度を計測するシステムであり、第1カメラ20と、第2カメラ21と、コンピュータ22と、通信線23と、撮像指示信号発生部24と、通信線25と、から構成される。
第1カメラ20と第2カメラ21は、互いに略平行もしくは、撮像対象の車両10を同時に撮像できるように互いにやや内向きの視線で撮像する。また、第1カメラ20と第2カメラ21の視線方向は、車両10の走行方向つまり道路の延在方向に略垂直方向かつ略水平方向とする。すなわち、第1カメラ20と第2カメラ21は、主に車両10の側面を側方から撮像する。第1カメラ20、第2カメラ21と車両10との距離は、道路幅や走行する車線によって変わり、5m〜25m程度である。
第1カメラ20と第2カメラ21と撮像指示信号発生部24は、通信線23を介してコンピュータ22に接続されている。また、第1カメラ20、第2カメラ21は、通信線25を介して撮像指示信号発生部24に接続されている。コンピュータ22は、第1カメラ20、第2カメラ21に制御信号を送信する。第1カメラ20、第2カメラ21は、受信した制御信号に基づいて、撮像及び画像データ送信等の制御を行う。
撮像指示信号発生部24は、コンピュータ22が送信する制御信号を受信すると、一定の時間間隔で第1カメラ20と第2カメラ21に撮像を指示する指示信号を送信する。例えば、コンピュータ22が、毎秒50回の撮像をすることを示す制御信号を送信し、撮像指示信号発生部24がその信号を受信した場合、毎秒の正時0.000秒を基準に0.020秒、0.040秒と、1/50秒毎に第1カメラ20、第2カメラ21に指示信号を送信する。指示信号を受けた第1カメラ20と第2カメラ21は指示信号を受信したタイミングで撮像を行い、取得した画像データをコンピュータ22に送信する。
撮像指示信号発生部24は、図2に示すように、GPS(Global Positioning System)アンテナ241を備えており、GPS11から送信される電波信号をGPSアンテナ241で受信する。撮像指示信号発生部24は、第1カメラ20と第2カメラ21に撮像を指示する指示信号を出力する際に現在時刻と位置情報をGPS11からの電波信号に基づいて取得し、指示信号に現在時刻の情報と位置情報を含める。これにより、第1カメラ20と第2カメラ21は、撮像する時刻の情報と撮像場所の位置情報を撮像指示信号発生部24から得ることができる。
第1カメラ20と第2カメラ21は、画素数等のカメラ性能も同じピンホールカメラであり、2つのカメラでステレオ画像(視差画像)を撮像可能なステレオカメラを構成する。2つのカメラ間の距離(基線長)は長いほど速度計測の誤差が小さくなる。しかし、2つのカメラの視野が重なる必要があるため、基線長はカメラから車両10までの距離の1/5以内が望ましい。
第1カメラ20は、図2に示すように、撮像部201と、制御部202と、通信部203を有する。制御部202には、フレームメモリ2021が備えられている。
撮像部201は、撮像部201に入力した光信号をデジタル信号に変換して画像データとして出力する。制御部202は、撮像指示信号発生部24から、撮像を指示する指示信号を受信すると、撮像を実行するように撮像部201を制御する。また、撮像部201が出力した画像データを、1フレーム毎にフレームメモリ2021に保存する。ここで、第1カメラ20は撮像指示信号発生部24より、撮像する時刻の情報と位置情報を取得しているため、制御部202は、画像データにその画像を撮像した時刻情報と位置情報を付加して、フレームメモリ2021に保存する。
通信部203は、コンピュータ22と信号を送受信する機能を有し、コンピュータ22から制御信号を受信して第1カメラ20の各構成部に出力したり、フレームメモリ2021に保存されている時刻情報・位置情報付きのフレーム画像データをコンピュータ22に送信する。
第2カメラ21も、第1カメラ20と同等の構成、機能を有する。
コンピュータ22は、第1カメラ20、第2カメラ21の操作、制御を行うとともに、速度計測処理を実行する処理実行装置であり、パーソナルコンピュータ等から構成される。
コンピュータ22は、図2に示すように、CPU(Central Processing Unit:中央処理装置)221、通信部222、RAM(Random Access Memory)223、ROM(Read Only Memory)224、HDD(Hard Disk Drive)225、表示部226を備える。
CPU221は、コンピュータ22の各構成部の制御を行うとともに、ROM224、HDD225に保存されているプログラムを実行することにより、速度計測処理等の各処理を実行する。
通信部222は、第1カメラ20、第2カメラ21と信号を送受信する機能を有し、第1カメラ20、第2カメラ21に対してカメラの制御信号を送信したり、第1カメラ20、第2カメラ21が取得した画像データを受信したりする。
RAM223は、高速にデータの読み書きが可能なメモリであり、通信部222が受信した画像データやHDD225から読み出した画像データ等をデータ処理のために一時保存する。ROM224は、CPU221が実行する処理のプログラムや、設定値などを記憶する読み出し専用メモリである。
HDD225は、大容量の記憶装置であり、通信部222が受信した画像データや、速度計測処理で得られた計測結果などの各種データを記憶する。表示部226は、画像、文字等の情報表示出力を行うディスプレイであり、通信部222が受信した画像データが示す画像や、画像処理を施した画像や、速度計測処理で得られた計測結果等を表示する。
CPU221は、速度計測処理を実行するために、図3に示すように、画像データ取得部2211、時刻・位置取得部2212、対象画像選択部2213、テンプレート生成部2214、テンプレートマッチング処理部2215、3次元座標取得部2216、速度算出部2217の各機能部を有する。
画像データ取得部2211は、通信部222が第1カメラ20、第2カメラ21から受信しRAM223に一時保存している画像データを取得する。時刻・位置取得部2212は、画像データ取得部2211で取得した画像データに含まれる時刻情報と位置情報を取得し、速度算出部2217に出力する。
対象画像選択部2213は、画像データ取得部2211が取得した画像データが示す画像のうちから、車両10が撮像されていると推定される対象画像を選択する。具体的には、車両10がカメラ前を通過したときは画像データの画素値(輝度や色度等)が大きく変化することから、画素値の変化量が大きいときの画像に車両10の画像が含まれていると推定する。
図4は車両10が通過する時を撮像したフレーム画像それぞれについて、画像データの画素値の合計から背景画像の画素値の合計を減算して求めた変化量の絶対値の時間変化を表した図である。ここで、背景画像の画素値の合計は、例えば、車両10が写っていない画像を予め撮像して取得した画素値、又は、所定期間継続して撮像した画像の画素値の平均値から求める。図4のグラフの横軸は時刻、縦軸は変化量のピーク値を100%として換算した変化量の絶対値である。ここでは、変化量が80%を超えている時刻t[msec]からt[msec]の間のフレーム画像を、対象画像として選択する。
テンプレート生成部2214は、対象画像選択部2213で選択した画像から車両10の側面を表している部分の画像と同じ画像をテンプレートとして生成する。具体的な生成方法について図5を用いて説明する。
まず、対象画像選択部2213で選択したフレーム画像の中から、画素値の変化が大きく且つ略単色の部分を、車両と推定される車両推定部分として抽出し、その車両推定部分がフレーム画像内のどの位置に存するか判別する。
図5(a)、(b)、(c)において、左側の図は、紙面右から左に走行している車両10を上方から見下ろした図であり、右側の図はそのときの撮像画像である。第1カメラ20は、車両10の進行方向つまり道路の延在方向に対して、略垂直方向の視線方向で撮像している。また車両の側面は、車両の進行方向に略平行な平面からなることが多いため、第1カメラ20の視線方向は、車両10の側面に対して垂直であると言える。
この場合、図5(a)のように画面右側で車両10を撮像すると、車両10の前面が少し写る(図5(a)破線内)。また、(c)のように画面左側で車両10を撮像すると、車両10の背面が少し写る(図5(c)破線内)。一方、(b)のように画面中央で車両10を撮像すると、車両10の側面のみが写る。ここで、第1カメラ20は、レンズを有さないピンホールカメラであるため、画面のどの位置に車両10が写っていても、車両10の側面は略同じ大きさで写る。よって、車両10の側面の画像をテンプレートとして位置検出をすると、車両10の位置を正確に検出することができる。そこで、画面の中央にある車両10の画像と同じ画像をテンプレート227として生成する。なお、画面の中央にあることの判別は、例えば、中心線を基準にして定まる所定領域内であることにより行う。
図5の例では、テンプレート生成部2214は、車両推定部分が画面の最も中央にあると判別された(b)のフレーム画像から、二重線で囲んだ車両推定部分の画像と同じ画像をテンプレート227として生成する。
テンプレートマッチング処理部2215は、テンプレート生成部2214が生成したテンプレート227を用いて、対象画像選択部2213で選択した複数の画像に対してテンプレートマッチングを行う。つまり、図6(a)のようなテンプレート227を生成した場合、(b)の対象画像に対して、テンプレート227を上下左右に動かし、明るさの差分が最小となる場所を見つける。
テンプレートマッチングは例えば、式(1)に示すマッチングスコアSが最小となる場所を探す。
式(1)において、Iはテンプレート上の画素nの画素値であり、iはマッチング対象画像上の対応する点の画素値であり、Vはラベリング処理を施した際の重み係数である。ラベリング処理とは、連続する領域の画素に同じラベルを付加することで複数の領域をグループとして分類する処理であり、ここでは、車両10のボディ領域と内背景領域と車両10の外領域は、別グループとして分類される。重み係数は、背景に対する変化量であり、車両10のボディ領域の重み係数は大きく、車両10の内背景領域、外領域の重み係数は小さい。
3次元座標取得部2216は、テンプレート227及びテンプレートマッチング処理部2215でマッチングしたテンプレートに一致する領域中の、互いに対応する基準点を決定し、基準点のフレーム画像全体における位置に基づいて、その基準点の示す3次元座標を取得する。
基準点は、例えば、テンプレート画像においてラベリング処理による重み付けを行った状態での重心とする。重心ベクトルPは式(2)で求めることができる。
式(2)において、Vはラベリング処理を施した際の重み係数であり、ベクトルPは画素位置である。
3次元座標取得部2216は、同時刻に第1カメラ20と第2カメラ21で撮像した2枚の画像中の基準点の位置を特定し、その基準点が示す箇所の3次元座標を取得する。ここで3次元座標の取得は、従来のステレオ画像から三角測量の原理を用いた3次元座標を算出する方法により行う。3次元座標の取得は、対象画像から選択した2つの時刻のフレーム画像について行い、取得した2つの3次元座標Q、Q’を速度算出部2217に出力する。
速度算出部2217は、2つの時刻のフレーム画像について、時刻・位置取得部2212から入力された時刻の時間差と、3次元座標取得部2216から入力された基準点が示す箇所の3次元座標の変化量とから、車両10の速度を算出して速度データとして出力する。具体的には3次元座標Q、Q’より、基準点が示す箇所の移動距離を求め、その移動距離を、2つの時刻のフレーム画像の撮像時刻の時間差で除算することにより車両10の速度を算出する。速度算出部2217は算出した速度データを、HDD225、表示部226に、速度計測結果として保存、表示させるために出力する。このとき、時刻・位置取得部2212で取得した時刻情報と位置情報も速度データと対応付けてHDD225に保存し、表示部226に表示させる。
以上のように構成された速度計測システムにおける速度計測処理について、図7のフローチャートに沿って詳細に説明する。
まず、コンピュータ22から撮像を開始するように指示する制御信号を撮像指示信号発生部24に送信する。制御信号を受信した撮像指示信号発生部24は、撮像を指示する信号を第1カメラ20、第2カメラ21に出力する。その指示信号を受信した第1カメラ20と第2カメラ21は撮像を行い、撮像した画像の画像データを、時刻情報・位置情報とともに通信線23を介してコンピュータ22に送信する。送信する画像データは、連続するフレーム画像の画像データであり、例えば、1秒間に50枚のペースで送信される。
コンピュータ22の通信部222が受信した画像データはRAM223に一時保存される。図7のフローチャートは新しい画像データを通信部222が受信した時にスタートする。
CPU221の画像データ取得部2211は、RAM223に一時保存される画像データのうち、第1カメラ20が撮像した画像データを順次取得する(ステップS101)。対象画像選択部2213は、取得した画像データの画素値の合計が、背景画像の画素値の合計と比較して所定値以上の変化量で変化しているか否かを判定する(ステップS102)。
画素値合計の変化量が所定値以上でなかった場合には(ステップS102:No)、次のフレーム画像をチェックする(ステップS102)。一方、画素値合計の変化量が所定値以上であった場合には(ステップS102:Yes)、ステップS103の処理に進む。
ステップS103において、対象画像選択部2213は、画素値合計の変化量のピークを検出する。検出されたピークに対して所定の割合以上の変化量を有する画像を対象画像として選択する(ステップS104)。図4の例の場合は、時刻tsからteまでのフレーム画像を対象画像とする。
テンプレート生成部2214は、ステップS104で選択した対象画像のうち、画素値の時間変化が大きく且つ略単色の部分を、車両と推定される車両推定部分として検出し、その車両推定部分がフレーム画像内の中央にあるフレーム画像を特定する(ステップS105)。そして、特定したフレーム画像から、車両の側面と推定される部分の画像と同じ画像をテンプレート227として生成する(ステップS106)。
ステップS104で対象画像選択部2213が選択した画像のうち2つの時刻に、第1カメラ20、第2カメラ21でそれぞれ撮像したフレーム画像、つまり4枚のフレーム画像について、テンプレートマッチング処理部2215は、テンプレート227を用いたテンプレートマッチングを行う(ステップS107)。
3次元座標取得部2216は、テンプレート生成部2214が生成したテンプレート227の基準点を決定し、ステップS107でテンプレートマッチング処理部2215がマッチングしたテンプレートに一致する領域内の基準点を特定する。そして、2つの時刻に第1カメラ20、第2カメラ21でそれぞれ撮像したフレーム画像における基準点の位置に基づいて、基準点の示す箇所の3次元座標を取得する(ステップS108)。
速度算出部2217は、ステップS107でテンプレートマッチングした画像を撮像した時刻の時間差と、それぞれの時刻について3次元座標取得部2216が取得した基準点が示す箇所の3次元座標の変化量とから、車両10の速度を算出する(ステップS109)。
算出した速度を表示部226に表示すると共に、HDD225に記憶させる(ステップS109)。表示部226に表示させ、HDD225に記憶させるときに、テンプレートマッチングを行った画像の画像データや画像を撮像した時刻の情報、位置情報も速度と対応付けて表示、記憶する。これにより、後に速度を計測した車両や時刻・場所等を特定することができる。
以上説明したように、本実施の形態においては、第1カメラ20と第2カメラ21で道路を走行する車両10を走行方向に略垂直の方向から撮像し、第1カメラ20の撮像画像から画素値の合計の変化量が所定の値以上の対象画像を選択し、対象画像の略中央にある車両推定部分の画像と同じ画像をテンプレートとして特定し、対象画像のうち2つの時刻に第1カメラ20、第2カメラ21で撮像した画像に対し、テンプレートマッチングを行い、テンプレート中の基準点のフレーム画像に対する位置に基づいて、基準点が示す箇所の3次元座標を取得し、2つの時刻の時間差と、2つの3次元座標の変化量に基づいて車両10の速度を計測することとした。これにより、車両10の側面を確実に検出でき、車両10の側面上の基準点の3次元座標を正確に計測することができ、誤差の少ない速度計測が可能となる。
また、カメラで撮像した画像に基づいて速度計測を行っているため、計測対象となった車両10の特定が容易であり、また、撮像の時刻情報及び位置情報も合わせて記憶しているため、車両の誤認の可能性を低くすることができる。
また、ステレオカメラで撮像した画像から得られる3次元座標から速度計測を行っているため、カメラから車両10までの距離、車両10の進行方向によらず正確に計測することができ、カメラの設置場所を問わない計測が可能となる。
(実施の形態2)
本発明の実施の形態2について図8を参照して説明する。本実施の形態に係る速度計測システム2は、図8に示すように、道路上を走行する車両10の速度を計測するシステムであり、第1カメラ40と、第2カメラ41と、赤外光照射部42と、コンピュータ22と、通信線23と、撮像指示信号発生部24と、通信線25と、から構成される。
第1カメラ40と第2カメラ41は、互いに略平行もしくは、撮像対象の車両10を同時に撮像できるように互いにやや内向きの視線で撮像する。また、第1カメラ40と第2カメラ41の視線方向は、車両10の走行方向つまり道路の延在方向に略垂直方向かつ略水平方向とする。すなわち、第1カメラ40と第2カメラ41は、主に車両10の側面を側方から撮像する。第1カメラ40、第2カメラ41と車両10との距離は、道路幅や走行する車線によって変わり、5m〜25m程度である。赤外光照射部42は、第1カメラ40と第2カメラ41の近くに配置され、第1カメラ40と第2カメラ41の撮像方向と略同じ方向に赤外光を照射させる。
第1カメラ40と第2カメラ41は、赤外線撮像が可能なカメラであり、例えば、赤外線感光線のイメージセンサを備える。赤外光照射部42に照射された撮像対象を第1カメラ40と第2カメラ41で撮像することにより、赤外線撮像を行う。2つのカメラは、画素数等のカメラ性能も同じピンホールカメラであり、2つのカメラでステレオ画像(視差画像)を撮像可能なステレオカメラを構成する。2つのカメラ間の距離(基線長)は長いほど速度計測の誤差が小さくなる。しかし、2つのカメラの視野が重なる必要があるため、基線長はカメラから車両10までの距離の1/5以内が望ましい。
第1カメラ40、第2カメラ41、赤外光照射部42は、通信線23を介してコンピュータ22に接続されている。また、第1カメラ40、第2カメラ41、赤外光照射部42は、撮像指示信号発生部24と通信線25を介して接続されている。コンピュータ22は、第1カメラ40、第2カメラ41、赤外光照射部42に制御信号を送信する。第1カメラ40、第2カメラ41、赤外光照射部42は、受信する制御信号に基づいて、撮像方法や発光方法の制御を行う。
撮像指示信号発生部24は、コンピュータ22が送信する制御信号を受信すると、一定の時間間隔で第1カメラ40と第2カメラ41に撮像を指示する指示信号を送信する。また、その指示信号を出すタイミングと略同時に赤外光照射部42に照射を指示する指示信号を送信する。指示信号を受信した赤外光照射部42と第1カメラ40と第2カメラ41はその指示にしたがって、赤外光を照射させ、赤外線撮像を行い、撮像した画像データをコンピュータ22に送信する。
2つのカメラ、コンピュータ22の内部構成、速度計測処理内容は、実施の形態1と同様であり、赤外光照射部42が赤外光を照射したときに第1カメラ40、第2カメラ41で赤外線撮像したステレオ画像とその撮像時刻に基づいて、車両10の速度計測を行う。
以上説明したように、本実施の形態においては、赤外光照射部42により赤外光を照射した対象を赤外線撮像したステレオ画像に基づいて、車両10の速度計測を行うこととした。これにより、夜間等の周辺の明るさが不十分な環境での計測も可能となり、周辺環境の影響を受けにくい速度計測システムを提供できる。
また、赤外光照射部42は、コンピュータ22からの制御信号に基づいて、撮像時のみ照射することとしたため、常時発光させる場合と比較して、消費電力を抑制することができる。また、赤外光照射部42の発光デバイスは、撮像時のみ多くの電流を流すことにより強い光を発光できるため、常時発光させる場合より小規模の赤外光照射部42を構成することができる。これにより安価で小型の速度計測システムを提供できる。
(実施の形態3)
本発明の実施の形態3について、図9を参照して説明する。本実施の形態の速度計測システムは、実施の形態1又は2とシステムの構成、及び各内部構成は同様であるが、速度計測処理の処理内容が異なる。図9のフローチャートに沿って説明する。
ステップS106のテンプレート生成までは実施の形態1と同様の処理を行う。
ステップS104で対象画像選択部2213が選択した画像のうち、4枚以上の画像において、第1カメラ20、第2カメラ21でそれぞれ撮像した画像、つまり8枚以上の画像について、テンプレートマッチング処理部2215は、テンプレート227を用いたテンプレートマッチングを行う(ステップS207)。
3次元座標取得部2216は、テンプレート生成部2214が生成したテンプレート227の基準点を決定し、ステップS207でテンプレートマッチング処理部2215がマッチングしたテンプレート227に一致する領域内の基準点を特定する。そして、4以上の時刻に第1カメラ20、第2カメラ21でそれぞれ撮像したフレーム画像における基準点の位置に基づいて、基準点の示す3次元座標を取得する(ステップS208)。
速度算出部2217は、ステップS208で算出した4以上の3次元座標と、3次元座標を求めたフレーム画像の撮像時刻に対して、車両10が等加速度直線運動をしていると仮定した式(3)に表すような2次方程式をフィッティングする(ステップS209)。ここでのフィッティングは、例えば、全速度算出点に対する最小二乗法を用いたフィッティングや、ロバスト推定を用いたフィッティング等の任意の方法で行う。
式(3)において、ベクトルxは基準点の位置、tは撮像時刻、ベクトルvは初速度、ベクトルaは加速度である。これを3次元の各成分についてフィッティングすることにより、各時刻における速度を求めることができる。そして、対象画像の撮像時刻の範囲内で最低速度を算出する(ステップS210)。ここでは等加速度運動と仮定しているため、対象画像の撮像時刻の範囲の端の時刻t又はtにおける速度になる。
速度算出部2217が算出した速度を表示部226に表示すると共に、HDD225に記憶させる(ステップS211)。HDD225に記憶させるときに、テンプレートマッチングを行った画像の画像データや画像を撮像した時刻の情報、位置情報も速度と対応付けて記憶する。これにより、後に速度を計測した車両10や時刻・場所等を特定することができる。
以上説明したように、本実施の形態においては、第1カメラ20と第2カメラ21が撮像した4以上の時刻のフレーム画像に基づいて取得した4以上の3次元座標に対し、等加速度直線運動の2次方程式をフィッティングすることにより、各時刻における速度を求め、対象画像の撮像時刻の範囲内で最低速度を算出することとした。これにより、速度取り締まりの場において、対象車両が出していた速度の最低値を知ることができ、その最低値が規制速度を超えていたときに、その事実を対象車両が速度超過をしていたことを証明する信憑性の高い証拠として提示することができる。
(実施の形態4)
本発明の実施の形態4について、図10を参照して説明する。本実施の形態に係る速度計測システム4は、図10に示すように、第1カメラ60と、第2カメラ61と、撮像指示信号発生部24が道路上方に備え付けられている。
第1カメラ60と第2カメラ61は、互いに略平行もしくは、撮像対象の車両10を同時に撮像できるように互いにやや内向きの視線で撮像する。また、第1カメラ60と第2カメラ61の視線方向は、車両10の走行方向つまり道路の延在方向に略垂直方向かつ略鉛直下方向とする。すなわち、第1カメラ60と第2カメラ61は、主に車両10の上面を上方から撮像する。第1カメラ60、第2カメラ61と車両10の上面との距離は、5m〜25m程度である。ここで、車両10の上面は、例えば、天井面の裏面である。
本実施の形態の速度計測システム4は、実施の形態1乃至3のいずれかとシステムの構成、及び各内部構成は同様であるが、本実施の形態では車両10を上方から撮像するため、図7のフローチャートのステップS106でテンプレート生成部2214が生成するテンプレート227が車両10の上面を撮像した画像と同じ画像となる点が、他の実施の形態と異なる。
テンプレート生成部2214は、図7のフローチャートのステップS104で選択した対象画像のうち、画素値の時間変化が大きく且つ略単色の部分を、車両と推定される車両推定部分として抽出し、その車両推定部分がフレーム画像内の中央にあるフレーム画像を特定する。そして、特定したフレーム画像から、車両10の上面と推定される部分の画像と同じ画像をテンプレート227として生成する(ステップS106)。
速度計測処理の他の処理は、実施の形態1乃至3のいずれかと同様である。
以上説明したように、本実施の形態においては、第1カメラ60と第2カメラ61を道路上方に備え、視線方向を車両10の進行方向に略垂直且つ略鉛直方向下向きとなるようにして車両10の上面を撮像し、フレーム画像内の中央にある車両10の上面と推定される部分の画像と同じ画像をテンプレート227として生成することとした。これにより、高速道路や幹線道路等、道路幅が広くまた路肩にカメラを設置するのが困難な場合にも、車両10の上面を確実に検出でき、車両10の上面上の基準点の3次元座標を正確に計測することができ、誤差の少ない速度計測が可能となる。
(実施の形態5)
本発明の実施の形態5について図11乃至13を参照して説明する。
本実施の形態に係る速度計測システム5は、実施の形態1と同様に、道路上を走行する車両10の速度を計測するシステムであり、第1カメラ20と、第2カメラ21と、コンピュータ22と、通信線23、撮像指示信号発生部24、通信線25と、から構成される(図1)。第1カメラ20と第2カメラ21は、車両10の走行方向つまり道路の延在方向に略平行に並んで配置されている。また、第1カメラ20と第2カメラ21の撮像方向は、互いに略平行もしくは、撮像する車両10を同時に撮像できるように互いにやや内向きであり、且つ、道路の延在方向に略垂直の方向である。第1カメラ20、第2カメラ21と車両10との距離は、道路幅や走行する車線によって変わり、5m〜25m程度である。
第1カメラ20、第2カメラ21、コンピュータ22、撮像指示信号発生部24の接続態様、内部構成は、実施の形態1と同様であるが、CPU221の機能や実行する処理が異なる。
本実施の形態においては、CPU221は、速度計測処理を実行するために、図11に示すように、画像データ取得部2221、時刻・位置取得部2222、特徴的形状特定部2223、3次元座標取得部2224、速度算出部2225の各機能部を有する。
画像データ取得部2221は、通信部222が第1カメラ20、第2カメラ21から受信し、RAM223に一時保存している画像データのうち、画像に付加された時刻情報により2つのカメラで同時刻に撮像した2枚の画像データを特定し、それらの画像データを取得する。時刻・位置取得部2222は、画像データ取得部2221で取得した画像データに含まれる時刻情報、位置情報を取得し、速度算出部2225に出力する。
特徴的形状特定部2223は、画像データ取得部2221が取得した画像データが示す画像の中に車両10の一部と認められる特徴的形状がないか探索し、見つかった場合には、その特徴的形状を特定する。同時刻に撮像した他方のカメラが撮像した画像からも同じ特徴的形状を特定する。
3次元座標取得部2224は、同時刻に撮像した2枚の画像から特定した特徴的形状の中の任意の基準点を選択し、その基準点が示す箇所の3次元座標を取得する。この3次元座標の取得は、同じ特徴的形状を含み異なる時刻に撮像された2フレーム以上の画像について行い、取得した2以上の3次元座標を速度算出部2225に出力する。ここで3次元座標の取得は、従来のステレオ画像から三角測量の原理を用いて3次元座標を算出する方法により行う。
速度算出部2225は、同じ特徴的形状を特定した2フレーム以上の画像について、時刻・位置取得部2222から入力された時刻の時間差と、3次元座標取得部2224から入力された基準点が示す箇所の3次元座標の変化量とから、車両10の速度を算出して速度データとして出力する。速度算出部2225から出力された速度データは、時刻情報、位置情報とともに、HDD225に保存され、表示部226に速度計測結果として出力される。
以上のように構成された速度計測システムにおける速度計測処理について、図12のフローチャートに沿って詳細に説明する。
まず、コンピュータ22から撮像を開始するように指示する制御信号を撮像指示信号発生部24に送信する。制御信号を受信した撮像指示信号発生部24は、撮像を指示する信号を第1カメラ20、第2カメラ21に出力する。その指示信号を受信した第1カメラ20と第2カメラ21は撮像を行い、撮像した画像の画像データを、時刻情報・位置情報とともに通信線23を介してコンピュータ22に送信する。送信する画像データは、連続するフレーム画像の画像データであり、例えば、1秒間に50枚のペースで送信される。
コンピュータ22の通信部222が受信した画像データはRAM223に一時保存される。図12のフローチャートは新しい画像データを通信部222が受信した時にスタートする。
CPU221の画像データ取得部2221は、RAM223に一時保存される画像データのうち、第1カメラ20が撮像した画像データを順次取得する(ステップS301)。取得した画像データが示す画像の中で、一つ前のフレームの画像と比較して対応する画素の画素値の変化が所定値以上である箇所を探索する(ステップS302)。
画素値の変化が所定値以上の箇所がなかった場合には(ステップS302:No)、次のフレームの画像をチェックする(ステップS302)。一方、画素値の変化が所定値以上の箇所があった場合には(ステップS302:Yes;そのときの画像をPaとする)、ステップS303の処理に進む。図13に示した連続画像の例を用いて説明すると、(a)の画像の右端に車両10の前部が現れているため、車両10の前部が写っている箇所の画素は画素値が大きく変化する。このような箇所を見つけた場合に、画素値の変化が所定値以上の箇所があったと判別する。
ステップS303では、時刻・位置取得部2222が画像Paの画像データに含まれる時刻情報を取得する(ステップS303)。ここで取得する時刻情報は、画像Paを第1カメラ20が撮像した時刻情報である。
ステップS304では、特徴的形状特定部2223が、その画像Paの中で車両10の一部と特徴付けられる特徴的形状を特定する。図13(a)の例の画像において、車のタイヤ、ヘッドライトを含む点線で囲まれた箇所の形状を特徴的形状として特定する。ここで特定する特徴的形状は任意の形状で良く、測定の度に異なる形状を特定しても良い。
また、ステップS304では、ステップS303で取得した時刻情報と同じ時刻情報を含む第2カメラ21が出力する画像データを取得し、その画像データが示す画像(画像Pbとする)の中を探索し、画像Paで特定した特徴的形状と同じ形状を特定する。
次にステップS305では、ステップS304で特定した画像Paと画像Pb内の特徴的形状内の基準点を決定し、その基準点が示す車両10上の箇所の3次元座標Qを算出する。基準点は特徴的形状全体に対する位置が明確に認定できる点であり、例えば重心である。3次元座標Qは、ステレオ画像である画像Paと画像Pbから、従来の三角測量の原理を用いた方法により算出する。
その後、第1カメラ20が撮像した画像Paの後続フレームの画像について順次特徴的形状を探索する(ステップS306)。特徴的形状を発見できたとき(ステップS307:Yes)は次のフレームの画像の探索を続ける(ステップS306)。図13の例において、(c)、(d)では特徴的形状が発見できるため、次の画像を探索する。
画像の探索をした結果、特徴的形状を発見できなかったときは(ステップS307:No)、1フレーム前の画像Pa’の画像データに含まれる時刻情報を取得する(ステップS308)。ここで取得する時刻情報は、画像Pa’を第1カメラ20が撮像した時刻情報である。図13の例において、(d)の画像が、画像Pa’に相当する。
その後、画像Pa’について、特徴的形状とその基準点を特定する。また、ステップS308で取得した時刻と同時刻の第2カメラ21が撮像した画像Pb’についても、特徴的形状とその基準点を特定する。そして、特定した基準点が示す車両10上の箇所の3次元座標Q’を算出する(ステップS309)。
以上のステップで取得した、画像Pa、Pbの特徴的形状の基準点が示す箇所の3次元座標Qと、画像Pa’、Pb’の特徴的形状の基準点が示す箇所の3次元座標Q’と、画像Paと画像Pa’の撮像時刻から車両10の速度を算出する(ステップS310)。具体的には3次元座標Q、Q’より、基準点が示す箇所の移動距離を求め、その移動距離を、画像Paと画像Pa’の撮像時刻の時間差で除算することにより車両10の速度を算出する。
算出した速度を表示部226に表示すると共に、HDD225に記憶させる。HDD225に記憶させるときに、画像Pa’等の画像データや時刻情報や位置情報も速度と対応付けて記憶することにより、後に速度を計測した車両10等を特定することができる。
以上説明したように、本実施の形態においては、第1カメラ20と第2カメラ21を車両10の走行方向に略平行に配列させ、道路を走行する車両10を走行方向に略垂直の方向から撮像させ、第1カメラ20と第2カメラ21の同時刻の撮像画像から車両10の特徴的形状を特定し、その特徴的形状の画像全体に対する位置から特徴的形状の3次元座標を求め、その3次元座標を異なる時刻について取得した値と、3次元座標を取得するのに使用した画像の撮像時刻に基づいて車両10の速度を計測することとした。これにより、カメラから近距離の車両10を撮像したステレオ画像に基づく計測であるため、誤差の少ない速度計測が可能となる。
また、カメラで撮像した画像に基づいて速度計測を行っているため、計測対象となった車両10の特定が容易であり、車両10の誤認の可能性を低くすることができる。
また、ステレオカメラで撮像した画像から得られる3次元座標から速度計測を行っているため、カメラから車両10までの距離、車両10の進行方向によらず正確に計測することができ、カメラの設置場所を問わない計測が可能となる。
また、同じ特徴的形状を数フレームに渡って追跡し、特徴的形状を初めて特定したフレーム画像と、その特徴的形状を特定できなくなる1フレーム前のフレーム画像に基づいて計測するため、一定以上の時間幅をもった計測ができ、瞬時的な画像の変化による誤動作の可能性を低くすることができる。
(実施の形態6)
本発明の実施の形態6について図14、15を参照して説明する。本実施の形態の速度計測システムは、実施の形態5とシステムの構成、及び各内部構成は同様であるが、速度計測処理の処理内容が異なる。図14のフローチャートに沿って説明する。
本実施の形態における速度計測処理では、まず、最初に取得した画像を背景画像として登録する(ステップS401)。そして、背景画像を更新する時間を計測するためのタイマーをスタートする(ステップS402)。
CPU221の画像データ取得部2221は、RAM223に一時保存される画像データのうち、第1カメラ20が撮像した画像データを順次取得する(ステップS403)。取得した画像データが示す画像の中で、一つ前のフレームの画像と比較して対応する画素の画素値の変化が所定値以上である箇所を探索する(ステップS404)。
画素値の変化が所定値以上の箇所がなかった場合には(ステップS404:No)、タイマーをチェックし、タイマー時刻tが更新時間t以下であるときは(ステップS408:No)次のフレーム画像を取得する(ステップS403)。一方、タイマー時刻tが更新時間tを超えたときは(ステップS408:Yes)取得した画像を背景画像として登録更新する(ステップS409)。その後タイマーをリセットして(ステップS410)ステップS403に戻る。
ステップS404で、画素値の変化が所定値以上の箇所があった場合には(ステップS404:Yes)、その箇所が所定時間以上画素値の変化が継続している箇所であるか否か判別し、所定時間以上画素値の変化が継続している箇所であった場合には(ステップS405:Yes)、その箇所は背景であると判別し、背景画像に追加する(ステップS411)。その後ステップS403に戻る。
ステップS405で、所定時間以上画素値の変化が継続していない箇所と判別された場合には(ステップS405:No)その画素値の変化があった箇所が車両10等の移動体が撮像されたと判別できるため、ステップS406以下の特徴的形状の特定等の処理に入る。そのときの画像を画像Paとする。
ステップS406では、時刻・位置取得部2222が画像Paの画像データに含まれる時刻情報を取得する。ここで取得する時刻情報は、画像Paを第1カメラ20が撮像した時刻情報である。
ステップS407では、その画像Paの中で車両10の一部と特徴付けられる特徴的形状を特定する。また、ステップS406で取得した時刻情報と同じ時刻情報を含む第2カメラ21が出力する画像データを取得し、その画像データが示す画像(画像Pbとする)の中を探索し、画像Paで特定した特徴的形状と同じ形状を特定する。ここでの特徴的形状の特定は、背景画像として認定している画像を除外して行う。その後の処理は図12のステップS305以下の処理と同じである。
以上説明した特徴的形状を特定する際、背景を除外する処理について、図15に示す例を用いて説明する。ステップS401で取得する背景画像は図15(a)のように、ビルや樹木や生け垣等が撮像されたものである。図15(b)の斜線で示した樹木や生け垣の部分が風等で揺れて、ステップS404で、画素値の変化が所定値以上であると判断されたとする。この場合であっても、その部分の画素値の変化が、所定時間以上継続していると判別された場合には(ステップS405:Yes)、樹木や生け垣の部分も背景として背景画像に追加する(ステップS411)。
その状態で、車両10が撮像範囲内に入ってきた場合(図15(c))に、車両10の一部を特徴的形状として特定するが、その際、背景と認定されている画像を除外して特定する(図15(d))。
以上説明したように、本実施の形態においては、背景画像を定期的に更新し、所定時間以上継続して画素値の変化がある場合には、その変化部分を背景として除外して特徴的形状を特定することとした。これにより、樹木の揺れなどを特徴的形状として誤って特定することがなく、より正確な速度計測が可能となる。
このように本発明は、2つのカメラで道路を走行する車両を走行方向に略垂直の方向から撮像し、撮像画像の略中央にある車両推定部分の画像と同じ画像をテンプレートとして特定し、複数の時刻に2つのカメラで撮像した画像に対し、テンプレートマッチングを行い、テンプレート中の基準点のフレーム画像に対する位置に基づく3次元座標の計測を行う等して、基準点が示す箇所の3次元座標を取得し、撮像時刻の時間差と、3次元座標の移動量に基づいて車両の速度を計測することとした。これにより、簡易な処理で道路を走行する車両速度を精度良く計測することができる。
なお、本発明は、上記実施の形態に限定されず、本発明の要旨を逸脱しない範囲での種々の変更は勿論可能である。
例えば、上記実施の形態において、測定対象は道路を走行する車両としたが、電車等他の移動体であってもよい。
また、第1カメラ20、40、60と第2カメラ21、41、61以外に、車両や運転者や周辺環境等を撮像するためのカラーカメラを設置して、第1カメラ20、40、60や第2カメラ21、41、61が撮像する領域と重複する領域をカラー撮像するようにしてもよい。カラーカメラが撮像したカラー画像のうち、3次元座標を取得するために使用したフレーム画像を第1カメラ20、40、60と第2カメラ21、41、61が撮像した時刻と同時刻を含む時間に連続撮像したカラー画像を車両10の速度と対応づけてHDD225に記憶するようにしてもよい。これにより、車両10のナンバープレートや運転者の顔や周辺環境を含めた速度の記録が可能となり、例えば速度超過した車両10や運転手の認定が容易になる。
また、前記カラーカメラによるカラー撮像は、画像の画素値の変化量が所定の値を超える対象画像を取得したことや、速度算出部2217、2225が算出した速度が所定の値を超えていたことを検出した後に、車両10の通過する方向を所定時間カラー撮像するようにしてもよい。これにより、車両10や運転手の認定が容易になるとともに、カラーカメラを常時駆動させる必要がないため電力消費量を低減することができる。
また、第1カメラ20、40、60と第2カメラ21、41、61の2台によりステレオ計測を行うとしたが、3台以上のカメラで3次元座標を算出しても良い。これにより、3次元座標をより正確に算出することができ、より精度の高い速度計測が可能となる。
また、速度の算出に用いる時間の計測にGPS11から受信した時刻情報を使用するとしたが、撮像指示信号発生部24が等しい時間間隔で撮像を指示する信号を発生させる場合であれば撮像する時間間隔が一定であるため、3次元座標位置を取得するのに使用した2枚のフレーム画像の間の撮像枚数により、その間の時間を求めることとしても良い。また、撮像指示信号発生部24が独自の時計を備えており、その時計が示す時刻情報を画像データに付加する構成としても良い。これらの場合GPSアンテナ241を省略することができ、GPS11からの信号を受信できない場所においても、速度計測が可能となり、システム構成をより簡略化させることができる。
また、1つの撮像指示信号発生部24を設け、撮像指示信号発生部24から第1カメラ20、40、60と第2カメラ21、41、61赤外光照射部42に指示信号を送信する構成としたが、第1カメラ20、40、60、第2カメラ21、41、61、赤外光照射部42それぞれがGPSアンテナ241、撮像指示信号発生部24を内蔵する構成としても良い。この場合、コンピュータ22から撮像する時刻情報を、第1カメラ20、40、60、第2カメラ21、41、61、赤外光照射部42に送信することにより、2つのカメラで同時刻に撮像した画像データを取得することができ、この画像データによる速度計測が可能となる。
また、実施の形態1において、2の時刻のフレーム画像における基準点の位置に基づいて基準点が示す箇所の3次元座標を求め、3次元座標の移動量と2枚のフレーム画像の撮像時刻の時間差に基づいて速度を算出するとしたが、3以上の時刻に撮像した3枚以上のフレーム画像に基づいて、基準点が示す箇所の3次元座標を3以上の時刻について求めることにより、複数の速度を算出しても良い。さらに算出した複数の速度の平均を求めて出力しても良いし、最高速度、最低速度を求めて出力してもよい。
また、実施の形態1において、対象画像選択部2213は、画像データの画素値の合計から背景画像の画素値の合計を減算して求めた変化量の絶対値に基づいて、対象画像を選択するとしたが(ステップS102〜S104)、車両10の進入による画像の変化を表す値であれば、これに限られない。例えば、画像データの画素値の平均値、あるいは、画像データの所定の範囲内の画素値の合計又は平均値から、背景画像における値を減算して求めても良い。
また、実施の形態5の速度計測処理のステップS302、実施の形態6の速度計測処理のステップS404において、画素値の変化が所定値以上の箇所の有無について判定したが、画素値の変化が所定値以上の画素が所定以上の範囲に渡って認定できる場合に次のステップに進むような処理内容としてもよい。
また、実施の形態5の速度計測処理において、特徴的形状が特定された最初の画像に基づく特徴的形状の基準点の3次元座標と、特徴的形状が発見できなくなる1フレーム前の画像に基づく特徴的形状の基準点の3次元座標の2座標にもとづいて、車両10の速度を算出するとしたが、3以上の時刻における3次元座標から3次元座標の時間変化をもとめ、測定期間で車両10の速度の平均を求めても良い。これにより、より正確な速度計測が可能となる。
また、実施の形態3乃至6において、実施の形態2の赤外線照射部42を更に備え第1カメラ20、40、60と第2カメラ21、41、61で赤外線撮像するようにしてもよい。
また、上記実施の形態のCPU221が実行した処理のプログラムを、既存のコンピュータ等で実行させることにより、当該速度計測システムを構成させることができる。
このようなプログラムの配布方法は任意であり、例えば、CD−ROM(Compact Disk Read-Only Memory)、DVD(Digital Versatile Disk)、MO(Magneto Optical Disk)、メモリカード等のコンピュータ読み取り可能な記録媒体に格納して配布してもよいし、インターネット等の通信ネットワークを介して配布してもよい。
1、2、4、5…速度計測システム
10…車両
11…GPS
20、40、60…第1カメラ
21、41、61…第2カメラ
201、211…撮像部
202、212…制御部
2021、2121…フレームメモリ
203、213…通信部
22…コンピュータ
221…CPU
2211、2221…画像データ取得部
2212、2222…時刻・位置取得部
2213…対象画像選択部
2214…テンプレート生成部
2215…テンプレートマッチング処理部
2216、2224…3次元座標取得部
2217、2225…速度算出部
2223…特徴的形状特定部
222…通信部
223…RAM
224…ROM
225…HDD
226…表示部
227…テンプレート
23…通信線
24…撮像指示信号発生部
241…GPSアンテナ
25…通信線
42…赤外光照射部

Claims (12)

  1. 車両の進行方向に対して略垂直の視線方向で、互いに同時に撮像して、予め定めた時間間隔の連続フレーム画像を撮像時刻に対応付けて取得する複数の撮像手段と、
    前記複数の撮像手段のうち1の撮像手段が撮像した前記連続フレーム画像から、前記車両を示すフレーム画像を基準フレーム画像として選択し、前記基準フレーム画像中の前記車両の画像と同じ画像をテンプレートとして生成するテンプレート生成手段と、
    前記基準フレーム画像の前又は後の前後フレーム画像、並びに、他の撮像手段で、前記基準フレーム画像及び前記前後フレーム画像と同時に撮像したフレーム画像において、前記テンプレートを用いたテンプレートマッチングを行うことにより、前記テンプレートに略一致するテンプレート一致領域を特定するテンプレート一致領域特定手段と、
    前記テンプレート及び前記テンプレート一致領域から互いに対応する基準点を決定し、前記複数の撮像手段で同時に撮像したフレーム画像における前記基準点の位置に基づいて、各撮像時刻における前記基準点の3次元座標を取得する3次元座標取得手段と、
    前記3次元座標取得手段で取得した前記基準点の3次元座標を少なくとも2つの異なる前記撮像時刻について取得した値と、前記3次元座標を取得するのに使用したフレーム画像の前記撮像時刻の時間差とに基づいて、前記車両の速度を算出する速度算出手段と、を有し、
    前記3次元座標取得手段は、前記基準フレーム画像と、複数の前記前後フレーム画像と、他の撮像手段で、前記基準フレーム画像及び前記前後フレーム画像と同時に撮像したフレーム画像と、に基づいて、4以上の撮像時刻について3次元座標を取得し、
    前記速度算出手段は、前記車両が等加速度運動をしていると仮定した2次方程式に、4以上の撮像時刻について3次元座標をフィッティングすることにより、各3次元座標における速度のうち最も低い速度を、計測時間内最低速度として出力する、
    ことを特徴とする速度計測システム。
  2. 前記テンプレート生成手段は、前記複数の撮像手段のうち1の撮像手段が撮像した前記連続フレーム画像から、フレーム画像の略中央に前記撮像手段の視線方向に対して略垂直の前記車両の略平面を示すフレーム画像を前記基準フレーム画像として選択し、前記基準フレーム画像中の前記車両の前記略平面の画像と同じ画像を前記テンプレートとして生成する、
    ことを特徴とする請求項1に記載の速度計測システム。
  3. 前記複数の撮像手段のうち1の撮像手段が撮像したフレーム画像の画素値が予め定めた変化量を超えて変化した時の変化量の最大値に対し、所定の割合以上の変化量を有する時間帯のフレーム画像を計測対象画像として取得する計測対象画像取得手段をさらに有し、
    前記テンプレート生成手段は、前記計測対象画像取得手段で取得した前記計測対象画像の中から、前記基準フレーム画像を選択する、
    ことを特徴とする請求項1又は2に記載の速度計測システム。
  4. GPS(Global Positioning System)衛星からの電波信号を受信するGPS受信アンテナと、
    前記基準フレーム画像と前記前後フレーム画像を撮像したときの前記撮像時刻と、前記撮像手段の現在位置と、を前記GPS受信アンテナから受信した電波信号に基づいて取得し、各フレーム画像と、当該フレーム画像に対応付けて前記撮像時刻と前記現在位置と、を含む情報を記憶する記憶手段と、
    をさらに有し、
    前記撮像手段は、前記撮像時刻を前記記憶手段から取得する、
    ことを特徴とする請求項1乃至3のいずれか1項に記載の速度計測システム。
  5. 前記複数の撮像手段は、前記車両が進行する道路の延在方向に略垂直かつ略水平方向である方向を視線方向とし、前記車両を側方から撮像する、
    ことを特徴とする請求項1乃至のいずれか1項に記載の速度計測システム。
  6. 前記複数の撮像手段は、前記車両が進行する道路の延在方向に略垂直かつ略鉛直方向下向きを視線方向とし、車両を上方から撮像する、
    ことを特徴とする請求項1乃至のいずれか1項に記載の速度計測システム。
  7. 前記基準点は、前記テンプレート及び前記テンプレート一致領域の重心である、
    ことを特徴とする請求項1乃至のいずれか1項に記載の速度計測システム。
  8. 前記複数の撮像手段が前記視線方向に略平行の方向に赤外光を照射する赤外光照射手段を更に有し、
    前記撮像手段は、赤外線撮像が可能なカメラである、
    ことを特徴とする請求項1乃至のいずれか1項に記載の速度計測システム。
  9. 前記複数の撮像手段が撮像する領域と重複する領域をカラー撮像するカラー撮像装置と、
    前記カラー撮像装置が撮像したカラー画像のうち、前記基準フレーム画像と前記前後フレーム画像を前記撮像手段が撮像した時刻と同時刻を含む時間に連続撮像したカラー画像を前記速度算出手段が算出する前記車両の速度と対応付けて記憶するカラー画像記憶手段と、
    を更に有することを特徴とする請求項1乃至8のいずれか1項に記載の速度計測システム。
  10. 前記計測対象画像取得手段が前記計測対象画像を取得したことを検出した後に、前記車両の通過する方向を所定時間カラー撮像するカラー撮像装置と、
    前記カラー撮像装置が撮像したカラー画像を前記速度算出手段が算出する前記車両の速度と対応付けて記憶するカラー画像記憶手段と、
    を更に有することを特徴とする請求項に記載の速度計測システム。
  11. 車両の進行方向に対して略垂直の視線方向で、互いに同時に撮像して、予め定めた時間間隔の連続フレーム画像を撮像時刻に対応付けて取得する複数の撮像手段で撮像する撮像ステップと、
    前記複数の撮像手段のうち1の撮像手段が撮像した前記連続フレーム画像から、前記車両を示すフレーム画像を基準フレーム画像として選択し、前記基準フレーム画像中の前記車両の画像と同じ画像をテンプレートとして生成するテンプレート生成ステップと、
    前記基準フレーム画像の前又は後の前後フレーム画像、並びに、他の撮像手段で、前記基準フレーム画像及び前記前後フレーム画像と同時に撮像したフレーム画像において、前記テンプレートを用いたテンプレートマッチングを行うことにより、前記テンプレートに略一致するテンプレート一致領域を特定するテンプレート一致領域特定ステップと、
    前記テンプレート及び前記テンプレート一致領域から互いに対応する基準点を決定し、前記複数の撮像手段で同時に撮像したフレーム画像における前記基準点の位置に基づいて、各撮像時刻における前記基準点の3次元座標を取得する3次元座標取得ステップと、
    前記3次元座標取得ステップで取得した前記基準点の3次元座標を少なくとも2つの異なる前記撮像時刻について取得した値と、前記3次元座標を取得するのに使用したフレーム画像の前記撮像時刻の時間差とに基づいて、前記車両の速度を算出する速度算出ステップと、を有し、
    前記3次元座標取得ステップは、前記基準フレーム画像と、複数の前記前後フレーム画像と、他の撮像手段で、前記基準フレーム画像及び前記前後フレーム画像と同時に撮像したフレーム画像と、に基づいて、4以上の撮像時刻について3次元座標を取得し、
    前記速度算出ステップは、前記車両が等加速度運動をしていると仮定した2次方程式に、4以上の撮像時刻について3次元座標をフィッティングすることにより、各3次元座標における速度のうち最も低い速度を、計測時間内最低速度として出力する、
    ことを特徴とする速度計測方法。
  12. コンピュータに、
    車両の進行方向に対して略垂直の視線方向で、互いに同時に撮像して、予め定めた時間間隔の連続フレーム画像を撮像時刻に対応付けて取得する複数の撮像手段に撮像させる撮像手順と、
    前記複数の撮像手段のうち1の撮像手段が撮像した前記連続フレーム画像から、前記車両を示すフレーム画像を基準フレーム画像として選択し、前記基準フレーム画像中の前記車両の画像と同じ画像をテンプレートとして生成するテンプレート生成手順と、
    前記基準フレーム画像の前又は後の前後フレーム画像、並びに、他の撮像手段で、前記基準フレーム画像及び前記前後フレーム画像と同時に撮像したフレーム画像において、前記テンプレートを用いたテンプレートマッチングを行うことにより、前記テンプレートに略一致するテンプレート一致領域を特定するテンプレート一致領域特定手順と、
    前記テンプレート及び前記テンプレート一致領域から互いに対応する基準点を決定し、前記複数の撮像手段で同時に撮像したフレーム画像における前記基準点の位置に基づいて、各撮像時刻における前記基準点の3次元座標を取得する3次元座標取得手順と、
    前記3次元座標取得手順で取得した前記基準点の3次元座標を少なくとも2つの異なる前記撮像時刻について取得した値と、前記3次元座標を取得するのに使用したフレーム画像の前記撮像時刻の時間差とに基づいて、前記車両の速度を算出する速度算出手順と、を実行させるためのプログラムであって、
    前記3次元座標取得手順は、前記基準フレーム画像と、複数の前記前後フレーム画像と、他の撮像手段で、前記基準フレーム画像及び前記前後フレーム画像と同時に撮像したフレーム画像と、に基づいて、4以上の撮像時刻について3次元座標を取得し、
    前記速度算出手順は、前記車両が等加速度運動をしていると仮定した2次方程式に、4以上の撮像時刻について3次元座標をフィッティングすることにより、各3次元座標における速度のうち最も低い速度を、計測時間内最低速度として出力する、
    ことを特徴とするプログラム
JP2012270188A 2011-12-26 2012-12-11 速度計測システム、速度計測方法及びプログラム Active JP5337905B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012270188A JP5337905B2 (ja) 2011-12-26 2012-12-11 速度計測システム、速度計測方法及びプログラム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011284407 2011-12-26
JP2011284407 2011-12-26
JP2012270188A JP5337905B2 (ja) 2011-12-26 2012-12-11 速度計測システム、速度計測方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2013152219A JP2013152219A (ja) 2013-08-08
JP5337905B2 true JP5337905B2 (ja) 2013-11-06

Family

ID=49048654

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012270188A Active JP5337905B2 (ja) 2011-12-26 2012-12-11 速度計測システム、速度計測方法及びプログラム

Country Status (1)

Country Link
JP (1) JP5337905B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020134399A (ja) * 2019-02-22 2020-08-31 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、プログラム、および記憶媒体

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6374833B2 (ja) * 2015-06-16 2018-08-15 東邦電機工業株式会社 制御区間長測定装置
JP6238028B2 (ja) * 2016-03-11 2017-11-29 パナソニックIpマネジメント株式会社 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法
KR101788123B1 (ko) 2017-02-08 2017-10-19 한국건설기술연구원 저속 통행 구간의 차량 속도 측정 장치 및 방법
JP7029261B2 (ja) * 2017-09-19 2022-03-03 株式会社Subaru 物体速度算出装置
JP7284951B2 (ja) * 2018-07-29 2023-06-01 株式会社コンピュータシステム研究所 監視支援装置、監視支援プログラム、および記憶媒体
KR101973725B1 (ko) * 2018-11-14 2019-04-30 한국건설기술연구원 비매설형 차종 분류 장치 및 방법
CN110342134B (zh) * 2019-07-23 2023-06-09 珠海一微半导体股份有限公司 一种基于双目视觉的垃圾分类识别***及其方法
JP7339616B2 (ja) * 2019-08-07 2023-09-06 眞次 中村 速度測定装置および速度測定方法
CN110824188B (zh) * 2019-10-17 2022-10-04 浙江大华技术股份有限公司 高速公路车辆的测速方法、装置、编解码器及存储装置
US11227402B2 (en) * 2020-05-29 2022-01-18 Icatch Technology, Inc. Velocity measuring device
CN112162107A (zh) * 2020-10-10 2021-01-01 广西信路威科技发展有限公司 一种基于拼接图像的车辆行驶速度测量方法及***
CN112379121A (zh) * 2020-11-14 2021-02-19 邓权塑业科技(湖南)有限公司 一种在线生产管道用测速计量方法及***
CN114520880B (zh) * 2020-11-18 2023-04-18 华为技术有限公司 一种曝光参数调节方法及装置
CN112526154B (zh) * 2020-11-21 2021-09-03 西安交通大学 一种计算机视觉下的圆模板匹配旋转结构运动无标记测量方法
CN112526158A (zh) * 2020-12-11 2021-03-19 济南和普威视光电技术有限公司 一种基于光学设备的激光测速***及方法
KR102561791B1 (ko) * 2021-06-17 2023-08-01 트라웍스(주) 차량속도 단속장치, 차량속도 검증용 기준주행정보 생성장치, 차량속도 검증장치, 교통정보 운영시스템 및 그 방법
CN113470374B (zh) * 2021-06-30 2022-09-16 平安科技(深圳)有限公司 车辆超速监测方法、装置、计算机设备及存储介质
KR102341786B1 (ko) * 2021-07-08 2021-12-21 국방과학연구소 탄 속도 측정 방법, 장치 및 시스템
CN114373013B (zh) * 2021-12-21 2024-04-02 武汉大学 一种基于图像处理的填筑碾压速度快速统计方法
CN114756825B (zh) * 2022-06-15 2022-09-02 合肥安迅精密技术有限公司 用于识别离散测量位置瞬时速度的方法及***
WO2024029077A1 (ja) * 2022-08-05 2024-02-08 日産自動車株式会社 物体検出方法及び物体検出装置
CN115830065A (zh) * 2022-11-09 2023-03-21 上海高德威智能交通***有限公司 基于图像的速度确定方法、装置、设备及存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6145910A (ja) * 1984-08-10 1986-03-06 Mitsubishi Electric Corp 3次元位置計測装置
JP2000162220A (ja) * 1998-11-24 2000-06-16 Sony Corp 速度計測システム
JP3403697B2 (ja) * 1999-05-28 2003-05-06 日本電信電話株式会社 画像処理方法及び装置
JP5029436B2 (ja) * 2008-03-12 2012-09-19 オムロン株式会社 横断物体検知装置および横断物体検知方法、並びにプログラム
JP2009219042A (ja) * 2008-03-12 2009-09-24 Toyota Motor Corp 車両用周辺監視装置
JP2011013064A (ja) * 2009-07-01 2011-01-20 Nikon Corp 位置検出装置
JP5464955B2 (ja) * 2009-09-29 2014-04-09 株式会社ソニー・コンピュータエンタテインメント パノラマ画像表示装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020134399A (ja) * 2019-02-22 2020-08-31 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、プログラム、および記憶媒体
JP7200002B2 (ja) 2019-02-22 2023-01-06 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、プログラム、および記憶媒体

Also Published As

Publication number Publication date
JP2013152219A (ja) 2013-08-08

Similar Documents

Publication Publication Date Title
JP5337905B2 (ja) 速度計測システム、速度計測方法及びプログラム
JP7157054B2 (ja) 整合画像及びlidar情報に基づいた車両ナビゲーション
CN111436216B (zh) 用于彩色点云生成的方法和***
JP5057183B2 (ja) 風景マッチング用参照データ生成システム及び位置測位システム
CN102208012B (zh) 风景匹配参考数据生成***及位置测量***
JP5435306B2 (ja) 画像処理システム及び位置測位システム
CN110795984A (zh) 信息处理方法、信息处理装置及程序记录介质
US9892329B2 (en) Animal type determination device
EP3842735B1 (en) Position coordinates estimation device, position coordinates estimation method, and program
JP2008002906A (ja) 測位装置
JP3727400B2 (ja) 横断者の検出装置
JP6278791B2 (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラムならびに車両位置検出システム
JP6758160B2 (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
JP6552448B2 (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
CN110023953A (zh) 信息处理设备、成像设备、装置控制***、移动体、信息处理方法以及计算机程序产品
JP2018084492A (ja) 自己位置推定方法及び自己位置推定装置
US20210080264A1 (en) Estimation device, estimation method, and computer program product
JP5276032B2 (ja) 対象物の位置を算出するための装置
JP5330341B2 (ja) 車載カメラを用いた測距装置
JP4629638B2 (ja) 車両の周辺監視装置
CN113433566B (zh) 地图建构***以及地图建构方法
JP2007003462A (ja) 視線認識装置、及び視線認識方法
CN109344677B (zh) 识别立体物的方法、装置、车辆和存储介质
US20240248175A1 (en) External environment recognition apparatus
US20240017748A1 (en) Device, method, and computer program for lane determination

Legal Events

Date Code Title Description
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20130501

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130514

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130704

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130723

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130805

R150 Certificate of patent or registration of utility model

Ref document number: 5337905

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250