JP7014000B2 - 画像処理プログラム、装置、及び方法 - Google Patents
画像処理プログラム、装置、及び方法 Download PDFInfo
- Publication number
- JP7014000B2 JP7014000B2 JP2018061157A JP2018061157A JP7014000B2 JP 7014000 B2 JP7014000 B2 JP 7014000B2 JP 2018061157 A JP2018061157 A JP 2018061157A JP 2018061157 A JP2018061157 A JP 2018061157A JP 7014000 B2 JP7014000 B2 JP 7014000B2
- Authority
- JP
- Japan
- Prior art keywords
- captured
- vehicle
- image
- captured image
- template
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
本発明は、画像処理プログラム、画像処理装置、及び画像処理方法に関する。
従来、路上に設置したカメラで撮像された画像から、画像に含まれる車両のナンバープレートを読み取ることで、道路を通行する車両を特定するナンバープレート認識システムが存在する。例えば、警察の捜査などでは、このナンバープレート認識システムを利用して、ナンバープレート情報を検索キーとして画像を検索することで、特定車両の通行状況等を知ることができる。
しかしながら、例えば、犯罪現場の目撃情報などでは、ナンバープレート情報が不完全なことも多いため、車両の形状などから特定の車両を絞り込むこともある。そのため、路上に設置したカメラで撮像された画像から、指定した車種の車両が含まれる画像を検索する車種判別方式が必要とされている。
また、カメラの設置位置や角度、車線の幅などによって、カメラで撮像された画像内における車両の見え方は様々である。そこで、車種判別を行うためには、画像内での車両の見え方の違いに依存しない特徴量を使って判別を行うか、予め同じ見え方になるように変換するなど、見え方の違いを吸収する処理が必要となる。
見え方の違いに依存しない特徴量を使う方式の例として、ディープラーニングなどの機械学習を利用する方式が存在する。この方式では、見え方の異なる様々なデータを学習させることで、見え方に依存しない特徴量を選び出すことができる。
また、予め同じ見え方になるように変換する方式の例として、パターンマッチングを行う際に、テンプレート又は対象画像を幾何学変換して見え方を一致させた上でマッチングを行う方式が存在する。
しかしながら、機械学習を利用する方式では、正しい判別を行うためには、学習に用いる正解データとして、同一車種の車両に対して撮像環境を変えて撮像した画像データを大量に集める必要がある。さらに、判別する車種の種類が新たに増えた場合には、再度学習を行う必要があるが、自動車メーカからは、新型車両が次々と市場に投入されているため、定期的に、新型車両のデータを集めて再学習をする必要がある。
また、幾何学変換を行うパターンマッチングの方式では、テンプレートと対象画像との間で、幾何学変換を行う際に対応する特徴を正確に特定する必要がある。しかし、従来技術では、例えば、比較する特徴が全てナンバープレートと同一平面上にあることが前提であったり、対象車両の3次元位置及び形状を車両1台1台の動画像から特定する必要があったり、現実的ではない。
一つの側面として、撮像画像内での車両の見え方が異なる場合でも、所定の車種の車両を含む撮像画像を簡易に抽出することを目的とする。
一つの態様として、第1のカメラで撮像された撮像画像のうち、第1の車種に分類される車両を含む撮像画像を特定し、特定した前記撮像画像に含まれる車両のナンバーを抽出する。そして、第2のカメラで撮像された撮像画像のうち、抽出した前記車両のナンバーの車両を含む撮像画像を抽出し、抽出した前記撮像画像を、前記第1の車種に対応する車両の撮像画像として学習する。
一つの側面として、撮像画像内での車両の見え方が異なる場合でも、所定の車種の車両を含む撮像画像を簡易に抽出することができる。
以下、図面を参照して、本発明の実施形態の一例を詳細に説明する。なお、以下の各実施形態では、車両の監視システムに、本発明の画像処理装置を適用する場合について説明する。
<第1実施形態>
図1に示すように、第1実施形態に係る監視システム100は、1以上の画像処理装置10と、複数の路上装置20と、監視情報データベース(DB)30とを含む。路上装置20の各々及び画像処理装置10の各々と、監視情報DB30とは、インターネット等のネットワークを介して接続される。
図1に示すように、第1実施形態に係る監視システム100は、1以上の画像処理装置10と、複数の路上装置20と、監視情報データベース(DB)30とを含む。路上装置20の各々及び画像処理装置10の各々と、監視情報DB30とは、インターネット等のネットワークを介して接続される。
路上装置20は、図2に示すように、カメラ22と画像認識装置24とを含み、車両が走行する道路に設けられる。カメラ22は、車両が走行する道路の所定範囲を撮像し、撮像した画像を出力する。
画像認識装置24は、機能的には、図3に示すように、取得部25と、認識部26と、送信部27とを含む。
取得部25は、カメラ22から出力された撮像画像を取得し、認識部26へ受け渡す。
認識部26は、取得部25から受け渡された撮像画像から、ナンバープレートを含む領域を特定し、特定した領域から車両のナンバー情報をテキスト認識により取得する。ナンバープレートの領域の特定、及びナンバー情報のテキスト認識については、従来既知の手法を用いることができるため、ここでは詳細な説明を省略する。認識部26は、認識したナンバー情報を送信部27へ受け渡す。
送信部27は、自装置(路上装置20)の識別情報である路上装置IDと、取得部25で取得された撮像画像の撮像日時と、認識部26で認識されたナンバー情報と、撮像画像の画像データとを対応付けて、監視情報として監視情報DB30へ送信する。
図4に、監視情報DB30の一例を示す。図4の例では、監視情報DB30には、路上装置テーブル32と、監視情報テーブル34とが含まれる。
路上装置テーブル32には、各路上装置20についての情報が記憶される。図4の例では、路上装置テーブル32は、「路上装置ID」、「地点」、及び「撮像方向」の情報を含む。「地点」は、路上装置IDで識別される路上装置20が設置されている場所の情報である。「撮像方向」は、路上装置20のカメラ22の撮像方向を示す情報であり、図4の例では、どの方面へ向かう車両を正面から撮像可能なように設置されているかによって、撮像方向を表している。
また、図4の例では、監視情報テーブル34には、「路上装置ID」、「撮像日時」、「ナンバー情報」、及び「画像データ」の情報が含まれ、各路上装置20から送信された監視情報が記憶される。
画像処理装置10は、機能的には、図5に示すように、第1学習部12と、第1検索部14と、第2学習部16と、第2検索部18とを含む。
第1学習部12は、地点Xの路上装置20のカメラ22で撮像された撮像画像のうち、検索対象の車種に分類される車両を含む撮像画像を1つ特定する。なお、本実施形態における「車種」とは、車両の型格(製品名)である。
具体的には、第1学習部12は、監視情報DB30の監視情報テーブル34に記憶された監視情報から、「地点」が地点Xである監視情報に含まれる「画像データ」が示す撮像画像をユーザに提示する。そして、第1学習部12は、検索対象の車種の車両が撮像された撮像画像の指定をユーザから受け付けることにより、1つの撮像画像を特定する。第1学習部12は、特定した撮像画像を、地点XについてのテンプレートXとして設定する。なお、特定した撮像画像をテンプレートXに設定することは、本発明の第1の学習処理の一例である。
ここで、検索対象の車種の車両を撮像した撮像画像を検索するための学習処理としては、車種毎の特徴的な部分を学習して車種判別装置のパラメータを決定する手法も考えられる。しかし、この手法では、事前に車種毎に学習用の画像データを大量に用意する必要があり、また、新型車両が市場に投入される毎に再学習が必要になる。本実施形態では、上記第1学習部12のように、撮像画像からテンプレートを選択することで、簡易な学習を実現する。
第1検索部14は、検索対象の車種の車両の検索指示を受け付けると、地点Xの路上装置20のカメラ22で撮像された撮像画像について、テンプレートXを適用して、検索対象の車種の車両が撮像された撮像画像を検索する。具体的には、第1検索部14は、監視情報テーブル34に記憶された監視情報のうち、「地点」が地点Xである監視情報に含まれる「画像データ」が示す撮像画像の各々と、テンプレートXとのテンプレートマッチングを行う。第1検索部14は、テンプレートXである撮像画像の監視情報と、テンプレートXとのマッチング度が予め定めた閾値以上となる撮像画像の監視情報とを、地点Xについての検索結果として抽出し、検索結果リスト(詳細は後述)に追加する。
第2学習部16は、第1学習部12によりテンプレートXに設定された撮像画像に含まれる車両のナンバー情報を抽出する。具体的には、第2学習部16は、監視情報テーブル34から、テンプレートXに設定された撮像画像の監視情報の「ナンバー情報」を抽出する。
また、第2学習部16は、地点Xとは異なる地点Yの路上装置20のカメラ22で撮像された撮像画像のうち、抽出したナンバー情報を示すナンバープレートを有する車両を含む撮像画像を抽出する。具体的には、第2学習部16は、監視情報テーブル34から、「地点」が地点Yで、かつ「ナンバー情報」が抽出されたナンバー情報と一致する監視情報に含まれる「画像データ」が示す撮像画像を抽出する。
第2学習部16は、抽出した撮像画像を、地点Yの撮像画像から検索対象の車種の車両が撮像された撮像画像を検索するためのテンプレートYとして設定する。なお、抽出した撮像画像をテンプレートYに設定することは、本発明の第2の学習処理の一例である。
ここで、地点Xとは異なる地点Yの路上装置20のカメラ22で撮像された撮像画像から、検索対象の車種の車両が撮像された撮像画像を検索する際に、地点XでのテンプレートXを適用する場合を考える。この場合、図6に示すように、カメラ22の設置位置や角度、車線の幅等の違いにより、カメラ22と通過車両との位置関係はカメラ毎に異なる。したがって、同一の車両を撮像した撮像画像であっても、地点が異なる場合には、撮像画像上でのその車両の見え方は異なる。
そのため、地点Xの撮像画像から選択して設定したテンプレートXを適用して、地点Yの撮像画像から検索対象の撮像画像を検索することは困難である。また、テンプレートマッチングを行う際の特徴となる車両前面の各部は、同一平面上にあるわけではないため、テンプレート又は撮像画像の回転や拡大縮小などの幾何学変換を行ったとしても、適切なマッチングが行えない場合がある。
また、上述した車種毎の特徴を学習して車種判別装置のパラメータを決定する手法において、地点毎の撮像画像における車両の見え方の違いを吸収することも考えられる。しかし、この場合、車種毎の学習データに加え、車両とカメラ22との位置関係を各地点の状況に対応させて変更した学習データを準備する必要がある。
本実施形態では、上記第2学習部16のように、第1学習部12で学習されたテンプレートXのナンバー情報を地点Yに伝搬させる。これにより、地点Yにおいて、地点XのテンプレートXが示す車種と同一の車種の車両が撮像された撮像画像であって、地点Yでの見え方に対応した撮像画像を、地点YでのテンプレートYに設定することができる。
第2検索部18は、検索対象の車種の車両の検索指示を受け付けると、地点Yの路上装置20のカメラ22で撮像された撮像画像について、テンプレートYを適用して、検索対象の車種の車両が撮像された撮像画像を検索する。具体的には、第2検索部18は、監視情報テーブル34に記憶された監視情報のうち、「地点」が地点Yである監視情報に含まれる「画像データ」が示す撮像画像の各々と、テンプレートYとのテンプレートマッチングを行う。第2検索部18は、テンプレートYである撮像画像の監視情報と、テンプレートYとのマッチング度が予め定めた閾値以上となる撮像画像の監視情報とを、地点Yについての検索結果として抽出し、検索結果リストに追加する。
図7に、検索結果リストの一例を示す。図7の例では、検索結果リストは、検索結果として抽出された監視情報に、その監視情報に含まれる「路上装置ID」に対応する「地点」及び「撮像方向」を路上装置テーブル32から取得して対応付けている。第2検索部18は、検索結果リストを指定された項目をキーに並べ替えて出力する。例えば、路上装置ID別に撮像日時順に並べ替えることができる。この場合、ある地点を通過した検索対象の車種の車両を時系列に確認することができる。また、例えば、ナンバー情報別に撮像日時順に並べ替えることができる。この場合、ある車両が通過した地点を時系列に確認することができる。
また、第2検索部18は、同一の地点、又は全地点において同一のナンバー情報を有する車両の撮像画像の検索結果が複数含まれる場合には、同一のナンバー情報を有する車両の撮像画像の検索結果が重複しないように、検索結果リストを作成してもよい。これにより、検索結果リストの冗長性を低減することができる。
第1検索部14又は第2検索部18は、最終的な検索結果リストを出力する。
画像処理装置10は、例えば図8に示すコンピュータ40で実現することができる。コンピュータ40は、CPU(Central Processing Unit)41と、一時記憶領域としてのメモリ42と、不揮発性の記憶部43とを備える。また、コンピュータ40は、入力装置、表示装置等の入出力装置44と、記憶媒体49に対するデータの読み込み及び書き込みを制御するR/W(Read/Write)部45と、インターネット等のネットワークに接続される通信I/F(Interface)46とを備える。CPU41、メモリ42、記憶部43、入出力装置44、R/W部45、及び通信I/F46は、バス47を介して互いに接続される。
記憶部43は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、フラッシュメモリ等によって実現できる。記憶媒体としての記憶部43には、コンピュータ40を、画像処理装置10として機能させるための画像処理プログラム50が記憶される。画像処理プログラム50は、第1学習プロセス52と、第1検索プロセス54と、第2学習プロセス56と、第2検索プロセス58とを有する。
CPU41は、画像処理プログラム50を記憶部43から読み出してメモリ42に展開し、画像処理プログラム50が有するプロセスを順次実行する。CPU41は、第1学習プロセス52を実行することで、図5に示す第1学習部12として動作する。また、CPU41は、第1検索プロセス54を実行することで、図5に示す第1検索部14として動作する。また、CPU41は、第2学習プロセス56を実行することで、図5に示す第2学習部16として動作する。また、CPU41は、第2検索プロセス58を実行することで、図5に示す第2検索部18として動作する。これにより、画像処理プログラム50を実行したコンピュータ40が、画像処理装置10として機能することになる。なお、プログラムを実行するCPU41はハードウェアである。
なお、画像処理プログラム50により実現される機能は、例えば半導体集積回路、より詳しくはASIC(Application Specific Integrated Circuit)等で実現することも可能である。
次に、第1実施形態に係る監視システム100の作用について説明する。各路上装置20のカメラ22は、撮像範囲を車両が通過する毎に、通過車両を撮像し、撮像画像を出力する。路上装置20の画像認識装置24は、カメラ22から出力された撮像画像を取得し、撮像画像からナンバー情報を認識する。そして、画像認識装置24は、自装置の路上装置IDと、撮像画像の撮像日時と、認識したナンバー情報と、撮像画像の画像データとを対応付けて、監視情報として監視情報DB30へ送信する。
監視情報DB30には、各路上装置20から送信された監視情報が、例えば、図4に示すような監視情報テーブル34に記憶される。そして、画像処理装置10に対して、検索指示が入力されると、画像処理装置10において、図9に示す画像処理が実行される。
図9のステップS10で、第1検索部14が、検索範囲として、撮像画像が撮像された場所の範囲及び日時の範囲の指定を受け付ける。
次に、ステップS20で、第1検索部14が、監視情報DB30の監視情報テーブル34から、「地点」が検索範囲として指定された場所の範囲に含まれ、「撮像日時」が検索範囲として指定された日時の範囲に含まれる監視情報を抽出する。以下では、本ステップで抽出された監視情報群を、「検索対象リスト」という。
次に、ステップS30で、図10に示す第1学習検索処理が実行される。
図10のステップS31で、第1学習部12が、検索対象リストに含まれる監視情報の「地点」から、1つの地点を決定する。この地点を「地点X」とする。
次に、ステップS32で、第1学習部12が、検索対象リストから、「地点」が地点Xである監視情報に含まれる「画像データ」が示す撮像画像をユーザに提示する。例えば、第1学習部12は、該当の撮像画像のサムネイル画像を一覧で表示したり、該当の撮像画像を順次切り替え可能な状態で表示したりすることにより、ユーザに提示することができる。
次に、ステップS33で、第1学習部12が、ユーザに提示した撮像画像から、検索対象の車種の車両が撮像された撮像画像の指定を受け付けたか否かを判定する。撮像画像の指定を受け付けた場合には、処理はステップS34へ移行する。一方、撮像画像の指定を受け付けなかった場合には、処理はステップS31に戻り、第1学習部12は、前回とは異なる地点を地点Xとして決定する。
ステップS34では、第1学習部12が、上記ステップS33で指定を受け付けた撮像画像を、地点XについてのテンプレートXとして設定する。
次に、ステップS35で、第1検索部14が、検索対象リストに含まれる監視情報のうち、「地点」が地点Xである監視情報に含まれる「画像データ」が示す撮像画像の各々と、テンプレートXとのテンプレートマッチングを行う。第1検索部14は、テンプレートXとのマッチング度が予め定めた閾値以上となる撮像画像を検索する。
次に、ステップS36で、第1検索部14が、テンプレートXである撮像画像の監視情報と、検索した撮像画像の監視情報とを、地点Xについての検索結果として抽出し、検索結果リストに追加する。そして、処理は、画像処理(図9)に戻る。
次に、図9のステップS40で、図11に示す第2学習検索処理が実行される。
図11のステップS41で、第2学習部16が、上記第1学習検索処理のステップS34でテンプレートXに設定された撮像画像の監視情報の「ナンバー情報」を、監視情報テーブル34から抽出する。
次に、ステップS42で、第2学習部16が、地点Xとは異なる地点Yを特定するための変数iを1に設定する。以下では、検索対象リストに含まれる「地点」の種類のうち、本第2学習検索処理でi番目に処理される地点を「地点i」と表記する。
次に、ステップS43で、第2学習部16が、変数iが、検索対象リストに含まれる「地点」の種類数Nを超えたか否かを判定する。iがN以下の場合には、処理はステップS44へ移行する。
ステップS44で、第2学習部16が、地点iが地点Xとは異なる地点か否かを判定する。地点i≠地点Xの場合には、処理はステップS45へ移行し、地点i=地点Xの場合には、処理はステップS50へ移行する。
ステップS45では、第2学習部16が、検索対象リストに含まれる監視情報のうち、「地点」が地点iで、かつ「ナンバー情報」が抽出されたナンバー情報と一致する監視情報に含まれる「画像データ」が示す撮像画像を抽出する。
ステップS46では、第2学習部16が、上記ステップS45で、該当の撮像画像が抽出できたか否かを判定する。抽出できた場合には、処理はステップS47へ移行する。一方、テンプレートXに含まれる車両が地点iを通過していない場合や、地点iでの撮像画像ではナンバープレートが適切に認識できていなかった場合などの理由により、該当の撮像画像が抽出できなかった場合には、処理はステップS50へ移行する。
ステップS47では、第2学習部16が、抽出した撮像画像を、地点iの撮像画像から検索対象の車種の車両が撮像された撮像画像を検索するためのテンプレートiとして設定する。
次に、ステップS48で、第2検索部18が、検索対象リストに含まれる監視情報のうち、「地点」が地点iである監視情報に含まれる「画像データ」が示す撮像画像の各々と、テンプレートiとのテンプレートマッチングを行う。第2検索部18は、テンプレートiとのマッチング度が予め定めた閾値以上となる撮像画像を検索する。
次に、ステップS49で、第2検索部18が、テンプレートiである撮像画像の監視情報と、検索した撮像画像の監視情報とを、地点iについての検索結果として抽出し、検索結果リストに追加し、処理はステップS50へ移行する。
ステップS50では、第2検索部18が、変数iを1インクリメントし、処理はステップS43に戻る。そして、ステップS43で、i>Nであると判定されると、処理は、画像処理(図9)に戻る。
次に、図9のステップS60で、第2検索部18が、例えば、図7に示すような検索結果リストを出力して、画像処理は終了する。
以上説明したように、第1実施形態に係る監視システム100によれば、画像処理装置10が、図12に示すように、テンプレートに指定された撮像画像と同一地点で撮像された撮像画像に対しては、テンプレートによるテンプレートマッチングを適用する。一方、異なる地点の撮像画像に対しては、テンプレートに指定された撮像画像から抽出されたナンバー情報を伝搬させて、異なる地点におけるテンプレートを選択する。
これにより、地点毎の撮像画像内での車両の見え方に対応したテンプレートを設定することができ、また、地点毎かつ車種毎に事前に車種判別装置を用意したり、人手でテンプレートを設定したりする必要がない。したがって、撮像画像内での車両の見え方が異なる場合でも、所定の車種の車両を含む撮像画像を簡易に抽出することができる。
<第2実施形態>
次に、第2実施形態について説明する。なお、第2実施形態に係る監視システムにおいて、第1実施形態に係る監視システム100と同様の部分については、同一符号を付して詳細な説明を省略する。
次に、第2実施形態について説明する。なお、第2実施形態に係る監視システムにおいて、第1実施形態に係る監視システム100と同様の部分については、同一符号を付して詳細な説明を省略する。
図1に示すように、第2実施形態に係る監視システム200は、第1実施形態に係る監視システム100の画像処理装置10に替えて、画像処理装置210を含む。
画像処理装置210は、機能的には、図5に示すように、第1学習部212と、第1検索部214と、第2学習部216と、第2検索部218とを含む。
第1学習部212は、地点Xの路上装置20のカメラ22で撮像された撮像画像のうち、検索対象の車種に分類される車両を含む撮像画像を複数特定する。具体的には、第1学習部212は、地点Xの撮像画像から、検索対象の車種の車両が撮像された撮像画像としてユーザにより指定された撮像画像を初期テンプレートに設定する。また、第1学習部212は、地点Xの撮像画像のうち、初期テンプレートとのマッチング度が所定の閾値以上の撮像画像を所定数特定する。そして、第1学習部212は、初期テンプレートと特定した所定数の撮像画像とを、地点XのテンプレートXとして設定する。
第1検索部214は、第1学習部212により設定された複数のテンプレートXの各々と、地点Xの撮像画像のうち、テンプレートに設定されていない撮像画像の各々とのテンプレートマッチングを行う。第1検索部214は、各テンプレートXの撮像画像の監視情報と、いずれかのテンプレートXとのマッチング度が予め定めた閾値以上となる撮像画像の監視情報とを、地点Xについての検索結果として抽出し、検索結果リストに追加する。
第2学習部216は、監視情報テーブル34から、各テンプレートXに設定された撮像画像の監視情報の「ナンバー情報」を、それぞれ抽出する。
また、第2学習部216は、監視情報テーブル34から、「地点」が地点Yで、かつ「ナンバー情報」が抽出されたナンバー情報のいずれかと一致する監視情報に含まれる「画像データ」が示す撮像画像を抽出する。第2学習部216は、抽出した撮像画像の各々を、地点YのテンプレートYとして設定する。
第2検索部218は、監視情報テーブル34に記憶された監視情報のうち、「地点」が地点Yである監視情報に含まれる「画像データ」が示す撮像画像の各々と、テンプレートYの各々とのテンプレートマッチングを行う。第2検索部218は、各テンプレートYである撮像画像の監視情報と、いずれかのテンプレートYとのマッチング度が予め定めた閾値以上となる撮像画像の監視情報とを、地点Yについての検索結果として抽出し、検索結果リストに追加する。
画像処理装置210は、例えば図8に示すコンピュータ40で実現することができる。コンピュータ40の記憶部43には、コンピュータ40を、画像処理装置210として機能させるための画像処理プログラム250が記憶される。画像処理プログラム250は、第1学習プロセス252と、第1検索プロセス254と、第2学習プロセス256と、第2検索プロセス258とを有する。
CPU41は、画像処理プログラム250を記憶部43から読み出してメモリ42に展開し、画像処理プログラム250が有するプロセスを順次実行する。CPU41は、第1学習プロセス252を実行することで、図5に示す第1学習部212として動作する。また、CPU41は、第1検索プロセス254を実行することで、図5に示す第1検索部214として動作する。また、CPU41は、第2学習プロセス256を実行することで、図5に示す第2学習部216として動作する。また、CPU41は、第2検索プロセス258を実行することで、図5に示す第2検索部218として動作する。これにより、画像処理プログラム250を実行したコンピュータ40が、画像処理装置210として機能することになる。
なお、画像処理プログラム250により実現される機能は、例えば半導体集積回路、より詳しくはASIC等で実現することも可能である。
次に、第2実施形態に係る監視システム200の作用について説明する。第1実施形態と同様に、画像処理装置210において、図9に示す画像処理が実行される。第2実施形態では、ステップS30において、図13に示す第1学習検索処理が実行され、ステップS40において、図11に示す第2学習検索処理が実行される。以下、第2実施形態における第1学習検索処理及び第2学習検索処理について説明する。なお、図13において、第1実施形態における第1学習検索処理と同様の処理については、同一符号を付して詳細な説明を省略する。
図13のステップS31~S33を経て、次のステップS231で、第1学習部212が、上記ステップS33で指定を受け付けた撮像画像を、初期テンプレートとして設定する。
次に、ステップS232で、第1学習部212が、地点Xの撮像画像のうち、初期テンプレートとのマッチング度が所定の閾値以上の撮像画像を所定数特定する。
次に、ステップS233で、第1学習部212が、初期テンプレートと特定した所定数の撮像画像とを、地点XのテンプレートXとして設定する。
なお、ステップS35では、テンプレートXが複数である点が第1実施形態と異なるだけである。
また、図11に示す第2学習検索処理では、ステップS41、S45、S47、及びS48において、テンプレートiが複数である点が第1実施形態と異なるだけであるため、詳細な説明を省略する。
以上第2実施形態に係る監視システム200によれば、画像処理装置210が、各地点の撮像画像から検索対象の撮像画像を検索するためのテンプレートを複数設定する。これにより、地点毎に1つのテンプレートを用いる場合に比べ、検索漏れを低減することができる。
なお、上記第2実施形態では、設定した複数のテンプレートの各々と撮像画像とのテンプレートマッチングにより、検索対象の車種の車両が撮像された撮像画像を検索する場合について説明したが、これに限定されない。例えば、各地点についてテンプレートに設定された撮像画像の特徴を学習して、1つの識別モデルを生成し、この識別モデルを用いて、各地点の撮像画像から検索対象の撮像画像を検索してもよい。
<第3実施形態>
次に、第3実施形態について説明する。なお、第3実施形態に係る監視システムにおいて、第1実施形態に係る監視システム100と同様の部分については、同一符号を付して詳細な説明を省略する。
次に、第3実施形態について説明する。なお、第3実施形態に係る監視システムにおいて、第1実施形態に係る監視システム100と同様の部分については、同一符号を付して詳細な説明を省略する。
図1に示すように、第3実施形態に係る監視システム300は、第1実施形態に係る監視システム100の画像処理装置10に替えて、画像処理装置310を含む。
画像処理装置310は、機能的には、図5に示すように、第1学習部312と、第1検索部314と、第2学習部316と、第2検索部318とを含む。
第1学習部312は、第2実施形態における第1学習部212と同様に、地点Xについて、所定数の撮像画像をテンプレートXとして設定する。この際、第1学習部312は、所定数の撮像画像を抽出するためのテンプレートマッチングを行う撮像画像上の領域を、テンプレートが撮像画像から抽出された位置を基準とした所定範囲内とする。また、所定範囲内は、特定される複数のテンプレートが、撮像画像のそれぞれ異なる位置から抽出されるように設定する。
具体的には、第1学習部312は、地点Xの撮像画像をユーザに提示し、検索対象の車種の車両が撮像された撮像画像内の車両の画像部分の指定をユーザから受け付け、受け付けた画像部分を初期テンプレートとして設定する。また、第1学習部312は、初期テンプレートが抽出された位置から所定範囲内の領域であって、初期テンプレートが抽出された領域とは異なる領域においてテンプレートマッチングを行う。第1学習部312は、その異なる領域から抽出された撮像画像を次のテンプレートに設定する。また、第1学習部312は、新たに設定されたテンプレートが抽出された位置から所定範囲内の領域であって、そのテンプレートが抽出された領域とは異なる領域においてテンプレートマッチングを行う。第1学習部312は、その異なる領域から抽出された撮像画像を次のテンプレートに設定する。第1学習部312は、この処理を繰り返し、所定数のテンプレートを抽出する。
例えば、図14に示すように、第1学習部312は、領域Aにおいて初期テンプレートAが指定された場合、領域Bにおいて、初期テンプレートAによるテンプレートマッチングを行い、テンプレートBを抽出する。また、第1学習部312は、領域Cにおいて、テンプレートBによるテンプレートマッチングを行い、テンプレートCを抽出する。
第1検索部314は、地点Xの撮像画像に対して、テンプレートXの各々を適用してテンプレートマッチングを行って、地点Xにおける、検索対象の車種の車両が撮像された撮像画像を検索する。この際、第1検索部314は、テンプレートXの各々が抽出された位置を含む所定範囲内において、テンプレートマッチングを行う。
このように、テンプレートマッチングを行う領域を少しずつずらしながら、撮像画像内の様々な位置から所定数のテンプレートを抽出し、各テンプレートが抽出された位置を含む所定範囲内でテンプレートマッチングを行う。これにより、同一地点における撮像画像内であっても生じる、撮像画像内の位置による車両のわずかな見え方の違いを吸収して、精度良く検索対象の車両が撮像された撮像画像を検索することができる。
第2学習部316は、監視情報テーブル34から、各テンプレートXに設定された車両の画像を含む撮像画像の監視情報の「ナンバー情報」を、それぞれ抽出する。
また、第2学習部316は、監視情報テーブル34から、「地点」が地点Yで、かつ「ナンバー情報」が抽出されたナンバー情報のいずれかと一致する監視情報に含まれる「画像データ」が示す撮像画像を抽出する。第2学習部316は、抽出した撮像画像の各々に含まれる車両の画像部分を特定し、特定した画像部分を地点YのテンプレートYとして設定する。なお、車両の画像部分の特定方法は、従来既知の手法を用いることができるため、ここでは詳細な説明を省略する。
また、第2学習部316は、第1学習部312と同様に、テンプレートマッチングを行う領域を少しずつずらしながら、撮像画像内の様々な位置から所定数のテンプレートYを抽出する。
第2検索部318は、監視情報テーブル34に記憶された監視情報のうち、「地点」が地点Yである監視情報に含まれる「画像データ」が示す撮像画像の各々と、テンプレートYの各々とのテンプレートマッチングを行う。この際、第2検索部318は、テンプレートYの各々が抽出された位置を含む所定範囲内において、テンプレートマッチングを行う。
画像処理装置310は、例えば図8に示すコンピュータ40で実現することができる。コンピュータ40の記憶部43には、コンピュータ40を、画像処理装置310として機能させるための画像処理プログラム350が記憶される。画像処理プログラム350は、第1学習プロセス352と、第1検索プロセス354と、第2学習プロセス356と、第2検索プロセス358とを有する。
CPU41は、画像処理プログラム350を記憶部43から読み出してメモリ42に展開し、画像処理プログラム350が有するプロセスを順次実行する。CPU41は、第1学習プロセス352を実行することで、図5に示す第1学習部312として動作する。また、CPU41は、第1検索プロセス354を実行することで、図5に示す第1検索部314として動作する。また、CPU41は、第2学習プロセス356を実行することで、図5に示す第2学習部316として動作する。また、CPU41は、第2検索プロセス358を実行することで、図5に示す第2検索部318として動作する。これにより、画像処理プログラム350を実行したコンピュータ40が、画像処理装置310として機能することになる。
なお、画像処理プログラム350により実現される機能は、例えば半導体集積回路、より詳しくはASIC等で実現することも可能である。
次に、第3実施形態に係る監視システム300の作用について説明する。第1実施形態と同様に、画像処理装置310において、図9に示す画像処理が実行される。第3実施形態では、ステップS30において、図15に示す第1学習検索処理が実行され、ステップS40において、図16に示す第2学習検索処理が実行される。なお、図15において、第1実施形態における第1学習検索処理と同様の処理については、同一符号を付し、図16において、第1実施形態における第2学習検索処理と同様の処理については、同一符号を付して詳細な説明を省略する。
まず、第1学習検索処理について説明する。
図15のステップS31及びS32を経て、次のステップS331で、第1学習部312が、ユーザに提示した撮像画像から、検索対象の車種の車両が撮像された撮像画像内の車両の画像部分の指定を受け付けたか否かを判定する。画像部分の指定を受け付けた場合には、処理はステップS332へ移行する。一方、画像部分の指定を受け付けなかった場合には、処理はステップS31に戻り、第1学習部312は、前回とは異なる地点を地点Xとして決定する。
ステップS332では、第1学習部312が、上記ステップS331で指定を受け付けた画像部分を、地点XについてのテンプレートXとして設定する。
次に、ステップS333で、第1学習部312が、検索対象リストに含まれる監視情報のうち、「地点」が地点Xである監視情報に含まれる「画像データ」が示す撮像画像から1つの撮像画像を選択する。
次に、ステップS334で、第1学習部312が、上記ステップS333で選択された撮像画像において、テンプレートXが撮像画像から抽出された位置を基準とした所定範囲内で、テンプレートXとのテンプレートマッチングを行う。第1学習部312は、テンプレートXとのマッチング度が予め定めた閾値以上となる画像部分を特定する。
次に、ステップS335で、第1学習部312が、上記ステップS334で、テンプレートXとマッチする画像部分が特定されたか否かを判定する。画像部分が特定された場合には、処理はステップS336へ移行し、特定されなかった場合には、処理はステップS333に戻り、次の撮像画像を選択する。
ステップS336では、第1学習部312が、上記ステップS335で特定された画像部分を、地点Xについての新たなテンプレートXとして設定する。
次に、ステップS337で、第1学習部312が、上記ステップS332及びS336において、テンプレートXに設定された画像部分の合計(テンプレート数)が所定数に到達したか否かを判定する。所定数に到達した場合には、処理はステップS338へ移行する。テンプレート数が所定数に到達していない場合には、処理はステップS333に戻り、第1学習部312が、新たに設定されたテンプレートXを用いて、上記ステップS333~S336の処理を繰り返す。
ステップS338では、第1検索部314が、地点Xの撮像画像に対して、テンプレートXの各々を適用してテンプレートマッチングを行って、地点Xにおける、検索対象の車種の車両が撮像された撮像画像を検索する。この際、第1検索部314は、テンプレートXの各々が抽出された位置を含む所定範囲内において、テンプレートマッチングを行う。
次に、第2学習検索処理について説明する。
図16のステップS41~S46を経て、次のステップS341で、第2学習部316が、テンプレートXのナンバー情報に基づいて抽出した撮像画像の各々に含まれる車両の画像部分を特定し、特定した画像部分を地点iのテンプレートiとして設定する。
次に、ステップS342で、第2学習部316が、第1学習検索処理(図15)のステップS333~S337と同様の処理により、テンプレートマッチングを行う領域を少しずつずらしながら、撮像画像内の様々な位置から所定数のテンプレートiを抽出する。
次に、ステップS343で、第2検索部318が、監視情報テーブル34に記憶された監視情報のうち、「地点」が地点iである監視情報に含まれる「画像データ」が示す撮像画像の各々と、テンプレートiの各々とのテンプレートマッチングを行う。この際、第2検索部318は、テンプレートiの各々が抽出された位置を含む所定範囲内において、テンプレートマッチングを行う。
以上説明したように、第3実施形態に係る監視システム300によれば、画像処理装置310が、領域を少しずつずらしながら、撮像画像内の様々な位置から所定数のテンプレートを抽出する。そして、このテンプレートが抽出された位置を含む所定範囲内において、テンプレートマッチングを行う。これにより、同一地点における撮像画像内であっても生じる、撮像画像内の位置による車両のわずかな見え方の違いを吸収して、精度良く検索対象の車両が撮像された撮像画像を検索することができる。
なお、上記各実施形態において、監視情報テーブル34に「車種」の項目を設け、検索された撮像画像の監視情報について、その検索のキーとなった車種の情報を記憶するようにしてもよい。この場合、最初のテンプレートXの指定をユーザから受け付ける場合に、車種の指定をテキストで受け付けるようにしてもよい。
また、上記実施形態では、画像処理プログラムが記憶部に予め記憶(インストール)されている態様を説明したが、これに限定されない。開示の技術に係るプログラムは、CD-ROM、DVD-ROM、USBメモリ等の記憶媒体に記憶された形態で提供することも可能である。
以上の各実施形態に関し、更に以下の付記を開示する。
(付記1)
第1のカメラで撮像された撮像画像のうち、第1の車種に分類される車両を含む撮像画像を特定し、
特定した前記撮像画像に含まれる車両のナンバーを抽出し、
第2のカメラで撮像された撮像画像のうち、抽出した前記車両のナンバーの車両を含む撮像画像を抽出し、
抽出した前記撮像画像を、前記第1の車種に対応する車両の撮像画像として学習する、
処理をコンピュータに実行させることを特徴とする画像処理プログラム。
第1のカメラで撮像された撮像画像のうち、第1の車種に分類される車両を含む撮像画像を特定し、
特定した前記撮像画像に含まれる車両のナンバーを抽出し、
第2のカメラで撮像された撮像画像のうち、抽出した前記車両のナンバーの車両を含む撮像画像を抽出し、
抽出した前記撮像画像を、前記第1の車種に対応する車両の撮像画像として学習する、
処理をコンピュータに実行させることを特徴とする画像処理プログラム。
(付記2)
第1のカメラで撮像された撮像画像のうち、第1の車種に分類される車両を含む撮像画像を特定し、
特定した前記撮像画像を、前記第1の車種に対応する車両の撮像画像として学習する第1の学習処理を実行し、
特定した前記撮像画像に含まれる車両のナンバーを抽出し、
第2のカメラで撮像された撮像画像のうち、抽出した前記車両のナンバーの車両を含む撮像画像を抽出し、
抽出した前記撮像画像を、前記第1の車種に対応する車両の撮像画像として学習する第2の学習処理を実行し、
前記第1の車種の車両の検索指示を受け付けると、前記第1のカメラで撮像された撮像画像について、前記第1の学習処理による学習結果を適用して前記第1の車種の車両を検索し、前記第2のカメラで撮像された撮像画像について、前記第2の学習処理による学習結果を適用して前記第1の車種の車両を検索する、
処理をコンピュータに実行させることを特徴とする画像処理プログラム。
第1のカメラで撮像された撮像画像のうち、第1の車種に分類される車両を含む撮像画像を特定し、
特定した前記撮像画像を、前記第1の車種に対応する車両の撮像画像として学習する第1の学習処理を実行し、
特定した前記撮像画像に含まれる車両のナンバーを抽出し、
第2のカメラで撮像された撮像画像のうち、抽出した前記車両のナンバーの車両を含む撮像画像を抽出し、
抽出した前記撮像画像を、前記第1の車種に対応する車両の撮像画像として学習する第2の学習処理を実行し、
前記第1の車種の車両の検索指示を受け付けると、前記第1のカメラで撮像された撮像画像について、前記第1の学習処理による学習結果を適用して前記第1の車種の車両を検索し、前記第2のカメラで撮像された撮像画像について、前記第2の学習処理による学習結果を適用して前記第1の車種の車両を検索する、
処理をコンピュータに実行させることを特徴とする画像処理プログラム。
(付記3)
前記第1又は第2のカメラで撮像された撮像画像について行う前記第1の車種の車両の検索は、前記第1又は第2の学習処理に利用されなかった車両の撮像画像を含む撮像画像を対象に実行させる、
ことを特徴とする付記2に記載の画像処理プログラム。
前記第1又は第2のカメラで撮像された撮像画像について行う前記第1の車種の車両の検索は、前記第1又は第2の学習処理に利用されなかった車両の撮像画像を含む撮像画像を対象に実行させる、
ことを特徴とする付記2に記載の画像処理プログラム。
(付記4)
前記第1の学習処理は、前記第1のカメラで撮像された撮像画像から選択された1又は複数の撮像画像を第1のテンプレートとすること、又は前記第1のカメラで撮像された撮像画像から、前記第1のテンプレートに基づいて特定された複数の撮像画像の特徴を学習することであり、
前記第2の学習処理は、前記第2のカメラで撮像された撮像画像のうち、1又は複数の前記第1のテンプレートが示す車両のナンバーを含む1又は複数の撮像画像を第2のテンプレートとすること、又は前記第2のカメラで撮像された撮像画像から、前記第2のテンプレートに基づいて特定された複数の撮像画像の特徴を学習することである
付記2又は付記3に記載の画像処理プログラム。
前記第1の学習処理は、前記第1のカメラで撮像された撮像画像から選択された1又は複数の撮像画像を第1のテンプレートとすること、又は前記第1のカメラで撮像された撮像画像から、前記第1のテンプレートに基づいて特定された複数の撮像画像の特徴を学習することであり、
前記第2の学習処理は、前記第2のカメラで撮像された撮像画像のうち、1又は複数の前記第1のテンプレートが示す車両のナンバーを含む1又は複数の撮像画像を第2のテンプレートとすること、又は前記第2のカメラで撮像された撮像画像から、前記第2のテンプレートに基づいて特定された複数の撮像画像の特徴を学習することである
付記2又は付記3に記載の画像処理プログラム。
(付記5)
前記第1のテンプレート又は前記第2のテンプレートは、撮像画像内で車両を示す画像部分であり、
前記第1のテンプレート又は前記第2のテンプレートに基づいて撮像画像を特定する際に、前記第1のテンプレート又は前記第2のテンプレートとのマッチングを行う領域を、前記第1のテンプレート又は前記第2のテンプレートが抽出された位置を基準とした所定範囲内とし、前記第1のテンプレート又は前記第2のテンプレートとマッチングした画像部分を、新たな前記第1のテンプレート又は前記第2のテンプレートに設定する付記4に記載の画像処理プログラム。
前記第1のテンプレート又は前記第2のテンプレートは、撮像画像内で車両を示す画像部分であり、
前記第1のテンプレート又は前記第2のテンプレートに基づいて撮像画像を特定する際に、前記第1のテンプレート又は前記第2のテンプレートとのマッチングを行う領域を、前記第1のテンプレート又は前記第2のテンプレートが抽出された位置を基準とした所定範囲内とし、前記第1のテンプレート又は前記第2のテンプレートとマッチングした画像部分を、新たな前記第1のテンプレート又は前記第2のテンプレートに設定する付記4に記載の画像処理プログラム。
(付記6)
前記第1のテンプレート又は前記第2のテンプレートが複数設定される場合、撮像画像内における前記第1のテンプレートの各々、又は前記第2のテンプレートの各々の位置が異なるように、前記マッチングを行う領域を設定する付記5に記載の画像処理プログラム。
前記第1のテンプレート又は前記第2のテンプレートが複数設定される場合、撮像画像内における前記第1のテンプレートの各々、又は前記第2のテンプレートの各々の位置が異なるように、前記マッチングを行う領域を設定する付記5に記載の画像処理プログラム。
(付記7)
前記第1の車種の車両を含む撮像画像を検索する場合に、所定の範囲内に存在する前記第1のカメラ又は前記第2のカメラで撮像された撮像画像から検索することを特徴とする付記2~付記6のいずれか1項に記載の画像処理プログラム。
前記第1の車種の車両を含む撮像画像を検索する場合に、所定の範囲内に存在する前記第1のカメラ又は前記第2のカメラで撮像された撮像画像から検索することを特徴とする付記2~付記6のいずれか1項に記載の画像処理プログラム。
(付記8)
前記第1の車種の車両を含む撮像画像を検索する場合に、所定の期間内に撮像された撮像画像から検索することを特徴とする付記2~付記7のいずれか1項に記載の画像処理プログラム。
前記第1の車種の車両を含む撮像画像を検索する場合に、所定の期間内に撮像された撮像画像から検索することを特徴とする付記2~付記7のいずれか1項に記載の画像処理プログラム。
(付記9)
検索された前記第1の車種の車両を含む撮像画像を出力する場合に、同一のナンバーを有する車両の撮像画像を重複して出力しないことを特徴とする付記2~付記8のいずれか1項に記載の画像処理プログラム。
検索された前記第1の車種の車両を含む撮像画像を出力する場合に、同一のナンバーを有する車両の撮像画像を重複して出力しないことを特徴とする付記2~付記8のいずれか1項に記載の画像処理プログラム。
(付記10)
第1のカメラで撮像された撮像画像のうち、第1の車種に分類される車両を含む撮像画像を特定する第1学習部と、
特定した前記撮像画像に含まれる車両のナンバーを抽出し、第2のカメラで撮像された撮像画像のうち、抽出した前記車両のナンバーの車両を含む撮像画像を抽出し、抽出した前記撮像画像を、前記第1の車種に対応する車両の撮像画像として学習する第2学習部と、
を含むことを特徴とする画像処理装置。
第1のカメラで撮像された撮像画像のうち、第1の車種に分類される車両を含む撮像画像を特定する第1学習部と、
特定した前記撮像画像に含まれる車両のナンバーを抽出し、第2のカメラで撮像された撮像画像のうち、抽出した前記車両のナンバーの車両を含む撮像画像を抽出し、抽出した前記撮像画像を、前記第1の車種に対応する車両の撮像画像として学習する第2学習部と、
を含むことを特徴とする画像処理装置。
(付記11)
第1のカメラで撮像された撮像画像のうち、第1の車種に分類される車両を含む撮像画像を特定し、特定した前記撮像画像を、前記第1の車種に対応する車両の撮像画像として学習する第1の学習処理を実行する第1学習部と、
特定した前記撮像画像に含まれる車両のナンバーを抽出し、第2のカメラで撮像された撮像画像のうち、抽出した前記車両のナンバーの車両を含む撮像画像を抽出し、抽出した前記撮像画像を、前記第1の車種に対応する車両の撮像画像として学習する第2の学習処理を実行する第2学習部と、
前記第1の車種の車両の検索指示を受け付けると、前記第1のカメラで撮像された撮像画像について、前記第1の学習処理による学習結果を適用して前記第1の車種の車両を検索する第1検索部と、
前記第2のカメラで撮像された撮像画像について、前記第2の学習処理による学習結果を適用して前記第1の車種の車両を検索する第2検索部と、
を含むことを特徴とする画像処理装置。
第1のカメラで撮像された撮像画像のうち、第1の車種に分類される車両を含む撮像画像を特定し、特定した前記撮像画像を、前記第1の車種に対応する車両の撮像画像として学習する第1の学習処理を実行する第1学習部と、
特定した前記撮像画像に含まれる車両のナンバーを抽出し、第2のカメラで撮像された撮像画像のうち、抽出した前記車両のナンバーの車両を含む撮像画像を抽出し、抽出した前記撮像画像を、前記第1の車種に対応する車両の撮像画像として学習する第2の学習処理を実行する第2学習部と、
前記第1の車種の車両の検索指示を受け付けると、前記第1のカメラで撮像された撮像画像について、前記第1の学習処理による学習結果を適用して前記第1の車種の車両を検索する第1検索部と、
前記第2のカメラで撮像された撮像画像について、前記第2の学習処理による学習結果を適用して前記第1の車種の車両を検索する第2検索部と、
を含むことを特徴とする画像処理装置。
(付記12)
前記第1検索部は、前記第1のカメラで撮像された撮像画像について行う前記第1の車種の車両の検索を、前記第1の学習処理に利用されなかった車両の撮像画像を含む撮像画像を対象に実行させ、
前記第2検索部は、前記第2のカメラで撮像された撮像画像について行う前記第1の車種の車両の検索を、前記第2の学習処理に利用されなかった車両の撮像画像を含む撮像画像を対象に実行させる
ことを特徴とする付記11に記載の画像処理装置。
前記第1検索部は、前記第1のカメラで撮像された撮像画像について行う前記第1の車種の車両の検索を、前記第1の学習処理に利用されなかった車両の撮像画像を含む撮像画像を対象に実行させ、
前記第2検索部は、前記第2のカメラで撮像された撮像画像について行う前記第1の車種の車両の検索を、前記第2の学習処理に利用されなかった車両の撮像画像を含む撮像画像を対象に実行させる
ことを特徴とする付記11に記載の画像処理装置。
(付記13)
前記第1の学習処理は、前記第1のカメラで撮像された撮像画像から選択された1又は複数の撮像画像を第1のテンプレートとすること、又は前記第1のカメラで撮像された撮像画像から、前記第1のテンプレートに基づいて特定された複数の撮像画像の特徴を学習することであり、
前記第2の学習処理は、前記第2のカメラで撮像された撮像画像のうち、1又は複数の前記第1のテンプレートが示す車両のナンバーを含む1又は複数の撮像画像を第2のテンプレートとすること、又は前記第2のカメラで撮像された撮像画像から、前記第2のテンプレートに基づいて特定された複数の撮像画像の特徴を学習することである
ことを特徴とする付記11又は付記12に記載の画像処理装置。
前記第1の学習処理は、前記第1のカメラで撮像された撮像画像から選択された1又は複数の撮像画像を第1のテンプレートとすること、又は前記第1のカメラで撮像された撮像画像から、前記第1のテンプレートに基づいて特定された複数の撮像画像の特徴を学習することであり、
前記第2の学習処理は、前記第2のカメラで撮像された撮像画像のうち、1又は複数の前記第1のテンプレートが示す車両のナンバーを含む1又は複数の撮像画像を第2のテンプレートとすること、又は前記第2のカメラで撮像された撮像画像から、前記第2のテンプレートに基づいて特定された複数の撮像画像の特徴を学習することである
ことを特徴とする付記11又は付記12に記載の画像処理装置。
(付記14)
前記第1のテンプレート及び前記第2のテンプレートは、撮像画像内で車両を示す画像部分であり、
前記第1学習部は、前記第1のテンプレートに基づいて撮像画像を特定する際に、前記第1のテンプレートとのマッチングを行う領域を、前記第1のテンプレートが抽出された位置を基準とした所定範囲内とし、前記第1のテンプレートとマッチングした画像部分を、新たな前記第1のテンプレートに設定し、
前記第2学習部は、前記第2のテンプレートに基づいて撮像画像を特定する際に、前記第2のテンプレートとのマッチングを行う領域を、前記第2のテンプレートが抽出された位置を基準とした所定範囲内とし、前記第2のテンプレートとマッチングした画像部分を、新たな前記第2のテンプレートに設定する
ことを特徴とする付記13に記載の画像処理装置。
前記第1のテンプレート及び前記第2のテンプレートは、撮像画像内で車両を示す画像部分であり、
前記第1学習部は、前記第1のテンプレートに基づいて撮像画像を特定する際に、前記第1のテンプレートとのマッチングを行う領域を、前記第1のテンプレートが抽出された位置を基準とした所定範囲内とし、前記第1のテンプレートとマッチングした画像部分を、新たな前記第1のテンプレートに設定し、
前記第2学習部は、前記第2のテンプレートに基づいて撮像画像を特定する際に、前記第2のテンプレートとのマッチングを行う領域を、前記第2のテンプレートが抽出された位置を基準とした所定範囲内とし、前記第2のテンプレートとマッチングした画像部分を、新たな前記第2のテンプレートに設定する
ことを特徴とする付記13に記載の画像処理装置。
(付記15)
前記第1学習部は、前記第1のテンプレートが複数設定される場合、撮像画像内における前記第1のテンプレートの各々の位置が異なるように、前記マッチングを行う領域を設定し、
前記第2学習部は、撮像画像内における前記第2のテンプレートの各々の位置が異なるように、前記マッチングを行う領域を設定する
ことを特徴とする付記14に記載の画像処理装置。
前記第1学習部は、前記第1のテンプレートが複数設定される場合、撮像画像内における前記第1のテンプレートの各々の位置が異なるように、前記マッチングを行う領域を設定し、
前記第2学習部は、撮像画像内における前記第2のテンプレートの各々の位置が異なるように、前記マッチングを行う領域を設定する
ことを特徴とする付記14に記載の画像処理装置。
(付記16)
前記第1の車種の車両を含む撮像画像を検索する場合に、
前記第1検索部は、所定の範囲内に存在する前記第1のカメラで撮像された撮像画像から検索し、
前記第2検索部は、所定の範囲内に存在する前記第2のカメラで撮像された撮像画像から検索する
ことを特徴とする付記11~付記15のいずれか1項に記載の画像処理装置。
前記第1の車種の車両を含む撮像画像を検索する場合に、
前記第1検索部は、所定の範囲内に存在する前記第1のカメラで撮像された撮像画像から検索し、
前記第2検索部は、所定の範囲内に存在する前記第2のカメラで撮像された撮像画像から検索する
ことを特徴とする付記11~付記15のいずれか1項に記載の画像処理装置。
(付記17)
前記第1検索部及び前記第2検索部は、前記第1の車種の車両を含む撮像画像を検索する場合に、所定の期間内に撮像された撮像画像から検索することを特徴とする付記11~付記16のいずれか1項に記載の画像処理装置。
前記第1検索部及び前記第2検索部は、前記第1の車種の車両を含む撮像画像を検索する場合に、所定の期間内に撮像された撮像画像から検索することを特徴とする付記11~付記16のいずれか1項に記載の画像処理装置。
(付記18)
前記第1検索部又は前記第2検索部は、検索された前記第1の車種の車両を含む撮像画像を出力する場合に、同一のナンバーを有する車両の撮像画像を重複して出力しないことを特徴とする付記11~付記17のいずれか1項に記載の画像処理装置。
前記第1検索部又は前記第2検索部は、検索された前記第1の車種の車両を含む撮像画像を出力する場合に、同一のナンバーを有する車両の撮像画像を重複して出力しないことを特徴とする付記11~付記17のいずれか1項に記載の画像処理装置。
(付記19)
第1のカメラで撮像された撮像画像のうち、第1の車種に分類される車両を含む撮像画像を特定し、
特定した前記撮像画像に含まれる車両のナンバーを抽出し、
第2のカメラで撮像された撮像画像のうち、抽出した前記車両のナンバーの車両を含む撮像画像を抽出し、
抽出した前記撮像画像を、前記第1の車種に対応する車両の撮像画像として学習する、
処理をコンピュータが実行することを特徴とする画像処理方法。
第1のカメラで撮像された撮像画像のうち、第1の車種に分類される車両を含む撮像画像を特定し、
特定した前記撮像画像に含まれる車両のナンバーを抽出し、
第2のカメラで撮像された撮像画像のうち、抽出した前記車両のナンバーの車両を含む撮像画像を抽出し、
抽出した前記撮像画像を、前記第1の車種に対応する車両の撮像画像として学習する、
処理をコンピュータが実行することを特徴とする画像処理方法。
(付記20)
第1のカメラで撮像された撮像画像のうち、第1の車種に分類される車両を含む撮像画像を特定し、
特定した前記撮像画像を、前記第1の車種に対応する車両の撮像画像として学習する第1の学習処理を実行し、
特定した前記撮像画像に含まれる車両のナンバーを抽出し、
第2のカメラで撮像された撮像画像のうち、抽出した前記車両のナンバーの車両を含む撮像画像を抽出し、
抽出した前記撮像画像を、前記第1の車種に対応する車両の撮像画像として学習する第2の学習処理を実行し、
前記第1の車種の車両の検索指示を受け付けると、前記第1のカメラで撮像された撮像画像について、前記第1の学習処理による学習結果を適用して前記第1の車種の車両を検索し、前記第2のカメラで撮像された撮像画像について、前記第2の学習処理による学習結果を適用して前記第1の車種の車両を検索する、
処理をコンピュータが実行することを特徴とする画像処理方法。
第1のカメラで撮像された撮像画像のうち、第1の車種に分類される車両を含む撮像画像を特定し、
特定した前記撮像画像を、前記第1の車種に対応する車両の撮像画像として学習する第1の学習処理を実行し、
特定した前記撮像画像に含まれる車両のナンバーを抽出し、
第2のカメラで撮像された撮像画像のうち、抽出した前記車両のナンバーの車両を含む撮像画像を抽出し、
抽出した前記撮像画像を、前記第1の車種に対応する車両の撮像画像として学習する第2の学習処理を実行し、
前記第1の車種の車両の検索指示を受け付けると、前記第1のカメラで撮像された撮像画像について、前記第1の学習処理による学習結果を適用して前記第1の車種の車両を検索し、前記第2のカメラで撮像された撮像画像について、前記第2の学習処理による学習結果を適用して前記第1の車種の車両を検索する、
処理をコンピュータが実行することを特徴とする画像処理方法。
10、210、310 画像処理装置
12、212、312 第1学習部
14、214、314 第1検索部
16、216、316 第2学習部
18、218、318 第2検索部
20 路上装置
22 カメラ
24 画像認識装置
30 監視情報データベース
32 路上装置テーブル
34 監視情報テーブル
40 コンピュータ
41 CPU
42 メモリ
43 記憶部
49 記憶媒体
50、250、350 画像処理プログラム
100、200、300 監視システム
12、212、312 第1学習部
14、214、314 第1検索部
16、216、316 第2学習部
18、218、318 第2検索部
20 路上装置
22 カメラ
24 画像認識装置
30 監視情報データベース
32 路上装置テーブル
34 監視情報テーブル
40 コンピュータ
41 CPU
42 メモリ
43 記憶部
49 記憶媒体
50、250、350 画像処理プログラム
100、200、300 監視システム
Claims (13)
- 第1のカメラで撮像された撮像画像のうち、第1の車種に分類される車両を含む撮像画像を特定し、
特定した前記撮像画像に含まれる車両のナンバーを抽出し、
第2のカメラで撮像された撮像画像のうち、抽出した前記車両のナンバーの車両を含む撮像画像を抽出し、
抽出した前記撮像画像を、前記第1の車種に対応する車両の撮像画像として学習する、
処理をコンピュータに実行させることを特徴とする画像処理プログラム。 - 第1のカメラで撮像された撮像画像のうち、第1の車種に分類される車両を含む撮像画像を特定し、
特定した前記撮像画像を、前記第1の車種に対応する車両の撮像画像として学習する第1の学習処理を実行し、
特定した前記撮像画像に含まれる車両のナンバーを抽出し、
第2のカメラで撮像された撮像画像のうち、抽出した前記車両のナンバーの車両を含む撮像画像を抽出し、
抽出した前記撮像画像を、前記第1の車種に対応する車両の撮像画像として学習する第2の学習処理を実行し、
前記第1の車種の車両の検索指示を受け付けると、前記第1のカメラで撮像された撮像画像について、前記第1の学習処理による学習結果を適用して前記第1の車種の車両を検索し、前記第2のカメラで撮像された撮像画像について、前記第2の学習処理による学習結果を適用して前記第1の車種の車両を検索する、
処理をコンピュータに実行させることを特徴とする画像処理プログラム。 - 前記第1又は第2のカメラで撮像された撮像画像について行う前記第1の車種の車両の検索は、前記第1又は第2の学習処理に利用されなかった車両の撮像画像を含む撮像画像を対象に実行させる、
ことを特徴とする請求項2に記載の画像処理プログラム。 - 前記第1の学習処理は、前記第1のカメラで撮像された撮像画像から選択された1又は複数の撮像画像を第1のテンプレートとすること、又は前記第1のカメラで撮像された撮像画像から、前記第1のテンプレートに基づいて特定された複数の撮像画像の特徴を学習することであり、
前記第2の学習処理は、前記第2のカメラで撮像された撮像画像のうち、1又は複数の前記第1のテンプレートが示す車両のナンバーを含む1又は複数の撮像画像を第2のテンプレートとすること、又は前記第2のカメラで撮像された撮像画像から、前記第2のテンプレートに基づいて特定された複数の撮像画像の特徴を学習することである
請求項2又は請求項3に記載の画像処理プログラム。 - 前記第1のテンプレート又は前記第2のテンプレートは、撮像画像内で車両を示す画像部分であり、
前記第1のテンプレート又は前記第2のテンプレートに基づいて撮像画像を特定する際に、前記第1のテンプレート又は前記第2のテンプレートとのマッチングを行う領域を、前記第1のテンプレート又は前記第2のテンプレートが抽出された位置を基準とした所定範囲内とし、前記第1のテンプレート又は前記第2のテンプレートとマッチングした画像部分を、新たな前記第1のテンプレート又は前記第2のテンプレートに設定する請求項4に記載の画像処理プログラム。 - 前記第1のテンプレート又は前記第2のテンプレートが複数設定される場合、撮像画像内における前記第1のテンプレートの各々、又は前記第2のテンプレートの各々の位置が異なるように、前記マッチングを行う領域を設定する請求項5に記載の画像処理プログラム。
- 前記第1の車種の車両を含む撮像画像を検索する場合に、所定の範囲内に存在する前記第1のカメラ又は前記第2のカメラで撮像された撮像画像から検索することを特徴とする請求項2~請求項6のいずれか1項に記載の画像処理プログラム。
- 前記第1の車種の車両を含む撮像画像を検索する場合に、所定の期間内に撮像された撮像画像から検索することを特徴とする請求項2~請求項7のいずれか1項に記載の画像処理プログラム。
- 検索された前記第1の車種の車両を含む撮像画像を出力する場合に、同一のナンバーを有する車両の撮像画像を重複して出力しないことを特徴とする請求項2~請求項8のいずれか1項に記載の画像処理プログラム。
- 第1のカメラで撮像された撮像画像のうち、第1の車種に分類される車両を含む撮像画像を特定する第1学習部と、
特定した前記撮像画像に含まれる車両のナンバーを抽出し、第2のカメラで撮像された撮像画像のうち、抽出した前記車両のナンバーの車両を含む撮像画像を抽出し、抽出した前記撮像画像を、前記第1の車種に対応する車両の撮像画像として学習する第2学習部と、
を含む画像処理装置。 - 第1のカメラで撮像された撮像画像のうち、第1の車種に分類される車両を含む撮像画像を特定し、特定した前記撮像画像を、前記第1の車種に対応する車両の撮像画像として学習する第1の学習処理を実行する第1学習部と、
特定した前記撮像画像に含まれる車両のナンバーを抽出し、第2のカメラで撮像された撮像画像のうち、抽出した前記車両のナンバーの車両を含む撮像画像を抽出し、抽出した前記撮像画像を、前記第1の車種に対応する車両の撮像画像として学習する第2の学習処理を実行する第2学習部と、
前記第1の車種の車両の検索指示を受け付けると、前記第1のカメラで撮像された撮像画像について、前記第1の学習処理による学習結果を適用して前記第1の車種の車両を検索する第1検索部と、
前記第2のカメラで撮像された撮像画像について、前記第2の学習処理による学習結果を適用して前記第1の車種の車両を検索する第2検索部と、
を含むことを特徴とする画像処理装置。 - 第1のカメラで撮像された撮像画像のうち、第1の車種に分類される車両を含む撮像画像を特定し、
特定した前記撮像画像に含まれる車両のナンバーを抽出し、
第2のカメラで撮像された撮像画像のうち、抽出した前記車両のナンバーの車両を含む撮像画像を抽出し、
抽出した前記撮像画像を、前記第1の車種に対応する車両の撮像画像として学習する、
処理をコンピュータが実行することを特徴とする画像処理方法。 - 第1のカメラで撮像された撮像画像のうち、第1の車種に分類される車両を含む撮像画像を特定し、
特定した前記撮像画像を、前記第1の車種に対応する車両の撮像画像として学習する第1の学習処理を実行し、
特定した前記撮像画像に含まれる車両のナンバーを抽出し、
第2のカメラで撮像された撮像画像のうち、抽出した前記車両のナンバーの車両を含む撮像画像を抽出し、
抽出した前記撮像画像を、前記第1の車種に対応する車両の撮像画像として学習する第2の学習処理を実行し、
前記第1の車種の車両の検索指示を受け付けると、前記第1のカメラで撮像された撮像画像について、前記第1の学習処理による学習結果を適用して前記第1の車種の車両を検索し、前記第2のカメラで撮像された撮像画像について、前記第2の学習処理による学習結果を適用して前記第1の車種の車両を検索する、
処理をコンピュータが実行することを特徴とする画像処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018061157A JP7014000B2 (ja) | 2018-03-28 | 2018-03-28 | 画像処理プログラム、装置、及び方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018061157A JP7014000B2 (ja) | 2018-03-28 | 2018-03-28 | 画像処理プログラム、装置、及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019175028A JP2019175028A (ja) | 2019-10-10 |
JP7014000B2 true JP7014000B2 (ja) | 2022-02-01 |
Family
ID=68170347
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018061157A Active JP7014000B2 (ja) | 2018-03-28 | 2018-03-28 | 画像処理プログラム、装置、及び方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7014000B2 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005209177A (ja) | 2003-12-25 | 2005-08-04 | Fujitsu Ltd | 車両検索システムおよび車両検索方法 |
JP2014219801A (ja) | 2013-05-07 | 2014-11-20 | 株式会社東芝 | 車両判別装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6226368B2 (ja) * | 2013-09-25 | 2017-11-08 | 株式会社東芝 | 車両監視装置、および車両監視方法 |
-
2018
- 2018-03-28 JP JP2018061157A patent/JP7014000B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005209177A (ja) | 2003-12-25 | 2005-08-04 | Fujitsu Ltd | 車両検索システムおよび車両検索方法 |
JP2014219801A (ja) | 2013-05-07 | 2014-11-20 | 株式会社東芝 | 車両判別装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2019175028A (ja) | 2019-10-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5096776B2 (ja) | 画像処理装置及び画像検索方法 | |
CN102422319B (zh) | 图像检索方法和图像存储方法 | |
US10699109B2 (en) | Data entry from series of images of a patterned document | |
CN101925905B (zh) | 根据特征图像流程识别和验证未知文档 | |
US8295604B2 (en) | Image search method and device using affine-invariant regions | |
CN103870803A (zh) | 一种基于粗定位与精定位融合的车牌识别方法和*** | |
WO2013145383A1 (ja) | 照合結果表示装置、照合結果表示方法、プログラムおよび記録媒体 | |
CN111324874A (zh) | 一种证件真伪识别方法及装置 | |
CN105493105A (zh) | 关键点识别 | |
CN114708304B (zh) | 一种跨摄像头的多目标追踪方法、装置、设备及介质 | |
JP5777390B2 (ja) | 情報処理方法及び装置、パターン識別方法及び装置 | |
Shen et al. | Large-scale historical watermark recognition: dataset and a new consistency-based approach | |
JP2018526754A (ja) | 画像処理装置、画像処理方法及び記憶媒体 | |
JP7014000B2 (ja) | 画像処理プログラム、装置、及び方法 | |
JP4570995B2 (ja) | マッチング方法およびマッチング装置ならびにプログラム | |
Upadhyay et al. | Analysis and architecture for the deployment of dynamic license plate recognition using yolo darknet | |
CN110826551B (zh) | 一种机动车vin码拓印模图像的智能甄别方法 | |
Dhanabal et al. | Handwritten Digits Recognition from Images using Serendipity and Orthogonal Schemes | |
JP4160762B2 (ja) | 画像の対応点探索装置、対応点探索方法およびその方法をコンピュータに実行させるプログラム | |
CN116311391A (zh) | 一种高低精度混合的多维度特征融合指纹检索方法 | |
Biradar et al. | Fingerprint ridge orientation extraction: a review of state of the art techniques | |
CN105488099A (zh) | 一种基于相似度学习的车辆检索方法 | |
JP4264332B2 (ja) | 文字認識装置、ナンバープレート認識システム | |
JP2001236501A (ja) | 画像認識装置および画像認識方法 | |
JP6175904B2 (ja) | 照合対象抽出システム、照合対象抽出方法、照合対象抽出プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210113 |
|
TRDD | Decision of grant or rejection written | ||
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211217 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211221 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220103 |