JP2017208050A - 画像処理プログラム、画像処理方法および画像処理装置 - Google Patents

Abstract

【課題】ナンバープレートの誤検出を抑止する。
【解決手段】実施形態の画像処理プログラムは、連続して撮像された複数の画像を取得し、複数の画像に含まれる画像のそれぞれの特徴量に基づいて、複数の画像に含まれる車両領域とナンバープレート候補領域群とを検出する処理をコンピュータに実行させる。また、画像処理プログラムは、複数の画像に含まれるナンバープレート候補領域群のうち、検出された車両領域内に含まれる第１のナンバープレート領域を特定し、複数の画像に含まれるナンバープレート候補領域群のうち、複数の画像に含まれる画像間で、第１のナンバープレート領域との位置の重なりに基づいて、第１のナンバープレート領域に対応する第２のナンバープレート領域を特定し、第１のナンバープレート領域と第２のナンバープレート領域とを、検出対象の領域として出力する処理をコンピュータに実行させる。
【選択図】図１

Description

本発明の実施形態は、画像処理プログラム、画像処理方法および画像処理装置に関する。

従来、デジタルカメラ等で撮影した画像からナンバープレートを検出する技術が知られている。このナンバープレートの検出では、入力画像からナンバープレート領域候補の四辺形を複数検出し、ナンバープレート領域候補の文字認識結果と四辺形の情報とに基づいて複数の候補の中からナンバープレート領域候補を選択する。

特開２００８−２１７３４７号公報 特開２００３−３３１３８４号公報

しかしながら、上記の従来技術では、デジタルカメラ等で撮影した画像から車両に装着されたナンバープレートを正確に検出することが困難な場合がある。

例えば、デジタルカメラ等で撮影した画像の中に、車両に装着されたナンバープレートとともにガラスに反射したナンバープレートが含まれる場合、ガラスに反射したナンバープレートの方を誤検出することがある。

１つの側面では、ナンバープレートの誤検出を抑止できる画像処理プログラム、画像処理方法および画像処理装置を提供することを目的とする。

第１の案では、画像処理プログラムは、連続して撮像された複数の画像を取得する処理をコンピュータに実行させる。また、画像処理プログラムは、複数の画像に含まれる画像のそれぞれの特徴量に基づいて、複数の画像に含まれる車両領域とナンバープレート候補領域群とを検出する処理をコンピュータに実行させる。また、画像処理プログラムは、複数の画像に含まれるナンバープレート候補領域群のうち、検出された車両領域内に含まれる第１のナンバープレート領域を特定する処理をコンピュータに実行させる。また、画像処理プログラムは、複数の画像に含まれるナンバープレート候補領域群のうち、複数の画像に含まれる画像間で、第１のナンバープレート領域との位置の重なりに基づいて、第１のナンバープレート領域に対応する第２のナンバープレート領域を特定する処理をコンピュータに実行させる。また、画像処理プログラムは、複数の画像に含まれるナンバープレート候補領域群のうち、第１のナンバープレート領域と第２のナンバープレート領域とを、検出対象の領域として出力する処理をコンピュータに実行させる。

本発明の１実施態様によれば、ナンバープレートの誤検出を抑止できる。

図１は、実施形態にかかる画像処理装置の機能構成例を示すブロック図である。 図２は、実施形態にかかる画像処理装置の動作例を示すフローチャートである。 図３は、動画像の一例を説明する説明図である。 図４は、動画像に含まれる画像間での位置の重なりを説明する説明図である。 図５は、ナンバープレート有効性判定の処理の一例を示すフローチャートである。 図６は、検出結果を説明する説明図である。 図７は、実施形態にかかる画像処理装置のハードウエア構成を例示するブロック図である。

以下、図面を参照して、実施形態にかかる画像処理プログラム、画像処理方法および画像処理装置を説明する。実施形態において同一の機能を有する構成には同一の符号を付し、重複する説明は省略する。なお、以下の実施形態で説明する画像処理プログラム、画像処理方法および画像処理装置は、一例を示すに過ぎず、実施形態を限定するものではない。また、以下の各実施形態は、矛盾しない範囲内で適宜組みあわせてもよい。

図１は、実施形態にかかる画像処理装置１の機能構成例を示すブロック図である。図１に示すように、画像処理装置１は、入力された動画像についての処理を行うＰＣ（Personal Computer）やワークステーション等であり、画像取得部１０、検出部２０、ナンバープレート特定部３０および出力部４０を有する。

画像取得部１０は、例えばメモリカードなどの記憶媒体や通信ネットワークなどを介してデータを取得するインタフェースである。画像取得部１０は、ナンバープレートの検出対象となる、連続して撮像された複数の画像であり、例えば１５ｆｐｓなどの所定のフレームレートで撮像された動画像を取得する。画像取得部１０は、取得した動画像を検出部２０へ出力する。

例えば、画像取得部１０は、路上に設置された定点カメラが撮像した動画像をＬＡＮ（Local Area Network）などの通信ネットワークを介して取得する。また、画像取得部１０は、車両内に設置されたカメラの映像を記録する映像記録装置（ドライブレコーダー）によってメモリカードなどの記憶媒体に記録された動画像を記憶媒体より読み出して取得する。なお、本実施形態では、画像取得部１０は、ドライブレコーダーによりメモリカードに記録された動画像を取得するものとする。

検出部２０は、画像取得部１０が取得した複数の画像（動画像のフレーム）のそれぞれの特徴量（例えば色情報、輝度情報など）に基づいて、各フレームに含まれる車両領域とナンバープレート領域とを検出する。検出部２０は、各フレームに含まれる車両領域とナンバープレート領域の検出結果をナンバープレート特定部３０に出力する。

なお、フレームに含まれる車両領域とは、フレームに写り込んだ車両に対応する画像の領域であり、例えば車両を取り囲む矩形領域である。また、フレームに含まれるナンバープレート領域とは、フレームに写り込んだナンバープレートに対応する領域（ナンバープレートの候補領域）であり、例えばナンバープレートの候補となる領域を取り囲む矩形領域である。

一例として、検出部２０は、Ｐｏｓｉｔｉｖｅ画像およびＮｅｇａｔｉｖｅ画像の機械学習により、動画像のフレームから車両領域およびナンバープレート領域の識別を行う。

例えば、検出部２０は、車両の画像をＰｏｓｉｔｉｖｅ画像、車両以外の画像をＮｅｇａｔｉｖｅ画像とする機械学習（教師付き機械学習）を行い、動画像のフレームから車両領域を検出する識別器とする。同様に、検出部２０は、ナンバープレートの画像をＰｏｓｉｔｉｖｅ画像、ナンバープレート以外の画像をＮｅｇａｔｉｖｅ画像とする機械学習により動画像のフレームからナンバープレート領域を検出する識別器とする。この機械学習では、例えば、画像からＨＯＧ（Histogram of Oriented Gradients）特徴量を抽出し、ＳＶＭ（Support Vector Machine）により車両およびナンバープレートの学習を行う。検出部２０は、画像取得部１０が取得した動画像の各フレームからＨＯＧ特徴量を抽出し、機械学習による識別器にかけることで車両領域およびナンバープレート領域を検出する。

なお、本実施形態では、ＨＯＧ特徴量による機械学習で車両領域およびナンバープレート領域の検出を行う手法を例示したが、画像の特徴量や学習手法については、上記の例に限定しない。例えば、検出部２０は、輪郭情報などの特徴量や別の学習手法（教師なし機械学習）を使用して車両領域およびナンバープレート領域を検出してもよい。

また、検出部２０は、各フレームより検出した車両領域およびナンバープレート領域について、フレーム間での位置の重なりに基づいて関連付けを行う。例えば、検出部２０は、フレームごとの領域の重なりを利用し、フレーム間での位置の重複のある車両領域に同一の識別子（車両ＩＤなど）を付与する。また、検出部２０は、フレームごとの領域の重なりを利用し、フレーム間での位置の重複のあるナンバープレート領域に同一の識別子（プレートＩＤなど）を付与する。

ナンバープレート特定部３０は、検出部２０の検出結果をもとに、ナンバープレートの検出対象となる動画像の中から、車両に設置されたナンバープレートに対応する検出対象のナンバープレート領域を特定する。

例えば、検出部２０の検出結果には、車両に設置されたナンバープレートだけでなく、ガラスへ映り込んだナンバープレートもナンバープレート領域として検出結果に含まれる場合がある。特にナンバープレートについては、車両と異なり単純な四角形状であることから、検出部２０により過剰に検知されやすく、多くの誤検知を含む場合がある。

したがって、ナンバープレート特定部３０は、検出部２０より複数検出されたナンバープレート領域の中から、車両に設置されたナンバープレートに対応する検出対象のナンバープレート領域を特定する。これにより、検出部２０により過剰にナンバープレート領域が検知される場合でも、ガラスへ写り込んだナンバープレートなどの誤検知を排除し、ナンバープレートの誤検出を抑止することができる。

具体的には、ナンバープレート特定部３０は、第１特定部３１および第２特定部３２を有する。第１特定部３１は、検出部２０の検出結果をもとに、画像取得部１０が取得した複数の画像（動画像のフレーム）に含まれるナンバープレート領域のうち、検出された車両領域内に含まれるナンバープレート領域（第１のナンバープレート領域）を特定する。具体的には、ナンバープレート特定部３０は、各フレームにおいて検出部２０より検出された複数のナンバープレート領域の中から車両領域と重複するナンバープレート領域を特定する。

第２特定部３２は、画像取得部１０が取得した複数の画像（動画像のフレーム）に含まれるナンバープレート領域のうち、複数の画像に含まれる画像間（フレーム間）におけるナンバープレート領域の位置の重なりに基づいて、第１のナンバープレート領域に対応するナンバープレート領域（第２のナンバープレート領域）を特定する。

具体的には、第２特定部３２は、検出部２０の検出結果をもとに、フレーム間においてプレートＩＤが付与されたナンバープレート領域の中で、車両と重なるフレームのあるナンバープレート領域、すなわち第１特定部３１により特定された第１のナンバープレート領域に対応する第２のナンバープレート領域を特定する。

例えば、動画像より検出された、車両領域内に含まれるナンバープレート領域は、車両に設置されたナンバープレートに対応するものと推認できる。また、フレーム間におけるナンバープレート領域の位置の重なりに基づいて、プレートＩＤが付与されたナンバープレート領域は、動画像の各フレームに映り込む同一のナンバープレートに対応するものと推認できる。したがって、プレートＩＤが付与されたナンバープレート領域の中で、車両と重なるフレームのあるナンバープレート領域を特定することで、ガラスに写り込んだナンバープレートなどの誤検知を排除し、ナンバープレートの誤検出を抑止することができる。

ナンバープレート特定部３０は、特定した第１のナンバープレート領域と第２のナンバープレート領域とを、車両に設置されたナンバープレートに対応する検出対象のナンバープレート領域として有効なナンバープレート領域として出力部４０に出力する。具体的には、ナンバープレート特定部３０は、有効なナンバープレート領域を示すプレートＩＤおよび動画像における領域の位置情報などを出力部４０に出力する。

出力部４０は、ナンバープレート特定部３０より出力されたデータを検出結果として外部に出力する。例えば、出力部４０は、動画像の表示を行うＧＵＩ（グラフィカルインタフェース）などに検出結果を出力する。これにより、ＧＵＩでは、動画像に重複して検出結果の表示出力を行うことができる。

次に、画像処理装置１における処理の詳細を説明する。図２は、実施形態にかかる画像処理装置１の動作例を示すフローチャートである。

図２に示すように、処理が開始されると、画像取得部１０は、例えばドライブレコーダーのメモリカードを読み込んでナンバープレートの検出対象となる動画像を取得する（Ｓ１０）。

次いで、検出部２０は、動画像の各フレーム（フレーム＝１…ＥＮＤ）に対するループ処理（Ｓ１１〜Ｓ１６）を行い、各フレームに含まれる車両領域とナンバープレート領域とを検出する。

ループ処理（Ｓ１１〜Ｓ１６）が開始されると、検出部２０は、動画像から検出対象とするフレームを切り出し（Ｓ１２）、切り出されたフレームから車両領域の検出を行う（Ｓ１３）。

次いで、検出部２０は、切り出されたフレームからナンバープレート領域の検出を行う（Ｓ１４、Ｓ１５）。具体的には、検出部２０は、Ｓ１３による検出車両（車両領域）内でナンバープレート領域の検出を行う（Ｓ１４）。

このとき、検出部２０は、ナンバープレート領域が複数検出された場合に、車両に装着されたナンバープレートに対応する１つの領域への絞り込みを行う。具体的には、検出部２０は、ＬＳＤ（Line Segment Detector）を利用して画像から線分を検出する。次いで、検出部２０は、線分の角度が０度近傍、９０度近傍のものを残した２値画像を作成する。次いで、検出部２０は、車両領域内で検出された複数のナンバープレート領域の中で領域内に２値画像が存在しないものを除外する。

また、検出部２０は、検出したナンバープレート領域ごとに、領域の特徴量に対応するスコア（例えばＳＶＭ検出時における重み）であり、ナンバープレートと推定される推定度合いを示すスコアを求め、スコアが最高点の領域に絞り込む。

一例として、検出部２０は、検出したナンバープレート領域ごとに、領域のスコアを領域内の画素に加算する。画素に加算される加算スコアは、複数の領域が重なれば点数が高くなる。次いで、検出部２０は、検出したナンバープレート領域内の加算スコアの平均を領域に対応する領域スコアとする。次いで、検出部２０は、領域スコアが所定の閾値以下のナンバープレート領域は除外し、残ったナンバープレート領域の中で領域スコアが最高点のものに絞り込む。ただし、領域スコアに差がない場合は、互いの領域のＯＲ領域を選択する。

図３は、動画像の一例を説明する説明図である。図３に示すように、動画像Ｇには、ナンバープレートＧ２を装着した車両Ｇ１が写り込んでいる。検出部２０は、動画像Ｇにより、車両Ｇ１に対応する車両領域Ｇ１１を検出する。また、検出部２０は、車両領域Ｇ１１内よりナンバープレート領域Ｇ１２ａ〜Ｇ１２ｃを検出する。このナンバープレート領域Ｇ１２ａ〜Ｇ１２ｃの中で、ナンバープレート領域Ｇ１２ａがナンバープレートＧ２に対応する領域であり、ナンバープレート領域Ｇ１２ｂ、Ｇ１２ｃは過剰に検出された領域である。また、「０．ＸＸＸ」、「０．ＹＹＹ」、「０．ＺＺＺ」は、ナンバープレート領域Ｇ１２ａ、Ｇ１２ｂ、Ｇ１２ｃのスコアであり、「０．ＸＸＸ」＞「０．ＹＹＹ」＞「０．ＺＺＺ」の関係があるものとする。

検出部２０は、線分検出による絞り込みにより、車両Ｇ１のタイヤ近傍のナンバープレート領域Ｇ１２ｃを除外することができる。また、検出部２０は、スコアによる絞り込みにより、スコアが最高点のナンバープレート領域Ｇ１２ａに絞り込むことができる。

図２に戻り、Ｓ１４に次いで検出部２０は、Ｓ１３による検出車両（車両領域）外でナンバープレート領域の検出を行う（Ｓ１５）。このＳ１５におけるナンバープレート検出では、線分検出による絞り込みを行う。これにより、図３に示すように、ナンバープレート領域Ｇ１２ｄ〜Ｇ１２ｆが検出される。

図３の例では、フロントガラスなどに反射しているナンバープレート等により過剰にナンバープレート領域Ｇ１２ｄ〜Ｇ１２ｆが検出されている。なお、車両領域外におけるナンバープレート領域の検出では、フレームアウトしている車両のナンバープレートに対応するナンバープレート領域も検出される場合がある。したがって、Ｓ１５では、スコアを用いて１つの領域に絞り込むことは行わないものとする（ただし、スコアが所定の閾値以下の領域は除外してもよい）。

検出部２０では、上述したループ処理を各フレーム（フレーム＝１…ＥＮＤ）について行う。ここで、検出部２０は、各フレームより検出した車両領域Ｇ１１およびナンバープレート領域Ｇ１２ａ、Ｇ１２ｄ〜Ｇ１２ｆについて、フレーム間での位置の重なりに基づいて識別子（車両ＩＤ、プレートＩＤ）を付与する。

図４は、動画像Ｇに含まれる画像間での位置の重なりを説明する説明図である。図４において、車両領域Ｇ１１’は、一つ前のフレームにおいて、車両Ｇ１に対応して検出された領域である。同様に、ナンバープレート領域Ｇ１２ａ’〜Ｇ１２ｅ’も一つ前のフレームにおいて検出されたナンバープレート領域である。図４に示すように、フレーム間での位置の重なりのある車両領域Ｇ１１、Ｇ１１’については、同一の車両ＩＤが付与される。また、ナンバープレート領域Ｇ１２ａ、Ｇ１２ａ’については、同一のフレームＩＤが付与される（ナンバープレート領域Ｇ１２ｂ〜Ｇ１２ｆについても同様）。

図２に戻り、ナンバープレート特定部３０は、検出部２０の検出結果をもとに、検出されたナンバープレート領域について、車両に設置されたナンバープレートに対応する検出対象のナンバープレート領域としての有効性を判定する処理を行う（Ｓ１７）。

図５は、ナンバープレート有効性判定の処理の一例を示すフローチャートである。

図５に示すように、処理が開始されると、ナンバープレート特定部３０は、検出部２０により検出された各ナンバープレート領域（プレートＩＤ＝１…ＥＮＤ）に対する第１のループ処理（Ｓ２０〜Ｓ３２）を行い、ナンバープレート領域の有効性を判定する。

第１のループ処理が開始されると、第２特定部３２は、第１のループ処理において処理対象となるナンバープレート領域のプレートＩＤ＝ｎと一致するフレーム番号（処理対象となるナンバープレート領域が検出されたフレームの番号）と領域（領域の位置情報）を取得する（Ｓ２１）。次いで、第２特定部３２は、検出された各車両領域（車両ＩＤ＝１…ＥＮＤ）に対する第２のループ処理（Ｓ２２〜Ｓ３１）を行う。この第２のループ処理により、第２特定部３２は、車両領域ごとのナンバープレート領域の特定を行う。

第２のループ処理が開始されると、第２特定部３２は、第２のループ処理において処理対象となる車両領域の車両ＩＤ＝ｍと一致するフレーム番号（処理対象となる車両領域が検出されたフレームの番号）と領域（領域の位置情報）を取得する（Ｓ２３）。

次いで、第２特定部３２は、Ｓ２１において取得したプレートのフレーム番号（ｍｉｎ〜ｍａｘ）と、Ｓ２３において取得した車両のフレーム番号（ｍｉｎ〜ｍａｘ）における重複フレーム数を求める。次いで、第２特定部３２は、重複フレーム数が所定の閾値（Ｎ１）を超えるか否かを判定する（Ｓ２４）。重複フレーム数が閾値（Ｎ１）を超えない場合（Ｓ２４：ＮＯ）、第２特定部３２はＳ２２へ処理を戻す。

重複フレーム数が閾値（Ｎ１）を超える場合（Ｓ２４：ＹＥＳ）、第２特定部３２は、重複フレーム（ｍｉｎ〜ｍａｘ）に対する第３のループ処理（Ｓ２５〜Ｓ２８）を行う。

第３のループ処理が開始されると、第２特定部３２は、処理対象のナンバープレート領域（プレートＩＤ＝ｎ）の面積中で車両領域（車両ＩＤ＝ｍ）に含まれる割合を求める。次いで、第２特定部３２は、求めた割合が所定の閾値（Ｎ２）を超えるか否かを判定する（Ｓ２６）。

求めた割合が閾値（Ｎ２）を超える場合（Ｓ２６：ＹＥＳ）、第２特定部３２は、処理対象のナンバープレート領域（プレートＩＤ＝ｎ）における同一物体カウンタをアップ（インクリメント）する（Ｓ２７）。求めた割合が閾値（Ｎ２）を超えない場合（Ｓ２６：ＮＯ）、第２特定部３２は、Ｓ２７をスキップする。この同一物体カウンタにより、車両領域内で第１のナンバープレート領域が検出されたフレーム数がカウントされることとなる。

第３のループ処理（Ｓ２５〜Ｓ２８）に次いで、第２特定部３２は、同一物体カウンタが所定の閾値（Ｎ３）以下であるか否かを判定する（Ｓ２９）。閾値（Ｎ３）以下でない場合（Ｓ２９：ＮＯ）、すなわち車両領域内で第１のナンバープレート領域が検出されたフレーム数が閾値（Ｎ３）を超える場合、第２特定部３２は、処理対象のナンバープレート領域（プレートＩＤ＝ｎ）を有効とし（Ｓ３０）、Ｓ３２へ処理を進めて第１のループ処理を継続する。なお、閾値（Ｎ３）以下である場合（Ｓ２９：ＹＥＳ）、第２特定部３２は、Ｓ３１へ処理を進めて第２のループ処理を継続する。

上述したナンバープレート有効性判定処理により、ナンバープレート特定部３０は、同一のプレートＩＤにおけるナンバープレート領域の中で、車両と重なるフレームが所定数存在する場合には有効とする。また、ナンバープレート特定部３０は、同一のプレートＩＤにおけるナンバープレート領域の中で、車両と重なるフレームが所定数存在しない場合には有効とすることなく、除外する。

図２に戻り、出力部４０は、ナンバープレート有効性判定処理の判定結果をもとに、有効なナンバープレート領域を示すプレートＩＤおよび動画像における領域の位置情報などの結果を出力する（Ｓ１８）。

図６は、検出結果を説明する説明図である。図６では、動画像Ｇの右端に写り込んだ車両Ｇ１にかかるフレームについて、時刻ｔ１〜ｔ７におけるフレームＧ２１〜Ｇ２７を横に並べている。図６に示すように、車両Ｇ１がフレームアウトする前のフレームＧ２１〜Ｇ２４では、車両Ｇ１に対応する車両領域Ｇ１１が検出される。また、車両Ｇ１が十分に近づいてナンバープレートＧ２が判別可能となるフレームＧ２３〜Ｇ２７ではナンバープレートＧ２に対応するナンバープレート領域Ｇ１２が検出される。ここで、車両領域Ｇ１１とナンバープレート領域Ｇ１２とが重なるフレームＧ２３、Ｇ２４があることから、画像処理装置１は、フレームＧ２３〜Ｇ２７において検出されたナンバープレート領域Ｇ１２を、車両Ｇ１に対応する有効なものとして正確に検出することができる。また、ガラスの映り込みや路面などにより誤検出されたナンバープレート領域は、フレームＧ２１〜Ｇ２７において、車両領域Ｇ１１内のナンバープレート領域Ｇ１２との重複のないことで除外される。これにより、画像処理装置１は、ナンバープレートの誤検出を抑止することができる。

以上のように、画像処理装置１は、連続して撮像された複数の画像を取得する画像取得部１０を有する。また、画像処理装置１は、取得された複数の画像に含まれる画像のそれぞれの特徴量に基づいて、複数の画像に含まれる車両領域とナンバープレート領域とを検出する検出部２０を有する。また、画像処理装置１は、複数の画像に含まれるナンバープレート領域のうち、検出された車両領域内に含まれる第１のナンバープレート領域を特定する第１特定部３１を有する。また、画像処理装置１は、複数の画像に含まれるナンバープレート領域のうち、複数の画像に含まれる画像間で、第１のナンバープレート領域との位置の重なりに基づいて、第１のナンバープレート領域に対応する第２のナンバープレート領域を特定する第２特定部３２を有する。また、画像処理装置１は、複数の画像に含まれるナンバープレート領域のうち、第１のナンバープレート領域と第２のナンバープレート領域とを検出対象の領域として出力する出力部４０を有する。このため、画像処理装置１は、ガラスの映り込みや路面などにより誤検出されたナンバープレート領域を除外し、ナンバープレートの誤検出を抑止することができる。

なお、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

また、画像処理装置１で行われる各種処理機能は、ＣＰＵ（またはＭＰＵ、ＭＣＵ（Micro Controller Unit）等のマイクロ・コンピュータ）上で、その全部または任意の一部を実行するようにしてもよい。また、各種処理機能は、ＣＰＵ（またはＭＰＵ、ＭＣＵ等のマイクロ・コンピュータ）で解析実行されるプログラム上、またはワイヤードロジックによるハードウエア上で、その全部または任意の一部を実行するようにしてもよいことは言うまでもない。また、画像処理装置１で行われる各種処理機能は、クラウドコンピューティングにより、複数のコンピュータが協働して実行してもよい。

ところで、上記の実施形態で説明した各種の処理は、予め用意されたプログラムをコンピュータで実行することで実現できる。そこで、以下では、上記の実施形態と同様の機能を有するプログラムを実行するコンピュータ（ハードウエア）の一例を説明する。図７は、実施形態にかかる画像処理装置１のハードウエア構成を例示するブロック図である。

図７に示すように、画像処理装置１は、各種演算処理を実行するＣＰＵ１０１と、データ入力を受け付ける入力装置１０２と、モニタ１０３と、スピーカ１０４とを有する。また、画像処理装置１は、記憶媒体からプログラム等を読み取る媒体読取装置１０５と、各種装置と接続するためのインタフェース装置１０６と、有線または無線により外部機器と通信接続するための通信装置１０７とを有する。また、画像処理装置１は、各種情報を一時記憶するＲＡＭ１０８と、ハードディスク装置１０９とを有する。また、画像処理装置１内の各部（１０１〜１０９）は、バス１１０に接続される。

ハードディスク装置１０９には、上記の実施形態で説明した画像取得部１０、検出部２０、ナンバープレート特定部３０および出力部４０における各種の処理を実行するためのプログラム１１１が記憶される。また、ハードディスク装置１０９には、プログラム１１１が参照する各種データ１１２（動画像など）が記憶される。入力装置１０２は、例えば、画像処理装置１の操作者から操作情報の入力を受け付ける。モニタ１０３は、例えば、操作者が操作する各種画面を表示する。インタフェース装置１０６は、例えば印刷装置等が接続される。通信装置１０７は、ＬＡＮ（Local Area Network）等の通信ネットワークと接続され、通信ネットワークを介した外部機器との間で各種情報をやりとりする。

ＣＰＵ１０１は、ハードディスク装置１０９に記憶されたプログラム１１１を読み出して、ＲＡＭ１０８に展開して実行することで、各種の処理を行う。なお、プログラム１１１は、ハードディスク装置１０９に記憶されていなくてもよい。例えば、画像処理装置１が読み取り可能な記憶媒体に記憶されたプログラム１１１を読み出して実行するようにしてもよい。画像処理装置１が読み取り可能な記憶媒体は、例えば、ＣＤ−ＲＯＭやＤＶＤディスク、ＵＳＢ（Universal Serial Bus）メモリ等の可搬型記録媒体、フラッシュメモリ等の半導体メモリ、ハードディスクドライブ等が対応する。また、公衆回線、インターネット、ＬＡＮ等に接続された装置にこのプログラム１１１を記憶させておき、画像処理装置１がこれらからプログラム１１１を読み出して実行するようにしてもよい。

１…画像処理装置
１０…画像取得部
２０…検出部
３０…ナンバープレート特定部
３１…第１特定部
３２…第２特定部
４０…出力部
１０１…ＣＰＵ
１０２…入力装置
１０３…モニタ
１０４…スピーカ
１０５…媒体読取装置
１０６…インタフェース装置
１０７…通信装置
１０８…ＲＡＭ
１０９…ハードディスク装置
１１０…バス
１１１…プログラム
１１２…各種データ
Ｇ…動画像
Ｇ１…車両
Ｇ２…ナンバープレート
Ｇ１１、Ｇ１１’…車両領域
Ｇ１２ａ〜Ｇ１２ｆ、Ｇ１２ａ’〜Ｇ１２ｆ’…ナンバープレート領域
Ｇ２１〜Ｇ２７…フレーム
ｔ１〜ｔ７…時刻

Claims (7)

1. 連続して撮像された複数の画像を取得し、
   前記複数の画像に含まれる画像のそれぞれの特徴量に基づいて、前記複数の画像に含まれる車両領域とナンバープレート候補領域群とを検出し、
   前記複数の画像に含まれる前記ナンバープレート候補領域群のうち、検出された前記車両領域内に含まれる第１のナンバープレート領域を特定し、
   前記複数の画像に含まれる前記ナンバープレート候補領域群のうち、前記複数の画像に含まれる画像間で、前記第１のナンバープレート領域との位置の重なりに基づいて、前記第１のナンバープレート領域に対応する第２のナンバープレート領域を特定し、
   前記複数の画像に含まれる前記ナンバープレート候補領域群のうち、前記第１のナンバープレート領域と前記第２のナンバープレート領域とを、検出対象の領域として出力する
   処理をコンピュータに実行させることを特徴とする画像処理プログラム。
2. 前記検出する処理は、前記複数の画像に含まれる画像間で位置の重なりのある車両領域ごとに前記車両領域の検出を行い、
   前記出力する処理は、前記車両領域ごとに特定された前記第１のナンバープレート領域と前記第２のナンバープレート領域とを、検出対象の領域として出力する
   ことを特徴とする請求項１に記載の画像処理プログラム。
3. 前記検出する処理は、前記ナンバープレート候補領域群のそれぞれのナンバープレート候補領域について特徴量に対応するスコアを算出し、
   前記第１のナンバープレート領域を特定する処理は、前記車両領域内に含まれるナンバープレート候補領域が複数ある場合、当該ナンバープレート候補領域ごとに算出されたスコアに基づいて、前記第１のナンバープレート領域を特定する
   ことを特徴とする請求項１または２に記載の画像処理プログラム。
4. 前記出力する処理は、前記複数の画像の中の、前記第１のナンバープレート領域を含む画像の数に基づいて、前記第１のナンバープレート領域と前記第２のナンバープレート領域とを、検出対象の領域として出力する
   ことを特徴とする請求項１乃至３のいずれか一項に記載の画像処理プログラム。
5. 連続して撮像された複数の画像を取得し、
   前記複数の画像のそれぞれの特徴量に基づいて、前記複数の画像のうちの第１の画像において車両に対応する特徴量を示す領域内にナンバープレートに対応する特徴量を示す第１の領域を検出すると、前記複数の画像のうち、前記第１の画像とは異なる画像において前記第１の領域と少なくとも一部が重なり、ナンバープレートに対応する特徴量を示す第２の領域を特定し、
   特定した前記第２の領域をナンバープレート領域として出力する、
   処理をコンピュータに実行させることを特徴とする画像処理プログラム。
6. 連続して撮像された複数の画像を取得し、
   前記複数の画像に含まれる画像のそれぞれの特徴量に基づいて、前記複数の画像に含まれる車両領域とナンバープレート候補領域群とを検出し、
   前記複数の画像に含まれる前記ナンバープレート候補領域群のうち、検出された前記車両領域内に含まれる第１のナンバープレート領域を特定し、
   前記複数の画像に含まれる前記ナンバープレート候補領域群のうち、前記複数の画像に含まれる画像間で、前記第１のナンバープレート領域との位置の重なりに基づいて、前記第１のナンバープレート領域に対応する第２のナンバープレート領域を特定し、
   前記複数の画像に含まれる前記ナンバープレート候補領域群のうち、前記第１のナンバープレート領域と前記第２のナンバープレート領域とを、検出対象の領域として出力する
   処理をコンピュータが実行することを特徴とする画像処理方法。
7. 連続して撮像された複数の画像を取得する取得部と、
   前記複数の画像に含まれる画像のそれぞれの特徴量に基づいて、前記複数の画像に含まれる車両領域とナンバープレート候補領域群とを検出する検出部と、
   前記複数の画像に含まれる前記ナンバープレート候補領域群のうち、検出された前記車両領域内に含まれる第１のナンバープレート領域を特定する第１の特定部と、
   前記複数の画像に含まれる前記ナンバープレート候補領域群のうち、前記複数の画像に含まれる画像間で、前記第１のナンバープレート領域との位置の重なりに基づいて、前記第１のナンバープレート領域に対応する第２のナンバープレート領域を特定する第２の特定部と、
   前記複数の画像に含まれる前記ナンバープレート候補領域群のうち、前記第１のナンバープレート領域と前記第２のナンバープレート領域とを、検出対象の領域として出力する出力部と
   を有することを特徴とする画像処理装置。

Images