JP2018018234A - 人物検出装置、人物検出システム、人物検出方法及び人物検出プログラム - Google Patents

Abstract

【課題】検出対象である歩行者などの足元に遮蔽物があり、歩行者などの接地位置を正しく特定できない場合であっても、誤って特定した接地位置を修正する。
【解決手段】人物検出装置２０は、撮像装置１０が撮影した画像を取得する画像取得部２１と、画像から人物を検出する人物検出部２２と、人物の下端部に基づいて人物の接地位置を特定する接地位置特定部２３と、人物の頭部を抽出する頭部抽出部２４と、人物の縦方向の大きさ及び抽出した頭部の縦方向の大きさに基づいて頭身を算出する頭身算出部２５と、接地位置又は頭身に基づいて、接地位置の修正の有無を判断する修正判断部２６とを備え、接地位置特定部２３は、頭部の縦方向の大きさ及び頭身に基づいて、特定した接地位置を修正する。
【選択図】図１

Description

本発明は人物検出装置、人物検出システム、人物検出方法及び人物検出プログラムに関する。

車載カメラで撮像した画像を認識して、車両の周囲の人物（歩行者、サイクリストなど）を検出する技術が開発されている。例えば、特許文献１には、運転支援装置において、車両の周囲を撮像した画像から道路領域及び歩行者候補を検出し、歩行者候補の下部が道路領域に接しているときに、検出した歩行者候補を歩行者であると判定することが記載されている。

特開２００８−０６５７５６号公報

特許文献１記載の運転支援装置では、歩行者候補の手前に歩行者候補の一部分を遮蔽する遮蔽物があって、当該遮蔽物が道路領域に接していると、当該遮蔽物を含めて歩行者と判定してしまうことがある。その場合に、歩行者の接地位置を正しく特定することができず、車両から当該歩行者までの距離を誤って算出してしまう。

本発明は、このような問題を解決するためになされたものであり、検出対象である歩行者などの手前に遮蔽物があり、歩行者などの接地位置を正しく特定できない場合であっても、誤って特定した接地位置を修正することができる人物検出装置、人物検出システム、人物検出方法及び人物検出プログラムを提供することを目的とする。

そこで、本発明は、撮像装置が撮影した画像を取得する画像取得部と、取得した画像から人物を検出する人物検出部と、検出した人物の下端部に基づいて人物の接地位置を特定する接地位置特定部と、検出した人物の特徴部分を抽出する特徴部分抽出部と、検出した人物の縦方向の大きさ及び抽出した特徴部分の縦方向の大きさに基づいて特徴部分の比率を算出する比率算出部と、特定した接地位置又は算出した比率に基づいて、特定した接地位置の修正の有無を判断する修正判断部とを備え、接地位置特定部は、特徴部分の縦方向の大きさ及び比率に基づいて、特定した接地位置を修正する人物検出装置を提供する。

また、本発明は、撮像装置が撮影した画像を取得するステップと、取得した画像から人物を検出するステップと、検出した人物の下端部に基づいて人物の接地位置を特定するステップと、検出した人物の特徴部分を抽出するステップと、検出した人物の縦方向の大きさ及び抽出した特徴部分の縦方向の大きさに基づいて特徴部分の比率を算出するステップと、特定した接地位置又は算出した比率に基づいて、特定した接地位置の修正の有無を判断するステップと、特徴部分の縦方向の大きさ及び比率に基づいて、特定した接地位置を修正するステップとを有する人物検出方法を提供する。

本発明により、誤って特定した歩行者などの接地位置を修正することができる人物検出装置、人物検出システム、人物検出方法及び人物検出プログラムを提供することを提供することができる。

実施の形態に係る人物検出システム１の概略構成を示すブロック図である。 実施の形態に係る人物検出方法の処理手順を示すフローチャートである。 実施の形態に係る検出対象画像及び人物検出結果を示す図である。 実施の形態に係る頭身算出処理を説明するための図である。 実施の形態に係る接地位置の誤特定を説明するための図である。 実施の形態に係る接地位置の修正判断を説明するための図である。 実施の形態に係る接地位置の修正判断を説明するための図である。 実施の形態に係る接地位置の修正判断を説明するため別の図である。

以下、図面を参照して、本実施の形態に係る人物検出システム及び人物検出方法について説明する。
まず、本実施の形態に係る人物検出システムの構成について説明する。
図１は、本実施の形態に係る人物検出システム１の概略構成を示すブロック図である。
人物検出システム１は、主に車両に搭載されるシステムであり、前方カメラ１０、人物検出装置２０、記憶装置３０、表示装置４０などを備える。

前方カメラ１０は、車両前方を撮像できるように車両に設置した単眼カメラであり、車両前方の可視画像を連続して撮像し、当該画像を人物検出装置２０に出力する。
人物検出装置２０は、前方カメラ１０が撮像した画像と、記憶装置３０に記憶した各種の人物検出用辞書とを用いて、歩行者、サイクリストなどの人物を検出し、必要に応じて、警告信号を表示装置４０に出力する。このために、人物検出装置２０は、画像取得部２１、人物検出部２２、接地位置特定部２３、頭部抽出部２４、頭身算出部２５、修正判断部２６、距離算出部２７、人物追跡部２８、表示警告部２９などを有する。

画像取得部２１は、前方カメラ１０が撮像した画像を入力し、各種の画像処理を行い、人物検出部２２に出力する。
人物検出部２２は、記憶装置３０に記憶した歩行者辞書、サイクリスト辞書などの人物検出用辞書を用いて、画像から人物を検出し、検出結果を接地位置特定部２３及び頭部抽出部２４に出力する。人物検出部２２は、例えば、前方カメラ１０が撮像した画像のフレーム毎又は数フレーム毎に人物を検出する。

接地位置特定部２３は、人物検出部２２が検出した人物の下端部を当該人物の接地位置として特定し、特定結果を修正判断部２６に出力する。
また、接地位置特定部２３は、修正判断部２６が接地位置の特定結果を修正すると判断したときに、頭部抽出部２４が抽出した当該人物の頭部の位置及び縦方向の大きさ、頭身算出部２５が算出した頭身の値などに基づいて、人物検出部２２が検出した当該人物の下端部を変更し、接地位置を修正する。

頭部抽出部（特徴部分抽出部）２４は、記憶装置３０に記憶した頭部辞書を用いて、人物検出部２２が検出した人物の画像領域から当該人物の頭部を抽出し、抽出結果を頭身算出部２５に出力する。
頭身算出部（比率算出部）２５は、人物検出部２２が検出した人物の縦方向の大きさ、及び、頭部抽出部２４が抽出した当該人物の頭部の縦方向の大きさから、頭身を算出し、算出結果を修正判断部２６に出力する。

修正判断部２６は、接地位置特定部２３が特定した接地位置、又は、頭身算出部２５が算出した頭身に基づいて、接地位置特定部２３が特定した接地位置を修正するか、しないかを判断し、判断結果を接地位置特定部２３又は距離算出部２７に出力する。
距離算出部２７は、接地位置特定部２３が特定又は修正した接地位置と、自車両（又は、前方カメラ１０）との距離を算出し、算出結果を人物追跡部２８及び表示警告部２９に出力する。

人物追跡部２８は、人物検出部２２が検出した各人物に個別のＩＤを付与してトラッキングし、各人物の接地位置や頭部位置などの位置情報、頭身情報などを修正判断部２６に出力する。
表示警告部２９は、画像取得部２１が取得した画像、人物検出部２２が検出した人物の検出矩形などの各種情報を表示装置４０に出力する。また、表示警告部２９は、自車両と検出した人物との距離が所定値よりも小さくなったときに、警告信号を表示装置４０に出力する。

記憶装置３０は、人物検出部２２が歩行者、サイクリスト、これらの人達の頭部などを検出するために用いる歩行者辞書、サイクリスト辞書、頭部辞書などの人物検出用辞書を記憶する。これらの人物検出用辞書は、歩行者、サイクリスト、人物の頭部などをいろいろな角度から撮像した画像又はそれらの切り抜き画像である正解画像と、歩行者などが撮像されていない不正解画像とを、それらの特徴量を機械学習させて生成する。例えば、歩行者辞書を生成するときには、歩行者の頭頂からつま先（又は、踵）までが写った画像を正解画像とし、サイクリスト辞書を生成するときは、サイクリストの頭頂から車輪の接地部分を含む自転車の全体（又は、一部分）が写った画像を正解画像とする。また、頭部辞書を生成するときは、人の頭部が写った画像を正解画像とする。

表示装置４０は、表示警告部２９が出力する各種の信号に従って画像、音声などを出力する。表示装置４０には、カーナビゲーションのモニタ、ＨＵＤ（ヘッドアップディスプレイ）などを用いることができる。

なお、人物検出装置２０が実現する各構成要素は、例えば、コンピュータである人物検出装置２０が備える演算装置（図示せず）の制御によって、プログラムを実行させることによって実現することができる。より具体的には、人物検出装置２０は、記憶部（図示せず）に格納されたプログラムを主記憶装置（図示せず）にロードし、演算装置の制御によってプログラムを実行して実現する。

また、各構成要素は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア及びソフトウェアのうちのいずれかの組み合わせ等により実現しても良い。

上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、人物検出装置２０に供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。

非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。

また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によって人物検出装置２０に供給されても良い。一時的なコンピュータ可読媒体の例は、電気信号、光信号及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバなどの有線通信路、又は、無線通信路を介して、プログラムを人物検出装置２０に供給できる。

次に、本実施の形態に係る人物検出システム１の動作、すなわち、人物検出方法について具体的に説明する。
図２は、本実施の形態に係る人物検出方法の処理手順を示すフローチャートである。
人物検出システム１が動作を開始すると、前方カメラ１０が車両の進行方向の画像を撮像し、画像取得部２１が当該画像を検出対象画像として取得する（ステップＳ１０）。

次に、人物検出部２２が、記憶装置３０に記憶した歩行者辞書、サイクリスト辞書などを用いて、検出対象画像から人物の検出を行う（ステップＳ２０）。
図３は、本実施の形態に係る検出対象画像及び人物検出結果を示す図である。

検出対象画像の画像中央には歩行者１０１が写り、画像左下には車止めポール１０２が写り、画像下半分の歩行者の背後には低い柵１０３が写っている。歩行者１０１を前方カメラ１０から遮蔽するもの（遮蔽物）はない。このため、人物検出部２２が歩行者１０１を検出した結果を示す検出矩形１１１は、歩行者１０１の頭頂から脚の下端部までを含むように歩行者１０１を囲んでおり、歩行者１０１を正しく検出できていることがわかる。

人物の検出は、例えば、Ｈａａｒ‐ｌｉｋｅ特徴量、ＨＯＧ(Histogram of Gradients)特徴量、ＬＢＰ(Local Binary Patterns)特徴量などを用いて、人物検出用辞書と検出対象画像との間の類似度を算出することにより行う。

次に、接地位置特定部２３が、検出した人物の接地位置を特定する（ステップＳ３０）。接地位置特定部２３は、例えば、図３に示した検出矩形１１１の下端部（下辺）を接地位置として特定する。
また、頭部抽出部２４が、検出対象画像から、検出した人物の頭部を抽出する（ステップＳ４０）。頭部抽出部２４は、例えば、図３に示した検出矩形１１１の領域内の上側において、頭部辞書を用いて、人物の頭部を抽出する。
そして、頭身算出部２５が、検出した人物の頭身を算出する（ステップＳ５０）。

図４は、本実施の形態に係る頭身算出処理を説明するための図である。図３に示す検出対象画像に対して、歩行者１０１の検出矩形１１１及び頭部の検出矩形１１２をそれぞれ示している。
頭身算出部２５は、歩行者１０１の画像上の縦方向の大きさ（例えば、検出矩形１１１の縦方向の長さ）Ｈ、及び、歩行者１０１の頭部の画像上の縦方向の大きさ（例えば、検出矩形１１２の縦方向の長さ）Ａから、頭身（Ｈ／Ａ）を算出する。

なお、ステップＳ３０と、ステップＳ４０〜ステップＳ５０とは並行して処理して良いし、ステップＳ３０又はステップＳ４０〜ステップＳ５０の一方を先に処理しても良い。

次に、修正判断部２６が、ステップＳ３０で特定した接地位置を修正するか、しないか、すなわち、修正の有無を判断する（ステップＳ６０）。
修正判断部２６は、例えば、ステップＳ５０で算出した頭身が異常値（例えば、３頭身以下、又は、１０頭身以上）であった場合に、当該画像の接地位置を修正すると判断する（ステップＳ６０のＹｅｓ）。

この場合には、接地位置特定部２３が、ステップＳ４０で抽出した頭部の位置、大きさと、平均的な頭身の値（７〜８頭身）とを用いて、ステップＳ２０で検出した人物の頭身の値が平均的な頭身の値となるように、ステップＳ２０で設定した検出矩形を変更し、ステップＳ３０で特定した接地位置を修正する（ステップＳ７０）。接地位置特定部２３は検出矩形を変更しないで、接地位置（又は、接地位置に係る情報）だけを修正しても良い。

また、修正判断部２６は、人物追跡部２８がＩＤを付与して追跡していた人物の接地位置が、以前のフレームの接地位置に基づいて推測した位置から大きく外れた場合や、人物追跡部２８が追跡していた人物の頭身が、以前のフレームで算出した値とは大きく異なった場合のように、複数の画像中のある画像において、特定した接地位置又は算出した頭身に不規則な変動（変化）があった場合にも、不規則な変動があった画像について、その接地位置を修正すると判断する。例えば、人物追跡部２８が追跡していた人物の頭身の値が以前のフレームでは７頭身程度で推移していたのが、あるフレームで１０頭身と算出されたときに、修正判断部２６は、当該フレームで特定した接地位置を修正すると判断する。

この場合にも、接地位置特定部２３が、ステップＳ４０で抽出した頭部の位置、大きさと、以前のフレームで算出した頭身の値に基づいて、検出した人物の頭身の値が以前のフレームで算出した値と同等となるように、検出矩形を変更し、接地位置を修正する。また、接地位置特定部２３は、特定した接地位置を以前のフレームの接地位置から推測した位置に修正しても良い。

図５は、本実施の形態に係る接地位置の誤特定を説明するための図である。
検出対象画像の画像中央には歩行者２０１が写り、画像下半分の中央には歩行者２０１の脚部を遮蔽するように車止めポール（遮蔽物）２０２が写っている。そして、歩行者の脚の特徴と車止めポール２０２の特徴とが似ているため、人物検出部２２が歩行者２０１を検出した結果を示す検出矩形２１１は、歩行者２０１の頭頂から車止めポール２０２の下端部までを含むように歩行者２０１及び車止めポール２０２を囲んで大きくなっており、歩行者２０１を正しく検出できておらず、車止めポール２０２の下端部を歩行者２０１の接地位置として誤特定している。頭身算出部２５が算出した頭身の値も以前のフレームで算出した値から大きく変動している。

この場合には、上記したように、接地位置特定部２３が、抽出した頭部の縦方向の大きさと、以前のフレームで算出した頭身の値とから検出矩形を変更し、接地位置を修正すれば良く、上記した接地位置修正処理（ステップＳ４０〜ステップＳ７０）が有効に機能する。

なお、修正判断部２６は、接地位置を修正するか、しないかを判断するときに、記憶装置３０に記憶する人物の上半身辞書などを用いて人物を改めて検出し、接地位置又は頭身の不規則な変動が人物の下半身の隠れによるものかどうかを判断しても良い。

また、修正判断部２６は、ステップＳ２０で人物は検出できたけれども、ステップＳ４０で人物の頭部を抽出できなかったときに、当該フレームの接地位置を修正すると判断しても良い。
この場合には、接地位置特定部２３が、以前のフレームでの頭部の大きさ、位置から現在のフレームでの頭部の大きさ、位置を推測し、頭身の情報を用いて現在のフレームの人物の検出矩形を変更し、特定した接地位置を修正する。

また、修正判断部２６は、人物追跡部２８が追跡していた人物の頭部の位置（例えば、頭部の中心）が、以前のフレームの頭部の位置に基づいて推測した位置から大きく外れた場合、すなわち、複数の画像において、抽出した頭部の位置に不規則な変動がある場合に、特定した接地位置を修正しないと判断しても良い。または、修正判断部２６は、抽出した頭部の位置に不規則な変動がない場合に、特定した接地位置を修正すると判断しても良い。

例えば、追跡していた人物の頭部の位置に大きな変化があったときは、当該人物がかがんだり、しゃがんだりしている可能性がある。このような場合に算出した頭身の値は、通常とは異なる値となっていても、その値自体に誤りはなく、また、特定した接地位置にも誤りはない。このため、特定した接地位置を修正する必要はない。

図６、図７は、本実施の形態に係る接地位置の修正判断を説明するための図である。図６、図７はともに歩行者３０１又は歩行者４０１が右奥の位置から左手前の位置へ移動しているシーンの、各時刻ｔでの人物及び頭部の検出結果（抽出結果）を示している。

図６に示すシーンでは、歩行者３０１について、時刻ｔ１では人物及び頭部の検出矩形３１１、３１２が示され、時刻ｔ２でも同じく検出矩形３２１、３２２が示されて、それらの検出矩形の位置、大きさ及び算出した頭身に問題がないことから、修正判断部２６は、時刻ｔ１、ｔ２では人物及び頭部を正しく検出又は抽出しており、接地位置を修正しないと判断する。

しかしながら、時刻ｔ３では、歩行者３０１の手前にガードレール３０２があって、人物検出部２２はガードレール３０２の支柱を含めて歩行者３０１であると誤検出している。このために、時刻ｔ１、ｔ２のときと比べて、検出矩形３３１は縦に長くなり、算出した頭身も大きくなっている。このような場合に、修正判断部２６は、頭身の値に不規則な変動があり、かつ、時刻ｔ３での頭部の位置が時刻ｔ１、ｔ２の頭部の位置から推測した位置にあるので、接地位置を修正すると判断して、時刻ｔ３における検出矩形３３１を変更する。

また、図７に示すシーンでも、時刻ｔ１１、ｔ１２では、歩行者４０１及びその頭部を正しく検出又は抽出できており、修正判断部２６は接地位置を修正しないと判断する。
しかしながら、時刻ｔ１３では、歩行者４０１がしゃがんでおり、時刻ｔ１１、ｔ１２のときと比べて、検出矩形４３１が縦に短くなり、算出した頭身も小さくなっている。このような場合に、修正判断部２６は、頭身の値に不規則な変動があるが、時刻ｔ１３での頭部の位置が時刻ｔ１１、ｔ１２の頭部の位置から推測される位置にないので、時刻ｔ１３では検出矩形４３１を変更しない、接地位置も修正しないと判断する。

また、修正判断部２６は、歩行者の接地位置が短時間に上下の移動を繰り返したり、歩行者の頭身が短時間に大小の変動を繰り返したりしたときに、当該人物は歩行者ではなく、サイクリストであると判断して、人物検出部２２にサイクリスト辞書を用いて人物の検出をやり直させても良い。

例えば、サイクリストをその後方から撮像したときに、自転車を検出できずに誤って歩行者として検出してしまうことがある。このような場合であっても、接地位置や頭身の短時間の繰り返し変化を確認したときに、当該人物をサイクリストとして改めて検出して、自転車のタイヤの接地部分を正しい接地位置として特定することができる。

図８は、本実施の形態に係る接地位置の修正判断を説明するため別の図である。自転車に乗っている人（サイクリスト）５０１を後から撮像したときの人物及び頭部の検出（抽出）結果を示している。

時刻ｔ２１ではサイクリスト５０１のペダルをこぐ右足が伸びて、検出矩形５１１は縦に長くなっている。また、時刻ｔ２２ではサイクリスト５０１の左右の足が同じ高さになって、検出矩形５２１は縦に短くなっている。そして、検出矩形は短時間に伸び縮みを繰り返し、検出矩形の下端である接地位置も短時間に上下を繰り返している。このような場合に、修正判断部２６は、検出した人物５０１は歩行者ではなく、サイクリストであるとして、人物検出部２２にサイクリスト辞書を用いて人物を改めて検出させて、接地位置をタイヤの接地部分に修正する。

なお、修正判断部２６は、特定した接地位置を修正しないと判断したとき（ステップＳ６０のＮｏ）は、ステップＳ８０に進む。
次に、距離算出部２７が、特定又は修正した接地位置に基づいて、検出した人物と自車両との距離を算出する（ステップＳ８０）。距離算出部２７は、前方カメラ１０を車両に設置したときの高さ、角度などに基づいて作成した、撮像画像中の位置（ｙ座標）と自車両からの距離との対応関係を示すテーブルを用いて、検出した人物と自車両との距離を算出することができる。

次に、表示警告部２９が、ステップＳ１０で取得した検出対象画像、ステップＳ２０で検出した人物の検出矩形、ステップＳ４０で抽出した頭部の検出矩形、ステップＳ８０で算出した自車両から当該人物までの距離などを表示装置４０に表示させる。検出矩形に代えて、又は、検出矩形に加えて接地位置を表示装置４０に表示させても良い。
また、表示警告部２９は、当該人物までの距離が所定値よりも小さく、当該人物と衝突する可能性があるときに、当該人物が接近したことを運転者に警告する画像及び音声を表示装置４０に出力させる（ステップＳ９０）。

次に、人物追跡部２８が、各フレームで検出した人物の位置、特徴量などを用いて、検出した人物毎にＩＤを付してトラッキングする（ステップＳ１００）。トラッキングには、パーティクルフィルタ法、ＭｅａｎＳｈｉｆｔ法などを用いる。
また、人物追跡部２８は、特定した接地位置（座標）や算出した頭身の値などの履歴情報を含むトラッキングの情報を修正判断部２６、接地位置特定部２３などに出力する。これらの情報は、修正判断部２６が接地位置の修正を判断するときや、接地位置特定部２３が接地位置を修正するときに用いる。

また、ステップＳ９０と、ステップＳ１００とは並行して処理しても良いし、ステップＳ９０又はステップＳ１００の一方を先に処理しても良い。
なお、本実施の形態に係る人物検出システム１又は人物検出方法では、接地位置を修正するときに、検出した人物からその頭部を抽出し、頭身を算出して用いたが、検出した人物の画像から安定して抽出できる、一定の形状、鮮明な彩色などを有する特徴的な領域（特徴部分）を抽出し、検出した人物の縦方向の大きさと特徴部分の縦方向の大きさとの比率を算出して接地位置を修正しても良い。特徴部分として、例えば、腕、脚、上着、傘、カバンなどを抽出すれば良い。

また、接地位置を修正するときに、検出した人物の縦方向の大きさとの間で比率を算出できるような、特徴的な大きさを示す特徴量を画像から直接算出して用いても良い。この場合の特徴量としては、検出した人物の横幅又は肩幅などを用いることができる。

また、本実施の形態に係る人物検出システム１又は人物検出方法では、前方カメラ１０として遠赤外線カメラを用いることもできる。遠赤外線カメラは被写体が発する熱を検知し、それらの温度差を輝度差に変換することで、映像化している。遠赤外線画像を検出対象画像として用いるときは、温度が高い人の領域の輝度値が大きくなり、人と比べて温度が低い周辺領域の輝度が小さくなることを利用する。

例えば、図５に示すシーンを撮像した遠赤外線画像では、車止めポールを含む周辺慮域の輝度が小さくなり、人物の検出矩形の下端は車止めポールに隠されていないところまでで縦に短くなり、頭身を算出すると３〜４頭身となる。このような場合であっても、本実施の形態に係る接地位置修正処理であれば、抽出した頭部の位置と大きさとに基づいて、検出矩形を変更して、接地位置を修正することができる。可視画像と遠赤外線画像とを撮影状況や人物の検出状況に応じて切り換えても良い。

また、本実施の形態に係る人物検出システム１又は人物検出方法では、人物を検出するときに、歩行者、サイクリストなどが写った画像を機械学習して作成した歩行者辞書、サイクリスト辞書などを用いたが、歩行者、サイクリストなどのテンプレート画像を用いたパターンマッチングなどを行って人物を検出しても良い。

また、本実施の形態に係る人物検出システム１は車両に搭載するものとして説明してきたが、人物検出システム１は車両に固定しても良いし、可搬可能に車両に設置しても良い。また、ヘッドマウントディスプレイ（ＨＭＤ、Head Mounted Display）などのように、人物が装着するように構成しても良い。

また、本実施の形態に係る人物検出システム１の各構成について、複数の装置、例えば、人物検出装置２０及び記憶装置３０を一体化して、記憶部を備えた人物検出装置としても良い。また、人物検出システム１の全ての構成を一体化して、前方撮像部、記憶部、表示部を備えた人物検出装置としても良い。もちろん、人物検出システム１を、距離算出システム、人物追跡システム、衝突防止システム、更に、距離算出方法、距離算出プログラムなどとして構成しても良い。

以上、説明したように、本実施の形態に係る人物検出装置２０は、撮像装置１０が撮影した画像を取得する画像取得部２１と、取得した画像から人物を検出する人物検出部２２と、検出した人物の下端部に基づいて人物の接地位置を特定する接地位置特定部２３と、検出した人物の特徴部分を抽出する特徴部分抽出部２４と、検出した人物の縦方向の大きさ及び抽出した特徴部分の縦方向の大きさに基づいて特徴部分の比率を算出する比率算出部２５と、特定した接地位置又は算出した比率に基づいて、特定した接地位置の修正の有無を判断する修正判断部２６とを備え、接地位置特定部２３は、特徴部分の縦方向の大きさ及び比率に基づいて、特定した接地位置を修正するものである。
このような構成により、誤って特定した歩行者などの接地位置を修正することができる。

また、本実施の形態に係る人物検出装置２０は、修正判断部２６は、画像取得部２１が取得した複数の画像において、特定した接地位置又は算出した比率に不規則な変動があるときに、特定した接地位置を修正すると判断することも可能である。
このような構成により、履歴情報に基づいて、修正の有無を判断することができる。

また、本実施の形態に係る人物検出装置２０は、修正判断部２６は、複数の画像において、抽出した特徴部分の位置に不規則な変動がないときに、特定した接地位置を修正すると判断することも可能である。
このような構成により、修正の有無をより正しく判断することができる。

また、本実施の形態に係る人物検出装置２０は、画像取得部２１が取得した複数の画像において、特定した接地位置が繰り返し上下に変動し、又は、算出した比率が繰り返し大小に変動したときに、人物を改めて検出すると判断することも可能である。
このような構成により、歩行者とサイクリストなどとを判別することができる。

また、本実施の形態に係る人物検出装置２０は、特徴部分抽出部２４は、特徴部分として検出した人物の頭部を抽出することも可能である。
このような構成により、抽出しやすく、歩行中に動きの小さい頭部を特徴部分とすることができる。
また、本実施の形態に係る人物検出システム１は、人物検出装置２０と、撮像装置１０、又は、画像を表示する表示装置４０の少なくとも一方とを備えることも可能である。

また、本実施の形態に係る人物検出方法は、撮像装置が撮影した画像を取得するステップＳ１０と、取得した画像から人物を検出するステップＳ２０と、検出した人物の下端部に基づいて人物の接地位置を特定するステップＳ３０と、検出した人物の特徴部分を抽出するステップＳ４０と、検出した人物の縦方向の大きさ及び抽出した特徴部分の縦方向の大きさに基づいて特徴部分の比率を算出するステップＳ５０と、特定した接地位置又は算出した比率に基づいて、特定した接地位置の修正の有無を判断するステップＳ６０と、特徴部分の縦方向の大きさ及び比率に基づいて、特定した接地位置を修正するステップＳ７０とを有するものである。

また、本実施の形態に係る人物検出プログラムは、コンピュータに、撮像装置が撮影した画像を取得する手順Ｓ１０と、取得した画像から人物を検出する手順Ｓ２０と、検出した人物の下端部に基づいて人物の接地位置を特定する手順Ｓ３０と、検出した人物の特徴部分を抽出する手順Ｓ４０と、検出した人物の縦方向の大きさ及び抽出した特徴部分の縦方向の大きさに基づいて特徴部分の比率を算出する手順Ｓ５０と、特定した接地位置又は算出した比率に基づいて、特定した接地位置の修正の有無を判断する手順Ｓ６０と、特徴部分の縦方向の大きさ及び比率に基づいて、特定した接地位置を修正する手順Ｓ７０とを実行させるためのものである。

１ 人物検出システム
１０ 前方カメラ
２０ 人物検出装置
２１ 画像取得部
２２ 人物検出部
２３ 接地位置特定部
２４ 頭部抽出部（特徴部分抽出部）
２５ 頭身算出部（比率算出部）
２６ 修正判断部
２７ 距離算出部
２８ 人物追跡部
２９ 表示警告部
３０ 記憶装置
４０ 表示装置

Claims (8)

1. 撮像装置が撮影した画像を取得する画像取得部と、
   前記取得した画像から人物を検出する人物検出部と、
   前記検出した人物の下端部に基づいて前記人物の接地位置を特定する接地位置特定部と、
   前記検出した人物の特徴部分を抽出する特徴部分抽出部と、
   前記検出した人物の縦方向の大きさ及び前記抽出した特徴部分の縦方向の大きさに基づいて前記特徴部分の比率を算出する比率算出部と、
   前記特定した接地位置又は前記算出した比率に基づいて、前記特定した接地位置の修正の有無を判断する修正判断部と
   を備え、
   前記接地位置特定部は、前記特徴部分の縦方向の大きさ及び前記比率に基づいて、前記特定した接地位置を修正する
   人物検出装置。
2. 前記修正判断部は、前記画像取得部が取得した複数の画像において、前記特定した接地位置又は前記算出した比率に不規則な変動があるときに、前記特定した接地位置を修正すると判断する
   請求項１記載の人物検出装置。
3. 前記修正判断部は、前記画像取得部が取得した複数の画像において、前記抽出した特徴部分の位置に不規則な変動がないときに、前記特定した接地位置を修正すると判断する
   請求項１又は請求項２記載の人物検出装置。
4. 前記修正判断部は、前記画像取得部が取得した複数の画像において、前記特定した接地位置が繰り返し上下変動し、又は、前記算出した比率が繰り返し大小変動したときに、人物を改めて検出すると判断する
   請求項１乃至請求項３のいずれか１項記載の人物検出装置。
5. 前記特徴部分抽出部は、前記特徴部分として前記検出した人物の頭部を抽出する
   請求項１乃至請求項４のいずれか１項記載の人物検出装置。
6. 請求項１乃至請求項５のいずれか１項記載の人物検出装置と、
   前記撮像装置、又は、前記画像を表示する表示装置の少なくとも一方と
   を備える人物検出システム。
7. 撮像装置が撮影した画像を取得するステップと、
   前記取得した画像から人物を検出するステップと、
   前記検出した人物の下端部に基づいて前記人物の接地位置を特定するステップと、
   前記検出した人物の特徴部分を抽出するステップと、
   前記検出した人物の縦方向の大きさ及び前記抽出した特徴部分の縦方向の大きさに基づいて前記特徴部分の比率を算出するステップと、
   前記特定した接地位置又は前記算出した比率に基づいて、前記特定した接地位置の修正の有無を判断するステップと、
   前記特徴部分の縦方向の大きさ及び前記比率に基づいて、前記特定した接地位置を修正するステップと
   を有する人物検出方法。
8. コンピュータに、
   撮像装置が撮影した画像を取得する手順と、
   前記取得した画像から人物を検出する手順と、
   前記検出した人物の下端部に基づいて前記人物の接地位置を特定する手順と、
   前記検出した人物の特徴部分を抽出する手順と、
   前記検出した人物の縦方向の大きさ及び前記抽出した特徴部分の縦方向の大きさに基づいて前記特徴部分の比率を算出する手順と、
   前記特定した接地位置又は前記算出した比率に基づいて、前記特定した接地位置の修正の有無を判断する手順と、
   前記特徴部分の縦方向の大きさ及び前記比率に基づいて、前記特定した接地位置を修正する手順と
   を実行させるための人物検出プログラム。