JP5712968B2 - 人検出装置 - Google Patents

Description

本発明は、パターン認識を用いて入力画像から人を検出する人検出装置に関する。

従来、例えば車両の前方や後方に存在する人を検出する技術として、カメラ等により撮像された画像（入力画像）に対し、人を認識するための認識モデルを用いたパターン認識を行うことによって、入力画像中の人を検出する技術が知られている。

例えば、特許文献１には、撮像手段による撮像画像と、歩行者検出用のテンプレートデータ（認識モデル）とを照合して歩行者を検出し、検出された歩行者と自車両との間の遮蔽物を判定する技術が記載されている。

特開２０１０−７９７１６号公報

ところで、人の認識モデルを用いた従来技術のパターン認識では、車両のボンネットやトランク、ガードレール等の遮蔽部に人の身体の一部（例えば、下半身）が隠れていると、入力画像中の人の画像が認識モデルと一致せず、認識率が低下する問題がある。また、そのように人の下半身が車両のボンネット等に隠れている入力画像に対して、人の上半身に相当する部位のみを検出するための認識モデルを用いてパターン認識を行うことが考えられる。しかしながら、たとえ上半身に相当する画像領域のモデルとの一致性が高くても、人と推定される画像領域の半分しかパターン認識が行われないため、認識結果におけるロバスト性が低下する。

本発明は、上記問題を解決するためになされており、人の身体の一部が車体等の遮蔽物に隠れている条件下において、パターン認識よる人の認識率を向上するための技術を提供することを目的とする。

上記目的を達成するためになされた本発明は、撮像手段により撮像された入力画像から、パターン認識によって人を検出する人検出装置に関する。そして、本発明の人検出装置は、特定手段と、色判定手段と、人判断手段とを備えることを特徴とする。

特定手段は、人を認識するための認識モデルを用いて、入力画像から人と推定される候補領域を特定する。色判定手段は、入力画像における色の均一度合を判定する。そして、人判断手段は、特定手段により特定された候補領域と、色判定手段により判定された色の均一度合が所定の要件を満たす画像部位との位置関係に応じて、当該候補領域を含む画像領域が人であるか否かを判断する。

本発明は、「車のボデーやガードレールの色は均一」という知識を人の検出に導入することで、身体の一部が隠れている人の検出性能を維持することを要旨としている。すなわち、人と推定される候補領域と、入力画像中の色の均一度合が高い画像部位とが、特定の位置関係にある場合、それは「身体の一部がボンネットやトランク、ガードレール等に隠れている人」であると理解し、身体が隠れていない場合と同様に人と認識する。また、人の認識モデルに基づいて推定される候補領域の信憑性が多少低い場合であっても、色の均一度合の判定結果を加味することで、人として認識するための根拠となる情報を補完できる。このようにすることで、人の身体の一部がボンネットやトランク、ガードレール等に隠れている場合でも、人の認識率を向上させることができる。

人検出システムの概略構成を示すブロック図。 身体の一部が隠れた人の画像の一例を示す説明図。 第１実施形態における処理の手順を示す説明図。 第２実施形態における処理の手順を示す説明図。 第３実施形態の概要を示す説明図。

以下、本発明の一実施形態を図面に基づいて説明する。なお、本発明は下記の実施形態に何ら限定されるものではなく様々な態様にて実施することが可能である。
［人検出システムの構成の説明］
実施形態の人検出システムは、車両等に搭載され、車両の前方に存在する人を検出するために用いられる。図１に示すように、人検出システムは、人検出装置１を備え、この人検出装置１に対して、画像入力部２及び検出結果出力部３等を接続して構成されている。

人検出装置１は、人を認識するための認識モデルを用いたパターン認識によって入力画像の中から人の画像を検出する画像処理装置であり、演算処理部１０と記憶部１１とを備える。

演算処理部１０は、図示しないＣＰＵ，ＲＯＭ，ＲＡＭ，出入力インタフェース等を備えた周知の情報処理装置で構成され、画像入力部２からの入力画像を処理して人の検出結果を出力する。演算処理部１０は、人の認識モデルを用いた周知のパターン認識の手法により入力画像中の人の画像を検出する。

このとき、図２に示すように、入力画像中における人の身体の一部（図２の事例では下半身）が、車両の一部等によって隠れている場合、下半身の画像領域が認識モデルと一致しなくても、その領域の色の均一度合が高ければ、下半身が隠れていない場合と同様に人と認識する。すなわち、本発明の特徴的な手法においては、「車両のボデーやガードレールの色は均一」という知識を利用し、人の身体の一部領域の色の均一度が高い場合、それは「身体の一部がボンネットやトランク等に隠れている人」であると認識する。なお、更に具体的な検出方法については後述する。

記憶部１１は、パターン認識に用いられる人の認識モデルのデータや、人を隠す遮蔽物として認識するための、画像の色の均一度合に関するデータ等を記憶する記憶装置である。

画像入力部２は、車両の前方を撮影する車載カメラ等で構成される。画像入力部２によって撮影された画像は、入力画像として人検出装置１の演算処理部１０に入力される。検出結果出力部３は、人検出装置１による人の検出結果に応じて、例えば、人が存在する旨の警報を運転者に対して提示したり、車両制御を行う車載機器である。この種の車載機器としては、車両の走行安全システムや運転支援システムの制御装置等が例示される。

［第１実施形態］
人検出装置１の演算処理部１０が実行する第１実施形態の人検出処理の手順について、図３を参照しながら説明する。

１．画像入力部２からの入力画像に対して人の認識モデルを用いて走査し（図３ａ参照）、入力画像の各位置において認識モデルとの一致度（人らしさを表す点数）を計算する。そして、入力画像中で人らしさを表す点数が極大値をとる位置をリストアップする。

２．図３ｂは、上記１．において計算された人らしさを表す点数の分布を等高線に見立てて模式的に表したマップである。ここでは、２つの閾値θ１，θ２（θ１＞θ２）を用いて、人らしさを表す点数の極大値の中から、人候補を抽出する。閾値θ１は、上記１．でのパターン認識の結果だけで人であると判定する閾値である。閾値θ２は、閾値θ１には満たないが、身体の一部が隠れた人である可能性が高い人候補であると判定する閾値である。なお、図３に示す事例では、閾値θ１＝１００、閾値θ２＝５０としている。

図３ｃは、人らしさを表す点数のマップ上において、極大値が閾値θ１又はθ２を満たす人候補の位置に、人領域の枠を重ねた様子を模式的に表したものである。人らしさを表す点数が閾値θ１を満たす場合（点数１１０）、通常のパターン認識による認識結果として、その人候補に対応する領域を人と認識し、その検出結果を出力する（図３ｄ参照）。一方、人らしさを表す点数が閾値θ１を満たさず閾値θ２を満たす場合（点数５０，６０）、その人候補に対して、更に色の均一度の判定を行う（図３ｅ参照）。

３．上記２．において、閾値θ１は満たさないが閾値θ２を満たす人候補として得られた人候補の位置について、その人領域の下半身側に相当する領域（図３ｆ参照）における画像の色の均一度を計算し、その均一度に応じた点数を算出する。色の均一度に応じた点数は、下半身の領域における色の均一度が高いほど高くなる点数である。そして、図３ｇに示すように、色の均一度に応じた点数を、対応する人候補における人らしさを示す点数に加算する。

４．上記３．において、人らしさを表す点数に色の均一度に応じた点数を加算した合計点数が、閾値θ３を満たすか否かを判断する。閾値θ３は、下半身の色の均一度の判定を反映した結果、下半身が隠れた人であると判定する閾値である。なお、図３に示す事例では、閾値θ３＝１２０としている。図３ｈに示すように、人らしさを表す点数と色の均一度に応じた点数との合計点数が閾値θ３を満たす場合（合計点数１３０）、その人候補に対応する領域を人と認識し、その検出結果を出力する。

［第１実施形態の効果］
通常の人認識モデルを用いて算出された人らしさを示す点数が、閾値θ１を満たさず閾値θ２を満たす部分を含む人候補の下部領域（下半身に相当）の画像における色の均一度合を判定する。そして、当該下部領域における色の均一度合に応じた点数と、当該人候補における人らしさを示す点数との合計得点が規定値以上である場合、当該人候補の領域を人であると判断する。このようにすることで、通常の人認識モデルだけでは検出が難しかった、身体の一部が隠れた人に対する認識率を向上させることができる。

［第２実施形態］
人検出装置１の演算処理部１０が実行する第２実施形態の人検出処理の手順について、図４を参照しながら説明する。

０．処理の前提として、人の上半身を認識するための認識モデル（以下、上半身モデル）と、下半身を認識するための認識モデル（以下、下半身モデル）と、人の下半身を隠す遮蔽物の色の均一性を判定するための認識モデル（以下、色均一モデル）とを記憶部１１に用意しておく。上半身モデルは、人の上半身の画像から学習した上半身のみの形状の特徴量を規定する認識モデルである。下半身モデルは、人の下半身の画像から学習した下半身のみの形状の特徴量を規定する認識モデルである。色均一モデルは、自動車のボンネットやトランク等といった、色の均一性の高い遮蔽物の画像から学習した色の均一性の特徴量を規定する認識モデルである。

１．画像入力部２からの入力画像に対して上半身モデルを用いて走査する（図４ａ参照）。そして、入力画像において上半身モデルとの一致度が規定値以上となる上半身領域を検出し、その検出位置をリストアップする。

２．図４ｂは、上記１．において検出された上半身領域を示す枠を入力画像上に模式的に表したものである。上記１．で検出された各上半身領域の下側における下半身に相当する領域に対して、下半身モデルと色均一モデルとをそれぞれ用いて認識を行い、下半身モデル及び色均一モデルとの適否を判定する。図４ｃは、上半身モデルの下側の領域に下半身モデルを適用して認識を行う事例を示している。図４ｄは、半身モデルの下側の領域に色均一モデルを適用して認識（色の均一度合の判定）を行う事例を示している。

３．上記２．における認識の結果、どちらかの認識モデルに適合する下半身領域が検出された場合、当該上半身領域（上半身モデルによる検出領域）と下半身領域（下半身モデル又は色均一モデルによる検出領域）とを合わせた領域を人と認識し、その検出結果を出力する（図４ｅ参照）。

［第２実施形態の効果］
人の身体の特定領域（上半身）を認識するための認識モデルを用いて検出した上半身領域と、当該上半身領域以外の残りの身体部分（下半身）に相当する特定領域に対して色均一モデルを用いて検出した下半身領域とを合わせた領域を人と認識する。このように、色均一モデルを用いた認識結果を加味することで、下半身が隠れた人に対する認識率を、上半身のみのパターン認識による認識結果よりも更に向上させることができる。なお、下半身領域における色の均一度合の判定方法については、色均一モデルを用いる代わりに、画像情報から色の均一度合を計算して判定するような構成であってもよい。

［第３実施形態］
人検出装置１の演算処理部１０が実行する第３実施形態の人検出方法について、図５を参照しながら説明する。

０．処理の前提として、人の輪郭形状の特徴量と、人の身体の一部を隠す遮蔽物として認識する画像の色の均一性の特徴量とを併せ持つ人認識モデルを学習により作成して、記憶部１１に用意しておく。この人認識モデルは、例えば画像のエッジ情報を用いて人の輪郭形状を表現した形状モデルに、遮蔽物の色の均一性を記述した色均一モデル（例えば、色強度とその位置情報を使用）を追加することで作成される。形状モデルは、通常のパターン認識において認識モデルとして用いられる認識モデルと同様である。色均一モデルは、人の身体の特定部位（例えば、下半身）に相当する領域についての色の均一性の特徴量を規定するものである。なお、色均一モデルは、人の下半身以外の部位に相当する領域についての色の均一性の特徴量を規定したものであってもよい。形状及び色均一性の特徴量を併せ持つ人認識モデルの学習は、身体の一部（例えば、下半身）が隠れている人の画像と、全く隠れていない人の画像及び人以外の画像とを用いて、人の輪郭形状や遮蔽物の色の均一性の特徴量を抽出することで行われる。

１．画像入力部２からの入力画像に対して、形状及び色均一性の特徴量を併せ持つ人認識モデルを用いて走査して人の認識を行い、その検出結果を出力する。具体的には、入力画像の各位置で人認識モデルとの一致度合を判定する。そして、人認識モデルで表現された歩行者の輪郭形状及び色の均一性が適合する場合、それは「身体の一部が隠れている人」であると認識し、その検出領域を出力する。

［第３実施形態の効果］
身体の一部が隠れている人の画像と、全く隠れていない人の画像とを用いて、人として認識する画像の輪郭形状の特徴量と、人の身体を隠す遮蔽物として認識する画像の色の均一性の特徴量とを併せ持つ人認識モデルを、学習により作成することができる。このようにして学習された人認識モデルは、従来の認識モデルよりも情報の記述精度が向上したものになっている。そして、このような人認識モデルを用いて、形状の特徴量に基づく認識と、色の均一性の特徴量に基づく認識とを併せて行うことで、身体の一部が隠れた人に対する認識率を向上させることができる。

１…人検出装置、１０…演算処理部、１１…記憶部、２…画像入力部、３…検出結果出力部。

Claims (7)

1. 撮像手段（２）により撮像された入力画像から、パターン認識によって人を検出する人検出装置（１）であって、
   人を認識するための認識モデルを用いて、前記入力画像から人と推定される候補領域を特定する特定手段（１０）と、
   前記入力画像における色の均一度合を判定する色判定手段（１０）と、
   前記特定手段により特定された候補領域と、前記色判定手段により判定された色の均一度合が所定の要件を満たす画像部位との位置関係に応じて、当該候補領域を含む画像領域が人であるか否かを判断する人判断手段（１０）と、
   を備えることを特徴とする人検出装置。
2. 請求項１に記載の人検出装置において、
   人として認識する画像の形状の特徴量を規定する形状情報と、人の身体を隠す遮蔽物として認識する画像の色の均一性の特徴量を規定する色均一性情報とを併せ持つ人認識モデルを有し、
   前記人判断手段は、前記形状情報を用いて特定された候補領域と、前記色均一性情報を用いて判定された、当該候補領域における色の均一度合の判定結果に基づいて、当該候補領域が人であるか否かを判断すること
   を特徴とする人検出装置。
3. 請求項２に記載の人検出装置において、
   前記人認識モデルにおける色均一性情報は、人の身体における特定の一部領域を隠す遮蔽物の画像の色の均一性の特徴量を規定するものであること
   を特徴とする人検出装置。
4. 請求項２又は請求項３に記載の人検出装置において、
   遮蔽物に隠れていない人の画像と、遮蔽物で身体の一部が隠れている画像とを用いて、前記形状情報と前記色均一性情報とを併せ持つ人認識モデルを作成する、人モデル作成手段（１０）を更に備え、
   前記人モデル作成手段によって作成された人認識モデルを用いて人の検出を行うこと
   を特徴とする人検出装置。
5. 請求項１に記載の人検出装置において、
   前記特定手段は、前記入力画像と前記認識モデルとの一致度合に基づいて前記入力画像中の人らしさを示す点数を算出し、その算出した点数が規定の範囲である部分を含む領域を前記候補領域と特定し、
   前記色判定手段は、前記特定手段により特定された候補領域と特定の位置関係を有する特定領域の画像における色の均一度合を判定し、
   前記人判断手段は、前記色判定手段により判定された前記特定領域における色の均一度合に応じた点数を当該候補領域の点数に加算し、加算された合計得点が規定値以上である場合、当該候補領域を含む領域を人であると判断すること
   を特徴とする人検出装置。
6. 請求項５に記載の人検出装置において、
   前記色判定手段により判定される前記特定領域は、前記候補領域を上下に分けたうちの下側の領域であること
   を特徴とする人検出装置。
7. 請求項１に記載の人検出装置において、
   前記特定手段は、人の身体の特定部分を認識するための認識モデルを用いて、前記入力画像から当該特定部分と推定される候補領域を特定し、
   前記色判定手段は、前記候補領域として推定された身体の特定部分以外の残りの身体部分と推定される特定領域の色の均一度合を判定し、
   前記人判断手段は、前記特定領域における色の均一度合が所定の要件を満たす場合、当該候補領域及び当該特定領域を含む領域を人であると判断すること
   を特徴とする人検出装置。