JP4830594B2 - 物体検出装置 - Google Patents

Description

本発明は、撮像画像から物体を検出する物体検出装置に関する。

車両の運転者を支援するために、歩行者などの情報を提供する装置が知られている。特許文献１に示す歩行者検知装置では、撮像手段で撮像した画像から歩行者を検出し、表示装置でその撮像画像に検出した歩行者を強調して表示する。特に、ナイトビューシステムの場合、赤外線カメラで撮像した赤外線画像から歩行者を検出し、表示装置でその検出した歩行者を強調表示することによって、夜間走行時における運転者の肉眼では見えない歩行者の情報も提供する。歩行者の検出方法としては、例えば、撮像画像から所定の大きさの領域を切り出し、その領域の画像と歩行者のテンプレートとをパターンマッチングすることによって歩行者か否かを判定している。この歩行者か否かの判定では、パターンマッチングによるマッチング度（類似度）とパラメータ（閾値）とを比較することによって判定を行っている。
特開２００１−２８０５０号公報

従来の歩行者の検出方法の場合、検出に用いるパラメータが歩行者の状況に応じて最適に設定されていないので、誤検出や検出漏れが発生する可能性がある。例えば、検出率の高いパラメータが設定されると、歩行者が全く存在しない状況でも、歩行者が存在すると誤検出する場合がある。この場合、歩行者が存在しないにもかかわらず、表示装置で強調表示されているので、運転者は、何が写っているのか不安を抱きながら、画面を注視し、回避行動を取る。一方、誤検出が発生しないような検出率のパラメータが設定されると、歩行者が多数存在する人ごみの状況において、検出漏れが発生する場合がある。この場合、歩行者が存在するにもかかわらず、表示装置にその歩行者が強調表示されていないので、運転者は、システムへ不信感を抱く。

そこで、本発明は、検出対象物体の数に関係なく高精度に物体を検出する物体検出装置を提供することを課題とする。

本発明に係る物体検出装置は、車両に搭載され、撮像手段で撮像した撮像画像から歩行者を検出する物体検出装置であって、車両の現在位置における歩行者の数に基づいて検出基準を設定する検出基準設定手段と、検出基準設定手段で設定した検出基準に基づいて撮像画像から歩行者を検出する物体検出手段とを備え、検出基準設定手段は、車両の現在位置における歩行者の数が多い場合には少ない場合に比べて緩和した検出基準を設定することを特徴とする。

この物体検出装置では、検出基準設定手段により検出対象物体の数に基づいて物体検出に用いる検出基準を設定し、物体検出手段によりその設定した検出基準を用いて撮像画像から物体を検出する。特に、検出基準設定手段では、検出対象物体の数が多い場合には少ない場合に比べて通常より緩和した検出基準を設定する。つまり、通常時には所定の検出基準を設定しておき、検出対象物体の数が少ない場所（特に、検出対象物体が全く居ない場合）での誤検出を抑制するとともに通常の検出率で物体を検出する。所定の検出基準としては、例えば、誤検出と検出漏れを考慮したバランスのとれた値とする。一方、検出対象物体の数が増加すると通常時より緩和した検出基準を設定し、検出率をアップさせ、検出対象物体の数が多い場所での検出漏れを抑制する。このように、この物体検出装置では、検出対象物体の数に関係なく、高精度に物体を検出することができる。ちなみに、検出対象物体の数が多い場合、検出対象物体が撮像画像に占める面積割合が大きくなるので、撮像画像における誤検出の起こる可能性のある面積割合（つまり、検出対象物体が存在しない面積割合）が減少する。そのため、パラメータを緩和することによって誤検出率が増加しても、物体検出装置としての誤検出率は抑制される。

なお、検出基準を設定する際に用いる検出対象物体の数としては、例えば、過去に同じ場所で検出された検出対象物体の数でもよいし、あるいは、直前にその場所近傍で検出された検出対象物体の数でもよい。過去に同じ場所で検出された検出対象物体の数は、物体検出装置自体による過去の検出結果を利用してもよいし、あるいは、他の検出手段による検出結果でもよい。他の検出手段としては、例えば、人による検出結果や路上に設置された監視装置による検出結果を利用し、その検出結果を物体検出装置に保持させる。

本発明の上記物体検出装置では、検出基準設定手段は、車両の現在位置における歩行者の数が多いほど、より緩和した検出基準を設定するようにしてもよい。

この物体検出装置では、検出基準設定手段により、検出対象物体の数が多いほどより緩和した検出基準を設定する。つまり、検出基準として緩和する段階を複数用意しておき、検出対象物体の数が多くなるほど、緩和度合いを大きくした検出基準を設定する。これによって、物体検出装置では、検出対象物体の数に応じたより適切な検出基準を設定でき、検出対象物体の数が増加した場合の検出漏れを更に抑制することができる。

本発明の上記物体検出装置では、少なくとも歩行者の数情報と当該歩行者を検出した場所情報とを対応付けて保持する検出情報保持手段を備え、検出基準設定手段は、検出情報保持手段で保持している情報を参照し、検出基準を設定するようにしてもよい。

この物体検出装置では、検出情報保持手段に過去に検出された検出対象物体の数情報とその検出対象物体を検出した場所情報とを対応付けて保持されている。そして、物体検出装置では、検出基準設定手段により、保持している情報を参照し、現在検出を行っている場所に対応する過去の検出対象物体の数情報により検出基準を設定する。このように、物体検出装置では、過去の検出結果を利用することにより、現在検出を行っている場所での検出対象物体の数を推測し、適切な検出基準を設定することができる。

なお、検出対象物体の数情報に対応付けて保持する情報としては、検出対象物体の数の増減に最も影響を与える場所情報以外に、曜日、休日／平日、季節、時間帯、天気、気温、シーン（市街地、山間、田園、高速道路など）などの検出対象物体の数に影響を与える様々な情報を付加してもよい。

本発明の上記物体検出装置では、物体検出手段は、歩行者検出を行う際の評価値が検出基準を上回った場合に歩行者と判定し、検出基準設定手段は、車両の現在位置における歩行者の数が多い場合には少ない場合に比べて検出基準として小さい値を設定する。

この物体検出装置では、物体検出手段により、評価値（例えば、パターンマッチングの場合にはマッチング度）を求め、その求めた評価値が検出基準を上回った場合に検出対象物体と判定する。そして、物体検出装置では、検出基準設定手段により、検出基準を緩和する場合には検出基準として小さい値を設定する。これによって、検出対象物体の数が多い場所では、検出対象物体の数が少ない場所よりも、小さい評価値でも検出対象物体が検出され、検出率がアップする。

本発明の上記物体検出装置では、物体検出手段は、歩行者検出を行う際の評価値が検出基準を下回った場合に歩行者と判定し、検出基準設定手段は、車両の現在位置における歩行者の数が多い場合には少ない場合に比べて検出基準として大きい値を設定する。

この物体検出装置では、物体検出手段により、評価値を求め、その求めた評価値が検出基準を下回った場合に検出対象物体と判定する。そして、物体検出装置では、検出基準設定手段により、検出基準を緩和する場合には検出基準として大きい値を設定する。これによって、検出対象物体の数が多い場所では、検出対象物体の数が少ない場所よりも、大きい評価値でも検出対象物体が検出され、検出率がアップする。

本発明は、検出対象物体の数を考慮して検出基準を設定することにより、誤検出及び検出漏れを抑制することができ、高精度に物体を検出することができる。

以下、図面を参照して、本発明に係る物体検出装置の実施の形態を説明する。

本実施の形態では、本発明に係る物体検出装置を、車両に搭載されるナイトビューシステムに適用する。本実施の形態に係るナイトビューシステムは、夜間走行時の運転者を支援するために、赤外線カメラによる赤外線画像（不可視画像）から歩行者を検出し、車両前方に存在する歩行者情報を提供する。本実施の形態には、歩行者の数情報の取得方法の違いにより２つの形態があり、第１の実施の形態が過去に走行したときの検出結果を利用する形態であり、第２の実施の形態が現在走行中の前フレームでの検出結果を利用する形態である。

図１を参照して、第１の実施の形態に係るナイトビューシステム１について説明する。図１は、第１の実施の形態に係るナイトビューシステムの構成図である。

ナイトビューシステム１は、赤外線画像から歩行者を検出し、検出した歩行者を示す情報を表示する。ナイトビューシステム１では、歩行者が少ない場所での誤検出と歩行者が多い場所での検出漏れを抑制するために、歩行者検出において用いるパラメータ（検出基準）を現在検出を行っている場所の人ごみ状況（歩行者の数）に応じて可変とする。特に、ナイトビューシステム１では、過去に走行したときの歩行者の検出結果を利用して人ごみ情報を蓄積し、その蓄積した人ごみ情報から現在検出を行っている場所の人ごみ状況を推測する。ナイトビューシステム１は、赤外線投光器２、赤外線カメラ３、表示装置４及びＥＣＵ[Electronic Control Unit]５を備えており、ナビゲーションシステム６を利用する。

赤外線投光器２は、車両の前端に配置され、車両前方に向けて取り付けられる。赤外線投光器２は、車両の前方に赤外線（例えば、近赤外線）を照射する。赤外線投光器２は、ナイトビューシステム１が起動時にＯＮされ、停止時にＯＦＦされる。なお、赤外線が近赤外線の場合、ヘッドライトから照射される光の中に近赤外線も含まれるので、赤外線投光器２を備えない構成としてもよい。

赤外線カメラ３は、車両の前側（例えば、ルームミラーの裏側）に配置され、車両前方に向けて取り付けられる。赤外線カメラ３は、赤外線（赤外線投光器２からの赤外線の反射光など）を取り込み、その赤外線の強弱に応じた濃淡によって赤外線映像を生成する。この赤外線映像は、一定時間（例えば、１／３０秒）毎のフレームの赤外線画像からなる。赤外線カメラ３では、一定時間毎に、各フレームの赤外線画像情報を画像信号としてＥＣＵ５に送信する。

表示装置４は、赤外線映像と検出された歩行者情報を運転者に提供する表示手段であり、例えば、ナビゲーションシステム６で用いられる液晶ディスプレイ、ヘッドアップディスプレイである。表示装置４では、ＥＣＵ５から表示信号を受信し、表示信号に示される画像を表示する。図２には、表示装置４（液晶ディスプレイ）に表示した場合の表示画像の一例を示しており、検出された歩行者が矩形線で囲まれ、強調表示されている。図２（ａ）は検出漏れがない場合であり、画像内の全ての歩行者が矩形線で囲まれている。一方、図２（ｂ）は検出漏れがある場合であり、画像内の右上方の歩行者が矩形線で囲まれていない。

ナビゲーションシステム６は、自車の現在位置や走行方向の検出及び目的地までの経路案内などを行うシステムである。特に、ナビゲーションシステム６では、現在位置検出部６ａで現在位置を検出する毎に、その現在位置情報を現在位置信号としてＥＣＵ５に送信する。また、ナビゲーションシステム６では、ＥＣＵ５から地図情報要求信号を受信すると、地図・環境情報データベース６ｂから現在位置周辺の地図情報や環境情報を読み出し、その読み出した情報を地図情報信号としてＥＣＵ５に送信する。また、ナビゲーションシステム６では、ＥＣＵ５から人ごみ情報要求信号を受信すると、人ごみ情報データベース６ｃから現在位置周辺の人ごみ情報を読み出し、その読み出した人ごみ情報を人ごみ情報信号としてＥＣＵ５に送信する。さらに、ナビゲーションシステム６では、ＥＣＵ５から新たに生成された人ごみ情報からなる人ごみ情報蓄積信号を受信すると、その人ごみ情報を人ごみ情報データベース６ｃに格納する。なお、第１の実施の形態では、人ごみ情報データベース６ｃが特許請求の範囲に記載する検出情報保持手段に相当する。

なお、環境情報は、地図で示される各場所に関する様々な情報であり、例えば、工場地区、商業地区、住宅地区、市街地、山間、田園、高速道路などの場所のシーン情報である。ナビゲーションシステム６が環境情報を保持していない場合、ＥＣＵ５では地図情報だけを取得する。人ごみ情報データベース６ｃについては、ナビゲーションシステム６で人ごみ情報を使用しない場合にはＥＣＵ５に構成されてもよい。また、ＥＣＵ５から地図情報要求信号や人ごみ情報要求信号を送信することなく、ナビゲーションシステム６が、現在位置情報を送信するときに、現在位置周辺の地図情報や環境情報及び人ごみ情報を自動的に送信するようにしてもよい。

ＥＣＵ５は、ＣＰＵ[Central Processing Unit]、ＲＯＭ[ReadOnly Memory]、ＲＡＭ[Random Access Memory]などからなり、ＲＯＭに保持されるソフトウエアをＣＰＵで実行することによってパラメータ調整部５ａ、歩行者検出部５ｂ、検出結果解析部５ｃが構成される。ＥＣＵ５では、一定時間毎に、赤外線カメラ３から画像信号を受信し、赤外線映像（赤外線画像）から歩行者を検出する。そして、ＥＣＵ５では、その赤外線映像と歩行者の検出結果を表示装置４に表示させる。特に、ＥＣＵ５では、ナビゲーションシステム６からの各情報と歩行者の検出結果から人ごみ情報を生成し、ナビゲーションシステム６に人ごみ情報を蓄積させる。そして、ＥＣＵ５では、蓄積した人ごみ情報から現在位置の人ごみ情報を抽出し、その人ごみ情報に応じて歩行者検出に用いるパラメータを設定する。なお、第１の実施の形態では、パラメータ調整部５ａが特許請求の範囲に記載する物体基準設定手段に相当し、歩行者検出部５ｂが特許請求の範囲に記載する物体検出手段に相当する。

パラメータ調整部５ａでは、ナビゲーションシステム６からの現在位置情報を取得すると、その現在位置の人ごみ情報を要求する人ごみ情報要求信号を送信し、ナビゲーションシステム６から現在位置の人ごみ情報を取得する。そして、パラメータ調整部５ａでは、現在位置において過去に検出した歩行者の数が人ごみ判定数以上か否かを判定し、人ごみ判定数未満の場合には通常用パラメータを設定し、人ごみ判定数以上の場合には人ごみ用パラメータを設定する。

人ごみ判定数は、検出漏れが起こる可能性のある最低限の歩行者の数であり、実験などによって予め設定される。通常用パラメータは、通常時（歩行者の数が少ない時）に歩行者検出で用いるパラメータであり、誤検出及び検出漏れの抑制を考慮したバランス型の検出率となるパラメータである。人ごみ用パラメータは、歩行者の数が多い時（ひいては、検出漏れが起こる可能性がある時）に歩行者検出で用いるパラメータであり、検出率をアップさせるためのパラメータである。したがって、人ごみ用パラメータは、歩行者が検出されやすくなるパラメータであり、通常用パラメータを緩和したパラメータである。各パラメータは、実験などによって予め設定される。

人ごみ用パラメータについては、１段階でもよいし、あるいは、歩行者の数が増加するほど緩和度合いが大きくなる複数段階のパラメータでもよい。例えば、人ごみ用パラメータとして、歩行者の数の増加に応じて少人数用、中人数用、多人数用の３段階用意し、段階的に緩和してゆく。

歩行者検出部５ｂでは、パラメータ調整部５ａで設定した通常用パラメータ又は人ごみ用パラメータを用いて、赤外線カメラ３からの赤外線画像から歩行者を検出する。歩行者の検出方法としては、特に限定せず、各種方法が適用可能である。したがって、パラメータも、検出方法によって変わり、パラメータの緩和のさせ方も検出方法によって変わる。

検出方法としては、例えば、歩行者のテンプレートを用意し、テンプレートを用いたパターンマッチングによる方法がある。具体的には、赤外線画像から所定の大きさの領域（歩行者候補領域）を順次切り出し、テンプレートの画像と切り出した各歩行者候補領域画像とのマッチング度（評価値）を求め、そのマッチング度が閾値以上の場合にはその歩行者候補が歩行者と判断される。この際、歩行者全体のテンプレートを用意し、１段階のパターンマッチングによって歩行者を検出してもよいし、あるいは、歩行者の頭、足、腕、胴体などの部分的なテンプレートを複数用意し、複数段階のパターンマッチングによって歩行者を検出してもよい。複数段階の場合、各段階において各歩行者候補に対してパターンマッチングをそれぞれ行い、各歩行者候補のマッチング度が閾値以上の場合にだけその歩行者候補が次の段階でのパターンマッチングに移行し、全ての段階でマッチング度が閾値以上となった歩行者候補が歩行者と判断される。このようなパターンマッチングの場合、マッチング度を判定する閾値や段階数がパラメータとなる。パラメータを緩和するためには、閾値の場合には値を小さくするほど緩和となり、段階数の場合には数を少なくするほど緩和となる。

検出が終了すると、歩行者検出部５ｂでは、赤外線画像（白黒の濃淡画像）に検出した歩行者を強調した表示画像を生成し、その表示画像情報を表示信号として表示装置４に送信する。歩行者を強調する表示方法としては、例えば、赤外線画像内の歩行者を矩形線で囲んで表示する（図２参照）。

検出結果解析部５ｃでは、現在位置の地図情報を要求する地図情報要求信号を送信し、ナビゲーションシステム６から地図情報や環境情報を取得する。そして、検出結果解析部５ｃでは、歩行者検出部５ｂで検出した歩行者の数と現在位置及び現在位置の地図情報や環境情報を対応付けて人ごみ情報を生成する。さらに、検出結果解析部５ｃでは、その人ごみ情報からなる人ごみ情報蓄積信号をナビゲーションシステム６に送信し、人ごみ情報データベース６ｃに蓄積させる。

歩行者の数の増減（人ごみの状況）は場所が大きな要因となるが、時間帯や曜日など様々な要因によって歩行者の数は変化する。そこで、人ごみ情報として歩行者の数に対応付ける情報としては、場所情報（現在位置など）だけでなく、人ごみ状況が変化する要因となる様々な情報を対応付けてもよい。人ごみが変化する要因となる情報としては、例えば、曜日、休日／平日、季節、時間帯、天気、気温がある。このように、場所情報以外の情報が人ごみ情報に付加されている場合、パラメータ調整部５ａでは、これら情報も考慮し、パラメータを設定するようにする。例えば、過去の検出においてある場所で晴れの日の平日の朝に歩行者が３人以上存在したのは１００％、５人以上存在したのは９０％以上のデータが蓄積されている場合、その場所で晴れの日の平日の朝に歩行者が３人以上検出できたときには人ごみ用パラメータを設定する。このように、人ごみ状況が変化する要因も人ごみ情報として付加することにより、人ごみ状況をより高精度かつより詳細に推測することができる。

また、過去に走行した同一の場所を再度走行した場合、既に蓄積されているその場所についての人ごみ情報に加えて、新たな人ごみ情報も蓄積してゆく。このように、同じ場所について人ごみ情報を蓄積してゆくことにより、その場所についての人ごみ状況をより高精度に推測することが可能となる。

なお、ＥＣＵ５では、人ごみ用パラメータを用いて歩行者検出を行っている場合にバックグランドで通常用パラメータを用いて歩行者検出を行い、この２つのパラメータによる検出結果を比較検証するようにしてもよい。この場合、ＥＣＵ５では、この検証結果から人ごみ用パラメータを用いる必要がないと判断した場合、人ごみ用パラメータから通常用パラメータに切り替える。このような処理を行うのは、人ごみ情報が未だ蓄積されていない段階から早期に人ごみ用パラメータを使用する場合や蓄積している人ごみ情報の信頼性が低い場合に有効である。

図１を参照して、ナイトビューシステム１の動作について説明する。特に、ＥＣＵ５における処理については図３のフローチャートに沿って説明する。図３は、第１の実施の形態に係るナイトビューシステムのＥＣＵにおける処理の流れを示すフローチャートである。

赤外線カメラ３では、赤外線を取り入れて赤外線映像化し、一定時間毎に各フレームの赤外線画像情報の画像信号をＥＣＵ５に送信している。ナビゲーションシステム６では、現在位置を検出し、その現在位置信号をＥＣＵ５に送信している。

ＥＣＵ５では、一定時間毎に、赤外線カメラ３から画像信号を受信し、赤外線画像を取得する（Ｓ１）。また、ＥＣＵ５では、ナビゲーションシステム６から現在位置信号を受信し、現在位置を取得する（Ｓ２）。さらに、ＥＣＵ５では、ナビゲーションシステム６から人ごみ情報信号を受信し、現在位置周辺の人ごみ情報を取得する（Ｓ３）。

そして、ＥＣＵ５では、現在位置とその現在位置おける人ごみ情報（過去に検出された歩行者の数）に基づいて、歩行者検出に用いるパラメータを設定する（Ｓ４）。ここでは、過去の検出結果から現在位置が人ごみと推測できる場合には人ごみ用パラメータが設定され、人ごみでないと推測できる場合には通常用パラメータが設定される。

次に、ＥＣＵ５では、その設定したパラメータを用いて、パターンマッチングなどによって赤外線画像から歩行者を検出する（Ｓ５）。ここでは、人ごみ用パラメータが設定されている場合には歩行者の検出率がアップし、通常用パラメータが設定されている場合にはバランス型の検出率により誤検出が抑制される。

さらに、ＥＣＵ５では、検出した歩行者の数情報と現在位置などの場所情報とを対応付けた人ごみ情報を生成し、人ごみ情報蓄積信号をナビゲーションシステム６に送信する（Ｓ６）。この人ごみ情報蓄積信号を受信すると、ナビゲーションシステム６では、人ごみ情報を人ごみ情報データベース６ｃに格納する。

また、ＥＣＵ５では、赤外線画像に歩行者の検出結果を示す表示画像を生成し、その表示信号を表示装置４に送信する（Ｓ７）。この表示信号を受信すると、表示装置４では、赤外線画像に検出した歩行者を強調した画像を表示する。

このナイトビューシステム１によれば、現在位置における歩行者の数に応じて歩行者検出に用いるパラメータを設定することにより（特に、歩行者の数が多い場所ではパラメータを通常より緩和することにより）、歩行者が多い場所での検出漏れを抑制できるとともに歩行者が少ない場所での誤検出を抑制することができる。その結果、システム全体としての歩行者の検出精度を向上させることができ、運転者に対してより正確な歩行者情報を提供することができる。そのため、運転者の検出漏れや誤検出による不安感を解消することができるとともに、正確な歩行者情報により安全性を向上させることができる。

さらに、ナイトビューシステム１によれば、歩行者の検出結果とその検出した場所情報などを人ごみ情報として蓄積してゆくことにより、その場所を再度走行するときの人ごみ状況（歩行者の数）を高精度に推測することができ、人ごみ状況に応じたパラメータの設定が可能となる。

なお、人ごみ用パラメータを用いた場合、検出率がアップするが、誤検出率もアップする。しかし、人ごみの場合、画像に占める歩行者の面積割合が増加するので、画像に占める誤検出が起こる可能性のある面積割合（つまり、歩行者が存在しない面積割合）が減少する。したがって、ΔＥＲＲＯＲ（システムとしての誤検出率の変化量）＝Δｅｒｒ（パラメータによって変化する誤検出率の変化量）×ΔＳ（誤検出の起こる可能性のある面積の変化量）とすると、人ごみ用パラメータを使用した場合にはΔｅｒｒが増加するがΔＳが減少するので、人ごみ用パラメータを使用した場合でもΔＥＲＲＯＲの増加を抑えることができる。

ちなみに、人ごみにおいて誤検出が起こったとしても、歩行者が全く存在しない場所で起こる誤検出とは違い、運転者にとってはその煩わしさは格段に違う。そのため、運転者にとっては人ごみにおいては検出漏れが起きないことの方が重要であり、検出漏れを解消することがシステムにとしての価値が高まる。

次に、図４を参照して、第２の実施の形態に係るナイトビューシステム１１について説明する。図４は、第２の実施の形態に係るナイトビューシステムの構成図である。なお、ナイトビューシステム１１では、第１の実施の形態に係るナイトビューシステム１と同様の構成について同一の符号を付し、その説明を省略する。

ナイトビューシステム１１は、ナイトビューシステム１と同様のシステムであるが、パラメータを設定する際の歩行者の数の取得方法（人ごみ状況の検知方法）が異なる。ナイトビューシステム１１では、前フレームの赤外線画像から検出した歩行者の数を保持し、その歩行者の数から現在検出を行っている場所の人ごみ状況を推測する。ナイトビューシステム１１は、赤外線投光器２、赤外線カメラ３、表示装置４及びＥＣＵ１５を備えている。

ＥＣＵ１５は、ＣＰＵ、ＲＯＭ、ＲＡＭなどからなり、ＲＯＭに保持されるソフトウエアをＣＰＵで実行することによってパラメータ調整部１５ａ、歩行者検出部１５ｂ、検出結果保持部１５ｃが構成される。ＥＣＵ１５では、第１の実施の形態に係るＥＣＵ５と同様に、赤外線画像から歩行者を検出し、その赤外線映像と歩行者の検出結果を表示装置４に表示させる。特に、ＥＣＵ１５では、各フレームの赤外線画像で歩行者検出を行う毎に、そのフレームで検出した歩行者の数を保持する。そして、ＥＣＵ１５では、前フレームの保持した歩行者の数に応じて現フレームの歩行者検出に用いるパラメータを設定する。なお、第２の実施の形態では、パラメータ調整部１５ａが特許請求の範囲に記載する物体基準設定手段に相当し、歩行者検出部１５ｂが特許請求の範囲に記載する物体検出手段に相当する。

パラメータ調整部１５ａでは、検出結果保持部１５ｃで保持している前フレームにおいて検出された歩行者の数が人ごみ判定数以上か否かを判定し、人ごみ判定数未満の場合には通常用パラメータを設定し、人ごみ判定数以上の場合には人ごみ用パラメータを設定する。赤外線画像のフレーム間は１／３０秒程度の非常に短い間隔であり、そのフレーム間間隔で車両が走行できる距離は非常に短い。したがって、前フレームと現フレームとの間では、歩行者の数（人ごみ状況）も殆ど変わらないと推測できる。そこで、前フレームで検出した歩行者の数を用いて、現フレームでの人ごみの状況を推測している。

歩行者検出部１５ｂでは、第１の実施の形態に係る歩行者検出部５ｂと同様の処理を行い、現フレームの赤外線画像が入力される毎に、パラメータ調整部１５ａで設定した通常用パラメータ又は人ごみ用パラメータを用いてその赤外線画像から歩行者を検出する。

検出結果保持部１５ｃでは、歩行者検出部１５ｂで歩行者検出を行う毎に、現フレームで検出された歩行者の数を保持する。この保持した歩行者の数が、次フレームでのパラメータの設定の際に利用される。

図４を参照して、ナイトビューシステム１１の動作について説明する。特に、ＥＣＵ１５における処理については図５のフローチャートに沿って説明する。図５は、第２の実施の形態に係るナイトビューシステムのＥＣＵにおける処理の流れを示すフローチャートである。

第１の実施の形態と同様に、赤外線カメラ３では一定時間毎に各フレームの赤外線画像情報の画像信号をＥＣＵ１５に送信しており、ナビゲーションシステム６では現在位置信号をＥＣＵ１５に送信している。

ＥＣＵ１５では、一定時間毎に、赤外線カメラ３から画像信号を受信し、現フレームの赤外線画像を取得する（Ｓ１１）。

ＥＣＵ１５では、保持している前フレームで検出された歩行者の数に基づいて、歩行者検出に用いるパラメータを設定する（Ｓ１２）。ここでは、直前に検出された歩行者の数から現在位置が人ごみと推測できる場合には人ごみ用パラメータが設定され、人ごみでないと推測できる場合には通常用パラメータが設定される。

次に、ＥＣＵ１５では、その設定したパラメータを用いて、パターンマッチングなどによって赤外線画像から歩行者を検出する（Ｓ１３）。そして、ＥＣＵ１５では、その現フレームで検出された歩行者の数を保持する（Ｓ１４）。さらに、第１の実施の形態と同様に、ＥＣＵ１５では表示信号を表示装置４に送信し（Ｓ１５）、表示装置４では赤外線画像に検出した歩行者を強調した画像を表示する。

このナイトビューシステム１１によれば、ナイトビューシステム１と同様に、歩行者が多い場所での検出漏れを抑制できるとともに歩行者が少ない場所での誤検出を抑制することができ、システム全体としての歩行者の検出精度を向上させることができる。さらに、ナイトビューシステム１１によれば、歩行者の検出結果を保持するという非常に簡単な構成により、現フレームの人ごみ状況を高精度に推測することができ、人ごみ状況に応じたパラメータの設定が可能となる。

以上、本発明に係る実施の形態について説明したが、本発明は上記実施の形態に限定されることなく様々な形態で実施される。

例えば、本実施の形態では赤外線カメラで撮像した赤外線画像に基づく歩行者検出に適用したが、赤外線以外の不可視カメラで撮像した不可視画像あるいは可視カメラで撮像した可視画像に基づく歩行者検出にも適用可能であり、また、検出対象物体も歩行者以外の様々な物体に適用可能である。また、本実施の形態では車両に搭載されるナイトビューシステムに適用したが、ナイトビューシステム以外の物体検出を行う車載装置にも適用可能であり、あるいは、車載装置に限定されることなく、様々な用途に適用可能である。

また、本実施の形態では歩行者の判定方法として検出候補に対する評価値がパラメータを上回った場合にその検出候補を歩行者と判定する構成としたが、検出候補に対する評価値がパラメータを下回った場合にその検出候補を歩行者と判定する構成としてもよい。この場合、パラメータの値を大きくすることによってパラメータを緩和したことになる。

また、第１の実施の形態では車両走行中にナイトビューシステム自体で行った歩行者の検出結果に基づく人ごみ情報を人ごみ情報データベースに蓄積する構成としたが、人が行った歩行者の検出結果あるいは路上の周辺監視装置などの他の装置で行った歩行者の検出結果などから人ごみ情報を生成し、この人ごみ情報を人ごみ情報データベースに予め保持させる構成としてもよい。

また、第２の実施の形態では前フレームの赤外線画像から検出された歩行者数に基づいてパラメータを設定する構成としたが、前フレームだけでなく、前フレームから数フレーム前までの複数フレームでそれぞれ検出された各歩行者数に基づいてパラメータを設定する構成としてもよい。例えば、数フレーム連続して歩行者が人ごみ判定数以上検出された場合に人ごみ用パラメータを設定する。

また、第１の実施の形態では過去の人ごみ情報を利用してパラメータを設定し、第２の実施の形態では前フレームで検出された歩行者数を利用してパラメータを設定する構成としたが、過去の人ごみ情報と前フレームで検出された歩行者数を両方利用してパラメータを設定するようにしてもよい。例えば、過去の人ごみ情報で歩行者が検出されていない場合でも、前フレームで歩行者が人ごみ判定数以上検出されたときには、現フレーム以降でも検出される可能性が高いので、人ごみ用パラメータを設定する。また、過去の人ごみ情報で人ごみ判定数以上の歩行者が検出されており、人ごみ用パラメータを設定した場合でも、前フレームで人ごみ判定数以上の歩行者が検出されないときには、現フレーム以降でも検出される可能性が低いので、通常用パラメータに戻す。

第１の実施の形態に係るナイトビューシステムの構成図である。 本実施の形態に係るナイトビューシステムの表示装置に表示される画像の一例であり、（ａ）が検出漏れがない場合であり、（ｂ）が検出漏れがある場合である。 第１の実施の形態に係るナイトビューシステムのＥＣＵにおける処理の流れを示すフローチャートである。 第２の実施の形態に係るナイトビューシステムの構成図である。 第２の実施の形態に係るナイトビューシステムのＥＣＵにおける処理の流れを示すフローチャートである。

符号の説明

１，１１…ナイトビューシステム、２…赤外線投光器、３…赤外線カメラ、４…表示装置、５，１５…ＥＣＵ、５ａ，１５ａ…パラメータ調整部、５ｂ，１５ｂ…歩行者検出部、５ｃ…検出結果解析部、１５ｃ…検出結果保持部、６…ナビゲーションシステム、６ａ…現在位置検出部、６ｂ…地図・環境情報データベース、６ｃ…人ごみ情報データベース

Claims (5)

1. 車両に搭載され、撮像手段で撮像した撮像画像から歩行者を検出する物体検出装置であって、
   車両の現在位置における歩行者の数に基づいて検出基準を設定する検出基準設定手段と、
   前記検出基準設定手段で設定した検出基準に基づいて撮像画像から歩行者を検出する物体検出手段と
   を備え、
   前記検出基準設定手段は、車両の現在位置における歩行者の数が多い場合には少ない場合に比べて緩和した検出基準を設定することを特徴とする物体検出装置。
2. 前記検出基準設定手段は、車両の現在位置における歩行者の数が多いほど、より緩和した検出基準を設定することを特徴とする請求項１に記載する物体検出装置。
3. 少なくとも歩行者の数情報と当該歩行者を検出した場所情報とを対応付けて保持する検出情報保持手段を備え、
   前記検出基準設定手段は、前記検出情報保持手段で保持している情報を参照し、検出基準を設定することを特徴とする請求項１又は請求項２に記載する物体検出装置。
4. 前記物体検出手段は、歩行者検出を行う際の評価値が検出基準を上回った場合に歩行者と判定し、
   前記検出基準設定手段は、車両の現在位置における歩行者の数が多い場合には少ない場合に比べて検出基準として小さい値を設定することを特徴とする請求項１〜請求項３のいずれか１項に記載する物体検出装置。
5. 前記物体検出手段は、歩行者検出を行う際の評価値が検出基準を下回った場合に歩行者と判定し、
   前記検出基準設定手段は、車両の現在位置における歩行者の数が多い場合には少ない場合に比べて検出基準として大きい値を設定することを特徴とする請求項１〜請求項３のいずれか１項に記載する物体検出装置。

Images