JP2012053663A - 物体種別判定装置 - Google Patents

Abstract

【課題】特定種別の物体の検出漏れが生じることを抑制した物体種別判定装置を提供する。
【解決手段】赤外線カメラ２による撮像画像から、物体の画像部分を抽出する画像部分抽出部１３と、前記画像部分について、特定種別の物体を想定して決定された複数の判定要素を抽出する判定要素抽出部と、前記複数の判定要素に対して抽出結果に応じた点数を付与すると共に、付与した点数の合計点である判定要素総合点を算出する判定要素総合点算出部１５と、判定要素総合点が基準値以上であるときに、前記画像部分に対応する実空間上の物体の種別が前記特定種別であると判定する物体種別判定部１６とを備える。
【選択図】 図２

Description

本発明は、カメラにより撮像された物体の画像に基づいて、物体の種別を判定する物体種別判定装置に関する。

従来より、例えば車両に取り付けられたカメラによる撮像画像に含まれる画像部分について、予め設定された判定条件を満たしているか否かを判断することにより、画像部分に対応する実空間上の物体の種別を判定するようにした物体種別判定装置が提案されている（例えば、特許文献１参照）。

特開２００３−２８４０５７号公報

上述した特許文献１に記載された物体種別判定装置においては、撮像画像中の画像部分について、グレースケール画像での輝度平均値及び時系列画像間での輝度変化、２値画像での高さ，幅，路面からの高さ等の複数の判断要素が、歩行者を想定して設定された適当な範囲内であるか否かを判断している。そして、これらの判断要素のうちの少なくとも１つが適当な範囲外となったときに、画像部分に対応する実空間上の物体は歩行者ではないと判定している。

そのため、撮像条件が悪化して、各判断要素のうちのいずれかの抽出精度が低下したときに、歩行者等の特定種別の物体の検出漏れが生じ易いという不都合があった。

本発明は上記背景を鑑みてなされたものであり、特定種別の物体の検出漏れが生じることを抑制した物体種別判定装置を提供することを目的とする。

本発明は上記目的を達成するためになされたものであり、カメラによる撮像画像から、該カメラの視野内に存在する物体の画像部分を抽出する画像部分抽出部と、前記画像部分について、特定種別の物体を想定して決定された複数の判定要素を抽出する判定要素抽出部と、前記複数の判定要素に対して抽出結果に応じた点数を付与すると共に、付与した点数の合計点である判定要素総合点を算出する判定要素総合点算出部と、前記判定要素総合点が基準値以上であるときに、前記画像部分に対応する実空間上の物体の種別が前記特定種別であると判定する物体種別判定部とを備えることを特徴とする（第１発明）。

第１発明によれば、前記判定要素抽出部により、前記画像部分について前記特定種別用の複数の判定要素が抽出され、前記判定要素総合点算出部により、前記各判定要素の抽出結果に応じた点数が付与されて前記判定要素総合点が算出される。そして、前記物体種別判定部により、前記判定要素総合点が前記基準値以上であるときに、前記画像部分に対応する実空間上の物体の種別が前記特定種別であると判定される。

このように、第１発明によれば、前記画像部分について、前記特定種別用の複数の判定要素を考慮して算出された前記判定要素総合点を用いて、前記画像部分に対応する実空間上の物体の種別が前記特定種別であるか否かが判定される。この場合、前記複数の判定要素のうちのいくつかの抽出レベルが低い場合であっても、他の判定要素の抽出レベルが高ければ前記特定種別であると判定されるため、前記特定種別の物体の検出漏れが生じることを抑制することができる。

また、第１発明又は第２発明において、前記判定要素総合点の値に応じて区分した複数の態様による報知を行なう物体報知部を備えたことを特徴とする（第２発明）。

第２発明によれば、前記判定要素総合点は、前記画像部分に対応する実空間上の物体の種別が前記特定種別である可能性の高低を示すものであるため、前記判定要素総合点の値に応じて区分した複数の態様による報知を行なうことによって、使用者に該物体が前記特定種別の物体である可能性を認識させることができる。

また、第１発明又は第２発明において、前記撮像画像の少なくとも一部のコントラストを検出するコントラスト検出部と、前記コントラストの低下に応じて前記基準値を減少させる基準値変更部とを備えることを特徴とする（第３発明）。

また、第１発明又は第２発明において、前記撮像画像の少なくとも一部のコントラストを検出するコントラスト検出部を備え、前記判定要素総合点算出部は、前記コントラストの低下に応じて、前記複数の判定要素に対して付与する点数、又は前記判定要素総合点を増加させる第１点数補正処理を行うことを特徴とする（第４発明）。

第３発明又は第４発明において、前記撮像画像のコントラストが低下すると、前記複数の判定要素の抽出レベルが低くなって付与される点数が低くなると想定される。そのため、前記基準値変更部により前記基準値を減少させることによって、或いは、前記判定要素総合点算出部により前記第１点数補正処理を行うことによって、前記カメラの撮像状況に起因する前記特定種別の物体の検出漏れが生じることを抑制することができる。

また、第１発明から第４発明のいずれかにおいて、前記カメラから前記物体までの距離を検出する距離検出部を備え、前記判定要素総合点算出部は、前記カメラから前記物体までの距離が長いほど、前記複数の判定要素に対して付与する点数、又は前記判定要素総合点を増加させる第２点数補正処理を行うことを特徴とする（第５発明）。

第５発明において、前記カメラから前記物体までの距離が長くなるに従って、前記カメラの撮像画像における前記物体の画像部分の大きさが小さくなり、画像部分の特徴量を抽出することが難しくなる。そこで、前記判定要素総合点算出部により前記第２点数補正処理を行うことによって、前記カメラから前記物体までの距離が長くなることに起因する前記特定種別の物体の検出漏れが生じることを抑制することができる。

また、第１発明から第５発明のいずれかにおいて、前記判定要素総合点算出部は、前記物体の画像部分の大きさが小さいほど、前記複数の判定要素に対して付与する点数、又は前記判定要素総合点を増加させる第３点数補正処理を行うことを特徴とする（第６発明）。

第６発明において、前記カメラから前記物体までの距離が同じであれば、前記物体の大きさが小さくなるに従って、前記カメラの撮像画像における前記物体の画像部分の大きさが小さくなり、画像部分の特徴量を抽出することが難しくなる。そこで、前記判定要素総合点算出部により前記第３点数補正処理を行うことによって、前記物体の大きさに起因する前記特定種別の物体の検出漏れが生じることを抑制することができる。

車両周辺監視装置の車両への取付態様の説明図。 車両周辺監視装置の構成図。 車両周辺監視装置の作動フローチャート。 形状による歩行者判定の説明図。 相似度合による歩行者判定の説明図。

本発明の実施形態について、図１〜図５を参照して説明する。図１を参照して、本実施形態の車両周辺監視装置１０は車両１に搭載して使用され、車両１には、遠赤外線を検出可能な赤外線カメラ２（本発明のカメラに相当する）が備えられている。

赤外線カメラ２は、車両１の前方を撮像するために車両１の前部に取り付けられており、車両１の前部を原点Ｏとして、車両１の左右方向をＸ軸、上下方向をＹ軸、前後方向をＺ軸とした実空間座標系が定義されている。なお、赤外線カメラ２に代えて、可視光等の他の波長域に感度を有するカメラを用いてもよい。

次に、図２を参照して、車両１には、車両１のヨーレートを検出するヨーレートセンサ３、車両１の走行速度を検出する車速センサ４、運転者によるブレーキの操作量を検出するブレーキセンサ５、音声による注意喚起等を行うためのスピーカ６、及び赤外線カメラ２により撮像された画像を表示すると共に、車両１と接触する可能性が高い物体を運転者に視認させる表示を行うためのヘッドアップディスプレイ（Head Up Display）７（以下、ＨＵＤ７という）が接続されている。ＨＵＤ７は、図１に示したように、車両１のフロントウインドウの運転者側の前方位置に画面７ａが表示されるように設けられている。

車両周辺監視装置１０は、赤外線カメラ２により撮像された物体の移動ベクトルを、ヨーレートセンサ３により検出される車両１のヨーレート及び車速センサ４により検出される車両１の走行速度等に基づいて算出する。そして、移動ベクトルにより車両１と接触する可能性がある物体を検知したときに、ブレーキセンサ５により検出されるブレーキ操作の有無を考慮して、ＨＵＤ７への表示及びスピーカ６からの音声出力によって、運転者に対する注意喚起を行う。

車両周辺監視装置１０はＣＰＵ，メモリ（図示しない）等により構成された電子ユニットであり、本発明の物体種別判定装置の機能を含んでいる。車両周辺監視装置１０は、赤外線カメラ２から出力される映像信号をデジタルデータに変換して画像メモリ（図示しない）に取り込み、画像メモリに取り込んだ車両１の前方の撮像画像に対して、ＣＰＵにより各種の演算処理を行う機能を有している。

そして、ＣＰＵに車両周辺監視装置１０の制御用プログラムを実行させることによって、ＣＰＵが、赤外線カメラ２により撮像された画像のコントラストを検出するコントラスト検出部１１、画像のコントラストに応じて後述する歩行者判定に使用される基準値を変更する基準値変更部１２、赤外線カメラ２により撮像された画像から所定条件を有する画像部分を抽出する画像部分抽出部１３、画像部分抽出部１３により抽出された画像部分について、後述する歩行者判定に使用される複数の判定要素を抽出する判定要素抽出部１４、各判定要素に点数を付与して判定要素総合点を算出する判定要素総合点算出部１５、判定要素総合点と基準値とを比較して歩行者判定を行う物体種別判定部１６、及び、歩行者判定により画像部分に対応する実空間上の物体の種別が歩行者（本発明の特定種別に相当する）であると判定されたときに、ＨＵＤ７による歩行者の画像の強調表示とスピーカ６からの注意音の出力を行う物体報知部１７として機能する。

次に、図３に示したフローチャートに従って、車両周辺監視装置１０による歩行者判定の処理について説明する。車両周辺監視装置１０は、所定の制御周期毎に図３に示したフローチャートによる処理を実行して、車両１の周辺に所在する歩行者を監視する。

車両周辺監視装置１０は、ＳＴＥＰ１で赤外線カメラ２から出力される映像信号を入力し、この映像信号をデジタルの諧調（輝度）データに変換したグレースケール画像を画像メモリに取り込む。

続くＳＴＥＰ２は、コントラスト検出部１１及び基準値変更部１２による処理である。コントラスト検出部１１はグレースケール画像のコントラストを検出し、基準値変更部１２は、グレースケール画像のコントラストが低いときに、後述する歩行者判定用の基準値を減少させる。なお、グレースケール画像のコントラストとして、グレースケール画像全体のコントラストを検出してもよく、グレースケール画像中の一部の領域（物体の画像部分を含む局所領域等）のコントラストを検出してもよい。

続くＳＴＥＰ３〜ＳＴＥＰ５は画像部分抽出部１３による処理である。画像部分抽出部１３は、ＳＴＥＰ３で、グレースケール画像の各画素について、輝度が所定の閾値以上である画素を「１」（白）とし、輝度が閾値よりも小さい画素を「０」（黒）とする２値化処理を行って２値画像を取得する。そして、画像部分抽出部１３は、２値画像中の白の各領域のランレングスデータを算出し、ラベリング処理等を行って車両１の前方に存在する物体（以下、対象物という）の画像部分を抽出する。

次のＳＴＥＰ４で、画像部分抽出部１３は、車両１と対象物３との距離を算出する。この距離の算出は、例えば特開２００７−２１３５６１号公報等に開示された、単一のカメラの撮像画像に基づく周知の手法によるので、ここでは説明を省略する。

なお、ステレオカメラによる視差に基づいて距離を算出する構成、或いはレーダーにより距離を検出する構成を採用してもよい。また、続くＳＴＥＰ５で、画像部分抽出部１３は、赤外線カメラ２による時系列の撮像画像間で同一の対象物の画像部分を抽出して、対象物を追跡する。

次のＳＴＥＰ６〜ＳＴＥＰ１１は、判定要素抽出部１４による処理である。図４を参照して、判定要素抽出部１４は、ＳＴＥＰ６で、赤外線カメラ２の撮像画像Ｉm1から抽出された対象物の画像部分３０から、歩行者の頭部の形状特徴を有する画像部分ＨＰを認識する。

また、判定要素抽出部１４は、続くＳＴＥＰ７で、画像部分ＨＰの下方に存在して、肩を含む胴体の形状特徴を有する画像部分ＢＰを認識し、ＳＴＥＰ８で、脚の形状特徴を有する画像部分ＲＬＰ（右足）とＬＬＰ（左足）を認識する。さらに、ＳＴＥＰ９で、判定要素抽出部１４は、画像部分３０の形状特徴が歩行者として不自然なとき（例えば、画像部分３０の幅や高さが歩行者として不自然なとき）に、画像部分３０を歩行者判定の対象から除外する。

続くＳＴＥＰ１０で、判定要素抽出部１４は、対象物の画像部分３０の外接四角形ＣＱＤの縦横比（Ｗb／Ｈb）を算出する。また、図５を参照して、判定要素抽出部１４は、赤外カメラ２によりdＴの時間間隔をもって撮像された時系列画像Ｉm2（撮像時点ｔ_１），Ｉm3間（撮像時点ｔ_２）での、同一の対象物の画像部分４０，４１の相似度合を算出する。なお、相似度合を算出する際には、車両１が対象物に接近することによる対象物の画像部分の大きさの変化分を、車両１と対象物との距離に基づいて補正する。

以上説明したように、判定要素抽出部１４は、ＳＴＥＰ６〜ＳＴＥＰ１１の処理により、歩行者の判定要素として、頭部の形状特徴を有する画像部分の存否、胴部の形状特徴を有する画像の存否、脚部の形状特徴を有する画像の存否、外接四角形の縦横比、及び時系列画像間の対象物の画像部分の相似度合という、五つの判定要素を抽出する。なお、歩行者判定用の判定要素はこれら五つに限られず、他の判定要素を用いてもよい。

次のＳＴＥＰ１２は判定要素総合点算出部１５による処理である。判定要素総合点算出部１５は、ＳＴＥＰ１２で、以下の表１に従って、各判定要素に点数を付与する。

そして、判定要素総合点算出部１５は、各判定要素の点数を合計して判定要素総合点を算出する。例えば、頭部と脚の画像部分が認識でき、対象物の外接四角形の縦横比が０．４で、時系列画像間での画像部分の相似度度合が０．７であったときには、判定要素総合点は以下の式（１）により算出される。

判定要素総合点＝３＋１＋３＋３＝１０ ・・・・・(1)
次のＳＴＥＰ１３は物体種別判定部１６による処理である。物体種別判定部１６は、以下の表２に従って、判定要素総合点の値（レベル）により、対象物が歩行者である可能性（対象物の歩行者らしさ）をＡ，Ｂ，Ｃの３段階に区分して求める。この場合、判定要素総合点がＡ又はＢの段階であるときに、対象物が歩行者であると判定される。

なお、各段階を区分するための基準値（５点、２点）は、上述したＳＴＥＰ２の処理により、撮像画像のコントラストが低いときに減少される。

次のＳＴＥＰ１４〜ＳＴＥＰ１５、ＳＴＥＰ２０〜ＳＴＥＰ２２、及びＳＴＥＰ３０〜ＳＴＥＰ３１は、物体報知部１７による処理である。物体報知部１７は、ＳＴＥＰ１４で、判定要素総合点のレベルがＣであるか否かを判断する。そして、判定要素総合点のレベルがＣであったとき、すなわち、対象物の人らしさが低いときはＳＴＥＰ１５に進み、物体報知１７は対象物の画像部分の周囲に白色の強調枠を表示する。この場合は、スピーカ６からの注意音の出力は行われない。そして、ＳＴＥＰ１６に進み、車両周辺監視装置１０は１制御周期での処理を終了する。

一方、ＳＴＥＰ１４で判定要素総合点のレベルがＣでなかったときにはＳＴＥＰ２０に分岐し、物体報知部１７は、判定要素総合点のレベルがＢであるか否かを判断する。そして、判定要素総合点のレベルがＢであったとき、すなわち、対象物の人らしさが中のときはＳＴＥＰ２１に進む。

ＳＴＥＰ２１で、物体報知部１７は、対象物の画像部分の周囲に黄色の強調枠を表示し、ＳＴＥＰ２２で低音の注意音をスピーカ６から出力して、運転者に歩行者に対する注意を促す。そして、ＳＴＥＰ１６に進み、車両周辺監視装置１０は１制御周期での処理を終了する。

また、ＳＴＥＰ２０で、判定要素総合点のレベルがＢでなかったとき、すなわち、判定要素総合点のレベルがＡであって、対象物の人らしさが高であるときには、ＳＴＥＰ３０に分岐する。

ＳＴＥＰ３０で、物体報知部１７は、対象物の画像部分の周囲に赤色の強調枠を表示し、ＳＴＥＰ３１で高音の注意音をスピーカ６から出力して、運転者に歩行者に対する注意を促す程度を高くする。そして、ＳＴＥＰ１６に進み、車両周辺監視装置１０は１制御周期での処理を終了する。

なお、本実施の形態では、本発明の特定種別が歩行者である場合を示したが、大型の野生動物等の他の特定種別についての判定を行う場合であっても、各特定種別に対応した複数の判定要素を設定することで、本発明の適用が可能である。

また、本実施の形態では、基準値変更部１２により、撮像画像のコントラストが低いときに上記表２の基準値を減少させたが、基準値は変更せずに、上記表１の点数又は判定要素総合点を増加させる第１点数補正処理を行うようにしてもよい。

また、本実施の形態においては、車両前方を撮像する構成を示したが、車両の後方や側方等、他の方向を撮像して、撮像された物体の種別を判定するようにしてもよい。

また、赤外線カメラ２から対象物までの距離を検出する距離検出部を備え、判定要素総合点算出部１５により、赤外線カメラ２から対象物までの距離が長いほど、上記表１の点数又は判定要素総合点を増加させる第２点数補正処理を行うようにしてもよい。この場合、距離検出部は、赤外線カメラ２による時系列の撮像画像における対象物の画像部分の大きさの変化率に基づいて距離を算出する構成、或いはレーダー等の測距装置を用いた構成等とすることができる。

また、判定要素総合点算出部１５により、赤外線カメラ２の撮像画像における対象物の画像部分の大きさが小さいほど、上記表１の点数又は判定要素総合点を増加させる第３点数補正処理を行うようにしてもよい。

１…車両、２…赤外線カメラ（撮像手段）、３…ヨーレートセンサ、４…車速センサ、５…ブレーキセンサ、６…スピーカ、７…ＨＵＤ、１０…車両周辺監視装置、１１…コントラスト検出部、１２…基準値変更部、１３…画像部分抽出部、１４…判定要素抽出部、１５…判定要素総合点算出部、１６…物体種別判定部、１７…物体報知部。

Claims (6)

1. カメラによる撮像画像から、該カメラの視野内に存在する物体の画像部分を抽出する画像部分抽出部と、
   前記画像部分について、特定種別の物体を想定して決定された複数の判定要素を算出する判定要素抽出部と、
   前記複数の判定要素に対して算出結果に応じた点数を付与すると共に、付与した点数の合計点である判定要素総合点を算出する判定要素総合点算出部と、
   前記判定要素総合点が基準値以上であるときに、前記画像部分に対応する実空間上の物体の種別が前記特定種別であると判定する物体種別判定部と
   を備えることを特徴とする物体種別判定装置。
2. 請求項１記載の物体種別判定装置において、
   前記判定要素総合点の値に応じて区分した複数の態様による報知を行なう物体報知部を備えたことを特徴とする物体種別判定装置。
3. 請求項１又は請求項２記載の物体種別判定装置において、
   前記撮像画像の少なくとも一部のコントラストを検出するコントラスト検出部と、
   前記コントラストの低下に応じて前記基準値を減少させる基準値変更部を備えることを特徴とする物体種別判定装置。
4. 請求項１又は請求項２記載の物体種別判定装置において、
   前記撮像画像の少なくとも一部のコントラストを検出するコントラスト検出部を備え、
   前記判定要素総合点算出部は、前記コントラストの低下に応じて、前記複数の判定要素に対して付与する点数、又は前記判定要素総合点を増加させる第１点数補正処理を行うことを特徴とする物体種別判定装置。
5. 請求項１から請求項４のうちいずれか１項記載の物体種別判定装置において、
   前記カメラから前記物体までの距離を検出する距離検出部を備え、
   前記判定要素総合点算出部は、前記カメラから前記物体までの距離が長いほど、前記複数の判定要素に対して付与する点数、又は前記判定要素総合点を増加させる第２点数補正処理を行うことを特徴とする物体種別判定装置。
6. 請求項１から請求項５のうちいずれか１項記載の物体種別判定装置において、
   前記判定要素総合点算出部は、前記物体の画像部分の大きさが小さいほど、前記複数の判定要素に対して付与する点数、又は前記判定要素総合点を増加させる第３点数補正処理を行うことを特徴とする物体種別判定装置。

Images