JP2016012304A - 対象物認識装置 - Google Patents

対象物認識装置 Download PDF

Info

Publication number
JP2016012304A
JP2016012304A JP2014134670A JP2014134670A JP2016012304A JP 2016012304 A JP2016012304 A JP 2016012304A JP 2014134670 A JP2014134670 A JP 2014134670A JP 2014134670 A JP2014134670 A JP 2014134670A JP 2016012304 A JP2016012304 A JP 2016012304A
Authority
JP
Japan
Prior art keywords
candidate image
image
captured
pedestrian
determination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014134670A
Other languages
English (en)
Other versions
JP6230498B2 (ja
Inventor
瞬 岩崎
Shun Iwasaki
瞬 岩崎
宮川　恵介
Keisuke Miyagawa
恵介 宮川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2014134670A priority Critical patent/JP6230498B2/ja
Priority to CN201510272602.7A priority patent/CN105320930B/zh
Priority to US14/748,416 priority patent/US9508000B2/en
Priority to DE102015211874.6A priority patent/DE102015211874A1/de
Publication of JP2016012304A publication Critical patent/JP2016012304A/ja
Application granted granted Critical
Publication of JP6230498B2 publication Critical patent/JP6230498B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】カメラの撮像画像から歩行者の画像部分の候補が多数抽出されたときに、歩行者認識に要する時間を短縮することができる対象物認識装置を提供する。
【解決手段】 対象物認識装置１０は、カメラ２の撮像画像２１から歩行者の可能性がある対象物の画像部分である候補画像部分２２を抽出する候補画像抽出部１２と、抽出された候補画像部分について、対応する実空間位置とカメラ２との間の距離を算出する距離算出部１３と、対応する実空間位置が、カメラ２の撮像方向におけるカメラ２からの距離が第１所定距離を超える第２所定距離範囲内であり且つ撮像方向に直交する水平方向の幅が所定幅以内である判定領域Ｒに属する候補画像部分２２が、所定数ｋ個以上抽出されたときに、対応する実空間位置が判定領域Ｒに属する候補画像部分２２は歩行者の画像部分である可能性が低いと判定する候補画像判定部１４とを備える。
【選択図】 図２

Description

本発明は、カメラの撮像画像に基づいて対象物を認識する対象物認識装置に関する。
従来より、車両に搭載されたカメラにより撮像された車両前方の道路の画像から、前記車両との接触を回避すべき対象となる歩行者を認識する対象物認識装置が知られている（例えば、特許文献１参照）。
特許文献１に記載された対象物認識装置では、前記カメラによる撮像画像から車両の周辺に存在する対象物の画像部分（歩行者の画像部分の候補）を抽出した後に、前記対象物の画像部分が歩行者の画像部分であるか否かを識別する。その後、歩行者の画像部分であると識別された画像部分について歩行者の向きを判別して、車両との接触を回避すべき回避対象であるかを判定し、その判定結果に基づいて運転者に対する報知を行っている。
対象物の画像部分が歩行者の画像部分であるか否かを識別する方法としては、対象物の画像部分の縦横比、対象物の画像部分と該対象物の画像部分の外接四角形の面積との比等の対象物の形状を示す特徴や、対象物の画像部分の大きさ、グレースケール画像上での輝度分散等の特徴に基づいて識別する手法が用いられている。
特開２００７−２７９８０８号公報
カメラの撮像画像から歩行者を認識するとき、歩行者の画像部分の候補が多数抽出された場合には、各候補に対して歩行者の画像部分であるか否かを識別することになるので、歩行者認識に要する時間が長くなるという問題がある。
本発明はかかる背景に鑑みてなされたものであり、カメラの撮像画像から歩行者の画像部分の候補が多数抽出されたときに、歩行者認識に要する時間を短縮することができる対象物認識装置を提供することを目的とする。
本発明は、上記目的を達成するためになされたものであり、本発明の対象物認識装置は、
カメラの撮像画像から歩行者の可能性がある対象物の画像部分である候補画像部分を抽出する候補画像抽出部と、
前記候補画像抽出部により抽出された候補画像部分について、対応する実空間位置と前記カメラとの間の距離を算出する距離算出部と、
前記候補画像抽出部により、対応する実空間位置が、前記カメラの撮像方向における前記カメラからの距離が第１所定距離以上第２所定距離以下の範囲内であって且つ前記撮像方向に直交する水平方向の幅が所定幅以内である判定領域に属する候補画像部分が、第１所定数以上抽出されたときに、対応する実空間位置が前記判定領域に属する候補画像部分は歩行者の画像部分である可能性が低いと判定する候補画像判定部とを
を備えたことを特徴とする。
本発明の対象物認識装置では、まず、候補画像抽出部により、カメラの撮像画像から歩行者の可能性がある対象物の画像部分である候補画像部分を抽出する。
次に、距離算出部により、前記候補画像抽出部により抽出された候補画像部分について、対応する実空間位置の前記カメラからの距離を算出する。
次に、候補画像判定部により、前記候補画像部分抽出部により抽出された候補画像部分のうち、対応する実空間位置が、前記カメラの撮像方向における前記カメラからの距離が第１所定距離以上第２所定距離以下の範囲内であって且つ前記撮像方向に直交する水平方向の幅が所定幅以内である判定領域に属するものをカウントする。そして、対応する実空間位置が前記判定領域に属する候補画像部分が第１所定数以上抽出されたときに、これらの候補画像部分は歩行者の画像部分である可能性が低いと判定する。
本発明の対象物認識装置によれば、前記候補画像判定部による簡単な演算処理により、歩行者の画像部分である可能性が低い候補画像部分を識別することができるので、多数の候補画像部分が抽出されたときの歩行者認識に要する時間を短縮することができる。
ここで、前記判定領域とは、前記撮像画像中の前記条件を満たす領域であるか、又は、前記撮像画像を実空間に変換したときに前記条件を満たす領域をいう。
また、「対応する実空間位置が、前記カメラの撮像方向における前記カメラからの距離が第１所定距離以上第２所定距離以下の範囲内であって且つ前記撮像方向に直交する水平方向の幅が所定幅以内である判定領域に属する候補画像部分が抽出される」事例としては、例えば、カメラの撮像方向において第１所定距離以上第２所定距離以下の範囲内の距離に相当する遠方に存在する多数の木々や山の連なり等の画像部分が、候補画像部分として抽出された場合を挙げることができる。
また、本発明の対象物認識装置は、前記候補画像抽出部により抽出された候補画像部分のうち、前記候補画像判定部により歩行者の画像部分である可能性が低いと識別された候補画像部分を除外した候補画像部分に対して、候補画像部分が歩行者の画像部分であるか否かを識別する歩行者識別処理を行う歩行者画像識別部を備えることが好ましい。
この構成によれば、前記歩行者画像識別部は、前記候補画像抽出部により抽出された候補画像部分のうち、前記候補画像判定部により歩行者の画像部分である可能性が低いと識別された候補画像部分を除外した残りの候補画像部分に対して、前記歩行者識別処理を行う。これにより、前記歩行者識別処理の対象となる候補画像部分の数を減らして、歩行者認識に要する時間を短縮することができる。
さらに、本発明の対象物認識装置において、１時点で撮像された１枚の撮像画像を用いて前記判定を行ってもよいが、経時的に連続して撮像された複数の撮像画像を用いて前記判定を行うことも可能である。
例えば、前記候補画像判定部は、経時的に連続して撮像された所定撮像枚数以上の各撮像画像において、前記判定領域内で前記候補画像部分が前記第１所定数以上抽出されるか、又は、それぞれの前記撮像画像の前記判定領域内で抽出された前記候補画像部分の平均抽出数が第２所定数以上である場合に、前記判定領域内の候補画像部分の対象物種別を判定するようにしてもよい。
或いは、前記候補画像判定部は、経時的に連続して撮像された所定撮像枚数以上の撮像画像において、第１時点で撮像された撮像画像の前記判定領域内で前記候補画像部分が前記第１所定数以上抽出され、且つ、前記第１時点以降の異なる時点で撮像された各撮像画像の前記判定領域内で前記候補画像部分が前記第１所定数以下の第３所定数以上抽出された場合に、前記判定領域内の候補画像部分の対象物種別を判定するようにしてもよい。
これらの方法によれば、１時点で撮像された１つの撮像画像のみを用いて前記判定を行う場合と比較して、判定された対象物種別の正確度合を高めることができる。
また、このとき、前記経時的に連続して撮像された撮像画像の前記所定撮像枚数は、前記カメラが搭載された車両の走行速度に応じて変更するようにしてもよい。
また、前記候補画像判定部は、前記判定領域内の候補画像部分の対象物種別を判定した後、所定時間が経過するまでは、当該対象物種別の判定を継続することが好ましい。
この構成によれば、前記候補画像判定部により、前記判定領域内の候補画像部分の対象物種別を判定した後、当該対象物種別の判定が、ノイズ等の影響によって所定時間以内に変更されることを防ぐことができる。
対象物認識装置の構成図。 対象物認識装置による処理のフローチャート。 撮像画像における候補画像部分を示す説明図。 距離算出処理の説明図。 撮像画像中の候補画像部分の座標位置を実座標に変換した説明図。
本発明の対象物認識装置の実施形態について、図１〜図５を参照して説明する。
図１を参照して、対象物認識装置１０は、カメラ２（カラーカメラ）を備えた車両１に搭載されている。
対象物認識装置１０は、図示しないＣＰＵ、メモリ、各種インターフェース回路等により構成された電子ユニットであり、メモリに保持された対象物認識用のプログラムをＣＰＵで実行することにより、撮像画像取得部１１、候補画像抽出部１２、距離算出部１３、候補画像判定部１４、歩行者画像識別部１５、歩行者向き判別部１６、回避判定部１７及び警報出力部１８として機能する。
以下、図２に示したフローチャートに従って、対象物認識装置１０により、道路上に存在する対象物（人、自転車等）を認識する処理について説明する。対象物認識装置１０は、所定の制御周期毎に図２に示したフローチャートによる処理を実行して、車両１が走行している道路上に存在する対象物（歩行者）を認識し、車両との接触を回避すべき回避対象であるかを判定して、運転者に対する報知を行う。
図２のＳＴＥＰ１は撮像画像取得部１１による処理である。撮像画像取得部１１は、車両に搭載されたカメラ２から出力される車両１の周囲（前方）の映像信号を入力して、この映像信号のカラー成分（Ｒ値，Ｇ値，Ｂ値）をデモザイキングし、各画素のデータとしてＲ値，Ｇ値，Ｂ値を有するカラーの撮像画像を取得する。この車両１の前方のカラーの撮像画像のデータを画像メモリ２０に保持する。次に、前記カラーの撮像画像を変換してグレースケールの撮像画像（以下、撮像画像と略記する）２１を生成し、画像メモリ２０に保持する。
続くＳＴＥＰ２は、候補画像抽出部１２による処理である。候補画像抽出部１２では、撮像画像２１から歩行者の可能性がある対象物の画像部分である候補画像部分２２を抽出する。例えば、図３では、遠方の山々の画像部分が複数の候補画像部分２２として抽出されている。
撮像画像２１から候補画像部分２２の抽出は、例えば、グレースケールの撮像画像２１において歩行者の特徴量を有する領域を探索することによって行う。ＳＴＥＰ２での歩行者の探索は、後述するＳＴＥＰ８の歩行者識別処理よりも緩やかに設定された簡易辞書のデータを用いて行われる。
続くＳＴＥＰ３は、距離算出部１３による処理である。距離算出部１３は、各候補画像部分２２について、対応する実空間位置とカメラ２との間の距離を算出する。
距離算出部１３は、図４（ａ）に示したように、まず、カメラ２の撮像画像２１内で、走行車線を区画するレーンマーク（白線）の画像部分３１ａ，３１ｂの交点から無限遠点である道路消失点３２の座標を求め、道路消失点３２の画素と候補画像部分２２の最下点の画素との差分Δｙを求める。次に、距離算出部１３は、図４（ｂ）に示したように、以下の式（１）により、無限遠点に対する角度θを算出し、以下の式（２）により、カメラ２が搭載されている車両１と対象物３３との間の距離Ｄ、すなわち、車両１と、候補画像部分２２の対応する実空間位置との距離を算出する。Ｈはカメラ２の高さ、ｆｏｃａｌはカメラ２の焦点距離である。
ｔａｎθ＝Δｙ／ｆｏｃａｌ …（１）
Ｄ＝Ｈ／ｔａｎθ …（２）
続くＳＴＥＰ４〜ＳＴＥＰ７は、候補画像判定部１４による処理である。
ＳＴＥＰ４では、候補画像判定部１４は、まず、撮像画像２１中の候補画像部分２２の座標位置を、距離算出部１３により算出された距離と撮像画像２１における水平方向の位置とを基に、図５（ａ）に示すように、実座標にマッピングする。
次に、候補画像判定部１４は、図５（ａ）に示すように、車両１の進行方向（カメラ２の撮像方向）におけるカメラ２からの距離が第１所定距離以上第２所定距離以下の範囲内であって、且つ車両１の進行方向に直交する水平方向の幅が所定幅範囲内である領域を、判定領域Ｒ１，Ｒ２（図中のハッチング部分。以下、判定領域Ｒと略記することがある）として設定する。尚、本実施形態では、２個の判定領域Ｒ１，Ｒ２を設定しているが、１個でもよく３個以上設定してもよい。また、車両１の進行方向におけるカメラ２からの距離が第１所定距離以上第２所定距離以下の範囲内であって、且つ車両１の進行方向に直交する水平方向の幅が所定幅範囲内である領域であれば、カメラ２で撮像される全ての領域を、１つの判定領域Ｒとして設定してもよい。
次に、候補画像抽出部１２により抽出された候補画像部分２２のうち、対応する実空間位置が各判定領域Ｒ１，Ｒ２に属するものをカウントする。そして、属する候補画像部分２２がｋ（ｋは本発明の第１所定数に相当する）個以上である判定領域Ｒが１つ以上あれば、ＳＴＥＰ５に進み、ｋ個以上である判定領域Ｒが１つもなければ、ＳＴＥＰ７に進む。
ＳＴＥＰ５では、候補画像判定部１４は、候補画像抽出部１２により抽出された候補画像部分２２のうち、属する候補画像部分２２がｋ個以上である判定領域Ｒ（例えば判定領域Ｒ２）の候補画像部分２２については、歩行者の可能性が低いと判定して、後述のＳＴＥＰ８における処理対象から除外し、ＳＴＥＰ６に進む。
ＳＴＥＰ６では、候補画像判定部１４は、ＳＴＥＰ５で除外された候補画像部分２２以外の候補画像部分２２（図中の２２ａ）のみを、ＳＴＥＰ８における処理対象に設定し、ＳＴＥＰ８に進む。
ＳＴＥＰ７では、候補画像判定部１４は、候補画像抽出部１２により抽出された全ての候補画像部分２２を次のＳＴＥＰ８における処理対象に設定し、ＳＴＥＰ８に進む。
続くＳＴＥＰ８は、歩行者画像識別部１５による処理である。歩行者画像識別部１５は、ＳＴＥＰ６又はＳＴＥＰ７で処理対象に設定された各候補画像部分２２について、候補画像部分２２が歩行者の画像部分であるか否かを識別する歩行者識別処理を行う。歩行者の画像部分と判定された候補画像部分２２については、ＳＴＥＰ９に進んで処理を行い、歩行者の画像部分と判定されなかった候補画像部分２２については、対象物認識装置１０による処理を終了する。
前記歩行者識別処理は、例えば、グレースケールの撮像画像２１において歩行者の特徴量を有する領域を探索することによって行う。
ＳＴＥＰ９は、歩行者向き判別部１６による処理である。歩行者向き判別部１６は、歩行者画像識別部１５により歩行者の画像部分であると判定された各候補画像部分２２について、歩行者の向きを判別する。
続くＳＴＥＰ１０は、回避判定部１７による処理である。歩行者の画像部分であると判定された各候補画像部分２２について、歩行者向き判別部１６により判別された歩行者の向きに応じて、回避対象である（車両１との衝突の可能性が高い）か否かを判定する。例えば、歩行者が前向き（車両１に近付く向き）であるか、車両１の右側に位置する歩行者が左向き（車両１に近付く向き）である場合には、回避対象であると判定し、車両１の右側に位置する歩行者が右向き（車両１から遠ざかる向き）である場合には、回避対象ではないと判定する。そして、回避対象であると判定された候補画像部分２２が１つ以上あればＳＴＥＰ１１に進み、１つもなければ対象物認識装置１０による処理を終了する。
ＳＴＥＰ１１は、警報出力部１８による処理である。警報出力部１８は、歩行者の画像部分であると判定された各候補画像部分２２のうち、回避判定部１７により回避対象であると判定された候補画像部分２２について、警報を出力する。警報の出力は、例えば、音声案内、表示装置による表示等により行うことができる。
以上説明したように、本実施形態の対象物認識装置１０では、候補画像抽出部１２により抽出された候補画像部分２２のうち、属する候補画像部分２２がｋ個以上である判定領域Ｒの候補画像部分２２については、歩行者の画像である可能性が低いと判定し、その後の処理対象から除外する。そして、候補画像抽出部１２により抽出された候補画像部分２２のうち、前記除外された以外の候補画像部分２２（２２ａ）のみについて、その後の処理（ＳＴＥＰ８の歩行者画像識別部１５の処理）を行う。
また、本実施形態の対象物認識装置１０では、各候補画像部分２２の対応する実空間位置を図５の実座標にマッピングした後に、対応する実空間位置が判定領域Ｒに属する候補画像部分２２の数をカウントするとしている。この方法に代えて、図３の撮像画像２１において、実空間位置が車両１の進行方向におけるカメラ２からの距離が第１所定距離以上第２所定距離以下の範囲内であって且つ前記進行方向に直交する水平方向の幅が所定幅以内である判定領域Ｒ´を設定し、撮像画像２１中で判定領域Ｒ´内に属する候補画像部分２２の数をカウントするようにしてもよい。
また、本実施形態では、カメラ２は車両１に搭載されているとしているが、道路脇や道路上方に設置されたカメラであってもよい。
また、本実施形態の対象物認識装置１０では、候補画像判定部１４は、ＳＴＥＰ４〜ＳＴＥＰ５で、１時点で撮像された１つの撮像画像２１において、属する候補画像部分２２がｋ個以上ある判定領域Ｒが１つ以上ある場合に、その判定領域Ｒの候補画像部分２２は歩行者の可能性が低いと判定する。この方法に代えて、継時的に連続して撮像された複数の撮像画像２１を用いて判定してもよい。以下、この方法について説明する。
候補画像判定部１４は、まず、時点ｔ１に撮像された撮像画像２１ｔ１において、対応する実空間位置が判定領域Ｒに属する候補画像部分２２の数がｋ個以上であるか否かを判定する。
そして、候補画像部分２２の数がｋ個以上である場合には、次に、候補画像判定部１４は、時点ｔ２に撮像された撮像画像２１ｔ２において、対応する実空間位置が判定領域Ｒに属する候補画像部分２２の数がｐ（ｐは本発明の第３所定数に相当する）個以上であるか否かを判定する。ｐは、ｋと同一であってもよく、ｋより小さくてもよい。
そして、候補画像部分２２の数がｐ個以上である場合には、次に、候補画像判定部１４は、時点ｔ２に撮像された撮像画像２１ｔ２において、対応する実空間位置が判定領域Ｒに属する候補画像部分２２の数がｐ個以上であるか否かを判定する。
そして、候補画像部分２２の数がｐ個以上である場合には、次に、候補画像判定部１４は、時点ｔ３に撮像された撮像画像２１ｔ３において、対応する実空間位置が判定領域Ｒに属する候補画像部分２２の数がｐ個以上であるか否かを判定する。
候補画像判定部１４は、この処理を繰り返し行い、時点ｔｑに撮像された撮像画像２１ｔｑにおいて、対応する実空間位置が判定領域Ｒに属する候補画像部分２２の数がｐ個以上である場合には、判定領域Ｒに属する候補画像部分２２は歩行者の可能性が低いと判定する。
このようにして継時的に連続して撮像された複数の撮像画像２１ｔ１，２１ｔ２，２１ｔ３，…，２１ｔｑを用いて歩行者の可能性が低いと判定する方法によれば、１時点で撮像された１つの撮像画像２１のみを用いる方法と比較して、判定結果の正確度合をより高めることができる。
上記方法においては、ｑ（ｑは本発明の所定撮像枚数に相当する）枚の撮像画像２１ｔ１，２１ｔ２，２１ｔ３，…，２１ｔｑについて候補画像部分２２の数を判定するが、撮像画像２１の所定撮像枚数ｑは、車両１の走行速度に応じて変更可能である。
例えば、走行速度が大きい場合の撮像画像２１ｔ２以降の撮像画像２１ｔ２，２１ｔ３，…，２１ｔｑは、走行速度が小さい場合の撮像画像２１ｔ２，２１ｔ３，…，２１ｔｑと比較して、実空間位置でより遠方の領域が撮像されているので、同一距離の領域について候補画像判定を行うときに、走行速度が大きいほど撮像画像２１の所定撮像枚数ｑを小さくしても、候補画像部分２２を確実に抽出することができる。この結果、走行速度が大きい場合には、より少ない撮像枚数の撮像画像２１で歩行者の可能性が低いと判定することができることから、判定時間を短縮することができる。
また、継時的に連続して撮像された複数の撮像画像２１ｔ１，２１ｔ２，２１ｔ３，…，２１ｔｑを用いて歩行者の可能性が低いと判定する方法は、上記方法に限定されない。例えば、撮像画像２１ｔ１，２１ｔ２，２１ｔ３，…，２１ｔｑのそれぞれにおいて、判定領域Ｒ内で候補画像部分２２がｋ個以上抽出されるか、或いは、撮像画像２１ｔ１，２１ｔ２，２１ｔ３，…，２１ｔｑで抽出された候補画像部分２２の平均抽出数がｒ（ｒは本発明の第２所定数に相当する）個以上である場合に、判定領域Ｒ内の候補画像部分２２の対象物種別を判別するようにしてもよい。
さらに、本実施形態の対象物認識装置１０において、候補画像判定部１４により、ある時点で撮像された撮像画像２１において一旦歩行者の可能性が低い対象物であると判定された候補画像部分２２については、その時点から所定時間が経過する間に撮像されたその後に撮像された撮像画像２１においても、歩行者の可能性が低い対象物であると判定するようにしてもよい。このようにすることにより、ある時点で撮像された撮像画像２１における歩行者の可能性が低い対象物であるとの判定結果が、ノイズ等の影響によって所定時間以内に変更されることを防ぐことができる。
２…カメラ、１０…対象物認識装置、１２…候補画像抽出部、１３…距離算出部、１４…候補画像判定部、１５…歩行者画像識別部、２１…撮像画像、第１の撮像画像、第２の撮像画像、２２，２２ａ…候補画像部分、ｋ…第１所定数、ｐ…第３所定数、ｑ…所定撮像枚数、ｒ…第２所定数、Ｒ，Ｒ´，Ｒ１，Ｒ２…判定領域。

Claims (6)

  1. カメラの撮像画像から歩行者の可能性がある対象物の画像部分である候補画像部分を抽出する候補画像抽出部と、
    前記候補画像抽出部により抽出された候補画像部分について、対応する実空間位置と前記カメラとの間の距離を算出する距離算出部と、
    前記候補画像抽出部により、対応する実空間位置が、前記カメラの撮像方向における前記カメラからの距離が第１所定距離以上第２所定距離以下の範囲内であって且つ前記撮像方向に直交する水平方向の幅が所定幅以内である判定領域に属する候補画像部分が、第１所定数以上抽出されたときに、対応する実空間位置が前記判定領域に属する候補画像部分は歩行者の画像部分である可能性が低いと判定する候補画像判定部とを
    を備えたことを特徴とする対象物認識装置。
  2. 請求項１記載の対象物認識装置において、
    前記候補画像抽出部により抽出された候補画像部分のうち、前記候補画像判定部により歩行者の画像部分である可能性が低いと識別された候補画像部分を除外した候補画像部分に対して、候補画像部分が歩行者の画像部分であるか否かを識別する歩行者識別処理を行う歩行者画像識別部を備えたことを特徴とする対象物認識装置。
  3. 請求項１又は請求項２記載の対象物認識装置において、
    前記候補画像判定部は、経時的に連続して撮像された所定撮像枚数以上の各撮像画像において、前記判定領域内で前記候補画像部分が前記第１所定数以上抽出されるか、又は、それぞれの前記撮像画像の前記判定領域内で抽出された前記候補画像部分の平均抽出数が第２所定数以上である場合に、前記判定領域内の候補画像部分の対象物種別を判定することを特徴とする対象物認識装置。
  4. 請求項１又は請求項２記載の対象物認識装置において、
    前記候補画像判定部は、経時的に連続して撮像された所定撮像枚数以上の撮像画像において、第１時点で撮像された撮像画像の前記判定領域内で前記候補画像部分が前記第１所定数以上抽出され、且つ、前記第１時点以降の異なる時点で撮像された各撮像画像の前記判定領域内で前記候補画像部分が前記第１所定数以下の第３所定数以上抽出された場合に、前記判定領域内の候補画像部分の対象物種別を判定することを特徴とする対象物認識装置。
  5. 請求項３又は請求項４記載の対象物認識装置において、
    前記経時的に連続して撮像された撮像画像の前記所定撮像枚数は、前記カメラが搭載された車両の走行速度に応じて変更することを特徴とする対象物認識装置。
  6. 請求項１〜５のいずれか１項記載の対象物認識装置において、
    前記候補画像判定部は、前記判定領域内の候補画像部分の対象物種別を判定した後、所定時間が経過するまでは、当該対象物種別の判定を継続することを特徴とする対象物認識装置。
JP2014134670A 2014-06-30 2014-06-30 対象物認識装置 Active JP6230498B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2014134670A JP6230498B2 (ja) 2014-06-30 2014-06-30 対象物認識装置
CN201510272602.7A CN105320930B (zh) 2014-06-30 2015-05-25 对象物识别装置
US14/748,416 US9508000B2 (en) 2014-06-30 2015-06-24 Object recognition apparatus
DE102015211874.6A DE102015211874A1 (de) 2014-06-30 2015-06-25 Objekterkennungsvorrichtung

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014134670A JP6230498B2 (ja) 2014-06-30 2014-06-30 対象物認識装置

Publications (2)

Publication Number Publication Date
JP2016012304A true JP2016012304A (ja) 2016-01-21
JP6230498B2 JP6230498B2 (ja) 2017-11-15

Family

ID=54840031

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014134670A Active JP6230498B2 (ja) 2014-06-30 2014-06-30 対象物認識装置

Country Status (4)

Country Link
US (1) US9508000B2 (ja)
JP (1) JP6230498B2 (ja)
CN (1) CN105320930B (ja)
DE (1) DE102015211874A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6083976B2 (ja) * 2012-08-22 2017-02-22 株式会社メガチップス 車線状況判別装置および車線状況判別方法
EP2889904B1 (en) 2012-11-19 2023-02-15 Fuji Electric Co., Ltd. Semiconductor device
JP6556563B2 (ja) * 2015-08-31 2019-08-07 株式会社東芝 検出装置、検出方法、検出プログラムおよび情報処理システム
JP6551382B2 (ja) * 2016-12-22 2019-07-31 トヨタ自動車株式会社 衝突回避支援装置
JP6764378B2 (ja) * 2017-07-26 2020-09-30 株式会社Ｓｕｂａｒｕ 車外環境認識装置
CN108764234B (zh) * 2018-05-10 2021-10-12 浙江理工大学 一种基于巡检机器人的液位仪表读数识别方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002362302A (ja) * 2001-06-01 2002-12-18 Sogo Jidosha Anzen Kogai Gijutsu Kenkyu Kumiai 歩行者検出装置
US20030086614A1 (en) * 2001-09-06 2003-05-08 Shen Lance Lixin Pattern recognition of objects in image streams
JP2008065463A (ja) * 2006-09-05 2008-03-21 Toyota Motor Corp 画像処理装置
JP2008123113A (ja) * 2006-11-09 2008-05-29 Toyota Motor Corp 歩行者検知装置
JP2010088045A (ja) * 2008-10-02 2010-04-15 Toyota Motor Corp ナイトビューシステム、夜間歩行者表示方法
JP2011090556A (ja) * 2009-10-23 2011-05-06 Clarion Co Ltd 遠赤外線歩行者検知装置
JP2011154580A (ja) * 2010-01-28 2011-08-11 Hitachi Automotive Systems Ltd 車両用外界認識装置
JP2011248640A (ja) * 2010-05-27 2011-12-08 Honda Motor Co Ltd 車両の周辺監視装置
JP2013186664A (ja) * 2012-03-07 2013-09-19 Toyota Motor Corp 横断歩道認識装置および横断歩道認識方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002279808A (ja) 2001-03-22 2002-09-27 Koito Mfg Co Ltd 車両用灯具
JP4425642B2 (ja) * 2004-01-08 2010-03-03 富士重工業株式会社 歩行者抽出装置
JP4173896B2 (ja) 2006-04-03 2008-10-29 本田技研工業株式会社 車両周辺監視装置
JP4793638B2 (ja) * 2006-03-27 2011-10-12 マツダ株式会社 車両用歩行者検出装置
US8050459B2 (en) * 2008-07-25 2011-11-01 GM Global Technology Operations LLC System and method for detecting pedestrians

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002362302A (ja) * 2001-06-01 2002-12-18 Sogo Jidosha Anzen Kogai Gijutsu Kenkyu Kumiai 歩行者検出装置
US20030086614A1 (en) * 2001-09-06 2003-05-08 Shen Lance Lixin Pattern recognition of objects in image streams
JP2008065463A (ja) * 2006-09-05 2008-03-21 Toyota Motor Corp 画像処理装置
JP2008123113A (ja) * 2006-11-09 2008-05-29 Toyota Motor Corp 歩行者検知装置
JP2010088045A (ja) * 2008-10-02 2010-04-15 Toyota Motor Corp ナイトビューシステム、夜間歩行者表示方法
JP2011090556A (ja) * 2009-10-23 2011-05-06 Clarion Co Ltd 遠赤外線歩行者検知装置
JP2011154580A (ja) * 2010-01-28 2011-08-11 Hitachi Automotive Systems Ltd 車両用外界認識装置
JP2011248640A (ja) * 2010-05-27 2011-12-08 Honda Motor Co Ltd 車両の周辺監視装置
JP2013186664A (ja) * 2012-03-07 2013-09-19 Toyota Motor Corp 横断歩道認識装置および横断歩道認識方法

Also Published As

Publication number Publication date
CN105320930A (zh) 2016-02-10
CN105320930B (zh) 2019-08-20
DE102015211874A1 (de) 2015-12-31
US20150379334A1 (en) 2015-12-31
US9508000B2 (en) 2016-11-29
JP6230498B2 (ja) 2017-11-15

Similar Documents

Publication Publication Date Title
US20210264176A1 (en) Hazard detection from a camera in a scene with moving shadows
JP6230498B2 (ja) 対象物認識装置
US8005266B2 (en) Vehicle surroundings monitoring apparatus
US9336595B2 (en) Calibration device, method for implementing calibration, and camera for movable body and storage medium with calibration function
JP5591730B2 (ja) 環境認識装置
US11200432B2 (en) Method and apparatus for determining driving information
JP6457278B2 (ja) 物体検出装置及び物体検出方法
JP2009265798A (ja) レーンマーカ認識装置、車両、及びレーンマーカ認識用プログラム
JP6483360B2 (ja) 対象物認識装置
US9589213B2 (en) Apparatus for recognizing turnoff from vehicle roadway
JP2010085240A (ja) 車両用画像処理装置
JP2012068935A (ja) 車両用対象物認識装置
JP2015225546A (ja) 物体検出装置、運転支援装置、物体検出方法、および物体検出プログラム
JP2015203992A (ja) レーンマーク認識装置
JP2016009331A (ja) 車両周辺監視装置
JP5345999B2 (ja) レーンマーク認識装置
WO2014054124A1 (ja) 路面標示検出装置及び路面標示検出方法
JPWO2018123640A1 (ja) 撮像装置
JP7064400B2 (ja) 物体検知装置
JP6534261B2 (ja) 対象物認識装置
JP2015215235A (ja) 物体検出装置及び物体検出方法
KR20150124355A (ko) 차량의 정밀 측위를 위한 노면 표시 검출 방법 및 그 시스템
JP2015197828A (ja) レーンマーク認識装置
JP2015215661A (ja) 認識装置
JP6329823B2 (ja) 立体物認識装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160226

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161122

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170120

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20170523

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170823

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20170830

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170926

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171017

R150 Certificate of patent or registration of utility model

Ref document number: 6230498

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150