JP6483360B2 - 対象物認識装置 - Google Patents

対象物認識装置 Download PDF

Info

Publication number
JP6483360B2
JP6483360B2 JP2014134669A JP2014134669A JP6483360B2 JP 6483360 B2 JP6483360 B2 JP 6483360B2 JP 2014134669 A JP2014134669 A JP 2014134669A JP 2014134669 A JP2014134669 A JP 2014134669A JP 6483360 B2 JP6483360 B2 JP 6483360B2
Authority
JP
Japan
Prior art keywords
image
candidate image
pedestrian
candidate
determination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014134669A
Other languages
English (en)
Other versions
JP2016012303A (ja
Inventor
瞬 岩崎
瞬 岩崎
宮川　恵介
恵介 宮川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2014134669A priority Critical patent/JP6483360B2/ja
Priority to CN201510246661.7A priority patent/CN105320928B/zh
Priority to DE102015211871.1A priority patent/DE102015211871A1/de
Priority to US14/751,305 priority patent/US9824449B2/en
Publication of JP2016012303A publication Critical patent/JP2016012303A/ja
Application granted granted Critical
Publication of JP6483360B2 publication Critical patent/JP6483360B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

本発明は、カメラの撮像画像に基づいて対象物を認識する対象物認識装置に関する。
従来より、車両に搭載されたカメラにより撮像された車両前方の道路の画像から、前記車両との接触を回避すべき対象となる歩行者を認識する対象物認識装置が知られている（例えば、特許文献１参照）。
特許文献１に記載された対象物認識装置では、前記カメラによる撮像画像から車両の周辺に存在する対象物の画像部分（歩行者の画像部分の候補）を抽出した後に、前記対象物の画像部分が歩行者の画像部分であるか否かを識別する。その後、歩行者の画像部分であると識別された画像部分について歩行者の向きを判別して、車両との接触を回避すべき回避対象であるかを判定し、その判定結果に基づいて運転者に対する報知を行っている。
対象物の画像部分が歩行者の画像部分であるか否かを識別する方法としては、対象物の画像部分の縦横比、対象物の画像部分と該対象物の画像部分の外接四角形の面積との比等の対象物の形状を示す特徴や、対象物の画像部分の大きさ、グレースケール画像上での輝度分散等の特徴に基づいて識別する手法が用いられている。
特開２００７−２７９８０８号公報
カメラの撮像画像から歩行者を認識するとき、歩行者の画像部分の候補が多数抽出された場合には、各候補に対して歩行者の画像部分であるか否かを識別することになるので、歩行者認識に要する時間が長くなるという問題がある。
本発明はかかる背景に鑑みてなされたものであり、カメラの撮像画像から対象物の画像部分の候補が多数抽出されたときに、対象物認識に要する時間を短縮することができる対象物認識装置を提供することを目的とする。
本発明は、上記目的を達成するためになされたものであり、本発明の対象物認識装置は、
カメラの撮像画像から対象物の画像部分である候補画像部分を抽出する候補画像抽出部と、
前記候補画像抽出部により抽出された候補画像部分が、前記撮像画像内の水平方向の幅が実空間における雪道に形成された、車両の２条の轍の間隔に相当する所定幅以内である判定領域内で第１所定数以上抽出された場合に、前記２条の轍の間に残った雪の塊の候補画像部分が抽出されたとして前記判定領域内の前記候補画像部分は歩行者の画像部分である可能性が低いと判定する候補画像判定部と、
前記候補画像抽出部により抽出された候補画像部分のうち、前記候補画像判定部により歩行者の画像部分である可能性が低いと判定された候補画像部分を除外した候補画像部分に対して、候補画像部分が歩行者の画像部分であるか否かを識別する歩行者識別処理を行う歩行者画像識別部と
を備えたことを特徴とする。
本発明の対象物認識装置では、まず、候補画像抽出部により、カメラの撮像画像から対象物の画像部分である候補画像部分を抽出する。
次に、候補画像判定部により、前記候補画像抽出部により抽出された候補画像部分が、前記撮像画像内の水平方向の幅が所定幅以内である判定領域内で第１所定数以上抽出されたか否かに基づいて、前記判定領域内の候補画像部分の対象物種別を判定する。
本発明の対象物認識装置によれば、前記候補画像判定部による簡単な演算処理により、前記判定領域内の候補画像部分の対象物種別を判定することができるので、多数の候補画像部分が抽出されたときの対象物認識に要する時間を短縮することができる。
ここで、「前記撮像画像内の水平方向の幅が所定幅以内である判定領域」とは、前記撮像画像中で水平方向の幅が所定幅以内である判定領域か、又は、前記撮像画像を実空間に変換したときに前記カメラの撮像方向に直交する水平方向の幅が所定幅以内である判定領域をいう。
また、「候補画像部分が前記判定領域内で第１所定数以上抽出される」事例としては、雪道に車輪の跡である轍が２条形成された後に、轍の部分だけ雪が融けて２条の轍の間に雪の塊が残ったときに、候補画像部分としてその残った雪の塊の画像部分が抽出された場合を挙げることができる。
ここで、前記判定領域内で前記候補画像部分が第１所定数以上抽出されたときに、前記判定領域内の前記候補画像部分が歩行者の画像部分である可能性は低い。なぜならば、歩行者は雪の塊とは異なりある程度の高さがあるために、カメラからの距離が近い手前の歩行者によって後方の歩行者が隠れて後方の歩行者については画像部分が抽出されないからである。
そこで、前記歩行者画像識別部は、前記候補画像抽出部により抽出された候補画像部分のうち、前記候補画像判定部により歩行者の画像部分である可能性が低いと判定された候補画像部分を除外した残りの候補画像部分に対して、前記歩行者識別処理を行う。これにより、前記歩行者識別処理の対象となる候補画像部分の数を減らして、歩行者認識に要する時間を短縮することができる。
また、前記歩行者画像識別部を備える対象物認識装置において、前記歩行者画像識別部は、前記候補画像判定部により歩行者の画像部分である可能性が低いと判定された候補画像部分のうち、対応する実空間位置が前記カメラから所定距離以内である候補画像部分を前記第１所定数より少ない第２所定数以内で選択し、選択された候補画像部分に対して前記歩行者識別処理を行うことが好ましい。
この構成によれば、前記候補画像判定部により歩行者の画像部分である可能性が低いと判定された候補画像部分の中に、前記カメラからの距離が所定距離以内と短く、監視する必要性が高い対象物の画像部分が含まれる場合に、この画像部分について前記歩行者識別処理を行うことができる。
また、前記候補画像判定部は、前記判定領域内の候補画像部分の対象物種別を判定した後、所定時間が経過するまでは、歩行者の画像部分である可能性が低いとの判定を継続することが好ましい。
この構成によれば、前記候補画像判定部により、前記判定領域内の候補画像部分は歩行者の画像部分である可能性が低いと判定した後、当該判定がノイズ等の影響によって所定時間以内に変更されることを防ぐことができる。
対象物認識装置の構成図。 対象物認識装置による処理のフローチャート。 撮像画像における候補画像部分を示す説明図。 距離算出処理の説明図。 撮像画像中の候補画像部分の座標位置を実座標に変換した説明図。
本発明の対象物認識装置の実施形態について、図１〜図５を参照して説明する。
図１を参照して、対象物認識装置１０は、カメラ２（カラーカメラ）を備えた車両１に搭載されている。
対象物認識装置１０は、図示しないＣＰＵ、メモリ、各種インターフェース回路等により構成された電子ユニットであり、メモリに保持された対象物認識用のプログラムをＣＰＵで実行することにより、撮像画像取得部１１、候補画像抽出部１２、距離算出部１３、候補画像判定部１４、歩行者画像識別部１５、歩行者向き判別部１６、回避判定部１７及び警報出力部１８として機能する。
以下、図２に示したフローチャートに従って、対象物認識装置１０により、道路上に存在する対象物（人、自転車等）を認識する処理について説明する。対象物認識装置１０は、所定の制御周期毎に図２に示したフローチャートによる処理を実行して、車両１が走行している道路上に存在する対象物（歩行者）を認識し、車両１との接触を回避すべき回避対象であるかを判定して、運転者に対する報知を行う。
図２のＳＴＥＰ１は撮像画像取得部１１による処理である。撮像画像取得部１１は、車両１に搭載されたカメラ２から出力される車両１の周囲（前方）の映像信号を入力して、この映像信号のカラー成分（Ｒ値，Ｇ値，Ｂ値）をデモザイキングし、各画素のデータとしてＲ値，Ｇ値，Ｂ値を有するカラーの撮像画像を取得する。この車両１の前方のカラーの撮像画像のデータを画像メモリ２０に保持する。次に、前記カラーの撮像画像の各画素のカラー成分を輝度に変換する処理を行ってグレースケールの撮像画像（以下、撮像画像と略記する）２１を生成し、画像メモリ２０に保持する。
続くＳＴＥＰ２は、候補画像抽出部１２による処理である。候補画像抽出部１２では、撮像画像２１から歩行者の可能性がある対象物の画像部分である候補画像部分２２を抽出する。例えば、図３では、雪道に車輪の轍が２条形成された後に轍の部分だけ雪が融けて２条の轍の間に残った雪の塊の画像部分が、複数の候補画像部分２２として抽出されている。
候補画像部分２２の抽出は、例えば、撮像画像２１において歩行者の特徴量を有する領域を探索することによって行う。ＳＴＥＰ２での歩行者の探索は、後述するＳＴＥＰ８の歩行者識別処理よりも緩やかに設定された簡易辞書（歩行者の特徴量のテンプレート）のデータを用いて行われる。
続くＳＴＥＰ３は、距離算出部１３による処理である。距離算出部１３は、各候補画像部分２２について、対応する実空間位置とカメラ２との間の距離を算出する。
距離算出部１３は、図４（ａ）に示したように、まず、カメラ２の撮像画像２１内で、走行車線を区画するレーンマーク（白線）の画像部分３１ａ，３１ｂの交点から無限遠点である道路消失点３２の座標を求め、道路消失点３２の画素と候補画像部分２２の最下点の画素との差分Δｙを求める。次に、距離算出部１３は、図４（ｂ）に示したように、以下の式（１）により、無限遠点に対する角度θを算出し、以下の式（２）により、カメラ２が搭載されている車両１と対象物３３との間の距離Ｄ、すなわち、車両１と、候補画像部分２２の対応する実空間位置との距離を算出する。Ｈはカメラ２の高さ、ｆｏｃａｌはカメラ２の焦点距離である。
ｔａｎθ＝Δｙ／ｆｏｃａｌ …（１）
Ｄ＝Ｈ／ｔａｎθ …（２）
続くＳＴＥＰ４〜ＳＴＥＰ７は、候補画像判定部１４による処理である。
ＳＴＥＰ４では、候補画像判定部１４は、まず、撮像画像２１中の候補画像部分２２の座標位置を、距離算出部１３により算出された距離と撮像画像２１における水平方向の位置とを基に、図５に示すように、実座標にマッピングする。
次に、候補画像判定部１４は、図５において、車両１の進行方向（カメラ２の撮像方向）に直交する水平方向の幅が所定幅範囲内である領域を判定領域Ｒ（図中のハッチング部分）として設定する。ここでは判定領域Ｒが１つである場合について説明するが、複数の判定領域Ｒを設定してもよい。
次に、候補画像抽出部１２により抽出された候補画像部分２２のうち、対応する実空間位置が判定領域Ｒに属するものをカウントする。そして、属する候補画像部分２２がｋ（ｋは本発明の第１所定数に相当する）個以上である判定領域Ｒが１つ以上あれば、ＳＴＥＰ５に進む。属する候補画像部分２２がｋ個以上である判定領域Ｒが１つもなければ、ＳＴＥＰ７に進む。
ＳＴＥＰ５では、候補画像判定部１４は、候補画像抽出部１２により抽出された候補画像部分２２のうち、属する候補画像部分２２がｋ個以上である判定領域Ｒの候補画像部分２２については、歩行者の可能性が低いと判定して、後述のＳＴＥＰ８における処理対象から除外して、ＳＴＥＰ５に進む。
ＳＴＥＰ６では、候補画像判定部１４は、ＳＴＥＰ５で除外された候補画像部分２２以外の候補画像部分２２（図中の２２ａ）のみを、ＳＴＥＰ８における処理対象に設定し、ＳＴＥＰ８に進む。
ＳＴＥＰ７では、候補画像判定部１４は、候補画像抽出部１２により抽出された全ての候補画像部分２２を次のＳＴＥＰ８における処理対象に設定し、ＳＴＥＰ８に進む。
続くＳＴＥＰ８は、歩行者画像識別部１５による処理である。歩行者画像識別部１５は、ＳＴＥＰ６又はＳＴＥＰ７で処理対象に設定された各候補画像部分２２について、候補画像部分２２が歩行者の画像部分であるか否かを識別する歩行者識別処理を行う。歩行者の画像部分と判定された候補画像部分２２については、ＳＴＥＰ９に進んで処理を行い、歩行者の画像部分と判定されなかった候補画像部分２２については、対象物認識装置１０による処理を終了する。
前記歩行者識別処理は、例えば、撮像画像２１において歩行者の特徴量を有する領域を探索することによって行う。
ＳＴＥＰ９は、歩行者向き判別部１６による処理である。歩行者向き判別部１６は、歩行者画像識別部１５により歩行者の画像部分であると判定された各候補画像部分２２について、歩行者の向きを判別する。
続くＳＴＥＰ１０は、回避判定部１７による処理である。歩行者の画像部分であると判定された各候補画像部分２２について、歩行者向き判別部１６により判別された歩行者の向きに応じて、回避対象である（車両１との衝突の可能性が高い）か否かを判定する。例えば、歩行者が前向き（車両１に近付く向き）であるか、車両１の右側に位置する歩行者が左向き（車両１に近付く向き）である場合には、回避対象であると判定し、車両１の右側に位置する歩行者が右向き（車両１から遠ざかる向き）である場合には、回避対象ではないと判定する。そして、回避対象であると判定された候補画像部分２２が１つ以上あればＳＴＥＰ１１に進み、１つもなければ対象物認識装置１０による処理を終了する。
ＳＴＥＰ１１は、警報出力部１８による処理である。警報出力部１８は、歩行者の画像部分であると判定された各候補画像部分２２のうち、回避判定部１７により回避対象であると判定された候補画像部分２２について、警報を出力する。警報の出力は、例えば、音声案内、表示装置による表示等により行うことができる。
以上説明したように、本実施形態の対象物認識装置１０では、候補画像抽出部１２により抽出された候補画像部分２２のうち、属する候補画像部分２２がｋ個以上である判定領域Ｒの候補画像部分２２については、歩行者の画像である可能性が低いと判定し、その後の処理対象から除外する。そして、候補画像抽出部１２により抽出された候補画像部分２２のうち、前記除外された以外の候補画像部分２２（２２ａ）のみについて、その後の処理（ＳＴＥＰ８の歩行者画像識別部１５の処理）を行う。
したがって、本実施形態の対象物認識装置１０によれば、カメラ２の撮像画像２１から多数の候補画像部分２２が抽出されたとき、前記歩行者識別処理の対象となる候補画像部分２２の数を減らして、歩行者認識に要する時間を短縮することができる。
また、本実施形態の対象物認識装置１０では、ＳＴＥＰ４において、属する候補画像部分２２がｋ個以上である判定領域Ｒが１つ以上あるときにＳＴＥＰ５に進むとしているが、属する候補画像部分２２がｋ個以上であって、且つ、距離算出部１３により算出されたカメラ２からの距離が異なる候補画像部分２２（図中の２２ｂ）がｍ（ただしｍ≦ｋであり、ｍは本発明の第２所定数に相当する）個以上である判定領域Ｒが１つ以上あるときにＳＴＥＰ５に進むようにしてもよい。
また、本実施形態の対象物認識装置１０では、ＳＴＥＰ６で、ＳＴＥＰ５で除外した以外の候補画像部分２２のみを、次のＳＴＥＰ８（歩行者画像識別部１５）の処理対象に設定するとしているが、ＳＴＥＰ５で除外された候補画像部分２２のうち、対応する実空間位置が所定距離以内である候補画像部分２２を、カメラ２に近いものから順にｎ（ｎは本発明の第３所定数に相当する）個選択して、ＳＴＥＰ８の処理対象として追加してもよい。このようにすることにより、属する候補画像部分２２がｋ個以上である判定領域Ｒの候補画像部分２２に、車両１からの距離が短く、監視する必要性が高い対象物の画像部分が含まれる場合に、この画像部分について前記歩行者識別処理を行うことができる。
また、本実施形態の対象物認識装置１０では、各候補画像部分２２の対応する実空間位置を図５の実座標にマッピングした後に、対応する実空間位置が判定領域Ｒに属する候補画像部分２２の数をカウントするとしている。この方法に代えて、図３の撮像画像２１において、実空間位置が車両１の進行方向に直交する水平方向の幅が所定幅範囲内である判定領域Ｒに対応する判定領域Ｒ´１を設定し、撮像画像２１中で判定領域Ｒ´１内に属する候補画像部分２２の数をカウントするようにしてもよい。或いは、撮像画像２１において、水平方向の幅が所定幅範囲内である判定領域Ｒ´２を設定し、撮像画像２１中で判定領域Ｒ´２内に属する候補画像部分２２の数をカウントするようにしてもよい。ただし、判定領域Ｒ´２は、図３に示すように、車両１から遠い距離の領域に車両１の走行とは関係性が低い背景の画像部分Ｂを含む一方、判定領域Ｒ´１は、車両から遠い距離の領域であっても前記関係性が低い背景の画像部分Ｂは含まないので、判定領域Ｒ´２よりも判定領域Ｒ´１を用いる方がより好ましい。
また、複数の判定領域Ｒとして、図５に示すように、車両１の左方向に対応する判定領域ＲＬＡ，ＲＬＢ、及び、車両１の右方向に対応する判定領域ＲＲＡ，ＲＲＢを設定してもよい。これにより、例えば、道路の端（判定領域ＲＬＢ，ＲＲＢに対応）に多数の他の車両が駐車している場合に、駐車車両の画像部分について歩行者の画像部分である可能性が低いと判定することができる。
また、本実施形態の対象物認識装置１０では、カメラ２は車両１に搭載されているとしているが、道路脇や道路上方に設置されたカメラであってもよい。
尚、ＳＴＥＰ４で、属する候補画像部分２２がｋ個以上である判定領域Ｒが１つ以上ある場合にＳＴＥＰ５に進むとしているが、その判定領域Ｒの候補画像部分２２が歩行者の画像区分である可能性は低い。なぜならば、歩行者は雪の塊とは異なりある程度の高さがあるために、カメラ２からの距離が近い手前の歩行者によって後方の歩行者が隠れて後方の歩行者については画像部分が抽出されないので、判定領域Ｒに候補画像部分２２がｋ個も存在する可能性は低いからである。
また、本実施形態の対象物認識装置１０では、候補画像判定部１４は、ＳＴＥＰ４〜ＳＴＥＰ５で、１時点で撮像された１つの撮像画像２１において、属する候補画像部分２２がｋ個以上ある判定領域Ｒが１つ以上ある場合に、その判定領域Ｒの候補画像部分２２は歩行者の可能性が低いと判定する。この方法に代えて、継時的に連続して撮像された複数の撮像画像２１を用いて判定してもよい。以下、この方法について説明する。
候補画像判定部１４は、まず、時点ｔ１に撮像された撮像画像２１ｔ１において、対応する実空間位置が判定領域Ｒに属する候補画像部分２２の数がｋ個以上であるか否かを判定する。
そして、候補画像部分２２の数がｋ個以上である場合には、次に、候補画像判定部１４は、時点ｔ２に撮像された撮像画像２１ｔ２において、対応する実空間位置が判定領域Ｒに属する候補画像部分２２の数がｐ（ｐは本発明の第５所定数に相当する）個以上であるか否かを判定する。ｐは、ｋと同一であってもよく、ｋより小さくてもよい。
そして、候補画像部分２２の数がｐ個以上である場合には、次に、候補画像判定部１４は、時点ｔ２に撮像された撮像画像２１ｔ２において、対応する実空間位置が判定領域Ｒに属する候補画像部分２２の数がｐ個以上であるか否かを判定する。
そして、候補画像部分２２の数がｐ個以上である場合には、次に、候補画像判定部１４は、時点ｔ３に撮像された撮像画像２１ｔ３において、対応する実空間位置が判定領域Ｒに属する候補画像部分２２の数がｐ個以上であるか否かを判定する。
候補画像判定部１４は、この処理を繰り返し行い、時点ｔｑに撮像された撮像画像２１ｔｑにおいて、対応する実空間位置が判定領域Ｒに属する候補画像部分２２の数がｐ個以上である場合には、判定領域Ｒに属する候補画像部分２２は歩行者の可能性が低いと判定する。
このようにして継時的に連続して撮像された複数の撮像画像２１ｔ１，２１ｔ２，２１ｔ３，…，２１ｔｑを用いて歩行者の可能性が低いと判定する方法によれば、１時点で撮像された１つの撮像画像２１のみを用いる方法と比較して、判定結果の正確度合をより高めることができる。
上記方法においては、ｑ（ｑは本発明の所定撮像枚数に相当する）枚の撮像画像２１ｔ１，２１ｔ２，２１ｔ３，…，２１ｔｑについて候補画像部分２２の数を判定するが、撮像画像２１の所定撮像枚数ｑは、車両１の走行速度に応じて変更可能である。
例えば、走行速度が大きい場合の撮像画像２１ｔ２以降の撮像画像２１ｔ２，２１ｔ３，…，２１ｔｑは、走行速度が小さい場合の撮像画像２１ｔ２，２１ｔ３，…，２１ｔｑと比較して、実空間位置でより遠方の領域が撮像されているので、同一距離の領域について候補画像判定を行うときに、走行速度が大きいほど撮像画像２１の所定撮像枚数ｑを小さくしても、候補画像部分２２を確実に抽出することができる。この結果、走行速度が大きい場合には、より少ない撮像枚数の撮像画像２１で歩行者の可能性が低いと判定することができることから、判定時間を短縮することができる。
また、継時的に連続して撮像された複数の撮像画像２１ｔ１，２１ｔ２，２１ｔ３，…，２１ｔｑを用いて歩行者の可能性が低いと判定する方法は、上記方法に限定されない。例えば、撮像画像２１ｔ１，２１ｔ２，２１ｔ３，…，２１ｔｑのそれぞれにおいて、判定領域Ｒ内で候補画像部分２２がｋ個以上抽出されるか、或いは、撮像画像２１ｔ１，２１ｔ２，２１ｔ３，…，２１ｔｑで抽出された候補画像部分２２の平均抽出数がｒ（ｒは本発明の第４所定数に相当する）個以上である場合に、判定領域Ｒ内の候補画像部分２２は歩行者の画像部分である可能性が低いと判定するようにしてもよい。
さらに、本実施形態の対象物認識装置１０において、候補画像判定部１４により、ある時点で撮像された撮像画像２１において一旦歩行者の可能性が低い対象物であると判定された候補画像部分２２については、その時点から所定時間が経過する間に撮像されたその後に撮像された撮像画像２１においても、歩行者の可能性が低い対象物であると判定するようにしてもよい。このようにすることにより、ある時点で撮像された撮像画像２１における歩行者の可能性が低い対象物であるとの判定結果が、ノイズ等の影響によって所定時間以内に変更されることを防ぐことができる。
２…カメラ、１０…対象物認識装置、１２…候補画像抽出部、１３…距離算出部、１４…候補画像判定部、１５…歩行者画像識別部、２１…撮像画像、２２，２２ａ，２２ｂ…候補画像部分、ｋ…第１所定数、ｍ…第２所定数、ｎ…第３所定数、ｐ…第５所定数、ｑ…所定撮像枚数、ｒ…第４所定数、Ｒ…領域、Ｒ´１，Ｒ´２…判定領域。

Claims (3)

  1. カメラの撮像画像から対象物の画像部分である候補画像部分を抽出する候補画像抽出部と、
    前記候補画像抽出部により抽出された候補画像部分が、前記撮像画像内の水平方向の幅が実空間における雪道に形成された、車両の２条の轍の間隔に相当する所定幅以内である判定領域内で第１所定数以上抽出された場合に、前記２条の轍の間に残った雪の塊の候補画像部分が抽出されたとして前記判定領域内の前記候補画像部分は歩行者の画像部分である可能性が低いと判定する候補画像判定部と、
    前記候補画像抽出部により抽出された候補画像部分のうち、前記候補画像判定部により歩行者の画像部分である可能性が低いと判定された候補画像部分を除外した候補画像部分に対して、候補画像部分が歩行者の画像部分であるか否かを識別する歩行者識別処理を行う歩行者画像識別部と
    を備えたことを特徴とする対象物認識装置。
  2. 請求項１記載の対象物認識装置において、
    前記歩行者画像識別部は、前記候補画像判定部により歩行者の画像部分である可能性が低いと判定された候補画像部分のうち、対応する実空間位置が前記カメラから所定距離以内である候補画像部分を前記第１所定数より少ない第２所定数以内で選択し、選択された候補画像部分に対して前記歩行者識別処理を行うことを特徴とする対象物認識装置。
  3. 請求項１または２記載の対象物認識装置において、
    前記候補画像判定部は、前記判定領域内の候補画像部分は歩行者の画像部分である可能性が低いと判定した後、所定時間が経過するまでは、当該判定を継続することを特徴とする対象物認識装置。
JP2014134669A 2014-06-30 2014-06-30 対象物認識装置 Active JP6483360B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2014134669A JP6483360B2 (ja) 2014-06-30 2014-06-30 対象物認識装置
CN201510246661.7A CN105320928B (zh) 2014-06-30 2015-05-14 对象物识别装置
DE102015211871.1A DE102015211871A1 (de) 2014-06-30 2015-06-25 Objekterkennungsvorrichtung
US14/751,305 US9824449B2 (en) 2014-06-30 2015-06-26 Object recognition and pedestrian alert apparatus for a vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014134669A JP6483360B2 (ja) 2014-06-30 2014-06-30 対象物認識装置

Publications (2)

Publication Number Publication Date
JP2016012303A JP2016012303A (ja) 2016-01-21
JP6483360B2 true JP6483360B2 (ja) 2019-03-13

Family

ID=54840029

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014134669A Active JP6483360B2 (ja) 2014-06-30 2014-06-30 対象物認識装置

Country Status (4)

Country Link
US (1) US9824449B2 (ja)
JP (1) JP6483360B2 (ja)
CN (1) CN105320928B (ja)
DE (1) DE102015211871A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6256239B2 (ja) * 2014-07-25 2018-01-10 株式会社デンソー 歩行者検出装置および歩行者検出方法
CN109472809B (zh) * 2017-09-06 2020-09-25 ***通信有限公司研究院 一种目标鉴别方法及设备
US10435020B2 (en) * 2017-12-01 2019-10-08 Robert Bosch Gmbh Lane keeping support on roads covered by snow
CN110006440B (zh) * 2019-04-12 2021-02-05 北京百度网讯科技有限公司 一种地图关系的表达方法、装置、电子设备及存储介质
CN112633258B (zh) * 2021-03-05 2021-05-25 天津所托瑞安汽车科技有限公司 一种目标确定方法及装置、电子设备、计算机可读存储介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3350721B2 (ja) 1994-10-07 2002-11-25 シャープ株式会社 着衣量測定装置および着衣量計測方法
JP2002279808A (ja) 2001-03-22 2002-09-27 Koito Mfg Co Ltd 車両用灯具
DE10301468B4 (de) 2002-01-18 2010-08-05 Honda Giken Kogyo K.K. Vorrichtung zur Beobachtung der Umgebung eines Fahrzeugs
JP4173896B2 (ja) 2006-04-03 2008-10-29 本田技研工業株式会社 車両周辺監視装置
JP4263737B2 (ja) * 2006-11-09 2009-05-13 トヨタ自動車株式会社 歩行者検知装置
US8369593B2 (en) * 2007-12-21 2013-02-05 Siemens Medical Solutions Usa, Inc. Systems and methods for robust learning based annotation of medical radiographs
JP4359710B2 (ja) * 2008-02-04 2009-11-04 本田技研工業株式会社 車両周辺監視装置、車両、車両周辺監視用プログラム、車両周辺監視方法
US8050459B2 (en) * 2008-07-25 2011-11-01 GM Global Technology Operations LLC System and method for detecting pedestrians
JP4815488B2 (ja) 2008-12-22 2011-11-16 本田技研工業株式会社 車両周辺監視装置
JP5642785B2 (ja) 2010-06-07 2014-12-17 本田技研工業株式会社 車両の周辺監視装置
JP2013186664A (ja) * 2012-03-07 2013-09-19 Toyota Motor Corp 横断歩道認識装置および横断歩道認識方法
US9070023B2 (en) * 2013-09-23 2015-06-30 Toyota Motor Engineering & Manufacturing North America, Inc. System and method of alerting a driver that visual perception of pedestrian may be difficult

Also Published As

Publication number Publication date
US20150379372A1 (en) 2015-12-31
DE102015211871A1 (de) 2015-12-31
CN105320928B (zh) 2019-05-21
JP2016012303A (ja) 2016-01-21
CN105320928A (zh) 2016-02-10
US9824449B2 (en) 2017-11-21

Similar Documents

Publication Publication Date Title
US9836657B2 (en) System and method for periodic lane marker identification and tracking
JP2020052694A (ja) 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム
US20180038689A1 (en) Object detection device
US9336595B2 (en) Calibration device, method for implementing calibration, and camera for movable body and storage medium with calibration function
JP6230498B2 (ja) 対象物認識装置
US9965690B2 (en) On-vehicle control device
JP6483360B2 (ja) 対象物認識装置
JP5561064B2 (ja) 車両用対象物認識装置
US9489585B2 (en) Lane mark recognition device
US11200432B2 (en) Method and apparatus for determining driving information
JP5065172B2 (ja) 車両灯火判定装置及びプログラム
JP2014085920A (ja) 車両周辺監視装置
US8160300B2 (en) Pedestrian detecting apparatus
US11010618B2 (en) Apparatus for identifying line marking on road surface
JP5345999B2 (ja) レーンマーク認識装置
JP6132807B2 (ja) レーンマーク認識装置
Dai et al. A driving assistance system with vision based vehicle detection techniques
JP6200780B2 (ja) 車線認識判定装置
JP6132808B2 (ja) 認識装置
JP2018077705A (ja) 駐車枠認識装置
JP6677142B2 (ja) 駐車枠認識装置
JP6354963B2 (ja) 物体認識装置、物体認識方法、および物体認識プログラム
JP2020101935A (ja) 画像認識装置
JP6077028B2 (ja) 物体認識装置
JP2015203993A (ja) 対象物認識装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160226

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161122

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170321

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170512

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20170711

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171011

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20171018

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20171117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190214

R150 Certificate of patent or registration of utility model

Ref document number: 6483360

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150