JP7185419B2 - 車両のための、対象物を分類するための方法および装置 - Google Patents

車両のための、対象物を分類するための方法および装置 Download PDF

Info

Publication number
JP7185419B2
JP7185419B2 JP2018094211A JP2018094211A JP7185419B2 JP 7185419 B2 JP7185419 B2 JP 7185419B2 JP 2018094211 A JP2018094211 A JP 2018094211A JP 2018094211 A JP2018094211 A JP 2018094211A JP 7185419 B2 JP7185419 B2 JP 7185419B2
Authority
JP
Japan
Prior art keywords
unique
classifier
camera image
classifying
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018094211A
Other languages
English (en)
Other versions
JP2018206373A (ja
Inventor
シュルツ,ウド
シュミット,フローリアン
シュヴァルツェンベルク,グレゴア
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of JP2018206373A publication Critical patent/JP2018206373A/ja
Application granted granted Critical
Publication of JP7185419B2 publication Critical patent/JP7185419B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217Validation; Performance evaluation; Active pattern learning techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/285Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/87Arrangements for image or video recognition or understanding using pattern recognition or machine learning using selection of the recognition techniques, e.g. of a classifier in a multiple classifier system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Description

本提案は、独立請求項の前提部に記載した方法または装置に関する。この提案の対象はコンピュータプログラムでもある。
カメラシステムを用いた対象物の識別は、多くの分野でますます重要性を増している。特に自動車環境において、対象物例えば歩行者を識別するための機能を有するカメラシステムが、自動走行までの多様なアシスト機能のためにしばしばどうしても必要とされる。この場合、相応の対象物識別装置が、識別された対象物をトレーニングされた属性分類器を用いて対象物型式に割り当てる。
以上のような背景から、ここに紹介された提案では、車両のための対象物を分類するための方法、さらにこの方法を使用する装置、並びに最後に主請求項に記載した相応のコンピュータプログラムが紹介される。従属請求項に記載した手段によって、独立請求項に記載した装置の好適な実施態様および改良が可能である。
紹介された提案によって得ることができる利点は、公知の属性分類器に追加して、ここに紹介された固有分類器を作成することによって、対象物の識別の反応時間並びに対象物の対象物追跡時のロバスト性が改善される、という点にある。
車両のための対象物を分類するための方法が提案される。この方法は、少なくとも1つの分類するステップと抽出するステップと作成するステップとを有している。分類するステップで、属性分類器を使用してカメラ画像から1つの対象物が分類される。抽出するステップで、対象物に割り当てられた少なくとも1つの固有の対象物特徴がカメラ画像から抽出される。作成するステップで、固有の対象物特徴を使用して固有分類器が作成される。
この方法は、例えばソフトウエアまたはハードウエアでまたはソフトウエアとハードウエアとから成る混合形式で、例えばコントロールユニット内に実装されてよい。例えばこの方法は、車両カメラのための対象物識別装置内に実装されてよい。
ここに紹介された方法によって、カメラ画像で検出された対象物は、もはや属性分類器だけによってではなく、追加的に新たに作成された固有分類器によっても分類され得る。これによって、対象物のより迅速な分類が可能であり、また今日まで知られていないかまたは識別が困難である対象物の分類も可能である。
固有識別機を使用するためにおよび/または更新するために、分類するステップで、別の対象物が別のカメラ画像から属性分類器および固有分類器を使用して分類され、抽出するステップで、別の対象物に割り当てられた少なくとも1つの別の固有の対象物特徴が別のカメラ画像から抽出され、作成するステップで、固有分類器が別の固有の対象物特徴を使用して適合され得る。
抽出するステップで、属性的に分類された対象物の少なくとも1つの色および/または構造および/または形を表す例えば1つの対象物特徴がカメラ画像から抽出される。このような形式の対象物特徴は、属性分類器によって考慮されない。何故ならば、このような形式の対象物特徴は、一般的に1つの対象物型式のすべての対象物例に当てはまらないが、具体的な使用例では例えば識別された対象物の信頼できる対象物追跡に用いることができるからである。
作成するステップで、固有分類器が環状記憶装置にメモリされてよい。
カメラ画像を提供するために、この方法は算出するステップを有しており、この算出するステップで、カメラ画像は周辺検出装置を使用して算出される。周辺検出装置は、カメラ例えば車両カメラおよび/またはレーダ装置であってよいか、または少なくともこれらを有していてよい。
属性分類器を適合または更新もできるようにするために、この方法は、好適な実施例によれば、メモリするステップを有していてよく、このメモリするステップで、分類するステップで対象物の分類に関する分類精度が閾値を下回ると、カメラ画像がメモリされる。メモリするステップは、抽出するステップの前に実施されてよく、この場合、例えば不正確であると評価された、属性的に検出された対象物の少なくとも1つの対象物特徴がカメラ画像上に配置されると、分類精度は閾値を下回る。
対象物識別装置の属性分類器の新たなトレーニングを可能にするために、メモリするステップで、カメラ画像は対象物識別装置の外部に配置されたトレーニング装置に送信されてよい。
ここに紹介された提案は、さらに、ここに紹介された方法の変化例のステップを相応の装置で実施、制御若しくは実行するために構成された装置を提供する。この提案の、このような装置の形の変化実施例よっても、提案に基づく課題を、迅速かつ効果的に解決することができる。この装置は、対象物識別装置の一部であってよい。
このために、この装置は、信号またはデータを処理するための少なくとも1つの演算装置と、信号またはデータをメモリするための少なくとも1つの記憶装置と、センサのセンサ信号を読み取るためのまたはデータ若しくは制御信号をアクチュエータにアウトプットするためのセンサまたはアクチュエータへの少なくとも1つのインターフェースおよび/または通信プロトコル内に埋め込まれたデータを読み取りまたはアウトプットするための少なくとも1つの通信インターフェースとを有している。演算装置は、例えば信号プロセッサ、マイクロコントローラ等であってよく、この場合、記憶装置は、フラッシュメモリー、EPROMまたは磁気記憶装置であってよい。通信インターフェースは、データをワイヤレスでおよび/または有線誘導で読み取るかまたはアウトプットするために、構成されていてよく、この場合、有線誘導されたデータを読み取るかまたはアウトプットすることができる通信インターフェースは、データを例えば相応のデータ伝送線路から電気式または光学式に読み取るかまたは相応のデータ伝送線路にアウトプットすることができる。
装置とは、ここでは、センサ信号を処理しそれに基づいて制御信号および/またはデータ信号をアウトプットする電気機器であると解釈されてよい。この装置は、ハードウエア式および/またはソフトウエア式に構成され得るインターフェースを有していてよい。ハードウエア式の構成において、インターフェースは、例えば装置の様々な機能を含有するいわゆるシステムASICの一部であってよい。しかしながら、インターフェースは専用の集積回路であるか、または少なくとも部分的に離散素子より成っていてもよい。ソフトウエア式の構成において、インターフェースは、例えばマイクロコントローラ上で別のソフトウエアモジュールの隣に設けられたソフトウエアモジュールであってよい。
好適な実施態様によれば、この装置によって対象物の分類の制御が行われる。このために、この装置は、例えば分類信号、抽出信号および作成信号等のセンサ信号へアクセスすることができる。制御は、例えば属性分類器を使用してカメラ画像で識別された対象物の属性的な分類を実施するために構成された属性分類装置、対象物に割り当てられた少なくとも1つの固有の対象物特徴をカメラ画像から抽出するために構成された抽出装置、少なくとも、固有の対象物特徴を使用して固有の分類器を作成するために構成された固有分類装置等のアクチュエータを介して行われる。
機械読み取り可能な担体または記憶媒体、例えば半導体記憶装置、ハードディスクまたは光学式記憶装置にメモリ可能であって、特にプログラム製品またはプログラムがコンピュータまたは装置で実行されると、前記実施例のいずれか1つによる方法のステップを実施、実行および/または制御するために使用されるプログラムコードを有するコンピュータプログラムまたはコンピュータプログラム製品も有利である。
対象物を分類するための、1実施例による装置を備えた車両の概略図である。 車両のための対象物を分類するための、1実施例による装置の概略図である。 車両のための対象物を分類するための、1実施例による方法のフローチャートである。 車両のための対象物を分類するための、1実施例による方法のフローチャートである。
ここに紹介された提案の複数の実施例が図面に示されていて、以下に詳しく説明されている。
ここに提案された好適な実施例の以下の説明中、様々な図面に示された、類似の作用を有する構成要素のために、同じまたは類似の符号が使用されており、この場合、これらの構成要素の繰り返しの説明は省かれる。
図1は、対象物110を分類するための、1実施例による装置105を備えた車両100の概略図を示す。
この装置105は、この実施例ではオプション的に別の車両として処理された対象物110を分類するために構成されている。このために、装置105は、カメラ画像115から得られた対象物110を属性分類器120を用いて分類するために構成されている。カメラ画像115は、この実施例によれば車両100の周辺検出装置125によって読み取られ、提供される。さらに、装置105は、対象物110に割り当てられた、少なくとも1つの固有の対象物特徴をカメラ画像115から抽出するために構成されている。さらにこの装置105は、固有の対象物特徴を用いて固有分類器130を作成するために、そして対象物110を分類するために構成されている。
以下に記載された、装置105の特徴はオプション的である。
1実施例によれば、装置105は、カメラ画像115から、属性的に分類された対象物の少なくとも1つの色および/または構造および/または形を表す対象物特徴を抽出するために構成されている。さらに、装置105は、この実施例に従って作成された固有分類器130を環状記憶装置にメモリする。
さらに、装置105は、属性分類器120による分類時に対象物110の分類に関連した分類精度が閾値を下回ると、カメラ画像115をメモリするように構成されている。このために装置105は、カメラ画像115を、装置105の外部および/または装置105を有する対象物識別装置の外部に配置されたトレーニング装置132に送信するように構成されている。
さらに、装置105は、装置105によって分類された対象物135を、車両100のドライブアシストシステム140のために提供するかまたはドライブアシストシステム140に送信するように構成されている。
この実施例によれば、装置105は、属性分類器120および固有分類器130を使用して別のカメラ画像150から別の対象物145を分類し、この別の対象物145に割り当てられた別の固有の対象物特徴を別のカメラ画像150から抽出し、別の固有の対象物特徴を使用して固有分類器130を適合させるために構成されている。
図2は、車両のための対象物を分類するための、1実施例による装置105の概略図を示す。この場合、これは図1に記載された装置105であってよい。図2には、属性分類器120および固有分類器130の使用例が示されている。
属性分類器120は、多数の対象物例205を用いて予めオフライントレーニングで学習されている少なくとも1つの学習された車両モデル200を表すかまたは含有している。道路交通で使用される際にカメラ画像115および/または別のカメラ画像に、典型的でないかまたはオフライントレーニングのトレーニング時間の際にまだ知られていなかった対象物若しくは車両である対象物110,145が表示されると、この対象物110,145は属性分類器120だけによって不正確におよび/またはゆっくりと識別される。ここで紹介された装置105は、対象物110,145の主要な特徴を固有の対象物特徴210の形で抽出し、それによって固有分類器130を算出するか、または固有分類器130を適合させる。固有分類器130は、この実施例によれば、記憶装置にメモリされ、この場合、記憶装置内の各メモリ書き込み215のために追加的なアプリケーション220が実行される。
言い換えれば、ここで紹介された装置105は、カメラシステムの対象物検出のためにまたはカメラシステムのために、分類器120,130のオンライン学習を可能にする。このために、装置105は選択的な実施例によれば、少なくとも1つのカメラシステムを有する周辺検出装置125の内側または外側に支持されている。
この場合、この装置105の課題は、例えば対象物110,145を識別するために車両内に組み込まれているカメラシステムで、対象物検出のための、例えば不確実なおよび/または不鮮明な対象物識別のための分類器120,130のオンラインアップデートを、トラッキング、時間の経過に伴う妥当化等による「確実に」実施された対象物分類に従って実施することである。これについては図4も参照されたい。
公知のシステムとは異なり、ここに紹介された装置105は、好適な形式で、数値の下回った対象物例205も良好に識別することができる。さらに、今日のシステムにおけるトレーニングされた属性分類器120は、すべての状況において世界的に通用する適切な対象物識別を保証するために、所定の対象物型式の識別のために属性的に設計されている。このような属性的な識別のために、一般的にすべての対象物例205に当てはまる相応の特徴が用いられ、つまり、色や明確な構造等の固有の特徴、例えばナンバープレートは、この場合、識別用の特徴として拒絶される。その結果、一方では一般的にやや長時間の対象物識別が行われることになる。何故ならば、分類器検出は低い誤差率を得るために立証を介して妥当化される必要があるからである。他方では、例えば特に少量生産車両若しくは新世代車両等の数値の下回った対象物例205は、特に検出しにくい。不正確な対象物検出、しかしながらトラッキング/妥当化によって時間的に遅れて行われた対象物の分類は、今日のシステムでは評価または適合を生ぜしめるのではなく、この対象物の検出の不十分さが持続的に残存する。しかしながら、ここに紹介された分類器120,130のオンライントレーニングによって、品質レベル若しくは識別率が改善される。
このために好適には、装置105内に別の分類器、つまり固有分類器130が、既に存在する属性分類器120に並列に実装されている。属性分類器120は、新規の/非典型的な対象物形態の識別および反応時間に関連した前記条件下で、所望の対象物型式の本質的にすべての形態を識別する。この属性分類器120によって検出され、時間的な妥当化(トラッキング)および立証を介して分類された対象物のために、固有の特徴、例えばこの対象物のための色および構造が、ビデオ画像であってよいカメラ画像115から抽出され、別の固有分類器130の作成/適合のために使用され得る。これによって、一方では、例えば雨の時のウインドウワイパによる画像妨害または対象物の部分遮蔽においても安定した対象物追跡が可能である。他方では、例えば別の車両によって完全に遮蔽された後で、またはカーブの後を先頭で走る際に、対象物をより迅速に検出しかつ分類することができる。従って、すべての可能な対象物形態の一般的な識別を妨げるという理由により属性分類器120のために使用できない特徴を、固有分類器130のために使用することができる。
しかしながら、属性分類器120にトレーニングのための特徴として例えば色が提供されても、データ例、ここでは対象物例205に青の車両が存在しなければ、青の車両はもはや識別されない。
車両の局所的な近傍で、属性分類器120に並列してこのような固有分類器130を加えることによって、例えば識別の反応時間および対象物追跡のロバスト性に関連した前記利点がもたらされる。
この場合、属性分類器120を介して行われる基本的な対象物検出は、製品発送の時点で対象物識別の品質に課される要求を確実に満たすために、さらに必要である。
オンライントレーニング段階で、固有分類器130の入力が属性分類器120の入力に接続され、固有分類器130の出力が、立証、妥当化および積分の出力に接続される。これについては、図4も参照されたい。固有分類器130のための初期データとして、当該の対象物がビデオで識別されたカメラ画像115,145の画像範囲から、独特な特徴が抽出される。この固有の対象物特徴210は、この対象物形態を、高さ、幅、構造情報並びに色等の形で精確に記述し、もっぱらこの対象物を精確に識別するために設計されている。
この実施例によれば、固有分類器130は、複数の対象物形態を分類するように設計されている。代替的に、この固有分類器130の、走行状況に応じて満たされる複数の事例が、所定の数まで存在してよい。この場合、この分類器130の管理は環状記憶装置を介して実現され、この環状記憶装置では、新たな対象物形態がメモリされるべき場合に、最も古い書き込みが拒否される。
既に図1に記載されているように、装置105によってさらに、属性分類器120のオプション的な補正が可能である。この場合、提供された対象物形態への適合に追加して、それぞれの対象物形態の識別時間およびロバスト性に関連した属性分類器120の評価が実行され得る。属性分類器120によってゆっくりと若しくは不確実に識別された、例えば図4に詳しく記載された時間的な立証または固有運動識別等の選択的な識別方法によって前もって分類されているそれぞれの対象物110,145のために、カメラ画像115の相応の画像データが別個の記憶装置にファイルされる。この別個の記憶装置は、図1ではトレーニング装置若しくはトレーニング装置の部分として示されており、この別個の記憶装置は選択的な実施例では装置105の部分であってもよい。属性分類器120の最新のバージョンによって不十分に識別されるかまたは識別されている、対象物形態のデータ例は、属性分類器120の新たなトレーニングのために使用するために、オンライン接続および/または工場毎に中央でファイルされてよい。
図3は、1実施例による車両のための対象物を分類するための方法300のフローチャートを示す。この場合、これは、前述の図面に記載した装置のうちの1つによって実行可能な方法300であってよい。
この方法300は、分類するステップ305、抽出するステップ310および作成するステップ315を含有している。分類するステップ305で、対象物は属性分類器を使用してカメラ画像から分類される。抽出するステップ310で、対象物に割り当てられた少なくとも1つの固有の対象物特徴がカメラ画像から抽出される。作成するステップ315で、固有の対象物特徴を使用して固有分類器が作成される。
方法300の以下の実施例はオプション的である。
分類するステップ305で、選択的な実施例に従って追加的にまたは選択的に、別の対象物が、別のカメラ画像から属性分類器および固有分類器を使用して分類され、この場合、抽出するステップ310で、別の対象物に割り当てられた少なくとも1つの別の固有の対象物特徴が別のカメラ画像から抽出され、作成するステップ315で、固有分類器が別の固有の対象物特徴を使用して適合される。
抽出するステップ310で、この実施例に従ってカメラ画像から、属性的に分類された対象物の少なくとも1つの色および/または構造および/または形状を表す対象物特徴が抽出される。
作成するステップ315で、固有分類器が環状記憶装置にメモリされる。
さらに、この実施例によれば方法300がオプション的に、算出するステップ320およびメモリするステップ325を有している。
算出するステップ320で、カメラ画像は周辺検出装置を使用して算出される。
メモリするステップ325で、分類するステップ305において対象物の分類に関する分類精度が閾値を下回ると、カメラ画像がメモリされる。この実施例によれば、メモリするステップ325で、カメラ画像が対象物識別装置の外部に配置されたトレーニング装置に送信される。
ここに紹介された方法ステップは繰り返されてよく、また前記連続とは別の連続で実施されてよい。
図4は、1実施例による対象物を分類するための方法300のフローチャートを示す。これは、追加的なステップを有する図3に記載された方法300であってよい。
この方法300は、この実施例によれば広範囲にわたる対象物検出を可能にし、このために、検出するブロック400および立証するブロック405を有している。検出するブロック400はいわゆる外観に基づく方法410を有しており、この方法410は、生成するステップ415、組み合わせるステップ420および、図3に既述した分類するステップ305を有している。検出するブロック400は、選択的な実施例によれば追加的に、仮説発生のためのいわゆる不一致に基づく方法425および/またはいわゆる運動に基づく方法430を有している。
立証するブロック405は、妥当化するステップ435および時間積分するステップ440を有している。
作成するステップ315は、検出するステップ400と立証するブロック405との間に配置されている。立証するブロック405と作成するステップ315との間で、方法300はさらに、別の立証するステップ445を有している。
検出するブロック400で、識別可能な対象物を記述する特徴の安定したグループが検索される。外観に基づく方法410で、ここでは車両である対象物型式の特性がトレーニングデータセットに基づいて検出される。この実施例によれば、外観に基づく方法410で車両の特徴がガボールフィルタ“Gabor-Filter”によってフィルタリングされ、属性分類器がサポートベクトルマシン“Support Vector Machine”によって分類される。この場合、生成するステップ415で、特性的な特徴、ここではハール特徴“Haar-Merkmale”がトレーニング画像から生成される。組み合わせるステップ420において、特徴の収集がデータバンク内で対象物型式の全記述に組み合わせられる。特徴ベクトルを明確に1つの対象物型式に割り当てることができるようにするために、分類するステップ305で、この実施例によればアダブーストアルゴリズム“AdaBoost-Algorithmus”である属性分類器が時間をかけてトレーニングされ、および/または特徴の確率分布がモデル形成される。
立証するブロック405で、検出するブロック400から得られた、間違ったおよび/または不正確な対象物仮説が妥当化され、時間積分によって改善される。このために、妥当化するステップ435で、パラメータ化されたモデルおよび/またはテンプレートが画像データと比較され、この実施例によれば車両のための3D格子型モデルが作成され、この3D格子型モデルを画像平面に投影することによって輪郭パターンが生ぜしめられる。このパターンは、場面のセグメント状に分割されたグレースケール画像で検索される。追加的にまたは選択的に少なくとも1つのナンバープレート、光および/または窓ガラスが使用される。時間積分するステップ440で、時間積分が実施される。この場合、生きていない物理的対象物と主体とが識別される。生きていない物理的対象物は、この場合、物理法則に基づく外挿によって叙述を用いて識別され、主体は、意図、行動および/または代替行動の確認によって識別される。従って、例えば歩行者、自転車に乗っている人、乗用車、トラック等が識別される。さらに、時間積分するステップ440で、対象物仮説の運動モデルが適合され、行動モデルの情報集群が実施され、かつ/または周辺モデルとの調整が実施され、この場合、例えば推測された走行車線延在形状と車両運動との妥当化が実施され、例えば対象物の垂線の足と道路ジオメトリとの妥当化が実施される。
作成するステップ315と別の立証するステップ445および/または立証するブロック405との間に、トレーニングするステップ450が配置されており、このトレーニングするステップ450で、トレーニングが実施される。さらに、作成するステップ315と立証するブロック405との間で妥当性問い合わせ455が実施される。
1実施例が、第1の特徴と第2の特徴との間の「および/または」接続を有している場合、これは、この実施例が、1実施形態に従って第1の特徴も第2の特徴も有しており、また別の実施形態に従って第1の特徴だけまたは第2の特徴だけを有している、と読み取られるべきである。
100 車両
105 装置
110 対象物
115 カメラ画像
120 属性分類器
125 周辺検出装置
130 固有分類器
132 トレーニング装置
135 対象物
140 ドライブアシストシステム
145 別の対象物
150 別のカメラ画像
200 車両モデル
205 対象物例
210 対象物特徴
215 メモリ書き込み
220 アプリケーション
300 方法
305 分類するステップ
310 抽出するステップ
315 作成するステップ
320 算出するステップ
325 メモリするステップ
400 検出するブロック
405 立証するブロック
410 外観に基づく方法
415 生成するステップ
420 組み合わせるステップ
425 不一致に基づく方法
430 運動に基づく方法
435 妥当化するステップ
440 時間積分するステップ
445 別の立証するステップ
450 トレーニングするステップ
455 妥当性問い合わせ

Claims (10)

  1. 車両(100)のための、対象物(110)を分類するための方法(300)であって
    車両(100)の周辺検出装置(125)を使用して、対象物(110)のカメラ画像(115)を読み取るステップ(320)と、
    属性分類器(120)を使用してカメラ画像(115)から対象物(110)を分類するステップ(305)であって、属性分類器(120)は多数の対象物例(205)を用いて予めオフライントレーニングで学習されている少なくとも1つの学習された車両モデル(200)を含んでいるステップ(305)と、
    パラメータ化されたモデルおよび/またはテンプレートがカメラ画像(115)と比較されるステップ(435)と、
    前記カメラ画像(115)から、前記対象物(110)に割り当てられた少なくとも1つの固有の対象物特徴(210)を抽出するステップ(310)と、
    前記固有の対象物特徴(210)を使用して固有分類器(130)を作成するステップ(315)と、
    を有している、車両(100)のための、対象物(110)を分類するための方法(300)において、
    固有分類器(130)は、オンライントレーニングされる、
    ことを特徴とする、車両(100)のための、対象物(110)を分類するための方法(300)
  2. 前記分類するステップ(305)で、前記属性分類器(120)および前記固有分類器(130)を使用して別のカメラ画像(150)から別の対象物(145)を分類し、前記抽出するステップ(310)で、前記別の対象物(145)に割り当てられた少なくとも1つの別の固有の対象物特徴(210)を前記別のカメラ画像(150)から抽出し、前記作成するステップ(315)で、前記固有分類器(130)を前記別の固有の対象物特徴(210)を使用して適合させる、請求項1記載の方法(300)。
  3. 前記作成するステップ(315)で、前記固有分類器(130)を環状記憶装置にメモリする、請求項1または2に記載の方法(300)。
  4. 周辺検出装置(125)を使用して前記カメラ画像(115)を算出するステップ(320)を有している、請求項1~3のいずれか一項に記載の方法(300)。
  5. 前記分類するステップ(305)で、前記対象物(110)の分類に関する分類精度が閾値を下回ると、前記カメラ画像(115)をメモリするステップ(325)を有している、請求項1~4のいずれか一項に記載の方法(300)。
  6. 前記メモリするステップ(325)で、対象物識別装置の外部に配置されたトレーニング装置(132)に前記カメラ画像(115)を送信する、請求項5に記載の方法(300)。
  7. 前記パラメータ化されたモデルおよび/またはテンプレートは、対象物(110)の3D格子型モデルであることを特徴とする、請求項1~6のいずれか一項に記載の方法(300)。
  8. 請求項1~7のいずれか一項に記載の前記方法(300)のステップを実行するために設計された装置(105)。
  9. 請求項1~7までのいずれか一項に記載の方法(300)を実行させるためのコンピュータプログラム。
  10. 請求項9記載のコンピュータプログラムがメモリされている、機械読み取り可能な記憶媒体。
JP2018094211A 2017-06-06 2018-05-16 車両のための、対象物を分類するための方法および装置 Active JP7185419B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102017209496.6A DE102017209496B4 (de) 2017-06-06 2017-06-06 Verfahren und Vorrichtung zum Klassifizieren eines Objekts für ein Fahrzeug
DE102017209496.6 2017-06-06

Publications (2)

Publication Number Publication Date
JP2018206373A JP2018206373A (ja) 2018-12-27
JP7185419B2 true JP7185419B2 (ja) 2022-12-07

Family

ID=64279014

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018094211A Active JP7185419B2 (ja) 2017-06-06 2018-05-16 車両のための、対象物を分類するための方法および装置

Country Status (4)

Country Link
US (1) US10885382B2 (ja)
JP (1) JP7185419B2 (ja)
CN (1) CN109002830B (ja)
DE (1) DE102017209496B4 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11263549B2 (en) * 2018-03-22 2022-03-01 Here Global B.V. Method, apparatus, and system for in-vehicle data selection for feature detection model creation and maintenance
EP3690760B1 (en) * 2019-02-04 2022-10-26 Robert Bosch GmbH Device and method to improve the robustness against adversarial examples
CN113264037A (zh) * 2021-06-18 2021-08-17 安徽江淮汽车集团股份有限公司 应用于自动泊车的障碍物识别方法
CN113657329A (zh) * 2021-08-24 2021-11-16 西安天和防务技术股份有限公司 一种目标的分类识别方法、装置及终端设备
AT525406A1 (de) * 2021-08-31 2023-03-15 Tom Robotics Gmbh Klassifizierungsverfahren für ein klassifizieren von objekten
DE102022131850A1 (de) 2022-12-01 2024-06-06 Valeo Schalter Und Sensoren Gmbh Verfahren zum Überprüfen einer mittels eines künstlichen neuronalen Netzwerks durchgeführten Objektklassifizierung für ein Kraftfahrzeug

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005285014A (ja) 2004-03-30 2005-10-13 Fujitsu Ltd 車両識別のためのプログラム、方法、及び装置
JP2006515699A (ja) 2003-07-25 2006-06-01 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング 車両周囲の少なくとも1つの物体を分類する装置
EP2575077A2 (en) 2011-09-29 2013-04-03 Ricoh Company, Ltd. Road sign detecting method and road sign detecting apparatus
US20140267793A1 (en) 2013-03-15 2014-09-18 Delphi Display Systems, Inc. System and method for vehicle recognition in a dynamic setting
US20160366364A1 (en) 2014-03-19 2016-12-15 Conti Temic Microelectronic Gmbh Method for Saving Image Data of a Camera in an Accident Data Recorder of a Vehicle

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7764808B2 (en) * 2003-03-24 2010-07-27 Siemens Corporation System and method for vehicle detection and tracking
US7565139B2 (en) * 2004-02-20 2009-07-21 Google Inc. Image-based search engine for mobile phones with camera
CN101964059B (zh) * 2009-07-24 2013-09-11 富士通株式会社 构建级联分类器的方法、识别对象的方法及装置
EP2323069A2 (en) * 2009-11-17 2011-05-18 Samsung Electronics Co., Ltd. Method, device and system for content based image categorization field
US9183447B1 (en) * 2011-06-09 2015-11-10 Mobileye Vision Technologies Ltd. Object detection using candidate object alignment
US9349055B1 (en) * 2013-06-26 2016-05-24 Google Inc. Real-time image-based vehicle detection based on a multi-stage classification
DE102013020435A1 (de) * 2013-12-06 2014-06-18 Daimler Ag Verfahren zum Erkennen von Objekten in einer Fahrzeugumgebung
AU2014240213B2 (en) * 2014-09-30 2016-12-08 Canon Kabushiki Kaisha System and Method for object re-identification
US9449258B1 (en) * 2015-07-02 2016-09-20 Agt International Gmbh Multi-camera vehicle identification system
CN105787437B (zh) * 2016-02-03 2017-04-05 东南大学 一种基于级联集成分类器的车辆品牌类型识别方法
CN106446949B (zh) * 2016-09-26 2019-05-21 成都通甲优博科技有限责任公司 一种车辆型号识别方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006515699A (ja) 2003-07-25 2006-06-01 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング 車両周囲の少なくとも1つの物体を分類する装置
JP2005285014A (ja) 2004-03-30 2005-10-13 Fujitsu Ltd 車両識別のためのプログラム、方法、及び装置
EP2575077A2 (en) 2011-09-29 2013-04-03 Ricoh Company, Ltd. Road sign detecting method and road sign detecting apparatus
US20140267793A1 (en) 2013-03-15 2014-09-18 Delphi Display Systems, Inc. System and method for vehicle recognition in a dynamic setting
US20160366364A1 (en) 2014-03-19 2016-12-15 Conti Temic Microelectronic Gmbh Method for Saving Image Data of a Camera in an Accident Data Recorder of a Vehicle

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
鷲見 和彦,イメージセンサとモニタリング,電気学会研究会資料,日本,社団法人電気学会,2000年11月24日,p.39-44

Also Published As

Publication number Publication date
JP2018206373A (ja) 2018-12-27
CN109002830A (zh) 2018-12-14
US10885382B2 (en) 2021-01-05
CN109002830B (zh) 2024-04-30
US20180349744A1 (en) 2018-12-06
DE102017209496B4 (de) 2020-10-01
DE102017209496A1 (de) 2018-12-06

Similar Documents

Publication Publication Date Title
JP7185419B2 (ja) 車両のための、対象物を分類するための方法および装置
US10373024B2 (en) Image processing device, object detection device, image processing method
Rezaei et al. Robust vehicle detection and distance estimation under challenging lighting conditions
Kim Real time object tracking based on dynamic feature grouping with background subtraction
Prioletti et al. Part-based pedestrian detection and feature-based tracking for driver assistance: real-time, robust algorithms, and evaluation
US20190122059A1 (en) Signal light detection
US11164051B2 (en) Image and LiDAR segmentation for LiDAR-camera calibration
KR101848019B1 (ko) 차량 영역 검출을 통한 차량 번호판 검출 방법 및 장치
US20170270368A1 (en) Method for detecting a soiling of an optical component of a driving environment sensor used to capture a field surrounding a vehicle; method for automatically training a classifier; and a detection system
US20140348390A1 (en) Method and apparatus for detecting traffic monitoring video
JP5127392B2 (ja) 分類境界確定方法及び分類境界確定装置
CN107667378B (zh) 用于识别和评估路面反射的方法和装置
US20130208945A1 (en) Method for the detection and tracking of lane markings
CN108710828A (zh) 识别目标物的方法、装置和存储介质以及车辆
CN111832349A (zh) 遗留物错误检测的识别方法、装置及图像处理设备
KR101851492B1 (ko) 번호판 인식 방법 및 번호판 인식 장치
WO2023029468A1 (zh) 车辆行驶提示
WO2022264533A1 (ja) 検知枠位置精度向上システム、及び検知枠位置補正方法
CN109949335B (zh) 一种图像处理方法及装置
JP2012108665A (ja) レーンマーク認識装置
KR102594384B1 (ko) 오류데이터 삽입방식을 이용한 자율주행 차량의 영상인식 학습장치와 이를 이용한 영상인식 학습방법
CN116503789B (zh) 融合轨迹和尺度的公交下车客流检测方法、***及设备
CN116503695B (zh) 目标检测模型的训练方法、目标检测方法及设备
US11645838B2 (en) Object detection system, object detection method, and program
US11912297B2 (en) Driving assistance device and driving assist method

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20200615

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210422

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220517

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220606

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220705

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221125

R150 Certificate of patent or registration of utility model

Ref document number: 7185419

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150