JP7215390B2 - 路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラム - Google Patents

路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラム Download PDF

Info

Publication number
JP7215390B2
JP7215390B2 JP2019187022A JP2019187022A JP7215390B2 JP 7215390 B2 JP7215390 B2 JP 7215390B2 JP 2019187022 A JP2019187022 A JP 2019187022A JP 2019187022 A JP2019187022 A JP 2019187022A JP 7215390 B2 JP7215390 B2 JP 7215390B2
Authority
JP
Japan
Prior art keywords
road obstacle
road
obstacle detection
statistical distribution
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019187022A
Other languages
English (en)
Other versions
JP2021064054A (ja
Inventor
俊明 大串
賢司 堀口
正雄 山中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2019187022A priority Critical patent/JP7215390B2/ja
Priority to US17/002,995 priority patent/US11443526B2/en
Priority to CN202010878744.9A priority patent/CN112651274B/zh
Publication of JP2021064054A publication Critical patent/JP2021064054A/ja
Application granted granted Critical
Publication of JP7215390B2 publication Critical patent/JP7215390B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V8/00—Prospecting or detecting by optical means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V8/00—Prospecting or detecting by optical means
    • G01V8/10—Detecting, e.g. by using light barriers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/26—Techniques for post-processing, e.g. correcting the recognition result
    • G06V30/262—Techniques for post-processing, e.g. correcting the recognition result using context analysis, e.g. lexical, syntactic or semantic context
    • G06V30/274—Syntactic or semantic context, e.g. balancing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/24—Character recognition characterised by the processing or recognition method
    • G06V30/248—Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"
    • G06V30/2528—Combination of methods, e.g. classifiers, working on the same input data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Geophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラムに関する。
特許文献１には、画像に意味的ラベルを付与し、画像を局所領域に分割して、局所領域の意味的ラベルの確率から障害物らしさを算出することが開示されている。
具体的には、入力画像を複数の局所領域に分割する局所領域分割部と、対象局所領域に路上障害物が存在する確率を、当該対象局所領域が予め定められた正常物体ではない確率と、周辺局所領域と対象局所領域の関係によって定義される視覚的顕著度とに基づいて算出する尤度算出部と、を含む障害物検知装置が提案されている。ここで、視覚的顕著度は、周辺局所領域が道路である確率が高いほど大きく、かつ、対象局所領域と周辺局所領域の視覚的特徴の相違が大きいほど大きく算出される。
特開２０１８－１９４９１２号公報
しかしながら、特許文献１の技術では、障害物についても障害物またはその他として意味的ラベルを付与するため、意味的ラベルの付与に失敗した場合などを考慮すると、路上障害物の検知精度を向上するためには改善の余地がある。
本発明は、上記事実を考慮して成されたもので、意味的ラベルから路上障害物を検知する場合よりも、路上障害物の検知精度を向上可能な路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラムを提供することを目的とする。
上記目的を達成するために請求項１に記載の路上障害物検知装置は、予め学習された第１識別器を用いて画像の画素毎に意味的ラベルを付与する付与部と、予め学習された第２識別器を用いて前記画像の予め定めた注目領域の周辺となる周辺領域における意味的ラベルの統計的分布から前記注目領域の意味的ラベルの統計的分布を推定する分布推定部と、前記付与部によって付与された前記注目領域の意味的ラベルの統計的分布と、前記分布推定部によって推定された前記注目領域の意味的ラベルの統計的分布とを用いて、路上障害物らしさを推定する障害物推定部と、を含む。
請求項１に記載の発明によれば、付与部では、予め学習された第１識別器を用いて画像の画素毎に意味的ラベルが付与される。
分布推定部では、予め学習された第２識別器を用いて画像の予め定めた注目領域の周辺となる周辺領域における意味的ラベルの統計的分布から注目領域の意味的ラベルの統計分布が推定される。
そして、障害物推定部では、付与部によって付与された注目領域の意味的ラベルの統計的分布と、分布推定部によって推定された注目領域の意味的ラベルの統計的分布とを用いて、路上障害物らしさが推定される。これにより、様々の種類の障害物自体を学習データとして用意して学習しなくても、路上障害物を検知することが可能となる。また、路上障害物を学習データとして用意して学習する必要がないので、間違った意味的ラベルの付与が抑制され、意味的ラベルから路上障害物を検知する場合よりも、路上障害物の検知精度を向上することが可能となる。
なお、障害物推定部は、請求項２に記載の発明のように、付与部によって付与された注目領域の意味的ラベルの統計的分布と、分布推定部によって推定された注目領域の意味的ラベルの統計的分布との差分の二乗、差分の絶対値、内積、又は確率分布の距離に基づいて、路上障害物らしさを推定してもよい。或いは、請求項３に記載の発明のように、障害物推定部は、周辺領域と注目領域との関係によって定義した視覚的顕著度を用いて定義した尤度に基づいて、路上障害物らしさを推定してもよい。
また、障害物推定部は、請求項４に記載の発明のように、画像を前景と背景の境界を跨がない複数の局所領域に分割し、局所領域から注目領域及び周辺領域を選択して路上障害物らしさを推定してもよい。
また、注目領域は、請求項５に記載の発明のように、画像から塊領域を抽出して得られた物体らしい領域を包含する矩形領域を設定してもよい。
一方、請求項６に記載の路上障害物検知方法は、コンピュータが実行する路上障害物検知方法であって、予め学習された第１識別器を用いて画像の画素毎に意味的ラベルを付与し、かつ、予め学習された第２識別器を用いて前記画像の予め定めた注目領域の周辺となる周辺領域における意味的ラベルの統計的分布から前記注目領域の意味的ラベルの統計的分布を推定し、付与された前記注目領域の意味的ラベルの統計的分布と、推定された前記注目領域の意味的ラベルの統計的分布とを用いて、路上障害物らしさを推定する。
請求項６に記載の発明によれば、請求項１に記載の発明と同様に、様々の種類の障害物自体を学習データとして用意して学習しなくても、路上障害物を検知することが可能となる。また、路上障害物を学習する必要がないので、意味的ラベルから路上障害物を検知する場合よりも、路上障害物の検知精度を向上することが可能となる。
なお、請求項７に記載の発明のように、コンピュータを、請求項１～５の何れか１項に記載の路上障害物検知装置の各部として機能させるための路上障害物検知プログラムとしてもよい。
以上説明したように本発明によれば、意味的ラベルから路上障害物を検知する場合よりも、路上障害物の検知精度を向上可能な路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラムを提供できる、という効果がある。
本実施形態に係る路上障害物検知装置の概略構成を示すブロック図である。 ＲＧＢカラー画像の一例を示す図である。 意味的ラベル画像の一例を示す図である。 意味的ラベル画像中の注目領域及び周辺領域の一例を示す図である。 本実施形態に係る路上障害物検知装置の学習部で行われる処理の流れの一例を示すフローチャートである。 本実施形態に係る路上障害物検知装置の推定部で行われる処理の流れの一例を示すフローチャートである。 障害物らしさの算出方法の一例を示す図である。 注目領域の形状として長方形を用いた例を示す図である。 注目領域及び周辺領域のそれぞれの大きさを、遠方では小さく、近傍では大きくした例を示す図である。 注目領域に対する周辺領域の大きさの比率を、遠方では大きく、近傍では小さくした例を示す図である。 スーパーピクセルを包含するように注目領域の矩形領域を設定した例を示す図である。 Selective Searchを用いて、物体らしい領域を包含するように矩形領域を設定した例を示す図である。 複数のスーパーピクセルに分割した全体画像の一例を示す図である。 スーパーピクセルに分割した全体画像の一例中の矩形領域を示す図である。
以下、図面を参照して本発明の実施の形態の一例を詳細に説明する。図１は、本実施形態に係る路上障害物検知装置の概略構成を示すブロック図である。
本実施形態に係る路上障害物検知装置１０は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、及びＲＡＭ（Random Access Memory）等を含むコンピュータで構成され、学習部１２及び推定部１４の機能を備えている。なお、学習部１２及び推定部１４の各機能は、それぞれ別のコンピュータ構成としてもよい。
学習部１２は、予め用意した学習データを用いて、画像を意味的領域に分割するための第１識別器と、周辺領域から注目領域における意味的ラベルを推定するための第２識別器の２つの識別器を学習する。
詳細には、学習部１２は、学習データ格納部１６、意味的領域分割学習部１８、及び統計的分布学習部２０を備えている。
学習データ格納部１６は、車載カメラ等の撮影装置で撮影することによって得られるＲＧＢカラー画像と、その画像中の画素毎に意味的ラベル（例えば、空、道路、白線、車両など）を付与した意味的ラベル画像のペアが学習データとして大量に格納されている。例えば、図２に示すＲＧＢカラー画像と、図３に示す意味的ラベル画像とを学習データとして学習データ格納部１６に格納する。図２は、ＲＧＢカラー画像の一例を示す図であり、図３、意味的ラベル画像の一例を示す図である。
意味的領域分割学習部１８は、学習データ格納部１６に格納された学習データを用いて、ＲＧＢカラー画像を入力とし、その画像中の画素毎に意味的ラベルを推定する第１識別器を学習する。
統計的分布学習部２０は、学習データ格納部１６に格納された学習データを用いて、画像中の予め定めた注目領域Ｒc（図４中の実線で示す正方形領域）の周辺となる周辺領域Ｒs（図４中の実線の外側の点線で示す正方形領域）における意味的ラベル画像（或いは、画素毎の意味的ラベルに対する確率密度）を入力とし、注目領域における意味的ラベルに対する統計的分布を推定する第２識別器を学習する。このとき、第２識別器を学習する際には、路上障害物らしさが最小になるように学習する。
なお、これらの識別器は、例えば、ＦＣＮ(Fully Convolutional Network)、ＲＮＮ（Recurrent Neural Network）、ＣＮＮ（Convolutional Neural Network）、ＣＲＦ(Conditional random field)、ＣＲＦａｓＲＮＮ（Conditional Random Fields as Recurrent Neural Networks）等の手法を用いて学習することができる。また、注目領域Ｒcと周辺領域Ｒsのそれぞれの大きさＷcとＷsは、試行錯誤的に決定すればよい。或いは、ベイズ最適化などを用いて決定してもよい。
一方、推定部１４は、学習部１２で得られた２つの識別器（第１識別器及び第２識別器）を用いて、画像中の全ての点における路上障害物らしさを算出し、算出した路上障害物らしさに基づいて、路上障害物を検知する。
詳細には、推定部１４は、学習パラメータ格納部２２、付与部としての意味的領域分割処理部２４、分布推定部としての統計的分布推定部２６、及び障害物推定部としてのスコア算出部２８を備えている。
学習パラメータ格納部２２は、学習部１２で識別器（第１識別器及び第２識別器）を学習することで得られる学習パラメータを格納する。
意味的領域分割処理部２４は、学習パラメータ格納部２２から入力される意味的領域分割のための学習済みパラメータを用いて、評価対象画像の画素毎の意味的ラベルを推定して意味的ラベルを付与することにより、意味的ラベル画像に変換する。
統計的分布推定部２６は、学習パラメータ格納部２２から入力される統計的分布推定のための学習済みパラメータを用いて、意味的領域分割処理部２４で得られた意味的ラベル画像（或いは、意味的ラベルに対する確率密度）を入力とし、周辺領域Ｒsにおける意味的ラベルの統計的分布から、注目領域Ｒcにおける意味的ラベルの統計的分布を推定する。
スコア算出部２８は、意味的領域分割処理部２４で得られた意味的ラベル画像を用いて、注目領域Ｒcにおける意味的ラベルの統計的分布を算出する。また、統計的分布推定部２６で得られた注目領域Ｒcにおける意味的ラベルの統計的分布に基づいて、路上障害物らしさを表すスコアを算出する。そして、スコア算出部２８は、算出したスコアに基づいて、路上障害物を検知する。例えば、予め定めた閾値と算出したスコアとを比較して路上障害物であるか否かを判断することによって路上障害物を検知する。
なお、意味的ラベルの統計分布を推定する際には、画像全体を網羅するように注目領域Ｒcを移動しながら意味的ラベルの統計的分布を推定する。
続いて、上述のように構成された本実施形態に係る路上障害物検知装置１０で行われる具体的な処理について説明する。
まず、学習部１２側で行われる処理について説明する。図５は、本実施形態に係る路上障害物検知装置１０の学習部１２で行われる処理の流れの一例を示すフローチャートである。
ステップ１００では、意味的領域分割学習部１８及び統計的分布学習部２０の各々が、学習データ格納部１６に格納されたＲＧＢカラー画像と、意味的ラベル画像を読み出してステップ１０２へ移行する。
ステップ１０２では、意味的領域分割学習部１８が、ＲＧＢカラー画像と、意味的ラベル画像を用いて、第１識別器を学習してステップ１０４へ移行する。すなわち、上述した種々の手法を用いて、ＲＧＢカラー画像を入力とし、その画像中の画素毎に意味的ラベルを推定する第１識別器を学習する。
ステップ１０４では、統計的分布学習部２０が、ＲＧＢカラー画像と、意味的ラベル画像を用いて、第２識別器を学習してステップ１０６へ移行する。すなわち、画像中の予め定めた注目領域Ｒcの周辺となる周辺領域Ｒsにおける意味的ラベル画像（或いは、画素毎の意味的ラベルに対する確率密度）を入力とし、注目領域における意味的ラベルに対する統計的分布を推定する第２識別器を学習する。
ステップ１０６では、意味的領域分割学習部１８及び統計的分布学習部２０の各々が、学習によって得られた学習パラメータを推定部１４に出力して一連の処理を終了する。これにより、推定部１４では、学習パラメータ格納部２２に学習パラメータが格納される。
次に、推定部１４側で行われる処理について説明する。図６は、本実施形態に係る路上障害物検知装置１０の推定部１４で行われる処理の流れの一例を示すフローチャートである。
ステップ２００では、意味的領域分割処理部２４が、学習パラメータ格納部２２に格納された学習パラメータを用いて、評価対象の画像を意味的ラベル画像に変換してステップ２０２へ移行する。具体的には、評価対象の画像全体を入力として、学習された第１識別器を用いて、画素毎に意味的ラベルを推定することにより、評価対象の画像を意味的ラベル画像に変換する。
ステップ２０２では、統計的分布推定部２６が、学習パラメータ格納部２２に格納された学習パラメータを用いて、周辺領域Ｒsにおける意味的ラベルの統計的分布から注目領域Ｒcにおける意味的ラベルの統計的分布を推定してステップ２０４へ移行する。具体的には、画像中のある点に着目して、学習された第２識別器を用いて、着目したある点の周辺領域Ｒsから注目領域Ｒcにおける意味的ラベルの統計的分布Ｄs（例えば、道路６０％、車両１０％、・・・等）を推定する。
ステップ２０４では、スコア算出部２８が、意味的領域分割処理部２４によって得られた意味的ラベル画像を用いて、注目領域Ｒcにおける意味的ラベルの統計的分布を算出してステップ２０６へ移行する。具体的には、画像中のある点に着目して、その注目領域Ｒcにおける意味的ラベルの統計的分布Ｄc（例えば、道路５０％、車両３０％、・・・等）を算出する。
ステップ２０６では、スコア算出部２８が、統計的分布推定部２６が推定した注目領域Ｒcにおける意味的ラベルの統計的分布と、スコア算出部２８が算出した注目領域Ｒcにおける意味的ラベルの統計的分布とに基づいて、路上障害物らしさを算出してステップ２０８へ移行する。例えば、統計的分布ＤcとＤsの相違を路上障害物らしさとして算出する。統計的分布ＤcとＤsの相違は、一例として、頻度分布Ｈcと頻度分布Ｈsとの相違として算出する。例えば、障害物らしさＳは、１番目の意味的ラベルに対する頻度分布を各々Ｈc（ｌ）、Ｈs（ｌ）として、図７に示すように、頻度分布間の差の二乗を用いた式で定義でき、障害物らしさＳをスコアとして算出できる。
ステップ２０８では、スコア算出部２８が、算出した障害物らしさに基づいて、路上障害物を検知して一連の処理を終了する。例えば、スコア算出部２８が算出した障害物らしさＳのスコアと予め定めた閾値とを比較して路上障害物であるか否かを判断して、路上障害物を検知する。
このように処理を行なうことによって、本実施形態に係る路上障害物検知装置１０では、様々の種類の障害物自体を学習データとして用意して学習しなくても、路上障害物を検知することが可能となる。
また、路上障害物を学習データとして用意して学習する必要がないので、間違った意味的ラベルの付与が抑制され、意味的ラベルから路上障害物を検知する場合よりも、路上障害物の検知精度を向上することが可能となる。
また、本実施形態では、障害物を学習データとして用意して学習する必要はないが、学習可能な範囲で、一部の代表的な障害物については学習データとして用意して学習することにより、路上障害物の検知精度を更に向上することが可能となる。
なお、上記の実施形態では、注目領域Ｒcは正方形として説明したが、注目領域Ｒcの形状は、これに限るものではない。例えば、図８に示すように、長方形等の矩形を適用してもよい。或いは、円形や、楕円形、多角形等の他の形状を適用してもよい。
また、上記の実施形態において、注目領域Ｒcの大きさＷcと周辺領域Ｒsの大きさＷsは、試行錯誤的に決定する他に、図９に示すように、遠方では小さく、近傍では大きくしてもよい。このとき、遠方及び近傍の判断は、例えば、意味的ラベル画像の道路の幅（例えば、遠方は狭く、近傍は広い）に基づいて決定し、道路の幅が狭くなるほど領域の大きさが小さくなるように決定する。
また、上記の実施形態において、注目領域Ｒcに対する周辺領域Ｒsの大きさの比率は、試行錯誤的に決定する他に、遠方と近傍とで異なる比率としてもよい。例えば、図１０に示すように、遠方では大きく、近傍では小さくしてもよい。すなわち、遠方ほど注目領域Ｒcに対する周辺領域Ｒsの大きさの比率が大きくなるようにしてよい。
また、上記の実施形態において、注目領域Ｒc及び周辺領域Ｒsの大きさは、図１１に示すように、スーパーピクセルを包含するように注目領域Ｒcの矩形領域を設定してもよい。また、スーパーピクセルの粒度を変えて障害物らしさを算出し、それぞれの粒度で算出した障害物らしさを統合することで最終的な障害物らしさを決定してもよい。このように、粒度を変えることで、大きい障害物から小さい障害物まで路上障害物を検知可能となる。
また、上記の実施形態において、注目領域Ｒc及び周辺領域Ｒsの形状とその大きさは、物体らしい領域に合わせて設定してもよい。例えば、図１２に示すように、画素毎に類似する領域をグルーピングしていくことで塊領域を選出するアルゴリズム（例えば、Selective Search）を用いて、物体らしい領域を包含するように領域を設定してもよい。また、学習時は、無作為に矩形領域を設定してもよい。このように、矩形領域を設定することで、障害物らしさを算出する領域を限定して処理負荷を削減することが可能となる。
また、上記の実施形態では、画像全面に対して路上障害物を検知する処理を行ったが、これに限るものではなく、検知する領域を制限して処理負荷を低減してもよい。例えば、画像から消失点等を検出して消失点を含む水平ライン以下の領域を路上障害物の検知対象領域としてもよい。或いは、画像の予め定めた下側の領域を路上障害物の検知対象領域としてもよい。
また、上記の実施形態では、頻度分布間の差の二乗を用いた式で障害物らしさＳを定義した例を説明したが、これに限るものではない。例えば、頻度分布間の差の変わりに、差の絶対値や、内積、ダイバージェンスを適用してもよい。ここで、ダイバージェンスとは、確率分布間の距離を示すものとするが、厳密には距離の公理を満たさない場合がある。具体的には、機械学習に好適な距離の定義を適用する。例えば、カルバック・ライブラー（ＫＬ）距離や、相対ピアソン（ｒＰＥ）距離等を適用してもよい。或いは、Ｌ２距離（密度差）等を適用してもよい。
カルバック・ライブラー距離は、確率密度の比（ｐ（ｘ）／ｐ’（ｘ））を用いて以下の式で定義される。
Figure 0007215390000001
また、相対ピアソン距離は、確率密度の比（ｐ（ｘ）／ｐ’（ｘ））を用いて以下の式で定義される。
Figure 0007215390000002
また、Ｌ２距離は、以下の式で定義される。なお、Ｌ２距離は、距離の公理を致すので、ダイバージェンスではなく、純粋な距離尺度といえる。
Figure 0007215390000003
或いは、視覚的顕著度（中心視と周辺視の相違）に基づく手法を用いて障害物らしさを定義してもよい。ここで、視覚的顕著度に基づく手法について簡単に説明する。視覚的顕著度の詳細については特開２０１８－１９４９１２号公報に記載の技術を適用する。
まず、図１３、１４に示すように、画像を前景と背景の境界を跨がない複数のスーパーピクセルＳＰ（局所領域）に分割し、ｊ番目のＳＰ（ＳＰｊ）からｉ番目のＳＰ（ＳＰi）に対する視覚的顕著度Ｓｉｊを以下の式で定義する。そして、視覚的顕著度Ｓｉｊのｊに関する合計値Ｌｉ＝ΣｊＳｉｊをスーパーピクセルＳＰｉに対する尤度Ｌｉと定義し、尤度を障害物らしさとして算出する。なお、図１３は複数のスーパーピクセルに分割した全体画像の一例を示す図であり、図１４はスーパーピクセルに分割した全体画像の一例中の矩形領域を示す図である。
Figure 0007215390000004
なお、n(SPj)はｊ番目のスーパーピクセルＳＰ内の画素数、dcolor（SPi,SPj)はｉ番目のスーパーピクセルＳＰとｊ番目のスーパーピクセルＳＰ間の色平均距離、Proad(SPj)はｊ番目のスーパーピクセルＳＰが”道路”である確率、Pother(SPi)はｉ番目のスーパーピクセルＳＰが”その他”である確率、dposition(SPi,SPj)はｉ番目のスーパーピクセルＳＰとｊ番目のスーパーピクセルＳＰ間の重心距離、weightは全てのスーパーピクセルＳＰ間の距離の中央値を示す。
また、上記の各実施形態における路上障害物検知装置１０の各部で行われる処理は、プログラムを実行することにより行われるソフトウエア処理として説明したが、これに限るものではない。例えば、ソフトウエア及びハードウエアの双方を組み合わせた処理としてもよい。また、ソフトウエアの処理とした場合には、プログラムを各種記憶媒体に記憶して流通させるようにしてもよい。
さらに、本発明は、上記に限定されるものでなく、上記以外にも、その主旨を逸脱しない範囲内において種々変形して実施可能であることは勿論である。
１０ 路上障害物検知装置
１４ 推定部
２４ 意味的領域分割処理部
２６ 統計的分布推定部
２８ スコア算出部
Ｒc 注目領域
Ｒs 周辺領域

Claims (7)

  1. 予め学習された第１識別器を用いて画像の画素毎に意味的ラベルを付与する付与部と、
    予め学習された第２識別器を用いて前記画像の予め定めた注目領域の周辺となる周辺領域における意味的ラベルの統計的分布から前記注目領域の意味的ラベルの統計的分布を推定する分布推定部と、
    前記付与部によって付与された前記注目領域の意味的ラベルの統計的分布と、前記分布推定部によって推定された前記注目領域の意味的ラベルの統計的分布とを用いて、路上障害物らしさを推定する障害物推定部と、
    を含む路上障害物検知装置。
  2. 前記障害物推定部は、前記付与部によって付与された前記注目領域の意味的ラベルの統計的分布と、前記分布推定部によって推定された前記注目領域の意味的ラベルの統計的分布との差分の二乗、前記差分の絶対値、内積、又は確率分布の距離に基づいて、前記路上障害物らしさを推定する請求項１に記載の路上障害物検知装置。
  3. 前記障害物推定部は、前記周辺領域と前記注目領域との関係によって定義した視覚的顕著度を用いて定義した尤度に基づいて、前記路上障害物らしさを推定する請求項１に記載の路上障害物検知装置。
  4. 前記障害物推定部は、画像を前景と背景の境界を跨がない複数の局所領域に分割し、前記局所領域から前記注目領域及び前記周辺領域を選択して前記路上障害物らしさを推定する請求項１～３の何れか１項に記載の路上障害物検知装置。
  5. 前記注目領域は、画像から塊領域を抽出して得られた物体らしい領域を包含する矩形領域を設定する請求項１～４の何れか１項に記載の路上障害物検知装置。
  6. コンピュータが実行する路上障害物検知方法であって、
    予め学習された第１識別器を用いて画像の画素毎に意味的ラベルを付与し、かつ、予め学習された第２識別器を用いて前記画像の予め定めた注目領域の周辺となる周辺領域における意味的ラベルの統計的分布から前記注目領域の意味的ラベルの統計的分布を推定し、
    付与された前記注目領域の意味的ラベルの統計的分布と、推定された前記注目領域の意味的ラベルの統計的分布とを用いて、路上障害物らしさを推定する路上障害物検知方法。
  7. コンピュータを、請求項１～５の何れか１項に記載の路上障害物検知装置の各部として機能させるための路上障害物検知プログラム。
JP2019187022A 2019-10-10 2019-10-10 路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラム Active JP7215390B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019187022A JP7215390B2 (ja) 2019-10-10 2019-10-10 路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラム
US17/002,995 US11443526B2 (en) 2019-10-10 2020-08-26 Road obstacle detection device, road obstacle detection method, and recording medium storing a road obstacle detection program
CN202010878744.9A CN112651274B (zh) 2019-10-10 2020-08-27 路上障碍物检测装置、路上障碍物检测方法及记录介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019187022A JP7215390B2 (ja) 2019-10-10 2019-10-10 路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラム

Publications (2)

Publication Number Publication Date
JP2021064054A JP2021064054A (ja) 2021-04-22
JP7215390B2 true JP7215390B2 (ja) 2023-01-31

Family

ID=75345962

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019187022A Active JP7215390B2 (ja) 2019-10-10 2019-10-10 路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラム

Country Status (3)

Country Link
US (1) US11443526B2 (ja)
JP (1) JP7215390B2 (ja)
CN (1) CN112651274B (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7327077B2 (ja) * 2019-10-18 2023-08-16 トヨタ自動車株式会社 路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラム
US11508092B2 (en) * 2019-12-16 2022-11-22 X Development Llc Edge-based crop yield prediction
JP7310718B2 (ja) * 2020-05-27 2023-07-19 トヨタ自動車株式会社 路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラム
CN115601361B (zh) * 2022-12-13 2023-04-07 苏州迈创信息技术有限公司 基于机器视觉机床零件在线检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019153225A (ja) 2018-03-06 2019-09-12 トヨタ自動車株式会社 物体識別装置
US20200272854A1 (en) 2019-01-23 2020-08-27 Aptiv Technologies Limited Automatically choosing data samples for annotation
US20200285910A1 (en) 2018-09-24 2020-09-10 Veritone, Inc. Object detection machine learning

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AUPP009697A0 (en) * 1997-10-29 1997-11-20 Canon Information Systems Research Australia Pty Ltd Image interpretation method and apparatas
JP2007328630A (ja) 2006-06-08 2007-12-20 Fujitsu Ten Ltd 物体候補領域検出装置、物体候補領域検出方法、歩行者認識装置および車両制御装置
CN101329766B (zh) * 2007-06-18 2012-05-30 索尼（中国）有限公司 运动图像分析装置、方法及***
US8509982B2 (en) * 2010-10-05 2013-08-13 Google Inc. Zone driving
US9916508B2 (en) * 2015-03-12 2018-03-13 Toyota Jidosha Kabushiki Kaisha Detecting roadway objects in real-time images
CN107967480B (zh) * 2016-10-19 2020-06-30 北京联合大学 一种基于标签语义的显著对象提取方法
US10402690B2 (en) * 2016-11-07 2019-09-03 Nec Corporation System and method for learning random-walk label propagation for weakly-supervised semantic segmentation
CN106951830B (zh) * 2017-02-23 2020-12-18 北京联合大学 一种基于先验条件约束的图像场景多对象标记方法
JP6565967B2 (ja) 2017-05-12 2019-08-28 トヨタ自動車株式会社 路上障害物検出装置，方法，およびプログラム
US10007269B1 (en) 2017-06-23 2018-06-26 Uber Technologies, Inc. Collision-avoidance system for autonomous-capable vehicle
CN108038857B (zh) * 2017-12-25 2018-10-12 北京航空航天大学 一种基于语义信息与边缘约束的前景目标检测方法
CN108764027A (zh) * 2018-04-13 2018-11-06 上海大学 一种基于改进的rbd显著性计算的海面目标检测方法
CN109063723B (zh) * 2018-06-11 2020-04-28 清华大学 基于迭代挖掘物体共同特征的弱监督图像语义分割方法
CN109117723B (zh) * 2018-07-06 2020-10-30 中国科学院自动化研究所 基于颜色模式分析与语义分割的盲道检测方法
CN109284663A (zh) * 2018-07-13 2019-01-29 上海大学 一种基于正态和均匀混合分布模型的海面障碍物检测方法
CN110262487B (zh) * 2019-06-12 2022-09-23 达闼机器人股份有限公司 一种障碍物检测方法、终端及计算机可读存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019153225A (ja) 2018-03-06 2019-09-12 トヨタ自動車株式会社 物体識別装置
US20200285910A1 (en) 2018-09-24 2020-09-10 Veritone, Inc. Object detection machine learning
US20200272854A1 (en) 2019-01-23 2020-08-27 Aptiv Technologies Limited Automatically choosing data samples for annotation

Also Published As

Publication number Publication date
US20210110174A1 (en) 2021-04-15
US11443526B2 (en) 2022-09-13
CN112651274B (zh) 2024-03-12
JP2021064054A (ja) 2021-04-22
CN112651274A (zh) 2021-04-13

Similar Documents

Publication Publication Date Title
JP7215390B2 (ja) 路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラム
KR102613517B1 (ko) 이미지의 시맨틱 분리를 위한 시스템 및 방법
US10672131B2 (en) Control method, non-transitory computer-readable storage medium, and control apparatus
WO2019228211A1 (zh) 基于车道线的智能驾驶控制方法和装置、电子设备
US10037610B1 (en) Method for tracking and segmenting a target object in an image using Markov Chain, and device using the same
US9552536B2 (en) Image processing device, information storage device, and image processing method
US20180082130A1 (en) Foreground detector for video analytics system
US20170124415A1 (en) Subcategory-aware convolutional neural networks for object detection
US8971410B2 (en) Method, apparatus and computer-readable medium processing frames obtained by multiple exposures
WO2017059576A1 (en) Apparatus and method for pedestrian detection
JP2016194925A (ja) 道路境界物の検出方法及び装置
CN110533046B (zh) 一种图像实例分割方法、装置、计算机可读存储介质及电子设备
EP2951783B1 (en) Method and system for detecting moving objects
US10878259B2 (en) Vehicle detecting method, nighttime vehicle detecting method based on dynamic light intensity and system thereof
CN106991686B (zh) 一种基于超像素光流场的水平集轮廓跟踪方法
KR102138680B1 (ko) 영상 인식 장치 및 방법
JP7327077B2 (ja) 路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラム
CN109492636B (zh) 基于自适应感受野深度学习的目标检测方法
CN114998595B (zh) 弱监督语义分割方法、语义分割方法及可读存储介质
US11367206B2 (en) Edge-guided ranking loss for monocular depth prediction
CN110827327A (zh) 一种基于融合的长期目标跟踪方法
CN117392638A (zh) 一种服务于机器人场景的开放物体类别感知方法及装置
CN116957051A (zh) 一种优化特征提取的遥感图像弱监督目标检测方法
US10853657B2 (en) Object region identifying apparatus, object region identifying method, and computer program product
Ding et al. Object as distribution

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211117

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230102

R151 Written notification of patent or utility model registration

Ref document number: 7215390

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151