JP2024035280A - 物体検出装置 - Google Patents
物体検出装置 Download PDFInfo
- Publication number
- JP2024035280A JP2024035280A JP2022139642A JP2022139642A JP2024035280A JP 2024035280 A JP2024035280 A JP 2024035280A JP 2022139642 A JP2022139642 A JP 2022139642A JP 2022139642 A JP2022139642 A JP 2022139642A JP 2024035280 A JP2024035280 A JP 2024035280A
- Authority
- JP
- Japan
- Prior art keywords
- sonar
- learning model
- measurement data
- detection device
- object detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 100
- 238000005259 measurement Methods 0.000 claims abstract description 92
- 238000013136 deep learning model Methods 0.000 claims abstract description 66
- 238000012545 processing Methods 0.000 claims description 16
- 238000011156 evaluation Methods 0.000 description 41
- 238000013500 data storage Methods 0.000 description 11
- 238000000034 method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000007786 learning performance Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/88—Sonar systems specially adapted for specific applications
- G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
- G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
- G01S15/06—Systems determining the position data of a target
- G01S15/42—Simultaneous measurement of distance and other co-ordinates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/87—Combinations of sonar systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
- G01S7/52004—Means for monitoring or calibrating
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
- G01S7/539—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
Abstract
【課題】超音波ソナーによる物体の検知結果が適切かどうかを判定することが可能な物体検出装置を提供する。
【解決手段】物体検出装置100は、超音波を用いて物体を検知する第1超音波ソナーFML及び第2超音波ソナーFMRが所定の値よりも高さが低い物体を検知したときの測定データと、第1超音波ソナーFML及び第2超音波ソナーFMRが所定の値以上の高さの物体を検知したときの測定データとに基づいて予め作成された深層学習モデルが記憶されている学習モデル記憶部21と、第1超音波ソナーFML及び第2超音波ソナーFMRが測定した測定データを取得するソナーデータ取得部11と、測定データを深層学習モデル21へ入力したときの深層学習モデル21からの出力が所定の値よりも高さが低い物体であるかどうかを判定するデータ判定部14と、を備える。
【選択図】図1
【解決手段】物体検出装置100は、超音波を用いて物体を検知する第1超音波ソナーFML及び第2超音波ソナーFMRが所定の値よりも高さが低い物体を検知したときの測定データと、第1超音波ソナーFML及び第2超音波ソナーFMRが所定の値以上の高さの物体を検知したときの測定データとに基づいて予め作成された深層学習モデルが記憶されている学習モデル記憶部21と、第1超音波ソナーFML及び第2超音波ソナーFMRが測定した測定データを取得するソナーデータ取得部11と、測定データを深層学習モデル21へ入力したときの深層学習モデル21からの出力が所定の値よりも高さが低い物体であるかどうかを判定するデータ判定部14と、を備える。
【選択図】図1
Description
本開示は、物体検出装置に関するものである。
超音波ソナーで取得した障害物(物体)の座標に、同じ障害物に対してライダー(LiDAR;Light Detection and Ranging/Laser Imaging Detection and Ranging)で取得した障害物の座標をラベル付けして学習モデルへ学習させ、この学習済の学習モデルに超音波ソナーで取得した障害物の座標を入力して、当該座標の真偽を取得する技術が開示されている(例えば、特許文献1参照)。
しかしながら、上記従来技術では、超音波ソナーとは別に高価なライダーを備える必要があり、コスト高となる。さらに、超音波ソナーが縁石等の車両に衝突しない高さの障害物を車両に衝突する高さの障害物であると誤って検知する可能性があった。このため、ライダーを用いることなく、超音波ソナーで取得した測定データに基づいて、超音波ソナーによる物体の検知結果が適切かどうかを判定できる技術の開発が切望されている。
そこで、本開示は、超音波ソナーによる物体の検知結果が適切かどうかを判定することが可能な物体検出装置を提供することを目的としている。
前記目的を達成するために、本開示の物体検出装置は、超音波を用いて物体を検知する超音波ソナーが所定の値よりも高さが低い物体を検知したときの測定データと、前記超音波ソナーが前記所定の値以上の高さの物体を検知したときの測定データとに基づいて予め作成された深層学習モデルが記憶されている学習モデル記憶部と、前記超音波ソナーが測定した測定データを取得するソナーデータ取得部と、前記測定データを前記深層学習モデルへ入力したときの前記深層学習モデルからの出力が前記所定の値よりも高さが低い物体であるかどうかを判定するデータ判定部と、を備える。
このように構成された本開示の物体検出装置では、高さが既知の物体を用いて超音波ソナーで取得した測定データに基づいて予め深層学習させることで作成した深層学習モデルに、超音波ソナーで取得した測定データを入力する。このことにより、超音波ソナーによる物体の検知結果が適切かどうかを判定することが可能となる。
(第1実施形態)
この開示の第1実施形態に係る物体検出装置は、図面に基づいて以下のように説明される。図1は、第1実施形態に係る物体検出装置100の概略構成を示す機能ブロック図である。この図1に示す物体検出装置100は、本開示に係る物体検出装置の一実施形態であり、本開示は本実施形態に限定されない。
この開示の第1実施形態に係る物体検出装置は、図面に基づいて以下のように説明される。図1は、第1実施形態に係る物体検出装置100の概略構成を示す機能ブロック図である。この図1に示す物体検出装置100は、本開示に係る物体検出装置の一実施形態であり、本開示は本実施形態に限定されない。
物体検出装置100は、自動車等の移動体に搭載されている。以下、本実施形態の物体検出装置100が搭載される移動体を自車両と称して説明する。
本実施形態の物体検出装置100は、第1超音波ソナーFML及び第2超音波ソナーFMRと接続されている。本実施形態の物体検出装置100は、外部装置である制御部200と組み合わされて使用されるが、この構成に限定されない。制御部200は、例えば、車両制御部(車両制御装置)、報知部(報知装置)等を適用することができる。車両制御部は、自車両の駐車や走行を支援する車両制御処理を実行する装置であり、例えば、車両制御ECUにより構成される。報知部は、報知音や報知メッセージ等によって、警報、その他の情報を自車両の乗員に知らせる装置である。報知部は、例えば、CPU、RAM、ROM等を有するコンピュータ、モニター、スピーカー等を備え、目標地点までの経路案内を行うナビゲーション装置に組み込まれていてもよい。
また、本実施形態の制御部200は、外部装置であるが、この構成に限定されない。他の異なる実施形態として、物体検出装置100が、制御部200を有し、運転制御処理や報知処理を行うかどうかの判断を行う構成とすることもできる。
本実施形態の物体検出装置100は、図1に示すように、処理部10と、記憶部20と、を備える。物体検出装置100は、例えば、CPU、GPU、RAM及びROM等の記憶装置を有するECUにより構成される。処理部10は、ECUが有するCPU等により主に構成され、ROMに格納された所定のプログラムをRAMに展開して実行することにより、物体検出装置100の全体の動作を制御する。記憶部20は、ECUが有する記憶装置により主に構成されるが、外部に設けられたサーバやデータベースを備えていてもよい。
第1超音波ソナーFML及び第2超音波ソナーFMR(以下、単に「第1ソナーFML」、「第2ソナーFMR」という。また、左右を区別しないときは、単に「ソナーFM」という。)は、超音波を発信して、この超音波が自車両の周囲の障害物等の物体で反射された反射波を受信することで、障害物(物体)を検知する装置である。第1ソナーFML及び第2ソナーFMRは、受信した反射波に関する測定データを、処理部10に出力する。
第1ソナーFML及び第2ソナーFMRは、図2に示すように、自車両のフロントバンパ又はフロントグリルに取り付けられている。第1ソナーFMLは、自車両の前方中央の左側(Front Middle Left)に取り付けられ、第2ソナーFMRは、自車両の前方中央の右側(Front Middle Right)に取り付けられている。
なお、自車両に取り付けられる超音波ソナーが、第1ソナーFML及び第2ソナーFMRに限定されない。例えば、超音波ソナーは、自車両の後方(後退方向)に向けて左右に並んで取り付けられた超音波ソナー、さらには、自車両の左前方、右前方、左後方、右後方に向けて取り付けられた超音波ソナーを含んでいてもよい。
ところで、超音波ソナーは、障害物に対して超音波を発信し、障害物で反射した超音波を検出するまでの経過時間に基づいて求められる自車両から障害物までの距離、反射して検出した超音波の強度、相対位置等の情報を測定データとして取得し、障害物を検知することが可能である。この検知した結果に基づき、車両制御部等が、自動駐車等の動作を制御したり、警報音を発したりしている。このとき、超音波ソナーは、超音波が乱反射し易い凸凹路面やグレーチング等を障害物として検知することがあった。しかし、超音波ソナーが取得する測定データをそのまま用いても、車両制御部等は、当該測定データが実際の障害物に反射した反射波の測定データなのか、超音波が乱反射した反射波の測定データなのかを判断することは困難であった。
これに対して、本実施形態の物体検出装置100は、ソナーFMで取得した測定データを用いて深層学習を行い、作成された深層学習モデルを用いて、ソナーFMで検知した障害物の高さが、所定の値以上か所定の値より低いかを判定するものである。これにより、物体検出装置100は、ソナーFMでの障害物の検知結果が適切かどうかを判定可能とし、物体検出をより適切に行うことを可能としている。
処理部10は、物体検出装置100の全体の制御を行うとともに、ソナーFMでの障害物の検知結果が適切かどうかを判定する。このことを可能とするため、処理部10は、図1に示すように、ソナーデータ取得部11、学習モデル作成部12、学習モデル評価部13及びデータ判定部14として機能する。
ソナーデータ取得部11は、ソナーFMから測定データを取得する。ソナーデータ取得部11は、深層学習モデルの作成時は、高さが既知の学習用障害物を用いてソナーFMが取得した測定データを、障害物の高さ(高い又は低い)と対応付けて学習用測定データとして記憶部20の学習用測定データ記憶部22に記憶する。このとき、ソナーデータ取得部11は、障害物の高さが対応付けられた学習用測定データの一部を、評価用データとして記憶部20の評価用データ記憶部23に記憶する。また、ソナーデータ取得部11は、学習用測定データ記憶部22から学習用測定データを取得し(読み出し)、学習モデル作成部12へ受け渡し、評価用データ記憶部23から評価用データを取得し、学習モデル評価部13へ受け渡す。
さらに、ソナーデータ取得部11は、深層学習モデルを用いた障害物の高さの検知時は、ソナーFMから測定データ(実際の障害物に対する測定データ)を取得し、データ判定部14に受け渡す。
深層学習モデルの作成時は、物体検出装置100に学習を行わせる実施者(物体検出装置100の製造元等)は、高さが高い学習用障害物(サンプル)と、高さが低い学習用障害物を、それぞれ複数種類ずつ用意する。このとき、例えば、高い学習用障害物及び低い学習用障害物は、各々2種類以上とすることが望ましい。第1ソナーFML及び第2ソナーFMRは、各学習用障害物へ向けて超音波を発信し、反射した反射波を受信して、障害物に関する各種情報を取得し、ソナーデータ取得部11に出力する。ソナーデータ取得部11は、これらの情報を、学習用測定データとして取得する。
取得する学習用測定データの数は、特に制限はないが、例えば、高さが高い学習用障害物及び高さが低い学習用障害物を2種類ずつ用いた場合は、1種類の学習用障害物につき少なくとも5千個の学習用測定データを取得し、少なくとも合計2万個の学習用測定データを取得することが望ましい。なお、高さが高い学習用障害物に対する学習用測定データと、高さが低い学習用障害物に対する学習用測定データとを同数(例えば5千×2種類=1万個ずつ)とすることで、深層学習モデルの性能をより高めることができる。
ここで、本明細書でいう「高さ」は、物体の、路面に対する垂直方向の長さであり、例えば、路面から物体の上端までの垂直方向に沿った長さである。また、高さが「高い」又は「低い」は、障害物が「所定の値」以上か、「所定の値」未満かで判断する。「所定の値」は、障害物が自車両のバンパー等に衝突する可能性がある値であり、車種等に応じて適宜設定することができる。本明細書では、「所定の値以上」であってバンパー等に衝突する可能性がある障害物は、高さが「高い」といい、「所定の値以上ではない(所定の値より低い)」高さであってバンパー等に衝突する可能性がない障害物は、高さが「低い」という。
学習モデル作成部12は、深層学習モデルの作成時にソナーデータ取得部11から入力される学習用測定データを用いて、ニューラルネットワークを用いた深層学習を行い、学習した結果を深層学習モデルとして記憶部20の学習モデル記憶部21に記憶する。図3は、ソナーFMで取得される反射波の波形モデルと、この波形モデルから取得される各種情報(測定データ)の一例を示す図である。この図3に示す(1)は障害物までの距離、(2)は反射強度、(3)は反射幅、(4)は反射波間隔であるが、取得される情報がこれらに限定されない。これらの情報は、入力要素として深層学習モデルへ入力される。
学習モデル評価部13は、学習モデル作成部12で作成した深層学習モデルに、評価用データ記憶部23から取得した評価用データを入力し、深層学習モデルからの出力結果を得る。本実施形態における評価用データ(教師用データ)は、前述したように深層学習モデルの作成時において、ソナーFMが取得した学習用障害物に対する学習用測定データから、適宜選択された測定データであるが、これに限定されず、別途取得した測定データを用いることもできる。
また、学習モデル評価部13は、深層学習モデルから得られた出力結果が正解であれば正解であったことを、不正解であれば不正解であったことを学習モデル記憶部21に記憶する。例えば、学習モデル評価部13は、評価用データが「障害物の高さが所定の値以上」を示す測定データであるとき、深層学習モデルからの出力が「障害物の高さが所定の値以上である」であれば「正解」と判定する。一方、学習モデル評価部13は、当該出力が「障害物の高さは所定の値以上ではない」であれば「不正解」と判定する。
学習モデル作成部12による深層学習モデルの作成と、学習モデル評価部13による評価は、所定回数繰り返すことが望ましい。また、深層学習モデルからの出力の正解率を算出し、この正解率が所定の正解率となるまでこれらの処理を繰り返すことが、より望ましい。この繰り返しの所定回数は、特に限定されないが、100回以上が望ましく、200回以上がより望ましく、300回以上がさら望ましく、500回以上が最も望ましい。正解率は、特に限定されないが、0.8(80%)以上が望ましい。
データ判定部14は、実際の障害物の検出時に、ソナーデータ取得部111から入力される測定データを、学習モデル記憶部21に記憶されている深層学習モデルに入力する。この入力に基づき、深層学習モデルは、「障害物の高さが所定の値以上である」、「障害物の高さが所定の値以上でない(所定の値より低い)」の何れかを出力する。
データ判定部14は、深層学習モデルからの出力に基づいて、ソナーFMによる障害物の検知結果が正しい(適切)かどうかを判定する。より具体的には、データ判定部14は、深層学習モデルからの出力が「障害物の高さが所定の値以上である」とき、ソナーFMによる障害物の検知結果は「正しい」と判定する。一方、データ判定部14は、当該出力が「障害物の高さが所定の高さ以上でない」であるとき、ソナーFMによる障害物の検知結果は「正しくない(誤検知)」と判定する。その理由は、ソナーFMは、高さが所定の値以上の「高い」物体を障害物として検知するものであるため、検知した障害物が深層学習モデルにより「低い」と判断した場合は、ソナーFMがグレーチング等による乱反射を「高い」障害物として誤検知したと考えられるからである。データ判定部14は、判定結果とともに測定データ(障害物の検知結果)を制御部200に出力する。
なお、データ判定部14は、判定結果が「正しい」ときにだけ、この判定結果とともに(又は判定結果に代えて)測定データを制御部200に出力する構成とすることもできる。一方、判定結果が「正しくない(誤検知)」ときに、データ判定部14は、この判定結果及び測定データを制御部200に出力せずに破棄する構成とすることもできる。
記憶部20は、処理部10における各種動作の際に用いられる各種データやパラメータを、一時的又は非一時的に格納する。また、前述したように、記憶部20の学習モデル記憶部21は、ソナーFMが所定の値よりも高さが低い障害物を検知したときの学習用測定データと、所定の値以上の高さの障害物を検知したときの学習用測定データとに基づいて、学習モデル作成部12により予め作成された深層学習モデルを、一時的又は非一時的に格納する。また、学習用測定データ記憶部22は、学習用測定データを、評価用データ記憶部23は、評価用データを、一時的又は非一時的に格納する。
制御部200は、処理部10のデータ判定部14から入力された判定結果に基づき、所定の処理を行うかどうかを決定する。具体的には、制御部200は、判定結果が「正しい」とき、測定データに基づいて、所定の処理を行うことを決定し、判定結果が「正しくない(誤検知)」とき、所定の処理を行わないことを決定する。
例えば、制御部200が車両制御部である場合、制御部200は、判定結果が「正しい」とき、障害物の回避、自車両の減速、停止等の車両制御を実行し、判定結果が「正しくない(誤検知)」とき、車両制御を実行しない。また、制御部200が報知部である場合、制御部200は、判定結果が「正しい」とき、障害物を検知したことを乗員に報知するための報知音や報知メッセージの出力制御を実行し、判定結果が「正しくない(誤検知)」とき、出力制御を実行しない。
上述のような構成の第1実施形態に係る物体検出装置100の動作の一例は、図5及び図6のフローチャートを参照しながら以下のように説明される。
まず、第1実施形態に係る物体検出装置100が深層学習モデルを作成する際の動作の一例は、以下のように説明される。この深層学習モデルの作成は、例えば、車両の製造元等で実行されるが、これに限定されない。
深層学習モデルを作成するに際して、実施者は、まず高さが異なる4種類の障害物、つまり、高さが高い学習用障害物を2種類と、高さが低い学習用障害物を2種類用意する。実施者は、それぞれの学習用障害物に対して、第1ソナーFML及び第2ソナーFMRに学習用測定データを取得させる。このとき、実施者は、第1ソナーFML及び第2ソナーFMRが安定して検知することのできる範囲内、具体的には、自車両から3m~4mの範囲内に学習用障害物を配置する。さらに、実施者は、外乱による推定の誤差がなくなるように、フラットな路面かつ風や振動などの影響を受けにくい環境で、第1ソナーFML及び第2ソナーFMRに学習用測定データを取得させる。これにより、第1ソナーFML及び第2ソナーFMRは、より精度よく学習用測定データを取得することができる。
本実施形態では、実施者は、図2に示すように、1種類の障害物を複数の異なる位置に設置し、第1ソナーFML及び第2ソナーFMRを用いてそれぞれの位置における反射波を測定する。例えば、実施者は、高さが所定の値以上の障害物の一つとしてポールをP1に設置して、第1ソナーFML及び第2ソナーFMRに学習用測定データとして反射波を取得させ、物体検出装置100に学習用測定データとして記憶させる。さらに、物体検出装置100は、ポールをP2に設置して第1ソナーFML及び第2ソナーFMRが測定した反射波も学習用測定データとして記憶する。所定の値よりも高さが高い障害物の一つとして、第1ソナーFML及び第2ソナーFMRは、ポール以外のパイロンについても同様に反射波を測定し、物体検出装置100は、反射波を学習用測定データとして記憶する。また第1ソナーFML及び第2ソナーFMRは、所定の値よりも高さが低い障害物としてグレーチングや縁石の反射波を同様に測定する。このように、実施者は1つの種類の障害物を複数の異なる位置(例えばP1~P9)に置いて第1ソナーFML及び第2ソナーFMRに反射波を測定させ、物体検出装置100に学習用データとして記憶させる。P1~P9は、例えば自車両のバンパーの中央前端を基準(原点)として、自車両の前方に1m間隔で設けられる。そして、実施者は、第1ソナーFML及び第2ソナーFMRに4種類の学習用障害物について、それぞれ5千回ずつ学習用測定データを取得させ、合計2万個の学習用測定データを取得させる。
ソナーデータ取得部11は、第1ソナーFML及び第2ソナーFMRから取得した2万個の学習用測定データを、障害物の高さ(高い又は低い)と対応付けて(ラベルを付して)、記憶部20に記憶する。このとき、ソナーデータ取得部11は、学習用測定データの中からランダムに選択した例えば75%(1万5千個)の測定データを、深層学習に用いる学習用測定データとして、学習用測定データ記憶部22に記憶する。ソナーデータ取得部11は、残りの25%(5千個)の学習用測定データを、深層学習モデルの性能を評価するための評価用データ(教師用データ)として、評価用データ記憶部23に記憶する。
このようにして取得した学習用測定データを用いた物体検出装置100による深層学習モデルの作成手順(動作)は、図5に示すフローチャートを参照して以下のように説明される。なお、この図5に示すフローチャートの動作が開始された時点で、第1中間層(Middle layer 1)及び第2中間層(Middle layer 2)のノードは、所定の個数に設定されているものとする。例えば、第1中間層は、入力層(Input layer)から入力される入力要素から特徴をより多く抽出して拡散し、拡散結果に応じたノード数を設定している。第2中間層は、第1中間層で抽出した特徴の中から障害物の高さに関連する特徴を選び取って、入力要素よりも少ない特徴数(ノード数)に絞っている。また、第1中間層及び第2中間層は、重み付けに用いる重みパラメータ1及び重みパラメータ2が予め設定されている。
まず、S1(ステップ1)で、学習モデル評価部13は、カウンタ変数iを宣言すべく、カウンタ変数iに0を設定する。次のS2で、ソナーデータ取得部11は、学習用測定データ記憶部22から学習用測定データを取得し、学習モデル作成部12へ順次受け渡す。
次のS3で、学習モデル作成部12は、学習用測定データを学習モデル記憶部21に設けられた深層学習モデルへ入力する。入力要素は、例えば、第1ソナーFML及び第2ソナーFMRで各々取得された距離、反射強度、反射幅、反射波間隔等の情報であり、これらを取得した障害物の高さ(高い又は低い)がラベル付されて深層学習モデルへ入力される。本実施形態では、深層学習モデルは、学習用測定データ記憶部22に記憶された1万5千個の学習用測定データの入力を受け、深層学習を実行する。
図4は、学習モデル作成部12が深層学習により学習するニューラルネットワークの構成を模式的に示した図である。この図4に示すように、入力層に第1ソナーFMLに対応する入力要素1、2、3、4、・・・、及び第2ソナーFMRに対応する入力要素1、2、3、4、・・・が入力される。図4では、高さが高い学習用障害物を用いた測定データの一例を示しているため、各入力要素は、「高い」というラベル付けがされて入力層に入力される。そして、第1中間層は、入力層から入力される入力要素から特徴をより多く抽出して拡散し、第2中間層は、抽出した特徴の中から障害物の高さに関連する特徴を選び取って、入力要素よりも少ない特徴数に絞る。出力層(Output layer)は、出力要素として「高い」(例えば、「1」)、「低い」(例えば「0」)の何れかを出力する。
次のS4で、学習モデル評価部13は、S3で作成した深層学習モデルに、評価用データを入力する。この評価用データは、正しい答えが予め分かっている5千個の教師用データであり、ソナーデータ取得部11によって評価用データ記憶部23から取得されて学習モデル評価部13へ受け渡されたものである。また、この評価用データは、S3で用いる学習用測定データとは異なるものであり、深層学習モデルには、距離、反射強度、反射幅、反射波間隔等の入力要素のみが入力され、深層学習モデル側では高さは未知なものとなっている。この入力に対して、深層学習モデルは、「高い」、「低い」の何れかを出力する。
次のS5で、学習モデル評価部13は、評価用データを入力したことで深層学習モデルから得られた出力結果と、予め分かっている答えとを比較し、正解か不正解かを判定する。そして、学習モデル評価部13は、出力が正解であったこと、又は不正解であったことを記憶部20に記憶することで、正解及び不正解のデータを蓄積する。
具体的な判定手順として、例えば評価用データが「障害物の高さが所定の値以上」(高い)を示す測定データであるとき、出力が「高い」であれば、学習モデル評価部13は、正解と判定する。これに対して、出力が「低い」(障害物の高さは所定の値以上ではない)であれば、学習モデル評価部13は不正解と判定する。一方、評価用データが「障害物の高さが所定の値以上ではない」(低い)を示す測定データであるとき、出力が「低い」であれば、学習モデル評価部13は、正解と判定する。これに対して、出力が「高い」であれば、学習モデル評価部13は不正解と判定する。
所定の評価用データに対して、正解又は不正解の判定及び記憶をすべて行ったら、プログラムはS6へと進み、学習モデル評価部13は、カウンタ変数iに1を加算する(i=i+1)。次のS7で、学習モデル評価部13は、カウンタ変数iが所定の学習回数N(Nは自然数)以上であるかどうかを判断する。この所定の学習回数Nは、正解率を算出するのに十分な学習回数であり、この回数分、深層学習モデルに対して学習を行わせる。本実施形態では、所定の学習回数Nは、500回(N=500)としている。
S7で、カウンタ変数iが、所定の値N以上ではない(No)と判定した場合は、プログラムはS4へと戻り、S4~S6の処理を繰り返す。これに対して、カウンタ変数iが所定の値N以上である(Yes)と判定した場合は、プログラムはS8へと進む。
S8では、学習モデル評価部13は、蓄積された正解又は不正解のデータに基づいて、作成したモデルの正解率Rを、例えば下記計算式で算出し、正解率Rが所定の目標値以上であるかどうかを判断する。本実施形態では、所定の目標値は、0.8(80%)以上としている。
正解率R = 深層学習モデルの出力が正解と判定した回数/深層学習モデルへ評価用データを入力した回数
S8で、正解率Rが目標値以上である判定したとき(Yes)、プログラムはエンドへと進み、深層学習モデルの作成は完了する。これに対して、正解率Rが目標値以上ではないと判定したとき(No)、プログラムはS3へと戻り、深層学習モデルに、さらに学習を実行させる。このとき、学習モデル作成部12は、第1中間層の重みパラメータ1と、第2中間層の重みパラメータ2とを、適宜変更して学習を行わせることで、深層学習モデルの学習性能を向上させることができる。
図7は、高さ推定の正解率が0.8(80%)を超えたときのシミュレーション結果を示すグラフである。この図7に示すグラフの横軸は学習回数であり、縦軸は正解率である。この図7からわかるように、学習回数(N)が100回に到達するあたりから、正解率(R)が0.8(80%)を超え、学習回数が200回、300回と増加すると正解率が0.83(83%)付近に安定する。以上のことから、学習回数を500回程度とすることで、深層学習モデルは、正解率がより安定し、かつ障害物が所定の値より高いかどうかを、より正確に出力することができる。
以上のようにして作成された深層学習モデルを用いた、物体検出装置100が障害物の高さを検出する際の動作の一例は、図6のフローチャートに基づいて以下のように説明される。この図6のフローチャートに示す動作は、ユーザが自車両を走行させたとき等に開始される。
S11で、ソナーデータ取得部11は、第1ソナーFML及び第2ソナーFMRで所定の障害物を検知したときの測定データを取得する。実際の測定対象の障害物としては、例えば、高さが所定の値以上の障害物は、ポール、パイロン等が挙げられ、高さが所定の値よりも低い障害物は、縁石、グレーチング等が挙げられる。ソナーデータ取得部11は、取得した測定データをデータ判定部14に受け渡す。
次のS12で、データ判定部14は、取得した測定データから抽出した情報(入力要素)を深層学習モデルへ入力する。深層学習モデルは、入力された測定データの各情報に基づき、障害物の高さは所定の値以上であると判断したときは、「高い」(例えば、「1」)を出力し、障害物の高さは所定の値以上でないと判断したときは、「低い」(例えば「0」)を出力する。
次のS13で、データ判定部14は、深層学習モデルからの出力が、「障害物の高さは所定の値以上であるかどうか」を判定する。深層学習モデルからの出力が、「障害物の高さは所定の値以上」(高い)であるとき(Yes)、プログラムはS14へと進み、出力が「障害物の高さは所定の値以上でない」(低い)であるとき(No)、プログラムはS15へと進む。
S14では、データ判定部14は、ソナーFMによる障害物の検知結果は正しいと判定する。一方、S15では、データ判定部14は、ソナーFMによる障害物の検知結果は正しくない(誤検知)と判定する。
その後、プログラムはエンドへと進むことで、1つの測定データに対する物体検出装置100の動作は終了する。そして、物体検出装置100は、ソナーFMで障害物を検知する毎に、S11~S15の工程を実行し、ソナーFMによる障害物の検知結果が正しいかどうかを判定する。
また、データ判定部14は、上記S14、S15で得られた判定結果と測定データを、外部装置である制御部200へ出力する。制御部200が車両制御部であれば、前述したとおり、制御部200は、判定結果に基づいて、ソナーFMによる障害物の検知結果を車両制御に用いるかどうかを判断する。例えば、判定結果が「正しい」であるときは、ソナーFMによる障害物の検知結果は正しいため、制御部200は、障害物の検知結果を車両制御に使用すると判断することができる。一方、判定結果が「正しくない(誤検知)」であるときは、ソナーFMによる障害物の検知結果は正しくないため、制御部200は、障害物の検知結果を車両制御に使用しないと判断することができる。
また、制御部200が報知部であれば、制御部200は、判定結果に基づいて、障害物を検知したことを乗員に報知するかどうかを判断する。例えば、判定結果が「正しい」であるときは、ソナーFMによる障害物の検知結果は正しいため、制御部200は、乗員に障害物があることを報知することができる。一方、判定結果が正しくない(誤検知)であるときは、ソナーFMによる障害物の検知結果は正しくないため、制御部200は、乗員に障害物があることを報知しないようにできる。
以上説明したように、本実施形態の物体検出装置100は、ソナーFMが所定の値よりも高さが低い障害物(物体)を検知したときの測定データと、所定の値以上の高さの物体を検知したときの測定データとに基づいて予め作成された深層学習モデルに、ソナーFMで実際に障害物を検知したときの測定データを入力している。そして、物体検出装置100は、深層学習モデルからの出力が、所定の値よりも高さが低い物体であるかどうかを判定している。これにより、物体検出装置100は、ソナーFMによる物体の検知結果が適切かどうかを判定することが可能となる。この結果、物体検出装置100は、ソナーFMで障害物を検知する際に、縁石やグレーチング等の自車両に衝突しない高さの障害物を、自車両に衝突する高さの障害物であると検知することを低減することができる。また、物体検出装置100は、高さの判定結果に基づいて、車両制御や、乗員への報知の制御を、より迅速かつより適切に行うことができる。
また、物体検出装置100は、ソナーFMからの測定データに基づいて障害物の高さを検知し、ソナーFMによる物体の検知結果が適切かどうかを判定することができる。このため、物体検出装置100は、画像認識やライダー等を用いる必要がなく、製造コスト等が低減されるとともに、昼夜を問わず優れた物体検出機能を発揮できる。また、物体検出装置100は、深層学習モデルを用いて物体の高さが高いか低いか(1か0か)を出力しているため、高さの判定をより正確かつ精度よく行うことができる。
以上、図面を参照して、本開示の実施形態を詳述してきたが、具体的な構成は、この実施形態に限らず、本開示の要旨を逸脱しない程度の設計的変更は、本開示に含まれる。
上記実施形態の物体検出装置100は、自車両の前方中央の左右に取り付けられた第1ソナーFML及び第2ソナーFMRからの測定データを用いて学習し、検知結果の判定する構成としているが、本開示はこの構成に限定されない。物体検出装置100は、測定領域が所定範囲で重なる一対のソナーの測定データを用いて学習等を行えばよく、複数のソナーから選択される一対又は複数対のソナーからの測定データを用いて、学習等を行う構成とすることができる。この構成により、物体検出装置100は、各ソナーでの物体の検知結果が正しいかどうかを判定して、自車両の前方のみならず、様々な方向における物体の検出を、より高精度に行うことができる。
また、上記実施形態の物体検出装置100は、処理部10を1つのECUに設けているが、この構成に限定されず、異なるECUに分散して設けることもできる。また、物体検出装置100は、その機能の一部又は全部を、FPGA、ASICなどのハードウェアを用いて実現されることもできる。さらには、物体検出装置100は、処理部10と制御部200とを1つのECU等に設けられた構成とすることもできる。
また、物体検出装置100は、深層学習モデルの作成を車両毎に実施してもよく、各車両の状態に合致した深層学習モデルを作成できる。また、物体検出装置100は、車種に応じて所定の車両で深層学習モデルを作成し、作成した深層学習モデルを、同種の複数の車両に搭載(インストール)することもでき、本開示のより効率的な実施が可能となる。
11 :ソナーデータ取得部 14 :データ判定部
21 :学習モデル記憶部 100 :物体検出装置
200 :制御部 FML :第1超音波ソナー
FMR :第2超音波ソナー
21 :学習モデル記憶部 100 :物体検出装置
200 :制御部 FML :第1超音波ソナー
FMR :第2超音波ソナー
Claims (5)
- 超音波を用いて物体を検知する超音波ソナーが所定の値よりも高さが低い物体を検知したときの測定データと、前記超音波ソナーが前記所定の値以上の高さの物体を検知したときの測定データとに基づいて予め作成された深層学習モデルが記憶されている学習モデル記憶部と、
前記超音波ソナーが測定した測定データを取得するソナーデータ取得部と、
前記測定データを前記深層学習モデルへ入力したときの前記深層学習モデルからの出力が前記所定の値よりも高さが低い物体であるかどうかを判定するデータ判定部と、
を備える物体検出装置。 - 前記深層学習モデルからの前記出力が、前記所定の値よりも高さが低い物体であるとき、前記測定データに基づいて所定の処理を行わないことを決定し、
前記出力が、前記所定の値以上の高さの物体であるとき、前記測定データに基づいて前記所定の処理を行うことを決定する制御部、を備える
請求項1に記載の物体検出装置。 - 前記制御部は、車両を制御する処理を行う車両制御部である
請求項2に記載の物体検出装置。 - 前記制御部は、車両の周辺に物体を検出したことを乗員へ報知する報知部である
請求項2に記載の物体検出装置。 - 前記深層学習モデルは、前記測定データを入力すると、前記測定データに対応する物体が前記所定の値よりも高さが低い物体かどうかを判定した結果を出力する
請求項1~4の何れか一項に記載の物体検出装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022139642A JP2024035280A (ja) | 2022-09-02 | 2022-09-02 | 物体検出装置 |
EP23194835.7A EP4332622A1 (en) | 2022-09-02 | 2023-09-01 | Object detection device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022139642A JP2024035280A (ja) | 2022-09-02 | 2022-09-02 | 物体検出装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024035280A true JP2024035280A (ja) | 2024-03-14 |
Family
ID=87929316
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022139642A Pending JP2024035280A (ja) | 2022-09-02 | 2022-09-02 | 物体検出装置 |
Country Status (2)
Country | Link |
---|---|
EP (1) | EP4332622A1 (ja) |
JP (1) | JP2024035280A (ja) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109870698B (zh) | 2019-01-15 | 2021-12-24 | 阿波罗智能技术(北京)有限公司 | 一种超声波阵列障碍物检测结果处理方法及*** |
DE102019207688A1 (de) * | 2019-05-26 | 2020-11-26 | Robert Bosch Gmbh | Verfahren und Fahrerassistenzsystem zur Klassifizierung von Objekten in der Umgebung eines Fahrzeugs |
DE102019215394A1 (de) * | 2019-10-08 | 2021-04-08 | Robert Bosch Gmbh | Verfahren und Fahrerassistenzsystem zum Klassifizieren von Objekten in der Umgebung eines Fahrzeugs |
-
2022
- 2022-09-02 JP JP2022139642A patent/JP2024035280A/ja active Pending
-
2023
- 2023-09-01 EP EP23194835.7A patent/EP4332622A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
EP4332622A1 (en) | 2024-03-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6533040B2 (ja) | レーダセンサ使用による対象物特定方法 | |
CN103930794B (zh) | 用于运行传感器的方法 | |
WO2014054239A1 (ja) | 物体検知装置 | |
US10235629B2 (en) | Sensor data confidence estimation based on statistical analysis | |
CN106662643A (zh) | 超声波式物体检测装置 | |
US9435880B2 (en) | Pulse transponder countermeasure | |
WO2016063524A1 (ja) | 障害物検出装置 | |
JP5712900B2 (ja) | 周辺物体検出装置 | |
CN112740061B (zh) | 用于改善在借助LiDAR环境地图的情况下的雷达仪的物体识别的方法和设备 | |
JP2024072823A (ja) | 情報処理装置、制御方法、プログラム及び記憶媒体 | |
JP5832067B2 (ja) | 光測距装置 | |
JP2024035280A (ja) | 物体検出装置 | |
JP2000098031A (ja) | インパルスソーナー | |
CN111824159A (zh) | 车辆控制方法、装置、车辆和计算机可读存储介质 | |
JP5206740B2 (ja) | 道路形状検出装置 | |
JPH07260933A (ja) | 周辺物体検知装置 | |
JP6519115B2 (ja) | 車両用障害物検知装置 | |
CN113552575B (zh) | 泊车障碍物侦测方法及装置 | |
CN111213069B (zh) | 基于相干光的避障装置及方法 | |
JP5493992B2 (ja) | 運転支援装置 | |
JP2016224012A (ja) | 移動方向推定システム、方法およびプログラム | |
CN114047517A (zh) | 障碍物检测方法、存储介质及电子设备 | |
CN111220990A (zh) | 障碍物检测方法、超声波传感器的参数配置方法及设备 | |
KR102687179B1 (ko) | 초음파를 활용한 주차 경로 및 그 주변의 장애물 판단 방법 및 장치 | |
CN111220989A (zh) | 障碍物检测方法及设备 |