JP7370368B2

JP7370368B2 - 自動運転システム

Info

Publication number: JP7370368B2
Application number: JP2021192673A
Authority: JP
Inventors: 琢也谷口; 絵里桑原; 元気田中
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2021-11-29
Filing date: 2021-11-29
Publication date: 2023-10-27
Anticipated expiration: 2041-11-29
Also published as: JP2023079286A; US20230169775A1; DE102022212343A1

Description

本願は、自動運転システムに関するものである。

あらかじめ障害物を検知するための路側機が設置されている領域において、路側機からの障害物位置情報および領域の高精度な地図情報を路側機から受信し、それら情報をもとに領域内を自動で走行する自動運転システムが知られている（例えば、特許文献１参照）。

特開２０１６－５７６７７号公報

特許文献１のような自動運転システムの場合、路側機に画像認識カメラ、レーザーレーダー、またはミリ波レーダーなどを搭載した路側センサを配置し、この路側センサによって障害物を検知し、検知した情報に基づいて障害物を避けて自動運転を行う。しかし、この場合、路側センサは、自動運転の制御対象車両の周囲の障害物だけでなく、制御対象車両も同様に検知することとなる。この場合、検知したものが、障害物であるか、制御対象車両であるかの判別は困難である。なぜなら、１つの路側センサの画像認識カメラが検知した制御対象車両の位置は、他の路側センサの画像認識カメラが検知した制御対象車両の位置とは必ずしも重ならない。また、レーザーレーダー、ミリ波レーダーが検知した制御対象車両の位置も同様に必ずしも重なるとは限らない。

制御対象車両であるにも関わらず、障害物であると誤認された検知点がある場合、制御対象車両近くに、存在しない障害物が検知されていることになり、このような誤認された障害物との衝突を避けようとして制御対象車両が自動で走行することができなくなる恐れがある。

これに対し、文献１では、路側機に搭載した監視カメラの周囲障害物の検知方法と、監視カメラの画像認識により、制御対象物が認識されている範囲のものを取り除く方法を開示している。しかし、路側機には、監視カメラだけでなく、レーザーレーダー、ミリ波レーダーなどのさまざまな障害物検知センサが搭載されるため、監視カメラ以外で検知された障害物において、監視カメラの検知位置と誤差がある場合、障害物の誤認を防ぐことができないという課題があった。

本願は、上述のような問題を解決するためになされたもので、カメラの画像認識による検知位置と、それ以外のセンサの検知位置とに誤差があり、制御対象車両を障害物と誤認してしまうことを防止する自動運転システムを提供することを目的とする。

本願に開示される自動運転システムは、
制御対象車両が障害物を避けて自動走行を行うシステムであって、
道路周囲に設置され、前記道路上の物体を画像により検知する第１のセンサ、
道路周囲に設置され、道路上の物体を画像以外の方法で検知する第２のセンサ、
第１のセンサまたは第２のセンサで検知された検知点を統合する路側センサ統合部、
路側センサ統合部で統合された検知点のうち、あらかじめ設定された条件を満たす検知点を誤検知として除去する誤検知障害物除去部、
誤検知障害物除去部により除去した後の検知エリア内の検知点に、識別のための識別子と検知エリアに出現してからの経過時間を示す追尾時間とを付加する追尾部、
追尾部から取得した識別子と追尾時間とが付加された検知エリア内の検知点の情報に基づいて制御対象車両の位置から制御対象車両に由来した検知点が発生する可能性のある一定距離の範囲内にあり、かつ追尾時間が新たに付加された検知点、または制御対象車両の位置から一定距離の範囲外にあり、かつ制御対象車両と一定の距離を保って移動している検知点、を制御対象車両であると判別する制御対象車両判別部、
制御対象車両判別部で制御対象車両であると判別されない検知点から障害物を抽出する周囲障害物抽出部、を備え、
周囲障害物抽出部で抽出された障害物の検知点の情報を自動運転制御装置に出力することを特徴とする。

本願に開示される自動運転システムによれば、制御対象車両を障害物と誤認してしまうことを防止することができる。

実施の形態１に係る自動運転システムの路側センサを説明する図である。実施の形態１に係る自動運転システムの路側センサを説明する図である。実施の形態１に係る自動運転システムのシステム構成の概要を説明する図である。実施の形態１に係る自動運転システムの障害物認知装置の機能を説明する機能構成図である。実施の形態１に係る障害物認知装置の路側センサ統合部を説明する図である。実施の形態１に係る障害物認知装置の平均画像比較部を説明する図である。実施の形態１に係る障害物認知装置の車載センサ死角範囲推定部を説明する図である。実施の形態１に係る障害物認知装置の誤検知障害物除去部の動作を説明する図である。実施の形態１に係る障害物認知装置の追尾部を説明する図である。実施の形態１に係る障害物認知装置の制御対象車両判別部の動作を説明する図である。実施の形態１に係る障害物認知装置の周辺障害物抽出部の動作を説明する図である。実施の形態１に係る障害物認知装置および自動運転制御装置のハードウエアの一例を示す図である。

以下、本願に係る自動運転システムの好適な実施の形態について、図面を参照して説明する。なお、同一内容および相当部については同一符号を配し、その詳しい説明は省略する。

実施の形態１．
図１は、実施の形態１に係る自動運転システムの路側センサの一例を示す図である。路側センサ１は、図２に示すように、自動運転エリアの道路周辺に、路側センサ１ａ、１ｂ、１ｃ、１ｄなど複数設置され、道路上および道路周辺の物体、例えば車両および歩行者などを検知する。路側センサ１には、画像認識カメラ１１、レーザーレーダー１２、ミリ波レーダー１３を備えている。なお、センサの種類はこれに限るものではない。

路側センサ１ａ、１ｂ、１ｃ、１ｄでの検知結果は、図３で示すように、自動運転の制御対象車両Ａに搭載された障害物認知装置２に送信される。それと同時に制御対象車両Ａに配設された周囲センサ３によって検知された物体も障害物認知装置２に送信される。

障害物認知装置２は、自動運転の制御対象車両Ａと制御対象車両Ａに対する障害物を判別し、障害物の情報のみを自動運転制御装置４に送信する。自動運転制御装置４は、受信した制御対象車両Ａの周囲の障害物の位置情報に基づいて、図４に示す、ステアリングモータ５、スロットル６、ブレーキアクチュエータ７などを制御し、周囲の障害物を避けて目的地に向かって自動走行を行う。

なお、周囲センサ３の代表的な構成は、全周囲レーザーレーダーであるが、車両の全周囲を見渡せる画像認識カメラであってもよい。また、ミリ波レーダーあるいは超音波センサであってもよい。

また、障害物認知装置２は、制御対象車両Ａに必ずしも搭載される必要はなく、外部に設置し、処理を行った結果のみを制御対象車両Ａが受信する構成としてもよい。

次に障害物認知装置２の構成について詳細に説明する。図４は、障害物認知装置の機能構成図である。障害物認知装置２は、路側センサ統合部２１、平均画像比較部２２、車載センサ死角範囲推定部２３、誤検知障害物除去部２４、追尾部２５、制御対象車両判別部２６、周囲障害物抽出部２７の７つの機能で主に構成される。以下にそれぞれの機能を説明する。

各路側センサ１ａ～１ｄは次の（１）、（２）の情報を障害物認知装置２に送信する。
（１）路側センサ１で検知した検知点の情報（検知された物体の種類と位置）。
物体の種類は、例えば、歩行者、車両、制御対象車両、荷物および動物などの一般物である。物体の位置は、路側機の検知点である。
（２）画像認識カメラ１１の直近の画像と長期間の平均画像。
長期間の平均画像は結果的にほぼ物体のない背景画像である。

路側センサ統合部２１は、各路側センサ１ａ～１ｄから送信された対象物の検知点の情報を、自動運転エリア内の障害物マップとして統合する。検知点の情報とは、例えば図５内に、人および車などの対象物の近くに丸で示されている。これは、対象物が路側センサ１ａ～１ｄに搭載された画像認識カメラ１１で検知されている部分を示す。本実施の形態では、路側センサ１ａ～１ｄは、異なる４つの方向から自動運転エリアに存在する対象物を検知しており、路側センサ統合部２１で検知結果を統合する（図５（ｅ）参照）。図５（ｅ）では、検知点を１つのマップにまとめる動作のみを示しているが、同じ物体を指している検知点を１つの検知点としてまとめる処理を行っても良い。路側センサ１ａ～１ｄに搭載されたレーザーレーダー１２、ミリ波レーダー１３の検知点の情報も同様にマップ上に統合される。

平均画像比較部２２は、直近のカメラ画像と、長期間の平均画像を比較して、画素毎の明度差が一定以上ある画像範囲を誤検知障害物除去部２４に入力する。図６（ａ）、図６（ｂ）で説明する。一定期間（例えば数時間）撮影された多数の画像について、それぞれの画素値の和をとり、画像の数で除した平均画像を図６（ａ）に示す。一方、撮影時期が直近の画像を図６（ｂ）に示す。図６（ａ）の画像と図６（ｂ）の画像との、画素ごとの明度の差を算出する。これにより、平均画像との明度差があらかじめ決められた閾値以上存在する範囲Ｐを特定する。この範囲Ｐを、障害物が存在する可能性がある領域として識別する。範囲Ｐの位置について、一般的に知られている透視投影変換を用いて位置または範囲を計算し、その位置または範囲を誤検知障害物除去部２４に入力する。

車載センサ死角範囲推定部２３は、周囲センサ３から得た検知点から、周囲センサ３で死角となっている死角領域を推定し、その領域を誤検知障害物除去部２４に入力する。

すなわち、車載センサ死角範囲推定部２３を図７により説明すると、周囲センサ３は、障害物にレーザーを遮られた場合、障害物の先にある物体を検知することはできない。そのため、図７に示すように、周囲センサ３で検知している障害物の向こう側は、死角領域となる。この死角領域の情報を誤検知障害物除去部２４に送信する。

誤検知障害物除去部２４は、上述した、路側センサ１の検知点、平均画像比較部２２の出力、周囲センサ３の検知点、車載センサ死角範囲推定部２３の出力に基づいて、誤検知の検知点を除去する。すなわち、以下の（１）～（７）の処理を行う誤検知障害物除去部２４の動作フローを図８に示す。
（１）まず、路側センサ統合部２１から路側機に搭載されたセンサの検知点を取得する（ステップＳ１）。
（２）周囲センサ３から検知点を取得する（ステップＳ２）。
（３）平均画像比較部２２から障害物が存在するエリアを取得する（ステップＳ３）。
（４）車載センサ死角範囲推定部２３から死角領域を取得する（ステップＳ４）。
（５）ステップＳ１で取得した路側機に搭載されたセンサの検知点のうち、一定の範囲にステップＳ２で取得した周囲センサ３の検知点が存在せず、かつステップＳ３で取得した障害物が存在するエリア内ではなく、かつステップＳ４で取得した死角領域内ではない検知点を誤検知として除去する（ステップＳ５）。
（６）誤検知を除去した後の検知点の情報を追尾部２５に送信する（ステップＳ６）。
（７）ステップＳ１からステップＳ６の処理を、検知点を取得するごとに繰り返す。
なお、（５）の処理は３つの条件を満たすことが必要であるとなっているが、道路環境によっては、少なくとも１つの条件を満たせば誤検知として除去してもよい。

追尾部２５は、誤検知を除去した検知点に、検知点の識別ができる識別子（ＩＤ）および、路側機の検知エリア内において、追尾を開始してからの経過時間である追尾時間を付加する。ＩＤと追尾時間が付加された検知点を追跡することで、検知点がいつ出現したかを明らかにする。図９に示すように、路側センサ１の検知エリアに入り、検知されたところからＩＤを付加するとともに、追尾時期がわかるように、追尾時間（Life time）を付加する。追尾時間については、既に検知されていたものか、今回新たに検知されたものか、既にＩＤが付加された既知の検知点かがわかる情報だけでもよい。これにより、制御対象車両の位置と検知点の位置との相対位置が明確になるとともに、検知エリアへの検知点の侵入、脱出の区別が、明確となる。

制御対象車両判別部２６は、追尾部２５から取得した検知点の情報について、どの検知点が制御対象車両を示すものであるかを、検知点の種類、検知点の発生位置、制御対象車両Ａとの相対位置の動きから判別する。

以下の（１）～（５）の処理を行う制御対象車両判別部２６の動作フローを図１０に示す。
（１）追尾部２５から、ＩＤと追尾時間が付加された検知点の情報を取得する（ステップＳ１１）。
（２）各路側センサ１ａ、１ｂ、１ｃ、１ｄに搭載された画像認識カメラ１１により制御対象車両の外観の特徴から特定された制御対象車両Ａの位置を、路側センサ統合部２１を介して受け取る。制御対象車両Ａの位置から一定の距離の範囲にあり、かつ、新たに検知された検知点であって、歩行者ではなく車両の可能性のあるもの、または検知点の種類が不明なものは制御対象車両であると判別する（ステップＳ１２）。
（３）従って、制御対象車両Ａから離れたところで発生し、その後近づいてきた検知点は、制御対象車両と判別されない。
（４）検知点の内、制御対象車両Ａから一定の距離の範囲外にあり、かつ、制御対処車両と一定の距離を保って移動しているものを制御対象車両であると判別する（ステップＳ１３）。
（５）制御対象車両Ａでない障害物と判別された検知点情報を周囲障害物抽出部２７に送信する（ステップＳ１４）。
ここで示す一定の距離の範囲は、制御対象車両Ａの幅、長さおよび路側センサの検知誤差を基準に、制御対象車両Ａの位置から制御対象車両Ａに由来した検知点が発生する可能性のある範囲を指す。

周囲障害物抽出部２７は、図１１の動作フローで示すように、制御対象車両判別部２６から種類が判別された検知点を取得する（ステップＳ２１）。そして、その中から、検知点の種類が制御対象車両でない、障害物を抽出する（ステップＳ２２）。抽出された障害物の検知点の情報を自動運転制御装置４に送信する（ステップＳ２３）。

以上の構成からなる障害物認知装置２により、次の処理が行われる。
（１）路側機の画像認識カメラ１１によって特定された制御対象車両Ａの位置から、一定距離の範囲に存在する路側センサ１により検知された検知点を障害物と扱わない。ただし、（２）、（３）の例外がある。

（２）制御対象車両Ａの位置から一定距離の範囲外で最初に捕捉され、その後一定距離の範囲内に進入してきた検知点を障害物として扱う。

（３）画像認識カメラ１１で捕捉した検知点の種類が制御対象車両Ａと明らかに異なる検知点は、制御対象車両Ａの位置から一定距離の範囲内に進入した場合、障害物として扱う。

（４）画像認識カメラ１１で特定される制御対象車両Ａの位置と、画像認識カメラ１１以外のいずれかの路側センサ１で検知される制御対象車両Ａの位置との間に大きな誤差があるために、一定距離の範囲外にあるとされた検知点が、障害物と判別されてしまうことを防ぐために、全周囲レーザーレーダーなどの周囲センサ３を制御対象車両Ａに搭載し、車両周囲の障害物を検知する。これにより、周囲センサ３で障害物と検知した検知点の位置から一定の範囲内に存在しない路側センサ１で検知される検知点は障害物として扱わない。この一定範囲は、例えばセンサの検知位置誤差を基準に周囲センサ３で検知されたものと同一のものが路側センサ１で検知される可能性のある範囲を採用することが望ましい。

（５）路側センサ１に検知された検知点が、周囲センサ３から死角となる位置にあって検知されない場合に障害物として扱われない状態とならないために、周囲センサ３で検知されている障害物の位置の背後の領域を死角領域とし、死角領域にある検知点は障害物として扱う。

（６）画像認識カメラ１１で特定される制御対象車両Ａの位置と、画像認識カメラ１１以外のいずれかの路側センサ１で検知される制御対象車両Ａの位置との間に大きな誤差があるために、一定距離の範囲外にあるとされた検知点が、障害物と判別されてしまうことを防ぐために、制御対象車両Ａと一定時間、相対位置が変化しない検知点は、障害物として扱わない。

（７）画像認識カメラ１１で特定される制御対象車両Ａの位置と、画像認識カメラ１１以外のいずれかの路側センサ１で検知される制御対象車両Ａの位置との間に大きな誤差があるために、一定距離の範囲外にあるとされた検知点が、障害物と判別されてしまうことを防ぐために、画像認識カメラ１１の長期間の平均画像と直近の画像との比較により、画素値差が閾値未満の領域に存在する検知点は障害物として扱わない。
画素値の閾値は、誤って検知点が障害物と扱われなくなることを防ぐため、障害物が存在するときは確実に閾値未満の画素値差とならない値を、路側センサ１を設置する場所で実験的に求めることが望ましい。

障害物認知装置２および自動運転制御装置４内のハードウエアの一例を図１２に示す。プロセッサ１００と記憶装置２００から構成され、記憶装置はランダムアクセスメモリ等の揮発性記憶装置と、フラッシュメモリ等の不揮発性の補助記憶装置とを具備する。また、フラッシュメモリの代わりにハードディスクの補助記憶装置を具備してもよい。プロセッサ１００は、記憶装置２００から入力されたプログラムを実行することにより、例えば上述した障害物認知装置の各機能を実行する。この場合、補助記憶装置から揮発性記憶装置を介してプロセッサ１００にプログラムが入力される。また、プロセッサ１００は、演算結果等のデータを記憶装置２００の揮発性記憶装置に出力してもよいし、揮発性記憶装置を介して補助記憶装置にデータを保存してもよい。

以上のように、本実施の形態では、カメラの画像認識による検知位置と、それ以外のセンサの検知位置とに誤差があったとしても、制御対象車両を障害物と誤認してしまうことを防止することができる。

本願は、例示的な実施の形態が記載されているが、実施の形態に記載された様々な特徴、態様、及び機能は特定の実施の形態の適用に限られるのではなく、単独で、または様々な組み合わせで実施の形態に適用可能である。
従って、例示されていない無数の変形例が、本願明細書に開示される技術の範囲内において想定される。例えば、少なくとも１つの構成要素を変形する場合、追加する場合または省略する場合が含まれるものとする。

１：路側センサ、２：障害物認知装置、３：周囲センサ、４：自動運転制御装置、５：ステアリングモータ、６：スロットル、７：ブレーキアクチュエータ、１１：画像認識カメラ、１２：レーザーレーダー、１３：ミリ波レーダー、２１：路側センサ統合部、２２：平均画像比較部、２３：車載センサ死角範囲推定部、２４：誤検知障害物除去部、２５：追尾部、２６：制御対象車両判別部、２７：周囲障害物抽出部。

Claims

制御対象車両が障害物を避けて自動走行を行う自動運転システムにおいて、
道路周囲に設置され、前記道路上の物体を画像により検知する第１のセンサ、
前記道路周囲に設置され、前記道路上の物体を画像以外の方法で検知する第２のセンサ、
前記第１のセンサまたは前記第２のセンサで検知された検知点を統合する路側センサ統合部、
前記路側センサ統合部で統合された検知点のうち、あらかじめ設定された条件を満たす検知点を誤検知として除去する誤検知障害物除去部、
前記誤検知障害物除去部により除去した後の検知エリア内の検知点に、識別のための識別子と前記検知エリアに出現してからの経過時間を示す追尾時間とを付加する追尾部、
前記追尾部から取得した識別子と追尾時間とが付加された前記検知エリア内の検知点の情報に基づいて前記制御対象車両の位置から前記制御対象車両に由来した検知点が発生する可能性のある一定距離の範囲内にあり、かつ前記追尾時間が新たに付加された検知点、または前記制御対象車両の位置から前記一定距離の範囲外にあり、かつ前記制御対象車両と一定の距離を保って移動している検知点、を制御対象車両であると判別する制御対象車両判別部、
前記制御対象車両判別部で制御対象車両であると判別されない検知点から障害物を抽出する周囲障害物抽出部、を備え、
前記周囲障害物抽出部で抽出された障害物の検知点の情報を自動運転制御装置に出力することを特徴とする自動運転システム。
前記一定距離の範囲外で前記第１のセンサにより検知された後、前記一定距離の範囲内で前記第１のセンサにより再度検知された検知点を障害物として扱うことを特徴とする請求項１に記載の自動運転システム。
前記第１のセンサで捕捉された検知点の種類が前記制御対象車両と異なり、この検知点が前記一定距離の範囲内に進入した場合に障害物として扱うことを特徴とする請求項１に記載の自動運転システム。
前記制御車両周囲の物体を検知する周囲センサを備え、前記誤検知障害物除去部は、前記路側センサ統合部で統合された検知点のうち、前記周囲センサで検知されない検知点を誤検知として除去することを特徴とする請求項１に記載の自動運転システム。
前記路側センサ統合部で統合された検知点のうち、前記周囲センサで検知された検知点の背後の死角領域に存在する検知点を障害物として扱うことを特徴とする請求項４に記載の自動運転システム。
前記誤検知障害物除去部は、前記第１のセンサで認識された画像の長期間の平均画像と直近の画像との画素値差があらかじめ定められた閾値未満の検知点を誤検知として除去することを特徴とする請求項１に記載の自動運転システム。