JP7236835B2

JP7236835B2 - 出力装置および出力方法

Info

Publication number: JP7236835B2
Application number: JP2018183950A
Authority: JP
Inventors: 裕一杉山; 幸太郎石本; 利裕松元; 正幸岸田
Original assignee: Denso Corp; Japan Automobile Research Institute Inc
Current assignee: Denso Corp; Japan Automobile Research Institute Inc
Priority date: 2018-09-28
Filing date: 2018-09-28
Publication date: 2023-03-10
Anticipated expiration: 2038-09-28
Also published as: JP2020051986A

Description

本発明は、出力装置および出力方法に関する。

従来、例えば、物標等といった周囲の状況をセンサで検出し、検出結果に基づいた車両制御を実行したり、検出した物標を運転者へ通知する等の技術がある。例えば、センサの検出結果は、人が理解できるようにするため、あるいは、後段の処理負荷を軽くするために、センサで検出される生データの情報量をある程度を削減する等の加工が施されて生成される場合がある。例えば、サンプリングレートやフレームレートを下げる、解像度を下げる、色数を減らす、フィルタをかける（周波数帯域の狭帯域化）、ダイナミックレンジの低減、軽い処理による判定処理結果化、等と言った処理が施される。

特開２０１７－７４８８７号公報

しかしながら、生データをある程度削減する等の加工により検出結果が生成された場合、人が理解できないような詳細な情報が削減されることで、センサの出力である検出結果に誤りが生じるおそれがあった。

本発明は、上記に鑑みてなされたものであって、センサの出力の信頼性を高めることができる出力装置および出力方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る出力装置は、取得部と、判定部と、出力部とを備える。前記取得部は、センサ検出結果の加工前のデータである生データを取得する。前記判定部は、前記センサ検出結果の信頼性を判定する。前記出力部は、前記判定部によってセンサ検出結果の前記信頼性が低いと判定された場合、当該センサ検出結果に代えて、前記生データを後段の処理装置に出力する。

本発明によれば、センサの出力の信頼性を高めることができる。

図１は、実施形態に係る出力方法の概要を示す図である。図２は、実施形態に係る出力装置の構成を示すブロック図である。図３は、相関情報の一例を示す図である。図４は、複数のセンサ間で比較する場合の処理内容を示す図である。図５は、実施形態に係る出力装置が実行する処理の処理手順を示すフローチャートである。

以下、添付図面を参照して、本願の開示する出力装置および出力方法の実施形態を詳細に説明する。なお、この実施形態により本発明が限定されるものではない。

まず、図１を用いて、実施形態に係る出力方法の概要について説明する。図１は、実施形態に係る出力方法の概要を示す図である。図１では、車両Ｃの前方に障害物である物標Ｔが存在していることとする。また、図１では、車両Ｃは、物標検出システム１００を備えており、かかる物標検出システム１００により物標Ｔを検出する。

なお、物標検出システム１００の搭載対象は、車両Ｃに限定されるものではなく、バイクや、自転車、船舶、航空機等といった他の移動体であってもよい。あるいは、物標検出システム１００は、移動体に限らず、例えば、街灯や道路側方物（ガードレールや、信号機等）といった静止物に搭載されてもよい。

図１に示すように、物標システム１００は、出力装置１と、センサ１０と、物標検出装置５０（後段の処理装置の一例）とを備える。センサ１０は、車両Ｃの周囲の状況を検出するセンサであり、例えば、カメラや、レーダ装置、ＬｉＤＡＲ（Laser Imaging Detection and Ranging）等がある。

物標検出装置５０は、出力装置１を介してセンサ１０の出力を取得し、かかるセンサ１０の出力に基づいて物標Ｔを検出する。例えば、物標検出装置５０は、センサ１０が複数設けられる場合、複数のセンサ１０それぞれの出力を総合して物標Ｔを検出する。

出力装置１は、センサ１０の出力となるセンサ検出結果（以下、検出結果と記載する）の信頼性を判定し、検出結果の信頼性が低い場合には、検出結果の加工前のデータである生データをセンサ１０の出力とする出力方法を実行する。

具体的には、実施形態に係る出力装置１は、まず、センサ１０の出力となる検出結果の加工前のデータである生データを取得する（ステップＳ１）。つづいて、実施形態に係る出力装置１は、取得された生データから生成される検出結果の信頼性を判定する（ステップＳ２）。なお、検出結果の信頼性の判定方法については後述する。

また、信頼性の判定に用いる検出結果は、出力装置１が生データに基づいて生成してもよく、あるいは、センサ１０から取得してもよい。また、ここでいう生データとは、センサ１０が検出した検出信号そのもの（すなわち、未加工のデータ）であってもよく、あるいは、検出結果が生成される過程で生じる中間データ（加工途中のデータ）であってもよいが、生データの詳細については後述する。

つづいて、実施形態に係る出力装置１は、判定の結果、検出結果の信頼性が低いと判定した場合、かかる検出結果に代えて、生データをセンサ１０の出力とし、物標検出装置５０へ出力する（ステップＳ３）。これにより、物標検出装置１００は、物標検出処理において、生データを使用した詳細な解析を行うことができるため、高精度に物標Ｔを検出することができる。

このように、実施形態に係る出力方法によれば、センサ１０の検出結果の信頼性が低い場合に、生データをセンサ１０の出力とすることで、センサ１０の出力の信頼性を高めることができる。

なお、生データはデータ容量が大ききなり通信等に負担がかかる問題や、生データの詳細解析には処理負担が増加する問題があるが、センサ出力の信頼性が低い場合に限って生データを伝送し、また詳細解析等の処理を行うことになるため、通信や処理に対する負担を抑える事ができる。

また、図１では、出力装置１の後段の処理装置が物標検出装置５０である場合について示したが、処理装置は、物標検出装置１００に限らず、センサ検出結果に基づいて各種処理を行う処理装置であれば、任意の装置を採用可能である。

次に、図２を参照して、実施形態に係る出力装置１の構成について詳細に説明する。図２は、実施形態に係る出力装置１の構成を示すブロック図である。図２に示すように、実施形態に係る出力装置１は、カメラ１０ａと、レーダ装置１０ｂと、ＬｉＤＡＲ１０ｃと、物標検出装置５０とに接続される。カメラ１０ａ、レーダ装置１０ｂおよびＬｉＤＡＲ１０ｃは、上記したセンサ１０の具体例である。

カメラ１０ａは、車両Ｃの外部状況を撮像する撮像装置である。カメラ１０ａは、例えば、車両Ｃのフロントガラスに設けられ、車両Ｃの前方を撮像する。なお、カメラ１０ａは、車両Ｃの左右側面を撮像する位置および車両Ｃの後方を撮像する位置に設けられていてもよい。

レーダ装置１０ｂは、ミリ波等の電波を利用して車両Ｃの周辺の物標を検出する。具体的には、レーダ装置１０ｂは、電波を車両Ｃの周辺に送信し、物標で反射した反射波を受信することで物標を検出する。

ＬｉＤＡＲ１０ｃは、レーザー光を利用して車両Ｃの周囲の物標を検出する。具体的には、ＬｉＤＡＲ１０ｃは、レーザー光を車両Ｃの周辺に送信し、物標で反射された反射光を受信することで物標を検出する。

物標検出装置５０は、カメラ１０ａ、レーダ装置１０ｂおよびＬｉＤＡＲ１０ｃそれぞれの検出結果または生データを総合して最終的な物標を検出する。具体的には、物標検出装置１００は、各センサの検出結果に所定の重みを付与した結果に基づいて最終的な物標を検出する。

あるいは、物標検出装置１００は、センサ１０の生データを取得した場合、生データの解析結果および他のセンサ１０の検出結果に基づいて最終的な物標を検出する。

実施形態に係る出力装置１は、制御部２と、記憶部３とを備える。制御部２は、取得部２１、判定部２２および出力部２３を備える。記憶部３は、相関情報３１を記憶する。

ここで、出力装置１は、たとえば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、データフラッシュ、入出力ポートなどを有するコンピュータや各種の回路を含む。

コンピュータのＣＰＵは、たとえば、ＲＯＭに記憶されたプログラムを読み出して実行することによって、制御部２の取得部２１、判定部２２および出力部２３として機能する。

また、制御部２の取得部２１、判定部２２および出力部２３の少なくともいずれか一つまたは全部をＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアで構成することもできる。

また、記憶部３は、たとえば、ＲＡＭやデータフラッシュに対応する。ＲＡＭやデータフラッシュは、相関情報３１や、各種プログラムの情報等を記憶することができる。なお、出力装置１は、有線や無線のネットワークで接続された他のコンピュータや可搬型記録媒体を介して上記したプログラムや各種情報を取得することとしてもよい。

相関情報３１は、センサ１０の生データと、生データから生成される検出結果との相関関係を学習した結果を示す情報である。具体的には、相関情報３１は、センサ１０の検出限界を超えた検出結果と、その検出結果の生データとを対応付けた情報である。

なお、相関情報３１は、外部装置によって予め学習されて生成されたものを、記憶部３に記憶してもよく、あるいは、制御部２が生データおよび検出結果をサンプリングして学習して生成してもよい。図３は、相関情報３１の一例を示す図である。

図３に示すように、相関情報３１は、「センサＩＤ」、「センサ名」、「検出結果」および「生データ」といった項目が対応付けられる。「センサＩＤ」は、各センサを識別する識別情報である。「センサ名」は、センサの名称である。「検出結果」は、センサ１０の検出限界を超える検出結果の内容を示す。「生データ」は、センサ１０の検出限界を超える検出結果の加工前の生データである。つまり、相関情報３１には、センサ１０の検出限界を超える場合の検出結果と、かかる検出結果の生データとの組がセンサ１０毎に含まれる。

後述の判定部２２は、相関情報３１の「生データ」と、取得部２１が取得した生データとの比較結果に基づき、取得した生データから生成される検出結果がセンサ１０の検出限界を超えている否かを判定することで、信頼性を判定する。このように、相関情報３１を学習することで、後述の判定部２２による判定精度を高めることができる。なお、判定部２２の処理内容については後述する。

制御部２は、センサ１０の出力となる検出結果の信頼性を判定し、検出結果の信頼性が低い場合には、検出結果の加工前のデータである生データをセンサ１０の出力とする。

取得部２１は、カメラ１０ａ、レーダ装置１０ｂおよびＬｉＤＡＲ１０ｃ等のセンサ１０から生データを取得する。

カメラ１０ａの場合、生データは、撮像画像そのままの画像情報であり、例えば、撮像画像そのままのピクセル数で、各ピクセルには、ＲＧＢ値等の色情報が含まれるカラー画像である。なお、カメラ１０ａの場合の生データとして、例えば、上記したカラー画像を２値化した白黒画像や、エッジ検出処理が施された画像情報等といった加工途中のデータであってもよい。

また、レーダ装置１０ｂの場合、生データは、例えば、受信信号および送信信号の情報である。なお、レーダ装置１０ｂの場合の生データとして、受信信号および送信信号を混合して得られるビート信号や、ビート信号を２次元高速フーリエ変換した周波数スペクトルの情報、周波数スペクトルから得られる１物標由来の複数のピークの情報等といった加工途中のデータであってもよい。

また、ＬｉＤＡＲ１０ｃの場合、生データは、例えば、受信および送信した際のレーザー光の情報である。なお、ＬｉＤＡＲ１０ｃの場合の生データとして、レーザー光の受信時刻および送信時刻の差分等といった加工途中のデータであってもよい。

判定部２２は、取得部２１が取得した生データから生成される検出結果の信頼性を判定する。具体的には、判定部２２は、相関情報３１の「生データ」と、取得部２１が取得した生データとの比較結果に基づき、取得した生データから生成される検出結果がセンサ１０の検出限界を超えている否かを判定することで、信頼性を判定する。

例えば、判定部２２は、取得部２１が取得したカメラ１０ａの生データが、相関情報３１の「検出結果」である「逆光」の「生データ」である「＃１」と類似する場合、カメラ１０ａの生データ（画像）が逆光時に撮像されたものである、すなわち、検出結果がセンサ１０の検出限界を超えるとし、信頼度が低いと判定する。

すなわち、判定部２２は、逆光時の画像は、明暗差が激しいため、検出結果において物標が埋もれてしまう可能性があることから、検出結果の信頼性が低いと判定する。このように、判定部２２は、相関情報３１と生データとを比較することで、信頼性の判定を精度よく行うことができる。

また、判定部２２は、例えば、複数のセンサ１０間で検出結果に差異が生じた場合に、信頼性が低いと判定してもよいが、かかる点については、図４で後述する。

また、判定部２２は、周囲の状況を検出する他のセンサの出力により、信頼性を判定しても良い。例えば、判定部２２は、周囲の明るさを明度センサで検出し、周囲が暗い場合にはカメラの信頼性が低いと言った判定を行う。他にも、天候、速度、振動による信頼性判定や、センサの汚れ、取付位置のズレ等を検出して信頼性を判定することも考えられる。

出力部２３は、判定部２２によって検出結果の信頼性が低いと判定された場合、検出結果に代えて、生データをセンサ１０の出力とする。例えば、出力部２３は、判定部２２によって複数のセンサ１０間での検出結果の差異により、信頼性が低いと判定された場合、かかる複数のセンサ１０のうち少なくとも１つのセンサ１０について、検出結果に代えて、生データを出力とする。かかる点について、図４を用いて説明する。

図４は、複数のセンサ１０間で比較する場合の処理内容を示す図である。図４では、カメラ１０ａ、レーダ装置１０ｂおよびＬｉＤＡＲ１０ｃの検出結果である障害物の有無を比較する場合を示している。なお、図４では、カメラ１０ａの検出結果が障害物なし、レーダ装置１０ｂの検出結果が障害物あり、ＬｉＤＡＲ１０ｃの検出結果が障害物ありである場合を一例に挙げて説明する。

図４に示すように、判定部２２は、カメラ１０ａ、レーダ装置１０ｂおよびＬｉＤＡＲ１０ｃの間で検出結果が異なる場合、これら３つの検出結果の信頼性が低いと判定する。

そして、出力部２３は、カメラ１０ａ、レーダ装置１０ｂおよびＬｉＤＡＲ１０ｃのうちカメラ１０ａについて、カメラ１０ａの検出結果に代えて、カメラ１０ａの生データをカメラ１０ａの出力とする。なお、出力部２３は、レーダ装置１０ｂおよびＬｉＤＡＲ１０ｃについては、検出結果をそれぞれのセンサ１０の出力とする。

つまり、図４では、複数のセンサ１０のうち、検出結果の多数決制により生データを出力とするセンサ１０を決定する。なお、図４では、多数決制により生データを出力とするセンサ１０を決定したが、複数のセンサ１０すべてについて、検出結果に代えて、生データをセンサ１０の出力としてもよい。

あるいは、出力部２３は、レーダ装置１０ｂの検出結果が比較的信頼性が高いと仮定して、レーダ装置１０ｂ以外のセンサ１０、すなわち、カメラ１０ａおよびＬｉＤＡＲ１０ｃについて、生データをセンサ１０の出力としてもよい。

このように、複数のセンサ１０間で検出結果に差異が生じた場合に、センサ１０の出力を生データとすることで、物標検出装置５０による物標の誤検出を抑えることができる。

次に、図５を用いて、実施形態に係る出力装置１が実行する処理の処理手順について説明する。図５は、実施形態に係る出力装置１が実行する処理の処理手順を示すフローチャートである。

図５に示すように、まず、取得部２１は、周囲の状況を検出するセンサの出力となる検出結果の加工前のデータである生データを取得する（ステップＳ１０１）。

つづいて、判定部２２は、取得部２１が取得した生データから生成される検出結果の信頼性を判定する（ステップＳ１０２）。

つづいて、判定部２２は、判定処理により、検出結果の信頼性が低いか否かを判定する（ステップＳ１０３）。

出力部２３は、判定部２２によって検出結果の信頼性が低いと判定された場合（ステップＳ１０３，Ｙｅｓ）、検出結果に代えて、生データをセンサ１０の出力とし（ステップＳ１０４）、処理を終了する。

一方、ステップＳ１０３において、出力部２３は、判定部２２によって検出結果の信頼性が低いと判定された場合（ステップＳ１０３，Ｎｏ）、検出結果をセンサ１０の出力とし（ステップＳ１０５）、処理を終了する。

上述してきたように、実施形態に係る出力装置１は、取得部２１と、判定部２２と、出力部２３とを備える。取得部２１は、センサ１０の出力となる検出結果の加工前のデータである生データを取得する。判定部２２は、センサ１０の検出結果の信頼性を判定する。出力部２３は、判定部２２によって検出結果の信頼性が低いと判定された場合、検出結果に代えて、生データを後段の処理装置へ出力する。これにより、センサ１０の出力の信頼性を高めることができる。

なお、上述した実施形態では、出力装置１は、センサ１０および物標検出装置５０とは別体で構成される場合を示したが、出力装置１、センサ１０および物標検出装置５０が一体的に構成された１つの装置であってもよい。

また、出力装置１は、複数のセンサ１０それぞれに組み込まれてもよく、あるいは、物標検出装置５０に組み込まれてもよい。

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

１出力装置
２制御部
３記憶部
１０センサ
１０ａカメラ
１０ｂレーダ装置
１０ｃＬｉＤＡＲ
２１取得部
２２判定部
２３出力部
３１相関情報
５０物標検出装置
１００物標検出システム
Ｃ車両

Claims

センサ検出結果の加工前のデータである生データを取得する取得部と、
前記センサ検出結果の信頼性を判定する判定部と、
前記判定部によってセンサ検出結果の前記信頼性が低いと判定された場合、当該センサ検出結果に代えて、前記生データを後段の処理装置に出力する出力部と
を備え、
前記判定部は、
センサ検出結果がセンサの検出限界を超える場合、信頼性が低いと判定すること
を特徴とする出力装置。
前記取得部は、
複数のセンサそれぞれの生データを取得し、
前記判定部は、
前記複数のセンサ間でセンサ検出結果が異なる場合、信頼性が低いと判定し、
前記出力部は、
前記複数のセンサのうち少なくとも１つのセンサについて、センサ検出結果に代えて、生データを前記出力とすること
を特徴とする請求項１に記載の出力装置。
センサ検出結果の加工前のデータである生データを取得する取得部と、
前記センサ検出結果の信頼性を判定する判定部と、
前記判定部によってセンサ検出結果の前記信頼性が低いと判定された場合、当該センサ検出結果に代えて、前記生データを後段の処理装置に出力する出力部と
を備え、
前記取得部は、
複数のセンサそれぞれの生データを取得し、
前記判定部は、
前記複数のセンサ間でセンサ検出結果が異なる場合、信頼性が低いと判定し、
前記出力部は、
前記複数のセンサのうち少なくとも１つのセンサについて、センサ検出結果に代えて、生データを前記出力とすること
を特徴とする出力装置。
生データおよび当該生データから生成されるセンサ検出結果の相関情報を記憶する記憶部をさらに備え、
前記判定部は、
前記取得部が取得した前記生データと前記記憶部に記憶された相関情報とに基づいて信頼性を判定すること
を特徴とする請求項１～３のいずれか１つに記載の出力装置。
センサ検出結果の加工前のデータである生データを取得する取得部と、
前記センサ検出結果の信頼性を判定する判定部と、
前記判定部によってセンサ検出結果の前記信頼性が低いと判定された場合、当該センサ検出結果に代えて、前記生データを後段の処理装置に出力する出力部と
生データおよび当該生データから生成されるセンサ検出結果の相関情報を記憶する記憶部と、
を備え、
前記判定部は、
前記取得部が取得した前記生データと前記記憶部に記憶された相関情報とに基づいて信頼性を判定すること
を特徴とする出力装置。
センサ検出結果の加工前のデータである生データを取得する取得工程と、
前記センサ検出結果の信頼性を判定する判定工程と、
前記判定工程によってセンサ検出結果の前記信頼性が低いと判定された場合、当該センサ検出結果に代えて、前記生データを後段の処理装置に出力する出力工程と
を含み、
前記判定工程は、
センサ検出結果がセンサの検出限界を超える場合、信頼性が低いと判定すること
を特徴とする出力方法。
センサ検出結果の加工前のデータである生データを取得する取得工程と、
前記センサ検出結果の信頼性を判定する判定工程と、
前記判定工程によってセンサ検出結果の前記信頼性が低いと判定された場合、当該センサ検出結果に代えて、前記生データを後段の処理装置に出力する出力工程と
を備え、
前記取得工程は、
複数のセンサそれぞれの生データを取得し、
前記判定工程は、
前記複数のセンサ間でセンサ検出結果が異なる場合、信頼性が低いと判定し、
前記出力工程は、
前記複数のセンサのうち少なくとも１つのセンサについて、センサ検出結果に代えて、生データを前記出力とすること
を特徴とする出力方法。
センサ検出結果の加工前のデータである生データを取得する取得工程と、
前記センサ検出結果の信頼性を判定する判定工程と、
前記判定工程によってセンサ検出結果の前記信頼性が低いと判定された場合、当該センサ検出結果に代えて、前記生データを後段の処理装置に出力する出力工程と
生データおよび当該生データから生成されるセンサ検出結果の相関情報を記憶する記憶工程と、
を備え、
前記判定工程は、
前記取得工程で取得した前記生データと前記記憶工程で記憶された相関情報とに基づいて信頼性を判定すること
を特徴とする出力方法。