JP2021117109A - 距離推定装置、距離推定方法、及びプログラム - Google Patents

Abstract

【課題】撮像部の測定結果を用いて距離の測定精度を高める。【解決手段】取得部３１０は、測距部１０が生成した測距データおよび撮像部２０が生成した撮像データを取得する。部分領域特定部３２０は、撮像データを処理することにより、対象領域の少なくとも一部に対応する部分領域を特定する。距離推定部３３０は、部分領域を示す情報を用いて、部分領域の少なくとも一部までの距離を推定する。この際、距離推定部３３０は、部分領域に対応する測定点の少なくとも一部である複数の測定点を特定する。そして距離推定部３３０は、これらの複数の測定点それぞれの測定結果を積算し、その積算結果を用いて、部分領域の少なくとも一部までの距離を推定する。【選択図】図３

Description

本発明は、距離推定装置、距離推定方法、及びプログラムに関する。

近年、光を照射し、この光の反射波を解析することにより距離を測定する測距部を用いることにより、物体や人などを検出することが行われている。この方法は、例えば特許文献１に記載されているように、車両の自動運転を支援するために用いられることが多い。

国際公開第２０１６／１５２８７３号

測距部が設けられた場所又は移動体には、撮像部が設けられていることが多い。本発明者は、撮像部の測定結果を用いて測距部の測定精度を高めることを検討した。

本発明が解決しようとする課題は、撮像部の測定結果を用いて測距部の測定精度を高めることが一例として挙げられる。

請求項１に記載の発明は、対象領域を撮像して生成した距離データ及び色データの少なくとも一方を含む画素により構成される撮像データと、前記対象領域を測距した測距結果を示す測距データと、を取得する取得部と、
前記測距データを構成する複数の点群のうち少なくとも１点を基準点とし、前記基準点と前記撮像データとに基づき前記対象領域に含まれる対象物の少なくとも一部である部分領域を特定する部分領域特定部と、
前記部分領域に対応する前記点群の少なくとも一部である複数の対象点に関する前記測距データに基づき前記部分領域の少なくとも一部までの距離を推定する距離推定部と、
を備える距離推定装置である。

請求項１０に記載の発明は、コンピュータが、
距離推定装置により実行される距離推定方法であって、
対象領域を撮像して生成した距離データ及び色データの少なくとも一方を含む画素により構成される撮像データと、前記対象領域を測距した測距結果を示す測距データと、を取得し、
前記測距データを構成する複数の点群のうち少なくとも１点を基準点とし、前記基準点と前記撮像データとに基づき前記対象領域に含まれる対象物の少なくとも一部である部分領域を特定し、
前記部分領域に対応する前記点群の少なくとも一部である複数の対象点に基づき前記部分領域の少なくとも一部までの距離を推定する、距離推定方法である。

請求項１１に記載の発明は、コンピュータに、
対象領域を撮像して生成した距離データ及び色データの少なくとも一方を含む画素により構成される撮像データと、前記対象領域を測距した測距結果を示す測距データと、を取得する機能と、
前記測距データを構成する複数の点群のうち少なくとも１点を基準点とし、前記基準点と前記撮像データとに基づき前記対象領域に含まれる対象物の少なくとも一部である部分領域を特定する機能と、
前記部分領域に対応する前記点群の少なくとも一部である複数の対象点に基づき前記部分領域の少なくとも一部までの距離を推定する機能と、
を持たせるプログラムである。

実施形態に係るデータ処理装置の使用環境を説明するための図である。 測距部１０の機能構成の一例を示す図である。 データ処理装置の機能構成の一例を示す図である。 測距装置のハードウェア構成例を示す図である。 測距装置が行う処理の一例を示すフローチャートである。 （Ａ）及び（Ｂ）は、図５のステップＳ３０を説明するための図である。 図５のステップＳ４０を説明するための図である。 図５の変形例を示すフローチャートである。

以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。

図１は、実施形態に係る測距装置３０の使用環境を説明するための図である。測距装置３０は、測距部１０及び撮像部２０と共に使用される。

測距部１０は、例えばＬＩＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）であり、対象領域を測定した測距データを生成する。測距データは点群データであり、反射点の３次元分布を示すデータである。詳細には、測距データは、測距部１０から反射点までの距離を、電磁波の照射方向別に示している。またこの測距データは、反射波の強度を電磁波の照射方向別に示すデータも含んでいる。測距部１０は、生成した測距データを測距装置３０に出力する。

撮像部２０は、上記した対象領域を撮像することにより撮像データを生成し、生成した撮像データを測距装置３０に出力する。撮像部２０は、例えばＲＧＢＤカメラである。そして撮像部２０が生成した撮像データは色データおよび距離データを含んでいる。色データは、例えば画素毎にＲ，Ｇ，Ｂの輝度を示したものである。距離データは、被写体までの距離を示している。距離データは画素毎に生成されていてもよいし、複数の画素毎に生成されていてもよい。また、撮像部２０は、撮像データの生成タイミングを示す情報（例えば日時情報）を、撮像データに紐づけて測距装置３０に出力する。

なお、測距部１０が測定対象としている領域と、撮像部２０が撮像対象としている領域は、少なくとも一部が互いに重なっている。以下の説明において、この互いに重なっている部分を対象領域とする。

測距装置３０は、測距データを処理することにより、対象領域に存在する物体に関する情報を生成する。この情報を生成する際、測距装置３０は、撮像部２０が生成した撮像データも用いる。

測距部１０及び撮像部２０の相対位置は固定されている。例えば測距部１０及び撮像部２０は一つの筐体に収容されており、車両などの移動体に取り付けられる。言い換えると、測距部１０及び撮像部２０は同一の移動体に取り付けられている。この場合、測距部１０及び撮像部２０によって測定される対象領域は、車両の前方である場合が多い。ただし、測距部１０及び撮像部２０による対象領域は、車両の側方や後方であってもよい。また、測距部１０及び撮像部２０は建物などの静止物に取り付けられていてもよい。

図２は、測距部１０の機能構成の一例を示す図である。測距部１０は、照射部１１０、制御部１２０、受信部１３０、および処理部１４０を有している。

照射部１１０は、電磁波（例えば赤外線や近赤外線（例えば波長が９０５ｎｍ））を走査しながら照射する。ただし測距部１０がフラッシュＬｉＤＡＲの場合、照射部１１０は電磁波を走査しなくてもよい。制御部１２０は、照射部１１０による電磁波の照射方向及び照射部１１０の出力を制御する。

受信部１３０は、照射部１１０が照射した電磁波の反射波を検出する。処理部１４０は、照射部１１０による電磁波の照射方向及び照射タイミング、並びに受信部１３０による反射波の受信タイミングを用いて、上記した測距データを生成する。そして処理部１４０は、生成した測距データを測距装置３０に出力する。この際、処理部１４０は測定タイミングを示す情報（例えば日時情報）を、測距データに紐づけて測距装置３０に出力する。

測距部１０は、繰り返し電磁波を対象領域に照射する。そして測距部１０は、電磁波を照射するたびに測距データを生成する。

図３は、測距装置３０の機能構成の一例を示す図である。測距装置３０は、取得部３１０、部分領域特定部３２０、及び距離推定部３３０を有している。

取得部３１０は、測距部１０が生成した測距データおよび撮像部２０が生成した撮像データを取得する。部分領域特定部３２０は、測距データ及び撮像データを処理することにより、対象物の少なくとも一部に対応する領域（以下、部分領域と記載）を特定する。対象物は、対象領域に含まれている被写体などのオブジェクトであり、一つの対象領域について一つの場合もあれば複数の場合もある。被写体は、静止物の場合もあれば移動体の場合もある。そして部分領域は、一つの対象物の全体であってもよいし、一つの対象物の一部であってもよい。後者の場合、一つの対象物に対して複数の部分領域が設けられることになる。そして部分領域特定部３２０は、測距データを構成する複数の点群のうち少なくとも１点を基準点とし、この基準点と撮像データとに基づき部分領域を特定する。

部分領域特定部３２０は、部分領域の特定に対応データを用いる。対応データは、撮像データを構成する複数の画素と、測距データを構成する複数の測定点の対応関係を示している。上記したように、測距部１０と撮像部２０の相対位置は固定されている。このため、測距部１０の各照射方向と、撮像部２０が生成した撮像データの画素との対応関係は固定されている。対応データ記憶部３３２は、この対応関係を示す情報として、対応情報を記憶している。対応情報は、例えば、測距部１０の照射方向毎に、撮像部２０が静止した撮像データのうちその照射方向に対応する画素を特定する情報である。そして部分領域特定部３２０は、対応データを用いて、撮像データのうち基準点に対応する画素を特定する。そして部分領域特定部３２０は、この画素及びこの画素の近くに位置する画素を、部分領域に含める。

なお、後述するように、測距装置３０は、部分領域に対応する測定点を特定する必要がある。後述する例において、距離推定部３３０がこの特定を行っているが、部分領域特定部３２０がこの特定を行ってもよい。

距離推定部３３０は、部分領域を示す情報を用いて、部分領域の少なくとも一部までの距離、例えば基準点までの距離を推定する。具体的には、距離推定部３３０は、部分領域に対応する点群の少なくとも一部である複数の対象点それぞれの測定結果を演算し、その演算結果を用いて、部分領域の少なくとも一部までの距離を推定する。ここで行われる演算は、例えば積算、加算、減算、及び除算の少なくとも一つである。

本実施形態において、対応データは対応データ記憶部３３２に記憶されている。対応データ記憶部３３２は、測距装置３０の一部であってもよいし、測距装置３０の外部に設けられていてもよい。

なお、測距装置３０が行う処理の詳細についてはフローチャートを用いて後述する。

図４は、測距装置３０のハードウェア構成例を示す図である。測距装置３０は、バス１０１０、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０を有する。

バス１０１０は、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０２０などを互いに接続する方法は、バス接続に限定されない。

プロセッサ１０２０は、ＣＰＵ（Central Processing Unit） やＧＰＵ（Graphics Processing Unit）などで実現されるプロセッサである。

メモリ１０３０は、ＲＡＭ（Random Access Memory）などで実現される主記憶装置である。

ストレージデバイス１０４０は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、メモリカード、又はＲＯＭ（Read Only Memory）などで実現される補助記憶装置である。ストレージデバイス１０４０は測距装置３０の各機能（例えば取得部３１０、部分領域特定部３２０、および距離推定部３３０）を実現するプログラムモジュールを記憶している。プロセッサ１０２０がこれら各プログラムモジュールをメモリ１０３０上に読み込んで実行することで、そのプログラムモジュールに対応する各機能が実現される。また、ストレージデバイス１０４０は対応データ記憶部３３２としても機能する。

入出力インタフェース１０５０は、測距装置３０と各種入出力機器（例えば測距部１０及び撮像部２０）とを接続するためのインタフェースである。

ネットワークインタフェース１０６０は、測距装置３０をネットワークに接続するためのインタフェースである。このネットワークは、例えばＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）である。ネットワークインタフェース１０６０がネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。

図５は、測距装置３０が行う処理の一例を示すフローチャートである。まず測距装置３０の取得部３１０は、測距部１０から測距データを、その測距データの生成タイミングを示す情報とともに取得する。また取得部３１０は、撮像部２０から撮像データを、その撮像データの生成タイミングを示す情報とともに取得する（ステップＳ１０）。

そして部分領域特定部３２０は、処理対象となる測距データを特定するとともに、当該測距データと同じタイミングで生成された撮像データを特定する。ここでの「同じタイミング」は、完全同一である必要はなく、多少の差（例えばフレームレート以下の差）があってもよい。また部分領域特定部３２０は、測距データと時間的に最も近い撮像データを特定してもよい。

そして部分領域特定部３２０及び距離推定部３３０は、対象となるすべての測定点（例えば点群に含まれるすべての測定点）に対して以下の処理（ステップＳ２０〜ステップＳ５０）を繰り返す（ステップＳ６０）

まず部分領域特定部３２０は、一つの測定点を基準点として選択する（ステップＳ２０）。次いで距離推定部３３０は、選択した測定点に対応する画素（以下、基準画素と記載）を特定し、この画素のデータを用いて部分領域を特定する（ステップＳ３０）。

ここで、部分領域特定部３２０が部分領域を特定する方法の具体例を説明する。上記したように、撮像データは色データおよび距離データを含んでいる。そして第１の例において、部分領域特定部３２０は、基準画素の距離データを認識し、この距離データとの差分が所定値以下の距離データを少なくとも含む領域を部分領域として特定する。一例として部分領域特定部３２０は、基準画素に隣接する画素（以下、隣接画素と記載）を選択し、その選択した画素の距離データと基準画素の距離データとの差が基準値（以下、第１基準値と記載）以下の場合、当該選択した画素を部分領域に含める。部分領域特定部３２０は、すべての隣接画素（例えば図６（Ａ）に示す８つの画素）に対してこの処理を繰り返し行う。その後、部分領域特定部３２０は、さらに、図６（Ｂ）に示すように、隣接画素のうち部分領域に含まれることになった画素に隣接する画素をさらに特定し、上記した処理を行う。図６（Ｂ）において、部分領域に含まれることになった画素を、「追加の画素」としている。部分領域特定部３２０は、これを繰り返すことによって部分領域を特定する。

また、部分領域特定部３２０は、部分領域を特定する際に、距離データの差の代わりに色データの差を用いてもよい。言い換えると、部分領域特定部３２０は、基準点に対応する色データとの差分が所定値以下の色データを少なくとも含む領域を部分領域として特定してもよい。

また、部分領域特定部３２０は、関数を用いて部分領域を設定してもよい。この関数のパラメータは、例えば、基準点に対応する画素の値（例えば赤色の輝度）、基準点の周囲に位置する画素の値（例えば赤色の輝度）、基準点の反射波の強度、および基準点の周囲に位置する測距部１０の測定点の反射波の強度のうちの少なくとも一つ（好ましくは全部）である。またこの関数のパラメータは、基準点に対応する画素の距離データ、及び基準点の周囲に位置する画素の距離データであってもよい。

次いで距離推定部３３０は、測距部１０による点群データのうち部分領域に含まれる測定点の少なくとも一部（すべてであってもよい。以下、対象点と記載）を対応データ記憶部３３２が記憶しているデータを用いて特定し、これら対象点それぞれに対応する反射波のデータを取得する。このデータは、図７に示すように、反射波の強度の時間変化を示している。そして距離推定部３３０は、図７に示すように、取得した複数の反射波のデータを積算することにより、積算後の反射波データを生成する（ステップＳ４０）。この積算処理において、積算対象には、基準点に対応する反射波データも含まれる。次いで距離推定部３３０は、積算後の反射波データに含まれるピークの位置（時間）を用いて、対象領域のうち基準点に対応する部分までの距離を推定する（ステップＳ５０）。

なお、部分領域特定部３２０は、基準点に対応する反射波の強度を用いて部分領域を特定してもよい。例えば、反射波の強度が小さい場合、測距データの信頼性が低下しやすい。そこで、基準点に対応する反射波の強度が弱くになるにつれて、部分領域を広くする（すなわち上記した対象点の数を多くする）のが好ましい。一例として、ステップＳ３０において、部分領域特定部３２０は、基準点に対応する測距データの反射波の強度に基づいて、部分領域を定義するための第１基準値の大きさを変える。例えば部分領域特定部３２０は、反射波の強度が弱くなるにつれて第１基準値を大きくする。このようにすると、反射波が弱くなるにつれて部分領域が大きくなり、その結果、距離推定部３３０の処理対象となる対象点が増加し、推定結果の信頼性は高くなる。

同様に、基準点に対応する距離データが示す距離が遠くなるにつれて、部分領域を広くする（すなわち上記した対象点の数を多くする）のが好ましい。一例として、ステップＳ３０において、部分領域特定部３２０は、基準点に対応する距離データが示す距離が長くなるにつれて、第１基準値を大きくする。

図８は、図５に示した処理の変形例を示すフローチャートである。本図に示す処理は、ステップＳ４０において複数の反射波のデータを積算する際に、対象点別に重みづけの係数を設定する点（ステップＳ３２）を除いて、図５に示した処理と同様である。

例えばステップＳ３２において、距離推定部３３０は、対象点別に、撮像データのうち当該対象点に対応する画素の距離データを特定するとともに、基準点に対応する画素の距離データを特定する。次いで距離推定部３３０は、２つの距離データの差分に応じた係数を、測定対象点別に設定する。例えば距離推定部３３０は、差分が小さくなるにつれて係数を大きくする。この際、距離推定部３３０は、基準点に対応する反射波データの係数を最も大きくする。そして距離推定部３３０は、複数の対象点それぞれの反射波のデータに対象別の係数を乗じ、当該乗じた結果を積算する。

またステップＳ３２において、距離推定部３３０は、距離データの代わりに色データを用いてもよい。この場合、距離推定部３３０は、対象点別に、撮像データのうち当該対象点に対応する画素の色データを特定するとともに、基準点に対応する画素の色データを特定する。次いで距離推定部３３０は、２つの色データの差分に応じた係数を、測定点別に設定する。この場合においても、距離推定部３３０は、差分が小さくなるにつれて係数を大きくし、かつ、基準点に対応する反射波データの係数を最も大きくする。そして距離推定部３３０は、複数の対象点それぞれの反射波のデータに対象測定点別の係数を乗じ、当該乗じた結果を積算する。

以上、本実施形態によれば、測距装置３０の距離推定部３３０は、撮像部２０が生成した撮像データと、対応データ記憶部３３２が記憶している対応データを用いて、測距部１０が生成した測距データに含まれる反射波のデータのうち、同一の対象領域からの反射波のデータを複数特定する。そして距離推定部３３０は、これら複数の反射波のデータを積算する。この積算処理により、対象領域からの反射に起因したピークは大きくなり、かつホワイトノイズなどのノイズは小さくなる。そして距離推定部３３０は、積算処理の結果を用いてオブジェクトまでの距離を算出する。したがって、測距装置３０によれば、撮像部２０の測定結果を用いて測距部１０の測定精度を高めることができる。

なお、測距装置３０が行う処理は、測距部１０の処理部１４０が行ってもよい。

以上、図面を参照して実施形態及び実施例について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。

１０ ＬｉＤＡＲ
２０ 撮像部
３０ 測距装置
１１０ 照射部
１２０ 制御部
１３０ 受信部
１４０ 処理部
３１０ 取得部
３２０ 部分領域特定部
３３０ 距離推定部
３３２ 対応データ記憶部

Claims (11)

1. 対象領域を撮像して生成した距離データ及び色データの少なくとも一方を含む画素により構成される撮像データと、前記対象領域を測距した測距結果を示す測距データと、を取得する取得部と、
   前記測距データを構成する複数の点群のうち少なくとも１点を基準点とし、前記基準点と前記撮像データとに基づき前記対象領域に含まれる対象物の少なくとも一部である部分領域を特定する部分領域特定部と、
   前記部分領域に対応する前記点群の少なくとも一部である複数の対象点に関する前記測距データに基づき前記部分領域の少なくとも一部までの距離を推定する距離推定部と、
   を備える距離推定装置。
2. 前記部分領域特定部は、前記基準点に対応する前記距離データとの差分が所定値以下の前記距離データを少なくとも含む領域を前記部分領域として特定することを特徴とする請求項１に記載の距離推定装置。
3. 前記距離推定部は、前記部分領域に対応する前記対象点のそれぞれについて、前記基準点に対応する距離データと当該対象点に対応する距離データとの差分に応じた係数を設定し、前記係数を乗じた複数の前記対象点を積算することにより、前記部分領域の少なくとも一部までの距離を推定することを特徴とする請求項２に記載の距離推定装置。
4. 前記部分領域特定部は、前記基準点に対応する色データとの差分が所定値以下の色データを少なくとも含む領域を前記部分領域として特定することを特徴とする請求項１〜３に記載の距離推定装置。
5. 前記距離推定部は、前記部分領域に対応する前記対象点のそれぞれについて、前記基準点に対応する色データと当該対象点に対応する色データとの差分に応じた係数を設定し、前記係数を乗じた複数の前記対象点を積算することにより、前記部分領域の少なくとも一部までの距離を推定することを特徴とする請求項４に記載の距離推定装置。
6. 前記点群は反射波の強度を示す情報を含み、
   前記部分領域特定部は、前記基準点に対応する前記反射波の強度を用いて前記部分領域を特定することを特徴とする請求項１〜５のいずれか一項に記載の距離推定装置。
7. 前記部分領域特定部は、前記基準点に対応する前記反射波の強度が弱くになるにつれて、前記部分領域を広くすることを特徴とする請求項６に記載の距離推定装置。
8. 前記部分領域特定部は、前記基準点に対応する前記距離データが遠くなるにつれて、前記部分領域を広くすることを特徴とする請求項１〜７のいずれか一項に記載の距離推定装置。
9. 前記撮像データを生成する撮像部と前記測距データを生成する測距部は同一の移動体に備えられていることを特徴とする請求項１〜８のいずれか一項に記載の距離推定装置。
10. 距離推定装置により実行される距離推定方法であって、
    対象領域を撮像して生成した距離データ及び色データの少なくとも一方を含む画素により構成される撮像データと、前記対象領域を測距した測距結果を示す測距データと、を取得し、
    前記測距データを構成する複数の点群のうち少なくとも１点を基準点とし、前記基準点と前記撮像データとに基づき前記対象領域に含まれる対象物の少なくとも一部である部分領域を特定し、
    前記部分領域に対応する前記点群の少なくとも一部である複数の対象点に基づき前記部分領域の少なくとも一部までの距離を推定する、距離推定方法。
11. コンピュータに、
    対象領域を撮像して生成した距離データ及び色データの少なくとも一方を含む画素により構成される撮像データと、前記対象領域を測距した測距結果を示す測距データと、を取得する機能と、
    前記測距データを構成する複数の点群のうち少なくとも１点を基準点とし、前記基準点と前記撮像データとに基づき前記対象領域に含まれる対象物の少なくとも一部である部分領域を特定する機能と、
    前記部分領域に対応する前記点群の少なくとも一部である複数の対象点に基づき前記部分領域の少なくとも一部までの距離を推定する機能と、
    を持たせるプログラム。

Images