JP6467776B2 - 測距システム、情報処理装置、情報処理方法及びプログラム - Google Patents

Description

本発明は測距システム、情報処理装置、情報処理方法及びプログラムに関する。

従来より、ステレオカメラ等の複数の撮像部を用いて撮影した撮影画像（ステレオ画像）に基づいて視差演算を行い、測距対象までの距離を算出するステレオ測距技術が知られている。

また、ステレオ測距技術にレーザレーダ測距技術を組み合わせ、それぞれの測距技術を用いて算出した距離を重みづけ加算することで、高い精度で距離を算出する構成も提案されている（例えば、特許文献１等参照）。

しかしながら、上記特許文献１のように、レーザレーダの走査範囲を撮像部による撮影範囲全体とした場合、撮像部のフレーム周期内で撮影範囲全体に対してレーザレーダを走査させる必要があり、レーザレーダの空間分解能を低く設定せざるをえない。

このようなことから、ステレオ測距技術にレーザレーダ測距技術を組み合わせて測距対象までの距離を算出する場合には、レーザレーダの空間分解能を高く設定できるように構成することが望ましい。

本発明は上記課題に鑑みてなされたものであり、測距対象までの距離を算出する測距技術において、空間分解能を向上させることを目的とする。

本発明の実施形態に係る測距システムは、以下のような構成を有する。すなわち、
撮影画像に含まれる測距対象までの距離を算出する測距システムであって、
前記撮影画像を、電磁波を走査する走査範囲を特定するための複数のブロックに分割し、各ブロックについて算出した、ブロック内の各画素の輝度値に関する情報と、ブロックの位置を示す情報とを所定の画像を解析することで得られた評価式に入力することで、前記撮影画像より、該評価式の算出結果が所定の条件を満たすブロックを抽出する抽出手段と、
前記抽出手段により抽出されたブロックに基づいて走査範囲を特定し、特定した走査範囲に含まれる第１の測距対象に前記電磁波を照射することで得られた反射波に基づいて、該第１の測距対象までの距離を算出する第１の算出手段と、
前記抽出手段により抽出されたブロック以外のブロックに含まれる第２の測距対象までの距離を、前記撮影画像に基づく視差演算を行うことで算出する第２の算出手段とを有することを特徴とする。

本発明の各実施形態によれば、測距対象までの距離を算出する測距技術において、空間分解能を向上させることが可能となる。

実施形態に係る測距システムの全体構成を示す図である。 撮像部及びレーザレーダ測距部の配置例ならびに撮像部による撮影範囲及びレーザレーダ測距部によるレーザ光の走査可能範囲を示す図である。 撮像部のハードウェア構成を示す図である。 レーザレーダ測距部のハードウェア構成を示す図である。 レーダ光の出射方向を変更するためのハードウェア構成の具体例を示す図である。 情報処理装置のハードウェア構成を示す図である。 情報処理装置の機能構成を示す図である。 撮影画像（ステレオ画像）の一例を示す図である。 領域特定部の機能構成を示す図である。 ブロック分割部による撮影画像の分割例を示す図である。 レーザ光の走査範囲を特定する特定領域を示す図である。 レーザ距離情報取得部により保持されたレーザ距離情報の一例を示す図である。 測距システムにおける測距情報生成処理の流れを示すフローチャートである。 測距情報の一例を示す図である。

以下、本発明の各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。

［第１の実施形態］
＜１．測距システムの全体構成＞
はじめに、本実施形態に係る測距システムの全体構成について説明する。図１は、本実施形態に係る測距システムの全体構成を示す図である。図１に示すように、測距システム１００は、ステレオ撮像部１１０と、レーザレーダ測距部１２０と、情報処理装置１３０とを備える。

ステレオ撮像部１１０は、単眼の撮像部１１１と単眼の撮像部１１２とを備える。撮像部１１１、１１２は、それぞれ、所定のフレーム周期で撮影を行い、撮影画像を情報処理装置１３０に送信する。

レーザレーダ測距部１２０は、パルス状のレーザ光を出射し、該レーザ光が照射された測距対象からの反射光を受光することで、該測距対象までの距離を算出する。レーザレーダ測距部１２０では、情報処理装置１３０から送信された走査範囲情報に基づいて、レーザ光を走査する走査範囲を決定する。また、レーザレーダ測距部１２０は、決定した走査範囲内においてレーザ光を照射することで、測距対象までの距離を算出し、レーザ距離情報として情報処理装置１３０に送信する。

情報処理装置１３０は、ステレオ撮像部１１０より送信された撮影画像について視差演算を行い、各画素ごとに測距対象までの距離を算出することで、視差演算距離情報を生成する。また、ステレオ撮像部１１０より送信された撮影画像に基づいて走査範囲情報を生成し、レーザレーダ測距部１２０に送信する。更に、生成した視差演算距離情報と、レーザレーダ測距部１２０より送信されたレーザ距離情報とを合成し、測距情報を生成する。

＜２．撮像部及びレーザレーダ測距部の配置＞
次に、測距システム１００を車載用に適用した場合の撮像部１１１、１１２及びレーザレーダ測距部１２０の配置例ならびに撮像部１１１、１１２の撮影範囲及びレーザレーダ測距部１２０によるレーザ光の走査可能範囲について説明する。

図２は、測距システム１００を車載用に適用した場合の撮像部１１１、１１２及びレーザレーダ測距部１２０の配置例ならびに撮像部１１１、１１２の撮影範囲及びレーザレーダ測距部１２０によるレーザ光の走査可能範囲の一例を示す図である。

図２に示すように、撮像部１１１、１１２及びレーザレーダ測距部１２０は、車両２００内の天井部分のフロントガラス近傍であって、車両２００の幅方向の中央位置に取り付けられる。

かかる取り付け位置のもとで、撮像部１１１、１１２は、車両２００の進行方向前方を撮影する。また、レーザレーダ測距部１２０は、車両２００の進行方向前方に向けてレーザ光を出射する。

図２において、網掛けされた領域は撮像部１１１、１１２により撮影される撮影範囲を示している。また、点線はレーザレーダ測距部１２０によるレーザ光の走査可能範囲を示している。

図２（ａ）に示すように、レーザレーダ測距部１２０は、旋回角を変えることでレーザ光の出射方向を水平方向に動かすことができる。つまり、レーザレーダ測距部１２０は、測距対象（図２（ａ）の例では路面）に対してレーザ光を水平方向に走査することができる。

また、図２（ｂ）に示すように、レーザレーダ測距部１２０は、仰角を変えることでレーザ光の出射方向を垂直方向に動かすことができる。つまり、レーザレーダ測距部１２０は、測距対象（図２（ｂ）の例では路面）に対してレーザ光を垂直方向に走査することができる。

なお、レーザレーダ測距部１２０では、レーザ光の水平方向及び垂直方向の走査可能範囲が、撮像部１１１、１１２の撮影範囲と概ね一致するように構成されているものとする。ただし、レーザレーダ測距部１２０では、情報処理装置１３０により送信される走査範囲情報に基づいて、走査可能範囲のうちの一部のみを走査するよう制御される。これにより、レーザレーダ測距部１２０では、高い空間分解能により、測距対象までの距離を測定することができる。

＜３．撮像部のハードウェア構成＞
次に、撮像部１１１、１１２のハードウェア構成について説明する。図３は、撮像部のハードウェア構成を示す図である。

図３に示すように、測距対象からの光は、撮像部１１１の光学系３０１及び撮像部１１２の光学系３０２を介して、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）３０３、３０４にそれぞれ入射される。

ＣＭＯＳ３０３、３０４は、結像された光学像を電気信号に変換して、アナログの画像データを出力する。ＣＭＯＳ３０３、３０４から出力された画像データは、ＣＤＳ（Correlated Double Sampling：相関２重サンプリング回路）３０５、３０６によりノイズ成分が除去される。更に、Ａ／Ｄ変換器３０７、３０８によりデジタル値に変換された後、画像処理回路３０９、３１０に出力される。

画像処理回路３０９、３１０は、画像データを一時的に格納するＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）３２１を用いて、各種画像処理を行う。なお、各種画像処理には、例えば、ＹＣｒＣｂ変換処理や、ホワイトバランス処理、コントラスト補正処理、エッジ強調処理、色変換処理などが含まれる。

ホワイトバランス処理は、画像データの色の濃さ（輝度値）を調整する処理であり、コントラスト補正処理は、画像データのコントラストを調整する処理である。また、エッジ強調処理は、画像データのシャープネスを調整する処理であり、色変換処理は、画像データの色合いを調整する処理である。

各種画像処理が行われた画像データは、圧縮伸張回路３２２を介してメモリカード３２３に記録される。圧縮伸張回路３２２は、各種画像処理が行われた画像データを圧縮してメモリカード３２３に記録するほか、メモリカード３２３から読み出した画像データを伸張して画像処理回路３０９、３１０に出力する。

ＣＰＵ３１２は、タイミング信号を発生するタイミング信号発生器３１１を介してＣＭＯＳ３０３、３０４、ＣＤＳ回路３０５、３０６、Ａ／Ｄ変換器３０７、３０８の動作タイミングを制御する。また、ＣＰＵ３１２は、画像処理回路３０９、３１０、圧縮伸張回路３２２、メモリカード３２３を制御する。

なお、ＣＰＵ３１２は、操作部３２４を介して入力された起動指示に基づいて起動し、ＲＯＭ（Read Only Memory）３２５に格納されたプログラムに従って各種演算処理を行う。ＲＡＭ（Random Access Memory）３２６は、ＣＰＵ３１２が各種演算処理を行う際にワークエリアとして機能する。なお、ＣＰＵ３１２、ＲＯＭ３２５、ＲＡＭ３２６はバスラインによって相互に接続されている。

＜４．レーザレーダ測距部の構成＞
次に、レーザレーダ測距部１２０のハードウェア構成について説明する。図４は、レーザレーダ測距部１２０のハードウェア構成を示す図である。

図４に示すように、レーザレーダ測距部１２０は、送光部４１０、受光部４２０、制御部として機能するＥＣＵ（Electronic Control Unit：電子制御ユニット）４３０を有する。

送光部４１０は、パルス状のレーザ光を出射する半導体レーザダイオード（ＬＤ:Laser Diode）４１１、光スキャナ４１２を有する。また、送光部４１０は、ＬＤ４１１からの光を光スキャナ４１２に導くための入力光学系４１３、光スキャナ４１２を通過したレーザ光を出射する出力光学系４１４を有する。

ＬＤ４１１は、ＬＤ駆動回路４１５を介してＥＣＵ４３０に接続されており、ＥＣＵ４３０からの駆動信号によりレーザ光を出射する。

光スキャナ４１２は、光スキャナ駆動回路４１６を介してＥＣＵ４３０に接続されており、所定の周期でＬＤ４１１から出射されたパルス状のレーザ光を水平方向及び垂直方向に出射方向を変えながら出射することで、繰り返し走査する。

光スキャナ４１２におけるレーザ光の出射方向（旋回角及び仰角）は、出射方向モニタ４１７によって検出され、検出された出射方向信号はＥＣＵ４３０に出力され、光スキャナ駆動信号にフィードバックされる。これにより、ＥＣＵ４３０では、出射方向及び繰り返し走査の周波数を制御する。なお、レーザ光の出射方向の目標値は、情報処理装置１３０より送信される走査範囲情報に基づいて、ＥＣＵ４３０により算出されるものとする。

受光部４２０は、受光レンズ４２１及び受光素子４２２を有しており、車両前方の測距対象において反射したレーザ光は、受光レンズ４２１及び不図示のミラー素子等を介して受光素子４２２にて受光される。

受光素子４２２は、フォトダイオード等により形成されており、反射したレーザ光における光強度に対応する電圧値の電気信号を出力する。受光素子４２２より出力された電気信号は、増幅器４４１において増幅され、コンパレータ４４２に出力される。

コンパレータ４４２では、増幅器４４１からの出力電圧の値を基準電圧Ｖ０と比較し、出力電圧の値がＶ０よりも大きくなったときに、所定の受光信号を時計計測回路４４３に出力する。

時計計測回路４４３には、ＥＣＵ４３０からＬＤ駆動回路４１５へ出力される駆動信号も入力されており、ＬＤ駆動信号を出力してから所定の受光信号が発生するまでの時間を出力する。すなわち、レーザ光を出射した時刻と、反射したレーザ光を受光した時刻の時間差を計測時間データとしてＥＣＵ４３０に出力する。ＥＣＵ４３０では、計測時間データに基づいて測距対象までの距離を算出する。

図５は、レーザ光を水平方向に繰り返し走査するための光スキャナ４１２の機構を説明するための図である。図５に示すように、レーザ光を水平方向に繰り返し走査するために、レーザレーダ測距部１２０では、ＬＤ４１１及び入力光学系４１３の近傍に、ポリゴンミラー等の走査ミラー５０１を配置している。

ＬＤ４１１から出射されたレーザ光は、入力光学系４１３を介してミラー５０２で反射され、走査ミラー５０１におけるミラー面５０１ａに照射される。走査ミラー５０１は回転軸５０１ｂを中心に回転しており、ミラー面５０１ａに照射されたレーザ光は反射され、走査範囲内を水平方向に出射方向を変えながら出射される。なお、走査範囲は、ミラー５０２の反射角度を変えることで水平方向に移動させることができる。

つまり、走査ミラー５０１が回転することで所定の走査範囲内においてレーザ光を繰り返し走査させることができる。また、走査範囲情報に基づいてミラー５０２の反射角度を変えることで走査範囲を水平方向に移動させることができる。

なお、図５の例では、所定の走査範囲を水平方向に繰り返し走査するための機構について示したが、レーザ光を垂直方向（つまり、仰角を変えて）繰り返し走査する場合の機構についても同様である。

＜５．情報処理装置の構成＞
次に、情報処理装置１３０のハードウェア構成について説明する。図６は、情報処理装置のハードウェア構成を示す図である。

図６に示すように、情報処理装置１３０は、ＣＰＵ（Central Processing Unit）６０１、ＲＡＭ（Random Access Memory）６０２、記憶部６０３、入出力部６０４を備える。なお、情報処理装置１３０の各部は、バス６０５を介して相互に接続されているものとする。

ＣＰＵ６０１は、記憶部６０３に格納されたプログラム（測距情報生成部６１０として機能するためのプログラム）を実行するコンピュータである。

ＲＡＭ６０２は、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）等の主記憶装置である。ＲＡＭ６０２は、記憶部６０３に格納されたプログラムがＣＰＵ６０１によって実行される際に展開される、作業領域として機能する。

記憶部６０３は、ＥＰＲＯＭやＥＥＰＲＯＭ等のメモリであり、ＣＰＵ６０１を、測距情報生成部６１０として機能させるためのプログラムを格納する。

入出力部６０４は、ステレオ撮像部１１０（撮像部１１１、１１２）やレーザレーダ測距部１２０と通信するためのインタフェース部である。

＜６．情報処理装置の機能構成＞
次に、測距情報生成部６１０として機能するためのプログラムが、ＣＰＵ６０１により実行されることで、情報処理装置１３０により実現される各種機能について説明する。図７は、情報処理装置１３０の機能構成を示す図である。

図７に示すように、情報処理装置１３０により実現される機能は、撮影画像取得部７１１、視差画像計算部７１２、輝度画像入力部７１３、領域特定部７１４、走査範囲指定部７１５、レーザ距離情報取得部７２１、合成部７３１、測距情報出力部７３２を含む。

撮影画像取得部７１１は、撮像部１１１、１１２より所定のフレーム周期で撮影画像を取得する。

視差画像計算部７１２は、撮影画像取得部７１１において取得された撮影画像に基づいて視差演算を行い、撮影画像を構成する各画素ごとに測距対象までの距離を算出する。また、各画素ごとに算出した測距対象までの距離を、視差演算距離情報として合成部７３１に出力する。なお、視差画像計算部７１２による処理の詳細は後述する。

輝度画像入力部７１３は、撮影画像取得部７１１において取得された撮影画像を構成する各画素の位置に関する情報と輝度値に関する情報とを特定する。

領域特定部７１４は、輝度画像入力部７１３において特定された各画素の位置に関する情報と輝度値に関する情報とが所定の条件を満たすか否かを判定することで、撮影画像に含まれる領域から特定領域を抽出する。特定領域とは、視差演算に用いられる撮影画像のうち、コントラストが低く、視差演算により精度の高い距離情報を取得することが困難な領域をいう。なお、領域特定部７１４の処理の詳細は後述する。

走査範囲指定部７１５は、領域特定部７１４において抽出された特定領域に対応するレーザ光の走査範囲を算出する。また、算出したレーザ光の走査範囲を、走査範囲情報としてレーザレーダ測距部１２０に送信する。

レーザ距離情報取得部７２１は、走査範囲指定部７１５により送信された走査範囲情報に基づいてレーザレーダ測距部１２０がレーザ光を走査することで得られたレーザ距離情報を取得する。レーザ距離情報は、領域特定部７１４により抽出された特定領域内の各画素対応付けられる。レーザ距離情報取得部７２１は、特定領域内の各画素と対応付けられたレーザ距離情報を合成部７３１に出力する。

合成部７３１では、視差画像計算部７１２より出力された視差演算距離情報と、レーザ距離情報取得部７２１より出力されたレーザ距離情報とを合成し、測距情報を生成する。また、生成した測距情報を測距情報出力部７３２に出力する。なお、合成部７３１の処理の詳細は後述する。

測距情報出力部７３２は、合成部７３１より出力された測距情報を、不図示の外部機器に出力する。

＜７．情報処理装置の各機能の詳細＞
次に、情報処理装置１３０の各部による処理の詳細について説明する。

＜７．１ 視差画像計算部の説明＞
はじめに、視差画像計算部７１２による処理の詳細について図８を用いて説明する。図８は、撮影画像の一例を示す図である。このうち、図８（ａ）は、撮像部１１１により撮影された撮影画像（比較画像）の一例を、図８（ｂ）は、撮像部１１２により撮影された撮影画像（基準画像）の一例をそれぞれ示している。

図８（ａ）、（ｂ）に示すように、撮像部１１１、１１２により撮影された１対の撮影画像８１０、８２０から、同一の測距対象が描画されている部分を抽出した場合、同一の測距対象が描画されている位置は左右にずれる。これは、撮像部１１１と撮像部１１２とが水平方向に所定距離だけずらして配置されているためである。

そこで、視差画像計算部７１２では、比較画像である撮影画像８１０を基準画像である撮影画像８２０に対して左右方向に、１画素ずつシフトさせていき、最も重なり合う位置（類似度が最も高い位置）を求めることで、同一の測距対象内の同一点を抽出する。更に、抽出した同一点間のシフト量（視差）を演算し、演算した視差と、撮像部１１１、１１２の光軸間の既知の距離とを用いることで、三角測量の原理に従って当該同一点までの距離を算出する。

視差画像計算部７１２では、このときシフトさせた画素数をｎ、撮像部１１１、１１２のレンズの焦点距離をｆ、基線長（撮像部の光軸間距離）をＢ、画素ピッチをｄとし、下式を用いることで、同一の測距対象内の同一点までの距離Ｚを算出する。

＜７．２ 領域特定部の説明＞
次に、領域特定部７１４の機能について説明する。上述したように、領域特定部７１４は、視差演算に用いられる撮影画像のうち、コントラストが低く、視差演算により精度の高い距離情報を取得することが困難な領域を特定領域として抽出する。

ここで、本実施形態では、当該特定領域として抽出する領域として、特に精度の高い距離情報が求められる路面部分の領域に着目した。更に、路面部分においてコントラストが低くなる状態として、路面に雪が積もっている状態と、路面に影ができている状態とに着目した。

一般に、雪が積もっている路面を撮影した場合、輝度値が高くかつコントラストが低い領域が撮影画像内の下方位置に描画される。また、影ができている路面を撮影した場合、輝度値が低くかつコントラストが低い領域が撮影画像内の下方位置に描画される。

このため、本実施形態において領域特定部７１４は、輝度値に関する情報と位置に関する情報とを用いて、特定領域（雪が積もっている路面が描画された領域及び影ができている路面が描画された領域）を抽出することとする。

図９は、輝度値に関する情報と位置に関する情報とを用いて特定領域を抽出する領域特定部の機能構成を示す図である。図９に示すように、領域特定部７１４は、ブロック分割部９０１、ブロック輝度平均値算出部９０２、位置算出部９０３、判定部９０４、結合部９０５を有する。更に、領域特定部７１４は、ＳＶＭ（Support Vector Machine）辞書（雪用）９０６、ＳＶＭ辞書（影用）９０７を有する。

ブロック分割部９０１は、基準画像である撮影画像８２０を所定サイズのブロックに分割する。図１０は基準画像である撮影画像８２０を所定サイズのブロック（例えば、ブロック１０２０参照）に分割した様子を示している。なお、図１０に示す撮影画像８２０の場合、道路脇の建物１０２１と、当該建物により影ができた路面１０２２とが描画されている。

ブロック輝度平均値算出部９０２は、分割されたブロックごとに、ブロック内に含まれる各画素の輝度値の平均値（Ｉ）を算出する。

位置算出部９０３は、分割されたブロックの位置（撮影画像８２０内における座標（ｘ，ｙ））を算出する。

判定部９０４は、ブロック輝度平均値算出部９０２において算出された輝度値の平均値（Ｉ）と、位置算出部９０３において算出されたブロックの座標（ｘ，ｙ）とに基づいて、ＳＶＭ機械学習方式を用いて、雪が積もっている路面を示すブロックか否かを判定する。

具体的には、ＳＶＭ辞書（雪用）９０６に格納されているサンプル画像（雪が積もっている路面を撮影した画像）を解析することで得られた評価式（式１）に、判定対象のブロックの輝度値の平均値（Ｉ）とブロックの座標（ｘ，ｙ）とを代入することで判定する。

Ｆ_１（Ｉ，ｘ，ｙ）＝ｆ_１１×Ｉ＋ｆ_１２×ｘ＋ｆ_１３×ｙ （式１）
なお、ｆ_１１、ｆ_１２、ｆ_１３、は、ＳＶＭ辞書（雪用）９０６に格納されているサンプル画像（雪が積もっている路面を撮影した画像）を解析することで算出されたパラメータである。

判定部９０４では、判定対象のブロックについて、輝度値の平均値（Ｉ）とブロックの座標（ｘ，ｙ）とを式１に代入することで得られたＦ_１（Ｉ，ｘ，ｙ）が所定の閾値内であるか否かを判定する。そして、所定の閾値内であれば、当該判定対象のブロックが雪が積もっている路面を示すブロックであると判定する。

同様に、判定部９０４は、輝度値の平均値（Ｉ）と座標（ｘ，ｙ）とに基づいて、ＳＶＭ機械学習方式を用いて、影ができている路面を示すブロックか否かを判定する。

具体的には、ＳＶＭ辞書（影用）９０７に格納されているサンプル画像（影ができている路面を撮影した画像）を解析することで得られた評価式（式２）に、輝度値の平均値（Ｉ）とブロックの座標（ｘ，ｙ）とを代入することで判定する。

Ｆ_２（Ｉ，ｘ，ｙ）＝ｆ_２１×Ｉ＋ｆ_２２×ｘ＋ｆ_２３×ｙ （式２）
なお、ｆ_２１、ｆ_２２、ｆ_２３、は、ＳＶＭ辞書（影用）９０７に格納されているサンプル画像（影ができている路面を撮影した画像）を解析することで算出されたパラメータである。

判定部９０４では、判定対象のブロックについて、輝度値の平均値（Ｉ）とブロックの座標（ｘ，ｙ）とを式２に代入することで得られたＦ_２（Ｉ，ｘ，ｙ）が所定の閾値内であるか否かを判定する。そして、所定の閾値内であれば、当該判定対象のブロックが影ができている路面を示すブロックであると判定する。

図１１において、撮影画像８２０の各ブロックのうち、ブロック１１２０は、判定部９０４により、影ができている路面を示すブロックであると判定されたブロックである。

結合部９０５では、判定部９０４により、雪が積もっている路面を示すブロックであると判定された場合、隣接するブロック（雪が積もっている路面を示すブロックであると判定されたブロック）を同一のブロック群として結合し、特定領域を生成する。同様に、判定部９０４により、影ができている路面を示すブロックであると判定された場合、隣接するブロック（影ができている路面を示すブロックであると判定されたブロック）を同一のブロック群として結合し、特定領域を生成する。図１１の例では、特定領域１１２１が生成される。

結合部９０５では、生成した特定領域１１２１を走査範囲指定部７１５に出力する。また、生成した特定領域１１２１に含まれる各画素の座標を識別し、レーザ距離情報取得部７２１に出力する。

＜７．３ 走査範囲指定部及びレーザ距離情報取得部の説明＞
次に、走査範囲指定部７１５及びレーザ距離情報取得部７２１について説明する。走査範囲指定部７１５では、領域特定部７１４により出力された特定領域１１２１に基づいて、レーザ光の走査範囲を決定する。また、決定したレーザ光の走査範囲を走査範囲情報として、レーザレーダ測距部１２０に送信する。

レーザ距離情報取得部７２１は、走査範囲情報に基づいて走査範囲を制限し、特定領域内の各画素に対応して照射されたレーザ光の反射光に基づいて、レーザレーダ測距部１２０において算出されたレーザ距離情報を取得し、保持する。

図１２は、レーザ距離情報取得部により保持されたレーザ距離情報の一例を示す図である。図１２に示すように、レーザ距離情報取得部７２１では、領域特定部７１４より出力された特定領域１１２１の各画素の座標と、レーザレーダ測距部１２０より取得したレーザ距離情報とが対応付けて保持される。

＜８．測距システムにおける測距情報生成処理の流れ＞
次に、測距システム１００における測距情報生成処理の流れについて説明する。図１３は、測距システム１００における測距情報生成処理の流れを示すフローチャートである。

ステップＳ１３０１において、ステレオ撮像部１１０は撮影処理を行い、１フレーム分の撮影画像を撮影する。

ステップＳ１３０２において、情報処理装置１３０は、ステップＳ１３０１において撮影された１フレーム分の撮影画像について視差演算を行い、視差演算距離情報を算出する。

ステップＳ１３０３において、情報処理装置１３０は、ステップＳ１３０１において撮影された１フレーム分の撮影画像内に、特定領域が含まれるか否かを判定する。ステップＳ１３０３において、特定領域が含まれないと判定された場合には、ステップＳ１３０９に進む。

一方、ステップＳ１３０３において、特定領域が含まれると判定した場合には、ステップＳ１３０４に進む。ステップＳ１３０４において、レーザレーダ測距部１２０は、特定領域に基づいて、レーザ光の走査範囲を決定する。

ステップＳ１３０５において、レーザレーダ測距部１２０は、ステップＳ１３０４において決定された走査範囲内を、特定領域内の各画素に対応するようにパルス状のレーザ光を照射しながら走査するレーザ照射処理を行う。ステップＳ１３０６において、レーザレーダ測距部１２０は、ステップＳ１３０５におけるレーザ照射処理の結果に基づいて、特定領域に含まれる各画素のレーザ距離情報を算出する。

ステップＳ１３０７において、情報処理装置１３０は、ステップＳ１３０２において算出された視差演算距離情報と、ステップＳ１３０６において算出されたレーザ距離情報とを合成し、測距情報を生成する。

ステップＳ１３０８において、情報処理装置１３０は、ステップＳ１３０７において生成した測距情報を外部機器に出力する。

ステップＳ１３０９において、情報処理装置１３０は、測距情報生成処理の終了指示が入力されたか否かを判定し、終了指示が入力されていないと判定された場合には、ステップＳ１３０１に戻り、ステレオ撮像部１１０が次のフレームの撮影処理を行う。

一方、ステップＳ１３０９において終了指示が入力されたと判定された場合には、測距システム１００による測距情報生成処理を終了する。

＜９．実施例＞
次に、測距システム１００が測距情報生成処理を行うことにより生成された測距情報について説明する。図１４は、測距情報の一例を示す図である。

図１４に示すように、測距情報１４００は、撮影画像８２０（基準画像）に含まれる画素ごとに、座標と測距対象までの距離を示す距離情報とが格納されている。

このうち、特定領域以外の領域の各画素には、距離情報として、視差演算距離情報が格納される。一方、特定領域の各画素には、距離情報として、レーザ距離情報が格納される。

＜１０．まとめ＞
以上の説明から明らかなように、本実施形態に係る測距システム１００では、
・視差演算により精度の高い距離情報を取得することが困難な領域として、雪が積もっている路面と影ができている路面とに着目した。
・撮影画像内の領域のうち、これらの路面を示す領域を特定領域として抽出するために、撮影画像を複数のブロックに分割し、ブロックごとに輝度値に関する情報と位置に関する情報とを算出する構成とした。
・算出した輝度値に関する情報と位置に関する情報とを用いて雪が積もっている路面を示すブロック及び影ができている路面を示すブロックを判定し、特定領域を抽出する構成とした。
・レーザ光の走査範囲を、抽出した特定領域に限定する構成とした。
・撮影画像に基づいて画素ごとに算出された視差演算距離情報と、撮影画像の特定領域に含まれる画素ごとに算出されたレーザ距離情報とを合成することで、測距情報を生成する構成とした。

これにより、本実施形態に係る測距システム１００によれば、高い空間分解能でレーザ距離情報を取得することができる。この結果、高い空間分解能を有する測距情報を生成することが可能となる。

［第２の実施形態］
上記第１の実施形態において、領域特定部７１４は、輝度画像入力部７１３より出力された各画素の位置に関する情報と輝度値に関する情報とを用いて、特定領域を抽出する構成としたが、本発明はこれに限定されない。例えば、各画素の位置に関する情報と輝度値に関する情報とを用いて抽出された特定領域のうち、視差画像計算部７１２により視差演算ができなかった画素を特定領域として抽出するように構成してもよい。

また、上記第１の実施形態では、レーザレーダ測距部１２０よりレーザ光を出射した場合の反射光に基づいて距離情報を算出する構成としたが本発明はこれに限定されない。レーザレーダ測距部以外の電磁波測距部より電磁波を照射した場合の反射波に基づいて、距離情報を算出する構成としてもよい。

なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせなど、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。

１００ ：測距システム
１１０ ：ステレオ撮像部
１１１、１１２ ：撮像部
１２０ ：レーザレーダ測距部
１３０ ：情報処理装置
６１０ ：測距情報生成部
７１１ ：撮影画像取得部
７１２ ：視差画像計算部
７１３ ：輝度画像入力部
７１４ ：領域特定部
７１５ ：走査範囲指定部
７２１ ：レーザ距離情報取得部
７３１ ：合成部
７３２ ：測距情報出力部
１００１ ：ブロック分割部
１００２ ：ブロック輝度平均値算出部
１００３ ：位置算出部
１００４ ：判定部
１００５ ：結合部
１００６ ：ＳＶＭ辞書（雪用）
１００７ ：ＳＶＭ辞書（影用）

特開２０００−３２９８５２号公報

Claims (10)

1. 撮影画像に含まれる測距対象までの距離を算出する測距システムであって、
   前記撮影画像を、電磁波を走査する走査範囲を特定するための複数のブロックに分割し、各ブロックについて算出した、ブロック内の各画素の輝度値に関する情報と、ブロックの位置を示す情報とを所定の画像を解析することで得られた評価式に入力することで、前記撮影画像より、該評価式の算出結果が所定の条件を満たすブロックを抽出する抽出手段と、
   前記抽出手段により抽出されたブロックに基づいて走査範囲を特定し、特定した走査範囲に含まれる第１の測距対象に前記電磁波を照射することで得られた反射波に基づいて、該第１の測距対象までの距離を算出する第１の算出手段と、
   前記抽出手段により抽出されたブロック以外のブロックに含まれる第２の測距対象までの距離を、前記撮影画像に基づく視差演算を行うことで算出する第２の算出手段と
   を有することを特徴とする測距システム。
2. 前記抽出手段は、前記撮影画像より、雪が積もっている路面を示すブロックまたは影ができている路面を示すブロックを抽出することを特徴とする請求項１に記載の測距システム。
3. 前記第１の算出手段により算出した距離と、前記第２の算出手段により算出した距離とを含む測距情報を生成する生成手段を更に有することを特徴とする請求項１または２に記載の測距システム。
4. 撮影画像に含まれる測距対象までの距離を算出する測距システムにおける情報処理方法であって、
   前記撮影画像を、電磁波を走査する走査範囲を特定するための複数のブロックに分割し、各ブロックについて算出した、ブロック内の各画素の輝度値に関する情報と、ブロックの位置を示す情報とを所定の画像を解析することで得られた評価式に入力することで、前記撮影画像より、該評価式の算出結果が所定の条件を満たすブロックを抽出する抽出工程と、
   前記抽出工程において抽出されたブロックに基づいて走査範囲を特定し、特定した走査範囲に含まれる第１の測距対象に前記電磁波を照射することで得られた反射波に基づいて、該第１の測距対象までの距離を算出する第１の算出工程と、
   前記抽出工程において抽出されたブロック以外のブロックに含まれる第２の測距対象までの距離を、前記撮影画像に基づく視差演算を行うことで算出する第２の算出工程と
   を有することを特徴とする情報処理方法。
5. 撮影画像に含まれる測距対象までの距離を算出する測距システムのコンピュータに、
   前記撮影画像を、電磁波を走査する走査範囲を特定するための複数のブロックに分割し、各ブロックについて算出した、ブロック内の各画素の輝度値に関する情報と、ブロックの位置を示す情報とを所定の画像を解析することで得られた評価式に入力することで、前記撮影画像より、該評価式の算出結果が所定の条件を満たすブロックを抽出する抽出工程と、
   前記抽出工程において抽出されたブロックに基づいて走査範囲を特定し、特定した走査範囲に含まれる第１の測距対象に前記電磁波を照射することで得られた反射波に基づいて、該第１の測距対象までの距離を算出する第１の算出工程と、
   前記抽出工程において抽出されたブロック以外のブロックに含まれる第２の測距対象までの距離を、前記撮影画像に基づく視差演算を行うことで算出する第２の算出工程と
   を実行させるためのプログラム。
6. 撮影画像に基づいて、電磁波を走査する走査範囲を特定する情報処理装置であって、
   前記撮影画像を、電磁波を走査する走査範囲を特定するための複数のブロックに分割し、各ブロックについて算出した、ブロック内の各画素の輝度値に関する情報と、ブロックの位置を示す情報とを所定の画像を解析することで得られた評価式に入力することで、前記撮影画像より、該評価式の算出結果が所定の条件を満たすブロックを抽出する抽出手段と
   前記抽出手段により抽出されたブロックに含まれる測距対象を、前記走査範囲として特定する特定手段と
   を有することを特徴とする情報処理装置。
7. 前記抽出手段は、前記撮影画像より、雪が積もっている路面を示すブロックまたは影ができている路面を示すブロックを抽出することを特徴とする請求項６に記載の情報処理装置。
8. 前記特定手段により特定された走査範囲を前記電磁波が走査することで得られた距離情報と、前記撮影画像について視差演算を行うことにより得られた距離情報とを合成することで、測距情報を生成する生成手段を更に有することを特徴とする請求項６または７に記載の情報処理装置。
9. 撮影画像に基づいて、電磁波を走査する走査範囲を特定する情報処理装置における情報処理方法であって、
   前記撮影画像を、電磁波を走査する走査範囲を特定するための複数のブロックに分割し、各ブロックについて算出した、ブロック内の各画素の輝度値に関する情報と、ブロックの位置を示す情報とを所定の画像を解析することで得られた評価式に入力することで、前記撮影画像より、該評価式の算出結果が所定の条件を満たすブロックを抽出する抽出工程と
   前記抽出工程において抽出されたブロックに含まれる測距対象を、前記走査範囲として特定する特定工程と
   を有することを特徴とする情報処理方法。
10. 撮影画像に基づいて、電磁波を走査する走査範囲を特定する情報処理装置のコンピュータに、
    前記撮影画像を、電磁波を走査する走査範囲を特定するための複数のブロックに分割し、各ブロックについて算出した、ブロック内の各画素の輝度値に関する情報と、ブロックの位置を示す情報とを所定の画像を解析することで得られた評価式に入力することで、前記撮影画像より、該評価式の算出結果が所定の条件を満たすブロックを抽出する抽出工程と
    前記抽出工程において抽出されたブロックに含まれる測距対象を、前記走査範囲として特定する特定工程と
    を実行させるためのプログラム。

Images