JP2007240275A - 距離計測装置・撮像装置、距離計測方法・撮像方法、距離計測プログラム・撮像プログラムおよび記憶媒体 - Google Patents
距離計測装置・撮像装置、距離計測方法・撮像方法、距離計測プログラム・撮像プログラムおよび記憶媒体 Download PDFInfo
- Publication number
- JP2007240275A JP2007240275A JP2006061682A JP2006061682A JP2007240275A JP 2007240275 A JP2007240275 A JP 2007240275A JP 2006061682 A JP2006061682 A JP 2006061682A JP 2006061682 A JP2006061682 A JP 2006061682A JP 2007240275 A JP2007240275 A JP 2007240275A
- Authority
- JP
- Japan
- Prior art keywords
- value
- calculation
- distance
- imaging
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Measurement Of Optical Distance (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
【課題】精度の高い距離情報を取得すること。
【解決手段】本発明にかかる距離計測装置1は、撮像部10から出力された画像信号群に基づいて撮像視野内に位置する物体までの距離を演算する演算部24と、所定の検出範囲内に位置する物体までの距離を検出するレーダ60と、レーダ60における検出値に基づいて演算部24における演算値が正常または異常であるかを判定する判定部22と、判定部22が異常であると判定した演算値を修正する修正部23と、を備える。本発明にかかる距離計測装置1によれば、判定部22が異常であると判定した演算値を修正した距離データを出力するため、精度の高い距離情報を取得することができる。
【選択図】 図1
【解決手段】本発明にかかる距離計測装置1は、撮像部10から出力された画像信号群に基づいて撮像視野内に位置する物体までの距離を演算する演算部24と、所定の検出範囲内に位置する物体までの距離を検出するレーダ60と、レーダ60における検出値に基づいて演算部24における演算値が正常または異常であるかを判定する判定部22と、判定部22が異常であると判定した演算値を修正する修正部23と、を備える。本発明にかかる距離計測装置1によれば、判定部22が異常であると判定した演算値を修正した距離データを出力するため、精度の高い距離情報を取得することができる。
【選択図】 図1
Description
この発明は、所定の撮像視野内に位置する物体までの距離を演算する距離計測装置・撮像装置、距離計測方法・撮像方法、距離計測プログラム・撮像プログラムおよび記憶媒体に関する。
近年、車両の大衆化にともない、車両に搭載される各種装置が実用化されている。このような車両搭載用装置として、自車両と先行車両との車間距離を計測し、計測した車間距離に基づいて、たとえば警報出力などの各種処理を行なう距離計測装置がある。
従来から、このような距離計測装置として、イメージセンサを有する光学式の距離計測装置が提案されている(特許文献1参照)。この距離計測装置は、左右二つのレンズと、これら左右のレンズにそれぞれ対応するイメージセンサを有する撮像部を備える。従来の距離計測装置は、イメージセンサから出力されたそれぞれの画像のうち、一方の画像の中から、他方の画像における任意の画像信号と整合する画像信号を検出し、検出した画像信号における移動量をもとに、三角測量の原理を用いて対象物までの距離を演算する。
しかしながら、従来の距離計測装置では、外部環境の悪化や撮像部の振動などが発生した場合、撮像部から出力される画像が劣化してしまい、距離情報の精度が低くなるという問題があった。このような精度が低い距離情報を用いた場合、警報出力などの各種処理を正確に行なうことができなかった。
この発明は、上記した従来技術の欠点に鑑みてなされたものであり、光学式の距離計測装置を用いるものであっても、精度の高い距離情報を取得することができる距離計測装置・撮像装置、距離計測方法・撮像方法、距離計測プログラム・撮像プログラムおよび記憶媒体を提供することを目的とする。
上述した課題を解決し、目的を達成するために、この発明にかかる距離計測装置は、所定の撮像視野を有し、前記撮像視野に対応する画像信号群を生成する撮像手段と、前記画像信号群に基づいて前記撮像視野内に位置する物体までの距離を演算する演算手段と、所定の検出範囲内に位置する物体までの距離を検出する検出手段と、前記検出手段における検出値に基づいて前記演算手段における演算値が正常または異常であるかを判定する判定手段と、前記判定手段が異常であると判定した前記演算値を修正する修正手段と、を備えたことを特徴とする。
また、この発明にかかる距離計測装置は、前記判定手段は、前記検出値と前記演算値との差分値が所定値以内であると判断した場合、前記演算値が正常であると判定することを特徴とする。
また、この発明にかかる距離計測装置は、前記修正手段は、前記演算手段に対して再度演算させることを特徴とする。
また、この発明にかかる距離計測装置は、前記演算手段は、前記演算値とともに該演算値よりも距離分解能の低い候補値を出力し、前記修正手段は、前記演算値を前記検出値との差分値が前記所定値以内である前記候補値に書き替えることを特徴とする。
また、この発明にかかる距離計測装置は、前記修正手段は、前記検出値との差分値が前記所定値以内である前記候補値がないと判断した場合には、修正対象である前記演算値を排除することを特徴とする。
また、この発明にかかる距離計測装置は、前記修正手段は、前記検出値との差分値が前記所定値以内である前記候補値がないと判断した場合には、前記演算値を、所定の関数を用いて補間した補間値に書き替えることを特徴とする。
また、この発明にかかる距離計測装置は、前記撮像手段は、第1の光路を介して撮像した第1の前記画像信号群と、第2の光路を介して撮像した第2の前記画像信号群とを生成し、前記演算手段は、前記第2の画像信号群の中から前記第1の画像信号群の任意の画像信号と整合する画像信号を検出し、検出した画像信号における前記任意の画像信号からの移動量に基づいて前記撮像視野内に位置する物体までの距離を演算することを特徴とする。
また、この発明にかかる距離計測装置は、前記撮像手段は、一対の光学系と、一対の光学系が出力する光信号を電気信号に変換する一対の撮像素子と、を備えたことを特徴とする。
また、この発明にかかる距離計測装置は、前記撮像手段は、一対の導光光学系と、各導光光学系に対応する撮像領域を有し各導光光学系が導いた光信号を各撮像領域において電気信号に変換する撮像素子と、を備えたことを特徴とする。
また、この発明にかかる距離計測装置は、前記検出手段によって予め検出された前記検出値を記憶する記憶手段を備え、前記判定手段は、前記記憶手段に記憶された前記検出値に基づいて前記演算手段における演算値が正常または異常であるかを判定することを特徴とする。
また、この発明にかかる距離計測装置は、当該距離計測装置は、車両に搭載されることを特徴とする。
また、この発明にかかる撮像装置は、撮像視野に対応する画像信号群を生成する撮像手段と、前記画像信号群に基づいて前記撮像視野内に位置する物体までの距離を演算する演算手段と、前記演算手段と異なる手段によって求められた前記物体までの距離情報を入力する入力手段と、前記入力手段により入力した距離情報に基づいて前記演算手段における演算値が正常または異常であるかを判定する判定手段と、前記判定手段が異常であると判定した前記演算値を修正する修正手段と、を備えたことを特徴とする。
また、この発明にかかる距離計測方法は、所定の撮像視野内に位置する物体までの距離を演算する距離計測方法において、検出範囲内に位置する物体までの距離を検出する検出ステップと、前記撮像視野に対応する画像信号群を生成する撮像ステップと、前記画像信号群に基づいて前記撮像視野内に位置する物体までの距離を演算する演算ステップと、前記検出ステップにおける検出値に基づいて前記演算ステップにおける演算値が正常または異常であるかを判定する判定ステップと、前記判定ステップにおいて異常と判定された前記演算値を修正する修正ステップと、を含むことを特徴とする。
また、この発明にかかる撮像方法は、撮像視野に対応する画像信号群を生成する撮像ステップと、前記画像信号群に基づいて前記撮像視野内に位置する物体までの距離を演算する演算ステップと、前記演算ステップと異なるステップによって求められた前記物体までの距離情報を入力する入力ステップと、前記入力ステップにより入力した距離情報に基づいて前記演算ステップにおける演算値が正常または異常であるかを判定する判定ステップと、前記判定ステップにおいて異常であると判定した前記演算値を修正する修正ステップと、を含むことを特徴とする。
また、この発明にかかる距離計測プログラムは、所定の撮像視野内に位置する物体までの距離を演算する距離計測プログラムにおいて、検出範囲内に位置する物体までの距離を検出し、前記撮像視野に対応する画像信号群を生成し、前記画像信号群に基づいて前記撮像視野内に位置する物体までの距離を演算し、前記検出手順における検出値をもとに、前記演算手順における演算値が正常または異常であるかを判定し、前記判定手順において異常と判定された前記演算値を修正することを特徴とする。
また、この発明にかかる撮像プログラムは、撮像視野に対応する画像信号群を生成し、前記画像信号群に基づいて前記撮像視野内に位置する物体までの距離を演算し、前記演算手順と異なる手順によって求められた前記物体までの距離情報を入力し、前記入力手順により入力した距離情報に基づいて前記演算手順における演算値が正常または異常であるかを判定し、前記判定手順において異常であると判定した前記演算値を修正することを特徴とする。
また、この発明にかかる記憶媒体は、検出範囲内に位置する物体までの距離を検出し、所定の撮像視野に対応する画像信号群を生成し、前記画像信号群に基づいて前記撮像視野内に位置する物体までの距離を演算し、前記検出手順における検出値をもとに、前記演算手順における演算値が正常または異常であるかを判定し、前記判定手順において異常と判定された前記演算値を修正して所定の撮像視野内に位置する物体までの距離を演算する距離計測プログラムを記憶することを特徴とする。
また、この発明にかかる記憶媒体は、撮像視野に対応する画像信号群を生成し、前記画像信号群に基づいて前記撮像視野内に位置する物体までの距離を演算し、前記演算手順と異なる手順によって求められた前記物体までの距離情報を入力し、前記入力手順により入力した距離情報に基づいて前記演算手順における演算値が正常または異常であるかを判定し、前記判定手順において異常であると判定した前記演算値を修正するプログラムを記憶することを特徴とする。
本発明にかかる距離計測装置および撮像装置によれば、検出手段による検出値をもとに演算手段が演算した演算値が正常または異常であるかを判定する判定手段と、判定手段が異常であると判定した演算値を修正する修正手段とを備えることによって、精度の高い距離情報を取得することができ、この距離情報に基づく各種安全運転支援処理を正確に行なうことが可能となる。また、本発明にかかる距離計測方法・撮像方法、距離計測プログラム・撮像プログラムおよび記憶媒体を用いることによって、精度の高い距離情報を取得することができる。
以下、図面を参照して、この発明の実施の形態である距離計測装置・撮像装置、距離計測方法・撮像方法、距離計測プログラム・撮像プログラムおよび記憶媒体について、車両に搭載される距離計測装置を例として説明する。この距離計測装置が出力する距離情報に基づいて他の装置などによる各種安全運転支援処理が行なわれる。なお、この実施の形態により、この発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付している。
(実施の形態1)
まず、実施の形態1にかかる距離計測装置について説明する。本実施の形態にかかる距離計測装置は、所定の画像信号群を用いて演算された距離演算値を、レーダの検出値をもとに正常または異常であるかを判定し、異常であると判定された演算値を修正する。図1は、本実施の形態にかかる距離情報装置の概略構成を示すブロック図である。
まず、実施の形態1にかかる距離計測装置について説明する。本実施の形態にかかる距離計測装置は、所定の画像信号群を用いて演算された距離演算値を、レーダの検出値をもとに正常または異常であるかを判定し、異常であると判定された演算値を修正する。図1は、本実施の形態にかかる距離情報装置の概略構成を示すブロック図である。
図1に示すように、本実施の形態1にかかる距離計測装置1は、所定の撮像視野を有し、この撮像視野に対応する画像信号群を生成する撮像部10と、撮像部10が生成した画像信号群に基づいて撮像視野内に位置する物体までの距離を演算する距離演算部20と、距離計測装置を構成する各構成部の各処理および各動作を制御する制御部30と、距離情報を含む各種情報を出力する出力部40と、距離情報を含む各種情報を記憶する記憶部50と、所定の検出範囲内に位置する物体までの距離を検出するレーダ60とを備える。撮像部10と、距離演算部20と、出力部40と、記憶部50と、レーダ60とは、制御部30に電気的に接続される。距離演算部20は、距離演算処理を行なう演算部24と画像信号群を記憶するメモリ25とを備え、演算部24における演算値が正常または異常であるかを判定する判定部22と判定部22が異常であると判定した演算値を修正する修正部23とを有する演算制御部21をさらに備える。
撮像部10は、右カメラ11aと、右カメラ11aと左カメラ11bとを備える。右カメラ11aおよび左カメラ11bは、それぞれの撮像視野に対応した画像信号群を出力する。右カメラ11aおよび左カメラ11bは、それぞれ、レンズ12a,12bと、撮像素子13a,13bと、アナログ/デジタル(A/D)変換部14a,14bと、フレームメモリ15a,15bとを備える。レンズ12a,12bは、所定の視野角から入射する光を集光する。レンズ12a,12bにそれぞれ対応して配置される撮像素子13a,13bは、CCDまたはCMOSなどによって実現され、レンズ12a,12bを透過した光を検知してアナログ画像信号に変換する。A/D変換部14a,14bは、撮像素子13a,13bから出力されたアナログ画像信号をデジタル画像信号に変換する。フレームメモリ15a,15bは、A/D変換部14a,14bから出力されたデジタル画像信号を記憶し、1枚の撮像画像に対応するデジタル画像信号群を、撮像視野に対応する画像信号群として随時出力する。
距離演算部20は、演算部24と、撮像部10から出力された画像信号群や制御部30から出力された検出データ51などを記憶するメモリ25とを備える。また、距離演算部20は、判定部22と修正部23とを有する演算制御部21を備える。
演算部24は、ステレオ法を用いて、撮像部10から出力された画像信号群に基づいて撮像視野内に位置する物体までの距離を演算する。演算部24は、右カメラ11aから出力された右画像信号群の中から、左カメラ11bから出力された左画像信号群中における任意の画像信号と整合する画像信号を検出し、検出した画像信号における任意の画像信号からの移動量Iをもとに、三角測量の原理によって距離を演算する。演算部24は、以下の(1)式を用いて、撮像部10から対象物体である車両Cまでの距離Rを求める。(1)式において、fはレンズ12a,12bの焦点距離であり、Lはレンズ12a,12bの光軸間の幅である。また、移動量Iは、移動した画素の数と画素ピッチとをもとに求めてもよい。
R=f・L/I・・・(1)
演算部24は、各画像信号に対応した距離Rを演算し、演算値と撮像視野内における位置情報とをそれぞれ対応させて演算制御部21に出力する。
R=f・L/I・・・(1)
演算部24は、各画像信号に対応した距離Rを演算し、演算値と撮像視野内における位置情報とをそれぞれ対応させて演算制御部21に出力する。
演算制御部21は、演算部24およびメモリ25の処理動作を制御する。判定部22は、レーダ60による検出データ51を用いて演算部24における各演算値が正常または異常であるかを順次判定する。判定部22は、演算部24から出力された演算値とレーダ60による検出値とを比較して、演算値と検出値との差分値が所定値以内であると判断した場合には、この演算値は正常であると判定し、演算値と検出値との差分値が所定値を超えていると判断した場合には、この演算値は異常であると判定する。一方、修正部23は、判定部22が異常であると判定した演算値を修正する。修正部23は、判定部22が異常であると判定した演算値を演算部24に再度演算させることによって、判定部22が異常であると判定した演算値を修正する。演算制御部21は、判定部22が正常であると判定した演算値または演算部24が再度演算した演算値と、撮像視野内における位置情報とをそれぞれ対応させた距離データ52を制御部30に出力する。
制御部30は、記憶部50に記憶された処理プログラムを実行するCPUなどによって実現され、撮像部10と距離演算部20と出力部40と記憶部50とレーダ60との各処理または動作を制御する。制御部30は、これらの各構成部位に入出力される情報について所定の入出力制御を行うとともに、これらの情報に対して所定の情報処理を行う。
出力部40は、液晶ディスプレイ、有機エレクトロルミネッセンスディスプレイなどによって実現され、距離情報に加え撮像部10が撮像した画像などの各種表示情報を表示出力する。また、出力部40は、スピーカをさらに備え、距離情報のほか、先行する車両Cと接近した旨を報知させる警告音声などの各種音声情報を出力する。
記憶部50は、処理プログラム等の各種情報が予め記憶されたROMと、各処理の演算パラメータ、各種構成部位から出力された各種情報、書込情報、あるいは音声情報等を記憶するRAMとを備える。記憶部50は、レーダ60から出力された検出データ51、距離演算部20から出力された距離データ52を記憶する。
レーダ60は、所定の発信波を送信し、この発信波が物体表面で反射した反射波を受信して、発信状態および受信状態をもとに、レーダ60から発信波を反射した物体までの距離と、この物体が位置する方向とを検出する。レーダ60は、発信波の送信角度、反射波の入射角度、反射波の受信強度、発信波を送信してから反射波を受信するまでの時間、反射波の周波数変化などをもとに、距離計測装置1から発信波を反射した物体までの距離を検出する。レーダ60は、検出範囲内に位置する物体までの検出距離値と、検出範囲内における位置情報とを対応させた検出データ51を制御部30に出力する。レーダ60は、発信波として、レーザ光、赤外線またはミリ波を送信する。
つぎに、距離計測装置1が行なう処理動作のうち、距離演算部20が距離データ52を出力するまでの処理動作について説明する。図2は、距離計測装置1において、距離演算部20が距離データ52の出力を完了するまでの処理手順を示すフローチャートである。
図2に示すように、まず、制御部30は、レーダ60に対して検出範囲内に位置する物体までの距離の検出を指示し、レーダ60は、制御部30の指示にしたがい、検出範囲内に位置する物体までの距離を検出する検出処理を行なう(ステップS101)。レーダ60は、検出処理が終了した後、制御部30に検出データ51を出力する。この場合、制御部30は、記憶部50に対して、検出データ51を記憶させてもよい。次に、撮像部10は、制御部30の制御のもと、所定の撮像視野を撮像する撮像処理を行ない(ステップS102)、右カメラ11aおよび左カメラ11bはそれぞれ画像信号群を出力する。制御部30は、距離演算部20に対して、撮像部10から出力された画像信号群を処理して、撮像視野内に位置する物体までの距離を演算する演算処理の指示を行なう。この場合、制御部30は、レーダ60による検出データ51を距離演算部20に対して出力する。判定部22は、この検出データ51を用いて演算部24が演算した各演算値に対する判定処理を行なう。
演算制御部21は、制御部30からの指示を受け、まず、演算が終了した画像信号の番号nを初期化して、n=0とする(ステップS104)。演算制御部21は、演算部24に対して、撮像部10から出力された画像信号群のうち、演算対象である画像信号の距離を演算する距離演算処理を指示する。演算部24は、この画像信号に対する距離演算処理を行ない(ステップS106)、演算値を演算制御部21に出力する。判定部22は、演算部24から出力された演算値が正常または異常であるかを判定する判定処理を行ない(ステップS108)、判定結果を出力する。演算制御部21は、判定部22から出力された判定が正常判定または異常判定のいずれかであるかを判断し(ステップS110)、判定が正常判定であると判断した場合には(ステップS110:正常判定)、この演算値に対して修正する必要はないため、この演算値を演算データ52の一部として採用する。一方、演算制御部21は、判定部22から出力された判定が異常判定であると判定した場合には(ステップS110:異常判定)、修正部23に対して、この演算値に対する修正処理を指示する。修正部23は、この演算値に対して修正処理を行ない(ステップS112)、修正値を出力する。この場合、演算制御部21は、この修正値を演算データ52の一部として採用する。
つぎに、この画像信号に対する演算が終了したため、演算制御部21は、番号nをn=n+1とする(ステップS114)。その後、演算制御部21は、n=N(Nは、画像信号群に含まれる画像信号の全数量に対応する番号である。)か否かを判断し(ステップS116)、画像信号群に含まれる全ての画像信号について演算が終了したか否かを検討する。演算制御部21がn=Nでない(ステップS116:No)、すなわち、全ての画像信号に対して演算が終了していないと判断した場合には、ステップS106に進み、次に演算対象となる画像信号に対して上述した処理手順と同様の処理手順を行なう。一方、演算制御部21がn=Nである(ステップS116:Yes)、すなわち、全ての画像信号に対して演算が終了したと判断した場合には、演算制御部21は、判定部22によって正常であると判定された演算値または修正部23によって修正された修正値と、撮像視野内における各位置情報とをそれぞれ対応させた距離データ52を制御部30に出力する(ステップS118)。
つぎに、図2に示す判定処理について説明する。図3は、図2に示す判定処理の処理手順を示すフローチャートである。図3に示すように、判定部22は、まず、演算部24が演算した演算値を取得する(ステップS122)。判定部22は、レーダ60から出力された検出データ51のうち、演算対象である画像信号に対応する位置情報と最も近接する位置情報を有する検出値を取得する(ステップS124)。つぎに、判定部22は、演算値と検出値とを比較し、演算値と検出値との差分値は所定値内であるか否かを判断する(ステップS126)。所定値は、レーダ60における検出誤差および演算部24における演算誤差などに対応する値であり、演算値と検出値との差分値がこの所定値以内である場合には、この画像信号に対応する演算値は必要精度を満たしているものと考えられる。判定部22は、演算値と検出値との差分値は所定値以内であると判断した場合には(ステップS126:Yes)、必要精度を満たすため、この演算値は正常であると判定する(ステップS128)。一方、判定部22は、演算値と検出値との差分値は所定値以内ではない、すなわち、所定値を超えていると判断した場合には(ステップS126:No)、必要精度を満たしていないため、この演算値は異常であると判定する(ステップS130)。判定部22は、正常または異常であるとの判定結果を演算制御部21に出力して(ステップS132)、判定処理を終了する。
つぎに、図3に示す判定処理について、図4を参照して、具体的に説明する。図4は、横軸に、演算対象である画像信号が位置する画素行における画素列数を示し、縦軸に、レーダ60が検出した検出距離および演算部24が演算した演算距離を示す。また、図4では、画素列「1」,「4」,「7」,「10」に対応する位置にレーダ60による検出点があったものとする。なお、図4では、レーダ検出点を「○」で示し、演算部24によって演算された演算点を「●」で示す。
まず、判定部22が画素列「1」の演算点C1に対して判定処理を行なう場合について説明する。この場合、判定部22は、演算点C1に最も近接するレーダ検出点として、同じ画素列「1」に位置するレーダ検出点F1を取得し(ステップS124)、演算点C1とレーダ検出点F1とを比較する。判定部22は、図4に示すように、演算点C1とレーダ検出点F1との差分値D1が所定値D以内であると判断した場合には(ステップS126:Yes)、この演算点C1は正常であると判定する(ステップS128)。つぎに、判定部22は、画素列「2」の演算点C2に対して判定処理を行なう場合、演算点C2に最も近接するレーダ検出点として、画素列「2」の隣の画素列「1」に位置するレーダ検出点F1を取得する(ステップS124)。判定部22は、この演算点C2とレーダ検出点F1との差分値D2が所定値D以内であると判断した場合には(ステップS126:Yes)、この演算点C2であると判定する(ステップS128)。
また、判定部22は、画素列「4」の演算点C4に対して判定処理を行なう場合、画素列「4」に位置するレーダ検出点F4を取得し(ステップS124)、この演算点C4とレーダ検出点F4とを比較する。この場合、図4に示すように、演算点C4とレーダ検出点F4との差分値D4が所定値Dを超えているため(ステップS126:No)、判定部22は、この演算点C4は異常であると判定する(ステップS130)。さらに、判定部22は、画素列「5」の演算点C5に対して判定処理を行なう場合、画素列「5」に最も近接する画素列「4」に位置するレーダ検出点F4を取得し(ステップS124)、この演算点C5とレーダ検出点F4とを比較する。この場合、図4に示すように、演算点C5とレーダ検出点F4との差分値D5が所定Dを超えているため(ステップS126:No)、判定部22は、この演算点C5は異常であると判定する。このように、判定部22は、判定対象となる演算値と、この演算値が対応する画像信号に最も近接した位置にあるレーダ検出点とを比較することによって判定処理を行なう。
つぎに、図2に示す修正処理について説明する。図5は、図2に示す修正処理の処理手順を示すフローチャートである。図5に示すように、修正処理の指示を受けた修正部23は、演算部24に対して、画像信号群の中から、修正対象となる演算値が対応する画像信号の再度取得を指示し、演算部24は、指示された画像信号を画像信号群の中から取得する(ステップS142)。修正部23は、演算部24に対して、取得した画像信号に対する距離演算処理を指示し、演算部24は、距離演算処理を行ない(ステップS144)、演算値を修正部23に出力する。修正部23は、この演算値を修正値として演算制御部21に出力し、修正処理を終了する。図5に示すように、修正部23は、演算部24に対して、判定部22によって異常と判定された演算値に対応する画像信号の再距離演算処理を指示する。
このように、本実施の形態1にかかる距離計測装置1では、判定部22は、レーダ60による検出値をもとに演算部24が演算した演算値が正常であるか否かを判定する。一方、修正部23は、判定部22が異常であると判定した演算値を、演算部24に再度演算させることによって修正している。この結果、演算制御部21は、判定部22が正常であると判定した演算値および修正部23が修正した修正値を含む距離データ52を出力する。したがって、演算制御部21から出力される距離データ52には、判定部22が異常であると判定した演算値は含まれていない。このため、本実施の形態1にかかる距離計測装置1は、精度の高い距離データ52を出力することができ、この距離データ52に基づく各種安全運転支援処理を正確に行なうことが可能となる。
(実施の形態2)
つぎに、実施の形態2について説明する。実施の形態1では、再度距離演算処理を行なうことによって異常であると判定された演算値を修正したが、実施の形態2では、異常であると判定された演算値を、距離演算処理において出力された候補値のうち所定の条件を満たす候補値に書き換えて修正する。
つぎに、実施の形態2について説明する。実施の形態1では、再度距離演算処理を行なうことによって異常であると判定された演算値を修正したが、実施の形態2では、異常であると判定された演算値を、距離演算処理において出力された候補値のうち所定の条件を満たす候補値に書き換えて修正する。
図6は、実施の形態2にかかる距離計測像値の概略構成を示すブロック図である。図6に示すように、本実施の形態2にかかる距離計測装置201では、距離演算部220は、修正部22に代えて修正部223を有する距離制御部221と、演算部24に代えて演算部224とを備える。
距離演算部220は、実施の形態1における距離演算部20と同様に、撮像部10が生成した画像信号群に基づいて撮像視野内に位置する物体までの距離を演算する。演算部224は、実施の形態1における演算部24と同様に機能するとともに、演算値とともに、この演算値よりも距離分解能の低い候補値を出力する。演算部224は、右画像信号群の中から任意の画像信号と最も整合する第1の画像信号に基づく演算結果を演算値として出力する。演算部224は、任意の画像信号との整合度が第1の画像信号の次に高い第2の画像信号に基づく演算値を第2候補値として出力する。演算部224は、任意の画像信号との整合度の高さ順にしたがって、第3候補値、第4候補値以降をさらに出力してもよい。
演算制御部221は、実施の形態1における演算制御部21と同様の機能を有する。修正部223は、判定部22が異常であると判定した演算値を、この演算値とともに演算部24から出力された候補値のうち、レーダ60による検出値との差分値が所定値以内である候補値に書き換える。また、修正部223は、レーダ60による検出値との差分値が所定値以内である候補値がないと判断した場合には、この演算値を採用せず、排除する。演算制御部221は、判定部22が正常であると判定した演算値および修正部223によってレーダ60による検出値との差分値が所定値以内であると判断された候補値を含む距離データ252を制御部30に出力する。
つぎに、距離計測装置201が行なう処理動作のうち、距離演算部220が距離データ252を出力するまでの処理動作について説明する。図7は、図6に示す距離計測装置201において、距離演算部220が距離データ252を出力するまでの処理動作を示すフローチャートである。
図7に示すように、距離計測装置201は、実施の形態1と同様の処理手順を行なうことによって、レーダ60による検出処理(ステップS201)、撮像部10による撮像処理(ステップS202)、演算が終了した画像信号の番号nの初期化処理、すなわちn=0化処理(ステップS204)、演算部224による距離演算処理(ステップS206)を行なう。演算部224は、距離演算処理において、演算値とともに候補値を演算制御部221に対して出力する。判定部222は、図3に示す処理手順の同様の処理手順を行なうことによって判定処理を行ない(ステップS208)、演算制御部221は、判定処理における判定が正常判定または異常判定であるか否かを判断する(ステップS210)。演算制御部221は、判定が正常判定であると判断した場合には(ステップS210:正常判定)、演算部224から出力された演算値を演算データ252の一部として採用する。一方、演算制御部221は、判定結果が異常判定であると判断した場合には(ステップS210:異常判定)、修正部223に対して、この演算値に対する修正処理を指示し、修正部223は、修正処理を行なう(ステップS212)。演算制御部221は、修正部223から出力された修正結果をもとに修正値の採用を行なう。
その後、実施の形態1と同様に、演算制御部221は、n=n+1とし(ステップS214)、n=Nであるか否かを判断し(ステップS216)、n=Nでないと判断した場合には(ステップS216:No)、ステップS206に進み、次に演算対象となる画像信号に対して上述した処理手順と同様の処理手順を行なう。また、演算制御部221は、n=Nであると判断した場合には(ステップS216:Yes)、判定部22によって正常であると判定された演算値または修正部223から出力された修正結果と、撮像視野内における各位置情報とをそれぞれ対応させた距離データ252を制御部30に出力する(ステップS218)。
つぎに、図7に示す修正処理について説明する。図8は、図7に示す修正処理の処理手順を示すフローチャートである。図8に示すように、修正部223は、まず、演算部224から出力された候補値のうち、第2候補値を選択する(ステップS242)。つぎに、修正部223は、レーダ60による検出値と選択した候補値との差分値は所定値以内であるか否かを判断する(ステップS244)。修正部223は、レーダ60による検出値と選択した候補値との差分値は所定値内であると判断した場合には(ステップS244:Yes)、判定部22によって異常であると判定された演算値を、この候補値に書き換えて(ステップS246)、修正値として出力する。この候補値は、距離計測精度の高いレーダ60による検出値との差分値が誤差範囲内であるため、判定部22によって異常であると判定された演算値と比較し、演算結果として適当であると考えられるためである。演算制御部221は、この修正結果を受け、修正部223から出力された修正値を採用することとなる。
一方、修正部223は、レーダ60による検出値と選択した候補値との差分値は所定値以内でないと判断した場合には(ステップS244:No)、この候補値は、距離精度の高いレーダ60による検出値と誤差以上の差を有するため、演算結果として適当でないと考えられる。このため、修正部223は、演算結果として適当である候補値をさらに検討するため、次の候補値があるか否かを判断する(ステップS248)。修正部233は、第3候補値などの次の候補値がある場合には(ステップS248:Yes)、次の候補値を選択し(ステップS249)、ステップS244に進み、レーダ60による検出値と選択した候補値との差分値は所定値内であるか否かを判断する。また、修正部223は、次の候補値はないと判断した場合には(ステップS248:No)、必要精度を満たす演算値および候補値がないため、この演算値を演算値なしとして排除する(ステップS250)。演算制御部221は、この演算値が排除された演算データ252を作成することとなる。
つぎに、図8に示す修正処理について、演算点の他に第2候補値が出力された場合を例とし、図9を参照して具体的に説明する。図9は、図4と同様に、横軸に演算対象である画像信号が位置する画素行における画素列数を示し、縦軸に検出距離および演算距離を示す。また、図4と同様に、レーダ検出点を「○」で示し、演算部224による演算点を「●」で示す。
図9に示すように、画素列「4」の演算点C4について、判定部22は、判定処理において、演算点C4とレーダ検出点F4との差分値D4が所定値Dを超えているため、異常であると判定する。つぎに、修正部223は、修正処理において、第2候補値である演算点C42を選択し(ステップS242)、選択した演算点C42とレーダ検出点F4との差分値を求める。演算点C42とレーダ検出点F4との差分値D42は所定値D以内であるため(ステップS244:Yes)、修正部223は、演算点C42を演算点として設定し、演算点C4を演算点C42に書き換え(ステップS246)、画素列「4」に位置する演算値の修正処理を終了する。
一方、画素列「5」の演算点C5では、第2候補値として選択した演算点C52とレーダ検出点F4との差分値D52は、所定値Dを超えているため(ステップS244:No)、修正部223は、第2候補値である演算点C52を採用せず、次の候補値があるか否かを判断する(ステップS248)。この場合、図9に示すように、画素列「5」においては次の候補値がないため(ステップS248:No)、修正部223は、演算点C5を排除し(ステップS250)、画素列「5」に対応する演算値の修正処理を終了する。
このように、実施の形態2では、修正部223は、判定部22によって異常であると判定された演算値を、演算部224から出力された候補値のうち、検出精度の高いレーダ60による検出値との差分値が所定値以内である候補値に書き換えて修正している。また、修正部223は、レーダ60による検出値との差分値が所定値以内である候補値がない場合には、修正対象である演算値を排除し、精度の低い演算値の出力を防止している。このため、演算制御部221から出力される距離データ252には、判定部22によって正常であると判定された演算値のほか、修正部223によってレーダ60による検出値との差分値が所定値以内であると判断された候補値のみが含まれ、レーダ60による検出値との差分値が所定値を超えた値は含まれていない。この結果、本実施の形態2にかかる距離計測装置201は、精度の高い距離データ252を出力することができ、この距離データ252に基づく各種安全運転支援処理を正確に行なうことが可能となる。
(実施の形態3)
つぎに、実施の形態3について説明する。実施の形態3では、修正処理において、レーダ60による検出値との差分値が所定値以内である候補値がない場合には、修正対象である演算点を排除し、所定の関数を用いて補間値で書き換える。
つぎに、実施の形態3について説明する。実施の形態3では、修正処理において、レーダ60による検出値との差分値が所定値以内である候補値がない場合には、修正対象である演算点を排除し、所定の関数を用いて補間値で書き換える。
図10は、実施の形態3にかかる距離計測装置の概略構成を示すブロック図である。図10に示すように、本実施の形態3にかかる距離計測装置301における距離演算部320は、実施の形態1における修正部23に代えて、修正部323を有する距離制御部321を備える。修正部323は、判定部22が異常であると判定した演算値を、この演算値とともに出力された各候補値のうちレーダ60による検出値との差分値が所定値以内である候補値に書き換える。また、修正部323は、レーダ60による検出値との差分値が所定値以内である候補値がないと判断した場合には、修正対象である演算値を、所定の関数を用いて補間した補間値に書き換える。演算制御部321は、判定部22が正常であると判定した演算値、修正部323によってレーダ60による検出値との差分値が所定値以内であると判断された候補値または修正部323によって補間された補間値を含む距離データ352を制御部30に出力する。
つぎに、距離計測装置301が行なう処理動作のうち、距離演算部320が距離データ352を出力するまでの処理動作について説明する。図11は、図10に示す距離計測装置301において、距離演算部320が距離データ352を出力するまでの処理動作を示すフローチャートである。
図11に示すように、距離計測装置301は、実施の形態1と同様の処理手順を行なうことによって、レーダ60による検出処理(ステップS301)、撮像部10による撮像処理(ステップS302)、演算が終了した画像信号の番号nの初期化処理、すなわちn=0化処理(ステップS304)を行なう。演算部224は、実施の形態2と同様の処理手順を行なうことによって、距離演算処理(ステップS306)を行なう。判定部22は、図3に示す処理手順と同様の処理手順を行なうことによって判定処理を行なう(ステップS308)。演算制御部321は、判定処理における判定が正常判定または異常判定であるかを判断し(ステップS310)、判定が正常判定であると判断した場合には(ステップS310:正常判定)、実施の形態1と同様に、演算部224から出力された演算値を演算データ352の一部として採用する。一方、演算制御部321は、判定が異常判定であると判断した場合には(ステップS310:異常判定)、修正部323に対して修正処理を指示し、修正部323は修正処理を行なう(ステップS312)。演算制御部221は、修正部223の修正結果をもとに、修正値の採用または補間値の採用を行なう。
次いで、実施の形態1と同様に、演算制御部321は、n=n+1とし(ステップS314)、n=Nであるか否かを判断し(ステップS316)、n=Nでないと判断した場合には(ステップS316:No)、ステップS306に進み、次に演算対象である画像信号に対して上述した処理手順と同様の処理手順を行なう。また、n=Nであると判断した場合には(ステップS316:Yes)、演算制御部321は、距離データ352を制御部30に出力する(ステップS318)。
つぎに、図11に示す修正処理について説明する。図12は、図11に示す修正処理の処理手順を示すフローチャートである。図12に示すように、修正部323は、実施の形態2における修正処理と同様に、演算部224から出力された第2候補値を選択し(ステップS342)、レーダ60による検出値と選択した候補値との差分値は所定値以内であるか否かを判断し(ステップS344)、レーダ60による検出値と選択した候補値との差分値は所定値以内であると判断した場合には(ステップS344:Yes)、演算値を、この候補値に書き換えて(ステップS346)、修正値として出力する。また、修正部323は、実施の形態2における修正処理と同様に、レーダ60による検出値と選択した候補値との差分値は所定値以内でないと判断した場合には(ステップS344:No)、次の候補値はあるか否かを判断し(ステップS348)、次の候補値がある場合には(ステップS348:Yes)、この次の候補値を選択し(ステップS349)、ステップS344に進み、レーダ60による検出値と選択した候補値との差分値は所定値以内であるかを判断する。
一方、修正部323は、次の候補値がないと判断した場合には(ステップS348:No)、実施の形態2における修正処理と同様に、この演算値を、演算値なしとして排除する(ステップS350)。修正部323は、排除した演算値を所定の関数を用いて補間する補間処理を行なう(ステップS352)。この補間処理では、レーダ60による検出値、判定部22が正常であると判定した演算値または修正部323がレーダ60による検出値と選択した候補値との差分値は所定値以内であると判断した候補値をもとに、たとえば一次関数を用いて補間し、補間値を求める。したがって、修正部323は、この演算値を補間値に書き換え、この書き換えた補間値を修正結果として演算制御部321に出力する。この修正結果を受け、演算制御部321は補間値を採用する。
つぎに、図12に示す修正処理について図13を参照して具体的に説明する。図13は、図4と同様に、横軸に演算対象である画像信号が位置する画素行における画素列数を示し、縦軸に検出距離および演算距離を示す。また、図4と同様に、レーダ検出点を「○」で示し、演算部224による演算点を「●」で示す。また、補間処理において求められた補間点を「△」で示す。以下、図13に示す画素列「5」の演算値を修正する場合について説明する。
図13に示すように、判定処理において、判定部22は、演算点C5と画素列「4」のレーダ検出点F4との差分値D5は、所定値Dを超えているため、演算点C4は、異常であると判定する。つぎに、修正部323は、次の候補値を選択する。この場合、次の候補値がないため(ステップS348:No)、修正部323は、この演算点C5を排除し(ステップS350)、レーダ検出点F4,F7を用いた補間処理を行なう(ステップS352)。具体的には、修正部323は、レーダ検出点F4,F7を通る直線l5を求める。つぎに、修正部323は、この直線l5を用いて、画素列「5」に対応する補間点C53を求め、演算点C5を補間点C53に書き換える。なお、図13では、レーダ検出点F4,F7をもとに補間処理を行なった場合について例示したが、レーダ検出点のほかに、判定部22によって正常と判定された演算値および修正部323レーダ60による検出値との差分値が所定値以内であると判断された候補値をもとに補間処理を行なってもよい。
このように、実施の形態3では、修正部323は、レーダ60による検出値と所定値以内である候補値がない場合には、判定部22によって異常であると判定された演算値を所定関数を用いて求めた補間値に書き換えている。また、この補間値は、検出精度の高いレーダ60の検出値、判定部22によって正常であると判定された演算値または修正部323によってレーダ60による検出値との差分値が所定値以内であると判断された候補値をもとに求められているため、要求された精度を満たす値であると考えられる。この結果、演算制御部321が出力する距離データ352は、判定部22によって正常であると判定された演算値、修正部323によってレーダ60による検出値との差分値が所定値以内であると判断された候補値および補間値によって構成される。このため、本実施の形態3に係る距離計測装置301は、精度が高く、演算対象である全ての画像信号に対応した演算値を含む距離データ352を出力することができ、この距離データ352に基づく各種安全運転支援処理を正確に行なうことができる。
(実施の形態4)
つぎに、実施の形態4について説明する。実施の形態1〜3では、距離演算部20,220,320が各画像信号に対応する演算値ごとに判定処理および修正処理を行ない、判定処理および修正処理を終了した距離データを出力する場合について説明したが、実施の形態4では、距離演算部から出力された演算データを構成する各演算値に対して判定処理および修正処理を行なう。
つぎに、実施の形態4について説明する。実施の形態1〜3では、距離演算部20,220,320が各画像信号に対応する演算値ごとに判定処理および修正処理を行ない、判定処理および修正処理を終了した距離データを出力する場合について説明したが、実施の形態4では、距離演算部から出力された演算データを構成する各演算値に対して判定処理および修正処理を行なう。
図14は、実施の形態4にかかる距離計測装置の概略構成を示すブロック図である。図14に示すように、本実施の形態4にかかる距離計測装置401は、実施の形態1における制御部30に代えて、演算制御部431を有する制御部430を備える。また、距離計測装置401は、演算部424とメモリ425とを有する距離演算部420を備える。
距離演算部420は、実施の形態1における演算部24と同様に、撮像視野内に位置する物体までの距離を演算する演算部424と、実施の形態1におけるメモリ25と同様に機能するメモリ425とを備え、演算部424が演算した演算値と撮像視野内における位置情報とをそれぞれ対応させた演算データ452を出力する。
制御部430は、実施の形態1における制御部30と同様に、撮像部10、距離演算部420、出力部40、記憶部50およびレーダ60の処理動作を制御する。演算制御部431は、判定部342と修正部433とを備える。演算制御部431は、距離演算部420における処理動作を制御するとともに、判定部432および修正部433の処理動作を制御する。判定部432は、レーダ60から出力された検出データ51をもとに、距離演算部420から出力された演算データ452に各演算値が正常であるか否かを判定する。具体的には、判定部432は、演算データ452の各演算値と、レーダ60による検出値とをそれぞれ比較し、検出値と演算値との差分値が所定値以内であると判断した場合には、この演算値は正常であると判定し、検出値と演算値との差分値が所定値を超えていると判断した場合には、この演算値は異常であると判定する。修正部433は、判定部432によって異常であると判定された演算値を修正する。また、演算制御部431は、距離演算部420から出力された演算データ452のうち、異常であると判定された演算値を修正した距離データ453を作成し、出力する。
つぎに、図14に示す距離計測装置401が行なう処理動作のうち、演算制御部431が距離データ453を出力するまでの処理動作について説明する。図15は、図14に示す距離計測装置401において、演算制御部431が距離データ453を出力するまでの処理動作について説明する。
図15に示すように、レーダ60は、制御部430の制御のもと、検出範囲内に位置する物体までの距離を検出する検出処理を行なう(ステップS401)。制御部430は、レーダ60から検出データ51を受信する(ステップS402)。つぎに、撮像部10は、制御部430の制御のもと、撮像処理を行なう(ステップS403)。その後、距離演算部420は、距離演算処理を行ない(ステップS404)、演算データ452を制御部430に出力する。制御部430は、この演算データ452を受信する(ステップS406)。
つぎに、制御部430は、受信した演算データ452の各演算値に対する判定処理および修正処理を行なう。まず、演算制御部431は、判定が終了した画像信号の番号mを初期化して、m=0とする(ステップS410)。その後、演算データ452および検出データ51の中から、判定対象となる演算値と、検出値とを取得する(ステップS411)。ここで、判定部22は、判定対象である演算値に対応する位置情報と最も近接する位置情報を有する検出値を取得している。判定部432は、この演算値と検出値とを比較して、演算値と検出値との差分値は所定値以内であるか否かを判断する(ステップS412)。判定部432は、演算値と検出値との差分値が所定値以内であると判断した場合には(ステップS412:Yes)、この演算値は正常であると判断する(ステップS414)。一方、判定部432は、演算値と検出値との差分値が所定値以内でなく、所定値を超えていると判断した場合には(ステップS412:No)、この演算値は異常であると判定する(ステップS416)。演算制御部431は、修正部433に対して、判定部432によって異常であると判定された演算値に対する修正処理を指示し、修正部433は、図5に示す処理手順と同様の処理手順を行なうことによって、この演算値に対する修正処理を行ない(ステップS418)、修正結果を演算制御部431に対して出力する。
演算制御部431は、この演算値に対する判定処理、修正処理が終了したため、番号mをm=m+1として(ステップS420)、m=M(Mは、演算データ452に含まれる全ての画像信号の数量に対応する番号である。)であるか否かを判断し(ステップS422)、演算データ452に含まれる全ての演算値に対する判定が終了したか否かを判断する。演算制御部431は、m=Mでないと判断した場合には(ステップS422:No)、演算制御部431は、次に判定の対象となる演算値に対して、上述した処理手順と同様の処理手順を行ない、この演算値が正常であるか否かを判定する。一方、演算制御部431は、m=Mであると判断した場合には(ステップS422:Yes)、全ての演算値に対する判定が終了したものと考えられるため、判定部432によって正常であると判定された演算値および判定部432によって異常であると判定された演算値の修正値と、撮像視野内における各位置情報とを対応させた距離データ453を出力する。
このように、本実施の形態4では、距離演算部420から出力された演算データ452を構成する各演算値に対して正常または異常であるかを判定し、異常であると判定された演算値を修正した距離データ453を出力する。このため、本実施の形態4にかかる距離計測装置401は、精度の高い距離データを出力することができ、実施の形態1と同様の効果を奏することが可能となる。
なお、本実施の形態4における修正処理として、図5に示す処理手順と同様の処理手順を行なう修正処理について説明したが、これに限らず、図8に示す処理手順と同様の処理手順を行なう修正処理を行なってもよい。また、本実施の形態4にかかる修正処理として、図12に示す処理手順と同様の処理手順を行なう修正処理を行なってもよい。いずれの修正処理を行なった場合も、精度の高い距離データ453を出力することが可能となる。
また、実施の形態1〜4では、距離データを出力する一連の処理動作のうち、レーダ60による検出処理を含む場合について説明したが、これに限らず、レーダ60によって予め検出され記憶部50に記憶されていた検出データを用いて判定処理および/または修正処理を行なうことによって、検出処理を省略してもよい。この場合、演算データ452の各演算値に対して、より正確な判定を行なうために、記憶部50に最も新しく記憶された検出データを用いることが好ましい。
また、本実施の形態1〜4では、撮像部10において撮像された画像情報群における位置関係とレーダ60における検出範囲における位置関係との整合は、以下のように予め求めたうえで各処理を行う。たとえば、距離計測装置1,201,301,401は、形状が既知の物体に対して、撮像部10における撮像処理およびレーダ60における検出処理を行い、撮像部10における既知の物体の位置およびレーダ60における既知の物体の位置を求める。その後、距離計測装置1,201,301,401では、最小2乗法などを用いて、撮像部10における既知の物体の位置およびレーダ60における既知の物体の位置の関係を求め、撮像部10において撮像された画像情報群における位置関係とレーダ60における検出範囲における位置関係とを整合する。
また、距離計測装置1,201,301,401では、撮像部10の撮像原点とレーダ60の検出原点とがずれている場合があっても、撮像点および検出点から距離計測装置1,201,301,401までの距離が十分に離れていた場合であれば、撮像原点と検出原点とがほぼ重なっているものとみなすことができる。さらに、撮像部10において撮像された画像情報群における位置関係とレーダ60における検出範囲における位置関係との整合が正確に行われている場合には、幾何変換によって、撮像原点と検出原点とのずれを補正することも可能である。
また、実施の形態1〜4にかかる距離計測装置1,201,301,401では、各画像信号が位置する画素行に各レーダ検出点が所定間隔で位置する場合について説明したが、必ずしも、撮像部10から出力された各画像信号が位置する画素行に各レーダ検出点が存在するとは限らない。この場合、演算制御部21、221,321,431は、判定対象および修正対象となる各画像信号の近傍に位置する複数のレーザ検出点をもとに、一次補間法などを用いて判定対象および修正対象となる各画像信号と同一画素行のレーザ補間値を求め、この補間値を用いて判定処理および修正処理を行えばよい。
また、本実施の形態1〜4における撮像部として、一対のレンズ12a,12bのそれぞれに対応する一対の撮像素子13a,13bを備えた撮像部10について説明したが、これに限らず、図16に示すように、一対の導光光学系と、各導光光学系に対応する撮像領域を有し各導光光学系が導いた光信号を各撮像領域において電気信号に変換する撮像素子を備えた撮像部110としてもよい(たとえば、本出願人による特開平8−171151参照)。図16に示すように、撮像部110は、一対のミラー111a,111bと、ミラー111a,111bのそれぞれに対応するミラー112a,112bと、レンズ112cと、レンズ112cによって集光された光をアナログ画像信号に変換する撮像素子113と、撮像素子113から出力されたアナログ画像信号をデジタル画像信号に変更するA/D変換部114と、デジタル信号を記憶するフレームメモリ115とを備える。ミラー111a,111bは、車両Cなどの被写体からの光を受光し、ミラー112a,112bは、ミラー111a,111bが受光した光をレンズ112cに反射する。このため、撮像素子113上には、各光学系に対応する画像がそれぞれ結像される。したがって、撮像部110は、図17に示すように、画像116aと画像116bとを含む画像116を出力する。このような画像116a,116bをもとに、距離演算部20,220,320,420において、各画像信号に対応する距離値を演算することが可能である。
また、撮像部10は、いわゆる3眼ステレオカメラ構造を構成してもよく、また、いわゆる4眼ステレオカメラ構造を構成してもよい。3眼ステレオカメラ構造または4眼ステレオカメラ構造である撮像部とした場合、3次元再構成処理などを行なうことによって、信頼性が高く、安定した距離演算結果を得ることができる距離計測装置を実現することが可能となる。特に、複数のカメラを2方向の基線長を持つように配置した場合、複数の物体が複雑な構成で配置する場合であっても、3次元再構成処理が可能となり、安定して距離演算結果を得ることができる。また、この場合、一方向の基線長方向にカメラを複数配置するマルチベースライン方式を採用することが可能となり、高精度の距離計測を実現することができる。
また、本実施の形態1〜4では、複数のカメラを備えた距離計測装置1,201,301,401について説明したが、これに限らず、単数のカメラを備えた距離計測装置に適用してもよい。この場合、距離演算部20,220,320,420は、撮像部から出力された画像信号群をもとに、たとえば、シェイプフロムフォーカス法、シェイプフロムデフォーカス法、シェイプフロムモーション法またはシェイプフロムシェーディング法を用いて撮像視野内の距離を演算する。単数のカメラを備えた距離計億装置においても、上述した処理手順と同様の処理手順を行なうことによって、各距離計測方法を用いて演算された演算値をレーダの検出値をもとに正常または異常であるかを判定し、異常であると判定された演算値を修正すればよい。なお、シェイプフロムフォーカス法とは、最もよく合焦したときのフォーカス位置から距離を求める方法である。また、シェイプフロムデフォーカス法とは、合焦距離の異なる複数の画像から相対的なぼけ量を求め、ぼけ量と距離との相関関係をもとに距離を求める方法である。また、シェイプフロムモーション法とは、時間的に連続する複数の画像における所定の特徴点の移動軌跡をもとに物体までの距離を求める方法である。また、シェイプフロムシェーディング法とは、画像における陰影、対象となる物体の反射特性および光源情報をもとに物体までの距離を求める方法である。
また、本実施の形態では、レーダ60を備えた距離計測装置1,201,301,401について説明したが、レーダ60に代えて、赤外光または可視光を送信する半導体レーザ素子、発光ダイオードまたはレーザダイオード等の光源と、物体からの反射光を受信するフォトセンサ等の受光素子などによって実現された検出器を備えた距離計測装置であってもよい。
また、本実施の形態1〜4として、車両に搭載される距離計測装置1、201,301,401を例に説明したが、これに限らず、他の移動体に搭載される距離計測装置に対して適用してもよい。また、移動体に搭載される距離計測装置に限らず、たとえば、所定位置に固定した状態で検出範囲内の距離計測を行なう距離計測装置に適用してもよい。また、本実施の形態1〜4として、距離計測装置1,201,301,401について説明したが、もちろん距離計測を外部装置に指示する撮像装置であってもよい。また、実施の形態1〜4にかかる距離計測装置1、201,301,401においては、記憶媒体に記憶されたプログラムを読み込み、記憶部50に記憶させ、このプログラムを読み出すことによって、各処理が行われる。
1、201、301、401 距離計測装置
10、110 撮像部
11a 右カメラ
11b 左カメラ
12a、12b、112c レンズ
13a、13b、113 撮像素子
14a、14b、114 A/D変換部
15a、15b、115 フレームメモリ
20、220、320、420 距離演算部
21、221、321、431 演算制御部
22、432 判定部
23、223、323、433 修正部
24、224、424 演算部
25、425 メモリ
30、430 制御部
40 出力部
50 記憶部
51 検出データ
52、252、352、543 距離データ
60 レーダ
111a、111b、112a、112b ミラー
116、116a、116b 画像
452 演算データ
C 車両
10、110 撮像部
11a 右カメラ
11b 左カメラ
12a、12b、112c レンズ
13a、13b、113 撮像素子
14a、14b、114 A/D変換部
15a、15b、115 フレームメモリ
20、220、320、420 距離演算部
21、221、321、431 演算制御部
22、432 判定部
23、223、323、433 修正部
24、224、424 演算部
25、425 メモリ
30、430 制御部
40 出力部
50 記憶部
51 検出データ
52、252、352、543 距離データ
60 レーダ
111a、111b、112a、112b ミラー
116、116a、116b 画像
452 演算データ
C 車両
Claims (18)
- 所定の撮像視野を有し前記撮像視野に対応する画像信号群を生成する撮像手段と、
前記画像信号群に基づいて前記撮像視野内に位置する物体までの距離を演算する演算手段と、
所定の検出範囲内に位置する物体までの距離を検出する検出手段と、
前記検出手段における検出値に基づいて前記演算手段における演算値が正常または異常であるかを判定する判定手段と、
前記判定手段が異常であると判定した前記演算値を修正する修正手段と、
を備えたことを特徴とする距離計測装置。 - 前記判定手段は、前記検出値と前記演算値との差分値が所定値以内であると判断した場合、前記演算値が正常であると判定することを特徴とする請求項1に記載の距離計測装置。
- 前記修正手段は、前記演算手段に対して再度演算させることを特徴とする請求項1または2に記載の距離計測装置。
- 前記演算手段は、前記演算値とともに該演算値よりも距離分解能の低い候補値を出力し、
前記修正手段は、前記演算値を前記検出値との差分値が前記所定値以内である前記候補値に書き替えることを特徴とする請求項2または3に記載の距離計測装置。 - 前記修正手段は、前記検出値との差分値が前記所定値以内である前記候補値がないと判断した場合には、修正対象である前記演算値を排除することを特徴とする請求項4に記載の距離計測装置。
- 前記修正手段は、前記検出値との差分値が前記所定値以内である前記候補値がないと判断した場合には、前記演算値を、所定の関数を用いて補間した補間値に書き替えることを特徴とする請求項4に記載の距離計測装置。
- 前記撮像手段は、第1の光路を介して撮像した第1の前記画像信号群と、第2の光路を介して撮像した第2の前記画像信号群とを生成し、
前記演算手段は、前記第2の画像信号群の中から前記第1の画像信号群の任意の画像信号と整合する画像信号を検出し、検出した画像信号における前記任意の画像信号からの移動量に基づいて前記撮像視野内に位置する物体までの距離を演算することを特徴とする請求項1〜6のいずれか一つに記載の距離計測装置。 - 前記撮像手段は、
一対の光学系と、
一対の光学系が出力する光信号を電気信号に変換する一対の撮像素子と、
を備えたことを特徴とする請求項1〜7のいずれか一つに記載の距離計測装置。 - 前記撮像手段は、
一対の導光光学系と、
各導光光学系に対応する撮像領域を有し各導光光学系が導いた光信号を各撮像領域において電気信号に変換する撮像素子と、
を備えたことを特徴とする請求項1〜7のいずれか一つに記載の距離計測装置。 - 前記検出手段によって予め検出された前記検出値を記憶する記憶手段を備え、
前記判定手段は、前記記憶手段に記憶された前記検出値に基づいて前記演算手段における演算値が正常または異常であるかを判定することを特徴とする請求項1〜9のいずれか一つに記載の距離計測装置。 - 当該距離計測装置は、車両に搭載されることを特徴とする請求項1〜10のいずれか一つに記載の距離計測装置。
- 撮像視野に対応する画像信号群を生成する撮像手段と、
前記画像信号群に基づいて前記撮像視野内に位置する物体までの距離を演算する演算手段と、
前記演算手段と異なる手段によって求められた前記物体までの距離情報を入力する入力手段と、
前記入力手段により入力した距離情報に基づいて前記演算手段における演算値が正常または異常であるかを判定する判定手段と、
前記判定手段が異常であると判定した前記演算値を修正する修正手段と、
を備えたことを特徴とする撮像装置。 - 所定の撮像視野内に位置する物体までの距離を演算する距離計測方法において、
検出範囲内に位置する物体までの距離を検出する検出ステップと、
前記撮像視野に対応する画像信号群を生成する撮像ステップと、
前記画像信号群に基づいて前記撮像視野内に位置する物体までの距離を演算する演算ステップと、
前記検出ステップにおける検出値に基づいて前記演算ステップにおける演算値が正常または異常であるかを判定する判定ステップと、
前記判定ステップにおいて異常と判定された前記演算値を修正する修正ステップと、
を含むことを特徴とする距離計測方法。 - 撮像視野に対応する画像信号群を生成する撮像ステップと、
前記画像信号群に基づいて前記撮像視野内に位置する物体までの距離を演算する演算ステップと、
前記演算ステップと異なるステップによって求められた前記物体までの距離情報を入力する入力ステップと、
前記入力ステップにより入力した距離情報に基づいて前記演算ステップにおける演算値が正常または異常であるかを判定する判定ステップと、
前記判定ステップにおいて異常であると判定した前記演算値を修正する修正ステップと、
を含むことを特徴とする撮像方法。 - 所定の撮像視野内に位置する物体までの距離を演算する距離計測プログラムにおいて、
検出範囲内に位置する物体までの距離を検出し、
前記撮像視野に対応する画像信号群を生成し、
前記画像信号群に基づいて前記撮像視野内に位置する物体までの距離を演算し、
前記検出手順における検出値をもとに、前記演算手順における演算値が正常または異常であるかを判定し、
前記判定手順において異常と判定された前記演算値を修正することを特徴とする距離計測プログラム。 - 撮像視野に対応する画像信号群を生成し、
前記画像信号群に基づいて前記撮像視野内に位置する物体までの距離を演算し、
前記演算手順と異なる手順によって求められた前記物体までの距離情報を入力し、
前記入力手順により入力した距離情報に基づいて前記演算手順における演算値が正常または異常であるかを判定し、
前記判定手順において異常であると判定した前記演算値を修正することを特徴とする撮像プログラム。 - 検出範囲内に位置する物体までの距離を検出し、
所定の撮像視野に対応する画像信号群を生成し、
前記画像信号群に基づいて前記撮像視野内に位置する物体までの距離を演算し、
前記検出手順における検出値をもとに、前記演算手順における演算値が正常または異常であるかを判定し、
前記判定手順において異常と判定された前記演算値を修正して所定の撮像視野内に位置する物体までの距離を演算する距離計測プログラムを記憶することを特徴とする記憶媒体。 - 撮像視野に対応する画像信号群を生成し、
前記画像信号群に基づいて前記撮像視野内に位置する物体までの距離を演算し、
前記演算手順と異なる手順によって求められた前記物体までの距離情報を入力し、
前記入力手順により入力した距離情報に基づいて前記演算手順における演算値が正常または異常であるかを判定し、
前記判定手順において異常であると判定した前記演算値を修正する撮像プログラムを記憶することを特徴とする記憶媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006061682A JP2007240275A (ja) | 2006-03-07 | 2006-03-07 | 距離計測装置・撮像装置、距離計測方法・撮像方法、距離計測プログラム・撮像プログラムおよび記憶媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006061682A JP2007240275A (ja) | 2006-03-07 | 2006-03-07 | 距離計測装置・撮像装置、距離計測方法・撮像方法、距離計測プログラム・撮像プログラムおよび記憶媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007240275A true JP2007240275A (ja) | 2007-09-20 |
Family
ID=38585961
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006061682A Pending JP2007240275A (ja) | 2006-03-07 | 2006-03-07 | 距離計測装置・撮像装置、距離計測方法・撮像方法、距離計測プログラム・撮像プログラムおよび記憶媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007240275A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011022062A (ja) * | 2009-07-17 | 2011-02-03 | Topcon Corp | 位置測定方法及び位置測定装置 |
JPWO2017169782A1 (ja) * | 2016-03-31 | 2019-02-14 | 富士フイルム株式会社 | 距離画像処理装置、距離画像取得装置、及び距離画像処理方法 |
JP2022143955A (ja) * | 2021-03-18 | 2022-10-03 | 株式会社東芝 | 距離推定装置及び距離推定方法 |
JP7519027B2 (ja) | 2020-09-18 | 2024-07-19 | マツダ株式会社 | 車載レーダの特性評価方法、これに用いる確率モデルの作成方法及び確率モデル |
JP7519028B2 (ja) | 2020-09-18 | 2024-07-19 | マツダ株式会社 | 車両の制御装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04276585A (ja) * | 1991-03-04 | 1992-10-01 | Toyota Motor Corp | 車載用測距装置 |
JPH06230115A (ja) * | 1993-02-01 | 1994-08-19 | Toyota Motor Corp | 車間距離検出装置 |
JPH07333339A (ja) * | 1994-06-03 | 1995-12-22 | Mitsubishi Electric Corp | 自動車用障害物検知装置 |
JP2003058998A (ja) * | 2001-08-14 | 2003-02-28 | Nissan Motor Co Ltd | 車両駐車装置 |
JP2004349494A (ja) * | 2003-05-22 | 2004-12-09 | Nsk Ltd | ワークステージ及びその位置測定方法、並びにこれを備えた露光装置 |
JP2005049963A (ja) * | 2003-07-30 | 2005-02-24 | Olympus Corp | 安全移動支援装置 |
-
2006
- 2006-03-07 JP JP2006061682A patent/JP2007240275A/ja active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04276585A (ja) * | 1991-03-04 | 1992-10-01 | Toyota Motor Corp | 車載用測距装置 |
JPH06230115A (ja) * | 1993-02-01 | 1994-08-19 | Toyota Motor Corp | 車間距離検出装置 |
JPH07333339A (ja) * | 1994-06-03 | 1995-12-22 | Mitsubishi Electric Corp | 自動車用障害物検知装置 |
JP2003058998A (ja) * | 2001-08-14 | 2003-02-28 | Nissan Motor Co Ltd | 車両駐車装置 |
JP2004349494A (ja) * | 2003-05-22 | 2004-12-09 | Nsk Ltd | ワークステージ及びその位置測定方法、並びにこれを備えた露光装置 |
JP2005049963A (ja) * | 2003-07-30 | 2005-02-24 | Olympus Corp | 安全移動支援装置 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011022062A (ja) * | 2009-07-17 | 2011-02-03 | Topcon Corp | 位置測定方法及び位置測定装置 |
JPWO2017169782A1 (ja) * | 2016-03-31 | 2019-02-14 | 富士フイルム株式会社 | 距離画像処理装置、距離画像取得装置、及び距離画像処理方法 |
JP7519027B2 (ja) | 2020-09-18 | 2024-07-19 | マツダ株式会社 | 車載レーダの特性評価方法、これに用いる確率モデルの作成方法及び確率モデル |
JP7519028B2 (ja) | 2020-09-18 | 2024-07-19 | マツダ株式会社 | 車両の制御装置 |
JP2022143955A (ja) * | 2021-03-18 | 2022-10-03 | 株式会社東芝 | 距離推定装置及び距離推定方法 |
JP7439006B2 (ja) | 2021-03-18 | 2024-02-27 | 株式会社東芝 | 距離推定装置及び距離推定方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7656508B2 (en) | Distance measuring apparatus, distance measuring method, and computer program product | |
US5959724A (en) | Distance measuring apparatus | |
JP2006322853A (ja) | 距離計測装置、距離計測方法および距離計測プログラム | |
US8488872B2 (en) | Stereo image processing apparatus, stereo image processing method and program | |
US6741082B2 (en) | Distance information obtaining apparatus and distance information obtaining method | |
EP1391778A1 (en) | Apparatus for detecting the inclination angle of a projection screen and projector comprising the same | |
EP1395050A1 (en) | Angle detecting apparatus and projector equipped therewith automatically correcting the Keystone distortion | |
JP2007240275A (ja) | 距離計測装置・撮像装置、距離計測方法・撮像方法、距離計測プログラム・撮像プログラムおよび記憶媒体 | |
JP2013037166A (ja) | 焦点検出装置及びそれを有するレンズ装置及び撮像装置 | |
JP2009162614A (ja) | 光波面計測装置 | |
JP5487946B2 (ja) | カメラ画像の補正方法およびカメラ装置および座標変換パラメータ決定装置 | |
US10384608B2 (en) | Vehicle-mounted stereo camera device and method for correcting the same | |
US20230274444A1 (en) | Measuring device, moving device, measuring method, and storage medium | |
JP2006322852A (ja) | 距離計測装置、距離計測方法および距離計測プログラム | |
JP2006322856A (ja) | 距離計測装置、距離計測方法および距離計測プログラム | |
JP2007240276A (ja) | 距離計測装置・撮像装置、距離計測方法・撮像方法、距離計測プログラム・撮像プログラムおよび記憶媒体 | |
JP6241083B2 (ja) | 撮像装置及び視差検出方法 | |
JP2007024731A (ja) | 距離計測装置、距離計測方法および距離計測プログラム | |
JP4098194B2 (ja) | 角度検出装置およびそれを備えたプロジェクタ | |
JP2005043085A (ja) | 角度検出装置及びそれを備えたプロジェクタ | |
JP2005143054A (ja) | プロジェクタ装置及びその異常状態検出方法 | |
JPH0798429A (ja) | 距離計測装置 | |
JP2004191221A (ja) | 角度検出装置及びそれを備えたプロジェクタ | |
JP4150300B2 (ja) | 角度検出装置及びそれを備えたプロジェクタ | |
WO2024004166A1 (ja) | 距離測定装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090115 |
|
A977 | Report on retrieval |
Effective date: 20110322 Free format text: JAPANESE INTERMEDIATE CODE: A971007 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110329 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110726 |