JP2014035304A - 情報取得装置および物体検出装置 - Google Patents
情報取得装置および物体検出装置 Download PDFInfo
- Publication number
- JP2014035304A JP2014035304A JP2012177603A JP2012177603A JP2014035304A JP 2014035304 A JP2014035304 A JP 2014035304A JP 2012177603 A JP2012177603 A JP 2012177603A JP 2012177603 A JP2012177603 A JP 2012177603A JP 2014035304 A JP2014035304 A JP 2014035304A
- Authority
- JP
- Japan
- Prior art keywords
- area
- segment
- dot
- information acquisition
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Measurement Of Optical Distance (AREA)
- Geophysics And Detection Of Objects (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【課題】メモリ容量を削減しながら比較的簡素な処理にて距離情報を取得可能な情報取得装置および物体検出装置を提供する。
【解決手段】情報取得装置2は、実測時にCMOSイメージセンサ240により撮像されたドットパターンを含む実測画像に基づいて、距離情報を取得する距離取得部を備える。ドットパターンを構成するドットは、所定間隔で並ぶ参照領域毎に、ドットパターン上の位置を規定するための配置パターンに従って配置される。情報取得装置2は、実測画像上にウィンドウ領域を設定し、ウィンドウ領域の実測画像上の位置である第1の位置と、ウィンドウ領域に含まれるドットに前記規則を適用して得られる第2の位置とに基づいて、前記距離情報を取得する
【選択図】図2
【解決手段】情報取得装置2は、実測時にCMOSイメージセンサ240により撮像されたドットパターンを含む実測画像に基づいて、距離情報を取得する距離取得部を備える。ドットパターンを構成するドットは、所定間隔で並ぶ参照領域毎に、ドットパターン上の位置を規定するための配置パターンに従って配置される。情報取得装置2は、実測画像上にウィンドウ領域を設定し、ウィンドウ領域の実測画像上の位置である第1の位置と、ウィンドウ領域に含まれるドットに前記規則を適用して得られる第2の位置とに基づいて、前記距離情報を取得する
【選択図】図2
Description
本発明は、目標領域に光を投射したときの反射光の状態に基づいて目標領域内の物体を検出する物体検出装置および当該物体検出装置に用いて好適な情報取得装置に関する。
従来、光を用いた物体検出装置が種々の分野で開発されている。いわゆる距離画像センサを用いた物体検出装置では、2次元平面上の平面的な画像のみならず、検出対象物体の奥行き方向の形状や動きを検出することができる。かかる物体検出装置では、レーザ光源やLED(Light Emitting Diode)から、予め決められた波長帯域の光が目標領域に投射され、その反射光がCMOSイメージセンサ等の受光素子により受光される。
かかる距離画像センサとして、所定のドットパターンを持つレーザ光を目標領域に照射するタイプの距離画像センサが知られている(非特許文献1)。かかる距離画像センサでは、基準面にレーザ光を照射したときのドットパターンが撮像素子により撮像され、撮像されたドットパターンが基準ドットパターンとして保持される。そして、基準ドットパターンと、実測時に撮像された実測ドットパターンとが比較され、距離情報が取得される。具体的には、基準ドットパターン上に設定された参照領域の実測ドットパターン上における位置に基づいて、三角測量法により、当該参照領域に対する距離情報が取得される。
この場合、参照領域に含まれるドットが、実測ドットパターン上において探索され、参照領域に含まれるドットに最もマッチングするドットを含む領域が、参照領域の移動位置として取得される。かかる探索のため、参照領域に含まれるドットは、他の参照領域に含まれるドットから区別可能なユニークなパターンで配置される必要がある。このため、目標領域に照射されるレーザ光のドットパターンは、通常、不規則かつランダムなドットパターンとなっている。
第19回日本ロボット学会学術講演会(2001年9月18−20日)予稿集、P1279−1280
上記物体検出装置では、あらかじめ基準ドットパターンを保持しておく必要があるため、比較的大きな容量のメモリが必要となる。また、基準ドットパターン上に設定された参照領域の実測ドットパターン上における位置を探索する必要があるため、この探索に煩雑な演算処理が必要となる。
本発明は、これらの点に鑑みてなされたものであり、メモリ容量を削減しながら比較的簡素な処理にて距離情報を取得可能な情報取得装置および物体検出装置を提供することを目的とする。
本発明の第1の態様は、情報取得装置に関する。本態様に係る情報取得装置は、レーザ光源から出射されたレーザ光を所定のドットパターンで目標領域に投射する投射光学系と、前記投射光学系に対して並ぶように配置され、前記目標領域をイメージセンサにより撮像する受光光学系と、実測時に前記イメージセンサにより撮像された前記ドットパターン
を含む実測画像に基づいて、前記目標領域に含まれる物体までの距離に関する距離情報を取得する距離取得部と、を備える。前記ドットパターンを構成するドットは、所定間隔で並ぶ参照領域毎に、前記ドットパターン上の位置を規定する配置パターンで配置される。前記距離取得部は、前記実測画像上に前記参照領域を含むサイズのウィンドウ領域を設定し、前記ウィンドウ領域の前記実測画像上の位置である第1の位置と、前記ウィンドウ領域に含まれるドットから前記配置パターンに基づいて得られる第2の位置とに基づいて、前記距離情報を取得する。
を含む実測画像に基づいて、前記目標領域に含まれる物体までの距離に関する距離情報を取得する距離取得部と、を備える。前記ドットパターンを構成するドットは、所定間隔で並ぶ参照領域毎に、前記ドットパターン上の位置を規定する配置パターンで配置される。前記距離取得部は、前記実測画像上に前記参照領域を含むサイズのウィンドウ領域を設定し、前記ウィンドウ領域の前記実測画像上の位置である第1の位置と、前記ウィンドウ領域に含まれるドットから前記配置パターンに基づいて得られる第2の位置とに基づいて、前記距離情報を取得する。
本発明の第2の態様は、物体検出装置に関する。本態様に係る物体検出装置は、上記第1の態様に係る情報取得装置と、前記距離情報に基づいて、所定の対象物体を検出する物体検出部と、を備える。
本発明によれば、メモリ容量を削減しながら比較的簡素な処理にて距離情報を取得可能な情報取得装置および物体検出装置を提供することができる。
本発明の効果ないし意義は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下に示す実施の形態は、あくまでも、本発明を実施化する際の一つの例示であって、本発明は、以下の実施の形態により何ら制限されるものではない。
以下、本発明の実施の形態につき図面を参照して説明する。
以下の実施の形態において、セグメント値が、特許請求の範囲に記載の「値」に対応する。また、基準画素位置テーブルが、特許請求の範囲に記載の「テーブル」に対応する。また、基準画素位置が、特許請求の範囲に記載の「ドットパターン上における参照領域の
位置」に対応する。ただし、これらの対応関係は、あくまでも一例であって、特許請求の範囲を実施の形態に限定するものではない。
位置」に対応する。ただし、これらの対応関係は、あくまでも一例であって、特許請求の範囲を実施の形態に限定するものではない。
まず、図1に本実施の形態に係る物体検出装置1の概略構成を示す。図示の如く、物体検出装置1は、情報取得装置2と、情報処理装置3とを備えている。テレビ4は、情報処理装置3からの信号によって制御される。
情報取得装置2は、目標領域全体に赤外光を投射し、その反射光をCMOSイメージセンサにて受光することにより、目標領域に存在する物体各部までの距離(以下、「3次元距離情報」という)を取得する。取得された3次元距離情報は、ケーブル5を介して情報処理装置3に送られる。
情報処理装置3は、たとえば、テレビ制御用のコントローラやゲーム機、パーソナルコンピュータ等である。情報処理装置3は、情報取得装置2から受信した3次元距離情報に基づき、目標領域における物体を検出し、検出結果に基づきテレビ4を制御する。
たとえば、情報処理装置3は、受信した3次元距離情報に基づき人を検出するとともに、3次元距離情報の変化から、その人の動きを検出する。たとえば、情報処理装置3がテレビ制御用のコントローラである場合、情報処理装置3には、受信した3次元距離情報からその人のジェスチャを検出するとともに、ジェスチャに応じてテレビ4に制御信号を出力するアプリケーションプログラムがインストールされている。
また、たとえば、情報処理装置3がゲーム機である場合、情報処理装置3には、受信した3次元距離情報からその人の動きを検出するとともに、検出した動きに応じてテレビ画面上のキャラクタを動作させ、ゲームの対戦状況を変化させるアプリケーションプログラムがインストールされている。
図2は、情報取得装置2と情報処理装置3の構成を示す図である。
情報取得装置2は、光学部の構成として、投射光学系100と受光光学系200とを備えている。投射光学系100と受光光学系200は、X軸方向に並ぶように、情報取得装置2に配置される。
投射光学系100は、レーザ光源110と、コリメータレンズ120と、ミラー130と、回折光学素子(DOE:Diffractive Optical Element)140を備えている。また
、受光光学系200は、アパーチャ210と、撮像レンズ220と、フィルタ230と、CMOSイメージセンサ240とを備えている。この他、情報取得装置2は、回路部の構成として、CPU(Central Processing Unit)21と、レーザ駆動回路22と、撮像信
号処理回路23と、入出力回路24と、メモリ25を備えている。
、受光光学系200は、アパーチャ210と、撮像レンズ220と、フィルタ230と、CMOSイメージセンサ240とを備えている。この他、情報取得装置2は、回路部の構成として、CPU(Central Processing Unit)21と、レーザ駆動回路22と、撮像信
号処理回路23と、入出力回路24と、メモリ25を備えている。
レーザ光源110は、受光光学系200から離れる方向(X軸負方向)に波長830nm程度の狭波長帯域のレーザ光を出力する。コリメータレンズ120は、レーザ光源110から出射されたレーザ光を略平行光に変換する。
ミラー130は、コリメータレンズ120側から入射されたレーザ光をDOE140に向かう方向(Z軸方向)に反射する。
DOE140は、入射面に回折パターンを有する。この回折パターンによる回折作用により、DOE140に入射したレーザ光は、所定のドットパターンのレーザ光に変換されて、目標領域に照射される。
DOE140の回折パターンは、たとえば、ステップ型の回折ホログラムが所定のパターンで形成された構造とされる。回折ホログラムは、コリメータレンズ120により略平行光とされたレーザ光をドットパターンのレーザ光に変換するよう、パターンとピッチが調整されている。DOE140は、ミラー130から入射されたレーザ光を、放射状に広がるドットパターンのレーザ光として、目標領域に照射する。
目標領域から反射されたレーザ光は、アパーチャ210を介して撮像レンズ220に入射する。
アパーチャ210は、撮像レンズ220のFナンバーに合うように、外部からの光に絞りを掛ける。撮像レンズ220は、アパーチャ210を介して入射された光をCMOSイメージセンサ240上に集光する。フィルタ230は、レーザ光源110の出射波長(830nm程度)を含む赤外の波長帯域の光を透過し、可視光の波長帯域をカットするバンドパスフィルタである。
CMOSイメージセンサ240は、撮像レンズ220にて集光された光を受光して、画素毎に、受光量に応じた信号(電荷)を撮像信号処理回路23に出力する。ここで、CMOSイメージセンサ240は、各画素における受光から高レスポンスでその画素の信号(電荷)を撮像信号処理回路23に出力できるよう、信号の出力速度が高速化されている。
本実施の形態において、CMOSイメージセンサ240の撮像有効領域(センサとして信号を出力する領域)は、VGA(横640画素×縦480画素)のサイズである。CMOSイメージセンサ240の撮像有効領域は、XGA(横1024画素×縦768画素)のサイズやSXGA(横1280画素×縦1024画素)のサイズ等、他のサイズであっても良い。
CPU21は、メモリ25に格納された制御プログラムに従って各部を制御する。かかる制御プログラムによって、CPU21には、レーザ光源110を制御するためのレーザ制御部21aと、3次元距離情報を生成するための距離取得部21bの機能が付与される。
レーザ駆動回路22は、CPU21からの制御信号に応じてレーザ光源110を駆動する。
撮像信号処理回路23は、CMOSイメージセンサ240を制御して、所定の撮像間隔で、CMOSイメージセンサ240により生成された各画素の信号(電荷)をライン毎に順次取り込む。そして、取り込んだ信号を順次CPU21に出力する。CPU21は、撮像信号処理回路23から供給される信号(撮像信号)をもとに、情報取得装置2から検出対象物体の各部までの距離を、距離取得部21bによる処理によって算出する。入出力回路24は、情報処理装置3とのデータ通信を制御する。
メモリ25は、制御プログラムとともに、後述のドットパターンの配置規則に基づきドットの画素位置を取得するための基準画素位置テーブル25aを保持している。また、メモリ25は、距離情報の取得の際のワーク領域としても利用される。
情報処理装置3は、CPU31と、入出力回路32と、メモリ33を備えている。なお、情報処理装置3には、同図に示す構成の他、テレビ4との通信を行うための構成や、CD−ROM等の外部メモリに格納された情報を読み取ってメモリ33にインストールするためのドライブ装置等が配されるが、便宜上、これら周辺回路の構成は図示省略されてい
る。
る。
CPU31は、メモリ33に格納された制御プログラム(アプリケーションプログラム)に従って各部を制御する。かかる制御プログラムによって、CPU31には、画像中の物体を検出するための物体検出部31aと、物体の動きに応じて、テレビ4の機能を制御するための機能制御部31bの機能が付与される。かかる制御プログラムは、たとえば、図示しないドライブ装置によってCD−ROMから読み取られ、メモリ33にインストールされる。
物体検出部31aは、情報取得装置2から供給される3次元距離情報から画像中の物体の形状を抽出し、抽出した物体形状の動きを検出する。機能制御部31bは、物体検出部31aによる検出結果に基づき、テレビ4の機能を制御する。
たとえば、制御プログラムがゲームプログラムである場合、機能制御部31bは、物体検出部31aによって検出された人の動き(ジェスチャ)に応じてテレビ画面上のキャラクタを動作させるための処理を実行する。また、制御プログラムがテレビ4の機能を制御するためのプログラムである場合、機能制御部31bは、物体検出部31aから人の動き(ジェスチャ)に応じた信号に基づき、テレビ4の機能(チャンネル切り替えやボリューム調整、等)を制御するための処理を実行する。
入出力回路32は、情報取得装置2とのデータ通信を制御する。
投射光学系100と受光光学系200は、投射光学系100の投射中心と受光光学系200の撮像中心がX軸に平行な直線上に並ぶように、X軸方向に所定の距離をもって並んで設置される。投射光学系100と受光光学系200の設置間隔は、情報取得装置2と目標領域の基準面との距離に応じて、設定される。
次に、情報取得装置2による3次元距離情報の取得方法について説明する。
図3(a)は、目標領域に対するレーザ光の照射状態を模式的に示す図、図3(b)は、CMOSイメージセンサ240におけるレーザ光の受光状態を模式的に示す図である。なお、図3(b)には、便宜上、目標領域に平坦な面(スクリーン)とスクリーンの前に人物が存在するときの受光状態が示されている。
図3(a)に示すように、投射光学系100からは、ドットパターンを持ったレーザ光(以下、このパターンを持つレーザ光の全体を「DP光」という)が、目標領域に照射される。図3(a)には、DP光の光束領域が実線の枠によって示されている。DP光の光束中には、DOE140による回折作用により生成されるドット領域(以下、単に「ドット」という)が、DOE140による回折作用によるドットパターンに従って点在している。ドットは、レーザ光源110からのレーザ光がDOE140によって分岐されることにより生成される。
目標領域に平坦な面(スクリーン)と人物が存在すると、DP光は、図3(b)のように、CMOSイメージセンサ240上に分布する。図3(a)に示す目標領域上におけるDt0の光は、CMOSイメージセンサ240上では、図3(b)に示すDt0’の位置に入射する。スクリーンの前の人物の像は、CMOSイメージセンサ240上では、上下左右が反転して撮像される。
図4は、DP光を用いた距離情報の取得方法を説明する図である。
図4(a)に示すように、投射光学系100から所定の距離Lsの位置に、Z軸方向に垂直な平坦な反射平面RSが配置されると、投射光学系100から出射されたDP光は、反射平面RSによって反射され、受光光学系200のCMOSイメージセンサ240に入射する。この場合、反射平面RSによって反射されたDP光(DPn)は、CMOSイメージセンサ240上の領域Snに入射する。
次に、図4(a)に破線で示すように、距離Lsよりも近い位置に物体が存在すると、DP光(DPn)は、物体によって反射され、領域Snとは異なる領域Sn’に入射する。投射光学系100と受光光学系200はX軸方向に隣り合っているため、領域Snに対する領域Sn’の変位方向はX軸に平行となる。図4(a)の場合、物体が距離Lsよりも近い位置にあるため、領域Sn’は、領域Snに対してX軸正方向に変位する。物体が距離Lsよりも遠い位置にあれば、領域Sn’は、領域Snに対してX軸負方向に変位する。
領域Snに対する領域Sn’の変位方向と変位量(図4(a)に示す画素ずれ量D)をもとに、投射光学系100と、DP光(DPn)が照射された物体の部分との間の距離Lrが、距離Lsを用いて、三角測量法に基づき算出される。かかる算出手法の詳細は、たとえば、上記非特許文献1(第19回日本ロボット学会学術講演会(2001年9月18−20日)予稿集、P1279−1280)に示されている。
本実施の形態では、図4(b)に示すように、実測時に、CMOSイメージセンサ240上の撮像有効領域に照射されたDP光から得られた全画素値からなる画像(以下、「実測画像」という)に、所定サイズのウィンドウ領域が設定される。なお、図4(b)には、CMOSイメージセンサ240の背面側から受光面をZ軸正方向に透視した状態が図示されている。
ウィンドウ領域は、図4(c)に示すように、隣り合うウィンドウ領域が実測画像上において、X軸方向およびY軸方向に1画素間隔で並ぶように設定される。すなわち、あるウィンドウ領域は、このウィンドウ領域に対してX軸方向およびY軸方向に隣り合うウィンドウ領域に対して1画素ずれた位置に設定される。このとき、各ウィンドウ領域には、所定の規則でドットが点在する。
なお、図4(c)には、便宜上、各ウィンドウ領域の大きさが横9画素×縦9画素で示されているが、本実施の形態において、ウィンドウ領域は、縦15画素×横15画素のサイズに設定される。かかるウィンドウ領域のサイズは、後述する参照領域(図8参照)のサイズと同じである。
本実施の形態では、ウィンドウ領域内のドットの配置状態から、図4(a)に示す反射平面RS(基準面)にDP光が照射されたときの当該ドットのX軸方向の画素位置が検出可能となるように、DP光のドットが、所定の規則で、ドットパターン内に配置されている。したがって、本実施の形態では、実測画像上におけるウィンドウ領域の画素位置と、当該ウィンドウ領域内のドットの配置状態から取得される画素位置とに基づいて、図4(a)に示す画素ずれ量Dを取得することができる。そして、この画素ずれ量Dに基づいて、上記のように、当該ウィンドウ領域に対する距離情報を取得することができる。
以下、DP光におけるドットの配置規則について説明する。
以下の説明において、DP光が図4(a)に示す反射平面RS(基準面)に照射されたときにCMOSイメージセンサ240によって取得される画像を「基準画像」といい、このときCMOSイメージセンサ240に照射されるドットのパターンを「基準ドットパタ
ーン」という。
ーン」という。
本実施の形態では、基準ドットパターンが、縦5画素×横5画素のセグメント領域に区分され、各セグメント領域に含まれるドットの配置から、所定の値(以下、「セグメント値」という)が取得されるようになっている。すなわち、各セグメント領域には、セグメント値を規定する所定の配置規則に従って、ドットが配置される。
図5(a)は、セグメント領域におけるドットの配置規則を示す図である。
図5(a)に示すように、本実施の形態では、16種のセグメント領域が準備されている。各セグメント領域は、ドットの配置によって、それぞれ、異なるセグメント値が規定される。ここでは、16種のセグメント領域に対して、それぞれ、1〜16のセグメント値が、割り振られている。
各セグメント領域には、中央の画素の位置に基準ドットDRが配置され、外周縁の何れか一つの画素の位置にサブドットDSが配置される。基準ドットDRは、セグメント領域を識別するために配置される。すなわち、中央の画素の位置にドットが存在することが検出されると、このドットを中心に縦5画素×横5画素の領域がセグメント領域であることが検出される。また、サブドットDSの位置によって、各セグメント領域のセグメント値が規定される。
図5(a)に示すように、各セグメント領域のサブドットDSの位置は、左上の画素の位置から反時計回り方向に変位している。左上の画素の位置にサブドットDSが存在するセグメント領域のセグメント値は、1である。サブドットDSの位置が、左上の画素位置から反時計方向に1画素ずれる毎に、セグメント領域のセグメント値が1ずつ大きくなる。そして、セグメント領域の左上の画素から1画素右側にずれた位置にサブドットDSが存在するセグメント領域が16番目のセグメント領域となり、このセグメント領域のセグメント値が16となる。こうして、16種のセグメント領域に対して、16種のセグメント値が割り当てられる。図5(a)には、便宜上、各セグメント領域の上側に、セグメント値が付記されている。
なお、このようにサブドットDSを配置することにより、何れのセグメント領域においても、基準ドットDRとサブドットDSとが2画素以上離れるようになる。
図5(b)は、図5(a)に示すように基準ドットDRとサブドットDSが位置付けられたときの、各セグメント領域に対応する画素領域から出力される画素値(画素信号)を模式的に示す図である。画素値が出力される画素の位置により、上記規則に従って、セグメント領域の特定と、セグメント領域に割り当てられたセグメント値が検出され得る。
図6(a)、(b)は、基準画像上におけるセグメント領域の割り振り方法を説明する図である。図6(a)には、セグメント領域とセグメント領域に含まれるドットが示され、図6(b)には、各セグメント領域が当該セグメント領域のセグメント値とともに示されている。なお、図6(a)、(b)には、それぞれ、基準画像(撮像有効領域)の左上隅の部分が示されている。
図6(a)、(b)に示すように、本実施の形態では、横方向に隣り合う2つのセグメント領域が組とされ、各組のセグメント領域のセグメント値の合計が17となるように、16種のセグメント領域が横方向に配置されている。たとえば、図6(a)の最上段のセグメント領域では、左端から1つ目と2つ目のセグメント領域が組となり、これらセグメント領域のセグメント値がそれぞれ1と16(合計17)となっている。また、最上段の
左端から3つ目と4つ目のセグメント領域が組となり、これらセグメント領域のセグメント値がそれぞれ2と15(合計17)となっている。このように、左端から2つずつのセグメント領域が組とされ、各組のセグメント領域のセグメント値の合計が17となっている。
左端から3つ目と4つ目のセグメント領域が組となり、これらセグメント領域のセグメント値がそれぞれ2と15(合計17)となっている。このように、左端から2つずつのセグメント領域が組とされ、各組のセグメント領域のセグメント値の合計が17となっている。
なお、このようにセグメント領域を配置すると、最上段において組間で隣り合うセグメント領域のセグメント値の合計は18になる。たとえば、左端から2つ目と3つ目のセグメント領域のセグメント値の合計は、18となる。
2段目のセグメント領域は、1段目の各組のセグメント領域を交互に入れ替えたものとなっている。したがって、2段目においても、各組のセグメント領域のセグメント値の合計は、17となっている。この場合、組間で隣り合うセグメント領域のセグメント値の合計は16になる。たとえば、左端から2つ目と3つ目のセグメント領域のセグメント値の合計は、16となる。
図6(b)に示すように、3段目以降のセグメント領域は、1段目と2段目のセグメント領域からなる領域が、基準画像の下端まで繰り返されることにより構成されている。こうして、横方向に並ぶ16種のセグメント領域が、基準画像(撮像有効領域)の左端部分において、上端から下端まで配置される。
図7(a)、(b)は、基準画像上におけるセグメント領域の配置状態を説明する図である。図7(a)には、撮像有効領域の横方向(X軸正方向)の画素位置とセグメント領域との関係が示され、図7(b)には、撮像有効領域と基準画像との関係が示されている。なお、図7(a)には、撮像有効領域(基準画像)の左上隅の部分が示されている。図7(a)の上側に付された数字が、撮像有効領域(基準画像)の左上隅から横方向(X軸方向)にカウントした画素位置である。
図7(a)に示すように、図6(a)の16種のセグメント領域は、撮像有効領域において、左端から80画素目までの範囲に並ぶ。したがって、図7(b)の撮像有効領域の左端から80画素目までの領域には、図6(a)に示すような、横方向に並ぶ16種のセグメント領域が、上端から下端まで配置される。以下、撮像有効領域の左端から80画素目までの領域に配置されるドットのパターンを「単位ドットパターン」という。
図7(b)に示すように、撮像有効領域(基準画像)に照射されるドットパターン(基準ドットパターン)は、単位ドットパターンが横方向に繰り返されたものとなっている。本実施の形態では、撮像有効領域のサイズが縦480画素×横640画素であるため、単位ドットパターンは、図7(a)に示すドットパターンが縦方向に48回繰り返し配置されたものとなっており、さらに、この単位ドットパターンが横方向に8回繰り返されることにより、基準ドットパターンが構成される。したがって、投射光学系100から目標領域に照射されるDP光のドットパターンは、DP光が図4(a)に示す反射平面RS(基準面)に照射されたときに、このように、単位ドットパターンが横方向に8回繰り返された基準ドットパターンがCMOSイメージセンサ240の撮像有効領域に照射されるよう、構成されている。
こうして基準ドットパターンが構成されると、図6(b)を参照して分かるとおり、縦方向に1列に並ぶセグメント領域は、2つのセグメント値が交互に並ぶように配置される。また、単位ドットパターン上における各列のセグメント領域のセグメント値の配列は、他の列のセグメント領域のセグメント値の配列と互いに異なっている。
次に、基準画像上における参照領域の規定方法について説明する。参照領域とは、基準
画像上の横方向の位置を規定する単位となる領域のことである。
画像上の横方向の位置を規定する単位となる領域のことである。
図8(a)、(b)は、参照領域の規定方法を説明する図である。図8(a)、(b)には、それぞれ、基準画像(撮像有効領域)の左上隅の部分が示されている。
図8(a)に示すように、参照領域は、9個のセグメント領域を含むよう、縦15画素×横15画素のサイズを持っている。参照領域は、基準画像(撮像有効領域)の左上隅の位置から右方向(X軸正方向)と下方向(Y軸正方向)に5画素おきに規定される。図8(a)の左側の太枠は、基準画像(撮像有効領域)の左上隅に規定された参照領域を示している。図8(b)の上側の太枠は、図8(a)の参照領域の右側に次に規定される参照領域を示し、図8(b)の下側の太枠は、図8(a)の参照領域の下側に次に規定される参照領域を示している。
したがって、一つの単位ドットパターンについて、横方向(X軸方向)に16個の参照領域が規定される。図8(a)の右側の太枠は、横方向において単位ドットパターンに最後に規定される参照領域を示している。この参照領域には、81画素目以降の次の単位ドットパターンの左端部分の6個のセグメント領域が含まれている。
このように、参照領域は、横方向と縦方向に5画素おきに規定されるため、参照領域に対する基準画像上の横方向の画素位置は、5画素おきに割り振られる。たとえば、図8(a)の左側の太枠の位置の参照領域は、左端の参照領域であるため、基準画像上の横方向の位置として画素位置1が割り振られる。また、図8(b)の上側の太枠の位置の参照領域は、左端から6画素目の参照領域であるため、基準画像上の横方向の位置として画素位置6が割り振られる。このように、X軸方向に隣り合う参照領域の画素位置は、互いに5画素ずれている。
また、図8(b)の下側の太枠で示された参照領域は、図8(a)の左側の太枠で示された参照領域と、X軸方向において同じ位置にあるため、これら2つの参照領域に割り当てられる画素位置は同じである。すなわち、図8(b)の下側の太枠で示された参照領域の画素位置は、図8(a)の左側の参照領域と同じく、1が割り振られる。
このように、縦方向(Y軸方向)に並ぶ参照領域のX軸方向における画素位置は、互いに同じである。また、参照領域は、X軸方向に5画素毎に規定されるため、X軸方向に隣り合う参照領域の画素位置は、互いに、5画素異なっている。
本実施の形態において、各参照領域の画素位置は、参照領域に含まれる9個のセグメント領域のセグメント値の組合せによって特定される。上記のように、縦方向に並ぶセグメント領域は、2種類のセグメント値が交互に並ぶように配置されているため、縦方向に並ぶ参照領域は、2種類のセグメント値の組合せのうち何れか一方の組合せを持っている。したがって、これら2種類のセグメント値の組合せに、参照領域の画素位置を対応付けることにより、参照領域に含まれるセグメント領域のセグメント値の組合せから、当該参照領域の画素位置を把握することが可能となる。
図9および図10は、参照領域の画素位置の設定例を示す図である。
以下、基準画像(撮像有効領域)上における参照領域のX軸方向の画素位置のことを、「基準画素位置」という。また、ここでは、便宜上、参照領域の位置を、段数と画素数によって特定する。段数は、撮像有効領域の最上段から下方向にセグメント単位で数えられ、画素数は、撮像有効領域の右方向に数えられる。撮像有効領域の左上隅に設定される参照領域は、1段/1画素目の設定位置にある。図8(a)の左右の太枠で示された参照領
域は、それぞれ、1段/1画素目および1段/76画素目の参照領域であり、図8(b)の上下の太枠で示された参照領域は、それぞれ、1段/6画素目および2段/1画素目の参照領域である。
域は、それぞれ、1段/1画素目および1段/76画素目の参照領域であり、図8(b)の上下の太枠で示された参照領域は、それぞれ、1段/6画素目および2段/1画素目の参照領域である。
図9(a)は、1段/1画素目の参照領域内のドットの分布状態を示す図である。この場合、参照領域に含まれた9個のセグメント領域のセグメント値は、(1、1、1、2、2、15、16、16、16)である。このセグメント値の組み合わせには、基準画素位置として“1画素目”が対応付けられる。
図9(b)は、1段/6画素目の参照領域内のドットの分布状態を示す図である。この場合、参照領域に含まれた9個のセグメント領域のセグメント値は、(1、2、2、2、15、15、15、16、16)である。このセグメント値の組み合わせには、基準画素位置として“6画素目”が対応付けられる。
図9(c)は、2段/1画素目の参照領域内のドットの分布状態を示す図である。この場合、参照領域に含まれた9個のセグメント領域のセグメント値は、(1、1、1、2、15、15、16、16、16)である。このセグメント値の組み合わせには、図9(a)の場合と同様、基準画素位置として“1画素目”が対応付けられる。
図9(d)は、2段/6画素目の参照領域内のドットの分布状態を示す図である。この場合、参照領域に含まれた9個のセグメント領域のセグメント値は、(1、1、2、2、2、15、15、15、16)である。このセグメント値の組み合わせには、図9(b)の場合と同様、基準画素位置として“6画素目”が対応付けられる。
図10(a)〜(d)は、それぞれ、1段/66画素目、1段/71画素目、1段/76画素目の参照領域のドットの分布状態を示す図である。これらの参照領域に含まれる9個のセグメント領域のセグメント値は、それぞれ、(7、8、8、8、9、9、9、10、10)、(1、1、8、8、8、9、9、9、16)、(1、1、1、8、9、9、16、16、16)である。本実施の形態では、これらセグメント値の組合せに対し、基準画素位置として、それぞれ、“66画素目”、“71画素目”、“76画素目”が対応付けられる。
図10(d)は1段/81画素目の参照領域のドットの分布状態を示す図である。この参照領域に含まれる9個のセグメント領域のセグメント値は、(1、1、1、2、2、15、16、16、16)である。かかるセグメント値の組合せは、1段/1画素目の参照領域と同じである。したがって、1段/81画素目の参照領域の基準画素位置には、1段/1画素目、2段/1画素目の参照領域と同様、“1画素目”が対応づけられる。
図11(a)、(b)は、実測画像と基準画像の関係を示す図である。
上記のように、基準画像上のドットは、目標領域に物体が存在することによって、実測画像上においてX軸方向に変位する。たとえば、図11(b)の例では、図11(b)に示すウィンドウ領域W内のドットが、図11(a)の基準画像上では、参照領域Rの位置にある。この場合、実測画像上におけるウィンドウ領域WのX軸方向の画素位置は、基準画像上における参照領域RのX軸方向の画素位置(基準画素位置)からX軸正方向に画素ずれ量Dだけ変位している。
本実施の形態では、図11(a)に示す参照領域RのX軸方向の画素位置(基準画素位置)が、上記のとおり、図11(b)に示すウィンドウ領域W内に含まれるドットの位置(分布状態)から検出可能となっている。したがって、実測画像上に設定されたウィンド
ウ領域WのX軸方向の画素位置と、当該ウィンドウ領域W内に含まれるドットの位置(分布状態)から検出された参照領域Rの画素位置とから、画素ずれ量Dを取得することができ、取得した画素ずれ量Dに基づいて、図4(a)にて説明した手法により、ウィンドウ領域Wに対する距離値を取得することができる。
ウ領域WのX軸方向の画素位置と、当該ウィンドウ領域W内に含まれるドットの位置(分布状態)から検出された参照領域Rの画素位置とから、画素ずれ量Dを取得することができ、取得した画素ずれ量Dに基づいて、図4(a)にて説明した手法により、ウィンドウ領域Wに対する距離値を取得することができる。
図12(a)は、基準画素位置の取得処理を示すフローチャートである。また、図12(b)は、メモリ25に格納された基準画素位置テーブル25aの構成を示す図である。図12(a)の処理フローは、CPU21の距離取得部21bによって実行される。
まず、図12(b)を参照して、基準画素位置テーブル25aは、9個のセグメント値の組合せと基準画素位置とを対応付けたものである。図8、図9および図10を参照して説明したとおり、縦方向に並ぶ参照領域は、2種類のセグメント値の組合せの何れか一方を持っており、かかる2種類のセグメント値の組合せによって、当該参照領域の基準画素位置(X軸方向の画素位置)を特定することができる。基準画素位置テーブル25aは、かかる2種類のセグメント値の組合せと基準画素位置とを対応付けたものである。
たとえば、図9(c)に示す2段/1画素目の参照領域では、9個のセグメント値が、(1、1、1、2、15、15、16、16、16)であるため、基準画素位置テーブル25aには、かかるセグメント値の組合せに対し、基準画素位置として、1画素目が対応付けられている。また、図10(c)に示す1段/76画素目の参照領域では、9個のセグメント値が、(1、1、1、8、9、9、16、16、16)であるため、基準画素位置テーブル25aでは、かかるセグメント値の組合せに対し、基準画素位置として、76画素目が対応付けられている。
このように、基準画素位置テーブル25aには、5画素毎の基準画素位置1、6、11、…、71、76に対し、対応する2種類のセグメント値の組合せが対応付けられている。
次に、図12(a)を参照して、実測画像上に設定されたウィンドウ領域に対する基準画素位置の取得処理について説明する。
CPU21は、まず、基準画素位置の取得対象となるウィンドウ領域を、図12(c)に示すように、縦5画素×横5画素の分割領域に分割して、各分割領域の中央位置(図12(c)において×が付された画素位置)の画素値を参照し(S101)、この中央位置にドット(基準ドット)が存在するか否かを判定する(S102)。基準ドットが検出されない分割領域が1つ以上ある場合(S102:NO)、CPU21は、当該ウィンドウ領域におけるドットの分布状態は、何れの参照領域のドットの分布状態にも一致しないとして、当該ウィンドウ領域に対する基準画素位置の取得をエラーとし(S103)、当該ウィンドウ領域に対する基準画素位置の取得処理を終了する。
全ての分割領域について基準ドットが検出されると(S102:YES)、CPU21は、当該ウィンドウ領域におけるドットの分布状態は、図12(b)に示す基準画素位置テーブル25aに規定された何れか一つのセグメント値の組合せをもつ参照領域のドットの分布状態に一致するとして、処理をS104に進める。S104において、CPU21は、各分割領域の外周縁に存在するドット(サブドット)の位置に基づき、図5(a)の規則に従って、各分割領域に対するセグメント値を取得する。そして、CPU21は、取得した9個のセグメント値の組合せに対応する基準画素位置を、図12(b)に示す基準画素位置テーブルから取得する(S105)。
こうして、当該ウィンドウ領域に対する基準画素位置が取得される。この基準画素位置
は、当該ウィンドウ領域に含まれるドットの基準画像上におけるX軸方向の画素位置に対応する。たとえば、ウィンドウ領域に含まれるドットが図9(a)のように分布している場合には、基準画素位置として“1画素目”が取得される。上記のように、基準画素位置は、基準画像上におけるX軸方向の画素位置である。
は、当該ウィンドウ領域に含まれるドットの基準画像上におけるX軸方向の画素位置に対応する。たとえば、ウィンドウ領域に含まれるドットが図9(a)のように分布している場合には、基準画素位置として“1画素目”が取得される。上記のように、基準画素位置は、基準画像上におけるX軸方向の画素位置である。
なお、S105では、基準画素位置が、1〜76の範囲で取得される。これは、図12(b)に示すように、基準画素位置テーブル25aにおいて、基準画素位置が、1〜76の範囲において5画素間隔で設定されているためである。基準画素位置テーブル25aは、図8(a)、(b)に示す一つの単位ドットパターンに対応するものとなっている。このため、実測画像に設定されたウィンドウ領域に含まれるドットが、たとえば、基準画像上において、図7(b)の401〜480画素目の単位ドットパターンに含まれるドットに対応するものであっても、このウィンドウ領域に含まれるドットが図9(a)の分布を有していると、S105において、当該ウィンドウ領域に対する基準画素位置は、基準画素位置テーブル25aから“1画素目”として取得される。この場合、正しくは、当該当該ウィンドウ領域に対する基準画素位置として、“1画素目”ではなく“401画素目”(401〜480画素目の単位ドットパターンにおける1画素目)が取得される必要がある。
このように、S105において取得された基準画素位置は、ウィンドウ領域に対応するドットが、基準画像上において、何れの単位ドットパターンに含まれているものであるかに応じて補正される必要がある。
以下、この補正方法について説明する。
たとえば、図13(a)に示す基準画像上のドットが、実測時に、図13(b)に示すように左方向に移動し、図13(a)に示す基準画像上の領域Wr86内のドットがウィンドウ領域W71内に移動する場合がある。ここで、領域Wr86は、基準画像の左端から86画素目の画素位置にある。
また、図13(a)に示す基準画像上のドットが、実測時に、図13(c)に示すように右方向に移動し、図13(a)に示す基準画像上の領域Wr56内のドットがウィンドウ領域W71内に移動する場合がある。ここで、領域Wr56は、基準画像の左端から86画素目の画素位置にある。
このように、基準画像上のドットは、実測時に、目標領域に存在する物体の位置に応じて、左右方向に移動し得る。しかし、ドットの移動ストロークは無限ではなく、検出しようとする距離の範囲に応じて一定幅の範囲に収まる。したがって、一つのウィンドウ領域には、基準画像上のドットのうち、当該ウィンドウ領域の画素位置から左右方向に所定の幅を持つ範囲内のドットが、実測時に進入することになる。このため、ウィンドウ領域に対して取得される基準画素位置は、当該ウィンドウ領域の画素位置から左右方向に所定の幅をもつ画素範囲に無ければならない。
そこで、本実施の形態では、図13(d)に示すように、X軸方向におけるウィンドウ領域の画素位置に対して、X軸の方向に±M画素の幅を持つ範囲ΔRを設定し、この範囲ΔR内に含まれるよう、図12(a)のS105で取得された基準画素位置が補正される(S106)。すなわち、図12のS105で取得された基準画素位置をPr、補正後の基準画素位置をPr’とすると、Pr’=Pr+80×nが範囲ΔRに含まれるよう、n(nは、0以上の整数)が設定される。
たとえば、範囲ΔRに設定される幅が±30(M=30)である場合、図13(b)、
(c)に示すウィンドウW71に対する基準画素位置の範囲ΔRは、41〜101となる。
(c)に示すウィンドウW71に対する基準画素位置の範囲ΔRは、41〜101となる。
図13(b)の場合、図13(a)の領域Wr86に含まれるドットがウィンドウ領域W71に移動したため、領域Wr86に含まれるドットの分布から図12(a)のS106にて取得される基準画素位置Prは、6画素目である。したがって、この場合、上記式から、Pr’=6+80×nの値が41〜101の範囲になるよう、変数nが設定される。ここでは、変数nは1となり、補正後の基準画素位置Pr’は、86画素目になる。
図13(c)の場合、図13(a)の領域Wr56に含まれるドットがウィンドウ領域W71に移動したため、領域Wr56に含まれるドットの分布から図12(a)のS106にて取得される基準画素位置Prは、56画素目である。したがって、この場合、上記式から、Pr’=56+80×nの値が41〜101の範囲になるよう、変数nが設定される。ここでは、変数nは0となり、補正後の基準画素位置Pr’は、基準画素位置Prと同じく、86画素目になる。
以上のようにして、ウィンドウ領域に対する基準画素位置の補正が行われる。この補正処理は、図12(a)のS106において行われる。
次に、図12(a)のS104におけるセグメント値の取得例について説明する。
図14〜図15は、図12(c)に示す一つの分割領域におけるセグメント値の取得例を示す図である。なお、図14(a)、(d)および図15(a)、(d)には、基準ドットDRとサブドットDSが画素ずれなく分割領域に含まれている例が示されている。また、図14(a)、(d)および図15(a)、(d)には、当該分割領域に隣り合う分割領域のサブドットDS’が示されている。
図14(a)では、基準ドットDRが分割領域の中央にあり、サブドットDSが分割領域の左端隅にあるため、この分割領域から出力される画素値は、図14(a)の右側のようになる。ここで、ハッチングが付された升目に対応する画素から、ドットに基づく信号が出力される。この場合、この分割領域に対するセグメント値は、図5(a)から1になる。
図14(d)では、基準ドットDRが分割領域の中央にあり、サブドットDSが分割領域の左端隅から1画素右にずれた位置にあるため、この分割領域から出力される画素値は、図14(d)の右側のようになる。この場合、この分割領域に対するセグメント値は、図5(a)から16になる。
図14(b)では、図14(a)に示す基準ドットDRとサブドットDSが、半画素右方向にずれている。このため、この分割領域から出力される画素値は、図14(b)の右側のようになる。この場合、基準ドットDSが2つの画素に跨るが、中央の画素位置から信号が出力されるため、分割領域の中央位置に基準ドットが検出される。また、サブドットDSが2つの画素に跨り、サブドットDS’が一つの画素に係るため、画素信号をもとに、分割領域の外周縁に3つのサブドットが検出され得る。この場合、検出され得る3つのサブドットの何れを優先するかのルールが必要となる。
本実施の形態では、以下のように、基準ドットDSのずれ方向に従って、サブドットの優先ルールが規定される。
基準ドットDSのずれ方向は、分割領域の中央位置の画素とそれに隣り合う画素から信
号が出力される場合に検出される。この場合、中央位置の画素から見て、信号を出力する隣り合う画素の方向がずれ方向になる。
号が出力される場合に検出される。この場合、中央位置の画素から見て、信号を出力する隣り合う画素の方向がずれ方向になる。
優先ルールは、以下のとおりである。
(1)ずれ方向において分割領域に進入するサブドットは無効とする。
(2)ずれ方向に隣り合う2つのサブドットは、ずれ方向と反対側にあるサブドットを優先する。
(3)ずれ方向が斜めで有る場合、ずれ方向を横方向と縦方向にベクトル分割して上記(1)、(2)のルールを適用する。
たとえば、図14(b)の例では、ずれ方向は右方向である。また、分割領域の外周縁に検出され得る3つのサブドットのうち、左下隅のサブドットは、左右方向に連続せず、且つ、左端の列の画素位置にあるため、隣接する分割領域からずれ方向(右方向)に進入したと判定される。このため、左下隅のサブドットは、上記ルール(1)により、無効とされる。さらに、分割領域の左上隅において左右に並ぶ2つのサブドットについては、上記ルール(2)が適用され、ずれ方向(右方向)と反対側(左側)にある左側のサブドットが優先される。したがって、図14(b)の例では、画素信号から検出され得る3つのサブドットのうち、左上隅のサブドットが有効とされる。その結果、この分割領域に対するセグメント値は1となる。
図14(c)では、図14(a)に示す基準ドットDRとサブドットDSが、半画素左方向にずれている。このため、この分割領域から出力される画素値は、図14(c)の右側のようになる。この場合も、分割領域の中央位置に基準ドットが検出される。また、分割領域の外周縁には、左上隅の位置にのみサブドットが検出される。したがって、この場合は、上記ルールは適用されず、分割領域に対するセグメント値は1となる。
図14(e)では、図14(d)に示す基準ドットDRとサブドットDSが、半画素右方向にずれている。このため、この分割領域から出力される画素値は、図14(e)の右側のようになる。この場合も、分割領域の中央位置に基準ドットが検出される。また、サブドットDSが2つの画素に跨るため、画素信号をもとに、分割領域の外周縁に2つのサブドットが検出され得る。この場合、基準ドットのずれ方向は右方向である。したがって、上記ルール(2)により、検出され得る2つのサブドットのうち、左側のサブドットが優先される。その結果、この分割領域に対するセグメント値は16となる。
図14(f)では、図14(d)に示す基準ドットDRとサブドットDSが、半画素左方向にずれている。このため、この分割領域から出力される画素値は、図14(f)の右側のようになる。この場合も、分割領域の中央位置に基準ドットが検出される。また、サブドットDSが2つの画素に跨り、サブドットDS’が一つの画素に係るため、画素信号をもとに、分割領域の外周縁に3つのサブドットが検出され得る。この場合、基準ドットのずれ方向は左方向である。したがって、上記ルール(1)により右端の列において検出され得るサブドットは無効とされる。また、上記ルール(2)により、上端の行において検出され得る2つのサブドットのうち、右側のサブドットが優先される。その結果、この分割領域に対するセグメント値は16となる。
図15(b)では、図15(a)に示す基準ドットDRとサブドットDSが、半画素上方向にずれている。この場合、上記ルール1により、下端の行において検出され得るサブドットが無効とされ、上端の行において検出され得るサブドットが有効となる。これによ
り、この分割領域に対するセグメント値は1となる。
り、この分割領域に対するセグメント値は1となる。
図15(c)では、図15(a)に示す基準ドットDRとサブドットDSが、半画素下方向にずれている。この場合、上記ルール2により、左端の列において検出され得る2つのサブドットのうち、上側のサブドットが有効となる。これにより、この分割領域に対するセグメント値は1となる。
図15(e)では、図15(d)に示す基準ドットDRとサブドットDSが、右斜め上方向にずれている。この場合、分割領域の上端と下端の行に、それぞれ2つずつ、サブドットが検出され得る。ここでは、基準ドットのずれ方向は、右斜め上と検出され、上記ルール(3)から、ずれ方向が右方向と上方向であるとして、上記ルール(1)、(2)が適用される。この場合、ずれ方向が上方向であるとして適用される上記ルール(1)により、下端の行において検出され得る2つのサブドットが無効とされる。また、ずれ方向が右方向であるとして適用される上記ルール(2)により、上端の行において検出され得る2つのサブドットのうち左側のサブドットが優先される。これにより、分割領域の左上隅のサブドットが有効となる。これにより、この分割領域に対するセグメント値は1となる。
図15(f)では、図15(d)に示す基準ドットDRとサブドットDSが、右斜め下方向にずれている。この場合、分割領域の左上隅に3つのサブドットが検出され得る。ここでは、基準ドットのずれ方向は、右斜め下と検出され、上記ルール(3)から、ずれ方向が右方向と下方向であるとして、上記ルール(1)、(2)が適用される。この場合、ずれ方向が右方向であるとして適用される上記ルール(2)により、上端の行において検出され得る2つのサブドットのうち左側のサブドットが優先される。また、ずれ方向が下方向であるとして適用される上記ルール(2)により、左端の列において検出され得る2つのサブドットのうち上側のサブドットが優先される。これにより、分割領域の左上隅のサブドットが有効となる。これにより、この分割領域に対するセグメント値は1となる。
図12(a)のS104においては、上記優先ルールに従って、サブドットの位置が検出され、その検出結果にもとづいて、図5(a)の規則に従い、分割領域のセグメント値が取得される。
図16は、ウィンドウ領域に対する距離情報の取得処理を示すフローチャートである。図16の処理は、CPU21の距離取得部21bによって行われる。
距離情報の取得動作時において、CPU21は、まず、変数i、jに1を設定する(S201)。変数i、jは、それぞれ、ウィンドウ領域の位置を示す段数および画素数である。次に、CPU21は、i段/j画素目のウィンドウ領域Wijにおける画素値を参照し(S202)、参照した画素値に基づいて、図12(a)に示すフローチャートの処理により、当該ウィンドウ領域Wijに対する基準画素位置を取得する(S203)。ここで、基準画素位置を取得できない場合(S204:NO)、CPU21は、ウィンドウ領域Wijに対応する画素位置にエラーを設定する(S205)。他方、基準画素位置を取得できた場合、CPU21は、ウィンドウ領域Wijの横方向(X軸方向)の位置(ここでは、j)と、取得した基準画素位置とを減算し、当該ウィンドウ領域Wijに対する画素ずれ量Dijを取得する(S206)。そして、CPU21は、取得した画素ずれ量Dijに基づき距離値を算出し、算出した距離値を、当該ウィンドウ領域Wijの画素位置に設定する(S207)。
こうして、距離値の取得が完了すると、CPU21は、変数jが、撮像有効領域の右端に設定されるウィンドウ領域に対応する閾値Shjに達したか否かを判定する(S208
)。そして、変数jが閾値Shjに達していなければ(S208:YES)、変数jに1を加算し(S209)、S202に戻って、次のウィンドウ領域Wijに対する距離値の取得を実行する。こうして、1段目の全てのウィンドウ領域に対する距離値の取得が完了すると(S208:NO)、CPU21は、変数iが、撮像有効領域の最下段に対応する閾値Shiに達したか否かを判定する(S210)。そして、変数iが閾値Shiに達していなければ(S210:YES)、変数iに1を加算うるとともに、変数jを1に設定し(S211)、S202に戻って、次の段のウィンドウ領域Wijに対する距離値の取得を実行する。こうして、撮像有効領域に設定される全てのウィンドウ領域に対する距離値の取得が完了すると(S210:NO)、CPU21は、距離値の取得を終了する。
)。そして、変数jが閾値Shjに達していなければ(S208:YES)、変数jに1を加算し(S209)、S202に戻って、次のウィンドウ領域Wijに対する距離値の取得を実行する。こうして、1段目の全てのウィンドウ領域に対する距離値の取得が完了すると(S208:NO)、CPU21は、変数iが、撮像有効領域の最下段に対応する閾値Shiに達したか否かを判定する(S210)。そして、変数iが閾値Shiに達していなければ(S210:YES)、変数iに1を加算うるとともに、変数jを1に設定し(S211)、S202に戻って、次の段のウィンドウ領域Wijに対する距離値の取得を実行する。こうして、撮像有効領域に設定される全てのウィンドウ領域に対する距離値の取得が完了すると(S210:NO)、CPU21は、距離値の取得を終了する。
<実施の形態の効果>
本実施の形態によれば、以下の効果が奏され得る。
本実施の形態によれば、以下の効果が奏され得る。
ウィンドウ領域に含まれるドットの位置によって、当該ウィンドウ領域に含まれるドットの基準画像上における位置を取得できるため、基準ドットパターンに対応する画素値等を予め保持しておく必要がなく、また、ウィンドウ領域に含まれるドットの位置を基準画像上において探索する必要もない。よって、メモリ容量を削減しながら、比較的簡素な処理にて距離情報を取得することができる。
また、図15(b)、(c)を参照して説明したように、レーザ光源110の波長変動等によってドットが縦方向にずれたとしても、適正に画素ずれ量Dを取得することができ、結果、適正に距離値を取得することができる。
また、本実施の形態によれば、サブドットの位置により分割領域のセグメント値が取得され、さらに、9個のセグメント値の組合せにより、ウィンドウ領域の基準画素位置が取得されるため、基準画素位置を取得する際の演算処理を簡素かつ円滑に行うことができる。
また、本実施の形態では、9個のセグメント値の組合せに対応する基準画素位置を基準画素位置テーブルから取得する構成であるため、ウィンドウ領域に対する基準画素位置の取得処理を、簡素な処理により行うことができる。
なお、本実施の形態では、図6(b)に示すように、左右に隣り合うセグメント領域のセグメント値の合計値は、17、18、16の何れかの値となり、また、上下に隣り合うセグメント値の値は、常に、17となる。このため、実測時に分割領域について取得されたセグメント値を隣り合う分割領域間で比較し、取得されたセグメント値の合計値が上記規則に適合するかを確認することによって、セグメント値の適否を判断することができる。
以上、本発明の実施の形態について説明したが、本発明は、上記実施の形態に何ら制限されるものではなく、また、本発明の実施の形態も上記の他に種々の変更が可能である。
たとえば、上記実施の形態では、9個のセグメント領域を含むよう、参照領域が、縦15画素×横15画素のサイズに設定されたが、参照領域のサイズはこれに限定されるものではない。たとえば、4個のセグメント領域を含むよう、参照領域が、縦10画素×横10画素のサイズに設定されても良く、あるいは、6個のセグメント領域を含むよう、参照領域が、縦10画素×横15画素のサイズに設定されても良い。
また、上記実施の形態では、セグメント領域のサイズが、縦5画素×横5画素で有ったが、セグメント領域のサイズは、これに限定されるものではない。たとえば、セグメント
領域のサイズが、縦3画素×横3画素または縦7画素×横7画素であっても良く、あるいは、縦7画素×横3画素であっても良い。ただし、セグメント領域のサイズは、1つの画素に基準ドットとサブドットが同時に掛からないよう、基準ドットとサブドットが2画素以上離れるようなサイズに設定するのが望ましい。
領域のサイズが、縦3画素×横3画素または縦7画素×横7画素であっても良く、あるいは、縦7画素×横3画素であっても良い。ただし、セグメント領域のサイズは、1つの画素に基準ドットとサブドットが同時に掛からないよう、基準ドットとサブドットが2画素以上離れるようなサイズに設定するのが望ましい。
また、上記実施の形態では、図6(b)に示す規則に従ってセグメント領域が配置されたが、セグメント領域の配置規則は、これに限定されるものではない。たとえば、上記実施の形態では、1段目において組となる2つのセグメント領域を交互に入れ替えることにより、2段目のセグメント領域が配置されたが、1段目と同じ配列で、2段目のセグメント領域を配置しても良い。
また、上記実施の形態では、図5(a)に示す規則に従って、セグメント領域に基準ドットDRとサブドットDSが配置されたが、セグメント領域におけるドットの配置規則はこれに限定されるものではない。たとえば、基準ドットDRの配置位置は、必ずしもセグメント領域の中央で無くても良く、また、サブドットDSの配置も、必ずしも外周縁で無くても良い。ただし、基準ドットDRとサブドットDSは、2画素以上離れるのが望ましく、このためには、基準ドットDRはセグメント領域の中央位置に近く、サブドットDSはセグメント領域の外周縁に近い位置に位置付けるのが望ましい。
さらに、サブドットDSは、セグメント値の上昇に伴って反時計方向に移動するように配置されたが、セグメント値の上昇に伴って時計方向に移動するように配置されても良く、あるいは、セグメント値の上昇に伴って不規則に移動するように配置されても良い。
また、上記実施の形態では、参照領域がセグメント領域を9個含むよう構成されたが、参照領域がセグメント領域を含む数はこれに限定されず、たとえば、参照領域がセグメント領域を一つのみ含んでいても良い。
また、上記実施の形態では、左右方向に隣り合う2つのセグメント領域を組みとして、これら2つのセグメント領域のセグメント値の合計が17となっていたが、左右方向におけるセグメント値の規則はこれに限定されるものではなく、他の規則が用いられても良い。
なお、本実施の形態のドットパターンは、従来手法の距離情報取得装置、すなわち、予め、基準ドットパターンに対応する画素値等をメモリに保持しておき、ウィンドウ領域に含まれるドットの基準ドットパターン上における位置を探索する手法による距離情報取得装置に用いることも可能である。
また、上記実施の形態では、隣り合うウィンドウ領域が互いに重なるように、ウィンドウ領域が設定されたが、左右に隣り合うウィンドウ領域が、互いに重ならなくても良く、また、上下に隣り合うウィンドウ領域が、互いに重ならなくても良い。また、上下左右に隣り合うウィンドウ領域のずれ量は、1画素に限られるものではなく、ずれ量が他の画素数に設定されても良い。さらに、上記実施の形態では、ウィンドウ領域は、正方形状に設定されたが、長方形であっても良い。
また、上記実施の形態では、三角測量法を用いて距離情報が求められたが、三角測量法による演算なしに、画素ずれ量Dijを距離情報として取得しても良く、他の手法で距離情報を取得しても良い。
また、上記実施の形態では、目標領域に照射されるレーザ光の波長帯以外の波長帯の光を除去するためにフィルタ230を配したが、たとえば、目標領域に照射されるレーザ光
以外の光の信号成分を、CMOSイメージセンサ240から出力される信号から除去する回路構成が配されるような場合には、フィルタ230が省略され得る。 また、上記実施の形態では、受光素子として、CMOSイメージセンサ240を用いたが、これに替えて、CCDイメージセンサを用いることもできる。また、上記実施の形態では、光源として、レーザ光源110を用いたが、これに替えて、LED等の他の光源を用いることもできる。さらに、投射光学系100および受光光学系200の構成も、適宜変更可能である。
以外の光の信号成分を、CMOSイメージセンサ240から出力される信号から除去する回路構成が配されるような場合には、フィルタ230が省略され得る。 また、上記実施の形態では、受光素子として、CMOSイメージセンサ240を用いたが、これに替えて、CCDイメージセンサを用いることもできる。また、上記実施の形態では、光源として、レーザ光源110を用いたが、これに替えて、LED等の他の光源を用いることもできる。さらに、投射光学系100および受光光学系200の構成も、適宜変更可能である。
この他、本発明の実施の形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。
1 … 物体検出装置
2 … 情報取得装置
21b … 距離取得部
3 … 情報処理装置
100 … 投射光学系
110 … レーザ光源
200 … 受光光学系
240 … CMOSイメージセンサ(イメージセンサ)
120 … コリメータレンズ
140 … DOE(回折光学素子)
2 … 情報取得装置
21b … 距離取得部
3 … 情報処理装置
100 … 投射光学系
110 … レーザ光源
200 … 受光光学系
240 … CMOSイメージセンサ(イメージセンサ)
120 … コリメータレンズ
140 … DOE(回折光学素子)
Claims (11)
- 光源から出射された光を所定のドットパターンで目標領域に投射する投射光学系と、
前記投射光学系に対して並ぶように配置され、前記目標領域をイメージセンサにより撮像する受光光学系と、
実測時に前記イメージセンサにより撮像された前記ドットパターンを含む実測画像に基づいて、前記目標領域に含まれる物体までの距離に関する距離情報を取得する距離取得部と、を備え、
前記ドットパターンを構成するドットは、所定間隔で並ぶ参照領域毎に、前記ドットパターン上の位置を規定する配置パターンで配置され、
前記距離取得部は、前記実測画像上に前記参照領域を含むサイズのウィンドウ領域を設定し、前記ウィンドウ領域の前記実測画像上の位置である第1の位置と、前記ウィンドウ領域に含まれるドットから前記配置パターンに基づいて得られる第2の位置とに基づいて、前記距離情報を取得する、
ことを特徴とする情報取得装置。 - 請求項1に記載の情報取得装置において、
前記ドットパターンは、所定サイズのセグメント領域に区分され、前記セグメント領域に含まれるドットは、ドットの配置によって所定の値が取得される所定の配置規則によって配置され、
前記参照領域は、前記セグメント領域を少なくとも一つ含む、
ことを特徴とする情報取得装置。 - 請求項2に記載の情報取得装置において、
前記参照領域は、前記セグメント領域を複数含み、
前記参照領域に含まれる前記セグメント領域のドットから取得される前記値の組合せによって、前記参照領域の前記位置が規定される、
ことを特徴とする情報取得装置。 - 請求項3に記載の情報取得装置において、
前記セグメント領域のドットから取得される前記値の前記組合せと、前記参照領域の前記位置とを対応付けたテーブルを保持する記憶部を備え、
前記距離情報取得部は、前記参照領域について取得される前記値の前記組合せと前記テーブルとに基づいて、当該参照領域に対応する前記位置を取得する、
ことを特徴とする情報取得装置。 - 請求項2ないし4の何れか一項に記載の情報取得装置において、
前記セグメント領域は、前記セグメント領域であることを識別するために前記セグメント領域内に前記配置規則に従って配置された基準ドットと、前記セグメント領域に対する前記値を規定するために前記セグメント領域内に前記配置規則に従って配置されたサブドットとを含む、
ことを特徴とする情報取得装置。 - 請求項5に記載の情報取得装置において、
前記基準ドットと前記サブドットが前記イメージセンサ上において少なくとも2画素離れるように、前記セグメント領域のサイズと前記配置規則が設定されている、
ことを特徴とする情報取得装置。 - 請求項5または6に記載の情報取得装置において、
前記基準ドットは前記セグメント領域の中央に配置され、前記サブドットは、前記セグ
メント領域の外縁に配置されている、
ことを特徴とする情報取得装置。 - 請求項2ないし7の何れか一項に記載の情報取得装置において、
前記投写光学系と前記受光光学系の並び方向も隣り合う前記セグメント領域から取得される前記値が所定の規則に従うように、前記セグメント領域が配置されている、
ことを特徴とする情報取得装置。 - 請求項1ないし8の何れか一項に記載の情報取得装置において、
前記ドットパターンは、前記投写光学系と前記受光光学系の並び方向に所定の幅を持つ単位ドットパターンが、前記並び方向に繰り返し配置されることにより構成されている、ことを特徴とする情報取得装置。 - 請求項1ないし9の何れか一項に記載の情報取得装置において、
前記光源は、レーザ光源であり、
前記投射光学系は、前記レーザ光源と、前記レーザ光源から出射されたレーザ光が入射するコリメータレンズと、前記コリメータレンズを透過したレーザ光を前記ドットパターンのレーザ光に変換する回折光学素子とを含む、
ことを特徴とする情報取得装置。 - 請求項1ないし10の何れか一項に記載の情報取得装置と、
前記距離情報に基づいて、所定の対象物体を検出する物体検出部と、を備える、
ことを特徴とする物体検出装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012177603A JP2014035304A (ja) | 2012-08-09 | 2012-08-09 | 情報取得装置および物体検出装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012177603A JP2014035304A (ja) | 2012-08-09 | 2012-08-09 | 情報取得装置および物体検出装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2014035304A true JP2014035304A (ja) | 2014-02-24 |
Family
ID=50284347
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012177603A Pending JP2014035304A (ja) | 2012-08-09 | 2012-08-09 | 情報取得装置および物体検出装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2014035304A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018155269A1 (ja) * | 2017-02-27 | 2018-08-30 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
JP2020143941A (ja) * | 2019-03-04 | 2020-09-10 | ファナック株式会社 | 測距装置を有する物体監視システム |
-
2012
- 2012-08-09 JP JP2012177603A patent/JP2014035304A/ja active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018155269A1 (ja) * | 2017-02-27 | 2018-08-30 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
JP2020143941A (ja) * | 2019-03-04 | 2020-09-10 | ファナック株式会社 | 測距装置を有する物体監視システム |
JP7306840B2 (ja) | 2019-03-04 | 2023-07-11 | ファナック株式会社 | 測距装置を有する物体監視システム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6484072B2 (ja) | 物体検出装置 | |
JP5138116B2 (ja) | 情報取得装置および物体検出装置 | |
WO2012137674A1 (ja) | 情報取得装置、投射装置および物体検出装置 | |
JP5138119B2 (ja) | 物体検出装置および情報取得装置 | |
JP5214062B1 (ja) | 情報取得装置および物体検出装置 | |
JP5143312B2 (ja) | 情報取得装置、投射装置および物体検出装置 | |
WO2014108976A1 (ja) | 物体検出装置 | |
JP2012237604A (ja) | 情報取得装置、投射装置および物体検出装置 | |
JP2022532725A (ja) | 3次元深度マップデータの2次元画像上へのマッピング | |
JP5143314B2 (ja) | 情報取得装置および物体検出装置 | |
JPWO2013015145A1 (ja) | 情報取得装置および物体検出装置 | |
WO2012144340A1 (ja) | 情報取得装置および物体検出装置 | |
JP2014035304A (ja) | 情報取得装置および物体検出装置 | |
JP2014052307A (ja) | 情報取得装置および物体検出装置 | |
WO2013015146A1 (ja) | 物体検出装置および情報取得装置 | |
JP2014021017A (ja) | 情報取得装置および物体検出装置 | |
JP2014085282A (ja) | 情報取得装置および物体検出装置 | |
JP2014085257A (ja) | 情報取得装置および物体検出装置 | |
JP2014035294A (ja) | 情報取得装置および物体検出装置 | |
JP2013246009A (ja) | 物体検出装置 | |
JP2014112033A (ja) | 受光装置、物体検出装置および情報取得装置 | |
US20220414916A1 (en) | Systems and methods for assigning a symbol to an object | |
JP2013234956A (ja) | 情報取得装置および物体検出装置 | |
JP2014238262A (ja) | 情報取得装置および物体検出装置 | |
JP2013234957A (ja) | 情報取得装置および物体検出装置 |