JP2020148700A - 距離画像センサ、および角度情報取得方法 - Google Patents

Abstract

【課題】画素ごとに距離の計測方向に関する精度の良い情報を取得することが可能な距離画像センサを提供する。【解決手段】距離画像センサは、複数画素から各々の画素が受光した光に関する情報を取得するイメージャ受光素子型の距離画像センサであって、距離情報算出部３２と、記憶部１４と、を備える。距離情報算出部３２は、撮像素子２２の画素ごとに対象物までの距離を算出する。記憶部１４は、各々の画素に対して取得した角度情報と、画素ごとに計測された距離を関連付けて記憶する。【選択図】図１

Description

本発明は、距離画像センサ、および角度情報取得方法に関する。

近年、ＴＯＦ（Time Of Flight）方式で対象物までの距離を画素ごとに計測し、画像を作成する距離画像センサが知られている（例えば、特許文献１参照。）。
距離画像センサでは、対象物を含む撮像範囲に向けて光を投射し、対象物での反射光をレンズで集光し、撮像素子の画素に入射させている。撮像素子の画素ごとに、入射した光と投射した光の位相差が計測され、位相差から画素ごとに対象物までの距離が検出される。

このように画素ごとに計測された対象物までの距離から３次元距離画像を生成するためには、画素ごとに計測された距離の計測方向に関する情報が必要になる。この計測方向に関する情報としては、画素ごとに設計において算出された角度の値が用いられていた。

特開２０１８−１３６１２３号公報

しかしながら、レンズや組み付けにおけるばらつきが起因となり、センサ間において画素ごとの角度情報が異なる場合があった。
本発明は、画素ごとに距離の計測方向に関する精度の良い角度情報を取得することが可能な距離画像センサ、および角度情報取得方法を提供することを目的とする。

第１の発明にかかる距離画像センサは、複数画素から各々の画素が受光した光に関する情報を取得するイメージャ受光素子型の距離画像センサであって、距離算出部と、記憶部と、を備える。距離算出部は、受光素子の画素ごとに対象物までの距離を算出する。記憶部は、各々の画素に対して取得した角度情報と、画素ごとに計測された距離を関連付けて記憶する。
これにより、画素ごとに取得した角度情報と画素ごとに算出した距離を記憶することができるため、正確な３次元距離画像を作成することができる。

第２の発明にかかる距離画像センサは、第２の発明にかかる距離画像センサであって、画素ごとに計測された距離と画素に対して取得した角度情報を送信する送信部を更に備える。
これにより、距離画像センサに接続した外部機器において、３次元距離画像を作成することができる。

第３の発明にかかる角度情報取得方法は、受光ステップと、画像作成ステップと、取得ステップと、を備える。受光ステップは、距離画像センサに対する位置が予め定められた所定画像に距離画像センサから光を投射し、所定画像で反射した光を距離画像センサの受光素子によって受光する。画像作成ステップは、受光素子における各々の画素が受光した反射光の振幅に関する情報から、所定画像に対応する反射強度画像を作成する。取得ステップは、反射強度画像に基づいて、各々の画素が距離を計測する方向に関する角度情報を取得する。

このように、距離画像センサに対する位置が予め定められた所定画像に対応する反射強度画像を作成し、所定画像の各位置と、所定画像に対応する反射強度画像の各位置の対応関係から各画素の距離を計測する方向に関する角度情報を検出することができる。
このため、画素ごとに距離の計測方向に関する精度の良い角度情報を取得することができる。

第４の発明にかかる角度情報取得方法は、第３の発明にかかる角度情報取得方法であって、取得ステップは、所定画像のうち距離画像センサからの方向が規定されている規定位置に対応する反射強度画像の位置の画素に対して、規定位置の距離画像センサからの方向を角度情報として取得する。
このように、予め距離画像センサからの方向が規定されている規定位置を検出した画素について、その方向を、距離を計測する角度情報として取得することができる。

第５の発明にかかる角度情報取得方法は、第４の発明にかかる角度情報取得方法であって、所定画像のうち距離画像センサからの方向が規定されていない非規定位置に対応する反射強度画像の位置の画素に対する角度情報を、規定位置に対応する反射強度画像の位置の前記画素で取得された角度情報から補完することによって取得する。
このように、所定画像中の距離画像センサからの方向が規定されていない非規定位置を検出した画素については、規定位置を検出した画素の角度情報から補完計算を行うことによって、角度情報を取得することができる。

第６の発明にかかる角度情報取得方法は、第３〜５のいずれかの発明にかかる角度情報取得方法であって、角度情報は、第１角度と第２角度を含む。第１角度は、受光素子の受光面に垂直な所定の軸に対する、各々の画素の計測方向の成す角度である。第２角度は、所定軸を中心とした周方向の角度であって、基準となる位置から計測方向までの回転角度である。
これら第１角度と第２角度によって、各々の画素の計測方向を規定することができる。

第７の発明にかかる角度情報取得方法は、第６の発明にかかる角度情報取得方法であって、所定画像は、第１角度を取得する際の基準となる第１角度用画像と、第２角度を取得する際の基準となる第２角度用画像と、を有する。
このように、２つの角度用画像を含む所定画像に対応する反射強度画像を作成することによって、各々の画素について第１角度と第２角度を取得することができる。

第８の発明にかかる角度情報取得方法は、第７の発明にかかる角度情報取得方法であって、所定の軸の受光面との交点と第１角度用画像上の点を通る直線と所定の軸によって形成される角度は、予め規定された第１所定角度である。第１所定角度は、複数設けられている。取得ステップでは、複数の第１所定角度に基づいて、第１角度を取得する。
これにより、第１角度用画像を用いて、画素ごとに第１角度を取得することができる。

第９の発明にかかる角度情報取得方法は、第８の発明にかかる角度情報取得方法であって、第１角度用画像は、所定の軸上の中心点および中心点を中心とした複数の同心円を有する。
このように、複数の同心円の画像を用いることによって、画素ごとに第１角度を取得することができる。

第１０の発明にかかる角度情報取得方法は、第７の発明にかかる角度情報取得方法であって、第２角度用画像は、所定の軸上の中心点から所定の軸に対して垂直に設けられた基準線から、中心点を中心に予め規定された第２所定角度分、基準線を回転させた直線を有する。第２所定角度は、複数設けられている。取得ステップでは、複数の第２所定角度に基づいて、第２角度を取得する。基準となる位置は、基準線上の位置である。
これにより、第２角度用画像を用いて、画素ごとに第２角度を取得することができる。

第１１の発明にかかる角度情報取得方法は、第１０の発明にかかる角度情報取得方法であって、第２角度用画像は、所定の軸上の中心点を中心に放射状に配置された複数の直線を有する。
このように、放射状に配置された複数の直線の画像を用いることによって、画素ごとに第１角度を取得することができる。

第１２の発明にかかる角度情報取得方法は、第３〜１１のいずれかの発明にかかる角度情報取得方法であって、所定画像は、画像形成面に形成されている。画像形成面は、距離画像センサに対向して配置されている。
所定画像が形成された画像形成面を、距離画像センサに対して位置決めした状態で、所定画像に光を投射することによって、画素ごとに角度情報を取得することができる。

第１３の発明にかかる角度情報取得方法は、第３〜１１のいずれかの発明にかかる角度情報取得方法であって、所定画像は、点が形成された画像形成面に対して、距離画像センサを動かすことによって形成される画像である。
点に対して距離画像センサ側を動かすことによって、仮想的に所定画像を形成することができる。そして距離画像センサ側の回転角を予め規定することによって、画素ごとに角度情報を取得することができる。

第１４の発明にかかる距離画像センサは、第３〜１３のいずれかの発明の角度情報取得方法によって各々の画素の角度情報を取得した距離画像センサであって、投光部と、受光部と、距離算出部と、記憶部と、を備える。投光部は、対象物に対して光を投射する。受光部は、対象物で反射した光を集光する受光レンズと、受光レンズを通過した光を受光する受光素子と、を有する。距離算出部は、受光素子の画素ごとに対象物までの距離を算出する。記憶部は、各々の画素に対して取得した角度情報と、画素ごとに算出された距離を関連付けて記憶する。
これにより、画素ごとに、角度情報と距離を記憶することができるため、正確な３次元距離画像を作成することができる。

第１５の発明にかかる距離画像センサは、第１４の発明にかかる距離画像センサであって、送信部を更に備える。送信部は、画素ごとに計測された距離と画素に対して取得した角度情報を送信する。

これにより、距離画像センサに接続した外部機器において、３次元距離画像を作成することができる。

本発明によれば、画素ごとに距離の計測方向に関する精度の良い角度情報を取得することが可能な角度情報取得方法、および距離画像センサを提供することができる。

本発明にかかる実施の形態のＴＯＦセンサの構成を示すブロック図。 投光波と受光波のグラフを示す図。 （ａ）〜（ｄ）３次元情報データを説明するための図。 本発明にかかる実施の形態の角度情報取得方法におけるチャートとＴＯＦセンサの配置関係を示す図。 図１のＴＯＦセンサにおいてチャート線上に存在する画素の角度情報取得動作を示すフロー図。 図１のＴＯＦセンサの撮像素子によるチャートの読み取りイメージを示す図。 図１のＴＯＦセンサの撮像素子によるチャートの読み取りイメージを示す図。 チャートの線上に存在しない画素の角度情報取得動作を示すフロー図。 チャートの線上に存在しない画素の角度情報取得動作を説明するための図。 本発明の実施の形態の変形例におけるＴＯＦセンサの画素の角度情報読み取り動作を示す図。 チャートとレンズと撮像素子の配置を示す模式図。 （ａ）撮像素子に対するレンズの横ズレが発生していない状態において検査用チャートを読み取った際の撮像素子上のイメージ図、（ｂ）撮像素子に対するレンズの横ズレが発生している状態において検査用チャートを読み取った際の撮像素子上のイメージ図。

本発明にかかる実施の形態の距離画像センサの一例であるＴＯＦセンサおよびＴＯＦセンサの角度情報取得方法について、図面を参照しながら以下に説明する。
（ＴＯＦセンサの構成）
本実施の形態のＴＯＦセンサ１０（距離画像センサの一例）は、イメージャ受光素子型であって、投光部１１から測定対象物１００に向かって照射された光の反射光を受光して、光が照射されてから受光されるまでの光の飛行時間（ＴＯＦ）に応じて、測定対象物１００までの距離を表示する。

ＴＯＦセンサ１０は、図１に示すように、投光部１１と、受光部１２と、制御部１３と、記憶部１４と、外部ＩＦ（インターフェース）１５（送信部の一例）と、を備えている。
投光部１１は、ＬＥＤ（図示せず）を有している、測定対象物１００に対して、所定の変調周波数（例えば、１２ＭＨｚ）で処理された所望の光を照射する。なお、投光部１１には、ＬＥＤから照射された光を集光して測定対象物１００の方向へ導く投光レンズ（図示せず）が設けられている。

受光部１２は、投光部１１から投射された光の測定対象物１００における反射光を受光する。受光部１２は、受光レンズ２１と、撮像素子２２（受光素子の一例）と、を有する。受光レンズ２１は、投光部１１から測定対象物１００に対して照射され、測定対象物１００において反射した反射光を受光して、撮像素子２２へと導くために設けられている。
撮像素子２２は、複数の画素を有しており、図１に示すように、受光レンズ２１において受光された反射光を、複数の画素のそれぞれにおいて受光して、光電変換した電気信号を制御部１３へと送信する。

制御部１３は、図１に示すように、投光部１１、撮像素子２２、記憶部１４、および外部ＩＦ１５と、接続されている。そして、制御部１３は、記憶部２４に保存された各種プログラムを読み込んで、投光部１１による光の照射を制御する。
さらに、制御部１３は、撮像素子２２に含まれる複数の画素において受光したタイミング等のデータを受信して、投光部１１から測定対象物１００に向かって光が照射されてから、撮像素子２２においてその反射光を受信するまでの光の飛行時間に基づいて、測定対象物１００までの距離を測定する。測定結果は、制御部１３から記憶部１４へ送信され記憶部１４で記憶される。

制御部１３は、プロセッサー等によって構成され、取得部３０と、位相差情報算出部３１と、距離情報算出部３２（距離算出部の一例）と、反射強度情報算出部３３と、反射強度画像作成部３４と、角度情報取得部３５と、を有する。
図２は、投光波と受光波のグラフを示す図である。
取得部３０は、撮像素子２２から出力されるａ０、ａ１、ａ２、およびａ３を撮像素子２２の画素ごとに取得する。ａ０〜ａ３は、受光波を９０度間隔で４回サンプリングしたポイントにおける振幅である。

位相差情報算出部３１は、投光部１１から照射された投光波と、撮像素子２２において受光した受光波との位相差φを撮像素子２２の画素ごとに算出する。位相差φは、以下の関係式で示される。
位相差Φ＝ａｔａｎ（ｙ／ｘ） ・・・・・（１）
（ｘ＝ａ２−ａ０，ｙ＝ａ３−ａ１）
距離情報算出部３２は、算出された位相差φに基づいて、画素ごとに、画素から測定対象物１００までの距離を演算する。

位相差Φから距離Ｄへの変換式は、以下の関係式（２）によって示される。
Ｄ＝（ｃ／（２×ｆ_ＬＥＤ））×（Φ／２π）＋Ｄ_{ＯＦＦＳＥＴ} ・・・・・（２）
（ｃは、光速（≒３×１０^８ｍ／ｓ）、ｆ_ＬＥＤは、ＬＥＤの投光波の周波数、Ｄ_{ＯＦＦＳＥＴ}は、距離オフセット。）
反射強度情報算出部３３は、受光波のサンプリングした４つのポイントにおける反射強度から画素ごとの反射強度値Ｓを算出する。具体的には、反射強度情報算出部３３は、以下の関係式（３）によって、画素ごとに反射強度値Ｓを求める。この反射強度値Ｓは、対象物からの反射光（受光）の強度を示す。

反射強度画像作成部３４は、算出した反射強度値Ｓから反射強度画像を作成する。反射強度画像作成部３４は、画素ごとの角度情報を取得する際に用いられる白色と黒色で形成された検査用チャート５０（後述する）からの反射光の強度を画像化する。詳しくは後述するが、角度情報は、画素ごとの距離の計測方向に関する情報である。
角度情報取得部３５は、振幅が画像化された反射強度画像に基づいて、画素ごとに角度情報を取得する。

なお、距離情報算出部３２は、画素ごとに測定対象物１００までの距離情報を算出すると、検出距離と、記憶部１４に記憶されている角度情報を関連付けて記憶部１４に記憶させる。
記憶部１４は、制御部２３および外部ＩＦ１５と接続されており、角度情報取得部３５で取得された画素ごとの角度情報と、角度情報に関連付けられた距離情報とを記憶する。また、記憶部１４は、投光部１１および撮像素子２２を制御するための制御プログラム、撮像素子２２において検出された反射光の光量、受光タイミング等のデータも保存する。また、記憶部１４には、後述する検査用チャート５０に関する情報も記憶されている。

外部ＩＦ１５は、外部コンピュータ等に、画素ごとに計測された距離情報と、画素ごとの角度情報を互いに関連付けた状態で送信する。この画素ごとの角度情報と距離情報が、３次元情報データとなり、外部コンピュータは、３次元情報データに基づいて、３次元距離画像を作成し、表示画面に表示などを行う。

（３次元情報データの構成）
次に、３次元情報データについて説明する。図３（ａ）〜（ｄ）は、３次元情報データを説明するための図である。
角度情報は、第１角度θ１（図３（ａ）参照）と第２角度θ２（図３（ｂ）参照）とを含んでいる。第１角度θ１と第２角度θ２の取得方法については後段にて詳述する。
距離ｄは、ＴＯＦセンサ１０によって計測された値とする。この３つの値から、撮像された画像の３次元上の位置を示すｘｙｚ座標の位置が求められる。
図３（ａ）には、撮像素子２２が示されている。撮像素子２２は、例えば縦１２０画素×横３２０画素の大きさである。撮像素子２２の受光面２２ａの横方向をＸ軸とし、縦方向をＹ軸とする。また、撮像素子２２の受光面２２ａに対して垂直な軸をＺ軸とする。このときに、３次元空間上の点６１の位置が、第１角度θ１と第２角度θ２と距離ｄを用いて示される。

点６１からＺ軸に垂直に向かって延ばした線６２とＺ軸の交わる点６３を中心として、点６１を通る円６４が描かれる。ここで、第１角度θ１は、受光面２２ａとＺ軸の交わる原点６５と円６４上を結ぶ直線６６とＺ軸との形成する角度である。原点６５は、受光面２２ａの中心点としてもよい。図３（ａ）では、一例として第１角度θ１は４０°とする。すなわち、円６４上のいずれの点も第１角度θ１が４０°となる。

また、第２角度θ２は、点６３を通ってＸ軸と平行な直線６７と線６２との形成する角度である。図３（ａ）では、一例として第２角度θ２は２１°とする。
図３（ｂ）は、撮像素子２２の受光面２２ａを示す図である。図３（ｂ）に示すように、受光面２２ａに、円６４に対応する円６４´、点６１に対する点６１´および第２角度θ２が示されている。

３次元情報のうちＺ値を求める際には、第２角度θ２の値は使用せずに求めることができる。図３（ｃ）は、図３（ａ）の平面図である。すなわち、図３（ｃ）に示すように、原点６５から円６４までの直線６６の長さは、検出距離ｄとして得られているため、原点からの点６１のＺ値はｄｃｏｓ４０°で求めることができる。
直線６７の点６３から円６４上までの線分の長さをＸＡとすると、ＸＡの長さは、ＸＡ＝Ｚ×ｔａｎ４０°で求めることができる。

図３（ｄ）は、図３（ａ）の円６４を撮像素子２２と反対側から視た背面図である。図３（ｄ）に示すように、点６１のｘ座標のＸ値は、Ｘ＝ＸＡ×ｃｏｓ２１°で求めることができる。さらに、点６１のｙ座標のＹ値は、Ｙ＝ＸＡ×ｃｏｓ（９０°−２１°）で求めることができる。
以上のように、第１角度θ１、第２角度θ２および計測距離ｄの値から３次元座標の値（Ｘ、Ｙ、Ｚ）を算出することができる。このため、画素ごとに取得された第１角度θ１および第２角度θ２と計測された計測距離ｄによって、３次元距離画像を作成することができる。

（角度情報取得方法）
次に、本実施の形態のＴＯＦセンサ１０の画素ごとの角度情報を取得する方法について説明するとともに、本発明の角度情報取得方法の一例についても同時に述べる。

（検査用チャート）
はじめに、角度情報取得方法に用いられる検査用チャート５０（所定画像の一例）について説明する。図４は、検査用チャート５０とＴＯＦセンサ１０を示す斜視図である。検査用チャート５０とＴＯＦセンサ１０は、対向して配置されている。検査用チャート５０の画像形成面が５０ａとして示されている。
図４に示す検査用チャート５０（所定画像の一例）は、同心円チャート７０（第１角度用画像の一例）と、放射状チャート８０（第２角度用画像の一例）と、を有する。
同心円チャート７０には、所定の中心点７１を中心とした複数の同心円７２、７３、７４、７５が描かれている。円７２、７３、７４、７５の順に径が大きく形成されている。
ＴＯＦセンサ１０は、その撮像素子２２の受光面２２ａの中央から受光面２２ａに対して垂直な中心軸１０ａが中心点７１を通るように、検査用チャート５０に対して位置決めされている。なお、受光面２２ａの中心が中心点２２ｃとして示されている。

円７２、７３、７４、７５のうちいずれかの円上の点と中心点２２ｃを結ぶ線と中心軸１０ａによって形成される角度が、第１角度θ１を示している。例えば、円７２では第１角度θ１は１０度に設定され、円７３では第１角度θ１は２０度に設定され、円７４では第１角度θ１は３０度に設定され、円７５では第１角度θ１は４０度に設定されている。これら１０°、２０°、３０°、４０°が、予め規定された複数の第１所定角度の一例に対応する。また、一例として、円７５の直径は０．８４ｍであり、半径は０．４２ｍに設定できる。また、ＴＯＦセンサ１０と検査用チャート５０の間の中心軸１０ａに添った距離は、０．５ｍに設定できる。

放射状チャート８０には、中心点７１から放射状に伸びる線８１〜９６が描かれている。
また、中心点７１から水平方向の一方に延ばされた線を基準線８１とする。中心点７１を中心にして基準線８１を図４における反時計周り（矢印Ｂ参照）に回転させたそれぞれの線８２〜９６と基準線８１によって形成される角度が、第２角度θ２を示している。例えば、線８１は、第２角度θ２が２２．５度に設定され、基準線８１から反時計周りに２２．５度回転させた線を示す。線８２は、第２角度θ２が４５度に設定され、基準線８１から反時計周りに４５度回転させた線を示す。線８３は、第２角度θ２が６７．５度に設定され、基準線８１から反時計周りに６７．５度回転させた線を示す。このように、線８２〜線９６まで、基準線８１からの回転角度が反時計周りに２２．５度ずつ増加している。例えば、線９６は、第２角度θ２が３３７．５度に設定され、基準線８１から反時計周りに３３７．５度回転された線である。これら０°、２２．５°、４５°、６７．５°、９０、１１２．５°、１３５°、１５７．５°、１８０°、２０２．５°、２２５°、２４７．５°、２７０°、２９２．５°、３１５°、３３７．５°が、予め規定された複数の第２所定角度の一例に対応する。

例えば、基準線８１と円７５の交点９７の位置は、θ１＝４０°、θ２＝０°で示すことができる。また、線８１と円７５の交点９８の位置は、θ１＝４０°、θ２＝２２．５°で示すことができる。

（チャートの線上に位置する画素の角度情報取得）
次に、ＴＯＦセンサ１０から検査用チャート５０の線上の点までの距離を検出する画素の角度情報の取得について説明する。
図５は、本実施の形態の角度情報取得方法を示すフロー図である。
はじめに、ステップＳ１０（受光ステップの一例）において、ＴＯＦセンサ１０からの位置決めが行われた検査用チャート５０に対して、ＴＯＦセンサ１０から光が投射され、反射強度情報算出部３３は、撮像素子２２の画素ごとに、図２に示すａ０、１、２、３を取得する。このステップＳ１０が、受光ステップの一例に対応する。

次に、ステップＳ１１において、反射強度情報算出部３３が、各画素の降り幅情報を計算し、反射強度画像作成部３４が、反射強度画像として白黒画像を作成する。このステップＳ１１が、画像作成ステップの一例に対応する。
図６および図７は、撮像素子２２による検査用チャート５０の読み取りイメージを示す図である。図６および図７では、撮像素子２２の受光面２２ａとは反対側から受光面２２ａを視た場合における読み取りイメージが示されている。白黒チャート画像５０´は、同心円画像７０´と、放射状画像８０´を含む。同心円画像７０´は、同心円チャート７０に対応する反射強度画像である。放射状画像８０´は、放射状チャート８０に対応する反射強度画像である。検査用チャート５０の同心円チャート７０の中心点７１ならびに円７２〜７５および放射状チャート８０の線８１〜９６に対応する画像を、それぞれの符号に´を付加した点画像７１´ならびに円画像７２´〜７５´および線画像８１´〜９６´で示す。また撮像素子２２の受光面２２ａ上に形成された１マスが１つの画素Ｐを示す。なお、実際には撮像素子２２は、縦１２０画素×横３２０画素を有しているが、説明のために画素Ｐを大きく記載している。

また、図６では、撮像素子２２上において同心円画像７０´は円状に形成されているが、図７では、楕円状に形成されている。図６および図７に示すような差は、ＴＯＦセンサ１０ごとの撮像素子２２に対する受光レンズ２１の組み付けのばらつき等に起因するが、それぞれのＴＯＦセンサ１０での、画素ごとの角度情報を取得することにより、３次元情報に変換した際には双方のＴＯＦセンサ１０で同様の距離画像を取得することができる。

次に、ステップＳ１２において、角度情報取得部３５が、白黒チャート画像５０´における交点（規定位置の一例）を検出する。交点は、同心円画像７０´と放射状画像８０´の各交点である。角度情報取得部３５は、交点９７´、９８´を検出する。この交点９７´、９８´は、図４に示す検査用チャート５０の交点９７、９８の画像に対応する。
次に、ステップＳ１３において、角度情報取得部３５は、交点に対応する画素Ｐに交点の角度（θ１、θ２）を割り付ける。角度情報取得部３５は、記憶部１４に記憶されているチャート５０の情報に基づいて、作成した同心円画像７０´の中心点画像７１´および円画像７２´〜７５´のそれぞれの第１角度θ１と、作成した放射状画像８０´の線画像８１´〜９６´のそれぞれの第２角度θ２が認識できるため、各交点における角度情報を取得することができる。

交点９７´と交点９８´を例に挙げて説明すると、交点９７´が存在する画素Ｐ（Ｐ１と示す）の第１角度θ１には、交点９７の第１角度θ１である４０°が割り付けられ、第２角度θ２には、交点９７の第２角度θ２である０°が割り付けられる。また、交点９８´が存在する画素Ｐ（Ｐ２と示す）の第１角度θ１には、交点９８の第１角度θ１である４０°が割り付けられ、第２角度θ２は、交点９８の第２角度θ２である２２．５°が割り付けられる。これによって、同心円画像７０´と放射状画像８０´の全ての交点の画素Ｐについて角度情報が割り付けられる。

次に、ステップＳ１４において、角度情報取得部３５は、θ１を１０°とする。
次に、ステップＳ１５において、角度情報取得部３５は、θ２を０°とする。
次に、ステップＳ１６において、角度情報取得部３５は、隣り合う交点であるθ２とθ２＋２２．５°上にある画素を、それらの間にある画素数に応じて分割して補完する。すなわち、θ１＝１０°の円画像７２´上に沿って、θ２＝０°の線画像８１´と円画像７２´の交点からθ２＝２２．５°の線画像８２´と円画像７２´の交点までの間の画素の角度情報が、線画像８１´と円画像７２´の交点の角度情報と、線画像８２´と円画像７２´の交点の角度情報を用いて補完される。白黒チャート画像５０´における交点以外の点が、非規定位置の一例に対応する。

具体的には、θ２とθ２＋２２．５°の間に４画素存在する場合、補完される画素のθ２は、θ２＋２２．５°／５、θ２＋（２２．５°／５）×２、θ２＋（２２．５°／５）×３、θ２＋（２２．５°／５）×４となる。すなわち、角度情報（θ１、θ２）が（１０°、０°）の交点から、角度情報（θ１、θ２）が（１０°、２２．５°）の交点の間の４画素の角度情報（θ１、θ２）は、それぞれ（１０°、４．５°）、（１０°、９°）、（１０°、１３．５°）、（１０°、１８°）となる。

次に、ステップＳ１７において、角度情報取得部３５は、隣り合う交点θ１−１０°とθ１上に存在する画素をそれらの間にある画素数に応じて分割して補完する。すなわち、θ２＝０の線画像８１´上に沿って、θ１＝０°である中心点２２ｃから線画像８１´と円画像７２´の交点までの間の画素の角度情報が、中心点２２ｃの角度情報と、線画像８１´と円画像７２´の交点の角度情報を用いて補完される。

具体的には、θ１とθ１−１０°の間に４画素存在する場合、補完される画素のθ１は、θ１−１０°＋１０°／５、θ１−１０°＋（１０°／５）×２、θ１−１０°＋（１０°／５）×３、θ１−１０°＋（１０°／５）×４となる。すなわち、角度情報（θ１、θ２）が（０°、０°）の中心点２２ｃから、角度情報（θ１、θ２）が（１０°、０°）の交点の間の４画素の角度情報（θ１、θ２）は、それぞれ（２°、０°）、（４°、０°）、（６°、０°）、（８°、０°）となる。

次に、ステップＳ１８において、角度情報取得部３５は、θ２をθ２＋２２．５°とする。今回、θ２＝０°のため、θ２＝２２．５°とする。
次に、ステップＳ１９において、角度情報取得部３５は、θ２＝３６０°であるか否かの判定を行う。ここで、θ２＝２２．５°であり、未だθ２＝３６０°ではないため、ステップＳ１６に戻る。ステップＳ１６において、角度情報（θ１、θ２）が（１０°、２２．５°）である交点と角度情報（θ１、θ２）が（１０°、４５°）である交点の間であってθ１＝１０°の円画像７２´に沿って存在する画素の補完が行われる。

次に、ステップＳ１７において、角度情報（θ１、θ２）が（０°、０°）である交点と角度情報（θ１、θ２）が（１０°、２２．５°）である交点の間であってθ２＝２２．５°の線画像８２´に沿って存在する画素の補完が行われる。
このステップＳ１６、Ｓ１７が、θ２＝３６０°になるまで行われる。これによって、円画像７２´上と、中心点２２ｃから線画像８１´〜９６´の円画像７２´との交点までの線分上の画素の補完が行われる。

次に、ステップＳ２０において、角度情報取得部３５は、第１角度θ１が４０°であるか否かの判定を行う。ここで、θ１＝１０°であり、未だθ１＝４０°でないため、ステップＳ２１において、角度情報取得部３５は、θ１をθ１＋１０°（２０°）とする。
次に、ステップＳ１５に戻り、角度情報取得部３５は、第２角度θ２を０°とする。
次に、ステップＳ１６において、角度情報取得部３５は、角度情報が（２０°、０°）の交点と、角度情報が（２０°、２２．５°）の交点の間に存在する画素のそれぞれの角度情報を補完して算出する。

次に、ステップＳ１７において、角度情報取得部３５は、角度情報が（１０°、０°）の交点と、角度情報が（２０°、０°）の交点の間に存在する画素のそれぞれの角度情報を補完して算出する。
このステップＳ１６、Ｓ１７が、ステップＳ１９においてθ２＝３６０°になるまで繰り返される。これによって、円画像７２´上と、中心点画像７１´から線画像８１´〜９６´の円画像７２´との交点までの線分上の画素の補完が行われる。

次に、ステップＳ２０において、θ１が未だ４０°に達していないため、ステップＳ２１においてθ１を更に１０°増やしてθ１＝３０°でステップＳ１５〜ステップＳ１９が行われる。これによって、円画像７３´上と、線画像８１´〜９６´の円画像７２´との交点から円画像７３´との交点までの線分上の画素の補完が行われる。
次に、ステップＳ２０において、θ１が未だ４０°に達していないため、ステップＳ２１においてθ１を更に１０°増やしてθ１＝４０°でステップＳ１５〜ステップＳ１９が行われる。これによって、円画像７４´上と、線画像８１´〜９６´の円画像７３´との交点から円画像７４´との交点までの線分上の画素の補完が行われる。

そして、ステップＳ２０において、θ１＝４０°であるため、チャート線上の画素の角度情報取得動作は終了する。
以上の動作によって、円画像７２´〜７４´および線画像８１´〜９６´の全ての線上に存在する画素Ｐの角度情報を取得することができる。なお、ステップＳ１２〜ステップＳ２１が、取得ステップの一例に対応する。

（チャートの線上に位置しない画素の角度情報取得）
図８は、チャートの線上に存在しない画素の角度情報取得動作を示すフロー図である。図９は、チャートの線上に存在しない画素の角度情報取得動作を説明するための図である。図９は、図６の拡大図である。
ステップＳ２０およびステップＳ２１は、上述したステップＳ１０およびステップＳ１１と同様であるため、説明を省略する。

次に、ステップＳ２２において、角度情報取得部３５は、図９に示すように、対象画素から中心点２２ｃに向けて仮想線Ｌ１（図９参照）を引く。図９では、対象画素がＰ３として示されている。
ここで、上述した線上に存在する画素の角度情報を取得した後に、線上に存在しない画素の角度情報取得動作を行う場合には、対象画素としては、円画像７５´の内側であって角度情報が取得されていない画素となる。また、この場合、図８のステップＳ１０およびステップＳ１１において、振り幅情報の画像化は済んでいるため、図９におけるステップＳ２０およびステップＳ２１は省略できる。

一方、上述した線上に存在する画素の角度情報を取得せずに、線上に存在しない画素の角度情報取得動作を行う場合、対象画素は、円画像７５´の内側であって線上に位置していない画素となり、図９におけるステップＳ２０およびステップＳ２１は実行される。
次に、ステップＳ２３において、角度情報取得部３５は、対象画素Ｐ３の第１角度θ１を算出して取得する。具体的には、仮想線Ｌ１と対象画素Ｐ３に最も近い内側の円画像との交点と、仮想線Ｌ１と対象画素Ｐ３に最も近い外側の円画像との交点と対象画素Ｐ３との位置関係を比率によって求めることによって、第１角度θ１が算出される。

図９では、対象画素Ｐ３に最も近い内側の円画像７４´と仮想線Ｌ１の交点１０１が示され、対象画素Ｐ３に最も近い外側の円画像７５´と仮想線Ｌ１の交点１０２が示されている。そして、仮想線Ｌ１に沿った交点１０１から対象画素Ｐ３までの長さと、仮想線Ｌ１に沿った交点１０２から対象画素Ｐ３までの長さの比が、ａ対ｂになっているとすると、次の式（４）で第１角度θ１を算出することができる。
θ１＝３０°＋（４０°−３０°）×ａ／（ａ＋ｂ）・・・・・（４）

次に、ステップＳ２４において、角度情報取得部３５は、対象画素Ｐ３の第２角度θ２を算出して取得する。具体的には、仮想線Ｌ１と直交する仮想線Ｌ２を引き、両側の線画像の交点と対象画素Ｐ３との位置関係を比率計算によって求めることによって、第２角度θ２が算出される。

図９では、仮想線Ｌ１と直交する仮想線Ｌ２と対象画素Ｐ３の両側の線画像８１´、８２´との交点１０３、１０４が示されている。そして、仮想線Ｌ２に沿った交点１０３から対象画素Ｐ３までの長さと、仮想線Ｌ２に沿った交点１０４から対象画素Ｐ３までの長さの比がｃ対ｄになっているとすると、次の式（５）で第２角度θ２を算出することができる。
θ２＝０°＋（２２．５°−０°）×ｃ／（ｃ＋ｄ）・・・・・（５）

これら、ステップＳ２２〜Ｓ２４が、対象画素の全てについて行われた場合に動作が終了する。
以上の動作により、チャートの線上に位置しない画素についても角度情報（θ１、θ２）を取得することができる。

以上のように、画素ごとに角度情報（θ１、θ２）を取得し、取得した角度情報（θ１、θ２）が角度テーブルとして記憶部１４に記憶される。
一方、ＴＯＦセンサ１０を動作して測定対象物１００までの距離を検出した場合、画素ごとの検出距離ｄを、その画素の角度情報（θ１、θ２）と関連付けて記憶部１４に記憶される。

そして、画素ごとの検出距離ｄと角度情報（θ１、θ２）が、外部ＩＦ１５から外部ＰＣなどに送信される。
外部ＰＣでは、画素ごとの検出距離ｄと角度情報（θ１、θ２）に基づいて、３次元距離画像を作成することができる。

［他の実施形態］
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、発明の要旨を逸脱しない範囲で種々の変更が可能である。
（Ａ）
上記実施の形態では、ＴＯＦセンサ１０は、外部ＩＦ１５から検出距離ｄおよび角度情報（θ１、θ２）を出力し、外部ＰＣにて３次元距離画像を作成しているが、ＴＯＦセンサ１０内で３次元距離画像を作成し、作成した３次元距離画像を外部に出力してもよい。

（Ｂ）
上記実施の形態では、検査用チャート５０が同心円チャート７０と放射状チャート８０を有しており、固定されたＴＯＦセンサ１０によってチャートを読み取っているが、これに限らなくても良い。例えば、図１０に示すように、検査用チャート５００の画像形成面５００ａに点２００が描画されており、ＴＯＦセンサ１０を回転させながら、点２００を読みとってもよい。すなわち、同心円チャート７０と放射状チャート８０の角度（θ１、θ２）と同等にＴＯＦセンサ１０を回転させて点２００が読み取られる。
なお、検査用チャート５０と同等のデータを得るためには、交点の数と同じだけ読み取り回数が必要である。
また、ＴＯＦセンサ２０の撮像素子２２の受光面２２ａの中央から受光面２２ａに対して垂直に形成された中心軸１０ａが点２００を通るように配置した状態で位置決めをし、その状態からＴＯＦセンサ２０の回転が行われる。

（Ｃ）
上記実施の形態では、検査用チャート５０が同心円チャート７０と放射状チャート８０を有しているが、これに限らなくても良く、例えば、チャートに、角度（θ１、θ２）の値が規定された複数の点が描画されていてもよい。点に位置しない画素の角度情報は、点に位置する角度情報から補完計算によって算出されればよい。

（Ｄ）
また、上記実施の形態では、撮像素子２２における反射強度画像では、検査用チャート５０の画像の中心点７１が、撮像素子２２の受光面２２ａの中心点２２ｃに位置していたが、レンズの横ずれによって検査用チャート５０の画像の中心点７１が受光面２２ａの中心点２２ｃに位置していなくても、本発明を適用可能である。

図１１は、検査用チャート５０と受光レンズ２１と撮像素子２２の配置を示す模式図である。図１１の矢印Ｃに示すように、組み付けの際に撮像素子２２に対しての受光レンズ２１の横ズレが発生すると、撮像素子２２への結像ズレが発生する。例えば、撮像素子２２を１０μｍ／画素とすると、１００μｍのずれで１０画素分ずれることになる。
図１２（ａ）は受光レンズ２１の横ズレが発生していない状態において検査用チャート５０を読み取った際の撮像素子２２上のイメージ図である。図１２（ｂ）は、受光レンズ２１の横ズレが発生していない状態において検査用チャート５０を読み取った際の撮像素子２２上のイメージ図である。図１２（ｂ）に示すように、受光面２２ａの中心点２２ｃに対して、検査用チャート５０の中心点７１の読み取り画像である点７２´の位置のズレが発生している。

このようなずれが発生した場合には、点７２´の位置の画素Ｐ４の角度情報（θ１、θ２）が（０°、０°）と取得される。このようにずれた状態も含めて各画素の角度情報が取得されるため、３次元距離画像を作成した際には、位置ずれが発生していないＴＯＦセンサ１０と同様の３次元距離画像を作成することができる。

本発明の角度情報取得方法によれば、画素ごとに距離の計測方向に関する精度の良い角度情報を取得することが可能な効果を有し、距離画像センサなどに適用可能である。

１０ ：ＴＯＦセンサ
２２ ：撮像素子
５０ ：検査用チャート
５０´ ：白黒チャート画像

Claims (15)

1. 複数画素から各々の前記画素が受光した光に関する情報を取得するイメージャ受光素子型の距離画像センサであって、
   受光素子の画素ごとに対象物までの距離を算出する距離算出部と、
   各々の前記画素に対して取得した角度情報と、前記画素ごとに計測された前記距離を関連付けて記憶する記憶部を備えた、距離画像センサ。
2. 前記画素ごとに計測された前記距離と前記画素に対して取得した前記角度情報を送信する送信部を更に備えた、請求項１に記載の距離画像センサ。
3. 距離画像センサに対する位置が予め定められた所定画像に前記距離画像センサから光を投射し、前記所定画像で反射した光を前記距離画像センサの受光素子によって受光する受光ステップと、
   前記受光素子における各々の画素が受光した反射光の振幅に関する情報から、前記所定画像に対応する反射強度画像を作成する画像作成ステップと、
   前記反射強度画像に基づいて、各々の前記画素が距離を計測する方向に関する角度情報を取得する取得ステップと、を備えた、
   角度情報取得方法。
4. 前記取得ステップは、前記所定画像のうち前記距離画像センサからの方向が規定されている規定位置に対応する前記反射強度画像の位置の前記画素に対して、前記規定位置の前記距離画像センサからの方向を前記角度情報として取得する、
   請求項３に記載の角度情報取得方法。
5. 前記取得ステップは、前記所定画像のうち前記距離画像センサからの方向が規定されていない非規定位置に対応する前記反射強度画像の位置の前記画素に対する前記角度情報を、前記規定位置に対応する前記反射強度画像の位置の前記画素で取得される前記角度情報から補完することによって取得する、
   請求項４に記載の角度情報取得方法。
6. 前記角度情報は、
   前記受光素子の受光面に垂直な所定の軸に対する、各々の前記画素の計測方向の成す角度である第１角度と、
   前記所定の軸を中心とした周方向の角度であって、基準となる位置から前記計測方向までの回転角度である第２角度を含む、
   請求項３〜５のいずれか１項に記載の角度情報取得方法。
7. 前記所定画像は、
   前記第１角度を取得する際の基準となる第１角度用画像と、
   前記第２角度を取得する際の基準となる第２角度用画像と、を有する、
   請求項６に記載の角度情報取得方法。
8. 前記所定の軸の前記受光面との交点と前記第１角度用画像上の点を通る直線と前記所定の軸によって形成される角度は、予め規定された第１所定角度であり、
   前記第１所定角度は、複数設けられており、
   前記取得ステップでは、複数の前記第１所定角度に基づいて、前記第１角度を取得する、
   請求項７に記載の角度情報取得方法。
9. 前記第１角度用画像は、前記所定の軸上の中心点および前記中心点を中心とした複数の同心円を有する、
   請求項８に記載の角度情報取得方法。
10. 前記第２角度用画像は、前記所定の軸上の中心点から前記所定の軸に対して垂直に設けられた基準線から、前記中心点を中心に予め規定された第２所定角度分、前記基準線を回転させた直線を有し、
    前記第２所定角度は、複数設けられており、
    前記取得ステップでは、複数の前記第２所定角度に基づいて、前記第２角度を取得する、
    前記基準となる位置は、前記基準線上の位置である、
    請求項７に記載の角度情報取得方法。
11. 前記第２角度用画像は、前記所定の軸上の中心点を中心に放射状に配置された複数の直線を有する、
    請求項１０に記載の角度情報取得方法。
12. 前記所定画像は、画像形成面に形成されており、
    前記画像形成面は、前記距離画像センサに対向して配置されている、
    請求項３〜１１のいずれか１項に記載の角度情報取得方法。
13. 前記所定画像は、点が形成された画像形成面に対して、前記距離画像センサを動かすことによって形成される画像である、
    請求項３〜１１のいずれか１項に記載の角度情報取得方法。
14. 請求項３〜１３のいずれか１項に記載の角度情報取得方法によって各々の前記画素の前記角度情報を取得した距離画像センサであって、
    対象物に対して光を投射する投光部と、
    前記対象物で反射した光を集光する受光レンズと、前記受光レンズを通過した光を受光する前記受光素子と、を有する受光部と、
    前記受光素子の前記画素ごとに前記対象物までの距離を算出する距離算出部と、
    各々の前記画素に対して取得した前記角度情報と、前記画素ごとに計測された前記距離を関連付けて記憶する記憶部を備えた、
    距離画像センサ。
15. 前記画素ごとに計測された前記距離と前記画素に対して取得した前記角度情報を送信する送信部を更に備えた、請求項１４に記載の距離画像センサ。

Images