JP5802917B2 - 距離画像カメラおよびこれを用いた距離測定方法 - Google Patents

Description

本発明は、距離画像カメラおよびこれを用いた距離測定方法に関し、特に、表面反射率が低い物体であってもその物体までの距離を極力正確に測定することが可能な距離画像カメラおよびこれを用いた距離測定方法に関する。

従来、距離画像に基づいて面を検出する技術の一例として、正確に床検出を行うことが可能な障害物検出システム及び移動ロボットが提案されている（例えば、特許文献１参照）。

この特許文献１に記載されているものは、障害物を検出する障害物検出システムであって、距離画像データを生成する距離画像センサと、前記距離画像データに基づいて障害物を検出するデータ処理部とを備え、前記データ処理部は、前記距離画像センサにより生成された距離画像データより得られる反射光強度と、前記距離画像センサによって生成された距離画像データによる距離に基づいて障害物を検出することを特徴とするものである。

特開２００９−１６８７５１号公報

距離画像カメラの原理は、赤外光源などから照射された光の反射光が戻ってくるまでの時間の測定値から画素毎に距離を算出するというものである。現時点で実用化されている距離画像カメラの画素数は、例えば、１６０×１２０ピクセル程度というようにかなり低い解像度に過ぎず、高解像度化が急速に進んでいる一般的なＣＭＯＳイメージセンサやＣＣＤなどの撮像素子と比較すると画素数が極めて少ない。

このような距離画像カメラで箱などを撮像する場合、その箱の表面反射率が低い場合には反射光が弱くなることから、ノイズ成分などの影響で距離データのばらつきが大きくなって正確な距離測定が困難になることがある。

従来技術のこのような課題に鑑み、本発明の目的は、箱などの物体の表面反射率が低い場合であっても、その物体までの距離を極力正確に測定することが可能な距離画像カメラおよびこれを用いた距離測定方法を提供することである。

上記目的を達成するため、本発明の距離画像カメラは、認識対象物体へ光を照射する発光部と、この発光部から照射された光の反射光が戻ってくるまでの時間の測定値から算出される距離情報を２次元配置された画素毎に有する距離画像と、前記反射光の受光強度を示す受光レベル情報を前記画素毎に有する受光レベル画像とをそれぞれ取得する撮像部と、前記発光部および前記撮像部を制御するとともに、前記距離画像および前記受光レベル画像に対する演算処理を行う演算制御ユニットとを備え、この演算制御ユニットは、前記撮像部で取得された前記受光レベル画像を所定レベルとの大小関係に基づいて２値化した２値化受光レベル画像を得る２値化処理部と、この２値化処理部で得られた前記２値化受光レベル画像に含まれる１つ以上の同一物体をそれぞれ認識する領域化を行う領域化部と、この領域化部で認識された同一物体毎に、前記領域化部で同一物体と認識された領域の周辺部を除外して、対応する前記各画素の前記距離情報を平均化する距離平均化部とを有することを特徴とする。

このような構成の距離画像カメラによれば、箱などの物体の表面反射率が低い場合であっても、その物体までの距離を極力正確に測定することが可能となる。また、前記領域化部で同一物体と認識された領域の周辺部における距離情報のばらつきなどの影響を排除して、平均化された距離情報の精度低下を極力防止することが可能となる。

また、本発明の距離画像カメラにおいて、前記領域化部では、所定サイズ以下の物体は認識対象から除外するようにしてもよい。

このような構成の距離画像カメラによれば、例えばノイズなどに起因する小さな点などを除去することが可能となる。

また、本発明の距離画像カメラにおいて、認識対象物体のサイズ情報を予め記憶する記憶部をさらに備え、前記領域化部では、前記記憶部で記憶されている前記サイズ情報に基づいて認識を行うようにしてもよい。

このような構成の距離画像カメラによれば、実際の認識対象物などをより的確に領域化することが可能となる。

あるいは、上記目的を達成するため、本発明の距離画像カメラを用いた距離測定方法は、認識対象物体へ向けて照射した光の反射光が戻ってくるまでの時間の測定値から算出される距離情報を２次元配置された画素毎に有する距離画像と、前記反射光の受光強度を示す受光レベル情報を前記画素毎に有する受光レベル画像とをそれぞれ取得する距離画像取得工程と、この距離画像取得工程で取得された前記受光レベル画像を所定レベルとの大小関係に基づいて２値化した２値化受光レベル画像を得る２値化処理工程と、この２値化処理工程で得られた前記２値化受光レベル画像に含まれる１つ以上の同一物体をそれぞれ認識する領域化を行う領域化工程と、この領域化工程で認識された同一物体毎に、前記領域化工程で同一物体と認識された領域の周辺部を除外して、対応する前記各画素の前記距離情報を平均化する距離平均化工程とを含むことを特徴とする。

このような構成の距離画像カメラを用いた距離測定方法によれば、箱などの物体の表面反射率が低い場合であっても、その物体までの距離を極力正確に測定することが可能となる。また、前記領域化工程で同一物体と認識された領域の周辺部における距離情報のばらつきなどの影響を排除して、平均化された距離情報の精度低下を極力防止することが可能となる。

また、本発明の距離画像カメラを用いた距離測定方法において、前記領域化工程では、所定サイズ以下の物体は認識対象から除外するようにしてもよい。

このような構成の距離画像カメラを用いた距離測定方法によれば、例えばノイズなどに起因する小さな点などを除去することが可能となる。

また、本発明の距離画像カメラを用いた距離測定方法において、認識対象物体のサイズ情報を予め記憶する記憶工程をさらに含み、前記領域化工程では、前記記憶工程で記憶された前記サイズ情報に基づいて認識を行うようにしてもよい。

このような構成の距離画像カメラを用いた距離測定方法によれば、実際の認識対象物などをより的確に領域化することが可能となる。

本発明の距離画像カメラおよびこれを用いた距離測定方法によれば、箱などの物体の表面反射率が低い場合であっても、その物体までの距離を極力正確に測定することが可能となる。また、同一物体と認識された領域の周辺部における距離情報のばらつきなどの影響を排除して、平均化された距離情報の精度低下を極力防止することが可能となる。

本発明の一実施形態に係る距離画像カメラ１０の概略構成を示すブロック図である。 認識対象物の一例として、隣接するように載置された上面の表面反射率が異なる箱２０Ａ、２０Ｂを距離画像カメラ１０によって上方から撮像する場合の位置関係を示す概略図である。 距離画像カメラ１０のイメージセンサ１２によって取得される距離画像Ｇｄの画素Ｐの２次元配置などを模式的に示す概略図である。 イメージセンサ１２によって取得される受光レベル画像Ｇａの画素Ｐの２次元配置などを模式的に示す概略図である。。 イメージセンサ１２によって取得された受光レベル画像Ｇａの一例を示す概略図である。 表面反射率が異なる箱２０Ａ、２０Ｂにそれぞれ対応する距離データの分布を示すグラフである。 図５の受光レベル画像Ｇａを２値化して得られた２値化受光レベル画像Ｇｂを例示する概略図である。 図７の２値化受光レベル画像Ｇｂを領域化する際に所定の大きさ未満のものを除外するようにした場合を示す概略図である。 同一物体と認識された領域の端で距離データが大きくばらつくことがあり得ることの概略説明図であり、図９（ａ）は斜視図、図９（ｂ）は側面図である。

以下、本発明の実施形態を、図面を参照して説明する。

＜距離画像カメラ１０の概略構成など＞
図１は本発明の一実施形態に係る距離画像カメラ１０の概略構成を示すブロック図である。図２は認識対象物の一例として、隣接するように載置された上面の表面反射率が異なる箱２０Ａ、２０Ｂを距離画像カメラ１０によって上方から撮像する場合の位置関係を示す概略図である。ここでは、箱２０Ａの表面反射率が比較的高く、箱２０Ｂの表面反射率は比較的低いとしておく。図３は距離画像カメラ１０のイメージセンサ１２によって取得される距離画像Ｇｄの画素Ｐの２次元配置などを模式的に示す概略図である。図４はイメージセンサ１２によって取得される受光レベル画像Ｇａの画素Ｐの２次元配置などを模式的に示す概略図である。

図１に示すように、距離画像カメラ１０は、箱２０Ａ、２０Ｂなどの認識対象物へ向けて赤外光を照射する赤外発光器１１と、この赤外発光器１１から照射された赤外光の反射光が戻ってくるまでの時間の測定値に基づいて算出される距離データ（Ｚ値、図２参照）を格子状に２次元配置（Ｘ方向およびＹ方向、図２〜図４参照）された画素Ｐ毎に有する距離画像Ｇｄ（図３参照）と、その反射光の受光強度を示す受光レベルデータを距離画像Ｇｄと同じ画素Ｐ毎に有する受光レベル画像Ｇａ（図４参照）とをそれぞれ取得することが可能なイメージセンサ１２と、これらの制御やイメージセンサ１２によって取得される距離画像Ｇｄや受光レベル画像Ｇａに対する演算処理（詳細は後述）などを行う演算制御ユニット１３（例えば、ＣＰＵ）と、認識対象物の大きさなどが予め判明している場合などにそのような情報を記憶するメモリ１４（例えば、ＥＥＰＲＯＭやフラッシュメモリなどの不揮発メモリ）とを備える。

赤外発光器１１としては、例えば、赤外光を発する発光ダイオードや半導体レーザなどが挙げられるが、これらに限られない。

イメージセンサ１２としては、例えば、いわゆるＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）センサなどが挙げられるが、これに限られない。

ここで、このイメージセンサ１２で取得される距離画像Ｇｄの各画素Ｐの受光レベルデータは、赤外発光器１１から認識対象物へ向けて照射された赤外光の反射光の受光強度を示すから、その画素Ｐの距離データが大きく（距離としては遠く）なればなるほど小さくなり、逆に距離データが小さく（距離としては近く）なればなるほど大きくなる。ただし、反射光の受光強度が上限値を超えると受光レベルデータとしては飽和してしまう。また、距離が同じであったとしても、反射光の受光強度は認識対象物の表面反射率にも依存する。反射率が高ければ反射光の受光強度は相対的に高くなるし、反射率が低ければ反射光の受光強度は相対的に低くなる。

＜距離画像Ｇｄおよび受光レベル画像Ｇａに対する演算処理＞
以下では、イメージセンサ１２によって取得される距離画像Ｇｄおよび受光レベル画像Ｇａを用い、箱２０Ａ、２０Ｂなどの認識対象物の表面反射率の影響を極力受けることなく、その認識対象物までの距離を極力正確に測定するための演算処理方法の各工程を詳細に説明する。

ここで、図５はイメージセンサ１２によって取得された受光レベル画像Ｇａの一例を示す概略図である。図６は表面反射率が異なる箱２０Ａ、２０Ｂにそれぞれ対応する距離データの分布を示すグラフである。図７は図５の受光レベル画像Ｇａを２値化して得られた２値化受光レベル画像Ｇｂを例示する概略図である。図８は図７の２値化受光レベル画像Ｇｂを領域化する際に所定の大きさ未満のものを除外するようにした場合を示す概略図である。図９は同一物体と認識された領域の端で距離データが大きくばらつくことがあり得ることの概略説明図であり、図９（ａ）は斜視図、図９（ｂ）は側面図である。

（１）イメージセンサ１２による距離画像Ｇｄおよび受光レベル画像Ｇａの取得
まず、図２に示したように、箱２０Ａ、２０Ｂなどの認識対象物の上面をその上方に配置された距離画像カメラ１０によって撮像する。このとき、認識対象物の上面は距離画像カメラ１０の撮像光軸に対してほぼ垂直となる。そして、内蔵されたイメージセンサ１２によって画素Ｐ毎に距離データを有する距離画像Ｇｄとこれと同じ画素Ｐ毎に受光レベルデータを有する受光レベル画像Ｇａとを取得する。

これによって得られた受光レベル画像Ｇａでは、例えば図５に示すように、表面反射率が比較的高い箱２０Ａに対応する領域の各画素Ｐが明るく表示されるとともに、表面反射率が比較的低い箱２０Ｂに対応する領域の各画素Ｐがやや暗く表示される。なお、箱２０Ａ、２０Ｂいずれかに対応する領域以外でもノイズなどの影響によって小さな点など何らかの像が現れることもあり得る（例えば、図５の周辺部など）。

一方、同時に取得された距離画像Ｇｄについては、箱２０Ａ、２０Ｂそれぞれに対応する各画素Ｐの距離データの分布は、例えば図６に示すようなグラフになる。表面反射率が比較的高い箱２０Ａに対応する各画素Ｐでは、反射光が比較的強いことでノイズ成分などの影響が相対的に小さく留まり、距離データＺ２０Ａのばらつきも比較的小さい。ところが、表面反射率が比較的低い箱２０Ｂに対応する各画素Ｐでは、反射光が比較的弱いことでノイズ成分などの影響が相対的に大きくなって距離データＺ２０Ｂのばらつきが比較的大きくなるからである。

このため、特に、箱２０Ｂに対応する各画素Ｐの距離データＺ２０Ｂをそのまま用いて箱２０Ｂまでの距離を測定しようとすると誤差が大きくなる可能性がある。

（２）受光レベル画像Ｇａを２値化した２値化受光レベル画像Ｇｂを得る
そこでまず、箱２０Ａ、２０Ｂをこれらの表面反射率の違いを利用して分離認識できるようにするため、例えば、受光レベル画像Ｇａにおいて、箱２０Ａに対応する領域の各画素Ｐの受光レベルデータよりは小さく、かつ、箱２０Ｂに対応する領域の各画素Ｐの受光レベルデータよりは大きいような受光レベルデータの閾値を設ける。

そして、受光レベル画像Ｇａの各画素Ｐの受光レベルデータとこの閾値との大小関係に基づいて２値化した画像（以下では「２値化受光レベル画像Ｇｂ」）を得る。例えば、各画素Ｐの受光レベルデータが閾値以上である場合はその画素Ｐのデータを１（白）にするとともに、各画素Ｐの受光レベルデータが閾値未満である場合にはその画素Ｐのデータを０（黒）にすればよい。このようにして得られる２値化受光レベル画像Ｇｂを図７に例示しておく。

（３）２値化受光レベル画像Ｇｂにおける領域化による同一物体の認識
次に、２値化受光レベル画像Ｇｂに対して領域化（ラベリング）を行って、同一物体に対応する各画素Ｐをまとまったものとして認識する。なお、２以上の物体が存在する場合には、それぞれの物体を別々に認識することになる。

領域化の際、例えばノイズなどに起因する小さな点などのように所定の大きさ未満のものを除外するようにしてもよい。このようにすれば、図７に例示した２値化受光レベル画像Ｇｂの周辺部などに存在する小さな点を除去して、図８に例示するような２値化受光レベル画像Ｇｂを得ることができる。

また、認識対象物の大きさなどが予め判明していれば、メモリ１４にそのような大きさの情報を記憶しておき、領域化の際にそれらの情報を参照しながら分別を行うようにしてもよい。これにより、実際の認識対象物となる箱２０Ａ、２０Ｂなどをより的確に領域化することが可能となる。

（４）領域化で同一物体と認識された各画素Ｐの距離データの平均化
このような領域化によって２値化受光レベル画像Ｇｂで同一物体と認識された領域の各画素Ｐについて、距離画像Ｇｄで対応する同一の各画素Ｐの距離データを平均化し、その平均値をその物体までの距離とする。

ところで、同一物体と認識された領域であってもその領域の端については、例えば図９（ａ）および図９（ｂ）に示すように、距離データが大きくばらつく可能性があって信頼性が低い。つまり、赤外発光器１１（図１参照）から照射された赤外線が箱２０の上面の端２０ｅぎりぎりに達するときに、この端２０ｅで反射される場合と、この端２０ｅを通過してさらに先の載置面２１で反射される場合があり得るからである。いずれの場合に該当するかによって距離データは大きく異なり、単なる測定ばらつきを大きく超えてしまうから、平均化された距離データが正確な値ではなくなりかねない。

そこで、２値化画像に対して行われることがある収縮処理などを施して、同一物体と認識された領域の端の部分などを除外することが好ましい。これにより、領域の端の部分における距離データのばらつきなどの影響を排除して、平均化された距離データの精度低下を極力防止することが可能となる。

なお、本発明は、その主旨または主要な特徴から逸脱することなく、他のいろいろな形で実施することができる。そのため、上述の実施形態はあらゆる点で単なる例示にすぎず、限定的に解釈してはならない。本発明の範囲は特許請求の範囲によって示すものであって、明細書本文にはなんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内のものである。

１０ 距離画像カメラ
１１ 赤外発光器（発光部）
１２ イメージセンサ（撮像部）
１３ 演算制御ユニット
１４ メモリ
２０ 箱
２０ｅ 箱の上面の端
２０Ａ 箱（表面反射率が高いもの）
２０Ｂ 箱（表面反射率が低いもの）
２１ 載置面
Ｇｄ 距離画像
Ｇａ 受光レベル画像（２値化前）
Ｇｂ 受光レベル画像（２値化後）
Ｐ 距離画像、受光レベル画像の画素

Claims (6)

1. 認識対象物体へ光を照射する発光部と、
   この発光部から照射された光の反射光が戻ってくるまでの時間の測定値から算出される距離情報を２次元配置された画素毎に有する距離画像と、前記反射光の受光強度を示す受光レベル情報を前記画素毎に有する受光レベル画像とをそれぞれ取得する撮像部と、
   前記発光部および前記撮像部を制御するとともに、前記距離画像および前記受光レベル画像に対する演算処理を行う演算制御ユニットとを備え、
   この演算制御ユニットは、
   前記撮像部で取得された前記受光レベル画像を所定レベルとの大小関係に基づいて２値化した２値化受光レベル画像を得る２値化処理部と、
   この２値化処理部で得られた前記２値化受光レベル画像に含まれる１つ以上の同一物体をそれぞれ認識する領域化を行う領域化部と、
   この領域化部で認識された同一物体毎に、前記領域化部で同一物体と認識された領域の周辺部を除外して、対応する前記各画素の前記距離情報を平均化する距離平均化部と
   を有することを特徴とする距離画像カメラ。
2. 請求項１に記載の距離画像カメラにおいて、
   前記領域化部では、所定サイズ以下の物体は認識対象から除外することを特徴とする距離画像カメラ。
3. 請求項１または２に記載の距離画像カメラにおいて、
   認識対象物体のサイズ情報を予め記憶する記憶部をさらに備え、
   前記領域化部では、前記記憶部で記憶されている前記サイズ情報に基づいて認識を行うことを特徴とする距離画像カメラ。
4. 認識対象物体へ向けて照射した光の反射光が戻ってくるまでの時間の測定値から算出される距離情報を２次元配置された画素毎に有する距離画像と、前記反射光の受光強度を示す受光レベル情報を前記画素毎に有する受光レベル画像とをそれぞれ取得する距離画像取得工程と、
   この距離画像取得工程で取得された前記受光レベル画像を所定レベルとの大小関係に基づいて２値化した２値化受光レベル画像を得る２値化処理工程と、
   この２値化処理工程で得られた前記２値化受光レベル画像に含まれる１つ以上の同一物体をそれぞれ認識する領域化を行う領域化工程と、
   この領域化工程で認識された同一物体毎に、前記領域化工程で同一物体と認識された領域の周辺部を除外して、対応する前記各画素の前記距離情報を平均化する距離平均化工程と
   を含むことを特徴とする、距離画像カメラを用いた距離測定方法。
5. 請求項４に記載の距離画像カメラを用いた距離測定方法において、
   前記領域化工程では、所定サイズ以下の物体は認識対象から除外することを特徴とする、距離画像カメラを用いた距離測定方法。
6. 請求項４または５に記載の距離画像カメラを用いた距離測定方法において、
   認識対象物体のサイズ情報を予め記憶する記憶工程をさらに含み、
   前記領域化工程では、前記記憶工程で記憶された前記サイズ情報に基づいて認識を行うことを特徴とする、距離画像カメラを用いた距離測定方法。

Images