JP2018044828A - 物体認識方法、プログラム、および光学システム - Google Patents

Abstract

【課題】物体の形状あるいは表面性状を精度よく検知することのできる物体認識方法、プログラム、および光学システムを提供する。【解決手段】本実施形態の光学システムは、対象物に光を照射する光源を有する照射装置と、撮像素子を有し、前記対象物からの反射光を受光し、第１波長および前記第１波長と異なる第２波長の撮像画像を取得する撮像装置と、前記第１波長の撮像画像と前記第２波長の撮像画像とを比較して前記反射光のフレネル反射成分と散乱成分を抽出分離し、前記フレネル反射成分と前記散乱成分に基づいて前記対象物の表面形状および表面性状の少なくとも１つを取得する処理回路と、を備えている。【選択図】図１

Description

本発明の実施形態は、物体認識方法、プログラム、および光学システムに関する。

光学的マシンビジョンシステムは、光学系を用いて対象物を撮像し、その撮像画像から物体の形状および表面性状を検知するシステムである。このようなシステムは、非接触で形状把握ができる利点がある。

しかし、撮像画像から抽出できる情報は、対象物の形状と表面性状の情報が縮退したものである。そのため、形状情報を抽出する際には、表面性状の情報がノイズとなる。逆に、表面性状の情報を抽出する際には、形状情報がノイズとなる。つまり、高精度な検知には、それらの縮退を解く必要が生じている。

特開２００６−２５３２０１号公報

本実施形態は、物体の形状あるいは表面性状を精度よく検知することのできる物体認識方法、プログラム、および光学システムを提供する。

本実施形態による光学システムは、対象物に光を照射する光源を有する照射装置と、撮像素子を有し、前記対象物からの反射光を受光し、第１波長および前記第１波長と異なる第２波長の撮像画像を取得する撮像装置と、前記第１波長の撮像画像と前記第２波長の撮像画像とを比較して前記反射光のフレネル反射成分と散乱成分を抽出分離し、前記フレネル反射成分と前記散乱成分に基づいて前記対象物の表面形状および表面性状の少なくとも１つを取得する処理回路と、を備えている。

第１実施形態による光学システムを示す図。 双方向反射率分布関数を説明する図。 双方向反射率分布関数を示す図。 図４（ａ）、４（ｂ）はそれぞれ、波長４５０ｎｍに対するＢＲＤＦ、反射率Ｒの処理画像を示す図、図４（ｃ）、４（ｄ）はそれぞれ、波長７５０ｎｍに対するＢＲＤＦ、反射率Ｒの処理画像を示す図。 図５（ａ）はＴＲＩ−Ｒのスペクトルを示す図、図５（ｂ）は一般ＬＥＤのスペクトルを示す図。 第３実施形態の物体認識方法を実行するのに用いられる光学システムを示す図。 第３実施形態の物体認識方法を説明する図。 第３実施形態の物体認識方法の手順を示すフローチャート。 第４実施形態の物体認識方法を実行するのに用いられる光学システムを示す図。

以下、図面を参照して実施形態について詳細に説明する。

（第１実施形態）
第１実施形態による光学システムを図１に示す。この光学システム１０は、対象物１００に光を照射する照射装置２０と、対象物１００からの反射光を撮像し電気信号に変換する撮像装置３０と、処理回路４０と、コントローラ５０と、を備えている。

照射装置２０は、少なくとも２つの波長の光を照射することが可能な光源を有し、この照射装置２０から照射される光は、波長４５０ｎｍから７００ｎｍ程度の可視光とする。ただし、これに限るものではなく、紫外光からマイクロ波まで、電磁波の波であれば、照射光として用いることができる。

撮像装置３０は、少なくとも２つの波長の光に対して画像が撮像できる撮像素子を有し、この撮像素子としては、例えばカメラが用いられる。撮像可能な光の２つの波長を、小さいものから順にλ_１、λ_２とする。また、本実施形態では、撮像装置３０は、波長λ_１を含む波長領域Λ_１と、波長λ_２を含む波長領域Λ_２の２つの波長領域に光を分離できる分光部３５を有している。なお、分光部３５は、照射装置２０から撮像装置３０の光路の間に設けられていてもよい。

処理回路４０は、撮像装置３０からの電気信号を処理する。コントローラ５０は、制御部５２と、メモリ５４と、を備えている。制御部５２は、照射装置２０、撮像装置３０、および処理回路４０を制御する。制御部５２は、例えば、照射装置２０から物体１００に照射する光の種類、光の照射方向、照射タイミング等について照射装置２０を制御し、撮像装置３０の撮像位置（撮像角度）、撮像のタイミング、撮像した画像の出力タイミング等について撮像装置３０を制御し、画像処理のタイミング等について処理回路４０を制御する。メモリ５４には上記制御手順が記憶される。このメモリ５４に記憶された制御手順に基づいて制御部５２によって照射装置２０、撮像装置３０、および処理回路４０が制御される。

対象物１００は、照射光を反射するものであれば何でもよく、本実施形態では、例えば繊維織物であるとする。

光学システム１０は、照射装置２０によって対象物１００に光２５を照射し、対象物１００からの反射光２７を撮像装置３０で撮像する。繊維織物１００として例えば、絹を考えると、フィブロインと呼ばれるマクロな構造を有しており、更にその内部の構造はミクロフィブリルと呼ばれる、直径が数１０ｎｍの微細構造から構成されている。つまり、可視光の波長よりも小さな構造を有している。このような構造により、光の反射は、表面で反射される成分と、表面を透過した光が内部構造によって散乱されて反射される成分が生じる。一般的に、光の波長よりも小さな内部構造を有する物体は、表面による反射成分と、内部構造による散乱反射成分が生じる。

照射光は、例えば、励起光を蛍光体によってほぼ完全に変換するタイプのＬＥＤ（Light Emitting Diode）光であるとする。このようなタイプのＬＥＤ光は、一般的に高い演色性を有するという利点がある。

以下、本実施形態の光学システムの原理について説明する。

一般的に、物体１００の反射特性は、双方向反射率分布関数（以下、ＢＲＤＦ(Bidirectional Reflectance Distribution Function)とも云う）で表される。図２および図３に示すように、ＢＲＤＦは、物体１００からの、単位波長幅あたりおよび単位面積あたりの反射率Ｒで表され、反射率Ｒは、光の波長をλ、物体表面上の位置ｘ、照射光の入射角度Ω_ｉと反射角度Ω_ｏを用いて下記の式（１）で記述できる。
ここで、入射角度Ω_ｉおよび反射角度Ω_ｏはそれぞれ入射光２５および反射光２７の立体角を表し、以下のように表される。図２に示すように、対象物１００の点Ｐに原点を有する座標系ｘｙｚを定めた場合、ｚ軸から入射光２５までの角度をθ_ｉとし、ｚ軸から反射光２７までの角度をθ_ｏとする。また、入射光２５および反射光２７をそれぞれｘｙ平面に射影したときの射影成分をそれぞれ２５ａおよび２７ａとし、ｘ軸から射影成分２５ａおよび２７ａまでの角度をそれぞれφ_ｉおよびφ_ｏとする。入射角度Ω_ｉはΩ_ｉ＝（θ_ｉ、φ_ｉ）と表され、反射角度Ω_ｏはΩ_ｉ＝（θ_ｏ、φ_ｏ）と表される。

内部に波長λよりも小さな構造を有する物体１００からのＢＲＤＦは、物体表面によるフレネル反射と、内部散乱による反射による成分の足し合わせによって下記の式（２）で記述できる。
ここで、Ｒ^{Ｆｒｅｓｎｅｌ}は物体の表面でのフレネル反射成分を表し、Ｒ^{Ｓｃａｔｔｅｒ}は物体の内部散乱による反射成分を表す。

同一材料で構成された領域からのＢＲＤＦのフレネル反射成分は、その材料の屈折率によって決定される。一般的な材料に対する屈折率は、可視光領域でほぼ変化しないことが多い。また、屈折率が波長依存性を持つような材料でも、屈折率が一定になる波長領域が存在する。そこで、この波長領域を検知波長領域とする。検知波長領域において、式（２）は、下記の式（３）と書ける。

つまり、式（３）の右辺第１項のフレネル反射成分Ｒ^{Ｆｒｅｓｎｅｌ}は波長に依存しない。一方、式（３）の右辺第２項の散乱成分Ｒ^{Ｓｃａｔｔｅｒ}は波長依存性を持つ。これより、２つの波長λ１とλ２に対し、式（３）は、２つの式（３ａ）、（３ｂ）となる。

つまり、反射率は、物体の表面で起こるフレネル反射成分Ｒ^{Ｆｒｅｓｎｅｌ}と散乱成分Ｒ^{Ｓｃａｔｔｅｒ}で表される。フレネル反射成分Ｒ^{Ｆｒｅｓｎｅｌ}は波長依存性が少ない。一方、対象物が入射光の波長以下のサイズを有する構造である場合、散乱成分Ｒ^{Ｓｃａｔｔｅｒ}は有意な波長依存性を持つ。

実際、図４（ａ）乃至４（ｄ）に、繊維織物からのＢＲＤＦの光学シミュレーション結果を示す。この図４（ａ）、４（ｂ）はそれぞれ、波長４５０ｎｍに対するＢＲＤＦ、反射率Ｒの処理画像を示し、図４（ｃ）、４（ｄ）はそれぞれ、波長７５０ｎｍに対するＢＲＤＦ、反射率Ｒの処理画像を示す。反射率Ｒの処理画像は撮像装置３０によって撮像された像から処理回路４０によって求められる。図４（ａ）乃至４（ｄ）から分かるように、２つの波長のそれぞれに対して、正反射成分と拡散成分を有している。また、正反射成分はほぼ値が変わらず、拡散成分は波長が小さいほど増加していることがわかる。

拡散成分は、繊維織物のナノ構造であるマイクロフィブリルによって生成される。一方、正反射成分は、フレネル反射成分であり、繊維織物のフィブロインと呼ばれるマクロな構造の表面反射によって生成される。このフレネル反射は、物質の屈折率に依存する。多くの物質は、可視光領域で屈折率の波長依存性が小さい。そのため、フレネル反射は、波長依存性が小さく、波長に対してほぼ一定となる。

本実施形態では、このように対象物のフレネル反射が一定となるような波長領域を検知領域Λ_Ｏとする。この検知領域Λ_Ｏで検知すれば、どのような対象物に対しても、上述した手法を用いてＢＲＤＦからフレネル反射成分とそれ以外の成分を抽出することができる。この抽出は処理回路４０において行われる。

そこで、式（３ａ）と式（３ｂ）の差分をとると、次の式（４）となる。

式（４）から分かるように、観測可能な量であるＲ^（Ｔ）から散乱成分のみが抽出できるという効果がある。この抽出も処理回路４０において行われる。

また、この式（４）を式（３ａ）に代入することにより、フレネル反射成分も抽出できる。つまり、フレネル反射成分と散乱成分を分離することができる。この分離も処理回路４０において行われる。

また、式（４）において、対象物の最も微細な構造の典型的なスケールをＬとし、それが光の波長λ_２に対して、
となるとき、波長λ_２の光に対する散乱はほぼ起こらない。すなわち、
となる。このとき、式（４）は、
となり、波長λ_１に対する散乱成分が完全に決定されることになる。つまり、波長λ_２を十分に大きなものとすることにより、波長λ_１に対する散乱成分とフレネル反射成分を完全に決定することができるという効果がある。

このようにして、上述の散乱成分とフレネル反射成分は、撮像装置３０によって撮像された画像を処理回路４０によって処理することによって求められる。

フレネル反射成分は、物体の表面での反射によって生じる。つまり、物体の表面形状に関する情報を有している。これより、撮像画像のフレネル反射成分から物体形状を再構築することができる。実際、光の物体に対する入射角が既知であるとすると、フレネル反射成分の撮像画像から反射角が算出できる。これより、物体表面の法線方向が推定でき、物体の表面形状が再構築できるという効果がある。

散乱成分は、物体の表面近傍における、光の波長よりも小さいスケールの微細内部構造によって生じる。そうでない場合は、散乱成分は波長依存性をもたず、上記で述べた散乱成分の抽出方法を用いると散乱成分は、ほぼゼロになる。これより、散乱成分の値により、物体の微細内部構造の有無を判別することができるという効果がある。ここで、微細内部構造とは、物体の最も微細な構造の典型的なスケールをＬとし、それが光の波長λに対して、
となるものである。さらに、散乱成分を上記の手法で抽出したとき、その波長依存性あるいは照射角または反射角依存性より、微細内部構造に関する情報を処理回路４０によって抽出することができる。

（照射光）
次に、照射光について述べる。照射光のスペクトルに比例する量をＰ（λ）とすると、撮像装置３０で撮像される画素値Ｏは、
となる。ここで、スペクトルＰ（λ）は既知であるとすると、物体からのＢＲＤＦは、
となる。

一般のＬＥＤのスペクトルは、励起光と、蛍光体による変換光との両方の成分から構成される。図５（ｂ）に一般ＬＥＤのスペクトルを示す。また、ＬＥＤの蛍光体の変換効率は温度変動を受けやすいことが知られている。それ故、励起光成分と変換光成分の比は、ＬＥＤの温度Ｔに影響されやすい。このとき、温度によるスペクトルのゆらぎをΔＰとすると、
となる。つまり、温度変動によってスペクトルの形状が変化してしまう。すると、式（９）は、
となる。つまり、温度変動による誤差が生じてしまう。

一方、図５（ａ）に示された高演色ＬＥＤのスペクトルのように、励起光を蛍光体によって一旦全て吸収させ、蛍光体の変換光のみで構成されるスペクトルは、
となる。ここで、δは波長に依存しない。つまり、スペクトルの相対形状は変化しない。このとき、式（９）は、
となり、温度変動の影響を受けないという効果がある。

以上説明したように、第１実施形態によれば、２つ以上の波長の光を用いて、物体からの反射光の散乱成分およびフレネル反射成分を得ることが可能なる。これにより、物体の形状あるいは表面性状を精度よく検知することができる。

（第２実施形態）
第１実施形態の光学システム１０においては、物体表面で鏡面反射、つまりフレネル反射、そして内面で散乱が起こる場合について述べた。しかし、対象物によっては、物体表面で拡散反射される場合がある。このような対象物に対しても、第１実施形態の光学システム１０を用いることができる。これを第２実施形態として説明する。すなわち、第２実施形態の光学システムは第１実施形態の光学システムと同じ構成を有しているが、照射装置２０から照射される光の入射方向を更に変えて行う。

物体表面で拡散反射される場合は、式（３ａ）と式（３ｂ）は、
となる。ここで、式（１４ａ）と（１４ｂ）の差分をとると、

となる。すなわち、散乱成分は第１実施形態と同様に、観測可能な量であるＲ^（Ｔ）から散乱成分のみが抽出できる。例えば、波長λに対する散乱成分が算出できた場合、式（１４ａ）から、

となる。ここで、式（１６）の右辺が既知であるため、式（１６）の左辺が算出できる。

しかし、式（１６）から、フレネル反射成分Ｒ^(Fresnel)と拡散反射成分Ｒ^(Scatter)が縮退している。そこで、コントローラ５０によって照射装置２０を制御することにより光の照射方向あるいは反射方向を換え、換えた場合の画像を撮像装置３０によって検出する。そして、これら検出した画像に基づいてＢＲＤＦを処理回路４０によって求め、式（１６）を用いてフレネル成分と拡散反射成分の合計を処理回路４０によって算出する。更に、フレネル反射成分Ｒ^(Fresnel)は、屈折率が与えられれば、完全に記述できる。つまり、屈折率nのみが未知数である。そこで、屈折率ｎを未知パラメータとするフレネル反射の公式を用いて、実測とよく一致する屈折率を推定し、式（１６）の縮退を解けばよい。

以上により、物体表面において、フレネル反射だけでなく、拡散反射をする場合に第２実施形態の光学システムを適用することができる。

この第２実施形態も、第１実施形態と同様に、２つ以上の波長の光を用いて、物体からの反射光の散乱成分およびフレネル反射成分を得ることが可能なる。これにより、物体の形状あるいは表面性状を精度よく検知することができる。

（第３実施形態）
第３実施形態による物体認識方法について図６乃至図８を参照して説明する。図６は、第３実施形態の物体認識方法を実行するのに用いられる光学システムを示す図である。この光学システムは、第１実施形態の光学システム１０を用いて行うが、照射装置２０は、１つの光を照射し、撮像装置３０は複数のカメラ（ステレオカメラ）３２を有している。

各カメラ３２は、受光した光を少なくとも２つの波長の光に分光できるとする。例えば、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の波長領域に分光できる。各波長領域の感度のピーク波長は、４５０ｎｍ、５５０ｎｍ、６８０ｎｍとする。

図７に示すように、照射装置２０から物体１００に光２５が照射され、反射された光２７を複数のカメラ３２で同時に撮像する。これらのカメラ３２の撮像画像から、第１実施形態の手法でフレネル反射成分を抽出する。この抽出は処理回路４０によって行う。

照射光の照射角度を既知とすると、フレネル反射角度は照射角度と等しくなるため、物体１００の法線２９の方向が処理回路４０によって算出することができる。すなわち、光が照射された物体１００の点の法線方向を算出することが可能となり、これを物体１００の表面の各点で算出すれば、物体１００の形状が分かる。すなわち、物体１００の形状を再構築することができる。なお、物体１００の表面の各点で法線方向を求めるのは非常に煩雑で時間を要するので、物体１００の表面を小さなメッシュに区分けし、各メッシュにおいて法線方向を求めても良い。

フレネル反射成分が算出できると、第１実施形態で説明した手法により、散乱成分が処理回路４０によって抽出できる。散乱成分が抽出できると、物体１００の内部のナノ構造に対する情報が抽出できる。例えば、繊維織物に対する散乱成分と照合することにより、繊維織物であるか否かが判別できる。つまり、物体の材質を推定することができる。これにより、物体の硬さ、弾力性、重さ、密度などが推定できる。

第３実施形態の物体認識方法について図８を参照して説明する。図８は、第３実施形態の物体認識方法を用いて自動機器（例えば、ロボット）を制御する場合の処理手順を示した図である。

まず、制御部５２によって照射装置２０を制御し、対象物１００に光を照射する（図８のステップＳ１）。続いて、対象物１００からの反射光を撮像装置３０によって検出し、２つの波長の撮像画像を取得する（ステップＳ２）。処理回路４０において、取得された２つの波長の撮像画像を比較し処理することにより、フレネル反射成分を抽出する（ステップＳ３、Ｓ４）。

この抽出されたフレネル反射成分から物体の表面形状の算出が処理回路４０によって行われる（ステップＳ６）。また、抽出されたフレネル反射成分から散乱成分の抽出が処理回路４０によって行われる（ステップＳ５）。この抽出された散乱成分から物体の表面性状の抽出が処理回路４０によって行われる（ステップＳ７）。

このようにして得られた物体の表面形状または物体の表面性状に基づいて、自動機器が制御される。なお、上記手順は図１に示すコントローラ５０のメモリに記憶される。コントローラ５０としては、コンピュータが用いられる。

以上説明したように、第３実施形態の物体認識方法を用いて物体の形状と表面性状を判別することができる。これにより、第３実施形態の物体認識方法を自動機械に用いれば、物をつかむ際に有効である。

この第３実施形態も、第１実施形態と同様に、物体からの反射光の散乱成分およびフレネル反射成分を得ることが可能なる。これにより、物体の形状あるいは表面性状を精度よく検知することができる。

（第４実施形態）
第４実施形態による物体認識方法について図９を参照して説明する。この第４実施形態の物体認識方法は、図１に示す光学システムにおいて、撮像装置３０が複数のカメラを有し、各カメラに対して光の照射方向が異なる複数の光源２２を備えた光学システムが用いられる。

この第４実施形態においては、各光源２２は、時間差をおいて光を物体１００に照射する。各光源２２の照射に対して第１実施形態で説明した方法を用いてフレネル反射成分と散乱成分を抽出する。これにより、物体１００の法線方向から物体形状、散乱成分から物体の表面性状を再構築することができる。

この第４実施形態も、第１実施形態と同様に、物体の形状あるいは表面性状を精度よく検知することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１０・・・光学システム、２０・・・照射装置、２２・・・光源、２５・・・入射光、２５ａ・・・入射光のｘｙ平面への射影成分、２７・・・反射光、２７ａ・・・反射光のｘｙ平面への射影成分、３０・・・撮像装置。３２・・・カメラ（撮像素子）、４０・・・処理回路、５０・・・コントローラ、５２・・・制御部、５４・・・メモリ

Claims (13)

1. 対象物に光を照射する光源を有する照射装置と、
   撮像素子を有し、前記対象物からの反射光を受光し、第１波長および前記第１波長と異なる第２波長の撮像画像を取得する撮像装置と、
   前記第１波長の撮像画像と前記第２波長の撮像画像とを比較して前記反射光のフレネル反射成分と散乱成分を抽出分離し、前記フレネル反射成分と前記散乱成分に基づいて前記対象物の表面形状および表面性状の少なくとも１つを取得する処理回路と、
   を備えた光学システム。
2. 前記対象物は内部に微細構造を有し、前記第２波長は、前記微細構造のサイズよりも大きい請求項１記載の光学システム。
3. 前記処理回路は、前記第１波長の撮像画像と前記第２波長の撮像画像との差を取ることにより、前記フレネル反射成分と前記散乱成分を抽出分離する請求項１または２記載の光学システム。
4. 前記光源からの光を前記第１波長の光と前記第２波長の光に分光する分光部を更に備え、
   前記分光部は、前記光源から前記撮像素子までの光路間、あるいは前記撮像素子内に配置される請求項１乃至３のいずれかに記載の光学システム。
5. 前記光源は、励起光を発生するとともに、前記励起光よりも広い波長領域を有する変換光に変換する変換部を備えている請求項１乃至４のいずれかに記載の光学システム。
6. 前記撮像装置は、複数の撮像素子を備え、
   前記処理回路は各撮像素子からの撮像画像を用いて前記対象物の表面形状および表面性状の少なくとも１つを取得する請求項１乃至５のいずれかに記載の光学システム。
7. 前記照射装置は、前記対象物に対して光の入射角度が異なる位置に配置された複数の光源を備えている請求項１乃至６のいずれかに記載の光学システム。
8. 前記照射装置は、前記複数の光源からの光を、時間差を持って前記対象物に照射し、
   前記処理回路は、各光源の光に対する撮像画像を用いて前記対象物の表面形状および表面性状の少なくとも１つを取得する請求項７記載の光学システム。
9. 光源から対象物に光を照射するステップと、
   前記対象物からの反射光を受光し、第１波長および前記第１波長と異なる第２波長の撮像画像を取得するステップと、
   前記第１波長の撮像画像と前記第２波長の撮像画像とを比較して前記反射光のフレネル反射成分と散乱成分を抽出分離するステップと、
   前記フレネル反射成分と前記散乱成分に基づいて前記対象物の表面形状および表面性状の少なくとも１つを取得するステップと、
   を備えた物体認識方法。
10. 前記抽出分離するステップは、前記第１波長の撮像画像と前記第２波長の撮像画像との差を取るステップを含む請求項９記載の物体認識方法。
11. 前記光を照射するステップは、前記対象物に対して光の入射角度が異なる位置に配置された複数の光源からの光を、時間差を持って前記対象物に照射するステップを含み、
    前記抽出分離するステップは、各光源の光に対する撮像画像に対して前記フレネル反射成分と前記散乱成分を抽出分離するステップを含む請求項９または１０記載の物体認識方法。
12. 前記撮像画像を取得するステップは、複数の撮像素子から前記対象物に関する撮像画像を取得するステップを含み、
    前記抽出分離するステップは、各撮像素子からの撮像画像を用いて前記反射光のフレネル反射成分と散乱成分を抽出分離するステップを含む請求項９または１０記載の物体認識方法。
13. コンピュータに、
    光源から対象物に光を照射する手順と、
    前記対象物からの反射光を受光し、第１波長および前記第１波長と異なる第２波長の撮像画像を取得する手順と、
    前記第１波長の撮像画像と前記第２波長の撮像画像とを比較して前記反射光のフレネル反射成分と散乱成分を抽出分離する手順と、
    前記フレネル反射成分と前記散乱成分に基づいて前記対象物の表面形状および表面性状の少なくとも１つを取得する手順と、
    を実行させるためのプログラム。