JP3573512B2 - 画像処理方法及び画像処理装置 - Google Patents
画像処理方法及び画像処理装置 Download PDFInfo
- Publication number
- JP3573512B2 JP3573512B2 JP01420895A JP1420895A JP3573512B2 JP 3573512 B2 JP3573512 B2 JP 3573512B2 JP 01420895 A JP01420895 A JP 01420895A JP 1420895 A JP1420895 A JP 1420895A JP 3573512 B2 JP3573512 B2 JP 3573512B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- fourier transform
- distance
- information
- light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/88—Image or video recognition using optical means, e.g. reference filters, holographic masks, frequency domain filters or spatial domain filters
- G06V10/89—Image or video recognition using optical means, e.g. reference filters, holographic masks, frequency domain filters or spatial domain filters using frequency domain filters, e.g. Fourier masks implemented on spatial light modulators
- G06V10/893—Image or video recognition using optical means, e.g. reference filters, holographic masks, frequency domain filters or spatial domain filters using frequency domain filters, e.g. Fourier masks implemented on spatial light modulators characterised by the kind of filter
- G06V10/895—Image or video recognition using optical means, e.g. reference filters, holographic masks, frequency domain filters or spatial domain filters using frequency domain filters, e.g. Fourier masks implemented on spatial light modulators characterised by the kind of filter the filter being related to phase processing, e.g. phase-only filters
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
Description
【０００１】
【産業上の利用分野】
本発明は、画像処理方法及び画像処理装置に関し、特に、３次元物体の認識に有効とされる情報を高速に取り出すための方法、装置及びそれらを用いた画像処理装置に関する。
【０００２】
【従来の技術】
産業用ロボットの視覚処理装置や、オートメーションラインの製品検査等を始めとして、３次元の物体を様々な方向から見ても認識可能な装置へのニーズは強く、様々な研究がなされてきた。
【０００３】
それらの中でも、拡張ガウス像を認識に用いる方法は、有力な方法として知られている（Ｈｏｒｎ，Ｂ．Ｋ．Ｐ．， ＆ Ｋ．Ｉｋｅｕｃｈｉ（１９８４） ”Ｔｈｅ Ｍｅｃｈａｎｉｃａｌ Ｍａｎｉｐｕｌａｔｉｏｎ ｏｆ Ｒａｎｄｏｍｌｙ Ｏｒｉｅｎｔｅｄ Ｐａｒｔｓ，” Ｓｃｉｅｎｔｉｆｉｃ Ａｍｅｒｉｃａｎ， Ｖｏｌ．２５１， Ｎｏ．２， ｐｐ．１００−１１１， Ａｕｇｕｓｔ 参照） 。拡張ガウス像では、３次元物体の表面において、まず、その表面は単位面積の面素で被われていると仮定し、この面素の法線単位ベクトルを決定する。具体的に、円柱の場合の面素と法線単位ベクトルを図１９（ａ）に示す。図中の斜線ハッチで示したものが１つの画素であり、この画素に対し１つの法線単位ベクトルが決定される。この全ての法線単位ベクトルの始点を、図１９（ｂ）に示すように、ガウス球の原点へ平行移動する。結果として、それらのベクトルの終点は、単位半径を持つ球面（ガウス球）上に乗る。さらに、ベクトル終点の存在密度に対応させて、そのベクトルの終点に重みを付け、ガウス球面上にその物体特有の質量分布を持たせたものが拡張ガウス像である。例えば、図１９（ａ）に対応する拡張ガウス像を、ベクトルの質量をその方向に向くスパイクの長さとして表示したものが図１９（ｃ）である。スパイクの長さ、つまり、このベクトルの持つ質量は単位面積の数に対応するので、質量の総和は、物体のその方向に法線を持つ表面の面積に対応する。
【０００４】
このような拡張ガウス像を用いれば、例えば、認識対象の物体の拡張ガウス像と、予め求めておいた様々な物体の拡張ガウス像とをコンピュータ内で数学的に回転させて照合し、最もよく照合の取れた拡張ガウス像の物体と認識対象の物体とが同一であると認識することができる。この照合の際に、物体の姿勢も同時に判る。
【０００５】
実際には、図２０（ａ）に示したように、例えば円柱９０１を観測方向９０２から観測すると、斜線ハッチ部分のみが観測され、単位面積の画素もその傾きによって見かけの大きさとは異なり、補正する必要がある。この円柱の場合、図２０（ａ）中の観測方向と逆方向にＺ軸、さらに、図中に示すようにＸ、Ｙ軸をとれば、その場合の拡張ガウス像は、図２０（ｂ）のように、Ｚ＞０の部分にのみ存在することになる。つまり、一般の観測においては、観測可能な領域は認識対象物体９０１のおよそ半分である。したがって、認識の際には、様々な物体について色々な方向から観測した場合の拡張ガウス像を予め求めておき、認識対象の拡張ガウス像と比較することになる。この際に、拡張ガウス像では、拡張ガウス像を構成するベクトルとその質量の積による一次のモーメントや、二次のモーメントを計算し、その値を利用して観測物体の姿勢を大まかに決定することができ、比較する拡張ガウス像を大幅に少なくすることが可能である。具体的には、図２０（ｂ）の拡張ガウス像では、図２０（ａ）の観測方向９０２から観測すれば、どんな姿勢で観測者が観測しても、認識対象の物体９０１の斜線部分の可視可能な表面積と、その見えている座標系（Ｘ、Ｙ、Ｚ）で、ＸＹ平面に投影されている面積の割合、つまり、投影率は等しくなるので、投影率の大きく異なる拡張ガウス像はそれ以上詳しく照合する必要はない。また、画像中の二次モーメントの最小の方向９０３は画像が回転すればそれに応じて回転するので、図２０（ｂ）が回転した画像と図２０（ｂ）を比較する際には、最小モーメントの軸方向を一致させて比較すればよい。つまり、どんな姿勢で認識対象物体９０１を観測しようとも、その最小モーメントの方向９０３をある特定の軸（例えば、図２０（ｂ）のＸ軸）に一致させて比較すれば、色々回転させた画像と一つ一つ比較する必要はない。このようにして、詳しく比較する拡張ガウス像の数を大きく減らすことが可能である（池内克史“拡張ガウス像に基づく被写体のいがぐり表現像から観測方向決定のための一手法”電子通信学会論文誌，１９８３．５．Ｖｏｌ．Ｊ６６−Ｄ ｐ．４６３〜４７０ 参照） 。
【０００６】
【発明が解決しようとする課題】
上述したように、拡張ガウス像を用いることは有効な手段であるが、これを求めるためには、認識対象物体の含まれる画像を面素に分割して、それぞれの面素について法線ベクトルを求め、さらにその存在密度を求めなければならない。
【０００７】
しかしながら、従来のように、この計算をコンピュータ上で一つ一つ逐次的に計算して求める方法では、膨大な時間を必要とし、高速な認識への最大の妨げとなっている。
【０００８】
本発明は従来技術のこのような課題に鑑みてなされたものであり、その目的は、３次元物体の高速認識のために、物体の距離画像を得て、その距離画像中に含まれる平面の傾きとその近似的な面積を瞬時に検出することができる方法、装置及び、それらを用いた画像処理装置を提供することである。
【０００９】
【課題を解決するための手段】
上記目的を達成するための本発明の画像処理方法は、物体の３次元情報として、距離の情報を画素の値とする距離画像を位相分布の画像に変換し、その位相分布の画像のフーリエ変換を行い、前記距離画像中に含まれる平面の法線とその近似的な面積を示す画像を得ることを特徴とする方法である。
【００１０】
さらに、上記方法を実現するための本発明の画像処理装置は、図１のブロック図に示すように、物体の３次元情報として、距離画像を獲得する距離画像獲得手段４０１と、獲得された距離画像を位相分布として表示するための画像表示手段４０２と、画像表示手段４０２に表示された画像を読み出すための略平行なコヒーレント光と、コヒーレント光によって読み出された画像にフーリエ変換を施すためのフーリエ変換レンズとからなるフーリエ変換光学系４０３と、フーリエ変換光学系４０３によって得られるフーリエスペクトル像を検出するためのフーリエ変換スペクトル検出手段４０４とから構成されるものである。
【００１１】
この場合、さらに、認識手段４０５を有し、認識対象の３次元物体を高速で認識する機能を有することが可能になる。
【００１２】
また、上記方法を実現するための本発明の別の画像処理装置は、図４のブロック図に示すように、情報として、少なくとも距離画像を獲得する距離画像獲得手段１４０１を有する物体情報獲得手段１４０３と、獲得された距離画像を位相分布として表示するための第１画像表示手段１４０２と、獲得された物体情報から領域分割し、一部の領域を抽出する領域抽出手段１４０４と、領域抽出手段１４０４で抽出された領域を強度情報として表示するための第２画像表示手段１４０５と、上記第１及び第２画像表示手段１４０２、１４０５に表示された画像を読み出すための略平行なコヒーレント光と、このコヒーレント光によって読み出された画像にフーリエ変換を施すためのフーリエ変換手段１４０６と、上記フーリエ変換手段１４０６によって得られるフーリエスペクトル像を検出するための検出手段１４０７とから構成され、獲得する物体画像中に含まれる平面の法線とその近似的な面積を高速に検出するものである。
【００１３】
この場合、さらに、上記の検出手段１４０７中に強度変調が可能なフィルタリングを行うフィルタリング手段を含むように構成することが可能である。
【００１４】
また、さらに、認識手段１４０８を有し、認識対象の３次元物体を高速で認識する機能を有することが可能になる。
【００１５】
【作用】
以下、本発明の詳細について説明する。例えば、図２に示すように、３次元物体を構成するある平面１が、観測者の視線方向と逆向きの方向をｚ軸とする座標系（ｘ，ｙ，ｚ）において、ｚ（ｘ，ｙ）＝ａｘ＋ｂｙ＋ｃであるとし、それが観測者の視線方向に垂直な平面２の領域ｇ（ｘ，ｙ）に投影されたとする。本発明の方法を用いて、この３次元の距離画像を位相分布として表すと、ｅｘｐ（ｉｚ（ｘ，ｙ））となり、この位相分布についてフーリエ変換を行えば、
となる。ここで、Ｇ（ξ，η）はｇ（ｘ，ｙ）のフーリエ変換を示す。
【００１６】
つまり、一定の傾きを有する領域ｇ（ｘ，ｙ）のフーリエ変換情報が（ξ，η）＝（ａ／２π，ｂ／２π）だけシフトした画像となる。ここで、フーリエ変換情報の中心は、変換領域（ここでは、一定の傾きを有する領域）の面積に対応した強いピークとなるので、この点を検出することができる。したがって、フーリエ変換面において、この点とその強度を検出すれば、平面１の傾きとその近似的な面積を知ることができる。
【００１７】
このような処理を施した画像は、前述した拡張ガウス像を構成するベクトル（ｌ，ｍ，ｎ）をＺ＝−１の平面に投影した画像に相当する。したがって、拡張ガウス像が持つ様々な特徴はそのまま利用することが可能となる。
【００１８】
さらに具体的には、距離画像獲得手段により得られた距離画像データを位相分布として画像表示手段に表示し、その画像についてのフーリエ変換をフーリエ変換レンズを用いて光学的に行えば、上記手法が高速に実現できる。その際のフーリエ変換レンズの焦点距離をｆ、使用する波長をλとし、フーリエ変換面での座標を（ｘ’，ｙ’）とすると、ξ＝ｘ’／ｆλ，η＝ｙ’／ｆλと置けるため、
ｘ’＝ｆλａ／２π，
ｙ’＝ｆλｂ／２π ・・・（１）
の点に強いピークを持つことになる。
【００１９】
一例として、フーリエ変換レンズの焦点距離ｆ＝１０００ｍｍ，再生波長λ＝６３２．８ｍｍとし、図３（ａ）に示すように、
の平面で構成される四角錐を含む１０ｍｍ×１０ｍｍの位相分布の画像を、フーリエ変換光学系を用いたフーリエ変換のシミュレーションを行えば、そのフーリエスペクトル像は図３（ｂ）のような結果となる。この場合、傾きとしては、（ａ，ｂ）＝（１０，１０），（１０，−１０），（−１０，１０），（−１０，−１０）の４つがあり、これらの点に対応するフーリエスペクトル面での点は、式（１）より、それぞれ（１ｍｍ，１ｍｍ），（１ｍｍ，−１ｍｍ），（−１ｍｍ，１ｍｍ），（−１ｍｍ，−１ｍｍ）となり、それぞれの点でピークを生じているのが判る。さらに、これらの点でのピークの値は、５ｍｍ×５ｍｍの正方形の開口のフーリエ変換を行った場合の中心でのピークとほぼ値が等しくなるので、画像中に５ｍｍ×５ｍｍに近い面積があることが判る。これらの点と強度が瞬時に知り得るので、物体を構成する平面の傾きとその近似的な面積を知ることができ、認識にかかる時間は大幅に減少し、高速な３次元物体の認識が可能となる。
【００２０】
ところで、上述の画像処理方法は有効な方法であるが、得られる距離画像全体にわたってフーリエ変換が行われているので、距離画像中に含まれる背景等の認識対象以外の物体の情報が重ね合わさってしまい、それらの除去等の処理が必要となる。
【００２１】
また、得られる面積情報においても、測定される光量は観測されている部分の正射影された面積であり、実際の表面積を求めるためには、各画素にわたって得られる光量に対して補正する必要がある。実際の認識の場合には、平面の傾きの情報だけで判断できるものが多いが、さらに高度な判断が必要とされる場合には、これらの補正がなされた表面積の情報が必要である。これらはソフトウエア的に補正することももちろん可能だが、それではこの部分において高速認識が妨げられてしまう。
【００２２】
そこで、別の本発明においては、得られた距離画像中に含まれる特定の認識対象の物体を選択し、また、それを構成する平面の傾きとその近似的な面積を、他の情報と混在することなく、高精度で瞬時に検出するようにする。
【００２３】
すなわち、図４の構成においては、距離画像獲得手段１４０１で獲得された距離画像中に存在する認識対象を構成する平面の傾きとその近似的な面積を、背景や他の物体の情報を受けることなく高速に得ることができる。
【００２４】
さらに、検出手段１４０７中に強度変調が可能なフィルタリングを行うフィルタリング手段を含むように構成することにより、図４の装置で得られる傾きと面積を示す画像の直前に、見え方とその実際の面積が対応するように透過率が変化するフィルターを設けるので、高速な認識が可能となる。
【００２５】
具体的には、ｚ（ｘ，ｙ）＝ａｘ＋ｂｙ＋ｃの平面が距離画像中に存在すれば、フーリエ変換レンズとして焦点点距離ｆのレンズを用いれば、検出面で法線を示すベクトル成分の（ａ、ｂ）に比例した位置（ｆλａ／２π，ｆλｂ／２π）にピークが生じる。その際に得られる光量は、観測している面の正射影された面積に対応しており、これは実際の表面積の１／（ａ２ ＋ｂ２ ＋１）１／２ 倍になっている。そこで、透過率が（ａ２ ＋ｂ２ ＋１）１／２ で変化するフィルター、つまり、ある点（ｘ，ｙ）の位置に対して透過率が｛（２πｘ／ｆλ）２ ＋（２πｙ／ｆλ）２ ＋１｝１／２ で変化するフィルターを検出面の直前に配置することで、正射影による面積の補正を逐次計算する必要がなく、瞬時に表面積を求めることができる。
【００２６】
【実施例】
以下、本発明の画像処理方法及び画像処理装置のいくつかの実施例について、図面を参照にして説明する。
〔実施例１〕
本発明の実施例１について、その構成を示す図５を参照にして説明する。図１に示した距離画像獲得手段４０１としては、レーザーレンジファインダー５０２、レーザーレンジファイダー５０２の情報をコンピュータ５０４に取り込むためのＡＤ変換器とメモリを組み合せたものとしてフレームメモリ５０３、コンピュータ５０４で構成されており、表示手段４０２としては、コンピュータ５０４の情報を伝達するためにＡＤ変換器とメモリを組み合せたものとしてフレームメモリ５０５、表示素子として電気アドレス型位相変調器、ここでは具体的に、電気アドレス型位相変調液晶５０６で構成され、検出手段４０４としては、スクリーン５０９、２次元撮像素子として、具体的にＣＣＤカメラ５１０、フレームメモリ５１１、コンピュータ５１２で構成されている。
【００２７】
まず、レーザーレンジファインダー５０２を用いて、認識対象物体５０１の距離情報を得る。さらに、得られた距離情報をフレームメモリ５０３を通してコンピュータ５０４で処理することで、認識対象物体５０１の距離画像を得る。
【００２８】
次に、この得られた距離画像をフレームメモリ５０５を通し、電気アドレス型位相変調液晶５０６に位相分布として表示する。この電気アドレス型変調液晶５０６は、液晶の画素毎に入力される電気信号に応じて位相を変調することができ、位相の変調が簡単にできる装置である。つまり、コンピュータ５０４で得られる距離画像の信号をフレームメモリ５０５を通し液晶５０６に入力するだけで、距離の情報を−π〜πの位相として表示することが可能になる。ここでは、画像中の最も遠い距離のときに−π、最も近い距離のときにはπの位相分布を与えるようにしている。この位相分布として表示された画像を、レーザー発振器５２１から出射したレーザー光５２２を集光レンズ５２３で集光し、その集光レンズ５２３の後側焦点位置に置かれたピンホール５２４を通過してきた光をコリメータレンズ５２５を用いて形成した略平行なコヒーレント光５０７で読み出す。さらに、その透過光は、焦点距離ｆのフーリエ変換レンズ５０８を経て、レンズ５０８の後側焦点の位置にフーリエ変換像を形成する。スクリーン５０９は、レンズ５０８の後側焦点位置に配置されており、電気アドレス型位相変調液晶５０６に表示されている画像のフーリエスペクトル像がスクリーン５０９上に形成され、この画像データをＣＣＤカメラ５１０で取り込む。
【００２９】
このＣＣＤカメラ５１０で得られたデータは、前述したように、電気アドレス型位相変調液晶５０６に表示された位相分布ｅｘｐ（ｉｚ（ｘ，ｙ））のフーリエ変換の２乗のフーリエスペクトル画像であるので、ｚ（ｘ，ｙ）を構成する平面の傾きを示す点に、その面積に対応した強度のピークを生じる。したがって、その位置と強度をフレームメモリ５１１を通してコンピュータ５１２で検出すれば、電気アドレス型位相変調液晶５０６に表示されている画像中の平面の方程式の傾きとそのピーク値が判るので、距離画像中に含まれる平面の方程式の傾きとその近似的な面積を瞬時に検出することができる。
【００３０】
〔実施例２〕
次に、図６を参照にして、本発明の実施例２を説明する。
実施例１では、距離画像獲得手段４０１として、高い精度の距離情報を得るために、特殊な装置であるレーザーレンジファインダー５０２を用いたが、ここでは一般的な装置で実現するために、２つの２次元の撮像素子としてＣＣＤカメラ６０２ａ、６０２ｂと、ＡＤ変換器とメモリを備えた装置としてここではフレームメモリ６０３ａ、６０３ｂと、コンピュータ６０４で構成する。さらに、実施例１では、装置が簡略化できるように、画像表示手段４０２として、フレームメモリ５０５と電気アドレス型位相変調液晶５０６を用いたが、この実施例２では、入射する光の強度に応じて位相を変調し、より細かな画像を表示することが可能な表示素子として、光アドレス型位相変調器、特にここでは、光書き込み型位相変調液晶６０９を用いて、フレームメモリ６０５、書き込み光６０７、透過型液晶表示素子６０６、結像レンズ６０８で画像表示手段４０２を構成した。検出手段４０４としては、実施例１と同様で、スクリーン６１３、ＣＣＤカメラ６１４、フレームメモリ６１５、コンピュータ６１６で構成される。
【００３１】
始めに、認識対象の物体６０１を、２つの画像間に適切な視差が生じるように、異なる位置に配置されている２つのＣＣＤカメラ６０２ａ、６０２ｂで撮影する。この２つのＣＣＤカメラにより撮影された２枚の画像をフレームメモリ６０３ａ、６０４ｂを通してコンピュータ６０４に入力する。このコンピュータ６０４に入力した２枚の画像の間には視差を生じているので、その２枚の画像の間の視差を用いて、物体６０１の奥行きをコンピュータ６０４上でソフトウエアを用い計算し、物体６０１に関する距離画像を得る。
【００３２】
この獲得された距離画像データをフレームメモリ６０５を通して透過型液晶表示素子６０６に表示し、この画像を書き込み光６０７で読み出し、結像レンズ６０８を通して光書き込み型位相変調液晶６０９に距離画像を結像させ、光の強度として書き込む。光書き込み型位相変調液晶６０９では、光の強度の最も強いときに−π、最も弱いときにπとなるように位相変調を行う。したがって、光書き込み型位相変調器６０９に光の強度として書き込まれた画像は、ビームスプリッター６１０を透過してきた読み出し光６１１で位相の分布として読み出される。読み出し光６１１によって読み出された光は、フーリエ変換レンズ６１２を通してレンズ６１２の後側焦点面に置かれたスクリーン６１３に、読み出された画像のフーリエスペクトル像を形成する。このフーリエスペクトル像のデータをＣＣＤカメラ６１４で取り込み、フレームメモリ６１５を介してコンピュータ６１６で検出する。ここで検出される画像は、前述したように、光書き込み型位相変調液晶６０９に表示されている画像中に含まれる平面の傾きを示す点に、その面積に対応した強度のピークを持つので、距離画像中に含まれる平面の方程式の傾きを瞬時に検出することができる。
【００３３】
また、実施例１及び２では、表示素子として電気アドレス型位相変調液晶と光書込み型位相変調液晶を示したが、これに限定されるものではなく、位相を変調できるものなら何れでもよく、例えば、液晶やサーモプラスチック、半導体等の素子を用いてももちろんよい。
【００３４】
また、位相変調の範囲としては、現在入手容易な位相変換素子の特性より−π〜πまでの情報に変換したが、位相変換範囲がｎπ〜ｍπ（ｍ，ｎ：整数）まで可能であれば、距離の変換範囲をｎπ〜ｍπの範囲内に比例して対応するように変換しても同様の効果が得られる。
【００３５】
さらに、例えば図７（ａ）に示すように、距離の変換範囲がＤであり、それが０〜ｍπに対応すると仮定する。これを、図７（ｂ）に示すように、ある小さい距離ｄ毎に０〜２πに対応するようにすれば、位相変換範囲が０〜２πまでの変換範囲内で、図７（ａ）と同様の効果があるのは自明である。
【００３６】
〔実施例３〕
次に、図８を参照にして、本発明の実施例３を説明する。
上記実施例１、２では、画像表示手段４０２の中の表示素子として、位相分布を表示するために、位相変調型の液晶を用いたが、現状では特殊な素子であるので、ここでは、より一般的に使用されている強度変調型の空間光変調器、具体的に液晶用いた例を示す。
【００３７】
基本的な構成は実施例１と同じで、ここでは、電気アドレス型位相変調型液晶５０６の代りとして、電気アドレス型強度変調型液晶７０６を使用する。まず、実施例１と同様に、レーザーレンジファインダー７０２を用いて認識対象物体７０１の距離情報を得る。次に、その情報をフレームメモリ７０３を通して、コンピュータ７０４で認識対象物体７０１の距離画像を得る。さらに、コンピュータ７０４内でこの距離画像ｚ（ｘ，ｙ）をもとに、読み出し光７０７により読み出された光の中の１つがｅｘｐ（ｉｚ（ｘ，ｙ））となるように、計算機ホログラムを作成する。一例として、図９に示す座標系（ｘ，ｙ，ｚ）において、ｚ＝０の平面７３３に対して、波面Ｒ（ｘ，ｙ）７３１を仮定し、平面７３３でその波面７３１と位相分布ｅｘｐ（ｉｚ（ｘ，ｙ））７３２との干渉縞
Ｌ（ｘ，ｙ）＝｜ｅｉｚ（ｘ，ｙ） ＋Ｒ（ｘ，ｙ）｜２
を計算して計算機ホログラムＬ（ｘ，ｙ）を求めればよい。この計算機ホログラムをフレームメモリ７０５を通して電気アドレス型強度変調液晶７０６に表示する。この際に、読み出し光７０７として、ここでは上記で仮定した波面Ｒ（ｘ，ｙ）を用いて読み出す。このようにすれば、その計算機ホログラムより読み出された光の中でｅｘｐ（ｉｚ（ｘ，ｙ））の波面を持つものが存在する。そのｅｘｐ（ｉｚ（ｘ，ｙ））の波面についてのフーリエ変換をフーリエ変換レンズ７０８を用いて行い、スクリーン７０９上に形成されるフーリエスペクトル像をＣＣＤカメラ７１０で取り込み、フレームメモリ７１１を介してコンピュータ７１２で検出する。このフーリエスペトクトル像は、前述したものと同様に、認識対象物体７０１を構成する平面の傾きとその近似的な面積を示す画像となり、実施例１、２と同様の効果が得られる。
【００３８】
以上では、距離画像獲得手段４０１として、ＣＣＤカメラ２個を用いた場合とレーザーレンジファインダーを用いた場合を示したが、速度は遅くなるが、ＣＣＤカメラ１個を用いて異なる位置より撮影し、それより得られる２枚の画像より距離画像を獲得する方法もある。また、認識対称物体が時間と共に移動している場合に、固定されたＣＣＤカメラ１個であるサンプル時間で２度撮影すれば、その２枚の画像より距離画像を求めることもできる。
【００３９】
また、実施例３では、表示素子として電気アドレス型強度変調液晶を示したが、光書込み型強度変調液晶や、結晶や、サーモプラスチック、半導体等の素子を用いても同様のことが実現できる。
さらに、ここまでは、２次元の撮像素子として、ＣＣＤカメラを用いた例を示したが、撮像管を用いたものや、他の固体撮像素子を用いてもよい。
【００４０】
〔実施例４〕
次に、以上のようにして得られた画像を用いた認識装置についての実施例を示す。
第一に、上記手法を用いて得られた画像情報は、前述した拡張ガウス球をＺ＝−１の平面に投影した画像に類似するデータとなり得るので、これまでの照合方法と同様な方法をコンピュータ上でソフトウエアを用いて実現することが可能である。
【００４１】
図１０のブロック図を用いて具体例を示す。基本的には、参照すべき物体の情報を記録する段階と、認識すべき物体の情報と参照物体の情報との比較の２つの段階に分かれており、参照物体の情報を記録する段階の情報の流れを図１０に破線で、比較する段階の情報の流れを実線で示す。まず、記録段階として、予め参照する色々な物体を色々な姿勢や角度から見た場合について、上記手法を用いて変換された画像１００１を求めておく。それらの画像をコンピュータのメモリ１００２上に蓄えておく。次に、比較段階として、認識対称の物体についても同様の装置により、同様の手法で距離画像を変換する。その変換された画像１００１とメモリ１００２上に蓄えられた画像を比較手段１００３で、それらの画素毎の差の２乗を計算し、その総和を計算することで、２つの画像間の違いを求める。もし、２つの画像が等しいかもしくは似たものであれば、その総和は０に近くなり、２つの画像が等しいことが判り、認識対象の物体がどの画像であるかが判り、結果を出力する。
【００４２】
また、比較手段１００３において、最小２乗の和ではなく、２つの画像間の相関値を用いて比較する方法も可能である。もし、２つの画像が等しければ、その相関値は他のものとの相関値より大きな値となり、どの画像と等しいかが判る。この画像間の相関演算は、光学的に実現することも可能で、例えばジョイントトランスフォームコリレーションと呼ばれる手法があり、フーリエ変換を２度行うことで実現することができる。具体的には、図１１に示すようなフーリエ変換光学系を用いる。
【００４３】
まず、上記手法により得られた画像１００１と予めメモリ１００２に蓄えておいた参照する画像とを、コンピュータ８０１で電気アドレス型振幅変調液晶８０４上に、それぞれ原点が（ｘ１，ｙ１），（ｘ２，ｙ２）（ただし、ｘ１≠ｘ２，ｙ１≠ｙ２）上になるように、同時に表示できるようにし、フレームメモリ８０２を通して電気アドレス型振幅変調液晶８０４に表示する。この認識対象の画像と参照する画像を同時に表示した画像を読み出し光８０３で読み出し、フーリエ変換レンズ８０５を経ることでその後側焦点位置に配置されたスクリーン８０６上にフーリエスペクトル像を得る。次に、その画像をＣＣＤカメラ８０７で撮影し、フレームメモリ８０８を経ることで、電気アドレス型位相変調液晶８０４に得られたフーリエスペクトル画像を表示する。このフーリエスペクトル画像を同様な手法でさらにフーリエ変換することで、スクリーン８０６上の（ｘ１−ｘ２，ｙ１−ｙ２），（−ｘ１＋ｘ２，−ｙ１＋ｙ２）を中心として２つの画像の相関演算を示す画像を得ることが可能となる。なお、電気アドレス型振幅変調液晶８０４に２つだけの画像でなく複数の画像を表示することによって、複数の画像との相関演算を瞬時に行うことができ、さらに高速な認識が可能となる。
【００４４】
〔実施例５〕
次に、図１２のブロック図を用いて、参照する画像を大きく減らすために、拡張ガウス球の特性を使った方法を示す。ここでも、参照物体の情報を記録する段階と、認識対象物体の情報と参照物体の情報の比較の２つの段階に分かれており、参照物体の情報を記録する段階の情報の流れを図中に破線で、比較する段階の情報の流れを実線で示す。まずは記録段階として、前述したように、参照物体について、その距離画像に上記変換を施した画像１１０１から、従来例で示した一次のモーメントや二次のモーメントをモーメント検出器１１０２で求め、二次モーメントの最小の軸を特定した軸Ｌと一致するように、回転手段１１０８でその画像を回転させる。その回転させた画像とその画像に関する一次モーメントをメモリ１１０３に対して多数記録しておく。
【００４５】
次に、比較段階として、上記手法により、認識対象の物体の変換画像１１０１を得て、次にモーメント検出器１１０２で一次のモーメントと二次のモーメントを求める。次に、予めメモリ１１０３に用意してある参照する画像の一次モーメントとモーメント比較手段１１０４で比較し、その差があるしきい値以上の参照物体についての比較対象の画像を選択手段１１０５で選択する。さらに、モーメント検出１１０２で求めた二次モーメントが最小となる軸を特定した軸Ｌと等しくなるように、画像を回転手段１１０６で回転し、その回転した画像と比較対象としてあげられた画像とを比較する。この比較は、比較手段１１０７で実施例４であげられた最小２乗の総和や相関演算を行い、実行する。
【００４６】
〔実施例６〕
次に、３層構造のバックプロパゲーション型のニューラルネットを用いた認識装置の例を示す。図１３に示すように、例えば、上記手法によって検出手段４０４によって得られた画像の画素それぞれの画素値をニューラルネットの入力層１２０１への入力値とする。このバックプロパゲーションモデルでは、まず、学習によりニューラルネットの各層間のシナプス荷重を決定することが必要となる。これは、参照とする物体を上記手法を用いて変換し、その結果、検出手段４０４で得られた画像の画素値をニューラルネットの入力層１２０１のニューロンに順次入力し、この際、ニューラルネットの出力層１２０３のニューロンの発火が認識すべき物体に対して選択的に行われるように、逆伝播学習則を用いて各層間のシナプス荷重を固定すればよい。具体的には、特定の物体Ａをある方向である姿勢で観測した場合の距離画像を入力した際に、出力層１２０３では特定のニューロン１２０４が発火するように、種々の物体について逆伝播学習則を用いて学習する。次に、認識の際には、認識すべき物体に対する傾きとその面積を示す画像を上記手法で得て、さらにバックプロパゲーションモデルの入力層１２０１に入力し、ニューラルネットの出力層１２０３内のニューロンの発火の状態の中で最も発火しているニューロンを検出すれば、そのニューロンに対応する物体であることが判る。また、ニューラルネットとしてバックプロパゲーションを用いる場合の原理を述べたが、ホップフィールド型のニューラルネットを用いても、実現可能なことは明らかである。
【００４７】
〔実施例７〕
次に、別の本発明の実施例を図１４を参照にして説明する。この実施例では、図４に示した物体情報獲得手段１４０３は距離画像獲得手段１４０１だけで、ここでは、レーザーレンジファインダー１５０２、レーザーレンジファインダー１５０２の情報をコンピュータ１５０４に取り込むためのＡＤ変換器とメモリを組み合わせたものとしてフレームメモリ１５０３、及び、コンピュータ１５０４で構成されており、第１画像表示手段１４０２としては、コンピュータ１５０４の情報を伝達するためにＡＤ変換器とメモリを組み合わせたものとしてフレームメモリ１５０５、表示素子１５０６として位相変調型の電気アドレス型空間光変調器（以下、ＳＬＭと呼ぶ。））、ここでは液晶製のＳＬＭで構成される。また、領域抽出手段１４０４としては、コンピュータ１５０４上でソフトウエアを用いて行い、第２画像表示手段１４０５としては、コンピュータ１５０４の情報を伝達するためにＡＤ変換器とメモリを組み合わせたものとしてフレームメモリ１５０７、表示素子とし強度変調型の電気アドレス型ＳＬＭ１５０８、ここでは 液晶製のＳＬＭで構成される。検出手段１４０７としては、フィルター１５２１、スクリーン１５２２、２次元撮像素子１５３０、ここでは具体的にＣＣＤカメラ、さらにフレームメモリ１５３１で構成されている。
【００４８】
まず、レーザーレンジファインダー１５０２を用いて、認識対象物体１５０１の距離情報を得る。さらに、この距離情報をフレームメモリ１５０３を通してコンピュータ１５０４で処理することで、認識対象物体１５０１の距離画像を得る。
【００４９】
次に、この得られた距離画像をフレームメモリ１５０５を通し、ＳＬＭ１５０６に位相分布として表示する。このＳＬＭ１５０６は、液晶製の電気アドレス型位相変調器であるため、液晶の画素毎に入力される電気信号に応じて位相を変調することができ、位相の変調が簡単にできる装置である。つまり、コンピュータ１５０４で得られる距離画像の信号をフレームメモリ１５０５を通し液晶に入力するだけで、距離の情報を−π〜πの位相として表示することが可能になる。ここでは、画像中の最も遠い距離のときに−π、最も近い距離のときにはπの位相分布を与えるようにしている。
【００５０】
次に、３次元情報としてレーザーレンジファインダー１５０２より得られた距離画像を用い、コンピュータ１５０４でまず領域分割を行う。
【００５１】
ここでは、重みテーブルとの積和演算により空間フィルタリングを行い、画像のエッジを求めることで領域分割を行う。重みテーブルは、ここでは３×３のマトリックスからなり、フィルタリングは、重みテーブルの成分をＷ（ｉ，ｊ）、フィルタリングを行う画像をＰ（ｘ，ｙ）とすると、各画素に対して、
の計算を行う。ここでは、フィルターに用いる重みテーブルとして、図１５（ａ）に示すラプラシアンのテーブルを用いる。ラプラシアンは、画像の二回微分を求めるもであるので、距離画像におけるジャンプエッジと呼ばれる濃度値がジャンプ状に変化する領域の境界を求める。この領域の境界線は、認識対象物体と背景との境界であり、このエッジに囲まれた領域が認識対象物体の存在する領域であると言える。また、このラプラシアンのオペレータにより得られたエッジ情報では１つの領域を特定できない場合には、次に、図１５（ｂ）に示すソーベルのオペレータと呼ばれる演算を画像全体にわたって施すことで、傾きが不連続に変化する境界も検出する。ソーベルのオペレータは、図中に示すように、２つの重みテーブルを作用させてそれぞれの絶対値を求め、それらを足し合わせるものである。ラプラシアンを用いて得られた境界線をソーベルのオペレータで得られた境界線を用いてつなぎ合わせることで領域分割を行い、さらに分割された領域にりある特定の領域を定めることができ、その領域を抽出する。
【００５２】
この抽出された領域を開口とするパターンをコンピュータ１５０４で作成し、フレームメモリ１５０７を通して電気アドレス型で強度変調型の透過型のＳＬＭ１５０８に表示することで、抽出された領域の開口内は光が透過し、その他はほとんど光の透過がないようにする。
【００５３】
これらのＳＬＭ１５０８、１５０６に表示されたパターンを、まず、コヒーレント光源として種々のものが考えられるが、ここではヘリウムネオンレーザー光源１５１０から射出したレーザー光１５１１をレンズ１５１２で集光し、その集光レンズ１５１２の後側焦点位置に置かれたピンホール１５１３を通過してきた光をコリメータレンズ１５１４を用いて形成した略平行なコヒーレント光１５１５で読み出す。
【００５４】
まず、ＳＬＭ１５０８に入射した光は、ＳＬＭ１５０８に表示してある認識対象を開口としたパターンを読み出し、認識対象が存在する領域のみの光が次のＳＬＭ１５０６に入射される。さらに、認識対象物体の領域を読み出した入射光は、ＳＬＭ１５０６に表示してある距離画像を位相分布として表現した画像の中で認識対象が存在する領域のみを読み出し、これら２つの画像を読み出した光は、焦点距離ｆのフーリエ変換レンズ１５２０を経て、レンズ１５２０の後側焦点の位置に配置されたスクリーン１５２２上に、フィルター１５２１を通過してフーリエ変換像を形成する。スクリーン１５２２上に形成される画像をＣＣＤカメラ１５３０で撮影し、フレームメモリ１５３１を通してコンピュータ１５３２で取り込む。
【００５５】
このＣＣＤカメラ１５３０で得られたデータは、ＳＬＭ１５０８が示す開口領域内でＳＬＭ１５０６に表示された位相分布ｅｘｐ（ｉｚ（ｘ，ｙ））のフーリエ変換の２乗のフーリエスペクトル画像であるので、ＳＬＭ１５０８に示された認識対象物体を構成する平面の傾きを示す点にその面積に対応したピークを生じる。よって、その位置と強度をフレームメモリ１５３１を通しコンピュータ１５３２で検出すれば、認識対象物体を構成する各平面の方程式の傾きと近似的な面積を瞬時に検出することができる。
【００５６】
フィルター１５２１としては、前述したように、位置（ｘ，ｙ）に対して｛（２πｘ／ｆλ）２ ＋（２πｙ／ｆλ）２ ＋１｝１／２ で透過率が変化するようにフィルムにパターンを書き込んで作製する。このフィルター１５２１を配置しておけば、観測される見かけ上の面積が実際の面積に対応するようにフィルタリングが行え、実際に逐次補正することなく光量が面積と対応している。
【００５７】
〔実施例８〕
次に、図１６を参照にして別の本発明の第２の実施例について説明する。実施例７では、物体情報獲得手段１４０３としての距離画像獲得手段１４０１では、高い精度の情報を得るために特殊な装置であるレーザーレンジファインダー１５０２を用いたが、ここでは、一般的な装置で実現するために、２つの２次元の撮像素子としてＣＣＤカメラ１６０１、１６０２と、ＡＤ変換器とメモリを備えた装置としここではフレームメモリ１６０３、１６０４と、コンピュータ１６０５とで構成した。さらに、実施例７では、装置が簡略化できるように第１画像表示手段１４０２では電気アドレス型位相変調液晶１５０６を用いたが、実施例８では、入射する光の強度に応じて位相を変調し、より細かな画素を表示することが可能な表示素子として、位相変調型の反射型の光アドレス型ＳＬＭ１６２６、特にここでは液晶製のＳＬＭを用いるとし、フレームメモリ１６０６、書き込み光１６２３、強度変調型の電気アドレス型の透過型ＳＬＭ１６０８として液晶製のＳＬＭ、結像レンズ１６２５で構成した。その他の構成は、実施例７と基本的に同様の構成である。
【００５８】
始めに、認識対象の物体１５０１を、２つの画像間に適切な視差が生じるように異なる位置に配置されている２つのＣＣＤカメラ１６０１、１６０２で撮影する。この２つのＣＣＤカメラにより撮影された２枚の画像をフレームメモリ１６０３、１６０４を通してコンピュータ１６０５に入力する。このコンピュータ１６０５に入力した２枚の画像の間には視差を生じているので、その２枚の画像の間の視差を用いて奥行きをコンピュータ１６０５上でソフトウエアを用いて計算し、物体１５０１に関する距離画像を得る。
【００５９】
一方、ＣＣＤカメラ１６０１、１６０２より得られた濃淡画像と、それによって得られた距離画像より、コンピュータ１６０５上で実施例７と同様の方法でソフトウエアを用いて領域抽出を行う。この領域抽出で得られた抽出領域のみを開口とするパターンをフレームメモリ１６０７を通して強度変調型ＳＬＭ１６０９に表示する。
【００６０】
また、獲得された距離画像データをフレームメモリ１６０６を通しＳＬＭ１６０８に表示し、この画像をインコヒーレンス光源１６２０から射出したインコヒーレンス光１６２１を拡散版１６２２で拡散した書き込み光１６２３で読み出す。結像レンズ１６２５はＳＬＭ１６０８の表示面とＳＬＭ１６２６の書き込み面が結像関係となるように系を配置しておき、ＳＬＭ１６０８に表示してある距離画像を読み出した光１６２４はＳＬＭ１６２６の書き込み面に結像し、光の強度として書き込む。
【００６１】
ＳＬＭ１６２６は光書き込み型の位相変調ＳＬＭであるために、光の強度の最も強いときに−π、最も弱いときにπとなるように、コントローラ１６２７を用いて位相変調を行う。ＳＬＭ１６２６に光の強度として書き込まれた画像は、ビームスプリッター１６３１を通過してきた略平行光１６３０で位相分布の画像として読み出される。読み出し光の１６３０よって読み出された光１６３２は、次にＳＬＭ１６０９に入射する。ＳＬＭ１６０９には、上述したように、認識対象物体の領域のみ開口としているために、認識対象物体を示す領域のみを透過し、透過した光１６３３のみがフーリエ変換レンズ１６３４を通してレンズ後側焦点面に置かれたスクリーン１６４１に、フィルター１６４０を透過した後に、読み出された画像のフーリエスペクトル像を形成する。ここでも、フィルター１６４０は、実施例７と同様で、見える部分の面積と実際の表面積を補正するように、その位置により透過率が変化するようにフィルムにパターンを描いてあるフィルターである。
【００６２】
このフーリエスペクトル像の強度情報が補正されたデータをＣＣＤカメラ１６４２で取り込み、フレームメモリ１６４３を介してコンピュータ１６４４で検出する。ここで検出される画像は、実施例７と同様で、認識対象物体を構成する表面の傾きを示す点にその表面積に対応するピークを持つ画像なので、表面を構成する平面の方程式の傾きとその表面積を瞬時に検出することができる。
【００６３】
また、これまでは、表示素子として電気アドレス型位相変調液晶と光書き込み型位相変調液晶を示したが、結晶や、サーモプラスチック、半導体等の素子を用いてもよい。
【００６４】
また、位相変調の範囲として−π〜πとしたが、−ｎπ〜ｍπ（ｎ，ｍ：整数）にしても同様の効果が得られる。さらに、距離情報を−ｎπ〜ｍπの位相の範囲に変調すると仮定し、その得られた情報をさらに−π〜πに変換すれば、空間光変調素子が−π〜πの変調しかできなくとも、−ｎπ〜ｍπまで変調した場合と同様の効果を得ることができる。
【００６５】
〔実施例９〕
次に、図１７を参照にして別の本発明の第３の実施例について説明する。上記実施例７、８では、画像表示手段１４０２の中で、表示素子として位相分布を表示するために位相変調型のＳＬＭを用いたが、現状では特殊な素子であるので、ここでは、より一般的に使用されている強度変調型のＳＬＭ、具体的に液晶製のＳＬＭを用いた例に示す。
【００６６】
基本的な構成は実施例７と同じで、ここでは、透過型の電気アドレス型位相変調型ＳＬＭ１５０６の代わりとして、透過型の電気アドレス型強度変調型ＳＬＭ１７０６、ここでは液晶製のＳＬＭを使用し、さらに、ピークを検出する際のフィルター１７２１の分布を変化させてある点が異なる。
【００６７】
まず、実施例７と同様に、物体情報手段としてレーザーレンジファインダー１７０２を用いて認識対象物体１５０１の形状を計測し、次に、その情報をフレームメモリ１７０３を通し、コンピュータ１７０４で認識対象物体１５０１の距離画像を得る。さらに、コンピュータ１７０４内でこの距離画像ｚ（ｘ，ｙ）を求め、読み出し光１７１５により読み出された光の中の１つがｅｘｐ（ｉｚ（ｘ，ｙ））となるように計算機ホログラムを作製する。
【００６８】
一例として、図９に示す座標系（ｘ，ｙ，ｚ）において、ｚ＝０の平面７３３に対して、波面Ｒ（ｘ，ｙ）７３１を仮定し、平面７３３でその波面７３１と位相分布ｅｘｐ（ｉｚ（ｘ，ｙ））７３２との干渉縞
Ｌ（ｘ，ｙ）＝｜ｅｉｚ（ｘ，ｙ） ＋Ｒ（ｘ，ｙ）｜２
を計算して計算機ホログラムＬ（ｘ，ｙ）を求めればよい。この計算機ホログラムをフレームメモリ１７０５を通してＳＬＭ１７０６に表示する。
【００６９】
一方、実施例７と同様に、レンジファイルダー１７０２で得られた距離画像を基に、領域抽出手段１４０４としてコンピュータ１７０４のソフトウエアを用いて行うことで、認識対象物体の領域を見出し、認識対象物体の領域のみを光を透過させるような画像を液晶製のＳＬＭ１７０８に表示する。
【００７０】
液晶製のＳＬＭ１７０８、１７０６に表示された画像を、読み出し光１７１５としてここでは上記で仮定した波面Ｒ（ｘ，ｙ）を用いて読み出す。まず、読み出し光１７１５は、液晶製のＳＬＭ１７０８を通し認識対象物体を示す領域のみの光が透過し、その光が次に計算機ホログラムを表示している液晶製のＳＬＭ１７０６に入射する。このようにすれば、認識対象物体の領域内で、計算機ホログラムより読み出された光の中でｅｘｐ（ｉｚ（ｘ，ｙ））の波面を持つものが存在する。そのｅｘｐ（ｉｚ（ｘ，ｙ））の波面についてフーリエ変換をフーリエ変換レンズ１７２０を用いて行い、フィルター１７２１を通じ、スクリーン１７２２上に形成されるフーリエスペクトル像をＣＣＤカメラ１７３０で取り込み、フレームメモリ１７３１を介しコンピュータ１７３２で検出する。このフーリエスペクトル像は、前述したものと同様に、認識対象物体１５０１を構成する平面の傾きと近似的な面積を示す画像となり、実施例７、８と同様の効果となる。
【００７１】
フィルター１７２１は、実施例７とは異なり、観測されている部分の見かけの面積と実際の表面積とを補正するだけでなく、回折方向に依存する回折効率による光量の低下も補正するようにしてある。これは、予めＳＬＭ１７０６に一定の大きさで回折方向の異なるホログラムを表示し、その際の回折位置での光量を調べておく。例えば、図１８に示すように、ある位置（ｘ，ｙ）に対してその光量より効率が判れば、その効率と、前述した見かけの面積と実際の表面積との両方を補正する透過率を求め、それらに対応したパターンをフィルムに描き、フィルター１７２１とする。
【００７２】
実施例７〜９では、距離画像獲得手段１４０１としてＣＣＤカメラ２個を用いた場合とレーザーレンジファインダーを用いた場合を示したが、速度は遅くなるが、ＣＣＤカメラ１個を異なる位置より撮影し、それより得られる２枚の画像より距離画像を獲得する方法もある。また、認識対象物体が時間と共に移動している場合に、固定されたＣＣＤカメラ１個であるサンプル時間で２度撮影すれば、その２枚の画像より距離画像を求めることもできる。
【００７３】
また、実施例９では、表示素子として電気アドレス型強度変調液晶を示したが、光書込み型強度変調液晶や、結晶、サーモプラスチック、半導体等の素子を用いても同様のことが実現できる。
【００７４】
ここまで、２次元の撮影素子として、ＣＣＤカメラを用いたが、撮像管を用いたものや、他の固体撮像素子を用いてもよい。
【００７５】
さらに、検出される光量と実際の面積を補正するためのフィルターとして、フィルムにパターンを描いたものを用いたが、液晶のＳＬＭ等で透過率を制御しても同様の効果が得られる。
【００７６】
また、領域抽出手段として距離画像の一回微分や二回微分を用いる方法のみを示したが、ニューラルネットワークの自己組織化や、また、距離画像だけでなく、濃淡画像、色画像等も利用した領域分割方法も可能である。
【００７７】
さらに、領域抽出においても、背景分離だけでなく、他の物体との区別が可能であることも明らかである。
【００７８】
以上の本発明の画像処理方法及び画像処理装置は、さらに次のように構成することができる。
（ｉ）物体の３次元情報を距離画像として獲得する距離画像獲得手段と、獲得された距離画像の位相分布の変域を該変域の最大値と最小値との差が２ｍπ（ｍは自然数）とする位相変域変換手段と、
前記位相変域変換手段により変換された位相分布を表示する画像表示手段と、前記画像表示手段に表示された画像を読み出すための略平行なコヒーレント光と、該コヒーレント光によって読み出される画像にフーリエ変換を施すためのフーリエ変換レンズとを有するフーリエ変換光学系と、
前記フーリエ変換光学系によって得られるフーリエスペクトル像を検出するためのフーリエ変換スペクトル検出手段とを有し、
獲得する距離画像中に含まれる平面の法線とその近似的な面積を高速に検出することができることを特徴とする画像処理装置。
【００７９】
（ｉｉ）画像表示手段が、位相変調機能を有する空間光変調器を用いる請求項２記載及び（ｉ）記載の画像処理装置。
【００８０】
（ｉｉｉ）画像表示手段が、ホログラムを用いる請求項２記載及び（ｉ）の画像処理装置。
【００８１】
（ｉｖ）前記認識手段が、物体の距離画像中に含まれる平面の法線とその近似的な面積等の参照データを蓄える参照データ記録手段と、
該参照データと前記画像表示装置により出力される獲得された距離画像中に含まれた平面の法線とその近似的な面積等のデータとを比較するデータ比較手段とを有する請求項３記載の画像処理装置。
【００８２】
（ｖ）物体の３次元情報として距離の情報を画素の値とする距離画像を獲得する距離画像獲得ステップと、
獲得された距離画像の位相分布の変域を該変域の最大値と最小値との差が２ｍπ（ｍは自然数）とする位相変域変換ステップと、
前記位相変域変換ステップにより変換された位相分布を画像に表示する画像表示ステップと、
前記画像表示ステップで表示された画像にフーリエ変換を施すステップと、
前記フーリエ変換によって得られるフーリエスペクトル像を検出するフーリエ変換スペクトル検出ステップとを有し、
獲得する距離画像中に含まれる平面の法線とその近似的な面積を高速に検出することができることを特徴とする画像処理方法。
【００８３】
【発明の効果】
以上説明したように、本発明により、拡張ガウス像に対応する画像を高速に得ることができ、結果として３次元画像の高速な認識が可能になる。
【図面の簡単な説明】
【図１】本発明の画像処理方法を実現するための装置の構成を示すブロック図である。
【図２】本発明の画像処理方法を説明するための関数関係を示す図である。
【図３】本発明による変換前後の１つの実例を示すための図である。
【図４】本発明のもう１つ別の画像処理装置の構成を示すブロック図である。
【図５】実施例１の画像処理装置の構成を示す図である。
【図６】実施例２の画像処理装置の構成を示す図である。
【図７】位相変換範囲が２πより広くても２πの範囲で同様の効果が得られることを示す図である。
【図８】実施例３の画像処理装置の構成を示す図である。
【図９】実施例３の計算機ホログラムの作成方法を説明するための図である。
【図１０】実施例４の認識装置のブロック図である。
【図１１】実施例４の比較手段の一例である光学的ジョイントトランスフォームコリレーション装置の構成を示す図である。
【図１２】実施例５の認識装置のブロック図である。
【図１３】実施例６の認識装置の構成を示す図である。
【図１４】実施例７の画像処理装置の構成を示す図である。
【図１５】実施例７において領域分割のためのフィルターに用いる重みテーブルの例を示すための図である。
【図１６】実施例８の画像処理装置の構成を示す図である。
【図１７】実施例９の画像処理装置の構成を示す図である。
【図１８】認識対象物体の所定位置での回折効率を模式的に示す図である。
【図１９】拡張ガウス球を認識に用いる方法を説明するための図である。
【図２０】実際に観察可能な拡張ガウス像が制限される様子を示す図である。
【符号の説明】
１、２…平面
４０１…距離画像獲得手段
４０２…画像表示手段
４０３…フーリエ変換光学系
４０４…フーリエ変換スペクトル検出手段
４０５…認識手段
５０１…認識対象物体
５０２…レーザーレンジファインダー
５０３、５０５、５１１…フレームメモリ
５０４、５１２…コンピュータ
５０６…電気アドレス型位相変調液晶
５０７…コヒーレント光
５０８…フーリエ変換レンズ
５０９…スクリーン
５１０…ＣＣＤカメラ
５２１…レーザー発振器
５２２…レーザー光
５２３…集光レンズ
５２４…ピンホール
５２５…コリメータレンズ
６０１…認識対象物体
６０２ａ、６０２ｂ…ＣＣＤカメラ
６０３ａ、６０３ｂ、６０５、６１５…フレームメモリ
６０４、６１６…コンピュータ
６０６…透過型液晶表示素子
６０７…書き込み光
６０８…結像レンズ
６０９…光書き込み型位相変調液晶
６１０…ビームスプリッター
６１１…読み出し光
６１２…フーリエ変換レンズ
６１３…スクリーン
６１４…ＣＣＤカメラ
７０１…認識対象物体
７０２…レーザーレンジファインダー
７０３、７０５、７１１…フレームメモリ
７０４、７１２…コンピュータ
７０６…電気アドレス型強度変調型液晶
７０７…読み出し光
７０８…フーリエ変換レンズ
７０９…スクリーン
７１０…ＣＣＤカメラ
７３１…波面
７３２…位相分布
７３３…平面
８０１、８０９…コンピュータ
８０２、８０８…フレームメモリ
８０３…読み出し光
８０５…フーリエ変換レンズ
８０４…電気アドレス型振幅変調液晶
８０６…スクリーン
８０７…ＣＣＤカメラ
１００１…変換画像
１００２…コンピュータのメモリ
１００３…比較手段
１１０１…変換画像
１１０２…一次のモーメント・二次のモーメント検出器
１１０３…メモリ
１１０４…一次モーメント比較手段
１１０５…選択手段
１１０６、１１０８…回転手段
１１０７…比較手段
１２０１…ニューラルネットの入力層
１２０２…ニューラルネットの中間層
１２０３…ニューラルネットの出力層
１２０４…ニューロン
１４０１…距離画像獲得手段
１４０２…第１画像表示手段
１４０３…物体情報獲得手段
１４０４…領域抽出手段
１４０５…第２画像表示手段
１４０６…フーリエ変換手段
１４０７…検出手段
１４０８…認識手段
１５０１…認識対象物体
１５０２…レーザーレンジファインダー
１５０３…フレームメモリ
１５０４…コンピュータ
１５０５…フレームメモリ
１５０６…位相変調型の電気アドレス型ＳＬＭ
１５０７…フレームメモリ
１５０８…強度変調型の電気アドレス型ＳＬＭ
１５１０…ヘリウムネオンレーザー光源
１５１１…レーザー光
１５１２…集光レンズ
１５１３…ピンホール
１５１４…コリメータレンズ
１５１５…コヒーレント光
１５２０…フーリエ変換レンズ
１５２１…フィルター
１５２２…スクリーン
１５３０…ＣＣＤカメラ
１５３１…フレームメモリ
１５３２…コンピュータ
１６０１、１６０２…ＣＣＤカメラ
１６０３、１６０４…フレームメモリ
１６０５…コンピュータ
１６０６…フレームメモリ
１６０７…フレームメモリ
１６０８…強度変調型の電気アドレス型の透過型ＳＬＭ
１６０９…強度変調型ＳＬＭ
１６２０…インコヒーレンス光源
１６２１…インコヒーレンス光
１６２３…書き込み光
１６２４…読み出した光
１６２５…結像レンズ
１６２６…位相変調型の反射型の光アドレス型ＳＬＭ
１６２７…コントローラ
１６３０…略平行光
１６３１…ビームスプリッター
１６３２…読み出された光
１６３３…透過した光
１６３４…フーリエ変換レンズ
１６４０…フィルター
１６４１…スクリーン
１６４２…ＣＣＤカメラ
１６４３…フレームメモリ
１６４４…コンピュータ
１７０２…レーザーレンジファインダー
１７０３…フレームメモリ
１７０４…コンピュータ
１７０５…フレームメモリ
１７０６…透過型の電気アドレス型強度変調型ＳＬＭ
１７０８…液晶製のＳＬＭ
１７１５…読み出し光
１７２０…フーリエ変換レンズ
１７２１…フィルター
１７２２…スクリーン
１７３０…ＣＣＤカメラ
１７３１…フレームメモリ
１７３２…コンピュータ
【産業上の利用分野】
本発明は、画像処理方法及び画像処理装置に関し、特に、３次元物体の認識に有効とされる情報を高速に取り出すための方法、装置及びそれらを用いた画像処理装置に関する。
【０００２】
【従来の技術】
産業用ロボットの視覚処理装置や、オートメーションラインの製品検査等を始めとして、３次元の物体を様々な方向から見ても認識可能な装置へのニーズは強く、様々な研究がなされてきた。
【０００３】
それらの中でも、拡張ガウス像を認識に用いる方法は、有力な方法として知られている（Ｈｏｒｎ，Ｂ．Ｋ．Ｐ．， ＆ Ｋ．Ｉｋｅｕｃｈｉ（１９８４） ”Ｔｈｅ Ｍｅｃｈａｎｉｃａｌ Ｍａｎｉｐｕｌａｔｉｏｎ ｏｆ Ｒａｎｄｏｍｌｙ Ｏｒｉｅｎｔｅｄ Ｐａｒｔｓ，” Ｓｃｉｅｎｔｉｆｉｃ Ａｍｅｒｉｃａｎ， Ｖｏｌ．２５１， Ｎｏ．２， ｐｐ．１００−１１１， Ａｕｇｕｓｔ 参照） 。拡張ガウス像では、３次元物体の表面において、まず、その表面は単位面積の面素で被われていると仮定し、この面素の法線単位ベクトルを決定する。具体的に、円柱の場合の面素と法線単位ベクトルを図１９（ａ）に示す。図中の斜線ハッチで示したものが１つの画素であり、この画素に対し１つの法線単位ベクトルが決定される。この全ての法線単位ベクトルの始点を、図１９（ｂ）に示すように、ガウス球の原点へ平行移動する。結果として、それらのベクトルの終点は、単位半径を持つ球面（ガウス球）上に乗る。さらに、ベクトル終点の存在密度に対応させて、そのベクトルの終点に重みを付け、ガウス球面上にその物体特有の質量分布を持たせたものが拡張ガウス像である。例えば、図１９（ａ）に対応する拡張ガウス像を、ベクトルの質量をその方向に向くスパイクの長さとして表示したものが図１９（ｃ）である。スパイクの長さ、つまり、このベクトルの持つ質量は単位面積の数に対応するので、質量の総和は、物体のその方向に法線を持つ表面の面積に対応する。
【０００４】
このような拡張ガウス像を用いれば、例えば、認識対象の物体の拡張ガウス像と、予め求めておいた様々な物体の拡張ガウス像とをコンピュータ内で数学的に回転させて照合し、最もよく照合の取れた拡張ガウス像の物体と認識対象の物体とが同一であると認識することができる。この照合の際に、物体の姿勢も同時に判る。
【０００５】
実際には、図２０（ａ）に示したように、例えば円柱９０１を観測方向９０２から観測すると、斜線ハッチ部分のみが観測され、単位面積の画素もその傾きによって見かけの大きさとは異なり、補正する必要がある。この円柱の場合、図２０（ａ）中の観測方向と逆方向にＺ軸、さらに、図中に示すようにＸ、Ｙ軸をとれば、その場合の拡張ガウス像は、図２０（ｂ）のように、Ｚ＞０の部分にのみ存在することになる。つまり、一般の観測においては、観測可能な領域は認識対象物体９０１のおよそ半分である。したがって、認識の際には、様々な物体について色々な方向から観測した場合の拡張ガウス像を予め求めておき、認識対象の拡張ガウス像と比較することになる。この際に、拡張ガウス像では、拡張ガウス像を構成するベクトルとその質量の積による一次のモーメントや、二次のモーメントを計算し、その値を利用して観測物体の姿勢を大まかに決定することができ、比較する拡張ガウス像を大幅に少なくすることが可能である。具体的には、図２０（ｂ）の拡張ガウス像では、図２０（ａ）の観測方向９０２から観測すれば、どんな姿勢で観測者が観測しても、認識対象の物体９０１の斜線部分の可視可能な表面積と、その見えている座標系（Ｘ、Ｙ、Ｚ）で、ＸＹ平面に投影されている面積の割合、つまり、投影率は等しくなるので、投影率の大きく異なる拡張ガウス像はそれ以上詳しく照合する必要はない。また、画像中の二次モーメントの最小の方向９０３は画像が回転すればそれに応じて回転するので、図２０（ｂ）が回転した画像と図２０（ｂ）を比較する際には、最小モーメントの軸方向を一致させて比較すればよい。つまり、どんな姿勢で認識対象物体９０１を観測しようとも、その最小モーメントの方向９０３をある特定の軸（例えば、図２０（ｂ）のＸ軸）に一致させて比較すれば、色々回転させた画像と一つ一つ比較する必要はない。このようにして、詳しく比較する拡張ガウス像の数を大きく減らすことが可能である（池内克史“拡張ガウス像に基づく被写体のいがぐり表現像から観測方向決定のための一手法”電子通信学会論文誌，１９８３．５．Ｖｏｌ．Ｊ６６−Ｄ ｐ．４６３〜４７０ 参照） 。
【０００６】
【発明が解決しようとする課題】
上述したように、拡張ガウス像を用いることは有効な手段であるが、これを求めるためには、認識対象物体の含まれる画像を面素に分割して、それぞれの面素について法線ベクトルを求め、さらにその存在密度を求めなければならない。
【０００７】
しかしながら、従来のように、この計算をコンピュータ上で一つ一つ逐次的に計算して求める方法では、膨大な時間を必要とし、高速な認識への最大の妨げとなっている。
【０００８】
本発明は従来技術のこのような課題に鑑みてなされたものであり、その目的は、３次元物体の高速認識のために、物体の距離画像を得て、その距離画像中に含まれる平面の傾きとその近似的な面積を瞬時に検出することができる方法、装置及び、それらを用いた画像処理装置を提供することである。
【０００９】
【課題を解決するための手段】
上記目的を達成するための本発明の画像処理方法は、物体の３次元情報として、距離の情報を画素の値とする距離画像を位相分布の画像に変換し、その位相分布の画像のフーリエ変換を行い、前記距離画像中に含まれる平面の法線とその近似的な面積を示す画像を得ることを特徴とする方法である。
【００１０】
さらに、上記方法を実現するための本発明の画像処理装置は、図１のブロック図に示すように、物体の３次元情報として、距離画像を獲得する距離画像獲得手段４０１と、獲得された距離画像を位相分布として表示するための画像表示手段４０２と、画像表示手段４０２に表示された画像を読み出すための略平行なコヒーレント光と、コヒーレント光によって読み出された画像にフーリエ変換を施すためのフーリエ変換レンズとからなるフーリエ変換光学系４０３と、フーリエ変換光学系４０３によって得られるフーリエスペクトル像を検出するためのフーリエ変換スペクトル検出手段４０４とから構成されるものである。
【００１１】
この場合、さらに、認識手段４０５を有し、認識対象の３次元物体を高速で認識する機能を有することが可能になる。
【００１２】
また、上記方法を実現するための本発明の別の画像処理装置は、図４のブロック図に示すように、情報として、少なくとも距離画像を獲得する距離画像獲得手段１４０１を有する物体情報獲得手段１４０３と、獲得された距離画像を位相分布として表示するための第１画像表示手段１４０２と、獲得された物体情報から領域分割し、一部の領域を抽出する領域抽出手段１４０４と、領域抽出手段１４０４で抽出された領域を強度情報として表示するための第２画像表示手段１４０５と、上記第１及び第２画像表示手段１４０２、１４０５に表示された画像を読み出すための略平行なコヒーレント光と、このコヒーレント光によって読み出された画像にフーリエ変換を施すためのフーリエ変換手段１４０６と、上記フーリエ変換手段１４０６によって得られるフーリエスペクトル像を検出するための検出手段１４０７とから構成され、獲得する物体画像中に含まれる平面の法線とその近似的な面積を高速に検出するものである。
【００１３】
この場合、さらに、上記の検出手段１４０７中に強度変調が可能なフィルタリングを行うフィルタリング手段を含むように構成することが可能である。
【００１４】
また、さらに、認識手段１４０８を有し、認識対象の３次元物体を高速で認識する機能を有することが可能になる。
【００１５】
【作用】
以下、本発明の詳細について説明する。例えば、図２に示すように、３次元物体を構成するある平面１が、観測者の視線方向と逆向きの方向をｚ軸とする座標系（ｘ，ｙ，ｚ）において、ｚ（ｘ，ｙ）＝ａｘ＋ｂｙ＋ｃであるとし、それが観測者の視線方向に垂直な平面２の領域ｇ（ｘ，ｙ）に投影されたとする。本発明の方法を用いて、この３次元の距離画像を位相分布として表すと、ｅｘｐ（ｉｚ（ｘ，ｙ））となり、この位相分布についてフーリエ変換を行えば、
【００１６】
つまり、一定の傾きを有する領域ｇ（ｘ，ｙ）のフーリエ変換情報が（ξ，η）＝（ａ／２π，ｂ／２π）だけシフトした画像となる。ここで、フーリエ変換情報の中心は、変換領域（ここでは、一定の傾きを有する領域）の面積に対応した強いピークとなるので、この点を検出することができる。したがって、フーリエ変換面において、この点とその強度を検出すれば、平面１の傾きとその近似的な面積を知ることができる。
【００１７】
このような処理を施した画像は、前述した拡張ガウス像を構成するベクトル（ｌ，ｍ，ｎ）をＺ＝−１の平面に投影した画像に相当する。したがって、拡張ガウス像が持つ様々な特徴はそのまま利用することが可能となる。
【００１８】
さらに具体的には、距離画像獲得手段により得られた距離画像データを位相分布として画像表示手段に表示し、その画像についてのフーリエ変換をフーリエ変換レンズを用いて光学的に行えば、上記手法が高速に実現できる。その際のフーリエ変換レンズの焦点距離をｆ、使用する波長をλとし、フーリエ変換面での座標を（ｘ’，ｙ’）とすると、ξ＝ｘ’／ｆλ，η＝ｙ’／ｆλと置けるため、
ｘ’＝ｆλａ／２π，
ｙ’＝ｆλｂ／２π ・・・（１）
の点に強いピークを持つことになる。
【００１９】
一例として、フーリエ変換レンズの焦点距離ｆ＝１０００ｍｍ，再生波長λ＝６３２．８ｍｍとし、図３（ａ）に示すように、
【００２０】
ところで、上述の画像処理方法は有効な方法であるが、得られる距離画像全体にわたってフーリエ変換が行われているので、距離画像中に含まれる背景等の認識対象以外の物体の情報が重ね合わさってしまい、それらの除去等の処理が必要となる。
【００２１】
また、得られる面積情報においても、測定される光量は観測されている部分の正射影された面積であり、実際の表面積を求めるためには、各画素にわたって得られる光量に対して補正する必要がある。実際の認識の場合には、平面の傾きの情報だけで判断できるものが多いが、さらに高度な判断が必要とされる場合には、これらの補正がなされた表面積の情報が必要である。これらはソフトウエア的に補正することももちろん可能だが、それではこの部分において高速認識が妨げられてしまう。
【００２２】
そこで、別の本発明においては、得られた距離画像中に含まれる特定の認識対象の物体を選択し、また、それを構成する平面の傾きとその近似的な面積を、他の情報と混在することなく、高精度で瞬時に検出するようにする。
【００２３】
すなわち、図４の構成においては、距離画像獲得手段１４０１で獲得された距離画像中に存在する認識対象を構成する平面の傾きとその近似的な面積を、背景や他の物体の情報を受けることなく高速に得ることができる。
【００２４】
さらに、検出手段１４０７中に強度変調が可能なフィルタリングを行うフィルタリング手段を含むように構成することにより、図４の装置で得られる傾きと面積を示す画像の直前に、見え方とその実際の面積が対応するように透過率が変化するフィルターを設けるので、高速な認識が可能となる。
【００２５】
具体的には、ｚ（ｘ，ｙ）＝ａｘ＋ｂｙ＋ｃの平面が距離画像中に存在すれば、フーリエ変換レンズとして焦点点距離ｆのレンズを用いれば、検出面で法線を示すベクトル成分の（ａ、ｂ）に比例した位置（ｆλａ／２π，ｆλｂ／２π）にピークが生じる。その際に得られる光量は、観測している面の正射影された面積に対応しており、これは実際の表面積の１／（ａ２ ＋ｂ２ ＋１）１／２ 倍になっている。そこで、透過率が（ａ２ ＋ｂ２ ＋１）１／２ で変化するフィルター、つまり、ある点（ｘ，ｙ）の位置に対して透過率が｛（２πｘ／ｆλ）２ ＋（２πｙ／ｆλ）２ ＋１｝１／２ で変化するフィルターを検出面の直前に配置することで、正射影による面積の補正を逐次計算する必要がなく、瞬時に表面積を求めることができる。
【００２６】
【実施例】
以下、本発明の画像処理方法及び画像処理装置のいくつかの実施例について、図面を参照にして説明する。
〔実施例１〕
本発明の実施例１について、その構成を示す図５を参照にして説明する。図１に示した距離画像獲得手段４０１としては、レーザーレンジファインダー５０２、レーザーレンジファイダー５０２の情報をコンピュータ５０４に取り込むためのＡＤ変換器とメモリを組み合せたものとしてフレームメモリ５０３、コンピュータ５０４で構成されており、表示手段４０２としては、コンピュータ５０４の情報を伝達するためにＡＤ変換器とメモリを組み合せたものとしてフレームメモリ５０５、表示素子として電気アドレス型位相変調器、ここでは具体的に、電気アドレス型位相変調液晶５０６で構成され、検出手段４０４としては、スクリーン５０９、２次元撮像素子として、具体的にＣＣＤカメラ５１０、フレームメモリ５１１、コンピュータ５１２で構成されている。
【００２７】
まず、レーザーレンジファインダー５０２を用いて、認識対象物体５０１の距離情報を得る。さらに、得られた距離情報をフレームメモリ５０３を通してコンピュータ５０４で処理することで、認識対象物体５０１の距離画像を得る。
【００２８】
次に、この得られた距離画像をフレームメモリ５０５を通し、電気アドレス型位相変調液晶５０６に位相分布として表示する。この電気アドレス型変調液晶５０６は、液晶の画素毎に入力される電気信号に応じて位相を変調することができ、位相の変調が簡単にできる装置である。つまり、コンピュータ５０４で得られる距離画像の信号をフレームメモリ５０５を通し液晶５０６に入力するだけで、距離の情報を−π〜πの位相として表示することが可能になる。ここでは、画像中の最も遠い距離のときに−π、最も近い距離のときにはπの位相分布を与えるようにしている。この位相分布として表示された画像を、レーザー発振器５２１から出射したレーザー光５２２を集光レンズ５２３で集光し、その集光レンズ５２３の後側焦点位置に置かれたピンホール５２４を通過してきた光をコリメータレンズ５２５を用いて形成した略平行なコヒーレント光５０７で読み出す。さらに、その透過光は、焦点距離ｆのフーリエ変換レンズ５０８を経て、レンズ５０８の後側焦点の位置にフーリエ変換像を形成する。スクリーン５０９は、レンズ５０８の後側焦点位置に配置されており、電気アドレス型位相変調液晶５０６に表示されている画像のフーリエスペクトル像がスクリーン５０９上に形成され、この画像データをＣＣＤカメラ５１０で取り込む。
【００２９】
このＣＣＤカメラ５１０で得られたデータは、前述したように、電気アドレス型位相変調液晶５０６に表示された位相分布ｅｘｐ（ｉｚ（ｘ，ｙ））のフーリエ変換の２乗のフーリエスペクトル画像であるので、ｚ（ｘ，ｙ）を構成する平面の傾きを示す点に、その面積に対応した強度のピークを生じる。したがって、その位置と強度をフレームメモリ５１１を通してコンピュータ５１２で検出すれば、電気アドレス型位相変調液晶５０６に表示されている画像中の平面の方程式の傾きとそのピーク値が判るので、距離画像中に含まれる平面の方程式の傾きとその近似的な面積を瞬時に検出することができる。
【００３０】
〔実施例２〕
次に、図６を参照にして、本発明の実施例２を説明する。
実施例１では、距離画像獲得手段４０１として、高い精度の距離情報を得るために、特殊な装置であるレーザーレンジファインダー５０２を用いたが、ここでは一般的な装置で実現するために、２つの２次元の撮像素子としてＣＣＤカメラ６０２ａ、６０２ｂと、ＡＤ変換器とメモリを備えた装置としてここではフレームメモリ６０３ａ、６０３ｂと、コンピュータ６０４で構成する。さらに、実施例１では、装置が簡略化できるように、画像表示手段４０２として、フレームメモリ５０５と電気アドレス型位相変調液晶５０６を用いたが、この実施例２では、入射する光の強度に応じて位相を変調し、より細かな画像を表示することが可能な表示素子として、光アドレス型位相変調器、特にここでは、光書き込み型位相変調液晶６０９を用いて、フレームメモリ６０５、書き込み光６０７、透過型液晶表示素子６０６、結像レンズ６０８で画像表示手段４０２を構成した。検出手段４０４としては、実施例１と同様で、スクリーン６１３、ＣＣＤカメラ６１４、フレームメモリ６１５、コンピュータ６１６で構成される。
【００３１】
始めに、認識対象の物体６０１を、２つの画像間に適切な視差が生じるように、異なる位置に配置されている２つのＣＣＤカメラ６０２ａ、６０２ｂで撮影する。この２つのＣＣＤカメラにより撮影された２枚の画像をフレームメモリ６０３ａ、６０４ｂを通してコンピュータ６０４に入力する。このコンピュータ６０４に入力した２枚の画像の間には視差を生じているので、その２枚の画像の間の視差を用いて、物体６０１の奥行きをコンピュータ６０４上でソフトウエアを用い計算し、物体６０１に関する距離画像を得る。
【００３２】
この獲得された距離画像データをフレームメモリ６０５を通して透過型液晶表示素子６０６に表示し、この画像を書き込み光６０７で読み出し、結像レンズ６０８を通して光書き込み型位相変調液晶６０９に距離画像を結像させ、光の強度として書き込む。光書き込み型位相変調液晶６０９では、光の強度の最も強いときに−π、最も弱いときにπとなるように位相変調を行う。したがって、光書き込み型位相変調器６０９に光の強度として書き込まれた画像は、ビームスプリッター６１０を透過してきた読み出し光６１１で位相の分布として読み出される。読み出し光６１１によって読み出された光は、フーリエ変換レンズ６１２を通してレンズ６１２の後側焦点面に置かれたスクリーン６１３に、読み出された画像のフーリエスペクトル像を形成する。このフーリエスペクトル像のデータをＣＣＤカメラ６１４で取り込み、フレームメモリ６１５を介してコンピュータ６１６で検出する。ここで検出される画像は、前述したように、光書き込み型位相変調液晶６０９に表示されている画像中に含まれる平面の傾きを示す点に、その面積に対応した強度のピークを持つので、距離画像中に含まれる平面の方程式の傾きを瞬時に検出することができる。
【００３３】
また、実施例１及び２では、表示素子として電気アドレス型位相変調液晶と光書込み型位相変調液晶を示したが、これに限定されるものではなく、位相を変調できるものなら何れでもよく、例えば、液晶やサーモプラスチック、半導体等の素子を用いてももちろんよい。
【００３４】
また、位相変調の範囲としては、現在入手容易な位相変換素子の特性より−π〜πまでの情報に変換したが、位相変換範囲がｎπ〜ｍπ（ｍ，ｎ：整数）まで可能であれば、距離の変換範囲をｎπ〜ｍπの範囲内に比例して対応するように変換しても同様の効果が得られる。
【００３５】
さらに、例えば図７（ａ）に示すように、距離の変換範囲がＤであり、それが０〜ｍπに対応すると仮定する。これを、図７（ｂ）に示すように、ある小さい距離ｄ毎に０〜２πに対応するようにすれば、位相変換範囲が０〜２πまでの変換範囲内で、図７（ａ）と同様の効果があるのは自明である。
【００３６】
〔実施例３〕
次に、図８を参照にして、本発明の実施例３を説明する。
上記実施例１、２では、画像表示手段４０２の中の表示素子として、位相分布を表示するために、位相変調型の液晶を用いたが、現状では特殊な素子であるので、ここでは、より一般的に使用されている強度変調型の空間光変調器、具体的に液晶用いた例を示す。
【００３７】
基本的な構成は実施例１と同じで、ここでは、電気アドレス型位相変調型液晶５０６の代りとして、電気アドレス型強度変調型液晶７０６を使用する。まず、実施例１と同様に、レーザーレンジファインダー７０２を用いて認識対象物体７０１の距離情報を得る。次に、その情報をフレームメモリ７０３を通して、コンピュータ７０４で認識対象物体７０１の距離画像を得る。さらに、コンピュータ７０４内でこの距離画像ｚ（ｘ，ｙ）をもとに、読み出し光７０７により読み出された光の中の１つがｅｘｐ（ｉｚ（ｘ，ｙ））となるように、計算機ホログラムを作成する。一例として、図９に示す座標系（ｘ，ｙ，ｚ）において、ｚ＝０の平面７３３に対して、波面Ｒ（ｘ，ｙ）７３１を仮定し、平面７３３でその波面７３１と位相分布ｅｘｐ（ｉｚ（ｘ，ｙ））７３２との干渉縞
Ｌ（ｘ，ｙ）＝｜ｅｉｚ（ｘ，ｙ） ＋Ｒ（ｘ，ｙ）｜２
を計算して計算機ホログラムＬ（ｘ，ｙ）を求めればよい。この計算機ホログラムをフレームメモリ７０５を通して電気アドレス型強度変調液晶７０６に表示する。この際に、読み出し光７０７として、ここでは上記で仮定した波面Ｒ（ｘ，ｙ）を用いて読み出す。このようにすれば、その計算機ホログラムより読み出された光の中でｅｘｐ（ｉｚ（ｘ，ｙ））の波面を持つものが存在する。そのｅｘｐ（ｉｚ（ｘ，ｙ））の波面についてのフーリエ変換をフーリエ変換レンズ７０８を用いて行い、スクリーン７０９上に形成されるフーリエスペクトル像をＣＣＤカメラ７１０で取り込み、フレームメモリ７１１を介してコンピュータ７１２で検出する。このフーリエスペトクトル像は、前述したものと同様に、認識対象物体７０１を構成する平面の傾きとその近似的な面積を示す画像となり、実施例１、２と同様の効果が得られる。
【００３８】
以上では、距離画像獲得手段４０１として、ＣＣＤカメラ２個を用いた場合とレーザーレンジファインダーを用いた場合を示したが、速度は遅くなるが、ＣＣＤカメラ１個を用いて異なる位置より撮影し、それより得られる２枚の画像より距離画像を獲得する方法もある。また、認識対称物体が時間と共に移動している場合に、固定されたＣＣＤカメラ１個であるサンプル時間で２度撮影すれば、その２枚の画像より距離画像を求めることもできる。
【００３９】
また、実施例３では、表示素子として電気アドレス型強度変調液晶を示したが、光書込み型強度変調液晶や、結晶や、サーモプラスチック、半導体等の素子を用いても同様のことが実現できる。
さらに、ここまでは、２次元の撮像素子として、ＣＣＤカメラを用いた例を示したが、撮像管を用いたものや、他の固体撮像素子を用いてもよい。
【００４０】
〔実施例４〕
次に、以上のようにして得られた画像を用いた認識装置についての実施例を示す。
第一に、上記手法を用いて得られた画像情報は、前述した拡張ガウス球をＺ＝−１の平面に投影した画像に類似するデータとなり得るので、これまでの照合方法と同様な方法をコンピュータ上でソフトウエアを用いて実現することが可能である。
【００４１】
図１０のブロック図を用いて具体例を示す。基本的には、参照すべき物体の情報を記録する段階と、認識すべき物体の情報と参照物体の情報との比較の２つの段階に分かれており、参照物体の情報を記録する段階の情報の流れを図１０に破線で、比較する段階の情報の流れを実線で示す。まず、記録段階として、予め参照する色々な物体を色々な姿勢や角度から見た場合について、上記手法を用いて変換された画像１００１を求めておく。それらの画像をコンピュータのメモリ１００２上に蓄えておく。次に、比較段階として、認識対称の物体についても同様の装置により、同様の手法で距離画像を変換する。その変換された画像１００１とメモリ１００２上に蓄えられた画像を比較手段１００３で、それらの画素毎の差の２乗を計算し、その総和を計算することで、２つの画像間の違いを求める。もし、２つの画像が等しいかもしくは似たものであれば、その総和は０に近くなり、２つの画像が等しいことが判り、認識対象の物体がどの画像であるかが判り、結果を出力する。
【００４２】
また、比較手段１００３において、最小２乗の和ではなく、２つの画像間の相関値を用いて比較する方法も可能である。もし、２つの画像が等しければ、その相関値は他のものとの相関値より大きな値となり、どの画像と等しいかが判る。この画像間の相関演算は、光学的に実現することも可能で、例えばジョイントトランスフォームコリレーションと呼ばれる手法があり、フーリエ変換を２度行うことで実現することができる。具体的には、図１１に示すようなフーリエ変換光学系を用いる。
【００４３】
まず、上記手法により得られた画像１００１と予めメモリ１００２に蓄えておいた参照する画像とを、コンピュータ８０１で電気アドレス型振幅変調液晶８０４上に、それぞれ原点が（ｘ１，ｙ１），（ｘ２，ｙ２）（ただし、ｘ１≠ｘ２，ｙ１≠ｙ２）上になるように、同時に表示できるようにし、フレームメモリ８０２を通して電気アドレス型振幅変調液晶８０４に表示する。この認識対象の画像と参照する画像を同時に表示した画像を読み出し光８０３で読み出し、フーリエ変換レンズ８０５を経ることでその後側焦点位置に配置されたスクリーン８０６上にフーリエスペクトル像を得る。次に、その画像をＣＣＤカメラ８０７で撮影し、フレームメモリ８０８を経ることで、電気アドレス型位相変調液晶８０４に得られたフーリエスペクトル画像を表示する。このフーリエスペクトル画像を同様な手法でさらにフーリエ変換することで、スクリーン８０６上の（ｘ１−ｘ２，ｙ１−ｙ２），（−ｘ１＋ｘ２，−ｙ１＋ｙ２）を中心として２つの画像の相関演算を示す画像を得ることが可能となる。なお、電気アドレス型振幅変調液晶８０４に２つだけの画像でなく複数の画像を表示することによって、複数の画像との相関演算を瞬時に行うことができ、さらに高速な認識が可能となる。
【００４４】
〔実施例５〕
次に、図１２のブロック図を用いて、参照する画像を大きく減らすために、拡張ガウス球の特性を使った方法を示す。ここでも、参照物体の情報を記録する段階と、認識対象物体の情報と参照物体の情報の比較の２つの段階に分かれており、参照物体の情報を記録する段階の情報の流れを図中に破線で、比較する段階の情報の流れを実線で示す。まずは記録段階として、前述したように、参照物体について、その距離画像に上記変換を施した画像１１０１から、従来例で示した一次のモーメントや二次のモーメントをモーメント検出器１１０２で求め、二次モーメントの最小の軸を特定した軸Ｌと一致するように、回転手段１１０８でその画像を回転させる。その回転させた画像とその画像に関する一次モーメントをメモリ１１０３に対して多数記録しておく。
【００４５】
次に、比較段階として、上記手法により、認識対象の物体の変換画像１１０１を得て、次にモーメント検出器１１０２で一次のモーメントと二次のモーメントを求める。次に、予めメモリ１１０３に用意してある参照する画像の一次モーメントとモーメント比較手段１１０４で比較し、その差があるしきい値以上の参照物体についての比較対象の画像を選択手段１１０５で選択する。さらに、モーメント検出１１０２で求めた二次モーメントが最小となる軸を特定した軸Ｌと等しくなるように、画像を回転手段１１０６で回転し、その回転した画像と比較対象としてあげられた画像とを比較する。この比較は、比較手段１１０７で実施例４であげられた最小２乗の総和や相関演算を行い、実行する。
【００４６】
〔実施例６〕
次に、３層構造のバックプロパゲーション型のニューラルネットを用いた認識装置の例を示す。図１３に示すように、例えば、上記手法によって検出手段４０４によって得られた画像の画素それぞれの画素値をニューラルネットの入力層１２０１への入力値とする。このバックプロパゲーションモデルでは、まず、学習によりニューラルネットの各層間のシナプス荷重を決定することが必要となる。これは、参照とする物体を上記手法を用いて変換し、その結果、検出手段４０４で得られた画像の画素値をニューラルネットの入力層１２０１のニューロンに順次入力し、この際、ニューラルネットの出力層１２０３のニューロンの発火が認識すべき物体に対して選択的に行われるように、逆伝播学習則を用いて各層間のシナプス荷重を固定すればよい。具体的には、特定の物体Ａをある方向である姿勢で観測した場合の距離画像を入力した際に、出力層１２０３では特定のニューロン１２０４が発火するように、種々の物体について逆伝播学習則を用いて学習する。次に、認識の際には、認識すべき物体に対する傾きとその面積を示す画像を上記手法で得て、さらにバックプロパゲーションモデルの入力層１２０１に入力し、ニューラルネットの出力層１２０３内のニューロンの発火の状態の中で最も発火しているニューロンを検出すれば、そのニューロンに対応する物体であることが判る。また、ニューラルネットとしてバックプロパゲーションを用いる場合の原理を述べたが、ホップフィールド型のニューラルネットを用いても、実現可能なことは明らかである。
【００４７】
〔実施例７〕
次に、別の本発明の実施例を図１４を参照にして説明する。この実施例では、図４に示した物体情報獲得手段１４０３は距離画像獲得手段１４０１だけで、ここでは、レーザーレンジファインダー１５０２、レーザーレンジファインダー１５０２の情報をコンピュータ１５０４に取り込むためのＡＤ変換器とメモリを組み合わせたものとしてフレームメモリ１５０３、及び、コンピュータ１５０４で構成されており、第１画像表示手段１４０２としては、コンピュータ１５０４の情報を伝達するためにＡＤ変換器とメモリを組み合わせたものとしてフレームメモリ１５０５、表示素子１５０６として位相変調型の電気アドレス型空間光変調器（以下、ＳＬＭと呼ぶ。））、ここでは液晶製のＳＬＭで構成される。また、領域抽出手段１４０４としては、コンピュータ１５０４上でソフトウエアを用いて行い、第２画像表示手段１４０５としては、コンピュータ１５０４の情報を伝達するためにＡＤ変換器とメモリを組み合わせたものとしてフレームメモリ１５０７、表示素子とし強度変調型の電気アドレス型ＳＬＭ１５０８、ここでは 液晶製のＳＬＭで構成される。検出手段１４０７としては、フィルター１５２１、スクリーン１５２２、２次元撮像素子１５３０、ここでは具体的にＣＣＤカメラ、さらにフレームメモリ１５３１で構成されている。
【００４８】
まず、レーザーレンジファインダー１５０２を用いて、認識対象物体１５０１の距離情報を得る。さらに、この距離情報をフレームメモリ１５０３を通してコンピュータ１５０４で処理することで、認識対象物体１５０１の距離画像を得る。
【００４９】
次に、この得られた距離画像をフレームメモリ１５０５を通し、ＳＬＭ１５０６に位相分布として表示する。このＳＬＭ１５０６は、液晶製の電気アドレス型位相変調器であるため、液晶の画素毎に入力される電気信号に応じて位相を変調することができ、位相の変調が簡単にできる装置である。つまり、コンピュータ１５０４で得られる距離画像の信号をフレームメモリ１５０５を通し液晶に入力するだけで、距離の情報を−π〜πの位相として表示することが可能になる。ここでは、画像中の最も遠い距離のときに−π、最も近い距離のときにはπの位相分布を与えるようにしている。
【００５０】
次に、３次元情報としてレーザーレンジファインダー１５０２より得られた距離画像を用い、コンピュータ１５０４でまず領域分割を行う。
【００５１】
ここでは、重みテーブルとの積和演算により空間フィルタリングを行い、画像のエッジを求めることで領域分割を行う。重みテーブルは、ここでは３×３のマトリックスからなり、フィルタリングは、重みテーブルの成分をＷ（ｉ，ｊ）、フィルタリングを行う画像をＰ（ｘ，ｙ）とすると、各画素に対して、
【００５２】
この抽出された領域を開口とするパターンをコンピュータ１５０４で作成し、フレームメモリ１５０７を通して電気アドレス型で強度変調型の透過型のＳＬＭ１５０８に表示することで、抽出された領域の開口内は光が透過し、その他はほとんど光の透過がないようにする。
【００５３】
これらのＳＬＭ１５０８、１５０６に表示されたパターンを、まず、コヒーレント光源として種々のものが考えられるが、ここではヘリウムネオンレーザー光源１５１０から射出したレーザー光１５１１をレンズ１５１２で集光し、その集光レンズ１５１２の後側焦点位置に置かれたピンホール１５１３を通過してきた光をコリメータレンズ１５１４を用いて形成した略平行なコヒーレント光１５１５で読み出す。
【００５４】
まず、ＳＬＭ１５０８に入射した光は、ＳＬＭ１５０８に表示してある認識対象を開口としたパターンを読み出し、認識対象が存在する領域のみの光が次のＳＬＭ１５０６に入射される。さらに、認識対象物体の領域を読み出した入射光は、ＳＬＭ１５０６に表示してある距離画像を位相分布として表現した画像の中で認識対象が存在する領域のみを読み出し、これら２つの画像を読み出した光は、焦点距離ｆのフーリエ変換レンズ１５２０を経て、レンズ１５２０の後側焦点の位置に配置されたスクリーン１５２２上に、フィルター１５２１を通過してフーリエ変換像を形成する。スクリーン１５２２上に形成される画像をＣＣＤカメラ１５３０で撮影し、フレームメモリ１５３１を通してコンピュータ１５３２で取り込む。
【００５５】
このＣＣＤカメラ１５３０で得られたデータは、ＳＬＭ１５０８が示す開口領域内でＳＬＭ１５０６に表示された位相分布ｅｘｐ（ｉｚ（ｘ，ｙ））のフーリエ変換の２乗のフーリエスペクトル画像であるので、ＳＬＭ１５０８に示された認識対象物体を構成する平面の傾きを示す点にその面積に対応したピークを生じる。よって、その位置と強度をフレームメモリ１５３１を通しコンピュータ１５３２で検出すれば、認識対象物体を構成する各平面の方程式の傾きと近似的な面積を瞬時に検出することができる。
【００５６】
フィルター１５２１としては、前述したように、位置（ｘ，ｙ）に対して｛（２πｘ／ｆλ）２ ＋（２πｙ／ｆλ）２ ＋１｝１／２ で透過率が変化するようにフィルムにパターンを書き込んで作製する。このフィルター１５２１を配置しておけば、観測される見かけ上の面積が実際の面積に対応するようにフィルタリングが行え、実際に逐次補正することなく光量が面積と対応している。
【００５７】
〔実施例８〕
次に、図１６を参照にして別の本発明の第２の実施例について説明する。実施例７では、物体情報獲得手段１４０３としての距離画像獲得手段１４０１では、高い精度の情報を得るために特殊な装置であるレーザーレンジファインダー１５０２を用いたが、ここでは、一般的な装置で実現するために、２つの２次元の撮像素子としてＣＣＤカメラ１６０１、１６０２と、ＡＤ変換器とメモリを備えた装置としここではフレームメモリ１６０３、１６０４と、コンピュータ１６０５とで構成した。さらに、実施例７では、装置が簡略化できるように第１画像表示手段１４０２では電気アドレス型位相変調液晶１５０６を用いたが、実施例８では、入射する光の強度に応じて位相を変調し、より細かな画素を表示することが可能な表示素子として、位相変調型の反射型の光アドレス型ＳＬＭ１６２６、特にここでは液晶製のＳＬＭを用いるとし、フレームメモリ１６０６、書き込み光１６２３、強度変調型の電気アドレス型の透過型ＳＬＭ１６０８として液晶製のＳＬＭ、結像レンズ１６２５で構成した。その他の構成は、実施例７と基本的に同様の構成である。
【００５８】
始めに、認識対象の物体１５０１を、２つの画像間に適切な視差が生じるように異なる位置に配置されている２つのＣＣＤカメラ１６０１、１６０２で撮影する。この２つのＣＣＤカメラにより撮影された２枚の画像をフレームメモリ１６０３、１６０４を通してコンピュータ１６０５に入力する。このコンピュータ１６０５に入力した２枚の画像の間には視差を生じているので、その２枚の画像の間の視差を用いて奥行きをコンピュータ１６０５上でソフトウエアを用いて計算し、物体１５０１に関する距離画像を得る。
【００５９】
一方、ＣＣＤカメラ１６０１、１６０２より得られた濃淡画像と、それによって得られた距離画像より、コンピュータ１６０５上で実施例７と同様の方法でソフトウエアを用いて領域抽出を行う。この領域抽出で得られた抽出領域のみを開口とするパターンをフレームメモリ１６０７を通して強度変調型ＳＬＭ１６０９に表示する。
【００６０】
また、獲得された距離画像データをフレームメモリ１６０６を通しＳＬＭ１６０８に表示し、この画像をインコヒーレンス光源１６２０から射出したインコヒーレンス光１６２１を拡散版１６２２で拡散した書き込み光１６２３で読み出す。結像レンズ１６２５はＳＬＭ１６０８の表示面とＳＬＭ１６２６の書き込み面が結像関係となるように系を配置しておき、ＳＬＭ１６０８に表示してある距離画像を読み出した光１６２４はＳＬＭ１６２６の書き込み面に結像し、光の強度として書き込む。
【００６１】
ＳＬＭ１６２６は光書き込み型の位相変調ＳＬＭであるために、光の強度の最も強いときに−π、最も弱いときにπとなるように、コントローラ１６２７を用いて位相変調を行う。ＳＬＭ１６２６に光の強度として書き込まれた画像は、ビームスプリッター１６３１を通過してきた略平行光１６３０で位相分布の画像として読み出される。読み出し光の１６３０よって読み出された光１６３２は、次にＳＬＭ１６０９に入射する。ＳＬＭ１６０９には、上述したように、認識対象物体の領域のみ開口としているために、認識対象物体を示す領域のみを透過し、透過した光１６３３のみがフーリエ変換レンズ１６３４を通してレンズ後側焦点面に置かれたスクリーン１６４１に、フィルター１６４０を透過した後に、読み出された画像のフーリエスペクトル像を形成する。ここでも、フィルター１６４０は、実施例７と同様で、見える部分の面積と実際の表面積を補正するように、その位置により透過率が変化するようにフィルムにパターンを描いてあるフィルターである。
【００６２】
このフーリエスペクトル像の強度情報が補正されたデータをＣＣＤカメラ１６４２で取り込み、フレームメモリ１６４３を介してコンピュータ１６４４で検出する。ここで検出される画像は、実施例７と同様で、認識対象物体を構成する表面の傾きを示す点にその表面積に対応するピークを持つ画像なので、表面を構成する平面の方程式の傾きとその表面積を瞬時に検出することができる。
【００６３】
また、これまでは、表示素子として電気アドレス型位相変調液晶と光書き込み型位相変調液晶を示したが、結晶や、サーモプラスチック、半導体等の素子を用いてもよい。
【００６４】
また、位相変調の範囲として−π〜πとしたが、−ｎπ〜ｍπ（ｎ，ｍ：整数）にしても同様の効果が得られる。さらに、距離情報を−ｎπ〜ｍπの位相の範囲に変調すると仮定し、その得られた情報をさらに−π〜πに変換すれば、空間光変調素子が−π〜πの変調しかできなくとも、−ｎπ〜ｍπまで変調した場合と同様の効果を得ることができる。
【００６５】
〔実施例９〕
次に、図１７を参照にして別の本発明の第３の実施例について説明する。上記実施例７、８では、画像表示手段１４０２の中で、表示素子として位相分布を表示するために位相変調型のＳＬＭを用いたが、現状では特殊な素子であるので、ここでは、より一般的に使用されている強度変調型のＳＬＭ、具体的に液晶製のＳＬＭを用いた例に示す。
【００６６】
基本的な構成は実施例７と同じで、ここでは、透過型の電気アドレス型位相変調型ＳＬＭ１５０６の代わりとして、透過型の電気アドレス型強度変調型ＳＬＭ１７０６、ここでは液晶製のＳＬＭを使用し、さらに、ピークを検出する際のフィルター１７２１の分布を変化させてある点が異なる。
【００６７】
まず、実施例７と同様に、物体情報手段としてレーザーレンジファインダー１７０２を用いて認識対象物体１５０１の形状を計測し、次に、その情報をフレームメモリ１７０３を通し、コンピュータ１７０４で認識対象物体１５０１の距離画像を得る。さらに、コンピュータ１７０４内でこの距離画像ｚ（ｘ，ｙ）を求め、読み出し光１７１５により読み出された光の中の１つがｅｘｐ（ｉｚ（ｘ，ｙ））となるように計算機ホログラムを作製する。
【００６８】
一例として、図９に示す座標系（ｘ，ｙ，ｚ）において、ｚ＝０の平面７３３に対して、波面Ｒ（ｘ，ｙ）７３１を仮定し、平面７３３でその波面７３１と位相分布ｅｘｐ（ｉｚ（ｘ，ｙ））７３２との干渉縞
Ｌ（ｘ，ｙ）＝｜ｅｉｚ（ｘ，ｙ） ＋Ｒ（ｘ，ｙ）｜２
を計算して計算機ホログラムＬ（ｘ，ｙ）を求めればよい。この計算機ホログラムをフレームメモリ１７０５を通してＳＬＭ１７０６に表示する。
【００６９】
一方、実施例７と同様に、レンジファイルダー１７０２で得られた距離画像を基に、領域抽出手段１４０４としてコンピュータ１７０４のソフトウエアを用いて行うことで、認識対象物体の領域を見出し、認識対象物体の領域のみを光を透過させるような画像を液晶製のＳＬＭ１７０８に表示する。
【００７０】
液晶製のＳＬＭ１７０８、１７０６に表示された画像を、読み出し光１７１５としてここでは上記で仮定した波面Ｒ（ｘ，ｙ）を用いて読み出す。まず、読み出し光１７１５は、液晶製のＳＬＭ１７０８を通し認識対象物体を示す領域のみの光が透過し、その光が次に計算機ホログラムを表示している液晶製のＳＬＭ１７０６に入射する。このようにすれば、認識対象物体の領域内で、計算機ホログラムより読み出された光の中でｅｘｐ（ｉｚ（ｘ，ｙ））の波面を持つものが存在する。そのｅｘｐ（ｉｚ（ｘ，ｙ））の波面についてフーリエ変換をフーリエ変換レンズ１７２０を用いて行い、フィルター１７２１を通じ、スクリーン１７２２上に形成されるフーリエスペクトル像をＣＣＤカメラ１７３０で取り込み、フレームメモリ１７３１を介しコンピュータ１７３２で検出する。このフーリエスペクトル像は、前述したものと同様に、認識対象物体１５０１を構成する平面の傾きと近似的な面積を示す画像となり、実施例７、８と同様の効果となる。
【００７１】
フィルター１７２１は、実施例７とは異なり、観測されている部分の見かけの面積と実際の表面積とを補正するだけでなく、回折方向に依存する回折効率による光量の低下も補正するようにしてある。これは、予めＳＬＭ１７０６に一定の大きさで回折方向の異なるホログラムを表示し、その際の回折位置での光量を調べておく。例えば、図１８に示すように、ある位置（ｘ，ｙ）に対してその光量より効率が判れば、その効率と、前述した見かけの面積と実際の表面積との両方を補正する透過率を求め、それらに対応したパターンをフィルムに描き、フィルター１７２１とする。
【００７２】
実施例７〜９では、距離画像獲得手段１４０１としてＣＣＤカメラ２個を用いた場合とレーザーレンジファインダーを用いた場合を示したが、速度は遅くなるが、ＣＣＤカメラ１個を異なる位置より撮影し、それより得られる２枚の画像より距離画像を獲得する方法もある。また、認識対象物体が時間と共に移動している場合に、固定されたＣＣＤカメラ１個であるサンプル時間で２度撮影すれば、その２枚の画像より距離画像を求めることもできる。
【００７３】
また、実施例９では、表示素子として電気アドレス型強度変調液晶を示したが、光書込み型強度変調液晶や、結晶、サーモプラスチック、半導体等の素子を用いても同様のことが実現できる。
【００７４】
ここまで、２次元の撮影素子として、ＣＣＤカメラを用いたが、撮像管を用いたものや、他の固体撮像素子を用いてもよい。
【００７５】
さらに、検出される光量と実際の面積を補正するためのフィルターとして、フィルムにパターンを描いたものを用いたが、液晶のＳＬＭ等で透過率を制御しても同様の効果が得られる。
【００７６】
また、領域抽出手段として距離画像の一回微分や二回微分を用いる方法のみを示したが、ニューラルネットワークの自己組織化や、また、距離画像だけでなく、濃淡画像、色画像等も利用した領域分割方法も可能である。
【００７７】
さらに、領域抽出においても、背景分離だけでなく、他の物体との区別が可能であることも明らかである。
【００７８】
以上の本発明の画像処理方法及び画像処理装置は、さらに次のように構成することができる。
（ｉ）物体の３次元情報を距離画像として獲得する距離画像獲得手段と、獲得された距離画像の位相分布の変域を該変域の最大値と最小値との差が２ｍπ（ｍは自然数）とする位相変域変換手段と、
前記位相変域変換手段により変換された位相分布を表示する画像表示手段と、前記画像表示手段に表示された画像を読み出すための略平行なコヒーレント光と、該コヒーレント光によって読み出される画像にフーリエ変換を施すためのフーリエ変換レンズとを有するフーリエ変換光学系と、
前記フーリエ変換光学系によって得られるフーリエスペクトル像を検出するためのフーリエ変換スペクトル検出手段とを有し、
獲得する距離画像中に含まれる平面の法線とその近似的な面積を高速に検出することができることを特徴とする画像処理装置。
【００７９】
（ｉｉ）画像表示手段が、位相変調機能を有する空間光変調器を用いる請求項２記載及び（ｉ）記載の画像処理装置。
【００８０】
（ｉｉｉ）画像表示手段が、ホログラムを用いる請求項２記載及び（ｉ）の画像処理装置。
【００８１】
（ｉｖ）前記認識手段が、物体の距離画像中に含まれる平面の法線とその近似的な面積等の参照データを蓄える参照データ記録手段と、
該参照データと前記画像表示装置により出力される獲得された距離画像中に含まれた平面の法線とその近似的な面積等のデータとを比較するデータ比較手段とを有する請求項３記載の画像処理装置。
【００８２】
（ｖ）物体の３次元情報として距離の情報を画素の値とする距離画像を獲得する距離画像獲得ステップと、
獲得された距離画像の位相分布の変域を該変域の最大値と最小値との差が２ｍπ（ｍは自然数）とする位相変域変換ステップと、
前記位相変域変換ステップにより変換された位相分布を画像に表示する画像表示ステップと、
前記画像表示ステップで表示された画像にフーリエ変換を施すステップと、
前記フーリエ変換によって得られるフーリエスペクトル像を検出するフーリエ変換スペクトル検出ステップとを有し、
獲得する距離画像中に含まれる平面の法線とその近似的な面積を高速に検出することができることを特徴とする画像処理方法。
【００８３】
【発明の効果】
以上説明したように、本発明により、拡張ガウス像に対応する画像を高速に得ることができ、結果として３次元画像の高速な認識が可能になる。
【図面の簡単な説明】
【図１】本発明の画像処理方法を実現するための装置の構成を示すブロック図である。
【図２】本発明の画像処理方法を説明するための関数関係を示す図である。
【図３】本発明による変換前後の１つの実例を示すための図である。
【図４】本発明のもう１つ別の画像処理装置の構成を示すブロック図である。
【図５】実施例１の画像処理装置の構成を示す図である。
【図６】実施例２の画像処理装置の構成を示す図である。
【図７】位相変換範囲が２πより広くても２πの範囲で同様の効果が得られることを示す図である。
【図８】実施例３の画像処理装置の構成を示す図である。
【図９】実施例３の計算機ホログラムの作成方法を説明するための図である。
【図１０】実施例４の認識装置のブロック図である。
【図１１】実施例４の比較手段の一例である光学的ジョイントトランスフォームコリレーション装置の構成を示す図である。
【図１２】実施例５の認識装置のブロック図である。
【図１３】実施例６の認識装置の構成を示す図である。
【図１４】実施例７の画像処理装置の構成を示す図である。
【図１５】実施例７において領域分割のためのフィルターに用いる重みテーブルの例を示すための図である。
【図１６】実施例８の画像処理装置の構成を示す図である。
【図１７】実施例９の画像処理装置の構成を示す図である。
【図１８】認識対象物体の所定位置での回折効率を模式的に示す図である。
【図１９】拡張ガウス球を認識に用いる方法を説明するための図である。
【図２０】実際に観察可能な拡張ガウス像が制限される様子を示す図である。
【符号の説明】
１、２…平面
４０１…距離画像獲得手段
４０２…画像表示手段
４０３…フーリエ変換光学系
４０４…フーリエ変換スペクトル検出手段
４０５…認識手段
５０１…認識対象物体
５０２…レーザーレンジファインダー
５０３、５０５、５１１…フレームメモリ
５０４、５１２…コンピュータ
５０６…電気アドレス型位相変調液晶
５０７…コヒーレント光
５０８…フーリエ変換レンズ
５０９…スクリーン
５１０…ＣＣＤカメラ
５２１…レーザー発振器
５２２…レーザー光
５２３…集光レンズ
５２４…ピンホール
５２５…コリメータレンズ
６０１…認識対象物体
６０２ａ、６０２ｂ…ＣＣＤカメラ
６０３ａ、６０３ｂ、６０５、６１５…フレームメモリ
６０４、６１６…コンピュータ
６０６…透過型液晶表示素子
６０７…書き込み光
６０８…結像レンズ
６０９…光書き込み型位相変調液晶
６１０…ビームスプリッター
６１１…読み出し光
６１２…フーリエ変換レンズ
６１３…スクリーン
６１４…ＣＣＤカメラ
７０１…認識対象物体
７０２…レーザーレンジファインダー
７０３、７０５、７１１…フレームメモリ
７０４、７１２…コンピュータ
７０６…電気アドレス型強度変調型液晶
７０７…読み出し光
７０８…フーリエ変換レンズ
７０９…スクリーン
７１０…ＣＣＤカメラ
７３１…波面
７３２…位相分布
７３３…平面
８０１、８０９…コンピュータ
８０２、８０８…フレームメモリ
８０３…読み出し光
８０５…フーリエ変換レンズ
８０４…電気アドレス型振幅変調液晶
８０６…スクリーン
８０７…ＣＣＤカメラ
１００１…変換画像
１００２…コンピュータのメモリ
１００３…比較手段
１１０１…変換画像
１１０２…一次のモーメント・二次のモーメント検出器
１１０３…メモリ
１１０４…一次モーメント比較手段
１１０５…選択手段
１１０６、１１０８…回転手段
１１０７…比較手段
１２０１…ニューラルネットの入力層
１２０２…ニューラルネットの中間層
１２０３…ニューラルネットの出力層
１２０４…ニューロン
１４０１…距離画像獲得手段
１４０２…第１画像表示手段
１４０３…物体情報獲得手段
１４０４…領域抽出手段
１４０５…第２画像表示手段
１４０６…フーリエ変換手段
１４０７…検出手段
１４０８…認識手段
１５０１…認識対象物体
１５０２…レーザーレンジファインダー
１５０３…フレームメモリ
１５０４…コンピュータ
１５０５…フレームメモリ
１５０６…位相変調型の電気アドレス型ＳＬＭ
１５０７…フレームメモリ
１５０８…強度変調型の電気アドレス型ＳＬＭ
１５１０…ヘリウムネオンレーザー光源
１５１１…レーザー光
１５１２…集光レンズ
１５１３…ピンホール
１５１４…コリメータレンズ
１５１５…コヒーレント光
１５２０…フーリエ変換レンズ
１５２１…フィルター
１５２２…スクリーン
１５３０…ＣＣＤカメラ
１５３１…フレームメモリ
１５３２…コンピュータ
１６０１、１６０２…ＣＣＤカメラ
１６０３、１６０４…フレームメモリ
１６０５…コンピュータ
１６０６…フレームメモリ
１６０７…フレームメモリ
１６０８…強度変調型の電気アドレス型の透過型ＳＬＭ
１６０９…強度変調型ＳＬＭ
１６２０…インコヒーレンス光源
１６２１…インコヒーレンス光
１６２３…書き込み光
１６２４…読み出した光
１６２５…結像レンズ
１６２６…位相変調型の反射型の光アドレス型ＳＬＭ
１６２７…コントローラ
１６３０…略平行光
１６３１…ビームスプリッター
１６３２…読み出された光
１６３３…透過した光
１６３４…フーリエ変換レンズ
１６４０…フィルター
１６４１…スクリーン
１６４２…ＣＣＤカメラ
１６４３…フレームメモリ
１６４４…コンピュータ
１７０２…レーザーレンジファインダー
１７０３…フレームメモリ
１７０４…コンピュータ
１７０５…フレームメモリ
１７０６…透過型の電気アドレス型強度変調型ＳＬＭ
１７０８…液晶製のＳＬＭ
１７１５…読み出し光
１７２０…フーリエ変換レンズ
１７２１…フィルター
１７２２…スクリーン
１７３０…ＣＣＤカメラ
１７３１…フレームメモリ
１７３２…コンピュータ
Claims (6)
- 物体の３次元情報として、距離の情報を画素の値とする距離画像を位相分布の画像に変換し、その位相分布の画像のフーリエ変換を行い、前記距離画像中に含まれる平面の法線とその近似的な面積を示す画像を得ることを特徴とする画像処理方法。
- 物体の３次元情報として、距離画像を獲得する距離画像獲得手段と、獲得された距離画像を位相分布として表示するための画像表示手段と、前記画像表示手段に表示された画像を読み出すための略平行なコヒーレント光と、コヒーレント光によって読み出された画像にフーリエ変換を施すためのフーリエ変換レンズとを有するフーリエ変換光学系と、前記フーリエ変換光学系によって得られるフーリエスペクトル像を検出するためのフーリエ変換スペクトル検出手段とを有し、獲得する距離画像中に含まれる平面の法線とその近似的な面積を高速に検出することができることを特徴とする画像処理装置。
- 請求項２において、さらに、認識手段を有し、認識対象の３次元物体を高速で認識可能にしたことを特徴とする画像処理装置。
- 少なくとも距離画像を獲得する距離画像獲得手段を有する物体情報獲得手段と、獲得された距離画像を位相分布として表示するための第１画像表示手段と、獲得された物体情報から領域分割し、分割された領域の一部の領域を抽出し、抽出された領域を強度情報として表示するための第２画像表示手段と、前記第１及び第２画像表示手段に表示された画像を読み出すための略平行なコヒーレント光と、コヒーレント光によって読み出された画像にフーリエ変換を施すためのフーリエ変換手段と、前記フーリエ変換手段によって得られるフーリエスペクトル像を検出するための検出手段とから構成され、獲得する物体画像中に含まれる平面の法線とその近似的な面積を高速に検出することができることを特徴とする画像処理装置。
- 請求項４において、さらに、前記検出手段中に強度変調が可能なフィルタリングを行うフィルタリング手段を含むことを特徴とする画像処理装置。
- 請求項４において、さらに、認識手段を有し、認識対象の３次元物体を高速で認識可能にしたことを特徴とする画像処理装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP01420895A JP3573512B2 (ja) | 1994-05-17 | 1995-01-31 | 画像処理方法及び画像処理装置 |
| US08/442,347 US5724447A (en) | 1994-05-17 | 1995-05-16 | Optical transform system for three-dimensional object recognition |
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10277594 | 1994-05-17 | ||
| JP6-102775 | 1994-05-17 | ||
| JP13993494 | 1994-06-22 | ||
| JP6-139934 | 1994-06-22 | ||
| JP01420895A JP3573512B2 (ja) | 1994-05-17 | 1995-01-31 | 画像処理方法及び画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0868967A JPH0868967A (ja) | 1996-03-12 |
| JP3573512B2 true JP3573512B2 (ja) | 2004-10-06 |
Family
ID=27280569
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP01420895A Expired - Fee Related JP3573512B2 (ja) | 1994-05-17 | 1995-01-31 | 画像処理方法及び画像処理装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US5724447A (ja) |
| JP (1) | JP3573512B2 (ja) |
Families Citing this family (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5982954A (en) * | 1996-10-21 | 1999-11-09 | University Technology Corporation | Optical field propagation between tilted or offset planes |
| EP1978417A2 (en) * | 1996-12-06 | 2008-10-08 | Nippon Telegraph And Telephone Corporation | Method and system for producing computer generated holograms realizing time holographic video production and display |
| JP3344553B2 (ja) * | 1997-02-05 | 2002-11-11 | セントラル硝子株式会社 | ホログラムの像質評価方法およびその装置 |
| US6466372B1 (en) * | 1997-05-16 | 2002-10-15 | G. Michael Morris | Systems for projecting images from diffractive phase plates |
| JPH1185274A (ja) * | 1997-09-10 | 1999-03-30 | Fuji Heavy Ind Ltd | 自律走行車の走行軌跡検出装置 |
| US6137896A (en) * | 1997-10-07 | 2000-10-24 | National Research Council Of Canada | Method of recognizing faces using range images |
| JP3745117B2 (ja) * | 1998-05-08 | 2006-02-15 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
| EP1780503A3 (de) * | 1998-09-14 | 2007-05-16 | Betriebsforschungsinstitut VDEh Institut für angewandte Forschung GmbH | Vorrichtung zum Messen der Geometrie und Planheit von Metallband |
| JP2000097703A (ja) * | 1998-09-21 | 2000-04-07 | Topcon Corp | ３次元測定方法と、これを利用した測量機 |
| US6261728B1 (en) | 1998-10-19 | 2001-07-17 | Vanguard International Semiconductor Corporation | Mask image scanning exposure method |
| JP4429461B2 (ja) | 2000-03-17 | 2010-03-10 | 本田技研工業株式会社 | 画像処理装置、平面検出方法、及び平面検出プログラムを記録した記録媒体 |
| JP3406577B2 (ja) * | 2000-07-19 | 2003-05-12 | 技研トラステム株式会社 | 物体認識方法 |
| US6369879B1 (en) | 2000-10-24 | 2002-04-09 | The Regents Of The University Of California | Method and apparatus for determining the coordinates of an object |
| US6853745B1 (en) * | 2000-11-03 | 2005-02-08 | Nec Laboratories America, Inc. | Lambertian reflectance and linear subspaces |
| EP1332474A1 (en) * | 2000-11-07 | 2003-08-06 | Holographic Imaging LLC | Improved three dimensional display |
| JP4167390B2 (ja) * | 2000-11-20 | 2008-10-15 | 日本電気株式会社 | 物体照合方法，物体照合装置，およびそのプログラムを記録した記録媒体 |
| JP2002296144A (ja) * | 2001-03-30 | 2002-10-09 | Seiko Epson Corp | マークの検出方法及び装置 |
| JP3535476B2 (ja) * | 2001-05-09 | 2004-06-07 | 住友ゴム工業株式会社 | 球体の三次元姿勢測定方法および該方法を用いた球体の回転量と回転軸方向の測定方法 |
| JP3855053B2 (ja) * | 2003-01-30 | 2006-12-06 | 国立大学法人 東京大学 | 画像処理装置、画像処理方法、及び画像処理プログラム |
| TW200734618A (en) * | 2006-03-06 | 2007-09-16 | Benq Corp | Bulb sorting device and sorting method thereof |
| JP4777178B2 (ja) * | 2006-07-28 | 2011-09-21 | キヤノン株式会社 | 画像処理方法 |
| GB0616688D0 (en) * | 2006-08-23 | 2006-10-04 | Qinetiq Ltd | Target orientation |
| JP4940856B2 (ja) * | 2006-09-25 | 2012-05-30 | ソニー株式会社 | ３次元表示装置 |
| US20090008955A1 (en) * | 2007-07-03 | 2009-01-08 | Sergio Desoto | System and method for automatically designing an automobile wrap |
| WO2011088497A1 (en) * | 2010-01-19 | 2011-07-28 | Richard Bruce Baxter | Object recognition method and computer system |
| SE538405C2 (en) * | 2015-01-07 | 2016-06-14 | Viscando Ab | Method and system for categorization of a scene |
| JP2018112478A (ja) * | 2017-01-12 | 2018-07-19 | リコーエレメックス株式会社 | 画像検査装置および画像検査方法 |
| KR20200098225A (ko) * | 2019-02-12 | 2020-08-20 | 삼성전자주식회사 | 객체를 모니터링하는 방법 및 이를 지원하는 전자 장치 |
| JP7307592B2 (ja) | 2019-05-24 | 2023-07-12 | キヤノン株式会社 | 計測装置、撮像装置、制御方法及びプログラム |
| TW202119019A (zh) * | 2019-11-05 | 2021-05-16 | 華碩電腦股份有限公司 | 外觀取像裝置及包含其的外觀檢測裝置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5159474A (en) * | 1986-10-17 | 1992-10-27 | E. I. Du Pont De Nemours And Company | Transform optical processing system |
-
1995
- 1995-01-31 JP JP01420895A patent/JP3573512B2/ja not_active Expired - Fee Related
- 1995-05-16 US US08/442,347 patent/US5724447A/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0868967A (ja) | 1996-03-12 |
| US5724447A (en) | 1998-03-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3573512B2 (ja) | 画像処理方法及び画像処理装置 | |
| US4637056A (en) | Optical correlator using electronic image preprocessing | |
| CN106097269B (zh) | 基于计算鬼成像的高分辨率微视觉***及获取图像的方法 | |
| JP3776500B2 (ja) | 多重化光学系及びそれを用いた特徴ベクトル変換装置、特徴ベクトル検出伝送装置、及び、それらを用いた認識分類装置 | |
| US4924507A (en) | Real-time optical multiple object recognition and tracking system and method | |
| US5386378A (en) | Optical information processing apparatus and method using computer generated hologram | |
| US5020111A (en) | Spatial symmetry cueing image processing method and apparatus | |
| CN111856478A (zh) | 一种免成像的运动物体探测与三维追踪装置及方法 | |
| US5754693A (en) | Method of optical recognition and classification of patterns | |
| US5343415A (en) | Logarithmic polar coordinate transforming method, vision recognizing method, and optical information processing apparatus | |
| JPH03500934A (ja) | 光学相関器の出力相関平面の較正システム | |
| JP2000502444A (ja) | レンズ・アパーチャープレート系の結像において間隔を高解像度で決定する方法と装置 | |
| EP0460625B1 (en) | Optical information processing apparatus and method using computer generated hologram | |
| JPH02132412A (ja) | 光学的画像処理装置 | |
| JP3062664B2 (ja) | 座標変換機能を有する光学的パターン認識装置 | |
| Rhodes | Incoherent spatial filtering | |
| CN206224605U (zh) | 基于计算鬼成像的高分辨率微视觉*** | |
| JP3802241B2 (ja) | 文字列や複数形状等の識別方法および装置 | |
| CA2050242C (en) | Logarithmic polar coordinate transforming method, vision recognizing method, and optical information processing apparatus | |
| Gara | Optical computing for image processing | |
| JP2721510B2 (ja) | マッチド・フィルタを用いた識別方法及び装置 | |
| JP2841762B2 (ja) | 視覚認識装置 | |
| JP2615964B2 (ja) | 光学的情報処理装置 | |
| JP3327975B2 (ja) | 物***置検出方法及びそれを用いた画像処理装置 | |
| JP2751570B2 (ja) | 測距装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040623 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040629 |
|
| LAPS | Cancellation because of no payment of annual fees |