JP4582995B2 - 情報変換システム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、対象の性質を示す物理量を有する入力情報に基づいて、その対象を自動的に認識する情報変換システムに関し、特に、三次元形状を有する対象物を入力画像に基づいて自動的に認識するのに好適な情報変換システムに関し、さらに、認識結果を利用した、情報伝送技術や人工知能の基礎となる技術に関する。
【０００２】
【従来の技術】
従来、防犯システム等の監視システムにおいて、監視カメラや赤外線センサ等の種々のセンサが利用されている。監視カメラやセンサを利用すれば、建物等への侵入者の有無を遠隔地で容易に監視したり検知したりすることができる。
また、近年、画像をデジタル化することにより、画像処理技術が飛躍的に進歩している。その結果、画像の特定部分を強調したり切り抜いたりできるようになった。また、所望の画像を合成することが可能となった。例えば、野球中継において、バッターボックス後方の広告画像を任意に入れ替えて放映する技術が実用化されている。
【０００３】
さらに、近年の通信技術の進歩により、インターネット等の通信回線を介した情報伝送量が増加している。特に、画像情報は、文字情報に比べて桁違いに大きな情報量をもっている。そこで、画像情報の伝送量を低減するため、画像信号を圧縮して送信し、受信側においてこれを復元する種々の画像圧縮技術が開発されている。
例えば、静止画像の圧縮符号化方式としては、ＪＰＥＧ（Ｊｏｉｎｔ
Ｐｈｏｔｏｇｒａｐｈｉｃ ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）方式が国際標準形式として採用されている。ＪＰＥＧ方式では、一定の法則に基づいて画素数を間引いて画像全体の情報量を低減している。また、動画像の圧縮符号化方式としては、例えばＭＰＥＧ（Ｍｏｔｉｏｎ
Ｐｉｃｔｕｒｅ ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）方式が国際標準形式として採用されている。ＭＰＥＧ方式では、画面中の動画部分のみを処理して画像全体の情報量を低減している。
【０００４】
ところで、監視カメラのモニタ画像を見て事故や犯罪事件が発生したことを認識するのは、あくまでも人間である。すなわち、監視カメラやモニタ画像自体が、事故等が発生したことを認識しているわけではない。このため、監視カメラを設置しても、監視員がモニタ画像を監視していなければ、事故等の発生を見逃してしまうおそれがある。
また、赤外線センサ等の防犯センサは、何かが侵入したことは検知できても、検知されたものが「何であるか」ということを認識することは困難である。このため、防犯センサは誤作動することがある。すなわち、防犯センサは、侵入者だけでなく、犬等の動物の侵入も検知することがある。
結局のところ、これら問題は、対象物が「何であるか」ということが自動的に認識されていないことに起因している。
また、画像処理によりデジタル画像の特定部分を強調したり切り抜いたりするためには、オペレータが、その特定部分を指定しなければならない。そして、デジタル画像をどのように画像処理しても、画像自体は単なる画素信号の集合に過ぎない。このため、画像中の対象物が「何であるか」ということを認識するのは、上述の監視カメラの場合と同様に、あくまでも人間である。
【０００５】
なお、画像認識技術として、光学式文字読取装置（ｏｐｔｉｃａｌ
ｃｈａｒａｃｔｅｒ ｒｅａｄｅｒ；ＯＣＲ）が実用化されている。ＯＣＲは、通常、白色無地の紙面上の文字を認識対象としている。そして、ＯＣＲは、入力画像から切り出された文字パターンと基準パターンとを比較するパターンマッチングの手法により、自動的に文字認識をしている。
しかし、三次空間に存在する対象物を画像認識する場合には、対象物の背景は白色無地に限定されず、隣接する対象物像の輪郭線どうしが連続していることが多い。この場合、個々の対象物像を切り出すことは困難であることが多い。したがって、ＯＣＲ等の従来のパターンマッチング技術を直接適用しても、三次元対象物を認識することは容易でない。
また、従来の画像圧縮技術では、画像信号を処理している。このため、画像圧縮後の伝送容量も、文字情報の伝送容量よりも遥かに大きい。その結果、依然として、画像情報の伝送に時間がかかったり、回線の負担が大きくなったりするという問題点があった。
【０００６】
【発明が解決しようとする課題】
ところで、既存の画像認識技術では、人間が三次元の対象物の二次元画像情報から三次元の対象物が何であるかを認識し、二次元の画像情報からその対象物のもつ多くの三次元情報を読み取り、類推する機能を実現することはできない。すなわち、現時点における二次元画像認識技術はかなり進んではいるものの、現存の技術で実現可能なのは、対象物の名前や種類を認識する程度までであり、人間が頭の中で行うように、その対象物を他の対象物と分離して認識したり、その対象物を含む物理量の三次元計測を行うことなどは困難である。
したがって、名前や種類の認識程度ではなく、対象物の有する様々な属性や三次元形状や三次元座標の位置まで含むような本当の意味での三次元認識が実現すれば、現在のコンピュータ技術と結合することによって、日頃人間が実行しているような、複数の対象物が存在する中から目的の対象物を選択し、その対象物を認識し、かつ、その対象物を計測し、さらに、それらの対象物との位置関係と意味の関係から一つの最終結論を導くという人工知能技術を実現することが可能となる。
【０００７】
本発明は、上記事情にかんがみてなされたものであり、三次元対象物を自動的に認識することができる情報変換システムの提供を第１の目的とする。
これにより、三次元対象物を自動的に認識するだけでなく、さらに、ある対象物を他の対象物から区別して認識し、対象物の見えていない部分まで含めて三次元形状を決定し、その位置座標を決定し、複数の対象物を、対応する複数の三次元ＣＧで位置を含めて再構成し、それを自由視点で表現することが可能となる。
また、本発明は、画像情報の情報容量を情報変換により大幅に低減し、さらに、画像情報の高速伝送を実現することができる技術の提供を第２の目的とする。
なお、第１の目的と第２の目的との結合により、遠隔地等で、人間に代わって対象物の状況を判断し、結論を下す人工知能を実現する技術の提供が可能となる。
【０００８】
【課題を解決するための手段】
上記の第１の目的の達成を図るため、本発明者は種々の検討を重ねた結果、従来のパターンマッチング手法を三次元対象物の認識に適用すると、入力画像から対象物像を個別に切り出す処理が極めて困難となることに着目した。そこで、本発明者は、入力画像から対象物像を切り出さなくとも、対象物を自動的に認識することが可能な技術を求めて本発明に想到した。
【０００９】
本発明の情報変換システムによれば、種々の対象をモデル化した部品の、その対象の性質を示すデータを含む属性データ及び識別コードを登録したデータベースと、部品ごとに属性データから一つ又は複数の比較用部品情報を生成する比較用部品生成部と、対象に関する情報を含む入力情報を取得する入力部と、入力情報から、対象の情報が個別に分離されていない比較用情報を生成する比較用情報生成部と、互いに同一種類のデータを有する比較用部品情報及び比較用情報を用いて、対象に対応する部品を特定する部品特定部と、特定された部品の識別コード及び属性データの少なくとも一部を前記対象の認識結果として出力する出力部とを有し、部品特定部は、一つ又は複数の部品の一つ又は複数の比較用部品情報について順次に、比較用情報中から比較用部品情報の少なくとも一部分に対応する対応部分を検索する検索処理部と、比較用情報中の対応部分を対象として認識する認識処理部と、比較用部品情報を有する部品を対象に対応する部品として特定する特定処理部とを備える構成としてある。
【００１０】
これにより、例えば、対象が音声情報である場合、雑音等のため目的とする音声情報を入力情報から抽出することが困難な場合であっても、部品側から入力情報中の対応する部分を検索するので、目的とする音声情報の特定を図ることができる。
その上、単に対象の名称を認識するだけでなく、部品が特定された後の処理を、部品に置き換えて行うことができる。その結果、特定された部品に前もって与えられていた属性データに含まれていれば、入力情報に含まれていないデータであっても出力することも可能である。したがって、本発明によれば、より高度な対象認識、例えば、画像認識や画像理解、さらに音声認識や音声理解や自動翻訳の実現が期待できる。そして、本発明は、人工知能等の情報処理技術の基礎技術として様々な方面への利用が期待できる。
【００１１】
（画像）
また、本発明の情報変換システムによれば、種々の対象物をモデル化した部品の三次元形状データを含む属性データ及び識別コードを登録したデータベースと、部品ごとに属性データから一つ又は複数の比較用部品情報を生成する比較用部品生成部と、対象物像を含む入力画像を取得する入力部と、入力画像を画像処理し、対象物像が個別に切り出されていない比較用画像情報を生成する比較用画像生成部と、互いに同一種類のデータを有する比較用部品情報及び比較用画像情報を用いて、前記対象物像に対応する部品を特定する部品特定部と、特定された部品の識別コード及び属性データの少なくとも一部を対象物像の認識結果として出力する出力部とを有し、部品特定部は、一つ又は複数の部品の一つ又は複数の比較用部品情報について順次に、比較用画像情報中から比較用部品情報の少なくとも一部分に対応する対応部分を検索する検索処理部と、比較用画像情報中の対応部分を対象物像として認識する認識処理部と、比較用部品情報を有する部品を対象物像に対応する部品として特定する特定処理部とを備える構成としてある。
【００１２】
このように、本発明の情報変換システムによれば、対象物像を、属性データを有するモデル化された部品に変換することにより認識する。その際に、比較用部品情報でもって比較用画像情報を検索する。そして、比較画像中の対応部分を対象物像として認識とするとともに、対応する部品を特定する。
これにより、入力画像から個々の対象物像を切り出さなくとも、対象物を自動的に認識することが可能となる。したがって、入力画像から対象物像を個別に切り出すことが困難な場合においても、三次元対象物を自動的に認識することが可能となる。
【００１３】
なお、本発明では、対象物は実在するものに限定されず、例えば、仮想現実の画像等を入力画像として使用することもできる。また、例えば、比較用画像情報として、入力画像からフーリエ変換等の手法により積分変換データを生成するとともに、比較用部品情報として、部品の属性データからフーリエ変換等の手法により積分変換データを生成してもよい。
さらに、本発明によれば、各部品に属性データを与えている。このため、単に対象物の名称を認識するだけでなく、部品が特定された後の処理を、部品に置き換えて行うことができる。その結果、特定された部品に前もって与えられていた属性データに含まれていれば、入力画像に含まれていないデータであっても出力することも可能である。例えば、入力画像には現れていない、対象物の裏側部分の形状や、対象物の金額や重量の情報を属性データとして出力することも可能である。
【００１４】
このように、本発明によれば、より高度な画像認識や画像理解の実現を図ることができる。そして、本発明は、人工知能等の情報処理技術の基礎技術として様々な方面への利用が期待できる。
なお、対象物は、特許請求の範囲中の対象に含まれる。また、比較用画像生成部は、特許請求の範囲中の比較用情報生成部に含まれる。また、比較用画像情報は、特許請求の範囲中の比較用情報に含まれる。
【００１５】
（部品要素分解）
また、本発明によれば、比較用部品生成部は、比較用部品情報として、部品の属性データを輪郭線等の基本要素に分解し、個々の基本要素、又は、複数の基本要素を組合せた複合要素を生成し、比較用画像生成部は、比較用画像情報として、輪郭線等の基本要素を抽出し、個々の基本要素又は複合要素の集合を生成し、検索処理部は、比較用画像情報の中から部品の基本要素又は複合要素と対応する部分を検索する構成としてある。
このように、属性データを基本要素に分解、基本要素又は複合要素単位で、比較画像中の対応する部分を検索すれば、検索処理の効率化を図ることができる。
なお、各基本要素や複合要素には、後の処理のため、それぞれ個別の要素識別コードを付与することが好ましい。
【００１６】
（部品の特徴要素）
また、本発明によれば、比較用部品生成部は、比較用部品情報として、部品の属性データの特徴部分の基本要素又は複合要素を生成し、検索処理部は、比較用画像情報の中から特徴部分の基本要素又は複合要素と対応する部分を検索し、認識処理部は、特徴部分の基本要素又は複合要素との対応部分が検索された後、当該対応部分と、同一部品の当該特徴部分以外の基本要素又は複合要素との対応を確認し、対応部分を対象物像として認識する構成としてある。
このように、特徴部分の基本要素又は複合要素により検索処理を行えば、検索処理の一層の効率化を図ることができる。
【００１７】
（部品オペレータ）
また、本発明によれば、比較用部品生成部は、比較用部品情報として、基本要素又は複合要素の形状に一致するピクセルに高い得点が与えられ、要素の形状から離れたピクセルに低い得点が与えられた二次元マトリクス又は三次元マトリクスからなる要素抽出フィルタ（以下、「要素オペレータ」とも称する。）を生成し、検索処理部は、前記対応部分として、比較用画像情報の基本要素又は複合要素と一致するピクセルの合計得点が最も高くなる部分を検索する構成としてある。
このように要素抽出フィルタを用いれば、合計得点が最も高くなる部分を検索しながら、最終的に一致を図ることが可能となる。これにより、無駄な検索を抑制し、検索効率の向上を図ることができる。
【００１８】
（結合関係）
また、本発明によれば、比較用部品生成部は、複合要素に、基本要素どうしの結合関係だけを特定する情報を与え、部品特定部は、結合関係の少なくとも一部分が一致することを条件として、対応部分を検索する構成としてある。
このように結合関係だけを規定すれば、複合要素の方向、大きさ、位置及び形状の情報を捨象することができる。これにより、方向、大きさ、位置及び形状等が一致していない場合であっても、複合要素と部分的に一致する対応部分を検索することができる。その結果、より少ない種類の比較用部品情報で対応部分を検索することができる。これにより、検索処理の一層の効率化を図ることができる。
【００１９】
さらに、複合要素を構成する各基本要素に要素識別コードを付与するとともに、入力画像を基本要素に分解した比較用画像情報の各基本要素にも要素識別コードを付与すれば、要素識別コードどうしで一致を求めることが可能となる。例えば、比較用部品情報側の要素識別コードと、比較用画像情報側の要素識別コードとをテーブル状で比較することができる。
なお、基本要素には、角、線分、面若しくはこれらの組合せ、又は、これらをフーリエ変換等の手法により積分変換したデータが含まれる。
【００２０】
（自己認識関数）
また、本発明によれば、データベースに登録された各部品の属性データが、当該部品を特定する処理方法を指示する自己特定情報を含み、比較用部品生成部は、自己特定情報の指定する比較用部品情報を生成し、比較用部品情報を自己特定情報の指定する優先順序で部品特定部へ出力し、部品特定部は、自己特定情報に基づいて部品を特定する構成としてある。
このように、各部品に自己特定情報を持たせれば、各部品を特定する上で特徴的な情報を含んだ比較用部品情報を生成することが可能となる。さらに、比較用部品情報の種類や生成順序を指定することにより、検索処理の効率化を図ることができる。その結果、特定処理の効率化を図るとともに、特定の確度の向上を図ることができる。
【００２１】
部品特定部における処理方法や条件は、部品特定部に設定しておいてもよいし、データベースに自己特定情報として登録しておいてもよい。
例えば、予め、部品特定部に、選択可能な複数の処理方法を設定しておき、部品が選択された段階で、その部品の属性データ中の自己特定情報の指定に従い、これら処理方法の中から最適な処理方法を選択するようにしてもよい。
さらに、例えば、自己特定情報として、上記の処理方法の選択以外にも、部品特定部における処理方法のプログラムを有し、部品特定部は、そのプログラムを取得することにより、自己特定情報にしたがって検索処理、認識処理及び特定処理を行うようにしてもよい。
【００２２】
（集合部品）
また、本発明によれば、データベースに、集合部品の属性データとして、当該集合部品を構成する複数の部品の識別コード及び組合せ条件を登録しておき、特定処理部は、特定された部品どうしがその組合せ条件を満たす場合、特定された部品どうしを組み合わせた集合部品をさらに特定する構成としてある。
これにより、全体像が一定でない対象物であっても、その対象物の各部分に対応する部品の集合として、特定することが可能となる。
また、部品どうしの組合せ条件としては、例えば、部品どうしの配置関係を挙げることができる。また、集合部品は、複数のブロックから構成され、全体形状が変化する対象物の認識に用いて好適である。
【００２３】
（四次元部品）
また、本発明によれば、データベースは、対象物の一連の動作をモデル化した四次元部品の属性データとして、当該対象物の三次元形状データの時系列順の集合を有する構成としてある。
これにより、対象物の動作自体も認識することができる。
【００２４】
（一般部品）
また、本発明によれば、データベースは、対象物群を共通化してモデル化した一般部品の属性データとして、当該対象物群の個々の対象物をモデル化した部品に共通する属性データを有する構成としてある。
これにより、許容範囲の広い比較用部品情報を容易に生成することができる。たとえば、形状が規格化された工業製品と異なり、農産物のように、形状が一つ一つ異なる対象物を認識する場合に、その一般形状を表現する手段として用いて好適である。
【００２５】
（部品の絞り込み）
また、本発明によれば、データベースにおいて、一般部品と、当該一般部品の属性データを共通して有する部品とを関連付けておき、比較用部品生成部は、一般部品について比較用部品情報を生成し、特定処理部により一般部品が特定された場合、この一般部品に関連付けられた部品について比較用部品情報を生成する構成としてある。
これにより、対象物の特定を効率的に行うことができる。
なお、このように二段階に分けて対象物を特定する処理方法は、上記の自己特定関数により指定するとよい。
【００２６】
（データ取込）
また、本発明によれば、データベースは、認識された対象物像から得られるデータを、特定された部品の属性データとして取り込み、又は、属性データの一部分と置換する構成としてある。
このように、対象物像から属性データを取り込んだり、置換したりすれば、より正確な属性データを得ることができる。例えば、部品が特定された場合に、認識された対象物像と一致しない部分の属性データを取り込んだり、置換することが望ましい。
なお、属性データの取込等は、例えば、上記の基本要素又は複合要素単位で行うとよい。
【００２７】
（部品のグループ化による絞り込み）
また、本発明によれば、データベースは、設定状況ごとに複数の部品をグループ化しておき、比較用部品生成部は、入力画像がいずれかの設定状況に該当する場合、該当する設定状況のグループ内の部品について、比較用部品情報を生成する構成としてある。
このように、設定状況のグループ内で部品を特定すれば、検索処理に用いる部品を限定することができる。その結果、検索処理の効率化を図ることができる。
【００２８】
（座標絞り込み）
また、本発明によれば、検索処理部は、入力画像の場面に応じて、前記比較用画像情報中の検索範囲を限定する構成としてある。
このように、検索範囲を限定すれば、検索処理の効率化を図ることができる。例えば、比較用画像情報中の一部の対象物像が既に認識されている場合、既に認識されている対象物と、これから検索する部品との関係から、検索処理を限定することができる。例えば、既にテーブル像が認識されている場合において、コップの部品で比較用画像情報を検索するときは、検索範囲を、そのテーブル像の上側の領域に限定するとよい。
【００２９】
（多視点一致による特定）
また、本発明によれば、複数の入力部が、同一の対象物を互いに異なる既知方向から撮像した入力画像をそれぞれ取得し、比較用画像生成部は、各入力部が取得した入力画像から、それぞれ二次元形状データを含む比較用画像情報を生成し、比較用部品生成部は、部品の三次元形状データを既知方向の各々へ投影した二次元形状データを有する比較用部品情報を生成し、部品特定部は、各比較用画像情報について、それぞれ部品を特定し、各比較用画像情報について、同一の部品が特定されることを確認する構成としてある。
これにより、部品が特定できる場合には、各方向の入力画像について同一の部品が特定されることになる。このため、部品特定の精度を大幅に向上させることができる。その結果、対象物認識の信頼性の向上を図ることができる。
【００３０】
例えば、一つの比較用画像情報において比較用部品情報との対応が成立しない場合には、原則的に、他の方向の比較用画像情報においても比較用部品情報との対応が成立せず、部品は特定されない。これに対して、一つの比較用画像情報において比較用部品情報との対応が成立する場合には、原則的に、他の方向の比較用画像情報においても比較用部品情報との対応が成立し、部品が特定される。
また、二次元の比較用画像情報の生成にあたっては、例えば、多視点の入力画像をそれぞれフーリエ変換等の手法により二次元積分変換したデータを用いるとよい。また、二次元の比較用部品情報の生成にあたっては、例えば、部品を対象物の位置に置いたと仮定した場合に、その部品を既知方向から撮像したカメラに取得されるべき対象物像の二次元積分変換データを演算によって生成するとよい。そして、部品特定処理部では、二次元積分変換データどうしの対応関係を求め、一致することで部品を特定することができる。
【００３１】
（２Ｄ−２Ｄによる特定）
また、本発明によれば、入力部が、単一方向から撮像した対象物像を含む入力画像を取得し、比較用画像生成部は、入力画像から、二次元形状データを含む比較用画像情報を生成し、比較用部品生成部は、部品の三次元形状データを任意方向へ投影した二次元形状データを有する比較用部品情報を生成する構成としてある。
【００３２】
部品の属性データには三次元形状データが含まれている。このため、既知方向へ投影された比較用部品情報にも、三次元形状データ等の属性データを与えることができる。その結果、比較用画像情報を検索する際に、比較用部品情報の有する属性データにより、対応部分対象物の三次元形状や座標等を予想することができる。
例えば、部品候補が机である場合、机が空中に浮かんでいる状態や、机が倒立している状態よりも、机が床上に正立している状況を優先的に検索することができる。その結果、検索効率の向上を図ることができる。
【００３３】
（３Ｄ−３Ｄによる特定）
また、本発明によれば、入力部が、同一の対象物を互いに異なる方向から撮像した視差のある入力画像をそれぞれ取得し、比較用画像生成部は、各入力画像から三次元形状データを含む比較用画像情報を生成し、比較用部品生成部は、部品の三次元形状データを含む比較用部品情報を生成する構成としてある。
【００３４】
部品には予め全周の三次元形状データが与えられているので、三次元形状データを有する比較用部品情報を生成することができる。また、複数の入力画像からも視差によるステレオ画像として対象物の一部分の三次元形状データを有する比較用画像情報を生成することができる。このため、比較用部品情報の三次元形状でもって、比較用画像情報の三次元形状部分を直接検索することができる。その結果、三次元座標内で直接部品を特定することができる。これにより、シンプルかつ確実に部品特定を行うことができる。
また、三次元の比較用画像情報に生成にあたっては、例えば、対象物を複数の方向から撮像した入力画像をそれぞれフーリエ変換等の手法により二次元積分変換した各方向のデータから、三次元の積分逆変換により生成するとよい。また、三次元の比較用部品情報の生成にあたっては、例えば、部品を対象物の位置に置いたと仮定した場合に、その部品を既知方向から撮像するカメラに取得されるべき部品の三次元データを属性データから計算により生成するとよい。
【００３５】
（固定）
また、本発明によれば、部品特定部は、特定された部品の三次元形状及び配置関係を示す三次元座標を決定する固定処理部を備える構成としてある。
さらに、三次元座標の決定にあたっては、特定された部品の属性データに前もって含まれていなかったデータであって、入力画像から得られるデータを属性データに付加してもよい。
【００３６】
このように部品を固定すれば、単なる画像認識のみならず、特定された部品の三次元座標及び属性データを用いて、より高度な画像処理や画像理解を行うことが可能となる。例えば、三次元座標から、各対象物に対応する部品どうしの三次元的な位置関係が得られる。さらに、例えば、各部品の三次元座標及び属性データから、対象物に対応する部品相互の関係を意味づけた情報や、入力画像の示す状況の意味についての総合的な判断に必要なデータを導き出すことも考えられる。
【００３７】
（同一物区別）
また、本の発明によれば、部品特定部は、複数の別個の対象物像について互いに同一の部品が特定された場合、固定処理部は、特定された各部品の識別コードに、それぞれ互いに異なる識別子を付加する構成としてある。
このように、識別コードに識別子を付加すれば、複数の対象物が互いに同一種類の場合であっても、各対象物を個別に認識し、区別することができる。
【００３８】
（追跡）
また、本発明によれば、部品特定部は、入力画像が複数のフレームからなる動画像である場合に、一つのフレームについて、部品を特定し、他のフレームについて、いったん特定された部品については固定処理のみを繰り返し行う構成としてある。
これにより、いったん部品を特定すれば、対象物が移動しても認識処理及び特定処理を再度行う必要がない。すなわち、部品の識別コードを変更せずに、対象物像の位置（例えば座標データ）だけを更新しながら、対象物を追跡することができる。その結果、何度も部品の特定結果を利用できるので、きわめて効率の良い伝送・記録・表示が実現可能である。
例えば、ビデオ画像等で連続的に入力された入力画像において、同一対象物の位置は連続的に変位している。このため、連続する画像等において一定のずれ範囲内の対象物を同一の部品として順次に特定することが可能となる。これにより、入力画像が更新されるたびに同一部品を再特定する必要がなくなる。
【００３９】
（自由視点）
また、本発明によれば、出力部は、部品特定部において固定処理された複数の部品及びこれら部品の三次元空間配置を、任意の位置の視点から見た画像として再構成して表示する構成としてある。
各部品は三次元の形状データを有する。このため、入力画像が一方向からの画像だけであっても、再構成された各部品については、任意の方向から見た画像のデータを得ることができる。その結果、部品群全体を、入力画像とは異なる視点から見た様子を示す画像を出力することができる。
これにより、複数の対象物及びそれらの三次元空間における配置関係を、対応する各部品の属性データに基づいて、モデル化された各部品の配置関係として再現することができる。
【００４０】
（カメラキャリブレーションと三次元画像の結合）
また、本発明によれば、入力部は、三次元形状及び位置が既知の対象物を互いに異なる方向からそれぞれ撮像した入力画像中の対象物像に基づいて、各入力画像の撮像範囲の三次元空間どうしの重なり部分を求め、その重なり部分を三次元座標上で一致させるように整合させることで画像を結合し、各入力部の視点位置及び画角を求める構成としてある。
【００４１】
特定され固定された部品は、三次元形状データ及び三次元座標データを有する。このため、既知の対象物を撮像した対象物像から、その重なり部分を結合することで、異なるカメラからの画像を結合することができ、同時に、その対象物に対する視点の方向を求めることができる。さらに、別の方向からその対象物を撮像した場合の視点の方向を求めることもできる。したがって、同一の対象物を各方法から撮像した撮像した各入力部の視点方向、視点位置及び画角を、その対象物について特定及び固定された部品により、それぞれ求めることができる。
また、複数の入力画像は互いに同時刻に撮像されたものに限定されない。例えば、対象物に対して入力部が移動する場合においても、対象物が基準となる座標系に対して移動していなければ、同様に画像を結合し、視点位置及び画角を求めることができる。
【００４２】
（通信）
また、上記の第１の目的に加えて、上記の第２の目的の達成を図るため、本発明によれば、出力部から出力された識別コードを通信回線へ送信する送信部と、識別コードを受信する受信部と、識別コードと属性データとを対応づけて登録してある受信側データベースと、識別コードに対応する部品の属性データを前記受信側データベースから検索し、該当する属性データを出力する再構成部とを備える構成としてある。
これにより、送信側で特定された部品の識別コードと位置情報を伝送すれば、入力画像の対象物像を部品に変換した画像を受信側で再構成できる。その結果、対象物の画像データを伝送する必要がなくなる。このため、伝送容量を大幅に低減して高速伝送を実現できるとともに、回線の負荷を軽減することができる。
【００４３】
（異部品庫）
また、本発明によれば、送信側のデータベースと、受信側データベースとにおいて、同一識別コードの部品の三次元形状データが互いに異なる構成としてある。
なお、受信側のデータベースに登録されている部品は、送信側のデータベースに登録されている部品と一致してもよいし、一致しなくともよい。
例えば、対象物の配置状態等の情報だけを早く伝えたいという場合は、これらデータベースの内容どうしは必ずしも同一でなくとも構わない。また、例えば、分かりやすく説明することを目的とする場合には、漫画やイラスト部品、すなわち、対象物とは異なるが対象物を象徴的に表現した部品として、対象物を再生してもよい。
【００４４】
（解析情報）
また、本発明によれば、部品特定部により特定された複数の部品の属性データを組み合せ、これら部品からなる部品群についての解析情報を生成する解析情報生成部を備える構成としてある。
これにより、個々の対象物についての個別の認識だけでなく、対象物群全体の状態を認識することができる。例えば、個々の対象物の属性データのうち、重量データどうしを組み合わせ、対象物全体の合計重量を解析属性情報として生成することができる。
【００４５】
なお、組み合せる属性データは、同一種類どうしに限定されず、互いに異なる部品の、互いに異なる種類の属性データどうしを組み合せてもよい。
さらに、入力画像に含まれていない属性データを利用して解析属性情報を生成すれば、入力画像だけからでは人間が認識したり判断したりすることが困難なこと（例えば、製造年月日）についても、自動的に認識・判断することが可能となる。
また、生成する解析情報に応じて、解析情報の生成に利用する部品や属性データの組合せ方を選択する項目選択部を備えることが望ましい。項目選択部を設ければ、目的に合わせた組合せ方を選択して利用することができる。その結果、情報変換システムを特定の用途に限定されない汎用システムとして使用することが可能となる。
【００４６】
【発明の効果】
以上のような本発明によれば、三次元対象物を自動的に認識することができる第１の効果を奏する。これにより、三次元対象物を自動的に認識するだけでなく、さらに、ある対象物を他の対象物から区別して認識し、対象物の見えていない部分まで含めて三次元形状を決定し、その位置座標を決定し、複数の対象物を、対応する複数の三次元ＣＧで位置を含めて再構成し、それを自由視点で表現することが可能となる。
また、本発明によれば、画像情報の情報容量を情報変換により大幅に低減し、さらに、画像情報の高速伝送を実現することができる第２の効果を奏する。
なお、第１の効果と第２の効果との結合により、遠隔地等で、人間に代わって対象物の状況を判断し、結論を下す人工知能を実現することが可能となる。
【００４７】
【発明の実施の形態】
以下、本発明の好適な実施形態を、図面を参照しながら説明するが、本発明は、これら実施形態のものに限定されるものではない。
【００４８】
［第１実施形態］
図１〜図１０を参照して、第１実施形態について説明する。
１．情報変換システムの構成
図１は、第１実施形態の情報変換システムの機能ブロック図である。図１に示すように、第１実施形態の情報変換システムは、データベース（ＤＢ）３００、比較用部品生成部４００、入力部１００、比較用画像生成部２００、部品特定部５００及び出力部６００により構成されている。
【００４９】
（１）データベース
まず、データベース３００について説明する。
データベース３００には、対象物をモデル化した部品が登録されている。部品には、対象物の三次元形状を表すデータをはじめとして、特性、性質、状況といった種々の属性データが与えられている。そして、各部品の属性データは、各部品の識別コードと対応付けられてデータベース３００に登録されている。
データベース３００に登録される部品の点数は、一般的に、できるだけ多いことが望ましい。ただし、認識される対象物が限定されている場合には、限定された対象物に対応する部品だけを登録しておくとよい。
また、属性データの種類は、一般的に、できるだけ多様なことが望ましい。ただし、対象物を認識する目的や、対象物の種類によっては、属性データの種類が限定されてもよい。
【００５０】
ここで、図２に、データベース３００に登録されている識別コード及び属性データの一例を示す。図２に示すように、データベース３００には、部品の識別コード（ＩＤ）と対応づけられて、部品の名称、三次元形状、色、用途といった属性データが蓄積されている。また、三次元形状及び色の属性データは、数値データとして蓄積されている。
また、データベース３００には、集合部品Ｍ１０の属性データとして、当該集合部品Ｍ１０を構成する複数の部品Ｍ１の識別コード及び組合せ条件を登録してもよい。図３の（Ａ）に、集合部品Ｍ１０の概念を模式的に示す。
【００５１】
例えば、集合部品の一例として、人間の顔が挙げられる。この場合、目、口及び鼻等の部品を組み合わせた集合部品として、顔の部品の登録をするとよい。また、目や口等の部品どうしの位置関係を組合せ条件として登録しておくとよい。
また、例えば、集合部品の他の一例として、乗用車を挙げることができる。この場合、タイヤやドア等の部品を組み合わせた集合部品として、乗用車をモデル化した部品を登録するとよい。また、タイヤやドア等の各部品どうしの位置関係を組合せ条件とするとよい。
さらに、データベース３００には、対象物の一連の動作をモデル化した四次元部品の属性データとして、当該対象物の三次元形状データの時系列順の集合を登録してもよい。図３の（Ｂ）に、四次元部品Ｍ２０の概念を模式的に示す。四次部品Ｍ２０を用いれば、例えば人間が走っている動作や、ジェスチャーといった、対象物の動作自体も認識することができる。
【００５２】
また、データベース３００には、対象物群を共通化してモデル化した一般部品の属性データとして、当該対象物群の個々の対象物をモデル化した部品に共通する属性データを登録してもよい。
一般部品を用いれば、農産物のように形状が一つ一つ異なる対象物を認識する場合に用いて好適である。
また、一般部品でいったん特定し、さらに、個別の部品で特定してもよい。
また、データベース（部品庫）３００は、設定状況ごとに複数の部品をグループ化して登録しておくとよい。
【００５３】
図４に、複数の部品Ｍ１を、関連商品棚３０１としてグループ化した一例を模式的に示す。関連商品棚３０１としては、例えば、設定状況が「室内」である場合、「机」や「椅子」といった家具の部品をグループ化して登録しておくとよい。
このように、部品をグループ化しておけば、検索処理に用いる部品を、設定状況に該当するグループ内の部品に限定することができる。その結果、検索処理の効率化を図ることができる。
【００５４】
そして、本実施形態では、データベースに登録された各部品の属性データが、その部品を特定する処理方法を指示する自己特定情報を含んでいる。
自己特定情報は、その部品の属性データのうち、比較用部品情報に利用するデータの種類を指定するとともに、検索に用いる比較用部品情報の順序を指定する。
部品特定部における処理方法は、予め部品特定部５００に設定しておいてもよいし、自己特定情報として設定しておいてもよい。処理方法を自己特定情報として設定する場合、次の二通りの例が考えられる。
【００５５】
第１の例は、予め、部品特定部５００に、選択可能な複数の処理方法を設定しておき、自己特定情報によって、これら処理方法の中から最適な処理方法を部品特定部５００に選択させるものである。
第２の例は、自己特定情報として、部品特定部５００における処理方法のプリグラムを設定しておき、このプリグラムを部品特定部５００へ送って実行させるものである。
また、部品には予め全周の三次元形状データが与えられているので、比較用部品生成部４００は、部品の三次元形状データを含む比較用部品情報を生成しても良い。その場合、例えば、部品を対象物の位置に置いたと仮定した場合に、その部品を既知方向から撮像するカメラに取得されるべき部品の三次元データを属性データから計算により生成するとよい。
【００５６】
（２）比較用部品生成部
次に、比較用部品生成部４００について説明する。
比較用部品生成部４００は、部品ごとに属性データから一つ又は複数の比較用部品情報を生成する。例えば、比較用部品情報として、三次元形状データを有する部品を各方向に投影した二次元画像をそれぞれ生成するとよい。また、例えば、比較用部品情報として、部品の属性データからフーリエ変換等の手法により積分変換データを生成してもよい。
なお、比較用部品情報を生成する候補部品の範囲や順序は、予め設定しておいてもよいし、作業者が指示してもよい。
また、比較用部品生成部４００は、部品が自己特定情報を有する場合、自己特定情報の指定する比較用部品情報を生成する。そして、比較用部品生成部４００は、比較用部品情報を自己特定情報の指定する優先順序で部品特定部へ出力する。
【００５７】
（３）入力部
次に、入力部１００について説明する。
入力部１００は、対象物像を含む入力画像を取得する。第１実施形態では、入力部１００は、ステレオカメラにより構成されている。そして、このステレオカメラによって、入力画像として、対象物を互いに異なる方向から撮像した視差のある疑似三次元画像を取得する。
【００５８】
（４）比較用画像生成部
次に比較用画像生成部２００について説明する。
比較用画像生成部２００は、入力画像を画像処理して、個々の対象物像を個別に切り出すような高度な画像処理のされていない比較用画像情報を生成する。
本実施形態では、比較用画像生成部２００は、比較用部品情報のデータの種類と同一種類のデータを有する比較用画像情報を生成する。例えば、比較用部品情報が二次元画像の場合には、二次元画像の比較用画像情報を生成する。また、例えば、比較用部品情報が、二次元画像のうちの輪郭線だけを抽出した場合には、入力画像から輪郭線だけを抽出した比較用画像情報を生成する。また、例えば、比較用画像情報として、入力画像からフーリエ変換等の手法により積分変換データを生成してもよい。
【００５９】
また、比較用画像生成部２００は、入力部１００が取得したステレオ画像から三次元形状データを含む比較用画像情報を生成しても良い。その場合、例えば、対象物を複数の方向から撮像した入力画像をそれぞれフーリエ変換等の手法により二次元積分変換した各方向のデータから、三次元の積分逆変換により生成するとよい。
なお、本実施形態では、比較用部品情報の有するデータの種類に合わせて比較用画像情報を生成したが、本発明では、比較用画像情報の有するデータの種類に合わせて比較用部品生成部４００が比較用部品情報を生成してもよい。
【００６０】
（５）部品特定部
次に、部品特定部５００について説明する。
部品特定部５００は、互いに同一種類のデータを有する比較用部品情報及び比較用画像情報を用いて、対象物像に対応する部品を特定する。
そのため、部品特定部５００は、検索処理部５１０、認識処理部５２０、特定処理部５３０及び固定処理部５４０を有する。
なお、本実施形態においては、入力画像から個々の対象物像を切り出し、切り出された対象物像と部品とを照合することはしない。
【００６１】
（５−１）検索処理部
検索処理部５１０は、一つ又は複数の部品の一つ又は複数の比較用部品情報について順次に、比較用画像情報中から比較用部品情報に対応する対応部分を検索する。そして、比較用画像情報に、比較用部品情報の少なくとも一部分に対応する部分が存在するか否かを判断する。
なお、対応部分の検索にあたって、比較用画像情報のいずれかの部分と比較用部品情報とが完全に一致する必要はない。例えば、比較用部品情報の要素のうち、一定の割合以上の部分が一致したことをもって対応部分と判断するとよい。
【００６２】
（５−２）認識処理部
認識処理部５２０は、比較用画像情報中の対応部分を対象物像として認識する。これにより、入力画像から個別に対象物像を切り出すことなく、入力画像中の対象物像の領域を確定することができる。
なお、比較用画像情報中のいずれかの部分が対象物像として認識された後、次に、他の部品で検索処理を行う場合は、比較画像中の残りの部分について検索するとよい。
【００６３】
（５−３）特定処理部
特定処理部５３０は、比較用部品情報を有する部品を対象物像に対応する部品を特定する。そして、その部品の識別コード（ＩＤ）及び属性データをデータベース３００から得る。
これにより、対象物の画像情報が部品のデータに変換される。したがって、対象物が「何であるか」ということを人間が認識するのではなく、コンピュータにより自動的に認識させることができる。
【００６４】
（５−４）固定処理部
固定処理部５４０は、特定された部品の位置を、認識された対象物像の位置により決定する。さらに、固定処理部５４０は、決定された位置における部品の配置方向を、対象物像に対応した比較用部品情報のデータに基づいて決定する。
対象物の位置情報のうち奥行き情報は、例えばステレオ画像の視差量として得られる。また、ステレオ画像でない場合においても、部品を特定することによって、結果的に対象物どうしの相対的な位置関係が得られることがある。
【００６５】
例えば、水平な床上にテーブルが配置され、その床、テーブル及びそのテーブル上に置かれたコップを認識した場合、部品の床、部品のテーブル及び部品のコップは、三次元形状データを有している。このため、視差がない場合であっても、部品の床、部品のテーブル及び部品のコップの位置関係を絞り込むことができる。例えば、重力の存在と、テーブル及びコップは空中に浮かんでは存在しないという合理的な仮定の下に、これらの部品の位置関係をそれぞれの水平面にまで絞り込むことができる。そして、それら水平面の範囲内において、部品と一致する画像部分を検索することができる。そして、一致があれば、部品は特定される。さらに、特定された部品の三次元形状の大きさ及び方向から逆算して、テーブルやコップの三次元的位置を得ることができる。
【００６６】
また、部品の配置方向の情報は、通常、比較用部品情報の有するデータに含まれている。例えば、部品の三次元形状データを二次元に投影した二次元形状データを有する比較用部品情報を生成した場合、その比較用部品情報は、投影方向の情報を有している。このため、対応部分が見つかった比較用部品情報の投影方向の情報に基づいて、部品の配置方向を決定することができる。
なお、固定処理部は、対象物から取得した位置方向だけではなく、必要があれば、部品が属性データとして予め持っている形状、色、音声、臭い及び堅さ等の五感に関する情報、さらに製造年月日等の人間が作り出した情報等も最終決定する。
【００６７】
ところで、複数の別個の対象物像について互いに同一の部品が特定されることがある。その場合、各対象物は、互いに位置座標が異なるので分離可能である。そこで、固定処理部５４０は、特定された各部品の識別コードに、それぞれ互いに異なる識別子を付加する。これにより、同一部品が特定された各対象物を個別に認識することができる。
なお、識別子の記述方法は任意好適な方法を用いることができる。例えば、識別コードの末尾に、アルファベットや数字を追加するとよい。
【００６８】
（５−４−１）追跡
ところで、入力画像が、ビデオ画像として連続的に入力された場合、同一対象物の位置は連続的に変位する。このため、連続する入力画像のフレームにおいて、一定のずれ範囲内の対象物を同一の部品として順次に特定することができる。その場合、一つのフレームについていったん部品が特定されれば、他のフレームについては、固定処理のみを行えばすむ。すなわち、部品の識別コードを変更せず、固定処理部５４０により部品の位置を繰り返し更新しながら、対象物を追跡することができる。
【００６９】
（６）出力部
出力部６００は、特定された部品の識別コード及び属性データの少なくとも一部を対象物像の認識処理、特定処理及び固定処理の結果として出力する。
また、出力部６００は、複数の部品及びこれら部品の空間配置を、任意の位置の視点から見た画像として再構成して表示してもよい。その場合、複数の対象物及びその配置関係を、対応する各部品の属性データに基づいて、モデル化された各部品の配置関係として再現することができる。これにより、現実空間の状態を反映させたコンピュータグラフィックス（ＣＧ）を容易に作成することができる。
なお、出力部６００は、必要があれば、ＣＧだけではなく、部品の属性データに含まれる音声や製造年合付等の情報も出力することができる。
また、各部品及びその配置関係は、特定された部品の識別コードと、属性データに追加された位置データとによって、固定処理部で決定され出力される。
【００７０】
このように、本実施形態によれば、属性データが与えられた部品に対象物を変換して出力することができる。その結果、特定された部品に前もって与えられていた属性データに含まれていれば、入力画像に含まれていないデータであっても出力することも可能である。例えば、入力画像には現れていない、机の裏側部分の形状や、机や椅子の重量の情報を属性データとして出力することも可能である。
さらに、部品が特定されたことにより、単に対象物の名称を認識するだけでなく、部品が特定された後の処理を、種々の属性データが登録された部品に置き換えて行うことができる。これより、一層高度な画像認識や画像理解の実現を図ることができる。その結果、人工知能等の情報処理技術の基礎技術として様々な方面への利用の可能性が考えられる。
【００７１】
２．処理例
次に、図５の（Ａ）に示す室内の家具等を認識する例について説明する。
図５の（Ａ）は、室内に対象物としての机３１、椅子３２、消火器３３及びごみ箱３４が配置されている様子を示す。
【００７２】
（１）入力画像取得
まず、図５の（Ａ）に示した家具等を入力部１００のステレオカメラによって撮像し、入力画像Ｉｍ１を取得する（図６）。
撮像されたステレオ画像４０ａ及び４０ｂを図５の（Ｂ）に示す。ステレオ画像４０ａ及び４０ｂには、それぞれ机の画像４１、椅子の画像４２、消火器の画像４３及びごみ箱の画像４４が視差を有して撮像されている。
なお、図５の（Ｂ）においては、入力画像が、画像データであることを強調するため、便宜的に、机の画像４１等にハッチングを施して示す。
【００７３】
（２）比較用画像情報の生成
次に、比較用画像生成部２００により、ステレオ画像４０ａ又は４０ｂを画像処理し、対象物像が切り出されていない比較用画像情報Ｉｍ２を生成する（図６）。
本実施形態では、従来公知の任意好適な方法により、入力画像中の輪郭線を抽出して比較用画像情報を生成する。比較用画像情報においては、隣接する対象物像の輪郭線どうしが連続しており、個々の対象物像は切り出されてはいない。例えば、図５の（Ｂ）に示す例では、机４１の輪郭線と椅子４２の輪郭線とが連続している。また、消化器４３の輪郭線とゴミ箱４４の輪郭線も連続している。
【００７４】
（３）比較用部品情報の生成
また、比較用部品生成部４００では、図６に示すように、三次元形状データを有する部品Ｍ１を各方向に投影した二次元画像を比較用部品情報Ｍ２としてそれぞれ生成する。
ここで、図７の（Ａ）に、部品の机５１、部品の椅子５２、部品の消化器５３及び部品のゴミ箱５４の比較用部品情報Ｍ２の一例を示す。図７の（Ａ）では、各部品につき一つずつ比較用部品情報を示しているが、実際には、各部品につき複数の比較用部品情報を生成する。例えば、部品の机５１の比較用部品情報としては、机を様々な方向から見た比較用部品情報がそれぞれ生成されている。また、図７の（Ａ）に示した家具等以外の部品についても、それぞれ比較用部品情報が生成されている。
なお、比較用画像情報と比較用部品情報とは、どちらを先に生成してもよい。また、比較用部品情報は、各部品についてまとめて作り置きをしておいもよいし、必要に応じてその都度生成してもよい。
【００７５】
（４）部品の特定
そして、部品特定部５００により、互いに同一種類のデータを有する比較用部品情報Ｍ２と比較用画像情報Ｉｍ２とを用いて、対象物像４１〜４４に対応する部品を特定する。
（４−１）検索処理
ここで、図３のフローチャートを参照して、部品特定部５００による処理を説明する。
先ず、検索処理部５１０が、比較部品生成部４００から比較部品を取得する（図８のステップＳ１）。
続いて、検索処理部５１０が、比較用画像情報Ｉｍ２中から比較用部品情報Ｍ２に対応する対応部分を検索する（図８のステップＳ２）。
さらに、検索処理部５１０は、比較用画像情報Ｉｍ２に、比較用部品情報Ｍ２に対応する部分が存在するか否かを判断する（図８のステップＳ３）。
【００７６】
そして、検索処理部５１０は、対応部分が見つかるまで、一つ又は複数の部品の一つ又は複数の比較用部品情報について順次に、ステップＳ１〜Ｓ３の処理を繰り返す（図８のステップＳ８〜Ｓ１０）。そして、部品が該当する場合には、図５に示すように、その部品から生成された各比較用部品情報Ｍ２のうち、いずれかの方向から見た二次元形状データを比較用部品情報Ｍ２が、比較用画像情報の対象物像の部分に対応することになる。
また、所定の部品の所定の比較用部品情報全てについて検索しても、対応する部分が見つからない場合には、対応部品なしと判断し（図８のステップＳ７）、処理を終了する。
【００７７】
（４−２）認識処理
対応部分が見つかった場合、認識処理部５２０は、比較用画像情報中の対応部分を対象物像として認識する（図８のステップＳ４）。これにより、入力画像から個別に対象物像を切り出すことなく、入力画像中の対象物像の領域を確定することができる。
【００７８】
（４−３）特定処理
続いて、特定処理部５３０が、比較用部品情報を有する部品を対象物像に対応する部品を特定する（図８のステップＳ５）。そして、その部品の識別コード（ＩＤ）及び属性データをデータベース３００から得る。
そして、原則的に、ステップＳ１〜Ｓ５の処理を、比較用画像情報の所定部分の全ての対象物像が特定されるまで繰り返す（図８のステップＳ６）。
【００７９】
（４−４）固定処理
なお、本実施形態では、特定処理（ステップＳ５）と同時に、固定処理部５４０により、特定された部品の位置を、認識された対象物像の位置により決定する。さらに、固定処理部５４０は、決定された位置における部品の配置方向を、対象物像に対応した比較用部品情報のデータに基づいて決定する。
ここで、図９に、位置座標データの一例を示す。図９に示した例では、各部品の位置座標データとして、各部品の位置のＸＹＺ軸座標、及び、各部品の向きのＸＹＺ軸座標が生成されている。
【００８０】
（５）属性データへの取込
なお、部品特定の際に、対象物像の色相や陰影といった画像情報を部品の属性データに取り込んでもよい。そして、入力情報の一部分のデータと部品の固有属性データとを組み合わせて出力してもよい。例えば、入力情報のうちの音声情報や明るさといった情報をそのまま再現して出力してもよい。
また、形状が一つ一つ固有な自然造形物の形状等のデータを、部品の属性データに加えてもよい。また、つぶれたガードレール等のように形状が変形しているものについては、その変形後の形状データを属性データと置換してもよい。
【００８１】
ここで、図２３に、入力画像中のデータを、部品の属性データと置換する例について説明する。
図２３の（Ａ）は、盆栽の入力画像を示す。また、図２３の（Ｂ）は、特定された部品の盆栽を示す。入力画像の盆栽と部品の盆栽とでは、植木鉢像４６と部品の植木鉢５６とは、形状がほぼ一致している。しかし、樹木部分の画像４７と部品の樹木部分５７のとでは、形状が異なっている。そこで、入力画像から部品の樹木部分５７ａを生成し、新しい部品の盆栽を生成する。更新された部品の盆栽を図２３の（Ｃ）に示す。
【００８２】
（６）出力
次に、このようにして特定された部品を図７の（Ｂ）に示す。
図７の（Ｂ）に示すように、椅子の画像４２部分に対応する部品として、部品の椅子５２が特定されている。また、消火器の画像４３部分に対応する部品として、部品の消火器５３が特定されている。また、机の画像４１部分に対応する部品として、部品の机５１が特定されている。また、ごみ箱の画像４４部分に対応する部品として、部品のごみ箱５４が特定されている。
また、図７の（Ｂ）に示す表示画像５０は、各部品５１〜５４の識別コードや位置情報を保存しておけば、データベース３００に蓄積されている属性データを利用して、容易に構成することができる。このため、図５の（Ｂ）に示したステレオ画像４０ａ及び４０ｂは、保存しておく必要がない。その結果、対象物に関する情報の記憶容量を大幅に低減することができる。
【００８３】
（６−１）自由視点表示
また、各部品は三次元形状データを有している、このため、入力画像が一方向からの画像だけであっても、各部品５１〜５４については全周のデータを得ることができる。その結果、部品群全体を、入力画像とは異なる視点から見た様子を示す画像を出力することができる。そして、各対象物の三次元空間における配置関係を部品の配置関係として再構成することができる。
例えば、図１０の（Ａ）の再構成画像５０ａに示すように、部品群５１〜５４を、部品の机５１の側方向から見た場合の配置関係を示すことができる。また、図１０の（Ｂ）の再構成画像５０ｂに示すように、部品群５１〜５４を、上方から見た場合の配置関係を示すこともできる。
【００８４】
［第２実施形態］
図１１〜図２０を参照して、第２実施形態について説明する。
第２実施形態における情報変換システムの構成は、基本的には、図１に示した第１実施形態における構成と同一である。
【００８５】
（１）比較用部品情報
しかし、第２実施形態では、第１実施形態と異なり、比較用部品生成部４００は、比較用部品情報として、部品の属性データを輪郭線等の基本要素に分解し、個々の基本要素、又は、複数の基本要素を組合せた複合要素を生成する。
ここで基本要素には、入力画像の構成要素として入力画像から抽出可能な全ての要素が含まれる。基本要素としては、例えば、輪郭線の直線部分の線分、曲線部分、角部分が挙げられる。基本要素としての角部分には、輪郭線の直角部分や丁字部分が含まれる。そして、これら基本要素は、例えば、ベクトルで記述するとよい。
また、複合要素としては、例えば、複数の直線部分や角部分で規定される平面、局面、同一テクスチャー面、色相が連続している面、及び、同一点に収束する線分の集合である無限円点線群が挙げられる。
【００８６】
そして、これら基本要素及び複合要素には、それぞれ要素認識コードを付与することが望ましい。その結果、入力画像は、要素認識コードで記述されることになる。
ここで、図１１に、基本要素に分解された比較用部品情報の一例を示す。図１１の（Ａ）は、部品の机５１の輪郭線を、直線部分の線分と角部分とに分解した様子を模式的に示している。また、図１１の（Ｂ）は、基本要素の主要部だけを抽出した比較用部品情報を示している。
【００８７】
（１−１）要素抽出フィルタ
さらに、各基本要素は、要素抽出フィルタによって記述される。要素抽出フィルタは、基本要素又は複合要素の形状に一致するピクセルに高い得点が与えられ、要素の形状から離れたピクセルに低い得点が与えられた二次元マトリクス又は三次元マトリクスからなる。
ここで、図１２の（Ａ）に、二次元要素マトリクスの一例を示す。この要素マトリクスは、Ｌ字形状の角部分の基本要素に対応したものである。基本要素の形状に一致する部分に、「５」を与え、Ｌ字形状から離れるにしたがって、得点が「３」、「１」、「−１」、「−３」と段階的に低下している。
なお、得点の値や、分布は、任意に設定することができる。
【００８８】
そして、要素抽出フィルタを用いた場合、検索処理部は、比較用画像情報の基本要素又は複合要素と一致するピクセルの合計得点が最も高くなる部分を対応部分として検索する。
例えば、図１２の（Ｂ）に示す例では、比較用画像情報中の輪郭線のＬ字部分Ｃが、要素抽出フィルタと重なっている様子を示す。Ｌ字部分が要素抽出フィルタの基本要素と性格に一致した場合には、合計得点は「５×１５＝２７５」となる。これに対して、図１２の（Ｂ）に示した場合の合計得点は、「１×３＋３×３＋５×５＋３×４＝４９」となる。そして、要素抽出フィルタを比較用画像情報上で回転させたり、移動させたりすることにより、合計得点が最も高くなる部分を検索するとよい。
【００８９】
さらに、要素抽出フィルタを用いることにより、検索処理時の許容範囲を広げることができる。図１３の（Ａ）に、乗用車の輪郭線を基本要素に分解した比較用部品情報を示す。図１３の（Ａ）では、輪郭線の直線部分及び曲線部分の基本要素を両端矢印で示している。
また、図１３の（Ｂ）は、個々の基本要素の長さに許容範囲を与えることにより、類似形状の乗用車も検索可能とした様子を示している。
なお、基本要素や複合要素の比較用部品情報としては、上述の輪郭線の個々の線分だけでなく、図１４の（Ａ）に示す外周輪郭信号や、図１４の（Ｂ）に示すシルエット信号を用いることもできる。
【００９０】
また、第２実施形態では、比較用画像生成部２００は、比較用画像情報として、輪郭線等の基本要素を抽出し、個々の基本要素又は複合要素の集合を生成し、検索処理部は、比較用画像情報の中から部品の基本要素又は複合要素と対応する部分を検索する。
【００９１】
（２）比較用画像情報
ここで、図１５に、輪郭線等の基本要素の集合で表された比較用部品情報の一例を示す。図１５は、部品の机４１、部品の椅子４２、部品の消化器４３及び部品のゴミ箱４４の輪郭線を、それぞれ直線部分の線分と角部分とに分解した様子を模式的に示している。
検索にあたり、本実施形態では、比較用部品生成部４００は、比較用部品情報として、さらに、部品の属性データの特徴部分だけの複合要素を生成する。例えば、部品の机５１を基本要素に分解した場合、図１６の（Ａ）に示すように、天板を規定する基本要素だけで複合要素を生成する。天板の複合要素は、四つの角部分と、これら角部分と視点を共有する四つの直線部分とによって規定される。個々では、各角部分に、要素識別コード（ｃ−１〜ｃ−４）を与え、各直線部分に、要素識別コード（ｌ−１〜ｌ−４）を与えている。
また、この天板の複合要素は、基本要素どうしの結合関係だけで規定されている。すなわち、各基本要素の方向、距離及び形状の情報は消去されており、基本要素の結合する順番のみに意味がある。
【００９２】
そして、第２実施形態では、検索処理部５１０は、図１５に示す比較画像中から天板の複合要素に対応する部分を、基本要素又は複合要素単位で検索する。
ここでは、図１５に示す輪郭線の各基本要素のうち机の画像４１の輪郭線の基本要素（コーナー：ｃ−０１〜ｃ−１１、ライン：ｌ−０１〜ｌ−０７）のうちから、天板の複合要素（コーナー：ｃ−１〜ｃ−４、ライン：ｌ−１〜ｌ−４）に対応する基本要素を検索する例について説明する。
【００９３】
ここで、図１７の（Ａ）に、部品側コーナー及びラインのベクトル表示リストを示す。また、図１７の（Ｂ）に、部品側のコーナーとラインとの対応関係を示す。図１７の（Ｂ）は、コーナーとラインとがベクトルを共有し、結合順序が一回りすることを示している。
また、図１８に、部品側コーナー及びラインのベクトル表示リストを示す。そして、図１９に、図１８に示した部品側コーナー及びラインのうち、転移差の複合要素と同一の結合関係を有するコーナー及びラインを示す。これにより、図１６の（Ｂ）に示す基本要素のうち、四つのコーナー（ｃ−０３〜ｃ−０６）及び四つのライン（ｌ−０４〜ｌ−０７）で規定される部分が対応部分と判断される。
【００９４】
なお、コーナー及びラインの対応関係は完全に一致していなくともよい。例えば、一定の割合以上のコーナー及びラインが対応する場合には、対応部分と判断してもよい。
続いて、認識処理部５２０は、特徴部分の基本要素又は複合要素との対応部分が検索された後、当該対応部分と、同一部品の当該特徴部分以外の基本要素又は複合要素との対応を確認し、対応部分を対象物像として認識する。具体的には、認識処理部５２０は、天板の複合要素との対応部分が見つかった場合には、さらに、図１６の（Ｂ）に示す、同一部品の天板部分以外の基本要素又は複合要素も対応することを確認し、その対応部分を机の対象物像として認識する。
【００９５】
（３）特定処理
さらに、特定処理部５３０は、検出された天板部分の形状から、天板の方向が求まる。そして、さらに机の方向を求め、部品の輪郭、シルエット及び色相が、対象物像と対応することを確認して、その部品を特定する。図２０に、入力画像のうち、机の部分だけが特定された様子を模式的に示す。
このように部品の特徴部分の基本要素又は複合要素により、効率的に検索処理を行って部品を特定することができる。
なお、本実施形態における比較用部品情報の指定及び検索処理方法は、部品の属性データに自己特定情報として登録しておくことが望ましい。
【００９６】
［第３実施形態］
図２１及び図２２を参照して、第３実施形態について説明する。
第３実施形態における情報変換システムの構成は、基本的には、図１に示した第１実施形態における構成と同一である。
しかし、第２実施形態では、第１実施形態と異なり、データベース３００に、人間の一般部品が登録されている。一般化部品は、対象物群を共通化してモデル化した一般部品の属性データとして、当該対象物群の個々の対象物をモデル化した部品に共通する属性データを与えたものである。ここでは、人間の一般部品として、図２２の（Ａ）に示すように、種々のシルエットが属性データが与えられている。
【００９７】
そして、第３実施形態では、図２１の（Ａ）に示すように、入力画像に人間像４５が含まれている。この場合、机像４１及び椅子像４２については、上述の第１実施形態又は第２実施形態と同様にして、部品の机５１及び部品の椅子５２を特定することができる。そして、これら部品が特定された後、図２１の（Ｂ）に模式的に示すように、人間像４５の部分だけが、未特定部分として残る。
そこで、第３実施形態では、この部分のシルエットが、一般部品のシルエットに対応するか否かを判断する。判断にあたっては、図２２の（Ｂ）に示すようなシルエットの要素抽出フィルタ（要素オペレータ）を用いるとよい。
なお、図２２の（Ｂ）では、要素抽出フィルタのここのピクセルの図示を省略する。
【００９８】
図２２の（Ｂ）の要素抽出フィルタでは、一般部品のシルエットと一致する部分のピクセルに得点「５」を与えている。また、そのシルエットの近傍のピクセルに得点「３」を与えている。また、シルエットから離れた部分のピクセルに得点「−１」を与えている。
そして、未特定部分のシルエットと重なるピクセルの合計得点が最も高くなる要素抽出フィルタの種類や位置をもとめ、一般部品を特定する。
また、一般部品が特定された場合、必要に応じて、この一般部品に関連付けられた具体的な部品を特定してもよい。このように二段階に分けて対象物を特定すれば、対象物の特定を効率的に行うことができる。
【００９９】
［第４実施形態］
図２４〜図２６を参照して、第４実施形態について説明する。
第４実施形態における情報変換システムの構成は、基本的には、図１に示した第１実施形態における構成と同一である。
しかし、第４実施形態では、第１実施形態と異なり、複数の入力部１００が、同一の対象物を互いに異なる既知方向から撮像した入力画像Ｉｍ１をそれぞれ取得する。図２５に、対象部としての椅子４８を互いに異なる三方向のカメラ１００ａ〜１００ｃでそれぞれ撮像する様子を示す。また、図２６の（Ａ）〜（Ｃ）に、カメラ１００ａ〜１００ｃでそれぞれ撮像した入力画像を示す。
【０１００】
そして、比較用画像生成部２００は、各入力部１００が取得した入力画像から、それぞれ二次元形状データを含む比較用画像情報Ｉｍ２を生成する。
一方、比較用部品生成部４００は、部品Ｍ１の三次元形状データを互いに異なる複数の既知方向の各々へ投影した二次元形状データを有する比較用部品情報Ｍ２を生成する。
そして、部品特定部５００は、各比較用画像情報Ｉｍ２について、それぞれ部品Ｍ１を特定する。この場合、どの比較用画像情報においても同一の椅子像が含まれているので、同一の部品が特定されるはずである。そこで、部品特定部５００は、各比較用画像情報Ｉｍ２について、部品の椅子が特定されることを確認する。
このように、複数方向から見た椅子について、同一の部品が特定できれば、部品特定の精度を向上させることができる。その結果、対象物認識の信頼性の向上を図ることができる。
【０１０１】
また、入力部１００ａ〜１００ｃは、三次元形状及び位置が既知の対象物を互いに異なる方向からそれぞれ撮像した入力画像中の対象物像に基づいて、各入力画像の撮像範囲の三次元空間どうしの重なりとともに、各入力部の視点位置を求めることができる。特定され固定された部品は、三次元形状データ及び三次元座標データを有する。このため、既知の対象物を撮像した対象物像から、その対象物に対する視点の方向を求めることができる。さらに、別の方向からその対象物を撮像した場合の視点の方向を求めることもできる。したがって、同一の対象物を各方法から撮像した撮像した各入力部の視点方向と視点位置を、その対象物について特定及び固定された部品により、それぞれ求めることができる。例えば、図２６の（Ｂ）に示すように、既知の位置に三つのマーカーＰ１〜Ｐ３を設けておけば、このマーカの見え方にって、カメラ１００ｂの位置を求めることができる。
なお、複数の入力画像は互いに同時刻に撮像されたものに限定されない。例えば、一つの入力部を順次に移動させて、互いに異なる方向から対象物を撮像した場合においても、同様に視点位置を求めることができる。
【０１０２】
［第５実施形態］
次に、図２７〜図２９を参照して、本発明の第５実施形態について説明する。
まず、図２７の機能ブロック図を参照して、第５実施形態の情報変換システムの構成について説明する。図２７に示すように、第５実施形態の情報変換システムは、送信側と受信側とに分離している。
第５実施形態の情報変換システムは、上述した第１実施形態の構成に加えて、送信部８１０、受信部８２０、受信側データベース３１０及び再構成部９００を備えている。
【０１０３】
送信部８１０は、出力部６００から出力された識別コードを通信回線８３０へ送信する。また、受信部８０２は、識別コードを受信する。また、受信側データベース３１０には、識別コードと属性データとが対応づけて登録されている。また、再構成部９００は、識別コードに対応する部品の属性データを受信側データベースから検索し、該当する属性データを出力する。このように、各部品の識別コードを伝送すれば、画像情報の情報容量を大幅に低減し、画像情報の高速伝送を実現することができる。
【０１０４】
ここで、図２８に、受信側データベース３１０のデータ構成例を示す。
なお、受信側データベース３１０の内容は、例えば、忠実な画像再現を目的とする場合には、送信側のデータベース３００の内容と同一であることが望ましい。しかし、他の目的の場合、例えば対象物の配置状態等の情報だけを早く伝えたいという場合は、これらデータベースの内容どうしは必ずしも同一でなくとも構わない。また、例えば、子供を対象とし、分かりやすく説明することを目的とする場合には、漫画やイラスト部品、すなわち、対象物とは異なるが対象物を象徴的に表現した部品として、対象物を再生してもよい。
【０１０５】
図２９に、第１の部品庫４００と第２の部品庫４１０とにおいて、同一識別コードの部品の属性データが異なっている場合の各部品及び再構成例を示す。図２９の（Ａ）の各部品６１〜６４は、いずれも、図７の（Ａ）に示された各部品５１〜５４の識別コードと同一コードに対応するものである。
しかし、図２９の（Ａ）に示すように、各部品６１〜６４の形態は、各部品５１〜５４の形態と若干異なっている。例えば、図７の（Ａ）に示した部品の机５１が両脇に三段ずつの引き出しを有する机であるのに対して、図２９の（Ａ）に示した部品の机６１は、天板の下に二つの引き出しが左右に並んで設けられている。また、部品の椅子５２と部品の椅子６２との形態も異なっている。
そして、図２９の（Ｂ）に、位置情報を加えて再構成された各部品６１〜６４の再構成画像６０を示す。再構成画像６０に示すように、各部品６１〜６４の配置関係は、図７に示した再構成画像５０と同一である。
【０１０６】
さらに、第３０〜３３図を参照して、第５実施形態に相当するの種々の具体例についてより詳細に説明する。図３０においては、入力部１００の代わりに、回転する対象物に向けた単視点カメラのビデオカメラ１と、多視点カメラ又は視点が移動する動視点カメラ（時間差多視点カメラ）であるビデオカメラ３の二系統を示している。ビデオカメラ１及び３のいずれも、対象物の画像を撮影する。また、ビデオカメラ１は、対象物が一回転することで３６０°方向からの撮影を完了することができる。一方、ビデオカメラ３は、オンラインで三次元画像を得ることができる。すなわち、物体の全周を二次元撮影して物体の三次元像を得ることができる。そして、ビデオカメラ１又は３により撮影された画像は、画像情報としてそれぞれ二次元画像ファイル２、擬似三次元画像ファイル４に蓄積保存される。
【０１０７】
ビデオカメラ１による画像の取得は、対象物である三次元の情報空間から二次元情報として取得する。この場合、デジタル記録方式によって、三次元空間を二次元データに変換するものとし、対象物に対して視差のある（視点の異なる）複数の画像を取得した場合には、視点方向の限定された擬似的な三次元画像として認識し得る三次元情報を得ることができる。一方、ビデオカメラ３により画像の取得は、対象物である三次元の情報空間からそのまま三次元情報として取得することができる。また、移動による運動視差を有する動画像又は移動による視差を有しない静止画像にあっては、前記と同様に対象物の画像を取得し処理して、前記画像ファイル２又は４に蓄積保存する。
【０１０８】
このように蓄積保存された対象物としての画像情報は、図３０に示すように、部品特定部５００に相当する情報コード変換装置１０によって、対象物の情報を解析した後、その情報の種別、情報の数、例えば、対象物の大まかな位置、線分の方向、色、テクスチャー等の内容に対応して、それらに関連付けられるように、各々ＩＤ（Ｋｅｙ）化、コード化されている情報コードに変換される。すなわち、この情報コード変換装置１０は、場情報データベース１１Ａを基礎として分析する場分析用相関関数演算手段１１と、この場分析用相関関数演算手段１１の演算結果から三次元座標コードデータベース１２Ａを基礎として分析して画像中の最適な座標を生成する最適座標生成手段１２と、さらに取得した画像内における分析から画像情報中の各種対象物の輪郭を明らかにした対象物である各物品や物体、その他の輪郭処理等を行うようにした前処理手段１３と、前記各手段１１、１２、１３により得られるデータに基づいて物品の配列コードに変換すると共に、この配列コードと組み合わせられる情報コードを生成する部品検索用相関関数演算手段１４とを、それぞれ備えている。
【０１０９】
そして、前記構成からなる情報コード変換装置１０においては、前記前処理手段１３により得られた輪郭等のデータ、また前記場分析用相関関数演算手段１１により得られた場データ、さらに前記最適座標生成手段１２により得られた最適座標データ等をそれぞれ基礎として、前記部品検索用相関関数演算手段１４において物品の配列コードに変換する。そして、前記部品検索用相関関数演算手段１４においては、前記変換された配列コードを、各種の認識する対象物に関する情報のそれぞれに対応し関連付けられて、第１の部品庫としての三次元部品庫（データベース）１４Ａ内に予め登録し作成されて蓄積されている対象物に関するデータ（図３における蓄積データ例Ａ参照）と、比較し、対照して、対応する対象物に関するデータの選択を行い、前記配列コードと組み合わせられる情報コードを生成するように構成される。
【０１１０】
前記場分析用相関関数演算手段１１における場情報データベース１１Ａにおいては、対象物の塊の分類をデータベース化しており、例えば画像として取得した対象物に関する画像情報を周波数分析するときに、その周波数成分が高い方である複雑な方を、下又は上とし、明るい方を、上又は下として認識するなどの、上下の認識を行うように設定することができる。また、周波数成分が高い方を、複雑な遠方であるとして認識する等のようにして、遠近の認識を行うようにすることもできる。また、屋外、屋内、空中、海中等の空間の区分けを行い、区分けされた空間に存在する部品を制限したり、これらを部品として蓄積したりするとともに、朝、昼、季節等の時間の区分けを行うようにすることもできる。
【０１１１】
そして、確率的にあり得ない配置、矛盾した配置等の意味を生成した場合は、対象物と部品との検索をやり直すようにするのがよい。
また、前記前処理手段１３においては、画像として取得した対象物を認識するように、そのエッジを求めて輪郭等を抽出し、対象物の配列を容易にする座標系を求めて、有効な三次元メッシュを作成し、部品をエッジの方に変換して比較するようにすることができる。例えば、水平面、垂直面を検出すること等によって、一つの部品に着目して方位座標を決定し、その方位座標が決定された部品は三次元座標を取得したものとするとともに、その方位座標はいつでも正方（オルソゴナル）座標系（三次元静止座標系）と相互変換を可能とし、変換式を求めることができるように構成されている。
【０１１２】
三次元画像が成立する第１の方法として、部品が特定できれば、異なる取得画像内での同一部品を決定することができる。したがって、部品の位置合わせ（画像の結合）をすることにより、画像を三次元のものとして生成し結合することができる。また、第２の方法として、カメラ視点を移動及び回転させることにより、方位座標系がそのカメラ視点に追従して変化する。したがって、方位座標系を再現部品配列上から見れば、画像の視野を広げることができることとなり、逆にカメラの移動量及び回転量は、部品の移動とその部品の変形すなわち方位座標系の変形から算出することができる。
【０１１３】
なお、画像の結合は、必ずしもカメラ位置や移動及び回転を求めなくても、部品が特定されていれば、その特定された部品の変形から方位座標が一義的に定まる。すなわち、取得画像を異にしても、ある部品の方位座標を追従することにより、画像を結合することができる。したがって、カメラ視点を移動した場合の、方位座標系の座標変換式を、求めることができる。
【０１１４】
前記部品検索用相関関数演算手段１４においては、取得された対象物の画像から、前記場分析用相関関数演算手段１１、最適座標生成手段１２、前処理手段１３等によって、解析及び認識された対象物を部品画像として特定することができるとともに、その部品画像に対応する三次元部品庫１４Ａ中に蓄積されている対象物に関するデータとしての各種の部品に関するデータと比較し、対照して、対応する部品を選択し、また対応する部品がない場合には、近似するものを検索するか、対象物をさらに精度良く計測して、新しい部品として登録することができる。
【０１１５】
この場合、三次元部品庫１４Ａでは、図２に示すように、例えば対象物が「テーブル−１」であると認識する場合には、その形の数値データが「２５６９４４５８」として、その色の数値データが「２６８５６９６」として、さらにその他の属性の各種データが特定の数値データとして関連付けられており、そのＩＤ（識別コード）又はＫｅｙといわれる情報コードが、例えば「１００１」として特定化されている。
また、同様にして、例えば「テーブル−２」であれば「１００２」、「テーブル−３」であれば「１００３」等として、その他の認識した各種の対象物が情報コードの特定の数値として、それぞれ対応して蓄積されている。そして、それらの属性、例えば形状、色彩、その他が、同様に特定の数値としてデータ化され、画像を解析認識した結果に対応して、その認識した対象物のＩＤ（Ｋｅｙ）と、それらの対象物における各種の属性に関するデータ等が、認識結果に対応して組み合せられることにより、情報コードを生成することができる。
【０１１６】
なお、この三次元部品庫１４Ａにおける対象物に関するデータは、送信側における部品検索用相関関数演算手段１４に附属し、情報コードに対応するものとして設けられている。また、このような対象物に関するデータと情報コードとの対応は、後述する受信側においての部品配列処理手段２４に附属する、第２の部品庫としての三次元部品庫（データベース）２４Ａの対象物を再現するデータ及び情報と対応しているのと、ほぼ同様な構成である。そして、例えば対象物に関するデータと対象物を再現するデータとは、対象物を再現する情報を入力された対象物に関する情報と、全く同一のものとして変換し、再現する場合であれば、それらはほぼ同一のデータベース構成のものとして成立する。
【０１１７】
前記三次元部品庫１４Ａにおいては、情報入力手段としてのビデオカメラ１又は３によって取得される各種の画像情報として、予想される対象物である物体を、モデル化して部品として収納されている。したがって、対象物に関する属性、例えばその物理的特性である大きさ、角や曲面や円等の外形の特徴、色、材質、重量、対称性、表面反射率、光沢、臭い、音のスペクトル、寿命等がそれぞれデータベース化される。さらに、危険性や好みを数値化したもの、製造年月日、製造メーカ、屋外や屋内等の対象物の存在位置条件等、その他の各種の属性についてもデータベース化される。
また、他の部品との親和性や排他性等に関する他の物体との関係、物体を認識するための各特性等に関する他の物体との関係、物体を認識するための各特性や他の属性及び他の物体との関係等の優先順位、その他の特徴によってそれぞれ整理されている。
【０１１８】
なお、部品の結合についても、一部品として存在するもの、例えば自動車という部品には、ボディ、タイヤ、ハンドル、エンジン等の各種部品が結合されていることから、それら各種部品によって構成されるとしても一部品として認識できるように設定されている。
また、この三次元部品庫１４Ａでは、部品検索用相関関数演算手段１４において、コード化されてない対象物に関する情報を学習する学習手段１５を接続して、付設することができる。そして、この学習手段１５は、新規な対象物自体を新部品として登録したり、対象物に関する新属性を登録したりできるように構成されている。また、データベース化されていない対象物に関する情報である場合には、存在確率の高い部品として、その近似する情報コードに変換するとともに、この変換動作を学習する。
【０１１９】
取得した対象物の画像等を、部品検索用相関関数演算手段１４によってコード化するごとにリンクして、その対象物の配列状況を座標解析する部品配列生成手段１６が設けられている。この部品配列生成手段１６では、対象物の配列のラスタ／ベクタ変換が行われ、三次元部品庫１４Ａ内における部品のＩＤとリンクされる。
すなわち、部品検索用相関関数演算手段１４によって変換された情報コード、例えば上述した「テーブル−１」、「テーブル−２」、「テーブル−３」等の情報コードは、それぞれにおける画像上の座標、方向等が、ＩＤ化やキーワード化される。すなわち、方向等が部品に付加される。そして、座標化に際しては、Ｘ、Ｙ、Ｚの各軸に沿った位置を数値化して、例えば「１２．２３６」等とし、その方向も同様にＸ、Ｙ、Ｚの各軸の方向を数値化して、例えば「０．３６５」等とし、それぞれデータ化された配列コードとして、三次元部品配列データベース１６Ａに蓄積保存される。
【０１２０】
例えば、図９に示すように、「テーブル−１」、「テーブル−２」、「テーブル−３」等の解析及び認識した画像上の対象物の座標、方向をそれぞれ解析して、それらを数値化した座標データベース１２Ａによって、配列コードとしてデータ化する。そして、この配列コードをそれぞれの対象物ごとに設定された情報コードに対応させて、それらの座標、方向等が、座標−Ｘ、座標−Ｙ、座標−Ｚ、向き−Ｘ、向き−Ｙ、向き−Ｚ等の内容を示す配列コード等の各データ等と組み合せられて、座標コードデータベースとして蓄積される。
【０１２１】
このようにして、情報コード変換装置１０において、ビデオカメラ１又は３によって取得した画像情報は、その画像中の対象物の内容が、解析及び認識されて、三次元部品庫１４Ａ内における対象物に関するデータと対照され、それぞれ部品についてＩＤ化されて情報コードに変換される。また、部品の配列状況も三次元部品配列データベース１６内にデータ化された配列コードとして変換される。そして、前記情報コードと配列コードとが組合せられて保存蓄積されるとともに、それらのデータ容量が一連の処理により極端に少なくなった状態において記録され、送信される。
【０１２２】
送信側で作成されてデータ化された情報コード、例えば画像に関する情報コード等が送信されると、これを受信側において、図３１に示すように、送信側で行った処理とは逆に処理するように構成された情報再現変換装置２０によって、入力された対象物を再現する画像情報として変換される。この情報再現変換装置２０は、情報コード変換装置１０によって変換された入力対象物に関する情報と同一のものとする場合であれば、情報コード変換装置１０が備えている第１の三次元部品庫（データベース）１４Ａとほぼ同様の第２の三次元部品庫（データベース）２４Ａによって、対象物を再現する画像情報に変換して対象物を再現するとともに、この再現処理にリンクした、送信側から送信される配列コードにしたがって、部品を配列し画像を再現する。
【０１２３】
すなわち、情報再現変換装置２０は、送信された情報コード、例えば画像に関する情報コードから、これに対応して関連付けられた部品を再現する画像に変換し、またこの入力された部品の画像にリンクして送信された座標、方向等のキーワードである配列コード（図９参照）に従い、部品を再演する画像を配列する部品配列処理手段２４を備える。そして、配列された部品を再演する画像を配列する部品配列処理手段２４を備える。そして、配列された部品を再現する画像は、出力手段としての画像再生手段２７を介して、テレビモニタ等からなるディスプレイ装置２８によって、対象物の再生画像として表示されるように構成される。
部品は、三次元の立体形状の属性データを有しているので、三次元ディスプレイがあれば三次元に表示できるが、一般には、自由視点の次元画像として表示される。
【０１２４】
部品配列処理手段２４は、部品検索用相関関数演算手段１４が第１の三次元部品庫１４Ａ内の対象物に関するデータを元にして、認識した部品の画像内容を特定の情報コードに変換したことを、前記第１の三次元部品庫１４Ａとほぼ対応しているデータベース構成を有する第２の三次元部品庫２４Ａによって逆に再変換して、その形、色等の属性をも含めて情報コードから元の画像内容に相当する部品を再現する画像を選択して変換する。すなわち、三次元座標コードデータベース２２Ａのデータとともに部品を再現する画像の座標のベクタ／ラスタ変換及び部品を再現する画像のリンクによって、ビデオカメラ１又は３によって取得された入力対象物の画像を再構成するように構成されている。
【０１２５】
この場合、部品配列についての変換データである配列コードは、部品配列生成手段１６における三次元部品配列データベース１６Ａのそれと全く同様に形成されている（図３１、図９参照）。そして、情報コードのそれぞれに関連して送信される配列コードに従い、三次元部品配列データベース２６Ａによって、その特定の部品を再現する画像の座標を、Ｘ、Ｙ、Ｚの各軸に沿った位置とし、またその方向も、同様にＸ、Ｙ、Ｚの各軸の方向として、それぞれ配列再現することができる。
部品を再現する場合の配列については、静止座標系を求めた後に、例えば部品として登録されている地面、水面、床、壁、机等の支配的部品に接して、部品を順次に貼り付けていく。この貼り付け時には、部品の回転、移動ベクトル等を与え、対象物画像の取得時におけるビデオカメラ１の視点情報である方向、視野範囲、移動ベクトル等を検出し、また画面の繋ぎ合せによる画像の三次元結合をも可能にするように設定される。
【０１２６】
なお、部品を再現する配列時には、いつ、どこで、だれが、だれと、何を、なぜ、どのようにして等の関連情報についても、出力できるように設定する。また、この場合、他の部品との関係、存在条件等を考慮し、その矛盾の点検、さらには別部品による比較及び選択プロセスを試行できるようにしておけば好適である。さらに、この場合、部品検索用相関関数演算手段１４における三次元部品庫データベース１４Ａと同様に、部品の画像、これに関連する部品の登録、修正、削除等による学習についても、強制的（一度の強制学習）又は経験的（統計処理学習）のいずれかの方法をも問わずに、可能にしておく。
【０１２７】
なお、情報コード変換装置１０において、三次元部品庫（データベース）１４Ａにおける対象物に関するデータ等の不足等によって、入力された対象物に関する情報の全てが情報コード化されていない場合であっても、その未変換部分は画像であればそのイメージ情報をそのまま伝送すればよいものとし、またそうした場合であっても、伝送量は極めて少なくすることができる。
【０１２８】
前述した本発明に係る情報変換システムの実施形態においては、情報入力手段に入力される入力信号は、画像処理されて、比較信号（入力画像）となり、比較判断装置において部品に関するデータと比較される。この場合、入力信号（画像信号）の処理は、その時代の最高水準まで処理されていることが望ましい。
ただし、どれほど処理されても、それが出力信号となることはない。出力信号は、処理された情報ではなく、常に比較一致によって得られた部品そのもの、又は新しい属性が付加された部品及びそれらのＩＤコードである。入力信号と部品とは、一般に、次元又は物理量が異なる。例えば、入力信号が二次元画像の場合には、入力信号は二次元出力信号であり、部品は三次元信号である。
なお、図３０に示すように、三次元信号又は疑似三次元信号を比較判断装置（部品特定部）に入力してもよい。
【０１２９】
一方、部品の比較に際しては、それぞれ部品の属性として、前もって、正面、上、下、対称軸、中心軸等を決めておく。入力信号からも正面、上、下、対称軸、中心軸等を決めることができれば、比較は極めて狭い範囲に限定されるので有効である。座標系表示については、接地面、垂直面、水平面を決定する。そして、対比部品候補は接地面で切り取る。また、対比部品に関しては、仮の正面、上、下、対称軸、非対称軸等を決めておく。そして、実際の比較に際しては、正面、上、下、対称軸を近づけて、最も一致度の高い点を探す。むやみに比較するのではなく、似ている面が吸い付くようなアルゴリズムで近づいて、一致点を求め、一致度を評価し、一致度が上がる方向に回転移動させ、最終一致点を求める。また、比較判断におけ比較項目及び比較優位順位に関する情報は、属性として部品がもつ。
【０１３０】
次に、比較する場合の一部品と二部品の属性と、三部品の集合の関係について説明する。
この場合、対象となる物体群は部品群に分解されるが、それぞれの部品は常に意味のある一つの固まり（例えば、人、車等）である。また、それぞれの部品は、さらに小部品（手、足等、車輪、バンパ等）に分解可能であるが、それらは部品のもつ属性として取り扱う。さらに、それぞれの意味のある固まりは、部品に分解され、その後に複数の意味のある固まりの部品の集合位置関係として、決定される。
なお、独立した複数の部品の組み合わせとして、新たな部品が構成されることもある。そして、新たに構成された部品は、新たな部品として属性と認識データが与えられ、新規部品として登録される。
【０１３１】
なお、前記認識データとしては、属性優先順位データ、履歴データ、経験（場所、時刻、季節、周辺状況、パラメータ、その他）、その部品を認識するのに必要なデータであり、学習機能を持つものとする。また、認識データは、その部品を他と分離して認識するために必要なデータであり、それは部品が自身で持つことを原則とする。そして、認識データは、経験と学習とにより進化する。したがって、履歴は認識のための重要なデータとなる。
【０１３２】
比較信号については、必ずしも全体である必要はない。すなわち、対象物は三次元であるから、一般には対象物の一部分だけしか観測できないし、対象物は物体の陰となり、その一部分だけしか見えていない場合が多い。そこで、部品との比較は対象物の一部と部品の一部とが比較され、その一致のみで判定される。例えば、部品が三次元（対象物）であることから、その一部分だけの二次元投影（取得情報）と一致させることが可能である。また、三次元の部品は、対象物の一部分だけの三次元化したものと比較して、一部分だけの一致により、目的の部品を選択することができる。
なお、入力信号としての二次元画像（又は二次元画像を処理して得られた擬似三次元画像）の一部分だけでも、比較用画像情報（以下、「比較信号」とも称する。）となり得る。
【０１３３】
次に、部品の属性とその一致判定基準について説明する。
部品の比較に際しては、形状のみでなく、その属性がすべて比較の対象候補となる。例えば、画像の場合には、形と物体の座標だけでなく、色、分布特性、テクスチャ、その他の総合情報（音、臭い、硬さ等）が対象となる。また、対象物は部品に分解され、複数の部品の配置として信号化され、再配置することにより、出力信号は組み立てられ再生される。さらに、部品はそれ自身の判断基準を属性の一部として持っている。すなわち、部品それぞれが、その部品の一致判定に相応しい基準を持つことで、精度が著しく向上する。
【０１３４】
そして、本発明に係る情報変換システムにおいて、前述した部品に関するデータの比較を行う場合に望ましい比較器（部品特定部）の機能の種類は、次の通りである。
Ａ．形状比較を優先する。
Ｂ．色相の分布比較を優先する。
Ｃ．空間周波数成分の分布比較を優先する。
以上は、それぞれ組み合せて比較判断される。
【０１３５】
前記各機能を優先する場合、比較器としては以下の（１）〜（３）の三種類が考えられる。
（１）形状比較を優先する場合においては、入力の二次元画像と部品庫の中の三次元画像、又は、入力の三次元画像と部品庫の中の三次元画像が形状比較され、一致するものが出力信号として出力するように構成することができる。
(1) この場合、入力二次元画像に視差のある連続画像を用いる際には、入力画像から画像処理により擬似三次元画像を得ることができる。このようにして、対象物の分離が容易になり、部品との比較が容易となる。また、比較においても、三次元の部品をそのまま比較できるので、極めて精度良く判断することができる。
(2) また、入力画像に視差があっても無くても、複数のカメラからの多方向の入力画像を、二次元のまま、三次元の部品の方をカメラに対応する多方向に分解して、二次元に投影し、その部品の多方向二次元投影と多方向の入力（４５°の差をもつ八方向の二次元画像）とが同時に一致する部品の配置を求めることにより、一致を判定することができる。
(3) さらに、一枚の二次元画像しかない場合は、部品の二次元投影を比較することができる。すなわち、対象物の種類が少ない単純な対象物の場合には十分可能である。
(4) 入力画像の輪郭と部品の三次元輪郭とを比較することにより、初めに大まかな輪郭の一致点を求めることができる。この場合、部品の輪郭の許容度は、部品の特性を失わない程度にそれぞれ個別に設定される。輪郭は、三次元的極値をとる点の複数の軌跡として与える。大まかな輪郭一致機能の中に部品の拡大、縮小も含ませる。
【０１３６】
次いで、面の一致を求めるプロセスに進み、同時に場所と方向を特定する。そして、一致が決定した段階で、次のプロセスとして、部品の三次元輪郭を入力画像に拡大、縮小して合わせる。これは、新規部品のデータ作成手法となる。
（２）色相の分布比較を優先する場合においては、大まかな形状の中で、色の色相成分の分布を優先的に比較して、判断し、一致を求めるように構成することである。この場合、自然の物体、例えば、山、樹木等に有効である。
（３）空間周波数成分の分布比較を優先する場合においては、大まかな形状の中で、空間周波数の分布を比較し、一致を求めるように構成することである。この場合も、前記ｂと同様に、自然の物体に極めて有効である。
【０１３７】
一方、本発明に係る情報変換システムにおいて、部品が選択されたことは、部品の属性が認識されたことを意味する。ただし、一個の部品又は互いに密接に関係している複数の部品のみの場合は、本発明のシステムの完全な部品としての分離に相当しない。そこで、
（１）全ての対象物が部品に分解されるということは、対象物を構成するすべての物体をその名称と属性とともに認識し、しかも全体を理解したことを意味する。すなわち、個々の部品の属性はすでにわかっているのであるから、対象物全体が部品に分解され、個々の対象物が個々の部品と対応がついたということは、システムは個々の対象物を認識したことを意味する。また、各部品の配置が決定したということは、個々の対象物として構成される対象物全体を理解することができたということを意味する。
【０１３８】
（２）もし、対象物に対応する部品が見つからない場合は、その対象物を認識できなかったことを意味する。このように認識できない場合の取り扱いとしては、
(1) 認識する必要がない場合であり、その対象物が存在しない状況で判断する。
(2) データベースとしての部品庫の中にその対象物に対応する部品が存在しない場合であり、そのときには新規に部品を作成し、それにより認識し直すか、又は、形状を認識しないまま、入力画像から得られたその未知の物体のボリュームと占有空間を表示する。
さらに、対象物が部品に分解されたことにより、個々の対象物の持つ一般的性質（属性）と、それぞれの対象物の持つ特殊性が、新しい属性として部品に移植され、出力信号となる。すなわち、分解された対象物のそれぞれの部品の持つ一般的性質は、属性として部品の中に含まれる。そして、特殊性のみが、部品の新しい属性として出力信号に付加される。
【０１３９】
以上、本発明に係る情報変換システムにおける実施の形態として、対象物の画像の解析、認識等によって変換された情報コードを、遠隔地に送信し、受信側で受信して、あるいはそのまま他機器に出力して、それぞれ入力された情報コードを逆変換して、対象物を再現する画像を得るように構成した場合について説明したが、取得した対象物に関する情報は、画像のみには限定されない。
すなわち、一般的物理量に変換可能なものであれば、取得した各種の対象物に関する情報を、それぞれ情報コードとして伝送することにより、伝送先で各種対象物を再現できるのであり、例えば、五感に関する視覚、聴覚、嗅覚、味覚、触覚からなる各感覚に関するものであってもよい、さらには種々の物体の質、重量、表面反射率の物性等や、その他寿命、危険性、好み等、あらゆる情報についての変換を対称とすることができる。
【０１４０】
図３２は、前述した本発明に係る情報変換システムにおける対象物に関する入力画像と、部品庫（第１の部品庫１４Ａ及び第２の部品庫２４Ａ）に蓄積されている部品の属性に関するデータベースとを、図３０に示す部品検索用相関関数演算手段１４において、比較認識装置（認識エンジン）により、それぞれ比較し、認識する場合のアルゴリズムを、モデル化して示した説明図である。
これまでの説明を整理して図３２に示す。図３２において、本発明のシステムのループ開始からループ終了に至るまでの経過は次の通りである。まず、画像情報として画像及びその属性についての入力が行われる。これらの画像入力及び属性入力に対して、検索データベースを介してシチュエーション及び優先順位の決定がなされ、第１の部品庫１４Ａに対して、シチュエーション及び分類部品棚の選択命令がなされる。そして、これらの選択命令に基づき、部品庫の中のシチュエーション及び分類部品棚に対し、それぞれ部品の属性に関するデータベースの検索が行われる。
【０１４１】
一方、前記画像入力及び属性入力については、それぞれＺＫｅｙ（奥行き信号）、色相及び空間周波数分布等にについての前処理がなされて、認識エンジンに入力される。そして、この認識エンジンにおいて、前記第１の部品庫１４Ａにおける検索結果により、順次アクセスされる部品列出力及び優先順位決定に基づくデータが、部品属性の優先順位、認識アルゴリズムの選択及びパラメータの取得を伴って、比較エンジン（比較部）に入って、入力信号と比較され、一致した部品の、それぞれ対応する部品がデータ出力され、全部品がそろって部品群を構築する。そして、このように各部品のデータ出力で構築された出力部品群は、目的により、送信されたり、記録されたり、表示されたりする。
【０１４２】
そのとき、前記第１の部品庫１４Ａと同様の部品の属性に関するデータベースを蓄積した第２の部品庫２４Ａに対して、対応する画像情報を再現し得る部品の検索を行うとともに、部品の再配置を行い、適宜の判断等に基づき、画像情報の活用及び表示等を行うことができる。
なお、前記出力部品群について、新たに判断した結果は、適宜記録データとして保存するとともに、シチュエーション及び優先順位を決定するための情報として使用したり、検索データベースに新規データとして蓄積させることができる。
【０１４３】
図３３は、前述した本発明に係る情報変換システムにおける図３０及び図３１に示すシステム構成の情報処理プロセスをモデル化して示した説明図である。
図３３において、ステップＳ１は、ビデオカメラ出力により取得される画像情報に対し、全体の把握とシチュエーションの選択を行う工程である。すなわち、この工程においては、画像入力に対しシチュエーションを選択して、画像検索により、データベースから履歴を参考に概要を決定し、部品庫のシチュエーション整理棚を決定する。
ステップＳ２は、対象群の奥行きを表すＺＫｅｙ等による分離工程である。すなわち、この工程においては、画像全体を三次元的に対象群に大まかに分解することであり、対応する部品に完全に分離していなくともよく、例えば部品の固まり、あるいは大きな部品の一部としてもよい。
ステップ３は、画像マップの作成を色相分布、空間周波数分布、無限遠点、テクスチャ等により行う工程である。この場合、一つの対象群を複数の領域にまで分解し、それが完全でなくともよく、同質の領域の塗り込みを行う。また、部品対応より小領域でも可能であり、不完全であっても、認識の手掛かり情報として極めて有効となる。
【０１４４】
次に、ステップＳ４は、座標系部品の関連付けを、垂直、水平、接地面により決定する工程である。すなわち、はじめに画像内の垂直線、垂直面、水平線、水平面、接地面等の基本構成について、対象画像の構成要素を決定する。
ステップＳ５は、静止対象物（図３３中では静止対象部品と表記する。）の関連付けについて、上下、正面の決定と、対称軸、視覚的重心の検出とにより行う工程である。この場合、前記のステップＳ２による対象部品群と、ステップ３によるマップとから、対象物の上下、正面、対称軸、視覚重心を求め、それを参考に、比較認識装置で部品の位置や姿勢を絞り込むことができる。
ステップＳ６は、動体対象物の関連付けにつき、速度ベクトルの検出を行う工程である。この場合、動体は静止体と別に処理されるものであり、動体は速度ベクトル及び加速度ベクトル（往復運動を含む）まで求められる。
なお、ステップＳ２０は、その他の対象物の形態を求め、部品の属性と比較され、或いは属性として与える工程である。
【０１４５】
さらに、ステップＳ７は、対象群及びシチュエーションの部品対応関係を記録する工程である。この場合、再構成された三次元画像を記録し、入力画像検索に利用される。
ステップＳ８は、判定条件を付加する工程である。これは、認識アルゴリズムに条件を与えるものである。認識結果をフィードバックすることでシチュエーション設定が単純になり部品の候補も絞り込まれるので、比較認識の演算が速くなる。
ステップＳ９は、比較条件を設定する工程である。この場合、初めに対象物の輪郭と部品の輪郭を比較することで、高速演算による比較を行うことができる。次に面の比較を行い詳細を決定する。
【０１４６】
ステップＳ１０は、収束相関摂動接近法による比較判断を行う工程である。すなわち、この収束摂動接近法は、対象群の視覚体積と部品の視覚体積との不一致部分の体積ΔＶを、少なくする報告に部品の視野位置を移動することで、その一致点を求める手法である。すなわち、極端に大きい三次元空間全体にわたり闇雲に相関の演算をするのではなく、対象の近傍から、次第に一致に近づいていく方向に相関の演算を進める情報を与える工程である。このことで演算を極端に早めることができる。
また、ステップＳ１１は、認識エンジンとしての動作を行う工程である。すなわち、この認識エンジンは、様々な複数の認識アルゴリズムを持ち、部品に属性として与えた選択権により、部品固有のアルゴリズムを選択して、部品の判定を行うことと同時に、部品自身の持つ自己認識関数を取得して、比較照合演算を行うこともできる。
すなわち、比較認識のアルゴリズムの選択と、そのパラメータは部品からもらう。また、自己認識関数を持つ部品の場合は、部品からアルゴリズムそのものをもらう。
【０１４７】
ステップＳ１２は、判定アルゴリズムを決定する工程である。（自己認識関数を持たない部品の場合）。
ステップＳ１３は、部品の判定及び属性移転を、部品属性優先順位、新しいアルゴリズムの選択及びパラメータの取得を部品から取得し、さらにはアルゴリズムそのものを自己認識関数から取得する工程である。
ステップＳ１４は、部品列順送りする工程である。この場合、部品庫の中のシチュエーション整理棚から、優先順位に従って順次部品が送り出される。
そして、ステップＳ１５は、部品出力を行う工程である。
ステップＳ１６は、部品を再構成する工程である。
【０１４８】
さらに、ステップＳ１７は、状況判断を行う工程である。この場合、複数の部品の持つ属性とその分布から、状況の持つ位置を理解し、ノーマル、アブノーマル、危険、安全、好ましい、嫌い、美しい、醜い等を判断することができる。
最後に、ステップＳ１８は、行動、表示を行う工程である。この場合、前記ステップＳ１７の状況判断の結果を受けて、適切な行動をとることができる。また、単純に前記結果を表示する場合でも、適切な視角を自動的に判断して選択することができる。
【０１４９】
［第６実施形態］
次に、図３４〜図３６を参照して、本発明の第６実施形態について説明する。
第６実施形態では、本発明の情報変換システムを契約駐車場の監視システムとして利用する例について説明する。
契約駐車場は、通常、無人である。このため、契約車以外の車両が無断で駐車してしまうことがある。そこで、無断駐車の防止策として、契約駐車場を監視員が巡回したり監視カメラを設置たりして無断駐車を見張ることが考えられる。しかし、監視員に契約駐車場を巡回させたりモニタ画像を一日中監視させたりするためには、人件費がかかる。このため、無断駐車を低コストで有効に防ぐことは困難であった。
【０１５０】
そこで、第６実施形態では、情報変換システムにより契約駐車場を監視する例について説明する。
まず、図３４の機能ブロック図を参照して、第６実施形態の情報変換システムの構成について説明する。図３４に示すように、第６実施形態の情報変換システムは、入力部１００、比較用画像生成部２００、部品特定部５００、データベース（ＤＢ）４００、解析情報生成部７００及び出力部６００により構成されている。
【０１５１】
第６実施形態における入力部１００は、契約駐車場全体を見渡せるように設置された監視カメラにより構成される。
また、データベース３００には、種々の車両の車種と形態とが属性データとして蓄積されている。さらに、データベース３００には、契約駐車場の各駐車区画の属性データとして、契約車両の車種と形態とが登録されている。
また、比較用画像生成部２００は、監視カメラの画像中の各駐車車両の像を含む比較用画像情報を生成する。
また、部品特定部５００は、監視カメラの画像中の駐車車両に該当する部品を特定することにより、駐車車両の車種を認識する。
【０１５２】
そして、解析情報生成部７００は、互いに異なる部品の属性データのうち特定の項目データどうしを組み合せ、これら部品からなる部品群についての解析情報を生成する。第６実施形態では、解析情報生成部７００は、駐車車両の属性データのうちの車種という特定項目データと、駐車区画の属性データのうちの契約車両の車種という特定項目データとを比較照合する。そして、解析情報生成部７００は、駐車車両が契約車両か無断駐車かという解析情報を生成する。
また、出力部６００は、解析情報が無断駐車であることを示す場合、通報や警告を出力する。
【０１５３】
次に、図３５のフローチャートを参照して、本発明を契約駐車場の監視システムとして利用する場合の処理について説明する。
先ず、入力部１００としての監視カメラにより、図３６の（Ａ）に示すように、契約駐車場全体の画像を取得する（図３５のステップＳ１）。
図３６の（Ａ）においては、駐車場の第１〜第３区画７１〜７３、及び、第２区画７２に駐車している軽トラック７０の画像を示している。そして、画像中に車両７０が映っているので（図３５のステップＳ２で「Ｙｅｓ」の場合）、次に、部品特定部５００が、駐車している車両の車種を、データベース３００内の属性データに基づいて認識する（図３５のステップＳ３）。
続いて、車両７０の駐車位置を抽出する（図３５のステップＳ４）。ここでは、駐車位置として、第２駐車区画７２を抽出する。
【０１５４】
次に、部品特定部５００が、データベース３００から第２駐車区画７２の契約車両７５の属性データを検索して読み出す（図３５のステップＳ５）。ここでは、属性データのうち「車種」の項目として、図３６の（Ｂ）に示す、部品の「ワゴン車」７５を読み出す。
そして、解析情報生成部７００により、画像に映っている車両７０の車種と、登録されている契約車両７５の車種とを比較・照合する（図３５のステップＳ６）。
【０１５５】
なお、比較照合にあたっては、車両全体どうしの形状や色どうしを直接比較してもよいが、車両の構成部品の形状やその配置関係から車種を特定してもよい。
例えば、(1)まず、車両の車輪・ヘッドライト・フェンダー・ドア・窓・テールランプ・ナンバープレート等の車を構成する各部品を先ず特定する。
(2)続いて、それら車を構成する部品の配置関係を再構成する。
(3)そして、各構成部品の三次元的位置関係から、条件に適合すればそれを車と認識し、さらに車の車種名まで特定するとよい。
このような方法は、特に、形状の固定されていない対象物や、形状が変形しやすい対象物を認識するのに好適である。
【０１５６】
本実施形態では、駐車車両が軽トラック７０であるのに対して、契約車両がワゴン車７５であるので、車種が一致しない（図３５のステップＳ７において「Ｎｏ」の場合）。
その場合、解析情報生成部７００は、第２駐車区画７２に駐車している車両７０が無断駐車であると判断する（図３５のステップＳ９）。
すなわち、解析情報生成部７００は、画像から特定された駐車車両７０の車種「軽トラック」という属性データと、第２駐車区画７２の契約車両７５の車種「ワゴン車」という属性データとに基づいて、「その駐車車両が無断駐車である。」という解析情報を新たに生成したことになる。
【０１５７】
続いて、出力部６００が、無断駐車している車両がいることを、その契約駐車場の管理者に通報したり、又は、その契約駐車場において、無断駐車を禁ずる警告アナウンスを放送する等の出力行う。
なお、駐車車両の車種と、登録されている契約車両の車種とが一致した場合には、解析情報生成部７００は、「その駐車車両が契約車両である。」という解析情報を生成する（図３５のステップＳ８）。
【０１５８】
このように、第６実施形態によれば、駐車場に監視カメラを一台設置するだけで、駐車場全体の無断駐車を自動的に監視することができる。このような自動監視システムは、駐車車両の車種が認識できてこそ実現できるものである。
なお、ここの車両のナンバープレートを照合する方法も考えられるが、特に駐車場が広い場合には、一台又は少数の監視カメラで全ての駐車車両のナンバープレートを読み取ることは困難である。
また、車種だけでなく、車両の色彩等の要素も判断要素に加えれば、判断精度をより高くすることができる。
なお、駐車場の地面は一般に既知の平面や、既知の緩斜面である。そして、駐車車両のタイヤは、これら平面上に接している。したがって、モニターカメラから見た車両の方向と、既知の平面との交点として、車両の位置を求めることができる。
【０１５９】
［第７実施形態］
次に、図３７〜図３９を参照して、本発明の第７実施形態につて説明する。
第７実施形態では、本発明の情報変換システムを商店のレジシステムとして利用する例について説明する。
コンビニエンスストア等の商店においては、商品の管理や会計のために、個々の商品にバーコードを付している。そして、会計場においてバーコードを読み取ることにより、個々の商品を識別し、各商品の合計金額を自動的に表示させるバーコードシステムが普及している。
また、バーコードシステムでは、全ての商品やその包装にバーコードが予め付されているわけではない。このため、商店において個々の商品に一つずつバーコード票を付さなければならないことが多い。その結果、特にスーパーマーケット等の大型店舗においては、大量の商品にバーコード票を一つずつ張り付けるために多大の労力を要することがある。
【０１６０】
また、会計場（レジ）では、従来、店員が商品を一つずつ持ち上げ、据え付け型のバーコードリーダの前を通過させ、バーコードを読み取らせていた。このため、店員の腕や腰に負担がかかっていた。そこで、ハンディタイプのバーコードリーダが開発され、バーコードリーダを商品にあててバーコードを読み取る方式が普及している。しかし、この方式においても、店員が商品に一つずつバーコードリーダをあててバーコードを読み取らせなければならないことに変わりはなかった。
その上、バーコードシステムでは、実際に識別されているのは、あくまでも商品に付されたバーコードである。すなわち、商品そのものが直接識別されているわけではない。このため、商品に誤ったバーコードが付されると、会計場においてその商品が誤って識別され、金額表示が間違ってしまうおそれがある。
【０１６１】
そこで、第７実施形態では、情報変換システムをレジシステムに適用する。
まず、図３７の機能ブロック図を参照して、第７実施形態の情報変換システムの構成について説明する。図３７に示すように、第７実施形態の情報変換システムは、入力部１００、比較用画像生成部２００、部品特定部５００、データベース（ＤＢ）４００、解析情報生成部７００及び出力部６００により構成されている。
第７実施形態における入力部１００は、カメラ１１０と重量計１２０とにより構成されている。カメラ１１０は、会計場におかれた商品の入ったかごＣ全体を映すことができる。また、重量計１２０は、商品が入ったかごＣの重量を計測することができる。
なお、カメラ１１０は、複数台設置し、かごＣを互いに異なる複数の方向から撮影することが望ましい。
【０１６２】
また、データベース３００には、商店で販売されている牛乳パックやシャンプー等の各商品の属性データとして、商品の形態、金額及び重量のデータが蓄積されている。
また、部品特定部５００は、カメラ１００が撮像したかごＣ内の商品の画像から、各商品を認識する。
また、解析情報生成部７００は、集計部７１０及び判断部７２０により構成されている。集計部７１０は、部品特定部５００により認識された各部品の商品の金額を集計して、合計金額という解析情報を生成する。さらに、集計部７１０は、各部品の商品重量とかごＣの重量とを集計して、合計重量という解析情報も生成する。
【０１６３】
また、判断部７２０は、重量計１２０により計測された商品の入ったかごＣ全体の重量と、集計部７１０が算出した合計重量とを比較・照合し、許容範囲内で重量どうしが一致するか否かを判断する。そして、一致した場合には、かごＣ内の全ての商品が正しく認識されたものと判断する。一方、一致しない場合には、かごＣ内に正しく認識されていない商品があると判断する。判断部７２０は、このように、測定重量と合計重量とから、判断という解析情報をさらに生成する。
そして、出力部６００は、判断部７２０が正しく認識されたと判断した場合、集計部７１０が算出した合計金額を出力する。一方、正しく認識されていないと判断された場合、出力部６００は、エラーメッセージを出力する。
【０１６４】
次に、図３８のフローチャートを参照して、本発明をレジシステムとして利用する場合の処理について説明する。
先ず、入力部１００の監視カメラ１１０により、図３９の（Ａ）に示すように、商品の入ったかごＣ全体の画像を取得する（図３８のステップＳ１）。図３９の（Ａ）では、かごＣに、容器入りの液体洗剤８１、豆腐パック８２及び牛乳パック８３が入っている様子を模式的に示している。
また、画像の取得と同時に、重量計１２０により、かごＣ全体の重量Ｇ１を計測する（図３８のステップＳ２）。
【０１６５】
次に、部品特定部５００により、カメラ１１０で撮像された画像中の各対象物像に対応する部品を特定する（図３８のステップＳ３）。
図３９の（Ｂ）に、商品に対応するものとして特定された部品を模式的に示す。すなわち、ここでは、部品の液体洗剤８１ａ、部品の豆腐パック８２ａ、及び、部品の牛乳パック８３ａが特定されている。
そして、画像中の全ての対象物が抽出されたことを確認（図３８のステップＳ４）した後、集計部７１０により、特定された各部品８１ａ〜８３ａの金額を集計し、合計金額を算出する（図３８のステップＳ５）。
続いて、各部品８１ａ〜８３ａ及びかごＣの重量を集計して、合計重量Ｇ２を算出する（図３８のステップＳ６）。
【０１６６】
次に、重量計１２０により計測された計測重量Ｇ１と、集計部７１０により算出された合計重量Ｇ２と、判断部７２０で比較・照合する（図３８のステップＳ７）。
そして、計測重量Ｇ１と合計重量Ｇ２とが一致した場合（図３８のステップＳ８において「Ｙｅｓ」の場合）、出力部６００が、合計金額を表示する（図３８のステップＳ９）。
一方、計測重量Ｇ１と合計重量Ｇ２とが不一致の場合（ステップ８において「Ｎｏ」の場合）、出力部６００が、エラーメッセージを表示する（図３８のステップＳ１０）。
【０１６７】
このように、本発明をレジシステムに適用すれば、個々の商品に対応する部品を特定することができるので、バーコードが不要となる。このため、店員が一つずつ商品のバーコードを読み取る必要がなく、短時間で商品の合計金額を算出することができる。その結果、会計場における処理が迅速となり、レジの待ち時間が短くなる。また、会計の際に一つずつ商品を持ち上げる必要がないので、店員の肉体的な負担を軽減できる。
【０１６８】
［第８実施形態］
次に、図４０〜図４２を参照して、本発明の第８実施形態について説明する。
第８実施形態では、情報変換システムを交通量調査に利用した例について説明する。
従来は、交通量データの収集にあたっては、アルバイト等を動員して、通行車両等を、種類別に計数カウンタで一台ずつカウントしていた。
しかし、人間によるカウントでは、カウントミスが発生しやすい。その上、集計データの信憑性を検証することが困難であった。特に、通行量の多い交差点においては、信号が切替わると同時に多くの車両が一斉に走り出すためカウント漏れが発生しやすかった。
また、アルバイトを雇っても、人件費がかかり、調査コストが高くなる。特に、夜間や早朝の通行量調査は、員数の確保が困難なことが多かった。
【０１６９】
そこで、第８実施形態では情報変換システムを交通量調査に適用する例について説明する。
まず、図４０の機能ブロック図を参照して、第８実施形態の情報変換システムの構成について説明する。図４０に示すように、第８実施形態の情報変換システムは、入力部１００、比較用画像生成部２００、部品特定部５００、データベース（ＤＢ）３００、比較用部品生成部４００、解析情報生成部７００、項目選択部８００及び出力部６００により構成されている。
【０１７０】
第８実施形態の入力部１００は、図４２に模式的に示す橋９０を通過する車両を撮像するモニタカメラより構成されている。このモニタカメラの視野は、橋９０全体が入るように広くしてもよいし、通過車両が一台だけ入るように狭くしてもよい。また、モニタカメラは、橋９０を通過する車両を正面から撮影するように設置してもよいし、側方から撮影するように設置してもよい。
また、データベース３００には、種々の車両の車種及び形態の属性データが蓄積されている。
【０１７１】
また、部品特定部５００は、入力部１００のモニタカメラで撮像された車両像に対応する部品を特定する。
また、項目選択部８００は、解析情報生成部生成する解析情報に応じて、属性データを組み合せる部品及び／又は当該部品の特定項目を選択する。
また、解析情報生成部７００は、項目選択部８００の選択結果に応じて、解析情報を生成する。本実施形態では部品の車両の車種を分類して、車種別に通過台数を集計する。
そして、出力部６００は、車種別の通過台数を出力する。
【０１７２】
次に、図４１のフローチャートを参照して、本発明を交通量調査として利用する場合の処理について説明する。
先ず、入力部１００のモニタカメラにより、橋を通過する車両の画像を入力する（図４１のステップＳ１）。
続いて、部品特定部５００により、車両に対応する部品を特定する。特定された部品の属性データにより、車種を決定する（図４１のステップＳ２）。
車種の分類のしかたは、交通量調査の目的に合わせて設定するとよい。例えば、単に「大型車」と「非大型車」とに分類することもできる。また、車両のメーカーごとに分類することもできる。
【０１７３】
次に、解析情報生成部７００において、車種を分類し（図４１のステップＳ３）、さらに、車種別の通過台数を集計する（図４１のステップＳ４）。
そして、出力部６００から、車種別の通過台数の集計値を出力する（図４１のステップＳ５）。
【０１７４】
このように、第８実施形態によれば、車種ごとの通過台数を自動的に集計することができる。このため、信頼性の高いデータを低コストで収集することができる。このような分類した上での集計は、通行車両の車種が特定できてこそ実現できるものである。
【０１７５】
［第９実施形態］
次に、図４０、図４２及び図４３を参照して、本発明の第９実施形態について説明する。
第９実施形態では、上述の第８実施形態と同じシステム構成を用いて、橋の安全管理を行う例について説明する。
図４３のフローチャートに示すように、第９実施形態でも、上述の第８実施形態等同様に、橋を通行する車両の画像を入力する（図４３のステップＳ１）。ただし、第９実施形態では、橋上の車両だけではなく、橋に差しかかっている車両の画像も撮像する。
続いて、第８実施形態と同様にして、画像の各車両９１、９２及び９３の車種を認識する（図４３のステップＳ２）。
【０１７６】
ところで、第９実施形態においては、項目選択部８００が橋の安全管理用の解析情報の生成を指示する。このため、解析情報生成部７００においては、橋９０を通過している各車両９１及び９２の重量ｇ１、ｇ２と、橋９０に差しかかっている車両９０の重量ｇ３とを合計した合計重量Ｇ（＝ｇ１＋Ｇ２＋ｇ３）を算出する（図４３のステップＳ３）。
すなわち、この合計重量Ｇは、各車両９１、９２及び９３の解析情報である。
なお、各車両の重量には、車両の積載物を加味した値を設定しておくことが望ましい。例えば、トラックの場合には、最大積載量を加味しておくとよい。
【０１７７】
さらに、解析情報生成部７００により、合計重量Ｇと、橋９０の耐荷重Ｇｈとを比較する（図４３のステップＳ５）。
そして、合計重量Ｇが耐荷重Ｇｈ以下の場合には、安全と判断する（図４３のステップＳ６）。
すなわち、解析情報生成部７００は、解析情報である合計重量Ｇと、橋９０の属性データである耐荷重Ｇｈとを組み合せて、安全判断という、各車両９１、９２及び９３と橋９０との全体の新しい解析情報をさらに生成する。
【０１７８】
一方、合計重量Ｇが耐荷重Ｇｈを越える場合には、危険と判断する（図４３のステップＳ７）。
すなわち、解析情報生成部７００は、解析情報である合計重量Ｇと、橋９０の属性データである耐荷重Ｇｈとを組み合せて、危険判断という、各車両９１、９２及び９３と橋９０との全体の新しい解析情報をさらに生成する。
そして、危険と判断された場合には、直ちに、出力部６００から信号機９４の表示を赤信号に切り替える制御信号が出力される。
これにより、橋の安全管理を自動的に行うことができる。
【０１７９】
なお、第９実施形態においては、車両重量は、モニタ画像からは直接得られない情報である。このため、単にモニタカメラを人間が監視していても、本実施形態のようは安全又は危険の判断を行うことはできない。これに対して、本実施形態では、画像の車両を認識して、属性データを有する部品の車両として認識するので、入力画像に含まれていなかった、各車両の重量データを利用して安全管理を自動的に行うことができる。したがって、第９実施形態においては、単に人間が監視する場合よりも高度な安全管理を実現することができる。
【０１８０】
上述した各実施の形態においては、本発明を特定の条件で構成した例について説明したが、本発明は、種々の変更を行うことができる。例えば、上述の実施形態では、対象物の映像を入力情報とした例について説明したが、本発明では、入力情報は画像に限定されない。例えば、画像に、対象物の音声情報や、対象物の温度等の情報を加えたものを合わせて入力情報として利用してもよい。
また、入力情報としては、対象物の質量、電気、磁気等の種々の物理量の測定結果も利用してもよい。また、対象物の動作パターン等も利用してもよい。
また、入力画像は、可視光の画像に限定されない。例えば、入力画像として、赤外線画像や、Ｘ線、中性子線等の放射線による露光画像や、電子線画像を利用してもよい。また、例えば、超音波又は電波等の反射波画像、さらには、回折像を利用してもよい。
【０１８１】
また、本発明では、部品として文章や単語の発音を登録しておき、画像情報の代わりに音声情報を取得すれば、音声認識を行うことも可能である。音声認識においては、入力音声情報はマイクロホンでとらえた音声の電気信号である。このため、比較用音声情報として、時間の関数としての周波数スペクトル、音声レベル（強度）、さらに、言語の特性を考慮してＦＭ成分とＡＭ成分とに分析したものを生成するとよい。一方、比較用音声部品情報としては、言語であれば、単語と文章の周波数スペクトル、音声レベル、ＦＭ成分、ＡＭ成分を与えるとよい。そして、部品特定部において、比較用音声情報と比較用音声部品情報との対応を調べるとよい。
【０１８２】
また、上述の各実施形態においては、一つまたは複数の特定の目的を実現するために情報変換を行う例について説明したが、本発明の情報変換システムは、用途を特定しない汎用システムとしても使用することが可能である。例えば、対象物の画像等の情報を入力すると、その対象物に対応する部品の種々の属性データを出力する電子百科辞典の機能を、データベースと入力部と部品特定部との構成により実現することも可能である。
【０１８３】
【産業上の利用可能性】
本発明は、防犯システム等の監視システム等の画像認識技術が利用可能な種々の分野に利用して好適である。また、ファクトリーオートメーション（ＦＡ）における画像処理技術として利用して好適である。さらに、本発明は、人工知能等の情報処理技術の基礎技術として様々な方面への利用が期待できる。
また、本発明は、中継放送等の画像情報を伝送する種々の分野に利用して好適である。
【０１８４】
【図面の簡単な説明】
【図１】 図１は、第１実施形態の情報変換システムの構成を説明するための機能ブロック図である。
【図２】 図２は、データベースの識別コード及び属性データ例を説明するための図表である。
【図３】 図３は、第１実施形態の情報変換システムの動作を説明するためのフローチャートである。
【図４】 図４は、データベースにおいて、複数の部品がグループ化された登録してある様子を示す模式図である。
【図５】 図５の（Ａ）は、第１実施形態における情報変換の対象物を示す斜視図であり、図５の（Ｂ）は、入力画像の画像の模式図である。
【図６】 図６は、二次元どうしの比較用画像情報と比較用部品情報とを利用した部品特定を説明するブロック図である。
【図７】 図７の（Ａ）は、図５の（Ｂ）に示す各対象物像に対応する部品の模式図であり、図７の（Ｂ）は、認識された部品群を示す表示画面である。
【図８】 図８は、部品特定部の処理を説明するためのフローチャートである。
【図９】 図９は、第１実施形態の座標コード例を説明するための図表である。
【図１０】 図１０の（Ａ）は、再構成された部品群を側方視点から見た様子を示す表示画面であり、図１０の（Ｂ）は、再構成された部品群を上方視点から見た様子を示す表示画面である。
【図１１】 図１１の（Ａ）及び（Ｂ）は、基本要素の比較用部品情報の模式図である。
【図１２】 図１２の（Ａ）及び（Ｂ）は、要素抽出フィルタの説明図である。
【図１３】 図１３の（Ａ）及び（Ｂ）は、基本要素の変形を説明するための模式図である。
【図１４】 図１４の（Ａ）及び（Ｂ）は、比較用部品情報の一例である。
【図１５】 図１５は、基本要素に分解した比較用画像情報の模式図である。
【図１６】 図１６の（Ａ）は、特徴部分の複合要素の比較用部品情報の模式図であり、図１６の（Ｂ）は、基本要素に分解された比較用画素の一部分の模式図である。
【図１７】 図１７の（Ａ）は、部品側コーナーとラインのベクトル表示リストであり、図１７の（Ｂ）は、部品側コーナーとラインとの対応関係リストである。
【図１８】 図１８は、入力側コーナーとラインのベクトル表示リストである。
【図１９】 図１９は、入力側コーナーとラインとの対応関係リストである。
【図２０】 図２０は、入力画像のうちの机部分が特定されたことを示す模式図である。
【図２１】 図２１は、第３実施形態における入力画像である。
【図２２】 図２２の（Ａ）は、一般部品としてのシルエットであり、図２２の（Ｂ）は、シルエットの要素抽出フィルタである。
【図２３】 図２３の（Ａ）〜（Ｃ）は、入力情報を属性データへ取込む処理の説明図である。
【図２４】 図２４は、第４実施形態を説明するためのブロック図である。
【図２５】 図２５は、第４実施形態における対象物とカメラとの配置関係の説明図である。
【図２６】 図２６は、（Ａ）〜（Ｃ）は、第４実施形態における入力画像である。
【図２７】 図２７は、第５実施形態の情報変換システムの構成を説明するためのブロック図である。
【図２８】 図２８は、受信側データベースに登録されているの識別コード及び属性データ例を説明するための図表である。
【図２９】 図２９の（Ａ）は、第５実施形態においてモデル化された部品の模式図であり、図２９の（Ｂ）は、再構成された部品群を示す表示画面である。
【図３０】 図３０は、第５実施形態の情報変換システムの詳細な機能ブロック図である。
【図３１】 図３１は、図３０の機能ブロック図に続く機能ブロック図である。
【図３２】 図３２は、図３０に示す部品検索用相関関数演算手段において、入力画像と部品とに関するデータベースとの比較認識を行うアルゴリズムをモデル化して示した説明図である。
【図３３】 図３３は、図３０及び図３１に示す情報変換システムにおけるシステム構成の情報処理プロセスをモデル化して示した説明図である。
【図３４】 図３４は、第６実施形態の情報変換システムの構成を説明するためのブロック図である。
【図３５】 図３５は、第６実施形態の情報変換システムの動作を説明するためのフローチャートである。
【図３６】 図３６の（Ａ）は、第６実施形態における入力画像の模式図であり、図３６の（Ｂ）は、登録車両の模式図である。
【図３７】 図３７は、第７実施形態の情報変換システムの構成を説明するためのブロック図である。
【図３８】 図３８は、第７実施形態の情報変換システムの動作を説明するためのフローチャートである。
【図３９】 図３９の（Ａ）は、第７実施形態における対象物の模式図であり、（Ｂ）は、モデル化された部品を示す模式図である。
【図４０】 図４０は、第８及び第９実施形態の情報変換システムの構成を説明するためのブロック図である。
【図４１】 図４１は、第８実施形態における情報変換システムの動作を説明するためのフローチャートである。
【図４２】 図４２は、第８及び第９実施形態における対象物の模式図である。
【図４３】 図４３は、第９実施形態における情報変換システムの動作を説明するためのフローチャートである。

Claims (22)

1. 種々の対象物をモデル化した部品の三次元形状データを含む属性データ及び識別コードを登録したデータベースと、
   前記部品ごとに前記属性データから一つ又は複数の比較用部品情報を生成する比較用部品生成部と、
   対象物像を含む入力画像を取得する入力部と、
   前記入力画像を画像処理し、前記対象物像が個別に切り出されていない比較用画像情報を生成する比較用画像生成部と、
   互いに同一種類のデータを有する比較用部品情報及び比較用画像情報を用いて、前記対象物像に対応する部品を特定する部品特定部と、
   特定された部品の識別コード及び属性データの少なくとも一部を前記対象物像の認識結果として出力する出力部とを有し、
   前記部品特定部は、
   一つ又は複数の部品の一つ又は複数の比較用部品情報について順次に、前記比較用画像情報中から前記比較用部品情報の少なくとも一部分に対応する対応部分を検索する検索処理部と、
   前記比較用画像情報中の前記対応部分を対象物像として認識する認識処理部と、
   前記比較用部品情報を有する部品を前記対象物像に対応する部品として特定する特定処理部と、を備え、
   前記比較用部品生成部は、前記比較用部品情報として、前記部品の属性データを輪郭線等の基本要素に分解し、個々の基本要素、又は、複数の基本要素を組合せた複合要素を生成し、前記複合要素に、前記基本要素どうしの結合関係だけを特定する情報を与え、
   前記比較用画像生成部は、前記比較用画像情報として、輪郭線等の基本要素を抽出し、個々の基本要素又は複合要素の集合を生成し、
   前記検索処理部は、前記比較用画像情報の中から、前記部品の基本要素又は複合要素と対応する部分を検索し、
   前記部品特定部は、前記結合関係の少なくとも一部分が一致することを条件として、前記対応部分を検索する
   ことを特徴とする情報変換システム。
2. 前記比較用部品生成部は、前記比較用部品情報として、部品の属性データの特徴部分の基本要素又は複合要素を生成し、
   前記検索処理部は、前記比較用画像情報の中から前記特徴部分の基本要素又は複合要素と対応する部分を検索し、
   前記認識処理部は、前記特徴部分の基本要素又は複合要素との対応部分が検索された後、当該対応部分と、同一部品の当該特徴部分以外の基本要素又は複合要素との対応を確認し、対応部分を対象物像として認識する
   ことを特徴とする請求項１記載の情報変換システム。
3. 前記比較用部品生成部は、前記比較用部品情報として、前記基本要素又は複合要素の形状に一致するピクセルに高い得点が与えられ、前記要素の形状から離れたピクセルに低い得点が与えられた二次元マトリクス又は三次元マトリクスからなる要素抽出フィルタを生成し、
   前記検索処理部は、前記対応部分として、前記比較用画像情報の基本要素又は複合要素と一致するピクセルの合計得点が最も高くなる部分を検索する
   ことを特徴とする請求項１又は２記載の情報変換システム。
4. 前記データベースに登録された各部品の属性データが、当該部品を特定する処理方法を指示する自己特定情報を含み、
   前記比較用部品生成部は、前記自己特定情報の指定する比較用部品情報を生成し、前記比較用部品情報を前記自己特定情報の指定する優先順序で前記部品特定部へ出力し、
   前記部品特定部は、前記自己特定情報に基づいて部品を特定する
   ことを特徴とする請求項１〜３のいずれかに記載の情報変換システム。
5. 前記データベースに、集合部品の属性データとして、当該集合部品を構成する複数の部品の識別コード及び組合せ条件を登録しておき、
   前記特定処理部は、特定された部品どうしが前記組合せ条件を満たす場合、特定された部品どうしを組み合わせた集合部品をさらに特定する
   ことを特徴とする請求項１〜４のいずれかに記載の情報変換システム。
6. 前記データベースは、対象物の一連の動作をモデル化した四次元部品の属性データとして、当該対象物の三次元形状データの時系列順の集合を有する
   ことを特徴とする請求項１〜５のいずれかに記載の情報変換システム。
7. 前記データベースは、対象物群を共通化してモデル化した一般部品の属性データとして、当該対象物群の個々の対象物をモデル化した部品に共通する属性データを有する
   ことを特徴とする請求項１〜６のいずれかに記載の情報変換システム。
8. 前記データベースにおいて、前記一般部品と、当該一般部品の属性データを共通して有する部品とを関連付けておき、
   前記比較用部品生成部は、前記一般部品について比較用部品情報を生成し、
   前記特定処理部により前記一般部品が特定された場合、この一般部品に関連付けられた部品について比較用部品情報を生成する
   ことを特徴とする請求項７記載の情報変換システム。
9. 前記データベースは、認識された対象物像から得られるデータを、特定された部品の属性データとして取り込み、又は、属性データの一部分と置換する
   ことを特徴とする請求項１〜８のいずれかに記載の情報変換システム。
10. 前記データベースは、設定状況ごとに複数の部品をグループ化しておき、
    前記比較用部品生成部は、前記入力画像がいずれかの設定状況に該当する場合、該当する設定状況のグループ内の部品について、前記比較用部品情報を生成する
    ことを特徴とする請求項１〜９のいずれかに記載の情報変換システム。
11. 前記検索処理部は、入力画像の場面に応じて、前記比較用画像情報中の検索範囲を限定する
    ことを特徴とする請求項１〜１０のいずれかに記載の情報変換システム。
12. 複数の前記入力部が、同一の対象物を互いに異なる既知方向から撮像した入力画像をそれぞれ取得し、
    前記比較用画像生成部は、各入力部が取得した入力画像から、それぞれ二次元形状データを含む比較用画像情報を生成し、
    前記比較用部品生成部は、部品の三次元形状データを既知方向の各々へ投影した二次元形状データを有する比較用部品情報を生成し、
    前記部品特定部は、各比較用画像情報について、それぞれ部品を特定し、
    各比較用画像情報について、同一の部品が特定されることを確認する
    ことを特徴とする請求項１〜１１のいずれかに記載の情報変換システム。
13. 前記入力部が、単一方向から撮像した対象物像を含む入力画像を取得し、
    前記比較用画像生成部は、前記入力画像から、二次元形状データを含む比較用画像情報を生成し、
    前記比較用部品生成部は、前記部品の三次元形状データを任意方向へ投影した二次元形状データを有する比較用部品情報を生成する
    ことを特徴とする請求項１〜１２のいずれかに記載の情報変換システム。
14. 前記入力部が、同一の対象物を互いに異なる方向から撮像した視差のある入力画像をそれぞれ取得し、
    前記比較用画像生成部は、各入力画像から、三次元形状データを含む比較用画像情報を生成し、
    前記比較用部品生成部は、部品の三次元形状データを含む比較用部品情報を生成する
    ことを特徴とする請求項１〜１３のいずれかに記載の情報変換システム。
15. 前記部品特定部は、特定された部品の三次元形状及び配置関係を示す三次元座標を決定する固定処理部を備える決定する
    ことを特徴とする請求項１〜１４のいずれかに記載の情報変換システム。
16. 前記部品特定部は、複数の別個の対象物像について互いに同一の部品が特定された場合、前記固定処理部は、特定された各部品の識別コードに、それぞれ互いに異なる識別子を付加する
    ことを特徴とする請求項１５記載の情報交換システム。
17. 前記部品特定部は、前記入力画像が複数のフレームからなる動画像である場合に、一つのフレームについて、部品を特定し、
    他のフレームについて、いったん特定された部品については前記固定処理のみを繰り返し行う
    ことを特徴とする請求項１５又は１６記載の情報変換システム。
18. 前記出力部は、前記部品特定部において固定処理された複数の部品及びこれら部品の三次元空間配置を、任意の位置の視点から見た画像として再構成して表示する
    ことを特徴とする請求項１５、１６又は１７記載の情報変換システム。
19. 前記入力部は、三次元形状及び位置が既知の対象物を互いに異なる方向からそれぞれ撮像した入力画像中の対象物像に基づいて、各入力画像の撮像範囲の三次元空間どうしの重なり部分を求め、その重なり部分を三次元座標上で一致させるように整合させることで画像を結合し、各入力部の視点位置及び画角を求める
    ことを特徴とする請求項１〜１８のいずれかに記載の情報変換システム。
20. 前記出力部から出力された識別コードを通信回線へ送信する送信部と、
    前記識別コードを受信する受信部と、
    前記識別コードと属性データとを対応づけて登録してある受信側データベースと、
    前記識別コードに対応する部品の属性データを前記受信側データベースから検索し、該当する属性データを出力する再構成部と
    を備えることを特徴とする請求項１〜１９のいずれかに記載の情報変換システム。
21. 送信側の前記データベースと、前記受信側データベースとにおいて、同一識別コードの部品の三次元形状データが互いに異なる
    ことを特徴とする請求項２０記載の情報変換システム。
22. 前記部品特定部により特定された複数の部品の属性データを組み合せ、これら部品からなる部品群についての解析情報を生成する解析情報生成部を備える
    ことを特徴とする請求項１〜２１のいずれかに記載の情報変換システム。

Images