JPH0696220A - 階層型ニューラルネットワークを用いた物体認識方式 - Google Patents

Abstract

(57)【要約】 【目的】 物体の形状や位置、またはカテゴリーを特定
する物体認識方式に関し、物体の像とモデルとの間の何
らかの測度を最大とする物体モデルと変換を探す最適化
問題を階層型ニューラルネットワークを用いて解くこと
を目的とする。 【構成】 認識結果としてのデータを入力層ユニット
に、物体に関するセンサ情報を出力層ユニットに教師デ
ータとして与える学習過程と、出力層ユニットの出力と
センサ情報との矛盾が少なく、外界に関する制約条件を
満足する解を、入力層ユニットへの入力を変化させ、該
矛盾および制約条件に対応するエネルギー関数を最小化
することによって探索する認識過程とから成る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、物体の形状や位置を特
定したり、その物体のカテゴリーを特定する物体認識方
式に関し、物体検出や操作を行うために物体を認識する
必要がある様々な産業分野で利用することができる。

【０００２】

【従来の技術】図１２は本発明が対象とする物体認識シ
ステムの構成図である。同図において物体認識システム
１は、外界２に存在する物体に関するデータをサンプリ
ングや投影などにより像としてとらえるセンシングプロ
セス３と、得られた物体の像からその種類や位置等を特
定する認識プロセス４とから成っている。このような物
体認識システムの問題点についてまず一般的に説明す
る。

【０００３】物体の像は、その物体とセンサとの相対位
置に応じて変化する。また、外界の状況に応じて変化す
る場合もある。例えば、視覚センサ（カメラ）で物体を
撮影する場合、照明条件（照度、光源の配置、スペクト
ル成分）によって、像は変わる。

【０００４】ある物体Ｏ_i から、起こり得る全ての像
（見え）（Ｖ_i1，・・・Ｖ_iki ）への一対多写像Ｍ_i を
考える。すると、物体認識とは、物体の像が一つ与えら
れた時に、Ｍ_i の逆写像により、元の物体Ｏ_i を復元す
る問題（刺激の等価性の問題）として定式化できる。

【０００５】一般に、起こり得る全ての像の数は膨大で
あり、同じ物体の像でも、大きく異なる場合があるた
め、物体認識の問題は難しい。刺激の等価性の問題を解
決するために、各物体について十分な数の像をそのまま
記憶しておき、それらと与えられた物体の像とを比較す
るというアプローチがある。このアプローチは、直接ア
プローチと呼ばれる。

【０００６】このアプローチは、一般の物体認識問題に
は適していない。認識するのに十分な数の像の数が膨大
なものになってしまうからである。この問題を解決する
には、記憶すべき像の数を減らさなければならない。す
なわち、一つの物体（カテゴリー）の像の間に規則性を
見出すことが鍵になる。以下では、この規則性の問題を
どのように解決しようとしているかに応じて、物体認識
のアプローチを分類する。

【０００７】第１のアプローチは不変特性抽出法であ
る。この方法は、ある不変な特性が、物体の全ての見え
を通じて存在することを仮定している。例えば物体の周
囲長と面積の平方根との比である「コンパクト度」の概
念がある。この量は回転や平行移動や画像平面のスケー
リングの影響を受けない。この方法は、このような量を
いくつか定義して、それによって物体を特定しようとす
るものである。

【０００８】不変特性抽出法は、単純な工業部品を一定
の観察条件で認識するような、限定された問題に適用さ
れて成功を収めている。しかし、一般には、物体が受け
るさまざまな変換に対して保存される特性を見つけるこ
とは難しい。

【０００９】第２のアプローチは部分分解法である。こ
の方法は、多くの物体は自然に部分構成要素に分解する
ことができるという直観に基づいている。例えば、人体
は、頭、胴体、腕、脚に分解できる。この方法は、まず
部分を検出して、構成部分間の関係に基づいて認識を行
うものである。

【００１０】しかし、部分構成要素への分解が自然に行
えないと、問題がかえって難しくなる。第３のアプロー
チは整列法である。

【００１１】この方法は、物体の見えと、システムが記
憶している物体モデルとの間の差をもたらした変換を検
出し、それを明示的に補償するものである。この方法
は、以前から、印刷文字の認識などの領域で適用されて
きたものであるが最近になって、この方法を複雑な３次
元物体の認識に適用しようという試みがされている。

【００１２】物体の見えが、記憶した物体モデルと異な
るのは、その物体とセンサとの相対位置の変化のような
変換を受けるからである。この方法では、まず物体の特
定の前に、この変換を検出する。そして、この変換を帳
消しにする。この段階を整列段階（正規化段階）とよ
ぶ。整列後に、記憶モデルと見えとのマッチングを行っ
て物体を特定する。

【００１３】これら３つのアプローチには、それぞれ一
長一短がある。不変特性抽出法、部分分解法は、前述し
たように、一般の物体認識に拡張することが困難であ
る。

【００１４】整列法は、物体を特定する前に変換を検出
し、その逆変換を施す必要がある。これには問題点が三
つある。その第１は物体の特定と変換の問題である。正
投影の場合は３次元物体の位置に関する変換を検出する
ためには、物体の見えと物体モデルの対応する３点の座
標がわかれば良いことが証明されている。しかし、物体
を特定する前に、対応する３点を見つけるのは難しい。
なぜならば、対応する３点としては、検出しやすく、対
応づけが容易な特徴点を選びたいのだが、そのような点
は物体によって異なるからである。例えば、多面体では
頂点が適当だが、円盤では中心が適当である。したがっ
て、一般に、物体の特定と、変換の検出とを分離して行
うことはできない。

【００１５】第２は定式化されていない変換の問題であ
る。物体の見えと、システムが記憶している物体モデル
との間の差をもたらした変換は、位置に関するものだけ
ではない。センサそのものの特性に基づくゆがみや、雑
音による変形もある。これらは、位置の変換のように定
式化されたものではない。したがって、この変換の検
出、および逆変換は困難である。

【００１６】第３の問題点は逆変換の不良設定性であ
る。変換が検出できても、その逆変換が不良設定性をも
つことがある。不良設定性をもつとは、変換前の物体
を、・矛盾なしに復元することができない。

【００１７】・一意に復元することができない。 ・復元する際、初期条件に不連続に依存してしまう。 という条件のいずれかを満たしてしまうということであ
る。

【００１８】ここで物体認識の問題を、解空間内での探
索として定式化してみる。Ｔ_ijを、物体モデルＭ_i に作
用し得る全ての変換とすると、探索の目標は、物体の像
Ｖとモデルとの間の何らかの測度を最大にするような物
体モデルと変換を探すことになる。すなわち、すべての
Ｍ_i とＴ_ijに渡って、Ｆ（Ｖ，（Ｍ_i ，Ｔ _ij））を最大
にするものを探すのである。

【００１９】整列法は、変換Ｔ_ijが定式化されていて、
かつ逆変換が一意に定まる場合に、この探索問題（最適
化問題）を２段階に分けて行うものである。しかし、２
段階に明確に区分するのは難しく、また一般には、変換
Ｔ_ijは１対１写像ではなく、定式化されていない。

【００２０】本発明の課題は、センサから物体に関する
情報を取得して物体を認識する物体認識システムにおい
て、この最適化問題を階層型ニューラルネットワークを
用いて解くことである。

【００２１】

【課題を解決するための手段及び作用】図１は本発明の
機能ブロック図である。同図は階層型ニューラルネット
ワークを備え、センサから物体に関する情報を取得して
物体を認識する物体認識システムにおける階層型ニュー
ラルネットワークを用いた物体認識方式の機能ブロック
図である。

【００２２】図１において、本発明の物体認識方式は学
習過程１１と認識過程１２とから成る。学習過程１１に
おいては、物体の認識結果としてのデータ、例えば物体
の形状や位置に関するデータがニューラルネットワーク
の入力層ユニットに、また物体に関するセンサからの情
報、例えばカメラによる物体の画像データが出力層ユニ
ットに教師データとして与えられる。そして、例えばバ
ックプロパゲーション法によって、ニューラルネットワ
ークの出力層ユニットからの出力と物体に関するセンサ
からの情報との誤差がある一定値以下になるまで学習が
実行される。

【００２３】認識過程１２においては、学習後のニュー
ラルネットワークの出力層ユニットの出力と認識対象物
体に関するセンサからの情報との矛盾、例えば誤差が少
なくなるように、また外界に関する制約条件を満足する
ような認識結果を探索する処理が行われる。この探索に
おいては、認識結果に対応する、入力層ユニットへの入
力データを変化させて、出力層ユニットの出力とセンサ
からの情報との矛盾、および外界に関する制約条件に対
応するエネルギー関数を最小化することによって、物体
認識結果、例えば物体の形状、カテゴリーの認識結果と
一致するような入力データが得られることになる。

【００２４】本発明においては、まず図１の学習過程１
１に先立ってニューラルネットワークの設定などの処理
が行われる。すなわちニューラルネットワークに関して
は、認識対象物体のトークン、すなわち物体の種類につ
けられたインデックスや、物体の位置のニューラルネッ
トワーク上での表現が決定される。例えば認識対象物体
が複数種類存在する場合には、対象物体のトークンの数
に対応する個数の入力層ユニットがそれぞれのトークン
に対応させられる。続いて物体のトークンや物体の位置
に関する先験的知識がエネルギー関数として表現され
る。

【００２５】図１の学習過程１１においては、物体のト
ークンや位置を変化せさせて、その時センサから得られ
た情報が集められ、階層ニューラルネットワークの入力
層に物体のトークンや位置のデータが、また出力層に物
体に関するセンサデータが教師データとして与えられ、
バックプロパゲーション法による学習が行われる。

【００２６】認識過程１２においては、例えば乱数によ
る設定などの何らかの方法によって物体のトークンや位
置に関する初期値が設定され、その初期値がネットワー
クの入力層ユニットに入力され、ネットワークの出力層
ユニットからの出力値と物体に関する実際のセンサデー
タとの差が計算される。そして一般的なバックプロパゲ
ーション法と同様に、誤差に対応するエネルギー関数
と、物体のトークンおよび位置に関する先験的知識に対
応するエネルギー関数との和が最小となるように、最急
降下法によってネットワークへの入力値の修正が行われ
る。そしてこの処理の後に、例えばニューラルネットワ
ークの出力層ユニットの出力と実際のセンサデータとの
誤差がある一定値以下に収束した時点で、ネットワーク
への入力データ、すなわち物体のトークンや位置に関す
るデータが認識物体に対する認識結果とされる。なおこ
の認識過程においてはニューラルネットワーク内部の重
みや閾値の修正は行われず、入力データを修正すること
によって誤差がある一定値以下に収束するまで処理が続
けられる。

【００２７】ここで、本発明が前述の逆変換の不良設定
性を解決する手段となり得る理論的根拠について説明す
る。センサ情報処理を最適化問題として定式化する正則
化理論、ベイズの定理に基づく統計的決定理論（ベイズ
推定）について述べる。これらは、ギブス分布を仮定す
ることにより統一的に議論できることを示し、本発明が
ベイズ推定における最大事後確立推定（the Maximum A
Posterior(ＭＡＰ)estimate)に対応していることを示
す。

【００２８】正則化理論（regularization theory)にお
ける正則化とは、適切な制約条件を用いての解の探索空
間を狭めることによって、不良設定問題を良設定問題に
変換する手法である。この方法により、一部が欠落し
た、信頼性の低いデータから、解を一意に求めることが
できる。

【００２９】標準正則化理論（standard regularizatio
n theory) では、未知の量ｘから、線型操作を受けて、
データが得られる場合に、データｙから未知の量ｘを推
定する問題の解法として、

【００３０】

【数１】

【００３１】を最小にするｘを求めるという最小化問題
に持ち込む。λを両者を考慮するかねあいを決める正則
化パラメータである。‖Ａｘ−ｙ‖² は、データと解と
の差を表し、ペナルティ汎関数とよぶ。

【００３２】‖Ｐｘ‖² は、解に対する制約条件（例え
ば、滑らかさ）を表し、安定化汎関数とよぶ。この定式
化は「観測データとの矛盾が少なく、制約条件を良く満
たすような解を探す」ことを意味している。

【００３３】標準正則化理論では、二次形式のノルムを
採用しており、Ｐは線形作用素に限定している。この条
件の下では、解空間が凸であり、解が唯一存在すること
を、二次形式の変分原理によって示すことができる。非
二次形式の汎関数の場合は、解空間は凸ではなく、多く
の局所最小値（ローカルミニマム）を持つ。

【００３４】例として、一次元データｄ（ｘ）を補間す
る問題を考える。正則化理論のアプローチでは、この問
題を、汎関数Ｅ（ｘ）を最小にするような関数ｆ（ｘ）
を見つけることに帰着させる。

【００３５】

【数２】

【００３６】第１項は、ペナルティ汎関数であり、第２
項は、安定化汎関数である。この項は、適切な微分作用
素Ｌによって、解に滑らかさの拘束を与える。データが
正方格子上で与えられ、エネルギー関数が離散化されて
いる場合、滑らかさの作用素をＬ＝ｄ／ｄｘと仮定する
とエネルギー関数は次式になる。

【００３７】

【数３】

【００３８】ベイズの定理は事象の条件付確立に関する
ものである。

【００３９】

【数４】

【００４０】例えば、Ｘは、ある特定のシーン（りん
ご）で、Ｙは、そのシーンを写した画像である。式中の
確率は以下のように説明できる。 Ｐ（Ｘ｜Ｙ）その画像に写っているシーンがりんごであ
る事後確立（a posteriori Probability) 。

【００４１】Ｐ（Ｘ｜Ｙ）りんごのシーンを写した場
合、その画像になる確立。 りんごがどのように画像に写されるかのモデルに対応す
る。 Ｐ（Ｘ）シーンにりんごがある事前確率（a priori Pro
bability) 。

【００４２】Ｐ（Ｙ）その画像が出現する事前確率 Ｐ（Ｘ｜Ｙ）とＰ（Ｘ）とから決まる正規化パラメータ
である。 この定理を利用する視覚情報処理システムでは、事前確
率（Ｐ（Ｘ））と外界の情報がどのように画像に投影さ
れるかのモデルに対応する確率（Ｐ（Ｘ｜Ｙ））を決め
るための仮定が必要になる。これらの確率を決めてしま
えば、システムはペイズの定理を使って、その画像にり
んごが写っている確率を決めることができる。

【００４３】次に最大事後確率推定（the Maximum A Po
sterior(ＭＡＰ)estimate)について述べる。ベイズの定
理を使って、「Ｘが何であるか」求めるためには、Ｘの
事後確率分布Ｐ（Ｘ｜Ｙ）の統計量を計算しなければな
らない。一つのアプローチは、事後確率を最大にするＸ
を解とみなすもので、この方法をＸの最大事後確率推定
（ＭＡＰ推定）と呼ぶ。

【００４４】事前確率（Ｐ（Ｘ））が一様、すなわちデ
ータが観測される前、全ての解が同じ確率で起こり得る
という知識がある。あるいは、何も事前知識がない（ど
の解が出てもおかしくない）場合は、ＭＡＰ推定は、最
尤推定（the Maximum Likelihood Estimate:ＭＬＥ) と
呼ばれる。ＭＬＥは、外界の情報がどのように画像に投
影されるかのモデルに対応する確立（Ｐ（Ｘ｜Ｙ））を
最大にするＸを見つける。

【００４５】エネルギー最小化／正則化のアプローチ
は、確率分布としてギブス分布（Gibbsdistribution)を
仮定すると、ベイズ推定の枠組で議論できる。ωを確率
変数とすると、ギブス分布は、以下のように表現でき
る。

【００４６】

【数５】

【００４７】βは定数。 Ｚは分配関数（partition function) と呼ばれる、正規
化のための定義。 Ｅ（ω）はエネルギーに対応する量。

【００４８】（４）式のエネルギー関数を例にとると、
ガウシアン関数の積から成る確立分布になる。

【００４９】

【数６】

【００５０】右辺第１項は、Ｐ（ｄ｜ｆ）に、第２項
は、Ｐ（ｆ）に対応する。（８）式のｆは、（５）式の
Ｘに、ｄはＹに対応する。エネルギー関数Ｅ（ｆ，ｄ）
を最小化して、解ｆ_opt を見つけること、すなわち

【００５１】

【数７】

【００５２】は対応する確率を最大にすること（最大事
後確率推定）と等化になる。

【００５３】

【数８】

【００５４】したがって、本発明がベイズ推定における
最大事後確率推定（the Maximum A Posterior(ＭＡＰ)e
stimate)に対応していることがわかる。

【００５５】

【実施例】図２は本発明における物体の表現とエネルギ
ー関数の設定の説明図である。同図において、物体表現
としては外界の物体の種類が例えばトークンとして、ま
た物体の位置、例えばカメラとの相対位置がニューラル
ネットワークの入力層のそれぞれのユニットに与えられ
る。また物体のトークンや位置に関する先験的知識がエ
ネルギー関数として表現される。この先験的知識として
は、例えばニュートンの運動法則のような物理法則に基
づく拘束や、物体が剛体であるという仮定のような自然
な拘束、または以前の観測から推定される外界について
の期待としての人工的な拘束などがある。

【００５６】図３は学習過程の説明図、図４はそのフロ
ーチャートである。これらの図において、まずで外界
にある物体のトークンや位置Ｓを変化させて、その時セ
ンサから出力される物体の像αが教師データとして集め
られる。そしてでこのｓとｄとの関係が教師データと
して、ｓが入力層の各ユニットに与えられ、またｄは出
力層ユニットの出力との誤差を計算するために出力層ユ
ニットに掲示される。そしてバックプロパゲーション法
によってニューラルネットワークの重みの更新が行われ
る。

【００５７】図５は階層型ニューラルネットワークの説
明図である。同図において入力層のユニットと中間層ユ
ニットとの間の重みはｗ、中間層ユニットと出力層ユニ
ットとの間の重みはｖで表現されており、図３のでは
重みとしてのｗとｖとの修正が行われる。

【００５８】図６は認識過程の説明図、図７はそのフロ
ーチャートである。認識過程においては、まずで物体
のトークンや位置ｓの初期値ｓ₀ がニューラルネットワ
ークの入力層ユニットに与えられる。そしてセンサによ
って得られた物体の像ｄがでニューラルネットワーク
の出力層のユニットに掲示され、出力層ユニットの出力
ｆと像ｄとの誤差がある一定値以下に収束するまで、入
力層ユニットへの入力データの修正が行われる。誤差が
ある一定値以下に収束した時点で、その時の入力層ユニ
ットへの入力がで認識結果、例えば物体の種類や位置
の認識結果として得られることになる。

【００５９】図８は本発明の認識方式を用いる視覚情報
処理システムの概要説明図である。このシステムは対象
物２０を視覚センサとしてのカメラ２１で撮影し、その
画像から、例えば頂点のような特徴点を抽出し、対象物
の種類や位置を特定する視覚情報処理システムである。

【００６０】図９（ａ）は本発明における階層型ニュー
ラルネットワーク２２の実施例の説明図である。前述の
ように、この実施例は物体のトークンおよびカメラと物
体との相対的な角度を入力とし、画像中の特徴点の座標
を出力する階層型ニューラルネットワーク２２から構成
される。ここでは簡単のため対象物２０としては多面体
に限定されるものとするが、一般の物体についても適切
な特徴点を用いれば本発明を適用することが可能であ
る。

【００６１】図９（ａ）において、ニューラルネットワ
ーク２２の入力層ユニットは白丸、出力層ユニットは
（四面体の各頂点のｘ，ｙ座標に対応する８個）は黒丸
で示されている。入力層ユニットのうちｎ個に対しては
物体のトークンが割り当てられる。すなわちここでは物
体の種類がｎ個あるものとし、対象物の種類に応じたト
ークンｍ_i の１つだけが‘１’となる。

【００６２】対象物２０の位置は図９（ｂ）に示す２つ
の角度θとφによって入力層ユニットに与えられるもの
とする。すなわち視野の中心としての一点の座標
（ｘ_c ，ｙ _c ，ｚ_c ）を中心とする球面上のどこからカ
メラが物体を見ているかを指定するために、必要な２つ
の角度θとφが用いられる。一般的にはこの球面の半径
も必要であるが、ここでは簡単のために位置の自由度を
‘２’に制限して、θとφだけで位置を指定するものと
する。これは常に同じ点を同一の距離から視野の中心に
見ることに対応する。

【００６３】なお特徴点の数が異なる複数種類の物体を
認識する必要のあるような場合には出力層のユニット数
を特徴点の数が最大のものに合わせておくことで対応で
きる。この場合には画像中の特徴点に対応しない出力層
ユニットからは誤差を逆伝搬しないように学習が行われ
る。

【００６４】前述のように、トークンを示すｍ_i のうち
値が‘１’をとるものは１つだけであるとしたが、これ
は物体のトークンｓに関する先験的知識として常に１つ
の物体の全体が視野に入っているということを使ってお
り、ｍ_i のうち１つ以外は全て‘０’であるという制約
が与えられていることになる。

【００６５】学習過程においては、まずｓを変化させ
て、そのときセンサから出力されたセンサデータｄを集
める。この場合は、頂点の数がある一定値である多面体
を用意する。それを上記の位置拘束条件に従って、カメ
ラで撮影し、頂点を特徴点として検出する。

【００６６】次に階層ニューラルネットワークの入力層
に物体のトークン、位置ｓを、出力層に像ｄを教師デー
タとして与え、その写像を誤差逆伝搬学習によって学習
する。

【００６７】この場合は入力層に物体のトークンｍ_i 、
位置θとφを表現するユニットをそれぞれ用意する、出
力層には特徴点の座標（ｘ_j ，ｙ_j ）に対応するユニッ
トを用意する。この間の写像を、先に生成した教師デー
タを用い、誤差逆伝搬学習によって学習する。

【００６８】認識過程においては、まず何らかの方法に
よって、物体のトークン、位置の初期値ｓ（０）を過程
して、それをネットワークに入力する。次にネットワー
クから出力された像ｆと、実際に計測された像ｄとの差
を計算する。この場合はネットワークから出力された特
徴点の座標と、実際に撮影された画像の特徴点の座標と
の差をユニットごとに計算する。

【００６９】続いてその差に対応するエネルギー関数。

【００７０】

【数９】

【００７１】と外界に関する先験的知識に対応するエネ
ルギー関数Ｕ（ｓ）との和

【００７２】

【数１０】

【００７３】を、最急降下法によって最小にする。

【００７４】

【数１１】

【００７５】Ｋは定数、エネルギー関数を最小とするｓ
が解となる。右辺第２項は、以下のように展開できる。

【００７６】

【数１２】

【００７７】この式の第１項について考える。

【００７８】

【数１３】

【００７９】右辺の偏微分は、物体のトークン、位置が
変化した時に、像がどの程度変化するかを表している。
すなわち、ニューラルネットワークの入力層の一つのユ
ニットの値の変化が、出力層の一つのユニットの出力値
の変化にどのくらい影響するかという感度を表す。これ
は以下のように計算できる。

【００８０】図５のように、入力層のユニットｉの入出
力値をｓ_i ，入力層ユニットｉと中間層のユニットｋと
の間の結合の重みをｗ_ki,中間層のユニットｋの入力値
をＨ_k ＝Σ_i ｗ_kiｓ_i ，中間層のユニットｋの出力値を
ｈ_k ＝σ（Ｈ_k ），（σはユニットの入出力関数）

【００８１】

【数１４】

【００８２】

【数１５】

【００８３】以上のように本発明では階層型ニューラル
ネットワークを用いて物体認識が行われるが、本発明で
は一般的な使用法とは逆にネットワークの入力層ユニッ
トに物体のトークンや位置が与えられ、出力層ユニット
からはセンサデータとしての観測値が出力される点に最
大の特徴がある。これに対して、一般的には入力層ユニ
ットに観測値が与えられ、出力層ユニットからは認識結
果としての物体のトークンや位置が出力される。

【００８４】本発明と一般的な場合とを、自転車とその
プラモデル（ミニカー、玩具）の認識を例にとって比較
する。一般的な場合には自転車の画像とミニカーのアッ
プの画像が同じとし、出力層ユニットからの出力により
両者を区別させるものとすると、ネットワークは両者の
平均値を学習することになり、認識結果はどちらにも落
ち着かないことになる。

【００８５】これに対して本発明においては、入力層ユ
ニットに実物か玩具かの区別を、アドホックな、すなわ
ち状況に応じた仮定として設定して入力することによっ
て必ずどちかに落ち着くという利点がある。さらに本発
明ではネットワークは物体のトークンや位置と観測デー
タとの関係、すなわち非線形性の弱い関係を学習してい
るという特徴もある。

【００８６】図１０は認識する物件の種類、または認識
するカテゴリーの種類に対応する数だけニューラルネッ
トワークを備えた複数ネットワークシステムの構成図で
ある。同図において、物体の種類やカテゴリーの種類の
数に対応して複数のネットワークを設けることによっ
て、単一のネットワークだけを用いる場合に比べて１つ
のネットワークの規模を小さくすることができる。ネッ
トワークの規模を小さくすることによって、学習時間の
短縮やネットワークの役割の明確化が実現される。

【００８７】また新たな物体やカテゴリーを学習させる
場合に、単一ネットワークでは以前の学習データを含め
て学習のやり直しを行う必要があるのに対して、複数ネ
ットワークを用いる場合には新しい物体やカテゴリーに
対応する新しいネットワークだけに学習を行わせ、それ
をシステムに付け加えるだけでよいという利点がある。
単一のネットワークの場合に再学習が必要となる理由
は、新たな学習だけでは以前の学習結果としての重みな
どが以前の学習データに関係なく修正されてしまうから
であり、従って学習終了後も以前の教師データをとって
おく必要がある。

【００８８】図１０において、複数のネットワークに与
えられる入出力データは全てのネットワークで共通とさ
れる。ある決められた時間内に誤差がある一定値以下に
収束したネットワークの入力データが物体認識結果とさ
れる。

【００８９】図１１は図１０のように複数のネットワー
クを用いない場合の新しい物体に対する学習の可能性の
説明図である。前述の変換Ｔ_ijが物体によって変わら
ず、共通の場合には、学習の結果、入力層のユニットか
ら中間層ユニットへの結合の重みとして物体モデルＭ_i
を表現し、中間層ユニットから出力層ユニットへの結合
の重みとして変換Ｔ_ijを表現するというような役割分担
が行われることが期待される。その場合には、新たな物
体Ｍ_n を学習するにあたり、入力層ユニットから中間層
ユニットへの結合の重みだけを学習すればよいことにな
り、以前の学習でニューラルネットワーク内に実現され
たモデルや変換を破壊することが避けられるものと期待
される。

【００９０】なお、以上の実施例では、例えば図８にお
いて視覚センサとしてのカメラの画像を直接ニューラル
ネットワークに与えるものとしたが、画像に対して細線
化や端点抽出などの特徴量抽出を行い、その結果をニュ
ーラルネットワークに与えることも可能である。

【００９１】

【発明の効果】以上詳細に説明したように、本発明によ
れば階層型ニューラルネットワークを用いて極めて有効
な物件認識システムを構築することができる。

【００９２】本発明は、物体の特定と変換の検出とを分
離しておらず、ニューラルネットワークを用いて、同時
並列に行っているため、物体に応じた変換を行うことが
できる。

【００９３】またセンサそのものの特性に基づくゆがみ
や、雑音による変形のような定式化されていない変換
は、階層型ニューラルネットワークの非線形写像近似能
力により解決できる。

【００９４】さらに逆変換の不良設定性については適切
な制約条件を用いて解の探索空間を狭めることによって
解決できる。本発明の学習方式では隠れていたり、ノイ
ズの影響などですべての特徴点を検出できない場合で
も、検出できた特徴と先験的知識を使って、尤らしい推
定をするので、安定である。

【００９５】また、学習していない物体を見せて認識さ
せようとしても、矛盾が解消しないため、いつまでも収
束しない、その様子を観察すれば、その物体が未知のも
のであることがわかる。

【００９６】本発明は、雑音に強く、アルゴリズムの動
作を保証する根拠をもち、得られた結果の意味が明確で
あるという利点をもつ、アドホックな仮定を設けても、
それが他の計算と分離されているので、仮定だけを修正
することが可能である。また、並列計算に適した計算の
性質を持っている。

【００９７】階層型ニューラルネットワークを用いた方
法としての効果としては、第１にネットワークは、セン
サデータと処理結果との関係だけを学習し、仮定はエネ
ルギー関数として設定するので、仮定が成り立たない事
例に対しては、適切な仮定を設けて、別のエネルギー関
数を用意すれば、希望の処理を行うことができる。学習
をやり直す必要がない。

【００９８】第２にネットワークは、外界の情報がセン
サにどのように取り込まれるかの特性、各センサ固有の
特性（偏り、歪み等）、雑音付加といった良設定問題だ
けを学習することになるので、汎化性が期待できる。

【００９９】第３に学習する関係の非線形性が弱いた
め、中間層のユニットは少なくて済み、ネットワークは
小規模で良い、学習時間の短い、という効果がある。

【図面の簡単な説明】

【図１】本発明の機能ブロック図である。

【図２】本発明における物体表現とエネルギー関数の設
定を説明する図である。

【図３】物体認識システムの学習過程の説明図である。

【図４】物体認識システムの学習過程の処理フローチャ
ートである。

【図５】階層型ニューラルネットワークの例を示す図で
ある。

【図６】認識過程の説明図である。

【図７】認識過程の処理フローチャートである。

【図８】視覚情報処理システムの概要を示す図である。

【図９】階層型ニューラルネットワークの実施例を示す
図である。

【図１０】複数のネットワークを備えたシステムの構成
を示す図である。

【図１１】単一のネットワークにおける新たな物体に対
する学習の可能性を説明する図である。

【図１２】物体認識システムの説明図である。

【符号の説明】

１ 物体認識システム ２ 外界 ３ センシングプロセス ４ 認識プロセス １１ 学習過程 １２ 認識過程 ２０ 対象物 ２１ カメラ ２２ 階層型ニューラルネットワーク

Claims (8)

【特許請求の範囲】
1. 【請求項１】 階層型ニューラルネットワークを備え、
   センサから物体に関する情報を取得して物体を認識する
   物体認識システムにおいて、 物体認識結果としてのデータを該ニューラルネットワー
   クの入力層ユニットに、該物体に関するセンサからの情
   報を出力層ユニットに教師データとして与える学習過程
   （１１）と、 学習後の該ニューラルネットワークの出力層ユニットの
   出力と認識対象物体に関するセンサからの情報との矛盾
   が少なく、外界に関する制約条件を最もよく満足する認
   識結果を、該認識結果に対応する入力層ユニットへの入
   力データを変化させ、該矛盾および制約に対応するエネ
   ルギー関数を最小化することによって探索する認識過程
   （１２）とから成ることを特徴とする階層型ニューラル
   ネットワークを用いた物体認識方式。
2. 【請求項２】 前記学習過程（１１）において、バック
   プロパゲーション法を用いることを特徴とする請求項１
   記載の階層型ニューラルネットワークを用いた物体認識
   方式。
3. 【請求項３】 前記認識過程（１２）において、前記エ
   ネルギー関数の最小化に際して最急降下法を用いること
   を特徴とする請求項１記載の階層型ニューラルネットワ
   ークを用いた物体認識方式。
4. 【請求項４】 前記物体認識システムにおいて、認識対
   象物体に対応する数の階層型ニューラルネットワークを
   備えたことを特徴とする請求項１記載の階層型ニューラ
   ルネットワークを用いた物体認識方式。
5. 【請求項５】 前記物体認識システムにおいて、認識対
   象カテゴリーに対応した数の階層型ニューラルネットワ
   ークを備えたことを特徴とする請求項１記載の階層型ニ
   ューラルネットワークを用いた物体認識方式。
6. 【請求項６】 前記認識過程（１２）において、前記外
   界に関する制約条件を設けず、前記出力層ユニットの出
   力とセンサからの情報との矛盾だけを小さくすることを
   特徴とする請求項１記載の階層型ニューラルネットワー
   クを用いた物体認識方式。
7. 【請求項７】 前記センサとして視覚センサを用い、視
   覚センサによる物体認識システムを構成することを特徴
   とする請求項１記載の階層型ニューラルネットワークを
   用いた物体認識方式。
8. 【請求項８】 前記物体認識システムにおいて、物体の
   画像から特徴量を抽出し、該特徴量を前記物体に関する
   センサからの情報に代えることを特徴とする請求項７記
   載の階層型ニューラルネットワークを用いた物体認識方
   式。