JPH05288543A - 視覚情報と触覚情報とを統合した認識装置 - Google Patents
視覚情報と触覚情報とを統合した認識装置Info
- Publication number
- JPH05288543A JPH05288543A JP4085177A JP8517792A JPH05288543A JP H05288543 A JPH05288543 A JP H05288543A JP 4085177 A JP4085177 A JP 4085177A JP 8517792 A JP8517792 A JP 8517792A JP H05288543 A JPH05288543 A JP H05288543A
- Authority
- JP
- Japan
- Prior art keywords
- information
- visual
- sensor
- depth
- tactile
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Manipulator (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- A Measuring Device Byusing Mechanical Method (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Length Measuring Devices With Unspecified Measuring Means (AREA)
Abstract
(57)【要約】
【目的】 本発明は，例えば視覚センサからの情報によ
って再構成された面について触覚センサからの情報にも
とづいてチェックするようにし，面を正しく再構成でき
るようにすることを目的としている。 【構成】 視覚センサ１Ｌ，１Ｒと，触覚センサ４とを
用いて，（１）視覚センサの情報から統計的緩和によっ
て復元された物体表面の曲面を再構成し，（２）不連続
が検出された場所を触覚センサで探索して，統計的緩和
によって物体の表面の曲面を再構成し，（３）両者の矛
盾を検出して，（４）触覚センサから再構成されたもの
を教師として，局所的エネルギーを学習する。
って再構成された面について触覚センサからの情報にも
とづいてチェックするようにし，面を正しく再構成でき
るようにすることを目的としている。 【構成】 視覚センサ１Ｌ，１Ｒと，触覚センサ４とを
用いて，（１）視覚センサの情報から統計的緩和によっ
て復元された物体表面の曲面を再構成し，（２）不連続
が検出された場所を触覚センサで探索して，統計的緩和
によって物体の表面の曲面を再構成し，（３）両者の矛
盾を検出して，（４）触覚センサから再構成されたもの
を教師として，局所的エネルギーを学習する。
Description
【０００１】
【産業上の利用分野】本発明は，視覚センサ（カメラ
等）と触覚センサとをもつセンシングシステムを構成
し，各センサからの出力情報を統合することにより，物
体を認識するのに必要な情報を獲得することを特徴とす
る視覚情報と触覚情報とを統合した認識装置に関するも
のである。
等）と触覚センサとをもつセンシングシステムを構成
し，各センサからの出力情報を統合することにより，物
体を認識するのに必要な情報を獲得することを特徴とす
る視覚情報と触覚情報とを統合した認識装置に関するも
のである。
【０００２】本発明では，特に，物体の認識，把握を行
うために必要とする物体表面の再構成に適するものであ
る。
うために必要とする物体表面の再構成に適するものであ
る。
【０００３】
【従来の技術】従来から，この種の技術として次の技術
が知られている。 1) 単一種のセンサによるセンシング 従来のセンシングシステムは，測定対象が個別に規定さ
れた，単一の機能を実現するものであった。このため，
単一のセンサからの信号に対しては十分な処理ができる
が，多種類のセンサからの情報に対する処理システムと
しては不十分である。したがって，個々のセンサの出力
は，独立なモジュールで処理されており，複数のセンサ
からの出力を用いて相補的な処理を行うことは期待でき
ない。 2) 統計的緩和による画像復元 Ｓ．ＧemanとＤ．Ｇemanは，マルコフ確率場モデルに基
づいた最大事後確率推定を可能にする統計的緩和（stoc
hastic relaxation)と呼ばれるアルゴリズムを提案し
た。この研究は，輪郭線抽出や，texture 画像のセグメ
ンテーション，ＣＴ再構成に使われるなど実用性もあ
る。
が知られている。 1) 単一種のセンサによるセンシング 従来のセンシングシステムは，測定対象が個別に規定さ
れた，単一の機能を実現するものであった。このため，
単一のセンサからの信号に対しては十分な処理ができる
が，多種類のセンサからの情報に対する処理システムと
しては不十分である。したがって，個々のセンサの出力
は，独立なモジュールで処理されており，複数のセンサ
からの出力を用いて相補的な処理を行うことは期待でき
ない。 2) 統計的緩和による画像復元 Ｓ．ＧemanとＤ．Ｇemanは，マルコフ確率場モデルに基
づいた最大事後確率推定を可能にする統計的緩和（stoc
hastic relaxation)と呼ばれるアルゴリズムを提案し
た。この研究は，輪郭線抽出や，texture 画像のセグメ
ンテーション，ＣＴ再構成に使われるなど実用性もあ
る。
【０００４】
【発明が解決しようとする課題】上記従来の技術に関し
ては，次の如き問題が残っている。即ち， 1) 単一種のセンサによるセンシングに関して。
ては，次の如き問題が残っている。即ち， 1) 単一種のセンサによるセンシングに関して。
【０００５】知能ロボット，自律移動車の分野を中心
に，システム全体で用いるセンサの数や種類が増大する
につれて，多種類・大量のセンサ情報に対する効率的な
処理が必要となってきた。多種類のセンサ情報を扱うこ
とは，それだけ処理すべき情報量の増大を意味し，セン
サ情報間の矛盾（センサ情報の間の矛盾，測定時間のず
れ，センサの不均一など）を生むことがある。しかし，
当該技術の場合には，センサ情報を相互に補完，統合す
ることは困難である。 2) 統計的緩和による画像復元に関して。
に，システム全体で用いるセンサの数や種類が増大する
につれて，多種類・大量のセンサ情報に対する効率的な
処理が必要となってきた。多種類のセンサ情報を扱うこ
とは，それだけ処理すべき情報量の増大を意味し，セン
サ情報間の矛盾（センサ情報の間の矛盾，測定時間のず
れ，センサの不均一など）を生むことがある。しかし，
当該技術の場合には，センサ情報を相互に補完，統合す
ることは困難である。 2) 統計的緩和による画像復元に関して。
【０００６】画像のマルコフ確率場モデルを特徴づける
局所的エネルギーに埋めこまれている所の外界に関する
事前知識は，アドホックに定められており，現実の画像
のモデルとして適切である保証はない。
局所的エネルギーに埋めこまれている所の外界に関する
事前知識は，アドホックに定められており，現実の画像
のモデルとして適切である保証はない。
【０００７】即ち，面を再構成するに当たって，例え
ば，エッジの線が十字形状に現れる場合においてそのエ
ッジに沿って奥行きに段差が存在する確率や，エッジ線
が一字形状に現れる場合においてそのエッジに沿って奥
行きに段差が存在する確率などを，アドホックに定めて
おいて，当該確率を考慮して面がスムーズに連なるもの
として再構成するか段差をもつものとして再構成するか
を定めるようにしているが，仮に段差のないものとして
再構成した面が現実の面と合致するか否かについてはそ
の保証がない。
ば，エッジの線が十字形状に現れる場合においてそのエ
ッジに沿って奥行きに段差が存在する確率や，エッジ線
が一字形状に現れる場合においてそのエッジに沿って奥
行きに段差が存在する確率などを，アドホックに定めて
おいて，当該確率を考慮して面がスムーズに連なるもの
として再構成するか段差をもつものとして再構成するか
を定めるようにしているが，仮に段差のないものとして
再構成した面が現実の面と合致するか否かについてはそ
の保証がない。
【０００８】本発明は，例えば視覚センサからの情報に
よって再構成された面について触覚センサからの情報に
もとづいてチェックするようにし，面を正しく再構成で
きるようにすることを目的としている。
よって再構成された面について触覚センサからの情報に
もとづいてチェックするようにし，面を正しく再構成で
きるようにすることを目的としている。
【０００９】
【課題を解決するための手段】図１は本発明の原理構成
図を示す。図中の符号１Ｌ，１Ｒは夫々視覚センサ（カ
メラ），４は触覚センサ，６は視覚センサ利用奥行き情
報抽出部，７は触覚センサ利用奥行き情報抽出部，８は
復元された面処理部，１１はアクチュエータであって触
覚センサ４を所望する位置に移動するもの，１２は面再
構成処理部，１３は矛盾検出部，１４は復元された面を
表している。
図を示す。図中の符号１Ｌ，１Ｒは夫々視覚センサ（カ
メラ），４は触覚センサ，６は視覚センサ利用奥行き情
報抽出部，７は触覚センサ利用奥行き情報抽出部，８は
復元された面処理部，１１はアクチュエータであって触
覚センサ４を所望する位置に移動するもの，１２は面再
構成処理部，１３は矛盾検出部，１４は復元された面を
表している。
【００１０】面再構成処理部１２は，例えば視覚センサ
１Ｌ，１Ｒからの情報を用いて，奥行き情報抽出部６か
ら得られた奥行き情報をもとに，マルコフ確率場モデル
を採用し，ベイズの定理を用いて事後確率を最大にする
ように面を再構成する。
１Ｌ，１Ｒからの情報を用いて，奥行き情報抽出部６か
ら得られた奥行き情報をもとに，マルコフ確率場モデル
を採用し，ベイズの定理を用いて事後確率を最大にする
ように面を再構成する。
【００１１】矛盾検出部１３は，視覚センサからの情報
にもとづいて得られた再構成された面と，触覚センサか
らの情報にもとづいて得られた再構成された面とでの矛
盾する個所を検出し，両者を合理的に統合するようにす
る。例えば，視覚センサからの情報にもとづいて得られ
た再構成された面において段差が存在する可能性のある
とみなされた個所を抽出し，アクチュエータ１１を発動
して触覚センサ４を当該個所に移動せしめ，触覚センサ
４からの情報にもとづいて得られた再構成された面をも
って，上記視覚センサからの情報にもとづいて再構成さ
れた面の該当個所を置換するようにする。
にもとづいて得られた再構成された面と，触覚センサか
らの情報にもとづいて得られた再構成された面とでの矛
盾する個所を検出し，両者を合理的に統合するようにす
る。例えば，視覚センサからの情報にもとづいて得られ
た再構成された面において段差が存在する可能性のある
とみなされた個所を抽出し，アクチュエータ１１を発動
して触覚センサ４を当該個所に移動せしめ，触覚センサ
４からの情報にもとづいて得られた再構成された面をも
って，上記視覚センサからの情報にもとづいて再構成さ
れた面の該当個所を置換するようにする。
【００１２】
【作用】本発明では， 1) 視覚センサ（カメラ等）の情報から統計的緩和によ
って復元された物体表面の曲面を再構成したあと， 2) 不連続が検出された場所を触覚センサで探索して，
統計的緩和によって物体表面の曲面を再構成し， 3) 両者の矛盾を検出して， 4) 触覚センサから再構成されたものを教師として，局
所的エネルギーを学習する。
って復元された物体表面の曲面を再構成したあと， 2) 不連続が検出された場所を触覚センサで探索して，
統計的緩和によって物体表面の曲面を再構成し， 3) 両者の矛盾を検出して， 4) 触覚センサから再構成されたものを教師として，局
所的エネルギーを学習する。
【００１３】
【実施例】図２は本発明の実施例構成を示す。図中の符
号１Ｌ，１Ｒ，４，６，７，８，１１は図１に対応して
いる。また２Ｌ，２Ｒは夫々視覚センサ画像，３Ｌ，３
Ｒは夫々ゼロ交差抽出部であってエッジを抽出するも
の，５は変換処理部であって触覚センサ４からの情報を
用いて奥行き方向の大きさ情報に変換するもの，９は変
換処理部であって奥行きが不連続（段差がある）とみな
された位置の情報にもとづいて触覚センサを移動する目
標位置を設定するもの，１０は運動司令生成部であって
触覚センサ４を移動せしめる運動を司令するものを表し
ている。以下，概略，次のように動作する。
号１Ｌ，１Ｒ，４，６，７，８，１１は図１に対応して
いる。また２Ｌ，２Ｒは夫々視覚センサ画像，３Ｌ，３
Ｒは夫々ゼロ交差抽出部であってエッジを抽出するも
の，５は変換処理部であって触覚センサ４からの情報を
用いて奥行き方向の大きさ情報に変換するもの，９は変
換処理部であって奥行きが不連続（段差がある）とみな
された位置の情報にもとづいて触覚センサを移動する目
標位置を設定するもの，１０は運動司令生成部であって
触覚センサ４を移動せしめる運動を司令するものを表し
ている。以下，概略，次のように動作する。
【００１４】即ち， 1) カメラから出力される画像に，フィルタをかけてゼ
ロ交差を検出する（明るさ情報を２度微分してゼロ・レ
ベル位置を検出してエッジの存在を得る）。 2) ２台のカメラから得られた２組のゼロ交差に対し
て，両眼の対応をとり，得られた両眼視差に基づき，面
の奥行きを推定する。 3) マルコフ確率場モデルを採用し，ベイズの定理をも
ちいて事後確率を最大にする面を求める。この面の再構
成の問題はエネルギーの最小化問題に帰着できることに
なる。このエネルギー関数には，面の不連続性を反映す
るため，線処理過程（line process）が導入されてい
る。これは隣接する画像の奥行き値の差が大きいとき
は，なめらかに面をつなぐことをやめて，奥行きが不連
続であると推定するものである。 4) 奥行きが不連続であると推定された位置に触覚セン
サを移動し，面に接触させる。 5) 面の再構成を，4)と同様に行う。 6) 触覚センサから再構成した面の不連続位置を教師と
して，局所エネルギーを学習する。
ロ交差を検出する（明るさ情報を２度微分してゼロ・レ
ベル位置を検出してエッジの存在を得る）。 2) ２台のカメラから得られた２組のゼロ交差に対し
て，両眼の対応をとり，得られた両眼視差に基づき，面
の奥行きを推定する。 3) マルコフ確率場モデルを採用し，ベイズの定理をも
ちいて事後確率を最大にする面を求める。この面の再構
成の問題はエネルギーの最小化問題に帰着できることに
なる。このエネルギー関数には，面の不連続性を反映す
るため，線処理過程（line process）が導入されてい
る。これは隣接する画像の奥行き値の差が大きいとき
は，なめらかに面をつなぐことをやめて，奥行きが不連
続であると推定するものである。 4) 奥行きが不連続であると推定された位置に触覚セン
サを移動し，面に接触させる。 5) 面の再構成を，4)と同様に行う。 6) 触覚センサから再構成した面の不連続位置を教師と
して，局所エネルギーを学習する。
【００１５】以下，より具体的に説明する。視覚センサ
１Ｌや１Ｒから得られた画像２Ｌ，２Ｒにもとづいて，
エッジ部分を抽出するようにする。図示のゼロ交差抽出
部３Ｌ，３Ｒにおいては，画像２Ｌ，２Ｒの明るさ情報
を２度微分してエッジ部分を抽出する。当該ゼロ交差検
出に関しては， 「ゼロ交差検出アルゴリズム，舟久保登：視覚パターン
の処理と認識，啓学出版，１９９０．ｐｐ．１１０〜１
１８」 「‘早期ビジョン’大須賀節雄監訳：人工知能大辞典，
丸善，１９９１．」 「‘エッジ検出’大須賀節雄監訳：人工知能大辞典，丸
善，１９９１．」 などに示されている。
１Ｌや１Ｒから得られた画像２Ｌ，２Ｒにもとづいて，
エッジ部分を抽出するようにする。図示のゼロ交差抽出
部３Ｌ，３Ｒにおいては，画像２Ｌ，２Ｒの明るさ情報
を２度微分してエッジ部分を抽出する。当該ゼロ交差検
出に関しては， 「ゼロ交差検出アルゴリズム，舟久保登：視覚パターン
の処理と認識，啓学出版，１９９０．ｐｐ．１１０〜１
１８」 「‘早期ビジョン’大須賀節雄監訳：人工知能大辞典，
丸善，１９９１．」 「‘エッジ検出’大須賀節雄監訳：人工知能大辞典，丸
善，１９９１．」 などに示されている。
【００１６】次いで両画像２Ｌ，２Ｒの対応をとり，両
眼視差を検出し，得られた両眼視差にもとづき，面の奥
行きを推定する。当該奥行き推定に関しては， 「面の奥行き推定，舟久保登：視覚パターンの処理と認
識，啓学出版，１９９０．ｐｐ．２１５〜２２３」 「Ｄana Ｈ．Ｂallard／Ｃhristopher Ｍ．Ｂrown著，
福村晃夫他訳：コンピュータ・ビジョン，日本コンピュ
ータ協会，１９８７．ｐｐ．１１０〜１１６」 「‘早期ビジョン’大須賀節雄監訳：人工知能大辞典，
丸善，１９９１．」 「‘視覚奥行きマップ‘大須賀節雄監訳：人工知能大辞
典，丸善，１９９１．」 などに示されている。
眼視差を検出し，得られた両眼視差にもとづき，面の奥
行きを推定する。当該奥行き推定に関しては， 「面の奥行き推定，舟久保登：視覚パターンの処理と認
識，啓学出版，１９９０．ｐｐ．２１５〜２２３」 「Ｄana Ｈ．Ｂallard／Ｃhristopher Ｍ．Ｂrown著，
福村晃夫他訳：コンピュータ・ビジョン，日本コンピュ
ータ協会，１９８７．ｐｐ．１１０〜１１６」 「‘早期ビジョン’大須賀節雄監訳：人工知能大辞典，
丸善，１９９１．」 「‘視覚奥行きマップ‘大須賀節雄監訳：人工知能大辞
典，丸善，１９９１．」 などに示されている。
【００１７】このようにして得られた奥行き情報にもと
づいて，マルコフ確率場モデルを採用し，ベイズの定理
を用いて，事後確率を最大にする面を求めるようにす
る。当該面を求める処理の説明に先立って，マルコフ確
率場モデルに基づいた最大事後確率推定（ＭＡＰ推定）
を行う統計的緩和アルゴリズム（stochastic relaxatio
n ）について要点を説明しておく。 (1.1) ベイズの定理（Ｂayes rule ） ベイズの定理は事象の条件付確率に関するものである。
づいて，マルコフ確率場モデルを採用し，ベイズの定理
を用いて，事後確率を最大にする面を求めるようにす
る。当該面を求める処理の説明に先立って，マルコフ確
率場モデルに基づいた最大事後確率推定（ＭＡＰ推定）
を行う統計的緩和アルゴリズム（stochastic relaxatio
n ）について要点を説明しておく。 (1.1) ベイズの定理（Ｂayes rule ） ベイズの定理は事象の条件付確率に関するものである。
【００１８】
【数１】
【００１９】例えば，Ｘは，ある特定のシーン（りん
ご）で，Ｙは，そのシーンを写した画像である。式中の
確率は以下のように説明できる。 Ｐ（Ｘ｜Ｙ）その画像に写っているシーンがりんごであ
る事後確率（a posterior probability）。
ご）で，Ｙは，そのシーンを写した画像である。式中の
確率は以下のように説明できる。 Ｐ（Ｘ｜Ｙ）その画像に写っているシーンがりんごであ
る事後確率（a posterior probability）。
【００２０】Ｐ（Ｙ｜Ｘ）りんごのシーンを写した場
合，その画像になる確率。りんごがどのように画像に写
されるかのモデルに対応する。 Ｐ（Ｘ）シーンにりんごがある事前確率（a priori pro
bability）。
合，その画像になる確率。りんごがどのように画像に写
されるかのモデルに対応する。 Ｐ（Ｘ）シーンにりんごがある事前確率（a priori pro
bability）。
【００２１】Ｐ（Ｙ）その画像が出現する事前確率。Ｐ
（Ｙ｜Ｘ）とＰ（Ｘ）とから決まる正規化パラメータで
ある。 この定理を利用する視覚システムでは，事前確率（Ｐ
（Ｘ））と撮像のモデル（Ｐ（Ｙ｜Ｘ））を決めるため
の仮定が必要になる。これらの確率を決めてしまえば，
システムはベイズの定理を使って，その画像にりんごが
写っている確率を決めることができる。 (1.2) 最大事後確率推定（the Maximum A Posterior (M
AP)estimate) ベイズの定理を使って，「Ｘが何であるか」求めるため
には，Ｘの事後確率分布Ｐ（Ｘ｜Ｙ）の統計量を計算し
なければならない。一つのアプローチは，事後確率を最
大にするＸを解とみなすもので，この方法をＸの最大事
後確率推定（the Maximum A Posterior (MAP)estimate)
と呼ぶ。 (1.3) エネルギー関数 確率分布としてギブス分布（Gibbs distribution）を仮
定すると，最大事後確率推定を，エネルギー関数の最小
化によって行うことができる。
（Ｙ｜Ｘ）とＰ（Ｘ）とから決まる正規化パラメータで
ある。 この定理を利用する視覚システムでは，事前確率（Ｐ
（Ｘ））と撮像のモデル（Ｐ（Ｙ｜Ｘ））を決めるため
の仮定が必要になる。これらの確率を決めてしまえば，
システムはベイズの定理を使って，その画像にりんごが
写っている確率を決めることができる。 (1.2) 最大事後確率推定（the Maximum A Posterior (M
AP)estimate) ベイズの定理を使って，「Ｘが何であるか」求めるため
には，Ｘの事後確率分布Ｐ（Ｘ｜Ｙ）の統計量を計算し
なければならない。一つのアプローチは，事後確率を最
大にするＸを解とみなすもので，この方法をＸの最大事
後確率推定（the Maximum A Posterior (MAP)estimate)
と呼ぶ。 (1.3) エネルギー関数 確率分布としてギブス分布（Gibbs distribution）を仮
定すると，最大事後確率推定を，エネルギー関数の最小
化によって行うことができる。
【００２２】ギブス分布は，以下のように表現される。
【００２３】
【数２】
【００２４】βは定数。Ｚは分配関数（partition func
tion) と呼ばれる正規化のための定数。Ｕ（ω）はエネ
ルギーに対応する量で，
tion) と呼ばれる正規化のための定数。Ｕ（ω）はエネ
ルギーに対応する量で，
【００２５】
【数３】
【００２６】で定義される。Ｕ（ω）は，ωの状態にし
たがって，クリークＲに属する格子点の組Ｃについて定
義されるポテンシャルエネルギーＶｃ（ω）の和になっ
ている。
たがって，クリークＲに属する格子点の組Ｃについて定
義されるポテンシャルエネルギーＶｃ（ω）の和になっ
ている。
【００２７】近傍系Ｇを，注目している格子点に隣接す
る格子点の集合として定義する。この近傍系Ｇに対し
て，ある格子点の組Ｃに属する格子点が，この組の他の
格子点すべての近傍系Ｇに属する格子点の組Ｃを考え
る。このような格子点の組Ｃの集まりＲを，近傍系Ｇに
対するクリークと呼ぶ。ポテンシャルエネルギーＶｃ
（ω）は，クリークＲに属する格子点の組Ｃについて定
義される。 (1.4) マルコフランダムフィールド（Markov Random Fi
eld (MRF)) 格子点Ｘのある近傍系Ｇに対するクリークで定義された
エネルギー関数でギブス分布を決めることは，この格子
点Ｘがある近傍系Ｇ上でマルコフランダムフィールド
（Markov Random Field (MRF))という確率場（多次元確
率変数の族）であることと等価になる。
る格子点の集合として定義する。この近傍系Ｇに対し
て，ある格子点の組Ｃに属する格子点が，この組の他の
格子点すべての近傍系Ｇに属する格子点の組Ｃを考え
る。このような格子点の組Ｃの集まりＲを，近傍系Ｇに
対するクリークと呼ぶ。ポテンシャルエネルギーＶｃ
（ω）は，クリークＲに属する格子点の組Ｃについて定
義される。 (1.4) マルコフランダムフィールド（Markov Random Fi
eld (MRF)) 格子点Ｘのある近傍系Ｇに対するクリークで定義された
エネルギー関数でギブス分布を決めることは，この格子
点Ｘがある近傍系Ｇ上でマルコフランダムフィールド
（Markov Random Field (MRF))という確率場（多次元確
率変数の族）であることと等価になる。
【００２８】ＭＲＦは，特定の確率変数Ｘi が，その近
傍の状態だけに依存するような確率変数上の確率分布で
定義される。より正確にいうと，
傍の状態だけに依存するような確率変数上の確率分布で
定義される。より正確にいうと，
【００２９】
【数４】
【００３０】を満たすような近傍Ｎi が定義できるよう
な確率場である。 (1.5) 統計的緩和法 Ｘの確率分布としてギブス分布を仮定すれば，すなわち
Ｘの確率モデルとしてＭＲＦを採用すれば，最大事後確
率推定は，エネルギー関数を最小にするＸを見つけるこ
とと定式化できる。これを全数探索的に行うことは現実
的でない。統計的緩和法は，事後確率Ｐ（Ｘ｜Ｙ）で決
まる変数ごとの条件付確率が，局所的な相互作用エネル
ギーの計算だけ行えることを利用して，模擬焼きなまし
（simulated annealing ）と局所並列繰り返し計算によ
ってエネルギー関数の最小化を行う方法である。 (1.5.1) 条件付確率 ポテンシャルエネルギーＶｃ（ω）は，状態ωにある格
子点全体のうちクリークＲに属する格子点ｉの状態Ｘi
にのみ依存している。格子点ｉを除く格子点ｊにおける
確率変数Ｘj が状態ｘj をとっているとき，格子点ｉに
おいて，確率変数Ｘi が状態ｘi をとる条件付確率は，
な確率場である。 (1.5) 統計的緩和法 Ｘの確率分布としてギブス分布を仮定すれば，すなわち
Ｘの確率モデルとしてＭＲＦを採用すれば，最大事後確
率推定は，エネルギー関数を最小にするＸを見つけるこ
とと定式化できる。これを全数探索的に行うことは現実
的でない。統計的緩和法は，事後確率Ｐ（Ｘ｜Ｙ）で決
まる変数ごとの条件付確率が，局所的な相互作用エネル
ギーの計算だけ行えることを利用して，模擬焼きなまし
（simulated annealing ）と局所並列繰り返し計算によ
ってエネルギー関数の最小化を行う方法である。 (1.5.1) 条件付確率 ポテンシャルエネルギーＶｃ（ω）は，状態ωにある格
子点全体のうちクリークＲに属する格子点ｉの状態Ｘi
にのみ依存している。格子点ｉを除く格子点ｊにおける
確率変数Ｘj が状態ｘj をとっているとき，格子点ｉに
おいて，確率変数Ｘi が状態ｘi をとる条件付確率は，
【００３１】
【数５】
【００３２】ωx は，位置ｉではｘ，他の位置ではωと
一致するような状態を表す。 (1.5.2) ギブスサンプラー ギブスサンプラーは，一時刻に一格子点の状態について
のみ条件付確率に基づいて実現値を選び，更新するアル
ゴリズムである。 (1.5.3) 模擬焼きなまし Ｎを格子点の数，ΔをＵ（ω）の最大値と最小値との差
とする。このとき，あるスケジュールに従ってβを増加
させれば（焼きなまし），初期状態に依存せず最低のエ
ネルギー状態に達することができる。
一致するような状態を表す。 (1.5.2) ギブスサンプラー ギブスサンプラーは，一時刻に一格子点の状態について
のみ条件付確率に基づいて実現値を選び，更新するアル
ゴリズムである。 (1.5.3) 模擬焼きなまし Ｎを格子点の数，ΔをＵ（ω）の最大値と最小値との差
とする。このとき，あるスケジュールに従ってβを増加
させれば（焼きなまし），初期状態に依存せず最低のエ
ネルギー状態に達することができる。
【００３３】上記(1.1) ないし(1.5.3) に示した如き予
備知識をもとに，以下視覚センサからの情報に対応し
た，マルコフランダムフィールド（ＭＲＦ）モデルに基
づいた最大事後確率推定（ＭＡＰ推定）を行う統計的緩
和アルゴリズム（stochastic relaxation ）による面の
復元について述べる。
備知識をもとに，以下視覚センサからの情報に対応し
た，マルコフランダムフィールド（ＭＲＦ）モデルに基
づいた最大事後確率推定（ＭＡＰ推定）を行う統計的緩
和アルゴリズム（stochastic relaxation ）による面の
復元について述べる。
【００３４】各画素ｉがｑ1 からｑM までの値ｆi をと
るものとする。
るものとする。
【００３５】
【数６】
【００３６】各画素の値はその近傍の画素の値だけに依
存して決まる。すなわち，ＭＲＦモデルを仮定すると，
各画素の値の確率分布がギブス分布となる。
存して決まる。すなわち，ＭＲＦモデルを仮定すると，
各画素の値の確率分布がギブス分布となる。
【００３７】
【数７】
【００３８】βは定数。Ｚは分配関数（partition func
tion）と呼ばれる正規化のための定数。Ｕ(f) はエネル
ギーに対応する量で，
tion）と呼ばれる正規化のための定数。Ｕ(f) はエネル
ギーに対応する量で，
【００３９】
【数８】
【００４０】で定義される。Ｕ(f) は，ｆの状態にした
がって，クリークＲに属する格子点の組Ｃについて定義
されるポテンシャルエネルギーＶｃ(f) の和になってい
る。なおＶはそれぞれの画素値をとった場合のポテンシ
ャル関数である。
がって，クリークＲに属する格子点の組Ｃについて定義
されるポテンシャルエネルギーＶｃ(f) の和になってい
る。なおＶはそれぞれの画素値をとった場合のポテンシ
ャル関数である。
【００４１】元の画像をｆとし，それに対して雑音が混
入したり，サンプリングを行ったりして画像の画質が低
化したものをｇとする。実際に観測できるのはｇであ
る。このとき，ｇからｆをベイズの定理を使って，推測
する。ｇが観測された場合に，元画像がｆである条件付
確率は以下のようになる。
入したり，サンプリングを行ったりして画像の画質が低
化したものをｇとする。実際に観測できるのはｇであ
る。このとき，ｇからｆをベイズの定理を使って，推測
する。ｇが観測された場合に，元画像がｆである条件付
確率は以下のようになる。
【００４２】
【数９】
【００４３】Geman and Geman は，線処理過程（line p
rocess）を考えた。すなわち，一次元で表すと隣合う二
つの画素をｍｎとし，その値（奥行き）をｆm ｆn とし
たとき，実測値ｄm が与えられた時のエネルギー関数
rocess）を考えた。すなわち，一次元で表すと隣合う二
つの画素をｍｎとし，その値（奥行き）をｆm ｆn とし
たとき，実測値ｄm が与えられた時のエネルギー関数
【００４４】
【数１０】
【００４５】を最小にする表面を見つけるというもので
ある。Ｖｃ(l) は線処理のコスト関数。線の処理過程
（２値）となめらかな面（連続値ｆi ）の復元過程とを
考慮したこのモデルは２結合型（2-coupled)ＭＲＦと呼
ばれる。なおｌはある座標ｉとｊとの間で連続である場
合に値「１」となり，不連続の場合に値「０」となるも
のである。
ある。Ｖｃ(l) は線処理のコスト関数。線の処理過程
（２値）となめらかな面（連続値ｆi ）の復元過程とを
考慮したこのモデルは２結合型（2-coupled)ＭＲＦと呼
ばれる。なおｌはある座標ｉとｊとの間で連続である場
合に値「１」となり，不連続の場合に値「０」となるも
のである。
【００４６】２次元の場合の線処理過程のコストは以下
のようになる。
のようになる。
【００４７】
【数１１】
【００４８】なお式(13)に示すｈやｖは上記(12)式にお
けるｌを２次元に展開したときのものであってｈijはｆ
ijとｆi+1,j が連続のとき値「１」となるものであり，
またｖijはｆijとｆi,j+1 とが連続のとき値「１」とな
るものである。図３に示す如く水平方向と垂直方向との
両方に並んだ微小センサ群１５からの情報を表し，
Ｃ v ，Ｃp ，Ｃc ，Ｃl は夫々係数を表している。
けるｌを２次元に展開したときのものであってｈijはｆ
ijとｆi+1,j が連続のとき値「１」となるものであり，
またｖijはｆijとｆi,j+1 とが連続のとき値「１」とな
るものである。図３に示す如く水平方向と垂直方向との
両方に並んだ微小センサ群１５からの情報を表し，
Ｃ v ，Ｃp ，Ｃc ，Ｃl は夫々係数を表している。
【００４９】以上のようにして，視覚センサ１Ｌ，１Ｒ
からの情報にもとづいて，事後確率を最大にする面が求
められる（図１に示す面再構成処理部１２において求め
られる）。この結果にもとづいて，図１に示す矛盾検出
部１３が発動されて，触覚センサ４からの情報を求める
ようにする。
からの情報にもとづいて，事後確率を最大にする面が求
められる（図１に示す面再構成処理部１２において求め
られる）。この結果にもとづいて，図１に示す矛盾検出
部１３が発動されて，触覚センサ４からの情報を求める
ようにする。
【００５０】図４は触覚センサが発動される態様を示
す。 (S1)： 上述の如く，視覚センサを用いた形で面の再構
成が得られる。 (S2)： 奥行きが不連続となっている場所を検出する。 (S3)： 当該不連続となっている場所に対して触覚セン
サを移動させて探索する。奥行きの不連続は一般に連続
した曲線として現れる。その曲線をなぞって移動させる
のが効率がよい。この計画立案の具体的なアルゴリズム
はいろいろ提案されているが，ニューラルネットワーク
を用いた最適経路選択も一つの方法である。
す。 (S1)： 上述の如く，視覚センサを用いた形で面の再構
成が得られる。 (S2)： 奥行きが不連続となっている場所を検出する。 (S3)： 当該不連続となっている場所に対して触覚セン
サを移動させて探索する。奥行きの不連続は一般に連続
した曲線として現れる。その曲線をなぞって移動させる
のが効率がよい。この計画立案の具体的なアルゴリズム
はいろいろ提案されているが，ニューラルネットワーク
を用いた最適経路選択も一つの方法である。
【００５１】計画が定まった後は，逐次移動すべき位置
に触覚センサを移動して行く。これはカメラからフィー
ドバック信号を与えるフィードバック制御や，ニューラ
ルネットワークに学習させてフィードフォワードで制御
するようにする。 (S4)： 触覚センサからの情報にもとづいて，触覚像か
ら曲面を再構成する。この場合の処理には，上述した所
の視覚センサからの情報にもとづいて『マルコフ確率場
モデルを採用し，ベイズの定理を用いて事後確率を最大
にする面を求めた』処理と同様の処理が行われる。 (S5)(S6)： 触覚センサから再構成した面の不連続位置
を教師として，局所エネルギーを学習する。即ち，視覚
センサからのものと触覚センサからのものとの間で，線
処理過程の値に矛盾が存在する場合には，視覚センサの
線処理過程の値を触覚センサの線処理過程の値に置き換
えて，そのことにより差が生じるポテンシャルの値をそ
の係数に応じて，その差が小さくなるように更新する。
即ち，触覚センサの線処理過程を教師として，ポテンシ
ャルを学習する。
に触覚センサを移動して行く。これはカメラからフィー
ドバック信号を与えるフィードバック制御や，ニューラ
ルネットワークに学習させてフィードフォワードで制御
するようにする。 (S4)： 触覚センサからの情報にもとづいて，触覚像か
ら曲面を再構成する。この場合の処理には，上述した所
の視覚センサからの情報にもとづいて『マルコフ確率場
モデルを採用し，ベイズの定理を用いて事後確率を最大
にする面を求めた』処理と同様の処理が行われる。 (S5)(S6)： 触覚センサから再構成した面の不連続位置
を教師として，局所エネルギーを学習する。即ち，視覚
センサからのものと触覚センサからのものとの間で，線
処理過程の値に矛盾が存在する場合には，視覚センサの
線処理過程の値を触覚センサの線処理過程の値に置き換
えて，そのことにより差が生じるポテンシャルの値をそ
の係数に応じて，その差が小さくなるように更新する。
即ち，触覚センサの線処理過程を教師として，ポテンシ
ャルを学習する。
【００５２】
【発明の効果】以上説明した如く，本発明によれば，従
来から知られている如く，マルコフ確率場モデルを採用
してベイズの定理を用いて事後確率を最大にするよう面
を再構成するに当たって，外界に関する事前知識をアド
ホックに定めておくのでなく，必要に応じて触覚センサ
を用いて正しい情報を得て，それを利用することができ
る。
来から知られている如く，マルコフ確率場モデルを採用
してベイズの定理を用いて事後確率を最大にするよう面
を再構成するに当たって，外界に関する事前知識をアド
ホックに定めておくのでなく，必要に応じて触覚センサ
を用いて正しい情報を得て，それを利用することができ
る。
【図１】本発明の原理構成図を示す。
【図２】本発明の実施例構成を示す。
【図３】微小センサ群を示す。
【図４】触覚センサが発動される態様を示す。
１ 視覚センサ ２ 視覚センサ画像 ３ ゼロ交差抽出部 ４ 触覚センサ ５ 変換部 ６ 視覚センサ利用奥行き情報抽出部 ７ 触覚センサ利用奥行き情報抽出部 ８ 復元された面処理部 ９ 変換処理部 １０ 運動司令生成部 １１ アクチュエータ １２ 面再構成処理部 １３ 矛盾検出部 １４ 復元された面
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.5 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｇ０６Ｆ 15/62 ４１５ 9287−5Ｌ
Claims (4)
- 【請求項１】 少なくとも２個の視覚センサ（１）と，
少なくとも１個の触覚センサ（４）とをそなえ，奥行き
をもつ３次元面を抽出し認識する認識装置において， 上記少なくとも２個の視覚センサ（１）からの情報によ
って得られた奥行き情報と，上記少なくとも１個の触覚
センサ（４）から得られた奥行き情報との矛盾を検出す
る矛盾検出部（13）をそなえ， 上記矛盾の生じている位置に関して，上記両者の奥行き
情報のうちのいずれか一方を選択するか，あるいは両者
の奥行き情報にもとづいた統合処理を行うようにし， 上記奥行きをもつ３次元面を抽出し認識するようにした
ことを特徴とする視覚情報と触覚情報とを統合した認識
装置。 - 【請求項２】 上記触覚センサ（４）はアクチュエータ
（１１）に装着されてあり，上記少なくとも２つの視覚
センサ（１）によって得られた奥行き情報に関して面の
不連続性が見出された位置に対して，上記触覚センサ
（４）による奥行き情報抽出を行うようにしたことを特
徴とする請求項１記載の視覚情報と触覚情報とを統合し
た認識装置。 - 【請求項３】 上記奥行き情報を得る処理において，マ
ルコフ確率場モデルを採用し，センサからの情報の処理
をエネルギーの最小化問題に帰着せしめるようにしたこ
とを特徴とする請求項１記載の視覚情報と触覚情報とを
統合した認識装置。 - 【請求項４】 エネルギー関数に，面の不連続性を反映
するための線処理過程を導入し，視覚センサ（１）から
の情報と触覚センサ（４）からの情報とを上記線処理過
程において統合するようにしたことを特徴とする請求項
３記載の視覚情報と触覚情報とを統合した認識装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4085177A JPH05288543A (ja) | 1992-04-07 | 1992-04-07 | 視覚情報と触覚情報とを統合した認識装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4085177A JPH05288543A (ja) | 1992-04-07 | 1992-04-07 | 視覚情報と触覚情報とを統合した認識装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH05288543A true JPH05288543A (ja) | 1993-11-02 |
Family
ID=13851386
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP4085177A Withdrawn JPH05288543A (ja) | 1992-04-07 | 1992-04-07 | 視覚情報と触覚情報とを統合した認識装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH05288543A (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012208759A (ja) * | 2011-03-30 | 2012-10-25 | Kddi Corp | ３次元形状モデル高精度化方法およびプログラム |
| JP2015138550A (ja) * | 2014-01-23 | 2015-07-30 | 三菱電機株式会社 | カメラシステムを用いて自由空間を推定する方法 |
| WO2016092749A1 (en) * | 2014-12-09 | 2016-06-16 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and program |
| JP2019124582A (ja) * | 2018-01-16 | 2019-07-25 | 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ | 触覚情報推定装置、触覚情報推定方法及びプログラム |
| CN111582186A (zh) * | 2020-05-11 | 2020-08-25 | 深圳阿米嘎嘎科技有限公司 | 基于视觉和触觉的物体边缘识别方法、装置、***及介质 |
-
1992
- 1992-04-07 JP JP4085177A patent/JPH05288543A/ja not_active Withdrawn
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012208759A (ja) * | 2011-03-30 | 2012-10-25 | Kddi Corp | ３次元形状モデル高精度化方法およびプログラム |
| JP2015138550A (ja) * | 2014-01-23 | 2015-07-30 | 三菱電機株式会社 | カメラシステムを用いて自由空間を推定する方法 |
| WO2016092749A1 (en) * | 2014-12-09 | 2016-06-16 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and program |
| JP2016109630A (ja) * | 2014-12-09 | 2016-06-20 | キヤノン株式会社 | 情報処理装置、情報処理方法、プログラム |
| US10335963B2 (en) | 2014-12-09 | 2019-07-02 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and program |
| JP2019124582A (ja) * | 2018-01-16 | 2019-07-25 | 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ | 触覚情報推定装置、触覚情報推定方法及びプログラム |
| WO2019142796A1 (ja) * | 2018-01-16 | 2019-07-25 | 株式会社 Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ | 触覚情報推定装置、触覚情報推定方法及びプログラム |
| CN111615623A (zh) * | 2018-01-16 | 2020-09-01 | 首选网络株式会社 | 触觉信息推测装置、触觉信息推测方法以及程序 |
| US11590658B2 (en) | 2018-01-16 | 2023-02-28 | Preferred Networks, Inc. | Tactile information estimation apparatus, tactile information estimation method, and program |
| CN111582186A (zh) * | 2020-05-11 | 2020-08-25 | 深圳阿米嘎嘎科技有限公司 | 基于视觉和触觉的物体边缘识别方法、装置、***及介质 |
| CN111582186B (zh) * | 2020-05-11 | 2023-12-15 | 深圳阿米嘎嘎科技有限公司 | 基于视觉和触觉的物体边缘识别方法、装置、***及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111190981B (zh) | 一种三维语义地图的构建方法、装置、电子设备及存储介质 | |
| JP2978406B2 (ja) | 局所異常の排除による動きベクトルフィールド生成装置およびその方法 | |
| CN114972418B (zh) | 基于核自适应滤波与yolox检测结合的机动多目标跟踪方法 | |
| CN112347861B (zh) | 一种基于运动特征约束的人体姿态估计方法 | |
| WO1999052068A1 (en) | Image processing method and system involving contour detection steps | |
| CN108764244B (zh) | 基于卷积神经网络和条件随机场的潜在目标区域检测方法 | |
| CN111832484A (zh) | 一种基于卷积感知哈希算法的回环检测方法 | |
| CN112446882A (zh) | 一种动态场景下基于深度学习的鲁棒视觉slam方法 | |
| CN113065431B (zh) | 一种基于隐马尔可夫模型和循环神经网络的人体违规行为预测方法 | |
| CN113312973B (zh) | 一种手势识别关键点特征提取方法及*** | |
| CN103955682A (zh) | 基于surf兴趣点的行为识别方法及装置 | |
| CN112001859A (zh) | 一种人脸图像的修复方法及*** | |
| Gil et al. | Comparing features for target tracking in traffic scenes | |
| CN108710879B (zh) | 一种基于网格聚类算法的行人候选区域生成方法 | |
| CN112926522A (zh) | 一种基于骨骼姿态与时空图卷积网络的行为识别方法 | |
| JPH05288543A (ja) | 視覚情報と触覚情報とを統合した認識装置 | |
| Cruz et al. | Stereo matching technique based on the perceptron criterion function | |
| CN116797640A (zh) | 一种面向智能伴行巡视器的深度及3d关键点估计方法 | |
| Lee | Implementation of an interactive interview system using hand gesture recognition | |
| Merchán et al. | 3D complex scenes segmentation from a single range image using virtual exploration | |
| Wibowo et al. | Fast generative approach based on sparse representation for visual tracking | |
| Dreschler et al. | On the frame-to-frame correspondence between greyvalue characteristics in the images of moving objects | |
| JP3112750B2 (ja) | 階層型ニューラルネットワークを用いたセンサ情報処理方式 | |
| Reiterer | A semi-automatic image-based measurement system | |
| Prasser et al. | Biologically inspired visual landmark processing for simultaneous localization and mapping |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 19990608 |