JP2003346152A - 物体認識装置及び方法並びにロボット装置 - Google Patents
物体認識装置及び方法並びにロボット装置Info
- Publication number
- JP2003346152A JP2003346152A JP2002151616A JP2002151616A JP2003346152A JP 2003346152 A JP2003346152 A JP 2003346152A JP 2002151616 A JP2002151616 A JP 2002151616A JP 2002151616 A JP2002151616 A JP 2002151616A JP 2003346152 A JP2003346152 A JP 2003346152A
- Authority
- JP
- Japan
- Prior art keywords
- recognized
- recognition
- predetermined
- learning
- dimensional object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Manipulator (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】一般家庭等の実環境において３次元物体の認識
を精度良く行い難い問題があった。 【解決手段】物体認識装置及び方法において、認識対象
の物体を、所定の撮像手段に対して予め定められた所定
の空間位置に移動させて、当該空間位置において所定状
態に保持し、撮像手段の出力に基づいて物体を認識し、
認識できなかったときには当該物体を学習するようにし
た。またロボット装置において、周囲を撮像する撮像手
段と、撮像手段の出力に基づいて認識すべき物体を選択
し、当該選択した物体を撮像手段に対して予め定められ
た所定の空間位置に移動させて所定状態に保持するよう
に、腕部の動きを制御する制御手段と、撮像手段の出力
に基づいて物体を認識し、認識できなかったときには当
該物体を学習する認識学習手段とを設けるようにした。
を精度良く行い難い問題があった。 【解決手段】物体認識装置及び方法において、認識対象
の物体を、所定の撮像手段に対して予め定められた所定
の空間位置に移動させて、当該空間位置において所定状
態に保持し、撮像手段の出力に基づいて物体を認識し、
認識できなかったときには当該物体を学習するようにし
た。またロボット装置において、周囲を撮像する撮像手
段と、撮像手段の出力に基づいて認識すべき物体を選択
し、当該選択した物体を撮像手段に対して予め定められ
た所定の空間位置に移動させて所定状態に保持するよう
に、腕部の動きを制御する制御手段と、撮像手段の出力
に基づいて物体を認識し、認識できなかったときには当
該物体を学習する認識学習手段とを設けるようにした。
Description
【０００１】
【発明の属する技術分野】本発明は、物体認識装置及び
方法並びにロボット装置に関し、例えばエンターテイン
メントロボットに適用して好適なものである。
方法並びにロボット装置に関し、例えばエンターテイン
メントロボットに適用して好適なものである。
【０００２】
【従来の技術】従来、ロボット等における３次元物体の
認識処理には、３次元物体の外観的な特徴を学習する学
習モードと、この学習結果に基づいてその後その３次元
物体を認識する認識モードとがある。
認識処理には、３次元物体の外観的な特徴を学習する学
習モードと、この学習結果に基づいてその後その３次元
物体を認識する認識モードとがある。
【０００３】この場合において、かかる学習モードで
は、例えば背景が既知等の理想的な環境のもとで、予め
人間が選択した学習対象の３次元物体をロボットに搭載
されたＣＣＤ（Charge Coupled Device）カメラ等によ
り撮像させることにより、当該ＣＣＤカメラから出力さ
れる画像データに基づきその３次元物体の特徴をロボッ
トに学習させる方法（以下、これを第１の学習方法と呼
ぶ）が広く用いられている。
は、例えば背景が既知等の理想的な環境のもとで、予め
人間が選択した学習対象の３次元物体をロボットに搭載
されたＣＣＤ（Charge Coupled Device）カメラ等によ
り撮像させることにより、当該ＣＣＤカメラから出力さ
れる画像データに基づきその３次元物体の特徴をロボッ
トに学習させる方法（以下、これを第１の学習方法と呼
ぶ）が広く用いられている。
【０００４】またこれとは別に、３次元物体を機器に学
習させる方法として、認識させたい３次元物体の周りを
カメラに移動させながら、その３次元物体を一定角度間
隔で撮像し、かくして得られたその３次元物体の複数方
向からの画像の画像データに基づき３次元物体の特徴を
学習させるいわゆるアクティブビジョンと呼ばれる方法
（以下、これを第２の学習方法と呼ぶ）も知られてい
る。
習させる方法として、認識させたい３次元物体の周りを
カメラに移動させながら、その３次元物体を一定角度間
隔で撮像し、かくして得られたその３次元物体の複数方
向からの画像の画像データに基づき３次元物体の特徴を
学習させるいわゆるアクティブビジョンと呼ばれる方法
（以下、これを第２の学習方法と呼ぶ）も知られてい
る。
【０００５】
【発明が解決しようとする課題】しかしながら、かかる
第１の学習方法では、上述のように学習させたい３次元
物体を人間が選択するものであり、ロボット自身が学習
すべき３次元物体を選択し、これを学習するものではな
い。
第１の学習方法では、上述のように学習させたい３次元
物体を人間が選択するものであり、ロボット自身が学習
すべき３次元物体を選択し、これを学習するものではな
い。
【０００６】また第２の方法も、学習すべき３次元物体
の存在する範囲や大きさに対する事前知識が必要とな
り、第１の方法と同様に、かかる事前知識なしにロボッ
ト自身が学習すべき３次元物体を選択し、学習すること
はできない。
の存在する範囲や大きさに対する事前知識が必要とな
り、第１の方法と同様に、かかる事前知識なしにロボッ
ト自身が学習すべき３次元物体を選択し、学習すること
はできない。
【０００７】これは、実環境下での３次元物体の学習画
像を適切に選ぶことが困難であり、その結果、望むよう
な認識結果が得られないことによるものである。つま
り、従来の３次元物体認識方法では、ロボット等が３次
元物体を学習し易い都合の良い理想的な環境を人間が予
め設定することでロボット等が３次元物体を学習できる
のである。
像を適切に選ぶことが困難であり、その結果、望むよう
な認識結果が得られないことによるものである。つま
り、従来の３次元物体認識方法では、ロボット等が３次
元物体を学習し易い都合の良い理想的な環境を人間が予
め設定することでロボット等が３次元物体を学習できる
のである。
【０００８】従って、必ずしもそのような環境をユーザ
から与えられないであろう一般家庭環境でロボットが動
作することを考えると、３次元物体の認識がうまく行わ
れないおそれがあった。
から与えられないであろう一般家庭環境でロボットが動
作することを考えると、３次元物体の認識がうまく行わ
れないおそれがあった。
【０００９】本発明は以上の点を考慮してなされたもの
で、どのような環境においても自然にかつ精度良く物体
の認識を行い得る物体認識装置及び方法並びにロボット
装置を提案しようとするものである。
で、どのような環境においても自然にかつ精度良く物体
の認識を行い得る物体認識装置及び方法並びにロボット
装置を提案しようとするものである。
【００１０】
【課題を解決するための手段】かかる課題を解決するた
め本発明においては、物体認識装置において、認識対象
の物体を、所定の撮像手段に対して予め定められた所定
の空間位置に移動させて、当該空間位置において所定状
態に保持する保持手段と、撮像手段の出力に基づいて物
体を認識し、認識できなかったときには当該物体を学習
する認識学習手段とを設けるようにした。
め本発明においては、物体認識装置において、認識対象
の物体を、所定の撮像手段に対して予め定められた所定
の空間位置に移動させて、当該空間位置において所定状
態に保持する保持手段と、撮像手段の出力に基づいて物
体を認識し、認識できなかったときには当該物体を学習
する認識学習手段とを設けるようにした。
【００１１】この結果、この物体認識装置は、認識対象
の物体を常に一定条件下で認識処理及び学習処理でき
る。
の物体を常に一定条件下で認識処理及び学習処理でき
る。
【００１２】また本発明においては、物体認識方法にお
いて、認識対象の物体を、所定の撮像手段に対して予め
定められた所定の空間位置に移動させて、当該空間位置
において所定状態に保持する第１のステップと、撮像手
段の出力に基づいて物体を認識し、認識できなかったと
きには当該物体を学習する第２のステップとを設けるよ
うにした。
いて、認識対象の物体を、所定の撮像手段に対して予め
定められた所定の空間位置に移動させて、当該空間位置
において所定状態に保持する第１のステップと、撮像手
段の出力に基づいて物体を認識し、認識できなかったと
きには当該物体を学習する第２のステップとを設けるよ
うにした。
【００１３】この結果、この物体認識方法によれば、認
識対象の物体を常に一定条件下で認識処理及び学習処理
できる。
識対象の物体を常に一定条件下で認識処理及び学習処理
できる。
【００１４】さらに本発明においては、物体を保持可能
な腕部を有するロボット装置において、周囲を撮像する
撮像手段と、撮像手段の出力に基づいて認識すべき物体
を選択し、当該選択した物体を撮像手段に対して予め定
められた所定の空間位置に移動させて所定状態に保持す
るように、腕部の動きを制御する制御手段と、撮像手段
の出力に基づいて物体を認識し、認識できなかったとき
には当該物体を学習する認識学習手段とを設けるように
した。
な腕部を有するロボット装置において、周囲を撮像する
撮像手段と、撮像手段の出力に基づいて認識すべき物体
を選択し、当該選択した物体を撮像手段に対して予め定
められた所定の空間位置に移動させて所定状態に保持す
るように、腕部の動きを制御する制御手段と、撮像手段
の出力に基づいて物体を認識し、認識できなかったとき
には当該物体を学習する認識学習手段とを設けるように
した。
【００１５】この結果、このロボット装置は、認識対象
の物体を常に一定条件下で認識処理及び学習処理でき
る。
の物体を常に一定条件下で認識処理及び学習処理でき
る。
【００１６】
【発明の実施の形態】以下図面について、本発明の一実
施の形態を詳述する。
施の形態を詳述する。
【００１７】（１）本実施の形態によるロボットの構成
図１及び図２において、１は全体として本実施の形態に
よる２足歩行型のロボットを示し、胴体部ユニット２の
上部に頭部ユニット３が配設されると共に、当該胴体部
ユニット２の上部左右にそれぞれ腕部ユニット４Ａ、４
Ｂがそれぞれ配設され、かつ胴体部ユニット２の下部左
右にそれぞれ脚部ユニット５Ａ、５Ｂがそれぞれ所定位
置に取り付けられることにより構成されている。
よる２足歩行型のロボットを示し、胴体部ユニット２の
上部に頭部ユニット３が配設されると共に、当該胴体部
ユニット２の上部左右にそれぞれ腕部ユニット４Ａ、４
Ｂがそれぞれ配設され、かつ胴体部ユニット２の下部左
右にそれぞれ脚部ユニット５Ａ、５Ｂがそれぞれ所定位
置に取り付けられることにより構成されている。
【００１８】胴体部ユニット２においては、体幹上部を
形成するフレーム１０及び体幹下部を形成する腰ベース
１１が腰関節機構１２を介して連結することにより構成
されており、体幹下部の腰ベース１１に固定された腰関
節機構１２の各アクチュエータＡ１、Ａ２をそれぞれ駆
動することによって、体幹上部を図３に示す直交するロ
ール軸１３及びピッチ軸１４の回りにそれぞれ独立に回
転させ得るようになされている。
形成するフレーム１０及び体幹下部を形成する腰ベース
１１が腰関節機構１２を介して連結することにより構成
されており、体幹下部の腰ベース１１に固定された腰関
節機構１２の各アクチュエータＡ１、Ａ２をそれぞれ駆
動することによって、体幹上部を図３に示す直交するロ
ール軸１３及びピッチ軸１４の回りにそれぞれ独立に回
転させ得るようになされている。
【００１９】また頭部ユニット３は、フレーム１０の上
端に固定された肩ベース１５の上面中央部に首関節機構
１６を介して取り付けられており、当該首関節機構１６
の各アクチュエータＡ３、Ａ４をそれぞれ駆動すること
によって、図３に示す直交するピッチ軸１７及びヨー軸
１８の回りにそれぞれ独立に回転させ得るようになされ
ている。
端に固定された肩ベース１５の上面中央部に首関節機構
１６を介して取り付けられており、当該首関節機構１６
の各アクチュエータＡ３、Ａ４をそれぞれ駆動すること
によって、図３に示す直交するピッチ軸１７及びヨー軸
１８の回りにそれぞれ独立に回転させ得るようになされ
ている。
【００２０】さらに各腕部ユニット４Ａ、４Ｂは、それ
ぞれ肩関節機構１９を介して肩ベース１５の左右に取り
付けられており、対応する肩関節機構１９の各アクチュ
エータＡ５、Ａ６をそれぞれ駆動することによって図３
に示す直交するピッチ軸２０及びロール軸２１の回りに
それぞれ独立に回転させ得るようになされている。
ぞれ肩関節機構１９を介して肩ベース１５の左右に取り
付けられており、対応する肩関節機構１９の各アクチュ
エータＡ５、Ａ６をそれぞれ駆動することによって図３
に示す直交するピッチ軸２０及びロール軸２１の回りに
それぞれ独立に回転させ得るようになされている。
【００２１】この場合、各腕部ユニット４Ａ、４Ｂは、
それぞれ上腕部を形成するアクチュエータＡ７の出力軸
に肘関節機構２２を介して前腕部を形成するアクチュエ
ータＡ８が連結され、当該前腕部の先端に手部２３が取
り付けられることにより構成されている。
それぞれ上腕部を形成するアクチュエータＡ７の出力軸
に肘関節機構２２を介して前腕部を形成するアクチュエ
ータＡ８が連結され、当該前腕部の先端に手部２３が取
り付けられることにより構成されている。
【００２２】そして各腕部ユニット４Ａ、４Ｂでは、ア
クチュエータＡ７を駆動することによって前腕部を図３
に示すヨー軸２４の回りに回転させ、アクチュエータＡ
８を駆動することによって前腕部を図３に示すピッチ軸
２５の回りにそれぞれ回転させることができるようにな
されている。
クチュエータＡ７を駆動することによって前腕部を図３
に示すヨー軸２４の回りに回転させ、アクチュエータＡ
８を駆動することによって前腕部を図３に示すピッチ軸
２５の回りにそれぞれ回転させることができるようにな
されている。
【００２３】これに対して各脚部ユニット５Ａ、５Ｂに
おいては、それぞれ股関節機構２６を介して体幹下部の
腰ベース１１にそれぞれ取り付けられており、それぞれ
対応する股関節機構２６の各アクチュエータＡ９〜Ａ
１１をそれぞれ駆動することによって、図３に示す互い
に直交するヨー軸２７、ロール軸２８及びピッチ軸２９
の回りにそれぞれ独立に回転させ得るようになされてい
る。
おいては、それぞれ股関節機構２６を介して体幹下部の
腰ベース１１にそれぞれ取り付けられており、それぞれ
対応する股関節機構２６の各アクチュエータＡ９〜Ａ
１１をそれぞれ駆動することによって、図３に示す互い
に直交するヨー軸２７、ロール軸２８及びピッチ軸２９
の回りにそれぞれ独立に回転させ得るようになされてい
る。
【００２４】この場合各脚部ユニット５Ａ、５Ｂは、そ
れぞれ大腿部を形成するフレーム３０の下端に膝関節機
構３１を介して下腿部を形成するフレーム３２が連結さ
れると共に、当該フレーム３２の下端に足首関節機構３
３を介して足部３４が連結されることにより構成されて
いる。
れぞれ大腿部を形成するフレーム３０の下端に膝関節機
構３１を介して下腿部を形成するフレーム３２が連結さ
れると共に、当該フレーム３２の下端に足首関節機構３
３を介して足部３４が連結されることにより構成されて
いる。
【００２５】これにより各脚部ユニット５Ａ、５Ｂにお
いては、膝関節機構３１を形成するアクチュエータＡ
１２を駆動することによって、下腿部を図３に示すピッ
チ軸３５の回りに回転させることができ、また足首関節
機構３３のアクチュエータＡ１ ３、Ａ１４をそれぞれ駆
動することによって、足部３４を図３に示す直交するピ
ッチ軸３６及びロール軸３７の回りにそれぞれ独立に回
転させ得るようになされている。
いては、膝関節機構３１を形成するアクチュエータＡ
１２を駆動することによって、下腿部を図３に示すピッ
チ軸３５の回りに回転させることができ、また足首関節
機構３３のアクチュエータＡ１ ３、Ａ１４をそれぞれ駆
動することによって、足部３４を図３に示す直交するピ
ッチ軸３６及びロール軸３７の回りにそれぞれ独立に回
転させ得るようになされている。
【００２６】一方、胴体部ユニット２の体幹下部を形成
する腰ベース１１の背面側には、図４に示すように、当
該ロボット１全体の動作制御を司るメイン制御部４０
と、電源回路及び通信回路などの周辺回路４１と、バッ
テリ４５（図５）となどがボックスに収納されてなる制
御ユニット４２が配設されている。
する腰ベース１１の背面側には、図４に示すように、当
該ロボット１全体の動作制御を司るメイン制御部４０
と、電源回路及び通信回路などの周辺回路４１と、バッ
テリ４５（図５）となどがボックスに収納されてなる制
御ユニット４２が配設されている。
【００２７】そしてこの制御ユニット４２は、各構成ユ
ニット（胴体部ユニット２、頭部ユニット３、各腕部ユ
ニット４Ａ、４Ｂ及び各脚部ユニット５Ａ、５Ｂ）内に
それぞれ配設された各サブ制御部４３Ａ〜４３Ｄと接続
されており、これらサブ制御部４３Ａ〜４３Ｄに対して
必要な電源電圧を供給したり、これらサブ制御部４３Ａ
〜４３Ｄと通信を行うことができるようになされてい
る。
ニット（胴体部ユニット２、頭部ユニット３、各腕部ユ
ニット４Ａ、４Ｂ及び各脚部ユニット５Ａ、５Ｂ）内に
それぞれ配設された各サブ制御部４３Ａ〜４３Ｄと接続
されており、これらサブ制御部４３Ａ〜４３Ｄに対して
必要な電源電圧を供給したり、これらサブ制御部４３Ａ
〜４３Ｄと通信を行うことができるようになされてい
る。
【００２８】また各サブ制御部４３Ａ〜４３Ｄは、それ
ぞれ対応する構成ユニット内の各アクチュエータＡ１〜
Ａ１４と接続されており、当該構成ユニット内の各アク
チュエータＡ１〜Ａ１４をメイン制御部４０から与えら
れる各種制御コマンドに基づいて指定された状態に駆動
し得るようになされている。
ぞれ対応する構成ユニット内の各アクチュエータＡ１〜
Ａ１４と接続されており、当該構成ユニット内の各アク
チュエータＡ１〜Ａ１４をメイン制御部４０から与えら
れる各種制御コマンドに基づいて指定された状態に駆動
し得るようになされている。
【００２９】さらに頭部ユニット３には、図５に示すよ
うに、それぞれこのロボット１の「目」として機能する
一対のＣＣＤカメラ５０Ａ、５０Ｂと、「耳」として機
能するマイクロホン５１と、「口」として機能するスピ
ーカ５２となどがそれぞれ所定位置に配設され、制御ユ
ニット４２内には、バッテリセンサ５３及び加速度セン
サ５４などが配設されている。
うに、それぞれこのロボット１の「目」として機能する
一対のＣＣＤカメラ５０Ａ、５０Ｂと、「耳」として機
能するマイクロホン５１と、「口」として機能するスピ
ーカ５２となどがそれぞれ所定位置に配設され、制御ユ
ニット４２内には、バッテリセンサ５３及び加速度セン
サ５４などが配設されている。
【００３０】そしてＣＣＤカメラ５０Ａ、５０Ｂは、そ
れぞれロボット１の前方の状況を撮像し、得られた画像
信号Ｓ１Ａ、Ｓ１Ｂをメイン制御部４０に送出する一
方、マイクロホン５１は、ユーザから音声入力として与
えられる「歩け」、「伏せ」又は「ボールを追いかけ
ろ」等の各種命令音声を集音し、かくして得られた音声
信号Ｓ２をメイン制御部４０に送出するようになされて
いる。
れぞれロボット１の前方の状況を撮像し、得られた画像
信号Ｓ１Ａ、Ｓ１Ｂをメイン制御部４０に送出する一
方、マイクロホン５１は、ユーザから音声入力として与
えられる「歩け」、「伏せ」又は「ボールを追いかけ
ろ」等の各種命令音声を集音し、かくして得られた音声
信号Ｓ２をメイン制御部４０に送出するようになされて
いる。
【００３１】またバッテリセンサ５３は、バッテリ４５
のエネルギ残量を所定周期で検出し、検出結果をバッテ
リ残量検出信号Ｓ３としてメイン制御部４０に送出する
一方、加速度センサ５４は、３軸方向（ｘ軸、ｙ軸及び
ｚ軸）の加速度を所定周期で検出し、検出結果を加速度
検出信号Ｓ４としてメイン制御部４０に送出する。
のエネルギ残量を所定周期で検出し、検出結果をバッテ
リ残量検出信号Ｓ３としてメイン制御部４０に送出する
一方、加速度センサ５４は、３軸方向（ｘ軸、ｙ軸及び
ｚ軸）の加速度を所定周期で検出し、検出結果を加速度
検出信号Ｓ４としてメイン制御部４０に送出する。
【００３２】メイン制御部部４０は、ＣＣＤカメラ５０
Ａ、５０Ｂ及びマイクロホン５１からそれぞれ供給され
る画像信号Ｓ１Ａ、Ｓ１Ｂ及び音声信号Ｓ２と、バッテ
リセンサ５３及び加速度センサ５４からそれぞれ供給さ
れるバッテリ残量検出信号Ｓ３及び加速度検出信号Ｓ４
に基づいて、ロボット１の周囲及び内部の状況や、ユー
ザからの指令、ユーザからの働きかけの有無などを判断
する。
Ａ、５０Ｂ及びマイクロホン５１からそれぞれ供給され
る画像信号Ｓ１Ａ、Ｓ１Ｂ及び音声信号Ｓ２と、バッテ
リセンサ５３及び加速度センサ５４からそれぞれ供給さ
れるバッテリ残量検出信号Ｓ３及び加速度検出信号Ｓ４
に基づいて、ロボット１の周囲及び内部の状況や、ユー
ザからの指令、ユーザからの働きかけの有無などを判断
する。
【００３３】そしてメイン制御部４０は、この判断結果
と、予め内部メモリ４０Ａに格納されている制御プログ
ラム及び各種制御パラメータに基づいて続く行動を決定
し、決定結果に基づく制御コマンドを対応するサブ制御
部４３Ａ〜４３Ｄに送出する。
と、予め内部メモリ４０Ａに格納されている制御プログ
ラム及び各種制御パラメータに基づいて続く行動を決定
し、決定結果に基づく制御コマンドを対応するサブ制御
部４３Ａ〜４３Ｄに送出する。
【００３４】この結果、この制御コマンドに基づき、そ
のサブ制御部４３Ａ〜４３Ｄの制御のもとに、対応する
アクチュエータＡ１〜Ａ１４が駆動され、かくして頭部
ユニット３を上下左右に揺動させたり、腕部ユニット４
Ａ、４Ｂを上にあげたり、歩行するなどの行動がロボッ
ト１により発現されることとなる。
のサブ制御部４３Ａ〜４３Ｄの制御のもとに、対応する
アクチュエータＡ１〜Ａ１４が駆動され、かくして頭部
ユニット３を上下左右に揺動させたり、腕部ユニット４
Ａ、４Ｂを上にあげたり、歩行するなどの行動がロボッ
ト１により発現されることとなる。
【００３５】またこの際メイン制御部４０は、必要に応
じて所定の音声信号Ｓ３をスピーカ５４に与えることに
より当該音声信号Ｓ５に基づく音声を外部に出力させた
り、外見上の「目」として機能する頭部ユニット３の所
定位置に設けられたＬＥＤ（図示せず）に駆動信号を出
力することによりこれを点滅させる。
じて所定の音声信号Ｓ３をスピーカ５４に与えることに
より当該音声信号Ｓ５に基づく音声を外部に出力させた
り、外見上の「目」として機能する頭部ユニット３の所
定位置に設けられたＬＥＤ（図示せず）に駆動信号を出
力することによりこれを点滅させる。
【００３６】このようにしてこのロボット１において
は、周囲及び内部の状況や、ユーザからの指令などに基
づいて自律的に行動することができるようになされてい
る。
は、周囲及び内部の状況や、ユーザからの指令などに基
づいて自律的に行動することができるようになされてい
る。
【００３７】（２）ロボット１における３次元物体認識
機能 （２−１）本実施の形態による３次元物体認識機能の構
成 次に、このロボット１に搭載された３次元物体認識機能
について説明する。
機能 （２−１）本実施の形態による３次元物体認識機能の構
成 次に、このロボット１に搭載された３次元物体認識機能
について説明する。
【００３８】このロボット１においては、認識対象の３
次元物体を自動学習し、当該学習結果に基づいてその後
その３次元物体を認識する３次元物体認識機能が搭載さ
れている。
次元物体を自動学習し、当該学習結果に基づいてその後
その３次元物体を認識する３次元物体認識機能が搭載さ
れている。
【００３９】この場合、かかる３次元物体認識機能は、
モードとして学習モード及び認識モードの２つのモード
を有している。そして学習モードでは、図６に示すよう
に、所定の一方のＣＣＤカメラ５０Ａから出力される画
像信号Ｓ１Ａに基づく画像Ｐ１中から学習対象の３次元
物体の画像領域を切り出し（ステップＳＰ１）、当該切
り出された画像領域の画像信号に基づいてその３次元物
体の特徴を抽出し、当該抽出した特徴に基づいてその３
次元物体を学習器に学習させる（ステップＳＰ２）。
モードとして学習モード及び認識モードの２つのモード
を有している。そして学習モードでは、図６に示すよう
に、所定の一方のＣＣＤカメラ５０Ａから出力される画
像信号Ｓ１Ａに基づく画像Ｐ１中から学習対象の３次元
物体の画像領域を切り出し（ステップＳＰ１）、当該切
り出された画像領域の画像信号に基づいてその３次元物
体の特徴を抽出し、当該抽出した特徴に基づいてその３
次元物体を学習器に学習させる（ステップＳＰ２）。
【００４０】また認識モードでは、図７に示すように、
画像信号Ｓ１Ａに基づく画像Ｐ２中から認識対象の３次
元物体の画像領域を切り出し（ステップＳＰ３）、当該
切り出された画像領域の画像信号に基づいてその３次元
物体の特徴を抽出し、当該抽出した特徴とそのときまで
に学習している各３次元物体の特徴とに基づいてその認
識対象の３次元物体を認識して（ステップＳＰ４）、そ
の認識結果を出力する（ステップＳＰ５）。
画像信号Ｓ１Ａに基づく画像Ｐ２中から認識対象の３次
元物体の画像領域を切り出し（ステップＳＰ３）、当該
切り出された画像領域の画像信号に基づいてその３次元
物体の特徴を抽出し、当該抽出した特徴とそのときまで
に学習している各３次元物体の特徴とに基づいてその認
識対象の３次元物体を認識して（ステップＳＰ４）、そ
の認識結果を出力する（ステップＳＰ５）。
【００４１】ここで、このような３次元物体の認識学習
処理は、メイン制御部４０におけるソフトウェア処理に
より図８に示す３次元物体認識処理手順ＲＴ１に従って
行われる。
処理は、メイン制御部４０におけるソフトウェア処理に
より図８に示す３次元物体認識処理手順ＲＴ１に従って
行われる。
【００４２】実際上、メイン制御部４０は、ＣＣＤカメ
ラ５０Ａからの画像信号Ｓ１Ａに基づいて、持ち上げ可
能な大きさ及び距離にある３次元物体６０（図９）を検
出すると、この３次元物体認識処理手順ＲＴ１をステッ
プＳＰ１０において開始し、続くステップＳＰ１１にお
いて認識モードに遷移して、まず各ＣＣＤカメラ５０
Ａ、５０Ｂからの画像信号Ｓ１Ａ、Ｓ１Ｂに基づいてそ
の３次元物体までの距離を算出し、当該算出結果に基づ
いて対応するアクチュエータＡ１〜Ａ１４を駆動するこ
とにより、その３次元物体をロボット１に持たせ、これ
を当該ロボット１の予め定められた一方の腕部ユニット
４Ｂにおける手のひら２３Ａ（図１０）上の所定位置に
載置させる。
ラ５０Ａからの画像信号Ｓ１Ａに基づいて、持ち上げ可
能な大きさ及び距離にある３次元物体６０（図９）を検
出すると、この３次元物体認識処理手順ＲＴ１をステッ
プＳＰ１０において開始し、続くステップＳＰ１１にお
いて認識モードに遷移して、まず各ＣＣＤカメラ５０
Ａ、５０Ｂからの画像信号Ｓ１Ａ、Ｓ１Ｂに基づいてそ
の３次元物体までの距離を算出し、当該算出結果に基づ
いて対応するアクチュエータＡ１〜Ａ１４を駆動するこ
とにより、その３次元物体をロボット１に持たせ、これ
を当該ロボット１の予め定められた一方の腕部ユニット
４Ｂにおける手のひら２３Ａ（図１０）上の所定位置に
載置させる。
【００４３】次いでメイン制御部４０は、ステップＳＰ
１２に進んで、対応するアクチュエータＡ１〜Ａ１４を
駆動してロボット１の腕部ユニット４Ｂを動かすことに
より、図９に示すように、その一方の腕部ユニット４Ｂ
における手のひら２３Ａ上に載置させた３次元物体をＣ
ＣＤカメラ５０Ａに対して予め設定された所定の空間位
置にまで移動させる。またこの際、メイン制御部４０
は、首関節機構１６のアクチュエータＡ４、Ａ５等を駆
動することにより、ＣＣＤカメラ５０Ａの光学軸をこの
手のひら２３Ａ上に載置された３次元物体６０に向けさ
せる。
１２に進んで、対応するアクチュエータＡ１〜Ａ１４を
駆動してロボット１の腕部ユニット４Ｂを動かすことに
より、図９に示すように、その一方の腕部ユニット４Ｂ
における手のひら２３Ａ上に載置させた３次元物体をＣ
ＣＤカメラ５０Ａに対して予め設定された所定の空間位
置にまで移動させる。またこの際、メイン制御部４０
は、首関節機構１６のアクチュエータＡ４、Ａ５等を駆
動することにより、ＣＣＤカメラ５０Ａの光学軸をこの
手のひら２３Ａ上に載置された３次元物体６０に向けさ
せる。
【００４４】続いてメイン制御部４０は、ステップＳＰ
１３に進んで、対応するアクチュエータＡ１〜Ａ１４を
駆動して、かかる３次元物体６０を載置した手のひら２
３Ａをその中心位置を中心として回転させることによ
り、その３次元物体を上述の空間位置において４５度ず
つ３６０度だけ回転させる。またメイン制御部４０は、
これと共にＣＣＤカメラ５０Ａから出力されるその４５
度間隔の３次元物体６０を撮像した画像の画像信号Ｓ１
Ａを順次記憶する。
１３に進んで、対応するアクチュエータＡ１〜Ａ１４を
駆動して、かかる３次元物体６０を載置した手のひら２
３Ａをその中心位置を中心として回転させることによ
り、その３次元物体を上述の空間位置において４５度ず
つ３６０度だけ回転させる。またメイン制御部４０は、
これと共にＣＣＤカメラ５０Ａから出力されるその４５
度間隔の３次元物体６０を撮像した画像の画像信号Ｓ１
Ａを順次記憶する。
【００４５】そしてメイン制御部４０は、この後ステッ
プＳＰ１４に進んで、このようにして得られた４５度間
隔の合計８枚分の画像（以下、これを原画像と呼ぶ）か
らそれぞれ認識対象であるその３次元物体６０の画像領
域を切り出す画像切出し処理を実行する。
プＳＰ１４に進んで、このようにして得られた４５度間
隔の合計８枚分の画像（以下、これを原画像と呼ぶ）か
らそれぞれ認識対象であるその３次元物体６０の画像領
域を切り出す画像切出し処理を実行する。
【００４６】なお、この画像切出し処理は、かかる３次
元物体６０を載置した自己の手のひら２３Ａよりも近く
にあるものを抜き出すという画像処理により行うことが
できる。具体的には、ＣＣＤカメラ５０Ａからその３次
元物体６０を載置している手のひら２３Ａまでの距離が
その一方の腕部ユニット４Ｂにおける肩関節機構１９や
肘関節機構２２との関係により分かっているので、かか
る８枚分の原画像を撮像する際にこれと合わせて距離画
像を生成して保存し、この距離画像に基づいて求めた距
離が当該手のひら２３Ａよりも近い画像領域を中心とし
て矩形状に切り出すことにより行うことができる。
元物体６０を載置した自己の手のひら２３Ａよりも近く
にあるものを抜き出すという画像処理により行うことが
できる。具体的には、ＣＣＤカメラ５０Ａからその３次
元物体６０を載置している手のひら２３Ａまでの距離が
その一方の腕部ユニット４Ｂにおける肩関節機構１９や
肘関節機構２２との関係により分かっているので、かか
る８枚分の原画像を撮像する際にこれと合わせて距離画
像を生成して保存し、この距離画像に基づいて求めた距
離が当該手のひら２３Ａよりも近い画像領域を中心とし
て矩形状に切り出すことにより行うことができる。
【００４７】またメイン制御部４０は、この後このよう
にして８枚の原画像からそれぞれ切り出した各画像領域
（以下、これを切出し画像と呼ぶ）を、計算の都合上同
じ次元にするため、例えば縦横３０画素程度の大きさで
正規化する。
にして８枚の原画像からそれぞれ切り出した各画像領域
（以下、これを切出し画像と呼ぶ）を、計算の都合上同
じ次元にするため、例えば縦横３０画素程度の大きさで
正規化する。
【００４８】続いてメイン制御部４０は、ステップＳＰ
１５に進んで、この正規化した８枚の切出し画像に基づ
いてその３次元物体６０を認識する認識処理を実行し、
この後ステップＳＰ１６に進んで、その３次元物体６０
を認識できたか否かを判断する。
１５に進んで、この正規化した８枚の切出し画像に基づ
いてその３次元物体６０を認識する認識処理を実行し、
この後ステップＳＰ１６に進んで、その３次元物体６０
を認識できたか否かを判断する。
【００４９】そしてメイン制御部４０は、このステップ
ＳＰ１６において肯定結果を得ると、ステップＳＰ１８
に進んでその認識結果を３次元物体認識機能用のオブジ
ェクトとは異なる他のオブジェクトに出力し、この後ス
テップＳＰ１９に進んでこの３次元物体認識処理手順Ｒ
Ｔ１を終了する。
ＳＰ１６において肯定結果を得ると、ステップＳＰ１８
に進んでその認識結果を３次元物体認識機能用のオブジ
ェクトとは異なる他のオブジェクトに出力し、この後ス
テップＳＰ１９に進んでこの３次元物体認識処理手順Ｒ
Ｔ１を終了する。
【００５０】これに対してメイン制御部４０は、ステッ
プＳＰ１６において否定結果を得ると、ステップＳＰ１
７に進んで学習モードに遷移し、ステップＳＰ１４にお
いて得られた８枚の切出し画像の画像データに基づいて
その３次元物体６０の特徴を抽出してこれを記憶するよ
うにして当該３次元物体６０を学習する。この学習結果
は、この後その３次元物体６０を認識する際等に利用さ
れる。そしてメイン制御部４０は、この後ステップＳＰ
１９に進んで、この３次元物体認識処理手順ＲＴ１を終
了する。
プＳＰ１６において否定結果を得ると、ステップＳＰ１
７に進んで学習モードに遷移し、ステップＳＰ１４にお
いて得られた８枚の切出し画像の画像データに基づいて
その３次元物体６０の特徴を抽出してこれを記憶するよ
うにして当該３次元物体６０を学習する。この学習結果
は、この後その３次元物体６０を認識する際等に利用さ
れる。そしてメイン制御部４０は、この後ステップＳＰ
１９に進んで、この３次元物体認識処理手順ＲＴ１を終
了する。
【００５１】このようにしてこのロボット１において
は、実環境にある３次元物体６０を自己学習し、当該学
習結果に基づいてその後その３次元物体６０を認識し得
るようになされている。
は、実環境にある３次元物体６０を自己学習し、当該学
習結果に基づいてその後その３次元物体６０を認識し得
るようになされている。
【００５２】（２−２）３次元物体の特徴抽出処理及び
認識処理 ここで、このロボット１の場合、原画像から切り出され
た切出し画像の画像データに基づいて認識対象や学習対
象となっている３次元物体６０の特徴を抽出する処理に
「ガボア・フィルタリング（Gabor Filtering）」を採
用し、また当該ガボア・フィルタリングにより抽出した
その３次元物体の特徴に基づいてその３次元物体６０を
認識したり学習する処理に「サポート・ベクタ・マシー
ン（ＳＶＭ：Support Vector Machine）」を採用してい
る。
認識処理 ここで、このロボット１の場合、原画像から切り出され
た切出し画像の画像データに基づいて認識対象や学習対
象となっている３次元物体６０の特徴を抽出する処理に
「ガボア・フィルタリング（Gabor Filtering）」を採
用し、また当該ガボア・フィルタリングにより抽出した
その３次元物体の特徴に基づいてその３次元物体６０を
認識したり学習する処理に「サポート・ベクタ・マシー
ン（ＳＶＭ：Support Vector Machine）」を採用してい
る。
【００５３】以下に、ガボア・フィルタリング及びサポ
ート・ベクタ・マシーンについて、それぞれ詳細に説明
する。
ート・ベクタ・マシーンについて、それぞれ詳細に説明
する。
【００５４】（２−２−１）ガボア・フィルタリング
人間の視覚細胞には、ある特定の方位に対して選択性を
持つ細胞が存在することが既に判っている。これは、垂
直の線に対して発火する細胞と、水平の線に反応する細
胞で構成される。ガボア・フィルタリングは、これと同
様に、方位選択性を持つ複数のフィルタで構成される空
間フィルタである。
持つ細胞が存在することが既に判っている。これは、垂
直の線に対して発火する細胞と、水平の線に反応する細
胞で構成される。ガボア・フィルタリングは、これと同
様に、方位選択性を持つ複数のフィルタで構成される空
間フィルタである。
【００５５】ガボア・フィルタは、ガボア関数によって
空間表現される。ガボア関数ｇ（ｘ，ｙ）は、次式
空間表現される。ガボア関数ｇ（ｘ，ｙ）は、次式
【００５６】
【数１】
【００５７】示すように、コサイン成分からなるキャリ
アｓ（ｘ，ｙ）と、２次元ガウス分布状のエンベローブ
ｗｒ（ｘ，ｙ）とで構成される。キャリアｓ（ｘ，ｙ）
は、複索関数を用いて、次式
アｓ（ｘ，ｙ）と、２次元ガウス分布状のエンベローブ
ｗｒ（ｘ，ｙ）とで構成される。キャリアｓ（ｘ，ｙ）
は、複索関数を用いて、次式
【００５８】
【数２】
【００５９】のように表現される。ここで、座標値（ｕ
０，ｖ０）は空間周波数を表し、またＰはコサイン成分
の位相を表す。
０，ｖ０）は空間周波数を表し、またＰはコサイン成分
の位相を表す。
【００６０】この（２）式に示すキャリアは、次式
【００６１】
【数３】
【００６２】に示すように、実数成分Ｒｅ（ｓ（ｘ，
ｙ））と虚数成分Ｉｍ（ｓ（ｘ，ｙ））に分離すること
ができる。
ｙ））と虚数成分Ｉｍ（ｓ（ｘ，ｙ））に分離すること
ができる。
【００６３】一方、２次元ガウス分布からなるエンベロ
ープは、次式
ープは、次式
【００６４】
【数４】
【００６５】のように表現される。
【００６６】ここで、座標値（ｕ０，ｖ０）はこの関数
のピークであり、定数ａ及びｂはガウス分布のスケール
・パラメータである。また、添え字ｒは、次式
のピークであり、定数ａ及びｂはガウス分布のスケール
・パラメータである。また、添え字ｒは、次式
【００６７】
【数５】
【００６８】に示すような回転操作を意味する。
【００６９】従って、（２）式及び（４）式より、ガボ
ア・フィルタは、次式
ア・フィルタは、次式
【００７０】
【数６】
【００７１】に示すような空間関数として表現される。
【００７２】本実施の形態の場合、認識モードや学習モ
ード時には、８種類の方向と３通りの周波数を採用し
て、合計２４個のガボア・フィルタを用いて３次元物体
の特徴抽出を行う。本実施の形態で使用されるガボア・
フィルタの空間領域での様相を図１１〜図１３に示す。
このうち、図１１（Ａ）〜（Ｈ）は、方向を２２．５度
ずつずらした高周波成分のガボア・フィルタである。ま
た、図１２（Ａ）〜（Ｈ）は、方向を２２．５度ずつず
らした中周波成分のガボア・フィルタである。また、図
１３（Ａ）〜（Ｈ）は、方向を２２．５度ずつずらした
低周波成分のガボア・フィルタである。但し、各図にお
ける濃淡は紙面に直交する座標軸方向の成分に相当す
る。
ード時には、８種類の方向と３通りの周波数を採用し
て、合計２４個のガボア・フィルタを用いて３次元物体
の特徴抽出を行う。本実施の形態で使用されるガボア・
フィルタの空間領域での様相を図１１〜図１３に示す。
このうち、図１１（Ａ）〜（Ｈ）は、方向を２２．５度
ずつずらした高周波成分のガボア・フィルタである。ま
た、図１２（Ａ）〜（Ｈ）は、方向を２２．５度ずつず
らした中周波成分のガボア・フィルタである。また、図
１３（Ａ）〜（Ｈ）は、方向を２２．５度ずつずらした
低周波成分のガボア・フィルタである。但し、各図にお
ける濃淡は紙面に直交する座標軸方向の成分に相当す
る。
【００７３】ガボア・フィルタのレスポンスは、Ｇｉを
ｉ番目のガボア・フィルタとし、ｉ番目のガボアの結果
（Ｇａｂｏｒ Ｊｅｔ）をＪｉとし、入力イメージをＩ
とし、すると、次式
ｉ番目のガボア・フィルタとし、ｉ番目のガボアの結果
（Ｇａｂｏｒ Ｊｅｔ）をＪｉとし、入力イメージをＩ
とし、すると、次式
【００７４】
【数７】
【００７５】で表される。この（７）式の演算は、実際
には高速フーリエ変換を用いて高速化することができ
る。
には高速フーリエ変換を用いて高速化することができ
る。
【００７６】図１４に示すような入力画像（但し、入力
画像を２０×２０画素とする）を、図１１〜図１３に示
す各ガボア・フィルタでフィルタリングされた結果を、
図１５〜図１７に示す。また図１８に周波数領域でのガ
ボア・フィルタの構成を示す。図１８（Ａ）は２０×２
０画素、図１８（Ｂ）は６４×６４画素の画像に対する
フィルタであるが、どちらでも大体全ての周波数を埋め
尽くすことが分かり、理論通りにガボア・フィルタが構
成されていることが分かる。
画像を２０×２０画素とする）を、図１１〜図１３に示
す各ガボア・フィルタでフィルタリングされた結果を、
図１５〜図１７に示す。また図１８に周波数領域でのガ
ボア・フィルタの構成を示す。図１８（Ａ）は２０×２
０画素、図１８（Ｂ）は６４×６４画素の画像に対する
フィルタであるが、どちらでも大体全ての周波数を埋め
尽くすことが分かり、理論通りにガボア・フィルタが構
成されていることが分かる。
【００７７】作成したガボア・フィルタの性能は、フィ
ルタリングして得られた画像を再構築することによって
調べることができる。再構築されたイメージＨは、次式
ルタリングして得られた画像を再構築することによって
調べることができる。再構築されたイメージＨは、次式
【００７８】
【数８】
【００７９】のように表される。
【００８０】そして、入力画像Ｉと再構築された画像Ｈ
とのエラーＥは、次式
とのエラーＥは、次式
【００８１】
【数９】
【００８２】のように表される。
【００８３】このエラーＥを最小にするような最適なａ
を求めることにより再構築することができる。
を求めることにより再構築することができる。
【００８４】なお、図１９（Ａ）に示す画像を上述のよ
うにして再構築した結果を図１９（Ｂ）に示す。このと
きのエラーは0.3426であり、ガボア・フィルタをかけた
結果が欠損せず、良いガボア・フィルタが構成されてい
ることが分かる。タスクによりフィルタの構成を変える
とき（例えば顔認識や３次元物体認識によって変えると
き）にこの再構築を用いることができる。
うにして再構築した結果を図１９（Ｂ）に示す。このと
きのエラーは0.3426であり、ガボア・フィルタをかけた
結果が欠損せず、良いガボア・フィルタが構成されてい
ることが分かる。タスクによりフィルタの構成を変える
とき（例えば顔認識や３次元物体認識によって変えると
き）にこの再構築を用いることができる。
【００８５】（２−２−２）サポート・ベクタ・マシー
ン 本実施の形態では、３次元物体の認識処理に関して、パ
ターン認識の分野で最も学習汎化能力が高いとされるサ
ポート・ベクタ・マシーン（ＳＶＭ）を用いて学習済み
の３次元物体６０であるか否かの識別を行う。
ン 本実施の形態では、３次元物体の認識処理に関して、パ
ターン認識の分野で最も学習汎化能力が高いとされるサ
ポート・ベクタ・マシーン（ＳＶＭ）を用いて学習済み
の３次元物体６０であるか否かの識別を行う。
【００８６】ＳＶＭ自体に関しては、例えばＢ．ｓｈｏ
ｌｋｏｐ外著の報告（B. Sholkop f, C. Burges, A. Sm
ola, "Advance in Kernel Methods Support Vector Lea
rning", The MIT Press, 1999.）を挙げることができ
る。本発明者らが行った予備実験の結果からは、ＳＶＭ
による物体認識方法は、主成分分析（ＰＣＡ）やニュー
ラル・ネットワークを用いる手法に比べ、良好な結果を
示すことが判っている。
ｌｋｏｐ外著の報告（B. Sholkop f, C. Burges, A. Sm
ola, "Advance in Kernel Methods Support Vector Lea
rning", The MIT Press, 1999.）を挙げることができ
る。本発明者らが行った予備実験の結果からは、ＳＶＭ
による物体認識方法は、主成分分析（ＰＣＡ）やニュー
ラル・ネットワークを用いる手法に比べ、良好な結果を
示すことが判っている。
【００８７】ＳＶＭは、識別関数に線形識別器（バーセ
プトロン）を用いた学習機械であり、カーネル関数を使
うことで非線形空間に拡張することができる。また、識
別関数の学習では、クラス間分離のマージンを最大にと
るように行われ、その解は、２次数理計画法を解くこと
で得られるため、グローバル解に到達できることを理論
的に保証することができる。
プトロン）を用いた学習機械であり、カーネル関数を使
うことで非線形空間に拡張することができる。また、識
別関数の学習では、クラス間分離のマージンを最大にと
るように行われ、その解は、２次数理計画法を解くこと
で得られるため、グローバル解に到達できることを理論
的に保証することができる。
【００８８】通常、パターン認識の問題は、テスト・サ
ンプルｘ＝（ｘ１，ｘ２，…，ｘｎ）に対して、次式
ンプルｘ＝（ｘ１，ｘ２，…，ｘｎ）に対して、次式
【００８９】
【数１０】
【００９０】で与えられる識別関数ｆ（ｘ）を求めるこ
とである。
とである。
【００９１】ここで、ＳＶＭの学習用の教師ラベルを次
式
式
【００９２】
【数１１】
【００９３】のようにおく。
【００９４】すると、ＳＶＭにおける顔パターンの認識
を次式
を次式
【００９５】
【数１２】
【００９６】に示す制約条件の下での重み因子ｗの二乗
を最小化する問題としてとらえることができる。
を最小化する問題としてとらえることができる。
【００９７】このような制約のついた問題は、ラグラン
ジュの未定定数法を用いて解くことができる。すなわ
ち、次式
ジュの未定定数法を用いて解くことができる。すなわ
ち、次式
【００９８】
【数１３】
【００９９】のようにラグランジュをまず導入し、次い
で、次式
で、次式
【０１００】
【数１４】
【０１０１】のように、ｂ，ｗの各々について偏微分す
る。
る。
【０１０２】この結果、ＳＶＭにおける３次元物体の識
別を次式
別を次式
【０１０３】
【数１５】
【０１０４】に示す２次計画問題としてとらえることが
できる。
できる。
【０１０５】特微空間の次元数が、訓練サンプルの数よ
りも少ない場合は、スラック変数ζ≧０を導入して、制
約条件を次式
りも少ない場合は、スラック変数ζ≧０を導入して、制
約条件を次式
【０１０６】
【数１６】
【０１０７】のように変更する。
【０１０８】最適化については、以下の目的関数を最小
化する、次式
化する、次式
【０１０９】
【数１７】
【０１１０】のように変更する。
【０１１１】この（１７）式において、Ｃは、制約条件
をどこまで緩めるかを指定する係数であり、実験的に値
を決定する必要がある。
をどこまで緩めるかを指定する係数であり、実験的に値
を決定する必要がある。
【０１１２】ラグランジュ定数αに関する問題は次式器
【０１１３】
【数１８】
【０１１４】のように変更される。
【０１１５】しかし、この（１８）式のままでは、非線
形の問題を解くことはできない。そこで、本実施の形態
では、カーネル関数Ｋ（ｘ，ｙ′）を導入して、一旦、
高次元の空間に写像して（カーネル・トリック）、その
空間で線形分離することにしている。従って、元の空間
では非線形分離していることと同様となる。
形の問題を解くことはできない。そこで、本実施の形態
では、カーネル関数Ｋ（ｘ，ｙ′）を導入して、一旦、
高次元の空間に写像して（カーネル・トリック）、その
空間で線形分離することにしている。従って、元の空間
では非線形分離していることと同様となる。
【０１１６】カーネル関数は、ある写像Φを用いて次式
【０１１７】
【数１９】
【０１１８】のように表される。
【０１１９】また、上述の（１０）式に示した識別関数
も、次式
も、次式
【０１２０】
【数２０】
【０１２１】のように表すことができる。
【０１２２】また、学習に関しても、次式
【０１２３】
【数２１】
【０１２４】に示す２次計画問題としてとられることが
できる。
できる。
【０１２５】カーネルとしては、次式
【０１２６】
【数２２】
【０１２７】に示すガウシアン・カーネル（ＲＢＦ（Ra
dius Basic Function ））などを用いることができる。
dius Basic Function ））などを用いることができる。
【０１２８】なお、ガボア・フィルタリングに関して
は、認識タクスに応じてフィルタの種類を変更するよう
にしてもよい。
は、認識タクスに応じてフィルタの種類を変更するよう
にしてもよい。
【０１２９】低周波でのフィルタリングでは、フィルタ
リング後のイメージすべてをベクトルとして持っている
のは冗長である。そこで、ダウンサンプリングして、ベ
クトルの次元を落すようにしてもよい。ダウンサンプリ
ングされた２４種類のベクトルを一列に並べ、長いベク
トルにする。
リング後のイメージすべてをベクトルとして持っている
のは冗長である。そこで、ダウンサンプリングして、ベ
クトルの次元を落すようにしてもよい。ダウンサンプリ
ングされた２４種類のベクトルを一列に並べ、長いベク
トルにする。
【０１３０】また、本実施の形態において３次元物体の
認識に適用されるＳＶＭは、特徴空間を２分する識別器
であり、「物体Ａ」か「物体Ａでない」かを判別するよ
うに学習する。そのため、データベースの画像中から、
まず物体Ａの画像を集め、ガボア・フィルタリング後の
ベクトルに「物体Ａでない」というラベルを貼る。一般
に、集める画像の数は、特徴空間の次元より多い方がよ
い。例えば１０個の３次元物体を認識したい場合は、同
様に、「物体Ｂである」、「物体Ｂでない」…のよう
に、それぞれの３次元物体に対して１つの識別器を構成
する。
認識に適用されるＳＶＭは、特徴空間を２分する識別器
であり、「物体Ａ」か「物体Ａでない」かを判別するよ
うに学習する。そのため、データベースの画像中から、
まず物体Ａの画像を集め、ガボア・フィルタリング後の
ベクトルに「物体Ａでない」というラベルを貼る。一般
に、集める画像の数は、特徴空間の次元より多い方がよ
い。例えば１０個の３次元物体を認識したい場合は、同
様に、「物体Ｂである」、「物体Ｂでない」…のよう
に、それぞれの３次元物体に対して１つの識別器を構成
する。
【０１３１】このような学習により、例えば、「物体
Ａ」と「物体Ａでない」を分けるサポート・ベクタが求
まる。ＳＶＭは、特徴空間を２つに仕切る識別器であ
り、新しい画像が入力されてきたときに、やはりガボア
・フィルタリングのベクトルが、求めたサポート・ベク
タが構成する境界面のどちら側にあるかで認識結果を出
力する。そして、境界に対して、「物体Ａ」の領域であ
れば、「物体Ａ」と認識することができる。また、「物
体Ａではない」領域であれば「物体Ａでない」と認識さ
れる。
Ａ」と「物体Ａでない」を分けるサポート・ベクタが求
まる。ＳＶＭは、特徴空間を２つに仕切る識別器であ
り、新しい画像が入力されてきたときに、やはりガボア
・フィルタリングのベクトルが、求めたサポート・ベク
タが構成する境界面のどちら側にあるかで認識結果を出
力する。そして、境界に対して、「物体Ａ」の領域であ
れば、「物体Ａ」と認識することができる。また、「物
体Ａではない」領域であれば「物体Ａでない」と認識さ
れる。
【０１３２】また認識性能を上げるために、ブートスト
ラップ手法を採用することができる。学習に用いる画像
とは別に画像を撮影して、ブートストラップに用いる。
これは、学習した識別器が誤った認識結果を出したとき
に、その入力画像を学習セットに投入して学習し直すこ
とを意味する。
ラップ手法を採用することができる。学習に用いる画像
とは別に画像を撮影して、ブートストラップに用いる。
これは、学習した識別器が誤った認識結果を出したとき
に、その入力画像を学習セットに投入して学習し直すこ
とを意味する。
【０１３３】また、認識性能を上げるために、認識結果
の時間変化を見る方法もある。最も簡単な方法では、１
０回中８回「物体Ａ」と認識されたら「物体Ａ」と認識
するなどである。他に、カルマン・フィルタを用いた予
測法なども利用できる。
の時間変化を見る方法もある。最も簡単な方法では、１
０回中８回「物体Ａ」と認識されたら「物体Ａ」と認識
するなどである。他に、カルマン・フィルタを用いた予
測法なども利用できる。
【０１３４】（３）本実施の形態の動作及び効果
以上の構成において、ロボット１は、３次元物体６０を
見つけると、当該３次元物体６０を一方の腕部ユニット
４Ｂの手のひら２３Ａ上に載置して、これをＣＣＤカメ
ラ５０Ａに対して所定の空間位置に位置させる。
見つけると、当該３次元物体６０を一方の腕部ユニット
４Ｂの手のひら２３Ａ上に載置して、これをＣＣＤカメ
ラ５０Ａに対して所定の空間位置に位置させる。
【０１３５】そして、その状態でその腕部ユニット４Ｂ
を駆動して３次元物体６０をその空間位置において４５
度間隔で３６０度回転させることにより、その３次元物
体６０を４５度ごとにずらした方向から見たときの画像
データを収集し、当該収集した合計８枚分の画像の画像
データに基づいてその３次元物体６０を認識するための
認識処理を実行すると共に、この際その３次元物体６０
を認識できなかったときには、その合計８枚分の画像の
画像データに基づいてその３次元物体６０を学習する。
を駆動して３次元物体６０をその空間位置において４５
度間隔で３６０度回転させることにより、その３次元物
体６０を４５度ごとにずらした方向から見たときの画像
データを収集し、当該収集した合計８枚分の画像の画像
データに基づいてその３次元物体６０を認識するための
認識処理を実行すると共に、この際その３次元物体６０
を認識できなかったときには、その合計８枚分の画像の
画像データに基づいてその３次元物体６０を学習する。
【０１３６】従って、このロボット１は、３次元物体６
０に対する認識処理及び学習処理を常に一定条件（ＣＣ
Ｄカメラ５０Ａに対して常に一定の位置関係）の下で行
うことができるため、例えば一般家庭等の実環境におい
ても精度良く３次元物体６０の認識を行うことができ
る。
０に対する認識処理及び学習処理を常に一定条件（ＣＣ
Ｄカメラ５０Ａに対して常に一定の位置関係）の下で行
うことができるため、例えば一般家庭等の実環境におい
ても精度良く３次元物体６０の認識を行うことができ
る。
【０１３７】またこのロボット１においては、このよう
に認識対象の３次元物体６０を自発的にＣＣＤカメラ５
０Ａに対して一定の位置関係にある空間位置に持ってき
てから認識処理及び学習処理を行うため、ユーザの手を
煩わせることなく極めて自然に３次元物体６０の認識及
び学習を行うことができる。
に認識対象の３次元物体６０を自発的にＣＣＤカメラ５
０Ａに対して一定の位置関係にある空間位置に持ってき
てから認識処理及び学習処理を行うため、ユーザの手を
煩わせることなく極めて自然に３次元物体６０の認識及
び学習を行うことができる。
【０１３８】さらにロボット１においては、このように
自発的に３次元物体６０の認識及び学習を行うため、ユ
ーザの家庭環境に合った物体認識を行えるようになるこ
とから、よりインタラクションを取れるようになる。
自発的に３次元物体６０の認識及び学習を行うため、ユ
ーザの家庭環境に合った物体認識を行えるようになるこ
とから、よりインタラクションを取れるようになる。
【０１３９】以上の構成によれば、ロボット１が認識対
象の３次元物体６０を持ち、これをＣＣＤカメラ５０Ａ
に対して所定の位置関係を有する空間位置にもってきて
から当該３次元物体６０の認識処理や学習処理を行うよ
うにしたことにより、３次元物体６０に対する認識処理
及び学習処理を常に一定条件下で行うことができ、かく
して一般家庭等の実環境においても精度良くかつ自然に
３次元物体６０の認識を行い得るロボットを実現でき
る。
象の３次元物体６０を持ち、これをＣＣＤカメラ５０Ａ
に対して所定の位置関係を有する空間位置にもってきて
から当該３次元物体６０の認識処理や学習処理を行うよ
うにしたことにより、３次元物体６０に対する認識処理
及び学習処理を常に一定条件下で行うことができ、かく
して一般家庭等の実環境においても精度良くかつ自然に
３次元物体６０の認識を行い得るロボットを実現でき
る。
【０１４０】（４）他の実施の形態
なお上述の実施の形態においては、本発明を図１〜図５
のように構成された２足歩行型のロボット１に適用する
ようにした場合について述べたが、本発明はこれに限ら
ず、この他種々の構成のロボット装置及びロボット装置
以外の他の装置に広く適用することができる。
のように構成された２足歩行型のロボット１に適用する
ようにした場合について述べたが、本発明はこれに限ら
ず、この他種々の構成のロボット装置及びロボット装置
以外の他の装置に広く適用することができる。
【０１４１】この場合において、上述の実施の形態にお
いては、認識対象の物体を、ＣＣＤカメラ５０Ａに対し
て予め定められた所定の空間位置に移動させて、当該空
間位置において所定状態に保持する保持手段としての腕
部ユニット４Ｂを図１〜図３について説明した構成とす
るようにした場合について述べたが、本発明はこれに限
らず、この他種々の構成を広く適用することができる。
いては、認識対象の物体を、ＣＣＤカメラ５０Ａに対し
て予め定められた所定の空間位置に移動させて、当該空
間位置において所定状態に保持する保持手段としての腕
部ユニット４Ｂを図１〜図３について説明した構成とす
るようにした場合について述べたが、本発明はこれに限
らず、この他種々の構成を広く適用することができる。
【０１４２】また上述の実地の形態においては、ＣＣＤ
カメラ５０Ａの出力に基づいて３次元物体６０を認識
し、認識できなかったときには当該３次元物体６０を学
習する認識学習手段としてロボット１全体の動作を司る
メイン制御部４０を適用するようにした場合について述
べたが、本発明はこれに限らず、例えばかかる機能を有
する学習認識手段をメイン制御部４０とは別に設けるよ
うにしても良い。
カメラ５０Ａの出力に基づいて３次元物体６０を認識
し、認識できなかったときには当該３次元物体６０を学
習する認識学習手段としてロボット１全体の動作を司る
メイン制御部４０を適用するようにした場合について述
べたが、本発明はこれに限らず、例えばかかる機能を有
する学習認識手段をメイン制御部４０とは別に設けるよ
うにしても良い。
【０１４３】またこの場合において、上述の実施の形態
においては、かかる３次元物体６０の特徴を抽出するた
めの手法としてガボア・フィルタを用い、当該抽出した
特徴に基づいて３次元物体６０を認識する手法としてサ
ポート・ベクタ・マシーン（ＳＶＭ）を用いるようにし
た場合について述べたが、本発明はこれに限らず、この
他種々の手法を広く適用することができる。
においては、かかる３次元物体６０の特徴を抽出するた
めの手法としてガボア・フィルタを用い、当該抽出した
特徴に基づいて３次元物体６０を認識する手法としてサ
ポート・ベクタ・マシーン（ＳＶＭ）を用いるようにし
た場合について述べたが、本発明はこれに限らず、この
他種々の手法を広く適用することができる。
【０１４４】因みに、３次元物体６０の特徴を抽出する
ための手法としてガボア・フィルタを用いる場合におい
ても、上述の実施の形態のように８種類の方向と３通り
の周波数に固定されるものではなく、その方向及び周波
数の組み合せとしては、この他種々の組み合わせを広く
適用することができる。
ための手法としてガボア・フィルタを用いる場合におい
ても、上述の実施の形態のように８種類の方向と３通り
の周波数に固定されるものではなく、その方向及び周波
数の組み合せとしては、この他種々の組み合わせを広く
適用することができる。
【０１４５】さらに上述の実施の形態においては、認識
対象の３次元物体６０を撮像する撮像手段としてＣＣＤ
カメラ５０Ａを適用するようにした場合について述べた
が、本発明はこれに限らず、ＭＯＳ形固定撮像デバイス
等この他種々の撮像素子を広く適用することができる。
対象の３次元物体６０を撮像する撮像手段としてＣＣＤ
カメラ５０Ａを適用するようにした場合について述べた
が、本発明はこれに限らず、ＭＯＳ形固定撮像デバイス
等この他種々の撮像素子を広く適用することができる。
【０１４６】
【発明の効果】以上のように本発明によれば、物体認識
装置において、認識対象の物体を、所定の撮像手段に対
して予め定められた所定の空間位置に移動させて、当該
空間位置において所定状態に保持する保持手段と、撮像
手段の出力に基づいて物体を認識し、認識できなかった
ときには当該物体を学習する認識学習手段とを設けるよ
うにしたことにより、認識対象の物体を常に一定条件下
で認識処理及び学習処理でき、かくしてどのような環境
においても自然にかつ精度良く物体の認識を行い得る物
体認識装置を実現できる。
装置において、認識対象の物体を、所定の撮像手段に対
して予め定められた所定の空間位置に移動させて、当該
空間位置において所定状態に保持する保持手段と、撮像
手段の出力に基づいて物体を認識し、認識できなかった
ときには当該物体を学習する認識学習手段とを設けるよ
うにしたことにより、認識対象の物体を常に一定条件下
で認識処理及び学習処理でき、かくしてどのような環境
においても自然にかつ精度良く物体の認識を行い得る物
体認識装置を実現できる。
【０１４７】また本発明によれば、物体認識方法におい
て、認識対象の物体を、所定の撮像手段に対して予め定
められた所定の空間位置に移動させて、当該空間位置に
おいて所定状態に保持する第１のステップと、撮像手段
の出力に基づいて物体を認識し、認識できなかったとき
には当該物体を学習する第２のステップとを設けるよう
にしたことにより、認識対象の物体を常に一定条件下で
認識処理及び学習処理でき、かくしてどのような環境に
おいても自然にかつ精度良く物体の認識を行い得る物体
認識方法を実現できる。
て、認識対象の物体を、所定の撮像手段に対して予め定
められた所定の空間位置に移動させて、当該空間位置に
おいて所定状態に保持する第１のステップと、撮像手段
の出力に基づいて物体を認識し、認識できなかったとき
には当該物体を学習する第２のステップとを設けるよう
にしたことにより、認識対象の物体を常に一定条件下で
認識処理及び学習処理でき、かくしてどのような環境に
おいても自然にかつ精度良く物体の認識を行い得る物体
認識方法を実現できる。
【０１４８】さらに本発明によれば、物体を保持可能な
腕部を有するロボット装置において、周囲を撮像する撮
像手段と、撮像手段の出力に基づいて認識すべき物体を
選択し、当該選択した物体を撮像手段に対して予め定め
られた所定の空間位置に移動させて所定状態に保持する
ように、腕部の動きを制御する制御手段と、撮像手段の
出力に基づいて物体を認識し、認識できなかったときに
は当該物体を学習する認識学習手段とを設けるようにし
たことにより、認識対象の物体を常に一定条件下で認識
処理及び学習処理でき、かくしてどのような環境におい
ても自然にかつ精度良く物体の認識を行い得るロボット
装置を実現できる。
腕部を有するロボット装置において、周囲を撮像する撮
像手段と、撮像手段の出力に基づいて認識すべき物体を
選択し、当該選択した物体を撮像手段に対して予め定め
られた所定の空間位置に移動させて所定状態に保持する
ように、腕部の動きを制御する制御手段と、撮像手段の
出力に基づいて物体を認識し、認識できなかったときに
は当該物体を学習する認識学習手段とを設けるようにし
たことにより、認識対象の物体を常に一定条件下で認識
処理及び学習処理でき、かくしてどのような環境におい
ても自然にかつ精度良く物体の認識を行い得るロボット
装置を実現できる。
【図１】本実施の形態によるロボットの外部構成を示す
斜視図である。
斜視図である。
【図２】ロボットの外部構成を示す斜視図である。
【図３】ロボットの外部構成の説明に供する略線図であ
る。
る。
【図４】ロボットの内部構成の説明に供するブロック図
である。
である。
【図５】ロボットの内部構成の説明に供するブロック図
である。
である。
【図６】学習モード時の処理手順の説明に供する略線図
である。
である。
【図７】認識モード時の処理手順の説明に供する略線図
である。
である。
【図８】３次元物体認識処理手順の説明に供するフロー
チャートである。
チャートである。
【図９】３次元物体画像の切り出しの説明に供する略線
図である。
図である。
【図１０】３次元物体画像の切り出しの説明に供する略
線図である。
線図である。
【図１１】ガボア・フィルタの空間領域での様相を示し
た図である。
た図である。
【図１２】ガボア・フィルタの空間領域での様相を示し
た図である。
た図である。
【図１３】ガボア・フィルタの空間領域での様相を示し
た図である。
た図である。
【図１４】元の３次元物体画像を示す図である。
【図１５】図１４の３次元物体画像を図１１に示すガボ
ア・フィルタでフィルタリングした結果を示す図であ
る。
ア・フィルタでフィルタリングした結果を示す図であ
る。
【図１６】図１４の３次元物体画像を図１２に示すガボ
ア・フィルタでフィルタリングした結果を示す図であ
る。
ア・フィルタでフィルタリングした結果を示す図であ
る。
【図１７】図１４の３次元物体画像を図１３に示すガボ
ア・フィルタでフィルタリングした結果を示す図であ
る。
ア・フィルタでフィルタリングした結果を示す図であ
る。
【図１８】周波数領域でのガボア・フィルタの構成を示
す図である。
す図である。
【図１９】画像の再構築の説明に供する図である。
１……ロボット、４Ａ、４Ｂ……腕部ユニット、２３Ａ
……手のひら、４０……メイン制御部、５０Ａ、５０Ｂ
……ＣＣＤカメラ、６０……３次元物体。
……手のひら、４０……メイン制御部、５０Ａ、５０Ｂ
……ＣＣＤカメラ、６０……３次元物体。
─────────────────────────────────────────────────────
フロントページの続き
(51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考）
Ｇ０６Ｔ 1/00 ３１５ Ｇ０６Ｔ 1/00 ３１５
Ｆターム(参考） 3C007 AS36 BS27 CS08 KT02 KT11
LW12 MT08 WA03 WA13 WB16
WB26
5B057 AA05 BA21 CA08 CA13 CA16
CE04 CE06 CE09 DB03 DB09
DC30 DC40
5L096 AA09 BA05 CA04 CA08 GA55
JA11
Claims (9)
- 【請求項１】認識対象の物体を、所定の撮像手段に対し
て予め定められた所定の空間位置に移動させて、当該空
間位置において所定状態に保持する保持手段と、 上記撮像手段の出力に基づいて上記物体を認識し、認識
できなかったときには当該物体を学習する認識学習手段
とを具えることを特徴とする物体認識装置。 - 【請求項２】上記保持手段は、 上記保持した物体を、上記撮像手段に対する上記所定の
空間位置において回転させ、 上記認識学習手段は、 上記撮像手段の出力に基づき得られる上記回転する物体
の所定の回転角度ごとの画像情報に基づいて当該物体を
認識し、必要に応じて当該物体を学習することを特徴と
する請求項１に記載の物体認識装置。 - 【請求項３】上記認識学習手段は、 ガボア・フィルタを用いて上記物体の特徴を抽出し、 当該抽出した物体の特徴に基づき、サポート・ベクタ・
マシーン（ＳＶＭ）を用いて上記認識対象の物体を認識
することを特徴とする請求項１に記載の物体認識装置。 - 【請求項４】認識対象の物体を、所定の撮像手段に対し
て予め定められた所定の空間位置に移動させて、当該空
間位置において所定状態に保持する第１のステップと、 上記撮像手段の出力に基づいて上記物体を認識し、認識
できなかったときには当該物体を学習する第２のステッ
プとを具えることを特徴とする物体認識方法。 - 【請求項５】上記第１のステップでは、 上記保持した物体を、上記撮像手段に対する上記所定の
空間位置において回転させ、 上記第２のステップでは、 上記撮像手段の出力に基づき得られる上記回転する物体
の所定の回転角度ごとの画像情報に基づいて当該物体を
認識し、必要に応じて当該物体を学習することを特徴と
する請求項４に記載の物体認識方法。 - 【請求項６】上記第２のステップでは、 ガボア・フィルタを用いて上記物体の特徴を抽出し、 当該抽出した物体の特徴に基づき、サポート・ベクタ・
マシーン（ＳＶＭ）を用いて上記認識対象の物体を認識
することを特徴とする請求項４に記載の物体認識方法。 - 【請求項７】物体を保持可能な腕部を有するロボット装
置において、 周囲を撮像する撮像手段と、 上記撮像手段の出力に基づいて認識すべき物体を選択
し、当該選択した物体を上記撮像手段に対して予め定め
られた所定の空間位置に移動させて所定状態に保持する
ように、上記腕部の動きを制御する制御手段と、 上記撮像手段の出力に基づいて上記物体を認識し、認識
できなかったときには当該物体を学習する認識学習手段
とを具えることを特徴とするロボット装置。 - 【請求項８】上記制御手段は、 上記物体を、上記撮像手段に対する上記所定の空間位置
において回転させるように上記腕部の動きを制御し、 上記認識学習手段は、 上記撮像手段の出力に基づき得られる上記回転する物体
の所定の回転角度ごとの画像信号に基づいて当該物体を
認識し、必要に応じて当該物体を学習することを特徴と
する請求項７に記載のロボット装置。 - 【請求項９】上記認識学習手段は、 ガボア・フィルタを用いて上記物体の特徴を抽出し、 当該抽出した物体の特徴に基づき、サポート・ベクタ・
マシーン（ＳＶＭ）を用いて上記認識対象の物体を認識
することを特徴とする請求項７に記載のロボット装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002151616A JP4164737B2 (ja) | 2002-05-24 | 2002-05-24 | 物体認識装置及び方法並びにロボット装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002151616A JP4164737B2 (ja) | 2002-05-24 | 2002-05-24 | 物体認識装置及び方法並びにロボット装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003346152A true JP2003346152A (ja) | 2003-12-05 |
| JP4164737B2 JP4164737B2 (ja) | 2008-10-15 |
Family
ID=29769132
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002151616A Expired - Fee Related JP4164737B2 (ja) | 2002-05-24 | 2002-05-24 | 物体認識装置及び方法並びにロボット装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4164737B2 (ja) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005202860A (ja) * | 2004-01-19 | 2005-07-28 | Mitsubishi Electric Corp | 検出対象識別装置 |
| WO2006001525A1 (en) * | 2004-06-28 | 2006-01-05 | Canon Kabushiki Kaisha | Object recognition method and apparatus therefor |
| JP2006167902A (ja) * | 2004-12-20 | 2006-06-29 | Yaskawa Electric Corp | 双腕ロボットの制御装置および制御方法 |
| JP2006228227A (ja) * | 2005-02-17 | 2006-08-31 | Northrop Grumman Corp | 脅威対象がある状況下での地形追随飛行用の軌道を自動的に生成する混合整数線形計画法 |
| JP2008257353A (ja) * | 2007-04-02 | 2008-10-23 | Advanced Telecommunication Research Institute International | 物体の視覚的表現を学習するための学習システム及びコンピュータプログラム |
| JP2011022992A (ja) * | 2009-05-08 | 2011-02-03 | Honda Research Inst Europe Gmbh | 視覚に基づく３次元形状認識を備えたロボット |
| JP2013031913A (ja) * | 2011-08-02 | 2013-02-14 | GM Global Technology Operations LLC | ステージクラス化を用いた器用なロボットの実行シーケンスを制御するための方法およびシステム |
| JP2013161391A (ja) * | 2012-02-08 | 2013-08-19 | Sony Corp | 情報処理装置、情報処理方法およびコンピュータプログラム |
| JP2016146188A (ja) * | 2016-03-02 | 2016-08-12 | ソニー株式会社 | 情報処理装置、情報処理方法およびコンピュータプログラム |
| WO2018105433A1 (ja) | 2016-12-05 | 2018-06-14 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置、情報処理方法、およびプログラム |
| WO2018105434A1 (ja) | 2016-12-05 | 2018-06-14 | 株式会社ソニー・インタラクティブエンタテインメント | システム、治具、情報処理装置、情報処理方法、およびプログラム |
| WO2019021456A1 (ja) * | 2017-07-28 | 2019-01-31 | 株式会社ソニー・インタラクティブエンタテインメント | 学習装置、認識装置、学習方法、認識方法及びプログラム |
| KR20200113939A (ko) * | 2019-03-27 | 2020-10-07 | 한국원자력 통제기술원 | 전략물자 식별을 위한 3차원 모델을 활용한 2차원 이미지 유사도 비교 시스템 및 그 방법 |
| CN114728417A (zh) * | 2019-12-17 | 2022-07-08 | X开发有限责任公司 | 由远程操作员触发的机器人自主对象学习 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101811626B (zh) * | 2010-02-08 | 2013-01-02 | 广州御新软件有限公司 | 挖钞模块驱动机构 |
| AU2013222780B2 (en) | 2012-02-24 | 2015-08-27 | Patrick Soon-Shiong | Content activation via interaction-based authentication, systems and method |
-
2002
- 2002-05-24 JP JP2002151616A patent/JP4164737B2/ja not_active Expired - Fee Related
Cited By (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005202860A (ja) * | 2004-01-19 | 2005-07-28 | Mitsubishi Electric Corp | 検出対象識別装置 |
| US7912253B2 (en) | 2004-06-28 | 2011-03-22 | Canon Kabushiki Kaisha | Object recognition method and apparatus therefor |
| WO2006001525A1 (en) * | 2004-06-28 | 2006-01-05 | Canon Kabushiki Kaisha | Object recognition method and apparatus therefor |
| JP2006011978A (ja) * | 2004-06-28 | 2006-01-12 | Canon Inc | 画像処理方法、画像処理装置 |
| JP2006167902A (ja) * | 2004-12-20 | 2006-06-29 | Yaskawa Electric Corp | 双腕ロボットの制御装置および制御方法 |
| JP2006228227A (ja) * | 2005-02-17 | 2006-08-31 | Northrop Grumman Corp | 脅威対象がある状況下での地形追随飛行用の軌道を自動的に生成する混合整数線形計画法 |
| JP2008257353A (ja) * | 2007-04-02 | 2008-10-23 | Advanced Telecommunication Research Institute International | 物体の視覚的表現を学習するための学習システム及びコンピュータプログラム |
| JP2011022992A (ja) * | 2009-05-08 | 2011-02-03 | Honda Research Inst Europe Gmbh | 視覚に基づく３次元形状認識を備えたロボット |
| JP2013031913A (ja) * | 2011-08-02 | 2013-02-14 | GM Global Technology Operations LLC | ステージクラス化を用いた器用なロボットの実行シーケンスを制御するための方法およびシステム |
| US8706299B2 (en) | 2011-08-02 | 2014-04-22 | GM Global Technology Operations LLC | Method and system for controlling a dexterous robot execution sequence using state classification |
| DE102012213188B4 (de) * | 2011-08-02 | 2015-06-25 | GM Global Technology Operations, LLC (n.d. Ges. d. Staates Delaware) | Verfahren und System zum Steuern einer Ausführungssequenz eines geschickten Roboters unter Verwendung einer Zustandsklassifizierung |
| JP2013161391A (ja) * | 2012-02-08 | 2013-08-19 | Sony Corp | 情報処理装置、情報処理方法およびコンピュータプログラム |
| CN103295011A (zh) * | 2012-02-08 | 2013-09-11 | 索尼公司 | 信息处理装置、信息处理方法、以及计算机程序 |
| US9008442B2 (en) | 2012-02-08 | 2015-04-14 | Sony Corporation | Information processing apparatus, information processing method, and computer program |
| JP2016146188A (ja) * | 2016-03-02 | 2016-08-12 | ソニー株式会社 | 情報処理装置、情報処理方法およびコンピュータプログラム |
| WO2018105434A1 (ja) | 2016-12-05 | 2018-06-14 | 株式会社ソニー・インタラクティブエンタテインメント | システム、治具、情報処理装置、情報処理方法、およびプログラム |
| WO2018105433A1 (ja) | 2016-12-05 | 2018-06-14 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置、情報処理方法、およびプログラム |
| US10902629B2 (en) | 2016-12-05 | 2021-01-26 | Sony Interactive Entertainment Inc. | Information processing device, information processing method, and program |
| US11200695B2 (en) | 2016-12-05 | 2021-12-14 | Sony Interactive Entertainment Inc. | System, jig, information processing device, information processing method, and program |
| US11681910B2 (en) | 2017-07-28 | 2023-06-20 | Sony Interactive Entertainment Inc. | Training apparatus, recognition apparatus, training method, recognition method, and program |
| WO2019021456A1 (ja) * | 2017-07-28 | 2019-01-31 | 株式会社ソニー・インタラクティブエンタテインメント | 学習装置、認識装置、学習方法、認識方法及びプログラム |
| JPWO2019021456A1 (ja) * | 2017-07-28 | 2019-12-12 | 株式会社ソニー・インタラクティブエンタテインメント | 学習装置、認識装置、学習方法、認識方法及びプログラム |
| CN110945537A (zh) * | 2017-07-28 | 2020-03-31 | 索尼互动娱乐股份有限公司 | 训练装置、识别装置、训练方法、识别方法和程序 |
| CN110945537B (zh) * | 2017-07-28 | 2023-09-22 | 索尼互动娱乐股份有限公司 | 训练装置、识别装置、训练方法、识别方法和程序 |
| KR102193329B1 (ko) | 2019-03-27 | 2020-12-22 | 한국원자력 통제기술원 | 전략물자 식별을 위한 3차원 모델을 활용한 2차원 이미지 유사도 비교 시스템 및 그 방법 |
| KR20200113939A (ko) * | 2019-03-27 | 2020-10-07 | 한국원자력 통제기술원 | 전략물자 식별을 위한 3차원 모델을 활용한 2차원 이미지 유사도 비교 시스템 및 그 방법 |
| US11584004B2 (en) | 2019-12-17 | 2023-02-21 | X Development Llc | Autonomous object learning by robots triggered by remote operators |
| CN114728417A (zh) * | 2019-12-17 | 2022-07-08 | X开发有限责任公司 | 由远程操作员触发的机器人自主对象学习 |
| CN114728417B (zh) * | 2019-12-17 | 2024-04-16 | X开发有限责任公司 | 由远程操作员触发的机器人自主对象学习的方法及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4164737B2 (ja) | 2008-10-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4609584B2 (ja) | ロボット装置、顔認識方法及び顔認識装置 | |
| JP2003346152A (ja) | 物体認識装置及び方法並びにロボット装置 | |
| US11331806B2 (en) | Robot control method and apparatus and robot using the same | |
| Fang et al. | Adaptive active visual servoing of nonholonomic mobile robots | |
| US8060272B2 (en) | System and method for image mapping and visual attention | |
| JP4329398B2 (ja) | 顔検出装置及び方法、並びにプログラム及び記録媒体 | |
| JP2007012047A (ja) | 人間型ロボットのための身体近接空間および対象物を認識する方法 | |
| JP4016180B2 (ja) | 平面抽出方法、その装置、そのプログラム、その記録媒体及び撮像装置 | |
| JP2003269917A (ja) | 距離計測方法、その装置、そのプログラム、その記録媒体及び距離計測装置搭載型ロボット装置 | |
| CN105631859A (zh) | 三自由度仿生立体视觉*** | |
| JP4535096B2 (ja) | 平面抽出方法、その装置、そのプログラム、その記録媒体及び撮像装置 | |
| JP2003150569A (ja) | 情報処理システムおよび情報処理方法、プログラムおよび記録媒体、並びに情報処理装置 | |
| WO2022227664A1 (zh) | 机器人姿态的控制方法、机器人、存储介质及计算机程序 | |
| Metta et al. | Learning to track colored objects with log-polar vision | |
| Hafez et al. | Hybrid visual servoing by boosting IBVS and PBVS | |
| CN108621164A (zh) | 基于深度相机的太极推手机器人 | |
| Vernon et al. | The iCub cognitive architecture | |
| CN109531578B (zh) | 仿人机械手臂体感控制方法及装置 | |
| WO2017179136A1 (ja) | 全天球カメラロボット高度調整システム、全天球カメラロボット高度調整方法及びプログラム | |
| Welke et al. | Active multi-view object search on a humanoid head | |
| CN210121851U (zh) | 一种机器人 | |
| Su | Vision Based Surgical Tool Tracking and Force Estimation with Robot Kinematics Prior | |
| US8406505B2 (en) | Image brightness reduction for legged mobile robot | |
| Knoop et al. | Sensor fusion for model based 3d tracking | |
| US20230290101A1 (en) | Data processing method and apparatus, electronic device, and computer-readable storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Effective date: 20050428 Free format text: JAPANESE INTERMEDIATE CODE: A621 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080125 |
|
| A131 | Notification of reasons for refusal |
Effective date: 20080201 Free format text: JAPANESE INTERMEDIATE CODE: A131 |
|
| A521 | Written amendment |
Effective date: 20080331 Free format text: JAPANESE INTERMEDIATE CODE: A523 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080501 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080610 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080703 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080716 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110808 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Year of fee payment: 4 Free format text: PAYMENT UNTIL: 20120808 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130808 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |