JP2002251615A - 画像処理装置及び方法並びにロボット装置及びその制御方法 - Google Patents

Abstract

(57)【要約】 【課題】画像内の動体を精度良く検出し得る画像処理装
置及び方法並びにエンターテイメント性を向上させ得る
ロボット及びその制御方法を実現し難かった。 【解決手段】画像処理装置及び方法において、画像情報
に基づく画像全体の移動量を検出し、当該検出結果を考
慮した所定の動き検出処理により、画像内の動きを検出
するようにした。またロボット装置及びその制御方法に
おいて、外部を撮像する撮像手段から出力される画像情
報に基づく画像全体の移動量を検出すると共に、当該検
出結果を考慮した所定の動き検出処理により画像内の動
きを検出し、この検出結果を行動に反映させるようにし
た。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は画像処理装置及び方
法並びにロボット装置及びその制御方法に関し、例えば
４足歩行型のロボット装置に適用して好適なものであ
る。

【０００２】

【従来の技術】近年、ユーザからの指令や周囲の環境に
応じて行動を行う４足歩行型のペットロボットが本願特
許出願人によって開発されている。

【０００３】かかるペットロボットは、ＣＣＤ（Charge
Coupled Device ）カメラやマイクロホンを搭載してお
り、当該ＣＣＤカメラによって撮像した周囲の状況や、
マイクロホンにより集音したユーザからの指令音及び周
囲音等に基づいて周囲の状況やユーザからの指令の有無
を判断し、この判断結果に基づいて自律的に行動を決定
してこれを発現するようになされたものである。

【０００４】

【発明が解決しようとする課題】ところで画像処理によ
って画像内の動体を検出する方法としては、従来から種
々の方法が提案され、実用化されている。そしてこれら
の方法は、大きく分けて、画像フレーム間で画素の差分
をとる第１の方法と、時空間フィルタを用いて画像上の
任意の点におけるオプティカルフローを求める第２の方
法と、フレーム間で小領域のマッチングを行い、その領
域の動きを求める第３の方法の３つに分けることができ
る。この場合、これらのいずれの方法も画像を撮像する
ためのカメラが固定されており、検出された動きが外界
の動きであることが前提となっている。

【０００５】しかしながら例えば上述のペットロボット
のように、それぞれ多自由度関節を有するロボットで
は、搭載されたＣＣＤカメラが当該ロボットの動作に伴
って大きくかつ複雑に動いてしまう。

【０００６】このためかかるペットロボットにおいて、
上述のような第１〜第３の方法によって画像内の動体を
検出しようとすると、フレーム間で画像全体が大きく動
くことから実際に動体を撮像していてもその動きを検出
することは困難であった。またこれとは逆に、周囲に動
きがなくとも自己の動作によって動体を誤検出する問題
もあった。

【０００７】そしてペットロボットにおいて、上述のよ
うに動体を精度良く検出し得ないと、実際には周囲に動
体が存在しないにも係わらずあたかも動体があるかのよ
うな行動を発現したり、逆に周囲に動体が存在している
にも係わらず動体がないかのような行動を発現するな
ど、発現される行動が不自然となる問題があった。

【０００８】従ってかかるペットロボットにおいて、自
己の動作の有無に係わりなく、周囲に存在する動体を精
度良く検出し得るようにすることができれば、不自然な
行動が発現されるのを未然に防止して、そのエンターテ
イメント性をより向上させ得るものと考えられる。

【０００９】本発明は以上の点を考慮してなされたもの
で、画像内の動体を精度良く検出し得る画像処理装置及
び方法並びにエンターテイメント性を向上させ得るロボ
ット装置及びその制御方法を提案しようとするものであ
る。

【００１０】

【課題を解決するための手段】かかる課題を解決するた
め本発明においては、画像処理装置において、画像情報
に基づく画像全体の移動量を検出する第１の検出手段
と、第１の検出手段の検出結果を考慮した所定の動き検
出処理により、画像内の動きを検出する第２の検出手段
とを設けるようにした。この結果この画像処理装置で
は、画像全体の動きの有無に係わりなく、画像内の動体
を精度良く検出することができる。

【００１１】また本発明においては、画像処理方法にお
いて、画像情報に基づく画像全体の移動量を検出する第
１のステップと、検出した移動量を考慮した所定の動き
検出処理により、画像内の動きを検出する第２のステッ
プとを設けるようにした。この結果この画像処理方法に
よれば、画像全体の動きの有無に係わりなく、画像内の
動体を精度良く検出することができる。

【００１２】さらに本発明においては、ロボット装置に
おいて、行動を自律的に決定して発現するロボット装置
において、外部を撮像する撮像手段から出力される画像
情報に基づく画像全体の移動量を検出する第１の検出手
段と、第１の検出手段の検出結果を考慮した所定の動き
検出処理により、画像内の動きを検出する第２の検出手
段とを設け、第２の検出手段の検出結果を行動に反映さ
せるようにした。この結果このロボット装置では、自己
の動作に伴う撮像手段の動きの有無に係わりなく、当該
撮像手段から出力される画像情報に基づく画像内の動体
を精度良く検出して、当該検出結果を反映した行動を行
うことができる。

【００１３】さらに本発明においては、ロボット装置の
制御方法において、ロボットに搭載された撮像手段によ
り外部を撮像すると共に、当該撮像手段から出力される
画像情報に基づく画像全体の移動量を検出する第１のス
テップと、検出した移動量を考慮した所定の動き検出処
理により、画像内の動きを検出する第２のステップと、
第２のステップでの検出結果をロボット装置の行動に反
映させる第３のステップとを設けるようにした。この結
果このロボット装置の制御方法によれば、ロボット装置
の動作に伴う撮像手段の動きの有無に係わりなく、当該
撮像手段から出力される画像情報に基づく画像内の動体
を精度良く検出して、当該検出結果を反映した行動をロ
ボット装置に行わせることができる。

【００１４】

【発明の実施の形態】以下図面について、本発明の一実
施の形態を詳述する。

【００１５】（１）本実施の形態によるペットロボット
の構成 図１において、１は全体として本実施の形態によるペッ
トロボットを示し、胴体部ユニット２の前後左右にそれ
ぞれ脚部ユニット３Ａ〜３Ｄが連結されると共に、胴体
部ユニット２の前端部及び後端部にそれぞれ頭部ユニッ
ト４及び尻尾部ユニット５が連結されることにより構成
されている。

【００１６】胴体部ユニット２には、図２に示すよう
に、ＣＰＵ（Central Processing Unit ）１０、ＤＲＡ
Ｍ（Dynamic Random Access Memory）１１、フラッシュ
ＲＯＭ（Read Only Memory）１２、ＰＣ（Personal Com
puter ）カードインターフェース１３及び信号処理回路
１４が内部バス１５を介して相互に接続されることによ
り形成されたコントロール部１６と、このペットロボッ
ト１の動力源としてのバッテリ１７とが収納されてい
る。また胴体部ユニット２には、ペットロボット１の向
きや動きの加速度を検出するための角加速度センサ１８
及び加速度センサ１９なども収納されている。

【００１７】また頭部ユニット４には、外部の状況を撮
像するためのＣＣＤカメラ２０と、ユーザからの「撫で
る」や「叩く」といった物理的な働きかけにより受けた
圧力を検出するためのタッチセンサ２１と、前方に位置
する物体までの距離を測定するための距離センサ２２
と、外部音を集音するためのマイクロホン２３と、鳴き
声等の音声を出力するためのスピーカ２４と、ペットロ
ボット１の外見上の「目」に相当する図示しないＬＥＤ
（Light Emitting Diode）となどがそれぞれ所定位置に
配設されている。

【００１８】さらに各脚部ユニット３Ａ〜３Ｄの関節部
分や、脚部ユニット３Ａ〜３Ｄ及び胴体部ユニット２の
各連結部分、頭部ユニット４及び胴体部ユニット２の連
結部分、並びに尻尾部ユニット５の尻尾５Ａ（図１）の
付け根部分などにはそれぞれ自由度数分のアクチュエー
タ２５（２５₁、２５₂、２５₃……）及びポテンショメ
ータ２６（２６₁、２６₂、２６₃……）が配設されてい
る。

【００１９】そしてこれら角速度センサ１８、加速度セ
ンサ１９、タッチセンサ２１、距離センサ２２、マイク
ロホン２３、スピーカ２４、ＬＥＤ、各アクチュエータ
２５及び各ポテンショメータ２６は、それぞれハブ２７
（２７₁〜２７_n）を介してコントロール部１６の信号処
理回路１４にツリー状に接続されている。またＣＣＤカ
メラ２０及びバッテリ１７は、それぞれ信号処理回路１
４と直接接続されている。

【００２０】このとき信号処理回路１４は、角速度セン
サ１８、加速度センサ１９、タッチセンサ２１、距離セ
ンサ２２及び各ポテンショメータ２６等の各種センサか
らそれぞれハブ２７を介して供給されるセンサデータ
や、ＣＣＤカメラ２０から供給される画像データ及びマ
イクロホン２３から与えられる音声データを順次取り込
み、これらをそれぞれ内部バス１５を介してＤＲＡＭ１
１内の所定位置に順次格納する。また信号処理回路１４
は、バッテリ１７から供給されるバッテリ残量を表すバ
ッテリ残量データを順次取り込み、これをＤＲＡＭ１１
内の所定位置に格納する。

【００２１】そしてこのようにＤＲＡＭ１１に格納され
た各センサデータ、画像データ、音声データ及びバッテ
リ残量データは、この後ＣＰＵ１０がこのペットロボッ
ト１の動作制御を行う際に利用される。

【００２２】実際上ＣＰＵ１０は、ペットロボット１の
電源が投入された初期時、胴体部ユニット２の図示しな
いＰＣカードスロットに装填されたメモリカード２８又
はフラッシュＲＯＭ１２に格納された制御プログラムを
ＰＣカードインターフェース１３を介して又は直接読み
出し、これをＤＲＡＭ１１に展開する。

【００２３】またＣＰＵ１０は、この後上述のように信
号処理回路１４よりＤＲＡＭ１１に順次格納される各種
センサデータ、画像データ、音声データ及びバッテリ残
量データに基づいて自己及び周囲の状況や、ユーザから
の指示及び働きかけの有無などを判断する。

【００２４】さらにＣＰＵ１０は、この判断結果及びＤ
ＲＡＭ１１に展開した制御プログラムに基づいて続く行
動を決定すると共に、当該決定結果に応じた第１の駆動
信号を生成してこれを必要なアクチュエータ２５に送出
することにより、頭部ユニット４を上下左右に振らせた
り、尻尾部ユニット５の尻尾５Ａを動かせたり、各脚部
ユニット３Ａ〜３Ｄを駆動させて歩行させるなどの行動
を行わせる。

【００２５】またこの際ＣＰＵ１０は、必要に応じて音
声信号や第２の駆動信号を生成し、これらを信号処理回
路１４を介してスピーカ２４や「目」のＬＥＤに与える
ことにより、当該音声信号に基づく音声を外部に出力さ
せたり、第２の駆動信号に基づいて当該ＬＥＤを点灯、
消灯又は点滅させる。

【００２６】このようにしてこのペットロボット１にお
いては、自己及び周囲の状況や、ユーザからの指示及び
働きかけ等に応じて自律的に行動し得るようになされて
いる。

【００２７】なお信号処理回路１４の具体構成を図３に
示す。この図３からも明らかなように、信号処理回路１
４は、ＤＭＡ（Direct Memory Access）コントローラ３
０、ＤＳＰ（Digital Signal Processor）３１、ペリフ
ェラルインターフェース３２、タイマ３３、ＦＢＫ／Ｃ
ＤＴ（Filter Bank/Color Detection ）３４、ＩＰＥ
（Inner Product Engin ）３５、シリアルバスホストコ
ントローラ３６、シリアルバス３７がバス３８及び当該
バス３８の使用権の調停を行うバスアービタ３９を順次
介してバス４０に接続されると共に、当該バス４０がそ
れぞれＤＲＡＭインターフェース４１、ホストインター
フェース４２及びＲＯＭインターフェース４３を介して
ＤＲＡＭ１１（図２）、ＣＰＵ１０（図２）及びフラッ
シュＲＯＭ１２（図２）と接続され、かつペリフェラル
インターフェース３２にパラレルポート４４、バッテリ
マネージャ４５及びシリアルポート４６が接続されるこ
とにより構成されている。

【００２８】この場合図２について上述した角速度セン
サ１８、加速度センサ１９、タッチセンサ２１、距離セ
ンサ２２、マイクロホン２３、スピーカ２４、各アクチ
ュエータ２５及び各ポテンショメータ２６等のデバイス
は、それぞれハブ２７（２７ ₁〜２７_n）を介してシリア
ルホストコントローラ３６と接続されると共に、ＣＣＤ
カメラ２０（図２）はＦＢＫ／ＣＤＴ３４と接続され、
かつバッテリ１７（図２）はバッテリマネージャ４５と
接続されている。

【００２９】そしてシリアルホストコントローラ３６
は、接続された各デバイスのうち、角速度センサ１８、
加速度センサ１９、タッチセンサ２１、距離センサ２２
及び各ポテンショメータ２６等の各センサからそれぞれ
与えられるセンサデータを順次取り込み、データの転送
を司るバスマスタとして機能するＤＭＡコントローラ３
０の制御のもとに、これらセンサデータをバス３８、バ
スアービタ３９、バス４０及びＤＲＡＭインターフェー
ス４１を順次介してＤＲＡＭ１１に与えて記憶させる。

【００３０】またシリアルホストコントローラ３６は、
マイクロホン２３から与えられる音声データをＤＳＰ３
１に送出すると共に、当該ＤＳＰ３１は、供給されるホ
ストコントローラ３６から与えられる音声データに対し
て所定のデータ処理を施し、その処理結果でなる音声デ
ータを、ＤＭＡコントローラ３０の制御のもとに、バス
３８、バスアービタ３９、バス４０及びＤＲＡＭインタ
ーフェース４１を順次介してＤＲＡＭ１１に転送し、こ
れを当該ＤＲＡＭ１１内の所定の記憶領域に格納する。

【００３１】またＦＢＫ／ＣＤＴ３４は、ＣＣＤカメラ
２０から供給される画像データを色認識を行いながら複
数の解像度に分けて取り込み、得られた画像データを、
ＤＭＡコントローラ３０の制御のもとに、バス３８、バ
スアービタ３９、バス４０及びＤＲＡＭインターフェー
ス４１を順次介してＤＲＡＭ１１（図２）に転送し、こ
れを後述のように当該ＤＲＡＭ１１内の指定された記憶
領域に格納する。

【００３２】さらにバッテリマネージャ４５は、バッテ
リ１７から通知されるエネルギ残量を表すバッテリ残量
データを、ＤＭＡコントローラ３０の制御のもとに、ペ
リフェラルインターフェース３２、バス３８、バスアー
ビタ３９、バス４０及びＤＲＡＭインターフェース４１
を順次介してＤＲＡＭ１１に転送し、これを当該ＤＲＡ
Ｍ１１内の所定の記憶領域に格納する。

【００３３】一方、信号処理回路１４は、上述のように
ＣＰＵ１０（図２）からバス１５を介して与えられる各
アクチュエータ２５を駆動するための第１の駆動信号
や、音声信号及びＬＥＤを駆動するための第２の駆動信
号をホストインターフェース４２を介して入力する。

【００３４】そして信号処理回路１４は、これらをバス
４０、バスアービタ３９、バス３８及びシリアルバスホ
ストコントローラ３６並びに対応するハブ２７（２７₁
〜２７_n）（図２）を順次介して対応するアクチュエー
タ２５（２５₁、２５₂、２５₃……）（図２）や、スピ
ーカ２４又はＬＥＤに送出する。

【００３５】このようにして信号処理回路１４において
は、各センサ、ＣＣＤカメラ２０、マイクロホン２３、
スピーカ、各アクチュエータ２５などの各デバイスと、
ＣＰＵ１０との間において、ＣＰＵ１０がペットロボッ
ト１の行動を制御するために必要な各種信号処理を行い
得るようになされている。

【００３６】なおＩＰＥ３５は、画像間のマッチング処
理を高速に行うことができる２次元ディジタルフィルタ
であり、後述のように２画像を１画素ずつずらしなが
ら、各ずらし位置におけるこれら２画像間の相関性を表
すマッチングスコアを所定の演算式に基づいて順次計算
し得るようになされている。

【００３７】またシリアルバス３７は、パーソナルコン
ピュータ（ＰＣ）などのリモートコンピュータに接続す
るためのインターフェースであり、パラレルポート４４
及びシリアルポート４６は、当該リモートコンピュータ
と接続するためのコネクタである。さらにタイマ３３
は、ペットロボット１の内部の時計としての役割を果た
すものである。

【００３８】（２）ペットロボット１における画像デー
タの転送方法 ここではＣＣＤカメラ２０（図２）から入力される画像
データをＤＲＡＭ１１（図２）に転送する転送方法につ
いて説明する。図４に示すように、ＣＣＤカメラ２０か
ら出力された画像データは、信号処理回路１４（図２）
のＦＢＫ／ＣＤＴ３４に入力され、当該ＦＢＫ／ＣＤＴ
３４において所定の画像処理が施された後、ＤＭＡコン
トローラ３０（図３）の制御のもとに、バスアービタ３
９（図３）及びＤＲＡＭインターフェース４１（図３）
を順次介してＤＲＡＭ１１に転送される。

【００３９】ところでＤＭＡコントローラ３０は、バス
アービタ３９及びＤＲＡＭインターフェース４１を順次
介してＤＲＡＭ１１からＣＰＵ１０（図２）によって生
成されたＤＭＡリストを読み出し、当該ＤＭＡリストに
記述された画像データの転送先や転送先に関する情報に
基づいて画像データの転送を行うようになされている。

【００４０】従ってこのペットロボット１においては、
ＣＰＵ１０がＤＭＡリストを書き換えることによって、
ＤＭＡコントローラ３０がＤＢＫ／ＣＤＴ３４から出力
される画像データをＤＲＡＭ１１上の任意の位置に転送
することができる。このようにペットロボット１では、
画像データをＤＲＡＭ１１に転送して展開することによ
り、ＣＰＵ１０のキャッシュ機能を有効に利用して高速
なデータ処理を行い得るようになされている。

【００４１】以下、ペットロボット１における画像デー
タの転送方法についてＦＢＫ／ＣＤＴ３４の構成を示す
図４を用いながら具体的に説明する。

【００４２】ＣＣＤカメラ２０から出力された画像デー
タは、８ビットのパラレルデータ、クロック信号及び同
期信号からなり、ＦＢＫ／ＣＤＴ３４の入力画像インタ
ーフェース５０に入力されて所定のフォーマットに変換
された後、フィルタ演算部５１に供給される。

【００４３】ところでＣＰＵ１０は、ＤＲＡＭ１１に記
憶されている制御プログラムに基づいて各種フィルタ係
数を決定し、当該決定したフィルタ係数をパラメータ記
憶部５２に与えてこれを記憶させるようになされてい
る。

【００４４】そしてフィルタ演算部５１は、このパラメ
ータ記憶部５２に記憶されているフィルタ係数を用いて
入力画像インターフェース５０から与えられる画像デー
タにフィルタ演算を施すことにより、当該画像データの
色認識を行いながら複数の解像度の画像データを生成す
る。

【００４５】フィルタ演算部５１の後段には、それぞれ
１ライン分の画像データを記憶できる記憶容量を有する
２つのバッファ５３Ａ、５３Ｂが設けられており、フィ
ルタ演算部５１は、生成した画像データを１ライン毎に
交互にバッファ５３Ａ、５３Ｂに送出してこれを記憶さ
せる。

【００４６】その際ＤＭＡインターフェース５４は、２
つのバッファ５３Ａ、５３Ｂのうちの一方のバッファ５
３Ａ、５３Ｂに１ライン分の画像データを記憶させてい
る間に他方のバッファ５３Ａ、５３Ｂから１ライン分の
画像データを読み出し、当該読み出した１ライン分の画
像データをＤＭＡコントローラ３０の指示に基づいてＤ
ＲＡＭ１１に転送することにより、複数の画像データを
順次ＤＲＡＭ１１に転送する。なおバッファ５３Ａ、５
３Ｂは、それぞれ１ライン分の記憶容量を持つだけでな
ので、記憶容量が少なく、簡易な構成のＦＢＫ／ＣＤＴ
３４を実現している。

【００４７】ところでこのような画像データの転送は、
バスマスタとして機能するＤＭＡコントローラ３０によ
って行われる。すなわちＤＭＡインターフェース５４
は、２つのバッファ５３Ａ、５３Ｂのうちいずれか一方
が１ライン分の画像データを記憶すると、ＤＭＡコント
ローラ３０に対してＤＭＡリクエストと呼ばれる転送要
求信号を送出する。

【００４８】そしてＤＭＡコントローラ３０は、ＤＭＡ
リクエストが供給されると、まずバス３８（図３）の使
用権を獲得し、次いでＣＰＵ１０によって通知されるア
ドレスを基にＤＲＡＭ１１から対応するＤＭＡリストを
読み出す。

【００４９】そしてＤＭＡコントローラ３０は、このＤ
ＭＡリストに基づいて画像データの転送先であるＤＲＡ
Ｍ１１上のアドレスを順次生成し、バス３８に対して書
込み信号を発行する。ＦＢＫ／ＣＤＴ３４は、このバス
３８に対する書込み信号に同期して、一方のバッファ５
３Ａ、５３Ｂに蓄積されている画像データを読み出して
バス３８に順次送出する。

【００５０】このＦＢＫ／ＣＤＴ３４から出力された画
像データは、ＦＢＫ／ＣＤＴ３４から出力されると同時
にＤＲＡＭ１１に書き込まれることから、画像データの
転送は非常に高速に行われる。ところで、画像データの
転送先に関する設定は、ＤＭＡリストによって行われる
ことから、ＤＭＡコントローラ３０は画像データをＤＲ
ＡＭ１１上の任意の位置に転送し得るようになされてい
る。

【００５１】そしてＦＢＫ／ＣＤＴ３４は、かかるバッ
ファ５３Ａ、５３Ｂに蓄積されていた１ライン分の画像
データの転送を終了すると、ＤＭＡコントローラ３０に
対するＤＭＡリクエストを取り下げて画像データの転送
を打ち切る。これを受けてＤＭＡコントローラ３０は、
ＤＭＡリクエストが取り下げられたタイミングまでに転
送した画像データのデータ量などの情報をＤＭＡリスト
に書き込み、この後バス３８を解放する。そしてＤＭＡ
コントローラ３０は、再びＤＭＡリクエストが供給され
ると、上述のＤＭＡリストをＤＲＡＭ１１から読み出し
て前回の続きの転送を行う。

【００５２】このようにしてこのペットロボット１で
は、画像データを高速に転送処理することができるよう
になされている。

【００５３】（３）ペットロボット１における画像処理
方法 次に、このペットロボット１における画像処理方法につ
いて説明する。これに際して、まずペットロボッ１の制
御プログラムのソフトウェア構成について説明する。

【００５４】このペットロボット１には、以下のような
機能を有するオペレーティング・システムが搭載されて
いる。 １．複数のタスクを実行可能 ２．タスク間でデータの転送が可能 ３．タスク間でメモリ（ＤＲＡＭ１１）を共有すること
ができる

【００５５】具体的にはオペレーティング・システムと
してアペリオス（Ａperios）（ソニー株式会社、商標）
が用いられ、このオペレーティング・システム上におけ
る各オブジェクト間の通信方式として、例えば特願平11
-006491 号に開示された通信方式が用いられている。

【００５６】図５は、このペットロボット１における制
御プログラムのソフトウェア構成を示すものである。こ
の図５において、デバイス・ドライバ・レイヤ６０は、
かかる制御プログラムの最下位層に位置し、複数のデバ
イス・ドライバからなるデバイス・ドライバ・セット６
１によって構成されている。

【００５７】この場合各デバイス・ドライバは、ＣＣＤ
カメラ２０（図２）やタイマ３３（図３）等の通常のコ
ンピュータで用いられるハードウェアに直接アクセスす
ることを許されたオブジェクトであり、対応するハード
ウェアからの割り込みを受けて処理を行う。

【００５８】またロボティック・サーバ・オブジェクト
６２は、デバイス・ドライバ・レイヤ６０の上位層に位
置し、例えば上述の各センサやアクチュエータ２５（２
５₁、２５₂、２５₃……）（図２）等のハードウェアに
アクセスするためのインターフェースを提供するソフト
ウェア群でなるバーチャル・ロボット６３と、電源の切
り換えなどを管理するソフトウェア群でなるパワーマネ
イジャ６４と、他の種々のデバイス・ドライバを管理す
るソフトウェア群でなるデバイス・ドライバ・マネージ
ャ６５と、ペットロボット１の機構を管理するソフトウ
ェア群でなるデザインド・ロボット６６とから構成され
ている。

【００５９】マネージャ・オブジェクト６７は、オブジ
ェクト・マネージャ６８及びサービス・マネージャ６９
から構成されている。この場合オブジェクト・マネージ
ャ６８は、ロボティック・サーバ・オブジェクト６２、
ミドル・ウェア・レイヤ７０及びアプリケーション・レ
イヤ７１に含まれる各ソフトウェア群の起動や終了を管
理するソフトウェア群であり、サービス・マネージャ６
９は、メモリカード２８（図２）に格納されたコネクシ
ョンファイルに記述されている各オブジェクト間の接続
情報に基づいて各オブジェクトの接続を管理するソフト
ウェア群である。

【００６０】ミドル・ウェア・レイヤ７０は、ロボティ
ック・サーバ・オブジェクト６２の上位層に位置し、画
像処理や音声処理などのこのペットロボット１の基本的
な機能を提供するソフトウェア群から構成されている。
またアプリケーション・レイヤ７１は、ミドル・ウェア
・レイヤ７０の上位層に位置し、当該ミドル・ウェア・
レイヤ７０を構成する各ソフトウェア群によって処理さ
れた処理結果に基づいてペットロボット１の行動を決定
するためのソフトウェア群から構成されている。

【００６１】マネージャ・オブジェクト６７は、オブジ
ェクト・マネージャ及びサービス・マネージャによって
構成されており、このうちオブジェクト・マネージャ
は、ロボティック・サーバ・オブジェクト・ミドル・ウ
ェア・レイヤ及びアプリケーション・レイヤを構成する
ソフトウェア群の起動や終了を管理するソフトウェア群
でなり、サービス・マネージャは、メモリカードに記憶
されているコネクションファイルに記述された各オブジ
ェクト間の接続情報に基づいて各オブジェクトの接続を
管理するソフトウェア群である。

【００６２】以下、かかる構成の制御プログラムに基づ
いてペットロボット１の内部において行われる画像処理
について、色検出、動き検出及び障害物検出といった複
数の画像処理のタスクを同時に実行する場合を例に、図
６及び図７を用いて図８を参照しながら説明する。

【００６３】図６及び図７は、かかる画像処理のシステ
ム起動時からの手順（以下、これを画像処理手順ＲＴ１
と呼ぶ）を示すものであり、ペットロボット１の電源が
投入されるとこの画像処理手順ＲＴ１が開始され、続く
ステップＳＰ２において、コントロール部１６（図２）
のＣＰＵ１０がデバイス・ドライバ・セット６１（図
５）を構成する図８に示すＦＢＫ／ＣＤＴドライバ６１
Ａを起動してＦＢＫ／ＣＤＴ３４を初期化する。

【００６４】続くステップＳＰ３において、ＣＰＵ１０
は、ロボティック・サーバ・オブジェクト６２（図５）
を起動する。このときバーチャル・ロボット６３（図
５）も起動する。そしてバーチャル・ロボット６３は、
起動後、図８に示すように、画像データを記憶するため
の共有メモリ８０を複数個ＤＲＡＭ１１（図２）上に生
成し、この後ＦＢＫ／ＣＤＴドライバ６１Ａに対して画
像サイズのような画像の属性に関する情報を設定する。

【００６５】またＣＰＵ１０は、ロボティック・サーバ
・オブジェクト６２（図５）の起動が終了すると、ミド
ル・ウェア・レイヤ７０（図５）を構成している画像処
理オブジェクトを順次起動する。因に、生成された共有
メモリ８０の記憶容量は、バーチャル・ロボット６３
（図５）の指示に応じて容易に変更が可能である。

【００６６】続くステップＳＰ４において、バーチャル
・ロボット６３は、ＤＲＡＭ１１上に生成した複数の共
有メモリ８０のうち所望の共有メモリ８０のアドレスを
ＦＢＫ／ＣＤＴドライバ６１Ａに通知すると共に、当該
通知したアドレスの共有メモリ８０に画像データを転送
することを要求するリード要求をＦＢＫ／ＣＤＴドライ
バ６１Ａに発行する。

【００６７】そしてＦＢＫ／ＣＤＴドライバ６１Ａは、
リード要求を受け取ると、続くステップＳＰ５におい
て、指定された共有メモリ８０に画像データを転送する
ためのＤＭＡリスト８１を生成してＤＲＡＭ１１（図
２）に記憶する。その際ＦＢＫ／ＣＤＴドライバ６１Ａ
は、ＤＲＡＭ１１に記憶されたＤＭＡリスト８１のアド
レスをＤＭＡコントローラ３０（図３）に通知した後、
ＦＢＫ／ＣＤＴ３４に対して画像データを出力すること
を許可する。

【００６８】続くステップＳＰ６において、ＦＢＫ／Ｃ
ＤＴ３４は、ＦＢＫ／ＣＤＴドライバ６１Ａからの画像
データの出力許可を受けて１フィールド分の画像データ
を指定された共有メモリ８０に転送すると、ＦＢＫ／Ｃ
ＤＴドライバ６１Ａに対して割り込みを発生させ、割込
みハンドラと呼ばれるソフトウェアを起動させる。そし
てステップＳＰ７において、この割込みハンドラは、バ
ーチャル・ロボット６３に対して画像データの転送が終
了したことを通知する。

【００６９】このときバーチャル・ロボット６３は、続
くステップＳＰ８において、必要なフィールド数分の画
像データが転送されたか否かを判断する。そしてバーチ
ャル・ロボット６３は、このステップＳＰ８において否
定結果を得るとステップＳＰ９に進んで次に転送すべき
共有メモリ８０のアドレスをＦＢＫ／ＣＤＴドライバ６
１Ａに渡してリード要求を発行した後、ステップＳＰ５
に戻ってこの後ステップＳＰ８において肯定結果を得る
までステップＳＰ５−ＳＰ６−ＳＰ７−ＳＰ８−ＳＰ９
−ＳＰ５のループを繰り返す。

【００７０】一方ＣＰＵ１０は、ステップＳＰ８におい
て肯定結果を得るとステップＳＰ１０に進んで、ミドル
・ウェア・レイヤ７０（図５）を構成する各画像処理オ
ブジェクトが起動し終えるのを待ち受け、やがて画像処
理オブジェクトが起動し終えると、ステップＳＰ１１に
進む。

【００７１】そしてマネージャ・オブジェクト６７のサ
ービス・マネージャ６９は、ミドル・ウェア・レイア７
０の各画像処理オブジェクトの起動が終えると、続くス
テップＳＰ１１において、これら画像処理オブジェクト
に対してそれぞれ接続相手先の画像処理オブジェクトを
通知し、各画像処理オブジェクト間で通信路を開く。

【００７２】例えばサービス・マネージャ６９は、図８
において明らかなように、色検出用画像処理オブジェク
ト８２及びエッジ検出用画像処理オブジェクト８４をバ
ーチャル・ロボット６３に接続する。またサービス・マ
ネージャ６９は、重心計算用画像処理オブジェクト８５
を色検出用画像処理オブジェクト８２に接続すると共
に、重心計算用画像処理オブジェクト８６を動き検出用
画像処理オブジェクト８３に接続する。

【００７３】さらにサービス・マネージャ６９は、障害
物検出用画像処理オブジェクト８７及び座標変換用画像
処理オブジェクト８８をエッジ検出用画像処理オブジェ
クト８４に階層的に接続する。因に、このような各画像
処理オブジェクト間の接続は変更が可能であり、各画像
処理オブジェクトの接続関係を変更することで様々な処
理を行い得る。

【００７４】続くステップＳＰ１２において、サービス
・マネージャ６９は、各画像処理オブジェクト間の接続
が終了すると、当該各画像処理オブジェクトにスタート
信号を送出する。これを受けて各画像処理オブジェクト
は、続くステップＳＰ１３において、コネクションファ
イルに記述された接続情報に基づいて下位層にある接続
先の画像処理オブジェクトにデータ要求信号を送出す
る。

【００７５】ところで色検出用画像処理オブジェクト８
２、動き検出用画像処理オブジェクト８３及びエッジ検
出用画像処理オブジェクト８４は、ＦＢＫ／ＣＤＴ３４
から順次供給される画像データを、それぞれ異なるフィ
ード間隔で読み出すようになされており、バーチャル・
ロボット６３は、供給される画像データのうち、各画像
処理オブジェクトがそれぞれ読み出すべき画像データを
把握している。

【００７６】従ってバーチャル・ロボット６３は、続く
ステップＳＰ１４において、各画像処理オブジェクトか
らデータ要求信号を受け取ると、各画像処理オブジェク
トがそれぞれ読み出すべき画像データが格納されている
共有メモリ８０に割り当てられているＩＤ（Identifica
tion）（すなわちアドレス情報）を各画像処理オブジェ
クトにそれぞれ通知する。その際バーチャル・ロボット
６３は、内部の参照回数計測カウンタを用いて、各画像
処理オブジェクトに通知したＩＤのそれぞれに対して、
通知した画像処理オブジェクトの数をカウントしてその
カウント値を記憶しておく。

【００７７】このときバーチャル・ロボット６３は、参
照回数計測カウンタによるカウント値が「０」でないＩ
Ｄの共有メモリ８０には、ＦＢＫ／ＣＤＴ３４から供給
される画像データを上書きせずに、カウント数が「０」
の共有メモリ８０に画像データを上書きして順次記憶し
ていくことにより、各画像処理オブジェクトが読み出す
可能性のある画像データを誤って消去することを回避し
ている。

【００７８】続いてステップＳＰ１５において、各画像
処理オブジェクトは、通知されたＩＤが割り当てられて
いる共有メモリ８０から画像データを読み出す。その
際、各画像処理オブジェクトは、それぞれ同一の共有メ
モリ８０に記憶されている画像データを読み出す場合も
ある。しかしながら共有メモリ８０は、読み出し専用の
メモリであることから、各画像処理オブジェクトはそれ
ぞれ互いに干渉することなく画像データの読み出しを行
い得る。

【００７９】次いでステップＳＰ１６において、各画像
処理オブジェクトは、それぞれ必要な数だけ画像データ
を読み出したか否か判断し、その結果として必要な数だ
け画像データを読み出していないと判断した場合にはス
テップＳＰ１７に進む。

【００８０】そして各画像処理オブジェクトは、コネク
ションファイルに記述された接続情報に基づいて、次の
画像データを要求するためのデータ要求信号をそれぞれ
バーチャル・ロボット６３に送出する。そしてバーチャ
ル・ロボット６３は、続くステップＳＰ１８において、
データ要求信号を受け取ると、データ要求信号を送出し
た画像処理オブジェクトに通知したＩＤに対応して記憶
されている参加回数測定カウンタのカウント数をデータ
要求信号が供給されるごとに減算する。

【００８１】そしてバーチャル・ロボット６３は、その
カウント数が「０」になったときに、当該カウントが
「０」になったＩＤが割り当てられている共有メモリ８
０に記憶されている画像データの保護を解除し、ステッ
プＳＰ１４に戻って同じ動作を繰り返す。

【００８２】さらに各画像処理オブジェクトは、やがて
ステップＳＰ１６において肯定結果を得ると、ステップ
ＳＰ１９に進んで各画像処理オブジェクトが画像データ
を所望の共有メモリ８０から読み出し、これら読み出し
た画像データに対してそれぞれ所定の画像処理を施し、
その処理結果を上位層のオブジェクトに送出する。

【００８３】例えば色検出用画像処理オブジェクト８２
は、読み出した画像データから色の検出を行い、その処
理結果を重心計算用画像処理オブジェクト８５に送出し
て検出した色の位置を算出させる。また動き検出用画像
処理オブジェクト８３は、画像データから動き領域の検
出を行い、その処理結果を重心計算用画像処理オブジェ
クト８６に送出して検出した動き領域の位置や大きさを
算出させる。

【００８４】さらにエッジ検出用画像処理オブジェクト
８４は画像データからエッジの検出を行い、その処理結
果を障害物検出用画像処理オブジェクト８７に送出して
障害物の位置を算出させた後、座標変換用画像処理オブ
ジェクト８８において障害物の位置を座標変換させる。
そしてＣＰＵ１０は、この後ステップＳＰ２０に進んで
この処理（画像処理手順ＲＴ１）を終了する。

【００８５】このように各画像処理オブジェクトは、Ｄ
ＲＡＭ１１上に生成された共有メモリ８０から画像デー
タを読み出すようになされていることから、ＣＣＤカメ
ラ２０に依存しない汎用的な画像処理オブジェクトを実
現することができ、従って複数の汎用的な画像処理オブ
ジェクトを組み合わせることで、様々な画像処理を容易
に行い得るようになされている。

【００８６】（４）ペットロボット１における動体検出
のアルゴリズム 次にこのペットロボット１における動体検出方法につい
て説明する。

【００８７】このペットロボット１では、図９（Ａ）に
示す１つ前のフレームの画像（以下、これを前フレーム
画像と呼ぶ）９０の画像データ及び図９（Ｂ）に示す現
在のフレームの画像（以下、これを現フレーム画像と呼
ぶ）９１の画像データに基づいて、現フレーム画像９１
内の前フレーム画像９０の中心部分９０Ａと相関の高い
画像領域９１Ａを検出するようにしてペットロボット１
の動作に伴う画像全体の動き量（以下、これを画像全体
の移動量と呼ぶ）を検出し、当該検出結果を利用して図
９（Ｃ）のように画像内の動きのある部分のみを抽出す
ることにより動体を精度良く検出し得るようになされて
いる。

【００８８】この場合このような一連の処理は、図１０
に示す動体検出処理手順ＲＴ２に従って、ミドル・ウェ
ア・レイア７０（図５）の動き検出用画像処理オブジェ
クト８３（図８）、重心計算用画像処理オブジェクト８
６（図８）及び信号処理回路１４（図２）内のＩＰＥ３
５（図３）によって行われる。以下、このようなペット
ロボット１における動体検出方法について説明する。

【００８９】動体検出処理手順ＲＴ２は、動き検出用画
像処理オブジェクト８３の起動によりステップＳＰ３０
において開始される。そして続くステップＳＰ３１にお
いて、動き検出用画像処理オブジェクト８３は、ＤＲＡ
Ｍ１１上の指定された共有メモリ８０から画像データを
取り込んでこれを保存すると共に、続くステップＳＰ３
２において、かかる画像データの取り込みが１回目であ
るか否かを判断する。

【００９０】そして動き検出用画像処理オブジェクト８
３は、このステップＳＰ３２において肯定結果を得ると
再びステップＳＰ３１に戻り、この後ステップＳＰ３１
及びステップＳＰ３２を繰り返す。

【００９１】さらに動き検出用画像処理オブジェクト８
３は、やがてステップＳＰ３２において肯定結果を得る
とステップＳＰ３３に進んで、図１１（Ａ）に示すよう
に、前フレーム画像９２の中心領域（前フレーム画像９
２から上下左右の所定幅を除いた画像領域部分）９２Ａ
をテンプレートとして、当該中心領域９２Ａを上下左右
に４分割したときの左上、右上、左下及び右下の各分割
領域（以下、これらを第１〜第４のテンプレート分割領
域９２Ａ₁〜９２Ａ₄と呼ぶ）の画像データを順次ＩＰＥ
３５に転送する。

【００９２】また動き検出用画像処理オブジェクト８３
は、続くステップＳＰ３４において、図１１（Ｃ）に示
すように、現フレーム画像９３全体を検索画像として、
当該現フレーム画像９３を所定画素数分だけ上又は下及
び左又は右にオーバーラップさせながら上下左右に４分
割したときの左上、右上、左下及び右下の各分割領域
（以下、これらを第１〜第４の検索画像分割領域９３Ａ
₁〜９３Ａ₄と呼ぶ）の画像データをＩＰＥ３５に転送す
る。

【００９３】従ってこの例では、図１１（Ｃ）における
第２の横線ｌ_x2及び第２の縦線ｌ_y2によって区切られる
現フレーム画像９３の左上の画像領域（第１の検索画像
分割領域９３Ａ₁）と、第２の横線ｌ_x2及び第１の縦線
ｌ_y1によって区切られる現フレーム画像９３の右上の画
像領域（第２の検索画像分割領域９３Ａ₂）と、第１の
横線ｌ_x1及び第２の縦線ｌ_y2によって区切られる現フレ
ーム画像９３の左下の画像領域（第３の検索画像分割領
域９３Ａ₃）と、第１の横線ｌ_x1及び第１の縦線ｌ_y1に
よって区切られる現フレーム画像９３の右下の画像領域
（第４の検索画像分割領域９３Ａ₄）の各画像領域の画
像データがＩＰＥ３５に転送される。

【００９４】続くステップＳＰ３５において、ＩＰＥ３
５は、前フレーム画像９２の中心領域９２Ａに基づく第
１〜第４のテンプレート分割領域９２Ａ₁〜９２Ａ₄と、
現フレーム画像９３の対応する位置の第１〜第４の検索
画像分割領域９３Ａ₁〜９３Ａ₄とのマッチング処理を行
う。

【００９５】具体的にＩＰＥ３５は、第１のテンプレー
ト分割領域９２Ａ₁及び第１の検索画像分割領域９３Ａ₁
について、これらを縦方向や横方向に１画素単位でずら
しながら、当該ずらした位置（以下、これをずらし位置
と呼ぶ）における次式

【００９６】

【数１】

【００９７】で与えられるマッチングスコアを順次演算
すると共に、かくして得られたマッチングスコアをＤＲ
ＡＭ１１に順次ＤＭＡ転送してこれを記憶させる。

【００９８】またＩＰＥ３５は、これと同様にして第２
のテンプレート分割領域９２Ａ₂及び第２の検索画像分
割領域９３Ａ₂、第３のテンプレート分割領域９２Ａ₃及
び第３の検索画像分割領域９３Ａ₃、並びに第４のテン
プレート分割領域９２Ａ₄及び第４の検索画像分割領域
９３Ａ₄について、これらをそれぞれ縦方向又は横方向
に１画素単位でずらしながら、各ずらし位置における
（１）式で与えられるマッチングスコアを順次演算する
と共に、かくして得られたマッチングスコアをＤＲＡＭ
１１に順次ＤＭＡ転送してこれを記憶させる。

【００９９】そして動き検出用画像処理オブジェクト８
３は、全てのマッチングスコアの値が算出されると、次
式

【０１００】

【数２】

【０１０１】で与えられる演算を実行することにより、
各ずらし位置における第１〜第４のテンプレート分割領
域９２Ａ₁〜９２Ａ₄についての４つのマッチングスコア
を加算したスコア（以下、これを総合マッチングスコア
と呼ぶ）を算出する。

【０１０２】ここで現フレーム画像９３における上述の
ようにして算出された総合マッチングスコアの値が最も
小さい画像領域が前フレーム画像９２の中心領域９２Ａ
と最も相関が高い領域部分であり、従って前フレーム画
像９２の中心領域９２Ａの中心位置からこの画像領域の
中心位置までの距離がペットロボット１の動きに伴う前
フレーム及び現フレーム間における画像全体の移動量と
なる。

【０１０３】そこで動き検出用画像処理オブジェクト８
３は、続くステップＳＰ３６において、ステップＳＰ３
５において得られた各加算結果に基づいて、図１２に示
すように、現フレーム画像９３のうちの総合マッチング
スコアの値が最も小さい前フレーム画像９２の中心領域
９２Ａと同じ大きさの画像領域（すなわち最も相関が高
い領域部分であり、図１２において破線で囲まれた部
分）９３Ｂの中心位置（ｘ_C2，ｙ_C2）を記憶すると共
に、当該中心位置（ｘ_C2，ｙ_C2）から現フレーム画像９
３の中心位置（ｘ_C1，ｙ_C1）までの間の距離及び方向を
算出するようにして、前フレーム及び現フレーム間にお
ける画像全体の移動量を検出する。

【０１０４】続くステップＳＰ３７において、動き検出
用画像処理オブジェクト８３は、ステップＳＰ３６にお
いて検出したかかる画像領域９３Ｂについての総合マッ
チングスコアが予め定められた所定の閾値よりも小さい
か否かを判断することにより、その画像領域９３Ｂと、
前フレーム画像９２の中心領域９２Ａとの相関が所定レ
ベルよりも低いか否かを判断する。

【０１０５】ここでこのステップＳＰ３７において否定
結果を得ることは、前フレーム及び現フレーム間におい
て、現フレーム画像９３のかかる画像領域９３Ｂ内に動
きや輝度変化などが生じなかった、又は生じたがその動
きや輝度変化などが小さかったことを意味し、このとき
動き検出用画像処理オブジェクト８３は、ステップＳＰ
４１に進む。

【０１０６】これに対してステップＳＰ３７において肯
定結果を得ることは、前フレーム及び現フレーム間にお
いて、現フレーム画像９３のかかる画像領域９３Ｂ内に
ある程度の動きや輝度変化が生じたことを意味する。そ
してこのとき動き検出用画像処理オブジェクト８３は、
ステップＳＰ３８に進んで、ステップＳＰ３６において
検出した画像全体の移動量を利用しながら、前フレーム
画像９２の中心領域９２Ａ内の各画素の輝度レベルと、
現フレーム画像９３のかかる画像領域９３Ｂ内の対応す
る画素の輝度レベルとの差分を順次計算する。

【０１０７】この結果このような処理によって、前フレ
ーム画像９２の中心領域９２Ａと、現フレーム画像９３
のかかる画像領域９３Ｂとの差分画像のデータが得ら
れ、このデータ（以下、これを差分データと呼ぶ）が重
心計算用画像処理オブジェクト８６（図８）に出力され
る。

【０１０８】重心計算用画像処理オブジェクト８６は、
続くステップＳＰ３９において、動き検出用画像処理オ
ブジェクト８３から与えられる差分データに基づいて、
差分データの値が予め設定された所定の閾値よりも大き
い画素が集まっている領域、すなわち画像内の動きのあ
った領域（以下、これを動き領域と呼ぶ）を検出すると
共に、その動き領域の画素数をカウントし、さらに当該
動き領域の重心位置を検出する。

【０１０９】そして重心計算用画像処理オブジェクト８
６は、この後ステップＳＰ４０において、上述のステッ
プＳＰ３６において検出した現フレーム画像９３の画像
領域９３Ｂが、前フレーム画像９２を現フレーム画像と
した１つ前の処理において検出した位置と同じ位置にあ
るか否かを判断する。

【０１１０】ここで画像領域９３Ｂが同じ位置にあるこ
とは、前フレーム及び現フレーム間において画像全体の
動きが小さいことを意味し、このとき重心計算用画像処
理オブジェクト８６は、現フレーム画像９３内のかかる
動き領域の画素数を予め設定された第１の閾値ＴＨ_STと
比較する。これに対して画像領域９３Ｂが同じ位置にな
いことは、前フレーム及び現フレーム間において画像全
体の動きが大きいことを意味し、このとき重心計算用画
像処理オブジェクト８６は、かかる動き領域の画素数を
予め設定された第２の閾値ＴＨ_MV（＞ＴＨ_ST）と比較す
る。このように重心計算用画像処理オブジェクト８６
は、かかる動き領域の画素数が第１又は第２の閾値ＴＨ
_ST、ＴＨ_MVよりも大きいか否かを判断することによって
画像内に動きがあったか否かを判断する。

【０１１１】なおこのようにステップＳＰ３６において
検出した現フレーム画像９３の画像領域９３Ｂの位置に
応じて比較する閾値を分けたことにより、第１の閾値Ｔ
Ｈ_STを小さめに設定することによってペットロボット１
に動きがないときには小さな動きも敏感に検出すること
ができ、第２の閾値ＴＨ_MVを大きめに設定することによ
ってペットロボットに動きがあるときには感度を下げて
動きの誤検出を低減することができる。

【０１１２】続くステップＳＰ４１において、ＣＰＵ１
０は、ステップＳＰ４０における動きの有無の判断結果
を10フレーム分取得したか否かを判断する。そして否定
結果を得るとステップＳＰ３１に戻り、この後ステップ
ＳＰ４１において肯定結果を得るまでステップＳＰ３１
〜ステップＳＰ４１を繰り返す。

【０１１３】そしてやがてステップＳＰ４１において肯
定結果を得ると、重心計算用画像処理オブジェクト８６
は、フレーム数のカウント値をリセットした後ステップ
ＳＰ４２に進んで、ステップＳＰ４０における過去10フ
レーム分の動きの有無の判断結果に基づいて実際に外部
に動きがあったか否かを判断する。具体的には、重心計
算用画像処理オブジェクト８６は、例えばかかる10フレ
ームのうちの半分以上のフレームにおいて動きが検出さ
れた場合には真に動きがあったと判断し、これに対して
半分以上のフレームにおいて動きが検出されなかった場
合には動きがなかったと判断する。

【０１１４】そして重心計算用画像処理オブジェクト８
６は、真に動きがあったと判断した場合には、ステップ
ＳＰ３９において検出した最新のフレーム画像（過去10
フレームのうちの最後のフレーム）内における動き領域
の重心位置をアプリケーション・レイヤ７１内の対応す
るモジュールに通知した後ステップＳＰ３１に戻り、こ
れに対して動きがなかった判断した場合には何の通知も
行うことなくこの後ステップＳＰ３１に戻る。

【０１１５】このようにしてこのペットロボット１にお
いては、自身の動きに伴う画像全体の動きを考慮しなが
ら画像内の動体を精度良く検出し得るようになされてい
る。

【０１１６】（５）動体検出結果の行動への反映 次に上述のようにして得られた動体検出結果が実際にペ
ットロボット１の行動にどのように反映されるかについ
て説明する。

【０１１７】動体検出処理手順ＲＴ２（図１０）のステ
ップＳＰ４２において真に動きがあったと判断された場
合、この判断結果は図１３に示すアプリケーション・レ
イヤ７１内の行動決定モジュール１００に通知される。

【０１１８】この行動決定モジュール１００は、ＤＲＡ
Ｍ１１に格納される各センサデータに基づいて外部及び
内部の状態を認識すると共に、当該認識結果及び重心計
算用画像処理オブジェクト８６（図８）から与えられる
通知等に基づいてペットロボット１の行動を決定するモ
ジュールであり、「喜び」、「悲しみ」、「驚き」、
「恐怖」、「嫌悪」及び「怒り」の合計６つの情動につ
いて、各情動ごとにその情動の強さを表すパラメータを
保持している。

【０１１９】そして行動決定モジュール１００は、これ
ら各情動のパラメータの値を、それぞれ認識した外部及
び内部の状態や、重心計算用画像処理オブジェクト８６
から与えられる通知等に基づいて所定周期で順次更新す
ると共に、これら各情動のパラメータの値と、認識した
外部及び内部の状態とに基づいて次の行動を決定し、当
該決定結果に基づく行動指令をミドル・ウェア・レイヤ
７０の動作生成モジュール１０１又は追尾モジュール１
０２に送出する。

【０１２０】また動作生成モジュール１０１及び追尾モ
ジュール１０２は、与えられる行動指令を基づいて、そ
の行動を行うために対応する各アクチュエータ２５に与
えるべきサーボ指令値を生成し、これらを上述の駆動信
号としてロボティック・サーバ・オブジェクト６２のバ
ーチャルロボット６３及び信号処理回路１４を順次介し
て対応する各アクチュエータ２５に送出する。

【０１２１】この結果、例えば突然に動きが検出された
場合には、その刺激によって行動生成モジュール７１内
の「驚き」のパラメータが上昇することにより、行動生
成モジュール７１によって次の行動として「驚き」の感
情表出の行動が決定される。そしてこのようにして決定
された行動に応じた行動指令が動作生成モジュール７０
に与えられ、当該動作生成モジュール７０においてその
行動指令に基づくサーボ指令値等が生成されて、これが
対応するアクチュエータ２５等に上述の駆動信号として
与えられることにより、驚きを表す行動が発現される。

【０１２２】また行動生成モジュール１００において動
体の動きを追尾するような行動が決定された場合には、
当該決定された行動に応じた指令が追尾モジュール１０
２に与えられ、当該追尾モジュール１０２においてその
行動指令に基づくサーボ指令値等が生成されて、これが
対応するアクチュエータ２５等に上述の駆動信号として
与えられることにより、ペットロボット１が動体に興味
を示して頭をそちらに向けたり、歩いて追いかけたりす
る行動が発現される。

【０１２３】このようにしてこのペットロボット１にお
いては、動きの検出結果を自己の行動に反映し得るよう
になされている。

【０１２４】なおこのペットロボット１の場合、追尾モ
ジュール１０２は、行動決定モジュール１００から一旦
行動指令を受け取った後は、必要な情報を行動決定モジ
ュール１００を介すことなく重心計算用画像処理オブジ
ェクト８６から取得するようになされており、これによ
り追尾などの高速なタスクを確実に行い得るようになさ
れている。

【０１２５】（６）本実施の形態の動作及び効果 以上の構成において、このペットロボット１では、フレ
ーム間における画像全体の移動量を検出し、当該移動量
を考慮したマッチング処理により画像内の動体を検出す
る。

【０１２６】従ってこのペットロボット１では、ペット
ロボット１の動作に伴う動体の誤検出を未然にかつ効率
良く防止しながら、動体を精度良く検出することができ
る。

【０１２７】またこのペットロボット１では、１台のＣ
ＣＤカメラ２０だけで動体の検出を行えるため、ペット
ロボット１全体としての構成を簡易化することができ
る。

【０１２８】以上の構成によれば、フレーム間における
画像全体の移動量を検出し、当該移動量を考慮したマッ
チング処理により画像内の動体を検出するようにしたこ
とにより、ペットロボット１の動作に伴う動体の誤検出
を未然にかつ効率良く防止しながら、動体を精度良く検
出することができる。かくするにつき動体の誤検出に起
因する不自然な行動を未然に防止して、エンターテイメ
ント性を向上させ得るペットロボットを実現できる。

【０１２９】（７）他の実施の形態 なお上述の実施の形態においては、本発明を４足歩行型
のペットロボット１に適用するようにした場合について
述べたが、本発明はこれに限らず、これ以外の装置に搭
載されるこの他種々の画像処理装置や４足歩行型以外の
ペットロボット又はペットロボット以外のロボット等に
広く適用することができる。

【０１３０】また上述の実施の形態においては、ＣＣＤ
カメラ２０から出力される画像情報（画像データ）に基
づく画像全体の移動量を検出する第１の検出手段を、ソ
フトウェア構成の動き検出用画像処理オブジェクト８３
と、ハードウェア構成のＩＰＥ３５とによって構成する
ようにした場合について述べたが、本発明はこれに限ら
ず、これらを全てソフトウェア構成又はハードウェア構
成とするようにしても良く、第１の検出手段の構成とし
ては、この他種々の構成を広く適用することができる。

【０１３１】さらに上述の実施の形態においては、かか
る第１の検出手段の検出結果を考慮した所定の動き検出
処理により、画像内の動きを検出する第２の検出手段と
して、ソフトウェア構成の動き検出用画像処理オブジェ
クト８３及び重心計算用画像処理オブジェクト８６と、
ハードウェア構成のＩＰＥ３５とによって構成するよう
にした場合について述べたが、本発明はこれに限らず、
これらを全てソフトウェア構成又はハードウェア構成と
するようにしても良く、第２の検出手段の構成として
は、この他種々の構成を広く適用することができる。

【０１３２】さらに上述の実施の形態においては、前フ
レーム及び現フレーム間の画像全体の移動量を検出する
手法として、前フレーム画像９２及び現フレーム画像９
３をそれぞれ４分割し、前フレーム画像９２の分割領域
（第１〜第４のテンプレート分割領域９２Ａ₁〜９２
Ａ₄）と、現フレーム画像９３の対応する分割領域（第
１〜第４の検索画像分割領域９３Ａ₁〜９３Ａ₄）とをマ
ッチング処理するようにした場合について述べたが、本
発明はこれに限らず、前フレーム画像９２及び現フレー
ム画像９３を分割することなく、又は４分割以外の数に
分割してマッチング処理を行うようにしても良い。

【０１３３】

【発明の効果】上述のように本発明によれば、画像処理
装置及び方法において、画像情報に基づく画像全体の移
動量を検出し、当該検出結果を考慮した所定の動き検出
処理により、画像内の動きを検出するようにしたことに
より、画像全体の動きの有無に係わりなく、画像内の動
体を精度良く検出し得る画像処理装置及び方法を実現で
きる。

【０１３４】また本発明によれば、ロボット装置及びそ
の制御方法において、外部を撮像する撮像手段から出力
される画像情報に基づく画像全体の移動量を検出すると
共に、当該検出結果を考慮した所定の動き検出処理によ
り画像内の動きを検出し、この検出結果を行動に反映さ
せるようにしたことにより、ロボット装置の動作に伴う
撮像手段の動きの有無に係わりなく、当該撮像手段から
出力される画像情報に基づく画像内の動体を精度良く検
出して、当該検出結果を反映した行動を行うことがで
き、かくしてエンターテイメント性を向上させ得るロボ
ット装置及びその制御方法を実現できる。

【図面の簡単な説明】

【図１】本実施の形態によるペットロボットの構成を示
す斜視図である。

【図２】ペットロボットの回路構成を示すブロック図で
ある。

【図３】信号処理回路の構成を示すブロック図である。

【図４】ペットロボットにおける画像データの転送方法
の説明に供するブロック図である。

【図５】制御プログラムのソフトウェア構成を示す概念
図である。

【図６】画像処理手順を示すフローチャートである。

【図７】画像処理手順を示すフローチャートである。

【図８】ペットロボットにおける画像処理方法の説明に
供するブロック図である。

【図９】ペットロボットにおける動き検出の概要説明に
供する概念図である。

【図１０】動体検出処理手順を示すフローチャートであ
る。

【図１１】ペットロボットにおける動体検出手順の概要
説明に供する概念図である。

【図１２】ペットロボットにおける画像全体の移動量検
出の仕方の説明に供する概念図である。

【図１３】動体検出結果を行動に反映させるための説明
に供するブロック図である。

【符号の説明】

１……ペットロボット、１０……ＣＰＵ、１１……ＤＲ
ＡＭ、１４……信号処理回路、２０……ＣＣＤカメラ、
３４……ＦＢＫ／ＣＤＴ、３５……ＩＰＥ、６１Ａ……
ＦＢＫ／ＣＤＴドライバ、６３……バーチャル・ロボッ
ト、８３……動き検出画像処理オブジェクト、８６……
重心計算用画像処理オブジェクト、９２……前フレーム
画像、９２Ａ……中心領域、９２Ａ₁〜９２Ａ₄……テン
プレート分割領域、９３……現フレーム画像、９３Ａ₁
〜９３Ａ₄……検索画像分割領域、９３Ｂ……画像領
域、１００……行動決定モジュール、１０１……動作生
成モジュール、１０２……追尾モジュール、ＲＴ２……
動体検出処理手順。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｔ 1/00 ３００ Ｇ０６Ｔ 1/00 ３００ 7/00 ３００ 7/00 ３００Ｄ Ｆターム(参考） 2C150 CA01 CA02 CA04 DA04 DA05 DA24 DA25 DA26 DA27 DA28 DF03 DF04 DF33 ED42 ED47 ED52 EF03 EF07 EF13 EF16 EF23 EF29 EF34 EF36 3C007 AS36 CS08 KS18 KS23 KS24 KS27 KS31 KS39 KT01 KT11 WA04 WA14 5B057 AA05 BA02 CA01 CA12 CA16 DA06 DC06 DC16 DC32 5L096 AA02 BA05 CA14 FA02 FA06 FA60 GA08 GA19 HA04 JA03 JA09

Claims (12)

【特許請求の範囲】
1. 【請求項１】画像情報に基づく画像全体の移動量を検出
   する第１の検出手段と、 上記第１の検出手段の検出結果を考慮した所定の動き検
   出処理により、上記画像内の動きを検出する第２の検出
   手段とを具えることを特徴とする画像処理装置。
2. 【請求項２】上記第１の検出手段は、 上記画像情報に基づく現フレームの分割画像と、上記画
   像情報に基づく前フレームの対応する位置の分割画像と
   のマッチングスコアを画素単位でずらしながら算出し、
   算出結果に基づいて上記画像全体の移動量を検出するこ
   とを特徴とする請求項１に記載の画像処理装置。
3. 【請求項３】上記第２の検出手段は、 上記検出した移動量に応じて、上記画像内の上記動きの
   検出感度を変化させることを特徴とする請求項１に記載
   の画像処理装置。
4. 【請求項４】画像情報に基づく画像全体の移動量を検出
   する第１のステップと、 上記検出した移動量を考慮した所定の動き検出処理によ
   り、上記画像内の動きを検出する第２のステップとを具
   えることを特徴とする画像処理方法。
5. 【請求項５】上記第１のステップでは、 上記画像情報に基づく現フレームの分割画像と、上記画
   像情報に基づく前フレームの対応する位置の分割画像と
   のマッチングスコアを画素単位でずらしながら算出し、
   算出結果に基づいて上記画像全体の移動量を検出するこ
   とを特徴とする請求項４に記載の画像処理方法。
6. 【請求項６】上記第２のステップでは、 上記検出した移動量に応じて、上記画像内の上記動きの
   検出感度を変化させることを特徴とする請求項４に記載
   の画像処理方法。
7. 【請求項７】行動を自律的に決定して発現するロボット
   装置において、 外部を撮像する撮像手段と、 上記撮像手段から出力される画像情報に基づく画像全体
   の移動量を検出する第１の検出手段と、 上記第１の検出手段の検出結果を考慮した所定の動き検
   出処理により、上記画像内の動きを検出する第２の検出
   手段と、 を具え、 第２の検出手段の検出結果を上記行動に反映させること
   を特徴とするロボット装置。
8. 【請求項８】上記第１の検出手段は、 上記画像情報に基づく現フレームの分割画像と、上記画
   像情報に基づく前フレームの対応する位置の分割画像と
   のマッチングスコアを画素単位でずらしながら算出し、
   算出結果に基づいて上記画像全体の移動量を検出するこ
   とを特徴とする請求項７に記載のロボット装置。
9. 【請求項９】上記第２の検出手段は、 上記検出した移動量に応じて、上記画像内の上記動きの
   検出感度を変化させることを特徴とする請求項７に記載
   のロボット装置。
10. 【請求項１０】行動を自律的に決定して発現するロボッ
    ト装置の制御方法において、 上記ロボットに搭載された撮像手段により外部を撮像す
    ると共に、当該撮像手段から出力される画像情報に基づ
    く画像全体の移動量を検出する第１のステップと、 上記検出した移動量を考慮した所定の動き検出処理によ
    り、上記画像内の動きを検出する第２のステップと、上
    記第２のステップでの検出結果を上記ロボット装置の上
    記行動に反映させる 第３のステップとを具えることを特徴とするロボット装
    置の制御方法。
11. 【請求項１１】上記第１のステップでは、 上記画像情報に基づく現フレームの分割画像と、上記画
    像情報に基づく前フレームの対応する位置の分割画像と
    のマッチングスコアを画素単位でずらしながら算出し、
    算出結果に基づいて上記画像全体の移動量を検出するこ
    とを特徴とする請求項１０に記載のロボット装置の制御
    方法。
12. 【請求項１２】上記第２のステップでは、 上記検出した移動量に応じて、上記画像内の上記動きの
    検出感度を変化させることを特徴とする請求項１０に記
    載のロボット装置の制御方法。