JP2001306049A - 情報処理装置、動作認識過程表示方法及びプログラム格納媒体 - Google Patents

Abstract

(57)【要約】 【課題】本発明は、ユーザの手の動きがどのように認識
されるのかをユーザに対して学習させるようにする。 【解決手段】本発明は、ＣＣＤカメラ８によってユーザ
の手を撮像することにより得られた画像に基づいて当該
画像中の手の動きを認識し、当該認識した手の動きの軌
跡を表すビジュアルフィードバック画面を生成して液晶
ディスプレイ１０に表示することにより、ユーザの手の
動きがどのように認識されたのかをユーザに対してフィ
ードバックして学習させることができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は情報処理装置、動作
認識過程表示方法及びプログラム格納媒体に関し、例え
ばノートブック型パーソナルコンピュータ（以下、これ
をノートパソコンと呼ぶ）に適用して好適なものであ
る。

【０００２】

【従来の技術】従来、ノートパソコンにおいては液晶デ
ィスプレイ等の表示手段と、所定のコマンドや文字を入
力するためのキーボードあるいはマウス等の入力手段と
によって構成され、キー操作によって入力されたコマン
ドに応じて所定の処理を実行し、その実行結果を表示部
に表示するようになされている。

【０００３】また最近のノートパソコンにおいては、キ
ーボードやマウス以外の入力手段として例えば当該ノー
トパソコンの筐体側面から僅かに突出するように設けら
れた所定形状の回転操作子いわゆるジョグダイヤルが用
いられ、当該ジョグダイヤルに対する回転操作及び押圧
操作に応動して、メニュー項目の選択及びコマンドの決
定等の命令が入力されるようになされている。

【０００４】

【発明が解決しようとする課題】ところでかかる構成の
ノートパソコンにおいては、上述のキーボード、マウス
あるいはジョグダイヤルの他にも、外部接続されたカメ
ラを介してユーザを撮像し、当該ユーザの動きに応じて
コマンドを自動的に入力することが提案されているが、
ユーザにとっては間違ったコマンドを入力してしまった
ときに、それがどのような動作に基づいて認識されたた
めであるのかを知り得ず、使い勝手が悪いという問題が
あった。

【０００５】本発明は以上の点を考慮してなされたもの
で、認識対象の動作が認識されるまでの認識過程をユー
ザに対してフィードバックして学習させ得る情報処理装
置、動作認識過程表示方法及びプログラム格納媒体を提
案しようとするものである。

【０００６】

【課題を解決するための手段】かかる課題を解決するた
め本発明においては、撮像手段によって認識対象を撮像
することにより得られた画像に基づいて当該画像中の認
識対象の移動方向を認識し、当該認識した認識対象の移
動方向の軌跡を表す認識過程画像を生成して所定の表示
手段に表示することにより、認識対象の移動方向がどの
ように認識されたのかをユーザに対してフィードバック
して学習させることができる。

【０００７】

【発明の実施の形態】以下図面について、本発明の一実
施の形態を詳述する。

【０００８】（１）第１の実施の形態 （１−１）ノートブック型パーソナルコンピュータの外
観構成 図１において、１は全体として本発明を適用した情報処
理装置としてのノートブック型パーソナルコンピュータ
（以下、これをノートパソコンと呼ぶ）を示し、本体２
と当該本体２に対して開閉自在に取り付けられた表示部
３とによって構成されている。

【０００９】本体２は、その上面に各種文字や記号及び
数字等を入力するための複数の操作キー４、マウスカー
ソルの移動に用いられるスティック式ポインティングデ
バイス（以下、これを単にスティックと呼ぶ）５、通常
のマウスにおける左ボタン及び右ボタンに相当する左ク
リックボタン５Ａ及び５Ｂ、マウスカーソルをスクロー
ルボタンに合わせることなくスクロールバーを操作する
ためのセンタボタン５Ｃ、内蔵スピーカ６Ａ及び６Ｂ、
押圧式の電源スイッチ７、表示部３に設けられたＣＣＤ
（Charge Coupled Device ）カメラ８用のシャッタボタ
ン９、ＬＥＤ（Light Emitting Diode）で構成された電
源ランプＰＬ、電池ランプＢＬ及びメッセージランプＭ
Ｌ等が設けられている。

【００１０】表示部３は、その正面に例えば８．９型
（１０２４×４８０ピクセル）対応のＴＦＴ（Thin Fil
m Transisitor ）カラー液晶でなる液晶ディスプレイ１
０が設けられると共に、正面の中央上端部には撮像手段
としてのＣＣＤカメラ８を備えた撮像部１１が当該表示
部３に対して回動自在に設けられている。

【００１１】この撮像部１１においては、ＣＣＤカメラ
８が表示部３の正面方向から背面方向までの１８０度程
度の角度範囲で回動して任意の角度で位置決めし得ると
共に、当該ＣＣＤカメラ８によって所望の撮像対象を撮
像する際のフォーカス調整を当該撮像部１１の上端部に
設けられた調整リング１２の回転操作により容易に行い
得るようになされている。

【００１２】また表示部３は、撮像部１１の左端近傍に
おける正面側及び背面側にマイクロフォン１３が設けら
れており、当該マイクロフォン１３を介して当該表示部
３の正面側から背面側までの広範囲に渡って集音し得る
ようになされている。

【００１３】さらに表示部３は、液晶ディスプレイ１０
の左端近傍及び右端近傍にそれぞれつめ１４及び１５が
設けられ、当該つめ１４及び１５と対応する本体２の所
定位置には孔部１６及び１７が設けられており、表示部
３を本体２に閉塞した状態でつめ１４及び１５がそれぞ
れ対応する孔部１６及び１７に嵌合される。

【００１４】これに対して表示部３は、本体２に閉塞さ
れた当該表示部３の前側が持ち上げられたときに、孔部
１６及び１７とつめ１４及び１５の嵌合状態が解除さ
れ、その結果、当該表示部３が本体２から展開し得るよ
うになされている。

【００１５】また本体２は、その右側面にＩｒＤＡ（In
frared Data Association ）準拠の赤外線ポート１８、
ヘッドフォン端子１９、マイクロフォン用入力端子２
０、ＵＳＢ（Universal Serial Bus）端子２１、外部電
源コネクタ２２、外部ディスプレイ出力用コネクタ２
３、回転操作子の回転操作及び押圧操作によって所定の
処理を実行するための命令を入力し得るジョグダイヤル
２４及びモジュラージャック用のモデム端子２５が設け
られている。

【００１６】一方、図２に示すように本体２は、その左
側面に排気孔２６、ＰＣＭＣＩＡ（Personal Computer
Memory Card International Association ）規格のＰＣ
（Personal Computer ）カードに対応したＰＣカードス
ロット２７及び４ピン対応のＩＥＥＥ（Institute of E
lectrical and Electronics Engineers ）１３９４端子
２８が設けられている。

【００１７】さらに図３に示すように本体２は、その後
側面にバッテリコネクタ２９が設けられており、底面に
はバッテリパック３０（図１）を取り外すためのスライ
ド式取り外しレバー３１及び当該スライド式取り外しレ
バー３１のスライド操作をロックするロックレバー３２
が設けられると共に、本体２の動作を中断して電源投入
時の環境を再構築するためのリセットスイッチ３３が設
けられている。なおバッテリパック３０は、バッテリコ
ネクタ２９に対して着脱自在に接続される。

【００１８】（１−２）ノートブック型パーソナルコン
ピュータの回路構成 次にノートパソコン１の回路構成について図４を用いて
詳細に説明する。ノートパソコン１の本体２において
は、当該本体２の各種機能を統括的に制御するＣＰＵ
（Central Processing Unit ）５０がホストバス５２に
接続されており、当該ＣＰＵ５０によってＲＡＭ（Rand
om Access Memory）５３にロードされた各種プログラム
やアプリケーションソフトウェアに応じた処理を、クロ
ックジェネレータ６０から与えられるシステムクロック
に基づいて所定の動作速度で実行することにより各種機
能を実現し得るようになされている。

【００１９】またホストバス５２には、キャッシュメモ
リ５１が接続されており、ＣＰＵ５０が使用するデータ
をキャッシュし、高速アクセスを実現し得るようになさ
れている。

【００２０】このホストバス５２は、ＰＣＩ（Peripher
al Component Interconnect ）バス５５とホスト−ＰＣ
Ｉブリッジ５４を介して接続されており、当該ＰＣＩバ
ス５５にはビデオコントローラ５６、ＩＥＥＥ１３４９
インターフェース５７、ビデオキャプチャ処理チップ８
３及びＰＣカードインターフェース５８が接続されてい
る。

【００２１】ここでホスト−ＰＣＩブリッジ５４は、Ｃ
ＰＵ５０と、ビデオコントローラ５６、ビデオキャプチ
ャ処理チップ８３、ＩＥＥＥ１３４９インターフェース
５７及びＰＣカードインターフェース５８との間で行わ
れる各種データの授受を制御すると共に、メモリバス５
９を介して接続されたＲＡＭ５３のメモリコントロール
を行うようになされている。

【００２２】またホスト−ＰＣＩブリッジ５４は、ビデ
オコントローラ５６とＡＧＰ（Accelerated Graphics P
ort ）に沿った信号線を介して接続されており、これに
より当該ホスト−ＰＣＩブリッジ５４及びビデオコント
ローラ５６間で画像データを高速転送し得るようになさ
れている。

【００２３】ビデオキャプチャ処理チップ８３は、シリ
アルバスでなるＩ² Ｃバス８２（一般的にＳＭ（System
Management ）バスとも呼ばれている）と接続されてお
り、当該Ｉ² Ｃバス８２を介してＣＣＤカメラ８で撮像
された画像データが供給されると、これを内蔵のフレー
ムメモリ（図示せず）に一旦格納し、ＪＰＥＧ（Joint
Photographic Experts Group）規格に従って画像圧縮処
理を施すことによりＪＰＥＧ画像データを生成した後、
当該ＪＰＥＧ画像データを再度フレームメモリに格納す
るようになされている。

【００２４】そしてビデオキャプチャ処理チップ８３
は、ＣＰＵ５０からの要求に応じて、フレームメモリに
格納されているＪＰＥＧ画像データをバスマスタ機能を
用いてＲＡＭ５３へ転送した後、ＪＰＥＧ画像（静止
画）データ又はＭｏｔｉｏｎＪＰＥＧ画像（動画）デー
タとしてハードディスクドライブ（ＨＤＤ）６７へ転送
する。

【００２５】またビデオコントローラ５６は、適時供給
される各種アプリケーションソフトウェアに基づく画像
データや、ＣＣＤカメラ８で撮像された画像データを表
示部３の液晶ディスプレイ１０に出力することにより、
複数のウィンドウ画面を表示し得るようになされてい
る。

【００２６】ＩＥＥＥ１３４９インターフェース５７
は、ＩＥＥＥ１３９４端子２８と直結されており、当該
ＩＥＥＥ１３９４端子２８を介して他のコンピュータ装
置やディジタルビデオカメラ等の外部デバイスと接続し
得るようになされている。

【００２７】ＰＣカードインターフェース５８は、オプ
ション機能を追加するときに適宜ＰＣカードスロット２
７に装填されるＰＣカード（図示せず）と接続され、当
該ＰＣカードを介して例えばＣＤ−ＲＯＭ（Compact Di
sc-Read Only Memory ）ドライブやＤＶＤ（Digital Ve
rsatile Disc）ドライブ等の外部デバイスと接続し得る
ようになされている。

【００２８】ＰＣＩバス５５は、ＩＳＡ（Industrial S
tandard Architecture）バス６５とＰＣＩ−ＩＳＡブリ
ッジ６６を介して接続されており、当該ＰＣＩ−ＩＳＡ
ブリッジ６６にはＨＤＤ６７及びＵＳＢ端子２１が接続
されている。

【００２９】ここでＰＣＩ−ＩＳＡブリッジ６６は、Ｉ
ＤＥ（Integrated Drive Electronics）インターフェー
ス、コンフィギュレーションレジスタ、ＲＴＣ（Real-T
imeClock ）回路及びＵＳＢインターフェース等によっ
て構成されており、クロックジェネレータ６０から与え
られるシステムクロックを基にＩＤＥインターフェース
を介してＨＤＤ６７の制御を行う。

【００３０】ＨＤＤ６７のハードディスクには、 Windo
ws９８（商標）等のＯＳ（Operating System）、電子メ
ールプログラム、オートパイロットプログラム、ジョグ
ダイヤルサーバプログラム、ジョグダイヤルドライバ、
キャプチャーソフトウェア、ディジタル地図ソフトウェ
ア及びこれら以外の各種アプリケーションソフトウェア
が格納されており、起動処理の過程で適時ＲＡＭ５３に
転送されてロードされる。

【００３１】またＰＣＩ−ＩＳＡブリッジ６６は、ＵＳ
Ｂ端子２１を介して接続される図示しないフロッピー
（登録商標）ディスクドライブ、プリンタ及びＵＳＢマ
ウス等の外部デバイスをＵＳＢインターフェースを介し
て制御すると共に、ＩＳＡバス６５に接続されるモデム
６９及びサウンドコントローラ７０の制御を行う。

【００３２】モデム６９は、モデム端子２５から図示し
ない公衆電話回線を介してインターネットサービスプロ
バイダ（以下、これをプロバイダと呼ぶ）に接続し、当
該プロバイダを介してインターネットへダイヤルアップ
ＩＰ接続するようになされている。

【００３３】サウンドコントローラ７０は、マイクロフ
ォン１３で集音された音声信号をディジタル変換するこ
とにより音声データを生成し、これをＣＰＵ５０に出力
すると共に、当該ＣＰＵ５０から供給される音声データ
をアナログ変換することにより音声信号を生成し、これ
を内蔵スピーカ６を介して外部に出力する。

【００３４】またＩＳＡバス６５には、Ｉ／Ｏ（In/Ou
t）コントローラ７３が接続されており、外部電源コネ
クタ２２から電源供給充電制御回路８５を介して外部電
源の電力供給を受け、電源スイッチ７がオンされたとき
に各回路へ電力の供給を行う。なお、ここでもＩ／Ｏコ
ントローラ７３は、クロックジェネレータ６０から供給
されるシステムクロックを基に動作する。

【００３５】また電源供給充電制御回路８５は、Ｉ／Ｏ
コントローラ７３によって制御され、バッテリコネクタ
２９（図３）に接続されたバッテリパック３０の充電を
制御する。

【００３６】Ｉ／Ｏコントローラ７３は、マイクロコン
トローラ、Ｉ／Ｏインターフェース、ＣＰＵ、ＲＯＭ、
ＲＡＭ等によって構成されており、フラッシュメモリ７
９に格納されているＢＩＯＳ（Basic Input/Output Sys
tem ）に基づいてＯＳやアプリケーションソフトウェア
と液晶ディスプレイ１０やＨＤＤ６７等の各種周辺機器
との間におけるデータの入出力を制御する。

【００３７】またＩ／Ｏコントローラ７３は、赤外線ポ
ート１８と接続され、例えば他のコンピュータ装置との
間で赤外線通信を実行し得るようになされている。

【００３８】さらにＩ／Ｏコントローラ７３は、反転ス
イッチ７７と接続されており、撮像部１１が液晶ディス
プレイ１０の背面側方向に１８０度回転されたとき当該
反転スイッチ７７がオンされ、その旨をＰＣＩ−ＩＳＡ
ブリッジ６６及びホスト−ＰＣＩブリッジ５４を介して
ＣＰＵ５０に通知する。

【００３９】これに加えてＩ／Ｏコントローラ７３は、
全押し／半押しスイッチ７８と接続されており、本体２
の上面に設けられたシャッタボタン９が半押し状態にさ
れたとき全押し／半押しスイッチ７８が半押し状態にオ
ンされ、その旨をＣＰＵ５０に通知すると共に、シャッ
タボタン９が全押し状態にされたとき全押し／半押しス
イッチ７８が全押し状態にオンされ、その旨をＣＰＵ５
０に通知する。

【００４０】すなわちＣＰＵ５０は、ＨＤＤ６７のハー
ドディスクからキャプチャーソフトウェアをＲＡＭ５３
上に立ち上げた状態で、ユーザによってシャッタボタン
９が半押し状態にされると静止画像モードに入り、ＣＣ
Ｄカメラ８を制御して静止画像のフリーズを実行し、全
押し状態にされるとフリーズされた静止画像データを取
り込みビデオコントローラ５６に送出する。

【００４１】これに対してＣＰＵ５０は、キャプチャー
ソフトウェアを立ち上げない状態で、ユーザによってシ
ャッタボタン９が全押し状態にされると動画像モードに
入り、最大６０秒程度までの動画像を取り込んでビデオ
コントローラ５６に送出するようになされている。

【００４２】ところで、Ｉ／Ｏコントローラ７３のＲＯ
Ｍには、ウェイクアッププログラム、キー入力監視プロ
グラム、ＬＥＤ制御プログラム及びジョグダイヤル状態
監視プログラム、その他種々の制御プログラムが格納さ
れている。

【００４３】ここでジョグダイヤル状態監視プログラム
は、ＨＤＤ６７のハードディスクに格納されているジョ
グダイヤルサーバプログラムと連動して用いられるプロ
グラムであり、ジョグダイヤル２４が回転操作又は押圧
操作されたか否かを監視するためのものである。

【００４４】ウェイクアッププログラムは、ＰＣＩ−Ｉ
ＳＡブリッジ６６内のＲＴＣ回路から供給される現在時
刻が予め設定した開始時刻と一致すると、ＣＰＵ５０に
よって所定の処理を実行するように制御されたプログラ
ムであり、キー入力監視プログラムは操作キー４及びそ
の他の各種キースイッチからの入力を監視するプログラ
ムである。ＬＥＤ制御プログラムは、電源ランプＰＬ、
電池ランプＢＬ、メッセージランプＭＬ（図１）等の各
種ランプの点灯を制御するプログラムである。

【００４５】またＩ／Ｏコントローラ７３のＲＡＭに
は、ジョグダイヤル状態監視プログラム用のＩ／Ｏレジ
スタ、ウェイクアッププログラム用の設定時刻レジス
タ、キー入力監視プログラム用のキー入力監視レジス
タ、ＬＥＤ制御プログラム用のＬＥＤ制御レジスタ及び
その他の各種プログラム用のレジスタが設けられてい
る。

【００４６】設定時刻レジスタは、ウェイクアッププロ
グラムで用いるためにユーザが予め任意に設定した開始
時刻の時間情報を格納するようになされている。従って
Ｉ／Ｏコントローラ７３は、ウェイクアッププログラム
に基づいてＲＴＣ回路から供給される現在時刻が任意に
設定した開始時刻と一致するか否かを判別し、当該開始
時刻と一致したときにはその旨をＣＰＵ５０に通知す
る。

【００４７】これによりＣＰＵ５０は、開始時刻で予め
設定された所定のアプリケーションソフトウェアを立ち
上げ、当該アプリケーションソフトウェアに従って所定
の処理を実行する。

【００４８】またキー入力監視レジスタは、操作キー
４、スティック５、左クリックボタン５Ａ、右クリック
ボタン５Ｂ及びセンタボタン５Ｃ等の入力操作に応じた
操作キーフラグを格納するようになされている。

【００４９】従ってＩ／Ｏコントローラ７３は、キー入
力監視プログラムに基づいて例えばスティック５による
ポインティング操作や、左クリックボタン５Ａ、右クリ
ックボタン５Ｂ及びセンタボタン５Ｃのクリック操作が
行われたか否かを操作キーフラグの状態に基づいて判別
し、ポインティング操作やクリック操作が行われたとき
にはその旨をＣＰＵ５０に通知する。

【００５０】ここでポインティング操作とは、スティッ
ク５を指で上下左右に押圧操作することによりマウスカ
ーソルを画面上の所望位置に移動する操作のことであ
り、クリック操作とは左クリックボタン５Ａ又は右クリ
ックボタン５Ｂを指で素早く押して離す操作のことであ
る。

【００５１】これによりＣＰＵ５０は、ポインティング
操作によるマウスカーソルの移動やクリック操作に応じ
た所定の処理を実行する。

【００５２】またＬＥＤ制御レジスタは、電源ランプＰ
Ｌ、電池ランプＢＬ、メッセージランプＭＬ等の各種ラ
ンプの点灯状態を示す点灯フラグを格納するようになさ
れている。

【００５３】従ってＩ／Ｏコントローラ７３は、例えば
ジョグダイヤル２４の押圧操作によりＣＰＵ５０がＨＤ
Ｄ６７のハードディスクから電子メールプログラムを立
ち上げ、当該電子メールプログラムに従って電子メール
を受け取ったときに点灯フラグを格納すると共に、当該
点灯フラグに基づいてＬＥＤ８１を制御することにより
メッセージランプＭＬを点灯させる。

【００５４】またジョグダイヤル状態監視プログラム用
のＩ／Ｏレジスタは、ジョグダイヤル２４に対する回転
操作及び押圧操作に応じた回転操作フラグ及び押圧操作
フラグを格納するようになされている。

【００５５】従ってＩ／Ｏコントローラ７３は、回転検
出部８８を介して接続されたジョグダイヤル２４の回転
操作及び押圧操作により複数のメニュー項目の中からユ
ーザ所望のメニュー項目が選択されたとき、Ｉ／Ｏレジ
スタに格納されている回転操作フラグ及び押圧操作フラ
グを立てると共に、その旨をＣＰＵ５０に通知する。

【００５６】これによりＣＰＵ５０は、ＨＤＤ６７から
読み出してＲＡＭ５３上に立ち上げたジョグダイヤルサ
ーバプログラムに従って、ジョグダイヤル２４の回転操
作及び押圧操作によって決定されたメニュー項目に該当
するアプリケーションソフトウェアを立ち上げて所定の
処理を実行する。

【００５７】ここでＩ／Ｏコントローラ７３は、電源ス
イッチ７がオフでＯＳが起動していない状態であって
も、電源供給充電制御回路８５の制御によって常時動作
しており、専用キーを設けることなく省電力状態又は電
源オフ時のジョグダイヤル２４の押圧操作によってユー
ザ所望のアプリケーションソフトウェアやスクリプトフ
ァイルを起動し得るようになされている。

【００５８】なおＩ／Ｏコントローラ７３は、Ｉ² Ｃバ
ス８２とも接続されており、操作キー４やジョグダイヤ
ル２４によって設定されたＣＣＤカメラ８に対する各種
設定パラメータをＩ² Ｃバス８２を介して供給すること
により、ＣＣＤカメラ８における明るさやコントラスト
を調整するようになされている。

【００５９】（１−３）ジェスチャー認識処理 かかる構成に加えてノートパソコン１は、ＣＣＤカメラ
８で撮像されたユーザの手の動き（ジェスチャー）を認
識するためのサイバージェスチャープログラムと呼ばれ
るアプリケーションソフトウェアをＨＤＤ６７のハード
ディスクから立ち上げ、当該サイバージェスチャープロ
グラムに基づいてＣＣＤカメラ８で撮像したユーザの手
の動きを認識し、その認識結果に応じた所定の処理をア
プリケーションソフトウェアに基づくアクティブウィン
ドウ画面上で実行するようになされている。

【００６０】すなわちノートパソコン１は、例えば撮像
された静止画を加工することが可能な画像編集プログラ
ムを立ち上げ、加工対象となる静止画を選択するために
ＨＤＤ６７のハードディスクに格納されている複数枚の
静止画を液晶ディスプレイ１０に順次表示する場合、ユ
ーザによるジョグダイヤル２４の回動操作に応じて液晶
ディスプレイ１０に表示した静止画を１枚づつ送り進め
たり送り戻すような画像送り動作を行うが、本発明にお
いてはＣＣＤカメラ８で撮像されたユーザの手の動きを
ＣＰＵ５０に認識させることにより、当該ＣＰＵ５０の
制御により上述の画像送り動作をジョグダイヤル２４に
触れることなく非接触で実行し得るようになされてい
る。

【００６１】因みにノートパソコン１では、ジョグダイ
ヤル２４がユーザから見て奥行側に所定角度以上回転さ
れたときに液晶ディスプレイ１０に表示した静止画を１
枚だけ送り進め、ジョグダイヤル２４がユーザから見て
手前側に所定角度以上回転されたときに液晶ディスプレ
イ１０に表示した静止画を１枚だけ送り戻すようになさ
れている。

【００６２】実際上ノートパソコン１のＣＰＵ５０は、
図５のルーチンＲＴ１の開始ステップから入って次のス
テップＳＰ１に移り、ユーザの操作に応じてＨＤＤ６７
のハードディスクからサイバージェスチャープログラム
を立ち上げ、当該サイバージェスチャープログラムに従
って図６に示すようなジェスチャー認識画面１００を生
成し、これを画像編集プログラムに応じたアクティブウ
ィンドウ画面の静止画に重ねて表示した後、次のステッ
プＳＰ２に移る。

【００６３】ここで、図７に示すようにジェスチャー認
識画面１００は、１６４×１３６ピクセルの画面サイズ
で構成され、当該ジェスチャー認識画面１００の上端部
にサイバージェスチャープログラムであることを示す
「CYBERGESTURE」（ソニー（株）商標）のタイトル文字
部１０１、機能のオプション選択を行うためのオプショ
ンボタン１０２、ヘルプボタン１０３、最小化ボタン１
０４及び閉じるボタン１０５が設けられている。

【００６４】このジェスチャー認識画面１００は、液晶
ディスプレイ１０の画面サイズ（１０２４×４８０ピク
セル）に比べて極めて小さな画面サイズで形成されてお
り、これにより当該ジェスチャー認識画面１００の背景
に表示されているアクティブウィンドウ画面の静止画に
対する隠蔽面積を極力小さくするようになされている。

【００６５】なおノートパソコン１のＣＰＵ５０は、ジ
ェスチャー認識画面１００においてオプションボタン１
０２、ヘルプボタン１０３、最小化ボタン１０４及び閉
じるボタン１０５のいずれかにマウスカーソルが合わせ
られたときには、そのボタン部分を盛り上がった状態に
表示し、クリックされた選択後にはそのボタン部分を凹
んだ状態に表示するようになされており、これによりボ
タン部分に対する選択及び決定操作を視覚的に容易に実
行し得るようになされている。

【００６６】またノートパソコン１のＣＰＵ５０は、ジ
ェスチャー認識画面１００におけるジェスチャー認識表
示エリア１０６を２５６階調のグレースケールで表示す
ると共に、当該ジェスチャー認識表示エリア１０６のほ
ぼ中央部分に、５個の正方形状に形成されたターゲット
１０７Ａ〜１０７Ｅからなるターゲット部１０７を横一
列に配列して表示するようになされている。

【００６７】これによりＣＰＵ５０は、ジェスチャー認
識画面１００のジェスチャー認識表示エリア１０６に表
示したターゲット部１０７によって、ユーザの手が動か
されたときの左右方向の動作をノートパソコン１が認識
するようになされていることを当該ユーザに対して容易
に想像させて通知し得るようになされている。

【００６８】また各ターゲット１０７Ａ〜１０７Ｅは、
図８に示すように全体が８ピクセル×８ピクセルのサイ
ズで、それぞれ１ピクセル幅の枠部分１０７ＡＦ〜１０
７ＥＦによって形成されると共に、枠部分１０７ＡＦ〜
１０７ＥＦが赤色で表示されるようになされていおり、
これにより背景のグレースケール表示に対してターゲッ
ト１０７Ａ〜１０７Ｅを視認し易くしている。

【００６９】なおジェスチャー認識画面１００のジェス
チャー認識表示エリア１０６は、走査線の２水平ライン
毎に黒色のライン表示（図示せず）がなれており、これ
により通常の画像を表示するような画面とは異なり、ジ
ェスチャー認識画面１００であることをユーザに対して
容易に認識させるようになされている。

【００７０】ステップＳＰ２においてＣＰＵ５０は、表
示部３の正面に存在するユーザを撮像部１１のＣＣＤカ
メラ８で撮像し、その結果得られる入力画像をジェスチ
ャー認識画面１００のジェスチャー認識表示エリア１０
６に表示し、次のサブルーチンＳＲＴ２に移る。

【００７１】図９に示すように、サブルーチンＳＲＴ２
のステップＳＰ２１においてＣＰＵ５０は、ジェスチャ
ー認識画面１００のジェスチャー認識表示エリア１０６
に表示した入力画像を色成分に基づいて複数種類の色領
域に分割し、次のステップＳＰ２２に移る。

【００７２】因みに色領域とは、図１０に示すように所
定のＹＵＶ色度空間上に表され、当該ＹＵＶ色度空間上
の例えば斜線で示された＋Ｙ、−Ｕ、−Ｖ象限の所定領
域をユーザの手の平の色と等価な色領域Ｒ（以下、これ
を肌色領域Ｒと呼ぶ）であると見なしている。

【００７３】ステップＳＰ２２においてＣＰＵ５０は、
ＹＵＶ（輝度・色差）色度空間上の肌色領域Ｒに対応す
る所定の肌色テーブルと入力画像の各色領域とをそれぞ
れ比較し、次のステップＳＰ２３に移る。

【００７４】この場合、入力画像の各色領域は例えばユ
ーザの顔領域や手の平領域等の肌色領域Ｒと、服装部分
の非肌色領域とに大きく分けられる。

【００７５】ステップＳＰ２３においてＣＰＵ５０は、
肌色テーブルと入力画像の各色領域とをそれぞれ比較し
た結果、入力画像の中に肌色であると認められる肌色領
域Ｒが存在するか否かを判定する。

【００７６】ここで否定結果が得られると、このことは
肌色テーブルに対応する肌色領域Ｒが入力画像の中には
存在していないことを表しており、このときＣＰＵ５０
は次のステップＳＰ２９に移る。

【００７７】ステップＳＰ２９においてＣＰＵ５０は、
肌色領域Ｒが入力画像の中に存在しておらず、ユーザの
手の動きを認識することはできないので次のフレームの
入力画像へ進み、上述のステップＳＰ２１に戻る。

【００７８】これに対してステップＳＰ２３で肯定結果
が得られると、このことは肌色テーブルに対応する肌色
領域Ｒが入力画像の中に存在していることを表してお
り、このときＣＰＵ５０は次のステップＳＰ２４に移
る。

【００７９】ステップＳＰ２４においてＣＰＵ５０は、
現フレームの入力画像における肌色領域Ｒの動きを当該
現フレームと前フレームとの座標値の変化に基づいて検
出し、次のステップＳＰ２５に移る。

【００８０】ステップＳＰ２５においてＣＰＵ５０は、
動きのある肌色領域Ｒが入力画像の中に存在しているか
否かを判定する。ここで否定結果が得られると、このこ
とは動きのある肌色領域Ｒが入力画像の中に存在してい
ないことを表しており、このときＣＰＵ５０は次のステ
ップＳＰ２９に移り、次のフレームの入力画像へ進んで
上述のステップＳＰ２１に戻る。

【００８１】これに対してステップＳＰ２５で肯定結果
が得られると、このことは動きのある肌色領域Ｒが入力
画像の中に存在していることを表しており、このときＣ
ＰＵ５０は次のステップＳＰ２６に移る。

【００８２】ステップＳＰ２６においてＣＰＵ５０は、
動きのある肌色領域Ｒのうち最大面積の肌色領域Ｒを検
出し、これを仮に手の平領域として判断した後、次のス
テップＳＰ２７に移る。

【００８３】ステップＳＰ２７においてＣＰＵ５０は、
ステップＳＰ２６で判断した手の平領域全体の座標値を
取得し、次のステップＳＰ２８に移る。

【００８４】ステップＳＰ２８においてＣＰＵ５０は、
ステップＳＰ２７で取得した手の平領域全体の座標値に
基づいて当該手の平領域の重心を算出した後、当該重心
に対する垂直方向上方に相当する手の平領域の上端位置
の座標を検出し、これを手の指先に該当する重心上部デ
ータとして取得することにより、サブルーチンＳＲＴ２
における手の位置情報に関する取得処理手順を終了し、
ルーチンＲＴ１（図５）のステップＳＰ３に移る。

【００８５】ステップＳＰ３においてＣＰＵ５０は、サ
ブルーチンＳＲＴ２で取得した重心上部データに基づい
てユーザの手がジェスチャー認識画面１００のジェスチ
ャー認識表示エリア１０６に存在するか否かを判定す
る。

【００８６】ここで否定結果が得られると、このことは
サブルーチンＳＲＴ２で重心上部データが取得されてお
らず、すなわちユーザの手がジェスチャー認識画面１０
０のジェスチャー認識表示エリア１０６に存在していな
いことを表しており、このときＣＰＵ５０は、次のステ
ップＳＰ４に移る。

【００８７】ステップＳＰ４においてＣＰＵ５０は、ユ
ーザの手がジェスチャー認識画面１００のジェスチャー
認識表示エリア１０６に表示されていないので、現在ユ
ーザの手を認識するためのサーチ状態であることを示す
アニメーション表示を行い、上述のステップＳＰ２に戻
る。

【００８８】この場合、図１１に示すようにＣＰＵ５０
は、ジェスチャー認識画面１００のジェスチャー認識表
示エリア１０６にユーザの肌色部分が殆ど表示されてお
らず、現時点ではユーザの手を認識し得ていないので、
肌色領域Ｒのサーチ状態であることをターゲット部１０
７を用いたアニメーション表示によってユーザに容易に
認識させ得るようになされている。

【００８９】すなわちＣＰＵ５０は、各ターゲット１０
７Ａ〜１０７Ｅにおける枠部分１０７ＡＦ〜１０７ＥＦ
の内部領域（破線で示す）を矢印Ａ及びＢで示す左右方
向に沿って赤色で順番に交互表示することによりグラデ
ュエーション効果をもたらし、サイバージェスチャープ
ログラムが起動中でユーザの手をサーチ中であることを
ユーザに対して容易に想像させ得るようになされてい
る。

【００９０】これに対してステップＳＰ３で肯定結果が
得られると、このことはサブルーチンＳＲＴ２で重心上
部データが取得された、すなわちユーザの手がジェスチ
ャー認識画面１００のジェスチャー認識表示エリア１０
６に存在していることを表しており、このときＣＰＵ５
０は、次のステップＳＰ５に移る。

【００９１】ステップＳＰ５においてＣＰＵ５０は、図
１２に示すように取得した重心上部データに対応する位
置に所定形状のポインタ１０８を表示すると共に、当該
ポインタ１０８を含みユーザの手の平領域全体に渡って
囲われた手の平領域認識枠１０９をジェスチャー認識表
示エリア１０６の入力画像上にオーバーラップ表示し、
次のサブルーチンＳＲＴ３に移る。

【００９２】ここでＣＰＵ５０は、手の平領域認識枠１
０９を１ピクセル幅で白色表示し、ターゲット部１０７
の各１０７Ａ〜１０７Ｅと同様の形状及びサイズで形成
されたポインタ１０８における１ピクセル幅のポインタ
枠１０８Ｆを白色表示すると共に、その内部を赤色表示
するようになされている。

【００９３】これによりＣＰＵ５０は、各ターゲット１
０７Ａ〜１０７Ｅにおける枠部分１０７ＡＦ〜１０７Ｅ
Ｆの赤色表示と、ポインタ１０８におけるポインタ枠１
０８Ｆの白色表示とによって、各ターゲット１０７Ａ〜
１０７Ｅとポインタ１０８とをユーザに対して明確に区
別させるようになされている。

【００９４】なおＣＰＵ５０は、ユーザの手の動きに応
じて手の平領域認識枠１０９及びポインタ１０８を連動
して動かせながら表示するようになされている。

【００９５】続いて図１３に示すように、サブルーチン
ＳＲＴ３のステップＳＰ３１においてＣＰＵ５０は、Ｒ
ＡＭ５３を用いてリングバッファ状に格納された現フレ
ームと、当該現フレームに隣合う前フレームとの隣接フ
レーム間における重心上部データの座標値の差分に基づ
いて指先移動距離を求め、次のステップＳＰ３２に移
る。

【００９６】ステップＳＰ３２においてＣＰＵ５０は、
ステップＳＰ３１で算出した隣接フレーム間の指先移動
距離が所定の上限閾値以下であるか否かを判定する。こ
こで否定結果が得られると、このことは前フレームの指
先を示す位置から現フレームの指先を示す位置までの距
離が極端に離れ過ぎていることにより、手の動きを認識
するためのデータとして指先移動距離が不適切であるこ
とを表しており、このときＣＰＵ５０は次のステップＳ
Ｐ３３に移る。

【００９７】ステップＳＰ３３においてＣＰＵ５０は、
隣接フレーム間の指先移動距離をデータとして使用する
ことが不適切であるので、ステップＳＰ３４以降で行う
指先移動距離の算出を停止し、ルーチンＲＴ１（図５）
のステップＳＰ２に戻って上述の処理を繰り返す。

【００９８】これに対してステップＳＰ３２で肯定結果
が得られると、このことは前フレームの指先を示す位置
から現フレームの指先を示す位置までの距離が極端に離
れ過ぎてはおらず、手の動きを認識するためのデータと
して指先移動距離が適切であることを表しており、この
ときＣＰＵ５０は次のステップＳＰ３４に移る。

【００９９】ステップＳＰ３４においてＣＰＵ５０は、
図１４に示すようにリングバッファ状に順次格納された
現フレームの指先を示す重心上部データと、所定範囲の
過去数フレームの中から選ばれた任意の過去フレームの
指先を示す重心上部データとの座標値の差分が最大長さ
となるものを最大指先移動距離として算出し、当該最大
指先移動距離が所定の下限閾値よりも大きいか否かを判
定する。

【０１００】ここで否定結果が得られると、このことは
複数フレームに渡る入力画像の状態遷移に基づく最大指
先移動距離が所定の下限閾値よりも小さいこと、すなわ
ち手の動きとして認識するに値しない程度でしか動いて
いないことを表しており、このときＣＰＵ５０は最大指
先移動距離を認識処理から除外し、ステップＳＰ３１に
戻って上述の処理を繰り返す。

【０１０１】これに対してステップＳＰ３４で肯定結果
が得られると、このことは最大指先移動距離が所定の下
限閾値よりも大きく、確実に手の指先が左右に移動した
と認められることを表しており、このときＣＰＵ５０は
次のステップＳＰ３５に移る。

【０１０２】ステップＳＰ３５においてＣＰＵ５０は、
現フレームの指先を示す重心上部データと最大指先移動
距離を算出したときに用いられた過去フレームの指先を
示す重心上部データとの移動ベクトルに基づいて指先移
動距離の移動方向（右方向又は左方向）を検出し、ルー
チンＲＴ１（図５）のステップＳＰ６に戻る。

【０１０３】ステップＳＰ６においてＣＰＵ５０は、最
大指先移動距離及び当該最大指先移動距離の移動方向を
検出したので、当該検出した手の平領域全体の現フレー
ムの画素データと前フレームの画素データとの座標値の
単位時間当たりの変化に基づいて当該検出した手の平領
域全体の動き速度が所定の速度を超えているか否かを判
定する。

【０１０４】ここで否定結果が得られると、このことは
検出した手の平領域全体の動き速度が所定の速度を超え
ていない、すなわち比較的遅く動いているので実際には
手の平領域ではなく顔領域である可能性があると判断
し、再度ステップＳＰ２に戻って上述の処理を繰り返
す。

【０１０５】これに対してステップＳＰ６で肯定結果が
得られると、このことは検出した手の平領域全体の動き
速度が所定の速度を超えている、すなわち比較的速く動
いているので手の平領域である可能性が一段と高いと判
断し、次のステップＳＰ７に移る。

【０１０６】この場合ＣＰＵ５０は、単一フレームの入
力画像に手の平領域と思われる候補が２つ以上存在した
ときに、手の平領域と顔領域とを一段と正確に判別し得
るようになされている。

【０１０７】ステップＳＰ７においてＣＰＵ５０は、図
１５に示すようにサイバージェスチャープログラム１８
０に基づいて認識した手の平領域のジェスチャー動作の
認識結果をジョグダイヤル用のＡＰＩ（Application Pr
ogramming Interface ）１８１を介してジョグダイヤル
サーバープログラム１８２に供給すると共に、ユーザが
動かした手の動き（ジェスチャー）を表す軌跡と、当該
ジェスチャーをノートパソコン１がどのように認識した
のかを示す認識過程を、ジェスチャー認識画面１００に
ビジュアルフィードバック表示し、次のステップＳＰ８
に移る。

【０１０８】ここでＡＰＩとは、ＯＳがアプリケーショ
ンソフトウェアに対して公開しているプログラムインタ
ーフェースであり、アプリケーションソフトウェアは基
本的に全ての処理を当該ＡＰＩを経由して行うようにな
されている。因みに、現在一般的なＯＳのＡＰＩは、関
数の形式をとっており、アプリケーションソフトウェア
からは適当な引数（パラメータ）を指定してＡＰＩの関
数を呼び出すようになされている。

【０１０９】因みにＣＰＵ５０は、ジョグダイヤル２４
の動作結果とサイバージェスチャープログラム１８０に
基づく認識結果を同一の入力形式で取り込み、兼用のジ
ョグダイヤル用のＡＰＩ１８１を介してジョグダイヤル
サーバープログラム１８２に供給するようになされてお
り、これによりソフトウェア的な処理を簡素化し得るよ
うになされている。

【０１１０】実際上ＣＰＵ５０は、図１６（Ａ）に示す
ようなビジュアルフィードバック画面１９１を生成し、
当該ビジュアルフィードバック画面１９１を介して、ユ
ーザが実際に動かした手の動き（ジェスチャー）を示す
軌跡に対応して、軌跡表示枠１２０内に予め斜めに配置
されたターゲット１０７Ａ〜１０７Ｅ上にポインタ１０
８を重ねて矢印Ｃ方向に移動させながら表示することに
より、実際の手の動きの認識過程をユーザに対して視覚
的に確認させ得るようになされている。

【０１１１】続いてＣＰＵ５０は、図１６（Ｂ）に示す
ようなビジュアルフィードバック画面１９２を生成し、
これをビジュアルフィードバック画面１９１に置き換え
て表示する。

【０１１２】このビジュアルフィードバック画面１９２
は、ビジュアルフィードバック画面１９１における軌跡
表示枠１２０を変形することによりターゲット１０７Ａ
〜１０７Ｅの高さを横一列に揃えた状態の方向表示枠１
２１を形成して線素化すると共に、当該方向表示枠１２
１内の右端にターゲット１０７Ｅを、左端にポインタ１
０８を表示するようになされており、当該方向表示枠１
２１を介してユーザの手が矢印Ｄ方向（右方向から左方
向へ）に動かされたことを簡略的に示すようになされて
いる。

【０１１３】最後にＣＰＵ５０は、図１６（Ｃ）に示す
ようなビジュアルフィードバック画面１９３を生成し、
これをビジュアルフィードバック画面１９２に置き換え
て表示する。

【０１１４】このビジュアルフィードバック画面１９３
は、ビジュアルフィードバック画面１９２の方向表示枠
１２１を消去すると共に、横一列に配列した各ターゲッ
ト１０７Ａ〜１０７Ｅ上にポインタ１０８を重ねて矢印
Ｄ方向に向かって移動させながら繰り返し表示するよう
になされており、ユーザの手が右側から左側（矢印Ｄ方
向）へ動かされたとノートパソコン１が認識したことを
ユーザに対して容易に認識させ得るようになされてい
る。

【０１１５】なおＣＰＵ５０は、各ターゲット１０７Ａ
〜１０７Ｅ上にポインタ１０８を重ねて矢印Ｄ方向に向
かって移動させながら表示する際、ユーザの手の動きを
認識したときと同じ手の移動速度でポインタ１０８を移
動させるようになされており、これによりノートパソコ
ン１が認識可能な手の移動速度をユーザに対して知らし
めるようになされている。

【０１１６】ステップＳＰ８においてＣＰＵ５０は、ユ
ーザの手を動きを認識した後、当該手の動きに応じた所
定のコマンドをジョグダイヤルサーバープログラム１８
２（図１５）からアプリケーションソフトウェア１８３
に供給して所定の処理を実行するが、このとき認識結果
に応じた所定の処理を実行中であるので、手の動きの認
識直後については数フレーム分の入力画像に対してジェ
スチャー認識処理を実行せず、再度ステップＳＰ２に戻
って上述の処理を繰り返す。

【０１１７】これによりＣＰＵ５０は、誤動作を起こす
ことがなく確実にユーザの手の動きに応じた処理をアク
ティブウィンドウ画面上で実行した後に、次のユーザの
手の動きの応じた処理を実行することができる。

【０１１８】このようにノートパソコン１のＣＰＵ５０
は、サイバージェスチャープログラム１８０に従ってユ
ーザの手の動きを認識した後、当該認識結果に応じた所
定のコマンドをジョグダイヤルサーバープログラム１８
２を介してアプリケーションソフトウェア１８３に供給
し、当該アプリケーションソフトウェア１８３に基づく
アクティブウィンドウ画面上でコマンドに応じた所定の
画像送り動作を実行し得るようになされている。

【０１１９】実際上ノートパソコン１のＣＰＵ５０は、
手のジェスチャーが左側から右側への動き（矢印Ｄ方向
とは逆方向）であると認識した場合、ジェスチャー認識
画面１００の背景に表示されているアクティブウィンド
ウ画面の静止画を１枚分だけ送り進め、手のジェスチャ
ーが右側から左側への動き（矢印Ｄ方向）であると認識
した場合、ジェスチャー認識画面１００の背景に表示さ
れているアクティブウィンドウ画面の静止画を１枚分だ
け送り戻すようになされている。

【０１２０】これによりユーザは、ジョグダイヤル２４
を直接操作することなく、撮像部１１のＣＣＤカメラ８
に手をかざして左右いずれかに動かすだけで、ジェスチ
ャー認識画面１００の背景に表示されているアクティブ
ウィンドウ画面の静止画を所望方向に画像送りすること
ができる。

【０１２１】（１−４）第１の実施の形態における動作
及び効果 以上の構成において、ノートパソコン１のＣＰＵ５０
は、画像編集プログラムを立ち上げて液晶ディスプレイ
１０にアクティブウィンドウ画面を表示した状態でサイ
バージェスチャープログラム１８０を起動することによ
り、アクティブウィンドウ画面の静止画にジェスチャー
認識画面１００を重ねて表示する。

【０１２２】そしてノートパソコン１のＣＰＵ５０は、
表示部３の正面に位置するユーザを撮像部１１のＣＣＤ
カメラ８で撮像し、その結果得られる入力画像をジェス
チャー認識画面１００のジェスチャー認識表示エリア１
０６に表示すると共に、ユーザの手の動きを認識し、当
該認識した手の動きに応じてコマンドを生成する。

【０１２３】このときノートパソコン１のＣＰＵ５０
は、ユーザが実際に動かした手の動き（ジェスチャー）
を示す軌跡に対応して、図１６（Ａ）に示したように軌
跡表示枠１２０内に予め斜めにターゲット１０７Ａ〜１
０７Ｅを配置し、当該ターゲット１０７Ａ〜１０７Ｅ上
にポインタ１０８を重ねて矢印Ｃ方向に移動させながら
順番に交互表示することにより、ユーザの手の動きに対
する認識過程の軌跡を当該ユーザに対して視覚的に確認
させることができる。

【０１２４】その後ＣＰＵ５０は、図１６（Ｂ）に示し
たように軌跡表示枠１２０を変形することによりターゲ
ット１０７Ａ〜１０７Ｅの高さを横一列に揃えた状態の
方向表示枠１２１を形成して線素化すると共に、当該方
向表示枠１２１内の右端にターゲット１０７Ｅを左端に
ポインタ１０８を表示することにより、ユーザの手が矢
印Ｄ方向（左方向）に動かされたことを簡略的に示す。

【０１２５】最後にＣＰＵ５０は、図１６（Ｃ）に示し
たように方向表示枠１２１を消去すると共に、各ターゲ
ット１０７Ａ〜１０７Ｅ上にポインタ１０８を重ね、認
識したときのユーザの手の移動速度で矢印Ｄ方向に向か
って当該ポインタ１０８を移動させながら表示すること
により、ユーザの手が右側から左側（矢印Ｄ方向）へ動
かされたと認識したことをユーザに対して確実に通知す
ることができる。

【０１２６】以上の構成によれば、ノートパソコン１は
ＣＣＤカメラ８で撮像したユーザの手の動きに対する認
識過程の軌跡や認識結果を各ターゲット１０７Ａ〜１０
７Ｅ及びポインタ１０８を用いて分かり易くアニメーシ
ョン表示することにより、ユーザの手の動きがどのよう
な認識過程でどのように認識されたのかを当該ユーザに
対してフィードバックして学習させることができる。

【０１２７】これによりユーザは、手を動かす方向や移
動速度を考慮してノートパソコン１に手の動きを認識さ
せるようになるので、例えば画像送り動作を行うための
コマンドの入力操作を短時間で実行することができる。

【０１２８】（２）第２の実施の形態 （２−１）ネットワークシステムの全体構成 図１７において、２００は全体として本発明を適用した
携帯電話機ＭＳ３が接続されているネットワークシステ
ムを示し、通信サービスの提供エリアを所望の大きさに
分割したセル内にそれぞれ固定無線局である基地局ＣＳ
１〜ＣＳ４が設置されている。

【０１２９】これらの基地局ＣＳ１〜ＣＳ４には、移動
無線局である携帯情報端末ＭＳ１及びＭＳ２やカメラ付
ディジタル携帯電話機ＭＳ３及びＭＳ４が例えばＷ−Ｃ
ＤＭＡ（Wideband-Code Division Multiple Access）と
呼ばれる符号分割多元接続方式によって無線接続される
ようになされており、２[GHz] の周波数帯域を使用して
最大２[Mbps]のデータ転送速度で大容量データを高速に
データ通信し得るようになされている。

【０１３０】このように携帯情報端末ＭＳ１及びＭＳ２
やカメラ付ディジタル携帯電話機ＭＳ３及びＭＳ４は、
Ｗ−ＣＤＭＡ方式によって大容量データを高速にデータ
通信し得るようになされていることにより、音声通話だ
けでなく電子メールの送受信、簡易ホームページの閲
覧、画像の送受信等の多種に及ぶデータ通信を実行し得
るようになされている。

【０１３１】また基地局ＣＳ１〜ＣＳ４は、有線回線を
介して公衆回線網ＩＮＷに接続されており、当該公衆回
線網ＩＮＷにはインターネットＩＴＮや、図示しない多
くの加入者有線端末、コンピュータネットワーク及び企
業内ネットワーク等が接続されている。

【０１３２】公衆回線網ＩＮＷには、インターネットサ
ービスプロバイダのアクセスサーバＡＳも接続されてお
り、当該アクセスサーバＡＳには当該インターネットサ
ービスプロバイダが保有するコンテンツサーバＴＳが接
続されている。

【０１３３】このコンテンツサーバＴＳは、加入者有線
端末や携帯情報端末ＭＳ１、ＭＳ２及びカメラ付ディジ
タル携帯電話機ＭＳ３、ＭＳ４からの要求に応じて例え
ば簡易ホームページ等のコンテンツを例えばコンパクト
ＨＴＭＬ（Hyper Text Markup Language）形式のファイ
ルとして提供するようになされている。

【０１３４】ところでインターネットＩＴＮには、多数
のＷＷＷサーバＷＳ１〜ＷＳｎが接続され、ＴＣＰ／Ｉ
Ｐプロトコルに従って加入者有線端末や携帯情報端末Ｍ
Ｓ１、ＭＳ２及びカメラ付ディジタル携帯電話機ＭＳ
３、ＭＳ４からＷＷＷサーバＷＳ１〜ＷＳｎに対してア
クセスし得るようになされている。

【０１３５】因みに携帯情報端末ＭＳ１、ＭＳ２及びカ
メラ付ディジタル携帯電話機ＭＳ３、ＭＳ４は、図示し
ない基地局ＣＳ１〜ＣＳ４までを２ [Mbps] の簡易トラ
ンスポートプロトコルで通信し、当該基地局ＣＳ１〜Ｃ
Ｓ４からインターネットＩＴＮを介してＷＷＷサーバＷ
Ｓ１〜ＷＳｎまでをＴＣＰ／ＩＰプロトコルで通信する
ようになされている。

【０１３６】なお管理制御装置ＭＣＵは、公衆回線網Ｉ
ＮＷを介して加入者有線端末や携帯情報端末ＭＳ１、Ｍ
Ｓ２及びカメラ付ディジタル携帯電話機ＭＳ３、ＭＳ４
に接続されており、当該加入者有線端末や携帯情報端末
ＭＳ１、ＭＳ２及びカメラ付ディジタル携帯電話機ＭＳ
３、ＭＳ４に対する認証処理や課金処理等を行うように
なされている。

【０１３７】（２−２）カメラ付ディジタル携帯電話機
の外観構成 次に本発明を適用したカメラ付ディジタル携帯電話機Ｍ
Ｓ３の外観構成について説明する。図１８に示すように
カメラ付ディジタル携帯電話機ＭＳ３は、中央のヒンジ
部２１１を境に表示部２１２と本体２１３とに分けられ
ており、当該ヒンジ部２１１を介して折り畳み可能に形
成されている。

【０１３８】表示部２１２には、上端左部に送受信用の
アンテナ２１４が引出し及び収納可能な状態に取り付け
られており、当該アンテナ２１４を介して基地局ＣＳ３
との間で電波を送受信するようになされている。

【０１３９】また表示部２１２には、上端中央部にほぼ
１８０度の角度範囲で回動自在なカメラ部２１５が設け
られており、当該カメラ部２１５のＣＣＤカメラ２１６
によって所望の撮像対象を撮像し得るようになされてい
る。

【０１４０】ここで表示部２１２は、カメラ部２１５が
ユーザによってほぼ１８０度回動されて位置決めされた
場合、図１９に示すように当該カメラ部２１５の背面側
中央に設けられたスピーカ２１７が正面側に位置するこ
とになり、これにより通常の音声通話状態に切り換わる
ようになされている。

【０１４１】さらに表示部２１２には、その正面に液晶
ディスプレイ２１８が設けられており、電波の受信状
態、電池残量、電話帳として登録されている相手先名や
電話番号及び発信履歴等の他、電子メールの内容、簡易
ホームページ、カメラ部２１５のＣＣＤカメラ２１６で
撮像した画像を表示し得るようになされている。

【０１４２】一方、本体２１３には、その表面に「０」
〜「９」の数字キー、発呼キー、リダイヤルキー、終話
及び電源キー、クリアキー及び電子メールキー等の操作
キー２１９が設けられており、当該操作キー２１９を用
いて各種指示を入力し得るようになされている。

【０１４３】また本体２１３には、操作キー２１９の下
部にメモボタン２２０やマイクロフォン２２１が設けら
れており、当該メモボタン２２０によって通話中の相手
の音声を録音し得ると共に、マイクロフォン２２１によ
って通話時のユーザの音声を集音するようになされてい
る。

【０１４４】さらに本体２１３には、操作キー２１９の
上部に回動自在なジョグダイヤル２２２が当該本体２１
３の表面から僅かに突出した状態で設け等られており、
当該ジョグダイヤル２２２に対する回動操作に応じて液
晶ディスプレイ２１８に表示されている電話帳リストや
電子メールのスクロール動作、簡易ホームページのペー
ジ捲り動作及び画像の送り動作等の種々の動作を実行す
るようになされている。

【０１４５】例えば本体２１３は、ユーザによるジョグ
ダイヤル２２２の回動操作に応じて液晶ディスプレイ２
１８に表示された電話帳リストの複数の電話番号の中か
ら所望の電話番号が選択され、当該ジョグダイヤル２２
２が本体２１３の内部方向に押圧されると、選択された
電話番号を確定して当該電話番号に対して自動的に発呼
処理を行うようになされている。

【０１４６】なお本体２１３は、背面側に図示しないバ
ッテリパックが挿着されており、終話及び電源キーがオ
ン状態になると、当該バッテリパックから各回路部に対
して電力が供給されて動作可能な状態に起動する。

【０１４７】ところで本体２１３には、当該本体２１３
の左側面上部に抜差自在なメモリスティック（ソニー
（株）商標）２２３を挿着するためのメモリスティック
スロット２２４が設けられており、メモボタン２２０が
押下されるとメモリスティック２２３に通話中の相手の
音声を記録したり、ユーザの操作に応じて電子メール、
簡易ホームページ、ＣＣＤカメラ２１６で撮像した画像
を記録し得るようになされている。

【０１４８】ここでメモリスティック２２３は、本願出
願人であるソニー株式会社によって開発されたフラッシ
ュメモリカードの一種である。このメモリスティック２
２３は、縦21.5×横50×厚さ2.8[mm] の小型薄型形状の
プラスチックケース内に電気的に書換えや消去が可能な
不揮発性メモリであるＥＥＰＲＯＭ（Electrically Era
sable and Programmable Read Only Memory ）の一種で
あるフラッシュメモリ素子を格納したものであり、１０
ピン端子を介して画像や音声、音楽等の各種データの書
き込み及び読み出しが可能となっている。

【０１４９】またメモリスティック２２３は、大容量化
等による内蔵フラッシュメモリの仕様変更に対しても、
使用する機器で互換性を確保することができる独自のシ
リアルプロトコルを採用し、最大書込速度1.5[MB/S] 、
最大読出速度2.45[MB/S]の高速性能を実現していると共
に、誤消去防止スイッチを設けて高い信頼性を確保して
いる。

【０１５０】従ってカメラ付ディジタル携帯電話機ＭＳ
３は、このようなメモリスティック２２３を挿着可能に
構成されているために、当該メモリスティック２２３を
介して他の電子機器との間でデータの共有化を図ること
ができるようになされている。

【０１５１】（２−３）カメラ付ディジタル携帯電話機
の回路構成 図２０に示すように、カメラ付ディジタル携帯電話機Ｍ
Ｓ３は、表示部２１２及び本体２１３の各部を統括的に
制御するようになされた主制御部２５０に対して、電源
回路部２５１、操作入力制御部２５２、画像エンコーダ
２５３、カメラインターフェース部２５４、ＬＣＤ（Li
quid Crystal Display）制御部２５５、画像デコーダ２
５６、多重分離部２５７、記録再生部２６２、変復調回
路部２５８及び音声コーデック２５９がメインバス２６
０を介して互いに接続されると共に、画像エンコーダ２
５３、画像デコーダ２５６、多重分離部２５７、変復調
回路部２５８及び音声コーデック２５９が同期バス２６
１を介して互いに接続されて構成されている。

【０１５２】電源回路部２５１は、ユーザの操作により
終話及び電源キーがオン状態にされると、バッテリパッ
クから各部に対して電力を供給することによりカメラ付
ディジタル携帯電話機ＭＳ３を動作可能な状態に起動す
る。

【０１５３】カメラ付ディジタル携帯電話機ＭＳ３は、
ＣＰＵ、ＲＯＭ及びＲＡＭ等でなる主制御部２５０の制
御に基づいて、音声通話モード時にマイクロフォン２２
１で集音した音声信号を音声コーデック２５９によって
ディジタル音声データに変換し、これを変復調回路部２
５８でスペクトラム拡散処理し、送受信回路部２６２で
ディジタルアナログ変換処理及び周波数変換処理を施し
た後にアンテナ２１４を介して送信する。

【０１５４】またカメラ付ディジタル携帯電話機ＭＳ３
は、音声通話モード時にアンテナ２１４で受信した受信
信号を増幅して周波数変換処理及びアナログディジタル
変換処理を施し、変復調回路部２５８でスペクトラム逆
拡散処理し、音声コーデック２５９によってアナログ音
声信号に変換した後、これをスピーカ２１７を介して出
力する。

【０１５５】さらにカメラ付ディジタル携帯電話機ＭＳ
３は、データ通信モード時に電子メールを送信する場
合、操作キー２１９及びジョグダイヤル２２２の操作に
よって入力された電子メールのテキストデータを操作入
力制御部２５２を介して主制御部２５０に送出する。

【０１５６】主制御部２５０は、テキストデータを変復
調回路部２５８でスペクトラム拡散処理し、送受信回路
部２６２でディジタルアナログ変換処理及び周波数変換
処理を施した後にアンテナ２１４を介して基地局ＣＳ３
（図１７）へ送信する。

【０１５７】これに対してカメラ付ディジタル携帯電話
機ＭＳ３は、データ通信モード時に電子メールを受信す
る場合、アンテナ２１４を介して基地局ＣＳ３から受信
した受信信号を変復調回路部２５８でスペクトラム逆拡
散処理して元のテキストデータを復元した後、ＬＣＤ制
御部２５５を介して液晶ディスプレイ２１８に電子メー
ルとして表示する。

【０１５８】この後カメラ付ディジタル携帯電話機ＭＳ
３は、ユーザの操作に応じて受信した電子メールを記録
再生部２６２を介してメモリスティック２２３に記録す
ることも可能である。

【０１５９】一方カメラ付ディジタル携帯電話機ＭＳ３
は、データ通信モード時に画像データを送信する場合、
ＣＣＤカメラ２１６で撮像された画像データをカメライ
ンターフェース部２５４を介して画像エンコーダ２５３
に供給する。

【０１６０】因みにカメラ付ディジタル携帯電話機ＭＳ
３は、画像データを送信しない場合には、ＣＣＤカメラ
２１６で撮像した画像データをカメラインターフェース
部２５４及びＬＣＤ制御部２５５を介して液晶ディスプ
レイ２１８に直接表示することも可能である。

【０１６１】画像エンコーダ２５３は、ＣＣＤカメラ２
１６から供給された画像データを例えばＭＰＥＧ（Movi
g Picture Experts Group ）２やＭＰＥＧ４等の所定の
符号化方式によって圧縮符号化することにより符号化画
像データに変換し、これを多重分離部２５７に送出す
る。

【０１６２】このとき同時にカメラ付ディジタル携帯電
話機ＭＳ３は、ＣＣＤカメラ２１６で撮像中にマイクロ
フォン２２１で集音した音声を音声コーデック２５９を
介してディジタルの音声データとして多重分離部２５７
に送出する。

【０１６３】多重分離部２５７は、画像エンコーダ２５
３から供給された符号化画像データと音声コーデック２
５９から供給された音声データとを所定の方式で多重化
し、その結果得られる多重化データを変復調回路部２５
８でスペクトラム拡散処理し、送受信回路部２６２でデ
ィジタルアナログ変換処理及び周波数変換処理を施した
後にアンテナ２１４を介して送信する。

【０１６４】これに対してカメラ付ディジタル携帯電話
機ＭＳ３は、データ通信モード時に例えば簡易ホームペ
ージ等の画像データを受信する場合、アンテナ２１４を
介して基地局ＣＳ３から受信した受信信号を変復調回路
部２５８でスペクトラム逆拡散処理し、その結果得られ
る多重化データを多重分離部２５７に送出する。

【０１６５】多重分離部２５７は、多重化データを分離
することにより符号化画像データと音声データとに分
け、同期バス２６１を介して当該符号化画像データを画
像デコーダ２５６に供給すると共に当該音声データを音
声コーデック２５９に供給する。

【０１６６】画像デコーダ２５６は、符号化画像データ
をＭＰＥＧ２やＭＰＥＧ４等の所定の符号化方式に対応
した復号化方式でデコードすることにより再生画像デー
タを生成し、これをＬＣＤ制御部２５５を介して液晶デ
ィスプレイ２１８に、例えば簡易ホームページにリンク
された画像として表示する。

【０１６７】このとき同時に音声コーデック２５９は、
音声データをアナログ音声信号に変換した後、これをス
ピーカ２１７を介して、例えば簡易ホームページにリン
クされた音声として出力する。

【０１６８】この場合も電子メールの場合と同様にカメ
ラ付ディジタル携帯電話機ＭＳ３は、受信した簡易ホー
ムページの画像データをユーザの操作により記録再生部
２６２を介してメモリスティック２２３に記録すること
が可能である。

【０１６９】かかる構成に加えてカメラ付ディジタル携
帯電話機ＭＳ３は、主制御部２５０のＲＯＭに第１の実
施の形態と同様のサイバージェスチャープログラム１８
０（図１５）及びジョグダイヤルサーバプログラム１８
２が格納されており、所定のアプリケーションソフトウ
ェア１８３に基づくアクティブウィンドウ画面を液晶デ
ィスプレイ２１８に表示した状態で、サイバージェスチ
ャープログラム１８０に基づいてアクティブウィンドウ
画面にジェスチャー認識画面１００（図６）を重ねて表
示し得ると共に、当該ジェスチャー認識画面１００のジ
ェスチャー認識表示エリア１０６にＣＣＤカメラ２１６
で撮像したユーザの画像を表示し得るようになされてい
る。

【０１７０】次にカメラ付ディジタル携帯電話機ＭＳ３
は、第１の実施の形態と同様に図５〜図１６に示したよ
うに、主制御部２５０の制御によりジェスチャー認識画
面１００のジェスチャー認識表示エリア１０６に表示し
たユーザの画像の中から肌色領域Ｒを検出し、そのうち
動きのある肌色領域Ｒを手の平領域として認識した後、
当該手の平領域のジェスチャー動作に応じた所定のコマ
ンドをジョグダイヤルサーバプログラム１８２を介して
アプリケーションソフトウェア１８３に供給する。

【０１７１】これによりカメラ付ディジタル携帯電話機
ＭＳ３は、第１の実施の形態におけるノートパソコン１
と同様に、主制御部２５０の制御によりアプリケーショ
ンソフトウェア１８３に従ってジェスチャー認識画面１
００の背景に表示されているアクティブウィンドウ画面
の静止画をコマンドに応じて所望方向に画像送りし得る
ようになされている。

【０１７２】（２−４）第２の実施の形態における動作
及び効果 以上の構成においてカメラ付ディジタル携帯電話機ＭＳ
３は、主制御部２５０がサイバージェスチャープログラ
ム１８０を起動することにより、ジェスチャー認識画面
１００におけるジェスチャー認識表示エリア１０６のほ
ぼ中央部分に、５個の正方形状に形成されたターゲット
１０７Ａ〜１０７Ｅからなるターゲット部１０７を横一
列に配列して表示する。

【０１７３】そしてカメラ付ディジタル携帯電話機ＭＳ
３は、第１の実施の形態と同様に、ユーザの手が動かさ
れたときの左右方向の動作を認識すると共に、各ターゲ
ット１０７Ａ〜１０７Ｅ上にポインタ１０８を重ねてユ
ーザの手の動きに合わせて移動させながら順番に表示す
ることにより、手の動きの軌跡や認識結果をユーザに対
して確認させることができる。

【０１７４】このようにカメラ付ディジタル携帯電話機
ＭＳ３は、手の動きを認識し得るときの手の動きの軌跡
や認識結果をユーザに対してフィードバックして学習さ
せることにより、当該カメラ付ディジタル携帯電話機Ｍ
Ｓ３が認識し易い手の動きを当該ユーザに対して促すこ
とができるので、ユーザによってコマンドが入力される
までの時間を短縮することができる。

【０１７５】以上の構成によればカメラ付ディジタル携
帯電話機ＭＳ３は、ＣＣＤカメラ２１６で撮像したユー
ザの手の動きを認識した結果、手の動きの軌跡や認識結
果をターゲット１０７Ａ〜１０７Ｅ及びポインタ１０８
を用いて分かり易くアニメーション表示することによ
り、手の動きの軌跡や認識結果をユーザに対してフィー
ドバックして学習させることができる。

【０１７６】（３）他の実施の形態 なお上述の第１及び第２の実施の形態においては、ノー
トパソコン１及びカメラ付ディジタル携帯電話機ＭＳ３
がユーザの手に関する左右方向の動きの軌跡や認識結果
を、認識過程画像としてのビジュアルフィードバック画
面１９１〜１９３を介して、各ターゲット１０７Ａ〜１
０７Ｅ上にポインタ１０８を重ねた状態でユーザの手の
動きに合わせて移動させながら表示するようにした場合
について述べたが、本発明はこれに限らず、各ターゲッ
ト１０７Ａ〜１０７Ｅをユーザの手の動きに合わせて順
番に点滅させるようにしてもよい。

【０１７７】また上述の第１及び第２の実施の形態にお
いては、認識対象としてユーザの動作を認識するように
した場合について述べたが、本発明はこれに限らず、例
えばユーザ以外にロボットや動物等の他の種々の認識対
象の動作を認識するようにしても良い。

【０１７８】さらに上述の第１及び第２の実施の形態に
おいては、移動方向認識手段及び制御手段としてのＣＰ
Ｕ５０及び２５０がＨＤＤ６７のハードディスクやＲＯ
Ｍに予め格納されたサイバージェスチャープログラム１
８０に基づいて各ターゲット１０７Ａ〜１０７Ｅ上にポ
インタ１０８を重ねた状態でユーザの手の動きに合わせ
て移動させながらアニメーション表示することにより、
ユーザの手の動きの軌跡や認識結果をユーザに対して通
知するようにした場合について述べたが、本発明はこれ
に限らず、サイバージェスチャープログラム１８０が格
納されたプログラム格納媒体をノートパソコン１及びカ
メラ付ディジタル携帯電話機ＭＳ３にインストールする
ことにより、ユーザの手の動きの軌跡や認識結果をアニ
メーション表示によって通知するようにしても良い。

【０１７９】このように上述した一連の処理を実行する
サイバージェスチャープログラム１８０をノートパソコ
ン１及びカメラ付ディジタル携帯電話機ＭＳ３にインス
トールし、当該ノートパソコン１及びカメラ付ディジタ
ル携帯電話機ＭＳ３にインストールにおいて実行可能な
状態にするために用いられるプログラム格納媒体として
は、例えばフロッピーディスク、ＣＤ−ＲＯＭ（Compac
t Disc-Read Only Memory)、ＤＶＤ（Digital Versatai
le Disc ）等のパッケージメディアのみならず、サイバ
ージェスチャープログラム１８０が一時的もしくは永続
的に格納される半導体メモリや磁気ディスク等で実現し
ても良い。また、これらプログラム格納媒体にサイバー
ジェスチャープログラム１８０を格納する手段として
は、ローカルエリアネットワークやインターネット、デ
ィジタル衛生放送等の有線及び無線通信媒体を利用して
も良く、ルータやモデム等の各種通信インターフェース
を介して格納するようにしても良い。

【０１８０】さらに上述の第１及び第２の実施の形態に
おいては、本発明の情報処理装置としてノートパソコン
１及びカメラ付ディジタル携帯電話機ＭＳ３に適用する
ようにした場合について述べたが、携帯情報端末ＭＳ１
及びＭＳ２等の他の種々の情報処理装置に適用するよう
にしても良い。

【０１８１】

【発明の効果】上述のように本発明によれば、撮像手段
によって認識対象を撮像することにより得られた画像に
基づいて当該画像中の認識対象の移動方向を認識し、当
該認識した認識対象の移動方向の軌跡を表す認識過程画
像を生成して所定の表示手段に表示することにより、認
識対象の動作がどのように認識されたのかをユーザに対
してフィードバックして学習させることができる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態によるノートブック
型パーソナルコンピュータの全体構成を示す略線的斜視
図である。

【図２】本体の左側面の構成を示す略線図である。

【図３】本体の後側面及び底面の構成を示す略線図であ
る。

【図４】ノートブック型パーソナルコンピュータの回路
構成を示すブロツク図である。

【図５】ジェスチャー認識処理手順を示すフローチャー
トである。

【図６】アクティブウィンドウ画面上に重ねて表示され
たジェスチャー認識画面を示す略線図である。

【図７】ジェスチャー認識画面の構成を示す略線図であ
る。

【図８】ターゲットの構成を示す略線図である。

【図９】手の位置情報に関する取得処理手順を示すフロ
ーチャートである。

【図１０】ＹＵＶ色度空間上に表される色領域を示す略
線図である。

【図１１】サーチ状態のジェスチャー認識画面を示す略
線図である。

【図１２】ポインタ及び手の平領域認識枠がオーバーラ
ップ表示されたジェスチャー認識画面を示す略線図であ
る。

【図１３】ジェスチャー動作に関する判断処理手順を示
すフローチャートである。

【図１４】指先移動距離の算出の説明に供する略線図で
ある。

【図１５】ソフトウェア的な処理の流れの説明に供する
略線図である。

【図１６】ビジュアルフィードバック画面を示す略線図
である。

【図１７】第２の実施の形態におけるネットワークシス
テムの全体構成を示す略線図である。

【図１８】カメラ付ディジタル携帯電話機の外観構成を
示す略線的斜視図である。

【図１９】カメラ部を回動したときの表示部を示す略線
的斜視図である。

【図２０】カメラ付ディジタル携帯電話機の回路構成を
示すブロック図である。

【符号の説明】

１……ノートブック型パーソナルコンピュータ、２、２
１３……本体、３、２１２……表示部、４、２１９……
操作キー、８、２１６……ＣＣＤカメラ、１０、２１８
……液晶ディスプレイ、１１……撮像部、２４、２２２
……ジョグダイヤル、５０……ＣＰＵ、５３……ＲＡ
Ｍ、１００……ジェスチャー認識画面、１０７……ター
ゲット部、１０８……ポインタ、１０９……手の平領域
認識枠、１２０……軌跡表示枠、１２１……方向表示
枠、２００……ネットワークシステム、ＭＳ１、ＭＳ２
……携帯情報端末、ＭＳ３、ＭＳ４……カメラ付ディジ
タル携帯電話機、ＣＳ１〜ＣＳ４……基地局、ＩＮＷ…
…公衆回線網、２１４……アンテナ、２２３……メモリ
スティック、２５０……主制御部、２５１……電源回路
部、２５２……操作入力制御部、２５３……画像エンコ
ーダ、２５４……カメラインターフェース部、２５５…
…ＬＣＤ制御部、２５６……画像デコーダ、２５７……
多重分離部、２５８……変復調回路部、２５９……音声
コーデック、２６０……メインバス、２６１……同期バ
ス、２６２……記録再生部。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 井原 圭吾 東京都品川区北品川６丁目７番35号ソニー 株式会社内 (72)発明者 末吉 隆彦 東京都品川区北品川６丁目７番35号ソニー 株式会社内 (72)発明者 山口 祥弘 東京都品川区北品川６丁目７番35号ソニー 株式会社内 (72)発明者 五味 信一郎 東京都品川区北品川６丁目７番35号ソニー 株式会社内 Ｆターム(参考） 5C082 AA01 AA21 AA22 AA24 AA27 AA37 BA02 BA12 BA27 BD02 CA55 CA62 CB06 MM09

Claims (4)

【特許請求の範囲】
1. 【請求項１】撮像手段によって認識対象を撮像すること
   により得られた画像に基づいて上記認識対象の移動方向
   を認識する移動方向認識手段と、 上記移動方向認識手段によって認識した上記認識対象の
   移動方向の軌跡を表す認識過程画像を生成して所定の表
   示手段に表示する制御手段とを具えることを特徴とする
   情報処理装置。
2. 【請求項２】上記制御手段は、上記認識過程画像として
   上記認識対象の移動方向に沿って順次複数配列した所定
   形状のマークを上記移動方向に向かって順番に交互表示
   することを特徴とする請求項１に記載の情報処理装置。
3. 【請求項３】撮像手段によって認識対象を撮像すること
   により得られた画像に基づいて上記認識対象の移動方向
   を認識する移動方向認識処理ステップと、 上記移動方向認識処理ステップで認識した上記認識対象
   の移動方向の軌跡を表す認識過程画像を生成する認識過
   程画像生成処理ステップと、 上記認識過程画像生成処理ステップで生成された上記認
   識過程画像を所定の表示手段に表示する表示処理ステッ
   プとを具えることを特徴とする動作認識過程表示方法。
4. 【請求項４】撮像手段によって認識対象を撮像すること
   により得られた画像に基づいて上記認識対象の移動方向
   を認識する移動方向認識処理ステップと、 上記移動方向認識処理ステップで認識した上記認識対象
   の移動方向の軌跡を表す認識過程画像を生成する認識過
   程画像生成処理ステップと、 上記認識過程画像生成処理ステップで生成された上記認
   識過程画像を所定の表示手段に表示する表示処理ステッ
   プとを具えることを特徴とするプログラムを情報処理装
   置に実行させるプログラム格納媒体。