JP2001034764A - 動画像処理方法、及び装置並びに媒体 - Google Patents

Abstract

(57)【要約】 【課題】 データグローブや特定色の手袋等の装着やマ
ーカ等を付着する必要があった。 【解決手段】 被写体をカメラで撮影することにより
得られる、モノクロ濃淡時系列画像を入力とする。入力
された時系列画像の初期フレームから、基本形状特徴を
用いて被写体を検出し、被写体上に追跡対象とする複数
の参照点を自動的に決定する。次に、入力時系列画像よ
り、初期フレームと異なる画像フレームから、各参照点
の対応点を探索する。続いて、各参照点の追跡結果と３
次元平面の有限運動仮定より、手指の運動情報を算出す
る。算出された運動パラメータにより、立体対象物の座
標変換を行ない、必要に応じて表示する。追跡結果よ
り、各フレームにおける参照点を更新し、連続するフレ
ームについて、追跡及び運動パラメータ算出、表示処理
を繰り返す。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は動画像処理方法及び
動画像処理装置並びに媒体に関し、特に基本形状特徴に
基づく特徴抽出技術、及びその特徴箇所の画像中での追
跡による対象物体の運動情報を算出する動画像処理方法
及び動画像処理装置並びに媒体に関する。

【０００２】

【従来の技術】対象物体の運動を撮影して得られる時系
列画像より特徴抽出を行ない、その検出された特徴より
対象物体の運動情報を推定する従来の動画像処理方法及
び動画像処理装置としては、手指にマーカを付着する方
法（特開平6-89342号公報）や、特定色の手袋を装着す
る方法のものがある。

【０００３】更に、運動情報を推定するための方法とし
て、対象物体の運動を撮影せずに、磁気センサーを取り
付けたデータグローブ等を手に装着する方法が存在す
る。

【０００４】一方、従来の技術を特定の機器、例えば、
自動車の利用に際しての認証システムに適用する場合で
も、磁気センサーを取り付けた鍵等を利用する必要があ
った。

【０００５】

【発明が解決しようとする課題】然し乍ら、前述のよう
な、従来の動画像処理方法及び動画像処理装置において
は、以下のような問題点があった。 （１）手指にマーカを付着する方法は、マーカの識別と
それらの位置関係に関する情報が必要となる。 （２）特定色の手袋を装着する方法は、画像中の手指領
域抽出にクロマキーを用いるため、同一色を含む背景や
モノクロ濃淡画像への適用が難しい。 （３）データグローブ等を装着する方法は、操作者にと
って負担となる。

【０００６】従って、本発明は前記課題に鑑みなされた
もので、その目的は、 １）１台のカメラで撮影されたモノクロ濃淡画像から基
本形状特徴を用いて手指の特徴部位を検出し、 ２）前記特徴部位上に追跡対象とする参照点を自動的に
決定し、 ３）前記参照点の追跡結果と３次元空間中の平面の有限
運動仮定より、手指の運動情報を算出することにより、
前記運動情報を用いて、計算機内部に予め用意されたモ
デルやポインタ等の操作をすることができる。 ４）更に、特定の機器（例えば、自動車）を利用する際
に、手指等によって空間中で図形を描くことによって、
その運動情報を算出することにより、ユーザ認証に応用
することができる動画像処理方法及び動画像処理装置並
びに媒体を提供することにある。

【０００７】

【課題を解決するための手段】請求項１の動画像処理方
法に係る発明は、時系列で異なる複数のフレームより得
られる被写体の運動情報を用いて、特定の機器を利用す
る際の利用者の認証を行うことを特徴とする。

【０００８】請求項２の動画像処理方法に係る発明は、
請求項１に記載の動画像処理方法における前記被写体の
運動情報の算出処理として、前記時系列画像のフレーム
を処理して、時系列画像中に含まれる被写体の輪郭線形
状特徴を抽出する第１の工程と、前記形状特徴を用い
て、前記フレーム中から参照点を検出する第２の工程
と、及び前記参照点を時間的に追跡し、前記被写体の３
次元空間中の運動情報を算出する第３の工程と、を含む
ことを特徴とする。

【０００９】請求項３の動画像処理方法に係る発明は、
時系列画像中に含まれる被写体を、輪郭線形状特徴を用
いてその動きを追跡する動画像処理方法において、前記
時系列画像のフレームを処理して、形状特徴を抽出する
第１の工程と、前記形状特徴を用いて、前記フレーム中
から参照点を検出する第２の工程と、前記参照点を時間
的に追跡し、前記被写体の３次元空間中の運動情報を算
出する第３の工程と、及び前記運動情報に基いて、予め
用意された表示対象を操作する第４の工程と、を含むこ
とを特徴とする。

【００１０】請求項４の動画像処理方法に係る発明は、
請求項２、３のいずれかに記載の動画像処理方法におい
て、前記第１の工程は、被写体の入力画像のエッジ情報
に基づいて輪郭線を抽出し、前記エッジ情報に基づいて
エッジ勾配の方向が急激に変化する屈曲点と、前記輪郭
線上の点における曲率の符号が反転し、かつ前記エッジ
勾配の方向が緩やかに変化する変曲点と、及び前記輪郭
線上の点の曲率が零から非零若しくは非零から零へ移行
し、かつ前記エッジ勾配の方向が緩やかに変化する遷移
点と、からなる特徴点を検出し、該特徴点に基づいて前
記輪郭線を直線と凹若しくは凸の曲線セグメントに分割
し、同一フレーム中で得られるセグメントを複数組み合
わせることにより、前記被写体が投影された画像中より
特定部位を検出することを特徴とする。

【００１１】請求項５の動画像処理方法に係る発明は、
請求項４に記載の動画像処理方法において、前記被写体
の投影された画像中より、前記検出された特定部位の輪
郭線上に、追跡のための参照点を決定することを特徴と
する。

【００１２】請求項６の動画像処理方法に係る発明は、
請求項４又は５に記載の動画像処理方法において、前記
被写体の輪郭線を特徴点で区切られた複数のセグメント
で形状特徴を表現することを特徴とする。

【００１３】請求項７の動画像処理方法に係る発明は、
請求項４〜６のいずれかに記載の動画像処理方法におい
て、前記セグメント上に対応点を追跡するための参照点
を決定することを特徴とする。

【００１４】請求項８の動画像処理方法に係る発明は、
請求項３〜７のいずれかに記載の動画像処理方法におい
て、前記対応点を追跡するための参照点として、３次元
空間中で同一平面上に位置する少なくとも４点以上の複
数点を初期フレームにおける画像中より選択し、追跡対
象とする前記初期フレームと時系列で異なるフレームよ
り前記各参照点に対応する対応点を検出することを特徴
とする。

【００１５】請求項９の動画像処理方法に係る発明は、
請求項８に記載の動画像処理方法において、時系列で異
なる複数のフレームより得られる複数の追跡参照点及び
対応点より、前記参照点及び対応点の対が３次元空間中
の同一平面上に位置すると３次元空間中の平面の有限運
動仮定より、該平面の３次元空間中での運動情報を算出
し、前記算出された運動情報を用いて、予め用意された
モデルやポインタの操作をすることを特徴とする。

【００１６】請求項１０の動画像処理方法に係る発明
は、請求項１、２のいずれかに記載の動画像処理方法に
おいて、利用者は前記特定の機器の利用に際して、運動
情報入力手段から運動情報を入力し、その運動情報と事
前に入力された初期登録パターンとを運動情報比較手段
にて比較し、前記運動情報が前記初期登録パターンと異
なると判断された場合、利用許可制御手段は前記特定の
機器の利用を不許可とする信号を前記特定の機器に送信
することを特徴とする。

【００１７】請求項１１の動画像処理装置に係る発明
は、時系列で異なる複数のフレームより得られる被写体
の運動情報を用いて、特定の機器を利用する際の利用者
の認証を行うことを特徴とする。

【００１８】請求項１２の動画像処理装置に係る発明
は、請求項１１に記載の動画像処理装置における前記被
写体の運動情報の算出処理として、前記時系列画像のフ
レームを処理して、時系列画像中に含まれる被写体の輪
郭線形状特徴を抽出する手段と、前記形状特徴を用い
て、前記フレーム中から参照点を検出する手段と、及び
前記参照点を時間的に追跡し、前記被写体の３次元空間
中の運動情報を算出する手段と、を含むことを特徴とす
る。

【００１９】請求項１３の動画像処理装置に係る発明
は、時系列画像中に含まれる被写体を、輪郭線形状特徴
を用いてその動きを追跡する動画像処理装置において、
前記時系列画像のフレームを処理して、形状特徴を抽出
する手段と、前記形状特徴を用いて、前記フレーム中か
ら参照点を検出する手段と、前記参照点を時間的に追跡
し、前記被写体の３次元空間中の運動情報を算出する手
段と、及び前記運動情報に基いて、予め用意された表示
対象を操作する手段と、を含むことを特徴とする。

【００２０】請求項１４の動画像処理装置に係る発明
は、請求項１３記載の動画像処理装置において、前記形
状特徴を抽出する手段は、被写体の入力画像のエッジ情
報に基づいて輪郭線を抽出し、前記エッジ情報に基づい
てエッジ勾配の方向が急激に変化する屈曲点と、前記輪
郭線上の点における曲率の符号が反転し、かつ前記エッ
ジ勾配の方向が緩やかに変化する変曲点と、及び前記輪
郭線上の点の曲率が零から非零若しくは非零から零へ移
行し、かつ前記エッジ勾配の方向が緩やかに変化する遷
移点と、からなる特徴点を検出し、該特徴点に基づいて
前記輪郭線を直線と凹若しくは凸の曲線セグメントに分
割し、同一フレーム中で得られるセグメントを複数組み
合わせることにより、前記被写体が投影された画像中よ
り特定部位を検出することを特徴とする。

【００２１】請求項１５の動画像処理装置に係る発明
は、請求項１３又は１４に記載の動画像処理装置におい
て、前記被写体の投影された画像中より、前記検出され
た特定部位の輪郭線上に、追跡のための参照点を決定す
ることを特徴とする。

【００２２】請求項１６の動画像処理装置に係る発明
は、請求項１４又は１５に記載の動画像処理装置におい
て、前記被写体の輪郭線を特徴点で区切られた複数のセ
グメントで形状特徴を表現することを特徴とする。

【００２３】請求項１７の動画像処理装置に係る発明
は、請求項１４〜１６のいずれかに記載の動画像処理装
置において、前記セグメント上に対応点を追跡するため
の参照点を決定することを特徴とする。

【００２４】請求項１８の動画像処理装置に係る発明
は、請求項１３〜１７のいずれかに記載の動画像処理装
置において、前記対応点を追跡するための参照点（適宜
「追跡参照点」という。）として、３次元空間中で同一
平面上に位置する少なくとも４点以上の複数点を初期フ
レームにおける画像中より選択し、追跡対象とする前記
初期フレームと時系列で異なるフレームより前記各参照
点に対応する対応点を検出することを特徴とする。

【００２５】請求項１９の動画像処理装置に係る発明
は、請求項１３に記載の動画像処理装置において、時系
列で異なる複数のフレームより得られる複数の追跡参照
点及び対応点より、前記参照点及び対応点の対が３次元
空間中の同一平面上に位置すると３次元空間中の平面の
有限運動仮定より、該平面の３次元空間中での運動情報
を算出し、前記算出された運動情報を用いて、予め用意
されたモデルやポインタの操作をすることを特徴とす
る。

【００２６】請求項２０の動画像処理装置に係る発明
は、請求項１１、１２のいずれかに記載の動画像処理装
置において、運動情報を入力する運動情報入力手段と、
該運動情報入力手段から運動情報を入力し、その運動情
報と事前に入力された初期登録パターンとを比較する運
動情報比較手段と、該運動情報比較手段での比較の結
果、前記運動情報が前記初期登録パターンと異なると判
断された場合、前記特定の機器の利用を不許可とする信
号を前記特定の機器に送信する利用許可制御手段と、を
備えることを特徴とする。

【００２７】請求項２１の媒体に係る発明は、時系列画
像中に含まれる被写体を、輪郭線形状特徴を用いてその
動きを追跡するプログラムを記録する情報処理装置で読
み取り可能な媒体であって、前記プログラムは情報処理
装置に対して、前記時系列画像のフレームを処理して、
形状特徴を抽出し、前記形状特徴を用いて、前記フレー
ム中から参照点を検出し、前記参照点を時間的に追跡
し、前記被写体の３次元空間中の運動情報を算出し、及
び前記運動情報に基いて、予め用意された表示対象を操
作する、ことを含むことを特徴とする。

【００２８】請求項２２の媒体に係る発明は、請求項２
１記載の媒体において、前記形状特徴を抽出する工程
は、被写体の入力画像のエッジ情報に基づいて輪郭線を
抽出し、前記エッジ情報に基づいてエッジ勾配の方向が
急激に変化する屈曲点と、前記輪郭線上の点における曲
率の符号が反転し、かつ前記エッジ勾配の方向が緩やか
に変化する変曲点と、及び前記輪郭線上の点の曲率が零
から非零若しくは非零から零へ移行し、かつ前記エッジ
勾配の方向が緩やかに変化する遷移点と、からなる特徴
点を検出し、該特徴点に基づいて前記輪郭線を直線と凹
若しくは凸の曲線セグメントに分割し、同一フレーム中
で得られるセグメントを複数組み合わせることにより、
前記被写体が投影された画像中より特定部位を検出する
ことを特徴とする。

【００２９】請求項２３の媒体に係る発明は、請求項２
１又は２２に記載の媒体において、前記被写体の投影さ
れた画像中より、前記検出された特定部位の輪郭線上
に、追跡のための参照点を決定することを特徴とする。

【００３０】請求項２４の媒体に係る発明は、請求項２
２又は２３に記載の媒体において、前記被写体の輪郭線
を特徴点で区切られた複数のセグメントで形状特徴を表
現することを特徴とする。

【００３１】請求項２５の媒体に係る発明は、請求項２
２〜２４のいずれかに記載の媒体において、前記セグメ
ント上に対応点を追跡するための参照点を決定すること
を特徴とする。

【００３２】請求項２６の媒体に係る発明は、請求項２
１〜２５のいずれかに記載の媒体において、前記対応点
を追跡するための参照点として、３次元空間中で同一平
面上に位置する少なくとも４点以上の複数点を初期フレ
ームにおける画像中より選択し、追跡対象とする前記初
期フレームと時系列で異なるフレームより前記各参照点
に対応する対応点を検出することを特徴とする。

【００３３】請求項２７の媒体に係る発明は、請求項２
６に記載の媒体において、時系列で異なる複数のフレー
ムより得られる複数の追跡参照点及び対応点より、前記
参照点及び対応点の対が３次元空間中の同一平面上に位
置すると３次元空間中の平面の有限運動仮定より、該平
面の３次元空間中での運動情報を算出し、前記算出され
た運動情報を用いて、予め用意されたモデルやポインタ
の操作をすることを特徴とする。

【００３４】請求項２８の媒体に係る発明は、時系列で
異なる複数のフレームより得られる被写体の運動情報を
用いて、特定の機器を利用する際の利用者の認証を行う
処理手順を格納することを特徴とする。

【００３５】請求項２９のユーザ認証システムに係る発
明は、時系列で異なる複数のフレームより得られる被写
体の運動情報を用いて特定の機器の利用を許可、或いは
不許可とするユーザ認証システムにおいて、前記特定の
機器の利用者認証装置は、初期の運動情報からなる初期
登録パターンと、前記特定の機器の利用に際して入力さ
れた被写体の運動情報とを比較することによって、前記
特定の機器を操作する利用者の認証を行い、その比較の
結果、不正利用と判断された場合には、前記特定の機器
の利用を許可させず、一方不正利用でないと判断された
場合には、前記特定の機器の利用を許可させることを特
徴とする。

【００３６】請求項３０のユーザ認証システムに係る発
明は、請求項２９に記載のユーザ認証システムにおい
て、前記特定の機器の利用者認証装置は、利用者が前記
特定の機器の利用に際して、運動情報を入力する運動情
報入力手段と、前記特定の機器の利用許可、或いは不許
可とする利用許可制御手段と、前記特定の機器の利用に
際して利用者から入力された運動情報と事前に入力され
た初期登録パターンとを比較する運動情報比較手段と、
及び前記利用許可制御手段によって前記特定の機器の利
用を不許可とする場合に電波を発信する発信手段と、を
備えると共に、前記利用者認証装置はネットワークを介
してサーバーに接続され、一方該サーバーは前記発信手
段から発信された電波を受信する受信手段を備え、前記
利用者が前記特定の機器の利用に際して、前記運動情報
入力手段から運動情報を入力し、その運動情報と前記運
動情報記憶手段に設定登録された初期登録パターンとを
運動情報比較手段にて比較し、前記運動情報が前記運動
情報記憶手段に設定登録された初期登録パターンと異な
る場合には、前記利用許可制御手段は前記特定の機器に
対して、利用不許可信号を送信し、前記サーバー側の受
信手段は前記発信手段から発信された電波を受信して前
記特定の機器の位置情報を取得することを特徴とする。

【００３７】請求項３１のユーザ認証システムに係る発
明は、請求項３０に記載のユーザ認証システムにおい
て、前記利用許可制御手段が前記特定の機器に対して、
利用不許可信号を送信した後、利用者認証装置は前記サ
ーバーに対して、前記特定の機器を不正利用しようとし
ている異常信号を送信し、前記サーバーは該信号を受信
することによって、前記サーバー側の受信手段が、前記
発信手段から発信された電波を受信し始めることを特徴
とする。

【００３８】

【発明の実施の形態】次に、本発明の好適な実施の形態
を、適宜図面を参照しながら説明する。

【００３９】図１は、本発明の動画像処理装置の概略構
成図である。

【００４０】１は被写体を撮像するイメージセンサーを
有する撮像手段であり、具体的にはカメラが該当する。
２は撮像手段１に取り込まれたアナログ信号の画像情報
をデジタル信号からなる画像情報に変換するＡ／Ｄ変換
手段、３はＡ／Ｄ変換手段で変換されたデジタル画像情
報を時系列のフレーム毎に格納するフレームメモリ、４
は本処理装置全体を統括制御する中央処理手段（ＣＰ
Ｕ）であり、本発明の動画像処理方法の処理フローから
なるアルゴリズムを格納している。５は中央処理手段４
の信号処理に際して使用するメインメモリ、６は本処理
装置で処理した画像を表示する表示手段である。

【００４１】尚、前述の撮像手段１はアナログカメラを
例に挙げたが、この他に、撮像手段１、及びＡ／Ｄ変換
手段２の機能を併せ持つデジタルカメラでも本発明の目
的を実現することが可能である。

【００４２】次に、図２は、本発明の一実施の形態に係
る動画像処理方法の処理手順を示すフローチャートであ
る。以下、この手順を説明しながら本発明に係る動画像
処理方法を説明する。

【００４３】同図に示すごとく、本方法は、画像入力
（Ｓ２０）、特徴抽出（Ｓ２１）、参照点追跡（Ｓ２
２）、運動情報算出（Ｓ２３）、及びモデル操作・画像
表示（Ｓ２４）の各処理を含む。以下、各処理の内容を
詳述する。 １．参照点を決定するための特徴抽出（Ｓ２１） 本発明の実施の形態では、ステップＳ２０として、事前
に被写体である手指を撮像手段１によって撮像し、手指
の輪郭形状情報を取得しておく。

【００４４】図４は、入力時系列画像の初期フレームよ
り検出された手指のエッジ情報からなる輪郭線上の特徴
点の検出例を示している。図中の記号は特徴点として、
屈曲点（□）、変曲点（△）、遷移点（×）をそれぞれ
示す。

【００４５】本発明での「屈曲点」とは、前記エッジ情
報に基づいてエッジ勾配の方向が急激に変化する点をい
い、また「変曲点」とは、被写体の輪郭線上の点におけ
る曲率の符号が反転し、かつ前記エッジ勾配の方向が緩
やかに変化する点をいい、更に「遷移点」とは、前記輪
郭線上の点の曲率が零から非零若しくは非零から零へ移
行し、かつ前記エッジ勾配の方向が緩やかに変化する点
をいう。

【００４６】図２のステップＳ２１の工程では、まず、
これら特徴点に基づいて輪郭線を直線と凹若しくは凸の
曲線セグメントに分割する。

【００４７】次に、輪郭線の分割により得られる基本形
状特徴（セグメント）を一般的な関係にて組み合わせ
る。

【００４８】続いて、上位の形状特徴上の点より追跡の
ための参照点（適宜「追跡参照点」という。）を決定す
る。図５は、基本形状特徴として、直線セグメント（図
中左）と曲線セグメント（同図中中央）を用い、遷
移点にて連結という関係でセグメント、、からな
る上位の形状特徴を記述する例を示している。

【００４９】ここで、それぞれ、とが（transition
,）、とが（transition,）、とが（p
arallel）の関係にある。このように、画像より上
位の形状特徴の記述に基いた特徴抽出を行う。

【００５０】次に、図６は、セグメントの組み合わせか
らなる形状特徴に対して、参照点を設定する例を示して
いる。ここで、例えば、同図（ａ）中の●で示される点
を参照点として選択した場合、同図中の横方向の動きに
関しては、異なるフレームにおける画像中より、正しい
対応点を探索することができるが、縦方向の動きに関し
ては、曲線部分の数点以外は正しく対応点を求めること
ができなくなる。これは、開口問題（「時刻ｔにおける
追跡のための参照点に対応する時刻(ｔ＋１)における対
応点が、一意に決定できない問題」をいう。）と呼ばれ
る問題で、動画像の処理においては回避する必要があ
る。

【００５１】従って、本発明では、図６（ａ）（ｂ）の
ように、指を表わす上位の形状特徴を構成するセグメン
トを、例えば９０度の角度をなすようにセグメントを複
数選択することにより回避することが可能となる。その
セグメントの組み合わせの条件としては、開口問題が回
避できるようなものであれば図６（ｂ）に示す以外のセ
グメントでもよい。

【００５２】更に、セグメント上の点（参照点）を、例
えば図６（ａ）に●で示した点のように等間隔にサンプ
リングするなどして、上位の形状特徴を構成するセグメ
ント上に追跡のためのものとしてもよい。 ２．参照点追跡（Ｓ２２） ステップＳ２２の工程では、ステップＳ２１の工程で選
択された初期フレームにおける参照点（●）より、３次
元空間中で同一平面上に位置するものを複数、例えば少
なくとも４点以上選択し、異なるフレーム、即ち所定時
間後に前述の参照点がどのように遷移して対応点に移動
するかを探索する。

【００５３】尚、３次元空間中の平面上の点を、異なる
２つの面（例えば画像の撮像面等）に投影して得られ
る、２つの各平面パターンの間には、アフィン変換可能
という関係が成り立つので、これを用いてもよい。

【００５４】以下に対応点の探索方法（ステップＡ〜ス
テップＥ）について一例を示す。

【００５５】尚、以下の方法では、参照点と対応点の関
係を、アフィン変換で表現できると仮定し、「対応点」
とは、被写体である手指が移動した後の参照点に対応す
る点をいうものとする。

【００５６】ここで、参照点の座標を(X,Y)、対応点の
座標を(x,y)とすると、両者の関係は以下のような(１)
及び(２)からなる多項式 x = a×X + b×Y + e … (１) y = c×X + d×Y + f … (２) で表現することができる。ここで、a、b、c及びdは被写
体の動きの回転成分を示す係数であり、e及びfは被写体
の動きの平行移動成分を示す係数である。

【００５７】ステップＡでは、移動前の被写体（前画像
フレームでの被写体）における参照点の法線と移動後の
被写体（次画像フレームでの被写体）の輪郭線の交点を
仮の対応点とする。 参照点の法線と輪郭線の交点は、
参照点の法線上に存在する画素の輝度値を調べ、法線上
で隣接する画素の輝度値が大きく異なる点として求めら
れる。図７は、参照点と、その参照点に対応する仮の対
応点を示す図である。図７中の輪郭線が前画像フレーム
（移動前）での指の位置、○が参照点、＋が仮の対応点
である。尚、法線は、前画像フレームにおける指の輪郭
線上の参照点の法線を採用するものとする。

【００５８】次のステップＢでは、全ての参照点に関し
て、前述した多項式（１）、（２）に基づいて多項式の
係数a、b、c、d、e、及びfを求める。本発明の説明で
は、参照点を２０個選択すれば、多項式（１）、（２）
も夫々２０式立つことになる。このため、理論上それら
の式を満たす係数a、b、c、d、e、及びfは一義的には定
まらない。従って、本発明では、まず２０個の仮の対応
点の座標を用いて最小二乗法によって多項式の係数a、
b、c、d、e、及びfを１組求める。

【００５９】次にステップＣにおいては、ステップＢで
求めた、１組の多項式の係数a、b、c、d、e、及びfを用
いて、２０個の参照点がどの位置に移動するかを求め
る。図８は、図７に示す参照点がどの仮の参照点に対応
していくかの遷移を表したものである。図８によれば、
「参照点」は「第１の仮の参照点」に移動したことにな
る。このとき、「第１の仮の対応点の座標」と「第１の
仮の参照点の座標」は所定範囲（閾値）内とならない。
これは、ステップＢで求めた多項式の係数a、b、c、d、
e、及びfが近似解であることから生じる誤差である。

【００６０】このため、ステップＢ、Ｃで行った処理
を、参照点を第１の仮の参照点に更新（置換）して行う
ものとする。この仮の対応点を更新していくと、参照点
は、第１の仮の参照点、第２の仮の参照点へと順次遷移
していき、係数の近似解が安定し、即ち「第nの仮の対
応点と第nの仮の参照点との距離」が、或る閾値以下に
なるまでステップＢ、Ｃで行った処理を繰り返す。

【００６１】ステップＤでは、ステップＣでの処理の結
果、「参照点」は、最終的に「対応点」へと遷移するこ
とが分かり、その対応点を決定し、最後のステップＥに
おいては、ステップＤで決定した対応点を、次の画像フ
レームにおける参照点として用いる。 ３．運動情報算出（Ｓ２３） 図２のステップＳ２３の工程では、ステップＳ２２の工
程にて追跡された初期フレーム中の参照点と、時系列に
異なるフレームにおける参照点の対応点の画像中での座
標の関係より、３次元空間中の平面の有限運動仮定（時
系列に異なるフレームでも被写体が視野内に収まり、必
ず撮像されるという仮定）より、平面パターンの運動情
報を算出する。ここで、撮像系のレンズの焦点距離を与
えることにより、運動情報として、並進３自由度と回転
３自由度、平面の法線方向ならびに、座標系の原点より
平面へ下ろした垂線の足までの距離が得られる。

【００６２】ただし、並進ベクトルは、前記距離との比
として得られるので、正確な移動量を算出するには、予
め何らかの方法により前記距離を与える必要がある。相
対的な運動が算出できれば良い場合には、適当な値を前
記距離として与えれば良い。

【００６３】ここで、運動情報の算出の一例を述べる。

【００６４】図９に示すように、空間中の平面を観測す
る場合を考える。ある平面がカメラに対して運動する場
合も、平面に対してカメラが移動しながら前記平面を観
測する場合も同様であるので、後者を例に取る。平面上
の点Pを考える。移動前のカメラの光学中心を座標系の
原点Oとするとき、P(x,y,z)は、平面 z = px + qy +r
ここで、p,qは平面の勾配を表し、rはｚ軸に沿った、O
から前記平面までの距離を表す。透視投影にて投影され
る場合、前記平面上の点Pを観測して得られる画像中の
点の座標が(X,Y)であるとき、光学系の焦点距離をfとす
ると、X=fx/z,Y=fy/zとなる。次に、撮像系の光学中心
をO'にTだけ平行移動して、前記光学中心O'の周りにRだ
け回転させた撮像系により、前記平面と同一の平面を観
測した場合を考える。移動後の座標系において、前記平
面上の点Pは、z' = p'x' + q'y' + r' と表せる。同様
に、光学系の焦点距離に変化がないとすれば、点P(x,y,
z)は、移動後の座標系においては、点P'(x',y',z')とす
ると、X'=fx'/z', Y'=fy'/z' と表せる。ここで、T =
(ａ,ｂ,ｃ)^t とすると、点Pと点P'には、次の関係が成
り立つ。

【００６５】

【数１】 また、以下の数２、数３の２式より、数４が導かれる。

【００６６】

【数２】

【００６７】

【数３】

【００６８】

【数４】 ここで、T_ij は以下で表される。但し、kは定数であ
る。

【００６９】

【数５】 画像中の対応点より回転行列、並進ベクトル、平面のパ
ラメータからなる9個の未知数を最小二乗法により算出
できる。但し、並進ベクトルは、平面迄の距離との比に
よる相対値が求まることになるので、自由度は８とな
る。 ４．モデル操作・画像表示（Ｓ２４） 図２のステップＳ２４の工程では、ステップＳ２３の工
程にて算出された運動情報に基づいて、例えば、予め計
算機内部に用意されたモデルやポインタ等の対象を座標
変換させる。

【００７０】これにより、入力画像として与える被写体
の動きに応じた前記対象の操作を行なう。例えば、手指
の動きに合わせて、計算機内部の３次元モデルの移動・
回転といった操作や、カーソルの移動等を行なう。

【００７１】本発明の応用例として、図１０に示すよう
に、バーチャル・モールといった仮想環境における、立
体モデルを用いたオンライン・ショッピングやアミュー
ズメント分野におけるゲームのキャラクタ操作といった
応用が可能となる。 ５．利用者認証（Ｓ３４） 図３は、前述した運動情報を用いることによって特定の
機器（例えば、利用者認証装置を装備したクライアント
機器、例えば、計算機や入出門管理システム、又は個
人、法人が管理・所有している飛行機、船舶、自動二輪
車、自転車、自動車といった移動体等）の利用者を認証
し、その特定の機器の利用を許可、又は不許可にするシ
ステムの処理手順を示すフローチャートである。

【００７２】図３におけるステップＳ２０〜Ｓ２３の処
理は、図２に示したステップＳ２０〜Ｓ２３の処理と同
一であるので、ここでは説明を割愛し、ステップＳ３４
以降に関しての処理手順を、図１１の装置構成図、及び
図１２の運動軌跡図を参照しながら説明する。

【００７３】尚、図３の処理に入る前に、特定の機器の
利用者は、事前に運動情報入力手段１０（図１に示し
た、撮像手段１、Ａ／Ｄ変換手段２、及びフレームメモ
リ３）を用いて、初期登録パターンとして運動情報を設
定登録しておく必要があり、この運動情報は運動情報記
憶手段１１に記憶格納される。

【００７４】まず、特定の機器を利用するに際して、図
３のステップＳ３４の工程では、被写体（例えば、手
指）を運動情報入力手段１０を用いて、運動情報を入力
する（図１２の左側の図）。その後、ステップＳ２３の
工程にて算出された運動情報と、運動情報記憶手段１１
に設定登録された初期登録パターン（初期の運動情報）
とを運動情報比較手段１２にて比較することにより、初
期登録パターン（初期の運動情報）と等しい運動情報が
入力されているか、若しくは初期登録パターンと異なる
運動情報が入力されているかを識別・判断する。

【００７５】これにより、ステップＳ３５にて、正規の
登録利用者と認められた場合には、ステップＳ３６にて
利用許可制御手段１３が特定の機器に対して利用を許可
する信号を送信し（図１２の右側の上段）、一方正規の
登録利用者以外の者による不正利用であると認められた
場合に、ステップＳ３７にて利用許可制御手段１３が特
定の機器に対して利用を不許可にする信号を送信する
（図１２の右側の下段）。

【００７６】これらの処理を経ることによって、運動情
報を一種の識別情報として利用することが可能となり、
例えば従来のように自動車の利用者が鍵を持つことから
開放される。

【００７７】次に図１３は、セキュリティーを管理する
サーバーと前述の特定の機器との間で、ネットワーク
（インターネット、携帯電話、無線通信）を介して所定
のデータをやり取りする一形態を示した図である。

【００７８】同図において、特定の機器の利用者が、事
前に運動情報入力手段１０（図１に示した、撮像手段
１、Ａ／Ｄ変換手段２、及びフレームメモリ３）を用い
て、初期登録パターン（初期の運動情報）を運動情報記
憶手段１１に設定登録しておき、その後、特定の機器の
利用者が特定の機器の使用に際して、手指等を使って運
動情報を入力し、その結果、利用許可制御手段１３が特
定の機器に対して利用許可／不許可の信号を送信する点
は前述の図１１を用いて説明したが、ここでは更に進ん
で、特定の機器（以下では、「自動車」を例に挙げ
る。）が盗難され、持ち去られた場合にも、その特定の
機器の位置情報を入手できるシステムを構築しており、
図１３、及び図１４を用いて、その動作を説明する。

【００７９】図１４のステップＳ４１では、自動車の利
用者が自動車の利用に際して、運動情報入力手段１０か
ら運動情報を入力し、運動情報比較手段１２での比較の
結果、その運動情報が、運動情報記憶手段１１に設定登
録された初期登録パターン（初期の運動情報）と異なる
か、又は同一であるかを求める。ステップＳ４２では、
運動情報記憶手段１１に設定登録された初期登録パター
ン（初期の運動情報）と異なると判断した場合、ステッ
プＳ４３で利用不許可制御手段１３は自動車に対して、
利用不許可信号を送信し、ステップＳ４４において自動
車のドアをロック、或いはエンジンスタータによる始動
不可とする信号を送信する。

【００８０】ステップＳ４５では、利用者認証装置の中
央制御手段１６は、通信手段１５、ネットワーク、及び
サーバーの通信手段２２を介して、利用不許可の信号を
発信したことを示す異常信号、及び利用者認証装置が取
り扱う自動車の識別番号（ＩＤ）を送信する。これと共
に、中央制御手段１６は、発・受信手段１４に発信電波
を出力する指令を送出する。

【００８１】ステップＳ４６では、その異常信号、識別
番号を受けて、サーバーは異常対応の処理を行う。具体
的には、サーバー側の受・発信手段２１は、利用者認証
装置側の発・受信手段１４から発信されている発信電波
を衛星手段を介して受信して、利用者認証装置が取り扱
う自動車の位置情報を検出する。

【００８２】これにより、自動車のドアがロックされた
まま、その自動車が持ち去られた場合であっても、自動
車の位置を把握することができるため、容易に自動車を
捜索することが可能となる。

【００８３】前述では、特定の機器を自動車とした例で
説明したが、自動車以外の場合としては、ステップＳ４
４のロックの代わりとして以下の処理を行うことが考え
られる。例えば、計算機の場合には、ログインできなく
したり、また、入出門管理装置等においては門扉を閉鎖
する処理を行うことが考えられるが、これ以外にも、特
定の機器の利用を不可能にする処理であれば、特には前
述の処理に限定されるものではない。

【００８４】更に、本発明は、利用者認証装置を装備し
たクライアント機器、例えば個人、法人が管理・所有し
ている飛行機、船舶、自動二輪車、自転車、貸金庫とい
ったものに適用することが可能である。

【００８５】更には、特定の機器が計算機の場合、一旦
ログインできなくなっても、サーバー側から、そのログ
インの状態を解除する信号をネットワークを介して送信
することができるようにしてもよい。

【００８６】

【発明の効果】以上の説明から明らかなように、本発明
によれば、１台のカメラで撮影されたモノクロ濃淡画像
からの３次元座標変換パラメータの入力と、その入力パ
ラメータに応じたモデルの操作が可能となる効果を奏す
る。

【００８７】例えば、入力画像より人さし指と親指を検
出し、追跡のための参照点を自動決定するため、特殊な
座標入力装置や装具を必要とせずに運動情報の入力がで
きる。

【００８８】また、特定の機器を利用する際に入力され
た運動情報と、予め設定登録された初期登録パターン
（初期の運動情報）とを比較することにより、異なるパ
ターンが検出された場合には、異常状態として検知する
ことにより、特定の機器の不正利用を防止することがで
きる。

【図面の簡単な説明】

【図１】本発明による動画像処理装置の概略構成図であ
る。

【図２】本発明による動画像処理方法を説明するための
手順を示す図である。

【図３】本発明による動画像処理方法を説明するための
手順を示す図である。

【図４】輪郭線上の特徴点を示す図である。

【図５】基本形状特徴の組み合わせによる特徴抽出を示
す図である。

【図６】開口問題を回避するためのセグメント及び参照
点の選択処理を示す図である。

【図７】参照点と、その参照点に対応する仮の対応点を
示す図である。

【図８】参照点がどの仮の参照点に対応していくかの遷
移を表したものである。

【図９】運動情報の算出する際の概念を示す図である。

【図１０】本発明の応用例を示す図である。

【図１１】本発明の利用者認証装置を示す図である。

【図１２】本発明の利用者認証装置に運動情報への入力
を示す図である。

【図１３】本発明のユーザ認証システムの構成を示す図
である。

【図１４】本発明のユーザ認証システムの処理手順を示
す図である。

【符号の説明】

１…撮像手段 ２…Ａ／Ｄ変換手段 ３…フレームメモリ ４…中央処理手段（ＣＰＵ） ５…メインメモリ ６…表示手段

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 7/18 Ｈ０４Ｎ 7/18 Ｋ Ｆターム(参考） 5B043 AA04 AA05 AA09 BA00 BA03 CA10 EA05 EA06 FA03 GA02 5C054 AA01 AA05 CA04 CC02 CH01 EB05 EH00 EJ00 FA00 FB01 FC13 FC14 FC16 FF07 HA05 HA15 HA18 HA26 5L096 AA03 BA04 BA08 BA18 CA04 DA05 FA06 FA08 FA09 FA12 GA13 GA32 HA04 HA07

Claims (31)

【特許請求の範囲】
1. 【請求項１】 時系列で異なる複数のフレームより得
   られる被写体の運動情報を用いて、特定の機器を利用す
   る際の利用者の認証を行うことを特徴とする動画像処理
   方法。
2. 【請求項２】 請求項１に記載の動画像処理方法におけ
   る前記被写体の運動情報の算出処理として、 前記時系列画像のフレームを処理して、時系列画像中に
   含まれる被写体の輪郭線形状特徴を抽出する第１の工程
   と、 前記形状特徴を用いて、前記フレーム中から参照点を検
   出する第２の工程と、及び前記参照点を時間的に追跡
   し、前記被写体の３次元空間中の運動情報を算出する第
   ３の工程と、を含むことを特徴とする動画像処理方法。
3. 【請求項３】 時系列画像中に含まれる被写体を、輪
   郭線形状特徴を用いてその動きを追跡する動画像処理方
   法において、 前記時系列画像のフレームを処理して、形状特徴を抽出
   する第１の工程と、 前記形状特徴を用いて、前記フレーム中から参照点を検
   出する第２の工程と、 前記参照点を時間的に追跡し、前記被写体の３次元空間
   中の運動情報を算出する第３の工程と、及び前記運動情
   報に基いて、予め用意された表示対象を操作する第４の
   工程と、を含むことを特徴とする動画像処理方法。
4. 【請求項４】 請求項２、３のいずれかに記載の動画
   像処理方法において、 前記第１の工程は、被写体の入力画像のエッジ情報に基
   づいて輪郭線を抽出し、前記エッジ情報に基づいてエッ
   ジ勾配の方向が急激に変化する屈曲点と、 前記輪郭線上の点における曲率の符号が反転し、かつ前
   記エッジ勾配の方向が緩やかに変化する変曲点と、及び
   前記輪郭線上の点の曲率が零から非零若しくは非零から
   零へ移行し、かつ前記エッジ勾配の方向が緩やかに変化
   する遷移点と、からなる特徴点を検出し、 該特徴点に基づいて前記輪郭線を直線と凹若しくは凸の
   曲線セグメントに分割し、同一フレーム中で得られるセ
   グメントを複数組み合わせることにより、前記被写体が
   投影された画像中より特定部位を検出することを特徴と
   する動画像処理方法。
5. 【請求項５】 請求項４に記載の動画像処理方法におい
   て、 前記被写体の投影された画像中より、前記検出された特
   定部位の輪郭線上に、追跡のための参照点を決定するこ
   とを特徴とする動画像処理方法。
6. 【請求項６】 請求項４又は５に記載の動画像処理方法
   において、 前記被写体の輪郭線を特徴点で区切られた複数のセグメ
   ントで形状特徴を表現することを特徴とする動画像処理
   方法。
7. 【請求項７】 請求項４〜６のいずれかに記載の動画像
   処理方法において、 前記セグメント上に対応点を追跡するための参照点を決
   定することを特徴とする動画像処理方法。
8. 【請求項８】 請求項３〜７のいずれかに記載の動画像
   処理方法において、 前記対応点を追跡するための参照点として、３次元空間
   中で同一平面上に位置する少なくとも４点以上の複数点
   を初期フレームにおける画像中より選択し、追跡対象と
   する前記初期フレームと時系列で異なるフレームより前
   記各参照点に対応する対応点を検出することを特徴とす
   る動画像処理方法。
9. 【請求項９】 請求項８に記載の動画像処理方法におい
   て、 時系列で異なる複数のフレームより得られる複数の追跡
   参照点及び対応点より、前記参照点及び対応点の対が３
   次元空間中の同一平面上に位置すると３次元空間中の平
   面の有限運動仮定より、該平面の３次元空間中での運動
   情報を算出し、前記算出された運動情報を用いて、予め
   用意されたモデルやポインタの操作をすることを特徴と
   する動画像処理方法。
10. 【請求項１０】 請求項１、２のいずれかに記載の動画
    像処理方法において、 利用者は前記特定の機器の利用に際して、運動情報入力
    手段から運動情報を入力し、その運動情報と事前に入力
    された初期登録パターンとを運動情報比較手段にて比較
    し、前記運動情報が前記初期登録パターンと異なると判
    断された場合、利用許可制御手段は前記特定の機器の利
    用を不許可とする信号を前記特定の機器に送信すること
    を特徴とする動画像処理方法。
11. 【請求項１１】 時系列で異なる複数のフレームより得
    られる被写体の運動情報を用いて、特定の機器を利用す
    る際の利用者の認証を行うことを特徴とする動画像処理
    装置。
12. 【請求項１２】 請求項１１に記載の動画像処理装置
    における前記被写体の運動情報の算出処理として、 前記時系列画像のフレームを処理して、時系列画像中に
    含まれる被写体の輪郭線形状特徴を抽出する手段と、 前記形状特徴を用いて、前記フレーム中から参照点を検
    出する手段と、及び前記参照点を時間的に追跡し、前記
    被写体の３次元空間中の運動情報を算出する手段と、を
    含むことを特徴とする動画像処理装置。
13. 【請求項１３】 時系列画像中に含まれる被写体を、
    輪郭線形状特徴を用いてその動きを追跡する動画像処理
    装置において、 前記時系列画像のフレームを処理して、形状特徴を抽出
    する手段と、 前記形状特徴を用いて、前記フレーム中から参照点を検
    出する手段と、 前記参照点を時間的に追跡し、前記被写体の３次元空間
    中の運動情報を算出する手段と、及び前記運動情報に基
    いて、予め用意された表示対象を操作する手段と、 を含むことを特徴とする動画像処理装置。
14. 【請求項１４】 請求項１３記載の動画像処理装置に
    おいて、 前記形状特徴を抽出する手段は、被写体の入力画像のエ
    ッジ情報に基づいて輪郭線を抽出し、前記エッジ情報に
    基づいてエッジ勾配の方向が急激に変化する屈曲点と、 前記輪郭線上の点における曲率の符号が反転し、かつ前
    記エッジ勾配の方向が緩やかに変化する変曲点と、及び
    前記輪郭線上の点の曲率が零から非零若しくは非零から
    零へ移行し、かつ前記エッジ勾配の方向が緩やかに変化
    する遷移点と、からなる特徴点を検出し、 該特徴点に基づいて前記輪郭線を直線と凹若しくは凸の
    曲線セグメントに分割し、同一フレーム中で得られるセ
    グメントを複数組み合わせることにより、前記被写体が
    投影された画像中より特定部位を検出することを特徴と
    する動画像処理装置。
15. 【請求項１５】 請求項１３又は１４に記載の動画像処
    理装置において、 前記被写体の投影された画像中より、前記検出された特
    定部位の輪郭線上に、追跡のための参照点を決定するこ
    とを特徴とする動画像処理装置。
16. 【請求項１６】 請求項１４又は１５に記載の動画像処
    理装置において、 前記被写体の輪郭線を特徴点で区切られた複数のセグメ
    ントで形状特徴を表現することを特徴とする動画像処理
    装置。
17. 【請求項１７】 請求項１４〜１６のいずれかに記載の
    動画像処理装置において、 前記セグメント上に対応点を追跡するための参照点を決
    定することを特徴とする動画像処理装置。
18. 【請求項１８】 請求項１３〜１７のいずれかに記載の
    動画像処理装置において、 前記対応点を追跡するための参照点（適宜「追跡参照
    点」という。）として、３次元空間中で同一平面上に位
    置する少なくとも４点以上の複数点を初期フレームにお
    ける画像中より選択し、追跡対象とする前記初期フレー
    ムと時系列で異なるフレームより前記各参照点に対応す
    る対応点を検出することを特徴とする動画像処理装置。
19. 【請求項１９】 請求項１３に記載の動画像処理装置に
    おいて、 時系列で異なる複数のフレームより得られる複数の追跡
    参照点及び対応点より、前記参照点及び対応点の対が３
    次元空間中の同一平面上に位置すると３次元空間中の平
    面の有限運動仮定より、該平面の３次元空間中での運動
    情報を算出し、前記算出された運動情報を用いて、予め
    用意されたモデルやポインタの操作をすることを特徴と
    する動画像処理装置。
20. 【請求項２０】 請求項１１、１２のいずれかに記載の
    動画像処理装置において、 運動情報を入力する運動情報入力手段と、 該運動情報入力手段から運動情報を入力し、その運動情
    報と事前に入力された初期登録パターンとを比較する運
    動情報比較手段と、 該運動情報比較手段での比較の結果、前記運動情報が前
    記初期登録パターンと異なると判断された場合、前記特
    定の機器の利用を不許可とする信号を前記特定の機器に
    送信する利用許可制御手段と、を備えることを特徴とす
    る動画像処理装置。
21. 【請求項２１】 時系列画像中に含まれる被写体を、
    輪郭線形状特徴を用いてその動きを追跡するプログラム
    を記録する情報処理装置で読み取り可能な媒体であっ
    て、前記プログラムは情報処理装置に対して、 前記時系列画像のフレームを処理して、形状特徴を抽出
    し、 前記形状特徴を用いて、前記フレーム中から参照点を検
    出し、 前記参照点を時間的に追跡し、前記被写体の３次元空間
    中の運動情報を算出し、及び前記運動情報に基いて、予
    め用意された表示対象を操作する、 ことを含むことを特徴とする媒体。
22. 【請求項２２】 請求項２１記載の媒体において、 前記形状特徴を抽出する工程は、被写体の入力画像のエ
    ッジ情報に基づいて輪郭線を抽出し、前記エッジ情報に
    基づいてエッジ勾配の方向が急激に変化する屈曲点と、 前記輪郭線上の点における曲率の符号が反転し、かつ前
    記エッジ勾配の方向が緩やかに変化する変曲点と、及び
    前記輪郭線上の点の曲率が零から非零若しくは非零から
    零へ移行し、かつ前記エッジ勾配の方向が緩やかに変化
    する遷移点と、からなる特徴点を検出し、 該特徴点に基づいて前記輪郭線を直線と凹若しくは凸の
    曲線セグメントに分割し、同一フレーム中で得られるセ
    グメントを複数組み合わせることにより、前記被写体が
    投影された画像中より特定部位を検出することを特徴と
    する媒体。
23. 【請求項２３】 請求項２１又は２２に記載の媒体にお
    いて、 前記被写体の投影された画像中より、前記検出された特
    定部位の輪郭線上に、追跡のための参照点を決定するこ
    とを特徴とする媒体。
24. 【請求項２４】 請求項２２又は２３に記載の媒体にお
    いて、 前記被写体の輪郭線を特徴点で区切られた複数のセグメ
    ントで形状特徴を表現することを特徴とする媒体。
25. 【請求項２５】 請求項２２〜２４のいずれかに記載の
    媒体において、 前記セグメント上に対応点を追跡するための参照点を決
    定することを特徴とする媒体。
26. 【請求項２６】 請求項２１〜２５のいずれかに記載の
    媒体において、 前記対応点を追跡するための参照点として、３次元空間
    中で同一平面上に位置する少なくとも４点以上の複数点
    を初期フレームにおける画像中より選択し、追跡対象と
    する前記初期フレームと時系列で異なるフレームより前
    記各参照点に対応する対応点を検出することを特徴とす
    る媒体。
27. 【請求項２７】 請求項２６に記載の媒体において、 時系列で異なる複数のフレームより得られる複数の追跡
    参照点及び対応点より、前記参照点及び対応点の対が３
    次元空間中の同一平面上に位置すると３次元空間中の平
    面の有限運動仮定より、該平面の３次元空間中での運動
    情報を算出し、前記算出された運動情報を用いて、予め
    用意されたモデルやポインタの操作をすることを特徴と
    する媒体。
28. 【請求項２８】 時系列で異なる複数のフレームより得
    られる被写体の運動情報を用いて、特定の機器を利用す
    る際の利用者の認証を行う処理手順を格納することを特
    徴とする媒体。
29. 【請求項２９】 時系列で異なる複数のフレームより得
    られる被写体の運動情報を用いて特定の機器の利用を許
    可、或いは不許可とするユーザ認証システムにおいて、 前記特定の機器の利用者認証装置は、初期の運動情報か
    らなる初期登録パターンと、前記特定の機器の利用に際
    して入力された被写体の運動情報とを比較することによ
    って、前記特定の機器を操作する利用者の認証を行い、
    その比較の結果、不正利用と判断された場合には、前記
    特定の機器の利用を許可させず、一方不正利用でないと
    判断された場合には、前記特定の機器の利用を許可させ
    ることを特徴とするユーザ認証システム。
30. 【請求項３０】 請求項２９に記載のユーザ認証システ
    ムにおいて、 前記特定の機器の利用者認証装置は、利用者が前記特定
    の機器の利用に際して、運動情報を入力する運動情報入
    力手段と、前記特定の機器の利用許可、或いは不許可と
    する利用許可制御手段と、前記特定の機器の利用に際し
    て利用者から入力された運動情報と事前に入力された初
    期登録パターンとを比較する運動情報比較手段と、及び
    前記利用許可制御手段によって前記特定の機器の利用を
    不許可とする場合に電波を発信する発信手段と、を備え
    ると共に、前記利用者認証装置はネットワークを介して
    サーバーに接続され、一方該サーバーは前記発信手段か
    ら発信された電波を受信する受信手段を備え、 前記利用者が前記特定の機器の利用に際して、前記運動
    情報入力手段から運動情報を入力し、その運動情報と前
    記運動情報記憶手段に設定登録された初期登録パターン
    とを運動情報比較手段にて比較し、前記運動情報が前記
    運動情報記憶手段に設定登録された初期登録パターンと
    異なる場合には、前記利用許可制御手段は前記特定の機
    器に対して、利用不許可信号を送信し、前記サーバー側
    の受信手段は前記発信手段から発信された電波を受信し
    て前記特定の機器の位置情報を取得することを特徴とす
    るユーザ認証システム。
31. 【請求項３１】 請求項３０に記載のユーザ認証システ
    ムにおいて、 前記利用許可制御手段が前記特定の機器に対して、利用
    不許可信号を送信した後、利用者認証装置は前記サーバ
    ーに対して、前記特定の機器を不正利用しようとしてい
    る異常信号を送信し、前記サーバーは該信号を受信する
    ことによって、前記サーバー側の受信手段が、前記発信
    手段から発信された電波を受信し始めることを特徴とす
    るユーザ認証システム。