JPH10214152A

JPH10214152A - 情報機器及び情報機器における軌跡情報処理方法

Info

Publication number: JPH10214152A
Application number: JP2829397A
Authority: JP
Inventors: Shigeki Mori; 重樹森
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1997-01-29
Filing date: 1997-01-29
Publication date: 1998-08-11

Abstract

(57)【要約】【課題】特定の画面を他者と共有しながらジェスチャ
コマンドを操作する際に、他者に何等さとられることな
く、当該画面に対応した付帯情報を記録すること等を可
能とした情報機器及び情報機器における軌跡情報処理方
法を提供する。【解決手段】座標入力装置１０１から入力された軌跡
情報がジェスチャコマンドか否かの識別、ジェスチャコ
マンドの実行、表示制御等を行う制御装置１０２と、ジ
ェスチャコマンドの種類を認識するジェスチャ種類認識
手段１０３と、ページ単位に画面を表示する表示出力手
段１０５と、ジェスチャ位置情報検出手段１０９で検出
した位置関係情報に基づきランク情報を認識するランク
情報認識手段１０８と、ランク情報をジェスチャコマン
ドが入力されたページ画面に対応させてページ情報記録
ファイル１０６に記録するランク情報記録手段１１０と
を備える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、情報処理装置及び
情報機器における軌跡情報処理方法に係り、更に詳しく
は、ペン装置やマウス装置等のポインティングデバイス
により入力された座標軌跡情報に基づきコマンドを発行
できる情報処理装置及び情報機器における軌跡情報処理
方法に関する。

【０００２】

【従来の技術】従来、ペン装置やマウス装置等のポイン
ティングデバイスにより入力した座標軌跡情報に基づき
情報機器を操作する方法としては、ジェスチャ（ｇｅｓ
ｔｕｒｅ）或いはジェスチャコマンド（ｇｅｓｔｕｒｅ
ｃｏｍｍａｎｄ）と称されるコマンド入力方法が広く
知られている。

【０００３】上述したジェスチャは、操作者によるポイ
ンティングデバイスの操作に基づき得られる軌跡情報の
形状、位置、方向、入力回数等を認識することで、コマ
ンドの対象となるオブジェクト、及びコマンドの種類、
付随パラメータ等を同時に識別し、情報機器に対して操
作を行うコマンド入力方法である。

【０００４】この場合、ジェスチャとなる軌跡形状とし
て、例えばＪＩＳで規定されているような校正記号、或
いは通常のメモ筆記の際に訂正削除するための“×”マ
ークのような、操作者に対してその操作の意味を容易に
理解できるような形状を割り当て、また、対象となるオ
ブジェクトも明確に表示することで、初めて情報機器に
接する者でも操作ができるという大きな特徴がある。

【０００５】また、表示装置や座標入力装置を一体化
し、情報機器に対する全ての操作をジェスチャで行う仕
組みを用意することで、従来から用いられているキーボ
ードやマウスを必要としない携帯型の情報機器にも、ジ
ェスチャによるコマンド入力方法は適しているという特
徴もある。

【０００６】従って、例えば営業職にある者が顧客を訪
問した際に、携帯型の情報機器を用いてペン入力による
メモ入力を行いながら、セールス情報等の操作を行った
り、表示画面に所定の表示を行わせたりする対面業務等
には特に多く用いられている。

【０００７】

【発明が解決しようとする課題】しかしながら、上述し
た従来技術においては下記のような問題があった。即
ち、上述したジェスチャによるコマンド入力方法を用い
て、例えば携帯型の情報機器を対面業務等に使用する場
合、顧客に対して表示画面を見せながら同時にジェスチ
ャによる操作を行う必要がある。このため、表示画面の
切り替えを行う際などは、顧客には見せたくない情報と
顧客に見せたい情報とを、異なるジェスチャによって区
別しながら切り替えていたのでは、ジェスチャが異なる
ために顧客に不自然さを感じさせることがあったり、ま
た、操作担当者が、操作を行いながら顧客には見せたく
ない例えば顧客ランク情報等を入力することも行いづら
いという、対面業務の操作時における欠点があった。

【０００８】本発明は、上述した点に鑑みなされたもの
であり、特定の画面を他者と共有しながらジェスチャコ
マンドを操作する際に、他者に何等さとられることな
く、当該画面に対応した付帯情報を記録すること等を可
能とした情報機器及び情報機器における軌跡情報処理方
法を提供することを目的とする。

【０００９】

【課題を解決するための手段】上記目的を達成するた
め、請求項１の発明は、軌跡情報による情報入力が可能
な情報機器において、ページ単位に画面を表示する表示
手段と、入力された軌跡情報がジェスチャコマンドの場
合にその種類を認識する第１の認識手段と、ジェスチャ
コマンドの特徴情報を認識する第２の認識手段と、前記
特徴情報をジェスチャコマンドが入力されたページ画面
に対応させて記録手段に記録する記録制御手段とを具備
することを特徴とする。

【００１０】上記目的を達成するため、請求項２の発明
は、入力された軌跡情報がジェスチャコマンドであるか
否かを識別する識別手段と、ジェスチャコマンドを実行
する実行手段とを具備することを特徴とする。

【００１１】上記目的を達成するため、請求項３の発明
は、予め複数のページ画面が記録された記録手段から前
記特徴情報に対応したページ画面を検索して前記表示手
段に表示させる表示制御手段を具備することを特徴とす
る。

【００１２】上記目的を達成するため、請求項４の発明
は、予め複数のページ画面が記録された記録手段から前
記特徴情報と同一の特徴情報を対応して持つページ画面
を検索して前記表示手段に表示させる表示制御手段を具
備することを特徴とする。

【００１３】上記目的を達成するため、請求項５の発明
は、前記第２の認識手段は、ジェスチャコマンドのスト
ロークの始点及び終点の位置座標差に基づき特徴情報を
認識することを特徴とする。

【００１４】上記目的を達成するため、請求項６の発明
は、前記第２の認識手段は、ジェスチャコマンドのスト
ロークの特徴となる点の位置座標差に基づき特徴情報を
認識することを特徴とする。

【００１５】上記目的を達成するため、請求項７の発明
は、前記第２の認識手段は、ジェスチャコマンドのスト
ロークの筆記速度或いは筆記速度変化に基づき特徴情報
を認識することを特徴とする。

【００１６】上記目的を達成するため、請求項８の発明
は、前記第２の認識手段は、当該ジェスチャコマンドの
前後に入力された他のジェスチャコマンドとの組み合わ
せ種類に基づき特徴情報を認識することを特徴とする。

【００１７】上記目的を達成するため、請求項９の発明
は、軌跡情報による情報入力が可能な情報機器における
軌跡情報処理方法において、ページ単位に画面を表示す
る表示ステップと、入力された軌跡情報がジェスチャコ
マンドの場合にその種類を認識する第１の認識ステップ
と、ジェスチャコマンドの特徴情報を認識する第２の認
識ステップと、前記特徴情報をジェスチャコマンドが入
力されたページ画面に対応させて記録する記録制御ステ
ップとを有することを特徴とする。

【００１８】上記目的を達成するため、請求項１０の発
明は、入力された軌跡情報がジェスチャコマンドである
か否かを識別する識別ステップと、ジェスチャコマンド
を実行する実行ステップとを有することを特徴とする。

【００１９】上記目的を達成するため、請求項１１の発
明は、予め記録された複数のページ画面から前記特徴情
報に対応したページ画面を検索して表示させる表示制御
ステップを有することを特徴とする。

【００２０】上記目的を達成するため、請求項１２の発
明は、予め記録された複数のページ画面から前記特徴情
報と同一の特徴情報を対応して持つページ画面を検索し
て表示させる表示制御ステップを有することを特徴とす
る。

【００２１】上記目的を達成するため、請求項１３の発
明は、前記第２の認識ステップでは、ジェスチャコマン
ドのストロークの始点及び終点の位置座標差に基づき特
徴情報を認識することを特徴とする。

【００２２】上記目的を達成するため、請求項１４の発
明は、前記第２の認識ステップでは、ジェスチャコマン
ドのストロークの特徴となる点の位置座標差に基づき特
徴情報を認識することを特徴とする。

【００２３】上記目的を達成するため、請求項１５の発
明は、前記第２の認識ステップでは、ジェスチャコマン
ドのストロークの筆記速度或いは筆記速度変化に基づき
特徴情報を認識することを特徴とする。

【００２４】上記目的を達成するため、請求項１６の発
明は、前記第２の認識ステップでは、当該ジェスチャコ
マンドの前後に入力された他のジェスチャコマンドとの
組み合わせ種類に基づき特徴情報を認識することを特徴
とする。

【００２５】

【発明の実施の形態】以下、本発明の実施の形態を図面
を参照して説明する。

【００２６】［１］第１の実施の形態図１は第１の実施の形態に係る情報機器の内部構成を示
すブロック図である。第１の実施の形態に係る情報機器
は、座標入力装置１０１と、制御装置１０２と、ジェス
チャ種類認識手段１０３と、ジェスチャコマンド辞書１
０４と、表示出力手段１０５と、ページ情報記録ファイ
ル１０６と、ページ画面切替・格納手段１０７と、ラン
ク情報認識手段１０８と、ジェスチャ位置情報検出手段
１０９と、ランク情報記録手段１１０と、ランク別ペー
ジ呼出手段１１１とを備える構成となっている。

【００２７】上記各部の構成を詳述すると、座標入力装
置１０１は、例えばディジタイザ等から構成されてお
り、操作者により入力された入力エリア上の座標軌跡情
報を検出して制御装置１０２へ入力する。制御装置１０
２は、情報機器の全般を制御する。ジェスチャ種類認識
手段１０３は、座標入力装置１０１から入力されたジェ
スチャの種類をジェスチャコマンド辞書１０４に基づき
認識する。

【００２８】ジェスチャコマンド辞書１０４は、ジェス
チャ種類認識手段１０３によるジェスチャ種類認識時に
参照されるものであり、種々のジェスチャコマンドを格
納している。表示出力手段１０５は、制御装置１０２の
制御に基づきページ単位に画面を表示する。ページ情報
記録ファイル１０６は、表示出力手段１０５で表示を行
うページ情報及び後述のランク情報を記録する。ページ
画面切替・格納手段１０７は、画面のページを次のペー
ジに進めるページ画面切替を行うと共にページ画面切替
情報を格納する。

【００２９】ランク情報認識手段１０８は、入力された
ジェスチャ情報からランク情報を認識する。ジェスチャ
位置情報検出手段１０９は、ランク情報認識手段１０８
による認識処理に利用されるジェスチャ位置情報を検出
する。ランク情報記録手段１１０は、ランク情報をペー
ジ情報記録ファイル１０６に記録する。ランク別ページ
呼出手段１１１は、ページ情報記録ファイル１０６から
ランク別にページ情報を呼出す。

【００３０】図２は第１の実施の形態に係る情報機器に
おいてジェスチャ入力が行われた場合の動作の流れを示
すフローチャートである。ここでは、動作の流れの大要
について説明し、動作の流れの詳細な具体例については
後述する。

【００３１】先ず、操作者により座標入力装置１０１を
介して軌跡情報の入力が開始されると（ステップＳ２０
１）、座標入力装置１０１は、入力された軌跡情報を制
御装置１０２へ送出する。制御装置１０２は、座標入力
装置１０１における入力エリア等から判断して、上記ス
テップＳ２０１で入力された軌跡情報がジェスチャ入力
であるか否かを判定する（ステップＳ２０２）。入力さ
れた軌跡情報がジェスチャ入力でないと判定された場合
は、各種処理からなる軌跡処理を行う（ステップＳ２１
０）。軌跡処理は本発明とは直接関係ないので、本実施
の形態では軌跡処理の詳細説明は省略する。

【００３２】他方、上記ステップＳ２０１で入力された
軌跡情報がジェスチャ入力であると判定された場合は、
ジェスチャ種類認識手段１０３は、ジェスチャの種類を
認識し識別する（ステップＳ２０３）。制御装置１０１
は、上記ステップＳ２０３で識別されたジェスチャがペ
ージ切替を含む処理であるか否かを判定する（ステップ
Ｓ２０４）。識別されたジェスチャがページ切替を含む
処理でないと判定された場合は、ジェスチャ処理動作を
行う（ステップＳ２１１）。この後、ステップＳ２０９
の処理へ移行する。

【００３３】他方、上記ステップＳ２０３で識別された
ジェスチャがページ切替を含む処理であると判定された
場合は、ジェスチャ位置情報検出手段１０９は、ジェス
チャの入力された開始点座標、終了点座標の位置関係情
報を検出する（ステップＳ２０５）。ランク情報認識手
段１０８は、上記ステップＳ２０５で検出された位置関
係情報に基づき、ランク情報を認識し決定する（ステッ
プＳ２０６）。

【００３４】ランク情報記録手段１１０は、上記ステッ
プＳ２０６で決定されたランク情報をページ情報記録フ
ァイル１０６に記録する（ステップＳ２０７）。制御装
置１０２は、表示出力手段１０５に表示されているペー
ジ画面を次のページ画面に切替える（ステップＳ２０
８）。上記各ステップによりジェスチャ軌跡入力処理が
終了する（ステップＳ２０９）。

【００３５】図３乃至図６は第１の実施の形態に係る情
報機器の表示出力手段１０５における入出力一体型とな
った表示画面を示す図である。

【００３６】図３は商品カタログの商品Ｅを説明するた
めの表示画面であり、商品を売り込む目的で情報機器を
操作する担当者と、当該商品ジャンルに興味を持つ顧客
とが表示画面を共有している状況にある。図中３０１は
表示画面、３０２は「商品カタログ」を示す表示文字、
３０３は「商品」を示す図柄、３０４は「商品Ｅ」を示
す表示文字、３０５は「商品説明」、３０６は「定価」
を示す表示数字、３０７はペン装置、３０８はペン装置
３０７による矢印状のジェスチャである。

【００３７】図示例では、今、ペン装置３０７によって
カタログのページをめくるジェスチャ操作の入力が終了
した時点を示している。

【００３８】図４は上記図３と同様に商品カタログの商
品Ｆを説明するための表示画面である。図中４０１は表
示画面、４０２は「商品カタログ」を示す表示文字、４
０３は「商品」を示す図柄、４０４は「商品Ｆ」を示す
表示文字、４０５は「商品説明」、４０６は「定価」を
示す表示数字、４０７はペン装置、４０８はペン装置４
０７による矢印状のジェスチャである。

【００３９】図５は任意の特定操作により、過去に表示
したカタログのページをレベル情報に基づいて検索し、
再表示を行わせる画面呼出モードを示す表示画面であ
る。図中５０１は表示画面、５０２は「画面呼出モー
ド」を示す表示文字、５０３は「レベルＡ」を示す操作
ボタン、５０４は「レベルＢ」を示す操作ボタン、５０
５は「レベルＣ」を示す操作ボタン、５０６、５０７、
５０８は操作ボタン５０３、５０４、５０５にそれぞれ
対応したページ数を示す表示文字である。

【００４０】図６は上記図５の画面呼出モードによる操
作に基づき呼び出された表示画面である。図示例では、
上記図３と同様に「商品カタログ」を示す表示文字、
「商品」を示す図柄、「商品Ｅ」を示す表示文字、「商
品説明」、「定価」を示す表示数字を各々表示した状態
を示している。

【００４１】図７は上記図３におけるジェスチャの軌跡
を示したものであり、ジェスチャの第１ストローク軌跡
の始点と終点のＹ軸方向の高さ関係を説明するための図
である。図中７０１は矢印状のジェスチャの第１ストロ
ーク、７０２は矢印、７０３は始点である座標点、７０
４は終点である座標点、７０５、７０６はＸ軸に平行な
直線、７０７はＹ軸方向のプラス方向の差分である。

【００４２】図８は上記図４におけるジェスチャの軌跡
を示したものであり、ジェスチャの第１ストローク軌跡
の始点と終点のＹ軸方向の高さ関係を説明するための図
である。図中８０１は矢印状のジェスチャの第１ストロ
ーク、８０２は矢印、８０３は始点である座標点、８０
４は終点である座標点、８０５、８０６はＸ軸に平行な
直線、８０７はＹ軸方向のマイナス方向の差分である。

【００４３】図９はジェスチャを構成するストロークの
始点から終点までのＹ軸方向変化量とランクとの関係を
示す図である。Ｙ軸方向変化量ΔＹがΔＹ≧２０単位な
る範囲にある場合はランクＡ、Ｙ軸方向変化量ΔＹが２
０単位＞ΔＹ＞−２０単位なる範囲にある場合はランク
Ｂ、Ｙ軸方向変化量ΔＹが−２０単位≧ΔＹなる範囲に
ある場合はランクＣであることを示している。

【００４４】次に、上記のごとく構成してなる第１の実
施の形態に係る情報機器を使用して例えば商品の売り込
みを行う場合について、図１乃至図９を参照して詳細に
説明する。

【００４５】今、情報機器は、商品を売り込む目的で情
報機器を操作する担当者と、当該商品ジャンルに興味を
持つ顧客の二者により、表示出力手段１０５の表示画面
が共有されている状況にあるものとする。

【００４６】即ち、情報機器の表示出力手段１０５に
は、例えば図３の表示画面に示すように、商品カタログ
画面のうち商品Ｅに関するページが表示されており、売
り込み担当者は、口頭による説明など可能な手段を用い
て商品の説明を行うと同時に、当該説明に対する顧客の
反応を観察している状態にある。更に、図３の表示画面
においては、商品Ｅについての一通りの説明が終了し、
商品カタログの次のページに移動するための矢印状のジ
ェスチャ３０８が入力されている。

【００４７】この時、図２においては、ステップＳ２０
１で、軌跡入力開始のエントリより実行が開始されるこ
とになる。ステップＳ２０２では、当該ジェスチャが入
力された画面モード或いはジェスチャ位置より、ジェス
チャであることが判定された場合（ステップＳ２０２の
答が肯定の場合）は、ステップＳ２０３で、ジェスチャ
の認識が行われる。

【００４８】この場合、ジェスチャコマンド辞書１０４
とのパターンマッチング処理等により、上記図３の表示
画面におけるジェスチャを座標系で表した図７のジェス
チャは、カタログ画面のページを次のページに進めるジ
ェスチャであると識別されることになる。

【００４９】次に、ステップＳ２０４では、ページ切替
を含む処理であるか否かが判定される。図７のジェスチ
ャはページ送りを示すジェスチャであるため（ステップ
Ｓ２０４の答が肯定の場合）、後述するステップＳ２０
５へ移行する。

【００５０】この時、情報機器を操作する担当者は、顧
客の商品説明に対する反応から、当該商品に顧客が非常
に興味を持っていると判断し、図７に示す矢印状のジェ
スチャの第１ストローク７０１について、始点である座
標点７０３より終点である座標点７０４を、座標入力装
置１０１におけるＹ軸座標において、例えば２０単位以
上の大きい単位でＹ軸方向のプラス方向の差分７０７を
付け、終了させている。

【００５１】この場合、Ｙ軸方向にとられる差分の量
は、ジェスチャ種類認識手段１０３においてジェスチャ
の種類判断を誤らせることなく、同時に、担当者の意思
に基づくランク情報による分類が容易な量とすることが
必要となるのは言うまでもない。

【００５２】また、ランク情報を識別するための情報と
して、ジェスチャを構成するストロークの始点、終点に
おけるＹ軸方向の位置関係を例に上げて説明している
が、ランク情報を識別するための情報は、ジェスチャを
構成するストロークの始点、終点に限定されず、特徴点
となる点におけるＸ軸方向、Ｙ軸方向、或いはこれらを
組み合わせた位置関係としてもよい。

【００５３】次に、ステップＳ２０５では、ジェスチャ
位置情報検出手段１０９により、ジェスチャの始点７０
３と終点７０４におけるＹ軸方向のプラス方向の差分７
０７を検出する。ステップＳ２０６では、図９に示す差
分の量（Ｙ軸方向変化量）と対応するランクのテーブル
（図示略）を参照し、本例では上述したようにＹ軸方向
変化量を２０単位以上としていることから、ランクＡを
抽出する。

【００５４】ステップＳ２０７では、上記ステップＳ２
０６で抽出したランク情報（ランクＡ）をページ情報記
録ファイル１０６に記録する処理が行われる。ページ情
報記録ファイル１０６においては、図３及び図４におけ
るカタログ情報の各ページに関する情報及び各ページに
付帯する属性情報等も記録するエリアを有しており、ラ
ンク情報も当該ページに対応し付帯する属性情報として
記録される。

【００５５】ステップＳ２０８では、上記ステップＳ２
０３で識別されたページの送り動作が実行され、表示出
力手段１０５には図４に示すような商品Ｆのカタログ画
面が表示される。これにより、ステップＳ２０９で、軌
跡入力に対する処理が終了する。

【００５６】上記ステップＳ２０２で、入力された軌跡
がジェスチャでないと判定された場合（ステップＳ２０
２の答が否定の場合）は、ステップＳ２１０で、軌跡に
よるメモ入力、文字認識、或いはボタンタッチ等、状況
に応じた軌跡に対する処理が行われる。

【００５７】上記ステップＳ２０４で、入力されたジェ
スチャがページ切替処理を含まないと判定された場合
（ステップＳ２０４の答が否定の場合）は、ステップＳ
２１１で、各ジェスチャに対応した動作、処理が行われ
る。

【００５８】以下同様に、商品カタログ画面のうち商品
Ｆに関するページが表示されている図４の表示画面にお
いても、情報機器を操作する担当者による商品説明が行
われ、顧客の反応から、当該商品には全く興味が無いも
のと判断した場合は、図４の表示画面においては、当該
図４の表示画面におけるジェスチャを座標系で表した図
８の矢印状のジェスチャにより、次のページへ送る操作
が実行される。

【００５９】この時、図８のジェスチャは、上記図７の
場合とは異なり、矢印状のジェスチャの第１ストローク
８０１の始点８０３に比較して終点８０４のＹ軸方向の
差分８０７が、座標入力装置１０１の単位において負の
方向に例えば２０単位以上の量となり、結果として、ペ
ージ情報記録ファイル１０６においては、図４の表示画
面の付帯情報としてランクＣが記録されている。

【００６０】尚、第１の実施の形態では、各ページに関
する表示情報等の各種情報と各ページに付帯する属性情
報とを、単一のファイルであるページ情報記録ファイル
１０６に記録させているが、上述したランク情報等の付
帯情報を別ファイルに記録し、各ページ情報との対応付
けを行ってもよい。

【００６１】このように、情報機器を操作する担当者に
よる商品のカタログによる説明が一通り終了した後、商
品を売り込もうとする担当者にとっては、繰り返し最後
の一押しを行うことによって商品の売り込みを成功させ
ることは非常に有益な行為となる。

【００６２】第１の実施の形態においては、商品のカタ
ログによる説明が終了した時点では、顧客にさとられる
ことなく、各商品に対応する顧客の反応がランク情報と
いう形で記録されていることになる。即ち、図５の表示
画面に示すような通常の検索機能に加え、ランク情報に
ついての検索、画面呼出操作を行う機能を用意すること
で、ランク別に呼出すことは容易である。

【００６３】今、図５の表示画面では、それぞれレベル
（ランク）Ａ、レベル（ランク）Ｂ、レベル（ランク）
Ｃに対応したカタログの個別商品ページ画面を呼出す操
作ボタン５０３、５０４、５０５が用意され、同時に、
それぞれのランクに対応した個別商品の数５０６、５０
７、５０８が表示されている。図５の表示画面におい
て、ペン装置５０９を用いて、例えばレベル（ランク）
Ａと記録された商品カタログのページを呼出す操作ボタ
ン５０３を操作することにより、図６に示すごとく顧客
が非常に興味を持った商品Ｅのカタログを再び表示する
ことが可能である。

【００６４】この時、情報機器を操作する担当者によっ
て、特に商品Ｅに関しての特別な売り込み文句を口上す
ることで、商品Ｅをあたかも特別な商品であるかのよう
な印象を顧客に与えることができ、これにより、商品Ｅ
の売り込みが成功する確率を大きくすることが可能であ
る。

【００６５】また、商品Ｅの売り込みに失敗した場合で
も、次に顧客が興味を持ったと思われるレベル（ラン
ク）Ｂの商品を即座に表示させ、再び売り込みを開始す
ることで、最終的に商談を成功させる可能性は大きくな
ると考えられる。

【００６６】上述したように、第１の実施の形態によれ
ば、情報機器は、座標入力装置１０１から入力された軌
跡情報がジェスチャコマンドか否かの識別、ジェスチャ
コマンドの実行、表示制御等を行う制御装置１０２と、
ジェスチャコマンドの種類を認識するジェスチャ種類認
識手段１０３と、ページ単位に画面を表示する表示出力
手段１０５と、ページ情報及びランク情報を記録するペ
ージ情報記録ファイル１０６と、ジェスチャ位置情報検
出手段１０９で検出した位置関係情報に基づきランク情
報を認識するランク情報認識手段１０８と、ランク情報
をジェスチャコマンドが入力されたページ画面に対応さ
せてページ情報記録ファイル１０６に記録するランク情
報記録手段１１０とを具備しているため、情報機器の操
作者が、表示出力手段１０５の表示画面に表示した例え
ば商品カタログのようなページをジェスチャによりペー
ジ送りする際に、顧客から不自然に思われることなく、
顧客に対して一見通常のページ送りジェスチャをしてい
るかのように思わせながら、各ページ毎の付帯情報を記
録することが可能となる。従って、付帯情報を検索して
再び必要なページに戻る操作を効率良く行ったり、顧客
に関する情報をページに関連付けて記録することで、効
率の良い販売作業が可能となる。

【００６７】［２］第２の実施の形態第２の実施の形態に係る情報機器は、座標入力装置１０
１と、制御装置１０２と、ジェスチャ種類認識手段１０
３と、ジェスチャコマンド辞書１０４と、表示出力手段
１０５と、ページ情報記録ファイル１０６と、ページ画
面切替・格納手段１０７と、ランク情報認識手段１０８
と、ジェスチャ位置情報検出手段１０９と、ランク情報
記録手段１１０と、ランク別ページ呼出手段１１１とを
備えると共に（上記図１参照）、後述する手段を備える
構成となっている。情報機器各部の構成及び情報機器の
動作については、上記第１の実施の形態で詳述したので
説明は省略する。

【００６８】上記第１の実施の形態においては、表示画
面の各ページを切り替える際にジェスチャにより記録し
た各ページに対応する付帯情報を利用して、後からの検
索作業を効率良く行うことができるようにしたが、第２
の実施の形態においては、予め記録された各ページ毎の
ランク別情報を用意しておき、ページを送るジェスチャ
を実行した際に、同様にジェスチャ軌跡におけるＹ軸方
向の差分量を識別することで、次に表示すべきページを
決定する手段を設けている。

【００６９】上述したように、第２の実施の形態によれ
ば、ページを送るジェスチャを実行した際に、次に表示
するべきページを決定することにより、顧客に対する印
象などによって、情報機器を操作する担当者の意思によ
り、次に顧客に提示するのに適したページを選択して表
示することが可能となる。即ち、顧客には通常のページ
送りジェスチャであると思わせながら、実際には、情報
機器を操作する担当者の意思により、次に表示する画面
を選択することが可能となる。

【００７０】［３］第３の実施の形態第３の実施の形態に係る情報機器は、座標入力装置１０
１と、制御装置１０２と、ジェスチャ種類認識手段１０
３と、ジェスチャコマンド辞書１０４と、表示出力手段
１０５と、ページ情報記録ファイル１０６と、ページ画
面切替・格納手段１０７と、ランク情報認識手段１０８
と、ジェスチャ位置情報検出手段１０９と、ランク情報
記録手段１１０と、ランク別ページ呼出手段１１１とを
備える構成となっている（上記図１参照）。情報機器各
部の構成及び情報機器の動作については、上記第１の実
施の形態で詳述したので説明は省略する。

【００７１】上記第１及び第２の実施の形態において
は、ジェスチャ種類認識手段１０３によりジェスチャを
認識した後のジェスチャの１つのストロークに注目し、
ストロークの始点、終点のＹ軸座標の位置関係情報によ
り、ページを切り替える際の付帯情報として記録した
が、第３の実施の形態においては、同一種類のジェスチ
ャにより複数のランク情報を対応させる手段は、ジェス
チャを構成するストロークの筆記速度量や筆記速度変化
量に基づくものとしている。

【００７２】上述したように、第３の実施の形態によれ
ば、ジェスチャを構成するストロークの筆記速度量やそ
の速度変化量に基づき、同一種類のジェスチャにより複
数のランク情報を対応させることにより、形状的には全
く同様なジェスチャでも、異なる付帯情報を識別するこ
とが可能となる。

【００７３】［４］第４の実施の形態第４の実施の形態に係る情報機器は、座標入力装置１０
１と、制御装置１０２と、ジェスチャ種類認識手段１０
３と、ジェスチャコマンド辞書１０４と、表示出力手段
１０５と、ページ情報記録ファイル１０６と、ページ画
面切替・格納手段１０７と、ランク情報認識手段１０８
と、ジェスチャ位置情報検出手段１０９と、ランク情報
記録手段１１０と、ランク別ページ呼出手段１１１とを
備える構成となっている（上記図１参照）。情報機器各
部の構成及び情報機器の動作については、上記第１の実
施の形態で詳述したので説明は省略する。

【００７４】上記第１乃至第３の実施の形態において
は、ジェスチャ種類認識手段１０３により単一のジェス
チャを認識した後に、当該ジェスチャに含まれる情報か
ら付帯情報を識別したが、第４の実施の形態において
は、複数のジェスチャによる組み合わせにより付帯情報
を識別するものである。

【００７５】上述したように、第４の実施の形態によれ
ば、複数のジェスチャによる組み合わせにより付帯情報
を識別することにより、情報機器を操作する担当者にと
っては、顧客には識別が一層困難な操作を行うことが可
能となる。

【００７６】［５］第５の実施の形態第５の実施の形態に係る情報機器は、座標入力装置１０
１と、制御装置１０２と、ジェスチャ種類認識手段１０
３と、ジェスチャコマンド辞書１０４と、表示出力手段
１０５と、ページ情報記録ファイル１０６と、ページ画
面切替・格納手段１０７と、ランク情報認識手段１０８
と、ジェスチャ位置情報検出手段１０９と、ランク情報
記録手段１１０と、ランク別ページ呼出手段１１１とを
備える構成となっている（上記図１参照）。情報機器各
部の構成及び情報機器の動作については、上記第１の実
施の形態で詳述したので説明は省略する。

【００７７】上記第１乃至第４の実施の形態において
は、付帯情報を識別するためのジェスチャを、ページの
切替を行う種類のジェスチャとしたが、第５の実施の形
態においては、特定のページ画面上で行われる可能性の
あるジェスチャにより付帯情報を識別するものである。

【００７８】上述したように、第５の実施の形態によれ
ば、特定のページ画面上で行われる可能性のあるジェス
チャにより付帯情報を識別することにより、表示出力手
段１０５にページ画面を表示している間、随時、付帯情
報を記録することが可能となる。

【００７９】尚、本発明は、複数の機器から構成される
システムに適用しても、１つの機器からなる装置に適用
してもよい。前述した実施形態の機能を実現するソフト
ウエアのプログラムコードを記憶した記憶媒体を、シス
テム或いは装置に供給し、そのシステム或いは装置のコ
ンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納
されたプログラムコードを読み出し実行することによっ
ても、達成されることは言うまでもない。

【００８０】この場合、記憶媒体から読み出されたプロ
グラムコード自体が前述した実施形態の機能を実現する
ことになり、そのプログラムコードを記憶した記憶媒体
は本発明を構成することになる。

【００８１】プログラムコードを供給するための記憶媒
体としては、例えば、フロッピディスク、ハードディス
ク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ
−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭな
どを用いることができる。

【００８２】また、コンピュータが読出したプログラム
コードを実行することにより、前述した実施形態の機能
が実現されるだけでなく、そのプログラムコードの指示
に基づき、コンピュータ上で稼働しているＯＳなどが実
際の処理の一部または全部を行い、その処理によって前
述した実施形態の機能が実現される場合も含まれること
は言うまでもない。

【００８３】更に、記憶媒体から読出されたプログラム
コードが、コンピュータに挿入された機能拡張ボードや
コンピュータに接続された機能拡張ユニットに備わるメ
モリに書込まれた後、そのプログラムコードの指示に基
づき、その機能拡張ボードや機能拡張ユニットに備わる
ＣＰＵなどが実際の処理の一部または全部を行い、その
処理によって前述した実施形態の機能が実現される場合
も含まれることは言うまでもない。

【００８４】

【発明の効果】以上説明したように、請求項１の発明に
よれば、軌跡情報による情報入力が可能な情報機器にお
いて、ページ単位に画面を表示する表示手段と、入力さ
れた軌跡情報がジェスチャコマンドの場合にその種類を
認識する第１の認識手段と、ジェスチャコマンドの特徴
情報を認識する第２の認識手段と、前記特徴情報をジェ
スチャコマンドが入力されたページ画面に対応させて記
録手段に記録する記録制御手段とを具備するため、特定
の画面を他者と共有しながら、ジェスチャコマンドの操
作時に他者にさとられることなく、当該画面に対応した
特徴情報（付帯情報）を記録することが可能となり、情
報機器を、対面業務を始めとして様々な用途に効率良く
利用することが可能となる。

【００８５】請求項２の発明によれば、入力された軌跡
情報がジェスチャコマンドであるか否かを識別する識別
手段と、ジェスチャコマンドを実行する実行手段とを具
備するため、上記請求項１の発明と同様の効果を奏する
ことができる。

【００８６】請求項３の発明によれば、予め複数のペー
ジ画面が記録された記録手段から前記特徴情報に対応し
たページ画面を検索して前記表示手段に表示させる表示
制御手段を具備するため、上記請求項１の発明と同様の
効果を奏することができる。

【００８７】請求項４の発明によれば、予め複数のペー
ジ画面が記録された記録手段から前記特徴情報と同一の
特徴情報を対応して持つページ画面を検索して前記表示
手段に表示させる表示制御手段を具備するため、上記請
求項１の発明と同様の効果を奏することができる。

【００８８】請求項５の発明によれば、前記第２の認識
手段は、ジェスチャコマンドのストロークの始点及び終
点の位置座標差に基づき特徴情報を認識するため、ジェ
スチャコマンドの操作時に他者にさとられることなく、
特徴情報を認識することができる。

【００８９】請求項６の発明によれば、前記第２の認識
手段は、ジェスチャコマンドのストロークの特徴となる
点の位置座標差に基づき特徴情報を認識するため、ジェ
スチャコマンドの操作時に他者にさとられることなく、
特徴情報を認識することができる。

【００９０】請求項７の発明によれば、前記第２の認識
手段は、ジェスチャコマンドのストロークの筆記速度或
いは筆記速度変化に基づき特徴情報を認識するため、形
状的には全く同様なジェスチャでも、異なる特徴情報を
認識することができる。

【００９１】請求項８の発明によれば、前記第２の認識
手段は、当該ジェスチャコマンドの前後に入力された他
のジェスチャコマンドとの組み合わせ種類に基づき特徴
情報を認識するため、他者には識別が一層困難な操作が
可能となる。

【００９２】請求項９の発明によれば、軌跡情報による
情報入力が可能な情報機器における軌跡情報処理方法に
おいて、ページ単位に画面を表示する表示ステップと、
入力された軌跡情報がジェスチャコマンドの場合にその
種類を認識する第１の認識ステップと、ジェスチャコマ
ンドの特徴情報を認識する第２の認識ステップと、前記
特徴情報をジェスチャコマンドが入力されたページ画面
に対応させて記録する記録制御ステップとを有するた
め、特定の画面を他者と共有しながら、ジェスチャコマ
ンドの操作時に他者にさとられることなく、当該画面に
対応した特徴情報（付帯情報）を記録することが可能と
なり、情報機器を、対面業務を始めとして様々な用途に
効率良く利用することが可能となる。

【００９３】請求項１０の発明によれば、入力された軌
跡情報がジェスチャコマンドであるか否かを識別する識
別ステップと、ジェスチャコマンドを実行する実行ステ
ップとを有するため、上記請求項９の発明と同様の効果
を奏することができる。

【００９４】請求項１１の発明によれば、予め記録され
た複数のページ画面から前記特徴情報に対応したページ
画面を検索して表示させる表示制御ステップを有するた
め、上記請求項９の発明と同様の効果を奏することがで
きる。

【００９５】請求項１２の発明によれば、予め記録され
た複数のページ画面から前記特徴情報と同一の特徴情報
を対応して持つページ画面を検索して表示させる表示制
御ステップを有するため、上記請求項９の発明と同様の
効果を奏することができる。

【００９６】請求項１３の発明によれば、前記第２の認
識ステップでは、ジェスチャコマンドのストロークの始
点及び終点の位置座標差に基づき特徴情報を認識するた
め、ジェスチャコマンドの操作時に他者にさとられるこ
となく、特徴情報を認識することができる。

【００９７】請求項１４の発明によれば、前記第２の認
識ステップでは、ジェスチャコマンドのストロークの特
徴となる点の位置座標差に基づき特徴情報を認識するた
め、ジェスチャコマンドの操作時に他者にさとられるこ
となく、特徴情報を認識することができる。

【００９８】請求項１５の発明によれば、前記第２の認
識ステップでは、ジェスチャコマンドのストロークの筆
記速度或いは筆記速度変化に基づき特徴情報を認識する
ため、形状的には全く同様なジェスチャでも、異なる特
徴情報を認識することができる。

【００９９】請求項１６の発明によれば、前記第２の認
識ステップでは、当該ジェスチャコマンドの前後に入力
された他のジェスチャコマンドとの組み合わせ種類に基
づき特徴情報を認識するため、他者には識別が一層困難
な操作が可能となる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態に係る構成を示す情
報機器の内部構成を示すブロック図である。

【図２】本発明の第１の実施の形態に係る情報機器にお
いてジェスチャ入力が行われた場合の動作を流れを示す
フローチャートである。

【図３】本発明の第１の実施の形態に係る商品カタログ
の商品Ｅを顧客に説明するための表示画面の概略図であ
る。

【図４】本発明の第１の実施の形態に係る商品カタログ
の商品Ｆを顧客に説明するための表示画面の概略図であ
る。

【図５】本発明の第１の実施の形態に係る任意の特定操
作により過去に表示したカタログのページをレベル情報
に基づいて検索し再表示を行わせる画面呼出モードを示
す表示画面の概略図である。

【図６】本発明の第１の実施の形態に係る画面呼出モー
ドによる操作に基づき呼び出された表示画面の概略図で
ある。

【図７】本発明の第１の実施の形態に係る図３における
ジェスチャの軌跡を示したものであり、ジェスチャを構
成するストロークの始点と終点のＹ軸方向の高さ関係を
示す説明図である。

【図８】本発明の第１の実施の形態に係る図４における
ジェスチャの軌跡を示したものであり、ジェスチャを構
成するストロークの始点と終点のＹ軸方向の高さ関係を
示す説明図である。

【図９】本発明の第１の実施の形態に係るジェスチャを
構成するストロークの始点及び終点のＹ軸方向変化量と
ランクとの関係を示す説明図である。

【符号の説明】

１０１座標入力装置１０２制御装置１０３ジェスチャ種類認識手段１０４ジェスチャコマンド辞書１０５表示出力手段１０６ページ情報記録ファイル１０７ページ画面切替・格納手段１０８ランク情報認識手段１０９ジェスチャ位置情報検出手段１１０ランク情報記録手段１１１ランク別ページ呼出手段

Claims

【特許請求の範囲】

【請求項１】軌跡情報による情報入力が可能な情報機
器において、ページ単位に画面を表示する表示手段と、入力された軌
跡情報がジェスチャコマンドの場合にその種類を認識す
る第１の認識手段と、ジェスチャコマンドの特徴情報を
認識する第２の認識手段と、前記特徴情報をジェスチャ
コマンドが入力されたページ画面に対応させて記録手段
に記録する記録制御手段とを具備することを特徴とする
情報機器。
【請求項２】入力された軌跡情報がジェスチャコマン
ドであるか否かを識別する識別手段と、ジェスチャコマ
ンドを実行する実行手段とを具備することを特徴とする
請求項１記載の情報機器。
【請求項３】予め複数のページ画面が記録された記録
手段から前記特徴情報に対応したページ画面を検索して
前記表示手段に表示させる表示制御手段を具備すること
を特徴とする請求項１又は２記載の情報機器。
【請求項４】予め複数のページ画面が記録された記録
手段から前記特徴情報と同一の特徴情報を対応して持つ
ページ画面を検索して前記表示手段に表示させる表示制
御手段を具備することを特徴とする請求項１又は２記載
の情報機器。
【請求項５】前記第２の認識手段は、ジェスチャコマ
ンドのストロークの始点及び終点の位置座標差に基づき
特徴情報を認識することを特徴とする請求項１、２、３
又は４記載の情報機器。
【請求項６】前記第２の認識手段は、ジェスチャコマ
ンドのストロークの特徴となる点の位置座標差に基づき
特徴情報を認識することを特徴とする請求項１、２、３
又は４記載の情報機器。
【請求項７】前記第２の認識手段は、ジェスチャコマ
ンドのストロークの筆記速度或いは筆記速度変化に基づ
き特徴情報を認識することを特徴とする請求項１、２、
３又は４記載の情報機器。
【請求項８】前記第２の認識手段は、当該ジェスチャ
コマンドの前後に入力された他のジェスチャコマンドと
の組み合わせ種類に基づき特徴情報を認識することを特
徴とする請求項１、２、３、４、５、６又は７記載の情
報機器。
【請求項９】軌跡情報による情報入力が可能な情報機
器における軌跡情報処理方法において、ページ単位に画面を表示する表示ステップと、入力され
た軌跡情報がジェスチャコマンドの場合にその種類を認
識する第１の認識ステップと、ジェスチャコマンドの特
徴情報を認識する第２の認識ステップと、前記特徴情報
をジェスチャコマンドが入力されたページ画面に対応さ
せて記録する記録制御ステップとを有することを特徴と
する情報機器における軌跡情報処理方法。
【請求項１０】入力された軌跡情報がジェスチャコマ
ンドであるか否かを識別する識別ステップと、ジェスチ
ャコマンドを実行する実行ステップとを有することを特
徴とする請求項９記載の情報機器における軌跡情報処理
方法。
【請求項１１】予め記録された複数のページ画面から
前記特徴情報に対応したページ画面を検索して表示させ
る表示制御ステップを有することを特徴とする請求項９
又は１０記載の情報機器における軌跡情報処理方法。
【請求項１２】予め記録された複数のページ画面から
前記特徴情報と同一の特徴情報を対応して持つページ画
面を検索して表示させる表示制御ステップを有すること
を特徴とする請求項９又は１０記載の情報機器における
軌跡情報処理方法。
【請求項１３】前記第２の認識ステップでは、ジェス
チャコマンドのストロークの始点及び終点の位置座標差
に基づき特徴情報を認識することを特徴とする請求項
９、１０、１１又は１２記載の情報機器における軌跡情
報処理方法。
【請求項１４】前記第２の認識ステップでは、ジェス
チャコマンドのストロークの特徴となる点の位置座標差
に基づき特徴情報を認識することを特徴とする請求項
９、１０、１１又は１２記載の情報機器における軌跡情
報処理方法。
【請求項１５】前記第２の認識ステップでは、ジェス
チャコマンドのストロークの筆記速度或いは筆記速度変
化に基づき特徴情報を認識することを特徴とする請求項
９、１０、１１又は１２記載の情報機器における軌跡情
報処理方法。
【請求項１６】前記第２の認識ステップでは、当該ジ
ェスチャコマンドの前後に入力された他のジェスチャコ
マンドとの組み合わせ種類に基づき特徴情報を認識する
ことを特徴とする請求項９、１０、１１、１２、１３、
１４又は１５記載の情報機器における軌跡情報処理方
法。