JP2019101739A - 情報処理装置、情報処理システムおよびプログラム - Google Patents

Abstract

【課題】複数の入力手段を組みわせてコマンドの入力を行なう場合でも、描画においてその開始を指定する必要がなく、作業効率が低下しにくい情報処理装置等を提供する。
【解決手段】ユーザによる描画操作についての情報である描画情報を受け付ける受付手段１１０と、描画情報を基に描画操作の最後の部分が、ユーザがコマンドを指定するジェスチャーであることを認識するジェスチャー認識手段１２０と、ジェスチャーを行なった時より過去に遡って、ユーザが描画した図形の種類を抽出する図形抽出手段１３０と、抽出した図形の種類に基づく処理を行なうオブジェクト変換手段１９０と、を備える情報処理装置１０。
【選択図】図２

Description

本発明は、情報処理装置、情報処理システム、プログラムに関する。

従来技術として、音声、ペンやマウスなどのポインティングデバイスなどの複数の入力手段を組みわせて、ユーザがコマンドの入力を行ない、そのコマンドに対応した処理を行なう情報処理装置が存在する。そして従来は、それぞれの入力手段について、入力のスピード、正確さ、認識率などの向上が目指されてきた。そして昨今、音声認識や手書き認識の精度が向上し、実用レベルになり、複数の入力手段を使用して処理を行なう環境が整いつつある。

特許文献１には、マイクロフォンなどの音声入力手段と、ペンあるいはマウスなどのポインティング入力手段と、コマンドを実行するコマンド実行手段と、コマンドに対応して画面表示を変更する画面表示手段と、ディスプレイなどの画面出力を行なう画面出力手段を有する情報処理装置において、音声入力情報およびポインティング入力情報を統合して解釈を行なう情報統合手段を設け、利用者が音声入力手段とポインティング入力手段を用いて行なう、画面上の不可視部分の操作や複数対象物の一括選択操作などの、非直接操作を含む操作を解釈する機能を備えた情報処理装置が記載されている。
また特許文献２には、以下のジェスチャー処理装置が記載されている。即ち、液晶ディスプレイ等の表示装置を設ける。入力ペンにて描画することによりイメージを入力したり上記表示装置の表示面の所望する位置を指示したりできるタブレットを上記表示面上に設ける。上記表示面における文字や記号の配列等の画像を、上記イメージにて編集できるジェスチャー機能を備える。上記ジェスチャー機能が起動した時、上記表示面での画像を示す画像情報と、各機能の動作状況を示すワークフラグとを記憶する画面情報バッファを設定する。

特開０８−６３３１９号公報 特開２０００−４７８２４号公報

コマンドの入力は、例えば、ポインティングデバイスを使用することで行なうことが多い。
しかしながらユーザがコマンドの入力を行なう際には、ポインティングデバイス等による描画の際に、その開始と終了とを指定することが必要であり、作業効率が低下しやすい問題がある。
本発明は、複数の入力手段を組みわせてコマンドの入力を行なう場合でも、描画においてその開始を指定する必要がなく、作業効率が低下しにくい情報処理装置等を提供する。

請求項１に記載の発明は、ユーザによる描画操作についての情報である描画情報を受け付ける受付手段と、前記描画情報を基に描画操作の最後の部分が、ユーザがコマンドを指定するジェスチャーであることを認識する認識手段と、前記ジェスチャーを行なった時より過去に遡って、ユーザが描画した図形の種類を抽出する抽出手段と、抽出した前記図形の種類に基づく処理を行なう処理手段と、を備える情報処理装置である。
請求項２に記載の発明は、前記受付手段は、ユーザの描画操作中の音声の情報である音声情報をさらに受け付け、前記処理手段は、前記図形の種類に加え、前記音声情報に基づき前記処理を行なうことを特徴とする請求項１に記載の情報処理装置である。
請求項３に記載の発明は、前記処理手段は、前記ジェスチャーの前後の音声情報に基づき前記処理を行なうことを特徴とする請求項２に記載の情報処理装置である。
請求項４に記載の発明は、前記抽出手段は、前記処理を行なうための対象となる音声情報を音声の途切れを利用して特定することを特徴とする請求項３に記載の情報処理装置である。
請求項５に記載の発明は、前記処理手段は、前記図形の種類に対応するオブジェクトに変換する処理を行なうことを特徴とする請求項２に記載の情報処理装置である。
請求項６に記載の発明は、前記処理手段は、前記図形の種類と前記音声情報との関係から前記オブジェクトを決定することを特徴とする請求項５に記載の情報処理装置である。
請求項７に記載の発明は、前記処理手段は、前記オブジェクトとして、前記音声情報が意味するアイコンに変換することを特徴とする請求項６に記載の情報処理装置である。
請求項８に記載の発明は、前記処理手段は、前記オブジェクトとして、２つのアイコンを結ぶリンクに変換することを特徴とする請求項６に記載の情報処理装置である。
請求項９に記載の発明は、前記処理手段は、前記オブジェクトとして、前記音声情報が意味するテキストに変換して配することを特徴とする請求項６に記載の情報処理装置である。
請求項１０に記載の発明は、前記処理手段は、前記オブジェクトとして、前記図形に対応する枠の中に、前記音声情報が意味するテキストが入るように変換することを特徴とする請求項９に記載の情報処理装置である。
請求項１１に記載の発明は、前記処理手段は、前記音声情報がないときは、前記オブジェクトとして、前記図形に対応する枠に変換し、テキストを入れないことを特徴とする請求項９に記載の情報処理装置である。
請求項１２に記載の発明は、前記処理手段は、前記オブジェクトとして、前記図形を描画するときの描画操作の描画方向に沿って、前記テキストを配することを特徴とする請求項９に記載の情報処理装置である。
請求項１３に記載の発明は、前記処理手段は、前記オブジェクトを配する位置および大きさを、前記図形が描画された位置および大きさに応じて決定することを特徴とする請求項５に記載の情報処理装置である。
請求項１４に記載の発明は、前記認識手段は、予め定められた形状をユーザが描画したときに、前記ジェスチャーであると認識することを特徴とする請求項１に記載の情報処理装置である。
請求項１５に記載の発明は、前記予め定められた形状は、閉空間を表す形状であることを特徴とする請求項１４に記載の情報処理装置である。
請求項１６に記載の発明は、前記認識手段は、予め定められた大きさ以下の閉空間を表す形状を前記ジェスチャーであると認識することを特徴とする請求項１５に記載の情報処理装置である。
請求項１７に記載の発明は、前記認識手段が行なう前記ジェスチャーの認識および前記抽出手段が行なう前記図形の種類の抽出は、描画操作の中から行なうことを特徴とする請求項１に記載の情報処理装置である。
請求項１８に記載の発明は、前記認識手段が行なう前記ジェスチャーの認識および前記抽出手段が行なう前記図形の種類の抽出は、一筆書きの描画操作の中から行なうことを特徴とする請求項１７に記載の情報処理装置である。
請求項１９に記載の発明は、前記抽出手段は、前記ジェスチャーの描画操作以外の部分を前記図形であるとすることを特徴とする請求項１８に記載の情報処理装置である。
請求項２０に記載の発明は、ユーザの描画操作を基に画像を表示する表示装置と、描画操作を基に前記表示装置で表示する画像の表示情報を作成する情報処理装置と、を備え、前記情報処理装置は、ユーザによる描画操作についての情報である描画情報を受け付ける受付手段と、前記描画情報を基に描画操作の最後の部分が、ユーザがコマンドを指定するジェスチャーであることを認識する認識手段と、前記ジェスチャーを行なった時より過去に遡って、ユーザが描画した図形の種類を抽出する抽出手段と、抽出した前記図形の種類に基づく処理を行なう処理手段と、を備える情報処理システムである。
請求項２１に記載の発明は、コンピュータに、ユーザによる描画操作についての情報である描画情報を受け付ける受付機能と、前記描画情報を基に描画操作の最後の部分が、ユーザがコマンドを指定するジェスチャーであることを認識する認識機能と、前記ジェスチャーを行なった時より過去に遡って、ユーザが描画した図形の種類を抽出する抽出機能と、抽出した前記図形の種類に基づく処理を行なう処理機能と、を実現させるためのプログラムである。

請求項１の発明によれば、複数の入力手段を組みわせてコマンドの入力を行なう場合でも、描画においてその開始を指定する必要がなく、作業効率が低下しにくい情報処理装置を提供することができる。
請求項２の発明によれば、図形の種類に加え、音声情報を併せてコマンドの入力を行なうことができる。
請求項３の発明によれば、対象となる音声情報を抽出することができる。
請求項４の発明によれば、対象となる音声情報をより容易に抽出することができる。
請求項５の発明によれば、描画操作をオブジェクトに変換することができる。
請求項６の発明によれば、処理手段が、ユーザが望むオブジェクトを決定することができる。
請求項７の発明によれば、オブジェクトとしてアイコンに変換することができる。
請求項８の発明によれば、オブジェクトとして他の２つのオブジェクトの結びつきを表現することができる。
請求項９の発明によれば、オブジェクトとしてテキストに変換することができる。
請求項１０の発明によれば、オブジェクトとして枠付きのテキストに変換することができる。
請求項１１の発明によれば、オブジェクトとしてテキストが入らない枠だけに変換することができる。
請求項１２の発明によれば、オブジェクトとしてユーザの意図する向きに沿ってテキストを配することができる。
請求項１３の発明によれば、ユーザの意図した位置および大きさのオブジェクトを配することができる。
請求項１４の発明によれば、描画操作によりコマンドの入力を行なうことができる。
請求項１５の発明によれば、コマンドの入力がより簡単になる。
請求項１６の発明によれば、コマンドの認識率がより向上する。
請求項１７の発明によれば、図形の描画を行なう際に、コマンドの入力も併せて行なうことができる。
請求項１８の発明によれば、図形の描画とジェスチャーの描画とを連続的に行なうことができる。
請求項１９の発明によれば、ユーザが描画した図形の範囲がより明確になる。
請求項２０の発明によれば、複数の入力手段を組みわせてコマンドの入力を行なう場合でも、描画においてその開始を指定する必要がなく、作業効率が低下しにくい情報処理システムを提供することができる。
請求項２１の発明によれば、複数の入力手段を組みわせてコマンドの入力を行なう場合でも、描画においてその開始を指定する必要がなく、作業効率が低下しにくい機能をコンピュータにより実現できる。

本実施の形態における情報処理システムの構成例を示す図である。 本実施の形態における情報処理装置の機能構成例を表すブロック図である。 （ａ）〜（ｃ）は、ユーザがコマンドを指定するジェスチャーとして、予め定められた形状を描画した例を示した図である。 （ａ）〜（ｃ）は、図形抽出手段が、抽出した図形についての図形タイプを抽出し、さらにオブジェクトタイプを決定する場合について示した図である。 オブジェクト構造データを説明した図である。 音声抽出手段が音声情報を抽出する方法について示した図である。 （ａ）は、アイコンテーブルについて示した図である。（ｂ）は、テキスト構造データについて示した図である。 （ａ）〜（ｄ）は、オブジェクト変換手段が図形の種類に対応するオブジェクトに変換する処理について示した図である。 情報処理装置の動作について説明したフローチャートである。 ユーザの描画操作をオブジェクトに変換したときに、表示装置に表示される画面の例を示した図である。 （ａ）〜（ｂ）は、本実施の形態においてコマンドモードの開始と終了を決める方法について示した図である。

以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。

＜情報処理システム全体の説明＞
図１は、本実施の形態における情報処理システム１の構成例を示す図である。
図示するように本実施の形態の情報処理システム１は、ユーザの描画操作を基に表示装置２０で表示する画像の表示情報を作成する情報処理装置１０と、ユーザの描画操作を受け付けるとともに、ユーザの描画操作を基に画像を表示する表示装置２０とを備える。

情報処理装置１０は、例えば、所謂汎用のパーソナルコンピュータ（ＰＣ）である。そして、情報処理装置１０は、ＯＳ（Operating System）による管理下において、各種アプリケーションソフトウェアを動作させることで、情報の処理等が行われるようになっている。

情報処理装置１０は、演算手段であるＣＰＵ（Central Processing Unit）と、記憶手段であるメインメモリ及びＨＤＤ（Hard Disk Drive）とを備える。ここで、ＣＰＵは、ＯＳ（Operating System、基本ソフトウェア）やアプリケーションプログラム（応用ソフトウェア）等の各種ソフトウェアを実行する。また、メインメモリは、各種ソフトウェアやその実行に用いるデータ等を記憶する記憶領域であり、ＨＤＤは、各種ソフトウェアに対する入力データや各種ソフトウェアからの出力データ等を記憶する記憶領域である。
更に、情報処理装置１０は、外部との通信を行なうための通信インタフェースを備える。

表示装置２０は、表示画面２０ａに画像を表示する。表示装置２０は、例えばＰＣ用の液晶ディスプレイ、液晶テレビあるいはプロジェクタなど、画像を表示する機能を備えたもので構成される。したがって、表示装置２０における表示方式は、液晶方式に限定されるものではなく、例えば、有機ＥＬ（ElectroLuminescence）方式やプラズマディスプレイ方式などであってもよい。

表示画面２０ａは、例えば、タッチパネルであり、このタッチパネルにより画像の表示を行なうとともにタッチ等のユーザの指示が入力される。よって表示画面２０ａは、表示画面２０ａにスタイラスペン、人の指に代表される接触物が接触したときに、接触物がタッチパネルに接触した位置を検知する位置検知部（図示せず）を備えている。本実施の形態において表示画面２０ａとして使用するタッチパネルは、特に限定されるものではなく、抵抗膜方式や静電容量方式など種々の方式のものが採用される。

情報処理装置１０および表示装置２０は、ＤＶＩ（Digital Visual Interface）を介して接続されている。なお、ＤＶＩに代えて、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）、ＤｉｓｐｌａｙＰｏｒｔ、ＵＳＢ（Universal Serial Bus）等を介して接続するようにしてもかまわない。
またこのような有線接続に限られるものではなく、無線ＬＡＮ（Local Area Network）、ブルートゥース（Bluetooth）（登録商標）等の無線接続であってもよい。

このような情報処理システム１において、まずユーザが、表示装置２０の表示画面２０ａに対し、スタイラスペン等により描画操作を行なう。この描画操作は、表示画面２０ａに軌跡として表示される。この描画操作の情報は、描画情報として情報処理装置１０に送られる。そして情報処理装置１０では、この描画情報を基に、ユーザが描いた図形を抽出し、これを予め定められた規則によりオブジェクトに変換する。そして表示画面２０ａでは、このオブジェクトが表示される。つまり、ユーザが描画した軌跡が消去され、その代わりにオブジェクトが表示される。また本実施の形態では、情報処理装置１０が、オブジェクトに変換を行なうときに、ユーザの発話した音声の情報である音声情報を併せて使用することができる。つまり描画情報と音声情報とを利用し、変換するオブジェクトを決定する。なおこのとき、音声については必須でなく、音声を使用しない場合もある。

なお本実施の形態における情報処理システム１は、図１の形態に限られるものではない。例えば、情報処理システム１としてタブレット端末を例示することができる。この場合、タブレット端末は、タッチパネルを備え、このタッチパネルにより画像の表示を行なうとともにタッチ等のユーザの指示が入力される。またオブジェクトに変換する処理は、タブレット端末が内蔵するコンピュータ装置により行なうことができる。即ち、タブレット端末が、上述した情報処理装置１０および表示装置２０として機能する。また同様の観点から、情報処理システム１は、スマートフォン、ノートＰＣ等であってもよい。

＜情報処理装置１０の説明＞

図２は、本実施の形態における情報処理装置１０の機能構成例を表すブロック図である。なお図２では、情報処理装置１０が有する種々の機能のうち本実施の形態に関係するものを選択して図示している。
図示するように本実施の形態の情報処理装置１０は、ユーザの描画操作についての情報である描画情報やユーザの音声の情報である音声情報を受け取る受付手段１１０と、ユーザがコマンドを指定するジェスチャーを認識するジェスチャー認識手段１２０と、ユーザが描画した図形の種類を抽出する図形抽出手段１３０と、音声情報を保持する音声保持手段１４０と、音声情報の抽出を行なう音声抽出手段１５０と、音声認識を行ない音声情報をテキストの情報に変換するテキスト変換手段１６０と、コマンドが有効であるか否かを判定するコマンド判定手段１７０と、描画情報や音声情報をオブジェクトに変換するためのアイコンを検索するアイコン管理手段１８０と、描画情報や音声情報を基にオブジェクトへの変換を行なうオブジェクト変換手段１９０と、を備える。

受付手段１１０は、ユーザによる描画操作についての情報である描画情報を受け付ける。
「描画操作」は、ユーザがスタイラスペン等を使用して、タッチパネル等である表示画面２０ａに対し入力する操作を言う。また「描画情報」は、ユーザが表示画面２０ａにおいて、描画した線の軌跡を示す情報である。描画情報は、例えば、表示画面２０ａにおいて、スタイラスペン等が接触した位置を示す２次元の座標情報の集まりである。そしてユーザがスタイラスペン等により描画操作を行なうと、表示画面２０ａ上において、スタイラスペン等が接触する位置が時間に応じ変化し、ユーザが何を描画したかは、この座標情報の変化により把握することができる。よって、描画情報は、複数の２次元の座標情報の集まり（座標情報群）として構成される。

また受付手段１１０は、ユーザの描画操作中の音声の情報である音声情報をさらに受け付ける。
「音声情報」は、図示しないマイクロフォン等の音声取得手段により取得されたユーザの音声を、電気信号（音声信号）に変換した情報である。なお音声情報は、オペアンプ等の増幅器により、増幅されたものであってもよい。

ジェスチャー認識手段１２０は、認識手段の一例であり、描画情報を基に描画操作の最後の部分が、ユーザがコマンドを指定するジェスチャーであることを認識する。
ここで「コマンド」とは、描画操作や音声をオブジェクトに変換することをユーザが指示することを言う。また「オブジェクト」とは、ユーザの描画操作を基に変換され、表示画面２０ａに表示される表示対象である。「オブジェクト」は、詳しくは後述するが、例えば、アイコン、ボックス、テキスト、リンクである。さらに「ジェスチャー」とは、ユーザが行ない、コマンドであることを明示する動作を言う。

このときジェスチャー認識手段１２０は、予め定められた形状をユーザが描画したときに、ユーザがコマンドを指定するジェスチャーであると認識する。ジェスチャーの認識は、描画操作の中から行なう。具体的には、ジェスチャー認識手段１２０は、ユーザが描画した描画操作の中の最後の箇所から、予め定められた長さ分を切り出し、この部分の形状により、ユーザがコマンドを指定するジェスチャーであるか否かを判断する。

図３（ａ）〜（ｃ）は、ユーザがコマンドを指定するジェスチャーとして、予め定められた形状を描画した例を示した図である。
この場合、ユーザが何らかの図形Ｚを描画し、そして図形Ｚを描画した後の最後の箇所にジェスチャーを表す予め定められた形状を描画した場合を示している。この予め定められた形状は、閉空間を表す形状である。

このうち図３（ａ）は、図形Ｚとしてユーザが円形を描画し、最後の箇所に時計回りで、小さな円形の閉空間Ｈを描画した例を示している。

また図３（ｂ）は、図形Ｚとしてユーザが四角形を描画し、最後の箇所に同様の閉空間Ｈを描画した例を示している。さらに図３（ｃ）は、図形Ｚとしてユーザが直線を描画し、最後の箇所に同様の閉空間Ｈを描画した例を示している。
予め定められた形状を、閉空間Ｈを表す形状とすると、ユーザが描画しやすいという効果が生じる。

この予め定められた形状を、閉空間Ｈを表す形状とした場合、図３に例示したような閉空間Ｈのサイズを予め定められた大きさ以下に限定することが好ましい。これにより図形Ｚとして大きな閉空間を描画する場合との区別が容易になる。またこの閉空間Ｈの形状について、ユーザの癖に合わせてカスタマイズした形状としてもよい。またここでは、閉空間Ｈは、時計回りの小さな円形の形状としたが、これに限られるものでなく、反時計回りでもよく、三角形や四角形など他の形状であってもよい。またこれらを全て閉空間Ｈとして扱ってもよい。つまり図形Ｚとして円形を描画した後は、円形を描画しやすく、図形Ｚとして四角形を描画した後は、四角形を描画しやすい。よってこれらを全て含めることで、ユーザの利便性が向上する。

さらにジェスチャー認識手段１２０は、ユーザが予め定められた形状をユーザが描画したときに、ユーザがコマンドを指定するジェスチャーとして認識したが、これに限られるものではない。例えば、スタイラスペン等の圧力や傾きを利用し、図形Ｚを描画するときとの差異を検知してもよい。また上述した例では、ジェスチャーの認識は、描画操作の中から行なっていたが、ユーザの描画操作以外であってもよい。例えば、描画操作の最後に、ユーザが、スタイラスペン等を持つ手とは逆側の手でタップをする、息を吹きかける、ユーザが音声のトーンを変化させる等の動作を検知し、これをユーザがコマンドを指定するジェスチャーであることを認識するようにしてもよい。

図形抽出手段１３０は、図形Ｚの種類を抽出する抽出手段の一例であり、ジェスチャーを行なった時より過去に遡って、ユーザが描画した図形Ｚの種類を抽出する。図形Ｚの種類の抽出は、描画操作の中から行ない、さらに具体的には、一筆書きの描画操作の中から行なう。ここで「一筆書き」とは、ユーザが、１回（１ストローク）で行なう描画操作を言う。即ち、「一筆書き」は、ユーザが、スタイラスペン等を表示画面２０ａから離さずに行なう１回（１ストローク）の描画操作である。このとき図形抽出手段１３０は、ジェスチャーの描画操作以外の部分を図形Ｚであるとする。つまり図３の場合を例に取ると、図形抽出手段１３０は、閉空間Ｈ以外の箇所を図形Ｚとする。

そして図形抽出手段１３０は、図形Ｚについて、図形Ｚの種類として図形タイプを抽出し、さらにオブジェクトタイプを決定する。
ここで「図形タイプ」は、図形Ｚの形状から導かれる図形の種類を言う。本実施の形態では、「図形タイプ」は、「円」、「四角形」、「線」の３種類の何れかである。また「オブジェクトタイプ」は、詳しくは後述するオブジェクト変換手段１１０が変換するオブジェクトの種類を言う。本実施の形態では、「オブジェクトタイプ」は、「アイコン」、「ボックス」、「テキスト」、「リンク」の４種類の何れかである。このうち「アイコン」は、オブジェクトがアイコンであることを意味する。また「ボックス」は、オブジェクトが四角形の枠であることを意味する。さらに「テキスト」は、オブジェクトが文字列であることを意味する。またさらに「リンク」は、オブジェクトが他の２つのオブジェクト間を結ぶ線であることを意味する。

図４（ａ）〜（ｃ）は、図形抽出手段１３０が、抽出した図形Ｚについての図形タイプを抽出し、さらにオブジェクトタイプを決定する場合について示した図である。
ここで第１列は、ユーザの描画操作であり、上述した１ストロークで行なった描画操作を図示している。ここでは、上述したように描画操作は、図形Ｚと閉空間Ｈとからなる。また第２列は、図形タイプについて図示している。さらに第３列は、オブジェクトタイプを図示している。

図４（ａ）の場合、閉空間Ｈ以外の図形Ｚは、角がない曲線状の線からなる大きな閉空間であり、この場合、図形タイプは、「円」とされる。そして図形タイプが「円」の場合、オブジェクトタイプは、「アイコン」となる。

また図４（ｂ）の場合、閉空間Ｈ以外の図形Ｚは、直線状の線と角からなる大きな閉空間であり、この場合、図形タイプは、「四角形」とされる。そして図形タイプが「四角形」の場合、オブジェクトタイプは、「ボックス」となる。

さらに図４（ｃ）の場合、閉空間Ｈ以外の図形Ｚは、直線状の線からなり、この場合、図形タイプは、「線」とされる。そして図形タイプが「線」の場合、オブジェクトタイプは、「リンク」および「テキスト」の何れかとなる。具体的には、図形Ｚの始点および終点が他の２つのオブジェクトの位置であれば、「リンク」となり、そうでなければ「テキスト」となる。

なお上述した例では、閉空間Ｈ以外を図形Ｚとし、図形タイプを抽出したが、閉空間Ｈを含めて図形Ｚとし、これから閉空間Ｈや図形タイプを抽出してもよい。

さらに図形抽出手段１３０は、オブジェクト構造データＯＤを作成する。
図５は、オブジェクト構造データＯＤを説明した図である。
図示するオブジェクト構造データＯＤは、図示する属性および値からなる。このうち属性は、オブジェクトタイプ、矩形の左上位置、矩形の縦横サイズ、ストローク開始位置、ストローク終了位置からなる。また値は、この属性に対応する値である。ここでは、オブジェクトタイプがボックスであること、および１ストロークを覆うことができる矩形として最小サイズの矩形の左上位置が、（１３４、３３５）の画素位置であることを意味する。またこの矩形の縦横サイズが、５４ｄｏｔ（画素）×８８ｄｏｔであること、１ストロークの開始位置であるストローク開始位置が、（１３、４５）の画素位置であること、および１ストロークの終了位置であるストローク終了位置が、（１４４、５２３）の画素位置であることを意味する。ただしこの属性は、全て使用されるわけではなく、例えば、オブジェクトタイプがボックスのときは、ストローク開始位置およびストローク終了位置は使用されない。またオブジェクトタイプがリンクおよびテキストのときは、矩形の左上位置および矩形の縦横サイズは使用されない。

音声保持手段１４０は、音声情報を予め定められた時間保持する。また予め定められた時間を過ぎた音声情報は、破棄される。つまり音声保持手段１４０は、音声情報のバッファとして機能する。

音声抽出手段１５０は、音声情報を抽出する抽出手段の一例であり、ジェスチャーの前後の音声情報の中から、テキスト変換手段１６０でテキストの情報に変換するための対象となる音声情報を抽出する。
図６は、音声抽出手段１５０が音声情報を抽出する方法について示した図である。図６で横方向は、時間であり、音声情報が存在する箇所を矩形Ｋにより表している。
音声抽出手段１５０は、ジェスチャーの前後の音声情報を調べ、音声の途切れを検出する。そして対象となる音声情報を音声の途切れを利用して特定する。音声抽出手段１５０は、音声保持手段１４０に保持されている音声情報の中で、予め定められた時間以上音声情報が存在しないときを見つけ、この場合、音声の途切れが生じたとする。図示する場合は、ユーザの描画操作として１ストロークが終了した時点、即ち、コマンドを指定するジェスチャーである閉空間Ｈを描画した時点でユーザは発話しており、音声抽出手段１５０は、この前後で検出された音声の途切れが生じる箇所を検出する。そして検出された音声の途切れが生じる箇所を、対象となる音声情報の開始位置および終了位置として特定する。なお途切れを検出するための予め定められた時間は、可変としてもよい。つまりユーザにより早口で話す人の場合は、より短く設定し、そうでない人は、より長く設定する。またユーザが早く話しているときは、より短く設定し、そうでないときは、より長く設定する方法でもよい。

なお音声情報がなかったときは、音声抽出手段１５０は、対象となる音声情報がないとし、抽出は行なわない。またユーザが、連続的に発話し、開始位置および終了位置が検出できない場合がある。この場合、音声抽出手段１５０は、例えば、言語解析を行ない意味的な区切りを検出し、対象となる音声情報を抽出してもよい。また音声抽出手段１５０は、ユーザが発話した音声の抑揚により区切りを検出してもよい。

テキスト変換手段１６０は、音声抽出手段１５０で抽出された音声情報を音声認識し、テキストの情報に変換し、音声テキストとする。音声認識を行なうモジュールとしては、特に限られるものではなく、一般的に市販されているものを使用することができる。なお音声抽出手段１５０で対象となる音声情報が抽出されなかったときは、テキスト変換手段１６０は、空文字列に変換する。

コマンド判定手段１７０は、図形抽出手段１３０で決定されたオブジェクトタイプＴとテキスト変換手段１６０で変換された音声テキストＳとを基に、これらがコマンドとして有効であるか否かを判定する。

具体的には、コマンド判定手段１７０は、オブジェクトタイプＴが「アイコン」であり、音声テキストＳに対応するアイコンが存在するときは、コマンドとして有効であると判定する。対して音声テキストＳに対応するアイコンが存在しないときは、コマンドとして無効であると判定する。なおコマンド判定手段１７０は、音声テキストＳが空文字列である場合は、コマンドとして無効であると判定する。

またコマンド判定手段１７０は、オブジェクトタイプＴが「ボックス」である場合は、音声テキストＳに関わらず有効であると判定する。

さらにコマンド判定手段１７０は、オブジェクトタイプＴが「テキスト」であり、音声テキストＳが空文字列でなければ、コマンドとして有効であると判定する。対して、音声テキストＳが空文字列である場合は、コマンドとして無効であると判定する。

またさらにコマンド判定手段１７０は、オブジェクトタイプＴが「リンク」である場合は、音声テキストＳに関わらず有効であると判定する。

アイコン管理手段１８０は、アイコンを管理する。またアイコン管理手段１８０は、描画情報や音声情報をオブジェクトに変換するためのアイコンを検索する。

アイコン管理手段１８０は、アイコンテーブルによりアイコンの管理を行なう。
図７（ａ）は、アイコンテーブルＩＴについて示した図である。
図示するアイコンテーブルＩＴは、第１列のアイコンＩＤ、第２列のアイコンパス、第３列のアイコン名リストから構成される。アイコンＩＤは、アイコンに付与されるＩＤであり、ここではアイコンＩＤが１と２の場合について図示している。またアイコンパスは、アイコンの画像情報が格納されるファイルの場所を表す。さらにアイコン名リストは、それぞれのアイコンの呼び名である。ここではアイコン名リストは、複数の単語からなる。

コマンド判定手段１７０は、オブジェクトタイプＴが「アイコン」のときに、音声テキストＳをアイコン管理手段１８０に渡す。そしてアイコン管理手段１８０は、アイコン名リストの中に音声テキストＳを含むものが存在するか否かを検索する。そして存在した場合には、アイコン管理手段１８０は、テキスト構造データを作成し、コマンド判定手段１７０に返す。また存在しなかった場合は、アイコン管理手段１８０は、コマンド判定手段１７０に対応するアイコンがないことを返す。

図７（ｂ）は、テキスト構造データＴＤについて示した図である。
図示するテキスト構造データＴＤは、第１列の属性、第２列の値から構成される。第１列の属性は、音声テキストとアイコンＩＤからなり、第２列の値として、それぞれ「ノートＰＣ」、「１」であることが示される。つまりこのテキスト構造データＴＤは、音声テキストＳが「ノートＰＣ」であり、図７（ａ）に示すように、アイコンＩＤが１のアイコン名リストの中に、音声テキストＳと同一の「ノートＰＣ」があるため、アイコンＩＤが「１」となるテキスト構造データＴＤが作成されたことを示す。

なおテキスト構造データＴＤが複数のアイコンＩＤを含む場合がある。つまり音声テキストＳに対応するアイコンＩＤが複数ある場合である。この場合は、アイコン管理手段１８０は、音声テキストＳとアイコン名リストとの類似度を算出する。そして最も類似度の高いときのアイコンＩＤをコマンド判定手段１７０に返す。類似度の算出は、特に限られるものではないが、例えば、部分文字列の一致数（Ｅ）／アイコン名リストの単語数（Ｌ）により算出できる。またアイコン名リストのそれぞれの単語に重みを付与してもよい。

オブジェクト変換手段１９０は、処理手段の一例であり、抽出した図形の種類に基づく処理を行なう。またオブジェクト変換手段１９０は、図形の種類に加え、音声情報に基づき処理を行なう。

本実施の形態では、オブジェクト変換手段１９０で行なう処理は、図形の種類に対応するオブジェクトに変換する処理である。具体的には、オブジェクト変換手段１９０は、図形の種類と音声情報との関係からオブジェクトを決定する。

図８（ａ）〜（ｄ）は、オブジェクト変換手段１９０が図形の種類に対応するオブジェクトに変換する処理について示した図である。ここで矢印より左側の欄は、音声テキストおよびユーザの描画操作を図示している。さらに矢印より右側の欄は、ユーザの描画操作を変換後のオブジェクトを図示している。

上述したように、図形の種類である図形タイプが、「円」である場合、オブジェクトタイプは、「アイコン」となる。そしてこの場合、図８（ａ）に示すように、オブジェクト変換手段１９０は、オブジェクトとして、音声情報が意味するアイコンに変換する。即ち、オブジェクト変換手段１９０は、音声情報をテキストの情報に変換した音声テキストに対応するアイコンに変換する。この場合、音声テキストが、「デスクトップＰＣ」であったため、ユーザが描画した描画操作は、デスクトップＰＣのアイコンのオブジェクトに変換される。

またオブジェクト変換手段１９０は、オブジェクトとして、音声情報が意味するテキストに変換して配する場合がある。

図形タイプが、「四角形」である場合、オブジェクトタイプは、「ボックス」となる。そしてこの場合、図８（ｂ）に示すように、オブジェクト変換手段１９０は、オブジェクトとして、図形に対応する枠の中に、音声情報が意味するテキストが入るように変換する。即ち、オブジェクト変換手段１９０は、四角形の枠の中に音声テキストが入るように変換する。この場合、音声テキストが、「Ｎ事業所」であったため、ユーザが描画した描画操作は、四角形の枠の中に「Ｎ事業所」のテキストが入ったオブジェクトに変換される。なお音声テキストが空文字列であったときは、四角形の枠だけが表示される。つまりオブジェクト変換手段１９０は、音声情報がないときは、オブジェクトとして、図形に対応する枠に変換し、テキストを入れない。

さらに図形タイプが、「線」であり、オブジェクトタイプが、「テキスト」の場合、図８（ｃ）に示すように、オブジェクト変換手段１９０は、オブジェクトとして、図形を描画するときの描画操作の描画方向に沿って、テキストを配する。この場合、音声テキストが、「Ｎ事業所」であったため、ユーザが描画操作として描いた線に沿った、「Ｎ事業所」のテキストのオブジェクトに変換される。

さらに図形タイプが、「線」であり、オブジェクトタイプが、「リンク」の場合、図８（ｄ）に示すように、オブジェクト変換手段１９０は、オブジェクトとして、２つのアイコンを結ぶリンクに変換する。この場合、ユーザが描画操作として描いた線に沿って、リンクを意味する矢印のオブジェクトに変換される。なおここでは、リンクを表すオブジェクトは、矢印としたが、単なる直線とすることもできる。

またオブジェクト変換手段１９０は、図形抽出手段１３０が作成したオブジェクト構造データＯＤと、アイコン管理手段１８０が作成したテキスト構造データＴＤとを用いて、変換するオブジェクトの位置および大きさを決定する。

例えば、オブジェクト構造データＯＤを参照し、オブジェクトタイプＴが「アイコン」の場合、オブジェクト変換手段１９０は、矩形の左上位置の値の箇所に矩形の縦横サイズの値の大きさのアイコンが位置するようにする。

またオブジェクトタイプＴが「ボックス」の場合、オブジェクト変換手段１９０は、矩形の左上位置の値の箇所に矩形の縦横サイズの値の大きさの四角形の枠と、この枠の中に入る音声テキストが位置するようにする。

さらにオブジェクトタイプＴが「テキスト」の場合、オブジェクト変換手段１９０は、ストローク開始位置とストローク終了位置とを結ぶ直線上に音声テキストが配されるようにする。

またさらにオブジェクトタイプＴが「リンク」の場合、オブジェクト変換手段１９０は、ストローク開始位置にある別のオブジェクトからストローク終了位置にある別のオブジェクトを結ぶ矢印が配されるようにする。

つまりこの場合、オブジェクト変換手段１９０は、オブジェクトを配する位置および大きさを、図形が描画された位置および大きさに応じて決定する。なおオブジェクトを配した後で、その位置および大きさを変えられるようにしてもよい。この場合、ユーザは、図形の大きさや位置を正確に描画する必要がなくなり、ユーザの利便性が向上する。

＜情報処理装置１０の動作の説明＞
次に情報処理装置１０の動作について説明する。
図９は、情報処理装置１０の動作について説明したフローチャートである。
まず受付手段１１０が、ユーザの描画操作についての情報である描画情報、およびユーザの音声の情報である音声情報を受け取る（ステップ１０１）。取得した音声情報は、音声保持手段１４０が、予め定められた時間保持する。（ステップ１０２）。

次に、ジェスチャー認識手段１２０が、ユーザがコマンドを指定するジェスチャーを行なったか否かを判断する（ステップ１０３）。これは、ユーザの１ストロークの描画操作が終了したときに、最後に上述した閉空間Ｈ等を描画したか否かで判断することができる。
その結果、ジェスチャーを行なわなかった場合（ステップ１０３でＮｏ）、ステップ１０１に戻る。
一方、ジェスチャーを行なった場合（ステップ１０３でＹｅｓ）、図４に示したように、図形抽出手段１３０が、ユーザが描画した図形タイプを抽出し、さらにオブジェクトタイプを決定する（ステップ１０４）。また図形抽出手段１３０は、図５に示したオブジェクト構造データＯＤを作成する（ステップ１０５）。

次に音声抽出手段１５０が、音声情報の抽出を行なう（ステップ１０６）。これは図６に示したように、音声保持手段１４０に保持されている音声情報から、テキストの情報に変換するための対象となる音声情報を音声の途切れを利用して特定する。

そしてテキスト変換手段１６０が、音声抽出手段１５０が抽出した音声情報に対し、音声認識を行ないテキストの情報である音声テキストに変換する（ステップ１０７）。

次に、コマンド判定手段１７０が、図形抽出手段１３０で決定されたオブジェクトタイプとテキスト変換手段１６０で変換された音声テキストとを基に、これらがコマンドとして有効であるか否かを判定する（ステップ１０８）。
その結果、有効でない（無効である）場合（ステップ１０８でＮｏ）、一連の処理を終了する。

一方、有効である場合（ステップ１０８でＹｅｓ）、コマンド判定手段１７０が、オブジェクトタイプがアイコンであるか否かを判断する（ステップ１０９）。
その結果、オブジェクトタイプがアイコンでない場合（ステップ１０９でＮｏ）、ステップ１１３に移行する。

対してオブジェクトタイプがアイコンである場合（ステップ１０９でＹｅｓ）、アイコン管理手段１８０は、図７（ａ）に示すアイコンテーブルを参照し、アイコン名リストの中に音声テキストを含むものが存在するか否かを判断する（ステップ１１０）。
そして存在した場合（ステップ１１０でＹｅｓ）、アイコン管理手段１８０は、図７（ｂ）に示すテキスト構造データを作成し、コマンド判定手段１７０に返す（ステップ１１１）。
また存在しなかった場合（ステップ１１０でＮｏ）、アイコン管理手段１８０は、コマンド判定手段１７０に対応するアイコンがないことを返す（ステップ１１２）。

そして、図８に示すように、オブジェクト変換手段１９０が、図形の種類と音声情報との関係からオブジェクトを決定する（ステップ１１３）。

さらにオブジェクト変換手段１９０は、描画情報をオブジェクトに変換する（ステップ１１４）。

そしてオブジェクト変換手段１９０は、オブジェクトの表示情報を表示装置２０に対し出力する（ステップ１１５）。
これにより表示装置２０では、ユーザの描画操作が消去され、変換後のオブジェクトが表示される。

図１０は、ユーザの描画操作をオブジェクトに変換したときに、表示装置２０に表示される画面の例を示した図である。
図示する例は、クラウドサービスについて示した図である。そしてオブジェクトとして、アイコンＩ１〜Ｉ７、ボックスＢ１、テキストＴｘ１〜Ｔｘ４、リンクＲ１〜Ｒ６が図示されている。

ここでは、店舗のアイコンＩ１および「Ｄ店」のテキストＴｘ１により、Ｄ店を表し、ここから「Ｃｌｏｕｄ」のテキストＴｘ２が付されたクラウドのアイコンＩ２により表されるクラウドに対し、データがアップロードされることをリンクＲ１により表している。

一方、「サーバ」のテキストＴｘ３が付されたサーバのアイコンＩ３により表されるサーバからもデータがアップロードされることをリンクＲ２により表している。またこのサーバから、ＨＤＤのアイコンＩ４により表されるＨＤＤにデータが保存されることをリンクＲ３により表している。

さらに「ＰＣ」のテキストＴｘ４が付されたＰＣのアイコンＩ５により表されるＰＣからデータがサーバに送られることをリンクＲ４により表している。そしてこのＰＣからは、プリンタのアイコンＩ６により表されるプリンタに対し、データが送られることをリンクＲ５により表している。

またさらにこのＰＣには、スマートフォンのアイコンＩ７により表されるスマートフォンから、データが送られることをリンクＲ６により表している。そしてこのサーバ、ＨＤＤ、ＰＣ、プリンタ、スマートフォンは、ボックスＢ１の中に包含され、例えば、１つの会社内にあることを示している。

＜効果の説明＞
従来、ペンやマウスなどのポインティングデバイスなどの複数の入力手段を組みわせて、ユーザがコマンドの入力を行なう場合、例えば、プレゼンテーション中に行なうことは想定されていない。そのため、例えば、音声については、常にコマンドを受け付ける状態（コマンドモード）となる。しかしプレゼンテーション中では、例えば、相手と同じ表示画面２０ａを共有し、指差をしながら議論等を行なうような場合に、ユーザの意図しない動作（意図せずにオブジェクトが挿入される、意図せずにオブジェクトが移動するなど）をすることがあり、使い勝手がよくないものとなる。

これを抑制するため、コマンドモードの指定をすることが考えられるが、コマンドモードをポインティングデバイス等により指定する場合、従来は、描画の際に、その開始と終了とを指定することが必要であり、作業効率が低下しやすい問題があった。またこの操作は、プレゼンテーションや議論のスムーズな流れを阻害しやすい問題もある。さらに何かを描画する際に、ユーザは、常にコマンドモードでの描画や発話であるかどうかを意識する必要があり、ユーザに対する負担が大きい問題もある。

この場合、描画や発話の前にコマンドモードに入る操作を行なうことは難しいが、描画や発話の後に、これまでコマンドモードであったことを指定する操作を行なうことは比較的容易である。また音声によりこれを指定することは、プレゼンテーションの際に、これとは関係のない発話を行なう必要が生じ、コミュニケーションを阻害しやすくなる。よって本実施の形態では、コマンドモードの指定を描画操作の最後に行なうこととし、これを予め定められたジェスチャーで行なう。そしてこのジェスチャーを行なった時より、描画操作および音声について、時間的に遡って解析を行ない、コマンドを認識する。なお音声については、必須ではなく、描画操作だけでコマンドを認識する場合もある

図１１（ａ）〜（ｂ）は、本実施の形態においてコマンドモードの開始と終了を決める方法について示した図である。ここで横方向は時間を表し、時間Ｔ１〜時間Ｔ２の間に描画操作が行われ、時間Ｔ３〜時間Ｔ４の間に発話し、ユーザの音声が存在することを示している。
このうち図１１（ａ）は、ユーザの描画操作が終了した時点、即ち、コマンドを指定するジェスチャーである閉空間Ｈを描画した時点で、ユーザの発話が終了し、音声が存在しない場合を示し、図１１（ｂ）は、この時点でユーザの発話がまだ終了せず、音声が継続している場合を示す。

いずれの場合も描画操作の途切れ（１ストローク前後の描画を行なわない期間）や音声の途切れを利用しコマンドモードの開始と終了を決める。即ち、図１１（ａ）の場合は、音声の開始時間である時間Ｔ３〜描画操作の終了時間である時間Ｔ２の間をコマンドモードの期間であるとする。また図１１（ｂ）の場合は、描画操作の開始時間である時間Ｔ１〜音声の終了時間である時間Ｔ４の間をコマンドモードの期間であるとする。

このように本実施の形態では、コマンドモードの指定を描画操作の最後に行えば、これを基に、描画操作や音声の途切れを利用してコマンドモードの開始と終了を決めることができる。

以上説明したように、本実施の形態によれば、コマンドを入力する際により容易に入力を行なうことができ、コミュニケーションを阻害しにくく、さらにその開始を指定する必要がなく、作業効率が低下しにくい情報処理装置１０等が提供できる。

なお以上説明した例では、プレゼンテーションを行なう場合に本実施の形態の情報処理装置１０を使用する場合について説明を行なったが、これに限られるものではない。例えば、教育用途に使用することができる。

また以上説明した例では、描画操作として１ストロークの場合について説明を行なったがこれに限られるものではなく、２ストローク以上を対象とし、ここからジェスチャーや図形の種類を抽出してもよい。

＜プログラムの説明＞
ここで以上説明を行った本実施の形態における情報処理装置１０が行なう処理は、例えば、アプリケーションソフトウェア等のプログラムとして用意される。

よって本実施の形態で情報処理装置１０が行なう処理は、コンピュータに、ユーザによる描画操作についての情報である描画情報を受け付ける受付機能と、描画情報を基に描画操作の最後の部分が、ユーザがコマンドを指定するジェスチャーであることを認識する認識機能と、ジェスチャーを行なった時より過去に遡って、ユーザが描画した図形の種類を抽出する抽出機能と、抽出した図形の種類に基づく処理を行なう処理機能と、を実現させるためのプログラムとして捉えることができる。

なお、本実施の形態を実現するプログラムは、通信手段により提供することはもちろん、ＣＤ−ＲＯＭ等の記録媒体に格納して提供することも可能である。

以上、本実施の形態について説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、種々の変更または改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。

１…情報処理システム、１０…情報処理装置、２０…表示装置、２０ａ…表示画面、１１０…受付手段、１２０…ジェスチャー認識手段、１３０…図形抽出手段、１４０…音声保持手段、１５０…音声抽出手段、１６０…テキスト変換手段、１７０…コマンド判定手段、１８０…アイコン管理手段、１９０…オブジェクト変換手段

Claims (21)

1. ユーザによる描画操作についての情報である描画情報を受け付ける受付手段と、
   前記描画情報を基に描画操作の最後の部分が、ユーザがコマンドを指定するジェスチャーであることを認識する認識手段と、
   前記ジェスチャーを行なった時より過去に遡って、ユーザが描画した図形の種類を抽出する抽出手段と、
   抽出した前記図形の種類に基づく処理を行なう処理手段と、
   を備える情報処理装置。
2. 前記受付手段は、ユーザの描画操作中の音声の情報である音声情報をさらに受け付け、
   前記処理手段は、前記図形の種類に加え、前記音声情報に基づき前記処理を行なうことを特徴とする請求項１に記載の情報処理装置。
3. 前記処理手段は、前記ジェスチャーの前後の音声情報に基づき前記処理を行なうことを特徴とする請求項２に記載の情報処理装置。
4. 前記抽出手段は、前記処理を行なうための対象となる音声情報を音声の途切れを利用して特定することを特徴とする請求項３に記載の情報処理装置。
5. 前記処理手段は、前記図形の種類に対応するオブジェクトに変換する処理を行なうことを特徴とする請求項２に記載の情報処理装置。
6. 前記処理手段は、前記図形の種類と前記音声情報との関係から前記オブジェクトを決定することを特徴とする請求項５に記載の情報処理装置。
7. 前記処理手段は、前記オブジェクトとして、前記音声情報が意味するアイコンに変換することを特徴とする請求項６に記載の情報処理装置。
8. 前記処理手段は、前記オブジェクトとして、２つのアイコンを結ぶリンクに変換することを特徴とする請求項６に記載の情報処理装置。
9. 前記処理手段は、前記オブジェクトとして、前記音声情報が意味するテキストに変換して配することを特徴とする請求項６に記載の情報処理装置。
10. 前記処理手段は、前記オブジェクトとして、前記図形に対応する枠の中に、前記音声情報が意味するテキストが入るように変換することを特徴とする請求項９に記載の情報処理装置。
11. 前記処理手段は、前記音声情報がないときは、前記オブジェクトとして、前記図形に対応する枠に変換し、テキストを入れないことを特徴とする請求項９に記載の情報処理装置。
12. 前記処理手段は、前記オブジェクトとして、前記図形を描画するときの描画操作の描画方向に沿って、前記テキストを配することを特徴とする請求項９に記載の情報処理装置。
13. 前記処理手段は、前記オブジェクトを配する位置および大きさを、前記図形が描画された位置および大きさに応じて決定することを特徴とする請求項５に記載の情報処理装置。
14. 前記認識手段は、予め定められた形状をユーザが描画したときに、前記ジェスチャーであると認識することを特徴とする請求項１に記載の情報処理装置。
15. 前記予め定められた形状は、閉空間を表す形状であることを特徴とする請求項１４に記載の情報処理装置。
16. 前記認識手段は、予め定められた大きさ以下の閉空間を表す形状を前記ジェスチャーであると認識することを特徴とする請求項１５に記載の情報処理装置。
17. 前記認識手段が行なう前記ジェスチャーの認識および前記抽出手段が行なう前記図形の種類の抽出は、描画操作の中から行なうことを特徴とする請求項１に記載の情報処理装置。
18. 前記認識手段が行なう前記ジェスチャーの認識および前記抽出手段が行なう前記図形の種類の抽出は、一筆書きの描画操作の中から行なうことを特徴とする請求項１７に記載の情報処理装置。
19. 前記抽出手段は、前記ジェスチャーの描画操作以外の部分を前記図形であるとすることを特徴とする請求項１８に記載の情報処理装置。
20. ユーザの描画操作を基に画像を表示する表示装置と、
    描画操作を基に前記表示装置で表示する画像の表示情報を作成する情報処理装置と、
    を備え、
    前記情報処理装置は、
    ユーザによる描画操作についての情報である描画情報を受け付ける受付手段と、
    前記描画情報を基に描画操作の最後の部分が、ユーザがコマンドを指定するジェスチャーであることを認識する認識手段と、
    前記ジェスチャーを行なった時より過去に遡って、ユーザが描画した図形の種類を抽出する抽出手段と、
    抽出した前記図形の種類に基づく処理を行なう処理手段と、
    を備える情報処理システム。
21. コンピュータに、
    ユーザによる描画操作についての情報である描画情報を受け付ける受付機能と、
    前記描画情報を基に描画操作の最後の部分が、ユーザがコマンドを指定するジェスチャーであることを認識する認識機能と、
    前記ジェスチャーを行なった時より過去に遡って、ユーザが描画した図形の種類を抽出する抽出機能と、
    抽出した前記図形の種類に基づく処理を行なう処理機能と、
    を実現させるためのプログラム。

Images