JP4741908B2 - 情報処理装置及び情報処理方法 - Google Patents

Description

本発明は、情報処理装置及び情報処理方法に関する。

従来、デジタイザ付きのＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｃｅ）、大画面ディスプレイ等、手書き入力手段を備えた情報処理装置が存在する。このような情報処理装置では、画面上に表示されたグラフィカルユーザインターフェース（ＧＵＩ：Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）をキーボードやマウスを用いて操作することが一般的に行われている。また、このような情報処理装置では、ＧＵＩに対して手書き入力によるコマンド実行の指示操作が可能な機能を有するものがある。このような情報処理装置は会議システム等で用いられている。

例えば特許文献１には、タブレット上をペン型指示装置（スタイラスペン）でなぞったり触れたりすることで、モニタ上で図形の描画、文字の入力、項目の選択を行う装置が開示されている。

特開２００４−３４２０２４号公報

本出願人は、上述した先行技術を改良し、会議等において、一般の文書や、原稿をスキャンして電子化されたデータを用いて発表を行う場合等の操作手法を開発している。例えば、スキャンした原稿データを用いて発表を従来の技術を用いて行う場合、発表者が操作指示の選択に手間取るシチュエーションが想定される。また、できるだけ原稿データを最大化して表示したいという要望もある。

本発明は上記の点に鑑みなされたもので、表示中の原稿データに対する操作性を向上させることを目的とする。

そこで、上記問題を解決するため、本発明の情報処理装置は、手書きコマンドと画像領域とを含む紙の原稿をスキャンして得たスキャン原稿から、前記手書きコマンドに対応するＧＵＩ部品の表示画面における表示位置と、前記画像領域に対応するオブジェクトの前記表示画面における表示位置と、を取得する取得手段と、前記ＧＵＩ部品の表示位置と前記オブジェクトの表示位置とに基づいて、前記ＧＵＩ部品と前記オブジェクトとが重なっているかを判定する判定手段と、前記ＧＵＩ部品と前記オブジェクトとが重なっていると判定された場合は、前記ＧＵＩ部品に対する操作を受け付けると前記オブジェクトに対する処理を実行する実行手段と、を有することを特徴とする。

また、上記問題を解決するため、本発明は、情報処理方法及びプログラムとしてもよい。

本発明によれば、表示中の原稿データに対する操作性を向上させることができる。具体的には、操作指示の選択を直感的に行うことができる。また、原稿の表示を最大限に表示することができる。

以下、本発明の実施の形態について図面に基づいて説明する。

図１は、情報処理装置としての表示装置のハードウェア構成を示すブロック図である。図１において、入力部１は、ネットワーク等を介して複合機によってスキャンされた原稿データを入力する。ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２は、各種処理のための演算、論理判断等を行い、バス６に接続された表示装置の各構成要素を制御する。また、ＣＰＵ２は、後述するプログラムメモリ４に格納されているプログラムを実行することで、後述するような機能を提供したり、後述するようなフローチャートを実行したりする。

出力部３は、データを出力する。なお、出力部３としては、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）等によって構成される表示デバイスである。プログラムメモリ４は、プログラムを格納するメモリである。プログラムメモリ４は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）であってもよいし、外部記憶装置又は記憶媒体等からプログラムがロードされるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）であってもよい。

データメモリ５は、各種処理で生じたデータを格納する。なお、データメモリ５に格納される電子データとしては、例えば、後述するスキャン原稿、スキャン原稿と関連付けられたＧＵＩ部品（又はＧＵＩ部品データ）、手書きコマンドが除去されたスキャン原稿、登録データ等がある。また、データメモリ５は、例えば、ＲＡＭである。２次記憶装置７は、ハードディスクドライブ等の不揮発性の記憶媒体によって構成される。データメモリ５は、２次記憶装置７から処理に先立って、処理に必要なデータをロードしておくか、或いは必要があるごとに２次記憶装置７に格納されているデータを参照する。バス６は、ＣＰＵ２の制御の対象とする各構成要素を指示するアドレス信号、ＣＰＵ２が各構成要素を制御するためのコントロール信号、各構成要素間で相互にやりとりされるデータ等、の転送を行うためのバスである。

図２は、表示システムの構成を示すブロック図である。

図２では、紙原稿２１が複合機２２でスキャンされ、原稿２１に対応する電子化された原稿データとしてのスキャン原稿２４が、表示装置２３の表示画面に表示されている。また、図２では、原稿２１上の手書きコマンド２５及び２６に対応した認識結果が、表示装置２３の表示画面上で操作可能なＧＵＩ部品２７及び２８として生成され表示されている。ここで、ＧＵＩ部品２７は、手書きコマンド２５に対応し、ＧＵＩ部品２８は、手書きコマンド２６に対応している。なお、本実施の形態において、ＧＵＩとは、視覚的に表現され、ユーザ（操作者）がポインティングデバイス等によって操作を直感的に行うことができるグラフィカルユーザインターフェースのことである。

図３は、図２に示す表示システムの機能構成を示すブロック図である。なお、図３では、説明の簡略化のため、機能に基づき、原稿読取装置３１と、表示装置３２と、記録装置３３と、に分けた例を示してある。図３において、原稿読取装置３１は図２の複合機２２に含まれ、表示装置３２は図２の表示装置２３に対応する。また、記録装置３３は、図１のデータメモリ５に対応する。また、データベース３５は、図１の２次記憶装置７に対応する。即ち、本実施の形態においては、データベース３５は表示装置２３に内蔵されるものとするが、外部装置として構成してもよい。

図３に示した原稿２１は、原稿読取装置３１のスキャン部によりスキャンされる。スキャン原稿解釈部は、スキャン原稿を解釈し、ＧＵＩ部品生成部は、スキャン原稿解釈部が解釈した結果等に基づいてＧＵＩ部品を生成する。スキャン原稿及び生成されたＧＵＩ部品は、ネットワーク３４を介して表示装置３２及び記録装置３３に送られる。

表示装置３２は、送られてきたスキャン原稿及びＧＵＩ部品を共に表示し、ユーザによる操作を受付ける。また、記録装置３３は、送られてきたスキャン原稿及びＧＵＩ部品を関連付けてデータベース３５に記録し、ユーザからの操作に応じて、記録したデータを読み出す。

図４は、表示システムの機能構成をより詳細説明するための図である。これらの機能は、図２に示す複合機２２及び表示装置２３のハードウェア構成によって達成される。

図４に示されるように、表示システムは、主な機能として、スキャン＆表示部４１と、実行部４２と、ＧＵＩ部品変更部４３と、を含む。スキャン＆表示部４１は、原稿をスキャンして表示装置２３の表示画面に表示する。実行部４２は、ディスプレイ上のＧＵＩ部品や、メニュー項目を用いたユーザの操作指示に応じて、処理を実行する。ＧＵＩ部品変更部４３は、表示されているＧＵＩ部品を変更する。

また、スキャン＆表示部４１は、スキャン部４８と、スキャン原稿解釈部４９と、スキャン原稿表示部４ｇと、を含む。スキャン部４８は、原稿をスキャンする。スキャン原稿解釈部４９は、スキャン部４８がスキャンし、電子化データとして生成したスキャン原稿４４を解釈する。スキャン原稿表示部４ｇは、スキャン原稿解釈部４９が解析した結果である、手書きコマンドの除去後のスキャン原稿４５や、ＧＵＩ部品４６等を表示する。

また、スキャン原稿解釈部４９は、指示解釈部４ａと、指示対象特定部４ｂと、手書きコマンド除去部４ｃと、動作内容特定部４ｄと、動作内容関連付け部４ｅと、ＧＵＩ部品生成部４ｆと、を含む。指示解釈部４ａは、スキャン原稿４４上の手書きコマンドを解釈し、手書きコマンドが指示する処理を特定する。なお、手書きコマンドが指示する処理とは、例えば、印刷や、再生、次ページ、音量変更、送信等の処理である。指示対象特定部４ｂは、実行可能処理定義データ４７を参照して手書きコマンドの指示対象のデータ（指示対象オブジェクト）を特定する。なお、ここで、指示対象オブジェクトとは、例えば、動画、静止画、スキャン原稿自体（又はスキャン原稿全体）等、指示対象のデータのことである。手書きコマンド除去部４ｃは、手書きコマンドをスキャン原稿から除去し、除去後のスキャン原稿４５を生成する。動作内容特定部４ｄは、手書きコマンドが指示する処理の動作内容を特定する。動作内容関連付け部４ｅは、手書きコマンドと、手書きコマンドが指示する処理の動作内容とを関連付ける。ＧＵＩ部品生成部４ｆは、手書きコマンド等に対応するＧＵＩ部品４６及びＧＵＩ部品４６に対応するＧＵＩ部品データを生成する。例えば、ＧＵＩ部品生成部４ｆは、指示解釈部４ａが特定した手書きコマンドが指示する処理、指示対象特定部４ｂが特定した指示対象オブジェクト等に応じて、ＧＵＩ部品４６及びＧＵＩ部品４６に対応するＧＵＩ部品データを生成する。

また、スキャン原稿表示部４ｇは、除去後のスキャン原稿表示部４ｈと、ＧＵＩ部品表示部４ｉと、を含む。除去後のスキャン原稿表示部４ｈは、除去後のスキャン原稿４５を表示する。ＧＵＩ部品表示部４ｉは、ＧＵＩ部品４６を表示する。

また、実行部４２は、メニュー実行指示解釈部４ｍと、ＧＵＩ部品実行指示解釈部４ｎと、実行許可判定部４ｏと、処理実行部４ｐと、を含む。メニュー実行指示解釈部４ｍは、メニュー項目による処理の実行指示を解釈する。ＧＵＩ部品実行指示解釈部４ｎは、ＧＵＩ部品４６による処理の実行指示を解釈する。実行許可判定部４ｏは、指示された処理が実行可能な否かを判定する。処理実行部４ｐは、指示された処理を実行する。

また、ＧＵＩ部品変更部４３は、有効ＧＵＩ部品一覧部４ｊと、ＧＵＩ部品置換部４ｋと、次善指示対象特定部４ｌと、を含む。有効ＧＵＩ部品一覧部４ｊは、変更可能な有効ＧＵＩ部品を一覧表示する。ＧＵＩ部品置換部４ｋは、指示されたＧＵＩ部品と、ＧＵＩ部品とを、置換する。次善指示対象特定部４ｌは、求めるＧＵＩ部品４６が、有効ＧＵＩ部品一覧部４ｊが表示している一覧上に存在しない場合に次善の指示対象を特定する。

（第１の実施の形態）
以下、図５から図１５を用いて、画像形成装置２２においてスキャンされた手書きコマンドが記入された原稿に基づいて、表示装置２３の表示画面上に原稿と共に手書きコマンドに対応するＧＵＩ部品が表示される形態について説明する。さらに、表示装置２３が、手書きコマンドとして解釈した部分をスキャン原稿から除去して表示する例について説明する。

図５は、第１の実施形態におけるスキャン対象となる手書きコマンドが記入されている紙等の原稿の一例を示す図である。図５に示される原稿５１は、テキスト領域５２と、画像領域５３と、を含み、更に手書きコマンド５４が手書きで記述されている。

図６は、第１の実施形態におけるディスプレイに表示された表示画面の一例を示す図である。表示装置２３上には図５に示した原稿５１に対応する電子化されたデータであるスキャン原稿２４が表示されている。スキャン原稿２４は、テキスト領域６２と、画像領域６３と、を含む。また、ディスプレイ６５上には図５の手書きコマンド５４から生成された「印刷ボタン」のＧＵＩ部品６４が表示されている。

図７は、第１の実施形態における表示装置２３に表示されたＧＵＩ部品のデータ（付属情報）の一例を示す図である。ＧＵＩ部品データ７１は、ＧＵＩ部品に対応する機能の情報と、相対表示位置及びサイズの情報と、を含む。図７に示されるＧＵＩ部品データ７１は、例えば、図６で示したＧＵＩ部品６４等に対応する。図７に示されるＧＵＩ部品データ７１は、指示対象に対する処理の機能として「印刷」が記録され、相対表示位置及びサイズとして（７０，１０），（９０，２５）が記録されていることを表している。図７に示すデータは、データメモリ５に格納される。

図８は、第１の実施形態における表示システムの全体処理の一例を示すフローチャートである。以下に説明する処理は、表示装置２３のＣＰＵ２あるいは画像形成装置２２の不図示のＣＰＵが予めそれぞれの装置に格納されたプログラムに基づいて実行するものとする。ステップＳ８０１において、画像形成装置２２及び表示装置２３のそれぞれは、操作画面を表示する等の初期化動作を行う。続いてステップＳ８０２において、画像形成装置２２及び表示装置２３のそれぞれは、ユーザ操作処理を行い、ユーザの操作（又はＥｖｅｎｔ）を受け付ける。

続いてステップＳ８０３において、画像形成装置２２及び表示装置２３において、Ｅｖｅｎｔの判定を行う。画像形成装置２２は、ユーザによるスキャン＆表示指示の検出が行われるとステップＳ８０４に進む。また、表示装置２３において実行指示を検出するとステップＳ８０７に進み、表示装置２３においてＧＵＩ部品変更指示を検出するとステップＳ８０８に進む。

ステップＳ８０４では、画像形成装置２２が、スキャン処理を行い、手書きコマンドが書かれた原稿をスキャンして電子化データとしてのスキャン原稿を取得し、表示装置２３に転送する。続いてステップＳ８０５において、表示装置２３は、スキャン原稿解釈処理を行い、例えばスキャン原稿中の手書きコマンドをＧＵＩ部品として解釈する。なお、表示装置２３によるスキャン原稿解釈処理の詳細は、後述する図９に示す。続いてステップＳ８０６において表示装置２３は、スキャン原稿表示処理を行い、手書きコマンドを除去したスキャン原稿と共にＧＵＩ部品を表示し、ステップＳ８０２の処理に戻る。ＧＵＩ部品は、手書きコマンドが記述された位置に対応した同様の位置に表示される。なお、表示装置２３によるスキャン原稿表示処理の詳細は、後述する図１３に示す。

一方、ステップＳ８０７では、表示装置２３が、ユーザに指示されたメニュー項目やＧＵＩ部品に対応する処理を実行し、ステップＳ８０２の処理に戻る。なお、表示装置２３による実行処理の詳細は、後述する図１５に示す。また、ステップＳ８０８では、表示装置２３が、ＧＵＩ部品変更（又は置換）処理を行い、表示中のＧＵＩ部品を、指示されたＧＵＩ部品に変更し、ステップＳ８０２の処理に戻る。なお、表示装置２３によるＧＵＩ部品変更処理の詳細は、後述する図３１に示す。

図９は、表示装置２３によるスキャン原稿解釈処理の一例を示すフローチャートである。なお、図９に示す処理は、表示装置２３による機能として、図４に示したスキャン原稿解釈部４９が処理を行う（ハードウェアとしてはＣＰＵ２によって処理が行われる）ものとして説明を行う。

ステップＳ９０１において、スキャン原稿解釈部４９は、指示解釈処理を行い、電子化されたデータであるスキャン原稿中の手書きコマンドを解釈し、手書きコマンドが指示する処理を特定する。続いてステップＳ９０２において、スキャン原稿解釈部４９は、ステップＳ９０１における解釈の結果に基づいて、手書きコマンドによる指示が有るか否かを判断する。スキャン原稿解釈部４９は、手書きコマンドによる指示が有ると判断すると、ステップＳ９０３に進み、手書きコマンドによる指示がないと判断すると、スキャン原稿解釈処理を終了する。

ステップＳ９０３では、スキャン原稿解釈部４９が、指示対象特定処理を行い、手書きコマンドの指示対象オブジェクト等を特定する。なお、指示対象特定処理の詳細は、後述する図１９に示す。続いてステップＳ９０４において、スキャン原稿解釈部４９は、ステップＳ９０３における手書きコマンドの指示対象オブジェクト等の特定が成功したか否かを判定する。スキャン原稿解釈部４９は、ステップＳ９０３における手書きコマンドの指示対象オブジェクト等の特定が成功したと判定すると、ステップＳ９０５に進み、前記特定が成功しなかったと判定すると、スキャン原稿解釈処理を終了する。

ステップＳ９０５では、スキャン原稿解釈部４９が、手書きコマンド除去処理を行い、手書きコマンドをスキャン原稿から除去する。なお、手書きコマンド除去処理の詳細は、後述する図１１に示す。続いてステップＳ９０６において、スキャン原稿解釈部４９は、動作内容特定処理を行い、手書きコマンドが指示する処理の動作内容を原稿上に記述された文字列や、原稿に埋め込まれた電子透かし、ユーザが決定（又は入力）する定義データ等から特定する。なお、動作内容特定処理の詳細は、後述する図４５に示す。

続いてステップＳ９０７において、スキャン原稿解釈部４９は、動作内容の関連付け処理を行い、手書きコマンドと、ステップＳ９０６において特定した手書きコマンドが指示する処理の動作内容と、を関連付ける。なお、動作内容関連付け処理の詳細は、後述する図４６に示す。ステップＳ９０８において、スキャン原稿解釈部４９は、ステップＳ９０７において関連付けられた手書きコマンド及び手書きコマンドが指示する処理の動作内容と、後述する図１０に示される手書きコマンド定義データと、に基づいて、ＧＵＩ部品生成処理を行う。ＧＵＩ部品生成処理の結果、スキャン原稿解釈部４９は、ステップＳ９０７において関連付けられた手書きコマンド及び手書きコマンドが指示する処理の動作内容に対応するＧＵＩ部品を生成し、スキャン原稿解釈処理を終了する。なお、ＧＵＩ部品生成処理の詳細は、後述する図１２に示す。

図１０は、手書きコマンド定義データの一例を示す図である。図１０に示されるように、手書きコマンド定義データは、手書きコマンドの情報であるストローク情報と、実行指示に係るコマンド（機能コマンド）と、表示装置２３の表示画面上に表示されるＧＵＩ部品と、を含む。例えば、手書きコマンド定義データ１０１には、図５のスキャン原稿上の手書きコマンド５４と同一のストローク情報が定義されている。また、手書きコマンド定義データ１０１には、図５のスキャン原稿上の手書きコマンド５４に対応する「印刷」コマンドが定義されている。また、手書きコマンド定義データ１０１には、図６の「印刷ボタン」のＧＵＩ部品６４と同一のＧＵＩ部品が定義されている。手書きコマンド定義データは、データメモリ５に格納される。

図１１は、手書きコマンド除去処理の一例を示すフローチャートである。なお、図１１に示す処理は、スキャン原稿解釈部４９の、図４に示した手書きコマンド除去部４ｃが処理を行うものとして説明を行う。

ステップＳ１１０１において、手書きコマンド除去部４ｃは、例えば変数である「処理対象」に、抽出された手書きコマンドを識別する値等をセットし、「処理対象」を初期化する。例えば、抽出された手書きコマンドが２つ存在した場合、手書きコマンド除去部４ｃは、例えば変数である「処理対象」に、抽出された手書きコマンドの１つ目を示す値をセットする。

ステップＳ１１０２において、手書きコマンド除去部４ｃは、「処理対象」にセットされている値に対応する、抽出された手書きコマンドが存在するか否かを判定する。手書きコマンド除去部４ｃは、「処理対象」にセットされている値に対応する、抽出された手書きコマンドが存在すると判定すると（ステップＳ１１０２において「有り」）、ステップＳ１１０３に進む。また、手書きコマンド除去部４ｃは、「処理対象」にセットされている値に対応する、抽出された手書きコマンドが存在しないと判定すると（ステップＳ１１０２において「無し」）、手書きコマンド除去処理を終了する。

ステップＳ１１０３では、手書きコマンド除去部４ｃが、対応ストローク除去処理を行い、「処理対象」にセットされている値に対応する手書きコマンドを削除する。つまり、手書きコマンド除去部４ｃは、処理対象の手書きコマンドに対応したストロークをスキャン原稿から除去する。続いてステップＳ１１０４において、手書きコマンド除去部４ｃは、「処理対象」にセットされている値を、例えば１つ進め、ステップＳ１１０２に戻る。

図１２は、ＧＵＩ部品生成処理の一例を示すフローチャートである。なお、図１２に示す処理は、スキャン原稿解釈部４９の、図４に示したＧＵＩ部品生成部４ｆが処理を行うものとして説明を行う。

ステップＳ１２０１において、ＧＵＩ部品生成部４ｆは、例えば変数である「処理対象」に、抽出された手書きコマンドを識別する値等をセットし、「処理対象」を初期化する。例えば、抽出された手書きコマンドが２つ存在した場合、手書きコマンド除去部４ｃは、例えば変数である「処理対象」に、抽出された手書きコマンドの１つ目を示す値をセットする。

ステップＳ１２０２において、ＧＵＩ部品生成部４ｆは、「処理対象」にセットされている値に対応する、抽出された手書きコマンドが存在するか否かを判定する。ＧＵＩ部品生成部４ｆは、「処理対象」にセットされている値に対応する、抽出された手書きコマンドが存在すると判定すると（ステップＳ１２０２において「有り」）、ステップＳ１２０３に進む。また、ＧＵＩ部品生成部４ｆは、「処理対象」にセットされている値に対応する、抽出された手書きコマンドが存在しないと判定すると（ステップＳ１２０２において「無し」）、ＧＵＩ部品生成処理を終了する。

ステップＳ１２０３では、ＧＵＩ部品生成部４ｆが、相対位置サイズ決定処理を行い、「処理対象」にセットされている値に対応する手書きコマンドに対応したストロークのスキャン原稿に対する相対位置と、サイズと、を求める。続いてステップＳ１２０４において、ＧＵＩ部品生成部４ｆは、ＧＵＩ部品生成処理を行い、ステップＳ１２０３において求めた相対位置（相対表示位置）上に表示すべく、求めたサイズでＧＵＩ部品を生成する。

続いてステップＳ１２０５において、ＧＵＩ部品生成部４ｆは、「処理対象」にセットされている値を、例えば１つ進め、ステップＳ１２０２に戻る。

図１３は、スキャン原稿表示処理の一例を示すフローチャートである。なお、図１３に示す処理は、表示装置２３の機能として、図４に示したスキャン原稿表示部４ｇが処理を行うものとして説明を行う。

ステップＳ１３０１において、スキャン原稿表示部４ｇは、除去後のスキャン原稿表示処理を行い、手書きコマンドが除去された状態のスキャン原稿を表示装置２３に表示する。続いてステップＳ１３０２において、スキャン原稿表示部４ｇは、例えばスキャン原稿中の手書きコマンドの解釈等に基づいて、手書きコマンドによる指示が有るか否かを判断する。スキャン原稿表示部４ｇは、手書きコマンドによる指示が有ると判断すると、ステップＳ１３０３に進み、手書きコマンドによる指示がないと判断すると、スキャン原稿表示処理を終了する。

ステップＳ１３０３では、スキャン原稿表示部４ｇが、ＧＵＩ部品表示処理を行い、手書きコマンドによる指示に対応するＧＵＩ部品を表示する。なお、ＧＵＩ部品表示処理の詳細は、後述する図１４に示す。

図１４は、ＧＵＩ部品表示処理の一例を示すフローチャートである。なお、図１４に示す処理は、スキャン原稿表示部４ｇの、図４に示したＧＵＩ部品表示部４ｉが処理を行うものとして説明を行う。

ステップＳ１４０１において、ＧＵＩ部品表示部４ｉは、例えば変数である「処理対象」に、抽出された手書きコマンドを識別する値等をセットし、「処理対象」を初期化する。例えば、抽出された手書きコマンドが２つ存在した場合、ＧＵＩ部品表示部４ｉは、例えば変数である「処理対象」に、抽出された手書きコマンドの１つ目を示す値をセットする。

ステップＳ１４０２において、ＧＵＩ部品表示部４ｉは、「処理対象」にセットされている値に対応する、抽出された手書きコマンドが存在するか否かを判定する。ＧＵＩ部品表示部４ｉは、「処理対象」にセットされている値に対応する、抽出された手書きコマンドが存在すると判定すると（ステップＳ１４０２において「有り」）、ステップＳ１４０３に進む。また、ＧＵＩ部品表示部４ｉは、「処理対象」にセットされている値に対応する、抽出された手書きコマンドが存在しないと判定すると（ステップＳ１４０２において「無し」）、ＧＵＩ部品表示処理を終了する。

ステップＳ１４０３では、ＧＵＩ部品表示部４ｉが、絶対位置サイズ決定処理を行う。ＧＵＩ部品表示部４ｉは、例えば、図１２に示したステップＳ１２０４等において生成されたＧＵＩ部品（又はＧＵＩ部品のＧＵＩ部品データ）に基づいて、ＧＵＩ部品を表示装置２３上に表示する際の絶対位置と、サイズと、を決定する。続いてステップＳ１４０４において、ＧＵＩ部品表示部４ｉは、ＧＵＩ部品表示処理を行い、処理対象の手書きコマンドに対応するＧＵＩ部品を、ステップＳ１４０３において決定された位置及びサイズで、表示装置２３に表示する。

続いてステップＳ１４０５において、ＧＵＩ部品表示部４ｉは、「処理対象」にセットされている値を、例えば１つ進め、ステップＳ１４０２に戻る。

図１５は、実行処理の一例を示すフローチャートである。なお、図１５に示す処理は、表示装置２３の、図４に示した実行部４２が処理を行うものとして説明を行う。

ステップＳ１５０１において、実行部４２は、ユーザの操作が、メニュー項目による処理の実行指示か否かを判定する。実行部４２は、ユーザの操作が、メニュー項目による処理の実行指示であると判定すると、ステップＳ１５０２に進み、ユーザの操作が、メニュー項目による処理の実行指示でないと判定すると、ステップＳ１５０３に進む。

ステップＳ１５０２では、実行部４２が、メニュー実行指示解釈処理を行い、メニュー項目による処理の実行指示を解釈する。一方、ステップＳ１５０３では、実行部４２が、ＧＵＩ部品実行指示解釈処理を行い、ＧＵＩ部品による処理の実行指示を解釈する。例えば、実行部４２は、ユーザによって操作されたＧＵＩ部品に対応するＧＵＩ部品データに基づいて、処理（処理の機能）や、処理の動作内容、処理の指示対象等を特定する。

ステップＳ１５０４では、実行部４２が、実行許可判定処理を行い、ユーザの実行指示が実行可能な指示か否かを判定する。なお、実行許可判定処理の詳細は、後述する図４１に示す。続いてステップＳ１５０５において、実行部４２は、ステップＳ１５０４における判定結果に基づいて、実行を許可すると判断すると、ステップＳ１５０６に進み、実行を許可しないと判断すると、実行処理を終了する。

ステップＳ１５０６では、実行部４２が、処理実行処理の指示を行い、各処理が実行される。

上述したように、第１の実施形態によれば、表示装置２３は、手書きコマンドの認識結果をＧＵＩ部品としてディスプレイ上に発現させる。よって、誤認識を防止するための特別な確認ステップを不要とし、同時に誤動作のリスクが回避可能となり、表示中の原稿データに対する操作性を向上させることができる。

また、第１の実施形態によれば、表示装置２３は、例えば図６に示されるように、ＧＵＩ部品を表示装置２３の表示画面上に常駐させる。よって、ユーザは、ＧＵＩ部品を用いて、何回でも原稿データ等に対する処理を行うことが可能となり、表示中の原稿データに対する操作性を向上させることができる。

また、第１の実施形態によれば、表示装置２３は、一般の原稿に記入された手書きコマンドを認識し、認識結果をＧＵＩ部品として発現させる。よって、専用のシート等を用いる必要がなく、より簡単に表示中の原稿データに対する操作性を向上させることができる。

また、第１の実施形態によれば、表示装置２３は、手書きコマンドの認識結果をＧＵＩ部品として手書きコマンドに対応する位置に発現させると共に、スキャン原稿をディスプレイ上に表示する。よって、ユーザは、スキャン原稿をディスプレイで確認した後で（又は確認しながら）、ＧＵＩ部品等を用いて印刷等の処理の実行指示が可能となり、表示中の原稿データに対する操作性を向上させることができる。

また、第１の実施形態では、表示装置２３は、図３のデータベース３５に示したように、スキャン原稿と、対応するＧＵＩ部品と、を関連付けて格納、管理する。よって、スキャン原稿を再利用した際に、対応するＧＵＩ部品も再利用可能となるので、表示中の原稿データに対する操作性を向上させることができる。

なお、第１の実施形態では、表示装置２３が、手書きコマンドを除去したスキャン原稿を表示する例を示したが、手書きコマンドを除去しないままのスキャン原稿を表示してもよいし、スキャン原稿に対する元原稿をデータメモリ５等より検索して表示してもよい。

（第２の実施の形態）
以下、図１６から図２４を用いて、表示装置２３が、原稿中の特定領域を指示対象としたＧＵＩ部品を表示する例について説明する。なお、画像形成装置２２及び表示装置２３を含む表示システムの構成は第１の実施の形態と同様であるので、その説明を省略する。

図１６は、第２の実施形態におけるスキャン対象となる手書きコマンドが記入されている紙等の原稿を示す図（その１）である。図１６に示される原稿１６１は、テキスト領域１６２と、画像領域１６３と、を含み、更に手書きコマンド１６４が、画像領域１６３に重なる形で、手書きで記入されている。

図１７は、第２の実施形態における表示装置２３に表示された表示画面を示す図（その１）である。表示装置２３の表示画面上には図１６に示した原稿１６１に対応する電子化されたデータとしてスキャン原稿１７１が表示されている。スキャン原稿１７１は、テキスト領域１７２と、画像領域１７３と、を含む。また、表示装置２３上には図１６の手書きコマンド１６４から生成された「再生ボタン」のＧＵＩ部品１７４が表示されている。なお画像領域１７３は、スキャン原稿１７１に対して表示装置２３等が検索した元原稿の対応領域にあった動画に関連付けられており、「再生ボタン」は前記動画に対する操作を可能としていることを示している。

図１８は、第２の実施形態における表示装置２３に表示されたＧＵＩ部品のデータを示す図（その１）である。ＧＵＩ部品データ１８１は、ＧＵＩ部品に対応する機能の情報と、相対表示位置及びサイズの情報と、指示対象のオブジェクトの情報と、を含む。図１８に示されるＧＵＩ部品データ１８１は、例えば、図１７で示したＧＵＩ部品１７４に対応する。図１８に示されるＧＵＩ部品データ１８１は、指示対象として「動画オブジェクト１７３」が記録され、指示対象に対する処理の機能として「再生」が記録され、相対表示位置及びサイズとして（５０，８５），（６０，９５）が記録されていることを表している。ＧＵＩ部品データ１８１は、データメモリ５に格納される。

図１９は、指示対象特定処理の一例を示すフローチャートである。なお、図１９に示す処理は、表示装置２３の機能として、スキャン原稿解釈部４９の、図４に示した指示対象特定部４ｂが処理を行うものとして説明を行う。
ステップＳ１９０１において、指示対象特定部４ｂは、元原稿検索処理を行い、スキャン原稿に係る原稿の元原稿を検索する。続いてステップＳ１９０２において、指示対象特定部４ｂは、ステップＳ１９０１における検索の結果に基づいて、元原稿が有ったと判定すると、ステップＳ１９０４に進み、元原稿が無かったと判定すると、ステップＳ１９０３に進む。

ステップＳ１９０３では、指示対象特定部４ｂが、オブジェクト抽出処理を行い、スキャン原稿を画像解析することにより、テキストや、図形、画像等のオブジェクトを抽出し、ステップＳ１９０４に進む。

ステップＳ１９０４では、指示対象特定部４ｂが、例えば変数である「処理対象」に、抽出された手書きコマンドを識別する値等をセットし、「処理対象」を初期化する。例えば、抽出された手書きコマンドが２つ存在した場合、指示対象特定部４ｂは、例えば変数である「処理対象」に、抽出された手書きコマンドの１つ目を示す値をセットする。

ステップＳ１９０５では、指示対象特定部４ｂが、「処理対象」にセットされている値に対応する、抽出された手書きコマンドが存在するか否かを判定する。指示対象特定部４ｂは、「処理対象」にセットされている値に対応する、抽出された手書きコマンドが存在すると判定すると（ステップＳ１９０５において「有り」）、ステップＳ１９０６に進む。また、指示対象特定部４ｂは、「処理対象」にセットされている値に対応する、抽出された手書きコマンドが存在しないと判定すると（ステップＳ１９０５において「無し」）、指示対象特定処理を終了する。

ステップＳ１９０６では、指示対象特定部４ｂが、図４に示した指示対象種類に対応する実行可能処理定義データ４７等を用い、対応オブジェクト特定処理を行う。指示対象特定部４ｂは、元原稿又はステップＳ１９０３で抽出したオブジェクトの中から、処理対象の手書きコマンドが指示対象とするオブジェクトを特定する。なお、実行可能処理定義データの詳細は、後述する図２０に示す。また、対応オブジェクト特定処理の詳細は、後述する図２１に示す。

続いてステップＳ１９０７において、指示対象特定部４ｂは、ステップＳ１９０６における対応オブジェクト特定処理で、処理対象の手書きコマンドが指示対象とするオブジェクトの特定が成功したか否かを判定する。指示対象特定部４ｂは、処理対象の手書きコマンドが指示対象とするオブジェクトの特定が成功したと判定すると、ステップＳ１９０８に進む。また、指示対象特定部４ｂは、処理対象の手書きコマンドが指示対象とするオブジェクトの特定が失敗したと判定すると、ステップＳ１９０９に進む。

ステップＳ１９０８では、指示対象特定部４ｂが、ステップＳ１９０６において特定されたオブジェクトを、処理対象の手書きコマンドの指示対象とする。一方、ステップＳ１９０９では、指示対象特定部４ｂが、例えば図９のＳ９０１等において手書きコマンドとして認識されたこと自体、誤りと判断して、現在処理対象の手書きコマンドとしているものをスキャン原稿から削除し、ステップＳ１９１０に進む。

ステップＳ１９１０では、指示対象特定部４ｂが、「処理対象」にセットされている値を、例えば１つ進め、ステップＳ１９０５に戻る。

図２０は、図４に示す指示対象種類に対応する実行可能処理定義データ４７の一例を示す図である。これらのデータは、データメモリ５に保持される。図２０に示す実行可能処理定義データは、指示対象種類と、指示対応種類に対応する実行可能処理リストと、を含む。例えば、実行可能処理定義データ２０１には、図１７で示した動画オブジェクト１７３等に対応した指示対象種類「動画」が定義されている。また、実行可能処理定義データ２０１には、「動画」に対応する実行可能な処理リストとして、「印刷」、「再生」、「音量変更」、「送信」の各処理が定義されている。

図２１は、対応オブジェクト特定処理の一例を示すフローチャートである。なお、図２１に示す処理は、図４に示した指示対象特定部４ｂが処理を行うものとして説明を行う。

ステップＳ２１０１において、指示対象特定部４ｂは、図９のステップＳ９０１等の指示解釈処理で解釈された手書きコマンドの解釈結果を識別する値等をセットし、「対象解釈」を初期化する。例えば、手書きコマンドの解釈結果が２つ存在した場合、指示対象特定部４ｂは、例えば変数である「対象解釈」に、手書きコマンドの解釈結果の１つ目を示す値をセットする。

ステップＳ２１０２では、指示対象特定部４ｂが、「対象解釈」にセットされている値に対応する、手書きコマンドの解釈結果が存在するか否かを判定する。指示対象特定部４ｂは、「対象解釈」にセットされている値に対応する、手書きコマンドの解釈結果が存在すると判定すると（ステップＳ２１０２において「有り」）、ステップＳ２１０３に進む。また、指示対象特定部４ｂは、「対象解釈」にセットされている値に対応する、手書きコマンドの解釈結果が存在しないと判定すると（ステップＳ２１０２において「無し」）、対応オブジェクト特定処理を終了する。

ステップＳ２１０３では、指示対象特定部４ｂが、手書きコマンド付近にあるオブジェクトを識別する値等をセットし、「指示対象オブジェクト」を初期化する。手書きコマンド付近にあるオブジェクトが２つ存在した場合指示対象特定部４ｂは、例えば変数である「指示対象オブジェクト」に、手書きコマンド付近にあるオブジェクトの内最も手書きコマンドの近くにあるオブジェクトを示す値をセットする。

ステップＳ２１０４では、指示対象特定部４ｂが、「指示対象オブジェクト」にセットされている値に対応する、手書きコマンド付近にあるオブジェクトが存在するか否かを判定する。指示対象特定部４ｂは、「指示対象オブジェクト」にセットされている値に対応する、手書きコマンド付近にあるオブジェクトが存在すると判定すると（ステップＳ２１０４において「有り」）、ステップＳ２１０５に進む。また、指示対象特定部４ｂは、「指示対象オブジェクト」にセットされている値に対応する、手書きコマンド付近にあるオブジェクトが存在しないと判定すると（ステップＳ２１０４において「無し」）、ステップＳ２１０８に進む。

ステップＳ２１０５では、指示対象特定部４ｂが、図２０に示した実行可能処理定義データ等を参照して有効性判定処理を行う。指示対象特定部４ｂは、例えば図９のＳ９０１等の指示解釈処理において解釈された手書きコマンドの指示解釈（つまり、手書きコマンドが指示する処理）が、指示対象オブジェクトに対して有効な処理か否かを判定する。

指示対象特定部４ｂは、手書きコマンドの指示解釈が指示対象オブジェクトに対して有効な処理でないと判定すると、ステップＳ２１０７に進む。また、指示対象特定部４ｂは、手書きコマンドの指示解釈が指示対象オブジェクトに対して有効な処理であると判定すると、対応オブジェクト特定処理を終了する。

ステップＳ２１０７では、指示対象特定部４ｂが、「指示対象オブジェクト」にセットされている値を、例えば１つ進め、ステップＳ２１０４に戻る。また、ステップＳ２１０８では、指示対象特定部４ｂが、「対象解釈」にセットされている値を、例えば１つ進め、ステップＳ２１０２に戻る。

なお、ステップＳ２１０５の有効性判定処理において、指示対象特定部４ｂは、図２０に示す実行可能処理定義データ等を参照すると共に、例えば、同一指示対象オブジェクトに対する機能が重複しているか否かに基づいて有効性を判定するようにしてもよい。つまり、同一指示対象オブジェクトに対して、類似する手書きコマンドが２つ原稿に記入されていた場合、指示対象特定部４ｂは、同一指示対象オブジェクトに対する機能（又は処理）が重複しているため、有効ではないと判断するようにしてもよい。一方、上述したような場合、指示対象特定部４ｂは、有効ではないと判断せず、同一の機能（例えば、再生）のコマンドではなく異なる機能（例えば、再生と、音量変更と、）のコマンドと解釈し、有効であると判定するようにしてもよい。

図２２は、第２の実施形態におけるスキャン対象となる手書きコマンドが記入されている原稿の一例（その２）である。図２２に示される原稿２２１は、テキスト領域２２２と、表領域２２３と、を含み、更に手書きコマンド２２４が、表領域２２３に重なる形で、手書きで記入されている。

図２３は、第２の実施形態における表示装置２３上の表示画面の一例（その２）である。表示装置２３の表示画面上には図２２に示した原稿２２１に対応する電子化されたデータとしてスキャン原稿２３１が表示されている。スキャン原稿２３１は、テキスト領域２３２と、表領域２３３と、を含む。なお、表領域２３３は、スキャン原稿２３１に対して表示装置２３が検索した元原稿の対応領域にあった表に関連付けられている。
また、表示装置２３の表示画面上にはスキャン原稿自体を処理対象とした「次ページボタン」のＧＵＩ部品２３４が表示されている。これは、図２２の手書きコマンド２２４に対応する「再生ボタン」のＧＵＩ部品では、指示対象であった前記表に対して処理が不可能なために、表示装置２３によって、指示対象及びＧＵＩ部品が変更されているからである。

図２４は、第２の実施形態における表示装置２３に表示されたＧＵＩ部品のデータの一例（その２）である。ＧＵＩ部品データ２４１は、ＧＵＩ部品に対応する機能の情報と、相対表示位置及びサイズの情報と、指示対象のオブジェクトの情報と、を含む。図２４に示されるＧＵＩ部品データ２４１は、例えば、図２３で示したＧＵＩ部品２３４に対応する。図２４に示されるＧＵＩ部品データ２４１は、指示対象として「スキャン原稿自体２３１」が記録され、指示対象に対する処理の機能として「次ページ」が記録されていることを表している。また、図２４に示されるＧＵＩ部品データ２４１は、相対表示位置及びサイズとして（５０，８５），（６０，９５）が記録されていることを表している。ＧＵＩ部品データ２４１は、データメモリ５に保持される。

上述したように、第２の実施形態によれば、表示装置２３は、ＧＵＩ部品の指示対象を適切に特定する。よって、表示中の原稿データに対する操作性を向上させることができる。また、第２の実施形態によれば、表示装置２３は、有効なＧＵＩ部品だけを生成する。よって、表示中の原稿データに対する操作性を向上させることができる。

（第３の実施の形態）
以下、図２５から図３５を用いて、表示装置２３が、誤認識したＧＵＩ部品を変更する例について説明する。画像形成装置２２及び表示装置２３を含む表示システムの構成は第１の実施の形態と同様であるので、その構成は省略する。

図２５は、第３の実施形態におけるスキャン対象となる手書きコマンドが記入されている紙等の原稿の一例（その１）である。図２５に示される原稿２５１は、テキスト領域２５２と、画像領域２５３と、を含み、更に、手書きコマンド２５４及び２５５が、手書きで記入されている。

図２６は、第３の実施形態における表示装置２３に表示された表示画面を示す図（その１）である。表示装置２３上には図２５に示した原稿２５１に対応する電子化されたデータとしてスキャン原稿２６１が表示されている。スキャン原稿２６１は、テキスト領域２６２と、画像領域２６３と、を含む。また、表示装置２３上には図２５の手書きコマンド２５４及び２５５から生成された「再生ボタン」のＧＵＩ部品２６４及び２６５が表示されている。なお画像領域２６３は、スキャン原稿２６１に対して表示装置２３等が検索した元原稿の対応領域にあった動画に関連付けられており、「再生ボタン」は前記動画に対する操作を可能としていることを示している。

図２７は、第３の実施形態における表示装置２３に表示されたＧＵＩ部品のデータの一例（その１）である。ＧＵＩ部品データは、ＧＵＩ部品に対応する機能の情報と、相対表示位置及びサイズの情報と、指示対象のオブジェクトの情報と、を含む。図２７のＧＵＩ部品データは、データメモリ５に保持される。図２７に示されるＧＵＩ部品データ２７１は、例えば、図２６で示したＧＵＩ部品２６４に対応する。図２７に示されるＧＵＩ部品データ２７１は、指示対象として「動画オブジェクト２６３」が記録され、指示対象に対する処理の機能として「再生」が記録され、相対表示位置及びサイズとして（５０，５５），（６０，６５）が記録されていることを表している。なお、ここでは同一指示対象オブジェクトに対する同一機能（又は処理）ＧＵＩ部品の重複を許すものとして説明しているので再生ボタンが２つ存在しているが、重複を許さない場合には異なる機能のＧＵＩ部品が存在することになる。

図２８は、第３の実施形態における表示装置２３に表示されたＧＵＩ部品変更操作画面を示す図（その１）である。図２８に示される表示装置２３の表示画面上には図２５に示した原稿２５１に対応するスキャン原稿２６１が表示されている。また、図２８に示される表示装置２３の表示画面上にはスキャン原稿２６１を構成するテキスト領域２６２と、画像領域２６３と、共に、図２５の手書きコマンド２５４及び２５５から生成された「再生ボタン」のＧＵＩ部品２６４及び２６５が表示されている。

また、図２８では、ユーザによる「再生ボタン」のＧＵＩ部品２６５を指定した有効ＧＵＩ一覧ウィンドウの表示指示操作に対応した、有効ＧＵＩ一覧ウィンドウ２８１が表示されている例が示されている。また、図２８では、有効ＧＵＩ一覧ウィンドウ２８１の内、「音量変更ボタン」のＧＵＩ部品２８２が選択状態になっている例が示されている。また、図２８では、有効ＧＵＩ一覧の中のＧＵＩ部品の指示対象オブジェクト２６３が、ユーザに判別可能なように例えば太枠で表示されている例が示されている。

なお、例えば、表示装置２３は、ユーザがポインティングデバイスを用いてＧＵＩ部品上で長押し等の操作を行うと、ユーザによる有効ＧＵＩ一覧ウィンドウの表示指示操作であると判断する。そして表示装置２３は、図２８に示されるような有効ＧＵＩ一覧ウィンドウ２８１を表示装置２３上に表示する。

図２９は、図２６に示した表示画面に対して、図２８に示したようなＧＵＩ部品の変更操作を行った後の表示装置２３に表示された表示画面の一例を示す図である。図２９に示される表示画面は、図２６に示した表示画面と比べて、「再生ボタン」のＧＵＩ部品２６５が、「音量変更ボタン」のＧＵＩ部品２９１に変更されている点が異なる。

図３０は、第３の実施形態における表示装置２３に表示されたＧＵＩ部品のデータを示す図（その２）である。図３０に示されるＧＵＩ部品データは、図２７に示したＧＵＩ部品データと比べて、ＧＵＩ部品データ２７２が、ＧＵＩ部品データ３０１に変更されている（又は置き換えられている）点が異なる。図３０のＧＵＩ部品データは、データメモリ５に保持される。

図３１は、ＧＵＩ部品変更処理の一例を示すフローチャートである。なお、図３１に示す処理は、表示装置２３の機能として、図４に示したＧＵＩ部品変更部４３が処理を行うものとして説明を行う。

ステップＳ３１０１において、ＧＵＩ部品変更部４３は、有効ＧＵＩ部品一覧処理を行う。ＧＵＩ部品変更部４３は、表示中のＧＵＩ部品の内、長押し等で選択されたＧＵＩ部品の指示対象オブジェクトを指示対象とすることが可能なＧＵＩ部品の一覧（有効ＧＵＩ一覧ウィンドウ）を表示する。なお、有効ＧＵＩ部品一覧処理の詳細は、後述する図３２に示す。

ステップＳ３１０２では、ＧＵＩ部品変更部４３が、ユーザ操作処理を行い、ユーザの操作（又はＥｖｅｎｔ）を受け付ける。ＧＵＩ部品変更部４３は、ユーザが、次善ＧＵＩ部品一覧表示指示を行ったと判定するとステップＳ３１０４に進み、ＧＵＩ部品選択指示を行ったと判定するとステップＳ３１０６に進む。

ステップＳ３１０４では、ＧＵＩ部品変更部４３が、次善指示対象の特定処理を行い、現在スキャン原稿中で選択しているＧＵＩ部品が指示対象とする指示対象オブジェクトに代わる、次善の指示対象オブジェクトを特定する。続いてステップＳ３１０５において、ＧＵＩ部品変更部４３は、有効ＧＵＩ部品一覧処理を行い、ステップＳ３１０４において特定した次善の指示対象オブジェクトに関する有効ＧＵＩ部品の一覧（有効ＧＵＩ一覧ウィンドウ）を表示し、ステップＳ３１０２に戻る。

一方、ステップＳ３１０６では、ＧＵＩ部品変更部４３が、ＧＵＩ部品置換処理を行う。ＧＵＩ部品変更部４３は、現在スキャン原稿中で選択しているＧＵＩ部品（例えば、図２８のＧＵＩ部品２６５）と、有効ＧＵＩ一覧ウィンドウの中から選択しているＧＵＩ部品（例えば、図２８のＧＵＩ部品２８２）と、を置き換える。

図３２は、有効ＧＵＩ部品一覧処理の一例を示すフローチャートである。なお、図３２の示す処理は、ＧＵＩ部品変更部４３の、図４に示した有効ＧＵＩ部品一覧部４ｊが処理を行うものとして説明を行う。

ステップＳ３２０１において、有効ＧＵＩ部品一覧部４ｊは、有効ＧＵＩ部品の一覧を初期化する。続いてステップＳ３２０２において、有効ＧＵＩ部品一覧部４ｊは、指示対象種類に対応する実行可能処理を取得するための処理を行う。有効ＧＵＩ部品一覧部４ｊは、図２０に示したような実行可能処理定義データより、現在指示対象としているオブジェクト（例えば、動画、静止画、スキャン原稿自体等）に対応する実行可能処理リストを取得する。例えば、有効ＧＵＩ部品一覧部４ｊは、現在指示対象としているオブジェクトが動画の場合、実行可能処理リストとして、「印刷、再生、音量変更、送信」等を取得する。

ステップＳ３２０３では、有効ＧＵＩ部品一覧部４ｊが、ステップＳ３２０２で取得した実行可能処理リストに含まれる実行可能処理を識別する値等をセットし、「処理対象」を初期化する。例えば、実行可能処理リストに実行可能処理が４つ存在した場合、有効ＧＵＩ部品一覧部４ｊは、例えば変数である「処理対象」に、実行可能処理リストの最初に記録されている実行可能処理を示す値をセットする。

ステップＳ３２０４では、有効ＧＵＩ部品一覧部４ｊが、「処理対象」にセットされている値に対応する、実行可能処理が存在するか否かを判定する。有効ＧＵＩ部品一覧部４ｊは、「処理対象」にセットされている値に対応する、実行可能処理が存在すると判定すると（ステップＳ３２０４において「有り」）、ステップＳ３２０５に進む。また、有効ＧＵＩ部品一覧部４ｊは、「処理対象」にセットされている値に対応する、実行可能処理が存在しないと判定すると（ステップＳ３２０４において「無し」）、有効ＧＵＩ部品一覧処理を終了する。

ステップＳ３２０５では、有効ＧＵＩ部品一覧部４ｊが、対応ＧＵＩ部品一覧追加処理を行い、処理対象の指示対象オブジェクトの実行可能処理に対応したＧＵＩ部品を、有効ＧＵＩ部品の一覧に追加し、一覧を表示する。

続いてステップＳ３２０６において、有効ＧＵＩ部品一覧部４ｊは、「処理対象」にセットされている値を、例えば１つ進め、ステップＳ３２０４に戻る。なお、有効ＧＵＩ部品一覧部４ｊは、有効ＧＵＩ部品一覧処理において、図２０に示す実行可能処理定義データに定義されている順序で、有効ＧＵＩ部品の一覧を表示してもよい。また、有効ＧＵＩ部品一覧部４ｊは、有効ＧＵＩ部品一覧処理において、例えばスキャン原稿解釈部４９等の手書きコマンドの解釈結果等に基づいて、手書きコマンドの形状に近いＧＵＩ部品から順に、有効ＧＵＩ部品の一覧を表示してもよい。このようにすることによって、ユーザは、一覧の上から順にＧＵＩ部品を探すことによって、自身が書いた手書きコマンドの形状に近い、有効なＧＵＩ部品を見つけることができる。また、有効ＧＵＩ部品一覧部４ｊは、有効ＧＵＩ部品一覧処理において、手書きコマンドの形状と、ＧＵＩ部品との形状と、の差が、一定の閾値以上のＧＵＩ部品を、有効ＧＵＩ部品の一覧から除外するようにしてもよい。このようにすることによって、手書きコマンドの形状と一定の閾値以上形状が異なるＧＵＩ部品を一覧から削除することが可能となり、適切なＧＵＩ部品を一覧に表示することができる。

図３３は、第３の実施形態における表示装置２３に表示されたＧＵＩ部品変更操作画面を示す一例（その２）である。図３３には、図２８に示したＧＵＩ部品変更操作画面において、ユーザが次善ＧＵＩ部品一覧指示操作を行った結果、次善の指示対象オブジェクトに対する有効ＧＵＩ部品の一覧３３１が表示された例が示されている。なお、ユーザの次善ＧＵＩ部品一覧指示操作とは、例えば次善ＧＵＩ部品一覧表示ボタン２８３を押下する等の操作のことである。また、図３３には、有効ＧＵＩ部品の一覧３３１の内、ユーザによって「次ページボタン」のＧＵＩ部品３３２が選択されている例が示されている。

図３３に示される有効ＧＵＩ部品の一覧３３１は、ＧＵＩ部品２６５の指示対象オブジェクト２６３が、次善の指示対象オブジェクト２６１に変わったことに対応して、表示装置２３に表示される。また、有効ＧＵＩ部品の一覧３３１は、ＧＵＩ部品２６５の指示対象オブジェクトが変化したことがわかるように、表示装置２３に表示される。

図３４は、図３３に示したようなＧＵＩ部品変更操作画面において、ＧＵＩ部品変更操作が行われた後の表示装置２３に表示された表示画面の一例を示す図である。図３４に示される表示画面は、図２６に示した表示画面と比べて、「再生ボタン」のＧＵＩ部品２６５が、「次ページボタン」のＧＵＩ部品３４１に置き換わっている点が異なる。

図３５は、図３３に示したようなＧＵＩ部品変更操作画面において、ＧＵＩ部品変更操作が行われた後の表示装置２３に表示されたＧＵＩ部品のデータを示す図である。図３５に示されるＧＵＩ部品データは、図２７に示したＧＵＩ部品データと比べて、ＧＵＩ部品データ２７２が、ＧＵＩ部品データ３５１に変更されている点が異なる。図２７に示されるＧＵＩ部品データ２７２は、指示対象に対する処理の機能として「再生」が記録され、指示対象として「動画オブジェクト２６３」が記録されていることを表している。一方、図３５に示されるＧＵＩ部品データ３５１は、指示対象に対する処理の機能として「次ページ」が記録され、指示対象として「スキャン原稿全体２６１」が記録されていることを表している。図３５に示すＧＵＩ部品データは、データメモリ５に保持される。

上述したように、第３の実施形態によれば、表示装置２３は、誤認識をしたＧＵＩ部品を、ユーザからの指示に基づいて、適切なＧＵＩ部品に変更する。よって、表示中の原稿データに対する操作性を向上させることができる。

また、第３の実施形態によれば、表示装置２３は、ユーザからの指示に基づいて、指示対象に対して有効なＧＵＩ部品を一覧として表示する。よって、表示中の原稿データに対する操作性を向上させることができる。

また、第３の実施形態によれば、表示装置２３は、ユーザからの指示に基づいて、次善の指示対象を特定する処理を繰り返すことができる。よって、例えば有効なＧＵＩ部品が有効ＧＵＩ一覧ウィンドウに無い場合、ユーザは、指示対象を再特定させることができる。よって、表示中の原稿データに対する操作性を向上させることができる。

（第４の実施の形態）
以下、図３６から図３９を用いて、表示装置２３が、スキャン原稿の表示の際に、スキャン原稿に対応して関連付けたＧＵＩ部品を表示・非表示する例について説明する。画像形成装置２２及び表示装置２３を含む表示システムの構成は第１の実施の形態と同様であるのでその説明を省略する。

図３６は、第４の実施形態における表示装置２３上の表示画面の一例を示す図である。図３６に示される表示装置２３上には、電子化されたデータであるスキャン原稿２６１や、スキャン原稿２６１に含まれるＧＵＩ部品２６４、３４１等が表示されている。また、図３６に示される表示装置２３は、ＧＵＩ部品表示切替ボタン３６１を備えており、例えばＧＵＩ部品表示切替ボタン３６１がユーザにより押下される等のＧＵＩ部品切替指示を受け取ると、ＧＵＩ部品２６４、３４１等の表示・非表示を切替える。

図３７は、第４の実施形態における表示システムの全体処理の一例を示すフローチャートである。ステップＳ３７０１において、画像形成装置２２及び表示装置２３は、初期化処理を行い、操作画面を表示する等の初期化動作を行う。続いてステップＳ３７０２において、画像形成装置２２及び表示装置２３は、ユーザの操作（又はＥｖｅｎｔ）を受け付ける。

続いてステップＳ３７０３において、画像形成装置２２及び表示装置２３は、Ｅｖｅｎｔの判定を行う。画像形成装置２２は、ユーザが、スキャン＆表示指示を行ったと判定するとステップＳ３７０４に進む。また、表示装置２３は、ユーザが、実行指示を行ったと判定するとステップＳ３７０７に進む。また、表示装置２３は、ユーザが、ＧＵＩ部品変更指示を行ったと判定するとステップＳ３７０８に進む。また、表示装置２３は、ユーザが、ＧＵＩ部品表示切替指示を行ったと判定すると、ステップＳ３７０９に進む。

ステップＳ３７０４では、画像形成装置２２において手書きコマンドが書かれた原稿がスキャンされ、電子化されたデータとしてスキャン原稿を取得する。続いてステップＳ３７０５において、表示装置２３は、スキャン原稿解釈処理を行い、例えばスキャン原稿中の手書きコマンドをＧＵＩ部品として解釈する。続いてステップＳ３７０６において表示装置２３は、スキャン原稿表示処理を行い、手書きコマンドを除去したスキャン原稿と共にＧＵＩ部品を表示し、ステップＳ３７０２の処理に戻る。

一方、ステップＳ３７０７では、表示装置２３が、実行処理を行い、ユーザに指示されたメニュー項目やＧＵＩ部品に対応した処理を実行し、ステップＳ３７０２の処理に戻る。また、ステップＳ３７０８では、表示装置２３が、ＧＵＩ部品変更（又は置換）処理を行い、表示中のＧＵＩ部品を、指示されたＧＵＩ部品に変更し、ステップＳ３７０２の処理に戻る。また、ステップＳ３７０９では、表示装置２３が、ＧＵＩ部品表示切替処理を行い、ＧＵＩ部品の表示・非表示の状態を切り替え、ステップＳ３７０２の処理に戻る。なお、ＧＵＩ部品表示切替処理の詳細は、後述する図３９に示す。

図３８は、第４の実施形態におけるＧＵＩ部品データの一例を示す図である。ＧＵＩ部品データは、ＧＵＩ部品データを識別するＩＤと、ＧＵＩ部品に対応する機能の情報と、相対表示位置及びサイズの情報と、対応するスキャン原稿を識別するスキャン原稿ＩＤと、指示対象のオブジェクトの情報と、を含む。図３８に示すＧＵＩ部品データは、データメモリ５に保持される。ＧＵＩ部品データ３８２は、ＧＵＩ部品データのＩＤとして「１１５」が記録され、指示対象に対する処理の機能として「次ページ」が記録され、相対表示位置及びサイズとして（６０，８５），（７０，９５）が記録されていることを表している。また、ＧＵＩ部品データ３８２は、スキャン原稿ＩＤとして「ｆｉｌｅ０２１」（例えば、図３６のスキャン原稿２６１に対応する）が記録され、指示対象として「スキャン原稿全体２６１」が記録されていることを表している。

図３９は、ＧＵＩ部品表示切替処理の一例を示すフローチャートである。ステップＳ３９０１において、表示装置２３は、現在のＧＵＩ部品の表示状態を判断する。表示装置２３は、ＧＵＩ部品を表示中であると判断すると、ステップＳ３９０２に進み、ＧＵＩ部品を非表示中であると判断すると、ステップＳ３９０３に進む。

ステップＳ３９０２では、表示装置２３が、ＧＵＩ非表示処理を行い、表示中のＧＵＩ部品を非表示にし、ＧＵＩ部品の表示切替処理を終了する。一方、ステップＳ３９０３では、表示装置２３が、対応ＧＵＩ部品取得処理を行い、表示装置２３に表示中のスキャン原稿に対応したＧＵＩ部品を、図３８に示したようなＧＵＩ部品データから検索して取得する。

続いてステップＳ３９０４において、表示装置２３は、ＧＵＩ部品表示処理を行い、ステップＳ３９０３において取得した全ＧＵＩ部品を表示装置２３上に表示し、ＧＵＩ部品の表示切替処理を終了する。

なお、上述した説明では、表示装置２３は、ユーザがＧＵＩ部品表示切替指示を行ったと判定すると、ＧＵＩ部品の表示・非表示を切替えるよう説明を行った。しかしながら、表示装置２３は、ユーザがＧＵＩ部品表示切替指示を行ったと判定すると、表示モードを切替えるようにしてもよい。そして、表示装置２３は、表示モードを切り換えた以降のスキャン原稿表示処理では、表示モードに応じてＧＵＩ部品の表示・非表示を行うようにしてもよい。

上述したように、第４の実施形態によれば、表示装置２３は、スキャン原稿と、対応するＧＵＩ部品と、を関連付けて格納、管理し、ユーザからの指示に基づいて、ＧＵＩ部品の表示、非表示を行う。よって、必要なときだけＧＵＩ部品を表示させる等することが可能になるため、表示中の原稿データに対する操作性を向上させることができる。

（第５の実施の形態）
以下、図４０及び図４１を用いて、表示装置２３が、ＧＵＩ部品に対応する処理の実行指示以外の処理を制限する例について説明する。画像形成装置２２及び表示装置２３を含む表示システムの構成は第１の実施の形態と同様であるので、その説明は省略する

図４０は、第５の実施形態における表示装置２３に表示された表示画面の一例を示す図である。表示装置２３の表示画面上上には、電子化されたデータとしてのスキャン原稿２６１と、ＧＵＩ部品２６４、３４１と、が表示されており、更に、メニューバー４０１が表示されている。また、図４０は、メニューバー４０１からメニュー項目４０２のサブメニュー４０５が表示され、サブメニュー項目４０７の「印刷」処理がユーザにより選択されている例が示されている。

図４１は、実行許可判定処理の一例を示すフローチャートである。なお、図４１に示す処理は、表示装置２３の機能として、図４に示した実行部４２が処理を行うものとして説明を行う。ステップＳ４１０１において、実行部４２は、現在の実行モードを判断する。実行部４２は、現在の実行モードが実行制限モードであると判断すると、ステップＳ４１０２に進み、制限無しモードであると判断すると、実行を許可し、実行許可判定処理を終了する。

ステップＳ４１０２では、実行部４２が、表示中ＧＵＩ部品検索処理を行い、例えば、ユーザがメニュー項目を用いて実行を指示した処理に対応するＧＵＩ部品が表示装置２３に表示されているか否かを判定する。実行部４２は、ユーザがメニュー項目を用いて実行を指示した処理に対応するＧＵＩ部品が表示装置２３に表示されていると判定すると、処理の実行を許可し、実行許可判定処理を終了する。また、実行部４２は、ユーザがメニュー項目を用いて実行を指示した処理に対応するＧＵＩ部品が表示装置２３に表示されていないと判定すると、処理の実行を禁止し、実行許可判定処理を終了する。

上述したように、第５の実施形態によれば、表示装置２３は、生成し、表示しているＧＵＩ部品に対応する処理の実行以外、処理の実行を禁止することができる。よって、誤動作等を防止し、表示中の原稿データに対する操作性を向上させることができる。また、誤動作を防止できるという意味で、安全を保障（セキュリティを向上）することができる。

（第６の実施の形態）
以下、図４２から図４８を用いて、表示装置２３が、手書きコマンドに関する動作内容等を特定し、手書きコマンドと関連付ける処理について説明する。

図４２は、手書きコマンド及び手書き動作内容が記入されている原稿の一例を示す図である。図４２に示される原稿５１は、テキスト領域５２と、画像領域５３と、を含み、更に、手書きコマンド４２１、手書き動作内容４２２及び手書き関連付け指示４２３が記入されている。

図４３は、第６の実施形態における表示装置２３上の表示画面の一例を示す図である。表示装置２３上には図４２に示した原稿５１に対応する電子化されたデータとしてのスキャン原稿２６１が表示されている。また、表示装置２３上には、図４２の手書きコマンド４２１から生成された「送信」のＧＵＩ部品４３１と、図４２の手書き動作内容４２２から生成された動作内容バルーンヘルプ４３２と、が表示されている。なお、ＧＵＩ部品４３１と、動作内容バルーンヘルプ４３２と、は、図４２の手書き関連付け指示４２３によって関連付けられている。なお、動作内容バルーンヘルプ４３２は、ＧＵＩ部品４３１上にポインティングデバイスが位置したときに表示装置２３が、表示するようにしてもよい。

図４４は、第６の実施形態における表示装置２３に表示されたＧＵＩ部品のデータの一例を示す図である。ＧＵＩ部品データは、ＧＵＩ部品に対応する機能の情報と、相対表示位置及びサイズの情報と、指示対象のオブジェクトの情報と、ＧＵＩ部品の動作内容と、を含む。図４４に示すＧＵＩ部品データは、データメモリ５に保持される。例えばＧＵＩ部品データ４４１は、指示対象に対する処理の機能として「送信」が記録され、相対表示位置及びサイズとして（７０，１０），（９０，２５）が記録されていることを表している。また、ＧＵＩ部品データ４４１は、指示対象として「スキャン原稿全体２６１」が記録され、処理の動作内容として「山田」が記録されていることを表している。つまり、ＧＵＩ部品データ４４１に対応するＧＵＩ部品がユーザに押下等されると、実行部４２は、ＧＵＩ部品データ４４１に基づいて、スキャン原稿全体２６１を、山田に送信する。

図４５は、動作内容特定処理の一例を示すフローチャートである。なお、図４５に示す処理は、スキャン原稿解釈部４９の、図４に示した動作内容特定部４ｄが処理を行うものとして説明を行う。

ステップＳ４５０１において、動作内容特定部４ｄは、文字認識処理を行い、スキャン原稿中の文字を認識する。続いてステップＳ４５０２において、動作内容特定部４ｄは、ステップＳ４５０１における文字認識が成功したか否かを判定する。動作内容特定部４ｄは、ステップＳ４５０１における文字認識が成功したと判定すると、ステップＳ４５０３に進む。また、動作内容特定部４ｄは、ステップＳ４５０１における文字認識が失敗したと判定すると、動作内容特定処理を終了する。

ステップＳ４５０３では、動作内容特定部４ｄが、対応データ抽出処理を行い、ステップＳ４５０１において認識した文字又は文字列に対応するデータ（例えば、図４２の手書き動作内容４２２等）を、スキャン原稿から抽出し、動作内容特定処理を終了する。

図４６は、動作内容関連付け処理の一例を示すフローチャートである。なお、図４６に示す処理は、スキャン原稿解釈部４９の、図４に示した動作内容関連付け部４ｅが処理を行うものとして説明を行う。

ステップＳ４６０１において、動作内容関連付け部４ｅは、関連抽出処理を行い、スキャン原稿中の手書き関連付け指示（例えば、図４２の手書き関連付け指示４２３）から手書きコマンドと、動作内容と、の関連付けに関する情報を抽出する。続いてステップＳ４６０２において、動作内容関連付け部４ｅは、ステップＳ４６０１における関連付けに関する情報の抽出が成功したか否かを判定する。動作内容関連付け部４ｅは、ステップＳ４６０１における関連付けに関する情報の抽出が成功したと判定すると、ステップＳ４６０３に進む。また、動作内容関連付け部４ｅは、ステップＳ４６０１における関連付けに関する情報の抽出が失敗したと判定すると、動作内容関連付け処理を終了する。

ステップＳ４６０３では、動作内容関連付け部４ｅが、データ絞込み処理を行い、ステップＳ４６０１において抽出した関連付けに関する情報から、手書きコマンドと、動作内容と、の組み合わせを絞り込む。

図４７は、手書きコマンドが記入され、動作内容が電子透かしで埋め込まれた原稿の一例を示した図である。図４７に示される原稿５１は、テキスト領域５２と、画像領域５３と、を含み、更に、手書きコマンド４２１が記入され、電子透かし動作内容４７１が埋め込まれている。図４等には図示していないが、表示装置２３は、その機能として、印刷を行う印刷部等を有し、例えば図４７に示されるような原稿５１を印刷、出力するようにしてもよい。又は画像形成装置２２に印刷すべきデータを出力してもよい。

また、原稿に、電子透かしで動作内容が埋め込まれていた場合、例えば動作内容特定部４ｄ等は、上述した図４５等の動作内容特定処理において、原稿に埋め込まれた電子透かしを認識し、認識した電子透かしから対応するデータを、スキャン原稿から抽出する。なお、ここで対応するデータとは、例えば図４７の電子透かし動作内容４７１等である。

図４８は、手書きコマンドが記入された原稿と、ユーザが、原稿又は手書きコマンドに対応させ入力部等を用いて動作内容を定義した定義データと、の一例を示す図である。図４８に示される原稿５１は、テキスト領域５２と、画像領域５３と、を含み、更に、手書きコマンド４２１が記入されている。ユーザは、図４８に示されるような原稿５１又は手書きコマンド４２１に対応させて、例えば原稿５１を表示装置２３に読み込ませる際に、動作内容を定義した定義データ４８１を、表示装置２３に定義する。

上述したように、第６の実施形態によれば、表示装置２３は、原稿に記入された手書きコマンドと、原稿に記入された手書き動作内容及び手書き関連付け指示と、に基づいて、手書きコマンド（又はＧＵＩ部品）と、動作内容と、を関連付ける。よって、表示中の原稿データに対する操作性を向上させることができる。

また、第６の実施形態によれば、表示装置２３は、原稿に記入された手書きコマンドと、電子透かしで埋め込まれた手書きコマンドに対する動作内容と、を関連付ける。よって、表示中の原稿データに対する操作性を向上させることができる。

また、第６の実施形態によれば、表示装置２３は、原稿に記入された手書きコマンドと、入力部等を用いてユーザが動作内容を定義した定義データと、に基づいて、手書きコマンド（又はＧＵＩ部品）と、動作内容と、を関連付ける。よって、表示中の原稿データに対する操作性を向上させることができる。

（第７の実施の形態）
以下、図４９から図５１を用いて、表示装置２３が、スキャン原稿上に記入された手書きコマンド以外のデータに基づいて、ＧＵＩ部品を生成する処理について説明する。

図４９は、デジタイザを備えた表示装置２３上の表示画面の一例を示す図である。デジタイザ（座標入力装置）を用いた表示画面上のペン入力操作によって手書きコマンド４９１が記入されることで、上述した実施形態同様の動作が実現される。

図５０は、マイクを備えた表示装置２３上に表示された表示画面の一例を示す図である。マイク５０２を用いた音声入力操作によって音声コマンド５０１が記入されることで、上述した実施形態同様の動作が実現される。なお、上述した実施形態同様にＧＵＩ部品の相対表示位置や、サイズを表示装置２３が特定するためには、ユーザは対応する指示を音声で行う必要がある。

図５１は、カメラを備えた表示装置２３に表示された表示画面の一例を示す図である。カメラ５１２を用いた映像入力操作によってジェスチャコマンド５１１が記入されることで、上述した実施形態同様の動作が実現される。なお、上述した実施形態同様にＧＵＩ部品の表示位置や、サイズを表示装置２３が特定するためには、ユーザは対応する指示をジェスチャで行う必要がある。

上述したように、第７の実施形態によれば、表示装置２３は、ペン入力操作等によって入力された手書きコマンドに基づいて、ＧＵＩ部品を生成し、表示する等、上述した各実施の形態で示した処理を実行する。よって、表示中の原稿データに対する操作性を向上させることができる。

また、第７の実施形態によれば、表示装置２３は、マイク等を用いて入力された音声コマンドに基づいて、ＧＵＩ部品を生成し、表示する等、上述した各実施の形態で示した処理を実行する。よって、表示中の原稿データに対する操作性を向上させることができる。

また、第７の実施形態によれば、表示装置２３は、カメラ等を用いて入力されたジェスチャコマンドに基づいて、ＧＵＩ部品を生成し、表示する等、上述した各実施の形態で示した処理を実行する。よって、表示中の原稿データに対する操作性を向上させることができる。

以上、上述したように、本発明の実施の形態によれば、表示中の原稿データに対する操作性を向上させることができる。

以上、本発明の好ましい実施の形態について詳述したが、本発明は係る特定の実施の形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

例えば、本発明は、複数の機器（例えばディスプレイ及び複合機等）から構成されるシステムに適用してもよい。また、本発明は、一つの機器からなる装置（例えば、スキャナ機能を有したディスプレイ、又はディスプレイのような表示装置を有した複合機、又はスキャン原稿を、タッチパネル上等に表示可能な複合機等）に適用してもよい。

表示装置のハードウェア構成を示すブロック図である。 システム構成を示すブロック図である。 システムの機能構成を示すブロック図である。 システムの機能構成をより詳細に示すブロック図である。 第１の実施形態におけるスキャン対象となる手書きコマンドが記入されている原稿の一例を示す図である。 第１の実施形態における表示装置に表示された表示画面の一例を示す図である。 第１の実施形態における表示装置に表示されたＧＵＩ部品のデータの一例を示す図である。 第１の実施形態における表示装置の全体処理の一例を示すフローチャートである。 スキャン原稿解釈処理の一例を示すフローチャートである。 手書きコマンド定義データの一例を示す図である。 手書きコマンド除去処理の一例を示すフローチャートである。 ＧＵＩ部品生成処理の一例を示すフローチャートである。 スキャン原稿表示処理の一例を示すフローチャートである。 ＧＵＩ部品表示処理の一例を示すフローチャートである。 実行処理の一例を示すフローチャートである。 第２の実施形態におけるスキャン対象となる手書きコマンドが記入されている原稿を示す図（その１）である。 第２の実施形態における表示装置に表示された表示画面を示す図（その１）である。 第２の実施形態における表示装置に表示されたＧＵＩ部品のデータを示す図（その１）である。 指示対象特定処理の一例を示すフローチャートである。 実行可能処理定義データの一例を示す図である。 対応オブジェクト特定処理の一例を示すフローチャートである。 第２の実施形態におけるスキャン対象となる手書きコマンドが記入されている原稿を示す図（その２）である。 第２の実施形態における表示装置に表示された表示画面を示す図（その２）である。 第２の実施形態における表示装置に表示されたＧＵＩ部品のデータを示す図（その２）である。 第３の実施形態におけるスキャン対象となる手書きコマンドが記入されている原稿を示す図（その１）である。 第３の実施形態における表示装置に表示された表示画面を示す図（その１）である。 第３の実施形態における表示装置に表示されたＧＵＩ部品のデータを示す図（その１）である。 第３の実施形態における表示装置に表示されたＧＵＩ部品変更操作画面を示す図（その１）である。 図２６に示した表示画面に対して、図２８に示したようなＧＵＩ部品の変更操作を行った後の表示装置に表示された表示画面の一例を示す図である。 第３の実施形態における表示装置に表示されたＧＵＩ部品のデータを示す図（その２）である。 ＧＵＩ部品変更処理の一例を示すフローチャートである。 有効ＧＵＩ部品一覧処理の一例を示すフローチャートである。 第３の実施形態における表示装置に表示されたＧＵＩ部品変更操作画面を示す図（その２）である。 図３３に示したようなＧＵＩ部品変更操作画面において、ＧＵＩ部品変更操作が行われた後の表示装置に表示された表示画面の一例を示す図である。 図３３に示したようなＧＵＩ部品変更操作画面において、ＧＵＩ部品変更操作が行われた後の表示装置に表示されたＧＵＩ部品のデータを示す図である。 第４の実施形態における表示装置に表示された表示画面の一例を示す図である。 第４の実施形態における表示装置の全体処理の一例を示すフローチャートである。 第４の実施形態におけるＧＵＩ部品データの一例を示す図である。 ＧＵＩ部品表示切替処理の一例を示すフローチャートである。 第５の実施形態における表示装置に表示された表示画面の一例を示す図である。 実行許可判定処理の一例を示すフローチャートである。 手書きコマンド及び手書き動作内容が記入されている原稿の一例を示す図である。 第６の実施形態における表示装置に表示された表示画面の一例を示す図である。 第６の実施形態における表示装置に表示されたＧＵＩ部品のデータの一例を示す図である。 動作内容特定処理の一例を示すフローチャートである。 動作内容関連付け処理の一例を示すフローチャートである。 手書きコマンドが記入され、動作内容が電子透かしで埋め込まれた原稿の一例を示した図である。 手書きコマンドが記入された原稿と、ユーザが、原稿又は手書きコマンドに対応させ入力部等を用いて動作内容を定義した定義データと、の一例を示す図である。 デジタイザを備えた表示装置に表示された表示画面の一例を示す図である。 マイクを備えた表示装置に表示された表示画面の一例を示す図である。 カメラを備えた表示装置に表示された表示画面の一例を示す図である。

符号の説明

１ 入力部
２ ＣＰＵ
３ 出力部
４ プログラムメモリ
５ データメモリ
６ バス
４１ スキャン＆表示部
４２ 実行部
４３ ＧＵＩ部品変更部
４４ スキャン原稿
４５ 除去後のスキャン原稿
４６ ＧＵＩ部品
４７ 実行可能処理定義データ

Claims (6)

1. 手書きコマンドと画像領域とを含む紙の原稿をスキャンして得たスキャン原稿から、前記手書きコマンドに対応するＧＵＩ部品の表示画面における表示位置と、前記画像領域に対応するオブジェクトの前記表示画面における表示位置と、を取得する取得手段と、
   前記ＧＵＩ部品の表示位置と前記オブジェクトの表示位置とに基づいて、前記ＧＵＩ部品と前記オブジェクトとが重なっているかを判定する判定手段と、
   前記ＧＵＩ部品と前記オブジェクトとが重なっていると判定された場合は、前記ＧＵＩ部品に対する操作を受け付けると前記オブジェクトに対する処理を実行する実行手段と、
   を有することを特徴とする情報処理装置。
2. 前記ＧＵＩ部品が有する機能が、前記オブジェクトに対して有効であるかを判定する第２の判定手段を更に有し、
   前記第２の判定手段で、前記機能が、前記オブジェクトに対して有効であると判定されなかった場合、前記実行手段は、前記ＧＵＩ部品に対する操作を受け付けても前記オブジェクトに対する処理を実行しないことを特徴とする請求項１に記載の情報処理装置。
3. 前記判定手段で、前記ＧＵＩ部品と前記オブジェクトとが重なっていると判定されなかった場合、前記ＧＵＩ部品を前記表示画面から削除する削除手段を更に有することを特徴とする請求項１又は２に記載の情報処理装置。
4. 前記オブジェクトは、動画であって、前記処理は、再生であることを特徴とする請求項１乃至３の何れか１項に記載の情報処理装置。
5. 情報処理装置が実行する情報処理方法であって、
   手書きコマンドと画像領域とを含む紙の原稿をスキャンして得たスキャン原稿から、前記手書きコマンドに対応するＧＵＩ部品の表示画面における表示位置と、前記画像領域に対応するオブジェクトの前記表示画面における表示位置と、を取得する取得ステップと、
   前記ＧＵＩ部品の表示位置と前記オブジェクトの表示位置とに基づいて、前記ＧＵＩ部品と前記オブジェクトとが重なっているかを判定する判定ステップと、
   前記ＧＵＩ部品と前記オブジェクトとが重なっていると判定された場合は、前記ＧＵＩ部品に対する操作を受け付けると前記オブジェクトに対する処理を実行する実行ステップと、
   を含むことを特徴とする情報処理方法。
6. コンピュータに、
   手書きコマンドと画像領域とを含む紙の原稿をスキャンして得たスキャン原稿から、前記手書きコマンドに対応するＧＵＩ部品の表示画面における表示位置と、前記画像領域に対応するオブジェクトの前記表示画面における表示位置と、を取得する取得ステップと、
   前記ＧＵＩ部品の表示位置と前記オブジェクトの表示位置とに基づいて、前記ＧＵＩ部品と前記オブジェクトとが重なっているかを判定する判定ステップと、
   前記ＧＵＩ部品と前記オブジェクトとが重なっていると判定された場合は、前記ＧＵＩ部品に対する操作を受け付けると前記オブジェクトに対する処理を実行する実行ステップと、
   を実行させることを特徴とするプログラム。

Images