JP2017167810A - 入力支援装置、入力支援方法、制御用プログラム、及び記憶媒体 - Google Patents

Abstract

【課題】文書中の未入力の入力箇所のみを強調表示する入力支援装置を提供する。【解決手段】入力支援装置は、書画台に載置された文書に入力支援を行う。文書は、筆記具により入力される入力領域を有する。入力支援装置は、文書が載置される書画台の載置面を撮像した画像を取得する画像取得部４１６と、画像取得部４１６で取得した画像から文書の入力領域を取得する入力領域取得部４１２と、取得した入力領域が入力済みであるか否かを認識する入力領域認識部４１４と、入力済みの入力領域と未入力の入力領域とを区別する入力支援画像を生成するレイアウト生成部４１５と、入力支援画像を書画台に表示する表示部４０６と、を備える。【選択図】図４

Description

本発明は、筆記具等による文書への入力を支援する入力支援装置に関する。

台上に載置された紙の文書の入力領域を強調することで、ユーザに対して入力支援を行う入力支援装置がある。入力支援装置は、例えば文書が載置される載置台、カメラ、プロジェクタ、及び制御装置を備える。特許文献１は、このような構成の入力支援装置を開示する。カメラは、載置台の載置面上に載置された文書を含む所定範囲を撮像し、撮像画像を制御装置に送信する。制御装置は、撮像画像に含まれる文書の画像からその種別を判断して、文書の種別に応じた入力領域を強調表示するための情報（以下、「作業支援情報」という。）を作成して、プロジェクタへ送信する。プロジェクタは、作業支援情報に基づいて、文書の入力領域を強調表示する画像を載置面に投影する。

特開２０１３−２５４４３７号公報

複数の入力領域が設けられる文書の場合、未入力の入力領域を残したまま載置台に載置される場合がある。この場合、入力済みの入力領域も、未入力の入力領域とともに一律に強調表示されてしまい、ユーザは、次に入力する入力領域を特定することが困難になる。そのために文書中の未入力の入力領域のみが強調され、入力済みの入力領域は強調されないように強調表示されることが望ましい。

本発明は、上記の問題を解決するために、文書中の未入力の入力箇所のみを強調表示する入力支援装置を提供することを主たる課題とする。

本発明の入力支援装置は、文書が載置される載置面を撮像した画像を取得する画像取得手段と、前記画像取得手段で取得した前記画像から、前記文書が有する、筆記具により入力される入力領域を取得する入力領域取得手段と、取得した前記入力領域が入力済みであるか否かを認識する入力領域認識手段と、入力済みの入力領域と未入力の入力領域とを区別する入力支援画像を生成するレイアウト生成手段と、前記入力支援画像を前記載置面に表示する表示手段と、を備えることを特徴とする。

本発明によれば、未入力の入力領域と入力済みの入力領域とを区別する入力支援画像を表示することで、文書中の未入力の入力箇所のみを強調表示することができる。そのためにユーザは、未入力領域を認識しやすくなる。

システムの全体構成図。 （ａ）〜（ｃ）は入力支援装置の説明図。 コントローラ部のハードウェア構成例示図。 （ａ）、（ｂ）は入力支援装置の機能の説明図。 （ａ）、（ｂ）は入力支援対象となる文書の説明図。 入力領域を管理するデータベースを示すテーブルの例示図。 メイン制御部の処理のフローチャート。 入力支援処理のフローチャート。 （ａ）〜（ｆ）はハイライト表示の例示図。 （ａ）、（ｂ）は入力領域を管理するデータベースを示すテーブルの例示図。 入力支援処理のフローチャート。 （ａ）、（ｂ）はハイライト表示の例示図。 メイン制御部の処理のフローチャート。 （ａ）、（ｂ）はハイライト表示の例示図。

以下、添付図面を参照して本発明の実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る本発明を限定するものでなく、また本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。

［第１実施形態］
本実施形態は、プロジェクタを内蔵する情報処理装置を用いて、伝票や申込書、届出書等の文書への入力を、ユーザの入力状況に応じて効果的に支援する。以降、プロジェクタを内蔵する情報処理装置を「入力支援装置」という。ユーザを支援するためにプロジェクタが表示する画像（入力支援画像）を表す情報を「入力支援情報」という。

図１は、本実施形態の入力支援装置を含むシステムの全体構成図である。このシステムは、イーサネット（登録商標）等のネットワーク１０４を介して通信可能に接続された、入力支援装置１０１、ホストコンピュータ１０２、及びプリンタ１０３を含む。ネットワーク１０４は、ＬＡＮ（Local Area Network）やインターネット等のＷＡＮ（Wide Area Network）である。このシステムは、ホストコンピュータ１０２からの指示により、入力支援装置１０１が画像を読み取るスキャン機能、スキャンデータをプリンタ１０３により出力するプリント機能などの実行が可能となる。また、ホストコンピュータ１０２を介さず、入力支援装置１０１への直接の指示により、スキャン機能、プリント機能を実行することも可能である。

＜入力支援装置の構成＞
図２は、入力支援装置１０１の説明図である。入力支援装置１０１の全体構成図を図２（ａ）に示す。図示のように、入力支援装置１０１は、コントローラ部２０１、カメラ部２０２、腕部２０３、短焦点のプロジェクタ２０７、及び距離画像センサ部２０８を含んで構成される。コントローラ部２０１、カメラ部２０２、プロジェクタ２０７及び距離画像センサ部２０８は、腕部２０３により連結されている。腕部２０３は、関節を用いて曲げ伸ばしが可能なものである。また、入力支援装置１０１は、文書２０６が載置される載置台として、書画台２０４を備える。

カメラ部２０２及び距離画像センサ部２０８のレンズは、書画台２０４方向に向けられており、破線で囲まれた読取領域２０５内の画像を読み取り可能である。図示の例では、文書２０６が読取領域２０５内に置かれている。そのために入力支援装置１０１は、文書２０６を読み取り可能となっている。カメラ部２０２は、単一解像度で画像を撮像するものでもよいが、高解像度画像撮像と低解像度画像撮像が可能である方が好ましい。入力支援装置１０１には、タッチパネルや及びスピーカが構成として更に含まれていてもよい。

図２（ｂ）は、入力支援装置１０１における座標系の説明図である。入力支援装置１０１では、各ハードウェアデバイスに対して、カメラ座標系、距離画像センサ座標系、プロジェクタ座標系という座標系が定義される。これらの座標系は、カメラ部２０２及び距離画像センサ部２０８のＲＧＢカメラ３６３が撮像する画像平面、あるいはプロジェクタ２０７が投影する画像平面をＸＹ平面とする。そして、画像平面に直交した方向をＺ方向として定義したものである。また、これらの独立した座標系の３次元データを統一的に扱えるようにするため、書画台２０４を含む平面をＸＹ平面とし、このＸＹ平面から上方に垂直な向きをＺ軸とする直交座標系を定義する。

座標系を変換する場合の例として、図２（ｃ）に直交座標系と、カメラ部２０２を中心としたカメラ座標系を用いて表現された空間と、カメラ部２０２が撮像する画像平面との関係を示す。直交座標系における３次元点Ｐ［Ｘ，Ｙ，Ｚ］は、（式１）によって、カメラ座標系における３次元点Ｐｃ［Ｘｃ，Ｙｃ，Ｚｃ］へ変換できる。

ここで、Ｒｃ及びｔｃは、直交座標系に対するカメラ部２０２の姿勢（回転）と位置（並進）によって求まる外部パラメータによって構成される。Ｒｃを３×３の回転行列、ｔｃを並進ベクトルと呼ぶ。逆に、カメラ座標系で定義された３次元点は、（式２）によって、直交座標系へ変換することができる。

カメラ部２０２で撮影される２次元のカメラ画像平面は、カメラ部２０２によって３次元空間中の３次元情報が２次元情報に変換されたものである。すなわち、カメラ座標系上での３次元点Ｐｃ［Ｘｃ，Ｙｃ，Ｚｃ］を、（式３）によってカメラ画像平面での２次元座標ｐｃ［ｘｐ，ｙｐ］に透視投影変換することによって変換することができる。

ここで、Ａは、カメラの内部パラメータと呼ばれ、焦点距離と画像中心などで表現される３×３の行列である。

以上のように、（式１）と（式３）とを用いることで、直交座標系で表された３次元点群を、カメラ座標系での３次元点群座標やカメラ画像平面に変換することができる。
なお、各ハードウェアデバイスの内部パラメータ及び直交座標系に対する位置姿勢（外部パラメータ）は、公知のキャリブレーション手法により、あらかじめキャリブレーションされているものとする。以後、特に断りがなく３次元点群と表記した場合は、直交座標系における３次元データを表しているものとする。

＜コントローラ部の構成例＞
図３は、入力支援装置１０１の本体であるコントローラ部２０１のハードウェア構成例を示す図である。コントローラ部２０１は、システムバス３０１に様々な機能部品を接続して構成される。機能部品は、ＣＰＵ３０２、ＲＡＭ３０３、ＲＯＭ３０４、ＨＤＤ３０５を基本構成とするコンピュータを含む。ＣＰＵ（Central Processing Unit）３０２は、入力支援装置１０１の制御用プログラムを実行することにより、コントローラ部２０１の全体動作を制御する。つまり、制御用プログラムは、コンピュータをコントローラ部２０１ないし入力支援装置１０１として動作させるためのものである。
ＲＡＭ（Random Access Memory）３０３は、揮発性の書き換え可能な記憶媒体であり、ＣＰＵ３０２のワークエリアとして機能する。ＲＯＭ（Read Only Memory）３０４は、書き換え不能な記憶媒体であり、ＣＰＵ３０２の起動用プログラムが格納されている。ＨＤＤ３０５は、ＲＡＭ３０３と比較して大容量なハードディスクドライブ（ＨＤＤ）である。ＨＤＤ３０５にはコントローラ部２０１で実行される、入力支援装置１０１の制御用プログラムが格納されている。なお、ＨＤＤ３０５は、ＳＳＤ（Solid State Drive）等の同等の機能を有する他の記憶装置であってもよい。

システムバス３０１に接続される機能部品には、ネットワークＩ／Ｆ（Ｉ／Ｆはインタフェースの略、以下同じ）３０６、画像処理プロセッサ３０７、カメラＩ／Ｆ３０８も含まれる。さらに、ディスプレイコントローラ３０９、シリアルＩ／Ｆ３１０、オーディオコントローラ３１１、及びＵＳＢ（Universal Serial Bus）コントローラ３１２も機能部品に含まれる。

ＣＰＵ３０２は、入力支援装置１０１が電源ＯＮ等によって起動されると、ＲＯＭ３０４に格納されている起動用プログラムを実行する。この起動用プログラムは、ＨＤＤ３０５に格納されている制御用プログラムを読み出し、ＲＡＭ３０３上に展開するためのものである。ＣＰＵ３０２は、起動用プログラムを実行すると、続けてＲＡＭ３０３上に展開した制御用プログラムを実行し、制御を行う。
ＣＰＵ３０２は、また、制御用プログラムによる動作に用いるデータもＲＡＭ３０３上に格納して読み書きを行う。ＨＤＤ３０５上には、さらに、制御用プログラムによる動作に必要な各種設定や、また、カメラ入力によって生成した画像データを格納することができ、ＣＰＵ３０２によって読み書きされる。ＣＰＵ３０２は、ネットワークＩ／Ｆ３０６を介してネットワーク１０４上の他の機器との通信を行う。

画像処理プロセッサ３０７は、ＲＡＭ３０３に格納された画像データを読み出して所定の画像処理を行い、処理結果をＲＡＭ３０３へ書き戻す。なお、画像処理プロセッサ３０７が実行する画像処理は、回転、変倍、色変換等である。
カメラＩ／Ｆ３０８はカメラ部２０２及び距離画像センサ部２０８に接続され、ＣＰＵ３０２からの指示に応じてカメラ部２０２から画像データを、距離画像センサ部２０８から距離画像データを取得してＲＡＭ３０３に書き込む。また、ＣＰＵ３０２からの制御コマンドをカメラ部２０２及び距離画像センサ部２０８へ送信し、カメラ部２０２及び距離画像センサ部２０８の設定を行う。

距離画像センサ部２０８は、赤外線パターン投射方式の距離画像センサであり、赤外線パターン投射部３６１、赤外線カメラ３６２、及びＲＧＢカメラ３６３を備える。赤外線パターン投射部３６１は、人の目には不可視である赤外線によって３次元測定パターンを対象物に投射する。赤外線カメラ３６２は、対象物に投射された赤外線の３次元測定パターンを撮像するカメラである。ＲＧＢカメラ３６３は、可視光をＲＧＢ信号で撮影するカメラである。第１実施形態では、距離画像センサ部２０８として赤外線パターン投射方式を採用しているが、他の方式の距離画像センサを用いてもよい。例えば、２つのＲＧＢカメラでステレオ立体視を行うステレオ方式や、レーザ光の飛行時間を検出することで距離を測定するＴＯＦ（Time of Flight）方式を用いても良い。

ディスプレイコントローラ３０９は、ＣＰＵ３０２の指示に応じてディスプレイへの画像の表示を制御する。ディスプレイコントローラ３０９は、短焦点のプロジェクタ２０７及びタッチパネル３３０に接続されている。
シリアルＩ／Ｆ３１０は、シリアル信号の入出力を行う。本実施形態では、シリアルＩ／Ｆ３１０は、タッチパネル３３０に接続される。ＣＰＵ３０２は、タッチパネル３３０が押下されたときにシリアルＩ／Ｆ３１０を介して押下された座標（位置）を取得する。

オーディオコントローラ３１１は、スピーカ３４０に接続される。オーディオコントローラ３１１は、ＣＰＵ３０２の指示に応じて音声データをアナログ音声信号に変換し、スピーカ３４０を通じて音声を出力する。ＵＳＢコントローラ３１２は、ＣＰＵ３０２の指示に応じて外付けのＵＳＢデバイスの制御を行う。本例では、ＵＳＢコントローラ３１２は、ＵＳＢメモリやＳＤカードなどの外部メモリ３５０に接続され、外部メモリ３５０へのデータの読み書きを行う。

＜機能構成＞
図４〜図６により入力支援装置１０１の機能について説明する。
図４（ａ）は、ＣＰＵ３０２が制御用プログラムを実行することによりコントローラ部２０１に形成される機能モジュール群４０１の構成例示図である。図４（ｂ）は、各機能モジュールの関係を示すシーケンス図である。制御用プログラムは、前述のようにＨＤＤ３０５に格納され、ＣＰＵ３０２が起動したときにＲＡＭ３０３上に展開される。
機能モジュール群４０１のうち、メイン制御部４０２は制御の中心であり、コントローラ部２０１を図４（ｂ）に示す手順で制御する。機能モジュール群４０１には、他に、画像取得部４１６、認識処理部４１７、ユーザインタフェース部４０３、表示部４０６、ネットワーク通信部４０４、データ管理部４０５、及び入力支援部４１８等がある。図５は、入力支援対象となる文書５０１の説明図である。図６は、入力支援対象となる文書５０１が有する入力領域を管理するデータベースを示すテーブル６００の例示図である。入力領域は、ユーザが筆記具により文字などを入力可能な領域である。

画像取得部４１６は、画像入力処理を行うモジュールであり、カメラ画像取得部４０７及び距離画像取得部４０８を有している。カメラ画像取得部４０７は、カメラＩ／Ｆ３０８を介してカメラ部２０２が出力する画像を取得し、これをＲＡＭ３０３へ格納する。距離画像取得部４０８は、カメラＩ／Ｆ３０８を介して距離画像センサ部２０８が出力する距離画像（距離画像データ）を取得し、これをＲＡＭ３０３へ格納する。距離画像データは、赤外線パターン投射部３６１からの３次元形状パターンの投射、ＲＧＢカメラ３６３によるＲＧＢカメラ画像、及び赤外線カメラ３６２によって３次元形状パターンを撮影した赤外線カメラ画像に基づいて生成される。

認識処理部４１７は、カメラ画像取得部４０７及び距離画像取得部４０８が取得する画像（画像データ）から書画台２０４上の文書やユーザの手などの物体を検知して認識する。そのために認識処理部４１７は、ジェスチャー認識部４０９及び物体検知部４１０を有している。
ジェスチャー認識部４０９は、取得した画像から書画台２０４上の手の位置、及びタッチなどのユーザのジェスチャーを認識する。具体的には、ジェスチャー認識部４０９は、画像取得部４１６から書画台２０４上の画像を継続的に取得し続ける。ジェスチャー認識部４０９は、継続して取得した画像から得られる３次元点群及び手の肌色領域から外形検出を行い、検出した外径に基づいて書画台２０４上の手の位置及びタッチなどのジェスチャーを検知する。ジェスチャー認識部４０９は、手の位置及びジェスチャーを検知すると、ジェスチャーを検知したことをメイン制御部４０２に通知する（ジェスチャー検知通知）。

物体検知部４１０は、物体が置かれて静止するタイミング及び除去されるタイミングを検知する。具体的には、物体検知部４１０は、画像取得部４１６から書画台２０４上の画像を継続的に取得し続け、書画台２０４上に物体が置かれて静止する静止タイミング及び物体が書画台２０４から除去される除去タイミングを検知する。物体検知部２１０は、静止タイミング及び除去タイミングを、書画台２０４の背景画像と連続する所定フレーム数のカメラフレーム画像との差分値に基づいて検知する。
なお、除去タイミングとは、物体が書画台２０４上から完全に除去され、書画台２０４上に何も置かれていない状態になったタイミングのことである。物体検知部４１０は、静止された物体が置かれていると判定した場合は、最後のカメラフレーム画像を保存する。また、物体検知部４１０は、距離画像データに基づいて、物体が所定の厚み以下の文書ではなく、所定の厚み以上を有する立体物であると判定した場合は、カメラフレーム画像に加えて、距離画像を３次元点群に変換して保存する。物体が文書か立体物であるかの判定に用いられる物体の厚みの閾値は、設定によって変更可能である。

また、物体検知部４１０は、検知された物体が文書であるか、あるいは文書以外の立体物であるかを識別するための物体識別情報を、静止タイミングで同時に生成する。物体識別情報は、距離画像に基づいて、物体の厚みが所定の厚み以下であるか否かの判定によって、文書であるか立体物であるかを識別する情報、例えば上記の物体の厚みの閾値を含む。ここでは、物体検知部４１０が物体の厚みのみで当該物体の識別を行う例について説明したが、前述したカメラフレーム画像の差分値が所定値以上ある領域が、矩形であるか否かを判定の条件に加えてもよい。物体検知部４１０は、前述した物体載置の静止タイミング及び除去タイミングを検知すると、物体を検知した旨の通知（物体検知通知）、物体の除去を検知した旨の通知（物体除去検知通知）、及び物体識別情報をメイン制御部４０２へ送る。メイン制御部４０２に送られた物体識別情報は、後述するデータ管理部４０５又はネットワークを介して接続されたサーバ等に保存され、任意のタイミングで読み出される。

ユーザインタフェース部４０３は、メイン制御部４０２からの要求を受け付け、メッセージやボタン等のＧＵＩ（Graphical User Interface）部品を生成する。ユーザインタフェース部４０３は、生成したＧＵＩ部品の表示を表示部４０６に要求する。表示部４０６は、ディスプレイコントローラ３０９を介して、プロジェクタ２０７もしくはタッチパネル３３０に、要求されたＧＵＩ部品の表示を行う。プロジェクタ２０７は、書画台２０４に向けて設置されている。そのために、ＧＵＩ部品は書画台２０４上に投射される。

メイン制御部４０２は、ジェスチャー認識部４０９が認識したタッチ等のジェスチャー操作、あるいはシリアルＩ／Ｆ３１０を介したタッチパネル３３０からの入力操作と、これらのタッチ位置を表す座標を取得する。ユーザインタフェース部４０３は、描画中の操作画面の内容と入力操作された座標を対応させて操作内容（例えば、押下されたボタン等）を判定する。ユーザインタフェース部４０３は、この操作内容をメイン制御部４０２へ通知する。これによりメイン制御部４０２は、操作者の操作を受け付ける。

ネットワーク通信部４０４は、ネットワークＩ／Ｆ３０６を介してネットワーク１０４上の他の機器と所定の通信プロトコルによる通信を行う。データ管理部４０５は、機能モジュール群４０１の動作時に生成された作業データを含む様々なデータをＨＤＤ３０５上の所定の領域へ保存し、管理する。保存されるデータは、例えば画像取得部４１６で取得した画像データ等である。

入力支援部４１８は、ユーザによる文書への入力作業に関わる入力支援処理を実行する。入力支援部４１８は、文書認識部４１１、入力領域取得部４１２、文書位置検出部４１３、入力領域認識部４１４、及びレイアウト生成部４１５を有する。入力支援部４１８は、メイン制御部４０２を介して、カメラ画像取得部４０７や距離画像取得部４０８が取得した画像データや、ジェスチャー認識部４０９が認識したジェスチャーを表すジェスチャー情報等の各モジュールの出力データを取得する。

文書認識部４１１は、書画台２０４上の文書の種類を認識する。具体的には文書認識部４１１は、カメラ画像取得部４０７によって取得された画像の特徴点及び特徴量を抽出し、データベース上に予め登録しておいた文書の種類毎の複数の文書画像の特徴点及び特徴量との類似度を比較する。これにより、文書認識部４１１は、書画台２０４上の文書が、データベース上のどの文書と一致するかを判定して、文書の種類を認識する。文書認識部４１１による画像の特徴点及び特徴量の抽出範囲は、カメラ部２０２によって撮像される読み取り領域２０５である。なお、文書認識部４１１は、カメラ画像と背景画像との差分を検出することで、カメラ画像中の文書領域を特定して、文書領域の特徴点及び特徴量のみを抽出するようにしてもよい。特徴点の抽出には、一般的にＤｏＧと呼ばれる技術が用いられ、各特徴点の特徴量の抽出には、一般的にＳＩＦＴやＳＵＲＦと呼ばれる技術が用いられる。

各文書画像の特徴点及び特徴量を関連付けているデータベースは、コントローラ部２０１のＨＤＤ３０５上あるいはネットワーク１０４上に設けられる外部サーバ等に格納される。外部サーバに設けられる場合、コントローラ部２０１は、ネットワーク１０４を介して外部サーバにアクセスし、当該外部サーバに格納された各文書画像の特徴点及び特徴量を関連付けているデータベースを参照する。文書の認識は、特徴点及び特徴量による方法の他に、予め文書に埋め込まれたバーコードなどを認識する方法により行ってもよい。

入力領域取得部４１２は、文書認識部４１１で認識された文書の種類を表す情報に基づいて、ユーザがボールペン等の筆記具によって入力すべき領域を取得する。入力すべき領域（以後、「入力領域」と呼ぶ。）とは、図５（ａ）に示す文書５０１のような申込書において、筆記具によってユーザが実際に手入力で文字を入力する必要がある領域である。図５（ａ）の例では、グレー色で表された領域が文書５０１の入力領域５０２〜５１０となる。入力領域５０２〜５１０は、図５（ａ）のように、枠線などで囲まれた矩形領域ごとに予め設定される。入力領域の設定は、文書の種類毎に、例えば、ホストコンピュータ１０２の専用アプリケーションや入力支援装置１０１の専用アプリケーション等を用いて、入力支援装置１０１の管理者により行われる。設定された入力領域の情報は、入力支援対象となる文書を管理するデータベースによって管理される。このデータベースは、ＨＤＤ３０５に格納され、例えば、図６に示したテーブル６００により表される。入力領域取得部４１２は、文書５０１と入力領域５０２〜５１０を関連付ける図６のデータベースを参照することで、文書５０１の入力領域５０２〜５１０を取得する。

図５（ａ）及び図６の例では、入力領域５０２は、テーブル６００の行６０１に関連付けられている。入力領域５０３は、テーブル６００の行６０２に関連付けられている。入力領域５０４は、テーブル６００の行６０３に関連付けられている。入力領域５０５は、テーブル６００の行６０４に関連付けられている。入力領域５０６は、テーブル６００の行６０５に関連付けられている。入力領域５０７は、テーブル６００の行６０６に関連付けられている。入力領域５０８は、テーブル６００の行６０７に関連付けられている。入力領域５０９は、テーブル６００の行６０８に関連付けられている。入力領域５１０は、テーブル６００の行６０９に関連付けられている。図６では、テーブル６００の行６１０に関連付けられた文書のＩＤ（文書ＩＤ）が、行６０１〜６０９に関連付けられた文書のＩＤと異なる。即ち、行６０１〜６０９で関連付けられた文書とは別の文書の入力領域が、行６１０に関連付けられている。テーブル６００の文書ＩＤ列６２１は、文書毎に固有に割り当てられた文書ＩＤ（識別情報）を示す。図５で示した文書５０１には、例えば、文書ＩＤとして「１」が割り当てられている。

テーブル６００のページ列６２２は、文書中の入力領域が存在するページ番号を示す。入力領域座標は、各文書の文書座標系（Ｘｄ、Ｙｄ、Ｚｄ）における、矩形の対角の頂点座標を示し、これにより入力領域の範囲を矩形の範囲として指定する。テーブル６００の入力済列６２３は、カメラフレーム画像中の文書の入力領域が、ユーザによって既に入力済みであるか否かを示す。入力済列６２３が「０」のときは、入力領域にユーザの入力が無い状態（以降、この状態の入力領域を、「未入力領域」と呼ぶ。）を示す。入力済列６２３が「１」のときは、入力領域にユーザの入力が既にある状態（以降、この状態の入力領域を、「入力済み領域」と呼ぶ。）を示す。入力済列６２３の詳細については、入力領域認識部４１４で後述する。

文書位置検出部４１３は、カメラ画像取得部４０７によって取得されたカメラ画像に基づいて、書画台２０４の載置面上に載置された文書の位置を検出する。例えば、文書の位置は、図５（ｂ）の直交座標系における文書の左上頂点座標（Ｘｄ０、Ｙｄ０、０）として表すことができる。プロジェクタ座標系やカメラ座標系における文書の入力領域座標は、文書の左上頂点座標（Ｘｄ０、Ｙｄ０、０）から直交座標系に変換し、更に前述の変換式を用いることで得ることができる。座標の変換方法については前述の通りである。本実施形態では、簡単のために文書の厚みを「０」とし、文書座標系におけるＺｄ成分を考慮していない。しかし、距離画像取得部４０８によって距離画像データを取得することで、文書の厚みや歪みを考慮して、プロジェクタ座標系及びカメラ座標系への座標変換をすることも可能である。文書の厚みを考慮した変換方法については公知の技術（特願２０１４−０９５５４１号公報）であるため、ここでの詳細な説明は省略する。

入力領域認識部４１４は、入力領域取得部４１２及び文書位置検出部４１３で取得された入力領域及び文書位置に基づいて、カメラ画像取得部４０７により取得されたカメラフレーム画像の文書の入力領域に、既に文字などが入力されているか否かを認識する。入力領域が既に入力されているか否かは、背景画像とカメラフレーム画像との差分値に基づいて検出される。入力領域に既に入力がある場合、図６のデータベース上の該当する入力領域の入力済列６２３を「１」に、入力がない場合、入力済列６２３を「０」に設定する。入力領域に既に入力があるか否かの検出は、ＯＣＲ（Optical character recognition）技術を用いて文字認識処理により行ってもよく、差分値に基づいて検出する方法に限らない。

レイアウト生成部４１５は、入力領域取得部４１２、文書位置検出部４１３、及び入力領域認識部４１４による入力領域、文書位置、及び入力済列６２３の情報に基づいて、プロジェクタ２０７により書画台２０４上の文書に投射するレイアウト画像を生成する。レイアウト生成部４１５によるレイアウト画像は、図５（ａ）の文書５０１の各入力領域を、例えば赤色などでハイライト表示する。レイアウト生成部４１５は、入力済列６２３の情報から入力済みであると判定される入力領域について、入力領域が入力済であることをユーザに示すために、緑色などでハイライト表示するようにレイアウト画像を生成する。生成されたレイアウト画像は表示部４０６によってプロジェクタ２０７で投射される。これによってユーザは、入力領域が未入力なのか入力済なのかを一目で判断することができる。該当する入力領域のハイライト表示位置の算出は、文書位置に基づいて入力領域の座標をプロジェクタ座標系に変換することで行われる。座標系の変換については、前述した通りである。入力領域の色については、赤色や緑色に限らず黄色や青色などのどのような色であってもよい。また、本実施形態では入力済の領域を緑色にすることとしたが、未入力の領域のみハイライト表示し、入力済の領域をハイライト表示しないようにレイアウト画像を生成してもよい。また、入力領域全体を塗りつぶして表示するのではなく、入力領域を枠線で囲ってハイライト表示するようにしてもよい。また、入力領域を、色を使ってハイライト表示するのではなく、入力領域の周囲に「入力が必要な箇所です」などの文字情報を表示して入力領域を強調するようにしてもよい。あるいは、入力領域を矢印マークなどの記号で指し示して強調表示するようなレイアウト画像を生成してもよい。このように、レイアウト画像は未入力の入力領域と入力済みの入力領域とを区別可能な入力支援画像である。

＜メイン制御部＞
図７、図８は、メイン制御部４０２による処理の概要を示すフローチャートである。図９は、プロジェクタ２０７によるハイライト表示の例示図である。

メイン制御部４０２は、処理を開始すると、まず入力支援装置１０１の初期化処理を行う（Ｓ７０１）。メイン制御部４０２は、初期化処理により、各ハードウェアの起動確認、カメラ画像取得部４０７及び距離画像取得部４０８の色味調整、距離センサ値の補正、書画台２０４に何も載置されていない状態での背景画像取得などを行う。

メイン制御部４０２は、ユーザインタフェース部４０３を介して図９（ａ）のＵＩ画面をプロジェクタ２０７で書画台２０４に投射する（Ｓ７０２）。図９（ａ）は、書画台２０４上に何も置かれていない状態を示す。このときメイン制御部４０２は、プロジェクタ２０７によりメッセージ９０２を投射することで、書画台２０４上にスキャン対象物を置くことをユーザに促す。また、メイン制御部４０２は、終了アイコン９０１をプロジェクタ２０７で投射する。ユーザが書画台２０４上の終了アイコン９０１にタッチすることで、ジェスチャー認識部４０９が終了アイコン９０１へのタッチ操作を認識し、メイン制御部４０２の処理が終了する。

メイン制御部４０２は、物体検知部４１０による物体検知通知の有無を判定する（Ｓ７０３）。物体検知部４１０による物体検知通知は、例えば図９（ｂ）に示すように、ユーザによって書画台２０４上に文書５０１が載置されたときに通知される。図９（ｂ）は、ユーザによって、書画台２０４の載置面上に文書５０１が載置されたときの状態を示す。なお、図９（ｂ）の文字９０４及び文字９０５は、文書５０１にユーザが事前に入力した文字を表しており、それぞれ入力領域５０２及び入力領域５０３に文字が書かれている状態を示している。

物体検知通知があった場合（Ｓ７０３：Y）、メイン制御部４０２は、物体検知部４１０によって検知された物体の物体識別情報に基づいて、物体が文書であるか立体物であるかを判定する（Ｓ７０４）。物体が立体物である場合（Ｓ７０４：立体物）、メイン制御部４０２は、物体が立体物である場合の処理を行う（Ｓ７０５）。立体物が書画台２０４の載置面上に載置されたときは、例えば、「置かれたものは文書ではありません」などの注意喚起メッセージを書画台２０４に投射する。あるいは、別のアプリケーションに切り替えるよう示唆するメッセージを投射してもよい。

物体が文書である場合（Ｓ７０４：文書）メイン制御部４０２は、ユーザインタフェース部４０３を介して、プロジェクタ２０７により書画台２０４に投射するメッセージを「文書を解析中です。」に更新する（Ｓ７０６）。具体的には、図９（ｂ）のように文書５０１が書画台２０４に置かれ、物体検知部４１０によって文書５０１が検知されたときに、プロジェクタ２０７がメッセージ９０３を投射する。

メイン制御部４０２は、入力支援部４１８によって入力支援処理を行う（Ｓ７０７）。Ｓ７０７の処理の詳細については、図８を用いて後述する。メイン制御部４０２は、入力支援処理で生成されたレイアウト画像を、ユーザインタフェース部４０３を介してプロジェクタ２０７により書画台２０４へ投射する（Ｓ７０８）。また、メイン制御部４０２は、同時にＵＩ画面のメッセージを更新表示する。入力支援処理で生成されたレイアウト画像の投射表示は、例えば図９（ｃ）の網掛け範囲９０７及び斜線範囲９０８のようになる。図９（ｃ）は、入力支援部４１８により、文書５０１に対してハイライト表示をしている状態を示す。図９（ｃ）の網掛け範囲９０７及び斜線範囲９０８は、プロジェクタ２０７によるハイライトの投影表示を示している。網掛け範囲９０７は赤色、斜線範囲９０８は緑色を用い、プロジェクタ２０７で入力領域を塗りつぶすように投射したものである。また、メッセージは、ユーザに文書５０１への入力を促すため、メッセージ９０６に更新される。

メイン制御部４０２は、物体検知部４１０による物体除去検知通知の有無を判定する（Ｓ７０９）。物体除去検知通知があった場合（Ｓ７０９：Y）、メイン制御部４０２は、書画台２０４の載置面上に物体が無いと判断されるため、ユーザインタフェース部４０３を介して図９（ａ）の画面をプロジェクタ２０７により再投射する（Ｓ７１０）。画面の再投射後、メイン制御部４０２は、ユーザによって書画台２０４上の終了アイコン９０１がタッチ押下されたか否かを判定する（Ｓ７１１）。なおメイン制御部４０２は、物体検知通知がない場合（Ｓ７０３：N）、あるいはＳ７０５の処理後にも終了アイコン９０１がタッチ押下されたか否かを判定する。終了アイコン９０１がタッチ押下された場合（Ｓ７１１：Y）、メイン制御部４０２は処理を終了する。そうでなければ（Ｓ７１１：N）、メイン制御部４０２はＳ７０３の処理へ戻る。

物体除去検知通知がなかった場合（Ｓ７０９：N）、メイン制御部４０２は、Ｓ７１１の処理と同様に、ユーザによって書画台２０４上の終了アイコン９０１がタッチ押下されたか否かを判定する（Ｓ７１２）。終了アイコン９０１がタッチ押下された場合（Ｓ７１２：Y）、メイン制御部４０２は処理を終了する。

終了アイコン９０１がタッチ押下されない場合（Ｓ７１２：N）、メイン制御部４０２は、ジェスチャー認識部４０９によるジェスチャー検知通知の有無を判定する（Ｓ７１３）。ジェスチャー認識部４０９は、例えば図９（ｄ）のときにユーザのジェスチャーを検知して、ジェスチャー検知通知をメイン制御部４０２に通知する。図９（ｄ）は、ユーザが筆記具（例えばボールペン）によって文書５０１に入力している状態を示す。図９（ｄ）の手９０９は、ユーザの左手及び右手を示しており、左手で文書５０１を押さえ、右手に持った筆記具により入力領域５０４に文字を入力している状態を表している。ジェスチャー検知通知がない場合（Ｓ７１３：Y）、メイン制御部４０２はＳ７０９の処理へ戻る。

ジェスチャー検知通知があった場合（Ｓ７１３：Y）、メイン制御部４０２は、検知されたジェスチャーが文書入力に関連するジェスチャーであるか否かを判定する（Ｓ７１４）。文書入力に関連するジェスチャーは、ユーザの手が書画台２０４上の文書５０１の入力領域に所定時間以上触れていたか否かにより判定される。例えば、図９（ｄ）のユーザの手９０９が、文書５０１の入力領域５０４、５０５に３秒以上置かれていた場合、ユーザの手が所定時間以上触れていると判定される。ただし、所定時間は設定によって変えることができ、３秒に限るものではない。なお、本実施形態では手９０９が入力領域に所定時間以上触れていた場合で入力を判定しているが、単に手９０９が文書５０１の領域と重なった場合に文書入力に関連するジェスチャーであると判定してもよい。ジェスチャーが文書入力に関連しない場合（Ｓ７１４：N）、メイン制御部４０２はＳ７０９の処理へ戻る。

ジェスチャーが文書入力に関連する場合（Ｓ７１４：Y）、メイン制御部４０２は、Ｓ７１３で検知されたユーザによるジェスチャーが終了しているか否かを判定する（Ｓ７１５）。ジェスチャーが終了している状態とは、具体的には書画台２０４上からユーザの手９０９が無くなっている状態である。ジェスチャーが終了している場合（Ｓ７１５：Y）、メイン制御部４０２はＳ７０６の処理へ戻る。ジェスチャーが終了していない場合（Ｓ７１５：Y）、メイン制御部４０２はジェスチャーが終了するまでＳ７１５の処理をループして行う。Ｓ７１５の処理でジェスチャーの終了を判定するのは、Ｓ７０７の入力支援処理において、再度カメラフレーム画像を取得して文書認識を行うためである。ジェスチャーが終了していない状態で入力支援処理を開始すると、カメラフレーム画像に手が写り込んでしまい、正しく文書認識ができない可能性があり、文書認識が正確に行えないことがある。

図９（ｅ）及び図９（ｆ）は、図９（ｄ）のようなジェスチャーが終了した後、つまりＳ７１５の処理の後の書画台２０４上の状態を表している。図９（ｅ）は、図９（ｄ）でユーザが文字入力を行った後、手９０９を文書５０１から離したときの書画台２０４上の状態を示し、Ｓ７０６の処理によってＵＩ画面が更新されたときの表示である。図９（ｅ）の文字９１１は、図９（ｄ）の画面でユーザが入力を行った結果として見える文字である。図９（ｆ）は、メイン制御部４０２及び入力支援部４１８によるＳ７０７及びＳ７０８の処理によって、図９（ｅ）の文書５０１を再びハイライト表示したときの状態を示す。図９（ｆ）の網掛け範囲９１３及び斜線範囲９１４は、プロジェクタ２０７によるハイライトの投影表示を示している。図９（ｆ）では、図９（ｃ）の網掛け範囲９０７及び斜線範囲９０８と異なり、ユーザの文字９１１の入力によって、入力領域５０４の分だけ未入力を示す網掛け範囲が小さくなり、入力済を示す斜線範囲が大きくなったことを表している。

Ｓ７１３〜Ｓ７１５の処理は、文書５０１の状態が変化したことに応じて、Ｓ７０７の入力支援処理をユーザの手を煩わせることなく自動で実行するための処理である。文書５０１の状態変化は、例えば文書５０１がボールペンなどにより入力されたこと、文書の位置が移動されたことなども含まれる。従って、Ｓ７１３〜Ｓ７１５の処理でジェスチャーに基づいて状態変化を検知するのではなく、文書５０１の位置座標が変化したことをカメラフレーム画像に基づいて検知することで、文書５０１の状態が変化したと判定してもよい。また、Ｓ７０７の入力支援処理を自動で実行するのではなく、書画台２０４上に投影表示された入力支援処理の実行ボタン（不図示）をユーザがタッチ押下し、手動で実行するようにしてもよい。

＜入力支援処理＞
図８は、Ｓ７０７の入力支援処理を示すフローチャートである。図１０は、文書５０１の入力領域を管理するデータベースを示すテーブルの例示図である。

メイン制御部４０２は、カメラ画像取得部４０７からカメラフレーム画像を取得する（Ｓ８０１）。メイン制御部４０２は、例えば、図９（ｂ）の画面を、以後の処理を行うためのカメラフレーム画像として取得する。メイン制御部４０２は文書認識部４１１により、取得したカメラフレーム画像に基づいて書画台２０４上の文書５０１を認識する（Ｓ８０２）。文書認識部４１１の認識処理は前述の通りである。

メイン制御部４０２は、文書認識部４１１により書画台２０４上の文書５０１の画像とデータベースに登録された文書画像の類似度を判定し、文書５０１が入力支援対象であるか否かを判定する（Ｓ８０３）。文書５０１が入力支援対象である場合（Ｓ８０３：Y）、メイン制御部４０２は、入力領域取得部４１２により文書５０１の入力領域を取得する（Ｓ８０４）。入力領域取得部４１２は、例えば、図９（ｂ）の入力領域５０２〜５１０を取得する。入力領域取得部４１２の処理は前述の通りである。メイン制御部４０２は、文書位置検出部４１３により、カメラフレーム画像に基づいて書画台２０４の載置面上の文書の位置を検出する（Ｓ８０５）。文書位置検出部４１３の処理については前述の通りである。

メイン制御部４０２は、入力領域認識部４１４により取得された文書５０１の入力領域と文書位置検出部４１３により検出された文書位置に基づいて、カメラフレーム画像上の文書の入力領域に、文字などの入力があるか否かを認識する（Ｓ８０６）。例えば、図９（ｂ）の入力領域５０２及び入力領域５０３には、ユーザによってそれぞれ「ＪＡＰＡＮ」（文字９０４）と「Ｈａｋｕｓａｎ」（文字９０５）が入力されている。このとき、入力領域認識部４１４は、入力領域５０２及び入力領域５０３に文字９０４及び文字９０５が入力されていることを認識する。これにより入力領域認識部４１４は、入力領域５０２及び入力領域５０３が入力済であると判定する。この判定結果に応じて、図６のデータベースが図１０（ａ）のように更新される。具体的には、入力領域５０２及び入力領域５０３の情報を示す図６の行６０１、６０２の入力済列６２３が、図１０（ａ）の行１００１、１００２の入力済列６５１のように入力済であることを示す「１」に更新される。入力領域認識部４１４の処理については前述の通りである。

データベースの更新後、メイン制御部４０２は、レイアウト生成部４１５により、文書位置及びＳ８０６で更新されたデータベースに基づいてハイライト表示用のレイアウト画像を生成する（Ｓ８０７）。なおメイン制御部４０２は、文書５０１が入力支援対象ではない場合にも（Ｓ８０３：Y）、ハイライト表示用のレイアウト画像を生成する。図１０（ａ）のデータベースによれば、行１００１、１００２により文書５０１の入力領域５０２及び入力領域５０３が入力済であると判別される。そのためにレイアウト生成部４１５は、入力領域５０２、５０３を緑色に、それ以外の入力領域５０４〜５１０を赤色にハイライトするようなレイアウト画像を生成する。具体的には、レイアウト生成部４１５は、図９（ｃ）の網掛け範囲９０７及び斜線範囲９０８のように、ハイライト表示するレイアウト画像を生成する。レイアウト生成部４１５の処理については前述の通りである。図９（ｅ）のように入力領域５０４に文字９１１が追記された場合、前述のＳ８０６の処理によって図１０（ｂ）のようにデータベースの行１００３が更新される。このとき、ハイライト表示するためのレイアウト画像は、図９（ｆ）の網掛け範囲９１３及び斜線範囲９１４のようになる。

以上のように、本実施形態の入力支援装置１０１は、書画台２０４の載置面上に載置された文書５０１へのユーザによる入力状況に合わせて、入力支援のための画面を投射する。そのためにユーザは、文書中の入力すべき箇所を適切に把握することができる。また、入力支援装置１０１は、ユーザの入力作業状態を判定して、自動で入力状況を判定するために、ユーザに手間を煩わせることなく、随時、入力支援のための表示を更新することができる。

［第２実施形態］
第２実施形態の入力支援装置は、文書入力の進捗状況に応じて、文書入力の抜け漏れをユーザに明示する。入力支援装置１０１のハードウェア構成及び機能ブロックは、第１実施形態と同様であるために説明を省略する。

図１１は、第２実施形態の、図７の入力支援処理（Ｓ７０７）のフローチャートである。入力支援処理の前後の処理については図７に示す第１実施形態の処理と同様であるために説明を省略する。図１２は、プロジェクタ２０７によるハイライト表示の例示図である。

メイン制御部４０２は、入力支援処理を開始すると、図８のＳ８０１〜Ｓ８０６と同様の処理により、文書の入力領域に文字などの入力があるか否かを認識する（Ｓ８０１〜Ｓ８０６）。
メイン制御部４０２は、入力支援部４１８により、ユーザによる文書への入力状況を判定する（Ｓ１１０１）。具体的には入力支援部４１８は、図１０（ａ）のデータベースの行１００１、１００２によって、文書５０１の２箇所の入力領域が入力済であると判定する。文書５０１は９箇所の入力領域５０２〜５１０を有するため、入力支援部４１８は、データベースに基づいて、全体として９箇所中２箇所（２／９）の入力領域が入力済であると、入力状況を判定する。

メイン制御部４０２は、レイアウト生成部４１５により、文書位置、データベース、及び入力状況の判定結果に基づいてハイライト表示用のレイアウト画像を生成する（Ｓ１１０２）。具体的にはレイアウト生成部４１５は、第１実施形態で生成したレイアウト画像に、図１２（ａ）のメッセージ１２０１のような入力状況の判定結果を追加して、ハイライト表示用のレイアウト画像を生成する。同様に、図１２（ｂ）では、図１０（ｂ）のデータベースに基づく入力状況の判定結果を表すメッセージ１２０２を第１実施形態で生成したレイアウト画像に追加して、ハイライト表示用のレイアウト画像を生成する。図１２の例では、入力状況を分数表示しているが、これはパーセント表示であってもよく、全体の入力領域のうちどこまで入力済みであるかの表現方法はこれに限るものではない。

以上のように、第２実施形態では、第１実施形態の効果に加えてＳ１１０１の入力状況判定処理を用いることで、ユーザが文書に全体としてどの程度まで入力しているかが認識しやすくなる。従って、ユーザは、入力に必要な大まかな作業時間を把握することができる。また、この入力支援装置は、どこまで入力が済んでおり、未入力の領域がいくつあるかを数値として明示するために、入力漏れを未然に防止することができる。

［第３実施形態］
第３実施形態の入力支援装置は、ユーザが文書に入力している際に、プロジェクタ２０７の表示を入力の妨げにならないように動的に制御する。入力支援装置１０１のハードウェア構成及び機能ブロックは、第１実施形態と同様であるために説明を省略する。

図１３は、メイン制御部４０２による処理の概要を示すフローチャートである。図１４は、プロジェクタ２０７によるハイライト表示の例示図である。図１３のＳ７０１〜Ｓ７１３、Ｓ７１５の処理は、図７のＳ７０１〜Ｓ７１３、Ｓ７１５と同様の処理であるために説明を省略する。

メイン制御部４０２は、ジェスチャー認識部４０９によるジェスチャー検知通知があった場合（Ｓ７１３：Y）、ユーザの手９０９が、図１４（ａ）に例示するように文書５０１の入力領域５０２〜５１０の近傍にあるか否かを判定する（Ｓ１３０１）。入力領域５０２〜５１０の近傍であるか否かの判断は、例えば手９０９の輪郭線と文書５０１上の各入力領域５０２〜５１０の外枠線との最短距離が所定の距離以内、例えば３［ｃｍ］以内であるか否かにより行われる。手９０９の輪郭線は、カメラフレーム画像に写る手９０９の領域の輪郭線である。最短距離が３［ｃｍ］以内であるか否かの判定は、カメラフレーム画像を解析することで行われる。例えば図１４（ａ）では、手９０９の近傍にある領域が、手９０９の輪郭線と各入力領域５０２〜５１０との最短距離を算出することで判定される。最短距離が３［ｃｍ］以内にある入力領域５０２〜５０５が手９０９の近傍にあると判定される。ただし、近傍にあるか否かの判断基準となる値は変更可能であり、３［ｃｍ］に限るものではない。

手９０９が入力領域５０２〜５１０のいずれの近傍にもない場合（Ｓ１３０１：N）、メイン制御部４０２は、Ｓ７０９以降の処理を繰り返し行う。手９０９が入力領域５０２〜５１０のいずれかの近傍である場合（Ｓ１３０１：Y）、メイン制御部４０２は、手９０９と各入力領域５０２〜５１０との距離とに応じて、プロジェクタ２０７による投影表示の変更処理を行う（Ｓ１３０２）。メイン制御部４０２は、プロジェクタ２０７による表示を変更することで、網掛け範囲１４０２のハイライト表示を残しつつ、手９０９の近傍であると判定された入力領域５０２〜５０５に投射されていたハイライト表示を消去する。つまり、手９０９の近傍であると判定された入力領域５０２〜５０５への表示が目立たなくなるように入力支援画像を変更する。これによりユーザは、プロジェクタ２０７の投射光に妨げられることなく、文書５０１への入力を行うことができる。また、図１４（ｂ）の枠線１４０３のように、塗りつぶして表示していたハイライト領域を、枠線だけ残すように変更してもよい。これにより、入力箇所をユーザに示しつつ、プロジェクタ２０７の投射光による入力作業の妨げを軽減することができる。

以上のように、第３実施形態では、第１実施形態の効果に加え、手の近傍判定及びプロジェクタ２０７による表示変更により、プロジェクタ２０７の投射による入力作業の妨げを軽減することができる。また、第３実施形態と第２実施形態とを組み合わせてもよい。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０１…入力支援装置、２０１…コントローラ部、２０２…カメラ部、２０４…操作平面、２０７…プロジェクタ、２０８…距離画像センサ部、３３０…タッチパネル、４０２…メイン制御部、４０９…ジェスチャー認識部、４２０…タッチパネルイベント検知部

Claims (11)

1. 文書が載置される載置面を撮像した画像を取得する画像取得手段と、
   前記画像取得手段で取得した前記画像から、前記文書が有する、筆記具により入力される入力領域を取得する入力領域取得手段と、
   取得した前記入力領域が入力済みであるか否かを認識する入力領域認識手段と、
   入力済みの入力領域と未入力の入力領域とを区別する入力支援画像を生成するレイアウト生成手段と、
   前記入力支援画像を前記載置面に表示する表示手段と、を備えることを特徴とする、
   入力支援装置。
2. 前記画像取得手段で取得した前記画像に基づいて、前記載置面上に載置された前記文書の位置を検出する文書位置検出手段を備えており、
   前記表示手段は、前記文書位置検出手段により検出された前記載置面上の前記文書の位置に応じた位置に、前記入力支援画像を表示することを特徴とする、
   請求項１記載の入力支援装置。
3. 前記文書の種類毎の複数の文書画像が登録される登録手段と、
   前記文書の種類毎に設定される前記入力領域の情報を格納する格納手段と、
   前記登録手段に登録される前記複数の文書画像と前記画像取得手段で取得した前記画像とを比較することで、前記載置面に載置された前記文書の種類を認識する文書認識手段と、を備えており、
   前記入力領域取得手段は、前記格納手段を参照して、前記文書認識手段で認識した前記文書の種類に応じた前記入力領域を取得することを特徴とする、
   請求項１又は２記載の入力支援装置。
4. 前記入力領域認識手段は、前記入力領域取得手段で取得した前記入力領域及び前記文書位置検出手段で検出した前記文書の位置に基づいて、前記画像取得手段で取得した前記画像に含まれる前記文書の入力領域が入力済みであるか否かを認識することを特徴とする、
   請求項２又は３記載の入力支援装置。
5. 前記画像取得手段で継続的に取得した前記画像に基づいて、ユーザのジェスチャーを認識するジェスチャー認識手段を備えており、
   前記レイアウト生成手段は、前記ジェスチャーが入力に関連する場合、ジェスチャーが終了した後に前記入力支援画像を更新し、
   前記表示手段は、更新された入力支援画像を前記載置面に表示することを特徴とする、
   請求項１〜４のいずれか１項記載の入力支援装置。
6. 前記文書が有する前記入力領域の数と、前記入力済みの入力領域の数とに基づいて該文書への入力状況を判定する入力支援手段を備えており、
   前記レイアウト生成手段は、前記入力状況の判定結果を含む前記入力支援画像を生成することを特徴とする、
   請求項１〜５のいずれか１項記載の入力支援装置。
7. 前記画像取得手段で取得した前記画像に基づいて、前記入力領域とユーザの手とが所定の距離以内であるか否かを判定する判定手段を備えており、
   前記レイアウト生成手段は、前記入力領域と前記ユーザの手とが前記所定の距離以内である場合に、前記ユーザの手との距離が前記所定の距離以内の入力領域が目立たなくなるように前記入力支援画像を変更することを特徴とする、
   請求項１〜６のいずれか１項記載の入力支援装置。
8. 前記表示手段は、前記載置面上の前記文書の位置に前記入力支援画像を投射するプロジェクタであることを特徴とする、
   請求項１〜７のいずれか１項記載の入力支援装置。
9. 文書が載置される載置面を撮像する撮像手段と、前記載置面に画像を表示する表示手段と、を備える情報処理装置により実行される方法であって、
   前記撮像手段で撮像した画像から、前記文書が有する、筆記具により入力される入力領域を取得し、
   取得した前記入力領域が入力済みであるか否かを認識し、
   入力済みの入力領域と未入力の入力領域とを区別する入力支援画像を生成し、
   生成した前記入力支援画像を前記表示手段により前記載置面に表示することを特徴とする、
   入力支援方法。
10. 文書が載置される載置面を撮像する撮像手段を備えるコンピュータを、
    前記撮像手段で撮像した画像を取得する画像取得手段、
    前記画像取得手段で取得した前記画像から、前記文書が有する、筆記具により入力される入力領域を取得する入力領域取得手段、
    取得した前記入力領域が入力済みであるか否かを認識する入力領域認識手段、
    入力済みの入力領域と未入力の入力領域とを区別する入力支援画像を生成するレイアウト生成手段、
    前記入力支援画像を前記載置面に表示する表示手段、
    として機能させるための制御用プログラム。
11. 請求項１０記載の制御用プログラムを記憶するコンピュータで読み取り可能な記憶媒体。