JP2017167810A - 入力支援装置、入力支援方法、制御用プログラム、及び記憶媒体 - Google Patents
入力支援装置、入力支援方法、制御用プログラム、及び記憶媒体 Download PDFInfo
- Publication number
- JP2017167810A JP2017167810A JP2016052444A JP2016052444A JP2017167810A JP 2017167810 A JP2017167810 A JP 2017167810A JP 2016052444 A JP2016052444 A JP 2016052444A JP 2016052444 A JP2016052444 A JP 2016052444A JP 2017167810 A JP2017167810 A JP 2017167810A
- Authority
- JP
- Japan
- Prior art keywords
- input
- document
- image
- input area
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Input (AREA)
- Position Input By Displaying (AREA)
- Facsimile Scanning Arrangements (AREA)
- User Interface Of Digital Computer (AREA)
- Character Input (AREA)
Abstract
【課題】文書中の未入力の入力箇所のみを強調表示する入力支援装置を提供する。【解決手段】入力支援装置は、書画台に載置された文書に入力支援を行う。文書は、筆記具により入力される入力領域を有する。入力支援装置は、文書が載置される書画台の載置面を撮像した画像を取得する画像取得部416と、画像取得部416で取得した画像から文書の入力領域を取得する入力領域取得部412と、取得した入力領域が入力済みであるか否かを認識する入力領域認識部414と、入力済みの入力領域と未入力の入力領域とを区別する入力支援画像を生成するレイアウト生成部415と、入力支援画像を書画台に表示する表示部406と、を備える。【選択図】図4
Description
本発明は、筆記具等による文書への入力を支援する入力支援装置に関する。
台上に載置された紙の文書の入力領域を強調することで、ユーザに対して入力支援を行う入力支援装置がある。入力支援装置は、例えば文書が載置される載置台、カメラ、プロジェクタ、及び制御装置を備える。特許文献1は、このような構成の入力支援装置を開示する。カメラは、載置台の載置面上に載置された文書を含む所定範囲を撮像し、撮像画像を制御装置に送信する。制御装置は、撮像画像に含まれる文書の画像からその種別を判断して、文書の種別に応じた入力領域を強調表示するための情報(以下、「作業支援情報」という。)を作成して、プロジェクタへ送信する。プロジェクタは、作業支援情報に基づいて、文書の入力領域を強調表示する画像を載置面に投影する。
複数の入力領域が設けられる文書の場合、未入力の入力領域を残したまま載置台に載置される場合がある。この場合、入力済みの入力領域も、未入力の入力領域とともに一律に強調表示されてしまい、ユーザは、次に入力する入力領域を特定することが困難になる。そのために文書中の未入力の入力領域のみが強調され、入力済みの入力領域は強調されないように強調表示されることが望ましい。
本発明は、上記の問題を解決するために、文書中の未入力の入力箇所のみを強調表示する入力支援装置を提供することを主たる課題とする。
本発明の入力支援装置は、文書が載置される載置面を撮像した画像を取得する画像取得手段と、前記画像取得手段で取得した前記画像から、前記文書が有する、筆記具により入力される入力領域を取得する入力領域取得手段と、取得した前記入力領域が入力済みであるか否かを認識する入力領域認識手段と、入力済みの入力領域と未入力の入力領域とを区別する入力支援画像を生成するレイアウト生成手段と、前記入力支援画像を前記載置面に表示する表示手段と、を備えることを特徴とする。
本発明によれば、未入力の入力領域と入力済みの入力領域とを区別する入力支援画像を表示することで、文書中の未入力の入力箇所のみを強調表示することができる。そのためにユーザは、未入力領域を認識しやすくなる。
以下、添付図面を参照して本発明の実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る本発明を限定するものでなく、また本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。
[第1実施形態]
本実施形態は、プロジェクタを内蔵する情報処理装置を用いて、伝票や申込書、届出書等の文書への入力を、ユーザの入力状況に応じて効果的に支援する。以降、プロジェクタを内蔵する情報処理装置を「入力支援装置」という。ユーザを支援するためにプロジェクタが表示する画像(入力支援画像)を表す情報を「入力支援情報」という。
本実施形態は、プロジェクタを内蔵する情報処理装置を用いて、伝票や申込書、届出書等の文書への入力を、ユーザの入力状況に応じて効果的に支援する。以降、プロジェクタを内蔵する情報処理装置を「入力支援装置」という。ユーザを支援するためにプロジェクタが表示する画像(入力支援画像)を表す情報を「入力支援情報」という。
図1は、本実施形態の入力支援装置を含むシステムの全体構成図である。このシステムは、イーサネット(登録商標)等のネットワーク104を介して通信可能に接続された、入力支援装置101、ホストコンピュータ102、及びプリンタ103を含む。ネットワーク104は、LAN(Local Area Network)やインターネット等のWAN(Wide Area Network)である。このシステムは、ホストコンピュータ102からの指示により、入力支援装置101が画像を読み取るスキャン機能、スキャンデータをプリンタ103により出力するプリント機能などの実行が可能となる。また、ホストコンピュータ102を介さず、入力支援装置101への直接の指示により、スキャン機能、プリント機能を実行することも可能である。
<入力支援装置の構成>
図2は、入力支援装置101の説明図である。入力支援装置101の全体構成図を図2(a)に示す。図示のように、入力支援装置101は、コントローラ部201、カメラ部202、腕部203、短焦点のプロジェクタ207、及び距離画像センサ部208を含んで構成される。コントローラ部201、カメラ部202、プロジェクタ207及び距離画像センサ部208は、腕部203により連結されている。腕部203は、関節を用いて曲げ伸ばしが可能なものである。また、入力支援装置101は、文書206が載置される載置台として、書画台204を備える。
図2は、入力支援装置101の説明図である。入力支援装置101の全体構成図を図2(a)に示す。図示のように、入力支援装置101は、コントローラ部201、カメラ部202、腕部203、短焦点のプロジェクタ207、及び距離画像センサ部208を含んで構成される。コントローラ部201、カメラ部202、プロジェクタ207及び距離画像センサ部208は、腕部203により連結されている。腕部203は、関節を用いて曲げ伸ばしが可能なものである。また、入力支援装置101は、文書206が載置される載置台として、書画台204を備える。
カメラ部202及び距離画像センサ部208のレンズは、書画台204方向に向けられており、破線で囲まれた読取領域205内の画像を読み取り可能である。図示の例では、文書206が読取領域205内に置かれている。そのために入力支援装置101は、文書206を読み取り可能となっている。カメラ部202は、単一解像度で画像を撮像するものでもよいが、高解像度画像撮像と低解像度画像撮像が可能である方が好ましい。入力支援装置101には、タッチパネルや及びスピーカが構成として更に含まれていてもよい。
図2(b)は、入力支援装置101における座標系の説明図である。入力支援装置101では、各ハードウェアデバイスに対して、カメラ座標系、距離画像センサ座標系、プロジェクタ座標系という座標系が定義される。これらの座標系は、カメラ部202及び距離画像センサ部208のRGBカメラ363が撮像する画像平面、あるいはプロジェクタ207が投影する画像平面をXY平面とする。そして、画像平面に直交した方向をZ方向として定義したものである。また、これらの独立した座標系の3次元データを統一的に扱えるようにするため、書画台204を含む平面をXY平面とし、このXY平面から上方に垂直な向きをZ軸とする直交座標系を定義する。
座標系を変換する場合の例として、図2(c)に直交座標系と、カメラ部202を中心としたカメラ座標系を用いて表現された空間と、カメラ部202が撮像する画像平面との関係を示す。直交座標系における3次元点P[X,Y,Z]は、(式1)によって、カメラ座標系における3次元点Pc[Xc,Yc,Zc]へ変換できる。
ここで、Rc及びtcは、直交座標系に対するカメラ部202の姿勢(回転)と位置(並進)によって求まる外部パラメータによって構成される。Rcを3×3の回転行列、tcを並進ベクトルと呼ぶ。逆に、カメラ座標系で定義された3次元点は、(式2)によって、直交座標系へ変換することができる。
カメラ部202で撮影される2次元のカメラ画像平面は、カメラ部202によって3次元空間中の3次元情報が2次元情報に変換されたものである。すなわち、カメラ座標系上での3次元点Pc[Xc,Yc,Zc]を、(式3)によってカメラ画像平面での2次元座標pc[xp,yp]に透視投影変換することによって変換することができる。
ここで、Aは、カメラの内部パラメータと呼ばれ、焦点距離と画像中心などで表現される3×3の行列である。
以上のように、(式1)と(式3)とを用いることで、直交座標系で表された3次元点群を、カメラ座標系での3次元点群座標やカメラ画像平面に変換することができる。
なお、各ハードウェアデバイスの内部パラメータ及び直交座標系に対する位置姿勢(外部パラメータ)は、公知のキャリブレーション手法により、あらかじめキャリブレーションされているものとする。以後、特に断りがなく3次元点群と表記した場合は、直交座標系における3次元データを表しているものとする。
なお、各ハードウェアデバイスの内部パラメータ及び直交座標系に対する位置姿勢(外部パラメータ)は、公知のキャリブレーション手法により、あらかじめキャリブレーションされているものとする。以後、特に断りがなく3次元点群と表記した場合は、直交座標系における3次元データを表しているものとする。
<コントローラ部の構成例>
図3は、入力支援装置101の本体であるコントローラ部201のハードウェア構成例を示す図である。コントローラ部201は、システムバス301に様々な機能部品を接続して構成される。機能部品は、CPU302、RAM303、ROM304、HDD305を基本構成とするコンピュータを含む。CPU(Central Processing Unit)302は、入力支援装置101の制御用プログラムを実行することにより、コントローラ部201の全体動作を制御する。つまり、制御用プログラムは、コンピュータをコントローラ部201ないし入力支援装置101として動作させるためのものである。
RAM(Random Access Memory)303は、揮発性の書き換え可能な記憶媒体であり、CPU302のワークエリアとして機能する。ROM(Read Only Memory)304は、書き換え不能な記憶媒体であり、CPU302の起動用プログラムが格納されている。HDD305は、RAM303と比較して大容量なハードディスクドライブ(HDD)である。HDD305にはコントローラ部201で実行される、入力支援装置101の制御用プログラムが格納されている。なお、HDD305は、SSD(Solid State Drive)等の同等の機能を有する他の記憶装置であってもよい。
図3は、入力支援装置101の本体であるコントローラ部201のハードウェア構成例を示す図である。コントローラ部201は、システムバス301に様々な機能部品を接続して構成される。機能部品は、CPU302、RAM303、ROM304、HDD305を基本構成とするコンピュータを含む。CPU(Central Processing Unit)302は、入力支援装置101の制御用プログラムを実行することにより、コントローラ部201の全体動作を制御する。つまり、制御用プログラムは、コンピュータをコントローラ部201ないし入力支援装置101として動作させるためのものである。
RAM(Random Access Memory)303は、揮発性の書き換え可能な記憶媒体であり、CPU302のワークエリアとして機能する。ROM(Read Only Memory)304は、書き換え不能な記憶媒体であり、CPU302の起動用プログラムが格納されている。HDD305は、RAM303と比較して大容量なハードディスクドライブ(HDD)である。HDD305にはコントローラ部201で実行される、入力支援装置101の制御用プログラムが格納されている。なお、HDD305は、SSD(Solid State Drive)等の同等の機能を有する他の記憶装置であってもよい。
システムバス301に接続される機能部品には、ネットワークI/F(I/Fはインタフェースの略、以下同じ)306、画像処理プロセッサ307、カメラI/F308も含まれる。さらに、ディスプレイコントローラ309、シリアルI/F310、オーディオコントローラ311、及びUSB(Universal Serial Bus)コントローラ312も機能部品に含まれる。
CPU302は、入力支援装置101が電源ON等によって起動されると、ROM304に格納されている起動用プログラムを実行する。この起動用プログラムは、HDD305に格納されている制御用プログラムを読み出し、RAM303上に展開するためのものである。CPU302は、起動用プログラムを実行すると、続けてRAM303上に展開した制御用プログラムを実行し、制御を行う。
CPU302は、また、制御用プログラムによる動作に用いるデータもRAM303上に格納して読み書きを行う。HDD305上には、さらに、制御用プログラムによる動作に必要な各種設定や、また、カメラ入力によって生成した画像データを格納することができ、CPU302によって読み書きされる。CPU302は、ネットワークI/F306を介してネットワーク104上の他の機器との通信を行う。
CPU302は、また、制御用プログラムによる動作に用いるデータもRAM303上に格納して読み書きを行う。HDD305上には、さらに、制御用プログラムによる動作に必要な各種設定や、また、カメラ入力によって生成した画像データを格納することができ、CPU302によって読み書きされる。CPU302は、ネットワークI/F306を介してネットワーク104上の他の機器との通信を行う。
画像処理プロセッサ307は、RAM303に格納された画像データを読み出して所定の画像処理を行い、処理結果をRAM303へ書き戻す。なお、画像処理プロセッサ307が実行する画像処理は、回転、変倍、色変換等である。
カメラI/F308はカメラ部202及び距離画像センサ部208に接続され、CPU302からの指示に応じてカメラ部202から画像データを、距離画像センサ部208から距離画像データを取得してRAM303に書き込む。また、CPU302からの制御コマンドをカメラ部202及び距離画像センサ部208へ送信し、カメラ部202及び距離画像センサ部208の設定を行う。
カメラI/F308はカメラ部202及び距離画像センサ部208に接続され、CPU302からの指示に応じてカメラ部202から画像データを、距離画像センサ部208から距離画像データを取得してRAM303に書き込む。また、CPU302からの制御コマンドをカメラ部202及び距離画像センサ部208へ送信し、カメラ部202及び距離画像センサ部208の設定を行う。
距離画像センサ部208は、赤外線パターン投射方式の距離画像センサであり、赤外線パターン投射部361、赤外線カメラ362、及びRGBカメラ363を備える。赤外線パターン投射部361は、人の目には不可視である赤外線によって3次元測定パターンを対象物に投射する。赤外線カメラ362は、対象物に投射された赤外線の3次元測定パターンを撮像するカメラである。RGBカメラ363は、可視光をRGB信号で撮影するカメラである。第1実施形態では、距離画像センサ部208として赤外線パターン投射方式を採用しているが、他の方式の距離画像センサを用いてもよい。例えば、2つのRGBカメラでステレオ立体視を行うステレオ方式や、レーザ光の飛行時間を検出することで距離を測定するTOF(Time of Flight)方式を用いても良い。
ディスプレイコントローラ309は、CPU302の指示に応じてディスプレイへの画像の表示を制御する。ディスプレイコントローラ309は、短焦点のプロジェクタ207及びタッチパネル330に接続されている。
シリアルI/F310は、シリアル信号の入出力を行う。本実施形態では、シリアルI/F310は、タッチパネル330に接続される。CPU302は、タッチパネル330が押下されたときにシリアルI/F310を介して押下された座標(位置)を取得する。
シリアルI/F310は、シリアル信号の入出力を行う。本実施形態では、シリアルI/F310は、タッチパネル330に接続される。CPU302は、タッチパネル330が押下されたときにシリアルI/F310を介して押下された座標(位置)を取得する。
オーディオコントローラ311は、スピーカ340に接続される。オーディオコントローラ311は、CPU302の指示に応じて音声データをアナログ音声信号に変換し、スピーカ340を通じて音声を出力する。USBコントローラ312は、CPU302の指示に応じて外付けのUSBデバイスの制御を行う。本例では、USBコントローラ312は、USBメモリやSDカードなどの外部メモリ350に接続され、外部メモリ350へのデータの読み書きを行う。
<機能構成>
図4〜図6により入力支援装置101の機能について説明する。
図4(a)は、CPU302が制御用プログラムを実行することによりコントローラ部201に形成される機能モジュール群401の構成例示図である。図4(b)は、各機能モジュールの関係を示すシーケンス図である。制御用プログラムは、前述のようにHDD305に格納され、CPU302が起動したときにRAM303上に展開される。
機能モジュール群401のうち、メイン制御部402は制御の中心であり、コントローラ部201を図4(b)に示す手順で制御する。機能モジュール群401には、他に、画像取得部416、認識処理部417、ユーザインタフェース部403、表示部406、ネットワーク通信部404、データ管理部405、及び入力支援部418等がある。図5は、入力支援対象となる文書501の説明図である。図6は、入力支援対象となる文書501が有する入力領域を管理するデータベースを示すテーブル600の例示図である。入力領域は、ユーザが筆記具により文字などを入力可能な領域である。
図4〜図6により入力支援装置101の機能について説明する。
図4(a)は、CPU302が制御用プログラムを実行することによりコントローラ部201に形成される機能モジュール群401の構成例示図である。図4(b)は、各機能モジュールの関係を示すシーケンス図である。制御用プログラムは、前述のようにHDD305に格納され、CPU302が起動したときにRAM303上に展開される。
機能モジュール群401のうち、メイン制御部402は制御の中心であり、コントローラ部201を図4(b)に示す手順で制御する。機能モジュール群401には、他に、画像取得部416、認識処理部417、ユーザインタフェース部403、表示部406、ネットワーク通信部404、データ管理部405、及び入力支援部418等がある。図5は、入力支援対象となる文書501の説明図である。図6は、入力支援対象となる文書501が有する入力領域を管理するデータベースを示すテーブル600の例示図である。入力領域は、ユーザが筆記具により文字などを入力可能な領域である。
画像取得部416は、画像入力処理を行うモジュールであり、カメラ画像取得部407及び距離画像取得部408を有している。カメラ画像取得部407は、カメラI/F308を介してカメラ部202が出力する画像を取得し、これをRAM303へ格納する。距離画像取得部408は、カメラI/F308を介して距離画像センサ部208が出力する距離画像(距離画像データ)を取得し、これをRAM303へ格納する。距離画像データは、赤外線パターン投射部361からの3次元形状パターンの投射、RGBカメラ363によるRGBカメラ画像、及び赤外線カメラ362によって3次元形状パターンを撮影した赤外線カメラ画像に基づいて生成される。
認識処理部417は、カメラ画像取得部407及び距離画像取得部408が取得する画像(画像データ)から書画台204上の文書やユーザの手などの物体を検知して認識する。そのために認識処理部417は、ジェスチャー認識部409及び物体検知部410を有している。
ジェスチャー認識部409は、取得した画像から書画台204上の手の位置、及びタッチなどのユーザのジェスチャーを認識する。具体的には、ジェスチャー認識部409は、画像取得部416から書画台204上の画像を継続的に取得し続ける。ジェスチャー認識部409は、継続して取得した画像から得られる3次元点群及び手の肌色領域から外形検出を行い、検出した外径に基づいて書画台204上の手の位置及びタッチなどのジェスチャーを検知する。ジェスチャー認識部409は、手の位置及びジェスチャーを検知すると、ジェスチャーを検知したことをメイン制御部402に通知する(ジェスチャー検知通知)。
ジェスチャー認識部409は、取得した画像から書画台204上の手の位置、及びタッチなどのユーザのジェスチャーを認識する。具体的には、ジェスチャー認識部409は、画像取得部416から書画台204上の画像を継続的に取得し続ける。ジェスチャー認識部409は、継続して取得した画像から得られる3次元点群及び手の肌色領域から外形検出を行い、検出した外径に基づいて書画台204上の手の位置及びタッチなどのジェスチャーを検知する。ジェスチャー認識部409は、手の位置及びジェスチャーを検知すると、ジェスチャーを検知したことをメイン制御部402に通知する(ジェスチャー検知通知)。
物体検知部410は、物体が置かれて静止するタイミング及び除去されるタイミングを検知する。具体的には、物体検知部410は、画像取得部416から書画台204上の画像を継続的に取得し続け、書画台204上に物体が置かれて静止する静止タイミング及び物体が書画台204から除去される除去タイミングを検知する。物体検知部210は、静止タイミング及び除去タイミングを、書画台204の背景画像と連続する所定フレーム数のカメラフレーム画像との差分値に基づいて検知する。
なお、除去タイミングとは、物体が書画台204上から完全に除去され、書画台204上に何も置かれていない状態になったタイミングのことである。物体検知部410は、静止された物体が置かれていると判定した場合は、最後のカメラフレーム画像を保存する。また、物体検知部410は、距離画像データに基づいて、物体が所定の厚み以下の文書ではなく、所定の厚み以上を有する立体物であると判定した場合は、カメラフレーム画像に加えて、距離画像を3次元点群に変換して保存する。物体が文書か立体物であるかの判定に用いられる物体の厚みの閾値は、設定によって変更可能である。
なお、除去タイミングとは、物体が書画台204上から完全に除去され、書画台204上に何も置かれていない状態になったタイミングのことである。物体検知部410は、静止された物体が置かれていると判定した場合は、最後のカメラフレーム画像を保存する。また、物体検知部410は、距離画像データに基づいて、物体が所定の厚み以下の文書ではなく、所定の厚み以上を有する立体物であると判定した場合は、カメラフレーム画像に加えて、距離画像を3次元点群に変換して保存する。物体が文書か立体物であるかの判定に用いられる物体の厚みの閾値は、設定によって変更可能である。
また、物体検知部410は、検知された物体が文書であるか、あるいは文書以外の立体物であるかを識別するための物体識別情報を、静止タイミングで同時に生成する。物体識別情報は、距離画像に基づいて、物体の厚みが所定の厚み以下であるか否かの判定によって、文書であるか立体物であるかを識別する情報、例えば上記の物体の厚みの閾値を含む。ここでは、物体検知部410が物体の厚みのみで当該物体の識別を行う例について説明したが、前述したカメラフレーム画像の差分値が所定値以上ある領域が、矩形であるか否かを判定の条件に加えてもよい。物体検知部410は、前述した物体載置の静止タイミング及び除去タイミングを検知すると、物体を検知した旨の通知(物体検知通知)、物体の除去を検知した旨の通知(物体除去検知通知)、及び物体識別情報をメイン制御部402へ送る。メイン制御部402に送られた物体識別情報は、後述するデータ管理部405又はネットワークを介して接続されたサーバ等に保存され、任意のタイミングで読み出される。
ユーザインタフェース部403は、メイン制御部402からの要求を受け付け、メッセージやボタン等のGUI(Graphical User Interface)部品を生成する。ユーザインタフェース部403は、生成したGUI部品の表示を表示部406に要求する。表示部406は、ディスプレイコントローラ309を介して、プロジェクタ207もしくはタッチパネル330に、要求されたGUI部品の表示を行う。プロジェクタ207は、書画台204に向けて設置されている。そのために、GUI部品は書画台204上に投射される。
メイン制御部402は、ジェスチャー認識部409が認識したタッチ等のジェスチャー操作、あるいはシリアルI/F310を介したタッチパネル330からの入力操作と、これらのタッチ位置を表す座標を取得する。ユーザインタフェース部403は、描画中の操作画面の内容と入力操作された座標を対応させて操作内容(例えば、押下されたボタン等)を判定する。ユーザインタフェース部403は、この操作内容をメイン制御部402へ通知する。これによりメイン制御部402は、操作者の操作を受け付ける。
ネットワーク通信部404は、ネットワークI/F306を介してネットワーク104上の他の機器と所定の通信プロトコルによる通信を行う。データ管理部405は、機能モジュール群401の動作時に生成された作業データを含む様々なデータをHDD305上の所定の領域へ保存し、管理する。保存されるデータは、例えば画像取得部416で取得した画像データ等である。
入力支援部418は、ユーザによる文書への入力作業に関わる入力支援処理を実行する。入力支援部418は、文書認識部411、入力領域取得部412、文書位置検出部413、入力領域認識部414、及びレイアウト生成部415を有する。入力支援部418は、メイン制御部402を介して、カメラ画像取得部407や距離画像取得部408が取得した画像データや、ジェスチャー認識部409が認識したジェスチャーを表すジェスチャー情報等の各モジュールの出力データを取得する。
文書認識部411は、書画台204上の文書の種類を認識する。具体的には文書認識部411は、カメラ画像取得部407によって取得された画像の特徴点及び特徴量を抽出し、データベース上に予め登録しておいた文書の種類毎の複数の文書画像の特徴点及び特徴量との類似度を比較する。これにより、文書認識部411は、書画台204上の文書が、データベース上のどの文書と一致するかを判定して、文書の種類を認識する。文書認識部411による画像の特徴点及び特徴量の抽出範囲は、カメラ部202によって撮像される読み取り領域205である。なお、文書認識部411は、カメラ画像と背景画像との差分を検出することで、カメラ画像中の文書領域を特定して、文書領域の特徴点及び特徴量のみを抽出するようにしてもよい。特徴点の抽出には、一般的にDoGと呼ばれる技術が用いられ、各特徴点の特徴量の抽出には、一般的にSIFTやSURFと呼ばれる技術が用いられる。
各文書画像の特徴点及び特徴量を関連付けているデータベースは、コントローラ部201のHDD305上あるいはネットワーク104上に設けられる外部サーバ等に格納される。外部サーバに設けられる場合、コントローラ部201は、ネットワーク104を介して外部サーバにアクセスし、当該外部サーバに格納された各文書画像の特徴点及び特徴量を関連付けているデータベースを参照する。文書の認識は、特徴点及び特徴量による方法の他に、予め文書に埋め込まれたバーコードなどを認識する方法により行ってもよい。
入力領域取得部412は、文書認識部411で認識された文書の種類を表す情報に基づいて、ユーザがボールペン等の筆記具によって入力すべき領域を取得する。入力すべき領域(以後、「入力領域」と呼ぶ。)とは、図5(a)に示す文書501のような申込書において、筆記具によってユーザが実際に手入力で文字を入力する必要がある領域である。図5(a)の例では、グレー色で表された領域が文書501の入力領域502〜510となる。入力領域502〜510は、図5(a)のように、枠線などで囲まれた矩形領域ごとに予め設定される。入力領域の設定は、文書の種類毎に、例えば、ホストコンピュータ102の専用アプリケーションや入力支援装置101の専用アプリケーション等を用いて、入力支援装置101の管理者により行われる。設定された入力領域の情報は、入力支援対象となる文書を管理するデータベースによって管理される。このデータベースは、HDD305に格納され、例えば、図6に示したテーブル600により表される。入力領域取得部412は、文書501と入力領域502〜510を関連付ける図6のデータベースを参照することで、文書501の入力領域502〜510を取得する。
図5(a)及び図6の例では、入力領域502は、テーブル600の行601に関連付けられている。入力領域503は、テーブル600の行602に関連付けられている。入力領域504は、テーブル600の行603に関連付けられている。入力領域505は、テーブル600の行604に関連付けられている。入力領域506は、テーブル600の行605に関連付けられている。入力領域507は、テーブル600の行606に関連付けられている。入力領域508は、テーブル600の行607に関連付けられている。入力領域509は、テーブル600の行608に関連付けられている。入力領域510は、テーブル600の行609に関連付けられている。図6では、テーブル600の行610に関連付けられた文書のID(文書ID)が、行601〜609に関連付けられた文書のIDと異なる。即ち、行601〜609で関連付けられた文書とは別の文書の入力領域が、行610に関連付けられている。テーブル600の文書ID列621は、文書毎に固有に割り当てられた文書ID(識別情報)を示す。図5で示した文書501には、例えば、文書IDとして「1」が割り当てられている。
テーブル600のページ列622は、文書中の入力領域が存在するページ番号を示す。入力領域座標は、各文書の文書座標系(Xd、Yd、Zd)における、矩形の対角の頂点座標を示し、これにより入力領域の範囲を矩形の範囲として指定する。テーブル600の入力済列623は、カメラフレーム画像中の文書の入力領域が、ユーザによって既に入力済みであるか否かを示す。入力済列623が「0」のときは、入力領域にユーザの入力が無い状態(以降、この状態の入力領域を、「未入力領域」と呼ぶ。)を示す。入力済列623が「1」のときは、入力領域にユーザの入力が既にある状態(以降、この状態の入力領域を、「入力済み領域」と呼ぶ。)を示す。入力済列623の詳細については、入力領域認識部414で後述する。
文書位置検出部413は、カメラ画像取得部407によって取得されたカメラ画像に基づいて、書画台204の載置面上に載置された文書の位置を検出する。例えば、文書の位置は、図5(b)の直交座標系における文書の左上頂点座標(Xd0、Yd0、0)として表すことができる。プロジェクタ座標系やカメラ座標系における文書の入力領域座標は、文書の左上頂点座標(Xd0、Yd0、0)から直交座標系に変換し、更に前述の変換式を用いることで得ることができる。座標の変換方法については前述の通りである。本実施形態では、簡単のために文書の厚みを「0」とし、文書座標系におけるZd成分を考慮していない。しかし、距離画像取得部408によって距離画像データを取得することで、文書の厚みや歪みを考慮して、プロジェクタ座標系及びカメラ座標系への座標変換をすることも可能である。文書の厚みを考慮した変換方法については公知の技術(特願2014−095541号公報)であるため、ここでの詳細な説明は省略する。
入力領域認識部414は、入力領域取得部412及び文書位置検出部413で取得された入力領域及び文書位置に基づいて、カメラ画像取得部407により取得されたカメラフレーム画像の文書の入力領域に、既に文字などが入力されているか否かを認識する。入力領域が既に入力されているか否かは、背景画像とカメラフレーム画像との差分値に基づいて検出される。入力領域に既に入力がある場合、図6のデータベース上の該当する入力領域の入力済列623を「1」に、入力がない場合、入力済列623を「0」に設定する。入力領域に既に入力があるか否かの検出は、OCR(Optical character recognition)技術を用いて文字認識処理により行ってもよく、差分値に基づいて検出する方法に限らない。
レイアウト生成部415は、入力領域取得部412、文書位置検出部413、及び入力領域認識部414による入力領域、文書位置、及び入力済列623の情報に基づいて、プロジェクタ207により書画台204上の文書に投射するレイアウト画像を生成する。レイアウト生成部415によるレイアウト画像は、図5(a)の文書501の各入力領域を、例えば赤色などでハイライト表示する。レイアウト生成部415は、入力済列623の情報から入力済みであると判定される入力領域について、入力領域が入力済であることをユーザに示すために、緑色などでハイライト表示するようにレイアウト画像を生成する。生成されたレイアウト画像は表示部406によってプロジェクタ207で投射される。これによってユーザは、入力領域が未入力なのか入力済なのかを一目で判断することができる。該当する入力領域のハイライト表示位置の算出は、文書位置に基づいて入力領域の座標をプロジェクタ座標系に変換することで行われる。座標系の変換については、前述した通りである。入力領域の色については、赤色や緑色に限らず黄色や青色などのどのような色であってもよい。また、本実施形態では入力済の領域を緑色にすることとしたが、未入力の領域のみハイライト表示し、入力済の領域をハイライト表示しないようにレイアウト画像を生成してもよい。また、入力領域全体を塗りつぶして表示するのではなく、入力領域を枠線で囲ってハイライト表示するようにしてもよい。また、入力領域を、色を使ってハイライト表示するのではなく、入力領域の周囲に「入力が必要な箇所です」などの文字情報を表示して入力領域を強調するようにしてもよい。あるいは、入力領域を矢印マークなどの記号で指し示して強調表示するようなレイアウト画像を生成してもよい。このように、レイアウト画像は未入力の入力領域と入力済みの入力領域とを区別可能な入力支援画像である。
<メイン制御部>
図7、図8は、メイン制御部402による処理の概要を示すフローチャートである。図9は、プロジェクタ207によるハイライト表示の例示図である。
図7、図8は、メイン制御部402による処理の概要を示すフローチャートである。図9は、プロジェクタ207によるハイライト表示の例示図である。
メイン制御部402は、処理を開始すると、まず入力支援装置101の初期化処理を行う(S701)。メイン制御部402は、初期化処理により、各ハードウェアの起動確認、カメラ画像取得部407及び距離画像取得部408の色味調整、距離センサ値の補正、書画台204に何も載置されていない状態での背景画像取得などを行う。
メイン制御部402は、ユーザインタフェース部403を介して図9(a)のUI画面をプロジェクタ207で書画台204に投射する(S702)。図9(a)は、書画台204上に何も置かれていない状態を示す。このときメイン制御部402は、プロジェクタ207によりメッセージ902を投射することで、書画台204上にスキャン対象物を置くことをユーザに促す。また、メイン制御部402は、終了アイコン901をプロジェクタ207で投射する。ユーザが書画台204上の終了アイコン901にタッチすることで、ジェスチャー認識部409が終了アイコン901へのタッチ操作を認識し、メイン制御部402の処理が終了する。
メイン制御部402は、物体検知部410による物体検知通知の有無を判定する(S703)。物体検知部410による物体検知通知は、例えば図9(b)に示すように、ユーザによって書画台204上に文書501が載置されたときに通知される。図9(b)は、ユーザによって、書画台204の載置面上に文書501が載置されたときの状態を示す。なお、図9(b)の文字904及び文字905は、文書501にユーザが事前に入力した文字を表しており、それぞれ入力領域502及び入力領域503に文字が書かれている状態を示している。
物体検知通知があった場合(S703:Y)、メイン制御部402は、物体検知部410によって検知された物体の物体識別情報に基づいて、物体が文書であるか立体物であるかを判定する(S704)。物体が立体物である場合(S704:立体物)、メイン制御部402は、物体が立体物である場合の処理を行う(S705)。立体物が書画台204の載置面上に載置されたときは、例えば、「置かれたものは文書ではありません」などの注意喚起メッセージを書画台204に投射する。あるいは、別のアプリケーションに切り替えるよう示唆するメッセージを投射してもよい。
物体が文書である場合(S704:文書)メイン制御部402は、ユーザインタフェース部403を介して、プロジェクタ207により書画台204に投射するメッセージを「文書を解析中です。」に更新する(S706)。具体的には、図9(b)のように文書501が書画台204に置かれ、物体検知部410によって文書501が検知されたときに、プロジェクタ207がメッセージ903を投射する。
メイン制御部402は、入力支援部418によって入力支援処理を行う(S707)。S707の処理の詳細については、図8を用いて後述する。メイン制御部402は、入力支援処理で生成されたレイアウト画像を、ユーザインタフェース部403を介してプロジェクタ207により書画台204へ投射する(S708)。また、メイン制御部402は、同時にUI画面のメッセージを更新表示する。入力支援処理で生成されたレイアウト画像の投射表示は、例えば図9(c)の網掛け範囲907及び斜線範囲908のようになる。図9(c)は、入力支援部418により、文書501に対してハイライト表示をしている状態を示す。図9(c)の網掛け範囲907及び斜線範囲908は、プロジェクタ207によるハイライトの投影表示を示している。網掛け範囲907は赤色、斜線範囲908は緑色を用い、プロジェクタ207で入力領域を塗りつぶすように投射したものである。また、メッセージは、ユーザに文書501への入力を促すため、メッセージ906に更新される。
メイン制御部402は、物体検知部410による物体除去検知通知の有無を判定する(S709)。物体除去検知通知があった場合(S709:Y)、メイン制御部402は、書画台204の載置面上に物体が無いと判断されるため、ユーザインタフェース部403を介して図9(a)の画面をプロジェクタ207により再投射する(S710)。画面の再投射後、メイン制御部402は、ユーザによって書画台204上の終了アイコン901がタッチ押下されたか否かを判定する(S711)。なおメイン制御部402は、物体検知通知がない場合(S703:N)、あるいはS705の処理後にも終了アイコン901がタッチ押下されたか否かを判定する。終了アイコン901がタッチ押下された場合(S711:Y)、メイン制御部402は処理を終了する。そうでなければ(S711:N)、メイン制御部402はS703の処理へ戻る。
物体除去検知通知がなかった場合(S709:N)、メイン制御部402は、S711の処理と同様に、ユーザによって書画台204上の終了アイコン901がタッチ押下されたか否かを判定する(S712)。終了アイコン901がタッチ押下された場合(S712:Y)、メイン制御部402は処理を終了する。
終了アイコン901がタッチ押下されない場合(S712:N)、メイン制御部402は、ジェスチャー認識部409によるジェスチャー検知通知の有無を判定する(S713)。ジェスチャー認識部409は、例えば図9(d)のときにユーザのジェスチャーを検知して、ジェスチャー検知通知をメイン制御部402に通知する。図9(d)は、ユーザが筆記具(例えばボールペン)によって文書501に入力している状態を示す。図9(d)の手909は、ユーザの左手及び右手を示しており、左手で文書501を押さえ、右手に持った筆記具により入力領域504に文字を入力している状態を表している。ジェスチャー検知通知がない場合(S713:Y)、メイン制御部402はS709の処理へ戻る。
ジェスチャー検知通知があった場合(S713:Y)、メイン制御部402は、検知されたジェスチャーが文書入力に関連するジェスチャーであるか否かを判定する(S714)。文書入力に関連するジェスチャーは、ユーザの手が書画台204上の文書501の入力領域に所定時間以上触れていたか否かにより判定される。例えば、図9(d)のユーザの手909が、文書501の入力領域504、505に3秒以上置かれていた場合、ユーザの手が所定時間以上触れていると判定される。ただし、所定時間は設定によって変えることができ、3秒に限るものではない。なお、本実施形態では手909が入力領域に所定時間以上触れていた場合で入力を判定しているが、単に手909が文書501の領域と重なった場合に文書入力に関連するジェスチャーであると判定してもよい。ジェスチャーが文書入力に関連しない場合(S714:N)、メイン制御部402はS709の処理へ戻る。
ジェスチャーが文書入力に関連する場合(S714:Y)、メイン制御部402は、S713で検知されたユーザによるジェスチャーが終了しているか否かを判定する(S715)。ジェスチャーが終了している状態とは、具体的には書画台204上からユーザの手909が無くなっている状態である。ジェスチャーが終了している場合(S715:Y)、メイン制御部402はS706の処理へ戻る。ジェスチャーが終了していない場合(S715:Y)、メイン制御部402はジェスチャーが終了するまでS715の処理をループして行う。S715の処理でジェスチャーの終了を判定するのは、S707の入力支援処理において、再度カメラフレーム画像を取得して文書認識を行うためである。ジェスチャーが終了していない状態で入力支援処理を開始すると、カメラフレーム画像に手が写り込んでしまい、正しく文書認識ができない可能性があり、文書認識が正確に行えないことがある。
図9(e)及び図9(f)は、図9(d)のようなジェスチャーが終了した後、つまりS715の処理の後の書画台204上の状態を表している。図9(e)は、図9(d)でユーザが文字入力を行った後、手909を文書501から離したときの書画台204上の状態を示し、S706の処理によってUI画面が更新されたときの表示である。図9(e)の文字911は、図9(d)の画面でユーザが入力を行った結果として見える文字である。図9(f)は、メイン制御部402及び入力支援部418によるS707及びS708の処理によって、図9(e)の文書501を再びハイライト表示したときの状態を示す。図9(f)の網掛け範囲913及び斜線範囲914は、プロジェクタ207によるハイライトの投影表示を示している。図9(f)では、図9(c)の網掛け範囲907及び斜線範囲908と異なり、ユーザの文字911の入力によって、入力領域504の分だけ未入力を示す網掛け範囲が小さくなり、入力済を示す斜線範囲が大きくなったことを表している。
S713〜S715の処理は、文書501の状態が変化したことに応じて、S707の入力支援処理をユーザの手を煩わせることなく自動で実行するための処理である。文書501の状態変化は、例えば文書501がボールペンなどにより入力されたこと、文書の位置が移動されたことなども含まれる。従って、S713〜S715の処理でジェスチャーに基づいて状態変化を検知するのではなく、文書501の位置座標が変化したことをカメラフレーム画像に基づいて検知することで、文書501の状態が変化したと判定してもよい。また、S707の入力支援処理を自動で実行するのではなく、書画台204上に投影表示された入力支援処理の実行ボタン(不図示)をユーザがタッチ押下し、手動で実行するようにしてもよい。
<入力支援処理>
図8は、S707の入力支援処理を示すフローチャートである。図10は、文書501の入力領域を管理するデータベースを示すテーブルの例示図である。
図8は、S707の入力支援処理を示すフローチャートである。図10は、文書501の入力領域を管理するデータベースを示すテーブルの例示図である。
メイン制御部402は、カメラ画像取得部407からカメラフレーム画像を取得する(S801)。メイン制御部402は、例えば、図9(b)の画面を、以後の処理を行うためのカメラフレーム画像として取得する。メイン制御部402は文書認識部411により、取得したカメラフレーム画像に基づいて書画台204上の文書501を認識する(S802)。文書認識部411の認識処理は前述の通りである。
メイン制御部402は、文書認識部411により書画台204上の文書501の画像とデータベースに登録された文書画像の類似度を判定し、文書501が入力支援対象であるか否かを判定する(S803)。文書501が入力支援対象である場合(S803:Y)、メイン制御部402は、入力領域取得部412により文書501の入力領域を取得する(S804)。入力領域取得部412は、例えば、図9(b)の入力領域502〜510を取得する。入力領域取得部412の処理は前述の通りである。メイン制御部402は、文書位置検出部413により、カメラフレーム画像に基づいて書画台204の載置面上の文書の位置を検出する(S805)。文書位置検出部413の処理については前述の通りである。
メイン制御部402は、入力領域認識部414により取得された文書501の入力領域と文書位置検出部413により検出された文書位置に基づいて、カメラフレーム画像上の文書の入力領域に、文字などの入力があるか否かを認識する(S806)。例えば、図9(b)の入力領域502及び入力領域503には、ユーザによってそれぞれ「JAPAN」(文字904)と「Hakusan」(文字905)が入力されている。このとき、入力領域認識部414は、入力領域502及び入力領域503に文字904及び文字905が入力されていることを認識する。これにより入力領域認識部414は、入力領域502及び入力領域503が入力済であると判定する。この判定結果に応じて、図6のデータベースが図10(a)のように更新される。具体的には、入力領域502及び入力領域503の情報を示す図6の行601、602の入力済列623が、図10(a)の行1001、1002の入力済列651のように入力済であることを示す「1」に更新される。入力領域認識部414の処理については前述の通りである。
データベースの更新後、メイン制御部402は、レイアウト生成部415により、文書位置及びS806で更新されたデータベースに基づいてハイライト表示用のレイアウト画像を生成する(S807)。なおメイン制御部402は、文書501が入力支援対象ではない場合にも(S803:Y)、ハイライト表示用のレイアウト画像を生成する。図10(a)のデータベースによれば、行1001、1002により文書501の入力領域502及び入力領域503が入力済であると判別される。そのためにレイアウト生成部415は、入力領域502、503を緑色に、それ以外の入力領域504〜510を赤色にハイライトするようなレイアウト画像を生成する。具体的には、レイアウト生成部415は、図9(c)の網掛け範囲907及び斜線範囲908のように、ハイライト表示するレイアウト画像を生成する。レイアウト生成部415の処理については前述の通りである。図9(e)のように入力領域504に文字911が追記された場合、前述のS806の処理によって図10(b)のようにデータベースの行1003が更新される。このとき、ハイライト表示するためのレイアウト画像は、図9(f)の網掛け範囲913及び斜線範囲914のようになる。
以上のように、本実施形態の入力支援装置101は、書画台204の載置面上に載置された文書501へのユーザによる入力状況に合わせて、入力支援のための画面を投射する。そのためにユーザは、文書中の入力すべき箇所を適切に把握することができる。また、入力支援装置101は、ユーザの入力作業状態を判定して、自動で入力状況を判定するために、ユーザに手間を煩わせることなく、随時、入力支援のための表示を更新することができる。
[第2実施形態]
第2実施形態の入力支援装置は、文書入力の進捗状況に応じて、文書入力の抜け漏れをユーザに明示する。入力支援装置101のハードウェア構成及び機能ブロックは、第1実施形態と同様であるために説明を省略する。
第2実施形態の入力支援装置は、文書入力の進捗状況に応じて、文書入力の抜け漏れをユーザに明示する。入力支援装置101のハードウェア構成及び機能ブロックは、第1実施形態と同様であるために説明を省略する。
図11は、第2実施形態の、図7の入力支援処理(S707)のフローチャートである。入力支援処理の前後の処理については図7に示す第1実施形態の処理と同様であるために説明を省略する。図12は、プロジェクタ207によるハイライト表示の例示図である。
メイン制御部402は、入力支援処理を開始すると、図8のS801〜S806と同様の処理により、文書の入力領域に文字などの入力があるか否かを認識する(S801〜S806)。
メイン制御部402は、入力支援部418により、ユーザによる文書への入力状況を判定する(S1101)。具体的には入力支援部418は、図10(a)のデータベースの行1001、1002によって、文書501の2箇所の入力領域が入力済であると判定する。文書501は9箇所の入力領域502〜510を有するため、入力支援部418は、データベースに基づいて、全体として9箇所中2箇所(2/9)の入力領域が入力済であると、入力状況を判定する。
メイン制御部402は、入力支援部418により、ユーザによる文書への入力状況を判定する(S1101)。具体的には入力支援部418は、図10(a)のデータベースの行1001、1002によって、文書501の2箇所の入力領域が入力済であると判定する。文書501は9箇所の入力領域502〜510を有するため、入力支援部418は、データベースに基づいて、全体として9箇所中2箇所(2/9)の入力領域が入力済であると、入力状況を判定する。
メイン制御部402は、レイアウト生成部415により、文書位置、データベース、及び入力状況の判定結果に基づいてハイライト表示用のレイアウト画像を生成する(S1102)。具体的にはレイアウト生成部415は、第1実施形態で生成したレイアウト画像に、図12(a)のメッセージ1201のような入力状況の判定結果を追加して、ハイライト表示用のレイアウト画像を生成する。同様に、図12(b)では、図10(b)のデータベースに基づく入力状況の判定結果を表すメッセージ1202を第1実施形態で生成したレイアウト画像に追加して、ハイライト表示用のレイアウト画像を生成する。図12の例では、入力状況を分数表示しているが、これはパーセント表示であってもよく、全体の入力領域のうちどこまで入力済みであるかの表現方法はこれに限るものではない。
以上のように、第2実施形態では、第1実施形態の効果に加えてS1101の入力状況判定処理を用いることで、ユーザが文書に全体としてどの程度まで入力しているかが認識しやすくなる。従って、ユーザは、入力に必要な大まかな作業時間を把握することができる。また、この入力支援装置は、どこまで入力が済んでおり、未入力の領域がいくつあるかを数値として明示するために、入力漏れを未然に防止することができる。
[第3実施形態]
第3実施形態の入力支援装置は、ユーザが文書に入力している際に、プロジェクタ207の表示を入力の妨げにならないように動的に制御する。入力支援装置101のハードウェア構成及び機能ブロックは、第1実施形態と同様であるために説明を省略する。
第3実施形態の入力支援装置は、ユーザが文書に入力している際に、プロジェクタ207の表示を入力の妨げにならないように動的に制御する。入力支援装置101のハードウェア構成及び機能ブロックは、第1実施形態と同様であるために説明を省略する。
図13は、メイン制御部402による処理の概要を示すフローチャートである。図14は、プロジェクタ207によるハイライト表示の例示図である。図13のS701〜S713、S715の処理は、図7のS701〜S713、S715と同様の処理であるために説明を省略する。
メイン制御部402は、ジェスチャー認識部409によるジェスチャー検知通知があった場合(S713:Y)、ユーザの手909が、図14(a)に例示するように文書501の入力領域502〜510の近傍にあるか否かを判定する(S1301)。入力領域502〜510の近傍であるか否かの判断は、例えば手909の輪郭線と文書501上の各入力領域502〜510の外枠線との最短距離が所定の距離以内、例えば3[cm]以内であるか否かにより行われる。手909の輪郭線は、カメラフレーム画像に写る手909の領域の輪郭線である。最短距離が3[cm]以内であるか否かの判定は、カメラフレーム画像を解析することで行われる。例えば図14(a)では、手909の近傍にある領域が、手909の輪郭線と各入力領域502〜510との最短距離を算出することで判定される。最短距離が3[cm]以内にある入力領域502〜505が手909の近傍にあると判定される。ただし、近傍にあるか否かの判断基準となる値は変更可能であり、3[cm]に限るものではない。
手909が入力領域502〜510のいずれの近傍にもない場合(S1301:N)、メイン制御部402は、S709以降の処理を繰り返し行う。手909が入力領域502〜510のいずれかの近傍である場合(S1301:Y)、メイン制御部402は、手909と各入力領域502〜510との距離とに応じて、プロジェクタ207による投影表示の変更処理を行う(S1302)。メイン制御部402は、プロジェクタ207による表示を変更することで、網掛け範囲1402のハイライト表示を残しつつ、手909の近傍であると判定された入力領域502〜505に投射されていたハイライト表示を消去する。つまり、手909の近傍であると判定された入力領域502〜505への表示が目立たなくなるように入力支援画像を変更する。これによりユーザは、プロジェクタ207の投射光に妨げられることなく、文書501への入力を行うことができる。また、図14(b)の枠線1403のように、塗りつぶして表示していたハイライト領域を、枠線だけ残すように変更してもよい。これにより、入力箇所をユーザに示しつつ、プロジェクタ207の投射光による入力作業の妨げを軽減することができる。
以上のように、第3実施形態では、第1実施形態の効果に加え、手の近傍判定及びプロジェクタ207による表示変更により、プロジェクタ207の投射による入力作業の妨げを軽減することができる。また、第3実施形態と第2実施形態とを組み合わせてもよい。
(その他の実施例)
また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムを読み出して実行する処理である。
また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムを読み出して実行する処理である。
101…入力支援装置、201…コントローラ部、202…カメラ部、204…操作平面、207…プロジェクタ、208…距離画像センサ部、330…タッチパネル、402…メイン制御部、409…ジェスチャー認識部、420…タッチパネルイベント検知部
Claims (11)
- 文書が載置される載置面を撮像した画像を取得する画像取得手段と、
前記画像取得手段で取得した前記画像から、前記文書が有する、筆記具により入力される入力領域を取得する入力領域取得手段と、
取得した前記入力領域が入力済みであるか否かを認識する入力領域認識手段と、
入力済みの入力領域と未入力の入力領域とを区別する入力支援画像を生成するレイアウト生成手段と、
前記入力支援画像を前記載置面に表示する表示手段と、を備えることを特徴とする、
入力支援装置。 - 前記画像取得手段で取得した前記画像に基づいて、前記載置面上に載置された前記文書の位置を検出する文書位置検出手段を備えており、
前記表示手段は、前記文書位置検出手段により検出された前記載置面上の前記文書の位置に応じた位置に、前記入力支援画像を表示することを特徴とする、
請求項1記載の入力支援装置。 - 前記文書の種類毎の複数の文書画像が登録される登録手段と、
前記文書の種類毎に設定される前記入力領域の情報を格納する格納手段と、
前記登録手段に登録される前記複数の文書画像と前記画像取得手段で取得した前記画像とを比較することで、前記載置面に載置された前記文書の種類を認識する文書認識手段と、を備えており、
前記入力領域取得手段は、前記格納手段を参照して、前記文書認識手段で認識した前記文書の種類に応じた前記入力領域を取得することを特徴とする、
請求項1又は2記載の入力支援装置。 - 前記入力領域認識手段は、前記入力領域取得手段で取得した前記入力領域及び前記文書位置検出手段で検出した前記文書の位置に基づいて、前記画像取得手段で取得した前記画像に含まれる前記文書の入力領域が入力済みであるか否かを認識することを特徴とする、
請求項2又は3記載の入力支援装置。 - 前記画像取得手段で継続的に取得した前記画像に基づいて、ユーザのジェスチャーを認識するジェスチャー認識手段を備えており、
前記レイアウト生成手段は、前記ジェスチャーが入力に関連する場合、ジェスチャーが終了した後に前記入力支援画像を更新し、
前記表示手段は、更新された入力支援画像を前記載置面に表示することを特徴とする、
請求項1〜4のいずれか1項記載の入力支援装置。 - 前記文書が有する前記入力領域の数と、前記入力済みの入力領域の数とに基づいて該文書への入力状況を判定する入力支援手段を備えており、
前記レイアウト生成手段は、前記入力状況の判定結果を含む前記入力支援画像を生成することを特徴とする、
請求項1〜5のいずれか1項記載の入力支援装置。 - 前記画像取得手段で取得した前記画像に基づいて、前記入力領域とユーザの手とが所定の距離以内であるか否かを判定する判定手段を備えており、
前記レイアウト生成手段は、前記入力領域と前記ユーザの手とが前記所定の距離以内である場合に、前記ユーザの手との距離が前記所定の距離以内の入力領域が目立たなくなるように前記入力支援画像を変更することを特徴とする、
請求項1〜6のいずれか1項記載の入力支援装置。 - 前記表示手段は、前記載置面上の前記文書の位置に前記入力支援画像を投射するプロジェクタであることを特徴とする、
請求項1〜7のいずれか1項記載の入力支援装置。 - 文書が載置される載置面を撮像する撮像手段と、前記載置面に画像を表示する表示手段と、を備える情報処理装置により実行される方法であって、
前記撮像手段で撮像した画像から、前記文書が有する、筆記具により入力される入力領域を取得し、
取得した前記入力領域が入力済みであるか否かを認識し、
入力済みの入力領域と未入力の入力領域とを区別する入力支援画像を生成し、
生成した前記入力支援画像を前記表示手段により前記載置面に表示することを特徴とする、
入力支援方法。 - 文書が載置される載置面を撮像する撮像手段を備えるコンピュータを、
前記撮像手段で撮像した画像を取得する画像取得手段、
前記画像取得手段で取得した前記画像から、前記文書が有する、筆記具により入力される入力領域を取得する入力領域取得手段、
取得した前記入力領域が入力済みであるか否かを認識する入力領域認識手段、
入力済みの入力領域と未入力の入力領域とを区別する入力支援画像を生成するレイアウト生成手段、
前記入力支援画像を前記載置面に表示する表示手段、
として機能させるための制御用プログラム。 - 請求項10記載の制御用プログラムを記憶するコンピュータで読み取り可能な記憶媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016052444A JP2017167810A (ja) | 2016-03-16 | 2016-03-16 | 入力支援装置、入力支援方法、制御用プログラム、及び記憶媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016052444A JP2017167810A (ja) | 2016-03-16 | 2016-03-16 | 入力支援装置、入力支援方法、制御用プログラム、及び記憶媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017167810A true JP2017167810A (ja) | 2017-09-21 |
Family
ID=59908995
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016052444A Pending JP2017167810A (ja) | 2016-03-16 | 2016-03-16 | 入力支援装置、入力支援方法、制御用プログラム、及び記憶媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2017167810A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018170645A (ja) * | 2017-03-30 | 2018-11-01 | 日本電気株式会社 | 画像入出力装置及び画像入出力方法 |
-
2016
- 2016-03-16 JP JP2016052444A patent/JP2017167810A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018170645A (ja) * | 2017-03-30 | 2018-11-01 | 日本電気株式会社 | 画像入出力装置及び画像入出力方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9495802B2 (en) | Position identification method and system | |
US10310675B2 (en) | User interface apparatus and control method | |
CN104166509B (zh) | 一种非接触式屏幕交互方法及*** | |
US10254893B2 (en) | Operating apparatus, control method therefor, and storage medium storing program | |
JP6381361B2 (ja) | データ処理装置、データ処理システム、データ処理装置の制御方法、並びにプログラム | |
JP2016103137A (ja) | ユーザインタフェース装置、画像処理装置及び制御用プログラム | |
JP6746419B2 (ja) | 情報処理装置、及びその制御方法ならびにコンピュータプログラム | |
JP2017126225A (ja) | 画像処理装置、方法およびプログラム | |
JP2018112894A (ja) | システムおよび制御方法 | |
JP2017219942A (ja) | 接触検出装置、プロジェクタ装置、電子黒板装置、デジタルサイネージ装置、プロジェクタシステム、接触検出方法、プログラム及び記憶媒体。 | |
JP2017167810A (ja) | 入力支援装置、入力支援方法、制御用プログラム、及び記憶媒体 | |
JP2017162126A (ja) | 入力システム、入力方法、制御用プログラム、及び記憶媒体 | |
JP2017199288A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6643825B2 (ja) | 装置及び方法 | |
JP6122357B2 (ja) | 情報処理装置、文書合成システム、情報処理方法、及びプログラム | |
US10270929B2 (en) | Image processing apparatus, control method, and recording medium | |
JP2017049662A (ja) | 情報処理装置、その制御方法、プログラム、及び記憶媒体 | |
US9912834B2 (en) | Document camera device and cutout assistance method | |
JP2017033454A (ja) | 情報入力装置、情報入力装置の制御方法及びプログラム | |
JP2020115327A (ja) | 拡張現実の文書編集 | |
JP2018181169A (ja) | 情報処理装置、及び、情報処理装置の制御方法、コンピュータプログラム、記憶媒体 | |
JP2017117372A (ja) | 操作装置とその制御方法、及びプログラム | |
US10885366B2 (en) | Input information management apparatus and input information management method | |
JP2018191258A (ja) | 画像読取装置、画像読取方法及びプログラム | |
JP2017022590A (ja) | 画像処理装置、画像処理装置の制御方法、及びプログラム |