JP2012068759A - 表示装置および表示制御プログラム - Google Patents

Abstract

【課題】ユーザによって書き込まれた追加画像自体を補正せずに、追加画像を表示画像上の所定の書き込み領域内に適切に表示させることができる表示装置および表示制御プログラムを提供する。
【解決手段】表示端末のＣＰＵは、ユーザが画像を書き込む書き込み領域を示す境界画像を、表示パネルに表示させる（Ｓ１）。ユーザが表示画像上に追加画像を書き込むと（Ｓ２：ＹＥＳ）、ＣＰＵは追加画像のデータを取得し、追加画像を表示パネルに表示させる（Ｓ３）。ＣＰＵは、表示させた追加画像が書き込み領域の領域内にあるか否かを判断する（Ｓ６）。追加画像が書き込み領域の範囲内にないと判断した場合（Ｓ６：ＮＯ）、ＣＰＵは、追加画像が書き込み領域の領域内となる位置に、境界画像を移動させる（Ｓ１４〜Ｓ１６）。
【選択図】図５

Description

本発明は、表示手段に表示されている表示画像上に、ユーザによって書き込まれた追加画像を表示させることができる表示装置、および表示制御プログラムに関する。

従来、ユーザが表示画像上に書き込みを行うための技術が知られている。一例として、表示装置は、ペン先の位置を電磁波によって検出する検出機器を、表示手段の近傍に装着する。ユーザは、表示手段に表示されている表示画像上にペンを用いて書き込みを行う。表示装置は、検出機器によって検出されたペン先の位置に基づいて、書き込まれた追加画像を表示手段に表示させることができる。しかし、ユーザが実際に書き込みを行った表示画像上の位置と、書き込みを行った結果表示画像上に表示された追加画像の位置とがずれる場合がある。

ユーザによって表示画像上に書き込まれた追加画像を適切に表示手段に表示させるための技術が開示されている。例えば、特許文献１が開示している管理システムは、筆跡を読み取る読取装置（デジタイザ）と、書き込まれた筆跡との相対位置を検出する。ユーザが書き込みを誤った場合、管理システムは、検出した相対位置に基づいて筆跡を補正する。

特開平１０−２９３８０３号公報

従来の技術によると、ユーザによって書き込まれた追加画像が補正されて表示画像上に表示される。しかし、追加画像自体を補正することは好ましくない場合がある。例えば、表示手段に表示されている表示画像上の所定の書き込み領域内に、ユーザが直接署名（サイン）を行うことがある。この場合、ユーザが書き込み領域内にサインを行ったつもりでも、サインが誤って書き込み領域外にはみ出してしまうことがある。従来の技術では、書き込み領域外にはみ出したサインを書き込み領域内に表示させるためには、サインの追加画像を補正する方法しかなく、不適切であった。つまり、従来の技術では、ユーザによって書き込まれた追加画像自体を補正せずに、追加画像を表示画像上の所定の書き込み領域内に適切に表示させることはできなかった。

本発明は、ユーザによって書き込まれた追加画像自体を補正せずに、追加画像を表示画像上の所定の書き込み領域内に適切に表示させることができる表示装置および表示制御プログラムを提供することを目的とする。

本発明の第一の態様に係る表示装置は、画像を表示する表示手段を備え、画像データに基づいて前記表示手段に画像を表示させる表示装置であって、ユーザが画像を書き込む領域である書き込み領域の境界の少なくとも一部を示す境界画像を、表示画像上の前記境界画像の位置を特定するための位置情報を含む境界画像データに基づいて前記表示手段に表示させる表示制御手段と、前記表示画像に対して前記ユーザによって入力される書き込み入力を受け付ける受付手段から、前記ユーザによって書き込まれた追加画像の前記表示画像上の位置を特定するための位置情報を含む前記追加画像の画像データを取得する入力取得手段と、前記受付手段によって書き込み入力が受け付けられた前記追加画像が、前記表示手段に表示されている前記境界画像によって示される前記書き込み領域の領域内にあるか否かを、前記追加画像の画像データに含まれる位置情報、および前記境界画像データに含まれる位置情報から判断する第一判断手段と、前記第一判断手段によって前記追加画像が前記書き込み領域の領域内にないと判断された場合に、前記追加画像が前記書き込み領域の領域内となる位置に、前記表示制御手段によって前記表示手段に表示されている前記境界画像を移動させる移動制御手段とを備えている。

第一の態様に係る表示装置は、ユーザによって表示画像上に書き込まれた追加画像が、ユーザが画像を書き込む領域である書き込み領域の領域内にあるか否かを、画像データに含まれる位置情報から判断する。書き込み領域の領域内にないと判断された場合に、表示装置は、追加画像が書き込み領域の領域内となる位置に、書き込み領域を示す境界画像を移動させる。従って、表示装置は、ユーザが書き込んだ追加画像自体を補正することなく、追加画像を表示画像上の書き込み領域内に適切に表示することができる。

前記表示装置は、前記追加画像全体の面積に対する、前記追加画像のうち前記書き込み領域外に位置する部分の面積の割合を算出する算出手段と、前記算出手段によって算出された前記割合が閾値以上であるか否かを判断する第二判断手段とをさらに備えてもよい。前記移動制御手段は、前記第二判断手段によって前記割合が前記閾値以上であると判断された場合に前記境界画像を移動させてもよい。この場合、追加画像のうち書き込み領域からはみ出している部分が閾値以下であれば、書き込み領域は移動しない。従って、表示装置は、はみ出している部分の割合が閾値以上である場合にのみ効率よく処理を行うことができる。

前記表示装置は、前記表示手段に表示させる表示言語の言語種別を取得する言語取得手段をさらに備えてもよい。前記第二判断手段は、前記言語取得手段によって取得された前記言語種別に応じてそれぞれ定められた前記閾値と前記割合とを比較してもよい。言語種別によっては、文字が書き込み領域からはみ出していても違和感が少ない場合もある。表示装置は、算出した割合と比較する閾値を、表示言語の言語種別に応じて変えることで、言語種別に応じて適切に処理を行うことができる。

前記表示装置は、前記追加画像が、前記境界画像を移動させることが可能な領域としてあらかじめ設定された領域である移動可能領域の領域内にあるか否かを、前記移動可能領域の前記表示画像上の位置を特定するための位置情報、および前記追加画像の画像データに含まれる位置情報から判断する第三判断手段をさらに備えてもよい。前記移動制御手段は、前記第三判断手段によって前記追加画像が前記移動可能領域の領域内にあると判断された場合に、前記境界画像を移動させてもよい。この場合、書き込み領域と追加画像とが大幅にずれており、追加画像が移動可能領域内にない場合には、書き込み領域を示す境界画像は移動しない。従って、ユーザが書き込み領域外に画像を追加することを意図して書き込みを行った場合に、境界画像がユーザの意図に反して移動することを防止することができる。

前記表示装置は、前記入力取得手段による前記追加画像の画像データの取得が終了してからの経過時間を計測する計測手段をさらに備えてもよい。前記移動制御手段は、前記計測手段によって計測された前記経過時間が所定時間に達した場合に前記境界画像を移動させてもよい。この場合、表示装置は、書き込みが終了したか否かを、書き込みが行われなかった時間を用いて容易に判断し、適切なタイミングで処理を行うことができる。

前記表示装置は、前記追加画像の外形を特定する特定手段と、前記第一判断手段によって前記追加画像が前記書き込み領域の領域内にないと判断された場合に、少なくともいずれかの方向において、前記特定手段によって特定された前記追加画像の外形の長さが前記書き込み領域の外形の長さよりも長いか否かを判断する第四判断手段と、前記第四判断手段によって前記追加画像の外形の長さが前記書き込み領域の外形の長さよりも長いと判断された場合に、前記境界画像の移動を禁止する移動禁止手段とをさらに備えてもよい。少なくともいずれかの方向において、追加画像の外形の長さが書き込み領域の外形の長さよりも長い場合には、書き込み領域を示す境界画像を移動させても追加画像は書き込み領域の領域内に入らない。表示装置は、追加画像が書き込み領域内に入る場合にのみ境界画像を移動させることで、効率よく処理を行うことができる。

本発明の第二の態様に係る表示制御プログラムは、画像を表示する表示手段を備え、画像データに基づいて前記表示手段に画像を表示させる表示装置で用いられる表示制御プログラムであって、ユーザが画像を書き込む領域である書き込み領域を示す境界画像を、表示画像上の前記境界画像の位置を特定するための位置情報を含む境界画像データに基づいて前記表示手段に表示させる表示制御ステップと、前記表示画像に対して前記ユーザによって入力される書き込み入力を受け付ける受付手段から、前記ユーザによって書き込まれた追加画像の前記表示画像上の位置を特定するための位置情報を含む前記追加画像の画像データを取得する入力取得ステップと、前記受付手段によって書き込み入力が受け付けられた前記追加画像が、前記表示手段に表示されている前記境界画像によって示される前記書き込み領域の領域内にあるか否かを、前記追加画像の画像データに含まれる位置情報、および前記境界画像データに含まれる位置情報から判断する第一判断ステップと、前記第一判断ステップにおいて前記追加画像が前記書き込み領域の領域内にないと判断された場合に、前記追加画像が前記書き込み領域の領域内となる位置に、前記表示制御ステップにおいて前記表示手段に表示されている前記境界画像を移動させる移動制御ステップとを前記表示装置のコントローラに実行させるための指示を含む。

第二の態様に係る表示制御プログラムによると、表示装置は、ユーザによって表示画像上に書き込まれた追加画像が、ユーザが画像を書き込む領域である書き込み領域の領域内にあるか否かを、画像データに含まれる位置情報から判断する。書き込み領域の領域内にないと判断された場合に、表示装置は、追加画像が書き込み領域の領域内となる位置に、書き込み領域を示す境界画像を移動させる。従って、表示装置は、ユーザが書き込んだ追加画像自体を補正することなく、追加画像を表示画像上の書き込み領域内に適切に表示することができる。

ベースユニット４を装着した表示装置１の物理的構成を示す図である。 表示装置１、ベースユニット４、およびデジタルペン５の電気的構成を示すブロック図である。 メモリカード１５に記憶されている画像データの構成を示す模式図である。 書き込み領域６２および移動可能領域６５が設定された画像を表示している表示装置１の一例を示す図である。 表示装置１が実行する表示制御処理のフローチャートである。 図４に示す表示画像上に追加画像７１，７２が表示された状態を示す図である。 境界画像６１の枠内に英語の署名の追加画像７３が表示された状態を示す図である。 追加画像７１の外形７５の大きさと境界画像６１の大きさとの比較の一例を説明するための図である。 移動後の境界画像６１を含む表示画像が表示された状態を示す図である。

以下、本発明の一実施の形態について、図面を参照して説明する。参照する図面は、本発明が採用し得る技術的特徴を説明するために用いられるものである。図面に記載されている装置の構成、各種処理のフローチャート等は、それのみに限定する趣旨ではなく、単なる説明例である。

図１を参照して、表示装置１の概要について説明する。表示装置１は、所定厚を有する平面視長方形状の板状に形成された、軽量且つ薄型の携帯表示端末である。表示装置１は、その正面（図１の紙面手前側の面）に、平面視長方形状の表示パネル２１を備える。表示パネル２１は、画像データに基づいて種々の画像を表示する。表示パネル２１が表示できる画像には、テキスト、記号、写真、図表等の様々なコンテンツの画像が含まれる。従って、ユーザは、電子書籍の閲覧、写真の閲覧等、様々な用途に表示装置１を使用することができる。特に、本実施の形態に係る表示装置１は、ユーザに著名（サイン）を行わせる場合にも使用することができる。

表示パネル２１は、電気泳動方式で駆動する。電気泳動方式の表示パネル２１は、プラスに帯電した白の電気泳動粒子と、マイナスに帯電した黒の電気泳動粒子とを、電気泳動によって表示液中を移動させることで、画像を表示する。電気泳動方式の表示パネル２１は、他の方式の表示パネル（例えば、液晶パネル）よりも低い電力で画像を保持することができる。一方、表示している画像を切り替えるために要する時間は、他の方式の表示パネルの方が短い。なお、本発明は、電気泳動方式以外の方式の表示パネル（例えば、液晶パネル）を備えた表示装置にも適用できる。

表示パネル２１の右側には、ユーザが各種操作指示を入力するための操作部１３が設けられている。さらに、表示装置１の右側面には、メモリカード１５（図２参照）を装着するためのメモリカードスロット（図示せず）と、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）端子（図示せず）とが設けられている。ユーザは、表示装置１の機能を拡張するための基板である拡張基板３を、ＵＳＢ端子に接続することができる。表示装置１は、デジタルペン５を用いた書き込み入力を受け付けるベースユニット４に、拡張基板３を介して接続する。

ベースユニット４およびデジタルペン５について説明する。デジタルペン５は、先端部５１が尖った棒状の部材であり、先端部５１から赤外線および超音波を発信させる。ユーザは、デジタルペン５の先端部５１を表示パネル２１の表面に当てて移動させることで、所望の文字、記号、絵等を、表示画像上の所望の位置に書き込む。ベースユニット４は、表示パネル２１の上端縁部の中央に固定され、ＵＳＢケーブル６によって拡張基板３に接続する。ベースユニット４は、デジタルペン５から発信された赤外線および超音波を受信することで、表示パネル２１の表面におけるデジタルペン５の先端部５１の軌跡（位置情報）を検出し、検出した位置情報を表示装置１に出力する。表示装置１は、ベースユニット４から入力した位置情報から、先端部５１によって表示画像上に書き込まれた画像である追加画像の画像データ（以下、「追加画像データ」という。）を生成する。つまり、表示装置１は、ベースユニット４から入力した位置情報を用いて、追加画像データを取得する。追加画像データには、書き込まれた追加画像の大きさおよび形状を特定するためのデータに加え、表示画像上の追加画像の位置を特定するための位置情報が含まれる。

表示装置１は、ベースユニット４から入力した位置情報から追加画像データを生成すると、生成した追加画像データに基づいて表示パネル２１に追加画像を表示させる。従って、ユーザは、ベースユニット４およびデジタルペン５を用いることで、表示パネル２１に表示されている表示画像上に所望の画像を書き込むことができる。しかし、ユーザが実際に書き込みを行った表示画像上の位置と、書き込みを行った結果表示画像上に表示された追加画像の位置とがずれる場合がある。ユーザは、事前にキャリブレーション（位置補正）の設定を行うことでずれ量を減少させることができるが、キャリブレーションでは、ずれの発生を完全に防止することは困難である。従って、ユーザが書き込みを行う領域である書き込み領域が設定されている場合、表示画像上に示された書き込み領域上に書き込みが行われても、表示された追加画像が書き込み領域からはみ出すことがあった。表示装置１は、上記問題を解決することができる。

図２を参照して、表示装置１、ベースユニット４、およびデジタルペン５の電気的構成について説明する。表示装置１は、表示装置１の制御を司るＣＰＵ１０を備える。ＣＰＵ１０には、ＲＡＭ１１、ＲＯＭ１２、操作部１３、メモリカードＩ／Ｆ１４、表示コントローラ１６、充電コントローラ１７、ＵＳＢデバイスコントローラ１８、追加画像データ生成部１９、およびＵＳＢホストコントローラ２０が、バスを介して接続されている。

ＲＡＭ１１は、各種の情報を一時的に記憶する。ＲＯＭ１２は、ＣＰＵ３０が実行するプログラムおよび初期値等を記憶している。操作部１３は、前述したように、ユーザからの操作指示の入力を受け付ける。メモリカードＩ／Ｆ１４は、メモリカードスロットに装着されたメモリカード１５に対するデータの読み出しおよび書き込みを行う。表示コントローラ１６は、表示パネル２１の表示を制御する。充電コントローラ１７は、バッテリ２２への充電を制御する。ＵＳＢデバイスコントローラ１８は、ＵＳＢホスト２３（例えば、ＰＣ）との間の通信を制御する。追加画像データ生成部１９は、ベースユニット４による赤外線および超音波の受信結果から追加画像データを生成するＩＣである。ＵＳＢホストコントローラ２０は、ＵＳＢ端子に拡張基板３が接続された場合に、拡張基板３との間の通信を制御する。

ベースユニット４は、通信処理部４１、赤外線センサ４２、第一超音波センサ４３、および第二超音波センサ４４を備える。通信処理部４１は、拡張基板３を介した表示装置１とベースユニット４との通信を処理する。赤外線センサ４２は、デジタルペン５の先端部５１（図１参照）から発信された赤外線を受信する。第一超音波センサ４３および第二超音波センサ４４は、先端部５１から発信された超音波を受信する。デジタルペン５は、赤外線および超音波を同時に発信するが、赤外線の伝播速度は超音波の伝播速度よりも速い。表示装置１の追加画像データ生成部１９は、赤外線センサ４２が赤外線を受信してから、２つの超音波センサ４３，４４が超音波を受信するまでの時間に基づいて、先端部５１の位置を計測する。先端部５１の位置を繰り返し計測することで、先端部５１の軌跡を計測し、追加画像データを生成する。なお、表示装置１の追加画像データ生成部１９はＩＣでなくてもよく、ＣＰＵ１０が追加画像データ生成プログラムに従って動作することで追加画像データを生成してもよい。また、追加画像データ生成部１９をベースユニット４に備えてもよい。この場合、表示装置１は、ベースユニット４が生成した追加画像データを入力することで追加画像データを取得してもよい。

デジタルペン５は、赤外線発信部５２、超音波発信部５３、およびバッテリ５４を備える。赤外線発信部５２は、先端部５１から赤外線を発信させる。超音波発信部５３は、先端部５１から超音波を発信させる。バッテリ５４は、赤外線および超音波を発信させるための電力を充電する。

図３および図４を参照して、メモリカード１５に記憶されている画像データの構成、および、表示パネル２１に表示される表示画像の一例について説明する。表示装置１は、図３に例示する画像データに基づいて、表示パネル２１に画像を表示させる。図３に示すように、画像データは、フォルダ情報と、ドキュメント情報と、各ページのデータとを含む。フォルダ情報は、フォルダの所在を示すフォルダパス等の情報を含む。ドキュメント情報は、ドキュメントのタイトル等の情報である。各ページのデータには、位置情報と、ページの画像を表示させるためのデータとが含まれる。位置情報とは、表示画像上の書き込み領域の位置、および移動可能領域の位置を特定するための情報である。本実施の形態では、書き込み領域および移動可能領域の形状は長方形であり、Ｘ座標の範囲とＹ座標の範囲とが位置情報として記憶される。書き込み領域および移動可能領域が設定されていないページのデータには、位置情報は含まれない。以下、書き込み領域および移動可能領域について説明する。

図４に示す表示装置１は、書き込み領域６２および移動可能領域６５が共に設定されたページを表示している。この場合、表示パネル２１には、「同意書」等のコンテンツの画像に加え、書き込み領域６２の境界の少なくとも一部を示す画像である境界画像６１が、画像データに基づいて表示される。つまり、図３に示す画像データは、境界画像６１を表示させるための境界画像データを含む。書き込み領域６２は、ユーザが画像を書き込む領域である。図４に示す例では、矩形の実線の境界画像６１が表示されており、ユーザは境界画像６１の枠内に署名を行う。なお、境界画像６１の表示態様は変更してもよい。

移動可能領域６５は、境界画像６１を移動させることが可能な領域としてあらかじめ設定された領域である。移動可能領域６５は、書き込み領域６２を含み、且つ書き込み領域６２よりも大きい領域である。本実施の形態では、移動可能領域６５は表示パネル２１には表示されないが、移動可能領域６５も書き込み領域６２と共に表示させてもよい。移動可能領域６５を表示パネル２１に表示させる場合には、ユーザによる書き込み入力が終了した時点で表示を消去するのが望ましい。図４に示す例では、移動可能領域６５の境界を一点鎖線で仮想的に示している。

書き込み領域および移動可能領域は、ドキュメントを作成するユーザによってあらかじめ設定されている。ドキュメントを作成するユーザは、閲覧者に所定の領域への書き込みを要求する場合に、該当するページに書き込み領域を設定すればよい。移動可能領域は、書き込み領域が設定されている場合にのみ設定することができる。ドキュメントを作成するユーザは、移動可能領域を設定することで、境界画像が意図に反して大幅に移動することを防止することができる。しかし、移動可能領域を設定せずに、書き込み領域のみを設定することも可能である。この場合、書き込み領域は、表示されているページの全範囲を移動することができる。

図４から図９を参照して、表示装置１で実行される表示制御処理について説明する。表示制御処理では、デジタルペン５による書き込み入力が行われた場合に、書き込まれた追加画像が表示画像上に表示される。表示された追加画像が、書き込み領域の領域内にない場合に、所定の条件に従って境界画像が移動される。その結果、表示パネル２１では、書き込み領域の領域内に追加画像が表示されることになる。表示制御処理は、表示パネル２１に表示させるドキュメントおよびページ数が選択されて表示開始の指示が入力されることを契機として、表示装置１のＣＰＵ１０によって実行される。なお、処理の実行中に操作部１３（図１および図２参照）が操作され、処理の終了指示、またはページの切替指示が入力されると、表示制御処理は終了する。

図５に示すように、表示制御処理が開始されると、メモリカード１５に記憶された画像データに従って、ユーザによって指定されたドキュメントの指定ページが表示パネル２１に表示される（Ｓ１）。Ｓ１では、ページのデータに書き込み領域の位置情報が含まれている場合には、図４に示すように、書き込み領域６２の境界に長方形の境界画像６１が表示される。

デジタルペン５を用いた書き込み入力が行われたか否かが判断される（Ｓ２）。書き込み入力が行われていなければ（Ｓ２：ＮＯ）、Ｓ２の判断が繰り返され、表示画像の表示がそのまま継続される。書き込み入力が行われると（Ｓ２：ＹＥＳ）、ベースユニット４による赤外線および超音波の受信結果に基づいて、ユーザが書き込んだ追加画像の追加画像データが取得（生成）される。取得された追加画像データに基づいて、追加画像が表示パネル２１の表示画像上に表示される（Ｓ３）。図６は、図４に示す表示画像上に追加画像７１，７２が表示された状態を示す。表示画像の右下に表示された追加画像７１は、ユーザが境界画像６１の枠内に表示されることを意図して書き込んだ署名の画像である。表示画像の上部中央に表示された追加画像７２は、境界画像６１の枠内に表示されることを意図して書き込まれた画像ではない。

追加画像が表示されると、追加画像データを新たに取得しない状態が所定時間に達したか否かが判断される（Ｓ４）。ＣＰＵ１０は、追加画像データの取得が終了した時点で時間の計測を開始する。計測時間が所定時間に達する前に再び書き込みが行われ、新たに追加画像データを取得した場合には（Ｓ４：ＮＯ）、ＣＰＵ１０は、新たに追加画像を表示させて（Ｓ３）、時間の計測を再開する。

再び書き込みが行われることなく所定時間が経過すると（Ｓ４：ＹＥＳ）、表示画像に書き込み領域が設定されているか否か（境界画像が表示されているか否か）が判断される（Ｓ５）。書き込み領域が設定されていなければ（Ｓ５：ＮＯ）、処理はそのままＳ２の判断へ戻る。書き込み領域が設定されている場合には（Ｓ５：ＹＥＳ）、追加画像の全てが書き込み領域の領域内にあるか否かが判断される（Ｓ６）。前述したように、ＣＰＵ１０が取得する追加画像データには、表示画像上の追加画像の位置を特定するための位置情報が含まれる。メモリカード１５に記憶されている画像データには、書き込み領域（境界画像）の位置を特定するための位置情報が含まれる。ＣＰＵ１０は、追加画像データに含まれる位置情報と、メモリカード１５に記憶されている書き込み領域の位置情報とを比較し、書き込み領域内に追加画像の全てがあるか否かを判断する。追加画像が書き込み領域内にあれば（Ｓ６：ＹＥＳ）、境界画像を移動させる必要はないため、処理はそのままＳ２の判断へ戻る。

追加画像の少なくとも一部が書き込み領域内になければ（Ｓ６：ＮＯ）、追加画像の全てが移動可能領域の領域内にあるか否かが判断される（Ｓ７）。ＣＰＵ１０は、移動可能領域が設定されている場合、追加画像データに含まれる位置情報と、移動可能領域の位置情報とを比較することで、追加画像の全てが移動可能領域内にあるか否かを判断する。追加画像の少なくとも一部が、設定されている移動可能領域の領域内になければ（Ｓ７：ＮＯ）、図６の示す追加画像７２のように、書き込み領域内に書き込むことを意図して入力された画像でない可能性が高い。従って、処理はそのままＳ２の判断へ戻る。

追加画像の全てが移動可能領域の領域内にある場合、または移動可能領域が設定されていない場合には（Ｓ７：ＹＥＳ）、追加画像のうち書き込み領域からはみ出している部分の割合に応じて、境界画像を移動させるか否かが判断される（Ｓ８〜Ｓ１１）。上記判断には、言語種別に応じて異なる閾値が用いられる。図７に示すように、追加画像７３がアルファベットで記載されている場合には、追加画像７３の一部７４が書き込み領域の領域外（境界画像６１の枠外）に位置しても、はみ出している一部７４の割合が僅かであれば違和感は無い。図７に示す例以外にも、「ｇ，ｊ，ｐ，ｑ」の下部、「ｂ、ｄ」の上部等が書き込み領域の領域外に位置するのは自然である。一方で、図６に示すように、追加画像７１が日本語（漢字またはひらがな）で記載されている場合には、追加画像７１の一部が書き込み領域６２の領域外に位置した時点で不自然である。

従って、ＣＰＵ１０は、表示パネル２１に表示させる表示言語の言語種別を取得する（Ｓ８）。本実施の形態に係る表示装置１は、実行する機能等をユーザに選択させるためのメニュー項目等を、日本語および英語で表示させることができる。ユーザは、操作部１３を操作して日本語および英語のいずれかを選択することで、所望する言語でメニュー項目を表示させることができる。ＣＰＵ１０は、Ｓ８において、ユーザによって選択されている表示言語の言語種別を取得する。なお、ＣＰＵ１０が取得できる言語種別は、メニュー項目の表示言語に限られない。例えば、ＣＰＵ１０は、文字入力の設定がひらがなであるか、アルファベットであるかに応じて、言語種別が日本語であるか英語であるかを取得してもよい。ＣＰＵ１０は、表示パネル２１に表示されているドキュメントに使用されている言語の言語種別を取得してもよい。

取得された言語種別が日本語でなく、英語である場合には（Ｓ９：ＮＯ）、追加画像のうち書き込み領域外に位置する部分の面積（以下、「領域外面積」という。）の、追加画像全体の面積に対する割合が算出される（Ｓ１０）。図７に示す例では、「Ｓａｃｈｉｋｏ Ｙａｍａｄａ」の追加画像７３の全体の面積と、境界画像６１の枠外に位置する「Ｙ」の一部７４の面積とが算出される。追加画像７３全体の全体の面積に対する、「Ｙ」の一部７４の面積の割合（％）が算出される。次いで、算出された領域外面積の割合が閾値（例えば、１０％）以上であるか否かが判断される（Ｓ１１）。算出された割合が閾値よりも小さければ（Ｓ１１：ＮＯ）、違和感は少ないため、処理はそのままＳ２の判断へ戻る。算出された割合が閾値以上であれば（Ｓ１１：ＹＥＳ）、処理はＳ１２へ移行する。

取得された言語種別が日本語であれば（Ｓ９：ＹＥＳ）、追加画像が僅かでも書き込み領域からはみ出した時点で違和感を生じさせる可能性が高い。従って、処理はＳ１２へ移行し、境界画像を移動させるための処理が続けて実行される。つまり、本実施の形態では、境界画像を移動させるための条件となる領域外面積の閾値は、言語種別が英語である場合には１０％、言語種別が日本語である場合には０％となる。

次いで、追加画像の外形が特定される（Ｓ１２）。本実施の形態では、図８に示すように、追加画像７１を内接する最小の長方形が、追加画像７１の外形７５として特定される。つまり、追加画像７１の高さと幅のみが特定される。その結果、処理が簡素化され、表示装置１の処理負担が低下する。しかし、追加画像７１の外形を正確に特定してもよい。

次いで、追加画像が書き込み領域よりも大きいか否かが判断される（Ｓ１３）。具体的には、少なくともいずれかの方向において、追加画像の外形の長さが書き込み領域の外形の長さよりも長いか否かが判断される。本実施の形態では、図８に示すように、追加画像７１の外形７５および境界画像６１（書き込み領域）は、共に、左右方向および上下方向に延びる辺を有する長方形である。従って、追加画像７１の外形７５の幅および高さの少なくともいずれかが、境界画像６１の幅または高さよりも長ければ、追加画像７１の方が大きいと判断される。図８に示す例では、追加画像７１の外形７５の高さＤが、境界画像６１の高さＨよりも長い。よって、追加画像７１の方が大きいと判断される。追加画像が書き込み領域よりも大きいと判断された場合には（Ｓ１３：ＹＥＳ）、境界画像を移動させても、追加画像は境界画像の枠内に表示されないため、処理はそのままＳ２の判断へ戻る。

追加画像の大きさが書き込み領域の大きさ以下である場合には（Ｓ１３：ＮＯ）、境界画像（書き込み領域）を移動させるための処理が行われる（Ｓ１４〜Ｓ１６）。具体的には、追加画像の中心点と、書き込み領域の中心点とが特定される。書き込み領域の中心点を追加画像の中心点に一致させた場合の、書き込み領域の位置情報が算出される（Ｓ１４）。メモリカード１５に記憶されている書き込み領域の位置情報が、Ｓ１４で算出された新たな位置情報に更新される（Ｓ１５）。更新された位置情報に基づいて、境界画像を含むドキュメントが表示パネル２１に表示されて（Ｓ１６）、処理はＳ２の判断へ戻る。その結果、図６に示す状態であった表示画像は、図９に示す状態に変更される。図６に示す境界画像６１は、追加画像７１が枠内に位置するように移動する。

以上説明したように、本実施の形態に係る表示装置１は、ユーザによって表示画像上に書き込まれた追加画像が、画像を書き込む領域である書き込み領域の領域内にあるか否かを、画像データに含まれる位置情報から判断する。表示装置１は、追加画像が書き込み領域内にないと判断した場合に、追加画像が書き込み領域の領域内となる位置に、書き込み領域を示す境界画像を移動させる。従って、表示装置１は、ユーザが書き込んだ追加画像自体を補正することなく、追加画像を表示画像上の書き込み領域内に適切に表示することができる。

本実施の形態に係る表示装置１が備える表示パネル２１は、電気泳動方式で駆動する。前述したように、電気泳動方式の表示パネル２１では、画像を表示させるための時間が、他の方式の表示パネルに比べて長い。従って、ユーザがデジタルペン５を使って書き込みを行ってから、書き込まれた追加画像が実際に表示パネル２１に表示されるまでに、時間差が生じる場合がある。書き込み時と表示時の間に時間差が存在すると、追加画像を書き込んだ位置と、書き込んだ追加画像が表示される位置とがずれる場合に、ずれ量を考慮して適切な位置に書き込みを行うことが困難になる。よって、本実施の形態に係る表示パネル２１のような、所謂不揮発性の表示パネルの表示画像上に書き込みを行う場合には、追加画像が書き込み領域からはみ出し易い。しかし、表示装置１によると、追加画像が書き込み領域の領域内となる位置に境界画像が移動する。従って、ユーザは、ずれ量を考慮して書き込みを行わなくても、書き込み領域内に追加画像を容易に表示させることができる。

表示装置１は、追加画像のうち書き込み領域外に位置する部分の、追加画像全体の面積に対する割合を算出する。算出した割合が閾値以上である場合に、境界画像を移動させる。従って、表示装置１は、書き込み領域からはみ出している部分の割合が閾値以上である場合にのみ効率よく処理を行うことができる。はみ出している部分の割合が低く、違和感が生じない場合には、無駄な処理を行うことが無い。

詳細には、表示装置１は、表示パネル２１に表示させる表示言語の言語種別を取得する。表示装置１は、書き込み領域からはみ出している部分の割合を、言語種別に応じてそれぞれ定められた閾値と比較することで、境界画像を移動させるか否かを判断する。従って、表示装置１は、表示言語の言語種別に応じて適切に処理を行うことができる。

表示装置１は、表示された追加画像が移動可能領域の領域内にあるか否かを判断し、移動可能領域内にあると判断した場合にのみ、境界画像を移動させる。この場合、書き込み領域と追加画像とが大幅にずれており、追加画像が移動可能領域内にない場合には、書き込み領域を示す境界画像は移動しない。従って、ユーザが書き込み領域外に画像を追加することを意図して書き込みを行った場合に、境界画像がユーザの意図に反して移動することを防止することができる。

表示装置１は、追加画像データの取得が終了してからの経過時間が所定時間に達した場合に、境界画像を移動させる処理を行う。従って、表示装置１は、書き込みが終了したか否かを、書き込みが行われなかった時間を用いて的確に判断し、適切なタイミングで処理を行うことができる。また、少なくともいずれかの方向において、追加画像の外形が書き込み領域の外形の長さよりも長い場合には、書き込み領域を示す境界画像を移動させても追加画像は書き込み領域内に入らない。表示装置１は、追加画像が書き込み領域内に入る場合にのみ境界画像を移動させることで、処理を効率よく行うことができる。

上記実施の形態において、表示パネル２１が本発明の「表示手段」に相当する。図５のＳ１およびＳ１６で表示パネル２１に境界画像を表示させるＣＰＵ１０が、本発明の「表示制御手段」として機能する。ベースユニット４が「受付手段」に相当する。図５のＳ３でベースユニット４から追加画像データを取得するＣＰＵ１０が「入力取得手段」として機能する。図５のＳ６で追加画像が書き込み領域の範囲内にあるか否かを判断するＣＰＵ１０が「第一判断手段」として機能する。図５のＳ１４〜Ｓ１６で境界画像を移動させるＣＰＵ１０が「移動制御手段」として機能する。

図５のＳ１０で、追加画像のうち書き込み領域外に位置する部分の面積の、追加画像全体の面積に対する割合を算出するＣＰＵ１０が、本発明の「算出手段」として機能する。図５のＳ１１で、書き込み領域外に位置する部分の面積の割合が閾値以上であるか否かを判断するＣＰＵ１０が、本発明の「第二判断手段」として機能する。図５のＳ８で表示言語の言語種別を取得するＣＰＵ１０が「言語取得手段」として機能する。図５のＳ７で追加画像が移動可能領域内にあるか否かを判断するＣＰＵ１０が「第三判断手段」として機能する。

図５のＳ４で追加画像データの取得が終了してからの経過時間を計測するＣＰＵ１０が「計測手段」として機能する。図５のＳ１２で追加画像の外形を特定するＣＰＵ１０が「特定手段」として機能する。図５のＳ１３で追加画像が書き込み領域よりも大きいか否かを判断するＣＰＵ１０が「第四判断手段」として機能する。図５のＳ１３で、追加画像が書き込み領域よりも大きい場合に境界画像の移動を禁止するＣＰＵ１０が、本発明の「移動禁止手段」として機能する。

図５のＳ３およびＳ１６で表示パネル２１に境界画像を表示させる処理が、本発明の「表示制御ステップ」に相当する。図５のＳ３でベースユニット４から追加画像データを取得する処理が「入力取得ステップ」に相当する。図５のＳ６で追加画像が書き込み領域の範囲内にあるか否かを判断する処理が「第一判断ステップ」に相当する。図５のＳ１４〜Ｓ１６で境界画像を移動させる処理が「移動制御ステップ」に相当する。

本発明は上記実施の形態に限定されることはなく、様々な変形が可能であることは言うまでもない。上記実施の形態では、ユーザによる書き込み入力を受け付ける受付手段として、デジタルペン５の先端部５１の軌跡を検出するベースユニット４が用いられている。しかし、他の受付手段を用いた場合でも本発明は適用できる。例えば、表示パネル２１の表面に設けられるタッチパネルを受付手段として用いてもよい。タッチパネルを用いて書き込み入力を受け付ける場合でも、タッチパネル自体の厚みの影響で、ユーザが追加画像を書き込みたい位置と、実際に追加画像が表示される位置とがずれる場合がある。タッチパネルが表示パネル２１の表面から浮いている場合等、タッチパネルの表面と表示パネル２１の表面との間の距離が大きい場合程、ずれ量は大きくなる。しかし、本発明によれば、ユーザは追加画像を容易に書き込み領域内に書き込むことができる。また、専用紙に印刷されたドットパターンを読み取ることで画像データを生成するアノト（登録商標）ペン等、他の受付手段を用いてもよい。

上記実施の形態では、書き込み領域、境界画像、および移動可能領域は、全て長方形である。しかし、各領域は長方形である必要はなく、円形、楕円形等任意の形状とすることができる。

上記実施の形態では、表示パネル２１に表示される境界画像は、書き込み領域の境界の全周を示す実線である。しかし、境界画像は書き込み領域の境界の全てを示す必要はない。例えば、表示装置１は、長方形の書き込み領域の下辺に境界画像を表示し、書き込み領域を下線でユーザに示してもよい。表示装置１は、書き込み領域の境界の左端および右端に、（ ）、「 」等の括弧を境界画像として表示することで、書き込み領域を示しても良い。つまり、境界画像は、書き込み領域の境界の少なくとも一部を示せばよい。また、境界画像は、書き込み領域の枠のみを表示するものである必要は無い。例えば、表示装置１は、書き込み領域の領域外の色と異なる色で塗りつぶされた画像を、境界画像として表示させてもよい。境界画像を線で表示させる場合には、境界画像は実線である必要は無く、破線、鎖線、装飾された線等でもよい。

上記実施の形態の表示装置１は、図５のＳ１４〜Ｓ１６において、書き込み領域の中心点が追加画像の中心点に一致するように、書き込み領域を示す境界画像を移動させる。その結果、追加画像が書き込み領域の領域内に表示される。しかし、境界画像の移動方法は変更できる。例えば、表示装置１は、書き込み領域の下端が追加画像の下端に一致するように、境界画像を移動させてもよい。この場合、例えば、書き込み領域の左右方向の中心位置と、追加画像の左右方向の中心位置とを一致させれば、追加画像は書き込み領域内に表示される。

書き込み領域の位置を示す位置情報は、Ｘ方向の範囲およびＹ方向の範囲に限られない。書き込み領域内に位置する複数の画素のそれぞれの位置を、位置情報として用いても良い。また、上記実施の形態では、日本語および英語のいずれが表示言語とされているかに応じて、境界画像を移動させるか否かの判断基準となる閾値が異なる。しかし、表示言語が日本語と英語の２つに限られないことは言うまでもない。閾値も適宜設定すればよい。また、書き込み領域からはみ出している追加画像の部位の割合は、面積以外の量によって算出してもよい。例えば、追加画像が書き込み領域の下方にはみ出している場合、表示装置１は、追加画像全体の上下方向の長さに対する、はみ出している部分の上下方向の長さの割合を算出し、閾値と比較してもよい。同様に、追加画像が書き込み領域の左右にはみ出している場合には、追加画像全体の幅に対する、はみ出している部分の幅の割合を算出してもよい。

１ 表示装置
４ ベースユニット
５ デジタルペン
１０ ＣＰＵ
１５ メモリカード
２１ 表示パネル
６１ 境界画像
６２ 書き込み領域
６５ 移動可能領域
７１〜７３ 追加画像
７５ 追加画像の外形

Claims (7)

1. 画像を表示する表示手段を備え、画像データに基づいて前記表示手段に画像を表示させる表示装置であって、
   ユーザが画像を書き込む領域である書き込み領域の境界の少なくとも一部を示す境界画像を、表示画像上の前記境界画像の位置を特定するための位置情報を含む境界画像データに基づいて前記表示手段に表示させる表示制御手段と、
   前記表示画像に対して前記ユーザによって入力される書き込み入力を受け付ける受付手段から、前記ユーザによって書き込まれた追加画像の前記表示画像上の位置を特定するための位置情報を含む前記追加画像の画像データを取得する入力取得手段と、
   前記受付手段によって書き込み入力が受け付けられた前記追加画像が、前記表示手段に表示されている前記境界画像によって示される前記書き込み領域の領域内にあるか否かを、前記追加画像の画像データに含まれる位置情報、および前記境界画像データに含まれる位置情報から判断する第一判断手段と、
   前記第一判断手段によって前記追加画像が前記書き込み領域の領域内にないと判断された場合に、前記追加画像が前記書き込み領域の領域内となる位置に、前記表示制御手段によって前記表示手段に表示されている前記境界画像を移動させる移動制御手段と
   を備えたことを特徴とする表示装置。
2. 前記追加画像全体の面積に対する、前記追加画像のうち前記書き込み領域外に位置する部分の面積の割合を算出する算出手段と、
   前記算出手段によって算出された前記割合が閾値以上であるか否かを判断する第二判断手段とをさらに備え、
   前記移動制御手段は、前記第二判断手段によって前記割合が前記閾値以上であると判断された場合に前記境界画像を移動させることを特徴とする請求項１に記載の表示装置。
3. 前記表示手段に表示させる表示言語の言語種別を取得する言語取得手段をさらに備え、
   前記第二判断手段は、前記言語取得手段によって取得された前記言語種別に応じてそれぞれ定められた前記閾値と前記割合とを比較することを特徴とする請求項２に記載の表示装置。
4. 前記追加画像が、前記境界画像を移動させることが可能な領域としてあらかじめ設定された領域である移動可能領域の領域内にあるか否かを、前記移動可能領域の前記表示画像上の位置を特定するための位置情報、および前記追加画像の画像データに含まれる位置情報から判断する第三判断手段をさらに備え、
   前記移動制御手段は、前記第三判断手段によって前記追加画像が前記移動可能領域の領域内にあると判断された場合に、前記境界画像を移動させることを特徴とする請求項１から３のいずれかに記載の表示装置。
5. 前記入力取得手段による前記追加画像の画像データの取得が終了してからの経過時間を計測する計測手段をさらに備え、
   前記移動制御手段は、前記計測手段によって計測された前記経過時間が所定時間に達した場合に前記境界画像を移動させることを特徴とする請求項１から４のいずれかに記載の表示装置。
6. 前記追加画像の外形を特定する特定手段と、
   前記第一判断手段によって前記追加画像が前記書き込み領域の領域内にないと判断された場合に、少なくともいずれかの方向において、前記特定手段によって特定された前記追加画像の外形の長さが前記書き込み領域の外形の長さよりも長いか否かを判断する第四判断手段と、
   前記第四判断手段によって前記追加画像の外形の長さが前記書き込み領域の外形の長さよりも長いと判断された場合に、前記境界画像の移動を禁止する移動禁止手段と
   をさらに備えたことを特徴とする請求項１から５のいずれかに記載の表示装置。
7. 画像を表示する表示手段を備え、画像データに基づいて前記表示手段に画像を表示させる表示装置で用いられる表示制御プログラムであって、
   ユーザが画像を書き込む領域である書き込み領域の境界の少なくとも一部を示す境界画像を、表示画像上の前記境界画像の位置を特定するための位置情報を含む境界画像データに基づいて前記表示手段に表示させる表示制御ステップと、
   前記表示画像に対して前記ユーザによって入力される書き込み入力を受け付ける受付手段から、前記ユーザによって書き込まれた追加画像の前記表示画像上の位置を特定するための位置情報を含む前記追加画像の画像データを取得する入力取得ステップと、
   前記受付手段によって書き込み入力が受け付けられた前記追加画像が、前記表示手段に表示されている前記境界画像によって示される前記書き込み領域の領域内にあるか否かを、前記追加画像の画像データに含まれる位置情報、および前記境界画像データに含まれる位置情報から判断する第一判断ステップと、
   前記第一判断ステップにおいて前記追加画像が前記書き込み領域の領域内にないと判断された場合に、前記追加画像が前記書き込み領域の領域内となる位置に、前記表示制御ステップにおいて前記表示手段に表示されている前記境界画像を移動させる移動制御ステップと
   を前記表示装置のコントローラに実行させるための指示を含む表示制御プログラム。

Images