JP2020201901A - Display device, direction specification method, and program - Google Patents
Display device, direction specification method, and program Download PDFInfo
- Publication number
- JP2020201901A JP2020201901A JP2019110631A JP2019110631A JP2020201901A JP 2020201901 A JP2020201901 A JP 2020201901A JP 2019110631 A JP2019110631 A JP 2019110631A JP 2019110631 A JP2019110631 A JP 2019110631A JP 2020201901 A JP2020201901 A JP 2020201901A
- Authority
- JP
- Japan
- Prior art keywords
- electronic pen
- display
- display device
- coordinates
- pen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 29
- 239000013598 vector Substances 0.000 claims description 11
- 230000010365 information processing Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 description 27
- 230000001133 acceleration Effects 0.000 description 26
- 238000004891 communication Methods 0.000 description 23
- 238000001514 detection method Methods 0.000 description 23
- 230000006870 function Effects 0.000 description 21
- 238000010586 diagram Methods 0.000 description 17
- 230000033001 locomotion Effects 0.000 description 13
- 230000005540 biological transmission Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 6
- 230000005674 electromagnetic induction Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Landscapes
- Document Processing Apparatus (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、表示装置、方向特定方法、及びプログラムに関する。 The present invention relates to display devices, orientation methods, and programs.
手書きにより入力された文字列の向きに応じて、当該文字列に含まれる文字を認識する表示装置に係る技術が各種提案されている（例えば、特許文献１参照）。 Various techniques related to a display device that recognizes characters included in the character string according to the orientation of the character string input by hand have been proposed (see, for example, Patent Document 1).
しかしながら、従来の技術は、文字を手書きする方向を利用しなければ装置に対してユーザーが存在する方向を決定できないという問題がある。すなわち、従来の方法では、ユーザーが少なくとも２文字手書きしなければ、文字の向きを決定できないし、ユーザーが文字を左から右に書くという前提がなければ文字の向きを決定できない。このためユーザーが１文字だけ記述した場合や、上から下に向かって文字列を手書きした場合、又はアラビア語のように右から左に手書きした場合には、文字の向きを決定できない。 However, the conventional technique has a problem that the direction in which the user exists with respect to the device cannot be determined unless the direction in which the characters are handwritten is used. That is, in the conventional method, the orientation of characters cannot be determined unless the user handwrites at least two characters, and the orientation of characters cannot be determined unless the user writes the characters from left to right. Therefore, when the user writes only one character, when the character string is handwritten from top to bottom, or when the user handwrites from right to left as in Arabic, the direction of the character cannot be determined.
本発明は、上記課題に鑑み、装置に対してユーザーが存在する方向を決定できる表示装置を提供することを目的とする。 In view of the above problems, an object of the present invention is to provide a display device capable of determining the direction in which a user exists with respect to the device.
上記課題に鑑み、本発明は、三次元座標を推定する電子ペンを用いて手書きされたデータをディスプレイに表示する表示装置であって、前記データの入力の終了時における前記電子ペンの前記ディスプレイの面に平行な平面における座標と、前記ディスプレイに対する前記電子ペンの高さが閾値以上になった場合における前記電子ペンの前記ディスプレイに平行な平面における座標とに基づいて、前記電子ペンで手書きしているユーザーの前記表示装置に対する方向を特定する方向特定部、を有することを特徴とする。 In view of the above problems, the present invention is a display device that displays handwritten data on a display using an electronic pen that estimates three-dimensional coordinates, and the display of the electronic pen at the end of inputting the data. Handwriting with the electronic pen based on the coordinates in the plane parallel to the surface and the coordinates of the electronic pen in the plane parallel to the display when the height of the electronic pen with respect to the display exceeds the threshold value. It is characterized by having a direction specifying unit for specifying a direction of a user with respect to the display device.
装置に対してユーザーが存在する方向を決定できる表示装置を提供することができる。 It is possible to provide a display device capable of determining the direction in which the user is present with respect to the device.
以下、本発明を実施するための形態の一例として、表示装置と表示装置が行う方向特定方法について図面を参照しながら説明する。 Hereinafter, as an example of the embodiment for carrying out the present invention, the display device and the direction specifying method performed by the display device will be described with reference to the drawings.
＜装置に対するユーザーの方向＞
まず、図１を用いて表示装置に対するユーザーの方向が異なる状況の一例を説明する。図１は、表示装置２の置き方の一例を示す。この表示装置２は、手書き入力が可能なコンピュータ制御のホワイトボード装置又はアプリケーションソフトであり、手書き入力装置と呼ばれる場合がある。
<User direction with respect to the device>
First, an example of a situation in which the user's direction with respect to the display device is different will be described with reference to FIG. FIG. 1 shows an example of how to place the
図１（ａ）では表示装置２が縦置きされており、図１（ｂ）では表示装置２が平置きされている。図１（ａ）のように縦置きされた表示装置２では、ユーザーは表示装置２に対し下側に存在することが一般的である。このため、表示装置２は縦置き状態の上下方向が文字の天地方向であるという前提で文字認識を行う。
In FIG. 1A, the
一方、図１（ｂ）のように、平置きされた表示装置２では縦置きの場合と異なり手書きするユーザーの方向が限定されない。各ユーザーは自分から見た上下方向を文字の天地方向にして手書きするために各ユーザーが手書きする文字の向きも異なる。
On the other hand, as shown in FIG. 1B, in the horizontally placed
図２は平置きされた表示装置２に手書きされた文字の一例を示す。説明の便宜上、図１（ｂ）の矢印４０１の方向を文字認識の基準方向とする。ユーザーＡ，Ｂのいずれも「て」という文字を手書きした。図２（ａ）に示すように、ユーザーＡは基準方向に手書きしたため、正しく「て」と認識されている。しかし、図２（ｂ）に示すように、ユーザーＢは基準方向とは逆向きに手書きしたため、「２」と誤認識されている。
FIG. 2 shows an example of characters handwritten on the horizontally placed
このように、文字認識を正しく行うためには、表示装置２に対するユーザーの方向、すなわち、文字の向きを特定することが必要である。
As described above, in order to correctly perform character recognition, it is necessary to specify the direction of the user with respect to the
＜本実施形態の表示装置の動作の概略＞
そこで、本実施形態の表示装置２は、手書きに使用する電子ペン２５０の位置を利用して表示装置２に対するユーザーの方向を特定する。
<Outline of operation of the display device of this embodiment>
Therefore, the
図３は、本実施形態の表示装置２が表示装置２に対するユーザーの方向を特定する方法の概略を説明する図である。図３では表示装置２のディスプレイに水平な平面をＸＹ平面とし、ＸＹ平面に垂直な方向をＺ方向とする三次元座標が設定されている。
FIG. 3 is a diagram illustrating an outline of a method in which the
電子ペン２５０は三次元空間における三次元座標を推定するために少なくとも加速度センサーを内蔵しており、電子ペン２５０は三次元座標を推定することができる。ただし、電子ペン２５０が推定する三次元座標は電子ペン２５０ごとに推定される、電子ペンに個別の座標系の座標でよい（表示装置２が電子ペン２５０の絶対位置を特定する必要はない）。
The
本実施形態では、ユーザーが手書きを終えた後の肘の動きに着目した。手書きを終えた後ユーザーはペンアップするので、肘はユーザーのいる方向に向かって折り曲げられることが一般的である。ペンアップとはディスプレイに尖端を接していた電子ペン２５０が座標の入力の終了時にディスプレイから離れることをいう。図３ではＺ座標が閾値ｈ以上又は閾値ｈを超過して変化することでペンアップを検出している。
In this embodiment, attention is paid to the movement of the elbow after the user finishes handwriting. Since the user will pen up after finishing the handwriting, the elbow is generally bent in the direction of the user. Pen-up means that the
ペンアップ後の肘の動きにより、電子ペン２５０のＺ座標が変化し、ＸＹ座標（ＸＹ平面に投影した三次元座標）はユーザーに近づくように変化する。したがって、手書きを終えた直後の電子ペン２５０のＸＹ平面の座標（図３のｘ０，ｙ０）と、Ｚ座標がある程度変化した（ある程度ひじが曲げられた）後の電子ペン２５０のＸＹ平面の座標（図３のｘ１，ｙ１）の差から、表示装置２はユーザーのいる方向を特定することができる。
The Z coordinate of the
このようにして表示装置２に対しユーザーのいる方向を特定できれば、表示装置２は手書きされた文字を回転させて、文字認識することで正しく文字を認識できる。
If the direction in which the user is with respect to the
したがって、本実施形態の表示装置２は、ユーザーが１文字だけ手書きした場合でも、表示装置２に対するユーザーの方向を特定できる。また、ユーザーが文字を書く方向に前提がなくても、表示装置２に対するユーザーの方向を特定できる。
Therefore, the
＜用語について＞
表示装置２は、専用の表示装置でもよいし、ＰＣ、スマートフォン、又は、タブレット端末などの情報処理装置がアプリケーションソフトを実行することで表示装置２として使用されてもよい。
<Terminology>
The
表示装置２に対するユーザーの方向は、表示装置２が平置きされた場合に、表示装置２に対しユーザーが存在する位置である。すなわちユーザーの方向は位置に関する情報ということができる。ただし、本実施形態は表示装置２が縦置きされた場合も適用できる。
The direction of the user with respect to the
手書きされたデータとは、ディスプレイ上でユーザーが入力手段を連続的に移動させた座標点列を軌跡として表示したデータである。また、ユーザーがディスプレイに入力手段を押しつけてから連続的に移動させた後、ディスプレイから離すという一連の操作をストロークといい、ストロークにより手書きされたデータをストロークデータという。ストロークデータは１つ以上の座標点を有し、手書きデータは１つ以上のストロークデータを有する。 The handwritten data is data in which a coordinate point sequence in which the user continuously moves the input means on the display is displayed as a locus. Further, a series of operations in which the user presses the input means on the display, moves the input means continuously, and then releases the input means from the display is called a stroke, and the data handwritten by the stroke is called stroke data. The stroke data has one or more coordinate points, and the handwritten data has one or more stroke data.
手書きされたデータには、手書きデータそのものだけでなく、手書きデータが文字認識して変換されたテキストデータ、「済」などの決まった文字やマークとして表示されるスタンプ、円や星などの図形、直線等、ユーザーの操作に基づいて表示されたデータも含まれてよい。 The handwritten data includes not only the handwritten data itself, but also text data obtained by recognizing and converting the handwritten data, stamps displayed as fixed characters and marks such as "done", and figures such as circles and stars. Data displayed based on the user's operation such as a straight line may also be included.
手書きデータそのものだけでなく、手書きデータが文字認識して変換されたテキストデータ、「済」などの決まった文字やマークとして表示されるスタンプ、円や星などの図形、直線等、ユーザーの操作に基づいて表示されたデータも含まれる。 Not only handwritten data itself, but also text data that is converted by character recognition of handwritten data, stamps displayed as fixed characters and marks such as "done", figures such as circles and stars, straight lines, etc. The data displayed based on it is also included.
また、文字という場合、数字、アルファベット、及び、！、＃、＄、％、＆、＋、×、＝、−等の記号を含む。 Also, when we talk about letters, numbers, alphabets, and! , #, $,%, &, +, ×, =,-includes symbols such as-.
＜電子ペンの外観の一例＞
図４は、電子ペン２５０の斜視図の一例を示す。電源を内蔵して表示装置２に命令を送信できる電子ペン２５０をアクティブペンという（電源を内蔵しない電子ペン２５０をパッシブ電子ペンという）。図４の電子ペン２５０は、物理的なスイッチがペン先に一つ、ペン尻に一つ、ペン側面に二つあり、ペン先が筆記用、ペン尻が消去用、ペン側面はユーザー機能割り当て用である。本実施形態の電子ペン２５０は不揮発性のメモリーを有しており、他の電子ペン２５０と重複しないペンＩＤを記憶している。
<Example of the appearance of an electronic pen>
FIG. 4 shows an example of a perspective view of the
なお、スイッチ付きの電子ペンであれば、ユーザーの表示装置２の操作手順を減らすことも可能である。スイッチ付きの電子ペン２５０とは主にアクティブペンを言うが、電磁誘導方式では電源を内蔵しないパッシブペンでもＬＣ回路だけで電力を発生できるため、アクティブペンだけでなく電磁誘導方式のパッシブペンを含む。電磁誘導方式以外の光学方式、赤外線方式、及び、静電容量方式のスイッチのある電子ペン２５０はアクティブペンである。
If the electronic pen has a switch, it is possible to reduce the operation procedure of the
ユーザーはペン側面スイッチのうちの一つをペン機能メニュー（電子ペンの色、太さ、線種などの動作モードなどを選択するメニュー）、もう一つを編集機能メニュー（手書きされたオブジェクトの消去、選択、切り取り、コピー、貼り付けなどを行うメニュー）に割り当てることができる。ユーザーが手に持った電子ペン２５０の側面ボタンを押すことによってペン機能メニュー又は編集機能メニューを表示させることができるので、画面のメニュー操作時に必要な操作数を低減できる。
The user uses one of the pen side switches as the pen function menu (a menu for selecting the operation mode such as the color, thickness, and line type of the electronic pen) and the other as the edit function menu (erasing handwritten objects). , Select, cut, copy, paste, etc. menu). Since the pen function menu or the editing function menu can be displayed by pressing the side button of the
また、消去用のペン尻のスイッチを使用すると、メニュー画面から消去ボタンを押下する操作を省略して、任意の手書きオブジェクトを消去できる。 In addition, by using the pen tail switch for erasing, any handwritten object can be erased by omitting the operation of pressing the erase button from the menu screen.
＜装置の全体構成＞
図５を用いて、本実施形態に係る表示装置２の全体構成を説明する。図５は、表示装置２の全体構成図を示した図である。図５（ａ）では、表示装置２の一例として、壁につり下げられた横長の電子黒板として使用される表示装置２を示している。
<Overall configuration of the device>
The overall configuration of the
図５（ａ）に示されているように、表示装置２の上部にはディスプレイ２２０が設置されている。ユーザーＵは、電子ペン２５０を用いて、ディスプレイ２２０に文字等を手書きする（入力、描画ともいう）ことができる。
As shown in FIG. 5A, a
図５（ｂ）は壁につり下げられた縦長の電子黒板として使用される表示装置２を示している。
FIG. 5B shows a
図５（ｃ）は机２３０に平置きされた表示装置２を示す。表示装置２は厚みが１ｃｍ程度なので、一般の机に平置きしても机の高さを調整する必要がない。また、容易に移動できる。
FIG. 5C shows a
図５（ａ）〜（ｃ）のどの態様で表示装置２が使用されているかは、表示装置２が内蔵するチルトセンサーで検出される。あるいは、ユーザーが設定してもよい。
The mode in which the
＜ハードウェア構成例＞
＜＜電子ペンのハードウェア構成＞＞
図６は、電子ペン２５０のハードウェア構成図の一例である。図６に示されているように、電子ペン２５０は、ＣＰＵ(Central Processing Unit)１０１、ＲＯＭ(Read Only Memory)１０２、ＲＡＭ(Static Random Access Memory)１０３、ＳＳＤ（Solid State Drive）１０４、近距離通信装置１０５、加速度センサー１０６、ジャイロセンサー１０７、及びバッテリー１０８等を有している。
<Hardware configuration example>
<< Hardware configuration of electronic pen >>
FIG. 6 is an example of a hardware configuration diagram of the
これらのうち、ＣＰＵ１０１は、電子ペン２５０全体の動作を制御する。本実施形態では電子ペン２５０の三次元座標を推定して表示装置２に送信する。ＲＯＭ１０３は、ＩＰＬ(Initial Program Loader)等のＣＰＵ１０１の駆動に用いられるプログラムを記憶する。ＲＡＭ１０２は、ＣＰＵ１０１のワークエリアとして使用される。ＳＳＤ１０４は、電子ペン２５０用のプログラム等の各種データを記憶する。
Of these, the
近距離通信装置１０５は、表示装置２と通信し、電子ペン２５０のペンＩＤ、三次元座標、各種スイッチの押下状態などを送信する。また、加速度センサー１０６とジャイロセンサー１０７の信号を表示装置２に送信してもよい。この場合、電子ペン２５０の三次元座標を表示装置２が推定できる。近距離通信装置１０５が使用する通信規格は例えばZigBee（登録商標）やBluetooth（登録商標）などで通信するが、表示装置２と通信できればよく通信規格は問われない。
The short-
加速度センサー１０６は、直交する３軸の加速度を所定のサンプリング周期で検出する。また、ジャイロセンサー１０７は直交する３軸の角速度を所定のサンプリング周期で検出する。バッテリー１０８は電子ペン２５０の電源である。
The
なお、電子ペン２５０の座標の入力方式には、電磁誘導方式、アクティブ静電結合方式などがある。また、電子ペン２５０は、筆圧検知、傾き検知、ホバー機能（電子ペンが触れる前にカーソルを表示）、などの機能を有していてよい。
The coordinate input method of the
＜＜表示装置のハードウェア構成＞＞
図７は、表示装置２のハードウェア構成図の一例である。図７に示されているように、表示装置２は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、及び、ＳＳＤ２０４を備えている。
<< Hardware configuration of display device >>
FIG. 7 is an example of a hardware configuration diagram of the
これらのうち、ＣＰＵ２０１は、表示装置２全体の動作を制御する。ＲＯＭ２０２は、ＣＰＵ２０１やＩＰＬ等のＣＰＵ２０１の駆動に用いられるプログラムを記憶する。ＲＡＭ２０３は、ＣＰＵ２０１のワークエリアとして使用される。ＳＳＤ２０４は、表示装置２用のプログラム等の各種データを記憶する。
Of these, the
また、表示装置２は、ディスプレーコントローラー２１３、タッチセンサーコントローラー２１５、タッチセンサー２１６、チルトセンサー２１７、シリアルインタフェース２１８、スピーカー２１９、ディスプレイ２２０、マイク２２１、無線通信装置２２２、赤外線Ｉ／Ｆ２２３、電源制御回路２２４、ＡＣアダプター２２５、バッテリー２２６、及び、電源スイッチ２２７を備えている。
The
ディスプレーコントローラー２１３は、出力画像をディスプレイ２２０等へ出力するために画面表示の制御及び管理を行う。タッチセンサー２１６は、ディスプレイ２２０上に電子ペン２５０やユーザーの手等（電子ペン２５０やユーザーの手は入力手段となる）が接触したことを検知する。また、タッチセンサー２１６は電子ペン２５０と通信し、三次元座標やペンＩＤ等を受信する。
The
タッチセンサーコントローラー２１５は、タッチセンサー２１６の処理を制御する。タッチセンサー２１６は、座標の入力及び座標の検出を行う。この座標の入力及び座標を検出する方法は、例えば、光学式の場合、ディスプレイ２２０の上側両端部に設置された２つ受発光装置が、ディスプレイ２２０に平行して複数の赤外線を放射し、ディスプレイ２２０の周囲に設けられた反射部材によって反射されて、放射した光の光路と同一の光路上を戻って来る光を受光素子が受光する方法である。タッチセンサー２１６は、物体によって遮断された２つの受発光装置が放射した赤外線の位置情報をタッチセンサーコントローラー２１５に出力し、タッチセンサーコントローラー２１５が、物体の接触位置である座標位置を特定する。また、タッチセンサーコントローラー２１５は通信ユニット２１５ａを有しており、この通信ユニット２１５ａが電子ペン２５０と無線で通信してもよい。この場合、例えば、Bluetooth（登録商標）やZigBee（登録商標）などの通信規格で通信してよい。汎用的な通信規格で通信する場合、電子ペン２５０として市販されている電子ペンを使用することができる。また、表示装置２の出荷時に予め１つ以上の電子ペン２５０を通信ユニット２１５ａに登録しておくと、ユーザーは電子ペン２５０を表示装置２と通信させる接続設定を行わなくても通信できる。
The
チルトセンサー２１７は、表示装置２の傾き角度を検出するセンサーである。主に、表示装置２が図５（ａ）、図５（ｂ）、又は、図５（ｃ）のいずれかの設置状態で使用されているかを検出するために使用され、設置状態に応じて文字等の太さを自動で変更することができる。
The
シリアルインタフェース２１８はＵＳＢなどの外部との通信インタフェースである。外部からの情報の入力などに使用される。スピーカー２１９は音声の出力に使用され、マイク２２１は音声の入力に使用される。無線通信装置２２２は、ユーザーが携帯する端末と通信し、例えばインターネットへの接続を中継する。無線通信装置２２２はWi−FiやBluetooth（登録商標）などで通信するが、通信規格は問われない。無線通信装置２２２はアクセスポイントを形成しており、ユーザーが入手したＳＳＩＤ（Service Set Identifier）とパスワードをユーザーが携帯する端末に設定すると、アクセスポイントに接続できる。
The
なお、無線通信装置２２２には２つのアクセスポイントが用意されているとよい。
a. アクセスポイント→インターネット
b. アクセスポイント→社内ネットワーク→インターネット
ａのアクセスポイントは社外のユーザー用で、ユーザーは社内ネットワークにはアクセスできないが、インターネットを利用できる。ｂのアクセスポイントは社内のユーザー用で、ユーザーは社内ネットワーク及びインターネットを利用できる。
It is preferable that the
a. Access point → Internet
b. Access point-> internal network-> Internet a The access point is for external users, and the user cannot access the internal network, but can use the Internet. The access point of b is for internal users, and the users can use the internal network and the Internet.
赤外線Ｉ／Ｆ２２３は隣に配置された表示装置２を検出する。赤外線の直進性を利用して、隣に配置された表示装置２のみを検出できる。赤外線Ｉ／Ｆ２２３は各辺に１つずつ設けられることが好ましく、表示装置２のどの方向に他の表示装置２が配置されたのかを検出できる。これにより画面が広がり、隣の表示装置２に過去に手書きされた手書き情報（１つのディスプレイ２２０の広さを１ページとして別のページの手書き情報）等を表示できる。
The infrared I /
電源制御回路２２４は表示装置２の電源であるＡＣアダプター２２５とバッテリー２２６を制御する。ＡＣアダプター２２５は商用電源が共有する交流を直流に変換する。電源スイッチ２２７は、表示装置２の電源のＯＮ／ＯＦＦを切り換えるためのスイッチである。
The power
ディスプレイ２２０がいわゆる電子ペーパーの場合、画像の表示を維持するためにほとんど又は一切電力を消費しないので、バッテリー２２６による駆動も可能である。これにより、屋外など電源を接続しにくい場所でもデジタルサイネージなどの用途で表示装置２を使用することが可能になる。
When the
更に、表示装置２は、バスライン２１０を備えている。バスライン２１０は、図７に示されているＣＰＵ２０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
Further, the
なお、タッチセンサー２１６は、光学式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する２つの抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルなどの種々の検出手段を用いてもよい。タッチセンサー２１６は、電子ペン２５０先のタッチの有無を検知するのに電子ペン２５０が必要ない方式であってよい。この場合はタッチ操作をするのに指先や電子ペン２５０型の棒を使用できる。ただし、三次元座標を算出して送信する機能は必要である。なお、電子ペン２５０は、細長い電子ペン２５０型である必要はない。
The
＜機能について＞
図８は、電子ペン２５０と表示装置２の機能をブロック状に示す機能ブロック図の一例である。まず、電子ペン２５０は、三次元座標推定部１１、データ送信部１２、データ処理部１３、加速度検出部１４、及び、角速度検出部１５を有している。電子ペン２５０が有するこれらの各機能は、図６に示したＳＳＤ１０４からＲＡＭ１０２に展開されたプログラムをＣＰＵ１０１が実行することにより実現されている機能又は手段である。
<About functions>
FIG. 8 is an example of a functional block diagram showing the functions of the
加速度検出部１４は、周期的に加速度センサー１０６から３軸の加速度を取得する。角速度検出部１５は周期的に角速度センサーから３軸の角速度を取得する。常にこれらが検出されることで、電子ペン２５０は電子ペン２５０の三次元座標をリアルタイムに推定できる。周期的にとは完全に定期的であることは必要なく、不定期でも繰り返し行われていると見なすことができればよい。以下の周期的という表現についても同様である。
The
データ処理部１３は、加速度検出部１４と角速度検出部１５に信号の要求を行い、加速度情報と角速度情報を取得する。データ処理部１３は周期的に取得した加速度を累積して後述するＡｘ２軸、Ａｙ２軸，Ａｚ２軸方向の移動量を算出し、周期的に取得した角速度を累積してＡｚ２軸，Ａｙ２軸，Ａｚ２軸の回りの回転角度を算出する。
The
三次元座標推定部１１はＡｚ２，Ａｙ２，Ａｚ２軸方向の移動量とＡｘ２軸，Ａｙ２軸，Ａｚ２軸の回りの回転角度を用いて電子ペン２５０の三次元座標を推定する。詳細は後述される。
Three-dimensional coordinate estimating
データ送信部１２は、電子ペン２５０の三次元座標を表示装置２に送信する。電子ペン２５０から一方的に送信してもよいし、表示装置２からの要求に応じて送信してもよい。
The
表示装置２は、データ受信部２１、方向特定部２２、文字認識部２３、表示制御部２４、座標検出部２６、及び、表示部２７を有している。表示装置２が有する各機能は、図７に示されている各構成要素のいずれかが、ＳＳＤ２０４からＲＡＭ２０３上に展開されたプログラムに従ったＣＰＵ２０１からの命令によって動作することで実現される機能又は手段である。
The
データ受信部２１は電子ペン２５０から周期的に三次元座標を受信する。なお、データ受信部２１は並行して複数の電子ペン２５０から三次元座標を受信でき、この場合は各電子ペン２５０からペンＩＤも共に受信することが好ましい。これにより、三次元座標を電子ペン２５０ごとに判別できる。
The
方向特定部２２は、座標検出部２６がタッチセンサー２１６から検出した、ペンアップした旨の信号を取得して、ペンアップした時の三次元座標を検出する。方向特定部２２は、ペンアップした時の三次元座標からＺ軸方向に所定量（閾値ｈ）、変化した三次元座標をデータ受信部２１から受け取ると、表示装置２に対するユーザーの方向を特定する。詳細は後述される。
The
文字認識部２３には座標検出部２６から座標点列が入力されている。座標点列とはディスプレイ２２０における電子ペン２５０の尖端の座標を時系列に取り込んだ情報である。また、座標点と座標点の間を表示制御部２４が補間して表示するため、座標点列は１本のストローク（自由曲線）として表示される。ペンダウンからペンアップまでが１つの座標点列である。手書きされる文字は１つ以上の手書きデータの集まりである。
A coordinate point sequence is input to the
複数の電子ペン２５０を識別するためには座標点列と共にペンＩＤが入力されるとよい。したがって、表示装置２は電子ペン２５０の三次元座標と対応付けているペンＩＤにより、座標点列を特定できる。ユーザーによって表示装置２に対するユーザーの方向が異なっても、電子ペン２５０の三次元座標で各ユーザーの方向が分かるので、各ユーザーが手書きした座標点列を表示装置２に対するユーザーの方向に応じて回転できる。
In order to identify the plurality of
文字認識部２３は方向特定部２２から入力された表示装置２に対するユーザーの方向に応じて座標点列を回転させてから文字認識を行う。
The
表示制御部２４は座標点と座標点の間を補間して表示部２７に表示すると共に、文字認識後は手書きされた座標点列を消去して文字認識部２３から受け取った変換文字列をディスプレイ２２０に表示する。表示部２７はディスプレイ２２０により実現されている。座標点列のまま表示するか、文字認識後の変換文字列に置き換えて表示するか、又は、両方を表示するかを、ユーザーが選択できてよい。
The
また、表示装置２は、図７に示したＳＳＤ２０４やＲＡＭ２０３により実現される記憶部２５を有している。記憶部２５には、座標点列及び電子ペン２５０の三次元座標等が記憶される。
Further, the
＜三次元座標を推定について＞
図９を用いて三次元座標の推定方法を説明する。図９（ａ）は、電子ペン２５０の軸方向を説明する図である。図９に示すように、電子ペン２５０の中心から下向きをＡｚ１軸とし、Ａｚ１軸と直交する軸をＡｘ１軸，Ａｙ１軸とした。座標系Ａｘ１，Ａｙ１，Ａｚ１は電子ペン２５０と共に回転する。
<About estimating 3D coordinates>
A method of estimating three-dimensional coordinates will be described with reference to FIG. FIG. 9A is a diagram illustrating the axial direction of the
データ処理部１３はＡｘ１、Ａｙ１，Ａｚ１方向の加速度情報を２回積分することで電子ペン２５０の移動量を算出する。しかし、電子ペン２５０に取り付けられた加速度センサー１０６のＡｚ１軸とディスプレイ２２０の平面が直交すると限らない。このため、重力加速度の方向をＡｚ１軸が向くように、座標変換を行う。
The
図９（ｂ）は加速度センサー１０６の軸方向が重力加速度の方向を向くように回転する座標変換を説明する図である。図示するようにＡｘ１軸、Ａｙ１軸，Ａｚ１軸をＡｘ２軸、Ａｙ２軸，Ａｚ２軸に座標変換することで、電子ペン２５０の姿勢に関わらず電子ペン２５０の三次元座標（ｘｐ、ｙｐ、ｚｐ）のうちｚｐはディスプレイ２２０に垂直な方向の距離を表し、ｘｐ、ｙｐはディスプレイ２２０に平行な平面の座標を表す。
FIG. 9B is a diagram illustrating a coordinate transformation in which the
なお、データ処理部１３はジャイロセンサー１０７から得た角速度情報を積分して角度情報を得ることができるので、電子ペン２５０の回転を打ち消す回転行列を加速度情報に適用するとよい。これにより、電子ペン２５０の傾きが変化しても座標変換した加速度情報を得ることができる。
Since the
＜表示装置に対するユーザーの方向の推定＞
図１０は、電子ペン２５０の三次元座標（ｘｐ、ｙｐ、ｚｐ）に基づくユーザーの方向の推定方法を説明する図である。図１０においてＸ，Ｙ，Ｚ軸は表示装置２が有する三次元の座標系である。この三次元の座標系はどのように設定されてもよく、例えば、ディスプレイ２２０のコーナーなどを基準に設定されている。表示装置２の座標系における電子ペン２５０の三次元座標を（ｘ、ｙ、ｚ）で表す。
<Estimating the user's direction with respect to the display device>
FIG. 10 is a diagram illustrating a method of estimating the user's direction based on the three-dimensional coordinates (x p , y p , z p ) of the
電子ペン２５０は表示装置２の座標系とは関係なく三次元座標（ｘｐ、ｙｐ、ｚｐ）を算出するので、電子ペン２５０の三次元座標（ｘｐ、ｙｐ、ｚｐ）を表示装置２の座標系における電子ペン２５０の三次元座標（ｘ、ｙ、ｚ）に変換する規則は存在しない。しかし、電子ペン２５０の座標のうちｘｐ、ｙｐは表示装置２の座標系のＸＹ平面の座標であり、電子ペン２５０の座標のうちｚｐは表示装置２の座標系のＺ軸方向の座標である。また、表示装置２に対するユーザーの方向を特定するためには表示装置２から見た電子ペン２５０の三次元座標（ｘ、ｙ、ｚ）の絶対値は必要ない。
以上から本実施形態では
ｘｐ→ｘ
ｙｐ→ｙ
ｚｐ→ｚ
として、電子ペン２５０の三次元座標（ｘｐ、ｙｐ、ｚｐ）をそのまま表示装置２の座標系における電子ペン２５０の三次元座標を（ｘ、ｙ、ｚ）として表しても差し支えない。ｚｐについてはＡｚ軸とＺ軸の＋方向の違いを考慮して符号を反転してもよい。また、電子ペン２５０の三次元座標（ｘｐ、ｙｐ、ｚｐ）を定数倍しても差し支えない。したがって、図１０に示すように、電子ペン２５０の三次元座標（ｘｐ、ｙｐ、ｚｐ）をそのまま表示装置２の三次元座標に配置できる。
From the above, in this embodiment, x p → x
y p → y
z p → z
As a result, the three-dimensional coordinates (x p , y p , z p ) of the
ペンアップ時の電子ペン２５０の三次元座標を（ｘｐ０、ｙｐ０、ｚｐ０）、ペンアップ時のｚｐｏが閾値ｈ変化した時の電子ペン２５０の三次元座標を（ｘｐ１、ｙｐ１、ｚｐ１）とする。これをディスプレイ２２０に平行なＸＹ平面に投影すると電子ペン２５０のＸ座標、Ｙ座標はそれぞれ（ｘ０、ｙ０）、（ｘ１、ｙ１）である。（ｘ０、ｙ０）から（ｘ１、ｙ１）へのベクトル３０１は、手書きされた文字を起点にユーザー（例えば利き腕）の方向を示すと考えられる。したがって、方向特定部２２はこのベクトル３０１の方向に基づいて表示装置２に対するユーザーの向きを推定できる。
The three-dimensional coordinates of the
図１１は、いくつかのベクトル３０１と表示装置２に対するユーザーの向きを示す図である。図１１ではＹ軸方向を基準方向としてベクトル３０１の角度を算出するが、基準方向はどの方向でもよい。しかし、文字認識部２３が文字認識を行う方向を基準方向にするとよい。図１１ではＹ軸の＋方向を天地方向（文字の下向き）にして文字認識するものとする。
FIG. 11 is a diagram showing the orientation of the user with respect to some
図１１（ａ）と図１１（ｂ）は「Ａ」という１文字が手書きされている。図１１（ａ）の「Ａ」を書き終えてペンアップした時の電子ペン２５０の座標とユーザーが肘を曲げて電子ペン２５０の高さをｈ変化させた時の電子ペン２５０の座標の差に基づくベクトル３０１の角度Ｄは０度である。図１１（ｂ）の「Ａ」を書き終えてペンアップした時の電子ペン２５０の座標とユーザーが肘を曲げて電子ペン２５０の高さをｈ変化させた時の電子ペン２５０の座標の差に基づくベクトル３０１の角度Ｄは１００度である。
In FIGS. 11 (a) and 11 (b), the single character "A" is handwritten. Difference between the coordinates of the
Ｙ軸方向を基準方向とするベクトル３０１の角度Ｄは以下により算出できる。
Ｄ＝arctan{(x1−x0)/(y1−y0）｝
文字の認識処理の単位で角度Ｄを算出する必要があるため、図１１（ｃ）に示すように文字列に対して角度Ｄが決定される場合がある。この場合も同様に角度Ｄを算出できる。
The angle D of the
D = arctan {(x 1 −x 0 ) / (y 1 −y 0 )}
Since it is necessary to calculate the angle D in the unit of the character recognition process, the angle D may be determined with respect to the character string as shown in FIG. 11C. In this case as well, the angle D can be calculated in the same manner.
角度Ｄが文字認識部２３に通知されると、文字認識部２３は文字の認識処理の単位の座標点列を角度Ｄだけ時計回りに回転させる。このように表示装置２に対するユーザーの方向の角度だけ座標点列を回転させてから文字認識することで、文字を正しく認識できる。
When the angle D is notified to the
＜動作手順＞
図１２，図１３を用いて電子ペン２５０と表示装置２が行う処理を説明する。まず、電子ペン２５０の処理について説明する。図１２は電子ペン２５０が行う処理の手順を示すフローチャート図の一例である。
<Operation procedure>
The processing performed by the
まず、データ処理部１３はペンダウンしたか否かを判断する（Ｓ１）。これは、ペンダウンしていなければ文字認識も必要なく電子ペン２５０の三次元座標の送信も不要だからである。これにより、バッテリー残量の低下を抑制できる。ただし、ペンダウンの有無に関係なく電子ペン２５０の三次元座標を送信してもよい。
First, the
ペンダウンの検知の方法としては電子ペン２５０先の圧力を圧力センサーで検出する方法がある。すなわち、一定以上の圧力を検知した場合にデータ処理部１３はペンダウンを検知する。
As a method of detecting pen down, there is a method of detecting the pressure at the tip of the
ペンダウンが検知された場合（Ｓ１のＹｅｓ）、三次元座標推定部１１は電子ペン２５０の三次元座標（ｘｐ、ｙｐ、ｚｐ）を推定する（Ｓ２）。
If the pen-down is detected (S1 Yes in), the three-dimensional coordinate estimating
データ送信部１２は電子ペン２５０の三次元座標（ｘｐ、ｙｐ、ｚｐ）を表示装置２に送信する（Ｓ３）。少なくともペンダウン中とペンアップから一定時間、三次元座標が繰り返し送信される。
The
データ処理部１３は常にペンアップの有無を検知しており（Ｓ４）、ペンアップを検知した場合は一定時間以上、ペンダウンがないかどうかを判断する（Ｓ５）。一定時間以上、ペンダウンがない場合、認識できる１文字以上をユーザーが手書きし終わったと判断してよい。
The
しかし、ユーザーがペンアップしてから電子ペン２５０の高さをｈ変化させるまでは三次元座標の送信を継続すべきなので、三次元座標推定部１１は引き続き三次元座標を推定し、データ送信部１２は、一定時間、三次元座標を送信してから三次元座標の送信を停止する（Ｓ６）。この一定時間は、ペンアップしたユーザーが肘を曲げるまでの時間を想定して決定されている。なお、一定時間が経過しなくても、電子ペン２５０の高さが閾値ｈ以上変化した場合には三次元座標の送信を停止してもよい。
However, since the transmission of the three-dimensional coordinates should be continued from the user pen-up until the height of the
次に、表示装置２の処理について説明する。図１３は、表示装置２が行う処理の手順を示すフローチャート図の一例である。
Next, the processing of the
まず、文字認識部２３はペンダウンを検知したか否かを判断する（Ｓ１１）。表示装置２の場合は、物体によって赤外線が遮断され座標検出部２６が座標を検出した場合（タッチセンサー２１６が電子ペン２５０を検出した場合）にペンダウンを検知する。
First, the
ペンダウンを検知した場合（Ｓ１１のＹｅｓ）、文字認識部２３は座標点列を取得する（Ｓ１２）。座標点列はペンＩＤに対応付けて記憶部２５に記憶される。
When the pen down is detected (Yes in S11), the
また、ペンダウン後は電子ペン２５０が三次元座標を繰り返し送信するので、データ受信部２１が三次元座標を受信する（Ｓ１３）。データ受信部２１は三次元座標をペンＩＤに対応付けて記憶部２５に記憶しておく。
Further, since the
方向特定部２２はペンアップを検知したか否かを判断する（Ｓ１４）。ペンアップも同様に、物体によって赤外線が遮断されなくなり座標検出部２６が座標を検出しない場合（タッチセンサー２１６で電子ペン２５０を検出しない場合）にペンアップを検知する。
The
ペンアップが検知されない場合（Ｓ１４のＮｏ）、ステップＳ１２，Ｓ１３が繰り返し実行される。 If the pen-up is not detected (No in S14), steps S12 and S13 are repeatedly executed.
ペンアップが検知された場合（Ｓ１４のＹｅｓ）、方向特定部２２はペンアップ時の三次元座標をペンＩＤに対応付けて記憶部２５に記憶しておく（Ｓ１５）。
When pen-up is detected (Yes in S14), the
データ受信部２１はペンアップ後も三次元座標を受信するので（Ｓ１６）、方向特定部２２は三次元座標に基づいて閾値ｈ以上又は閾値ｈを超過して、電子ペン２５０のＺ座標が変化したか否かを判断する（Ｓ１７）。Ｚ座標が閾値ｈ以上、変化しない場合（Ｓ１７のＮｏ）、データ受信部２１は三次元座標の受信を継続する（Ｓ１６）。
Since the
Ｚ座標が閾値ｈ以上、変化した場合（Ｓ１７のＹｅｓ）、方向特定部２２はＺ座標が閾値ｈ以上、変化した時の三次元座標をペンＩＤに対応付けて記憶部２５に記憶する（Ｓ１８）。すでに電子ペン２５０のＺ座標が閾値ｈ以上、変化しているので、この時点で表示装置に対するユーザーの方向を推定してもよい。
When the Z coordinate changes by the threshold value h or more (Yes in S17), the
次に、方向特定部２２は一定時間以上、ペンダウンがないかどうかを判断する（Ｓ１９）。一定時間が経過するまで、待機する。一定時間が経過するまえにペンダウンがあった場合は（ユーザーが再度手書きを始めた）、ステップＳ１１からの処理を実行する。この場合、記憶部２５に記憶されている、ペンアップ時の三次元座標とＺ座標が閾値ｈ以上、変化した時の三次元座標は破棄してもよいし、蓄積しておき、角度Ｄの平均の算出に使用してもよい。
Next, the
一定時間が経過すると、方向特定部２２は、ペンアップ時の三次元座標とＺ座標が閾値ｈ以上、変化した時の三次元座標の差を表すベクトル３０１に基づいて、表示装置２に対するユーザーの角度Ｄを算出する（Ｓ２０）。
After a certain period of time has passed, the
文字認識部２３は座標点列を角度Ｄだけ時計回りに回転させ、座標点列に対し文字認識を行う（Ｓ２１）。
The
なお、本実施形態では電子ペン２５０が電子ペン２５０の三次元座標を推定しているが、表示装置２が三次元座標を算出してもよい。この場合、電子ペン２５０は加速度情報と角速度情報を表示装置２に送信する。表示装置２は電子ペン２５０と同様に三次元座標を推定できる。
In the present embodiment, the
＜まとめ＞
以上説明したように、本実施形態の表示装置２は、電子ペン２５０が有する加速度センサー１０６やジャイロセンサー１０７により推定した三次元座標の変化により表示装置２に対するユーザーの方向を特定するので、ユーザーが１文字だけ手書きした場合でも、表示装置２に対するユーザーの方向を特定できる。また、ユーザーが文字を書く方向に前提がなくても、表示装置２に対するユーザーの方向を特定できる。
<Summary>
As described above, the
以下の実施例では表示装置２の別の構成例について説明する。
In the following embodiment, another configuration example of the
＜＜表示装置の構成の別の例１＞＞
本実施形態の表示装置２は大型のタッチパネルを有するものとして説明されているが、表示装置２はタッチパネルを有するものに限られない。
<< Another example of display device configuration 1 >>
Although the
図１４は、表示装置２の他の構成例を示す図である。図１４では、通常のホワイトボード４１３の上辺にプロジェクター４１１が設置されている。このプロジェクター４１１が表示装置２に相当する。通常のホワイトボード４１３とは、タッチパネルと一体のフラットパネルディスプレーではなく、ユーザーがマーカーで直接、手書きするホワイトボードである。なお、ホワイトボードは黒板でもよく、映像を投影するだけの広さの平面であればよい。
FIG. 14 is a diagram showing another configuration example of the
プロジェクター４１１は超短焦点の光学系を有しており、１０ｃｍ程度から歪みの少ない映像をホワイトボード４１３に投影できる。この映像は、無線又は有線で接続されたＰＣ４００−１から送信されてもよいし、プロジェクター４１１が記憶していてもよい。
The
ユーザーは専用の電子ペン２５０１を使ってホワイトボード４１３に手書きする。電子ペン２５０１は、ユーザーが手書きのためにホワイトボード４１３に押しつけるとスイッチがＯＮになり発光する発光部を例えば先端部に有している。光の波長は近赤外や赤外なのでユーザーの目には見えない。プロジェクター４１１はカメラを有しており、発光部を撮像して画像を解析し電子ペン２５０１の方向を特定する。また、電子ペン２５０１は発光と共に音波を発信しており、プロジェクター４１１は音波の到達時間により距離を算出する。方向と距離により電子ペン２５０１の位置を特定できる。電子ペン２５０１の位置には手書きされたデータが描画（投影）される。
The user writes on the
プロジェクター４１１はメニュー４３０を投影するので、ユーザーが電子ペン２５０１でボタンを押下すると、プロジェクター４１１が電子ペン２５０１の位置とスイッチのＯＮ信号により押下されたボタンを特定する。例えば、保存ボタン４３１が押下されると、ユーザーが手書きした手書きされたデータ（座標点列）がプロジェクター４１１で保存される。プロジェクター４１１は、予め定められたサーバー４１２又はＵＳＢメモリー２６００等に手書き情報を保存する。手書き情報はページごとに保存されている。画像データではなく座標のまま保存されるので、ユーザーが再編集することができる。ただし、本実施形態では操作コマンドを手書きで呼び出せるのでメニュー４３０は表示されなくてもよい。
Since the
＜＜表示装置の構成の別の例２＞＞
図１５は、表示装置２の他の構成例を示す図である。図１５の例では、表示装置２として、端末装置６００、画像投影装置７００Ａ、及び、ペン動作検出装置８１０を有する。
<< Another example of
FIG. 15 is a diagram showing another configuration example of the
端末装置６００は、画像投影装置７００Ａ及びペン動作検出装置８１０と有線で接続されている。画像投影装置７００Ａは、端末装置６００により入力された画像データをスクリーン８００に投影させる。
The
ペン動作検出装置８１０は、電子ペン８２０と通信を行っており、スクリーン８００の近傍における電子ペン８２０の動作を検出する。具体的には、電子ペン８２０は、スクリーン８００上において、電子ペン８２０が示している点を示す座標情報を検出し（検出方法は図１４と同様でよい）、端末装置６００へ送信する。
The pen
端末装置６００は、ペン動作検出装置８１０から受信した座標情報に基づき、電子ペン８２０によって入力される手書きデータの画像データを生成し、画像投影装置７００Ａによって手書きデータの画像をスクリーン８００に描画させる。
The
また、端末装置６００は、画像投影装置７００Ａに投影させている背景画像と、電子ペン８２０によって入力された手書データの画像とを合成した重畳画像を示す重畳画像データを生成する。
Further, the
＜＜表示装置の構成の別の例３＞＞
図１６は、表示装置２の構成例を示す図である。図１６の例では、表示装置２として、端末装置６００と、ディスプレイ８００Ａと、ペン動作検出装置８１０とを有する。
<< Another example of display device configuration 3 >>
FIG. 16 is a diagram showing a configuration example of the
ペン動作検出装置８１０は、ディスプレイ８００Ａの近傍に配置され、ディスプレイ８００Ａ上に、電子ペン８２０Ａが示している点を示す座標情報を検出し（検出方法は図１４と同様でよい）、端末装置６００へ送信する。なお、図１６の例では、電子ペン８２０Ａは、端末装置６００によってＵＳＢコネクタを介して充電されても良い。
The pen
端末装置６００は、ペン動作検出装置８１０から受信した座標情報に基づき、電子ペン８２０Ａによって入力される手書データの画像の画像データを生成し、ディスプレイ８００Ａに表示させる。
The
＜＜表示装置の構成の別の例４＞＞
図１７は、表示装置２の構成例を示す図である。図１７の例では、表示装置２として、端末装置６００と、画像投影装置７００Ａとを有する。
<< Another example of display device configuration 4 >>
FIG. 17 is a diagram showing a configuration example of the
端末装置６００は、電子ペン８２０Ｂと無線通信（Ｂｌｕｅｔｏｏｔｈ等）を行って、スクリーン８００上において電子ペン８２０Ｂが示す点の座標情報を受信する。座標情報は、スクリーン８００に形成された微小な位置情報を電子ペン８２０Ｂが読み取ってもよいし、スクリーン８００から座標情報を受信してもよい。
The
そして、端末装置６００は、受信した座標情報に基づき、電子ペン８２０Ｂにより入力される手書データの画像の画像データを生成し、画像投影装置７００Ａに手書データの画像を投影させる。
Then, the
また、端末装置６００は、画像投影装置７００Ａに投影させている背景画像と、電子ペン８２０によって入力された手書データの画像とを合成した重畳画像を示す重畳画像データを生成する。
Further, the
以上のように、上記した各実施形態は、様々なシステム構成において適用することができる。 As described above, each of the above-described embodiments can be applied in various system configurations.
＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
<Other application examples>
The best mode for carrying out the present invention has been described above with reference to Examples, but the present invention is not limited to these Examples, and various modifications are made without departing from the gist of the present invention. And substitutions can be made.
例えば、本実施形態では表示装置２に対するユーザーの方向を文字認識に適用したが、絵の手書きに適用してもよい。ユーザーが手書きで絵を描いた場合に、これを清書するソフトウェアがあり、この場合もユーザーの方向が認識されていないと正しく絵を清書できない。したがって、本実施形態の表示装置２により絵の清書も正しく行える。
For example, in the present embodiment, the user's direction with respect to the
また、文字認識は必ずしも必要なく、手書データは手書きされたままでもよい。 In addition, character recognition is not always necessary, and the handwritten data may remain handwritten.
また、表示装置２に対するユーザーの方向にカメラの画角を向けたり、広角カメラからユーザーの顔画像をトリミングしたりしてもよい。全天球カメラが普及しており、全天球カメラは画角が広い分、ユーザーが写っていない部分が多くなる。そこで、表示装置２に対するユーザーの方向を特定できた場合は、ユーザーの顔画像をトリミングして画像を圧縮するなどが可能になる。
Further, the angle of view of the camera may be directed toward the user with respect to the
また、本実施形態で説明した表示装置２が行う処理の一部をサーバーが行ってもよい。例えば、表示装置２に対するユーザーの方向をサーバーが特定したり、文字認識をサーバーが行ったりすることができる。
Further, the server may perform a part of the processing performed by the
また、表示装置２は、通信機能を備えて手書きが可能な装置であればよい。表示装置２はＰＪ（Projector：プロジェクター）、ＩＷＢ（Interactive White Board：相互通信が可能な電子式の黒板機能を有する白板、電子ホワイトボード、電子黒板装置、電子情報ボード、手書き入力装置、タブレット端末）、デジタルサイネージ等の出力装置、ＨＵＤ（Head Up Display）装置等と呼ばれていてもよい。また、スマートフォンやタブレット端末（情報処理装置）がアプリケーションソフトを実行して表示装置２を実現してもよい。
Further, the
また、図８などの構成例は、表示装置２による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。表示装置２の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。各データベース類は各装置内にある必要はなく通信ネットワークにおいてアクセス可能な場所にあればよい。
Further, the configuration examples shown in FIG. 8 and the like are divided according to the main functions in order to facilitate understanding of the processing by the
また、上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP（digital signal processor）、FPGA（field programmable gate array）や従来の回路モジュール等のデバイスを含むものとする。 Further, each function of the embodiment described above can be realized by one or a plurality of processing circuits. Here, the "processing circuit" in the present specification is a processor programmed to execute each function by software such as a processor implemented by an electronic circuit, or a processor designed to execute each function described above. It shall include devices such as ASIC (Application Specific Integrated Circuit), DSP (digital signal processor), FPGA (field programmable gate array) and conventional circuit modules.
２ 表示装置
２１ データ受信部
２２ 方向特定部
２３ 文字認識部
２４ 表示制御部
１０５ 近距離通信装置
１０６ 加速度センサー
１０７ ジャイロセンサー
2
Claims (8)
前記データの入力の終了時における前記電子ペンの前記ディスプレイの面に平行な平面における座標と、
前記ディスプレイに対する前記電子ペンの高さが閾値以上又は超過になった場合における前記電子ペンの前記ディスプレイに平行な平面における座標と、に基づいて、
前記電子ペンで手書きしているユーザーの前記表示装置に対する方向を特定する方向特定部、
を有することを特徴とする表示装置。 A display device that displays handwritten data on a display using an electronic pen that estimates three-dimensional coordinates.
The coordinates of the electronic pen in a plane parallel to the surface of the display at the end of data input, and
Based on the coordinates of the electronic pen in a plane parallel to the display when the height of the electronic pen with respect to the display exceeds or exceeds a threshold value.
A direction specifying unit that specifies the direction of the user handwriting with the electronic pen with respect to the display device,
A display device characterized by having.
前記なす角で前記データを回転させてから前記データに対し文字認識を行う文字認識部を有することを特徴とする請求項１に記載の表示装置。 The direction specifying unit identifies an angle formed by a straight line in the plane indicating the reference direction and a straight line in the plane indicating the direction of the user.
The display device according to claim 1, further comprising a character recognition unit that performs character recognition on the data after rotating the data at the formed angle.
前記方向特定部は、前記データ受信部が受信した前記電子ペンの三次元座標を前記ディスプレイに平行な平面に投影して、前記電子ペンの前記ディスプレイに平行な平面における座標を決定することを特徴とする請求項１又は２に記載の表示装置。 It has a data receiving unit that receives the three-dimensional coordinates of the electronic pen from the electronic pen.
The direction specifying unit projects the three-dimensional coordinates of the electronic pen received by the data receiving unit onto a plane parallel to the display, and determines the coordinates of the electronic pen on the plane parallel to the display. The display device according to claim 1 or 2.
前記データの入力の終了時における前記電子ペンの前記ディスプレイに平行な平面における座標と、前記ディスプレイに対する前記電子ペンの高さが閾値以上又は超過になった場合における前記電子ペンの前記ディスプレイに平行な平面における座標とに基づいて、前記電子ペンで手書きしているユーザーの前記表示装置に対する方向を特定することを特徴とする請求項１〜３のいずれか１項に記載の表示装置。 The direction specifying unit is when the height of the electronic pen with respect to the display exceeds or exceeds the threshold value, and when the input of the data is not detected for a certain period of time or longer.
The coordinates in the plane parallel to the display of the electronic pen at the end of the input of the data and the height of the electronic pen with respect to the display are parallel to the display of the electronic pen when the height exceeds or exceeds the threshold value. The display device according to any one of claims 1 to 3, wherein the direction of the user who is handwriting with the electronic pen with respect to the display device is specified based on the coordinates on the plane.
前記ベクトルが示す方向を、前記電子ペンで手書きしているユーザーの前記表示装置に対する方向として決定することを特徴とする請求項１〜４のいずれか１項に記載の表示装置。 The direction specifying unit is the electronic pen when the coordinates of the electronic pen in a plane parallel to the display at the end of data input and the height of the electronic pen with respect to the display exceed or exceed a threshold value. Find a vector that represents the difference in coordinates in a plane parallel to the display.
The display device according to any one of claims 1 to 4, wherein the direction indicated by the vector is determined as the direction of the user handwriting with the electronic pen with respect to the display device.
前記データの入力の終了時における前記電子ペンの前記ディスプレイの面に平行な平面における座標と、前記ディスプレイに対する前記電子ペンの高さが閾値以上又は超過になった場合における前記電子ペンの前記ディスプレイに平行な平面における座標とに基づいて、前記電子ペンで手書きしているユーザーの前記表示装置に対する方向を特定する、
ことを特徴とする方向特定方法。 It is a direction identification method performed by a display device that displays handwritten data on a display using an electronic pen that estimates three-dimensional coordinates.
To the display of the electronic pen when the coordinates of the electronic pen in a plane parallel to the surface of the display at the end of data input and the height of the electronic pen with respect to the display exceed or exceed the threshold value. The direction of the user handwriting with the electronic pen with respect to the display device is specified based on the coordinates in the parallel plane.
A method of specifying a direction, which is characterized by that.
前記データの入力の終了時における前記電子ペンの前記ディスプレイの面に平行な平面における座標と、
前記ディスプレイに対する前記電子ペンの高さが閾値以上又は超過になった場合における前記電子ペンの前記ディスプレイに平行な平面における座標と、
に基づいて、前記電子ペンで手書きしているユーザーの前記情報処理装置に対する方向を特定する方向特定部、として機能させるためのプログラム。 An information processing device that displays handwritten data on a display using an electronic pen that estimates three-dimensional coordinates.
The coordinates of the electronic pen in a plane parallel to the surface of the display at the end of data input, and
The coordinates of the electronic pen in a plane parallel to the display when the height of the electronic pen with respect to the display exceeds or exceeds the threshold value.
A program for functioning as a direction specifying unit for specifying the direction of the user who is handwriting with the electronic pen with respect to the information processing device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019110631A JP7275885B2 (en) | 2019-06-13 | 2019-06-13 | DISPLAY DEVICE, DIRECTION SPECIFICATION METHOD, PROGRAM |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019110631A JP7275885B2 (en) | 2019-06-13 | 2019-06-13 | DISPLAY DEVICE, DIRECTION SPECIFICATION METHOD, PROGRAM |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020201901A true JP2020201901A (en) | 2020-12-17 |
| JP7275885B2 JP7275885B2 (en) | 2023-05-18 |
Family
ID=73744192
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019110631A Active JP7275885B2 (en) | 2019-06-13 | 2019-06-13 | DISPLAY DEVICE, DIRECTION SPECIFICATION METHOD, PROGRAM |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7275885B2 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11296290A (en) * | 1998-04-09 | 1999-10-29 | Ricoh Co Ltd | Pen type input device and method for recognizing character |
| JP2015061157A (en) * | 2013-09-18 | 2015-03-30 | コニカミノルタ株式会社 | Information display device, input information correction program, and input information correction method |
| JP2017010314A (en) * | 2015-06-23 | 2017-01-12 | 株式会社リコー | Image projection system, image projection device, pointing device, and video supply device |
| JP2018054880A (en) * | 2016-09-29 | 2018-04-05 | セイコーエプソン株式会社 | Display device, information processing device, and information processing method |
-
2019
- 2019-06-13 JP JP2019110631A patent/JP7275885B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11296290A (en) * | 1998-04-09 | 1999-10-29 | Ricoh Co Ltd | Pen type input device and method for recognizing character |
| JP2015061157A (en) * | 2013-09-18 | 2015-03-30 | コニカミノルタ株式会社 | Information display device, input information correction program, and input information correction method |
| JP2017010314A (en) * | 2015-06-23 | 2017-01-12 | 株式会社リコー | Image projection system, image projection device, pointing device, and video supply device |
| JP2018054880A (en) * | 2016-09-29 | 2018-04-05 | セイコーエプソン株式会社 | Display device, information processing device, and information processing method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7275885B2 (en) | 2023-05-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2498237B1 (en) | Providing position information in a collaborative environment | |
| US20140300542A1 (en) | Portable device and method for providing non-contact interface | |
| JP5930618B2 (en) | Spatial handwriting system and electronic pen | |
| KR102582863B1 (en) | Electronic device and method for recognizing user gestures based on user intention | |
| JP2013125487A (en) | Space hand-writing system and electronic pen | |
| CN111344663B (en) | Rendering device and rendering method | |
| CN111527468A (en) | Air-to-air interaction method, device and equipment | |
| US11886643B2 (en) | Information processing apparatus and information processing method | |
| KR102159767B1 (en) | Visibility improvement method based on eye tracking, machine-readable storage medium and electronic device | |
| CN110968190A (en) | IMU for touch detection | |
| JP2016103137A (en) | User interface system, image processor and control program | |
| JP2017117373A (en) | Operation device and control method of the same, and program | |
| CN105573692A (en) | Projection control method, associated terminal and system | |
| KR20210017081A (en) | Apparatus and method for displaying graphic elements according to object | |
| JP6746419B2 (en) | Information processing apparatus, control method thereof, and computer program | |
| JP7275885B2 (en) | DISPLAY DEVICE, DIRECTION SPECIFICATION METHOD, PROGRAM | |
| KR20210014892A (en) | Electronic device and method for generating argument reality object | |
| JP2022138285A (en) | Display device, display method and program | |
| JP2018063555A (en) | Information processing device, information processing method, and program | |
| JP2021197024A (en) | Display unit, display method, and program | |
| US20160110881A1 (en) | Motion tracking device control systems and methods | |
| KR20200111144A (en) | Visibility improvement method based on eye tracking, machine-readable storage medium and electronic device | |
| WO2019130729A1 (en) | Information processing device, information processing method and information processing system | |
| JP2016139396A (en) | User interface device, method and program | |
| CN112351188B (en) | Apparatus and method for displaying graphic element according to object |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220414 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230131 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230207 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230314 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230404 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230417 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7275885 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |