JP7240134B2 - Information display device, electronic pen, display control method, and display control program - Google Patents
Information display device, electronic pen, display control method, and display control program Download PDFInfo
- Publication number
- JP7240134B2 JP7240134B2 JP2018203313A JP2018203313A JP7240134B2 JP 7240134 B2 JP7240134 B2 JP 7240134B2 JP 2018203313 A JP2018203313 A JP 2018203313A JP 2018203313 A JP2018203313 A JP 2018203313A JP 7240134 B2 JP7240134 B2 JP 7240134B2
- Authority
- JP
- Japan
- Prior art keywords
- voice
- electronic pen
- display device
- input
- controller
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Description
本発明は、情報表示装置、電子ペン、表示制御方法、及び表示制御プログラムに関する。 The present invention relates to an information display device, an electronic pen, a display control method, and a display control program.
従来、手書き入力を受け付けるタッチパネルを備える情報表示装置が普及している。このような情報表示装置は、指示体としてのペン又は指による手書き入力をタッチパネルが受け付けて、文字や図形を表す手書きの軌跡を表示する（例えば、特許文献１参照）。 2. Description of the Related Art Conventionally, an information display device having a touch panel for accepting handwritten input has been widely used. In such an information display device, a touch panel receives a handwritten input with a pen or a finger as an indicator, and displays a handwritten trajectory representing a character or a figure (see, for example, Patent Document 1).
しかしながら、従来の情報表示装置において手書きの軌跡の表示態様を変更する場合、手書き入力の前又は後において、その手書きの軌跡の表示態様を変更するための入力操作をユーザが指示体により行う必要があり、操作が煩雑であるという問題がある。 However, when changing the display mode of the handwritten trajectory in the conventional information display device, it is necessary for the user to perform an input operation for changing the display mode of the handwritten trajectory with an indicator before or after handwriting input. There is a problem that the operation is complicated.
また、表示態様を変更するための入力操作を受け付けるためのＧＵＩ（ウィンドウ、アイコン、ボタン等）を情報表示装置が表示する場合、このようなＧＵＩにより情報表示装置の限られた表示面積の一部が占有され、手書き入力の操作性がさらに悪化しうる。 Further, when the information display device displays a GUI (window, icon, button, etc.) for receiving an input operation for changing the display mode, such a GUI can be used to display a part of the limited display area of the information display device. are occupied, and the operability of handwriting input may be further deteriorated.
そこで、本発明は、手書きの軌跡の表示態様を変更する際の操作性を向上させた情報表示装置、電子ペン、表示制御方法、及び表示制御プログラムを提供することを目的とする。 SUMMARY OF THE INVENTION Accordingly, an object of the present invention is to provide an information display device, an electronic pen, a display control method, and a display control program that improve operability when changing the display mode of a handwritten trajectory.
第１の態様に係る情報表示装置は、指示体による手書き入力を受け付けるタッチパネルと、前記タッチパネルが受け付けた手書きの軌跡を表示する表示部と、音声コマンドを含む音声入力を受け付ける音声入力部と、手書き入力状態において前記音声入力部が入力を受け付けた音声コマンドに応じて、前記表示部における手書きの軌跡の表示態様を制御するコントローラとを備える。 An information display device according to a first aspect includes a touch panel that accepts handwriting input by an indicator, a display unit that displays the locus of handwriting accepted by the touch panel, a voice input unit that accepts voice input including a voice command, and handwriting. and a controller for controlling a display mode of the handwritten trajectory on the display unit according to a voice command received by the voice input unit in an input state.
第２の態様に係る電子ペンは、前記指示体として機能する。 The electronic pen according to the second aspect functions as the indicator.
第３の態様に係る表示制御方法は、指示体による手書き入力を受け付けるタッチパネルを有する情報表示装置に用いる方法である。前記表示制御方法は、手書き入力状態において、音声コマンドを含む音声入力を受け付ける音声入力ステップと、前記タッチパネルが受け付けた手書きの軌跡を表示する表示ステップと、前記音声入力ステップで入力を受け付けた音声コマンドに応じて、前記表示ステップにおける手書きの軌跡の表示態様を制御する制御ステップとを備える。 A display control method according to a third aspect is a method used in an information display device having a touch panel that accepts handwritten input using an indicator. The display control method includes, in a handwriting input state, a voice input step of receiving a voice input including a voice command, a display step of displaying a trace of handwriting received by the touch panel, and a voice command received in the voice input step. and a control step of controlling a display mode of the handwritten trajectory in the display step according to the above.
第４の態様に係るプログラムは、指示体による手書き入力を受け付けるタッチパネルを有する情報表示装置に、手書き入力状態において、音声コマンドを含む音声入力を受け付ける音声入力ステップと、前記タッチパネルが受け付けた手書きの軌跡を表示する表示ステップと、前記音声入力ステップで入力を受け付けた音声コマンドに応じて、前記表示ステップにおける手書きの軌跡の表示態様を制御する制御ステップとを実行させる。 A program according to a fourth aspect provides an information display device having a touch panel that accepts handwriting input by an indicator, in a handwriting input state, a voice input step of accepting voice input including a voice command; and a control step of controlling the display mode of the handwritten trajectory in the display step according to the voice command received in the voice input step.
本発明の一態様によれば、手書きの軌跡の表示態様を変更する際の操作性を向上させた情報表示装置、電子ペン、表示制御方法、及び表示制御プログラムを提供できる。 According to one aspect of the present invention, it is possible to provide an information display device, an electronic pen, a display control method, and a display control program that improve operability when changing the display mode of a handwritten locus.
図面を参照して実施形態について説明する。図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。 Embodiments will be described with reference to the drawings. In the description of the drawings, the same or similar parts are denoted by the same or similar reference numerals.
（情報表示装置の構成）
一実施形態に係る情報表示装置は、例えばスマートフォン端末又はタブレット端末のような端末とすることができる。しかしながら、情報表示装置はそのような端末に限定されるものではなく、例えば、パーソナルコンピュータ、電子黒板、又は車載情報表示装置等であってもよい。
(Configuration of information display device)
The information display device according to one embodiment can be a terminal such as a smartphone terminal or a tablet terminal, for example. However, the information display device is not limited to such a terminal, and may be, for example, a personal computer, an electronic blackboard, or an in-vehicle information display device.
図１は、一実施形態に係る情報表示装置１００の外観図である。
FIG. 1 is an external view of an
図１に示すように、情報表示装置１００は、タッチスクリーンディスプレイ１１０と、マイク１２０と、スピーカ１３０と、カメラ１４０とを有する。
As shown in FIG. 1, the
タッチスクリーンディスプレイ１１０は、その表示面が情報表示装置１００の筐体１０１から露出して設けられる。タッチスクリーンディスプレイ１１０は、タッチパネル１１１と、表示部（ディスプレイ）１１２とを有する。
The
タッチパネル１１１は、情報表示装置１００への操作入力（タッチ入力）を受け付ける。タッチパネル１１１は、指示体としてのユーザの指又は電子ペン等のタッチを検出する。タッチを検出する方法としては、例えば抵抗膜方式や静電容量方式があるが、任意の方式でよい。タッチパネル１１１は、ユーザのタッチ入力を検出して、このタッチ入力で指示される位置の座標（タッチ座標）のデータをコントローラ１８０に出力する。
表示部１１２は、映像出力を行う。表示部１１２は、文字（記号を含む）、画像、図形等のオブジェクトを画面上に表示する。表示部１１２には、例えば液晶ディスプレイ、有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイが用いられる。
The
一実施形態に係るタッチスクリーンディスプレイ１１０において、表示部１１２はタッチパネル１１１と重なるように設けられており、表示部１１２の表示領域はタッチパネル１１１と重複している。しかしながら、表示部１１２及びタッチパネル１１１が互いに重なるように設けられることに代えて、表示部１１２及びタッチパネル１１１を並べて配置されてもよいし、離して配置されてもよい。
In the
マイク１２０は、情報表示装置１００への音声入力を受け付ける。マイク１２０は、周囲の音声を集音する。
Microphone 120 accepts voice input to
スピーカ１３０は、音声出力を行う。スピーカ１３０は、電話の音声や各種プログラムの情報等を音声で出力する。
The
カメラ１４０は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等のイメージセンサを用いて電子的に画像を撮像する。カメラ１４０は、タッチスクリーンディスプレイ１１０に面している物体を撮影するインカメラである。情報表示装置１００は、さらに、タッチスクリーンディスプレイ１１０の反対側の面に面している物体を撮影するアウトカメラを備えていてもよい。
The
図２は、一実施形態に係る情報表示装置１００の機能構成を示すブロック図である。
FIG. 2 is a block diagram showing the functional configuration of the
図２に示すように、情報表示装置１００は、タッチパネル１１１と、表示部１１２と、音声入力部１２１と、音声出力部１３１と、カメラ１４０と、センサ１５０と、記憶部１６０と、通信インターフェイス１７０と、コントローラ１８０とを有する。
As shown in FIG. 2, the
タッチパネル１１１は、検出された指示体でのタッチ操作に対応する信号をコントローラ１８０に入力する。また、タッチパネル１１１は、後述する手書き入力アプリケーションの実行中において、電子ペンによる手書き入力を受け付ける。
The
表示部１１２は、コントローラ１８０から入力された信号に基づいて、文字、画像、図形等のオブジェクトを画面上に表示する。また、表示部１１２は、手書き入力アプリケーションの実行中において、タッチパネル１１１が入力を受け付けた手書きの軌跡（例えば、文字や図形）を表示する。
The
音声入力部１２１は、入力を受け付けた音声に対応する信号をコントローラ１８０に入力する。音声入力部１２１は、上記のマイク１２０を含む。また、音声入力部１２１は、外部のマイクを接続可能な入力インターフェイスであってもよい。外部のマイクは無線又は有線で接続される。入力インターフェイスに接続されるマイクは、例えば情報表示装置１００に接続可能なイヤホン等に備えられるマイクである。一実施形態において、外部のマイクは、電子ペンに設けられている。
The
音声出力部１３１は、コントローラ１８０から入力された信号に基づいて、音声を出力する。音声出力部１３１は、上記のスピーカ１３０を含む。また、音声出力部１３１は、外部のスピーカを接続可能な出力インターフェイスであってもよい。外部のスピーカは無線又は有線で接続される。出力インターフェイスに接続されるスピーカは、例えば情報表示装置に接続可能なイヤホン等に備えられるスピーカである。
カメラ１４０は、撮像した画像を電子信号に変換してコントローラ１８０に入力する。
センサ１５０は、情報表示装置１００に加わる加速度又は振動を検出し、検出結果に対応する検出信号をコントローラ１８０に出力する。センサ１５０は、加速度センサを含む。加速度センサは、情報表示装置１００に加わる加速度の方向及び大きさを検出する。
The
記憶部１６０は、プログラム及びデータを記憶する。記憶部１６０は、コントローラ１８０の処理結果を一時的に記憶する作業領域としても利用される。記憶部１６０は、半導体記憶媒体、及び磁気記憶媒体等の任意の非一過的（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ）な記憶媒体を含んでよい。
The
また、記憶部１６０は、複数の種類の記憶媒体を含んでよい。記憶部１６０は、メモリカード、光ディスク、又は光磁気ディスク等の可搬の記憶媒体と、記憶媒体の読み取り装置との組み合わせを含んでよい。記憶部１６０は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の一時的な記憶領域として利用される記憶デバイスを含んでよい。
Also, the
記憶部１６０に記憶されるプログラムには、フォアグランド又はバックグランドで実行されるアプリケーションと、アプリケーションの動作を支援する制御プログラムとが含まれる。
The programs stored in the
記憶部１６０に記憶されるプログラムには、手書き入力アプリケーションが含まれる。手書き入力アプリケーションは、電子ペンによる手書き入力をタッチパネル１１１が受け付けて、手書きの軌跡（例えば、文字や図形）を表示部１１２に表示させるアプリケーションである。
The programs stored in
一実施形態において、手書き入力アプリケーションは、音声入力部１２１により取得された音声データに対する音声認識処理を行う機能を有する。音声認識処理は、音声データに含まれる音声コマンドを認識する処理である。各音声コマンド及びそれに対応する操作内容は、記憶部１６０に予め登録されている。
In one embodiment, the handwriting input application has a function of performing voice recognition processing on voice data acquired by the
通信インターフェイス１７０は、無線により通信する。通信インターフェイス１７０によってサポートされる無線通信規格には、例えば、２Ｇ、３Ｇ、４Ｇ等のセルラー通信規格や、近距離無線の通信規格等がある。近距離無線の通信規格としては、例えば、ＩＥＥＥ８０２．１１、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩｒＤＡ（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ）、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）、ＷＰＡＮ（Ｗｉｒｅｌｅｓｓ Ｐｅｒｓｏｎａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等がある。ＷＰＡＮの通信規格には、例えば、ＺｉｇＢｅｅ（登録商標）がある。
コントローラ１８０は、演算処理装置である。演算処理装置は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－Ｃｈｉｐ）、ＭＣＵ（Ｍｉｃｒｏ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、及びコプロセッサを含むが、これらに限定されない。また、コントローラ１８０は、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＶＲＡＭ（Ｖｉｄｅｏ ＲＡＭ）等を含み、表示部１１２に各種の画像を描画する。コントローラ１８０は、情報表示装置１００の動作を統括的に制御して各種の機能を実現する。
コントローラ１８０は、自機が外部機器と接続されているかを検出する。接続は有線で行われてもよいし、無線で行われてもよい。無線接続の通信規格は、例えばＢｌｕｅｔｏｏｔｈ（登録商標）である。コントローラ１８０は、通信インターフェイス１７０を介して外部機器と通信する。接続される外部機器は、例えば上記のイヤホンや、ヘッドセット、マイク付きの車載スピーカ、電子ペンである。但し、無線接続の通信規格、外部機器はともにこれらに限定されない。以下において、接続される外部機器が電子ペンである一例について説明する。
The
コントローラ１８０は、タッチパネル１１１が検出したタッチ操作等に応じて入力される信号に基づいて、各種制御を実行する。例えば、コントローラ１８０は、入力された信号に応じた出力を音声出力部１３１や表示部１１２等によって行う。また、コントローラ１８０は、情報表示装置１００の機能の実行や設定の変更を行う。
The
コントローラ１８０は、手書き入力アプリケーションの実行中において、ユーザがタッチパネル１１１を利用して手書き入力（タッチ入力）をすると、タッチ位置に対応するタッチ座標データをタッチパネル１１１から取得する。
When the user performs handwriting input (touch input) using
ユーザは、電子ペンや指でタッチパネル１１１を操作する。タッチパネル１１１を用いた入力としては、タップ（短押し）、スライド（ドラッグ）、フリック、ロングタッチ（長押し）等がある。これらを「タッチ入力」又は単に「入力」と呼ばれることがある。
A user operates the
タッチパネル１１１をタッチしていない状態からタッチする状態に変化することをタッチオン（ペンダウン）といい、タッチパネル１１１をタッチしている状態からタッチしていない状態に変化することをタッチオフ（ペンアップ）という。継続的なタッチ入力であるスライドやフリックによる入力に対しては、タッチパネル１１１は、現在のタッチ位置に対応するタッチ座標データを短周期で出力してもよい。
A change from a non-touched state to a touched state on the
タッチパネル１１１は、タッチオン（ペンダウン）からタッチオフ（ペンアップ）までの一連のタッチ位置に対応するタッチ座標データをコントローラ１８０に出力する。コントローラ１８０は、一連のタッチ座標データが示す手書きの軌跡を表示部１１２に表示させる。
The
（電子ペンの構成）
図３は、一実施形態に係る電子ペン２００の外観図である。
(Configuration of electronic pen)
FIG. 3 is an external view of the
図３に示すように、電子ペン２００は、筐体２０１と、クリップ部２０２と、芯体２０３と、操作部２１０とを有する。
As shown in FIG. 3 , the
筐体２０１は、筒状に構成されている。クリップ部２０２は、電子ペン２００（筐体２０１）の上端側に設けられている。芯体２０３及び操作部２１０は、電子ペン２００（筐体２０１）の下端側に設けられている。操作部２１０は、指により押下されるボタンである。
The
図４は、一実施形態に係る電子ペン２００の機能構成を示すブロック図である。
FIG. 4 is a block diagram showing the functional configuration of the
図４に示すように、電子ペン２００は、操作部２１０と、マイク２２０と、スピーカ２３０と、センサ２４０と、記憶部２５０と、通信インターフェイス２６０と、コントローラ２７０とを有する。
As shown in FIG. 4 , the
操作部２１０は、検出された押下操作に対応する信号をコントローラ２７０に入力する。
The
マイク２２０は、周囲の音声を集音する。マイク２２０は、電子ペン２００への音声入力を受け付け、入力を受け付けた音声に対応する信号をコントローラ２７０に入力する。
The
スピーカ２３０は、音声出力を行う。スピーカ２３０は、電話の音声や各種プログラムの情報等を音声で出力する。スピーカ２３０は、コントローラ２７０から入力された信号に基づいて、音声を出力する。
The
センサ２４０は、電子ペン２００に加わる加速度、又は筆圧を検出し、検出結果に対応する検出信号をコントローラ２７０に出力する。センサ２４０は、加速度センサを含む。加速度センサは、電子ペン２００に加わる加速度の方向及び大きさを検出する。センサ２４０は、さらに、情報表示装置１００の角度及び角速度を検出するジャイロセンサを含んでいてもよい。
The
センサ２４０は、さらに筆圧センサを含む。筆圧センサは、芯体２０３（すなわち、ペン先）に加わる圧力を検出し、検出結果に対応する信号をコントローラ２７０に出力する。
記憶部２５０は、プログラム及びデータを記憶する。記憶部２５０は、コントローラ２７０の処理結果を一時的に記憶する作業領域としても利用される。記憶部２５０は、半導体記憶媒体、及び磁気記憶媒体等の任意の非一過的な記憶媒体を含んでよい。
The
また、記憶部２５０は、複数の種類の記憶媒体を含んでよい。記憶部２５０は、メモリカード等の可搬の記憶媒体と、記憶媒体の読み取り装置との組み合わせを含んでよい。記憶部２５０は、ＲＡＭ等の一時的な記憶領域として利用される記憶デバイスを含んでよい。
Also, the
通信インターフェイス２６０は、無線により通信する。通信インターフェイス２６０によってサポートされる無線通信規格には、例えば、上記のセルラー通信規格や近距離無線の通信規格等がある。
コントローラ２７０は、演算処理装置である。演算処理装置は、例えば、ＣＰＵ、ＳｏＣ、ＭＣＵ、ＦＰＧＡ、及びコプロセッサを含むが、これらに限定されない。コントローラ２７０は、電子ペン２００の動作を統括的に制御して各種の機能を実現する。
コントローラ２７０は、自機が情報表示装置１００と接続されているかを検出する。接続は有線で行われてもよいし、無線で行われてもよい。無線接続の通信規格は、例えばＢｌｕｅｔｏｏｔｈ（登録商標）である。コントローラ２７０は、通信インターフェイス２６０を介して情報表示装置１００と通信する。
コントローラ２７０は、操作部２１０が検出した押下操作等に応じて入力される信号に基づいて、各種制御を実行する。また、コントローラ２７０は、自機が情報表示装置１００と接続されている場合において、センサ２４０の検出結果に応じたデータを情報表示装置１００に送信する。
The
一実施形態において、コントローラ２７０は、音声認識処理を行う機能を有する。音声認識処理は、音声データに含まれる音声コマンドを認識する処理である。各音声コマンド及びそれに対応する操作内容は、記憶部２５０に予め登録されていてもよい。
In one embodiment,
（手書き入力の動作）
図５は、手書き入力画面の一例を示す図である。情報表示装置１００のコントローラ１８０は、手書き入力アプリケーションの実行中に、図５に示すような手書き入力画面をタッチスクリーンディスプレイ１１０（表示部１１２）に表示させる。
(Operation of handwriting input)
FIG. 5 is a diagram showing an example of a handwriting input screen.
図５に示すように、手書き入力画面は、手書き入力領域Ｒ１と、ツールパレット領域Ｐ１と、カラーパレット領域Ｐ２とを有する。 As shown in FIG. 5, the handwriting input screen has a handwriting input area R1, a tool palette area P1, and a color palette area P2.
手書き入力領域Ｒ１は、手書きの軌跡を表示する領域である。図５において、ユーザが電子ペン２００を用いて手書き入力を行う一例を示している。一般的に、ユーザは、例えばメモをとるために、電子ペン２００により文字を手書き入力領域Ｒ１に入力する。文字には、数字や記号も含まれる。或いは、ユーザは、例えばイラストを描画するために、電子ペン２００により図形を手書き入力領域Ｒ１に入力する。図形には、曲線や直線、円、多角形等が含まれる。
The handwriting input area R1 is an area for displaying a locus of handwriting. FIG. 5 shows an example of handwriting input by the user using the
ツールパレット領域Ｐ１は、手書きの軌跡の太さ（線幅）を変更するためのボタンＢ１１乃至Ｂ１３と、直前の手書き入力をキャンセルする（元に戻す）ためのボタンＢ１４と、削除する箇所を指示体により指定する操作を行うための消しゴムボタンＢ１５とを表示する領域である。一方、カラーパレット領域Ｐ２は、黒、赤、青、緑、黄等の各色に対応するカラーボタンＢ２１乃至Ｂ２５を表示する領域である。 The tool palette area P1 includes buttons B11 to B13 for changing the thickness (line width) of the handwritten trajectory, a button B14 for canceling (undoing) the previous handwritten input, and specifying a portion to be deleted. This is an area for displaying an eraser button B15 for performing a specified operation with the body. On the other hand, the color palette area P2 is an area for displaying color buttons B21 to B25 corresponding to colors such as black, red, blue, green, and yellow.
ユーザは、ツールパレット領域Ｐ１及びカラーパレット領域Ｐ２内のボタンを用いて、手書きの軌跡（文字や図形等）の線色及び線幅を選択したり、描画した図形又はその一部を構成する面（閉曲線）を所望の色で塗りつぶしたりする。このため、手書きの軌跡の表示態様（属性）を変化させる度に、ツールパレット領域Ｐ１及びカラーパレット領域Ｐ２等を用いて表示態様を選択及び変更する操作が必要になる。 The user can use the buttons in the tool palette area P1 and the color palette area P2 to select the line color and line width of the handwritten locus (characters, figures, etc.), and to select the surface that constitutes the drawn figure or part thereof. (closed curve) is filled with the desired color. Therefore, every time the display mode (attribute) of the handwritten trajectory is changed, it is necessary to select and change the display mode using the tool palette area P1, the color palette area P2, and the like.
一実施形態において、このような表示態様の変更を音声により可能にする。具体的には、一実施形態に係る情報表示装置１００において、音声入力部１２１は、音声コマンドを含む音声入力を受け付ける。
In one embodiment, such display mode changes are enabled by voice. Specifically, in the
音声入力部１２１は、電子ペン２００のマイク２２０に入力される音声に応じた音声コマンドを含む音声データを電子ペン２００から取得することにより、音声入力を受け付けてもよい。電子ペン２００のマイク２２０を利用することにより、ユーザにより近い位置で音声を集音できる。また、情報表示装置１００が適切なマイクを有していない場合であっても、電子ペン２００のマイク２２０を用いて音声入力が可能になる。
The
電子ペン２００のマイク２２０を利用する場合、音声コマンドを認識する音声認識処理を情報表示装置１００のコントローラ１８０で行ってもよいし、音声認識処理を電子ペン２００のコントローラ２７０で行ってもよい。
When the
或いは、音声入力部１２１は、情報表示装置１００のマイク１２０に入力される音声に応じた音声コマンドを含む音声データを取得することにより、音声入力を受け付けてもよい。すなわち、電子ペン２００のマイク２２０を用いることなく音声入力を行う。この場合、音声コマンドを認識する音声認識処理を情報表示装置１００のコントローラ１８０で行う。
Alternatively, the
音声コマンドは、ツールパレット領域Ｐ１及びカラーパレット領域Ｐ２内の各ボタンに対応するコマンドが定義されていてもよい。 The voice command may define a command corresponding to each button in the tool palette area P1 and the color palette area P2.
例えば、ボタンＢ１１に対応する音声コマンドは「一番細い線に」、ボタンＢ１３に対応する音声コマンドは「一番太い線に」といったように、直接的なコマンドであってもよい。或いは、「もっと線を太く」という相対的な音声コマンドにより、ボタンＢ１１に対応する線幅からボタンＢ１２に対応する線幅に変更したり、ボタンＢ１２に対応する線幅からボタンＢ１３に対応する線幅に変更したり、ボタンＢ１３に対応する線幅からより太い線幅に変更してもよい。すなわち、情報表示装置１００のコントローラ１８０は、相対的な音声コマンドに基づいて、選択済みの表示態様を、選択済みの表示態様と同種の表示態様であって、かつ選択済みの表示態様とは別の表示態様に変更してもよい。
For example, the voice command corresponding to the button B11 may be "the thinnest line", and the voice command corresponding to the button B13 may be "the thickest line". Alternatively, the line width corresponding to button B11 can be changed to the line width corresponding to button B12 by a relative voice command "thicker line", or the line width corresponding to button B12 can be changed to the line width corresponding to button B13. width, or the line width corresponding to the button B13 may be changed to a thicker line width. That is, the
ボタンＢ１４に対応する音声コマンドは、「元に戻す」であってもよい。ボタンＢ１５に対応する音声コマンドは「消しゴム」であってもよい。 A voice command corresponding to the button B14 may be "undo". A voice command corresponding to the button B15 may be "eraser".
ボタンＢ２１乃至Ｂ２５については、対応する色を指定する音声コマンドとすることができる。例えば、「ペンを青に」、「ペンを赤に」といった音声コマンドであってもよい。或いは、「ペンを徐々に赤に」といった音声コマンドにより選択済みの色から赤色へのグラデーションを指定してもよい。或いは、「ペンを青から徐々に赤に」といった複数色の指定を含む音声コマンドにより青色から赤色へのグラデーションを指定してもよい。すなわち、情報表示装置１００のコントローラ１８０は、一または複数の同種の表示態様の指定、およびその他所定の音声コマンド（上記の例では、「徐々に」が該当する）を含む音声コマンドに基づいて、選択済みの表示態様または指定された表示態様から、同種の別の表示態様へ段階的に表示態様を変更してもよい。
Buttons B21 to B25 can be voice commands for designating corresponding colors. For example, voice commands such as "Turn the pen blue" and "Turn the pen red" may be used. Alternatively, a gradation from the selected color to red may be specified by a voice command such as "pen gradually red." Alternatively, a gradation from blue to red may be designated by a voice command including designation of a plurality of colors, such as "pen gradually from blue to red." That is, the
コントローラ１８０は、手書き入力状態において音声入力部１２１が入力を受け付けた音声コマンドに応じて、表示部１１２における手書きの軌跡の表示態様を制御する。ここで、表示態様は、文字の色、文字の大きさ、文字の太さ、文字のフォント、文字の装飾、図形の色、図形の大きさ、図形の線幅、及び図形の形状のうち、少なくとも１つを含む。
The
これにより、手書きの軌跡の表示態様を変更する際に、ユーザは音声を発すればよく、当該変更のための入力操作を指示体により行う必要がないため、操作性を向上させることができる。 Accordingly, when changing the display mode of the handwritten trajectory, the user only has to utter a voice and does not need to perform an input operation for the change using the indicator, so that operability can be improved.
また、表示態様の変更を音声により可能にすることで、図５に示すツールパレット領域Ｐ１及びカラーパレット領域Ｐ２を不要とすることができるため、その分だけ手書き入力領域Ｒ１の面積を広げることができる。 In addition, since the display mode can be changed by voice, the tool palette area P1 and the color palette area P2 shown in FIG. can.
さらに、図５に示すツールパレット領域Ｐ１及びカラーパレット領域Ｐ２に含まれていない高度な操作を音声により行うことも可能である。そのような高度な操作の例を図６乃至図８に示す。 Furthermore, it is also possible to perform advanced operations not included in the tool palette area P1 and the color palette area P2 shown in FIG. 5 by voice. Examples of such advanced manipulations are shown in FIGS.
図６は、手書きの軌跡の表示態様を段階的に変更する一例を示す図である。図６に示すように、手書き入力状態（具体的には、タッチ状態）において、「黄色からグリーンのグラデーションの線」という音声コマンドＣ１の入力を音声入力部１２１が受け付けると、コントローラ１８０は、音声コマンドＣ１を認識し、手書きの軌跡の線色を黄色からグリーンに段階的に変更する。
FIG. 6 is a diagram showing an example of changing the display mode of the handwritten trajectory step by step. As shown in FIG. 6, in a handwriting input state (specifically, a touch state), when the
図７は、手書きの軌跡の表示態様を変更する一例を示す図である。図７に示すように、手書きの軌跡Ｌ１が描画される。手書き入力状態において、「直線」という音声コマンドＣ２の入力を音声入力部１２１が受け付けると、コントローラ１８０は、音声コマンドＣ２を認識し、手書きの軌跡Ｌ１を直線Ｌ２に変更する。
FIG. 7 is a diagram showing an example of changing the display mode of the handwritten trajectory. As shown in FIG. 7, a handwritten trajectory L1 is drawn. In the handwritten input state, when the
図８は、手書きの軌跡の表示態様を変更する他の例を示す図である。図８に示すように、手書きの軌跡Ｌ３が描画される。手書き入力状態において、「直角」という音声コマンドＣ３の入力を音声入力部１２１が受け付けると、コントローラ１８０は、音声コマンドＣ３を認識し、手書きの軌跡Ｌ３を直角の線Ｌ４に変更する。
FIG. 8 is a diagram showing another example of changing the display mode of the handwritten trajectory. As shown in FIG. 8, a handwritten trajectory L3 is drawn. In the handwriting input state, when the
（手書き入力状態）
図９は、一実施形態に係る手書き入力状態を示す図である。
(handwriting input state)
FIG. 9 is a diagram showing a handwriting input state according to one embodiment.
図９に示すように、手書き入力状態は、タッチスクリーンディスプレイ１１０（表示部１１２）の表示面に電子ペン２００がタッチしているタッチ状態を含む。
As shown in FIG. 9, the handwriting input state includes a touch state in which
コントローラ１８０は、タッチ状態において音声入力部１２１が入力を受け付けた音声コマンドに応じて、表示部１１２における手書きの軌跡の表示態様を制御する。これにより、手書き入力の最中に発された音声により手書きの軌跡の表示態様を変更できる。
The
例えば、タッチ状態において「ペンを赤に」という音声コマンドの入力を音声入力部１２１が受け付けると、コントローラ１８０は、この音声コマンドを認識し、手書きの軌跡の途中からその色を赤に変更する。
For example, when the
また、タッチ状態において「一番太い線に」という音声コマンドの入力を音声入力部１２１が受け付けると、コントローラ１８０は、この音声コマンドを認識し、手書きの軌跡の途中からその線幅を一番太い線に変更する。
Also, when the
或いは、タッチ状態において、「もっと太く」という音声コマンドの入力を音声入力部１２１が受け付けると、コントローラ１８０は、この音声コマンドを認識し、手書きの軌跡の途中からその線幅を１段階太い線に変更する。その後、ペンアップ前に再度「もっと太く」という音声コマンドの入力を音声入力部１２１が受け付けると、コントローラ１８０は、この音声コマンドを認識し、手書きの軌跡の途中からその線幅をもう１段階太い線に変更する。このように、音声コマンドの入力を繰り返し受け付けると、コントローラ１８０は、手書きの軌跡を段階的に変更する。
Alternatively, when the
その後、ペンアップ前に再度「もっと細く」という音声コマンドの入力を音声入力部１２１が受け付けると、コントローラ１８０は、この音声コマンドを認識し、手書きの軌跡の途中からその線幅を１段階細い線に変更する。
After that, when the
これにより、手書き入力中に手書きの軌跡の線幅を段階的に変更できる。ここで、段階的な変更の際に、線幅を急激に変更するのではなく、線幅を徐々に変更してもよい。 As a result, the line width of the handwritten trajectory can be changed stepwise during handwriting input. Here, when changing in steps, the line width may be changed gradually instead of being changed abruptly.
或いは、タッチ状態において、線色が青であるときに、「もっと赤に」という音声コマンドの入力を音声入力部１２１が受け付けると、コントローラ１８０は、この音声コマンドを認識し、手書きの軌跡の途中からその線色を１段階赤に近づける（例えば、青が強めの紫色）。
Alternatively, when the line color is blue in the touch state, when the
その後、ペンアップ前に再度「もっと赤に」という音声コマンドの入力を音声入力部１２１が受け付けると、コントローラ１８０は、この音声コマンドを認識し、手書きの軌跡の途中からその線色をもう１段階赤に近づける（例えば、普通の紫色）。
After that, when the
その後、ペンアップ前に再度「もっと赤に」という音声コマンドの入力を音声入力部１２１が受け付けると、コントローラ１８０は、この音声コマンドを認識し、手書きの軌跡の途中からその線色を１段階赤に近づける（例えば、赤が強めの紫色）。
After that, when the
これにより、手書き入力中に手書きの軌跡の線色を段階的に変更できる。ここで、段階的な変更の際に、線色を急激に変更するのではなく、線色を徐々に変更し、青から赤へのグラデーションで描画してもよい。 As a result, the line color of the handwritten trajectory can be changed in stages during handwriting input. Here, when changing the line color in stages, the line color may be gradually changed instead of being changed abruptly, and drawn with a gradation from blue to red.
或いは、文字入力中に、タッチ状態において「ここ大事」という音声コマンドの入力を音声入力部１２１が受け付けると、コントローラ１８０は、この音声コマンドを認識し、その前後の一定時間又は一定長の手書きの軌跡の色を赤に変更する又はハイライト（マーカ）を付してもよい。このような音声コマンドは、手書き入力中に前後の所定範囲の表示態様を一律に変更する（具体的には、強調表示する）ための音声コマンドといえる。
Alternatively, when the
或いは、文字入力中に、タッチ状態において「ここまで大事」という音声コマンドの入力を音声入力部１２１が受け付けると、コントローラ１８０は、この音声コマンドを認識し、ペンダウンのタイミングｔ２から音声コマンドを認識したタイミングまでの手書きの軌跡の色を赤に変更する又はハイライトを付してもよい。このような音声コマンドは、手書き入力中に直前の所定範囲の表示態様を一律に変更する（具体的には、強調表示する）ための音声コマンドといえる。
Alternatively, when the
或いは、文字入力中に、タッチ状態において「ここから大事」という音声コマンドの入力を音声入力部１２１が受け付けると、コントローラ１８０は、この音声コマンドを認識し、音声コマンドを認識したタイミングからペンアップのタイミングｔ３までの手書きの軌跡の色を赤に変更する又はハイライトを付してもよい。このような音声コマンドは、手書き入力中に直後の所定範囲の表示態様を一律に変更する（具体的には、強調表示する）ための音声コマンドといえる。
Alternatively, when the
但し、「ここから大事」という音声コマンドの入力後、ペンアップ前に「ここまで大事」という音声コマンドが入力された場合、「ここから大事」という音声コマンドを認識したタイミングから「ここまで大事」という音声コマンドを認識したタイミングまでの手書きの軌跡を赤に変更する又はハイライトを付してもよい。 However, after inputting the voice command "Important from here", if the voice command "Important so far" is input before the pen is raised, the voice command "Important from here" is recognized. The handwritten trajectory up to the timing of recognition of the voice command may be changed to red or highlighted.
手書き入力状態は、タッチ状態の直後の非タッチ状態を含んでもよい。具体的には、手書き入力状態は、タッチスクリーンディスプレイ１１０（表示部１１２）の表示面から電子ペン２００が離れたタイミング（すなわち、ペンアップのタイミング）ｔ３から所定時間が経過するまでの間の非タッチ状態を含んでもよい。これにより、ペンアップの直後に発された音声により手書きの軌跡の表示態様を変更できる。
A handwriting input state may include a non-touch state immediately following a touch state. Specifically, the handwriting input state is defined as a state of non-handwriting during a period from timing t3 when
例えば、ペンアップの直後に、「元に戻す」という音声コマンドの入力を音声入力部１２１が受け付けると、コントローラ１８０は、この音声コマンドを認識し、タッチ状態中に入力された文字又は図形等の手書きの軌跡を削除してもよい。
For example, when the
或いは、ペンアップの直後に、「消しゴム」という音声コマンドの入力を音声入力部１２１が受け付けると、コントローラ１８０は、この音声コマンドを認識し、タッチ状態中に入力された文字又は図形等の手書きの軌跡を削除するモードを設定し、削除箇所を電子ペン２００が指定するためのマーク（又は消しゴムアイコン）を表示し、電子ペン２００により指定された箇所を削除してもよい。
Alternatively, when the
或いは、ペンアップの直後に、「ペンを赤に」という音声コマンドの入力を音声入力部１２１が受け付けると、コントローラ１８０は、この音声コマンドを認識し、タッチ状態中に入力された文字又は図形等の手書きの軌跡の色を赤に変更する。
Alternatively, when the
また、ペンアップの直後に、「一番太い線に」という音声コマンドの入力を音声入力部１２１が受け付けると、コントローラ１８０は、この音声コマンドを認識し、タッチ状態中に入力された文字又は図形等の手書きの軌跡の線幅を一番太い線に変更する。
Further, when the
手書き入力状態は、タッチ状態の直前の非タッチ状態を含んでもよい。具体的には、手書き入力状態は、表示面に電子ペン２００がタッチするタイミング（すなわち、ペンダウンのタイミング）ｔ２から所定時間前までの非タッチ状態を含んでもよい。これにより、ペンアップの直前に発された音声により手書きの軌跡の表示態様を変更できる。
A handwriting input state may include a non-touch state immediately preceding a touch state. Specifically, the handwriting input state may include a non-touch state from timing t2 at which
例えば、ペンダウンの直前に、「ペンを赤に」という音声コマンドの入力を音声入力部１２１が受け付けると、コントローラ１８０は、この音声コマンドを認識し、タッチ状態中に入力される文字又は図形等の手書きの軌跡の色を赤にする。
For example, if the
また、ペンアップの直前に、「一番太い線に」という音声コマンドの入力を音声入力部１２１が受け付けると、コントローラ１８０は、この音声コマンドを認識し、タッチ状態中に入力される文字又は図形等の手書きの軌跡の線幅を一番太い線にする。
In addition, when the
（動作フローの一例）
図１０は、情報表示装置１００及び電子ペン２００の動作フローの一例を示す図である。なお、情報表示装置１００と電子ペン２００との間には無線接続（例えば、近距離無線通信の接続）が設定されている。
(Example of operation flow)
FIG. 10 is a diagram showing an example of the operation flow of the
図１０に示すように、ステップＳ１０１において、情報表示装置１００のコントローラ１８０は、音声認識処理を開始する。音声認識処理を開始することにより、手書き入力状態において所定の音声コマンドを認識可能になる。
As shown in FIG. 10, in step S101, the
情報表示装置１００のコントローラ１８０は、手書き入力アプリケーションが起動されたことに応じて音声認識処理を開始してもよい。これにより、適切なタイミングで音声認識処理を開始できる。
The
或いは、情報表示装置１００のコントローラ１８０は、手書き入力アプリケーションが起動されており、且つ電子ペン２００の操作部２１０に対して押下操作（第１の操作）がなされたことに応じて、音声認識処理を開始してもよい。ユーザは、音声コマンドに対応する音声を発する前に電子ペン２００の操作部２１０を押下する。これにより、より適切なタイミングで音声認識処理を開始できる。
Alternatively, the
情報表示装置１００のコントローラ１８０は、手書き入力アプリケーションが起動されており、且つ電子ペン２００のセンサ２４０（筆圧センサ）が筆圧を検出したことに応じて、音声認識処理を開始してもよい。或いは、情報表示装置１００のコントローラ１８０は、手書き入力アプリケーションが起動されており、且つタッチパネル１１１がタッチ入力（ペンダウン）を検出したことに応じて、音声認識処理を開始してもよい。これにより、ユーザが電子ペン２００の操作部２１０を押下しなくても、適切なタイミングで音声認識処理を開始できる。
The
ステップＳ１０２において、電子ペン２００のマイク２２０に音声が入力される。電子ペン２００のマイク２２０は、この音声を音声データに変換して電子ペン２００のコントローラ２７０に出力する。
In step S<b>102 , voice is input to the
ステップＳ１０３において、電子ペン２００のコントローラ２７０は、電子ペン２００のマイク２２０から入力された音声データを、電子ペン２００の通信インターフェイス２６０を介して情報表示装置１００に送信する。情報表示装置１００の音声入力部１２１は、電子ペン２００から音声データを取得することにより音声入力を受け付け、この音声データを情報表示装置１００のコントローラ１８０に出力する。
In step S<b>103 , the
ステップＳ１０４において、情報表示装置１００のコントローラ１８０は、音声入力部１２１から入力された音声データに対する音声認識処理を行い、この音声データに音声コマンドが含まれているか確認する。
In step S104, the
音声コマンドが含まれている場合、ステップＳ１０５において、情報表示装置１００のコントローラ１８０は、当該音声コマンドに応じて、表示部１１２における手書きの軌跡の表示態様を制御する。
If a voice command is included, in step S105, the
なお、情報表示装置１００のコントローラ１８０は、手書き入力アプリケーションが終了されたことに応じて、音声認識処理を終了する。
Note that the
或いは、情報表示装置１００のコントローラ１８０は、電子ペン２００の操作部２１０が押下されている間において音声認識を有効としてもよい。この場合、コントローラ１８０は、操作部２１０に対して押下解除（第２の操作）がなされたことに応じて、音声認識処理を終了してもよい。
Alternatively, the
或いは、情報表示装置１００のコントローラ１８０は、タッチ状態において音声認識を有効としてもよい。この場合、情報表示装置１００のコントローラ１８０は、電子ペン２００の筆圧センサが圧力を検出しなくなったことに応じて、音声認識処理を終了してもよい。或いは、情報表示装置１００のコントローラ１８０は、タッチパネル１１１がペンアップを検出したことに応じて、音声認識処理を終了してもよい。
Alternatively, the
図１１は、情報表示装置１００及び電子ペン２００の動作フローの他の例を示す図である。なお、情報表示装置１００と電子ペン２００との間には無線接続（例えば、近距離無線通信の接続）が設定されている。ここでは、図１０に示す動作との相違点について主として説明する。
FIG. 11 is a diagram showing another example of the operation flow of the
図１１に示すように、ステップＳ２０１において、電子ペン２００のコントローラ２７０は、音声認識処理を開始する。
As shown in FIG. 11, in step S201, the
電子ペン２００のコントローラ２７０は、手書き入力アプリケーションが起動されたことを情報表示装置１００から通知された際に、音声認識処理を開始してもよい。或いは、電子ペン２００のコントローラ２７０は、手書き入力アプリケーションが起動されており、且つ電子ペン２００の操作部２１０に対して押下操作（第１の操作）がなされたことに応じて、音声認識処理を開始してもよい。電子ペン２００のコントローラ２７０は、手書き入力アプリケーションが起動されており、且つ電子ペン２００のセンサ２４０（筆圧センサ）が筆圧を検出したことに応じて、音声認識処理を開始してもよい。
The
ステップＳ２０２において、電子ペン２００のマイク２２０に音声が入力される。電子ペン２００のマイク２２０は、この音声を音声データに変換して電子ペン２００のコントローラ２７０に出力する。
In step S<b>202 , voice is input to the
ステップＳ２０３において、電子ペン２００のコントローラ２７０は、音声入力部１２１から入力された音声データに対する音声認識処理を行い、この音声データに音声コマンドが含まれているか確認する。
In step S203, the
音声コマンドが含まれている場合、ステップＳ２０４において、電子ペン２００のコントローラ２７０は、当該音声コマンドに対応するデータを、電子ペン２００の通信インターフェイス２６０を介して情報表示装置１００に送信する。情報表示装置１００の音声入力部１２１は、電子ペン２００から音声コマンドに対応するデータを取得することにより音声入力を受け付け、音声コマンドに対応するデータを情報表示装置１００のコントローラ１８０に出力する。
If a voice command is included, the
ステップＳ２０５において、情報表示装置１００のコントローラ１８０は、音声入力部１２１から入力された音声コマンドに対応するデータに応じて、表示部１１２における手書きの軌跡の表示態様を制御する。
In step S<b>205 , the
なお、電子ペン２００のコントローラ２７０は、手書き入力アプリケーションが終了されたことを情報表示装置１００から通知された際に、音声認識処理を終了してもよい。
Note that the
或いは、電子ペン２００のコントローラ２７０は、電子ペン２００の操作部２１０が押下されている間において音声認識を有効としてもよい。この場合、電子ペン２００のコントローラ２７０は、電子ペン２００の操作部２１０に対して押下解除（第２の操作）がなされたことに応じて、音声認識処理を終了してもよい。
Alternatively, the
或いは、電子ペン２００のコントローラ２７０は、タッチ状態において音声認識を有効としてもよい。この場合、電子ペン２００のコントローラ２７０は、電子ペン２００の筆圧センサが圧力を検出しなくなったことに応じて、音声認識処理を終了してもよい。
Alternatively, the
（その他の実施形態）
上記の実施形態において、電子ペン２００が情報表示装置１００に収納可能である場合について特に触れなかったが、情報表示装置１００に電子ペン２００の収納部が設けられ、電子ペン２００が情報表示装置１００に収納可能であってもよい。
(Other embodiments)
In the above embodiment, the case where the
情報表示装置１００が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにプログラムをインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭやＤＶＤ－ＲＯＭ等の記録媒体であってもよい。
A program that causes a computer to execute each process performed by the
以上、図面を参照して一実施形態について詳しく説明したが、具体的な構成は上述のものに限られることはなく、要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。 An embodiment has been described in detail above with reference to the drawings, but the specific configuration is not limited to the one described above, and various design changes can be made without departing from the spirit of the invention. .
１００ ：情報表示装置
１０１ ：筐体
１１０ ：タッチスクリーンディスプレイ
１１１ ：タッチパネル
１１２ ：表示部
１２０ ：マイク
１２１ ：音声入力部
１３０ ：スピーカ
１３１ ：音声出力部
１４０ ：カメラ
１５０ ：センサ
１６０ ：記憶部
１７０ ：通信インターフェイス
１８０ ：コントローラ
２００ ：電子ペン
２０１ ：筐体
２０２ ：クリップ部
２０３ ：芯体
２１０ ：操作部
２２０ ：マイク
２３０ ：スピーカ
２４０ ：センサ
２５０ ：記憶部
２６０ ：通信インターフェイス
２７０ ：コントローラ
100: Information display device 101: Housing 110: Touch screen display 111: Touch panel 112: Display unit 120: Microphone 121: Audio input unit 130: Speaker 131: Audio output unit 140: Camera 150: Sensor 160: Storage unit 170: Communication Interface 180 : Controller 200 : Electronic pen 201 : Housing 202 : Clip section 203 : Core body 210 : Operation section 220 : Microphone 230 : Speaker 240 : Sensor 250 : Storage section 260 : Communication interface 270 : Controller
Claims (13)
前記電子ペンから前記筆圧センサが検出した圧力を受信する通信インターフェイスと、
前記タッチパネルが受け付けた手書きの軌跡を表示する表示部と、
音声コマンドを含む音声入力を受け付ける音声入力部と、
手書き入力アプリケーションが起動後に前記筆圧センサが圧力を検出したことに応じて、音声認識処理を開始し、当該音声認識処理により受け付けた音声コマンドに応じて、前記表示部における手書きの軌跡の表示態様を制御するコントローラと、を備える
情報表示装置。 a touch panel that accepts handwriting input with an electronic pen having a pen pressure sensor;
a communication interface that receives the pressure detected by the pen pressure sensor from the electronic pen;
a display unit that displays a handwritten trajectory received by the touch panel;
a voice input unit that receives voice input including voice commands;
After the handwriting input application is activated, in response to the pen pressure sensor detecting pressure , speech recognition processing is started, and in accordance with the voice command received by the speech recognition processing, the handwritten trajectory is displayed on the display unit. and a controller that controls the information display device.
前記音声入力部は、前記マイクに入力される音声に応じた音声コマンドを含む音声データを前記電子ペンから取得することにより、前記音声入力を受け付ける
請求項１に記載の情報表示装置。 The electronic pen has a microphone,
The information display device according to claim 1, wherein the voice input unit accepts the voice input by acquiring voice data including a voice command corresponding to voice input to the microphone from the electronic pen.
請求項１に記載の情報表示装置。 2. The controller according to claim 1, wherein the display mode is controlled according to a voice command received by the voice input unit during a predetermined period of time from when the electronic pen is separated from the touch panel. information display device.
請求項１に記載の情報表示装置。 The information display device according to claim 1, wherein the controller controls the display mode according to a voice command received by the voice input unit immediately after the electronic pen is separated from the touch panel.
前記コントローラは、前記電子ペンが前記タッチパネルを離れた後に前記音声入力部が入力を受け付けた音声コマンドに応じて、前記表示部が表示する文字の態様を変更する
請求項１乃至４のいずれか１項に記載の情報表示装置。 The display unit displays characters as the handwritten trajectory,
5. Any one of claims 1 to 4, wherein the controller changes the mode of characters displayed by the display unit according to a voice command received by the voice input unit after the electronic pen leaves the touch panel. The information display device according to the item.
前記コントローラは、前記電子ペンが前記タッチパネルを離れた後に前記音声入力部が入力を受け付けた音声コマンドに応じて、前記表示部が表示する図形の態様を変更する
請求項１乃至４のいずれか１項に記載の情報表示装置。 The display unit displays a figure as the trajectory of the handwriting,
5. Any one of claims 1 to 4, wherein the controller changes the form of the figure displayed by the display unit according to a voice command received by the voice input unit after the electronic pen leaves the touch panel. The information display device according to the item.
請求項１乃至４のいずれか１項に記載の情報表示装置。 5. The controller according to any one of claims 1 to 4, wherein the controller deletes the trace of handwriting on the display unit in response to a voice command received by the voice input unit after the electronic pen leaves the touch panel. Information display device as described.
前記音声入力部が受け付けた前記音声入力に含まれる音声コマンドを認識し、
所定の音声コマンドを認識したことに応じて、前記表示部における前記手書きの軌跡の表示態様を変更する
請求項１乃至７のいずれか１項に記載の情報表示装置。 After the electronic pen leaves the touch panel, the controller
recognizing a voice command included in the voice input received by the voice input unit;
The information display device according to any one of claims 1 to 7, wherein the display mode of the handwritten trajectory on the display unit is changed in response to recognition of a predetermined voice command.
請求項８に記載の情報表示装置。 The information display device according to claim 8, wherein the controller terminates the speech recognition processing in response to termination of the handwriting input application.
請求項８に記載の情報表示装置。 9. The information display device according to claim 8, wherein the controller terminates the voice recognition processing when the writing pressure sensor no longer detects pressure.
電子ペン。 An electronic pen functioning as the indicator according to any one of claims 1 to 10.
手書き入力アプリケーションが起動後に前記筆圧センサが検出した圧力に応じて音声認識処理を開始し、当該音声認識処理により受け付けた音声コマンドに応じて、前記表示部における手書きの軌跡の表示態様を制御する制御ステップと、を実行させる
表示制御プログラム。 A touch panel that receives handwritten input by an electronic pen having a pen pressure sensor, a communication interface that receives pressure detected by the pen pressure sensor from the electronic pen, and a display unit that displays the locus of handwriting received by the touch panel. In the information display device having
After the handwriting input application is activated, voice recognition processing is started according to the pressure detected by the writing pressure sensor, and the display mode of the handwritten trajectory on the display unit is controlled according to the voice command received by the voice recognition processing. A display control program that causes a control step to be executed.
手書き入力状態において、音声コマンドを含む音声入力を受け付ける音声入力ステップと、
前記音声入力に含まれる前記音声コマンドを認識するための音声認識処理を行うステップと、
前記タッチパネルが受け付けた手書きの軌跡を表示する表示ステップと、
前記音声認識処理を行うステップで認識した前記音声コマンドに応じて、前記表示ステップで表示する手書きの軌跡の表示態様を制御する制御ステップと、を備え、
前記音声認識処理を行うステップは、手書き入力アプリケーションが起動されており、且つ前記筆圧センサが圧力を検出したことに応じて、前記音声認識処理を開始するステップを含む
表示制御方法。 A display control method for use in an information display device having a touch panel that receives handwriting input with an electronic pen that has a pen pressure sensor and is communicable with the information display device,
a voice input step of accepting voice input including voice commands in the handwriting input state;
performing a voice recognition process to recognize the voice commands contained in the voice input;
a display step of displaying a handwritten trajectory received by the touch panel;
a control step of controlling a display mode of the handwritten trajectory displayed in the display step according to the voice command recognized in the step of performing the voice recognition process ;
The display control method, wherein the step of performing the speech recognition processing includes the step of starting the speech recognition processing in response to a handwriting input application being activated and the writing pressure sensor detecting pressure.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018203313A JP7240134B2 (en) | 2018-10-29 | 2018-10-29 | Information display device, electronic pen, display control method, and display control program |
| PCT/JP2019/038499 WO2020090317A1 (en) | 2018-10-29 | 2019-09-30 | Information display device, electronic instrument, electronic pen, system, method, and program |
| US17/288,297 US20210382684A1 (en) | 2018-10-29 | 2019-09-30 | Information display apparatus, electronic device, electronic pen, system, method and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018203313A JP7240134B2 (en) | 2018-10-29 | 2018-10-29 | Information display device, electronic pen, display control method, and display control program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020071545A JP2020071545A (en) | 2020-05-07 |
| JP7240134B2 true JP7240134B2 (en) | 2023-03-15 |
Family
ID=70547804
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018203313A Active JP7240134B2 (en) | 2018-10-29 | 2018-10-29 | Information display device, electronic pen, display control method, and display control program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7240134B2 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060287864A1 (en) | 2005-06-16 | 2006-12-21 | Juha Pusa | Electronic device, computer program product and voice control method |
| JP2007048177A (en) | 2005-08-12 | 2007-02-22 | Canon Inc | Information processing method and information processing device |
| JP2010086542A (en) | 2008-10-02 | 2010-04-15 | Wacom Co Ltd | Input system and input method |
| JP2014010836A (en) | 2012-06-29 | 2014-01-20 | Samsung Electronics Co Ltd | Multiple input processing method and device |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06214701A (en) * | 1993-01-12 | 1994-08-05 | Sony Corp | Information processor |
| JPH0713687A (en) * | 1993-06-25 | 1995-01-17 | Casio Comput Co Ltd | Handwriting input device |
| JPH11184633A (en) * | 1997-12-18 | 1999-07-09 | Ricoh Co Ltd | Pen input device |
-
2018
- 2018-10-29 JP JP2018203313A patent/JP7240134B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060287864A1 (en) | 2005-06-16 | 2006-12-21 | Juha Pusa | Electronic device, computer program product and voice control method |
| JP2007048177A (en) | 2005-08-12 | 2007-02-22 | Canon Inc | Information processing method and information processing device |
| JP2010086542A (en) | 2008-10-02 | 2010-04-15 | Wacom Co Ltd | Input system and input method |
| JP2014010836A (en) | 2012-06-29 | 2014-01-20 | Samsung Electronics Co Ltd | Multiple input processing method and device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2020071545A (en) | 2020-05-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2020090317A1 (en) | Information display device, electronic instrument, electronic pen, system, method, and program | |
| US11907446B2 (en) | Devices and methods for creating calendar events based on hand-drawn inputs at an electronic device with a touch-sensitive display | |
| KR102003255B1 (en) | Method and apparatus for processing multiple inputs | |
| JP5204305B2 (en) | User interface apparatus and method using pattern recognition in portable terminal | |
| CN102968206B (en) | Input unit and method for the terminal device with touch modules | |
| KR102186393B1 (en) | Method for processing input and an electronic device thereof | |
| KR102594951B1 (en) | Electronic apparatus and operating method thereof | |
| TWI510994B (en) | Electronic apparatus and method for controlling the same | |
| KR102138913B1 (en) | Method for processing input and an electronic device thereof | |
| KR102102663B1 (en) | Method and apparatus for using a portable terminal | |
| KR20100020389A (en) | Input method using size of touching spot and device thereof | |
| JP7257126B2 (en) | Information display device, electronic pen, display control method, and display control program | |
| US10755461B2 (en) | Display device, display method, and recording medium | |
| KR102118421B1 (en) | Camera cursor system | |
| EP2146493A2 (en) | Method and apparatus for continuous key operation of mobile terminal | |
| JP7240134B2 (en) | Information display device, electronic pen, display control method, and display control program | |
| JP7228365B2 (en) | Information display device, electronic pen, display control method, and display control program | |
| JP2019101739A (en) | Information processor, information processing system and program | |
| JP7228366B2 (en) | Pen input system, information display device, electronic pen, control method, and program | |
| KR20130128143A (en) | Apparatus and method for controlling interface using hand gesture and computer-readable recording medium with program therefor | |
| CN110914795A (en) | Writing board, writing board assembly and writing method of writing board | |
| JP5864050B2 (en) | INPUT DEVICE, CONTROL METHOD FOR INPUT DEVICE, CONTROL PROGRAM, AND RECORDING MEDIUM | |
| JPWO2017072913A1 (en) | Control method, electronic blackboard system, display device, and program | |
| US20070042805A1 (en) | Communications device comprising a touch-sensitive display unit and an actuating element for selecting highlighted characters | |
| JP2014044673A (en) | Portable terminal device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210210 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220111 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220314 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220809 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221007 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221122 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230119 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230214 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230303 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7240134 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |