JP2022019426A - 表示装置、制御方法、プログラム - Google Patents
表示装置、制御方法、プログラム Download PDFInfo
- Publication number
- JP2022019426A JP2022019426A JP2020123252A JP2020123252A JP2022019426A JP 2022019426 A JP2022019426 A JP 2022019426A JP 2020123252 A JP2020123252 A JP 2020123252A JP 2020123252 A JP2020123252 A JP 2020123252A JP 2022019426 A JP2022019426 A JP 2022019426A
- Authority
- JP
- Japan
- Prior art keywords
- display device
- control unit
- recognition
- data
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/26—Power supply means, e.g. regulation thereof
- G06F1/32—Means for saving power
- G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
- G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
- G06F1/3215—Monitoring of peripheral devices
- G06F1/3218—Monitoring of peripheral devices of display devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/26—Power supply means, e.g. regulation thereof
- G06F1/263—Arrangements for using multiple switchable power supplies, e.g. battery and AC
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/26—Power supply means, e.g. regulation thereof
- G06F1/32—Means for saving power
- G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
- G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
- G06F1/3212—Monitoring battery levels, e.g. power saving mode being initiated when battery voltage goes below a certain level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/26—Power supply means, e.g. regulation thereof
- G06F1/32—Means for saving power
- G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
- G06F1/3234—Power saving characterised by the action undertaken
- G06F1/325—Power saving in peripheral device
- G06F1/3265—Power saving in display device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
- G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
- G06F3/0233—Character input methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/142—Image acquisition using hand-held instruments; Constructional details of the instruments
- G06V30/1423—Image acquisition using hand-held instruments; Constructional details of the instruments the instrument generating sequences of position coordinates corresponding to handwriting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/32—Digital ink
- G06V30/333—Preprocessing; Feature extraction
- G06V30/347—Sampling; Contour coding; Stroke extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/32—Digital ink
- G06V30/36—Matching; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Power Engineering (AREA)
- Human Computer Interaction (AREA)
- User Interface Of Digital Computer (AREA)
- Character Discrimination (AREA)
- Character Input (AREA)
Abstract
【課題】電源状態に応じて認識処理の実行を制御することができる表示装置を提供すること。【解決手段】表示装置2であって、入力手段2500によって手書きデータの入力を受け付ける受付手段21と、前記手書きデータの認識処理を行う認識手段26と、前記表示装置の電源状態に応じて、前記認識処理の頻度を制御する制御手段23と、を有することを特徴とする。【選択図】図1
Description
本発明は、表示装置、制御方法、及び、プログラムに関する。
手書き認識技術を利用し、手書きデータを文字等に変換して、ディスプレーに表示する表示装置が知られている。表示装置は、例えば、会議などの他、デジタルサイネージや看板などにも利用できる。また、表示装置はバッテリーで動作することも可能であり、屋外での活用も期待されている。
各種の装置において消費電力を低減する技術が考案されている(例えば、特許文献1参照。)。特許文献1には、各ジョブ・機能における消費電力を自動的に計測して記憶しておき、バッテリー残量が少ないと判断された場合、記憶されている消費電力表を使用してシステムの動作を制御する情報処理装置が開示されている。
しかしながら、従来の技術では、電源状態に関わらず手書きデータの認識処理が実行されるという問題があった。常に認識処理が実行されるため、
・容量の大きなバッテリーが必要
・バッテリー動作時間が短くなる
・バッテリーを充電しながら使用すると、充電時間が長くなる
といった状況が生じやすくなる。
・容量の大きなバッテリーが必要
・バッテリー動作時間が短くなる
・バッテリーを充電しながら使用すると、充電時間が長くなる
といった状況が生じやすくなる。
本発明は、上記課題に鑑み、電源状態に応じて認識処理の実行を制御することができる表示装置を提供することを目的とする。
上記課題に鑑み、本発明は、表示装置であって、入力手段によって手書きデータの入力を受け付ける受付手段と、前記手書きデータの認識処理を行う認識手段と、前記表示装置の電源状態に応じて、前記認識処理の頻度を制御する制御手段と、を有することを特徴とする。
電源状態に応じて認識処理の実行を制御することができる表示装置を提供する。
以下、本発明を実施するための形態の一例として表示装置と、表示装置が行う制御方法について図面を参照しながら説明する。
<電源状態に応じた認識処理の制御の概略>
まず、手書きデータの認識処理の実行により消費電力が増大する理由を説明する。表示装置が手書きデータを認識する認識処理を実行すると、以下のような処理により、CPUやRAM(SSD:Solid State Drive、HDD:Hard Disk Drive)の消費電力が増大する。
CPU:文字のマッチング処理、変換候補の探索処理(検索処理)
RAM(SSD、HDD):マッチングや変換候補のデータベースへのアクセス
またディスプレーに電子ペーパーが採用されている場合、電子ペーパーの画面の書き換えに電力が消費される。電子ペーパーでは書き換えが発生しないと消費電力が少なくてすむ。液晶ディスプレーや有機ELディスプレー等と異なる点である。
電子ペーパー:変換候補やメニューの表示、手書きデータから文字への表示書き換え
これらにより消費電力が増大すると、以下の不都合が発生しうる。
・容量の大きな電源/バッテリーが必要
・バッテリーでの駆動時間が短くなる
・バッテリーの充電時間が延びる
交流電源を不足なく使用できる状況であれば支障は少ないが、屋外などで使用される場合、バッテリー駆動時間は長い方がよい。また、屋内で使用される場合でも消費電力の低減が求められる場合は少なくない。例えば、災害などの発生のため、電力供給が限られる場面など、屋内で表示装置が使用されても消費電力は少ない方がよい。したって、バッテリー動作時や充電時は消費電力を低減して駆動時間を長く、充電時間を短くすることが求められる。
まず、手書きデータの認識処理の実行により消費電力が増大する理由を説明する。表示装置が手書きデータを認識する認識処理を実行すると、以下のような処理により、CPUやRAM(SSD:Solid State Drive、HDD:Hard Disk Drive)の消費電力が増大する。
CPU:文字のマッチング処理、変換候補の探索処理(検索処理)
RAM(SSD、HDD):マッチングや変換候補のデータベースへのアクセス
またディスプレーに電子ペーパーが採用されている場合、電子ペーパーの画面の書き換えに電力が消費される。電子ペーパーでは書き換えが発生しないと消費電力が少なくてすむ。液晶ディスプレーや有機ELディスプレー等と異なる点である。
電子ペーパー:変換候補やメニューの表示、手書きデータから文字への表示書き換え
これらにより消費電力が増大すると、以下の不都合が発生しうる。
・容量の大きな電源/バッテリーが必要
・バッテリーでの駆動時間が短くなる
・バッテリーの充電時間が延びる
交流電源を不足なく使用できる状況であれば支障は少ないが、屋外などで使用される場合、バッテリー駆動時間は長い方がよい。また、屋内で使用される場合でも消費電力の低減が求められる場合は少なくない。例えば、災害などの発生のため、電力供給が限られる場面など、屋内で表示装置が使用されても消費電力は少ない方がよい。したって、バッテリー動作時や充電時は消費電力を低減して駆動時間を長く、充電時間を短くすることが求められる。
次に、図1、図2を参照して、認識処理の頻度の電源状態に応じた制御について説明する。図1は、表示装置の電源状態の一例を示す図である。表示装置は、一例として、バッテリー動作状態A、バッテリー充電中状態B、及び、交流電源動作状態Cの3つの電源状態を有している。
・バッテリー動作状態A…電源ケーブルが接続されておらず、バッテリーのみで動作している状態である。
・バッテリー充電中状態B…電源ケーブルが接続されているが、バッテリーが満充電でないため、交流電源が表示装置の処理と充電に振り分けられる状態である。
・交流電源動作状態C…電源ケーブルが接続されており、バッテリーが満充電又は残電力量が閾値以上(例えば90%以上)であるため、充電に電力が使用されず、交流電源の全てが表示装置の処理に使用される状態である。
・バッテリー動作状態A…電源ケーブルが接続されておらず、バッテリーのみで動作している状態である。
・バッテリー充電中状態B…電源ケーブルが接続されているが、バッテリーが満充電でないため、交流電源が表示装置の処理と充電に振り分けられる状態である。
・交流電源動作状態C…電源ケーブルが接続されており、バッテリーが満充電又は残電力量が閾値以上(例えば90%以上)であるため、充電に電力が使用されず、交流電源の全てが表示装置の処理に使用される状態である。
図1に示すように各電源状態は以下の遷移条件で遷移する。
1.「バッテリー動作状態A」→「バッテリー充電中状態B」
電源ケーブル接続
2.「バッテリー充電中状態B」→「交流電源動作状態C」
満充電完了
3.「交流電源動作状態C」→「バッテリー動作状態A」
電源ケーブル切断
4.「交流電源動作状態C」→「バッテリー充電中状態B」
自然放電
5.「バッテリー充電中状態B」→「バッテリー動作状態A」
電源ケーブル切断
なお、「バッテリー動作状態A」から「交流電源動作状態C」に遷移してもよい。この場合は、バッテリー状態に応じて必ずしも自動的にバッテリーを充電しない場合である。
1.「バッテリー動作状態A」→「バッテリー充電中状態B」
電源ケーブル接続
2.「バッテリー充電中状態B」→「交流電源動作状態C」
満充電完了
3.「交流電源動作状態C」→「バッテリー動作状態A」
電源ケーブル切断
4.「交流電源動作状態C」→「バッテリー充電中状態B」
自然放電
5.「バッテリー充電中状態B」→「バッテリー動作状態A」
電源ケーブル切断
なお、「バッテリー動作状態A」から「交流電源動作状態C」に遷移してもよい。この場合は、バッテリー状態に応じて必ずしも自動的にバッテリーを充電しない場合である。
図2は、表示装置が電源状態に応じて制御する認識処理の頻度を説明する図である。本実施形態では、認識処理の頻度が3つの文字認識モードで制御される。したがって、認識処理の頻度は三段階で制御される。
A.バッテリー動作状態
表示装置は文字認識モードを一括モードに設定する。表示装置は、アイコン押下時などのユーザー指示がない限り、認識処理を実行しない。
表示装置は文字認識モードを一括モードに設定する。表示装置は、アイコン押下時などのユーザー指示がない限り、認識処理を実行しない。
B.バッテリー充電中状態
表示装置は文字認識モードをリアルタイム(低)モードに設定する。表示装置は、例えば10ストロークデータごとなど、低頻度で認識処理を実行する。
表示装置は文字認識モードをリアルタイム(低)モードに設定する。表示装置は、例えば10ストロークデータごとなど、低頻度で認識処理を実行する。
C.交流電源動作状態
表示装置は文字認識モードをリアルタイム(高)モードに設定する。表示装置は例えば1ストロークデータごとなど、高頻度で認識処理を実行する。
表示装置は文字認識モードをリアルタイム(高)モードに設定する。表示装置は例えば1ストロークデータごとなど、高頻度で認識処理を実行する。
電源状態に応じて認識処理が実行される頻度を制御する(下げる)ことで消費電力を低減でき、バッテリーの駆動時間を長くし、また、充電時間を短くすることができる。
<用語について>
入力手段とはタッチパネルに座標を指定して手書きが可能な手段であればよい。例えば、ペン、人の指や手、棒状部材などがある。ユーザーがディスプレーに入力手段を押しつけてから連続的に移動させた後、ディスプレーから離すという一連の操作をストロークという。ストロークデータとは、入力手段により入力される座標の軌跡に基づいてディスプレーに表示される情報である。ストロークデータは適宜、補間されてよい。ストロークにより手書きされたデータをストロークデータという。手書きデータは1つ以上のストロークデータを有する。ストロークデータに基づいてディスプレーに表示される表示物をオブジェクトという。
入力手段とはタッチパネルに座標を指定して手書きが可能な手段であればよい。例えば、ペン、人の指や手、棒状部材などがある。ユーザーがディスプレーに入力手段を押しつけてから連続的に移動させた後、ディスプレーから離すという一連の操作をストロークという。ストロークデータとは、入力手段により入力される座標の軌跡に基づいてディスプレーに表示される情報である。ストロークデータは適宜、補間されてよい。ストロークにより手書きされたデータをストロークデータという。手書きデータは1つ以上のストロークデータを有する。ストロークデータに基づいてディスプレーに表示される表示物をオブジェクトという。
文字認識とは手書きデータを文字コードに変換することを言う。日本語だけでなく英語などの多国語に変換することもできる。また、数字、記号(%、$、&など)、図形(線、丸、三角など)等にも変換できる。
電源状態とは、表示装置に供給される電力の状態である。本実施形態では、バッテリー動作状態A、バッテリー充電中状態B、及び、交流電源動作状態Cの3つの電源状態を例にするがこれ以外の電源状態もあり得る。例えば、バッテリー動作状態Aを残電力量に応じて更に複数の電源状態にわけること、バッテリー充電中状態Bを残電力量に応じて更に複数の電源状態にわけることができる。この場合、表示装置2は残電力量が少ないほど、認識処理の頻度を小さくする。
<ペンの外観の一例>
図3は、ペン2500の斜視図の一例を示す。図3は多機能なペン2500の一例を示す。電源を内蔵して表示装置2に命令を送信できるペン2500をアクティブペンという(電源を内蔵しないペンをパッシブペンという)。図3のペン2500は、物理的なスイッチがペン先に一つ、ペン尻に一つ、ペン側面に二つあり、ペン先が筆記用、ペン尻が消去用、ペン側面はユーザー機能割り当て用である。本実施形態のペン2500は不揮発性のメモリーを有しており、他のペンと重複しないペンIDを記憶している。
図3は、ペン2500の斜視図の一例を示す。図3は多機能なペン2500の一例を示す。電源を内蔵して表示装置2に命令を送信できるペン2500をアクティブペンという(電源を内蔵しないペンをパッシブペンという)。図3のペン2500は、物理的なスイッチがペン先に一つ、ペン尻に一つ、ペン側面に二つあり、ペン先が筆記用、ペン尻が消去用、ペン側面はユーザー機能割り当て用である。本実施形態のペン2500は不揮発性のメモリーを有しており、他のペンと重複しないペンIDを記憶している。
なお、スイッチ付きのペンであれば、ユーザーの表示装置2の操作手順を減らすことも可能である。スイッチ付きのペンとは主にアクティブペンを言うが、電磁誘導方式では電源を内蔵しないパッシブペンでもLC回路だけで電力を発生できるため、アクティブペンだけでなく電磁誘導方式のパッシブペンを含む。電磁誘導方式以外の光学方式、赤外線方式、及び、静電容量方式のスイッチのあるペンはアクティブペンである。
なお、ペン2500のハードウェア構成は、通信機能とマイコンを備えた一般的な制御方式と同様であるとする。ペン2500の座標の入力方式には、電磁誘導方式、アクティブ静電結合方式などがある。また、ペン2500は、筆圧検知、傾き検知、ホバー機能(ペンが触れる前にカーソルを表示)、などの機能を有していてよい。
<装置の全体構成>
図4を用いて、本実施形態に係る表示装置2の全体構成を説明する。図4は、表示装置2の全体構成図を示した図である。図4(a)では、表示装置2の一例として、壁につり下げられた横長の電子黒板として使用される表示装置2を示している。
図4を用いて、本実施形態に係る表示装置2の全体構成を説明する。図4は、表示装置2の全体構成図を示した図である。図4(a)では、表示装置2の一例として、壁につり下げられた横長の電子黒板として使用される表示装置2を示している。
図4(a)に示されているように、表示装置2の上部には表示装置の一例としてのディスプレー220が設置されている。ユーザーUは、ペン2500を用いて、ディスプレー220に文字等を手書きする(入力、描画ともいう)ことができる。
図4(b)は壁につり下げられた縦長の電子黒板として使用される表示装置2を示している。表示装置2は加速度センサーを有しており、重力方向から設置方向を検出できる。これにより、設置方向に関係なく文字認識が可能になる。
図4(c)は机230に平置きされた表示装置2を示す。表示装置2は厚みが1cm程度なので、一般の机に平置きしても机の高さを調整する必要がない。また、容易に移動できる。
<装置のハードウェア構成>
続いて、図5を用いて、表示装置2のハードウェア構成を説明する。表示装置2は図示するように情報処理装置又はコンピュータの構成を有している。図5は、表示装置2のハードウェア構成図の一例である。図5に示されているように、表示装置2は、CPU(Central Processing Unit)201、ROM(Read Only Memory)202、RAM(Random Access Memory)203、及び、SSD(Solid State Drive)204を備えている。
続いて、図5を用いて、表示装置2のハードウェア構成を説明する。表示装置2は図示するように情報処理装置又はコンピュータの構成を有している。図5は、表示装置2のハードウェア構成図の一例である。図5に示されているように、表示装置2は、CPU(Central Processing Unit)201、ROM(Read Only Memory)202、RAM(Random Access Memory)203、及び、SSD(Solid State Drive)204を備えている。
これらのうち、CPU201は、表示装置2全体の動作を制御する。ROM202は、CPU201やIPL(Initial Program Loader)等のCPU201の駆動に用いられるプログラムを記憶する。RAM203は、CPU201のワークエリアとして使用される。SSD204は、表示装置2用のプログラム等の各種データを記憶する。なお、プログラムは、プログラム配信サーバーから表示装置2がダウンロードしてもよいし、記憶媒体からインストールされてもよい。このプログラムはアプリケーションソフトと呼ばれる場合がある。
また、表示装置2は、ディスプレーコントローラー213、タッチセンサーコントローラー215、タッチセンサー216、ディスプレー220、電源スイッチ227、チルトセンサー217、シリアルインタフェース218、スピーカー219、マイク221、無線通信装置222、赤外線I/F223、電源制御回路224、バッテリー制御回路228、ACアダプター225、及びバッテリー226を備えている。
ディスプレーコントローラー213は、出力画像をディスプレー220等へ出力するために画面表示の制御及び管理を行う。タッチセンサー216は、ディスプレー220上にペン2500やユーザーの手等(ペンやユーザーの手は入力手段となる)が接触したことを検知する。また、タッチセンサー216はペンIDを受信する。
タッチセンサーコントローラー215は、タッチセンサー216の処理を制御する。タッチセンサー216は、座標の入力及び座標の検出を行う。この座標の入力及び座標の検出する方法は、例えば、光学式の場合、ディスプレー220の上側両端部に設置された2つ受発光装置が、ディスプレー220に平行して複数の赤外線を放射し、ディスプレー220の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する方法である。タッチセンサー216は、物体によって遮断された2つの受発光装置が放射した赤外線の位置情報をタッチセンサーコントローラー215に出力し、タッチセンサーコントローラー215が、物体の接触位置である座標位置を特定する。また、タッチセンサーコントローラー215は通信ユニット215aを有しており、ペン2500と無線で通信することができる。例えば、Bluetooth(登録商標)などの規格で通信している場合は、市販されているペンを使用することができる。通信ユニット215aに予め1つ以上のペン2500を登録しておくと、ユーザーはペン2500を表示装置2と通信させる接続設定を行わなくても通信できる。
電源スイッチ227は、表示装置2の電源のON/OFFを切り換えるためのスイッチである。チルトセンサー217は、表示装置2の傾き角度を検出するセンサーである。主に、表示装置2が図4(a)、図4(b)、又は、図4(c)のいずれかの設置状態で使用されているかを検出するために使用され、設置状態に応じて文字等の太さを自動で変更することができる。
シリアルインタフェース218はUSBなどの外部との通信インタフェースである。外部からの情報の入力などに使用される。スピーカー219は音声の出力に使用され、マイク221は音声の入力に使用される。無線通信装置222は、ユーザーが携帯する端末と通信し、例えばインターネットへの接続を中継する。無線通信装置222はWi-FiやBluetooth(登録商標)などで通信するが、通信規格は問われない。無線通信装置222はアクセスポイントを形成しており、ユーザーが入手したSSID(Service Set Identifier)とパスワードをユーザーが携帯する端末に設定すると、アクセスポイントに接続できる。
なお、無線通信装置222には2つのアクセスポイントが用意されているとよい。
a. アクセスポイント→インターネット
b. アクセスポイント→社内ネットワーク→インターネット
aのアクセスポイントは社外のユーザー用で、ユーザーは社内ネットワークにはアクセスできないが、インターネットを利用できる。bのアクセスポイントは社内のユーザー用で、ユーザーは社内ネットワーク及びインターネットを利用できる。
a. アクセスポイント→インターネット
b. アクセスポイント→社内ネットワーク→インターネット
aのアクセスポイントは社外のユーザー用で、ユーザーは社内ネットワークにはアクセスできないが、インターネットを利用できる。bのアクセスポイントは社内のユーザー用で、ユーザーは社内ネットワーク及びインターネットを利用できる。
赤外線I/F223は隣に配置された表示装置2を検出する。赤外線の直進性を利用して、隣に配置された表示装置2のみを検出できる。赤外線I/F223は各辺に1つずつ設けられることが好ましく、表示装置2のどの方向に他の表示装置2が配置されたのかを検出できる。これにより画面が広がり、隣の表示装置2に過去に手書きされた手書き情報(1つのディスプレー220の広さを1ページとして別のページの手書き情報)等を表示できる。
電源制御回路224は表示装置2の電源であるACアダプター225又はバッテリー226からの電力をCPU等に供給する。バッテリー制御回路228は表示装置2の電源であるバッテリー226の充電を制御する。ACアダプター225は商用電源が供給する交流を直流に変換する。詳細は図6を参照して説明する。
ディスプレー220がいわゆる電子ペーパーの場合、画像の表示を維持するためにほとんど又は一切電力を消費しないので、バッテリー226による駆動も可能である。これにより、屋外など電源を接続しにくい場所でもデジタルサイネージなどの用途で表示装置2を使用することが可能になる。
更に、表示装置2は、バスライン210を備えている。バスライン210は、図5に示されているCPU201等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
なお、タッチセンサー216は、光学式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する2つの抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルなど種々の検出手段を用いてもよい。タッチセンサー216は、ペン先のタッチの有無を検知するのに電子ペンが必要ない方式であってよい。この場合はタッチ操作をするのに指先やペン型の棒を使用できる。なお、ペン2500は、細長いペン型である必要はない。
<電源に関するハードウェアの説明>
図6は、本実施形態の説明のため、図5のうち電源に関するブロックを取り出したハードウェアの概略図である。図6において、実線は電力の流れを意味し、点線は情報の流れを意味している。
図6は、本実施形態の説明のため、図5のうち電源に関するブロックを取り出したハードウェアの概略図である。図6において、実線は電力の流れを意味し、点線は情報の流れを意味している。
ACアダプター225及びバッテリー226が電源制御回路224とバッテリー制御回路228にそれぞれ接続されている。電源制御回路224は、ACアダプター225からの電力をディスプレー220とCPU201に供給する。図6では図5のハードウェアブロックのうち代表的なものを示しているに過ぎず、他のハードウェアブロックにも電力は供給される。
バッテリー制御回路228はACアダプター225からの電力をバッテリーのSOC(State of Charge)に応じてバッテリーに226供給する。電源制御回路224はACアダプター225が接続されていない場合、バッテリー226からの電力をディスプレー220とCPU201に供給する。
CPU201は以下の情報を電源制御回路224及びバッテリー制御回路228から受け取る。
電源制御回路224:使用している電源の種類 (ACアダプターかバッテリーか)
バッテリー制御部33:バッテリー情報(バッテリー残量、充電中か否か、充電電流など)
CPU201がこれらの情報を取得することで電源状態を判断でき、電源状態に応じて手書きデータの認識処理の頻度を制御できる。
電源制御回路224:使用している電源の種類 (ACアダプターかバッテリーか)
バッテリー制御部33:バッテリー情報(バッテリー残量、充電中か否か、充電電流など)
CPU201がこれらの情報を取得することで電源状態を判断でき、電源状態に応じて手書きデータの認識処理の頻度を制御できる。
<装置の機能について>
次に、図7を用いて、表示装置2が有する機能について説明する。図7は表示装置2が有する機能をブロック状に示す機能ブロック図の一例である。表示装置2は、手書き入力部21、表示部22、手書き入力表示制御部23、候補表示タイマー制御部24、手書き入力保存部25、手書き認識制御部26、手書き認識辞書部27、文字列変換制御部28、文字列変換辞書部29、予測変換制御部30、予測変換辞書部31、バッテリー制御部33、電源制御部34、及び、非常情報受信部35を備えている。表示装置2が有する各機能は、図5に示されている各構成要素のいずれかが、SSD204からRAM203上に展開されたプログラムに従ったCPU201からの命令によって動作することで実現される機能又は手段である。
次に、図7を用いて、表示装置2が有する機能について説明する。図7は表示装置2が有する機能をブロック状に示す機能ブロック図の一例である。表示装置2は、手書き入力部21、表示部22、手書き入力表示制御部23、候補表示タイマー制御部24、手書き入力保存部25、手書き認識制御部26、手書き認識辞書部27、文字列変換制御部28、文字列変換辞書部29、予測変換制御部30、予測変換辞書部31、バッテリー制御部33、電源制御部34、及び、非常情報受信部35を備えている。表示装置2が有する各機能は、図5に示されている各構成要素のいずれかが、SSD204からRAM203上に展開されたプログラムに従ったCPU201からの命令によって動作することで実現される機能又は手段である。
手書き入力部21はタッチセンサー216等により実現されており、ユーザーによる手書き入力を受け付ける。手書き入力部21はユーザーのペン入力をペンID付きのペン操作データ(ペンアップ、ペンダウン、又はペン座標データ)に変換し、手書き入力表示制御部23に送信する。ペン座標データは離散値として定期的に送信され、離散値間の座標は補完計算される。
表示部22はディスプレー220等により実現され、手書きされたストロークデータ、認識後の文字列、及び、操作メニュー等を表示する。表示部22は手書き入力表示制御部23がビデオメモリーに書き込んだ描画データをディスプレー220の特性に応じたデータに変換し、ディスプレー220に送信する。
手書き入力表示制御部23は手書き入力と表示に関する全体的な制御を行う。手書き入力表示制御部23は手書き入力部21からのペン操作データを処理し、表示部22に送信することで表示させる。ペン操作データの処理及びストロークデータの表示の詳細は後述の図9~図14にて説明する。
候補表示タイマー制御部24は、選択可能候補の表示制御タイマーである。タイマーを開始又は停止して選択可能候補の表示を開始するタイミングと表示を消去するタイミングを生成する。選択可能候補とは、後述する操作ガイドに選択可能に表示される手書き認識文字列候補、言語文字列候補、変換文字列候補、文字列/予測変換の候補、及び、操作コマンドの候補、である。候補表示タイマー制御部24は手書き入力表示制御部23からタイマー開始要求(タイマー停止要求の場合もある)を受信し、タイムアウトイベントを手書き入力表示制御部23に送信する。
手書き入力保存部25はユーザーデータ(手書きデータ/認識後の文字列)を保存しておくストレージの機能を有する。手書き入力保存部25は手書き入力表示制御部23からユーザーデータを受信し、手書き入力保存部25に保存し、手書き入力表示制御部23から取得要求を受け取って、手書き入力保存部25に保存されたユーザーデータを送信する。
手書き認識制御部26はオンライン手書き認識(手書きデータの認識処理)を行う認識エンジンである。一般的なOCR(Optical Character Reader)とは異なり、ユーザーのペン操作と並行して文字(日本語だけでなく英語などの多国語)、数字、記号(%、$、&など)、図形(線、丸、三角など)等を認識していく。認識方法については様々なアルゴリズムが考案されているが、本実施形態では公知の技術を利用できるとして詳細を割愛する。
手書き認識制御部26はペン操作データを手書き入力表示制御部23から受信し、手書き認識を実行して手書き認識文字列候補を保持する。また、手書き認識制御部26は手書き認識辞書部27を使用して手書き認識文字列候補から変換した言語文字列候補を保持しておく。別途、取得要求を手書き入力表示制御部23から受信した場合、手書き認識制御部26は保持している手書き認識文字列候補及び言語文字列候補を手書き入力表示制御部23に送信する。
手書き認識辞書部27は手書き認識の言語変換用の辞書データである。手書き認識辞書部27は手書き認識文字列候補を手書き認識制御部26から受信し、言語的に確からしい言語文字列候補に変換して手書き認識制御部26に送信する。例えば、日本語の場合は、平仮名を漢字や片仮名へ変換する。
文字列変換制御部28は変換文字列候補の文字列への変換を制御する。変換文字列とは手書き認識文字列候補又は言語文字列候補を含んで生成される可能性が高い文字列である。文字列変換制御部28は手書き認識文字列候補及び言語文字列候補を手書き認識制御部26から受信し、文字列変換辞書部29を使用して変換文字列候補に変換して保持しておく。別途、取得要求を手書き入力表示制御部23から受信した場合、保持している変換文字列候補を手書き入力表示制御部23に送信する。
文字列変換辞書部29は文字列変換用の辞書データである。文字列変換辞書部29は文字列変換制御部28から手書き認識文字列候補及び言語文字列候補を受信し、変換文字列候補を文字列変換制御部28に送信する。
予測変換制御部30は手書き認識文字列及び言語文字列候補を手書き認識制御部26から受信し、変換文字列候補を文字列変換制御部28から受信する。予測変換制御部30はそれぞれについて予測変換辞書部31を使用して予測文字列候補に変換しておく。予測文字列候補とは手書き認識文字列候補、言語文字列候補又は変換文字列候補を含んで生成される可能性が高い文字列である。別途、取得要求を手書き入力表示制御部23から受信した場合、予測文字列候補を手書き入力表示制御部23に送信する。
予測変換辞書部31は予測変換用の辞書データである。予測変換辞書部31は手書き認識文字列候補、言語文字列候補と変換文字列候補を予測変換制御部30から受信し、予測文字列候補を予測変換制御部30に送信する。
バッテリー制御部33は、バッテリー情報 (バッテリー残量、充電中か否か、充電電流など)を電源制御部34に送信する。電源制御部34は、表示装置2が消費している電源の種類 (ACアダプター又はバッテリー)とバッテリー情報から電源状態を判断して、手書き入力表示制御部23に送信する。
・ACアダプター225が接続されていない…バッテリー動作状態A
・ACアダプター225が接続されている+バッテリー残量が0~99%で充電中…バッテリー充電中状態B
・ACアダプター225が接続されている+バッテリー残量が100%で充電中でない…交流電源動作状態C
手書き入力表示制御部23は電源制御部34から受信した電源状態に基づいて、認識処理を実行する頻度(文字認識モード)を判断する。
・ACアダプター225が接続されていない…バッテリー動作状態A
・ACアダプター225が接続されている+バッテリー残量が0~99%で充電中…バッテリー充電中状態B
・ACアダプター225が接続されている+バッテリー残量が100%で充電中でない…交流電源動作状態C
手書き入力表示制御部23は電源制御部34から受信した電源状態に基づいて、認識処理を実行する頻度(文字認識モード)を判断する。
非常情報受信部35は、例えばネットワークを介して通信するサーバーから非常情報(災害や停電といった消費電力の削減を求められる情報)を受信する。受信した場合、非常情報受信部35は、手書き入力表示制御部23に認識処理の頻度を下げる旨を通知する。例えば一括モードに切り替え、ユーザーからの指示がない限り認識処理を実行しないようにする。
<<電源状態(文字認識モード)と動作する機能ブロックの関係>
図7の機能ブロックと文字認識モードの対応を説明する。図7において点線で囲まれた機能ブロックは、文字認識モードに関係なく常に動作する。
図7の機能ブロックと文字認識モードの対応を説明する。図7において点線で囲まれた機能ブロックは、文字認識モードに関係なく常に動作する。
A.バッテリー動作状態(一括モード)
手書き入力部21、表示部22、手書き入力表示制御部23、候補表示タイマー制御部24、手書き入力保存部25、バッテリー制御部33、及び、電源制御部34が動作する。手書き認識制御部26、手書き認識辞書部27、文字列変換制御部28、文字列変換辞書部29、予測変換制御部30、予測変換辞書部31は動作しないので、駆動時間を延ばすことができる。
手書き入力部21、表示部22、手書き入力表示制御部23、候補表示タイマー制御部24、手書き入力保存部25、バッテリー制御部33、及び、電源制御部34が動作する。手書き認識制御部26、手書き認識辞書部27、文字列変換制御部28、文字列変換辞書部29、予測変換制御部30、予測変換辞書部31は動作しないので、駆動時間を延ばすことができる。
B.バッテリー充電中状態
Aの機能ブロックに加え、残りの機能ブロックも動作する。ただし、動作する頻度が交流電源動作状態Cよりも少ない。これにより、充電時間を短縮できる。
Aの機能ブロックに加え、残りの機能ブロックも動作する。ただし、動作する頻度が交流電源動作状態Cよりも少ない。これにより、充電時間を短縮できる。
C.交流電源動作状態
Aの機能ブロックに加え、残りの機能ブロックも制約なく高頻度で動作する。これにより、認識処理のレスポンスを短くすることができる
<選択可能候補の表示例>
続いて、図8を参照して、手書きデータの変換時に表示される操作ガイド500について説明する。図8は操作ガイド500と操作ガイド500が表示する選択可能候補530の一例である。ユーザーが手書きデータ504を手書きすることで、操作ガイド500が表示される。操作ガイド500は、操作ヘッダー520、操作コマンドの候補510、手書き認識文字列候補506、変換文字列候補507、文字列/予測変換の候補508、及び、手書きデータ矩形領域表示503を有している。選択可能候補530は、操作コマンドの候補510、手書き認識文字列候補506、変換文字列候補507、文字列/予測変換の候補508である。また、操作コマンドの候補510を除く選択可能候補530を文字列候補539という。
Aの機能ブロックに加え、残りの機能ブロックも制約なく高頻度で動作する。これにより、認識処理のレスポンスを短くすることができる
<選択可能候補の表示例>
続いて、図8を参照して、手書きデータの変換時に表示される操作ガイド500について説明する。図8は操作ガイド500と操作ガイド500が表示する選択可能候補530の一例である。ユーザーが手書きデータ504を手書きすることで、操作ガイド500が表示される。操作ガイド500は、操作ヘッダー520、操作コマンドの候補510、手書き認識文字列候補506、変換文字列候補507、文字列/予測変換の候補508、及び、手書きデータ矩形領域表示503を有している。選択可能候補530は、操作コマンドの候補510、手書き認識文字列候補506、変換文字列候補507、文字列/予測変換の候補508である。また、操作コマンドの候補510を除く選択可能候補530を文字列候補539という。
操作ヘッダー520はボタン501、509、502、505を有する。ボタン501は予測変換とカナ変換の切り替え操作を受け付ける。図8の例ではユーザーが「予測」と表示されているボタン501を押下すると、表示部22が「かな」というボタン501に表示を変更する。変更後は、文字列候補539が「カナ変換」の確率降順で並ぶ。
ボタン502は候補表示のページ操作のためのボタンである。図8の例では候補表示ページは3ページあり、現在は1ページ目を表示している。ボタン505は操作ガイド500の消去を受け付ける。ユーザーがボタン505を押下すると表示部22は手書きデータ以外の表示を消去する。ボタン509は一括表示消去を受け付ける。ユーザーがボタン509を押下すると表示部22は手書きデータを含め、図8に示されているすべての表示を消去して、ユーザーが最初から手書きをしなおすことを可能にする。
手書きデータ504はユーザーが手書きした「ぎ」という文字である。手書きデータ504を囲む手書きデータ矩形領域表示503が表示される。図8では一文字の入力で操作ガイド500が表示されているが、操作ガイド500が表示されるタイミングは、ユーザーが手書きを中断したタイミングである。したがって、手書きデータ504の文字数は任意である。
手書き認識文字列候補506、変換文字列候補507、文字列/予測変換の候補508にはそれぞれの文字列候補が確率降順で並んでいる。手書き認識文字列候補506の「ぎ」は認識結果の候補である。この例では正しく「ぎ」を認識している。
変換文字列候補507は「ぎ」のカナ漢字変換の結果(例えば「技」)から変換された変換文字列候補(例えば技を含む熟語)である。この例の「技量試」とは「技術量産試作」の略名である。文字列/予測変換の候補508は変換文字列候補507から変換された予測文字列候補である。この例では「技量試を決裁」と「議事録の送付先」が表示されている。
操作コマンドの候補510は認識された文字に応じて表示される、予め定義されている操作コマンド(ファイル操作、文字の編集などのコマンド)の候補である。図8の例では行頭文字の「》」511が操作コマンドの候補であることを示している。図8では「ぎ」の文字列候補である「議事録」が、操作コマンドの定義データと部分一致したため、操作コマンドの候補510として表示されている。
ユーザーが「議事録テンプレートを読み込む」を選択すると、定義データで定義された操作コマンドが実行される。このように操作コマンドの候補は、変換された文字列を含む操作コマンド定義データが見つかる場合に表示されるため、常に表示されるとは限らない。
なお、本実施形態では操作コマンドの表示処理は省略されているが、表示装置2が操作コマンド用の辞書を有することで図8のように表示できる。
<認識処理の動作手順>
以上の構成と図9~図14を用いて、表示装置2が手書きデータを認識する処理について説明する。図9~図14は表示装置2が文字列候補を表示する処理を説明する一例のシーケンス図である。図9の処理は、表示装置2が起動すると(アプリケーションが起動すると)スタートする。図9~図14では交流電源動作状態Cの認識処理を説明する。なお、図9~図14ではスペースの都合上、符号で図7の機能を示した。
以上の構成と図9~図14を用いて、表示装置2が手書きデータを認識する処理について説明する。図9~図14は表示装置2が文字列候補を表示する処理を説明する一例のシーケンス図である。図9の処理は、表示装置2が起動すると(アプリケーションが起動すると)スタートする。図9~図14では交流電源動作状態Cの認識処理を説明する。なお、図9~図14ではスペースの都合上、符号で図7の機能を示した。
S1:まず、手書き入力表示制御部23が手書きデータ開始を手書き入力保存部25に送信する。手書き入力保存部25は手書きデータ領域(手書きデータを保存するメモリー領域)を確保する。ユーザーがペンを手書き入力部21に接触させてから手書きデータ領域を確保してもよい。
S2:次にユーザーが手書き入力部21にペンを接触させる。手書き入力部21はペンダウンを検出して手書き入力表示制御部23に送信する。
S3:手書き入力表示制御部23は手書き入力保存部25にストローク開始を送信し、手書き入力保存部25はストローク領域を確保する。
S4:ユーザーがペンを手書き入力部21に接触させたまま移動させると、手書き入力部21はペン座標を手書き入力表示制御部23に送信する。
S5:手書き入力表示制御部23はペン座標補完表示データ(離散的なペン座標を補間するデータ)を表示部22に送信する。表示部22はペン座標補完表示データを用いてペン座標を補間して線を表示する。
S6:手書き入力表示制御部23はペン座標とその受信時刻を手書き入力保存部25に送信する。手書き入力保存部25はペン座標をストロークデータに追加する。ユーザーがペンを動かしている間は、手書き入力部21は定期的に手書き入力表示制御部23へのペン座標の送信を繰り返すため、ステップS4~S6の処理がペンアップされるまで繰り返される。
S7:ユーザーが手書き入力部21からペンを離すと、手書き入力部21はペンアップを手書き入力表示制御部23に送信する。
S8:手書き入力表示制御部23は手書き入力保存部25にストローク終了を送信し、手書き入力保存部25はストロークデータのペン座標を確定させる。ストロークデータのペン座標の確定により以降はストロークデータにペン座標を追加できなくなる。
S9:次に、手書き入力表示制御部23はすでに手書きされている手書きデータ近傍の矩形領域(外接矩形)に基づいて、手書きデータ近傍の矩形領域とストローク矩形領域の重なり状況取得を手書き入力保存部25に送信する。手書き入力保存部25は重なり状況を計算して重なり状況を手書き入力表示制御部23に送信する。
続く、ステップS10~S15は、手書きデータ近傍矩形領域とストローク矩形領域が重なっていない場合に実行される。
S10:手書きデータ近傍矩形領域とストローク矩形領域が重なっていない場合、1つの手書きデータが確定するので、手書き入力表示制御部23は保持データクリアを手書き認識制御部26に送信する。
S11,S12:手書き認識制御部26は保持データクリアをそれぞれ文字列変換制御部28、予測変換制御部30に送信する。手書き認識制御部26、文字列変換制御部28、予測変換制御部30がこれまでに保持している文字列候補と操作コマンドの候補に係るデータをクリアする。なお、クリアの時点では最後に手書きされたストロークデータは手書きデータに追加されていない。
S13:手書き入力表示制御部23は手書きデータ終了を手書き入力保存部25に送信する。手書き入力保存部25は手書きデータを確定させる。手書きデータの確定とは1つの手書きデータが完成したこと(これ以上、ストロークデータが追加されないこと)をいう。
S14:手書き入力表示制御部23は手書きデータ開始を手書き入力保存部25に送信する。次の手書きデータの手書きの開始(ペンダウン)に備えて、手書き入力保存部25は新しい手書きデータ領域を確保する。
S15:次に手書き入力表示制御部23はステップS8で終了したストロークデータに関してストローク追加を手書き入力保存部25に送信する。ステップS10~S15が実行された場合、追加されるストロークデータは手書きデータの最初のストロークデータであり、手書き入力保存部25は開始中の手書きデータにストロークデータを追加する。ステップS10~S15が実行されてない場合、追加されるストロークデータはすでに手書き中の手書きデータに追加される。
S16:続いて手書き入力表示制御部23はストローク追加を手書き認識制御部26に送信する。手書き認識制御部26は文字列候補が格納されるストロークデータ保持領域(ストロークデータが一時的に格納される領域)にストロークデータを追加する。
S17:次に、手書き認識制御部26はストロークデータに手書き認識を実行する。このように、交流電源動作状態Cでは1ストロークデータごとに認識処理が実行される。
S18:手書き認識制御部26は認識処理の実行結果の1つである手書き認識文字列候補を手書き認識辞書部27に送信する。手書き認識辞書部27は言語的に確からしい言語文字列候補を手書き認識制御部26に送信する。
S19:手書き認識制御部26は手書き認識文字列候補及び受信した言語文字列候補を文字列変換制御部28に送信する。
S20:文字列変換制御部28は手書き認識文字列候補及び言語文字列候補を文字列変換辞書部29に送信する。文字列変換辞書部29は変換文字列候補を文字列変換制御部28に送信する。
S21:文字列変換制御部28は受信した変換文字列候補を予測変換制御部30に送信する。
S22:予測変換制御部30は受信した変換文字列候補を予測変換辞書部31に送信する。予測変換辞書部31は予測文字列候補を予測変換制御部30に送信する。
S23:手書き認識制御部26は手書き認識文字列候補及び言語文字列候補を予測変換制御部30に送信する。
S24:予測変換制御部30は手書き認識文字列候補及び受信した言語文字列候補を予測変換辞書部31に送信する。予測変換辞書部31は予測文字列候補を予測変換制御部30に送信する。
以上のように、1つのストロークデータから予測文字列候補までが作成される。表示装置2はストロークデータが増えるたびに同じ処理を繰り返している。このため、消費電力が多くなる傾向がある。
手書き認識制御部26、文字列変換制御部28、及び、予測変換制御部30はそれぞれ手書き認識文字列候補、言語文字列候補、変換文字列候補、及び、予測文字列候補に係るデータを後段のステップS29~S31で手書き入力表示制御部23が取得できるよう保持しておく。
S16-2:手書き入力表示制御部23はステップS16でストローク追加を手書き認識制御部26に送信した直後、選択可能候補表示タイマー開始を候補表示タイマー制御部24に送信する。候補表示タイマー制御部24はこの選択可能候補表示タイマーを開始する。
続く、ステップS25~S27は一定時間が経過する前に(タイマーがタイムアウトする前に)ペンダウンが発生した場合に実行される。つまり、ユーザーが続けて手書きしている場合である。
S25:選択可能候補表示タイマーがタイムアウトする前に、ユーザーが手書き入力部21にペンを接触させた場合、手書き入力部21はペンダウン(ステップS2と同じイベント)を手書き入力表示制御部23に送信する。
S26:手書き入力表示制御部23はストローク開始(ステップS3と同じ)を手書き入力保存部25に送信する。この後のシーケンスはステップS3以降と同じである。
S27:更に手書き入力表示制御部23は選択可能候補表示タイマー停止を候補表示タイマー制御部24に送信する。候補表示タイマー制御部24は選択可能候補表示タイマーを停止させる。ペンダウンが検出されたので選択可能候補表示タイマーが不要になるからである。
ステップS28~S53は一定時間が経過する前に(選択可能候補表示タイマーがタイムアウトする前に)ペンダウンが発生しない場合に実行される。したがって、図8に示した操作ガイド500が表示される。
S28:選択可能候補表示タイマー開始中にユーザーが手書き入力部21にペンを接触させなかった場合、候補表示タイマー制御部24はタイムアウトを手書き入力表示制御部23に送信する。
S29:手書き入力表示制御部23は手書き認識文字列候補と言語文字列候補の取得を手書き認識制御部26に送信する。手書き認識制御部26は現在保持している手書き認識文字列候補と言語文字列候補を手書き入力表示制御部23に送信する。
S30:手書き入力表示制御部23は変換文字列候補の取得を文字列変換制御部28に送信する。文字列変換制御部28は現在保持している変換文字列候補を手書き入力表示制御部23に送信する。
S31:手書き入力表示制御部23は予測文字列候補の取得を予測変換制御部30に送信する。予測変換制御部30は現在保持している予測文字列候補を手書き入力表示制御部23に送信する。
S32:更に、手書き入力表示制御部23は推定書字方向取得を手書き入力保存部25に送信する。手書き入力保存部25は手書きデータ矩形領域の水平距離と垂直距離から判断して、推定書字方向(縦書き、横書き)を手書き入力表示制御部23に送信する。
S33:手書き入力表示制御部23はこれらの手書き認識文字列候補(図8では「ぎ」)、言語文字列候補(図8では表示がないが例えば「議」「技」)、変換文字列候補(図8では「議事録」「技量試」)、予測文字列候補(図8では「技量試を決済」「議事録の送付先」)、操作コマンドの候補(図8では「議事録テンプレートを読み込む」「議事録フォルダーに保存する)、各選択確率、及び、推定書字方向から図8のような選択可能候補表示データを作成する。手書き入力表示制御部23は選択可能候補表示データを表示部22に送信することで表示させる。
S34:また、手書き入力表示制御部23は手書きデータの矩形領域表示データ(矩形枠)(図8では手書きデータ矩形領域表示503)を、表示部22に送信することで表示させる。
S35:手書き入力表示制御部23は選択可能候補表示データの表示から一定時間後に消去するため選択可能候補消去タイマー開始を候補表示タイマー制御部24に送信する。候補表示タイマー制御部24はこの選択可能候補消去タイマーを開始する。
ステップS36~S40は、選択可能候補消去タイマー開始中に、ユーザーが表示部22に表示された選択可能候補表示を消去したか、手書きデータの変化が発生した場合(即ち手書きデータのストロークデータの追加、削除、移動、変形又は分割された場合)、又は、タイムアウトまでに候補が選択されなかった場合に実行される。
更に、ステップS36~S37は、候補表示が消去された場合に実行される。
S36:手書き入力部21は選択可能候補消去を手書き入力表示制御部23に送信する。
S37:手書き入力表示制御部23は選択可能候補消去タイマー停止を送信する。候補表示タイマー制御部24は選択可能候補消去タイマーを停止する。ユーザーが消去したため選択可能候補消去タイマーが不要になるからである。
S39:手書き入力表示制御部23は選択可能候補表示データ消去を表示部22に送信することで、表示を消去させる。
S40:手書き入力表示制御部23は手書きデータの矩形領域表示データ消去を表示部22に送信することで、表示を消去させる。したがって、手書きデータはそのまま表示が維持される。
S38:一方、選択可能候補消去タイマー開始中に、選択可能候補消去が発生しなかった場合(ユーザーがペン操作をしなかった場合は)、候補表示タイマー制御部24はタイムアウトを手書き入力表示制御部23に送信する。
選択可能候補消去タイマーのタイムアウトの後も同様に、手書き入力表示制御部23はステップS39とS40を実行する。一定時間の経過で選択可能候補表示データ、手書きデータの矩形領域表示データを消去してよいためである。
選択可能候補消去タイマー開始中に、ユーザーが選択可能候補を選択した場合、ステップS41~S53が実行される。
S41:選択可能候補消去タイマー開始中に、ユーザーが選択可能候補を選択した場合、手書き入力部21は文字列候補又は操作コマンドの候補選択を手書き入力表示制御部23に送信する。
S42:手書き入力表示制御部23は選択可能候補消去タイマー停止を候補表示タイマー制御部24に送信する。候補表示タイマー制御部24はこの選択可能候補消去タイマーを停止する。
S43:次に手書き入力表示制御部23は保持データクリアを手書き認識制御部26に送信する。
S44:手書き認識制御部26は保持データクリアを文字列変換制御部28に送信する。
S45:手書き認識制御部26は保持データクリアを予測変換制御部30に送信する。
手書き認識制御部26、文字列変換制御部28、及び、予測変換制御部30は、これまで保持していた文字列候補に係るデータをクリアする。
S46:次に手書き入力表示制御部23は選択可能候補表示データ消去を表示部22に送信することで表示を消去させる。
S47:手書き入力表示制御部23は手書きデータの矩形領域表示データ消去を表示部22に送信することで表示を消去させる。
S48:手書き入力表示制御部23は手書きデータ表示データ消去及びステップS5で送信したペン座標補完表示データ消去を表示部22に送信することで表示を消去させる。文字列候補又は操作コマンドの候補が選択されたため、手書きデータ等が不要になるためである。
S49:手書き入力表示制御部23は手書きデータ削除を手書き入力保存部25に送信する。認識結果が表示されるため、手書きのストロークデータは不要になるからである。
S50:文字列候補が選択された場合、手書き入力表示制御部23は認識で得た(ユーザーが選択した)文字列の追加を手書き入力保存部25に送信する。
S51:更に手書き入力表示制御部23は文字列データフォント取得を手書き入力保存部25に送信する。手書き入力保存部25は手書きデータの推定文字サイズから定義済みフォントを選択して手書き入力表示制御部23に送信する。
S52:次に手書き入力表示制御部23は手書き入力保存部25から受信した定義済みフォントを使用して、手書きデータと同じ位置に表示させる文字列データ表示データを表示部22に送信させることで、表示させる。
S53:次の手書きデータのために手書き入力表示制御部23は手書きデータ開始を手書き入力保存部25に送信する。手書き入力保存部25は手書きデータ領域を確保する。これ以降、ステップS2~S53の処理が繰り返される。
<認識処理の概略>
続いて、図15を参照して、認識処理の概略について説明する。図15は、手書き認識制御部26が文字を認識する処理の概略を説明する図である。図15では「木」という文字を認識する場合を説明する。
続いて、図15を参照して、認識処理の概略について説明する。図15は、手書き認識制御部26が文字を認識する処理の概略を説明する図である。図15では「木」という文字を認識する場合を説明する。
(1) ユーザーが木の第一画のストロークデータを手書きする。手書き認識制御部26は第一画のストロークデータを形状が予め定義されている基本ストロークとパターンマッチングする。パターンマッチングとは、データを検索する場合に、特定のパターンが出現するかどうか、またどこに出現するかを特定する手法、又は、情報の特徴に基づき手書き文字、図形、音声などを予め登録されている多数の標準パターンと比較・認識することをいう。パターン認識ともいう。
基本ストロークはひらがな、カタカナ、漢字、数字、アルファベット、図形が含むストロークデータを1つずつ取り出しある程度の抽象化・共通化したものである。換言すると、全ての文字等は基本ストロークを合成してできている。基本ストロークは日本語、英語、図形、又は、数字のうちどれの基本ストロークであるかが識別されている。
(2) 手書き認識制御部26は、第一画のストロークデータと全ての基本ストロークとパターンマッチングを行い、それぞれの基本ストロークで類似の程度を表す確度を算出する。形状が似ている基本ストロークほど高い確度が算出される。
(3) 次に、手書き認識制御部26は確度が高い上位のN個の基本ストロークで基本形状辞書301~304を検索する。つまり、第一画で完結するか、又は、第一画を含む文字等を基本形状辞書301~304から取得する。基本形状辞書301~304は日本語用、英語用、図形用、数字用などに分かれており、それぞれから候補を検索できるようになっている。例えば「一(いち)」「-(横線)」などが検索に適合する。
(4) 手書き認識制御部26は第二画についても同様の処理を行う。したがって、第二画と各基本ストロークとの確度が算出される。なお、複数のストロークデータが何文字分に相当するかは手書き内容によって変わるので、手書き認識制御部26は空白で一文字に区切って認識するか、又は、複数の文字に対応した基本形状辞書301~304を使用する。
(5) 手書き認識制御部26は第一画目で上位のN個の基本ストロークと第二画目で上位のN個の基本ストロークを組み合わせてN×N個の文字を生成する。Nを2とすると2×2=4つの文字が生成される。手書き認識制御部26はこれらの文字で基本形状辞書301~304を検索する。つまり、第一画と第二画で完結するか、又は、第一画と第二画を含む文字等を基本形状辞書301~304から取得する。例えば「十」「ナ」などが検索に適合する。
このように、手書き認識制御部26は1つのストロークデータごとに認識処理を実行でき、ユーザーがペンアップして選択可能候補表示タイマーがタイムアウトした(S28)場合はすぐに文字列候補を表示できる。
<各電源状態で認識処理が実行される頻度>
図9~図14のシーケンス図で説明したように、手書き入力表示制御部23が手書き認識制御部26にストロークデータを追加すると、手書き認識制御部26が認識処理を開始する。したがって、認識処理の頻度を制御するには、手書き入力表示制御部23が手書き認識制御部26にストロークデータを追加する頻度を制御すればよい。このため、手書き入力表示制御部23は、図16に示すような頻度制御テーブルを有している。
図9~図14のシーケンス図で説明したように、手書き入力表示制御部23が手書き認識制御部26にストロークデータを追加すると、手書き認識制御部26が認識処理を開始する。したがって、認識処理の頻度を制御するには、手書き入力表示制御部23が手書き認識制御部26にストロークデータを追加する頻度を制御すればよい。このため、手書き入力表示制御部23は、図16に示すような頻度制御テーブルを有している。
図16は頻度制御テーブルの一例を示す。頻度制御テーブルでは電源状態に認識処理の頻度が対応づけられている。認識処理の頻度はストローク数で表されている。例えば、バッテリー動作状態Aには無限大のストローク数が対応づけられている。これは、例えばアイコンの押下などユーザー操作が入力されないと認識処理が実行されないことを示す。また、バッテリー充電中状態Bには「10本」のストローク数が対応づけられている。また、「交流電源動作状態C」には「1本」のストローク数が対応づけられている。
手書き入力表示制御部23は、手書き入力保存部25に追加したストロークデータの数をカウントすると共に、頻度制御テーブルを参照して、頻度制御テーブルで決まっている所定数(2以上)のストロークデータを手書き入力保存部25に追加すると、手書き認識制御部26に認識処理を要求する。なお、「10本」は一例であって、適宜設定される。また、ユーザーが所望のストローク数を設定してもよい。
手書き認識制御部26は例えば10本分のストロークデータに対し認識処理を行う。10本分のストロークデータが何文字分に相当するかは手書き内容に応じて変動するが、日本語と英語の活字体の場合は一文字ごとに空白があり、一文字ごとに区分される。英語の筆記体の場合は例えば単語単位で認識される。
ただし、手書き認識制御部26は10本分のストロークデータに到達しなくても、選択可能候補表示タイマーのタイムアウトにより、ストロークデータに対し認識処理を行う。選択可能候補表示タイマーがタイムアウトした場合、ユーザーが手書きを終え、文字列候補539を表示させたいと考えられるためである。したがって、バッテリー充電中状態Bの場合、「10本」のストロークデータが手書きされた場合、又は、選択可能候補表示タイマーがタイムアウトした場合に、手書き入力表示制御部23は手書き認識制御部26に認識処理を要求する。
手書き認識制御部26は10本分のストロークデータのうち1文字に区分した1つ以上のストロークデータに対し図15で説明した処理を行う。この場合、1ストロークデータごとの基本形状辞書301~304の検索が不要になり、1文字分のストロークデータの組み合わせで生成された文字で基本形状辞書301~304を検索すればよい。このことは、10本分のストロークデータに対し認識処理を行うことで消費電力を低減できること意味する。
なお、この場合、一文字の一部で認識処理が実行される場合もある。例えば、図17に示すように、ユーザーが「言葉の森」と手書きしようとしたのに「森」の途中まで手書きした状態で認識処理が実行される場合がある。この場合、手書き認識制御部26は「言葉の木」と認識するが、ユーザーは手書きを続けているので、選択可能候補表示タイマーがタイムアウトしないため、「言葉の木」が表示されることはない。表示されるのは、ユーザーが「言葉の森」まで書き終えて、選択可能候補表示タイマーがタイムアウトした場合である。
<電源状態に応じた認識処理の頻度の制御>
図18は、表示装置2が電源状態に応じて認識処理の頻度を制御する手順を示すフローチャート図の一例である。図18の処理は、手書き入力表示制御部23が手書き入力保存部25にストローク終了を通知すると(図10のS8)スタートする。
図18は、表示装置2が電源状態に応じて認識処理の頻度を制御する手順を示すフローチャート図の一例である。図18の処理は、手書き入力表示制御部23が手書き入力保存部25にストローク終了を通知すると(図10のS8)スタートする。
手書き入力表示制御部23は、電源制御部34が通知する電源状態がバッテリー動作状態Aか否かを判断する(S101)。
ステップS101の判断がYesの場合、手書き入力表示制御部23は文字認識モードを一括モードに設定する(S102)。したがって、ユーザーの指示があるまで、手書き認識制御部26にストロークデータを通知しない(図11のS16を行わない)。
ステップS101の判断がNoの場合、手書き入力表示制御部23はバッテリー充電中状態Bか否かを判断する(S103)。
ステップS103の判断がYesの場合、手書き入力表示制御部23は文字認識モードをリアルタイム(低)モードに設定する(S104)。したがって、手書き入力表示制御部23は手書き入力保存部25に追加されたストロークデータの数をカウントし、頻度制御テーブルでリアルタイム(低)モードに対応づけられたストロークの数になるまで、手書き認識制御部26にストロークデータを通知しない(図11のS16を行わない)。
ステップS103の判断がNoの場合、手書き入力表示制御部23は文字認識モードをリアルタイム(高)モードに設定する(S105)。したがって、手書き入力表示制御部23は1ストロークデータごとに手書き認識制御部26にストロークデータを通知する(ストロークデータごとに図11のS16を行う)。
<非常時の処理について>
続いて、図19を参照して、表示装置2が非常情報を受信した場合の処理について説明する。図19は、表示装置2が非常情報を受信した場合に認識処理の頻度を制御する手順を示すフローチャート図の一例である。
続いて、図19を参照して、表示装置2が非常情報を受信した場合の処理について説明する。図19は、表示装置2が非常情報を受信した場合に認識処理の頻度を制御する手順を示すフローチャート図の一例である。
非常情報受信部35は、非常情報を受信したか否かを判断する(S201)。非常情報は、表示装置2で消費する電力を低減すべき状況が生じたことを知らせる情報である。屋内であれば、表示装置2の電力よりも他の装置に電力を優先すべき状況が生じたことを知らせる情報である。野外であれば、バッテリー動作時間を増大すべき状況が生じたことを知らせる情報である。
非常情報は、例えば地震、停電、火災、水害などの発生を知らせる情報である。非常時に非常電源が供給される病院などではこのような状況になりやすい。病院に限らず、表示装置2よりも他の装置に優先的に電力を供給したい施設は少なくない。
非常情報は、表示装置2が設置された施設内のサーバーから送信されてもよいし、クラウド上のサーバーから送信されてもよい。また、LANで送信されても電話回線で送信されてもよい。
ステップS201の判断がYesの場合、手書き入力表示制御部23は文字認識モードを一括モードに設定する(S102)。したがって、ユーザーの指示があるまで、手書き認識制御部26にストロークデータを通知しない(図11のS16を行わない)。以降の処理は図18と同様でよい。
<電源状態の改善に伴う一括変換>
電源状態がバッテリー動作状態Aの表示装置2にバッテリーケーブルが接続される場合がある。ユーザーが認識処理を実行していないストロークデータがある可能性が高いので、自動的に一括認識を行うとユーザーの手間を低減できる。
電源状態がバッテリー動作状態Aの表示装置2にバッテリーケーブルが接続される場合がある。ユーザーが認識処理を実行していないストロークデータがある可能性が高いので、自動的に一括認識を行うとユーザーの手間を低減できる。
図20は、電源状態が改善した場合、表示装置2が一括認識を行う処理を説明するフローチャート図の一例である。図20の説明では図18との相違を説明する。
ステップS102で一括モードであると判断された後、又は、ステップS104でリアルタイム(低)モードであると判断された後、手書き入力表示制御部23は電源状態に基づいて電源状態が改善されたか否かを判断する(S106)。すなわち、バッテリー動作状態Aからバッテリー充電中状態B(又は交流電源動作状態Cでもよい)に変化した場合、又は、バッテリー充電中状態Bから交流電源動作状態Cに変化した場合、電源状態が改善されたと判断する。
ステップS106の判断がYesの場合、手書き入力表示制御部23は手書き入力保存部25に保存されている文字認識されていないストロークデータの一括認識を行う(S107)。
図21は、手書き入力保存部25に保存されている保存データを模式的に示す。図21の1行が1つのストロークデータを表す。1つの保存データは、DataId、Type、PenId, Color, Width, Pattern, Angle、AccountId 、StartPoint、StartTime、EndPoint、EndTime、Point、及び、Pressureの各項目を有している。
DataIdはストロークデータの識別情報である。Typeはストロークデータの種別である。種別にはストローク(Stroke)、及びテキスト(Text)がある。手書き入力保存データ801、802の種別はStrokeであり、手書き入力保存データ804の種別はテキストである。PenId、Color, Width, Pattern, Angle、AccountIdは、ペン2500のID、色、太さ、線種、向き、である。StartPointはストロークデータの始点座標であり、StartTimeはストロークデータの始点時刻である。EndPointはストロークデータの終点座標であり、EndTimeはストロークデータの終点時刻である。Pointは始点から終点までの座標点列であり、Pressureは始点から終点までの筆圧である。
したがって、手書き入力表示制御部23はType=Strokeの保存データを手書き入力保存部25から取得して手書き認識制御部26に認識処理を要求する。
このように、認識処理を実行していないストロークデータがある場合、電源状態の改善に応じて、一括認識を行うことでユーザーの手間を低減できる。
<電源状態に応じた検索範囲の広さの制御>
電源状態に応じて認識処理の頻度を制御することに加え、ストロークデータのパターンマッチングの範囲、及び、変換候補の検索範囲の広さを制御することで更に消費電力を抑制することが可能になる。
電源状態に応じて認識処理の頻度を制御することに加え、ストロークデータのパターンマッチングの範囲、及び、変換候補の検索範囲の広さを制御することで更に消費電力を抑制することが可能になる。
まず、パターンマッチングの範囲について説明する。図15で説明したように、1つのストロークデータは基本ストロークとパターンマッチングされる。各基本ストロークは日本語、英語、図形、又は、数字のどれから抽出されたのか識別されているので、パターンマッチングの対象の基本ストロークを少なくすれば、消費電力を低減できる。例えば、手書き認識制御部26は、電源状態に応じて以下のように、認識処理において比較の対象とする基本ストロークの検索範囲の広さを制御する。
・バッテリー動作状態A(一括モード)…手書き認識制御部26は日本語の基本ストロークのみとパターンマッチングする。また、日本語用の基本形状辞書のみを検索する。
・バッテリー充電中動作状態(リアルタイム(低)モード)…手書き認識制御部26は日本語、数字の基本ストロークのみとパターンマッチングする。また、日本語用と数字用の基本形状辞書のみを検索する。
・交流電源動作状態C(リアルタイム(高)モード)…手書き認識制御部26は全ての基本ストロークとパターンマッチングする。また、全ての基本形状辞書を検索する。
・バッテリー動作状態A(一括モード)…手書き認識制御部26は日本語の基本ストロークのみとパターンマッチングする。また、日本語用の基本形状辞書のみを検索する。
・バッテリー充電中動作状態(リアルタイム(低)モード)…手書き認識制御部26は日本語、数字の基本ストロークのみとパターンマッチングする。また、日本語用と数字用の基本形状辞書のみを検索する。
・交流電源動作状態C(リアルタイム(高)モード)…手書き認識制御部26は全ての基本ストロークとパターンマッチングする。また、全ての基本形状辞書を検索する。
次に、変換候補の検索範囲について説明する。図7に示したように、表示装置2は文字列変換辞書部29と予測変換辞書部31とを有している。文字列変換辞書部29と予測変換辞書部31も日本語、英語、図形、及び、数字に分かれているので、検索する辞書の種類を少なくすれば、消費電力を低減できる。
また、文字列変換制御部28は文字列変換辞書部29により「ぎ」を「技量試」「議事録」等の変換文字列候補507に変換できるが、何文字まで変換文字列候補507を検索するかによって消費電力が異なる。つまり、辞書から取得する文字列の文字数を少なくすれば消費電力を低減できる。例えば「技量試」「議事録」の3文字の変換文字列候補507を「技量」「議事」の2文字に制限することで検索時間が短くなり消費電力を低減できる。
文字列/予測変換の候補508についても同様に、例えば「議事録の送付先」の文字列/予測変換の候補508を「議事録の」「議事録を」のように文字数を制限することで検索時間が短くなり消費電力を低減できる。
以上から、文字列変換制御部28と予測変換制御部30は、電源状態に応じて例えば以下のように変換候補の検索範囲の広さを制御する。
・バッテリー動作状態A(一括モード)…日本語の辞書のみを検索する。また、変換文字列候補507を1文字に制限し、文字列/予測変換の候補508を3文字に制限する。
・バッテリー充電中動作状態(リアルタイム(低)モード)…日本語、数字の辞書のみを検索範囲とする。また、変換文字列候補507を2文字に制限し、文字列/予測変換の候補508を4文字に制限する。
・バッテリー動作状態A(一括モード)…日本語の辞書のみを検索する。また、変換文字列候補507を1文字に制限し、文字列/予測変換の候補508を3文字に制限する。
・バッテリー充電中動作状態(リアルタイム(低)モード)…日本語、数字の辞書のみを検索範囲とする。また、変換文字列候補507を2文字に制限し、文字列/予測変換の候補508を4文字に制限する。
なお、フローチャート図は図18と同様になり、ステップS102,S104、S105で手書き認識制御部26はパターンマッチングの範囲を制御し、文字列変換制御部28と予測変換制御部30は変換候補の検索範囲を制御する。
このようにストロークデータのパターンマッチングの範囲、及び、変換候補の検索範囲を制御することで更に消費電力を抑制することが可能になる。
<電源状態の表示例>
図22は、表示装置のディスプレーに表示される電源状態の一例を示す。図22(a)はディスプレー220の表示例を示す。ディスプレー220には電源状態を示すバッテリーのアイコン330が表示される(図22(d)参照)。
図22は、表示装置のディスプレーに表示される電源状態の一例を示す。図22(a)はディスプレー220の表示例を示す。ディスプレー220には電源状態を示すバッテリーのアイコン330が表示される(図22(d)参照)。
図22(b)はバッテリー動作状態Aのアイコン330を示す。図22(c)はバッテリー充電中状態Bのアイコン330を示す。図22(d)は、交流電源動作状態Cのアイコン330を示す。ユーザーはアイコン330を見て現在の電源状態を把握できる。
更に、表示装置2は図22(a)に示すように文字認識モードを表示してもよい。図22(a)ではバッテリー動作状態Aに対応して「現在、一括モードです」というメッセージ310が表示されている。ユーザーは手書きデータがどのように変換されるかを把握できる。バッテリー充電中状態Bの場合は「現在、リアルタイム(低)モードです」と表示され、交流電源動作状態Cの場合は「現在、リアルタイム(高)モードです」と表示される。なお、メッセージ310とアイコン330は常時、表示されてもよいし、定期的に表示されてもよいし、ユーザー操作で表示されてもよい。
<主な効果>
以上説明したように、本実施形態によれば、電源状態に応じて認識処理が実行される頻度を制御(下げる)ことで消費電力を低減でき、バッテリーの駆動時間を長くし、また、充電時間を短くすることができる。
以上説明したように、本実施形態によれば、電源状態に応じて認識処理が実行される頻度を制御(下げる)ことで消費電力を低減でき、バッテリーの駆動時間を長くし、また、充電時間を短くすることができる。
以下の実施例では表示装置2の別の構成例について説明する。
<<表示装置の別の構成例1>>
本実施形態の表示装置2は大型のタッチパネルを有するものとして説明されているが、表示装置2はタッチパネルを有するものに限られない。
本実施形態の表示装置2は大型のタッチパネルを有するものとして説明されているが、表示装置2はタッチパネルを有するものに限られない。
図23は、表示装置2の他の構成例を示す図である。図23では、通常のホワイトボード413の上辺にプロジェクター411が設置されている。このプロジェクター411が表示装置2に相当する。通常のホワイトボード413とは、タッチパネルと一体のフラットパネルディスプレーではなく、ユーザーがマーカーで直接、手書きするホワイトボードである。なお、ホワイトボードは黒板でもよく、映像を投影するだけの広さの平面であればよい。
プロジェクター411は超短焦点の光学系を有しており、10cm程度から歪みの少ない映像をホワイトボード413に投影できる。この映像は、無線又は有線で接続されたPC400-1から送信されてもよいし、プロジェクター411が記憶していてもよい。
ユーザーは専用の電子ペン2501を使ってホワイトボード413に手書きする。電子ペン2501は、ユーザーが手書きのためにホワイトボード413に押しつけるとスイッチがONになり発光する発光部を例えば先端部に有している。光の波長は近赤外や赤外なのでユーザーの目には見えない。プロジェクター411はカメラを有しており、発光部を撮像して画像を解析し電子ペン2501の方向を特定する。また、電子ペン2501は発光と共に音波を発信しており、プロジェクター411は音波の到達時間により距離を算出する。方向と距離により電子ペン2501の位置を特定できる。電子ペン2501の位置には手書きされたデータが描画(投影)される。
プロジェクター411はメニュー430を投影するので、ユーザーが電子ペン2501でボタンを押下すると、プロジェクター411が電子ペン2501の位置とスイッチのON信号により押下されたボタンを特定する。例えば、保存ボタン431が押下されると、ユーザーが手書きした手書きされたデータ(座標点列)がプロジェクター411で保存される。プロジェクター411は、予め定められたサーバー412又はUSBメモリー2600等に手書き情報を保存する。手書き情報はページごとに保存されている。画像データではなく座標のまま保存されるので、ユーザーが再編集することができる。ただし、本実施形態では操作コマンドを手書きで呼び出せるのでメニュー430は表示されなくてもよい。
<<表示装置の別の構成例2>>
図24は、表示装置2の他の構成例を示す図である。図24の例では、表示装置2として、端末装置600、画像投影装置700A、及び、ペン動作検出装置810を有する。
図24は、表示装置2の他の構成例を示す図である。図24の例では、表示装置2として、端末装置600、画像投影装置700A、及び、ペン動作検出装置810を有する。
端末装置600は、画像投影装置700A及びペン動作検出装置810と有線で接続されている。画像投影装置700Aは、端末装置600により入力された画像データをスクリーン800に投影させる。
ペン動作検出装置810は、電子ペン820と通信を行っており、スクリーン800の近傍における電子ペン820の動作を検出する。具体的には、電子ペン820は、スクリーン800上において、電子ペン820が示している点を示す座標情報を検出し(検出方法は図23と同様でよい)、端末装置600へ送信する。
端末装置600は、ペン動作検出装置810から受信した座標情報に基づき、電子ペン820によって入力される手書きデータの画像データを生成し、画像投影装置700Aによって手書きデータの画像をスクリーン800に描画させる。
また、端末装置600は、画像投影装置700Aに投影させている背景画像と、電子ペン820によって入力された手書データの画像とを合成した重畳画像を示す重畳画像データを生成する。
<<表示装置の別の構成例3>>
図25は、表示装置2の構成例を示す図である。図25の例では、表示装置2として、端末装置600と、ディスプレー800Aと、ペン動作検出装置810とを有する。
図25は、表示装置2の構成例を示す図である。図25の例では、表示装置2として、端末装置600と、ディスプレー800Aと、ペン動作検出装置810とを有する。
ペン動作検出装置810は、ディスプレー800Aの近傍に配置され、ディスプレー800A上に、電子ペン820Aが示している点を示す座標情報を検出し(検出方法は図23と同様でよい)、端末装置600へ送信する。なお、図25の例では、電子ペン820Aは、端末装置600によってUSBコネクタを介して充電されても良い。
端末装置600は、ペン動作検出装置810から受信した座標情報に基づき、電子ペン820Aによって入力される手書データの画像の画像データを生成し、ディスプレー800Aに表示させる。
<<表示装置の別の構成例4>>
図26は、表示装置2の構成例を示す図である。図26の例では、表示装置2として、端末装置600と、画像投影装置700Aとを有する。
図26は、表示装置2の構成例を示す図である。図26の例では、表示装置2として、端末装置600と、画像投影装置700Aとを有する。
端末装置600は、電子ペン820Bと無線通信(Bluetooth(登録商標)等)を行って、スクリーン800上において電子ペン820Bが示す点の座標情報を受信する。座標情報は、スクリーン800に形成された微小な位置情報を電子ペン820Bが読み取ってもよいし、スクリーン800から座標情報を受信してもよい。
そして、端末装置600は、受信した座標情報に基づき、電子ペン820Bにより入力される手書データの画像の画像データを生成し、画像投影装置700Aに手書データの画像を投影させる。
また、端末装置600は、画像投影装置700Aに投影させている背景画像と、電子ペン820によって入力された手書データの画像とを合成した重畳画像を示す重畳画像データを生成する。
以上のように、上記した各実施形態は、様々なシステム構成において適用することができる。
<その他の適用例>
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
文字列は文字コードとして、手書きデータは座標点データとして表示装置2に保存される。また、各種の記憶媒体に保存したり、ネットワーク上の記憶装置に保存したりしておいて、後で、表示装置2からダウンロードして再使用することができる。再使用する表示装置2はどの表示装置でもよく、一般的な情報処理装置でもよい。したがって、ユーザーは手書きした内容を異なる表示装置2で再現して会議などを継続することができる。
例えば、本実施形態では電子黒板を一例として説明したが、電子黒板は、電子ホワイトボード、電子情報ボード、手書き入力装置などと呼ばれてよい。また、本実施形態は、タッチパネルを有する情報処理装置であれば好適に適用できる。タッチパネルを搭載した情報処理装置としては、例えば、PJ(Projector:プロジェクター)、デジタルサイネージ等の出力装置、HUD(Head Up Display)装置、産業機械、撮像装置、集音装置、医療機器、ネットワーク家電、ノートPC(Personal Computer)、携帯電話、スマートフォン、タブレット端末、ゲーム機、PDA(Personal Digital Assistant)、デジタルカメラ、ウェアラブルPC又はデスクトップPC等であってもよい。
また、本実施形態ではペン先の座標をタッチパネルで検知する方法でペンの座標を検出したが、ペン先の座標を超音波により検出してもよい。また、ペンは発光と共に超音波を発信しており、表示装置2は超音波の到達時間により距離を算出する。方向と距離によりペンの位置を特定できる。ペンの軌跡をストロークデータとしてプロジェクターが描画(投影)する。
また、図7などの構成例は、表示装置2による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。表示装置2の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、1つの処理単位が更に多くの処理を含むように分割することもできる。
また、表示装置2が行う処理の一部を、表示装置2とネットワークを介して接続されたサーバーが行ってもよい。
また、本実施形態において、比較の対象として閾値が例示されていたとしても閾値は例示された値には限定されない。このため、本実施形態では、全ての閾値に関し、閾値未満と閾値以下という記載は同等の意味を持ち、閾値超過と閾値以上という記載は同等の意味を持つ。例えば、閾値を11とした場合の閾値未満という記載は閾値が10である場合の閾値以下と同等の意味を持つ。また、閾値を10とした場合の閾値超過という記載は閾値が11である場合の閾値以上と同等の意味を持つ。
また、上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP(digital signal processor)、FPGA(field programmable gate array)や従来の回路モジュール等のデバイスを含むものとする。
なお、手書き入力部21は受付手段の一例であり、手書き認識制御部26は認識手段の一例であり、手書き入力表示制御部23は制御手段の一例であり、非常情報受信部35は
非常情報受信手段の一例である。
非常情報受信手段の一例である。
2 表示装置
Claims (10)
- 表示装置であって、
入力手段によって手書きデータの入力を受け付ける受付手段と、
前記手書きデータの認識処理を行う認識手段と、
前記表示装置の電源状態に応じて、前記認識処理の頻度を制御する制御手段と、
を有することを特徴とする表示装置。 - 前記認識手段は、一画ごとのストロークデータの形状が予め定義された基本ストロークと前記手書きデータを比較するパターン認識を用いて前記認識処理を行い、
前記制御手段は、前記表示装置の電源状態に応じて、前記認識処理において比較の対象とする前記基本ストロークの検索範囲の広さを制御することを特徴とする請求項1に記載の表示装置。 - 前記表示装置は、前記認識処理で得た文字を辞書で検索して、検索に適合した文字列を表示するものであり、
前記制御手段は、前記表示装置の電源状態に応じて、検索する前記辞書の種類を制御することを特徴とする請求項1又は2に記載の表示装置。 - 前記制御手段は、前記表示装置の電源状態に応じて、前記辞書から取得する文字列の文字数を制御することを特徴とする請求項3に記載の表示装置。
- 前記電源状態は、バッテリーのみで動作するバッテリー動作状態、電源ケーブルが接続され前記バッテリーが充電されているバッテリー充電中状態、及び、電源ケーブルが接続されているが前記バッテリーが充電されていない交流電源動作状態であることを特徴とする請求項1~4のいずれか1項に記載の表示装置。
- 前記制御手段は、
前記バッテリー動作状態では、ユーザー指示がない限り前記認識処理を実行せず、
前記バッテリー充電中状態では、2以上の所定数のストロークデータごとに前記認識処理を実行し、
前記交流電源動作状態では、1ストロークデータごとに前記認識処理を実行する、ことを特徴とする請求項5に記載の表示装置。 - 前記表示装置の電源状態が改善した場合、
前記制御手段は、認識処理が行われていなかった前記手書きデータに前記認識処理を実行することを特徴とする請求項6に記載の表示装置。 - 外部から非常情報を受信する非常情報受信手段を有し、
前記非常情報受信手段が前記非常情報を受信した場合、前記制御手段は、前記認識処理の頻度を低減することを特徴とする請求項1~7のいずれか1項に記載の表示装置。 - 表示装置が行う制御方法であって、
受付手段が、入力手段によって手書きデータの入力を受け付けるステップと、
認識手段が、前記手書きデータの認識処理を行うステップと
制御手段が、前記表示装置の電源状態に応じて、前記認識処理の頻度を制御するステップと、
を有することを特徴とする制御方法。 - 情報処理装置を、
入力手段によって手書きデータの入力を受け付ける受付手段、
前記手書きデータの認識処理を行う認識手段、
前記情報処理装置の電源状態に応じて、前記認識処理の頻度を制御する制御手段、
として機能させるためのプログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020123252A JP2022019426A (ja) | 2020-07-17 | 2020-07-17 | 表示装置、制御方法、プログラム |
EP21181991.7A EP3940506B1 (en) | 2020-07-17 | 2021-06-28 | Display apparatus, control method, and carrier means |
CN202110793703.4A CN113961061A (zh) | 2020-07-17 | 2021-07-12 | 显示装置、控制方法、存储介质以及信息处理装置 |
US17/376,178 US11557138B2 (en) | 2020-07-17 | 2021-07-15 | Display apparatus, control method, and recording medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020123252A JP2022019426A (ja) | 2020-07-17 | 2020-07-17 | 表示装置、制御方法、プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022019426A true JP2022019426A (ja) | 2022-01-27 |
Family
ID=76730277
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020123252A Pending JP2022019426A (ja) | 2020-07-17 | 2020-07-17 | 表示装置、制御方法、プログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US11557138B2 (ja) |
EP (1) | EP3940506B1 (ja) |
JP (1) | JP2022019426A (ja) |
CN (1) | CN113961061A (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022143264A (ja) | 2021-03-17 | 2022-10-03 | 株式会社リコー | 表示装置、表示システム、表示制御方法およびプログラム |
JP2022147675A (ja) | 2021-03-23 | 2022-10-06 | 株式会社リコー | 表示装置、表示方法、プログラム |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7302599B2 (en) * | 2004-02-12 | 2007-11-27 | Via Technologies, Inc. | Instantaneous frequency-based microprocessor power management |
JP4301820B2 (ja) * | 2003-01-16 | 2009-07-22 | 株式会社ルネサステクノロジ | 情報認識装置 |
CN1661517A (zh) * | 2004-02-25 | 2005-08-31 | 联想(北京)有限公司 | 便携式电脑的节电方法 |
WO2010038851A1 (ja) * | 2008-10-02 | 2010-04-08 | 日立オートモティブシステムズ株式会社 | 車両走行に関する情報処理装置 |
JP5294818B2 (ja) | 2008-12-08 | 2013-09-18 | キヤノン株式会社 | 情報処理装置及び情報処理方法 |
US8942771B1 (en) * | 2010-11-02 | 2015-01-27 | Google Inc. | Dynamic data refresh for mobile device applications |
JP5875937B2 (ja) * | 2011-05-25 | 2016-03-02 | 京セラ株式会社 | 携帯電子機器及び入力方法 |
KR101881019B1 (ko) * | 2011-10-26 | 2018-07-24 | 삼성전자 주식회사 | 휴대 단말기의 전원절약 장치 및 방법 |
CN102750556A (zh) * | 2012-06-01 | 2012-10-24 | 山东大学 | 一种脱机手写体汉字识别方法 |
CN103488415B (zh) * | 2013-05-14 | 2016-12-28 | 高永杰 | 基于纸介质的手书文字和图形识别***及识别方法 |
US9305227B1 (en) * | 2013-12-23 | 2016-04-05 | Amazon Technologies, Inc. | Hybrid optical character recognition |
CN106462283B (zh) * | 2014-06-24 | 2019-06-11 | 苹果公司 | 计算设备上的字符识别 |
US9923378B2 (en) * | 2015-03-06 | 2018-03-20 | Empire Technology Development Llc | Energy flow controller |
KR102333720B1 (ko) * | 2015-04-09 | 2021-12-01 | 삼성전자주식회사 | 디지털 펜, 터치 시스템 및 이의 정보 제공 방법 |
KR102395171B1 (ko) * | 2015-04-27 | 2022-05-06 | 삼성전자주식회사 | 사용자 인터페이스 표시 방법 및 그 전자 장치 |
KR20160143429A (ko) * | 2015-06-05 | 2016-12-14 | 엘지전자 주식회사 | 이동단말기 및 그 제어방법 |
JP6566044B2 (ja) | 2015-12-02 | 2019-08-28 | 株式会社リコー | 位置検出装置、画像表示装置及び画像表示システム |
JP2017111589A (ja) | 2015-12-16 | 2017-06-22 | 株式会社リコー | 座標検出装置、表示システム、投影システム及び座標検出方法 |
US10325018B2 (en) * | 2016-10-17 | 2019-06-18 | Google Llc | Techniques for scheduling language models and character recognition models for handwriting inputs |
CN108898046B (zh) * | 2018-04-25 | 2022-03-11 | 努比亚技术有限公司 | 一种屏下指纹功耗控制方法、终端及计算机可读存储介质 |
KR102143943B1 (ko) * | 2018-12-11 | 2020-08-12 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
US20210004265A1 (en) * | 2020-09-18 | 2021-01-07 | Francesc Guim Bernat | Elastic power scaling |
-
2020
- 2020-07-17 JP JP2020123252A patent/JP2022019426A/ja active Pending
-
2021
- 2021-06-28 EP EP21181991.7A patent/EP3940506B1/en active Active
- 2021-07-12 CN CN202110793703.4A patent/CN113961061A/zh active Pending
- 2021-07-15 US US17/376,178 patent/US11557138B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
EP3940506A1 (en) | 2022-01-19 |
US11557138B2 (en) | 2023-01-17 |
US20220019782A1 (en) | 2022-01-20 |
EP3940506B1 (en) | 2023-12-20 |
CN113961061A (zh) | 2022-01-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11250253B2 (en) | Handwriting input display apparatus, handwriting input display method and recording medium storing program | |
EP3940506B1 (en) | Display apparatus, control method, and carrier means | |
JP2020194542A (ja) | 表示装置、プログラム、表示方法 | |
JP2020173794A (ja) | 手書き入力装置、手書き入力方法、プログラム | |
JP2021197024A (ja) | 表示装置、表示方法及びプログラム | |
JP2022039088A (ja) | 表示装置、表示方法、プログラム、表示システム | |
JP7268479B2 (ja) | 表示装置、プログラム、表示方法 | |
JP7508916B2 (ja) | 表示装置、表示方法およびプログラム | |
WO2022071448A1 (en) | Display apparatus, display method, and program | |
JP7480608B2 (ja) | 表示装置、表示方法、プログラム | |
JP7384191B2 (ja) | 表示装置、プログラム、領域変更方法 | |
EP4064020B1 (en) | Display system, display method, and carrier means | |
EP4254158A1 (en) | Display apparatus, display method, information sharing system, and carrier means | |
JP7392315B2 (ja) | 表示装置、表示方法、プログラム | |
US20230070034A1 (en) | Display apparatus, non-transitory recording medium, and display method | |
JP2022147337A (ja) | 表示装置、表示方法、プログラム | |
US11868607B2 (en) | Display apparatus, display method, and non-transitory recording medium | |
US20220300147A1 (en) | Display apparatus, display method, and non-transitory recording medium | |
JP2022141344A (ja) | 表示装置、表示方法、プログラム | |
JP2021152884A (ja) | 表示装置、表示方法、プログラム、情報処理装置 | |
JP2022119463A (ja) | 表示装置、表示方法およびプログラム | |
JP2023133110A (ja) | 表示装置、表示方法、プログラム | |
JP2021149662A (ja) | 表示装置、表示方法、プログラム | |
JP2021082292A (ja) | 表示装置、表示方法、プログラム | |
JP2021149480A (ja) | 表示装置、表示方法、プログラム |