JP2022090171A - 情報処理装置及び情報処理方法 - Google Patents
情報処理装置及び情報処理方法 Download PDFInfo
- Publication number
- JP2022090171A JP2022090171A JP2020202385A JP2020202385A JP2022090171A JP 2022090171 A JP2022090171 A JP 2022090171A JP 2020202385 A JP2020202385 A JP 2020202385A JP 2020202385 A JP2020202385 A JP 2020202385A JP 2022090171 A JP2022090171 A JP 2022090171A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- input
- switching
- handwriting
- command
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
【課題】タッチスクリーンにおける視認性を低下することなくショートカット機能を実行することが可能な情報処理装置及び情報処理方法を提供する。【解決手段】本発明は、表示部と、操作媒体との接触を検出する接触検出部と、切替情報を操作媒体から受信する通信部と、切替操作が行われていない場合は入力デバイスに操作媒体を設定し、切替操作が行われている場合は入力デバイスに仮想キーボードを設定するデバイス切替部と、入力デバイスが操作媒体である場合は表示部への入力をポインティング操作として受け付け、入力デバイスが仮想キーボードである場合は入力をショートカット機能を実行するための手書き入力として受け付ける入力処理部と、手書き入力の軌跡から手書き入力に対応するショートカット機能の認識処理を行う手書き認識部と、認識されたショートカット機能と対応するコマンドを発行してOSへ入力するコマンド発行部とを備える。【選択図】図4
Description
本発明は、情報処理装置及び情報処理方法に関する。
近年、スマートフォンやタブレット等のタッチスクリーンを有する端末の普及が広く進んでいる。これらのデバイスは携帯性を重視する場合ハードウェアキーボードを有していないものも多い。これに伴い、ハードウェアキーボードの操作によって実行していた機能を、タッチスクリーンの操作によって実行するための技術が各種提案されている。
例えば、下記特許文献1には、タッチスクリーンの操作によってショートカット機能を実行するための技術が提案されている。ここで、ショートカット機能は、所定のキーの組み合わせたショートカットキーを押下することによって、メニュー操作等を行わずに所定の処理を実行可能な機能である。具体的に、特許文献1では、ショートカットキーの代わりにショートカット機能を実行するための入力用のインタフェースをタッチスクリーンに表示し、当該インタフェースを操作することで、ハードウェアキーボードを用いないショートカット機能の実行を可能としている。
しかしながら、特許文献1の技術では、ショートカット機能を実行するためのインタフェースがタッチスクリーンに常時表示される。そのため、タッチスクリーンにおける表示領域の一部が当該インタフェースによって専有される。これにより、当該インタフェース以外の他の表示に関して、表示領域が限られることで表示サイズが小さくなったり、インタフェースが重畳表示されることによって視認できない領域が生じたりし、その視認性が低下する恐れがある。
上述の課題を鑑み、本発明の目的は、タッチスクリーンにおける視認性を低下することなくショートカット機能を実行することが可能な情報処理装置及び情報処理方法を提供することにある。
上述の課題を解決するために、本発明の一態様に係る情報処理装置は、表示部と、前記表示部上における操作媒体との接触を検出する接触検出部と、OS(Operating System)に認識させる入力デバイスの切替操作が前記操作媒体に対して行われているか否かを示す切替情報を、前記操作媒体から受信する通信部と、前記切替操作が行われていないことを前記切替情報が示す場合、前記入力デバイスとして前記操作媒体を設定し、前記切替操作が行われていることを前記切替情報が示す場合、前記入力デバイスとして仮想キーボードを設定するデバイス切替部と、前記入力デバイスが前記操作媒体である場合、前記接触による前記表示部への入力をポインティング操作として受け付け、前記入力デバイスが前記仮想キーボードである場合、前記入力をショートカット機能を実行するための手書き入力として受け付ける入力処理部と、前記手書き入力の軌跡に基づき、当該手書き入力に対応するショートカット機能の認識処理を行う手書き認識部と、前記認識処理によって認識された前記ショートカット機能と対応するコマンドを発行し、前記OSへ入力するコマンド発行部と、を備える。
本発明の一態様に係る情報処理方法は、接触検出部が、表示部上における操作媒体との接触を検出する過程と、通信部が、OS(Operating System)に認識させる入力デバイスの切替操作が前記操作媒体に対して行われているか否かを示す切替情報を、前記操作媒体から受信する過程と、デバイス切替部が、前記切替操作が行われていないことを前記切替情報が示す場合、前記入力デバイスとして前記操作媒体を設定し、前記切替操作が行われていることを前記切替情報が示す場合、前記入力デバイスとして仮想キーボードを設定する過程と、入力処理部が、前記入力デバイスが前記操作媒体である場合、前記接触による前記表示部への入力をポインティング操作として受け付け、前記入力デバイスが前記仮想キーボードである場合、前記入力をショートカット機能を実行するための手書き入力として受け付ける過程と、認識部が、前記手書き入力の軌跡に基づき、当該手書き入力に対応するショートカット機能の認識処理を行う手書き過程と、コマンド発行部が、前記認識処理によって認識された前記ショートカット機能と対応するコマンドを発行し、前記OSへ入力する過程と、を含む。
本発明によれば、ハードウェアキーボードを用いない場合でも、タッチスクリーンにおける視認性を低下することなくショートカット機能を実行することができる。
以下、図面を参照しながら本発明の実施形態について詳しく説明する。なお、図面には、必要に応じて相互に直交するX軸、Y軸、及びZ軸が示されている。各軸において、矢印が延びる方向を「正方向」、正方向と逆の方向を「負方向」と称する。
<<1.システム構成>>
まず、図1を参照して、各実施形態に係る情報処理システムの構成について説明する。図1は、各実施形態に係る情報処理システムの構成の一例を示す図である。情報処理システム1は、図1に示すタッチペン10及びデュアルディスプレイデバイス20で構成される。
まず、図1を参照して、各実施形態に係る情報処理システムの構成について説明する。図1は、各実施形態に係る情報処理システムの構成の一例を示す図である。情報処理システム1は、図1に示すタッチペン10及びデュアルディスプレイデバイス20で構成される。
タッチペン10は、タッチスクリーン24に対する入力に用いられる操作媒体の一例である。タッチスクリーン24に対する入力は、例えば、タッチペン10を用いたタッチ操作(以下、「ペンタッチ操作」とも称される)によって行われる。ペンタッチ操作は、タッチペン10のペン先をタッチスクリーン24に接触させる操作や、ペン先を接触させたまま接触位置を移動させる操作等である。ペンタッチ操作には、例えばポインティング操作や手書き入力がある。ポインティング操作は、具体的に、操作対象の選択、操作位置の指示、ボタンの押下等の操作である。手書き入力は、具体的、文字、数字、記号、又は図形等を手書きで入力する操作である。
ペンタッチ操作が行われると、当該ペンタッチ操作に関する情報を含む信号(以下、「タッチペン信号」とも称される)がタッチペン10からデュアルディスプレイデバイス20へ送信される。デュアルディスプレイデバイス20は、当該信号に基づき、デュアルディスプレイデバイス20に対して行われた入力に対応する処理を実行する。
タッチペン10には、図1に示すようにボタン11が設けられている。ユーザは、ボタン11を押下状態にする操作又はボタン11を非押下状態にする操作(切替操作の一例)を行うことで、デュアルディスプレイデバイス20に対して入力を行った入力デバイスの種類を切り替えることができる。入力デバイスは、例えば、タッチペンとキーボードである。当該タッチペンは、物理的に存在するタッチペン10である。当該キーボードは、デュアルディスプレイデバイス20に対して物理的に接続される物理キーボードではなく、ソフトウェアによって仮想的に実現される仮想キーボードである。
各実施形態では、ボタン11が押下されていない場合に入力デバイスとしてタッチペン10が設定され、ボタン11が押下されている場合に入力デバイスとして仮想キーボードが設定される。これより、ユーザがボタン11を押下すると入力デバイスがタッチペン10から仮想キーボードに切り替わり、ユーザがボタン11の押下をやめると入力デバイスが仮想キーボードからタッチペン10に切り替わる。
タッチペン10は、ボタン11が押下されているか否かを示す情報、即ち、入力デバイスの切り替え操作が行われているか否かを示す情報(以下、「切替情報」とも称される)を、タッチペン信号に含めてデュアルディスプレイデバイス20へ送信する。
各実施形態では、ボタン11が押下されていない場合に入力デバイスとしてタッチペン10が設定され、ボタン11が押下されている場合に入力デバイスとして仮想キーボードが設定される。これより、ユーザがボタン11を押下すると入力デバイスがタッチペン10から仮想キーボードに切り替わり、ユーザがボタン11の押下をやめると入力デバイスが仮想キーボードからタッチペン10に切り替わる。
タッチペン10は、ボタン11が押下されているか否かを示す情報、即ち、入力デバイスの切り替え操作が行われているか否かを示す情報(以下、「切替情報」とも称される)を、タッチペン信号に含めてデュアルディスプレイデバイス20へ送信する。
デュアルディスプレイデバイス20は、情報処理装置の一例である。各実施形態に係るデュアルディスプレイデバイス20は、2つのディスプレイ(Dual Display)を有するノートPC(Personal Computer)型の端末である。各実施形態では、デュアルディスプレイデバイス20が有する2つのディスプレイは、両方ともタッチスクリーンであるものとする。
図1に示すように、デュアルディスプレイデバイス20は、外部構成として筐体201(201A、201B)及びタッチスクリーン24(24A、24B)を備える。
筐体201は、タッチスクリーン24を備える筐体である。筐体201A及び筐体201Bの形状は、いずれも略直方体である。筐体201A及び筐体201Bは、それぞれの端部で連結部202によって連結されている。連結部202は、例えば、ヒンジであり、筐体201A及び筐体201Bを開閉自在に支持している。
タッチスクリーン24は、各種情報の表示が可能な表示画面と、表示画面上におけるタッチペン10との接触を検出可能なタッチパネルとを含む入出力装置である。
筐体201は、タッチスクリーン24を備える筐体である。筐体201A及び筐体201Bの形状は、いずれも略直方体である。筐体201A及び筐体201Bは、それぞれの端部で連結部202によって連結されている。連結部202は、例えば、ヒンジであり、筐体201A及び筐体201Bを開閉自在に支持している。
タッチスクリーン24は、各種情報の表示が可能な表示画面と、表示画面上におけるタッチペン10との接触を検出可能なタッチパネルとを含む入出力装置である。
筐体201Aは、タッチスクリーン24Aを備え、筐体201Bはタッチスクリーン24Bを備える。なお、以下の説明において、タッチスクリーン24A、24Bを区別する場合は、符号の末尾にA、Bのいずれかを付し、タッチスクリーン24A、24Bを区別しない場合は、A、Bを省略する。また、以下では、タッチスクリーン24における画面表示は、タッチスクリーン24を構成する2辺の長辺の内、一方を画面表示の上部方向、他方を画面表示の下部方向とする横画面表示である例について説明する。
デュアルディスプレイデバイス20は、タッチペン10から受信する切替情報に基づき、デュアルディスプレイデバイス20に対して入力を行っている入力デバイスとして、タッチペンと仮想キーボードのいずれかを設定する。入力デバイスとしてタッチペン10が設定された場合、デュアルディスプレイデバイス20は、ペンタッチ操作による表示画面25への入力をポインティング操作として受け付ける。一方、入力デバイスとして仮想キーボードが設定された場合、デュアルディスプレイデバイス20は、ペンタッチ操作による表示画面25への入力をショートカット機能を実行するための手書き入力として受け付ける。
かかる構成により、デュアルディスプレイデバイス20では、タッチスクリーン24にスクリーンキーボード(OSK:On Screen Keyboard)やショートカット機能を実行するためのインタフェースを表示することなく、ショートカット機能の実行が可能となる。よって、各実施形態にかかるデュアルディスプレイデバイス20は、タッチスクリーンにおける視認性を低下することなくショートカット機能を実行することを可能とする。
<<2.ハードウェア構成>>
以上、各実施形態に係るシステム構成について説明した。続いて、図2及び図3を参照して、各実施形態に係るハードウェア構成について説明する。
以上、各実施形態に係るシステム構成について説明した。続いて、図2及び図3を参照して、各実施形態に係るハードウェア構成について説明する。
<2-1.タッチペンのハードウェア構成>
図2を参照して、各実施形態に係るタッチペン10のハードウェア構成について説明する。図2は、各実施形態に係るタッチペン10のハードウェア構成の一例を示すブロック図である。図2に示すように、タッチペン10は、ボタン11、センサ装置12、通信装置13、IC14(Integrated Circuit)、記憶装置15、及びバッテリ16を備える。
図2を参照して、各実施形態に係るタッチペン10のハードウェア構成について説明する。図2は、各実施形態に係るタッチペン10のハードウェア構成の一例を示すブロック図である。図2に示すように、タッチペン10は、ボタン11、センサ装置12、通信装置13、IC14(Integrated Circuit)、記憶装置15、及びバッテリ16を備える。
ボタン11は、デュアルディスプレイデバイス20における入力デバイスを切り替えるための切替装置である。
センサ装置12は、タッチペン10に関する各種情報を取得する装置である。センサ装置12は、多様なセンサ装置で構成され得る。例えば、センサ装置12は、圧力を検出する圧力センサを構成に含む。圧力センサが検出した圧力を示す情報は、以下では「圧力情報」とも称される。
通信装置13は、無線による通信ネットワークを介して他の機器と通信可能に接続し、各種データの送信および受信を行う。例えば、通信装置13は、タッチペン10の独自のプロトコルを用いた通信によりデュアルディスプレイデバイス20と通信を行う。プロトコルは、例えば、Wacom AES(Active Electro Static)である。タッチペン10は、Bluetooth(登録商標)等の近距離無線通信によりデュアルディスプレイデバイス20と通信を行うようにしてもよい。
IC14は、プログラム制御により種々の演算処理を実行し、タッチペン10全体を制御している。
記憶装置15は、各種情報を記憶する。例えば、記憶装置15は、ROM(Read Only Memory)、RAM(Random Access memory)、EEPROM(Electrically Erasable Programmable Read Only Memory)等によって構成される。
バッテリ16は、例えば、リチウムイオン電池やアルカリイオン電池である。バッテリ16からIC14に電力が供給され、IC14は、電圧レベルを調整してボタン11、センサ装置12、通信装置13、及び記憶装置15に電圧を供給する。
<2-2.デュアルディスプレイデバイスのハードウェア構成>
図3を参照して、各実施形態に係るデュアルディスプレイデバイス20のハードウェア構成について説明する。図3は、各実施形態に係るデュアルディスプレイデバイス20のハードウェア構成の一例を示すブロック図である。
図3を参照して、各実施形態に係るデュアルディスプレイデバイス20のハードウェア構成について説明する。図3は、各実施形態に係るデュアルディスプレイデバイス20のハードウェア構成の一例を示すブロック図である。
図3に示すように、デュアルディスプレイデバイス20は、CPU21(Central Processing Unit)、メインメモリ22、GPU23(Graphic Processing Unit)、タッチスクリーン24(24A、24B)、表示画面25(25A、25B)、タッチパネル26(26A、26B)、チップセット27、BIOSメモリ28(Basic Input Output System)、記憶装置29(Hard Disk Drive)、オーディオシステム30、通信装置31、USBコネクタ32(Universal Serial Bus)、EC33(Embedded Controller)、入力装置34、電源回路35、バッテリ36、及びMCU37(Micro Control Unit)を備える。
CPU21は、プログラム制御により種々の演算処理を実行し、デュアルディスプレイデバイス20全体を制御している。
メインメモリ22は、CPU21の実行プログラムの読み込み領域として、又は、実行プログラムの処理データを書き込む作業領域として利用される書き込み可能メモリである。メインメモリ22は、例えば、複数個のDRAM(Dynamic Random Access Memory)チップで構成される。この実行プログラムには、OS、周辺機器類をハードウェア操作するための各種ドライバ、各種サービス/ユーティリティ、アプリケーションプログラム等が含まれる。
GPU23は、CPU21の制御に基づいて画像処理を実行して表示データを生成する。GPU23は、表示画面25に接続されており、生成した表示データを表示画面25に出力する。
タッチスクリーン24は、表示画面25及びタッチパネル26を備える。タッチスクリーン24は、ビデオ信号に変換された表示データに応じた各種情報を表示画面25に表示すると共に、ユーザの指やタッチペン等の操作媒体による接触(タッチ)や、操作媒体の近接をタッチパネル26によって検出することで、操作媒体による操作入力を受け付ける。
表示画面25は、例えば、OLEDディスプレイ(有機ELディスプレイ)等の表示装置である。なお、表示画面25は、折り曲げ可能(折り畳み可能)に構成されてもよい。
タッチパネル26は、表示画面25の表示面に重ねて配置されている。タッチパネル26は、表示画面25と一体に構成され、表示画面25と同様に、折り曲げ可能(折り畳み可能)に構成されてもよい。
タッチパネル26は、操作位置を検出する。操作位置は、具体的にはタッチスクリーン24におけるペンタッチ操作が行われた位置(以下、「ペンタッチ位置」とも称される)である。ペンタッチ位置は、例えば、座標で示される。ペンタッチ位置の座標の範囲は、タッチスクリーン24のサイズに応じて決まる。当該座標のようにタッチパネル26におけるペンタッチ位置を示す情報は、以下では「ペンタッチ位置情報」とも称される。タッチパネル26は、検出したペンタッチ位置情報をMCU37へ出力する。
タッチパネル26は、操作位置を検出する。操作位置は、具体的にはタッチスクリーン24におけるペンタッチ操作が行われた位置(以下、「ペンタッチ位置」とも称される)である。ペンタッチ位置は、例えば、座標で示される。ペンタッチ位置の座標の範囲は、タッチスクリーン24のサイズに応じて決まる。当該座標のようにタッチパネル26におけるペンタッチ位置を示す情報は、以下では「ペンタッチ位置情報」とも称される。タッチパネル26は、検出したペンタッチ位置情報をMCU37へ出力する。
チップセット27は、USB、シリアルATA(AT Attachment)、SPI(Serial Peripheral Interface)バス、PCI(Peripheral Component Interconnect)バス、PCI-Expressバス、及びLPC(Low Pin Count)バス等のコントローラを備えており複数のデバイスが接続される。図3では、当該複数のデバイスの一例として、CPU21、BIOSメモリ28、記憶装置29、オーディオシステム30、通信装置31、USBコネクタ32、及びEC33がチップセット27に接続されている。
BIOSメモリ28は、例えば、EEPROMやフラッシュROM等の電気的に書き換え可能な不揮発性メモリで構成される。BIOSメモリ28は、BIOS及びEC33等を制御するためのシステムファームウェア等を記憶する。システムファームウェアは、CPU21により実行されるファームウェアであり、EC33により実行されるECファームウェアとは異なる。
記憶装置29は、OS、各種ドライバ、各種サービス/ユーティリティ、アプリケーションプログラム、及び各種データを記憶する。例えば、記憶装置29は、HDD(Hard Disk Drive)やSSD(Solid State Drive)等によって実現される。
オーディオシステム30は、音データの記録、再生、出力を行う。オーディオシステム30には、例えばマイクロフォンやスピーカ等が接続される。
通信装置31は、無線または有線による通信ネットワークを介して他の機器と通信可能に接続し、各種のデータの送信および受信を行う。例えば、通信装置31は、イーサネット(登録商標)等の有線LANインタフェースやWi-Fi(登録商標)等の無線LANインタフェース等を含んで構成されている。なお、通信装置31は、USBインタフェースやBluetooth(登録商標)インタフェースを含んで構成されてもよい。
USBコネクタ32は、USBを利用した周辺機器類を接続するためのコネクタである。
EC33(組込みコントローラ)は、デュアルディスプレイデバイス20のシステム状態に関わらず、各種デバイス(周辺装置やセンサ等)を監視し制御するワンチップマイクロコンピュータ(One-Chip Microcomputer)である。EC33は、不図示のCPU、ROM、RAMを備えている。
EC33は、CPU21とは独立して動作して主としてデュアルディスプレイデバイス20の内部の動作環境を管理する制御部として機能する。EC33は、予めROMに記憶された制御プログラム(ECファームウェア)を読み出し、読み出した制御プログラムに記述された各種の命令で指示される処理を実行して各種の機能を実現する。
また、EC33は、複数チャネルのA/D入力端子、D/A出力端子、タイマ、及びデジタル入出力端子等を備えている。EC33には、それらの入出力端子を介して、例えば、入力装置34、及び電源回路35等が接続されており、EC33は、これらの動作を制御する。
入力装置34は、例えば、電源スイッチやファンクションスイッチ等の入力を行う入力デバイスである。
電源回路35は、例えば、DC/DCコンバータ、充放電ユニット、電池ユニット、AC/DCアダプタ等を含んでおり、外部電源、又はバッテリユニットから供給される直流電圧を、デュアルディスプレイデバイス20を動作させるために必要な複数の電圧に変換する。また、電源回路35は、EC33からの制御に基づいて、デュアルディスプレイデバイス20の各部に電力を供給する。
バッテリ36は、例えば、リチウムバッテリである。デュアルディスプレイデバイス20に外部電源から電力供給されている場合、バッテリ36は、電源回路35を介して充電される。デュアルディスプレイデバイス20に外部電源から電力供給されていない場合に、バッテリ36は、電源回路35を介して充電された電力をデュアルディスプレイデバイス20の動作電力として出力する。
MCU37は、演算処理を行なう組み込み用のマイクロコントロールユニットである。MCU37は、例えば、CPUなどを含むプロセッサであり、内蔵するファームウェアを実行することで、入力デバイスの機能を制御する。MCU37は、例えば、USBインタフェースによって、チップセット27と接続されている。
<<3.第1の実施形態>>
以上、各実施形態に係るハードウェア構成について説明した。続いて、図4~図16を参照して、第1の実施形態について説明する。
以上、各実施形態に係るハードウェア構成について説明した。続いて、図4~図16を参照して、第1の実施形態について説明する。
<3-1.概要>
まず、図4を参照して、第1の実施形態の概要について説明する。図4は、第1の実施形態の概要を示す図である。第1の実施形態に係る情報処理システム1-1は、タッチペン10-1及びデュアルディスプレイデバイス20-1で構成される。
まず、図4を参照して、第1の実施形態の概要について説明する。図4は、第1の実施形態の概要を示す図である。第1の実施形態に係る情報処理システム1-1は、タッチペン10-1及びデュアルディスプレイデバイス20-1で構成される。
図4に示すように、まず、タッチペン10-1は、ペンタッチ操作に伴いタッチペン信号をデュアルディスプレイデバイス20-1へ送信する(ステップS10)。
デュアルディスプレイデバイス20-1のMCU37は、デバイス切替処理を実行する(ステップS11)。デバイス切替処理は、受信したタッチペン信号に含まれる切替情報に基づき、入力デバイスを切り替える処理である。
デュアルディスプレイデバイス20-1のMCU37は、デバイス切替処理を実行する(ステップS11)。デバイス切替処理は、受信したタッチペン信号に含まれる切替情報に基づき、入力デバイスを切り替える処理である。
デバイス切替処理後、MCU37は、設定した入力デバイスに応じた処理を実行する。
デバイスとしてタッチペンを設定した場合、MCU37は、タッチペン10-1から受信したタッチペン信号をOS40へ出力する(ステップS12)。OS40は、入力されたタッチペン信号に基づき、各種ソフトウェア41に応じた処理を実行する。
一方、入力デバイスとして仮想キーボードを設定した場合、MCU37は、手書き認識処理(認識処理)を行う(ステップS13)。手書き認識処理は、手書き入力の軌跡に基づき、手書き入力に対応するショートカット機能を認識する処理である。手書き認識処理後、MCU37は、認識結果を仮想キーボード50へ出力する(ステップS14)。
デバイスとしてタッチペンを設定した場合、MCU37は、タッチペン10-1から受信したタッチペン信号をOS40へ出力する(ステップS12)。OS40は、入力されたタッチペン信号に基づき、各種ソフトウェア41に応じた処理を実行する。
一方、入力デバイスとして仮想キーボードを設定した場合、MCU37は、手書き認識処理(認識処理)を行う(ステップS13)。手書き認識処理は、手書き入力の軌跡に基づき、手書き入力に対応するショートカット機能を認識する処理である。手書き認識処理後、MCU37は、認識結果を仮想キーボード50へ出力する(ステップS14)。
仮想キーボード50は、認識結果に基づき、コマンド発行処理を実行する(ステップS15)。コマンド発行処理は、OS40が入力された手書き入力に対応する機能を実行するためのコマンド(キーコード)を発行する処理である。コマンド発行処理後、仮想キーボード50は、発行したコマンドをOS40へ入力する(ステップS16)。OS40は、入力されたコマンドに基づき、各種ソフトウェア41に応じた処理を実行する。
上述のように、第1の実施形態では、デバイス切替処理によって入力デバイスとして仮想キーボードが設定された場合に、MCU37が手書き認識処理を行う例について説明する。
<3-2.タッチペンの機能構成>
続いて、図5を参照して、第1の実施形態に係るタッチペン10-1の機能構成について説明する。図5は、第1の実施形態に係るタッチペン10-1の機能構成の一例を示すブロック図である。図5に示すように、タッチペン10-1は、切替情報検出部100-1、圧力情報検出部110-1、通信部120-1、制御部130-1、及び記憶部140-1を備える。
続いて、図5を参照して、第1の実施形態に係るタッチペン10-1の機能構成について説明する。図5は、第1の実施形態に係るタッチペン10-1の機能構成の一例を示すブロック図である。図5に示すように、タッチペン10-1は、切替情報検出部100-1、圧力情報検出部110-1、通信部120-1、制御部130-1、及び記憶部140-1を備える。
(1)切替情報検出部100-1
切替情報検出部100-1は、切替情報を検出する機能を有する。当該機能は、例えば、図2を参照して説明したボタン11によって実現される。
例えば、切替情報検出部100-1は、ユーザによってボタン11が押下されている場合、切替操作が行われていることを示す切替情報を検出する。一方、切替情報検出部100-1は、ユーザによってボタン11が押下されていない場合、切替操作が行われていないことを示す切替情報を検出する。切替情報検出部100-1は、検出した切替情報を出力する。
切替情報検出部100-1は、切替情報を検出する機能を有する。当該機能は、例えば、図2を参照して説明したボタン11によって実現される。
例えば、切替情報検出部100-1は、ユーザによってボタン11が押下されている場合、切替操作が行われていることを示す切替情報を検出する。一方、切替情報検出部100-1は、ユーザによってボタン11が押下されていない場合、切替操作が行われていないことを示す切替情報を検出する。切替情報検出部100-1は、検出した切替情報を出力する。
(2)圧力情報検出部110-1
圧力情報検出部110-1は、ペンタッチ操作による描画圧力を検出する機能を有する。当該機能は、例えば、図2を参照して説明したセンサ装置12によって実現される。
例えば、圧力情報検出部110-1は、ペンタッチ操作によってタッチペン10-1がタッチスクリーン24に押圧された際に、ペン先に加わる圧力(筆圧)を、描画圧力として検出する。圧力情報検出部110-1は、検出した描画圧力を示す圧力情報を出力する。
圧力情報検出部110-1は、ペンタッチ操作による描画圧力を検出する機能を有する。当該機能は、例えば、図2を参照して説明したセンサ装置12によって実現される。
例えば、圧力情報検出部110-1は、ペンタッチ操作によってタッチペン10-1がタッチスクリーン24に押圧された際に、ペン先に加わる圧力(筆圧)を、描画圧力として検出する。圧力情報検出部110-1は、検出した描画圧力を示す圧力情報を出力する。
(3)通信部120-1
通信部120-1は、各種情報の送受信を行う機能を有する。当該機能は、例えば、図2を参照して説明した通信装置13によって実現される。
例えば、通信部120-1は、タッチペン信号をデュアルディスプレイデバイス20-1へ送信する。具体的に、通信部120-1は、切替情報検出部100-1が出力した切替情報と圧力情報検出部110-1が出力した圧力情報とを含むタッチペン信号をデュアルディスプレイデバイス20-1へ送信する。
通信部120-1は、各種情報の送受信を行う機能を有する。当該機能は、例えば、図2を参照して説明した通信装置13によって実現される。
例えば、通信部120-1は、タッチペン信号をデュアルディスプレイデバイス20-1へ送信する。具体的に、通信部120-1は、切替情報検出部100-1が出力した切替情報と圧力情報検出部110-1が出力した圧力情報とを含むタッチペン信号をデュアルディスプレイデバイス20-1へ送信する。
(4)制御部130-1
制御部130-1は、タッチペン10-1の動作全般を制御する機能を有する。当該機能は、例えば、図2を参照して説明したIC14により実現される。
制御部130-1は、タッチペン10-1の動作全般を制御する機能を有する。当該機能は、例えば、図2を参照して説明したIC14により実現される。
(5)記憶部140-1
記憶部140-1は、各種情報を記憶する機能を有する。当該機能は、例えば、図2を参照して説明した記憶装置15によって実現される。
記憶部140-1は、各種情報を記憶する機能を有する。当該機能は、例えば、図2を参照して説明した記憶装置15によって実現される。
<3-3.デュアルディスプレイデバイスの機能構成>
図6を参照して、第1の実施形態に係るデュアルディスプレイデバイス20-1の機能構成について説明する。図6は、第1の実施形態に係るデュアルディスプレイデバイス20-1の機能構成の一例を示すブロック図である。図6に示すように、デュアルディスプレイデバイス20-1は、通信部200-1、入力部210-1、接触検出部220-1、制御部230-1、記憶部240-1、及び表示部250-1を備える。
図6を参照して、第1の実施形態に係るデュアルディスプレイデバイス20-1の機能構成について説明する。図6は、第1の実施形態に係るデュアルディスプレイデバイス20-1の機能構成の一例を示すブロック図である。図6に示すように、デュアルディスプレイデバイス20-1は、通信部200-1、入力部210-1、接触検出部220-1、制御部230-1、記憶部240-1、及び表示部250-1を備える。
(1)通信部200-1
通信部200-1は、各種情報の送受信を行う機能を有する。当該機能は、例えば、図3を参照して説明した通信装置31により実現される。
通信部200-1は、例えば、タッチペン10-1から送信されるタッチペン信号を受信する。当該タッチペン信号には、OS40に認識させる入力デバイスの切替操作がタッチペン10-1に対して行われているか否かを示す切替情報が含まれる。
通信部200-1は、各種情報の送受信を行う機能を有する。当該機能は、例えば、図3を参照して説明した通信装置31により実現される。
通信部200-1は、例えば、タッチペン10-1から送信されるタッチペン信号を受信する。当該タッチペン信号には、OS40に認識させる入力デバイスの切替操作がタッチペン10-1に対して行われているか否かを示す切替情報が含まれる。
(2)入力部210-1
入力部210-1は、各種情報の入力を受け付ける機能を有する。当該機能は、例えば、図3を参照して説明したタッチスクリーン24及び入力装置34等により実現される。
入力部210-1は、ユーザがペンタッチ操作でタッチスクリーン24に対して入力する情報の入力を受け付ける。
入力部210-1は、各種情報の入力を受け付ける機能を有する。当該機能は、例えば、図3を参照して説明したタッチスクリーン24及び入力装置34等により実現される。
入力部210-1は、ユーザがペンタッチ操作でタッチスクリーン24に対して入力する情報の入力を受け付ける。
(3)接触検出部220-1
接触検出部220-1は、タッチスクリーン24における接触を検出する機能を有する。当該機能は、例えば、図3を参照して説明したタッチパネル26により実現される。
接触検出部220-1は、例えば、ユーザのペンタッチ操作によるタッチスクリーン24とタッチペン10-1との接触を検出する。接触検出部220-1は、タッチスクリーン24におけるペンタッチ位置も検出する。接触検出部220-1は、検出したペンタッチ位置を示す座標情報をペンタッチ位置情報として出力する。
さらに、接触検出部220-1は、当該ペンタッチ位置を検出した日時を示すタイムスタンプも取得する。接触検出部220-1は、取得したタイムスタンプをタイムスタンプ情報として出力する。
接触検出部220-1は、タッチスクリーン24における接触を検出する機能を有する。当該機能は、例えば、図3を参照して説明したタッチパネル26により実現される。
接触検出部220-1は、例えば、ユーザのペンタッチ操作によるタッチスクリーン24とタッチペン10-1との接触を検出する。接触検出部220-1は、タッチスクリーン24におけるペンタッチ位置も検出する。接触検出部220-1は、検出したペンタッチ位置を示す座標情報をペンタッチ位置情報として出力する。
さらに、接触検出部220-1は、当該ペンタッチ位置を検出した日時を示すタイムスタンプも取得する。接触検出部220-1は、取得したタイムスタンプをタイムスタンプ情報として出力する。
(4)制御部230-1
制御部230-1は、デュアルディスプレイデバイス20-1の動作全般を制御する機能を有する。当該機能は、例えば、図3を参照して説明したCPU21、チップセット27、及びMCU37等により実現される。
図6に示すように、制御部230-1は、デバイス切替部231-1、入力処理部232-1、手書き認識部233-1、コマンド発行部234-1、コマンド実行部235-1、及び出力処理部236-1を備える。
制御部230-1は、デュアルディスプレイデバイス20-1の動作全般を制御する機能を有する。当該機能は、例えば、図3を参照して説明したCPU21、チップセット27、及びMCU37等により実現される。
図6に示すように、制御部230-1は、デバイス切替部231-1、入力処理部232-1、手書き認識部233-1、コマンド発行部234-1、コマンド実行部235-1、及び出力処理部236-1を備える。
(4-1)デバイス切替部231-1
デバイス切替部231-1は、デバイス切替処理を実行する機能を有する。当該機能は、例えば、図3を参照して説明したMCU37により実現される。
デバイス切替部231-1は、例えば、通信部200-1が受信したタッチペン信号に含まれる切替情報に基づき、デバイス切替処理を実行してOS40に認識させる入力デバイスを切り替える。具体的に、切替操作が行われていないことを切替情報が示す場合、デバイス切替部231-1は、入力デバイスとして操作媒体を設定する。一方、切替操作が行われていることを切替情報が示す場合、デバイス切替部231-1は、入力デバイスとして仮想キーボードを設定する。
より具体的に、第1の実施形態では、デバイス切替部231-1は、ボタン11が非押下状態であることを切替情報が示す場合、即ち切替操作が行われていない場合に入力デバイスとしてタッチペンを設定する。一方、デバイス切替部231-1は、ボタン11が押下状態であることを切替情報が示す場合、即ち切替操作が行われている場合に入力デバイスとして仮想キーボードを設定する。
デバイス切替部231-1は、デバイス切替処理を実行する機能を有する。当該機能は、例えば、図3を参照して説明したMCU37により実現される。
デバイス切替部231-1は、例えば、通信部200-1が受信したタッチペン信号に含まれる切替情報に基づき、デバイス切替処理を実行してOS40に認識させる入力デバイスを切り替える。具体的に、切替操作が行われていないことを切替情報が示す場合、デバイス切替部231-1は、入力デバイスとして操作媒体を設定する。一方、切替操作が行われていることを切替情報が示す場合、デバイス切替部231-1は、入力デバイスとして仮想キーボードを設定する。
より具体的に、第1の実施形態では、デバイス切替部231-1は、ボタン11が非押下状態であることを切替情報が示す場合、即ち切替操作が行われていない場合に入力デバイスとしてタッチペンを設定する。一方、デバイス切替部231-1は、ボタン11が押下状態であることを切替情報が示す場合、即ち切替操作が行われている場合に入力デバイスとして仮想キーボードを設定する。
(4-2)入力処理部232-1
入力処理部232-1は、ペンタッチ操作による入力を受け付ける機能を有する。当該機能は、例えば、図3を参照して説明したMCU37により実現される。
入力処理部232-1は、例えば、デバイス切替部231-1によって設定された入力デバイスに応じて、ペンタッチ操作による入力を受け付ける。
入力処理部232-1は、ペンタッチ操作による入力を受け付ける機能を有する。当該機能は、例えば、図3を参照して説明したMCU37により実現される。
入力処理部232-1は、例えば、デバイス切替部231-1によって設定された入力デバイスに応じて、ペンタッチ操作による入力を受け付ける。
具体的に、デバイス切替部231-1によってタッチペンが入力デバイスとして設定された場合、入力処理部232-1は、ペンタッチ操作による表示部250への入力をポインティング操作として受け付ける。当該入力をポインティング操作として受け付けた場合、入力処理部232-1は、タッチペン信号をOS40へ出力する。
一方、デバイス切替部231-1によって仮想キーボードが入力デバイスとして設定された場合、入力処理部232-1は、ペンタッチ操作による表示部250への入力をショートカット機能を実行するための手書き入力として受け付ける。なお、入力処理部232-1は、表示部250-1の任意の位置における入力を手書き入力として受け付けることができる。これにより、ユーザは、表示部250-1における任意の位置で手書き入力を行うことができるようになる。
一方、デバイス切替部231-1によって仮想キーボードが入力デバイスとして設定された場合、入力処理部232-1は、ペンタッチ操作による表示部250への入力をショートカット機能を実行するための手書き入力として受け付ける。なお、入力処理部232-1は、表示部250-1の任意の位置における入力を手書き入力として受け付けることができる。これにより、ユーザは、表示部250-1における任意の位置で手書き入力を行うことができるようになる。
(4-3)手書き認識部233-1
手書き認識部233-1は、手書き認識処理を実行する機能を有する。当該機能は、例えば、図3を参照して説明したMCU37により実現される。
手書き認識部233-1は、例えば、入力処理部232-1がペンタッチ操作による表示部250への入力をショートカット機能を実行するための手書き入力として受け付けた場合、当該手書き入力の軌跡に基づき、手書き入力に対応するショートカット機能の認識処理を行う。具体的に、まず、手書き認識部233-1は、手書き入力の軌跡から手書き入力の形状(例えば図形、文字等)を認識する。手書き認識部233-1は、参照情報を参照し、認識した形状に対応するショートカット機能を認識する。参照情報は、手書き入力の形状とショートカット機能とを対応付けた情報である。参照情報は、予め記憶部240-1に記憶されている。
なお、手書き認識部233-1は、当該手書き入力が行われている際に接触検出部220-1によって検出されたペンタッチ位置情報に基づき、手書き入力の軌跡を検出する。
手書き認識部233-1は、手書き認識処理を実行する機能を有する。当該機能は、例えば、図3を参照して説明したMCU37により実現される。
手書き認識部233-1は、例えば、入力処理部232-1がペンタッチ操作による表示部250への入力をショートカット機能を実行するための手書き入力として受け付けた場合、当該手書き入力の軌跡に基づき、手書き入力に対応するショートカット機能の認識処理を行う。具体的に、まず、手書き認識部233-1は、手書き入力の軌跡から手書き入力の形状(例えば図形、文字等)を認識する。手書き認識部233-1は、参照情報を参照し、認識した形状に対応するショートカット機能を認識する。参照情報は、手書き入力の形状とショートカット機能とを対応付けた情報である。参照情報は、予め記憶部240-1に記憶されている。
なお、手書き認識部233-1は、当該手書き入力が行われている際に接触検出部220-1によって検出されたペンタッチ位置情報に基づき、手書き入力の軌跡を検出する。
なお、図4を参照して説明したように、第1の実施形態における手書き認識処理はMCU37にて行われる。即ち、手書き認識部233-1は、手書き認識処理をOS40の外部で実行する。手書き認識処理後、手書き認識部233-1は、認識結果をコマンド発行部234-1へ入力する。
かかる構成により、手書き認識処理の実装を容易に行うことができる。また、ユーザによって手書き入力された情報がOS40の外部で処理されるため、情報漏洩にリスクを低減することができる。
かかる構成により、手書き認識処理の実装を容易に行うことができる。また、ユーザによって手書き入力された情報がOS40の外部で処理されるため、情報漏洩にリスクを低減することができる。
(4-4)コマンド発行部234-1
コマンド発行部234-1は、コマンド発行処理を実行する機能を有する。当該機能は、例えば、図4を参照して説明した仮想キーボード50により実現される。
コマンド発行部234-1は、例えば、手書き認識部233-1における手書き認識処理によって認識されたショートカット機能と対応するコマンドを発行する。コマンド発行部234-1は、発行したコマンドをOS40へ入力する。
このように、コマンド発行部234-1は、OS40の外部で実行された手書き認識処理の結果に基づき、OS40の外部でコマンド発行処理を行う。これにより、キーコード(コマンド)を示す情報がOS40の外部で処理されるため、情報漏洩にリスクを低減することができる。
コマンド発行部234-1は、コマンド発行処理を実行する機能を有する。当該機能は、例えば、図4を参照して説明した仮想キーボード50により実現される。
コマンド発行部234-1は、例えば、手書き認識部233-1における手書き認識処理によって認識されたショートカット機能と対応するコマンドを発行する。コマンド発行部234-1は、発行したコマンドをOS40へ入力する。
このように、コマンド発行部234-1は、OS40の外部で実行された手書き認識処理の結果に基づき、OS40の外部でコマンド発行処理を行う。これにより、キーコード(コマンド)を示す情報がOS40の外部で処理されるため、情報漏洩にリスクを低減することができる。
具体的に、コマンド発行部234-1は、参照情報を参照し、手書き認識部233-1が認識したショートカット機能に対応するコマンドを発行する。参照情報は、ショートカット機能とコマンドとを対応付けた情報である。参照情報は、予め記憶部240-1に記憶されている。
(4-5)コマンド実行部235-1
コマンド実行部235-1は、コマンドを実行する機能を有する。当該機能は、例えば、図4を参照して説明したOS40により実現される。
コマンド実行部235-1は、例えば、コマンド発行部234-1によって発行されたコマンドを実行する。
コマンド実行部235-1は、コマンドを実行する機能を有する。当該機能は、例えば、図4を参照して説明したOS40により実現される。
コマンド実行部235-1は、例えば、コマンド発行部234-1によって発行されたコマンドを実行する。
(4-6)出力処理部236-1
出力処理部236-1は、表示部250-1における出力を制御する機能を有する。当該機能は、例えば、図3を参照して説明したCPU21やGPU23により実現される。
出力処理部236-1は、例えば、手書き入力の軌跡を表示部250-1に表示しない。また、出力処理部236-1は、コマンド実行部235-1によるコマンドの実行結果に応じた情報を表示部250-1に表示させる。また、出力処理部236-1は、デバイス切替部231-1によって仮想キーボードが入力デバイスとして設定された際に、表示部250-1にスクリーンキーボードやショートカット機能を実行するためのインタフェースを表示させない。
かかる構成により、表示部250-1にてショートカット機能を実行するための入力やコマンド発行のためのインタフェースによって表示部250-1の表示領域が専有されることを防ぐことができる。
出力処理部236-1は、表示部250-1における出力を制御する機能を有する。当該機能は、例えば、図3を参照して説明したCPU21やGPU23により実現される。
出力処理部236-1は、例えば、手書き入力の軌跡を表示部250-1に表示しない。また、出力処理部236-1は、コマンド実行部235-1によるコマンドの実行結果に応じた情報を表示部250-1に表示させる。また、出力処理部236-1は、デバイス切替部231-1によって仮想キーボードが入力デバイスとして設定された際に、表示部250-1にスクリーンキーボードやショートカット機能を実行するためのインタフェースを表示させない。
かかる構成により、表示部250-1にてショートカット機能を実行するための入力やコマンド発行のためのインタフェースによって表示部250-1の表示領域が専有されることを防ぐことができる。
(5)記憶部240-1
記憶部240-1は、各種情報を記憶する機能を有する。当該機能は、例えば、図3を参照して説明したメインメモリ22、BIOSメモリ28、記憶装置29、EC33が備えるROMやRAM等によって実現される。
記憶部240-1は、例えば、予め用意される参照情報を記憶する。また、記憶部240-1は、OSや各種アプリケーション等のソフトウェア、システムファームウェアやECファームウェア等の各種ファームウェア等を記憶する。
記憶部240-1は、各種情報を記憶する機能を有する。当該機能は、例えば、図3を参照して説明したメインメモリ22、BIOSメモリ28、記憶装置29、EC33が備えるROMやRAM等によって実現される。
記憶部240-1は、例えば、予め用意される参照情報を記憶する。また、記憶部240-1は、OSや各種アプリケーション等のソフトウェア、システムファームウェアやECファームウェア等の各種ファームウェア等を記憶する。
(6)表示部250-1
表示部250-1は、各種情報を表示する機能を有する。当該機能は、例えば、図3を参照して説明した表示画面25により実現される。
表示部250-1は、例えば、出力処理部236-1から入力される信号に応じて出力を行う。
表示部250-1は、各種情報を表示する機能を有する。当該機能は、例えば、図3を参照して説明した表示画面25により実現される。
表示部250-1は、例えば、出力処理部236-1から入力される信号に応じて出力を行う。
<3-4.処理の流れ>
続いて、図7を参照して、第1の実施形態に係るデュアルディスプレイデバイス20における処理の流れについて説明する。図7は、第1の実施形態に係るデュアルディスプレイデバイス20における処理の流れを示すフローチャートである。
続いて、図7を参照して、第1の実施形態に係るデュアルディスプレイデバイス20における処理の流れについて説明する。図7は、第1の実施形態に係るデュアルディスプレイデバイス20における処理の流れを示すフローチャートである。
図7に示すように、まず、デュアルディスプレイデバイス20の通信部200-1が、タッチペン10-1からタッチペン信号を受信する(ステップS100)。
次いで、デュアルディスプレイデバイス20のデバイス切替部231-1が切替処理を行う。デバイス切替部231-1は、タッチペン信号に含まれる切替情報に基づき、タッチペン10-1に対して切替操作が行われているか否かを判定する(ステップS101)。切替操作が行われている場合(ステップS101/YES)、処理をステップS102へ進める。一方、切替操作が行われていない場合(ステップS101/NO)、処理をステップS108へ進める。
ステップS102では、デバイス切替部231-1が仮想キーボードを入力デバイスとして設定する。
仮想キーボードが入力デバイスとして設定された場合、入力処理部232は、ペンタッチ操作を手書き入力として受け付ける(ステップS103)。
手書き入力が受け付けられると、手書き認識部233-1は、手書き認識処理を行う(ステップS104)。
手書き認識処理後、コマンド発行部234-1は、参照情報を参照して、認識されたショートカット機能と対応するコマンドを発行する(ステップS105)。
コマンド実行部235-1は、発行されたコマンドを実行する(ステップS106)。
そして、出力処理部236は、実行されたコマンドの実行結果に応じた出力を行う(ステップS107)。
仮想キーボードが入力デバイスとして設定された場合、入力処理部232は、ペンタッチ操作を手書き入力として受け付ける(ステップS103)。
手書き入力が受け付けられると、手書き認識部233-1は、手書き認識処理を行う(ステップS104)。
手書き認識処理後、コマンド発行部234-1は、参照情報を参照して、認識されたショートカット機能と対応するコマンドを発行する(ステップS105)。
コマンド実行部235-1は、発行されたコマンドを実行する(ステップS106)。
そして、出力処理部236は、実行されたコマンドの実行結果に応じた出力を行う(ステップS107)。
ステップS108では、デバイス切替部231-1がタッチペンを入力デバイスとして設定する。
タッチペンが入力デバイスとして設定された場合、入力処理部232は、ペンタッチ操作をポインティング操作として受け付ける(ステップS109)。
そして、出力処理部236は、ポインティング操作に応じた出力を行う(ステップS107)。
タッチペンが入力デバイスとして設定された場合、入力処理部232は、ペンタッチ操作をポインティング操作として受け付ける(ステップS109)。
そして、出力処理部236は、ポインティング操作に応じた出力を行う(ステップS107)。
<3-5.具体例>
続いて、図8から図17を参照して、第1の実施形態に係る処理の具体例について説明する。まず、図8を参照して、第1の実施形態に係る具体例における参照情報の一例について説明する。図8は、第1の実施形態に係る具体例における参照情報の一例を示す図である。
続いて、図8から図17を参照して、第1の実施形態に係る処理の具体例について説明する。まず、図8を参照して、第1の実施形態に係る具体例における参照情報の一例について説明する。図8は、第1の実施形態に係る具体例における参照情報の一例を示す図である。
(1)参照情報の具体例
図8に示すように、参照情報は手書き入力の形状とショートカット機能とコマンドの対応関係を示している。具体的に、手書き入力の形状が「Y軸正方向へ向かう線」である場合、「対象をY軸正方向へ移動」するコマンドが発行される。手書き入力の形状が「Y軸負方向へ向かう線」である場合、「対象をY軸負方向へ移動」するコマンドが発行される。手書き入力の形状が「X軸正方向へ向かう線」である場合、「対象をX軸正方向へ移動」するコマンドが発行される。手書き入力の形状が「X軸負方向へ向かう線」である場合、「対象をX軸負方向へ移動」するコマンドが発行される。手書き入力の形状が「文字C」である場合、「対象をコピー」するコマンドが発行される。手書き入力の形状が「文字V」である場合、「対象をペースト」するコマンドが発行される。
図8に示すように、参照情報は手書き入力の形状とショートカット機能とコマンドの対応関係を示している。具体的に、手書き入力の形状が「Y軸正方向へ向かう線」である場合、「対象をY軸正方向へ移動」するコマンドが発行される。手書き入力の形状が「Y軸負方向へ向かう線」である場合、「対象をY軸負方向へ移動」するコマンドが発行される。手書き入力の形状が「X軸正方向へ向かう線」である場合、「対象をX軸正方向へ移動」するコマンドが発行される。手書き入力の形状が「X軸負方向へ向かう線」である場合、「対象をX軸負方向へ移動」するコマンドが発行される。手書き入力の形状が「文字C」である場合、「対象をコピー」するコマンドが発行される。手書き入力の形状が「文字V」である場合、「対象をペースト」するコマンドが発行される。
(2)移動の具体例
図9から図12を参照して、対象を移動させるショートカット機能に対応する手書き入力が行われた際のコマンド実行結果の具体例について説明する。図9から図12は、第1の実施形態に係る対象を移動させるショートカット機能に対応する手書き入力が行われた際のコマンド実行結果の一例を示す図である。図9から図12には、ウィンドウW1からウィンドウW3が示されている。ウィンドウW1からウィンドウ3は、例えばWebブラウザのウィンドウである。ウィンドウW1からウィンドウW3の内、ウィンドウW1がアクティブウィンドウであり、移動の対象となるウィンドウであるとする。また、図8から図11に示す例では、ユーザは、ペンタッチ操作を行っている間、タッチペン10-1のボタン11-1を押下状態にしているとする。
図9から図12を参照して、対象を移動させるショートカット機能に対応する手書き入力が行われた際のコマンド実行結果の具体例について説明する。図9から図12は、第1の実施形態に係る対象を移動させるショートカット機能に対応する手書き入力が行われた際のコマンド実行結果の一例を示す図である。図9から図12には、ウィンドウW1からウィンドウW3が示されている。ウィンドウW1からウィンドウ3は、例えばWebブラウザのウィンドウである。ウィンドウW1からウィンドウW3の内、ウィンドウW1がアクティブウィンドウであり、移動の対象となるウィンドウであるとする。また、図8から図11に示す例では、ユーザは、ペンタッチ操作を行っている間、タッチペン10-1のボタン11-1を押下状態にしているとする。
図9は図9の状態にてコマンドを実行する前の状態を示し、図10は図9の状態にてコマンドを実行した後の状態を示している。
図9に示す例では、タッチスクリーン24AにウィンドウW1及びウィンドウW2が表示されている。なお、ウィンドウW2に対して、ウィンドウW1がウィンドウW2全体を隠すように重畳表示されているため、ウィンドウW2は不可視状態となっている。また、タッチスクリーン24Bには、ウィンドウW3が表示されている。
図9に示す状態で、ユーザがタッチペン10-1のボタン11-1を押下状態のままペンタッチ操作を行い、ペンタッチ位置を矢印の方向(Y軸正方向)へ移動するタッチ操作を行ったとする。デュアルディスプレイデバイス20-1は、ボタン11-1が押下状態であるため、切替操作が行われていることを示す切替情報をタッチペン10-1から受信する。そのため、デバイス切替部231-1は、入力デバイスとして仮想キーボードを設定する。これに伴い、入力処理部232-1は、ペンタッチ操作をショートカット機能を実行するための手書き入力として受け付ける。手書き認識部233-1は、手書き入力の軌跡より、Y軸正方向へ向かう線が手書き入力されたと認識する。さらに、手書き認識部233-1は、図8に示す参照情報を参照し、Y軸正方向へ向かう線が対象をY軸正方向へ移動させるショートカット機能に対応していることを認識する。これより、コマンド発行部234-1は、図8に示す参照情報を参照し、対象をY軸正方向へ移動するコマンドを発行する。コマンド実行部235-1が発行されたコマンドを実行することで、移動の対象であるウィンドウW1がY軸正方向へ移動される。例えば、図10に示すように、ウィンドウW1は、タッチスクリーン24Bへ移動される。ウィンドウW1の移動に伴い、タッチスクリーン24AにおいてウィンドウW2が可視状態となり、タッチスクリーン24BにおいてウィンドウW3が不可視状態となっている。
図9に示す例では、タッチスクリーン24AにウィンドウW1及びウィンドウW2が表示されている。なお、ウィンドウW2に対して、ウィンドウW1がウィンドウW2全体を隠すように重畳表示されているため、ウィンドウW2は不可視状態となっている。また、タッチスクリーン24Bには、ウィンドウW3が表示されている。
図9に示す状態で、ユーザがタッチペン10-1のボタン11-1を押下状態のままペンタッチ操作を行い、ペンタッチ位置を矢印の方向(Y軸正方向)へ移動するタッチ操作を行ったとする。デュアルディスプレイデバイス20-1は、ボタン11-1が押下状態であるため、切替操作が行われていることを示す切替情報をタッチペン10-1から受信する。そのため、デバイス切替部231-1は、入力デバイスとして仮想キーボードを設定する。これに伴い、入力処理部232-1は、ペンタッチ操作をショートカット機能を実行するための手書き入力として受け付ける。手書き認識部233-1は、手書き入力の軌跡より、Y軸正方向へ向かう線が手書き入力されたと認識する。さらに、手書き認識部233-1は、図8に示す参照情報を参照し、Y軸正方向へ向かう線が対象をY軸正方向へ移動させるショートカット機能に対応していることを認識する。これより、コマンド発行部234-1は、図8に示す参照情報を参照し、対象をY軸正方向へ移動するコマンドを発行する。コマンド実行部235-1が発行されたコマンドを実行することで、移動の対象であるウィンドウW1がY軸正方向へ移動される。例えば、図10に示すように、ウィンドウW1は、タッチスクリーン24Bへ移動される。ウィンドウW1の移動に伴い、タッチスクリーン24AにおいてウィンドウW2が可視状態となり、タッチスクリーン24BにおいてウィンドウW3が不可視状態となっている。
図10は図10の状態にてコマンドを実行する前の状態を示し、図11は図10の状態にてコマンドを実行した後の状態を示している。
図10に示す例では、タッチスクリーン24AにウィンドウW2が表示されている。また、タッチスクリーン24Bには、ウィンドウW1及びウィンドウW3が表示されている。なお、ウィンドウW3に対して、ウィンドウW1がウィンドウW3全体を隠すように重畳表示されているため、ウィンドウW3は不可視状態となっている。
図10に示す状態で、ユーザがタッチペン10-1のボタン11-1を押下状態のままペンタッチ操作を行い、ペンタッチ位置を矢印の方向(Y軸負方向)へ移動するタッチ操作を行ったとする。デュアルディスプレイデバイス20-1は、ボタン11-1が押下状態であるため、切替操作が行われていることを示す切替情報をタッチペン10-1から受信する。そのため、デバイス切替部231-1は、入力デバイスとして仮想キーボードを設定する。これに伴い、入力処理部232-1は、ペンタッチ操作をショートカット機能を実行するための手書き入力として受け付ける。手書き認識部233-1は、手書き入力の軌跡より、Y軸負方向へ向かう線が手書き入力されたと認識する。さらに、手書き認識部233-1は、図8に示す参照情報を参照し、Y軸負方向へ向かう線が対象をY軸負方向へ移動させるショートカット機能に対応していることを認識する。これより、コマンド発行部234-1は、図8に示す参照情報を参照し、対象をY軸負方向へ移動するコマンドを発行する。コマンド実行部235-1が発行されたコマンドを実行することで、移動の対象であるウィンドウW1がY軸負方向へ移動される。例えば、図11に示すように、ウィンドウW1は、タッチスクリーン24Aへ移動される。ウィンドウW1の移動に伴い、タッチスクリーン24AにおいてウィンドウW2が再び不可視状態となり、タッチスクリーン24BにおいてウィンドウW3が再び可視状態となっている。
図10に示す例では、タッチスクリーン24AにウィンドウW2が表示されている。また、タッチスクリーン24Bには、ウィンドウW1及びウィンドウW3が表示されている。なお、ウィンドウW3に対して、ウィンドウW1がウィンドウW3全体を隠すように重畳表示されているため、ウィンドウW3は不可視状態となっている。
図10に示す状態で、ユーザがタッチペン10-1のボタン11-1を押下状態のままペンタッチ操作を行い、ペンタッチ位置を矢印の方向(Y軸負方向)へ移動するタッチ操作を行ったとする。デュアルディスプレイデバイス20-1は、ボタン11-1が押下状態であるため、切替操作が行われていることを示す切替情報をタッチペン10-1から受信する。そのため、デバイス切替部231-1は、入力デバイスとして仮想キーボードを設定する。これに伴い、入力処理部232-1は、ペンタッチ操作をショートカット機能を実行するための手書き入力として受け付ける。手書き認識部233-1は、手書き入力の軌跡より、Y軸負方向へ向かう線が手書き入力されたと認識する。さらに、手書き認識部233-1は、図8に示す参照情報を参照し、Y軸負方向へ向かう線が対象をY軸負方向へ移動させるショートカット機能に対応していることを認識する。これより、コマンド発行部234-1は、図8に示す参照情報を参照し、対象をY軸負方向へ移動するコマンドを発行する。コマンド実行部235-1が発行されたコマンドを実行することで、移動の対象であるウィンドウW1がY軸負方向へ移動される。例えば、図11に示すように、ウィンドウW1は、タッチスクリーン24Aへ移動される。ウィンドウW1の移動に伴い、タッチスクリーン24AにおいてウィンドウW2が再び不可視状態となり、タッチスクリーン24BにおいてウィンドウW3が再び可視状態となっている。
図11は図11の状態にてコマンドを実行する前の状態を示し、図12は図11の状態にてコマンドを実行した後の状態を示している。
図11に示す例では、タッチスクリーン24AにウィンドウW1及びウィンドウW2が表示されている。なお、ウィンドウW2に対して、ウィンドウW1がウィンドウW2全体を隠すように重畳表示されているため、ウィンドウW2は不可視状態となっている。また、タッチスクリーン24Bには、ウィンドウW3が表示されている。
図11に示す状態で、ユーザがタッチペン10-1のボタン11-1を押下状態のままペンタッチ操作を行い、ペンタッチ位置を矢印の方向(X軸負方向)へ移動するタッチ操作を行ったとする。デュアルディスプレイデバイス20-1は、ボタン11-1が押下状態であるため、切替操作が行われていることを示す切替情報をタッチペン10-1から受信する。そのため、デバイス切替部231-1は、入力デバイスとして仮想キーボードを設定する。これに伴い、入力処理部232-1は、ペンタッチ操作をショートカット機能を実行するための手書き入力として受け付ける。手書き認識部233-1は、手書き入力の軌跡より、X軸負方向へ向かう線が手書き入力されたと認識する。さらに、手書き認識部233-1は、図8に示す参照情報を参照し、X軸負方向へ向かう線が対象をX軸負方向へ移動させるショートカット機能に対応していることを認識する。これより、コマンド発行部234-1は、図8に示す参照情報を参照し、対象をX軸負方向へ移動するコマンドを発行する。なお、図11に示す例では、ウィンドウW1は最大化表示されており、かつX軸負方向にはタッチスクリーン24A以外のタッチスクリーンが存在しない。そのため、ウィンドウW1を移動することができない。この場合、移動方向へウィンドウを縮小するコマンドが実行されてもよい。例えば、図12に示すように、ウィンドウW1は縮小される。ウィンドウW1の縮小に伴い、タッチスクリーン24AにおいてウィンドウW2が可視状態となっている。
図11に示す例では、タッチスクリーン24AにウィンドウW1及びウィンドウW2が表示されている。なお、ウィンドウW2に対して、ウィンドウW1がウィンドウW2全体を隠すように重畳表示されているため、ウィンドウW2は不可視状態となっている。また、タッチスクリーン24Bには、ウィンドウW3が表示されている。
図11に示す状態で、ユーザがタッチペン10-1のボタン11-1を押下状態のままペンタッチ操作を行い、ペンタッチ位置を矢印の方向(X軸負方向)へ移動するタッチ操作を行ったとする。デュアルディスプレイデバイス20-1は、ボタン11-1が押下状態であるため、切替操作が行われていることを示す切替情報をタッチペン10-1から受信する。そのため、デバイス切替部231-1は、入力デバイスとして仮想キーボードを設定する。これに伴い、入力処理部232-1は、ペンタッチ操作をショートカット機能を実行するための手書き入力として受け付ける。手書き認識部233-1は、手書き入力の軌跡より、X軸負方向へ向かう線が手書き入力されたと認識する。さらに、手書き認識部233-1は、図8に示す参照情報を参照し、X軸負方向へ向かう線が対象をX軸負方向へ移動させるショートカット機能に対応していることを認識する。これより、コマンド発行部234-1は、図8に示す参照情報を参照し、対象をX軸負方向へ移動するコマンドを発行する。なお、図11に示す例では、ウィンドウW1は最大化表示されており、かつX軸負方向にはタッチスクリーン24A以外のタッチスクリーンが存在しない。そのため、ウィンドウW1を移動することができない。この場合、移動方向へウィンドウを縮小するコマンドが実行されてもよい。例えば、図12に示すように、ウィンドウW1は縮小される。ウィンドウW1の縮小に伴い、タッチスクリーン24AにおいてウィンドウW2が可視状態となっている。
(3)コピー又はペーストの具体例
図13から図17を参照して、対象をコピー又はペーストするショートカット機能に対応する手書き入力が行われた際のコマンド実行結果の具体例について説明する。図13から図17は、第1の実施形態に係る対象をコピー又はペーストするショートカット機能に対応する手書き入力が行われた際のコマンド実行結果の一例を示す図である。
図13から図17を参照して、対象をコピー又はペーストするショートカット機能に対応する手書き入力が行われた際のコマンド実行結果の具体例について説明する。図13から図17は、第1の実施形態に係る対象をコピー又はペーストするショートカット機能に対応する手書き入力が行われた際のコマンド実行結果の一例を示す図である。
まず、図13から図15を参照して、あるウィンドウに表示された画像とテキストをコピーし、他のウィンドウへ画像とテキストをペーストする例について説明する。
図13から図15に示す例では、ウィンドウW1、ウィンドウW4、及びウィンドウW5が示されている。ウィンドウW1は、例えばWebブラウザのウィンドウである。ウィンドウW4は、例えば画像とテキストのペーストが可能なメールアプリケーションのウィンドウである。ウィンドウW5は、例えばテキストのみペースト可能なテキスト編集アプリケーションのウィンドウである。ウィンドウW1はタッチスクリーン24Aに表示され、ウィンドウW4及びウィンドウW5はタッチスクリーン24Bに表示されている。
図13には、対象をコピーするショートカット機能を実行するための手書き入力例が示されている。図13では、ウィンドウW1に表示された画像T1とテキストT2が選択された状態となっている。この状態で、ユーザはタッチペン10-1のボタン11-1を押下状態のままペンタッチ操作を行い、ウィンドウW1に対して文字C1を手書き入力するペンタッチ操作を行ったとする。デュアルディスプレイデバイス20-1は、ボタン11-1が押下状態であるため、切替操作が行われていることを示す切替情報をタッチペン10-1から受信する。そのため、デバイス切替部231-1は、入力デバイスとして仮想キーボードを設定する。これに伴い、入力処理部232-1は、ペンタッチ操作をショートカット機能を実行するための手書き入力として受け付ける。手書き認識部233-1は、手書き入力の軌跡より、文字「C」がショートカット機能を実行するために手書き入力されたと認識する。これより、コマンド発行部234-1は、図8に示す参照情報を参照し、対象をコピーするコマンドを発行する。コマンド実行部235-1が発行されたコマンドを実行することで、選択状態となっていた画像T1とテキストT2がコピーされる。
図13から図15に示す例では、ウィンドウW1、ウィンドウW4、及びウィンドウW5が示されている。ウィンドウW1は、例えばWebブラウザのウィンドウである。ウィンドウW4は、例えば画像とテキストのペーストが可能なメールアプリケーションのウィンドウである。ウィンドウW5は、例えばテキストのみペースト可能なテキスト編集アプリケーションのウィンドウである。ウィンドウW1はタッチスクリーン24Aに表示され、ウィンドウW4及びウィンドウW5はタッチスクリーン24Bに表示されている。
図13には、対象をコピーするショートカット機能を実行するための手書き入力例が示されている。図13では、ウィンドウW1に表示された画像T1とテキストT2が選択された状態となっている。この状態で、ユーザはタッチペン10-1のボタン11-1を押下状態のままペンタッチ操作を行い、ウィンドウW1に対して文字C1を手書き入力するペンタッチ操作を行ったとする。デュアルディスプレイデバイス20-1は、ボタン11-1が押下状態であるため、切替操作が行われていることを示す切替情報をタッチペン10-1から受信する。そのため、デバイス切替部231-1は、入力デバイスとして仮想キーボードを設定する。これに伴い、入力処理部232-1は、ペンタッチ操作をショートカット機能を実行するための手書き入力として受け付ける。手書き認識部233-1は、手書き入力の軌跡より、文字「C」がショートカット機能を実行するために手書き入力されたと認識する。これより、コマンド発行部234-1は、図8に示す参照情報を参照し、対象をコピーするコマンドを発行する。コマンド実行部235-1が発行されたコマンドを実行することで、選択状態となっていた画像T1とテキストT2がコピーされる。
図14には、対象をペーストするショートカット機能を実行するための手書き入力例が示されている。図14では、ウィンドウW1に表示された画像T1とテキストT2がコピーされた状態となっている。この状態で、ユーザはタッチペン10-1のボタン11-1を押下状態のままペンタッチ操作を行い、ウィンドウW4に対して文字C2を手書き入力するペンタッチ操作を行ったとする。デュアルディスプレイデバイス20-1は、ボタン11-1が押下状態であるため、切替操作が行われていることを示す切替情報をタッチペン10-1から受信する。そのため、デバイス切替部231-1は、入力デバイスとして仮想キーボードを設定する。これに伴い、入力処理部232-1は、ペンタッチ操作をショートカット機能を実行するための手書き入力として受け付ける。手書き認識部233-1は、手書き入力の軌跡より、文字「V」がショートカット機能を実行するために手書き入力されたと認識する。これより、コマンド発行部234-1は、図8に示す参照情報を参照し、対象をペーストするコマンドを発行する。ウィンドウW4は、画像とテキストのペーストが可能なメールアプリケーションのウィンドウである。そのため、コマンド実行部235-1が発行されたコマンドを実行することで、コピーされていた画像T1とテキストT2がウィンドウW4にペーストされる。
図15には、図14と同様に対象をペーストするショートカット機能を実行するための手書き入力例が示されている。図15では、ウィンドウW1に表示された画像T1とテキストT2がコピーされた状態となっている。この状態で、ユーザはタッチペン10-1のボタン11-1を押下状態のままペンタッチ操作を行い、ウィンドウW5に対して文字C2を手書き入力するペンタッチ操作を行ったとする。デュアルディスプレイデバイス20-1は、ボタン11-1が押下状態であるため、切替操作が行われていることを示す切替情報をタッチペン10-1から受信する。そのため、デバイス切替部231-1は、入力デバイスとして仮想キーボードを設定する。これに伴い、入力処理部232-1は、ペンタッチ操作をショートカット機能を実行するための手書き入力として受け付ける。手書き認識部233-1は、手書き入力の軌跡より、文字「V」がショートカット機能を実行するために手書き入力されたと認識する。これより、コマンド発行部234-1は、図8に示す参照情報を参照し、対象をペーストするコマンドを発行する。ウィンドウW5は、テキストのみペースト可能なテキスト編集アプリケーションのウィンドウである。そのため、コマンド実行部235-1が発行されたコマンドを実行することで、コピーされていたテキストT2のみがウィンドウW5にペーストされる。
続いて、図16及び図17を参照して、コピーした単語を、単語と単語の間にペーストする例について説明する。図16は図16の状態にてコマンドを実行する前の状態を示し、図17は図16の状態にてコマンドを実行した後の状態を示している。図16及び図17に示す例では、タッチスクリーン24AにウィンドウW5が表示されている。なお、説明の便宜上、タッチスクリーン24Bは図示しない。また、図16及び図17に示す例では、「blue」という単語が既にコピーされた状態であるとする。
図16に示すウィンドウW5には、「The fox jumps over the dog」というテキストが表示されている。図16に示す状態で、ユーザがタッチペン10-1のボタン11-1を押下状態のままペンタッチ操作を行い、ウィンドウW5に対して、ペンタッチ位置TPを手書き入力の開始位置として、文字C2を手書き入力するペンタッチ操作を行ったとする。デュアルディスプレイデバイス20-1は、ボタン11-1が押下状態であるため、切替操作が行われていることを示す切替情報をタッチペン10-1から受信する。そのため、デバイス切替部231-1は、入力デバイスとして仮想キーボードを設定する。これに伴い、入力処理部232-1は、ペンタッチ操作をショートカット機能を実行するための手書き入力として受け付ける。手書き認識部233-1は、手書き入力の軌跡より、文字「V」がショートカット機能を実行するために手書き入力されたと認識する。これより、コマンド発行部234-1は、図8に示す参照情報を参照し、対象をペーストするコマンドを発行する。この時、コマンド発行部234-1は、手書き入力の開始位置であるペンタッチ位置TPがコマンドの実行位置となるようにコマンドを発行する。これにより、コマンド実行部235-1が発行されたコマンドを実行すると、図17に示すように、ペンタッチ位置TPにコピーされていたテキスト「blue」がペーストされる。
図16に示すウィンドウW5には、「The fox jumps over the dog」というテキストが表示されている。図16に示す状態で、ユーザがタッチペン10-1のボタン11-1を押下状態のままペンタッチ操作を行い、ウィンドウW5に対して、ペンタッチ位置TPを手書き入力の開始位置として、文字C2を手書き入力するペンタッチ操作を行ったとする。デュアルディスプレイデバイス20-1は、ボタン11-1が押下状態であるため、切替操作が行われていることを示す切替情報をタッチペン10-1から受信する。そのため、デバイス切替部231-1は、入力デバイスとして仮想キーボードを設定する。これに伴い、入力処理部232-1は、ペンタッチ操作をショートカット機能を実行するための手書き入力として受け付ける。手書き認識部233-1は、手書き入力の軌跡より、文字「V」がショートカット機能を実行するために手書き入力されたと認識する。これより、コマンド発行部234-1は、図8に示す参照情報を参照し、対象をペーストするコマンドを発行する。この時、コマンド発行部234-1は、手書き入力の開始位置であるペンタッチ位置TPがコマンドの実行位置となるようにコマンドを発行する。これにより、コマンド実行部235-1が発行されたコマンドを実行すると、図17に示すように、ペンタッチ位置TPにコピーされていたテキスト「blue」がペーストされる。
このように、手書き入力の開始位置をコマンドの実行位置とすることで、コマンドの対象とコマンドの内容を同時に指定することができる。即ち、ショートカット機能を実行するための手書き入力におけるユーザの手間を軽減でき、ユーザエクスペリエンスを向上することができる。
以上説明したように、第1の実施形態に係るデュアルディスプレイデバイス20-1は、表示部250-1、接触検出部220-1、通信部200-1、デバイス切替部231-1、入力処理部232-1、手書き認識部233-1、及びコマンド発行部234-1を備える。
接触検出部220-1は、表示部250-1上におけるタッチペン10-1との接触を検出する。
通信部200-1は、OS40に認識させる入力デバイスの切替操作がタッチペン10-1に対して行われているか否かを示す切替情報を、タッチペン10-1から受信する。
デバイス切替部231-1は、切替操作が行われていないことを切替情報が示す場合、入力デバイスとしてタッチペンを設定し、切替操作が行われていることを切替情報が示す場合、入力デバイスとして仮想キーボードを設定する。
入力処理部232-1は、入力デバイスがタッチペンである場合、表示部250-1への入力をポインティング操作として受け付け、入力デバイスが仮想キーボードである場合、当該入力をショートカット機能を実行するための手書き入力として受け付ける。
手書き認識部233-1は、手書き入力の軌跡に基づき、当該手書き入力に対応するショートカット機能の認識処理を行う。
コマンド発行部234-1は、認識処理によって認識されたショートカット機能と対応するコマンドを発行し、OSへ入力する。
接触検出部220-1は、表示部250-1上におけるタッチペン10-1との接触を検出する。
通信部200-1は、OS40に認識させる入力デバイスの切替操作がタッチペン10-1に対して行われているか否かを示す切替情報を、タッチペン10-1から受信する。
デバイス切替部231-1は、切替操作が行われていないことを切替情報が示す場合、入力デバイスとしてタッチペンを設定し、切替操作が行われていることを切替情報が示す場合、入力デバイスとして仮想キーボードを設定する。
入力処理部232-1は、入力デバイスがタッチペンである場合、表示部250-1への入力をポインティング操作として受け付け、入力デバイスが仮想キーボードである場合、当該入力をショートカット機能を実行するための手書き入力として受け付ける。
手書き認識部233-1は、手書き入力の軌跡に基づき、当該手書き入力に対応するショートカット機能の認識処理を行う。
コマンド発行部234-1は、認識処理によって認識されたショートカット機能と対応するコマンドを発行し、OSへ入力する。
かかる構成により、デュアルディスプレイデバイス20-1では、タッチスクリーン24にスクリーンキーボードやショートカット機能を実行するためのインタフェースを表示することなく、ショートカット機能を実行することが可能となる。
よって、第1の実施形態にかかるデュアルディスプレイデバイス20-1は、タッチスクリーンにおける視認性を低下することなくショートカット機能を実行することを可能とする。
<<4.第2の実施形態>>
以上、第1の実施形態について説明した。続いて、図18~図20を参照して、第1の実施形態について説明する。なお、上述した第1の実施形態と重複する説明は省略する。
以上、第1の実施形態について説明した。続いて、図18~図20を参照して、第1の実施形態について説明する。なお、上述した第1の実施形態と重複する説明は省略する。
<4-1.概要>
まず、図18を参照して、第2の実施形態の概要について説明する。図18は、第2の実施形態の概要を示す図である。第2の実施形態に係る情報処理システム1-2は、タッチペン10-2及びデュアルディスプレイデバイス20-2で構成される。
まず、図18を参照して、第2の実施形態の概要について説明する。図18は、第2の実施形態の概要を示す図である。第2の実施形態に係る情報処理システム1-2は、タッチペン10-2及びデュアルディスプレイデバイス20-2で構成される。
図18に示すように、まず、タッチペン10-2は、ペンタッチ操作に伴いタッチペン信号をデュアルディスプレイデバイス20-2へ送信する(ステップS20)。
デュアルディスプレイデバイス20-2のMCU37は、デバイス切替処理を実行する(ステップS21)。
デュアルディスプレイデバイス20-2のMCU37は、デバイス切替処理を実行する(ステップS21)。
デバイス切替処理後、MCU37は、設定した入力デバイスに応じた処理を実行する。
デバイスとしてタッチペンを設定した場合、MCU37は、タッチペン10-1から受信したタッチペン信号をOS40へ出力する(ステップS22)。OS40は、入力されたタッチペン信号に基づき、各種ソフトウェア41に応じた処理を実行する。
一方、入力デバイスとして仮想キーボードを設定した場合、MCU37は、仮想HID51(Human Interface Device)を介して、ペンタッチ位置情報をOS40の常駐ソフトウェア42へ入力する(ステップS23)。常駐ソフトウェア42は、手書き認識処理を行う(ステップS24)。手書き認識処理後、常駐ソフトウェア42は、仮想HID51を介して、認識結果をMCU37へ入力する(ステップS25)。
デバイスとしてタッチペンを設定した場合、MCU37は、タッチペン10-1から受信したタッチペン信号をOS40へ出力する(ステップS22)。OS40は、入力されたタッチペン信号に基づき、各種ソフトウェア41に応じた処理を実行する。
一方、入力デバイスとして仮想キーボードを設定した場合、MCU37は、仮想HID51(Human Interface Device)を介して、ペンタッチ位置情報をOS40の常駐ソフトウェア42へ入力する(ステップS23)。常駐ソフトウェア42は、手書き認識処理を行う(ステップS24)。手書き認識処理後、常駐ソフトウェア42は、仮想HID51を介して、認識結果をMCU37へ入力する(ステップS25)。
MCU37は、仮想HID51を介して常駐ソフトウェア42から入力された認識結果を仮想キーボード50へ入力する(ステップS26)。
仮想キーボード50は、認識結果に基づき、コマンド発行処理を実行する(ステップS27)。コマンド発行処理後、仮想キーボード50は、発行したコマンドをOS40へ出力する(ステップS28)。OS40は、入力されたコマンドに基づき、各種ソフトウェア41に応じた処理を実行する。
仮想キーボード50は、認識結果に基づき、コマンド発行処理を実行する(ステップS27)。コマンド発行処理後、仮想キーボード50は、発行したコマンドをOS40へ出力する(ステップS28)。OS40は、入力されたコマンドに基づき、各種ソフトウェア41に応じた処理を実行する。
上述のように、第2の実施形態では、デバイス切替処理によって入力デバイスとして仮想キーボードが設定された場合に、OS40の常駐ソフトウェア42が手書き認識処理を行う例について説明する。
<4-2.タッチペンの機能構成>
続いて、図19を参照して、第2の実施形態に係るタッチペン10-2の機能構成について説明する。図19は、第2の実施形態に係るタッチペン10-2の機能構成の一例を示すブロック図である。図19に示すように、タッチペン10-2は、切替情報検出部100-2、圧力情報検出部110-2、通信部120-2、制御部130-2、及び記憶部140-2を備える。
続いて、図19を参照して、第2の実施形態に係るタッチペン10-2の機能構成について説明する。図19は、第2の実施形態に係るタッチペン10-2の機能構成の一例を示すブロック図である。図19に示すように、タッチペン10-2は、切替情報検出部100-2、圧力情報検出部110-2、通信部120-2、制御部130-2、及び記憶部140-2を備える。
(1)切替情報検出部100-2
切替情報検出部100-2の機能は、上述の第1の実施形態にて図5を参照して説明した切替情報検出部100-1の機能と同様であるため、重複する説明は省略する。
切替情報検出部100-2の機能は、上述の第1の実施形態にて図5を参照して説明した切替情報検出部100-1の機能と同様であるため、重複する説明は省略する。
(2)圧力情報検出部110-2
圧力情報検出部110-2の機能は、上述の第1の実施形態にて図5を参照して説明した圧力情報検出部110-1の機能と同様であるため、重複する説明は省略する。
圧力情報検出部110-2の機能は、上述の第1の実施形態にて図5を参照して説明した圧力情報検出部110-1の機能と同様であるため、重複する説明は省略する。
(3)通信部120-2
通信部120-2の機能は、上述の第1の実施形態にて図5を参照して説明した通信部120-1の機能と同様であるため、重複する説明は省略する。
通信部120-2の機能は、上述の第1の実施形態にて図5を参照して説明した通信部120-1の機能と同様であるため、重複する説明は省略する。
(4)制御部130-2
制御部130-2の機能は、上述の第1の実施形態にて図5を参照して説明した制御部130-1の機能と同様であるため、重複する説明は省略する。
制御部130-2の機能は、上述の第1の実施形態にて図5を参照して説明した制御部130-1の機能と同様であるため、重複する説明は省略する。
(5)記憶部140-2
記憶部140-2の機能は、上述の第1の実施形態にて図5を参照して説明した記憶部140-1の機能と同様であるため、重複する説明は省略する。
記憶部140-2の機能は、上述の第1の実施形態にて図5を参照して説明した記憶部140-1の機能と同様であるため、重複する説明は省略する。
<4-3.デュアルディスプレイデバイスの機能構成>
図20を参照して、第2の実施形態に係るデュアルディスプレイデバイス20-2の機能構成について説明する。図20は、第2の実施形態に係るデュアルディスプレイデバイス20-2の機能構成の一例を示すブロック図である。図20に示すように、デュアルディスプレイデバイス20-2は、通信部200-2、入力部210-2、接触検出部220-2、制御部230-2、記憶部240-2、及び表示部250-2を備える。
図20を参照して、第2の実施形態に係るデュアルディスプレイデバイス20-2の機能構成について説明する。図20は、第2の実施形態に係るデュアルディスプレイデバイス20-2の機能構成の一例を示すブロック図である。図20に示すように、デュアルディスプレイデバイス20-2は、通信部200-2、入力部210-2、接触検出部220-2、制御部230-2、記憶部240-2、及び表示部250-2を備える。
(1)通信部200-2
通信部200-2の機能は、上述の第1の実施形態にて図6を参照して説明した通信部200-1の機能と同様であるため、重複する説明は省略する。
通信部200-2の機能は、上述の第1の実施形態にて図6を参照して説明した通信部200-1の機能と同様であるため、重複する説明は省略する。
(2)入力部210-2
入力部210-2の機能は、上述の第1の実施形態にて図6を参照して説明した入力部210-1の機能と同様であるため、重複する説明は省略する。
入力部210-2の機能は、上述の第1の実施形態にて図6を参照して説明した入力部210-1の機能と同様であるため、重複する説明は省略する。
(3)接触検出部220-2
接触検出部220-2の機能は、上述の第1の実施形態にて図6を参照して説明した接触検出部220-1の機能と同様であるため、重複する説明は省略する。
接触検出部220-2の機能は、上述の第1の実施形態にて図6を参照して説明した接触検出部220-1の機能と同様であるため、重複する説明は省略する。
(4)制御部230-2
制御部230-2は、デュアルディスプレイデバイス20-2の動作全般を制御する機能を有する。当該機能は、例えば、図3を参照して説明したCPU21、チップセット27、及びMCU37等により実現される。
図20に示すように、制御部230-2は、デバイス切替部231-2、入力処理部232-2、手書き認識部233-2、コマンド発行部234-2、コマンド実行部235-2、及び出力処理部236-2を備える。
制御部230-2は、デュアルディスプレイデバイス20-2の動作全般を制御する機能を有する。当該機能は、例えば、図3を参照して説明したCPU21、チップセット27、及びMCU37等により実現される。
図20に示すように、制御部230-2は、デバイス切替部231-2、入力処理部232-2、手書き認識部233-2、コマンド発行部234-2、コマンド実行部235-2、及び出力処理部236-2を備える。
(4-1)デバイス切替部231-2
デバイス切替部231-2の機能は、上述の第1の実施形態にて図6を参照して説明したデバイス切替部231-1の機能と同様であるため、重複する説明は省略する。
デバイス切替部231-2の機能は、上述の第1の実施形態にて図6を参照して説明したデバイス切替部231-1の機能と同様であるため、重複する説明は省略する。
(4-2)入力処理部232-2
入力処理部232-2の機能は、上述の第1の実施形態にて図6を参照して説明した入力処理部232-1の機能と同様であるため、重複する説明は省略する。
なお、デバイス切替部231-2によって仮想キーボードが入力デバイスとして設定された場合、入力処理部232-2は、仮想HID51を介して、OS40の常駐ソフトウェア42と情報のやり取りを行う。具体的に、入力処理部232-2は、手書き入力が行われている際に接触検出部220-2によって検出されたペンタッチ位置情報を、仮想HID51を介してOS40の常駐ソフトウェア42へ入力する。常駐ソフトウェア42における手書き認識処理後、入力処理部232-2は、仮想HID51を介して、常駐ソフトウェア42から認識結果を取得する。
入力処理部232-2の機能は、上述の第1の実施形態にて図6を参照して説明した入力処理部232-1の機能と同様であるため、重複する説明は省略する。
なお、デバイス切替部231-2によって仮想キーボードが入力デバイスとして設定された場合、入力処理部232-2は、仮想HID51を介して、OS40の常駐ソフトウェア42と情報のやり取りを行う。具体的に、入力処理部232-2は、手書き入力が行われている際に接触検出部220-2によって検出されたペンタッチ位置情報を、仮想HID51を介してOS40の常駐ソフトウェア42へ入力する。常駐ソフトウェア42における手書き認識処理後、入力処理部232-2は、仮想HID51を介して、常駐ソフトウェア42から認識結果を取得する。
(4-3)手書き認識部233-2
手書き認識部233-2の機能は、上述の第1の実施形態にて図6を参照して説明した手書き認識部233-1の機能と同様であるため、重複する説明は省略する。
なお、図18を参照して説明したように、第2の実施形態における手書き認識処理はOS40の常駐ソフトウェア42にて行われる。即ち、手書き認識部233-2は、手書き認識処理をOS40上で動作する常駐ソフトウェア42にて実行し、仮想HID51を介して、手書き認識処理の結果をコマンド発行部234-2へ入力する。
かかる構成により、常駐ソフトウェア42を利用することで、第1の実施形態における手書き認識処理と比較し、より複雑な手書き認識処理を実行することが可能となる。これにより、手書き認識処理の精度も向上することができる。
手書き認識部233-2の機能は、上述の第1の実施形態にて図6を参照して説明した手書き認識部233-1の機能と同様であるため、重複する説明は省略する。
なお、図18を参照して説明したように、第2の実施形態における手書き認識処理はOS40の常駐ソフトウェア42にて行われる。即ち、手書き認識部233-2は、手書き認識処理をOS40上で動作する常駐ソフトウェア42にて実行し、仮想HID51を介して、手書き認識処理の結果をコマンド発行部234-2へ入力する。
かかる構成により、常駐ソフトウェア42を利用することで、第1の実施形態における手書き認識処理と比較し、より複雑な手書き認識処理を実行することが可能となる。これにより、手書き認識処理の精度も向上することができる。
(4-4)コマンド発行部234-2
コマンド発行部234-2の機能は、上述の第1の実施形態にて図6を参照して説明したコマンド発行部234-1の機能と同様であるため、重複する説明は省略する。
コマンド発行部234-2の機能は、上述の第1の実施形態にて図6を参照して説明したコマンド発行部234-1の機能と同様であるため、重複する説明は省略する。
(4-5)コマンド実行部235-2
コマンド実行部235-2の機能は、上述の第1の実施形態にて図6を参照して説明したコマンド実行部235-1の機能と同様であるため、重複する説明は省略する。
コマンド実行部235-2の機能は、上述の第1の実施形態にて図6を参照して説明したコマンド実行部235-1の機能と同様であるため、重複する説明は省略する。
(4-6)出力処理部236-2
出力処理部236-2の機能は、上述の第1の実施形態にて図6を参照して説明した出力処理部236-1の機能と同様であるため、重複する説明は省略する。
出力処理部236-2の機能は、上述の第1の実施形態にて図6を参照して説明した出力処理部236-1の機能と同様であるため、重複する説明は省略する。
(5)記憶部240-2
記憶部240-2の機能は、上述の第1の実施形態にて図6を参照して説明した記憶部240-1の機能と同様であるため、重複する説明は省略する。
記憶部240-2の機能は、上述の第1の実施形態にて図6を参照して説明した記憶部240-1の機能と同様であるため、重複する説明は省略する。
(6)表示部250-2
表示部250-2の機能は、上述の第1の実施形態にて図6を参照して説明した表示部250-1の機能と同様であるため、重複する説明は省略する。
表示部250-2の機能は、上述の第1の実施形態にて図6を参照して説明した表示部250-1の機能と同様であるため、重複する説明は省略する。
<4-4.処理の流れ>
第2の実施形態に係るデュアルディスプレイデバイス20-2における処理の流れは、図7を参照して説明した第1の実施形態に係るデュアルディスプレイデバイス20-1における処理の流れと同様であるため、重複する説明は省略する。
第2の実施形態に係るデュアルディスプレイデバイス20-2における処理の流れは、図7を参照して説明した第1の実施形態に係るデュアルディスプレイデバイス20-1における処理の流れと同様であるため、重複する説明は省略する。
<4-5.具体例>
第2の実施形態に係る処理の具体例は、図8から図17を参照して説明した第1の実施形態に係る処理の具体例と同様であるため、重複する説明は省略する。
第2の実施形態に係る処理の具体例は、図8から図17を参照して説明した第1の実施形態に係る処理の具体例と同様であるため、重複する説明は省略する。
<4-6.変形例>
図21を参照して、第2の実施形態に係る変形例について説明する。図21は、第2の実施形態に係る変形例の一例を示す図である。
図21に示すタッチスクリーン24Aには、図13に示したタッチスクリーン24Aに表示されていたウィンドウW1と同一の状態のウィンドウW1が表示されている。図13に示した例では、説明の便宜上、手書き入力の軌跡を示す文字C1を図示したが、当該文字C1はタッチスクリーン24Aの表示画面25A(表示部250-2)に表示されない例として説明した。
なお、手書き入力の軌跡の表示に関してはかかる例に限定されず、表示部250-2に手書き入力の軌跡が表示されてもよい。例えば、ユーザがタッチペン10-2のボタン11-2を押下状態のままペンタッチ操作を行い、デバイス切替部231-2により入力デバイスとして仮想キーボード50が設定されたとする。この場合、出力処理部236-2は、図21に示すように手書き入力の軌跡を表示するための透明なウィンドウW6を、表示部250-2にオーバーレイさせてもよい。これにより、手書きされた入力の形状が表示部250-2に表示される。そのため、ユーザは、手書きした入力の形状を視認することができ、ショートカット機能を実行するための入力の精度を向上することができる。
図21を参照して、第2の実施形態に係る変形例について説明する。図21は、第2の実施形態に係る変形例の一例を示す図である。
図21に示すタッチスクリーン24Aには、図13に示したタッチスクリーン24Aに表示されていたウィンドウW1と同一の状態のウィンドウW1が表示されている。図13に示した例では、説明の便宜上、手書き入力の軌跡を示す文字C1を図示したが、当該文字C1はタッチスクリーン24Aの表示画面25A(表示部250-2)に表示されない例として説明した。
なお、手書き入力の軌跡の表示に関してはかかる例に限定されず、表示部250-2に手書き入力の軌跡が表示されてもよい。例えば、ユーザがタッチペン10-2のボタン11-2を押下状態のままペンタッチ操作を行い、デバイス切替部231-2により入力デバイスとして仮想キーボード50が設定されたとする。この場合、出力処理部236-2は、図21に示すように手書き入力の軌跡を表示するための透明なウィンドウW6を、表示部250-2にオーバーレイさせてもよい。これにより、手書きされた入力の形状が表示部250-2に表示される。そのため、ユーザは、手書きした入力の形状を視認することができ、ショートカット機能を実行するための入力の精度を向上することができる。
以上説明したように、第2の実施形態に係るデュアルディスプレイデバイス20-2は、表示部250-2、接触検出部220-2、通信部200-2、デバイス切替部231-2、入力処理部232-2、手書き認識部233-2、及びコマンド発行部234-2を備える。
接触検出部220-2は、表示部250-2上におけるタッチペン10-2との接触を検出する。
通信部200-2は、OS40に認識させる入力デバイスの切替操作がタッチペン10-2に対して行われているか否かを示す切替情報を、タッチペン10-2から受信する。
デバイス切替部231-2は、切替操作が行われていないことを切替情報が示す場合、入力デバイスとしてタッチペンを設定し、切替操作が行われていることを切替情報が示す場合、入力デバイスとして仮想キーボードを設定する。
入力処理部232-2は、入力デバイスがタッチペンである場合、表示部250-2への入力をポインティング操作として受け付け、入力デバイスが仮想キーボードである場合、当該入力をショートカット機能を実行するための手書き入力として受け付ける。
手書き認識部233-2は、手書き入力の軌跡に基づき、当該手書き入力に対応するショートカット機能の認識処理を行う。
コマンド発行部234-2は、認識処理によって認識されたショートカット機能と対応するコマンドを発行し、OSへ入力する。
接触検出部220-2は、表示部250-2上におけるタッチペン10-2との接触を検出する。
通信部200-2は、OS40に認識させる入力デバイスの切替操作がタッチペン10-2に対して行われているか否かを示す切替情報を、タッチペン10-2から受信する。
デバイス切替部231-2は、切替操作が行われていないことを切替情報が示す場合、入力デバイスとしてタッチペンを設定し、切替操作が行われていることを切替情報が示す場合、入力デバイスとして仮想キーボードを設定する。
入力処理部232-2は、入力デバイスがタッチペンである場合、表示部250-2への入力をポインティング操作として受け付け、入力デバイスが仮想キーボードである場合、当該入力をショートカット機能を実行するための手書き入力として受け付ける。
手書き認識部233-2は、手書き入力の軌跡に基づき、当該手書き入力に対応するショートカット機能の認識処理を行う。
コマンド発行部234-2は、認識処理によって認識されたショートカット機能と対応するコマンドを発行し、OSへ入力する。
かかる構成により、デュアルディスプレイデバイス20-2では、タッチスクリーン24にスクリーンキーボードやショートカット機能を実行するためのインタフェースを表示することなく、ショートカット機能を実行することが可能となる。
よって、第2の実施形態にかかるデュアルディスプレイデバイス20-2は、タッチスクリーンにおける視認性を低下することなくショートカット機能を実行することを可能とする。
<<5.変形例>>
以上、第2の実施形態について説明した。続いて、各実施形態にかかる変形例について説明する。
以上、第2の実施形態について説明した。続いて、各実施形態にかかる変形例について説明する。
上述の実施形態では、デュアルディスプレイデバイス20が有する2つのディスプレイが両方ともタッチスクリーンである例について説明したが、かかる例に限定されない。デュアルディスプレイデバイス20が有する2つのディスプレイは、少なくとも一方がタッチスクリーンであればよい。
また、上述の実施形態では、情報処理装置がデュアルディスプレイデバイス20である例について説明したが、かかる例に限定されない。少なくともタッチスクリーンが搭載された端末であれば、デュアルディスプレイデバイス20に限定されない。例えば、情報処理装置は、タッチスクリーンが搭載されたノートPC(Personal Computer)、スマートフォン、タブレット端末、タッチスクリーンを折り畳み可能な折り畳み式端末(Foldable Device)等によって実現されてもよい。なお、情報処理装置を実現する端末はかかる例に限定されない。
また、上述の実施形態では、ボタン11を押下状態にする操作又はボタン11を非押下状態にする操作が切替操作である例について説明したが、かかる例に限定されない。例えば、タッチペン10を所定の角度に傾ける操作が切替操作であってもよい。この場合、タッチペン10は、例えば、ジャイロセンサをセンサ装置12として備える。これにより、タッチペン10は、ジャイロセンサが検出するタッチペン10の姿勢情報に基づき、タッチペン10が傾けられた角度を検出することが可能となる。タッチペン10は、検出した角度を示す角度情報を切替情報としてタッチペン信号に含めてデュアルディスプレイデバイス20へ送信する。
デュアルディスプレイデバイス20のデバイス切替部231は、角度情報に基づき、デバイス切替処理を実行してOS40に認識させる入力デバイスを切り替える。一例として、デバイス切替部231は、角度情報が示す角度が所定の角度でない場合、即ち切替操作が行われていない場合に入力デバイスとしてタッチペンを設定する。一方、デバイス切替部231-1は、角度情報が示す角度が所定の角度である場合、即ち切替操作が行われている場合に入力デバイスとして仮想キーボードを設定する。
なお、所定の角度は、特定の角度であってもよいし、所定の範囲内の角度であってもよい。
デュアルディスプレイデバイス20のデバイス切替部231は、角度情報に基づき、デバイス切替処理を実行してOS40に認識させる入力デバイスを切り替える。一例として、デバイス切替部231は、角度情報が示す角度が所定の角度でない場合、即ち切替操作が行われていない場合に入力デバイスとしてタッチペンを設定する。一方、デバイス切替部231-1は、角度情報が示す角度が所定の角度である場合、即ち切替操作が行われている場合に入力デバイスとして仮想キーボードを設定する。
なお、所定の角度は、特定の角度であってもよいし、所定の範囲内の角度であってもよい。
以上、本発明の各実施形態について説明した。
なお、上述したタッチペン10及びデュアルディスプレイデバイス20が備える各構成は、内部に、コンピュータシステムを有している。そして、上述したタッチペン10及びデュアルディスプレイデバイス20が備える各構成の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより上述したタッチペン10及びデュアルディスプレイデバイス20が備える各構成における処理を行ってもよい。ここで、「記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行する」とは、コンピュータシステムにプログラムをインストールすることを含む。ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、インターネットやWAN、LAN、専用回線等の通信回線を含むネットワークを介して接続された複数のコンピュータ装置を含んでもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。このように、プログラムを記憶した記録媒体は、CD-ROM等の非一過性の記録媒体であってもよい。
なお、上述したタッチペン10及びデュアルディスプレイデバイス20が備える各構成は、内部に、コンピュータシステムを有している。そして、上述したタッチペン10及びデュアルディスプレイデバイス20が備える各構成の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより上述したタッチペン10及びデュアルディスプレイデバイス20が備える各構成における処理を行ってもよい。ここで、「記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行する」とは、コンピュータシステムにプログラムをインストールすることを含む。ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、インターネットやWAN、LAN、専用回線等の通信回線を含むネットワークを介して接続された複数のコンピュータ装置を含んでもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。このように、プログラムを記憶した記録媒体は、CD-ROM等の非一過性の記録媒体であってもよい。
また、記録媒体には、当該プログラムを配信するために配信サーバからアクセス可能な内部又は外部に設けられた記録媒体も含まれる。なお、プログラムを複数に分割し、それぞれ異なるタイミングでダウンロードした後にタッチペン10及びデュアルディスプレイデバイス20が備える各構成で合体される構成や、分割されたプログラムのそれぞれを配信する配信サーバが異なっていてもよい。
さらに「コンピュータ読み取り可能な記録媒体」とは、ネットワークを介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、上述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
さらに「コンピュータ読み取り可能な記録媒体」とは、ネットワークを介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、上述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
また、上述した機能の一部又は全部を、LSI(Large Scale Integration)等の集積回路として実現してもよい。上述した各機能は個別にプロセッサ化してもよいし、一部、又は全部を集積してプロセッサ化してもよい。また、集積回路化の手法はLSIに限らず専用回路、又は汎用プロセッサで実現してもよい。また、半導体技術の進歩によりLSIに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。
以上、図面を参照してこの発明の実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
1(1-1、1-2)…情報処理システム、10(10-1、10-2)…タッチペン、11…ボタン、12…センサ装置、13…通信装置、14…IC、15…記憶装置、16…バッテリ、20(20-1、20-2)…デュアルディスプレイデバイス、21…CPU、22…メインメモリ、23…GPU、24(24A、24B)…タッチスクリーン、25(25A、25B)…表示画面、26(26A、26B)…タッチパネル、27…チップセット、28…BIOSメモリ、29…記憶装置、30…オーディオシステム、31…通信装置、32…USBコネクタ、33…EC、34…入力装置、35…電源回路、36…バッテリ、37…MCU、40…OS、41…各種ソフトウェア、42…常駐ソフトウェア、50…仮想キーボード、51…仮想HID、100(100-1、100-2)…切替検出部、110(110-1、110-2)…圧力情報検出部、120(120-1、120-2)…通信部、130(130-1、130-2)…制御部、140(140-1、140-2)…記憶部、200(200-1、200-2)…通信部、210(210-1、210-2)…入力部、220(220-1、220-2)…接触検出部、230(230-1、230-2)…制御部、231(231-1、231-2)…デバイス切替部、232(232-1、232-2)…入力処理部、233(233-1、233-2)…手書き認識部、234(234-1、234-2)…コマンド発行部、235(235-1、235-2)…コマンド実行部、236(236-1、236-2)…出力処理部
Claims (9)
- 表示部と、
前記表示部上における操作媒体との接触を検出する接触検出部と、
OS(Operating System)に認識させる入力デバイスの切替操作が前記操作媒体に対して行われているか否かを示す切替情報を、前記操作媒体から受信する通信部と、
前記切替操作が行われていないことを前記切替情報が示す場合、前記入力デバイスとして前記操作媒体を設定し、前記切替操作が行われていることを前記切替情報が示す場合、前記入力デバイスとして仮想キーボードを設定するデバイス切替部と、
前記入力デバイスが前記操作媒体である場合、前記接触による前記表示部への入力をポインティング操作として受け付け、前記入力デバイスが前記仮想キーボードである場合、前記入力をショートカット機能を実行するための手書き入力として受け付ける入力処理部と、
前記手書き入力の軌跡に基づき、当該手書き入力に対応するショートカット機能の認識処理を行う手書き認識部と、
前記認識処理によって認識された前記ショートカット機能と対応するコマンドを発行し、前記OSへ入力するコマンド発行部と、
を備える、情報処理装置。 - 前記手書き認識部は、前記認識処理を前記OSの外部で実行し、認識処理の結果を前記コマンド発行部へ入力する、
請求項1に記載の情報処理装置。 - 前記手書き認識部は、前記認識処理を前記OS上で動作する常駐ソフトウェアにて実行し、仮想HID(Human Interface Device)を介して、前記認識処理の結果を前記コマンド発行部へ入力する、
請求項1に記載の情報処理装置。 - 前記ショートカット機能と前記コマンドとを対応付けた参照情報を記憶する記憶部、
をさらに備え、
前記コマンド発行部は、前記参照情報を参照し、前記手書き認識部が認識した前記ショートカット機能に対応するコマンドを発行する、
請求項1から請求項3のいずれか1項に記載の情報処理装置。 - 前記コマンド発行部は、前記手書き入力の開始位置を前記コマンドの実行位置とする、
請求項1から請求項4のいずれか1項に記載の情報処理装置。 - 前記デバイス切替部により前記入力デバイスとして前記仮想キーボードが設定された際に、前記手書き入力の軌跡を表示する透明なウィンドウを、前記表示部にオーバーレイさせる出力処理部、
をさらに備える、請求項1から請求項5のいずれか1項に記載の情報処理装置。 - 前記切替操作は、前記操作媒体に設けられたボタンを押下状態にする操作又は前記ボタンを非押下状態にする操作である、
請求項1から請求項6のいずれか1項に記載の情報処理装置。 - 前記切替操作は、前記操作媒体を所定の角度に傾ける操作である、
請求項1から請求項7のいずれか1項に記載の情報処理装置。 - 接触検出部が、表示部上における操作媒体との接触を検出する過程と、
通信部が、OS(Operating System)に認識させる入力デバイスの切替操作が前記操作媒体に対して行われているか否かを示す切替情報を、前記操作媒体から受信する過程と、
デバイス切替部が、前記切替操作が行われていないことを前記切替情報が示す場合、前記入力デバイスとして前記操作媒体を設定し、前記切替操作が行われていることを前記切替情報が示す場合、前記入力デバイスとして仮想キーボードを設定する過程と、
入力処理部が、前記入力デバイスが前記操作媒体である場合、前記接触による前記表示部への入力をポインティング操作として受け付け、前記入力デバイスが前記仮想キーボードである場合、前記入力をショートカット機能を実行するための手書き入力として受け付ける過程と、
認識部が、前記手書き入力の軌跡に基づき、当該手書き入力に対応するショートカット機能の認識処理を行う手書き過程と、
コマンド発行部が、前記認識処理によって認識された前記ショートカット機能と対応するコマンドを発行し、前記OSへ入力する過程と、
を含む、情報処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020202385A JP2022090171A (ja) | 2020-12-07 | 2020-12-07 | 情報処理装置及び情報処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020202385A JP2022090171A (ja) | 2020-12-07 | 2020-12-07 | 情報処理装置及び情報処理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022090171A true JP2022090171A (ja) | 2022-06-17 |
Family
ID=81990409
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020202385A Pending JP2022090171A (ja) | 2020-12-07 | 2020-12-07 | 情報処理装置及び情報処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2022090171A (ja) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06202795A (ja) * | 1992-12-28 | 1994-07-22 | Sony Corp | 手書き入力情報処理装置 |
JPH06301811A (ja) * | 1993-04-15 | 1994-10-28 | Hitachi Ltd | 手書き文字入力装置 |
JP2000047824A (ja) * | 1999-05-21 | 2000-02-18 | Sharp Corp | ジェスチャ―処理装置及びジェスチャ―処理方法 |
JP2001117686A (ja) * | 1999-10-20 | 2001-04-27 | Toshiba Corp | ペン入力装置およびペン入力装置のポインティング処理方法 |
JP2002062980A (ja) * | 2000-08-23 | 2002-02-28 | Canon Inc | 入力装置および電子ボード装置 |
JP2010073185A (ja) * | 2008-09-16 | 2010-04-02 | Sharp Corp | 入力装置、画像処理プログラムおよびコンピュータ読み取り可能な記録媒体 |
JP2010176190A (ja) * | 2009-01-27 | 2010-08-12 | Ntt Docomo Inc | モード設定システム |
JP2012014746A (ja) * | 2004-09-13 | 2012-01-19 | Microsoft Corp | フリックジェスチャ |
JP2018041309A (ja) * | 2016-09-08 | 2018-03-15 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
-
2020
- 2020-12-07 JP JP2020202385A patent/JP2022090171A/ja active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06202795A (ja) * | 1992-12-28 | 1994-07-22 | Sony Corp | 手書き入力情報処理装置 |
JPH06301811A (ja) * | 1993-04-15 | 1994-10-28 | Hitachi Ltd | 手書き文字入力装置 |
JP2000047824A (ja) * | 1999-05-21 | 2000-02-18 | Sharp Corp | ジェスチャ―処理装置及びジェスチャ―処理方法 |
JP2001117686A (ja) * | 1999-10-20 | 2001-04-27 | Toshiba Corp | ペン入力装置およびペン入力装置のポインティング処理方法 |
JP2002062980A (ja) * | 2000-08-23 | 2002-02-28 | Canon Inc | 入力装置および電子ボード装置 |
JP2012014746A (ja) * | 2004-09-13 | 2012-01-19 | Microsoft Corp | フリックジェスチャ |
JP2010073185A (ja) * | 2008-09-16 | 2010-04-02 | Sharp Corp | 入力装置、画像処理プログラムおよびコンピュータ読み取り可能な記録媒体 |
JP2010176190A (ja) * | 2009-01-27 | 2010-08-12 | Ntt Docomo Inc | モード設定システム |
JP2018041309A (ja) * | 2016-09-08 | 2018-03-15 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100771626B1 (ko) | 단말기 및 이를 위한 명령 입력 방법 | |
JP4789232B2 (ja) | 情報処理装置及び入力操作モード制御方法 | |
US8866776B2 (en) | Information processing device adapted to receiving an input for user control using a touch pad and information processing method thereof | |
JP2010218422A (ja) | 情報処理装置および情報処理装置の制御方法 | |
JP2004341813A (ja) | 入力装置表示制御方法及び入力装置 | |
KR20140097902A (ko) | 햅틱 패턴을 생성하는 휴대 단말 및 방법 | |
US20130063385A1 (en) | Portable information terminal and method for controlling same | |
JP2011529598A (ja) | 携帯用端末機におけるパターン認識を用いたユーザインターフェース装置及び方法 | |
WO2009071123A1 (en) | Power reduction for touch screens | |
US10627869B2 (en) | Information processing device | |
US20110254784A1 (en) | Controlling method and information processing apparatus | |
KR101928955B1 (ko) | 디스플레이 장치와 연동하는 전자 펜과 전자 입력 시스템 | |
WO2024032470A9 (zh) | 基于触控笔的使用方法和装置 | |
JP2019145058A (ja) | 情報処理装置 | |
JP2022090171A (ja) | 情報処理装置及び情報処理方法 | |
US11762501B2 (en) | Information processing apparatus and control method | |
CN117093090A (zh) | 信息处理装置、信息处理***以及控制方法 | |
CN114546151A (zh) | 信息处理装置以及信息处理方法 | |
JP6220429B1 (ja) | 情報処理装置、タッチパネル感度制御方法、及びプログラム | |
WO2018159414A1 (ja) | 端末装置及び操作制御プログラム | |
US11003259B2 (en) | Modifier key input on a soft keyboard using pen input | |
CN112783267A (zh) | 信息处理装置和信息处理方法 | |
JP7265048B1 (ja) | 情報処理装置、及び制御方法 | |
JPH10254622A (ja) | 情報処理装置 | |
CN103885695A (zh) | 电子设备的外接按键管理方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201207 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220104 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220726 |