JP6821998B2 - Electronic blackboard, program, method - Google Patents
Electronic blackboard, program, method Download PDFInfo
- Publication number
- JP6821998B2 JP6821998B2 JP2016153643A JP2016153643A JP6821998B2 JP 6821998 B2 JP6821998 B2 JP 6821998B2 JP 2016153643 A JP2016153643 A JP 2016153643A JP 2016153643 A JP2016153643 A JP 2016153643A JP 6821998 B2 JP6821998 B2 JP 6821998B2
- Authority
- JP
- Japan
- Prior art keywords
- display
- contact
- image
- contact portion
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Description
本発明は、電子黒板、プログラム、方法に関する。 The present invention relates to electronic blackboards, programs and methods .
企業、教育機関、行政機関等において、文字、図形、記号等のストローク画像を表示する電子黒板などの電子情報ボードシステムが利用されている。電子情報ボードシステムは、タッチパネルが設けられた表示装置と、その表示装置を制御するコンピュータ装置とを備える。タッチパネルは、ユーザによって表示装置上に描かれるストロークを検出する。コンピュータ装置は、ストロークにより形成されるストローク画像を表示させたり、ストロークの経路に表示されていたストローク画像を消去させたりする。 Electronic information board systems such as electronic whiteboards that display stroke images of characters, figures, symbols, etc. are used in companies, educational institutions, government agencies, and the like. The electronic information board system includes a display device provided with a touch panel and a computer device that controls the display device. The touch panel detects strokes drawn on the display device by the user. The computer device displays the stroke image formed by the stroke and erases the stroke image displayed on the path of the stroke.
特許文献1には、タッチパネルと、前記タッチパネルを介して接触領域を取得する取得手段と、前記接触領域の形状が所定の条件を満たすか否かを判断する第1の判断手段と、前記タッチパネルを介して前記所定の条件を満たさない第1の接触領域に対応する位置に画像を表示し、前記所定の条件を満たす第2の接触領域内の前記画像を消去する表示制御手段とを備える、表示装置が開示されている。
電子情報ボードシステムなどの画像処理装置は、タッチパネルに接触する指などの動きを検知して、書き込み、又は消去等の操作入力を受け付けるだけでなく、複数の指の動きを検知して、ピンチアウト、又はピンチインなどのジェスチャ操作の入力を受け付ける。しかしながら、画像処理装置において、書き込み、又は消去の処理と、ジェスチャ操作に基づく処理とを切り換えるためには、ユーザによる操作モードの入力を要していたという課題が生じる。 An image processing device such as an electronic information board system not only detects the movement of a finger or the like in contact with the touch panel and accepts operation inputs such as writing or erasing, but also detects the movement of a plurality of fingers and pinches out. , Or accepts input for gesture operations such as pinch-in. However, in the image processing apparatus, in order to switch between the writing / erasing process and the process based on the gesture operation, there arises a problem that the user needs to input the operation mode.
請求項1に係る発明の電子黒板は、ディスプレイを有し、該ディスプレイに対する対象の接触により描画可能な電子黒板であって、前記対象と前記ディスプレイが接触しているときに、前記対象と前記ディスプレイとが接触している領域のサイズが第1の閾値以上である場合、前記対象の接触位置に基づく範囲の画像を前記ディスプレイに表示された画像から消去する変更手段を有し、前記変更手段によって第1の対象の接触部の画像を消去させる処理が実行されているときに、第2の対象の接触が検知された場合に、前記第1の対象の接触部と前記第2の対象の接触部との距離が所定の閾値以下である場合には、前記第2の対象の接触部に対して、前記ディスプレイに画像を表示させる処理、及び、前記第2の対象の接触部の接触位置に基づく範囲の画像を前記ディスプレイに表示された画像から消去する処理を禁止する。
The electronic blackboard of the invention according to
以上説明したように本発明によれば、画像処理装置において、ユーザに操作モードを入力させることなく、書き込み、又は消去の処理と、ジェスチャ操作に基づく処理とを切り換えることが可能になるという効果を奏する。 As described above, according to the present invention, in the image processing apparatus, it is possible to switch between the writing or erasing process and the process based on the gesture operation without causing the user to input the operation mode. Play.
以下、図面を用いて、本発明の実施形態について説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
<<電子黒板の全体構成>>
まず、図1を用いて、電子情報ボードシステムの一例として電子黒板2の全体構成について説明する。図1は、一実施形態に係る電子黒板の外観図である。図1に示されるように、電子黒板2は、手Hなどの検知対象の接触を検知する接触センサ215、手Hによって描かれた画像等を出力するディスプレイ3、及び接触センサ215の検知結果に基づいてディスプレイ3において表示される画像に係る処理を行う後述のCPU(Central Processing Unit)等を有する。
<< Overall configuration of electronic blackboard >>
First, the overall configuration of the
電子情報ボードシステムは、電子黒板に限られず、例えば、PC(Personal Computer)、タブレット、スマートフォン、デジタルサイネージ、テレストレータ、又はゲーム機であっても良い。また、電子情報ボードシステムは、通信装置を有し、タッチパネル上に描かれた画像をコンテンツデータとして他の通信端末との間で共有可能であっても良い。 The electronic information board system is not limited to the electronic blackboard, and may be, for example, a PC (Personal Computer), a tablet, a smartphone, a digital signage, a telestrator, or a game machine. Further, the electronic information board system may have a communication device and may be able to share the image drawn on the touch panel as content data with other communication terminals.
<電子黒板のハードウェア構成>
図2を用いて、一実施形態に係る電子黒板のハードウェア構成を説明する。なお、図2は、一実施形態に係る電子黒板のハードウェア構成図である。
<Hardware configuration of electronic blackboard>
The hardware configuration of the electronic blackboard according to the embodiment will be described with reference to FIG. Note that FIG. 2 is a hardware configuration diagram of the electronic blackboard according to the embodiment.
図2に示されているように、電子黒板2は、電子黒板2全体の動作を制御するCPU(Central Processing Unit)201、IPL等のCPU201の駆動に用いられるプログラムを記憶したROM202、CPU201のワークエリアとして使用されるRAM203、電子黒板用のプログラム等の各種データを記憶するSSD204、通信ネットワーク9との通信を制御するネットワークI/F205、及び、USBメモリ5との通信を制御する外部記憶コントローラ206を備えている。更に、電子黒板2は、CPU201の制御に従って被写体を撮像するカメラ207と、このカメラ207の駆動を制御する撮像素子I/F208と、ノートPC6のディスプレイに対して映像情報を静止画、又は動画として表示させるキャプチャデバイス211、グラフィクスを専門に扱うGPU(Graphics Processing Unit)212、及び、GPUからの出力画像をディスプレイ3へ出力するために画面表示の制御、及び管理を行うディスプレイコントローラ213を備えている。更に、電子黒板2は、接触センサ215の処理を制御するセンサコントローラ214、ディスプレイ3上に電子ペン4やユーザの手H等が接触したことを検知する接触センサ215を備えている。一実施形態における、接触センサ215は、赤外線遮断方式による座標の入力、及び座標の検出を行う。この座標の入力、及び座標を検出する方法は、ディスプレイ3の上側両端部に設置された2つ受発光装置が、ディスプレイ3に平行して複数の赤外線を放射し、ディスプレイ3の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する方法である。接触センサ215は、物体によって遮断された2つの受発光装置が放射した赤外線のID(Identification)をセンサコントローラ214に出力し、センサコントローラ214が、物体の接触位置である座標位置を特定する。なお、以下に示す全ての各IDは、識別情報の一例である。
As shown in FIG. 2, the
接触センサ215の検知方式は、赤外線遮断方式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式、対向する2の抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式であっても良い。また、接触センサ215は、カメラを用いて、接触を判断し、座標位置を特定するものであっても良い。
The detection method of the
また、電子黒板2は、電子ペンコントローラ216を備えている。この電子ペンコントローラ216は、電子ペン4と通信することで、ディスプレイ3へのペン先のタッチやペン尻のタッチの有無を判断する。なお、電子ペンコントローラ216が、電子ペン4のペン先、及びペン尻だけでなく、電子ペン4のユーザが握る部分や、その他の電子ペンの部分のタッチの有無を判断するようにしてもよい。
Further, the
更に、電子黒板2は、CPU101の制御に従って、外部のマイク222、及び外部のスピーカ223との間で音信号の入出力を処理する音入出力I/F224と、ユーザの操作を受け付ける操作ボタン225と、電子黒板2の電源のON/OFFを切り換えるための電源スイッチ226と、を備えている。なお、マイク222及びスピーカ223のいずれかが、電子黒板2に内蔵されていても良い。
Further, the
更に、電子黒板2は、上記各構成要素間を相互に電気的に接続するためのアドレスバスやデータバス等のバスライン230を備えている。
Further, the
なお、電子黒板用のプログラムは、CD−ROM等のコンピュータで読み取り可能な記録媒体や、ネットワーク上のサーバに記録して流通やダウンロードさせるようにしてもよい。 The program for the electronic blackboard may be recorded on a computer-readable recording medium such as a CD-ROM or a server on the network for distribution or download.
<<実施形態の機能構成>>
図3は、一実施形態に係る電子黒板の機能ブロック図である。電子黒板2は、図2に示されているハードウェア構成、及びプログラムによって、図3に示されている各機能構成を実現する。また、電子黒板2は、SSD204により構築される記憶部2000を有している。
<< Functional configuration of the embodiment >>
FIG. 3 is a functional block diagram of the electronic blackboard according to the embodiment. The
座標検知部22は、接触センサ215によって実現され、手Hなどの検知対象のディスプレイ3への接触を検知して、接触部HT1,接触部HT2の座標、及びサイズを出力する。図4は、ディスプレイ3の画面を示す概念図である。一実施形態において、ディスプレイ3の画面における座標は画素に対応している。例えば、画面の左上の頂点の座標C0が(0,0)であり、画面の右下の頂点が(1920,1080)である。接触部HT1のサイズは、接触部HT1の接線により形成される矩形Rの右下の頂点の座標CR(例えば(11,11))から矩形の左上CLの頂点(例えば(7,5))の座標を引いた差分(例えば(4,6))である。
The coordinate
イベント振分部25は、CPU201からの命令によって実現され、ディスプレイ3上にユーザの手Hが接触するイベントをより詳細なイベントに振り分けて、操作モードを設定する。
The
イベント振分部25のイベント判定部251は、座標検知部22の出力を取得して、以下のイベントを検知する。
・タッチダウンイベント…手Hなどの検知対象がペンダウンすること(接触センサ215に検知されること)。
・タッチムーブイベント…タッチダウンイベントとして検知された検知対象の座標が移動すること。座標が移動するとは、時刻tnに検出された座標と時刻tn+1に検出された座標が所定範囲内(時刻tnから時刻tn+1の間に手Hなどの検知対象が移動しうる所定距離)にあることをいう。
・タッチアップイベント…タッチダウンイベント又はタッチムーブイベントであると判定された検知対象がペンアップ(接触センサ215に検知されなくなること)すること。
なお、イベント判定部251は、検知対象がペンダウンしてからペンアップするまでの間に、検知対象に対して1つの識別番号(以下、IDという)を付与する。
The
-Touchdown event: A detection target such as a hand H is pen-down (detected by the contact sensor 215).
-Touch move event: The coordinates of the detection target detected as a touchdown event move. Coordinates move means that the coordinates detected at time t n and the coordinates detected at time t n + 1 are within a predetermined range (a predetermined distance at which a detection target such as a hand H can move between time t n and time t n + 1 ). ).
-Touch-up event: The detection target determined to be a touch-down event or a touch-move event is pen-up (not detected by the contact sensor 215).
The
イベント振分部25のモード判定部252は、イベント判定部251によって検知されたイベントに基づいて操作モードを判定する。
The
イベント振分部25のタイマー255は一定時間を測定するための時間測定手段である。タイマー255はプログラムにより時間を測定しても、ICなどでハード的に時間を測定してもよい。この一定時間は、ユーザがジェスチャ操作のために2本の指をディスプレイ3に触れさせる際、1本目の指が触れてから2本目の指が触れるまでの時間を想定して設定され、例えば、数十ミリ秒から数百ミリ秒である。なお、タイマー255に設定される時間は一定でなくてもよく、ユーザがジェスチャ操作した場合に1本目の指が触れてから2本目の指が触れるまでの時間をイベント判定部251が学習して、タイマー255に設定してもよい。
The
タイムアウトフラグ253は、タイマー255がタイムアウトした場合にTrueが記憶部2000に設定される。タイムアウトフラグ253の初期値は電子黒板2の起動時にFalseに設定される。
The time-
ジェスチャ処理部27は、CPU201からの命令によって実現され、イベント振分部25によって操作モード「Gesture」に振り分けられたイベントに対して、ジェスチャ操作に対応した処理を実行する。
表示処理部29は、CPU201からの命令によって実現され、ディスプレイ3に画像を表示させるための処理を実行する。
The
The
ストローク処理部32は、CPU201からの命令によって実現され、イベント振分部25によって操作モード「EraseLarge, EraseSmall, Draw」に振り分けられたイベントに対して、操作モードに対応した処理を実行する。操作モードに対応した処理の結果は、操作データとして、ページデータ記憶部300に記憶される。
The
ページデータ記憶部300は、記憶部2000の一部に構築され、表1に示されているようなページデータを記憶する。表1は、ページデータを示す概念図である。ページデータは、ディスプレイ3に表示される1ページ分のデータ(ストローク配列データ(各ストロークデータ)及びメディアデータ)である。
The page
ページデータは、任意の1ページを識別するためのページデータID、このページの表示を開始した時刻を示す開始時刻、ストロークやジェスチャ等によるページの内容の書き換えが行われなくなった時刻を示す終了時刻、電子ペン4やユーザの手Hによるストロークによって生じたストローク配列データを識別するためのストローク配列データID、及びメディアデータを識別するためのメディアデータIDが関連付けて記憶されている。ストローク配列データは、ストローク画像がディスプレイ3上に表示されるためのデータである。メディアデータは、ストローク画像と重畳する他の画像がディスプレイ3上に表示されるためのデータである。
The page data includes a page data ID for identifying an arbitrary page, a start time indicating the time when the display of this page is started, and an end time indicating the time when the contents of the page are no longer rewritten by strokes or gestures. , The stroke array data ID for identifying the stroke array data generated by the stroke by the
また、ストローク配列データは、表2に示されているように詳細な情報を示している。表2は、ストローク配列データを示す概念図である。表2に示されているように、1つのストローク配列データは、複数のストロークデータによって表される。そして、1つのストロークデータは、このストロークデータを識別するためのストロークデータID、1つのストロークの書き始めの時刻を示す開始時刻、1つのストロークの書き終わりの時刻を示す終了時刻、ストロークの色、ストロークの幅、及び、ストロークの通過点の配列を識別するための座標配列データIDを示している。例えば、ユーザが電子ペン4によってアルファベット「S」を描く場合は一筆書きとなるため、ストロークデータIDが1つで一文字のアルファベット[S]が示される。ところが、ユーザが電子ペン4によってアルファベット「T」を描く場合、二筆書きとなるため、ストロークデータIDが2つで一文字のアルファベット「T」が示されることになる。
In addition, the stroke array data shows detailed information as shown in Table 2. Table 2 is a conceptual diagram showing stroke array data. As shown in Table 2, one stroke array data is represented by a plurality of stroke data. Then, one stroke data includes a stroke data ID for identifying the stroke data, a start time indicating the writing start time of one stroke, an end time indicating the writing end time of one stroke, and a stroke color. The width of the stroke and the coordinate array data ID for identifying the array of passing points of the stroke are shown. For example, when the user draws the alphabet "S" with the
更に、この座標配列データは、表3に示されているように詳細な情報を示している。表3は、座標配列データを示す概念図である。座標配列データは、ディスプレイ3上の1点(X座標値、Y座標値)、この1点を通過したときのストロークの開始時刻からの差分の時刻(ms)、及び、この1点における電子ペン4の筆圧の各情報を示している。即ち、表3に示されている1点の集まりが、表2に示されている1つの座標配列データで示されている。例えば、ユーザが電子ペン4によってアルファベット「S」を描く場合、一筆書きとなるが、「S」を描き終えるまでに、複数の通過点を通過するため、座標配列データは、これら複数の通過点の情報を示している。
Further, this coordinate array data shows detailed information as shown in Table 3. Table 3 is a conceptual diagram showing coordinate array data. The coordinate array data includes one point (X coordinate value, Y coordinate value) on the
<<実施形態の処理>>
続いて、一実施形態に係る処理について説明する。
<< Processing of the embodiment >>
Subsequently, the process according to one embodiment will be described.
<イベント検出>
図5は、イベント振分部25によるイベントの検出例を示すダイアグラム図である。図5は、先に検出されるイベントを上方に示し、後に検出されるイベントを下方に示す。また、図5は、タッチダウンイベントを左列に示し、タッチムーブイベントを中央列に示し、タッチアップイベントを右列に示す。なお、図5は、2つ目の検知対象の接触開始時刻ts2から、1つ目の検知対象の接触終了時刻te1までの間、座標検知部22により2つの検知対象が検知される例を示している。
<Event detection>
FIG. 5 is a diagram showing an example of detecting an event by the
ユーザの手Hの指がディスプレイ3の画面に触れると、座標検知部22は、手Hとディスプレイ3との接触部HT1の座標、接触部HT1のサイズ、及びイベントの発生時刻を、イベント判定部251へ出力する。イベント判定部251は、接触部HT1の座標等が入力されることで、タッチダウンイベントを検出する(ステップS1)。イベント判定部251は、タッチダウンイベントを検出すると、接触部HT1のID「1」を生成する。イベント判定部251は、接触部HT1の座標、接触部HT1のサイズ、イベントの発生時刻、ステップS1で生成されるID「1」、及びイベント種を示す「TouchDown」をモード判定部252へ出力する。イベント判定部251によって出力される情報の一例を表4に示す。
When the finger of the user's hand H touches the screen of the
続いて、ユーザの手Hの指がディスプレイ3の画面に触れたままの状態で動くと、座標検知部22は、接触部HT1の移動後の座標、接触部HT1のサイズ、及びイベントの発生時刻を、イベント判定部251へ出力する。イベント判定部251は、先に入力された接触部HT1の座標と、新たに入力された座標の距離が所定の閾値以下であることを確認すると、タッチムーブイベントを検出する(ステップS2)。所定の閾値は、人のストローク描画操作で移動可能な最大の距離を示す設定値である。イベント判定部251は、接触部HT1の座標、接触部HT1のサイズ、イベントの発生時刻、イベント種を示す「TouchMove」、及び接触部HT1のIDをモード判定部252へ出力する。
続いて、ユーザの手の一部がタッチパネルTに触れたままの状態で更に動くと、イベント判定部251はタッチムーブイベントを検出する(ステップS3)。このときの処理は、ステップS2と同様である。
Subsequently, when the finger of the user's hand H moves while touching the screen of the
Subsequently, when a part of the user's hand moves further while touching the touch panel T, the
続いて、ユーザの手Hの他の指がディスプレイ3の画面に触れると、座標検知部22は、他の指とディスプレイ3の画面との接触部HT2の座標、サイズ、及びイベントの発生時刻を、イベント判定部251へ出力する。イベント判定部251は、先に入力された接触部HT1の座標と、新たに入力された接触部HT2の座標の距離が所定の閾値を超えることを確認すると、タッチダウンイベントを検出する(ステップS4)。イベント判定部251は、タッチダウンイベントを検出すると、接触部HT2のID「2」を生成する。イベント判定部251は、接触部HT2の座標、接触部HT2のサイズ、イベントの発生時刻、ステップS4で生成されるID「2」、及びイベント種を示す「TouchDown」を出力する。
Subsequently, when another finger of the user's hand H touches the screen of the
続いて、ユーザの手Hの指、又は他の指がディスプレイ3の画面に触れたままの状態で更に動くと、イベント判定部251はタッチムーブイベントを検出する(ステップS5,6,7,8,10)。このときの処理は、ステップS2と同様である。但し、接触部HT1の移動が検出されときには、イベント判定部251はID「1」を出力し、接触部HT2の移動が検出されときには、イベント判定部251はID「2」は出力する。
Subsequently, when the finger of the user's hand H or another finger moves further while touching the screen of the
ユーザの手Hの指がタッチパネルTから離れて、接触部HT1が検出されなくなると、座標検知部22は接触部HT1のタッチアップイベントを検出する(ステップS9)。イベント判定部251は、座標検知部22から最後に入力された接触部HT1の座標、接触部HT1サイズ、イベント発生時刻、イベント種を示す「TouchUp」、及び接触部HT1のID「1」をモード判定部252へ出力する。
When the finger of the user's hand H is separated from the touch panel T and the contact portion HT1 is no longer detected, the coordinate
ユーザの手Hの他の指がタッチパネルTから離れて、接触部HT2が検出されなくなると、座標検知部22は接触部HT2のタッチアップイベントを検出する(ステップS11)。イベント判定部251は、座標検知部22から最後に入力された接触部HT2の座標、接触部HT2のサイズ、イベント発生時刻、イベント種を示す「TouchUp」、及び接触部HT2のID「2」をモード判定部252へ出力する。
When the other finger of the user's hand H is separated from the touch panel T and the contact portion HT2 is no longer detected, the coordinate
<モード判定>
続いて、モード判定部252による処理を説明する。図6は、操作モードの遷移の一例を示す状態遷移図である。図6の状態遷移図のとおり、操作モードは、イベント又は時間などの条件により遷移する。図6において、操作モード「Draw, EraseSmall, EraseLarge」は、操作モード「Input」に属する。操作モード「Input」では、1つの対象により1つの操作の要求が入力される。操作モード「Draw」は、対象との接触部に画像を表示するためのモードである。操作モード「EraseSmall」は、対象との接触部における相対的に小領域の画像を消去するためのモードである。操作モード「EraseLarge」は、対象との接触部における相対的に大領域の画像を消去するためのモードである。なお、画像の消去は、表示されていた画像を表示されなくするための処理である。この処理で、電子黒板2は、画像を再生するための画像データを電子黒板2の記憶領域から削除しても良いし、削除せずに画像データがディスプレイ3へ出力されないようにしても良い。操作モード「Gesture」では、2つの対象により1つの操作の要求が入力される。操作モード「Gesture」における操作には、ピンチイン、ピンチアウト、及びページめくり等が含まれる。操作モード「Unsettled」は、操作モード「Gesture, Input」に判定されるまでに設定される暫定の操作モードを示す。
<Mode judgment>
Subsequently, the processing by the
図7乃至図9は、モード判定処理の一例を示すフロー図である。図7乃至図9を用いて、図6の状態遷移のルールに従ったモード判定処理について説明する。 7 to 9 are flow charts showing an example of the mode determination process. The mode determination process according to the state transition rule of FIG. 6 will be described with reference to FIGS. 7 to 9.
(タッチダウンイベント)
モード判定部252は、対象の接触部ごとに、対象による操作を示す操作モードを設定する。手Hの指のタッチダウンによりイベント判定部251からモード判定部252へ、接触部HT1の座標、サイズ、ID、及びイベント「TouchDown」が入力されると(ステップS1参照)、モード判定部252は、接触部HT1に対応する操作モードを「Unsettled」に設定する(ステップS21)。また、モード判定部252は、設定された操作モード「Unsettled」を、イベント判定部251から送られてきた座標、サイズ、ID、及びイベント発生時刻に関連付けて、RAM203に記憶させる(ステップS22)。
(Touchdown event)
The
モード判定部252は、イベント「TouchDown」が発生してから、タイマー255をスタートさせる(ステップS23)。ステップS23でスタートさせたタイマー255は、一定の時間が経過してタイムアウトするか、モード判定部252がタイマーストップするまで動作する。なお、タイマー255は、スタートするとタイムアウトフラグ253を「False」に設定し、停止するときに「True」に設定する。
The
以後、タイマーが動作している状態、すなわちタイムアウトフラグ253が「False」のときに、2つ目の対象の検知によるイベント「TouchDown」が入力された場合、後述の処理で、1つ目の対象、及び2つ目の対象に対して、1つの操作モード「Gesture」が設定される。このため、2つ目の対象により発生するイベントに対してモード判定処理は実行されない。
After that, when the timer is operating, that is, when the
(タッチムーブイベント)
続いて、図8を用いて、イベント判定部251からモード判定部252へタッチムーブイベントが入力されたときのモード判定処理について説明する。
(Touch move event)
Subsequently, the mode determination process when the touch move event is input from the
イベント判定部251からモード判定部252へ、接触部HT1の座標、サイズ、ID、及びイベント「TouchMove」が入力されると(ステップS2等参照)、図8の処理は開始される。
When the coordinates, size, ID, and event "TouchMove" of the contact unit HT1 are input from the
モード判定部252は、イベント判定部251から送られてくる接触部HT1のサイズ(例えば、(5,8))が、閾値T1以上であるか判断する(ステップS31)。なお、一実施形態において、閾値T1は、3本の指を接触させたときを想定したサイズ「3」であり、閾値T2は、手のひらを接触させたときを想定したサイズ「6」である。接触部HT1のサイズにおける幅と高さが異なる場合、モード判定部252は、幅と高さのうちより大きいものを、閾値T1と比較しても良い。
The
接触部HT1のサイズが、閾値T1以上ではないと判断された場合(ステップS31のNO)、モード判定部252は、タイマー255がタイムアウトするまでに2つ目の対象の接触によるイベント「TouchDown」をイベント判定部251から受信したか判断する(ステップS32)
When it is determined that the size of the contact portion HT1 is not equal to or larger than the threshold value T1 (NO in step S31), the
ステップS31でYESと判断された場合、又はステップS32でNOと判断された場合、モード判定部252は、接触部HT1に対応する操作モードを「Input」に設定する(ステップS33)。
If YES is determined in step S31, or NO is determined in step S32, the
ステップS32でYESと判断された場合、モード判定部252は、タイマー255をストップさせる(ステップS34)。
また、モード判定部252は、接触部HT1,接触部HT2に対応する操作モードを「Gesture」に設定する(ステップS35)。この場合、モード判定部252は、イベント判定部251から送られてきた座標、サイズ、イベント発生時刻、及びIDに操作モード「Gesture」を付加してジェスチャ処理部27へ送信する。また、RAM203に座標、サイズ、イベント発生時刻、及びIDの各情報が記憶されている場合、モード判定部252は、記憶されている各情報をジェスチャ処理部27へ送信する(ステップS36)。これにより、操作モードが未確定のときに、RAM203に記憶された接触部HT1,接触部HT2の情報は、操作モード「Gesture」とともにジェスチャ処理部27へ送信される。送信後、モード判定部252は、RAM203に記憶されている座標、サイズ、イベント発生時刻、及びIDの各情報を削除する。
If YES is determined in step S32, the
Further, the
ジェスチャ処理部27は、モード判定部252から送られてきた情報に基づいて、操作モード「Gesture」の処理を実行する。例えば、モード判定部252から送られてきた座標によって、時間の経過に伴い2つの接触部HT1,接触部HT2の距離が短くなることが示される場合、ジェスチャ処理部27は、ピンチインの要求を表示処理部29へ送信する。あるいは、モード判定部252から送られてきた座標によって、時間の経過に伴い2つの接触部HT1,接触部HT2の距離が長くなることが示される場合、ジェスチャ処理部27は、ピンチアウトの要求を表示処理部29へ送信する。表示処理部29は、ジェスチャ処理部27による要求に応じて変更された表示用の画像データをディスプレイ3へ出力する。
The
ステップS33で操作モードが「Input」に設定された場合に、モード判定部252は、操作モード「Draw, EraseSmall, EraseLarge」の中からより詳細な操作モードを設定する。
まず、モード判定部252は、イベント判定部251からイベント「TouchMove」とともに送られてきたID「1」に対応する操作モードが「Draw」であるか判断する(ステップS41)。なお、モード判定部252は、後述のステップS51で接触部HT1に対応する操作モードを「Draw」に設定すると、接触部HT1のID「1」、及び操作モード「Draw」を関連付けてRAM203に記憶する。接触部HT1における先のタッチムーブイベントで、操作モード「Draw」が既に設定されている場合、モード判定部252は、RAM203の情報を参照してステップS41でYESと判断する。
When the operation mode is set to "Input" in step S33, the
First, the
ステップS41でYESと判断された場合、モード判定部252は、イベント判定部251からイベント「TouchMove」とともに送られてきた座標、サイズ、イベント発生時刻、及びIDに、操作モード「Draw」を付加してストローク処理部32へ送信する(ステップS61)。また、RAM203に座標、サイズ、イベント発生時刻、及びIDの各情報が記憶されている場合、モード判定部252は、記憶されている各情報をストローク処理部32へ送信する。これにより、操作モードが未確定のときに、RAM203に記憶された接触部HT1の情報は、操作モード「Draw」とともにストローク処理部32へ送信される。送信後、モード判定部252は、RAM203に記憶されている座標、サイズ、イベント発生時刻、及びIDの各情報を削除する。
If YES is determined in step S41, the
ストローク処理部32は、モード判定部252から送られてきた情報に基づいて、操作モード「Draw」の処理を実行する。この処理で、ストローク処理部32は、モード判定部252から送られてきた座標に対応するストローク配列データを生成してページデータ記憶部300(表1,2,3参照)に記憶する。表示処理部29は、更新されたストローク配列データによって形成される手書き画像の画像データをディスプレイ3へ出力する。これにより、ディスプレイ3の画面には、モード判定部252から送られてきた座標に手書き画像が表示される。図10の(A)は、ステップS61におけるディスプレイの表示例である。
The
ステップS41でNOと判断された場合、モード判定部252は、イベント判定部251からイベント「TouchMove」とともに送られてきたID「1」に対応する操作モードが「EraseLarge」であるか判断する(ステップS42)。なお、モード判定部252は、後述のステップS52の処理で接触部HT1に対応する操作モードを「EraseLarge」に設定すると、接触部HT1のID「1」、及び操作モード「EraseLarge」を関連付けてRAM203に記憶する。接触部HT1における先のタッチムーブイベントで、操作モード「EraseLarge」が既に設定されている場合、モード判定部252は、RAM203の情報を参照してステップS42でYESと判断する。
If NO is determined in step S41, the
ステップS42でYESと判断された場合、モード判定部252は、イベント判定部251からイベント「TouchMove」とともに送られてきた座標、サイズ、イベント発生時刻、及びIDに、及び操作モード「EraseLarge」を付加してストローク処理部32へ送信する(ステップS62)。
If YES is determined in step S42, the
ストローク処理部32は、モード判定部252から送られてきた情報に基づいて、操作モード「EraseLarge」の処理を実行する。ストローク処理部32は、モード判定部252から送られてきた座標を中心とした範囲A2(例えば、8×8ドット)に含まれるストローク配列データをページデータ記憶部300から削除する。表示処理部29は、更新されたストローク配列データによって形成される画像データをディスプレイ3へ出力する。これにより、ディスプレイ3の画面には、範囲A2に含まれる手書き画像が削除された画像が表示される。図10の(B)は、ステップS62におけるディスプレイの表示例である。
The
ステップS42でNOと判断された場合、モード判定部252は、イベント判定部251からイベント「TouchMove」とともに送られてきたサイズ(例えば、(6,4))が閾値T2(例えば、6)以上であるか判断する(ステップS43)。一実施形態において、サイズにおける幅(例えば、6)と高さ(例えば、4)が異なる場合、モード判定部252は、サイズのうち大きい値(例えば、6)と、閾値T2(例えば、6)を比較しても良い。
When NO is determined in step S42, the
ステップS43でYESと判断された場合、接触部HT1に対応する操作モードとして「EraseLarge」を設定する(ステップS52)。設定された操作モード「EraseLarge」は接触部HT1のID「1」に関連付けられて、モード判定部252によってRAM203に記憶される。タイマー255がタイムアウトしていない場合、モード判定部252はタイマー255をストップさせる。更に、モード判定部252は、イベント判定部251から送られてきた座標、サイズ、イベント発生時刻、及びIDに、操作モード「EraseLarge」を付加してストローク処理部32へ送信する(ステップS62)。手Hなどをタッチパネルに接触するときに、まず、閾値T2に満たないサイズの接触部HT1が形成され、続いて、閾値T2以上のサイズの接触部HT1が形成されることも想定される。このようなケースで、接触部HT1のサイズが、当初、閾値T2に満たないときに接触部HT1に対応する操作モードとして「EraseSmall」が設定されても、続いて、接触部HT1のサイズが閾値T2を超えると、モード判定部252は、操作モード「EraseLarge」を設定する。
If YES is determined in step S43, "Erase Large" is set as the operation mode corresponding to the contact portion HT1 (step S52). The set operation mode "Erase Large" is associated with the ID "1" of the contact unit HT1 and is stored in the
RAM203に座標、サイズ、イベント発生時刻、及びIDの各情報が記憶されている場合、モード判定部252は、記憶されている各情報をストローク処理部32へ送信する。これにより、操作モードが未確定のときに、RAM203に記憶された接触部HT1の各情報は、操作モード「EraseLarge」とともにストローク処理部32へ送信されることになる。モード判定部252は、送信された座標、サイズ、イベント発生時刻、及びIDの各情報をRAM203から削除する。操作モード「EraseLarge」が付加された座標等を受信したストローク処理部32、及び表示処理部29は、操作モード「EraseLarge」による処理として、範囲A2に含まれる手書き画像を消去する処理を実行する。
When the coordinates, size, event occurrence time, and ID information are stored in the
ステップS43でNOと判断された場合、モード判定部252は、イベント判定部251からイベント「TouchMove」とともに送られてきたID「1」に対応する操作モードが「EraseSmall」であるか判断する(ステップS44)。なお、モード判定部252は、後述のステップS53の処理で接触部HT1に対応する操作モードを「EraseSmall」に設定すると、接触部HT1のID「1」、及び操作モード「EraseSmall」を関連付けてRAM203に記憶する。接触部HT1における先のタッチムーブイベントで、操作モード「EraseSmall」が既に設定されている場合、モード判定部252は、RAM203の情報を参照してステップS44でYESと判断する。
If NO is determined in step S43, the
ステップS44でYESと判断された場合、モード判定部252は、イベント判定部251からイベント「TouchMove」とともに送られてきた座標、サイズ、イベント発生時刻、及びIDに、及び操作モード「EraseSmall」を付加してストローク処理部32へ送信する(ステップS63)。
If YES is determined in step S44, the
ストローク処理部32は、モード判定部252から送られてきた情報に基づいて、操作モード「EraseSmall」の処理を実行する。ストローク処理部32は、モード判定部252から送られてきた座標を中心とした範囲A1(例えば、2×2ドット)に含まれるストローク配列データをページデータ記憶部300から削除する。表示処理部29は、更新されたストローク配列データによって形成される画像データをディスプレイ3へ出力する。これにより、ディスプレイ3の画面には、範囲A1に含まれる手書き画像が削除された画像が表示される。図10の(C)は、ステップS63におけるディスプレイの表示例である。
The
ステップS44でNOと判断された場合、モード判定部252は、イベント判定部251からイベント「TouchMove」とともに送られてきたサイズ(例えば、(3,2))が閾値T1(例えば、3)以上であるか判断する(ステップS45)。一実施形態において、サイズにおける幅(例えば、3)と高さ(例えば、2)が異なる場合、モード判定部252は、サイズのうち大きい値(例えば、3)と、閾値T1(例えば、3)とを比較しても良い。
When NO is determined in step S44, the
ステップS45でYESと判断された場合、接触部HT1に対応する操作モードとして「EraseSmall」を設定する(ステップS53)。設定された操作モード「EraseSmall」は接触部HT1のID「1」に関連付けられて、モード判定部252によってRAM203に記憶される。タイマー255がタイムアウトしていない場合、モード判定部252はタイマー255をストップさせる。更に、モード判定部252は、イベント判定部251から送られてきた座標、サイズ、イベント発生時刻、及びIDに、操作モード「EraseSmall」を付加してストローク処理部32へ送信する(ステップS63)。また、RAM203に座標、サイズ、イベント発生時刻、及びIDの各情報が記憶されている場合、モード判定部252は、記憶されている各情報をストローク処理部32へ送信する。これにより、操作モードが未確定のときに、RAM203に記憶された接触部HT1の各情報は、操作モード「EraseSmall」とともにストローク処理部32へ送信されることになる。モード判定部252は、送信された座標、サイズ、イベント発生時刻、及びIDの各情報をRAM203から削除する。操作モード「EraseSmall」が付加された座標等を受信したストローク処理部32、及び表示処理部29は、操作モード「EraseSmall」による処理として、範囲A1に含まれる手書き画像を消去する上記処理を実行する。
If YES is determined in step S45, "Erase Small" is set as the operation mode corresponding to the contact portion HT1 (step S53). The set operation mode "Erase Small" is associated with the ID "1" of the contact unit HT1 and is stored in the
ステップS45でNOと判断された場合、接触部HT1に対応する操作モードとして操作モード「Draw」を設定する(ステップS51)。設定された操作モード「Draw」は接触部HT1のID「1」に関連付けられて、モード判定部252によってRAM203に記憶される。タイマー255がタイムアウトしていない場合、モード判定部252はタイマー255をストップさせる。モード判定部252は、イベント判定部251から送られてきた座標、サイズ、イベント発生時刻、及びIDに、操作モード「Draw」を付加してストローク処理部32へ送信する(ステップS61)。また、RAM203に座標、サイズ、イベント発生時刻、及びIDの各情報が記憶されている場合、モード判定部252は、記憶されている各情報をストローク処理部32へ送信する。これにより、操作モードが未確定のときに、RAM203に記憶された接触部HT1の各情報は、操作モード「Draw」とともにストローク処理部32へ送信されることになる。モード判定部252は、送信された座標、サイズ、イベント発生時刻、及びIDの各情報をRAM203から削除する。操作モード「Draw」が付加された座標等を受信したストローク処理部32、及び表示処理部29は、操作モード「Draw」による処理として、手書き画像を表示する処理を実行する。
If NO is determined in step S45, the operation mode "Draw" is set as the operation mode corresponding to the contact portion HT1 (step S51). The set operation mode "Draw" is associated with the ID "1" of the contact unit HT1 and is stored in the
<<<実施形態の変形例A>>>
続いて、実施形態の変形例Aについて、上記実施形態と異なる点を説明する。図11は、実施形態の変形例Aにおける消去範囲の設定処理を示すフロー図である。
<<< Modification A of the embodiment >>>
Subsequently, the modified example A of the embodiment will be described as different from the above-described embodiment. FIG. 11 is a flow chart showing a process of setting the erasing range in the modified example A of the embodiment.
電子黒板2が起動すると、モード判定部252は、ディスプレイ3から機種情報を取得する(ステップS71)。機種情報は、機種の識別情報であっても良いし、ディスプレイ3の画面の解像度、又は接触部の読取方式を示す情報であっても良い。以下、機種情報は、機種の識別情報「1又は2」である場合について説明する。一実施形態において、識別情報「1」の機種は、識別情報「2」の機種よりも画面の解像度が高い。
When the
モード判定部252は、取得された機種情報が「1」であるか判定する(ステップS72)。記憶部2000には、デフォルトの閾値T1,閾値T2として「3,6」、カスタムの閾値T1,閾値T2として「2,4」、デフォルトの消去の範囲A1,範囲A2として「2×2,8×8」、カスタムの消去の範囲A1,範囲A2として「1.5×1.5,6×6」が記憶されている。ステップS72で取得された機種情報が「1」であると判定された場合、モード判定部252は、閾値T1,閾値T2、及び消去の範囲A1,範囲A2としてデフォルトのものを使用する旨、判定する(ステップS73)。これにより、ステップS52,ステップS94,ステップS62,ステップS104では、デフォルトの閾値T1,閾値T2、及びデフォルトの消去の範囲A1,範囲A2のいずれかが用いられることになる。
The
ステップS72で取得された機種情報が「2」であると判定された場合、モード判定部252は、閾値T1,閾値T2、及び消去の範囲A1,範囲A2としてカスタムのものを使用する旨、判定する(ステップS73)。これにより、ステップS52,ステップS94,ステップS62,ステップS104では、カスタムの閾値T1,閾値T2、及びカスタムの消去の範囲A1,範囲A2のいずれかが用いられることになる。
When it is determined that the model information acquired in step S72 is "2", the
実施形態の変形例Aによると、解像度に応じて、判定に用いる閾値T1,閾値T2、及び消去の範囲A1,範囲A2を任意に設定できる。これにより、例えば、解像度が高い場合には、閾値T1,閾値T2、及び範囲A1,範囲A2を大きく設定するなどして、接触部の検知範囲と消去範囲を実装に合わせることができる。実施形態の変形例Aでは、解像度に応じて、サイズ判定に用いる閾値T1,閾値T2、及び消去の範囲A1,範囲A2を設定する一例を示した。しかしながら、例えば、接触部の読取方式の精度に応じて、閾値T1,閾値T2、及び範囲A1,範囲A2の設定を変えても良い。 According to the modification A of the embodiment, the threshold value T1 and the threshold value T2 used for the determination, and the erasing range A1 and the range A2 can be arbitrarily set according to the resolution. Thereby, for example, when the resolution is high, the threshold value T1, the threshold value T2, and the range A1 and the range A2 can be set large to match the detection range and the erasure range of the contact portion with the mounting. In the modified example A of the embodiment, an example is shown in which the threshold value T1 and the threshold value T2 used for the size determination and the erasing range A1 and the range A2 are set according to the resolution. However, for example, the settings of the threshold value T1, the threshold value T2, and the range A1 and the range A2 may be changed according to the accuracy of the reading method of the contact portion.
<<<実施形態の変形例B>>>
続いて、実施形態の変形例Bについて、上記実施形態と異なる点を説明する。
ステップS22で、座標がRAM203に記憶されると、表示処理部29は、RAM203に記憶される座標を参照して、この座標に暫定の画像を表示させる。
<<< Modification B of the embodiment >>>
Subsequently, the modified example B of the embodiment will be described as different from the above-described embodiment.
When the coordinates are stored in the
続いて、ステップS45,ステップS53,ステップS63で操作モード「Gesture, EraseLarge, EraseSmall」が設定されてから、RAM203に記憶されている座標が削除されると、表示処理部29は、暫定の画像を消去させる。
Subsequently, after the operation mode "Gesture, EraseLarge, EraseSmall" is set in step S45, step S53, and step S63, when the coordinates stored in the
なお、ステップS44で操作モード「Draw」が出力されてから、RAM203に記憶されている座標が削除される場合にも、表示処理部29は、この座標の暫定の画像を消去させる。しかしながら、この場合、ストローク処理部32は、この座標を含むストローク配列データを生成するので、表示処理部29は、ストローク配列データに基づいて、上記の座標に画像を表示する。
Even if the coordinates stored in the
<<<実施形態の変形例C>>>
続いて、実施形態の変形例Cについて、上記実施形態と異なる点を説明する。変形例Cにおいて、ハードウェア又はソフトウェア上の制約により、座標検知部22により同時に検知できる接触部HTの数は、例えば、5つに制限されている。変形例Cにおいて、記憶部2000には、接触部管理テーブルが記憶されている。表5は、接触部管理テーブルを示す概念図である。
<<< Modification C of the embodiment >>>
Subsequently, the modified example C of the embodiment will be described as different from the above-described embodiment. In the modified example C, the number of contact portions HT that can be simultaneously detected by the coordinate
接触部管理テーブルには、検知可能な5つの接触部HTのID、接触部HTの座標、及び接触部HTに対応する操作モードが関連付けられて管理されている。イベント判定部251は、イベント「TouchDown」を検知すると、表5の接触部管理テーブルにおいて、座標が空値であるレコードに記録されたID「2,3,4,5」の中から、タッチダウンで生じる接触部HTに対応するIDを選択する。イベント判定部251は、接触部管理テーブルにおいて、選択されたIDに関連付けて、接触部HTの座標を記録する。
The contact portion management table is managed in association with the IDs of the five detectable contact portion HTs, the coordinates of the contact portion HT, and the operation mode corresponding to the contact portion HT. When the
モード判定部252は、接触部管理テーブルにおいて、接触部HTのIDに関連付けて、接触部HTに対して決定した操作モードを記録する。イベント判定部251は、接触部HTにおけるイベント「TouchMove」を検知するたび、接触部管理テーブルにおいて、接触部HTのIDに関連付けられている座標を移動後の座標に更新する。イベント判定部251は、接触部HTにおけるイベント「TouchUp」を検知すると、接触部管理テーブルにおいてタッチアップされた接触部HTのIDに関連付けられている座標、及び操作モードを削除する。
The
電子黒板2において、ユーザは、画像の消去の操作をするとき、書き込みをするときと比較して手Hの相対的に大きな面積をディスプレイ3に接触させる。この操作で、手Hの複数個所がディスプレイに接触すると、それぞれの接触部が別の接触部HTとして座標検知部22によって検知される。座標検知部22により同時に検知可能な接触部HTの数が5つであるのに対し、一人のユーザの手Hにより複数の接触部HTが検知されると、五人による同時に書き込み又は消去する操作を実行できなくなる。或いは、複数の接触部HTの一方に対して、例えば、操作モード「EraseSmall」が割り当てられ、他方に対して、例えば、操作モード「Draw」が割り当てられることで、ユーザの意図とは異なる操作が実行されることも考えられる。そこで、変形例Cにおいてモード判定部252は、先のタッチダウンによる接触部HT1、及び、後のタッチダウンによる接触部HT2の距離に基づいて、操作モードを決定する。
In the
図12は、変形例Cにおけるモード判定処理の一例を示すフロー図である。図12を用いて変形例Cにおけるモード判定処理を説明する。ステップS4で2点目のタッチダウンが検知され、ステップS33で2点目の接触部HT2に対応する操作モードが「Input」と判定されてから図12の処理は開始する。なお、1点目のタッチダウンによりディスプレイ3に接触した手Hは、2点目のタッチダウンの時点でタッチアップされていないものとする。これにより、接触部管理テーブルには、表5に示したように、1点目のタッチダウンによる接触部HT1の座標、及び接触部HT1に対応する操作モードが記録される。
FIG. 12 is a flow chart showing an example of the mode determination process in the modified example C. The mode determination process in the modified example C will be described with reference to FIG. The process of FIG. 12 starts after the touchdown of the second point is detected in step S4 and the operation mode corresponding to the contact portion HT2 of the second point is determined to be “Input” in step S33. It is assumed that the hand H that has come into contact with the
まず、モード判定部252は、1点目の接触部HT1に対応する操作モードが「EraseLarge」、又は「EraseSmall」であるか判断する(ステップS81)。この処理で、モード判定部252は、接触部管理テーブルを参照して、1点目の接触部HT1のIDに対応する操作モードが「EraseLarge」、又は「EraseSmall」であるか判断する。
First, the
ステップS81でYESと判断された場合、モード判定部252は接触部HT1、及び接触部HT2の距離を算出する。この処理で、モード判定部252は、1点目の接触部HT1の座標として、接触部管理テーブルに記録されているものを用いる。また、モード判定部252は、2点目の接触部HT2の座標として、イベント「TouchDown」とともにイベント判定部251から送られてきたものを用いる。なお、モード判定部252は、距離を、例えばミリメートルなどの任意の単位で算出しても良い。この場合、イベント判定部251は、接触部HT1、及び接触部HT2の座標から算出される距離を、ディスプレイ3の画素の密度(例えば、dot/mm)で除して、任意の単位で表される距離を求める。
If YES is determined in step S81, the
なお、接触部HT1、及び接触部HT2の距離の算出方法は、予め定められた方法であれば良く上記の方法に限定されない。1点目の接触部HT1を含む範囲A1、又は範囲A2の画像が消去される処理が実行されている場合、モード判定部252は、範囲A1、又は範囲A2の中心と、接触部HT2の距離を接触部HT1、及び接触部HT2の距離として算出しても良い。
The method for calculating the distance between the contact portion HT1 and the contact portion HT2 may be a predetermined method and is not limited to the above method. When the process of erasing the image of the range A1 or the range A2 including the first contact portion HT1 is executed, the
モード判定部252は、算出された接触部HT1、及び接触部HT2の距離が所定の閾値D1以下であるか判断する(ステップS82)。閾値D1は、特に限定されないが、手のひらの2箇所が意図せずディスプレイ3に接触することを想定して、例えば、75mmであっても良い。図13は、ディスプレイにおける画像の消去操作の一例を示す図である。図13の(A)のように、接触部HT1を中心とする半径が閾値D1の円Dの外側で接触部HT2が検知される場合、ステップS82においてNOと判断される。図13の(B)のように、接触部HT1を中心とする半径が閾値D1の円Dの内側で接触部HT2が検知される場合には、ステップS82においてYESと判断される。
The
ステップS82でYESと判断された場合、モード判定部252は、2点目のタッチダウンに対応する書き込み、消去等の処理を実行せず終了する(ステップS104)。すなわち、モード判定部252は、接触部HT2に対して、操作モード「EraseLarge, EraseSmall, Draw」のいずれも割り当てない。これにより、接触部HT2に対して操作モード「EraseLarge, EraseSmall, Draw」の処理は実行されない(図13の(B)参照)。
If YES is determined in step S82, the
ステップS81でNOと判断された場合、或いはステップS82でNOと判断された場合、モード判定部252は、2点目のタッチダウンに対応する操作モードを「EraseLarge, EraseSmall, Draw」から選択して割り当て、操作モードに応じた処理を行う(ステップS83乃至S103)。この処理は、図9におけるステップS43,ステップS52,ステップS62の処理、ステップS45,ステップS53,ステップS63の処理、或いはステップS51,ステップS61の処理と同様である。但し、イベント「TouchDown」が発生した時点で、接触部HT2に対応する操作モードは先に決定されていないので、図9におけるステップS41,ステップS42,ステップS44の処理は実行されない。
If NO is determined in step S81, or NO is determined in step S82, the
ステップS83乃至S103の処理で、接触部HT2に対応する操作モードが「EraseLarge, EraseSmall, Draw」から選択されると、モード判定部252により選択された処理が実行される(図13の(A)参照)。
When the operation mode corresponding to the contact portion HT2 is selected from "Erase Large, Erase Small, Draw" in the processes of steps S83 to S103, the process selected by the
<<実施形態の主な効果>>
上記実施形態の画像処理方法によると、電子黒板2(画像処理装置の一例)は、接触センサ215(検知装置の一例)により対象の接触が検知されてから、ディスプレイ3(表示装置の一例)において表示される画像に係る処理を実行する。電子黒板2のイベント判定部251(取得手段の一例)は、対象の接触部のサイズを示す情報を取得する(取得処理の一例)。電子黒板2のタイマー255(計測手段の一例)は、接触センサ215により第1の対象の接触が検知されてからの時間を計測する(計測処理の一例)。電子黒板2のモード判定部252(変更手段の一例)は、イベント判定部251によって取得されるサイズを示す情報、及びタイマー255による計測が所定の時間経過するまでに第2の対象が検知されるかに基づいて、接触部に画像を表示させ、又は接触部の画像を消去させ、若しくは第1の対象、及び第2の対象によるジェスチャ操作に基づいて表示する画像を変更させる(変更処理の一例)。これにより、電子黒板2は、ユーザに操作モードを入力させることなく、書き込み、又は消去の操作モード「Input」と、操作モード「Gesture」とを切り換えることができる。
<< Main effects of the embodiment >>
According to the image processing method of the above embodiment, the electronic blackboard 2 (an example of an image processing device) is displayed on the display 3 (an example of a display device) after the contact of the target is detected by the contact sensor 215 (an example of the detection device). Execute the process related to the displayed image. The event determination unit 251 (an example of the acquisition means) of the
電子黒板2のモード判定部252は、イベント判定部251によって取得されるサイズを示す情報が閾値T1(第1の閾値の一例)以上である場合に、接触部の画像を消去させる。これにより、例えば、手のひらなどの閾値T1以上の接触部を形成する対象をディスプレイ3の画面に接触させたときに、電子黒板2は、接触部の画像を消去することができる。
The
電子黒板2のモード判定部252は、イベント判定部251によって取得されるサイズを示す情報が閾値T1以上であり閾値T2(第2の閾値の一例)に満たない場合に、接触部の範囲A1(第1の範囲の一例)に含まれる画像を消去させ、イベント判定部251によって取得されるサイズを示す情報が閾値T2以上である場合に、接触部の範囲A2(第2の範囲の一例)に含まれる画像を消去させる。範囲A2の面積は、範囲A1の面積より大きい。これにより、接触部のサイズに応じて、画像の消去面積を変えることができる。
The
イベント判定部251によって閾値T1以上であり閾値T2に満たないサイズを示す情報が取得されてから、閾値T2以上のサイズを示す情報が所得される場合に、電子黒板2のモード判定部252は、接触部の範囲A1に含まれる画像を消去させてから、接触部の範囲A2に含まれる画像を消去させる。これにより、電子黒板2は、接触後に接触部HT1のサイズが変わるときに、サイズに応じて適切な範囲の画像を消去することができる。
When the
電子黒板2のモード判定部252は、イベント判定部251によって取得されるサイズを示す情報が閾値T1よりも小さく、タイマー255による計測が一定の時間(所定の時間の一例)経過するまでに2つ目の対象が検知される場合に、1つ目の対象、及び2つ目の対象によるジェスチャ操作に基づいて表示する画像を変更させる。また、電子黒板2のモード判定部252は、イベント判定部251によって取得されるサイズを示す情報が閾値T1よりも小さく、タイマー255による計測が一定の時間経過するまでに2目の対象が検知されない場合に、接触部に画像を表示させる。これにより、電子黒板2は、複数の対象により複数の手書きを行う操作と、複数の対象による一のジェスチャ操作と、を振り分けることができる。
In the
電子黒板2のRAM203(記憶手段の一例)は、モード判定部252によって操作モード「Draw, EraseLarge, EraseSmall, Gesture」が決定される前に、接触センサ215によって検知された対象の接触部HT1の座標を示す情報を記憶する。電子黒板2は、RAM203に記憶される座標を示す情報に基づいて画像を表示させる。これにより、電子黒板2は、操作モード「Draw, EraseLarge, EraseSmall, Gesture」が設定される前に、電子黒板2は、接触部HT1に暫定の画像を表示することができる。
The RAM 203 (an example of the storage means) of the
電子黒板2のRAM203は、モード判定部252(削除手段の一例)は、操作モード「Draw, EraseLarge, EraseSmall, Gesture」が決定されてから、RAM203に記憶される座標を示す情報を削除する。これにより、電子黒板2は、暫定の画像の表示を停止することができる。
In the
電子黒板2のモード判定部252は、ディスプレイ3の機種情報を取得する。電子黒板2のモード判定部252は、取得される機種情報に応じて接触部のサイズの閾値T1,閾値T2及び消去の範囲A1,範囲A2を設定する。これにより、電子黒板2は、ディスプレイ3の機種に応じて、閾値及び範囲を設定することができる。
The
モード判定部252によって1点目の接触部HT1(第1の接触部の一例)において操作モード「EraseLarge」又は「EraseSmall」の処理が実行されているときに、接触センサ215によって2点目の接触部HT2の接触が検知される場合に、モード判定部252は、接触部HT1、及び接触部HT2の距離を算出する。算出された距離が閾値D1(第3の閾値)より大きい場合に、モード判定部252は、操作モード「EraseLarge, EraseSmall, Draw」のいずれかの処理を実行する。算出された距離が閾値D1以下である場合に、モード判定部252は、処理を終了する。これにより、座標検知部22によって同時に検知できる接触部HTの数に制限がある場合に、一人のユーザによる消去の操作で手Hの複数個所がディスプレイ3に触れて複数の接触部HTが検知されることで、他のユーザによる操作が制限されることを防ぐことができる。
When the operation mode "Erase Large" or "Erase Small" is being executed in the first contact portion HT1 (an example of the first contact portion) by the
<<実施形態の補足>>
電子黒板2用のプログラムは、インストール可能な形式又は実行可能な形式のファイルによって、コンピュータで読み取り可能な記録媒体に記録されて流通されるようにしてもよい。また、上記記録媒体の他の例として、CD−R(Compact Disc Recordable)、DVD(Digital Versatile Disk)、ブルーレイディスク等が挙げられる。また、上記記録媒体、あるいは、これらプログラムが記憶されたHD(Hard Disk)は、プログラム製品(Program Product)として、国内又は国外へ提供可能である。
<< Supplement to the embodiment >>
The program for the
また、上記実施形態における電子黒板2は、単一の装置によって構築されてもよいし、各部(機能又は手段)を分割して任意に割り当てられた複数の装置によって構築されていてもよい。
Further, the
上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路を含むプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)や従来の回路モジュール等のデバイスを含むものとする。 Each function of the embodiment described above can be realized by one or more processing circuits. Here, the "processing circuit" in the present specification is a processor programmed to execute each function by software such as a processor including an electronic circuit, or an ASIC designed to execute each function described above. It shall include devices such as (Application Specific Integrated Circuit) and conventional circuit modules.
2 電子黒板
3 ディスプレイ
4 電子ペン
22 座標検知部
25 イベント振分部
27 ジェスチャ処理部
29 表示処理部
32 ストローク処理部
251 イベント判定部
252 モード判定部
253 タイムアウトフラグ
255 タイマー
300 ページデータ記憶部
2000 記憶部
H 手
T タッチパネル
HT 接触部
2
Claims (11)
前記対象と前記ディスプレイが接触しているときに、
前記対象と前記ディスプレイとが接触している領域のサイズが第1の閾値以上である場合、前記対象の接触位置に基づく範囲の画像を前記ディスプレイに表示された画像から消去する変更手段を有し、
前記変更手段によって第1の対象の接触部の画像を消去させる処理が実行されているときに、第2の対象の接触が検知された場合に、
前記第1の対象の接触部と前記第2の対象の接触部との距離が所定の閾値以下である場合には、前記第2の対象の接触部に対して、前記ディスプレイに画像を表示させる処理、及び、前記第2の対象の接触部の接触位置に基づく範囲の画像を前記ディスプレイに表示された画像から消去する処理を禁止する、電子黒板。 An electronic blackboard that has a display and can be drawn by the contact of an object with the display.
When the object is in contact with the display
When the size of the area where the object and the display are in contact is equal to or larger than the first threshold value, there is a changing means for erasing the image in the range based on the contact position of the object from the image displayed on the display. ,
When the contact of the second target is detected while the process of erasing the image of the contact portion of the first target is being executed by the changing means.
When the distance between the contact portion of the first target and the contact portion of the second target is equal to or less than a predetermined threshold value, an image is displayed on the display with respect to the contact portion of the second target. An electronic blackboard that prohibits processing and processing of erasing an image in a range based on the contact position of the contact portion of the second object from the image displayed on the display.
前記第1の対象の接触部と前記第2の対象の接触部との距離が所定の閾値より大きい場合には、
前記第2の対象の接触部に対して、前記ディスプレイに画像を表示させる処理、又は前記第2の対象の接触部の接触位置に基づく範囲の画像を前記ディスプレイに表示された画像から消去する処理の何れかを割り当てる、請求項1記載の電子黒板。 This is the case where the second target is contacted while the image of the contact portion of the first target is erased.
When the distance between the contact portion of the first target and the contact portion of the second target is larger than a predetermined threshold value,
A process of displaying an image on the display with respect to the contact portion of the second target, or a process of erasing an image in a range based on the contact position of the contact portion of the second target from the image displayed on the display. The electronic blackboard according to claim 1, to which any of the above is assigned.
前記接触している領域のサイズが前記第1の閾値未満である場合、前記対象の接触位置に基づき前記ディスプレイに画像を表示させる表示制御手段と、を備える、請求項1又は2記載の電子黒板。 An acquisition means for acquiring information indicating the size of the contact portion of the target, and
The electronic blackboard according to claim 1 or 2, further comprising a display control means for displaying an image on the display based on the contact position of the target when the size of the contact area is less than the first threshold value. ..
前記接触している領域のサイズに応じて変更される、請求項3記載の電子黒板。 The above range is
The electronic blackboard according to claim 3, which is changed according to the size of the contact area.
前記接触している領域のサイズが、前記第1の閾値以上の第1のサイズとなってから、前記第1の閾値より大きい第2の閾値以上である第2のサイズとなった場合に、
前記第1のサイズに応じた第1の前記範囲に含まれる画像を消去させてから、前記第2のサイズに応じた第2の前記範囲に含まれる画像を消去させる、請求項4記載の電子黒板。 The display control means
When the size of the contacted region becomes the first size equal to or greater than the first threshold value and then becomes the second size equal to or greater than the second threshold value larger than the first threshold value.
The electron according to claim 4, wherein the image included in the first range according to the first size is erased, and then the image included in the second range corresponding to the second size is erased. blackboard.
前記変更手段は、前記取得手段によって取得される機種情報に応じて前記第1の閾値、及び前記第2の閾値を設定する請求項5乃至6の何れか一項に記載の電子黒板。 The acquisition means acquires the model information of the display and obtains the model information.
The electronic blackboard according to any one of claims 5 to 6, wherein the changing means sets the first threshold value and the second threshold value according to the model information acquired by the acquisition means.
前記手と前記ディスプレイが接触しているときに、
前記手と前記ディスプレイとが接触している領域のサイズが第1の閾値以上である場合、前記手の接触位置に基づく範囲の画像を前記ディスプレイに表示された画像から消去する、処理をコンピュータに実行させ、
前記処理は、第1の対象の接触部の画像を消去させる処理が実行されているときに、第2の対象の接触が検知された場合に、
前記第1の対象の接触部と前記第2の対象の接触部との距離が所定の閾値以下である場合には、前記第2の対象の接触部に対して、前記ディスプレイに画像を表示させる処理、及び、前記第2の対象の接触部の接触位置に基づく範囲の画像を前記ディスプレイに表示された画像から消去する処理を禁止する、処理であるプログラム。 On an electronic blackboard that has a display and can be drawn by touching the display with a hand,
When the hand and the display are in contact
When the size of the area where the hand and the display are in contact is equal to or larger than the first threshold value, the computer is subjected to a process of erasing the image in the range based on the contact position of the hand from the image displayed on the display. Let it run
The processing is performed when the contact of the second target is detected while the process of erasing the image of the contact portion of the first target is being executed.
When the distance between the contact portion of the first target and the contact portion of the second target is equal to or less than a predetermined threshold value, an image is displayed on the display with respect to the contact portion of the second target. A program that prohibits processing and processing for erasing an image in a range based on the contact position of the contact portion of the second target from the image displayed on the display.
前記手と前記ディスプレイが接触しているときに、
前記手と前記ディスプレイとが接触している領域のサイズが第1の閾値以上である場合、前記手の接触位置に基づく範囲の画像を前記ディスプレイに表示された画像から消去する手順を有し、
前記手順は、第1の対象の接触部の画像を消去させる処理が実行されているときに、第2の対象の接触が検知された場合に、
前記第1の対象の接触部と前記第2の対象の接触部との距離が所定の閾値以下である場合には、前記第2の対象の接触部に対して、前記ディスプレイに画像を表示させる処理、及び、前記第2の対象の接触部の接触位置に基づく範囲の画像を前記ディスプレイに表示された画像から消去する処理を禁止する、方法。 A method using an electronic blackboard that has a display and can be drawn by touching the display with a hand.
When the hand and the display are in contact
When the size of the area where the hand and the display are in contact is equal to or larger than the first threshold value, there is a procedure for erasing the image of the range based on the contact position of the hand from the image displayed on the display.
The above procedure is performed when the contact of the second target is detected while the process of erasing the image of the contact portion of the first target is being executed.
When the distance between the contact portion of the first target and the contact portion of the second target is equal to or less than a predetermined threshold value, an image is displayed on the display with respect to the contact portion of the second target. A method of prohibiting a process and a process of erasing an image in a range based on the contact position of the contact portion of the second target from the image displayed on the display.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/646,649 US10198177B2 (en) | 2016-07-14 | 2017-07-11 | Image processing apparatus, image processing method, and recording medium |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016139234 | 2016-07-14 | ||
JP2016139234 | 2016-07-14 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2018018474A JP2018018474A (en) | 2018-02-01 |
JP2018018474A5 JP2018018474A5 (en) | 2019-12-26 |
JP6821998B2 true JP6821998B2 (en) | 2021-01-27 |
Family
ID=61076243
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016153643A Active JP6821998B2 (en) | 2016-07-14 | 2016-08-04 | Electronic blackboard, program, method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6821998B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2020166351A1 (en) * | 2019-02-13 | 2021-12-16 | ソニーグループ株式会社 | Information processing equipment, information processing methods, and recording media |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012018603A (en) * | 2010-07-09 | 2012-01-26 | Sharp Corp | Erasing device, erasing method and display system with erasing device |
JP2012252652A (en) * | 2011-06-06 | 2012-12-20 | Panasonic Corp | Touch panel input device |
JP2014002554A (en) * | 2012-06-18 | 2014-01-09 | Sharp Corp | Display device and control method for display device |
JP2014006654A (en) * | 2012-06-22 | 2014-01-16 | Fujifilm Corp | Information display device, providing method of user interface and program |
CN103064613A (en) * | 2012-12-13 | 2013-04-24 | 鸿富锦精密工业(深圳)有限公司 | Method and device for erasing contents of touch screen |
JP6099466B2 (en) * | 2013-04-15 | 2017-03-22 | シャープ株式会社 | Touch panel control device |
JP2015032264A (en) * | 2013-08-06 | 2015-02-16 | シャープ株式会社 | Touch panel device, display device, and display control method |
JP2015088147A (en) * | 2013-11-03 | 2015-05-07 | 西日本旅客鉄道株式会社 | Touch panel input device and input processing program |
JP6180306B2 (en) * | 2013-12-05 | 2017-08-16 | 三菱電機株式会社 | Display control apparatus and display control method |
JP2016066254A (en) * | 2014-09-25 | 2016-04-28 | シャープ株式会社 | Electronic device with touch detection apparatus |
-
2016
- 2016-08-04 JP JP2016153643A patent/JP6821998B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018018474A (en) | 2018-02-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10409418B2 (en) | Electronic device operating according to pressure state of touch input and method thereof | |
US10198177B2 (en) | Image processing apparatus, image processing method, and recording medium | |
EP2781992A2 (en) | Portable terminal with pen for providing a haptic effect | |
US20140210797A1 (en) | Dynamic stylus palette | |
JP5664164B2 (en) | Electronic information board device, information display method, program | |
CN108139825B (en) | Electronic blackboard, storage medium, and information display method | |
US10747425B2 (en) | Touch operation input device, touch operation input method and program | |
JP5306528B1 (en) | Electronic device and handwritten document processing method | |
US10684772B2 (en) | Document viewing apparatus and program | |
KR20160033547A (en) | Apparatus and method for styling a content | |
CN104346072A (en) | Display control apparatus and control method thereof | |
US20140022196A1 (en) | Region of interest of an image | |
US20150067593A1 (en) | Methods and Systems for Interacting with a Digital Marking Surface | |
US20130293495A1 (en) | Method for inputting touch and touch display apparatus | |
US11137903B2 (en) | Gesture-based transitions between modes for mixed mode digital boards | |
CN113515228A (en) | Virtual scale display method and related equipment | |
JP6821998B2 (en) | Electronic blackboard, program, method | |
US10296143B2 (en) | Touch sensing device and sensing method of touch point | |
JP6659210B2 (en) | Handwriting input device and handwriting input method | |
JP2016075976A (en) | Image processing apparatus, image processing method, image communication system, and program | |
US20200225787A1 (en) | Stroke-based object selection for digital board applications | |
JP2015022524A (en) | Terminal device and system | |
US20130187893A1 (en) | Entering a command | |
JP2017049904A (en) | Information processor, information processing program and information processing method | |
JP2020071799A (en) | Information processing device, information processing method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20180209 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190627 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191118 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200228 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200331 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200525 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200929 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201126 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201208 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201221 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6821998 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |