JPH08315167A - 手書きによるストローク入力時における空白確保の方法 - Google Patents

Abstract

(57)【要約】 【目的】計算機処理に負担がかからず、ユーザの思考を
中断させない簡単な動作によって空白を確保する方法を
提供すること。 【構成】手書きの筆跡を入力する入力手段、入力された
筆跡を表示する表示手段とを有し、ユーザの入力した筆
跡をオブジェクト入力とジェスチャ入力とに区別した
後、ジェスチャとして入力された筆跡を移動する対象物
とその移動先を指定するコマンドとして解釈する手段を
設け、対象物が指定された場所に移動することによって
空白を確保する手段を具備したこと、対象物の移動先が
入力可能領域外になった場合には、入力可能領域が広が
って、広がった領域に対象物が移動する機能を設けた。 【効果】ユーザにとって簡単なジェスチャを用いるの
で、計算機処理に負担がかからず、ユーザの思考の中断
が少ない方法で空白の確保ができる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は手書き入力情報処理装置
に係り、特に入力された手書きの筆跡が表示されている
画面上において、入力手段による手書きのジェスチャに
よって空白を確保するための方法に関する。

【０００２】

【従来の技術】閉図形で対象を囲んでから編集記号を入
力するものが特開昭60−75980 号公報に開示されてい
る。この機能を用いて対象を別の場所に移動することに
よって空白を確保できるが、対象を指定する動作と編集
記号の入力という２種類の動作を別々に行う手間が必要
であり、ユーザの思考を中断させる。

【０００３】挿入したい文字を入力するためのウィンド
ウを表示して文字入力させるものが特開昭63−184130号
公報に開示されているが、手書きの筆跡のような２次元
データには不向きである。オブジェクトがウィンドウの
下に隠れて見えなくなるという欠点もある。

【０００４】

【発明が解決しようとする課題】上記の従来技術では、
対象の指定と編集記号の入力という２つの動作を別々に
実行しなければならず、ユーザの思考を中断させるとい
う問題が有った。また、上記他の従来例では、挿入した
い文字を入力するために表示されるウィンドウにより、
編集対象となるオブジェクトが隠され、操作性の面で問
題があった。

【０００５】本発明の目的は、手書き入力情報処理装置
において、ユーザの思考を中断させることなく簡単な操
作により画面上に空白を表示し得る方法を提供すること
に有る。

【０００６】

【課題を解決するための手段】本発明は、少なくとも、
手書きによるストロークを入力する入力手段と、入力さ
れた手書きストロークに対応する情報を画面上に表示す
る表示手段を有する手書き入力情報処理装置における空
白確保の方法において、前記入力手段より入力される１
つのストロークに基づいて、前記画面上に既に表示され
ている情報のうち移動の対象となる情報を抽出し、前記
移動対象として抽出された情報を前記ストロークの終点
位置に移動すると共に、当該移動対象として抽出された
情報がその移動前に表示されていた位置に空白を表示す
ることに特徴がある。

【０００７】具体的には、画面上に表示されたオブジェ
クトに対し、入力手段により１つのストロークが入力さ
れた場合、当該ストロークが入力される間に前記入力手
段が一時的に停止したことを検出し、当該停止位置に対
応する筆跡点から前記ストロークの始点までを移動対象
指定用の入力と判断し、前記停止位置に対応する筆跡点
から前記ストロークの終点までを移動先を指定するコマ
ンドとして判断し、移動処理を実行すると共に、移動前
に前記移動対象となるオブジェクトが表示されていた位
置に空白を表示するようにしたものである。

【０００８】

【作用】本発明によれば、ユーザが１つのストロークを
手書き入力することより、画面上に表示されているオブ
ジェクトが移動の対象として指定され、指定されたオブ
ジェクトが移動先に移動されると共に、移動前に前記オ
ブジェクトが表示されていた位置に空白が表示されるこ
とになるので、ユーザは簡単な操作で、その思考を中断
されることなく画面上に空白を確保することが可能とな
る。

【０００９】

【実施例】以下、図面を参照して、本発明の一実施例に
つき説明する。

【００１０】図１は、本発明の構成を示したものであ
る。例えば入力装置としてのペン（以下、入力ペンと呼
ぶ）によってタブレット１に入力された筆跡は、筆跡判
定部２に送られる。筆跡判定部２では、入力された筆跡
がジェスチャ入力かオブジェクト入力かを判定する。筆
跡判定部２では、入力された手書きの筆跡を構成するす
べての筆点座標は、筆跡判定部２に付属しているバッフ
ァ（図示せず）に一時的に保存される。次に、判定の結
果がオブジェクトならば、入力された筆跡を構成する全
筆点座標が筆跡バッファ３に保存された後、そのオブジ
ェクトは表示部６に表示される。一方、判定結果が空白
確保のジェスチャならば、移動対象・移動先判定処理部
４の処理を行ってから移動処理部５の処理を行った後、
その結果が表示部６に表示される。

【００１１】移動対象・移動先判定処理部４は、入力さ
れたジェスチャから移動対象を指定する部分とその移動
対象の移動先を指定する部分を分離し、移動対象オブジ
ェクトの判定，移動先の判定を行う。

【００１２】移動処理部５では、移動対象オブジェクト
を移動先に移動するための処理を行い、動作結果を表示
部６に表示する。表示部６はタブレット１と一体化して
おり、タブレットに入力された筆跡は入力した場所と同
じ場所に表示される仕掛けになっている。

【００１３】次に、筆跡判定部２におけるジェスチャ入
力とオブジェクト入力の区別の概略を説明する。ジェス
チャ入力の場合、ユーザが筆跡を入力した後、一定時間
入力ペンを止めた後、入力ペンを上げずに再び筆跡を入
力すれば、入力ペンを止めるまでに入力された筆跡は移
動対象オブジェクトを指定する部分となり、それ以降ユ
ーザが入力ペンを離すまでに入力された部分がその移動
先を指定する部分となる。但し、筆跡の始終点間の距離
が一定値以下の場合、その筆跡の入力は取消しとなる。

【００１４】一方、ユーザが一定時間入力ペンを止めた
後に何も書かずに入力ペンを上げた場合には、その筆跡
の始点から終点までが移動対象オブジェクトとその移動
先を同時に指定するジェスチャとなる。

【００１５】入力ペンが一定時間止まることなく入力さ
れた筆跡は、オブジェクトとみなす。

【００１６】なお、オブジェクトとジェスチャの区別
を、入力ペンに付属しているスイッチを押すことによっ
て、あるいは表示部にメニューを表示して入力ペンで触
れてモードを指定することによって行ってもよい。

【００１７】ここで、図２のフローチャートを参照しな
がら筆跡判定部２におけるジェスチャの筆跡とオブジェ
クト入力の筆跡の区別の詳細について説明する。

【００１８】まず、入力された手書きの筆跡の始点のｘ
座標，ｙ座標をそれぞれ、変数pre_x，pre_yに格納する
（ステップ２２）。次に、筆跡の入力中に入力ペンを止
めている間に入力された筆点座標の個数を数えるための
カウンタを０にする（ステップ２３）。次にステップ２
４で入力された筆跡のｘ座標，ｙ座標をそれぞれ、変数
next_x，next_yに格納し（ステップ２６）、pre_x，pre
_yとの差分Δｘ，Δｙを計算する（ステップ２７）。Δ
ｘ，Δｙを計算した後、next_x，next_yの値はそれぞ
れ、pre_x，pre_yに格納される（ステップ２８）。次に
Δｘ，Δｙを定数と比較し（ステップ２９）、定数以上
ならば入力ペンが止まっているとはみなさず、次の点を
入力し、同じ処理を行う。一方、定数以下ならば、カウ
ンタの値をインクリメントし（ステップ３０）、カウン
タの値を定数と比較する（ステップ３１）。カウンタの
値が定数よりも大きくなれば、一定時間以上入力ペンが
止まっていたとみなし、この筆跡をジェスチャであると
認識する。カウンタの値が定数以下ならば次の点を入力
し、同じ処理を行う。ここで示した処理を行っている途
中で筆跡の終点が検出された場合には、この筆跡はジェ
スチャではなくオブジェクトと認識される（ステップ２
５）。これらの処理は、座標値は一定時間間隔で入力さ
れるという前提に基づく。

【００１９】ジェスチャとして認識された場合、入力ペ
ンが止まった後、入力ペンがそのまま離されたか、入力
ペンが離れることなく連続して更に筆跡が入力されたか
を判定する。これについては、筆跡がジェスチャと認識
された後で入力された筆点座標点列について、上記と同
様の処理を行うことによって判定する。すなわち、その
時点で入力された筆点座標のｘ座標，ｙ座標について、
その直前に入力された筆点座標との差分Δｘ，Δｙをと
り（ステップ３４）、定数と比較する（ステップ３
６）。Δｘ及びΔｙが定数以下である状態が、終点が検
出されるまで続いた場合、移動対象オブジェクトとその
移動先を同時に指定するジェスチャと認識する。一方、
Δｘ及びΔｙが定数を超えた場合で、筆跡の始終点間の
距離が定数以上の場合、入力ペンが止まる前までに入力
された筆跡を移動対象オブジェクトの指定を行う部分と
し、筆跡の終点を移動対象オブジェクトの移動先とする
ジェスチャであると認識する。Δｘ及びΔｙが定数を超
えても始終点間の距離が定数以下ならばその筆跡の入力
は取消しとなる。

【００２０】図３に、ジェスチャとして入力される筆跡
の例を示す。図３（ａ）は、点Ｐ₀を始点とし、点Ｐｅ
で入力ペンを止め、そのまま離した例である。図３
（ａ）においては、点Ｐ₀ から点Ｐｅまでの筆跡すべて
が移動対象オブジェクトとその移動先を同時に指定する
ジェスチャとなる。一方、図３（ｂ）は、点Ｐ₀ を始点
とし、点Ｐｓで一旦入力ペンを止めてから、更に点Ｐｅ
まで筆跡が入力された例である。図３（ｂ）において
は、点Ｐ₀ から点Ｐｓまでを移動対象オブジェクト指定
の部分となり、点Ｐｅを移動対象オブジェクトの移動先
とするジェスチャとなる。すなわち、図３（ｂ）の領域
Ｒ３が移動対象領域となる。

【００２１】次に、図４のフローチャートを参照しなが
ら移動対象・移動先判定処理部４の動作について開示す
る。

【００２２】まず、入力されたジェスチャの書き方を調
べる（ステップ５１）。もし、入力ペンが一旦止まった
後、更に筆点が入力された場合、移動対象領域は、入力
ペンが止まる前までに入力された筆跡の外接矩形領域と
し（ステップ５５）、移動先はジェスチャの終点になる
（ステップ５６）。一方、入力ペンが止まってからその
まま離れた場合、そのジェスチャの方向を分類する（ス
テップ５２）。ジェスチャの方向は、ジェスチャの始点
から終点に向かうベクトルの方向である。移動対象領
域、移動先はステップ５２で調べたジェスチャの方向の
分類によって決まる（ステップ５３，ステップ５４）。
次に、筆跡バッファ３に格納されているオブジェクトの
うちの一つを構成する筆点の座標を得た後（ステップ５
７）、そのオブジェクトの筆点がステップ５３またはス
テップ５５で判定した移動対象領域に含まれているかど
うかを判定する（ステップ５８）。もし含まれていれば
そのオブジェクトは移動対象オブジェクトとなり（ステ
ップ５９）、そうでなければ移動対象オブジェクトとは
ならない（ステップ６０）。この後、未判定オブジェク
トがあるかどうかを調べ（ステップ６１）、あればその
オブジェクトについて同様の処理を行い、なければ移動
対象・移動先判定部４の処理を終了する。

【００２３】図５は、入力ペンが止まってからそのまま
離れた場合のジェスチャの方向の分類を示したものであ
る。ジェスチャの方向が−２２.５°から２２.５°の範
囲を「右」、２２.５°から６７.５°の範囲を「右上」
とし、以下、４５°の範囲ずつ、「上」，「左上」，
「左」，「左下」，「下」，「右下」とする。以下の説
明では、これらのうち、「上」，「下」を垂直方向、
「右」，「左」を水平方向、それ以外を斜め方向とす
る。

【００２４】移動対象領域の判定が終了した後、筆跡バ
ッファ３に格納されているオブジェクトすべてについて
移動対象領域に含まれるかどうかを判定する。移動対象
領域内にオブジェクトが入っているかどうかの判定は、
そのオブジェクトを構成する全筆点のｘ座標の値が、移
動対象領域の最大ｘ座標，最小ｘ座標の値の間にあり、
かつ、そのオブジェクトを構成する全筆点のｙ座標の値
が、移動対象領域の最大ｙ座標，最小ｙ座標の間にある
場合、そのオブジェクトが移動対象領域内に入っている
とみなす。そのオブジェクトを構成する筆点のうち、１
個でもこれに該当しないものが存在した場合、そのオブ
ジェクトは移動対象オブジェクトとは認識されない。

【００２５】実際に移動対象オブジェクトを移動先に表
示するための処理を行うのが移動処理部５である。移動
処理部５では、入力された手書きのジェスチャの種類に
応じて移動先を決定する。

【００２６】図６のフローチャートを参照しながら、入
力ペンが止まってからそのまま離れた場合、即ち、移動
対象オブジェクトと移動先とが同時に指定された場合の
処理を開示する。まず、表示部６から移動対象オブジェ
クトをすべて消去する（ステップ７１）。次に、ジェス
チャの種類に応じて移動先を決定する(ステップ７２)。
現在のオブジェクトの位置と移動先とのｘ座標，ｙ座標
の差をそれぞれΔｘ，Δｙとすると、ジェスチャが水平
方向の場合、Δｘはジェスチャの始終点間のｘ座標の差
で、Δｙは０である（ステップ７３）。垂直方向の場
合、Δｘは０、Δｙはジェスチャの始終点間のｙ座標の
差である（ステップ７５）。斜め方向の場合、Δｘはジ
ェスチャの始終点間のｘ座標の差で、Δｙはジェスチャ
の始終点間のｙ座標の差である（ステップ７４）。ここ
で決定したΔｘ，Δｙの値を移動対象オブジェクトの全
筆点座標に加え（ステップ７６）、その結果を筆跡バッ
ファ３に格納するとともに(ステップ７７)、表示部６に
表示する(ステップ７８)。次に、図７のフローチャート
を参照しながら、入力ペンが止まってから更に筆跡が入
力された場合即ち、移動対象オブジェクトの指定と、移
動先の指定とが組合せて入力された場合の処理を開示す
る。まず、移動先を指定する部分の筆跡の始点座標値を
変数pre_x，pre_yに格納する（ステップ８１）。次に、
入力ペンから現在入力されている座標を１点得た後（ス
テップ８２）、その座標値を変数next_x，next_yに格納
する（ステップ８３）。次に、next_x，next_yと、pre_
x,pre_y との差分Δｘ，Δｙを計算した後（ステップ８
５）、移動対象オブジェクトを構成する全筆点座標に加
え（ステップ８６）、その結果を表示部６に表示する
(ステップ８７)。このとき、終点がまだ検出されない場
合には、pre_x，pre_yにそれぞれnext_x，next_yを格納
し（ステップ８９）、終点が検出されるまで繰り返して
処理を行う。終点を検出した後、結果を筆跡バッファ３
に格納する（ステップ９０）。すなわち、移動先を指定
する部分の筆跡を入力している間は、移動対象オブジェ
クトがそれに追従して表示部６に表示されることにな
る。

【００２７】入力ペンを一旦止めてからさらに筆跡が入
力されたときのジェスチャが入力された場合の一実施例
を、図８を参照して説明する。図８（ａ）は、手書きの
オブジェクトが表示部６に表示されているところに、点
Ｐ７１を始点とし、点Ｐ７２で入力ペンを一旦止めた
後、入力ペンを離さずに点Ｐ７３まで入力ペンを動かし
てから離したジェスチャＧ７が入力された状態である。
この場合、ジェスチャＧ７のＰ７１からＰ７２の間が対
象指定部分となる。この場合、図８（ｂ）に示すように
Ｐ７１とＰ７２を２頂点とする矩形領域Ｒ７が移動対象
領域となり、そこに含まれるオブジェクトＯ７１，Ｏ７
２，Ｏ７３が移動対象オブジェクトになる。移動先は、
ジェスチャの始点から終点に向かうベクトルの方向へそ
の長さだけ離れた位置となり、処理の結果は図８(c)の
ようになる。

【００２８】ジェスチャの方向が水平方向の場合の一実
施例を、図９を参照して、ジェスチャの方向が「右」の
場合を例に説明する。図９（ａ）は、手書きのオブジェ
クトが表示部６に表示されているところに、点Ｐ８を始
点とするジェスチャＧ８が入力された状態である。この
場合、図９（ｂ）に示すようにジェスチャの始点を含む
垂直線から右側の領域Ｒ８が移動対象領域となり、そこ
に含まれるオブジェクトＯ８１，Ｏ８２，Ｏ８３，Ｏ８
４，Ｏ８５，Ｏ８６が移動対象オブジェクトになる。移
動先は、ジェスチャの始点から終点に向かうベクトルの
水平方向成分の長さだけ右となり、処理の結果は図９
（ｃ）のようになる。

【００２９】ジェスチャの方向が垂直方向の場合の一実
施例を、図１０を参照して、ジェスチャの方向が「下」
の場合を例に説明する。図１０（ａ）は、手書きのオブ
ジェクトが表示部６に表示されているところに、点Ｐ９
を始点とするジェスチャＧ９が入力された状態である。
この場合、図１０（ｂ）に示すようにジェスチャの始点
を含む水平線から下側の領域Ｒ９が移動対象領域とな
り、そこに含まれるオブジェクトＯ９１，Ｏ９２が移動
対象オブジェクトになる。移動先は、ジェスチャの始点
から終点に向かうベクトルの垂直方向成分の長さだけ下
となり、処理の結果は図１０（ｃ）のようになる。

【００３０】ジェスチャの方向が斜め方向の場合の一実
施例を、図１１を参照して、ジェスチャの方向が「右
下」の場合を例に説明する。図１１（ａ）は、手書きの
オブジェクトが表示部６に表示されているところに、点
Ｐ１０を始点とするジェスチャＧ１０が入力された状態
である。この場合、図１１（ｂ）に示すようにジェスチ
ャの始点を含む垂直線から右側かつ、ジェスチャの始点
を含む水平線から下側の領域Ｒ１０が移動対象領域とな
り、そこに含まれるオブジェクトＯ１０１，O102，Ｏ１
０３，Ｏ１０４，Ｏ１０５が移動対象オブジェクトにな
る。移動先は、ジェスチャの始点から終点に向かうベク
トルの方向へその長さだけ離れた位置となり、処理の結
果は図１１（ｃ）のようになる。

【００３１】これらの動作を行って、移動したオブジェ
クトが本来の紙面の範囲外に移動しなければならない場
合には、そのオブジェクトが紙面の範囲内に収まるよう
に紙面が大きくなる。これは、オブジェクト入力時に入
力可能領域が足りなくなった場合にも同様に機能する。
この場合には、紙面を大きくすることによって入力可能
領域を確保することができる。紙面が足りなくなったか
どうかは、入力されたオブジェクトが紙面の境界領域に
かかったかどうかで判断する。ここで紙面の境界領域と
は、紙面の縁から一定の距離だけ内側に入った領域を指
す。

【００３２】図１２にこの動作の一実施例を示す。図１
２（ａ）は、斜線部Ｒ１１１をこの場合における紙面の
境界領域とし、この領域に手書きの筆跡Ｏ１１１が入力
された様子を示す。このとき、図１２（ｂ）に示すよう
に紙面が大きくなり、それに伴って紙面の境界領域はＲ
１１２の領域になる。紙面を大きくする場合、その倍率
は自動的に設定されるが、ユーザが任意の値に設定する
こともできる。

【００３３】

【発明の効果】本発明によれば、ユーザにとって簡単な
ジェスチャを用いるので、計算機処理に負担がかから
ず、ユーザの思考の中断が少ない方法で空白の確保がで
きる。

【図面の簡単な説明】

【図１】本発明の一実施例である装置構成を示すブロッ
ク図である。

【図２】筆跡判定部２の処理動作を示すフローチャート
である。

【図３】入力されるジェスチャの例を示す図である。

【図４】移動対象・移動先判定処理部４の処理動作を示
すフローチャートである。

【図５】入力ペンが止まってからそのまま離れた場合の
ジェスチャの方向の分類を示す図である。

【図６】入力ペンが止まってからそのまま離れた場合の
移動処理部５の処理動作を示すフローチャートである。

【図７】移動対象オブジェクトを含む矩形に内接する筆
跡が入力された後、入力ペンを表示部から離れずに移動
先までのジェスチャが入力された場合の移動処理部５の
処理動作を示すフローチャートである。

【図８】移動対象オブジェクトを含む矩形に内接する筆
跡が入力された後、入力ペンが表示部から離れずに移動
先までの筆跡が入力された場合の一実施例を示す図であ
る。

【図９】ジェスチャの方向が「右」の場合の一実施例を
示す図である。

【図１０】ジェスチャの方向が「下」の場合の一実施例
を示す図である。

【図１１】ジェスチャの方向が「右下」の場合の一実施
例を示す図である。

【図１２】入力可能領域と不可能領域との境界領域にオ
ブジェクトがかかった場合の一実施例を示す図である。

【符号の説明】

１…タブレット、２…筆跡判定部、３…筆跡バッファ、
４…移動対象・移動先判定処理部、５…移動処理部、６
…表示部。

Claims (5)

【特許請求の範囲】
1. 【請求項１】少なくとも、手書きによるストロークを入
   力する入力手段と、入力された手書きストロークに対応
   する情報を画面上に表示する表示手段を有する手書き入
   力情報処理装置における空白確保の方法において、 前記入力手段より入力される１つのストロークに基づい
   て、前記画面上に既に表示されている情報のうち移動の
   対象となる情報を抽出し、 前記移動対象として抽出された情報を前記ストロークの
   終点位置に移動すると共に、当該移動対象として抽出さ
   れた情報がその移動前に表示されていた位置に空白を表
   示することを特徴とする手書きによるストローク入力時
   における空白確保の方法。
2. 【請求項２】請求項１において、前記入力された１つの
   ストロークを構成する始点，終点及び当該始点と終点間
   の筆点座標に基づいて、前記移動の対象となる情報の抽
   出を行うことを特徴とする手書きによるストローク入力
   時における空白確保の方法。
3. 【請求項３】請求項１において、前記１つのストローク
   が入力される際、当該ストロークの始点から終点までの
   間に前記入力手段が画面上で一時的に停止したことを検
   出し、当該検出された停止位置に対応するストロークの
   筆点座標と前記始点座標を対角頂点とする矩形を生成
   し、当該生成された矩形内に存在する前記画面上の情報
   を移動対象として抽出することを特徴とする手書きによ
   るストローク入力時における空白確保の方法。
4. 【請求項４】請求項３において、前記入力手段により入
   力されるストロークを構成する各筆点座標間の差分を求
   め、当該求めた差分が所定値以内に有る場合に、前記入
   力手段は画面上で一時的に停止したものと検出すること
   を特徴とする手書きによるストローク入力時における空
   白確保の方法。
5. 【請求項５】請求項３において、前記検出された停止位
   置に対応するストロークの筆点座標と前記終点座標に基
   づいて、前記移動対象として抽出された情報の移動方向
   を決定することを特徴とする手書きによるストローク入
   力時における空白確保の方法。