JP3343987B2 - イメージ処理装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、表示画面上でイ
メージを指定可能なイメージ処理装置に関する。

【０００２】

【従来の技術】最近、コンピュータにおいてユーザ・イ
ンタフェースの重要性が認識されつつある。これに伴
い、操作性に優れたＧＵＩ（Graphical User Interfac
e；グラフィカル・ユーザ・インタフェース）がユーザ
・インタフェースの主流になりつつある。

【０００３】このインタフェースにおいては、アイコン
（絵記号）をマウスやキーボード等を操作して選択する
ことにより、メニューからコマンド選択、ファイル操
作、プログラムの起動など文字入力以外の全ての操作を
実行できるようになっている。

【０００４】

【発明が解決しようとする課題】しかしながら、従来の
ＧＵＩはマウス操作を基本にしているため操作性の面で
問題があった。すなわち、マウス操作によるアイコン選
択のためのマウス・カーソルの移動はなかなかスムーズ
に行えるものではなく、慣れたとしても結構時間がかか
るものであった。また、マウス操作のためのスペースも
必要であった。このようなポインティング・デバイスと
してのマウスの欠点を克服するものとして、最近、ペン
入力が注目されている。

【０００５】ペン入力は、ユーザが日頃から慣れ親しん
でいるノートや手帳に記入するのと同様な感覚で文字や
図形等を直接表示面に入力できる。また、アイコンの選
択も直接ペンにより指し示せばよいので非常に簡単・高
速であり、ＧＵＩ用のポインティング・デバイスとして
も最適である。

【０００６】したがって、従来、キー操作やマウス操作
により行っていた画面上におけるデータの複写などの編
集を、ペン操作により手書き入力で行えるようになれ
ば、編集作業が容易になり効率も向上するものと考えら
れる。また、その作業も従来とは異なり違和感のない自
然な感覚で行えるようになるものと考えられる。

【０００７】本発明の課題は、イメージ入力により表示
画面上に表示される各種データに対する操作を簡易に行
えるようにすることである。

【０００８】

【課題を解決するための手段】この発明は、各種データ
を表示画面上に表示する表示手段と、上記表示画面上の
所望する表示領域を任意イメージで指定するイメージ指
定手段と、上記任意イメージで指定された表示領域にデ
ータが存在するか否かを判別する判別手段と、上記デー
タが存在すると判別された際は、そのデータを読み出
し、その読み出されたデータを上記指定の任意イメージ
と対応付けて登録する登録手段と、上記データが存在し
ないと判別された際は、上記指定の任意イメージに類似
するイメージに対応づけて登録されたデータを上記登録
手段から読み出し、その読み出されたデータを上記指定
の任意イメージの表示領域の位置に入力するデータ入力
手段と、を具備することを特徴とする。

【０００９】

【００１０】

【００１１】

【００１２】

【００１３】

【００１４】

【００１５】

【００１６】

【００１７】

【００１８】

【００１９】

【００２０】

【実施例】以下、図面を参照しながら本発明の実施例を
説明する。図１は本発明の実施例の外観図である。

【００２１】同図に示す装置はペン１１による手書き入
力を基本操作としており、手書き文字認識機能を備えて
いる。この装置全体はパッド型の外形をしており、上方
にペン１１を収納するためのペン収納溝１２が設けられ
ている。また、該ペン収納溝１２を除く上面のほぼ全体
にはペン入力用の入力・表示装置１３が組み込まれてい
る。

【００２２】この入力・表示装置１３は、液晶ディスプ
レイ等のようなビットマップ・ディスプレイから成る表
示面（表示部１３ａ）とこれに重ねて配置されたタブレ
ットから成る入力面（座標入力部１３ｂ）とで構成され
ている。

【００２３】次に、上記外観を有する実施例のシステム
構成を図２に示す。同図において、ＣＰＵ２１はマイク
ロプロセッサ等から成る中央演算処理装置であり、プロ
グラムメモリ２２に格納されているプログラムを実行し
て、システム内の各コンポーネントの制御を行う。

【００２４】座標入力部１３ｂは、例えば感圧式、電磁
誘導方式等のタブレットから成り、ペン入力を検出する
とこのペン入力の座標位置（手書き入力の書き込み軌跡
の座標データ）を不図示のインタフェースを介してＣＰ
Ｕ２１に出力する。ＣＰＵ２１は、この座標データから
ペン入力による手書きイメージデータを生成しイメージ
メモリＩ２６に書き込む。

【００２５】イメージ認識部２４は、ＣＰＵ２１からの
指示を受けて手書き入力座標データに基づいて、この手
書き入力のイメージデータが、ある一定以上の広さを持
った領域を指定している図形であるか否かを調べて囲み
図形の手書き入力を認識する。そして、この認識結果を
ＣＰＵ２１へ返答する。

【００２６】ＣＰＵ２１は、この認識結果を受けて、囲
み図形が入力されていたならば、この囲み図形の手書き
入力座標データから、この囲み図形に対応する編集処理
のイメージメモリII２７内での実行対象領域（編集対象
領域）を設定する。

【００２７】イメージ登録メモリ２５は、本装置で手書
き入力される各種形状の囲み図形のイメージデータを、
この囲み図形の大きさを表すデータや、この囲み図形内
に表示されているイメージデータと共に記憶する。

【００２８】イメージメモリＩ２６は、入力・表示装置
１３の画面上にペン入力された最新の手書き入力イメー
ジデータをビットマップ形式で格納するメモリである。
また、イメージメモリII２７は、現在画面に表示され
ている既に入力済みのイメージデータをビットマップ形
式で格納するメモリである。

【００２９】表示メモリ２８は、表示部１３ａに表示さ
れる画面のイメージデータをビットマップ形式で格納す
るフレームメモリである。表示制御部２９は、表示メモ
リ２８からイメージデータを読み出してこれをシリアル
のビデオ信号に変換して表示部１３ａに出力すると共に
表示部１３ａに水平／垂直同期信号を供給し、これによ
り表示部１３ａに表示メモリ２８に格納されているイメ
ージデータの画像を表示させる。

【００３０】イメージ処理部３１は、ＣＰＵ２１からの
指示を受けて、イメージ認識部２４によって認識された
図形イメージに対応する編集処理をイメージメモリII２
７内の、現在、編集対象領域に表示されているイメージ
データに対して実行する。この編集処理においてイメー
ジデータの拡大、縮小等の処理は演算部３３に実行させ
る。そして、この編集処理により得られる新たなイメー
ジデータをイメージ展開メモリ３２に順次書き込む。そ
して、編集処理が終了すると、イメージ展開メモリ３２
に格納されている図形イメージの実行結果（編集された
イメージデータ）をイメージメモリIIの当該領域に転送
する。

【００３１】イメージ展開メモリ３２は、上述のように
イメージ処理部３１によって拡大、縮小等の編集処理が
施されたイメージメモリII２７内の編集対象領域のイメ
ージデータを一時的に格納するビットマップ形式のメモ
リである。

【００３２】演算部３３は、イメージ処理部３１からの
制御を受けて、イメージメモリII内の編集対象領域に表
示されるイメージデータに対して拡大、縮小等の編集処
理を施す。

【００３３】ページファイル３４は、ペン入力によって
作成される１ページ（表示部１３の一画面に相当）の文
書を格納する。ＣＰＵ２１は入力・表示装置１３上で１
ページの文書が作成される毎にこれをページファイル３
４に書き込む。

【００３４】次に、上記構成の実施例における編集を指
示する図形イメージの手書き入力の方法を図３を参照し
ながら説明する。同図は、既に入力済の手書き入力デー
タの一部を複写する際の図形イメージの入力方法を説明
する模式図である。尚、同図において矩形枠は、入力・
表示装置１３の表示画面を示している。また、同図(a)
に示す、左上方の６個の×印４１、左下方の２個の△印
４２、及び右上方の螺旋印４３は、既入力の文字、数
字、または記号等のイメージデータを示している。

【００３５】このように、イメージデータをペン１１に
より手書き入力した後、左上方の６個の×印４１を、右
下方に多少拡大して複写する必要が生じたとする。この
場合、同図(b) にその一例を示すように複写しようとす
る６個の×印４１全てを囲む囲み図形４４を一筆書きす
る。この囲み図形４４は閉じても開いていてもどちらで
もよい。

【００３６】装置側では、この書き込まれた囲み図形４
４が、その囲み内部の編集を指示する図形イメージであ
ると認識すると、この囲み図形４４の内側領域を編集対
象領域として自動設定する。

【００３７】ユーザは、次に、同図(c) に示すように、
右下方の所望の複写先に、先の囲み図形４４よりも大き
な囲み図形４５を所望のコピー位置に一筆書きする。こ
のことにより、先の囲み図形４４で囲まれたイメージデ
ータ（６個の×印４１）が、同図(d) に示すように、や
や大きく拡大されて、イメージデータ（６個の×印４
６）として右下方に表示（複写）される。

【００３８】詳しくは後述するが、上記の複写を指示す
る図形イメージは、形状が定まっているわけではなく、
囲み図形であればなんでもよい。また、囲み図形の図形
イメージは、この囲み図形により囲まれたイメージデー
タと共にイメージ登録メモリ２５に登録される。

【００３９】次に、このような図形イメージの手書き入
力を実現する動作を図４のフローチャートを参照しなが
ら説明する。ユーザが入力・表示装置１３上でペン１１
により手書き操作（手書き入力）を行うと座標入力部１
３ｂが手書き入力座標位置（ペン操作された位置の、座
標入力部１３ｂ上に設定された正規化座標系での座標位
置。本実施例では、表示部１３ａと座標入力部１３ｂに
設定される正規化座標系は一致する）を検出し、この座
標データをＣＰＵ２１に対し割り込みにより通知する
（Ｓ１）。

【００４０】ＣＰＵ２１は、この入力される手書き入力
座標データが時系列順に描く軌跡に等しいイメージデー
タを作成し、これをイメージメモリＩ２６に書き込む
（Ｓ２）。

【００４１】そして、ユーザの手書き入力が終了し、座
標入力部１３ｂからの割り込みが所定時間以上途絶える
と、ＣＰＵ２１は手書き入力が終了したものと判断し、
イメージメモリＩ２６に書き込んだ今回新たに手書き入
力されたイメージデータとイメージメモリII２７に格納
されている既に入力・表示されている手書き入力イメー
ジデータとをＯＲ合成して表示メモリ２８に書き込む。
表示制御部２９は、表示メモリ２８からのこＯＲ合成さ
れたイメージデータを読み出して表示部１３ａにこのイ
メージデータに対応する画像を表示させる（Ｓ３）。

【００４２】以上の動作により、ユーザが入力・表示装
置１３にペン１１で手書き入力を行うと、ペン入力され
た文字や図形等が入力・表示装置１３に即時に表示され
る（図３(a) 〜(c) 参照）。

【００４３】次に、ＣＰＵ２１は、上記ペン入力により
イメージメモリＩ２６に書き込まれた手書きデータが囲
み図形であるか否か調べる（Ｓ４）。この処理では、Ｃ
ＰＵ２１は、イメージメモリＩ２６に格納されている手
書き入力のイメージデータをイメージ認識部２４に転送
して囲み図形であるかの判断を指示する。イメージ認識
部２４は、この手書き入力のイメージデータを、ある一
定以上の広さを持った領域を指定している囲み図形であ
るか否かを調べ、この認識結果をＣＰＵ２１へ通知す
る。ＣＰＵ２１はこの通知により囲み図形、即ち複写を
指示する図形イメージがペン入力されたと知ると（Ｓ
４、Ｙｅｓ）、上記ペン入力された手書き囲み図形で囲
まれた領域に対応するイメージメモリII２７内の領域に
既にイメージデータが格納されているか否か調べる（Ｓ
５）。

【００４４】そして、格納されていれば（Ｓ５、Ｙｅ
ｓ）、上記囲み図形で囲まれた領域内に格納されている
全てのイメージデータをイメージメモリII２７から読み
出す（Ｓ６）。

【００４５】続いて、読み出したイメージデータ（イメ
ージ・ブロック）を、上記入力された囲み図形をキー図
形としてこの囲み図形の大きさを示すデータと共にイメ
ージ登録メモリ２４の所定領域に格納（登録）する（Ｓ
７）。

【００４６】上記動作により、手書き囲み図形で囲まれ
たイメージデータが、その囲み図形に対応するイメージ
データとして、その囲み図形と共に登録される。これに
続いて、イメージメモリ ２６をクリアした後（Ｓ
８）、ステップＳ１に戻って次の手書き入力に対する処
理を行う。

【００４７】ここで、イメージ登録メモリ２５に登録さ
れる図形イメージ（キー図形）と、これに対応するイメ
ージデータの例を図５に模式的に示す。同図に示すよう
に、イメージ登録メモリ２５内には、手書き入力された
いずれも複写を指示する３種類の囲み図形の図形イメー
ジ（キー図形）と、これらのキー図形によって複写が指
示されたイメージデータが、キー図形をキーとして格納
されている。

【００４８】同図の例では、下が一部開いている丸のキ
ー図形５１に対応して６個の×印のイメージデータ５
１′、下向きのコの字型（下辺が開いている四角）のキ
ー図形５２に対応して２つの螺旋形のイメージデータ５
２′、及び一組の開き括弧と閉じ括弧のキー図形５３に
対応して上段が「ＡＤＣ」、下段が「××」からなるイ
メージデータ５３′が、それぞれ１組になってイメージ
登録メモリ２５に登録されている。

【００４９】このように、複数種類の形状の囲み図形を
複写対象のイメージデータを囲むように手書き入力する
ことによって、画面上の所望のイメージデータが複写対
象のイメージデータとして簡単かつ高速にイメージ登録
メモリ２５に登録される。

【００５０】そして、同図のように３種類のキー図形と
イメージデータが既にキーテーブルに登録されている場
合には、例えば、図３(c) に示した入力・表示装置１３
の右下方の表示の空き領域に、丸のキー図形５１に代っ
て下向きのコの字型のキー図形５２を手書き入力すれ
ば、そのキー図形５２の軌跡内に２つの螺旋形のイメー
ジデータ５２′が手書き入力の大きさに応じた大きさで
表示されることになる。また、任意の表示空き領域に、
一組の開き括弧と閉じ括弧のキー図形５３を手書き入力
すれば、その一組の括弧で繰られた領域内に上段が「Ａ
ＤＣ」、下段が「××」からなるイメージデータ５３′
が表示される。

【００５１】再び図４のフローチャートに戻って説明す
ると、ＣＰＵ２１は、ステップＳ５において手書き入力
の囲み図形が未入力の領域に対して行われたと判断した
とき（Ｓ５、Ｎｏ）、その囲み図形に類似の図形イメー
ジデータがイメージ登録メモリ２５のキーテーブルにキ
ー図形として登録されているか否かを調べる（Ｓ９）。
この処理では、ＣＰＵ２１は、イメージメモリＩ２６に
格納されている手書き入力の囲み図形のイメージデータ
をイメージ認識部２４に転送して、既に登録されている
囲み図形であるかの判断を指示する。イメージ認識部２
４は、イメージ登録メモリ２５に格納されているキー図
形と照合し、転送されてきた囲み図形のイメージデータ
がいずれかのキー図形と類似するか否か調べ、この認識
結果をＣＰＵ２１へ通知する。

【００５２】ＣＰＵ２１はこの通知により、キー図形、
即ちイメージ登録メモリ２５に登録済みのイメージデー
タの複写を指示する囲み図形がペン入力されたと知ると
（Ｓ９、Ｙｅｓ）、今回手書き入力された囲み図形と、
イメージ登録メモリ２５に登録されている今回手書き入
力された囲み図形に類似のキー図形との相似比率を算出
するようイメージ処理部３１に指示する。イメージ処理
部３１は、この指示に基づいて両図形の相似比率を演算
部３３に算出させ（Ｓ１０）、その算出結果に基づい
て、イメージ登録メモリ２５の当該キー図形に対応する
イメージデータに対して拡大又は縮小を実行して、得ら
れた新たなイメージデータをイメージ展開メモリ３２に
順次書き込む（Ｓ１１）。

【００５３】続いて、イメージ処理部３１は、ＣＰＵ２
１からの指示により、入力・表示装置１３の画面上での
複写先表示領域を、上記手書き入力された囲み図形の座
標データまたはイメージメモリＩ２６内の手書き入力の
図形データに基づいて決定し、この決定した複写先対象
領域に対応するイメージメモリII２７内の領域に、イメ
ージ展開メモリ３２に格納されている図形イメージで指
示された編集（複写）処理の実行結果（拡大又は縮小さ
れたイメージデータ）を転送する（Ｓ７３）。

【００５４】そして、イメージメモリII２７内の全ての
イメージデータを表示メモリ２８に書き込み、表示制御
部２９がこのイメージデータを表示メモリ２８から読み
出して、入力・表示装置１３の画面に上記図形イメージ
で指示された編集処理の実行結果を表示する（Ｓ１
４）。

【００５５】この後、ステップＳ８に戻ってイメージメ
モリ ２６をクリアし、ステップＳ１で次の手書き入力
を待機する。上記ステップＳ９で、入力された囲み図形
がキーテーブルに登録されていない場合は、ＣＰＵ２１
は、その囲み図形は複写の編集を指示する囲み図形では
なく、通常のイメージデータであると判断し（Ｓ９、Ｎ
ｏ）、この場合は、ＣＰＵ２１は、イメージメモリＩ２
６内のイメージデータとイメージメモリII２７内のイメ
ージデータとを対応するビット位置同士でＯＲ合成し、
この論理演算により得られた結果をイメージメモリII２
７に格納して（Ｓ１３）、上記ステップＳ１４の処理に
進む。

【００５６】以上の動作により、ユーザ自身がペン入力
した図形イメージの記入領域によって、この図形イメー
ジによる指示内容の実行される領域が自動的に設定され
る（図３(b),(c) 参照）。すなわち、記入された囲み図
形の図形イメージで囲まれた領域がこの図形イメージの
実行対象領域として設定される。したがって、ユーザは
図形イメージを手書き入力する際、これを複写対象の領
域の大きさに合わせた大きさでこの複写対象領域を囲む
だけで良い。すなわち、１回のペン操作のみで複写範囲
を指示できる。また、複写データの拡大又は縮小は、囲
み図形の図形イメージを拡大又は縮小しサイズに合った
大きさで複写先の対象領域に記入することにより容易に
実行される。

【００５７】尚、上記実施例においては、複写対象領域
を自動設定するためにいずれも複写対象のイメージデー
タに対する囲み図形を入力しているが、本発明はこのよ
うな入力方法に限定されるものではなく、例えば、複写
対象のイメージデータが表示されている領域の左上隅と
右下隅に鍵括弧を記入するようにしてもよく、要するに
領域を指定可能な手書きイメージあれば、囲み図形に限
定されるものではない。

【００５８】また、上記実施例では手書き入力により入
力されたイメージデータに対してのみ複写を行うように
しているが、本発明はこれに限定されるものではなく、
例えば手書き文字認識により文字コードに変換されたテ
キストデータや外部からダウンドード等により入力され
たテキストデータ等のイメージデータであってもよい。

【００５９】また、イメージ登録メモリに複数のイメー
ジデータを登録しているが、本発明はこれに限定される
ものではなく、例えば、一時的に登録するイメージデー
タを１種類のみとし、登録時とは全く異なる形状の領域
指定図形が記入された場合にもその記入位置に登録イメ
ージデータをコピーするようにしてもよい。

【００６０】また、表示位置を指定する囲み図形の大き
さに応じてコピーするイメージデータの大きさを拡大又
は縮小していいるが、これに限ることなく、例えば、囲
み図形の大きさに係わりなく登録したときと同じ大きさ
でコピーするようにしてもよい。

【００６１】また、イメージ登録メモリに登録したイメ
ージデータを囲み図形で呼び出して（コピーして）いる
が、これに限ることなく、例えば、特定のコマンドを用
いてコピーするようにしてもよい。

【００６２】

【発明の効果】本発明によれば、表示画面上に表示され
る各種データの中で任意イメージで指定したコピー対象
のデータを、その任意イメージと対応付けて登録できる
ようにし、そのコピー対象として登録されたデータを表
示画面上の所望位置に貼り付け入力したい場合には、そ
の登録されたイメージと類似するイメージを上記所望位
置で再度指定することにより、当該イメージに対応付け
て登録された上記データを上記指定の所望位置に直ちに
入力することができる。

【図面の簡単な説明】

【図１】本発明の実施例の外観図である。

【図２】上記実施例のシステム構成を示すブロック図で
ある。

【図３】複写コマンドの入力方法を説明する図である。

【図４】上記実施例の動作を説明するフローチャートで
ある。

【図５】イメージ登録メモリ内の格納形式を説明する図
である。

【符号の説明】

１３ 入力・表示装置 １３ａ 表示部 １３ｂ 座標入力部 ２１ ＣＰＵ ２２ プログラムメモリ ２４ イメージ認識部 ２５ イメージ登録メモリ ２６ イメージメモリＩ ２７ イメージメモリII ２８ 表示メモリ ２９ 表示制御部 ３１ イメージ処理部 ３２ イメージ展開メモリ ３３ 演算部 ３４ ページファイル ３６ 作業メモリ

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06F 3/00 G06F 3/03 - 3/037 G06F 3/14 - 3/147 G06T 11/80

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】 各種データを表示画面上に表示する表示
   手段と、 上記表示画面上の所望する表示領域を任意イメージで指
   定するイメージ指定手段と、 上記任意イメージで指定された表示領域にデータが存在
   するか否かを判別する判別手段と、 上記データが存在すると判別された際は、そのデータを
   読み出し、その読み出されたデータを上記指定の任意イ
   メージと対応付けて登録する登録手段と、 上記データが存在しないと判別された際は、上記指定の
   任意イメージに類似するイメージに対応づけて登録され
   たデータを上記登録手段から読み出し、その読み出され
   たデータを上記指定の任意イメージの表示領域の位置に
   入力するデータ入力手段と、 を具備することを特徴とするイメージ処理装置。