JPH1186016A - 情報処理方法及び装置及びその記憶媒体 - Google Patents
情報処理方法及び装置及びその記憶媒体Info
- Publication number
- JPH1186016A JPH1186016A JP24399097A JP24399097A JPH1186016A JP H1186016 A JPH1186016 A JP H1186016A JP 24399097 A JP24399097 A JP 24399097A JP 24399097 A JP24399097 A JP 24399097A JP H1186016 A JPH1186016 A JP H1186016A
- Authority
- JP
- Japan
- Prior art keywords
- information
- reproduction
- trajectory
- order
- stored
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims description 49
- 230000010365 information processing Effects 0.000 title claims description 23
- 238000003672 processing method Methods 0.000 claims description 13
- 238000004891 communication Methods 0.000 claims description 11
- 238000012217 deletion Methods 0.000 claims description 3
- 230000037430 deletion Effects 0.000 claims description 3
- 230000001360 synchronised effect Effects 0.000 claims 1
- 208000006011 Stroke Diseases 0.000 description 136
- 238000012545 processing Methods 0.000 description 50
- 238000010586 diagram Methods 0.000 description 15
- 230000006835 compression Effects 0.000 description 9
- 238000007906 compression Methods 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 5
- 238000006073 displacement reaction Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3626—Details of the output of route guidance instructions
- G01C21/3629—Guidance using speech or audio output, e.g. text-to-speech
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/166—Editing, e.g. inserting or deleting
- G06F40/169—Annotation, e.g. comment data or footnotes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/166—Editing, e.g. inserting or deleting
- G06F40/171—Editing, e.g. inserting or deleting by use of digital ink
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/038—Indexing scheme relating to G06F3/038
- G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Automation & Control Theory (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
- Document Processing Apparatus (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Processing Or Creating Images (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
(57)【要約】
【課題】 画像に重ねて軌跡が記入されていると、軌跡
の記入によって見えなくなった画像を視認できず、画像
と軌跡との相互理解が不可能であった。 【解決手段】 軌跡の再生の前に、一旦表示画面上から
軌跡を消去すると共に、軌跡が上書きされている画像情
報を再表示することによって、画像情報が復元された状
態にした上で、軌跡を再生する。
の記入によって見えなくなった画像を視認できず、画像
と軌跡との相互理解が不可能であった。 【解決手段】 軌跡の再生の前に、一旦表示画面上から
軌跡を消去すると共に、軌跡が上書きされている画像情
報を再表示することによって、画像情報が復元された状
態にした上で、軌跡を再生する。
Description
【０００１】
【発明の属する技術分野】本発明は、表示画面上に軌跡
情報を再生することの可能な情報処理方法及び装置及び
その記憶媒体に関するものである。
情報を再生することの可能な情報処理方法及び装置及び
その記憶媒体に関するものである。
【０００２】本発明は、再生の指示に応じて複数の情報
の再生を行うことの可能な情報処理方法及び装置及びそ
の記憶媒体に関するものである。
の再生を行うことの可能な情報処理方法及び装置及びそ
の記憶媒体に関するものである。
【０００３】
【従来の技術】従来、軌跡情報を再生する時に、軌跡が
記入された時の速度で再現するものはあった。
記入された時の速度で再現するものはあった。
【０００４】従来、指示された選択順で情報を再生する
もの、また、入力した順に情報を再生するものはあっ
た。
もの、また、入力した順に情報を再生するものはあっ
た。
【０００５】
【発明が解決しようとする課題】従来の軌跡の再生は、
再生する軌跡情報を表示画面上から消去し、その位置に
軌跡情報に従って再生するのみであった為、軌跡の下に
表示されている情報を見るためには軌跡情報を移動させ
るか、削除するしかなかった。
再生する軌跡情報を表示画面上から消去し、その位置に
軌跡情報に従って再生するのみであった為、軌跡の下に
表示されている情報を見るためには軌跡情報を移動させ
るか、削除するしかなかった。
【０００６】従来の情報再生技術は、一つの再生指示手
段に対する動作は、選択順で情報を再生するのみか、入
力した順で情報を再生するのみの、どちらか一方に限定
されていた。
段に対する動作は、選択順で情報を再生するのみか、入
力した順で情報を再生するのみの、どちらか一方に限定
されていた。
【０００７】
【課題を解決するための手段】上記従来技術の課題を解
決するために、本発明は、複数の情報を記憶し、前記記
憶されている情報の再生を指示し、前記記憶されている
情報における選択状態を判別し、前記指示に応じた情報
の再生の順番を、前記判別に従って、情報の入力順か、
情報の選択順に切り替える情報処理方法及び装置及びそ
の記憶媒体を提供する。
決するために、本発明は、複数の情報を記憶し、前記記
憶されている情報の再生を指示し、前記記憶されている
情報における選択状態を判別し、前記指示に応じた情報
の再生の順番を、前記判別に従って、情報の入力順か、
情報の選択順に切り替える情報処理方法及び装置及びそ
の記憶媒体を提供する。
【０００８】上記従来技術の課題を解決するために、本
発明は、記憶されている情報の表示再生を指示し、前記
記憶されている情報における選択状態を判別し、前記指
示に応じた情報の再生の順番を、前記判別に従って、情
報の入力順か、情報の選択順に切り替え、前記切り替え
られた順番で情報の表示を再生する場合に、該情報を一
旦消去した後、該再生を開始するよう制御する情報処理
方法及び装置及びその記憶媒体を提供する。
発明は、記憶されている情報の表示再生を指示し、前記
記憶されている情報における選択状態を判別し、前記指
示に応じた情報の再生の順番を、前記判別に従って、情
報の入力順か、情報の選択順に切り替え、前記切り替え
られた順番で情報の表示を再生する場合に、該情報を一
旦消去した後、該再生を開始するよう制御する情報処理
方法及び装置及びその記憶媒体を提供する。
【０００９】上記従来技術の課題を解決するために、本
発明は、画像を再生する為の画像情報を記憶し、軌跡を
再生する為の軌跡情報を記憶し、 音声を再生する為の
音声情報を記憶し、軌跡と音声とを同期して再生する場
合に、画像情報を表示したまま、再生する軌跡情報を表
示画面から一旦消去した後、該軌跡情報と音声情報の再
生を開始する情報処理方法及び装置及びその記憶媒体を
提供する。
発明は、画像を再生する為の画像情報を記憶し、軌跡を
再生する為の軌跡情報を記憶し、 音声を再生する為の
音声情報を記憶し、軌跡と音声とを同期して再生する場
合に、画像情報を表示したまま、再生する軌跡情報を表
示画面から一旦消去した後、該軌跡情報と音声情報の再
生を開始する情報処理方法及び装置及びその記憶媒体を
提供する。
【００１０】上記従来技術の課題を解決するために、本
発明は、好ましくは音声情報に関連つけられている文書
上の位置にアイコンを表示し、前記軌跡情報を表示画面
から消去する時に該軌跡情報と同期して再生する音声情
報に関連つけられているアイコンを表示画面から消去す
る。
発明は、好ましくは音声情報に関連つけられている文書
上の位置にアイコンを表示し、前記軌跡情報を表示画面
から消去する時に該軌跡情報と同期して再生する音声情
報に関連つけられているアイコンを表示画面から消去す
る。
【００１１】上記従来技術の課題を解決するために、本
発明は、好ましくは前記軌跡と音声との再生を、該軌跡
が表示されている画面上で指示する。
発明は、好ましくは前記軌跡と音声との再生を、該軌跡
が表示されている画面上で指示する。
【００１２】上記従来技術の課題を解決するために、本
発明は、好ましくは画像情報と、軌跡情報と、音声情報
とを送受信する。
発明は、好ましくは画像情報と、軌跡情報と、音声情報
とを送受信する。
【００１３】上記従来技術の課題を解決するために、本
発明は、好ましくは前記軌跡の再生は、該軌跡が記入さ
れた速度で再生する。
発明は、好ましくは前記軌跡の再生は、該軌跡が記入さ
れた速度で再生する。
【００１４】上記従来技術の課題を解決するために、本
発明は、好ましくは前記軌跡の表示画面からの消去と再
生は、グループ化されている軌跡ごとに行う。
発明は、好ましくは前記軌跡の表示画面からの消去と再
生は、グループ化されている軌跡ごとに行う。
【００１５】上記従来技術の課題を解決するために、本
発明は、好ましくは前記画像情報は、テキスト情報を含
む。
発明は、好ましくは前記画像情報は、テキスト情報を含
む。
【００１６】
【発明の実施の形態】以下、図面を参照して、本発明の
実施の形態を詳細に説明する。
実施の形態を詳細に説明する。
【００１７】図１は、本発明の一実施形態の概略構成ブ
ロック図である。
ロック図である。
【００１８】１０は、本装置全体を制御するＣＰＵ（中
央処理装置）であり、メモリ１４、ハードディスク１
６、フロッピーディスク１８等に記憶されている制御プ
ログラムに従って、本発明に係る各種処理を実行するよ
う制御する。
央処理装置）であり、メモリ１４、ハードディスク１
６、フロッピーディスク１８等に記憶されている制御プ
ログラムに従って、本発明に係る各種処理を実行するよ
う制御する。
【００１９】１２は、メモリ制御及びＩ／Ｏ制御を司る
周辺Ｉ／Ｏ回路である。
周辺Ｉ／Ｏ回路である。
【００２０】１４は、ＲＯＭとＲＡＭからなるメモリ
（ＭＥＭ）であって、後述するフローチャートにより説
明する本願発明に係る処理の制御プログラムや、各処理
に用いる各種パラメータを記憶し、また、各処理中に生
じるデータを格納する作業エリアとしても利用する。
（ＭＥＭ）であって、後述するフローチャートにより説
明する本願発明に係る処理の制御プログラムや、各処理
に用いる各種パラメータを記憶し、また、各処理中に生
じるデータを格納する作業エリアとしても利用する。
【００２１】１６は、ハードディスクであって、後述す
るフローチャートにより説明する本願発明に係る処理の
制御プログラムや、各処理に用いる各種パラメータを記
憶する。
るフローチャートにより説明する本願発明に係る処理の
制御プログラムや、各処理に用いる各種パラメータを記
憶する。
【００２２】１８は、フロッピーディスクであって、後
述するフローチャートにより説明する本願発明に係る処
理の制御プログラムや、各処理に用いる各種パラメータ
を記憶する。これらのデータは直接利用しても、また、
ハードディスク１６やメモリ１４にダウンロードしてか
ら利用しても良い。また、フロッピーディスクに限ら
ず、本装置に着脱可能な記憶媒体、例えばCD−ROMや、
光磁気ディスクであっても良い。
述するフローチャートにより説明する本願発明に係る処
理の制御プログラムや、各処理に用いる各種パラメータ
を記憶する。これらのデータは直接利用しても、また、
ハードディスク１６やメモリ１４にダウンロードしてか
ら利用しても良い。また、フロッピーディスクに限ら
ず、本装置に着脱可能な記憶媒体、例えばCD−ROMや、
光磁気ディスクであっても良い。
【００２３】２０は、マウスであって、表示画面上の所
望の位置座標を指示し、また、ボタンのクリックによっ
て、各種選択操作も行う。
望の位置座標を指示し、また、ボタンのクリックによっ
て、各種選択操作も行う。
【００２４】２２は、キーボードであって、キーを押下
することにより、そのキーに対応する各種文字、記号、
ファンクション等を入力することができ、テキストの入
力、編集が可能である。また、このキーボードは、キー
入力装置に限らず、表示画面上に表示されるソフトキー
ボードであっても良い。
することにより、そのキーに対応する各種文字、記号、
ファンクション等を入力することができ、テキストの入
力、編集が可能である。また、このキーボードは、キー
入力装置に限らず、表示画面上に表示されるソフトキー
ボードであっても良い。
【００２５】２４は、デジタイザであって、ペン（図
２、４４）をこのデジタイザ上で動かすことにより、表
示画面上の所望の位置座表を入力することができる。本
実施形態では、図２に示したように、デジタイザ２４を
表示器２６に重ねて配置し、これにより表示器２４に表
示される画像に重ねる感覚で任意の点や軌跡等の情報を
入力できる例について説明するが、この座標入力手段
は、表示器に重ねて配置する例に限定されるものではな
く、表示器と別体にして、机の上に置き、画面を見なが
ら机の上の座標入力手段により点や軌跡などの座標情報
を入力する、タブレット型のものを用いても良い。ま
た、大まかなデータのみ扱うのであれば、感圧式の指で
任意の位置を指示するタッチパネルを用いても良い。
２、４４）をこのデジタイザ上で動かすことにより、表
示画面上の所望の位置座表を入力することができる。本
実施形態では、図２に示したように、デジタイザ２４を
表示器２６に重ねて配置し、これにより表示器２４に表
示される画像に重ねる感覚で任意の点や軌跡等の情報を
入力できる例について説明するが、この座標入力手段
は、表示器に重ねて配置する例に限定されるものではな
く、表示器と別体にして、机の上に置き、画面を見なが
ら机の上の座標入力手段により点や軌跡などの座標情報
を入力する、タブレット型のものを用いても良い。ま
た、大まかなデータのみ扱うのであれば、感圧式の指で
任意の位置を指示するタッチパネルを用いても良い。
【００２６】２６は液晶表示パネルやＣＲＴ等による表
示器、２８はＣＰＵ１０の制御下で、表示器２６に所望
の画像を表示させる表示制御回路である。
示器、２８はＣＰＵ１０の制御下で、表示器２６に所望
の画像を表示させる表示制御回路である。
【００２７】３０は、マイク及びスピーカーからなる音
声入出力装置（例えばハンドセット）、３２は、ＣＰＵ
１０の制御下で、音声入出力装置３０による音声入出力
を制御する音声制御回路である。音声入出力装置３０
は、マイクとスピーカーが一体になったものに限定され
るものではなく、マイクとスピーカーとが各々別個にな
っているものでも良い。
声入出力装置（例えばハンドセット）、３２は、ＣＰＵ
１０の制御下で、音声入出力装置３０による音声入出力
を制御する音声制御回路である。音声入出力装置３０
は、マイクとスピーカーが一体になったものに限定され
るものではなく、マイクとスピーカーとが各々別個にな
っているものでも良い。
【００２８】３４はファクシミリ伝送のための画像入出
力装置（即ち、イメージ・スキャナとプリンタを含
む）、３６は、ＣＰＵ１０の制御下で、画像入出力装置
３４を制御するＦＡＸ制御回路である。画像入出力装置
３４は、画像入力装置であるイメージ・スキャナと、画
像出力装置であるプリンタが一体になったものに限定さ
れるものではなく、画像入力装置と画像出力装置とが各
々別個になっているものでも良い。
力装置（即ち、イメージ・スキャナとプリンタを含
む）、３６は、ＣＰＵ１０の制御下で、画像入出力装置
３４を制御するＦＡＸ制御回路である。画像入出力装置
３４は、画像入力装置であるイメージ・スキャナと、画
像出力装置であるプリンタが一体になったものに限定さ
れるものではなく、画像入力装置と画像出力装置とが各
々別個になっているものでも良い。
【００２９】３８は、送信すべき信号を通信回線に適し
た周波数帯に周波数変調し、通信回線からの変調信号を
復調する変復調装置（モデム）、４０は、ＣＰＵ１０の
制御下で、通信プロトコルの設定など、通信回線との接
続及び通信を制御する通信制御回路である。通信回線
は、公衆回線或はＬＡＮ等、情報の伝送に利用される回
線であれば良い。３９は各構成間のデータの授受を行う
為のデータバスである。
た周波数帯に周波数変調し、通信回線からの変調信号を
復調する変復調装置（モデム）、４０は、ＣＰＵ１０の
制御下で、通信プロトコルの設定など、通信回線との接
続及び通信を制御する通信制御回路である。通信回線
は、公衆回線或はＬＡＮ等、情報の伝送に利用される回
線であれば良い。３９は各構成間のデータの授受を行う
為のデータバスである。
【００３０】図２は、本実施形態の装置の外観正面図を
示す。表示器２６及びデジタイザ２４が正面に配置さ
れ、ハンドセット３０が左側に置かれる。右側には電話
番号入力のためのテンキー４２が配置される。４４はデ
ジタイザ２４の入力ペンである。
示す。表示器２６及びデジタイザ２４が正面に配置さ
れ、ハンドセット３０が左側に置かれる。右側には電話
番号入力のためのテンキー４２が配置される。４４はデ
ジタイザ２４の入力ペンである。
【００３１】図３は、本実施形態の装置の機能構成図を
示し、図１に開示された各構成により実行される。
示し、図１に開示された各構成により実行される。
【００３２】画像入力又は画像作成手段５０は、画像入
出力装置３４により読み込まれた画像、又は本装置上で
動作するワードプロセッサもしくは作図ソフトウェアに
よりキーボード等を用いて作成されたテキストを含むド
キュメントの画像を入力制御／記憶手段５６に、データ
出力する。座標入力手段５２はデジタイザ２４であり、
ペン４４を用いて入力される座標を、較正及びタイミン
グ調整し、きれいな座標値にして入力制御／記憶手段５
６に出力する。音声入力手段５４は、ハンドセット３０
から入力された音声信号をアナログ・デジタル変換して
入力制御／記憶手段５６に出力する。これらの手段５
０、５２、５４の出力は、入力制御／記憶手段５６に印
加され、データとして記憶される。
出力装置３４により読み込まれた画像、又は本装置上で
動作するワードプロセッサもしくは作図ソフトウェアに
よりキーボード等を用いて作成されたテキストを含むド
キュメントの画像を入力制御／記憶手段５６に、データ
出力する。座標入力手段５２はデジタイザ２４であり、
ペン４４を用いて入力される座標を、較正及びタイミン
グ調整し、きれいな座標値にして入力制御／記憶手段５
６に出力する。音声入力手段５４は、ハンドセット３０
から入力された音声信号をアナログ・デジタル変換して
入力制御／記憶手段５６に出力する。これらの手段５
０、５２、５４の出力は、入力制御／記憶手段５６に印
加され、データとして記憶される。
【００３３】尚、詳細は後述するが、入力された画像
に、音声と軌跡によるメッセージを付加する時は、入力
制御／記憶手段５６は、入力された画像を表示手段５８
（即ち、表示器２６）に表示する。ユーザは、その表示
画面を見ながら、デジタイザ２４やマウス２０で任意の
軌跡を入力し、また、ハンドセット３０により音声を入
力する。
に、音声と軌跡によるメッセージを付加する時は、入力
制御／記憶手段５６は、入力された画像を表示手段５８
（即ち、表示器２６）に表示する。ユーザは、その表示
画面を見ながら、デジタイザ２４やマウス２０で任意の
軌跡を入力し、また、ハンドセット３０により音声を入
力する。
【００３４】入力し、ＭＥＭ１４に記憶された画像、音
声及び軌跡の各データは、通信制御手段６２の制御のも
と、公衆回線を介して送信される。
声及び軌跡の各データは、通信制御手段６２の制御のも
と、公衆回線を介して送信される。
【００３５】受信側の通信制御手段６４は、公衆回線を
介して情報を受信し、記憶手段６６に受信データを書き
込む。受信側のユーザの開示要求に応じて、出力制御手
段６８はユーザにより特定された受信画像のデータを記
憶手段６６から読み出し、画像出力手段７２（画像入出
力装置３４のプリンタ部）及び／又は表示手段７４（表
示器２６及び表示制御手段６８）に印加する。音声／軌
跡データが付加されているときには、出力制御手段６８
は、受信画像を先ず、表示手段に印加して受信画像を表
示させると共に、ユーザによる音声／軌跡の再生指示に
応じて、軌跡データを表示手段７４に、音声データを音
声出力手段７６に印加する。これにより、送信側で入力
された軌跡が、表示手段７４に表示される受信画像に重
ねて、送信側で入力されたのと同じ位置に同じ速度で表
示され、これに同期して、軌跡と共に音声を入力した時
と同じタイミングで音声が出力される。受信画像を紙出
力する場合には、画像出力手段７２を用いる。
介して情報を受信し、記憶手段６６に受信データを書き
込む。受信側のユーザの開示要求に応じて、出力制御手
段６８はユーザにより特定された受信画像のデータを記
憶手段６６から読み出し、画像出力手段７２（画像入出
力装置３４のプリンタ部）及び／又は表示手段７４（表
示器２６及び表示制御手段６８）に印加する。音声／軌
跡データが付加されているときには、出力制御手段６８
は、受信画像を先ず、表示手段に印加して受信画像を表
示させると共に、ユーザによる音声／軌跡の再生指示に
応じて、軌跡データを表示手段７４に、音声データを音
声出力手段７６に印加する。これにより、送信側で入力
された軌跡が、表示手段７４に表示される受信画像に重
ねて、送信側で入力されたのと同じ位置に同じ速度で表
示され、これに同期して、軌跡と共に音声を入力した時
と同じタイミングで音声が出力される。受信画像を紙出
力する場合には、画像出力手段７２を用いる。
【００３６】図３においては、送信側と受信側におい
て、画像、座標、音声、テキストの入力と出力との機能
を各々分けて示したが、図１及び図２に示したように、
本実施形態における装置は、送信も受信も可能であっ
て、画像、座標、音声、テキストの入力も出力も同じ装
置で実行することが可能である。従って、送信側では、
画像、座標、音声、テキストを入力、編集した後に、表
示器やハンドセット、画像出力装置によって入力済みの
画像、軌跡、音声、テキストの再生を行って確認するこ
ともできるし、データを受信する側でも、受信したデー
タの再生のみならず、マウス、キーボード、デジタイ
ザ、ハンドセット、画像入力装置を利用して、受信した
データに更に画像、座標、音声、テキストの入力や、編
集を行うことも可能である。
て、画像、座標、音声、テキストの入力と出力との機能
を各々分けて示したが、図１及び図２に示したように、
本実施形態における装置は、送信も受信も可能であっ
て、画像、座標、音声、テキストの入力も出力も同じ装
置で実行することが可能である。従って、送信側では、
画像、座標、音声、テキストを入力、編集した後に、表
示器やハンドセット、画像出力装置によって入力済みの
画像、軌跡、音声、テキストの再生を行って確認するこ
ともできるし、データを受信する側でも、受信したデー
タの再生のみならず、マウス、キーボード、デジタイ
ザ、ハンドセット、画像入力装置を利用して、受信した
データに更に画像、座標、音声、テキストの入力や、編
集を行うことも可能である。
【００３７】ここで、本実施の形態の処理について、フ
ローチャートと、各状態での表示画面を例示して詳細に
説明する。
ローチャートと、各状態での表示画面を例示して詳細に
説明する。
【００３８】図４は、病院への道順を説明する為に作成
する文書の例であって、「病院への道順です。」とい
う、キーボード２２により入力された説明のテキスト４
０１と、電話番号及び診察時間を説明する、キーボード
２２より入力されたテキスト４０２と、画像入出力装置
３４のスキャナ部或は公衆回線を介して他端末より入力
した病院周辺の地図の画像４０３、マウス２０或はデジ
タイザ２４により入力された軌跡４０４〜４０６、動的
な軌跡情報及び音声が入力されていることを示し、ま
た、そこをマウス２０或はデジタイザ２４でクリックす
ることによって動的な軌跡或は音声の再生を指示するこ
とができるアイコン４０７〜４０９が文書ウインドウ４
１０に表示されている。クリックとは、マウス２０のボ
タンを押下する、或はデジタイザ２４上でペンダウンす
ることを指し、クリックに応じてその時マウスカーソル
が位置していた座標或はペンダウンした位置の座標に対
応する表示画面上の情報、例えばその位置に表示されて
いるオブジェクトが選択されたものと判断する。
する文書の例であって、「病院への道順です。」とい
う、キーボード２２により入力された説明のテキスト４
０１と、電話番号及び診察時間を説明する、キーボード
２２より入力されたテキスト４０２と、画像入出力装置
３４のスキャナ部或は公衆回線を介して他端末より入力
した病院周辺の地図の画像４０３、マウス２０或はデジ
タイザ２４により入力された軌跡４０４〜４０６、動的
な軌跡情報及び音声が入力されていることを示し、ま
た、そこをマウス２０或はデジタイザ２４でクリックす
ることによって動的な軌跡或は音声の再生を指示するこ
とができるアイコン４０７〜４０９が文書ウインドウ４
１０に表示されている。クリックとは、マウス２０のボ
タンを押下する、或はデジタイザ２４上でペンダウンす
ることを指し、クリックに応じてその時マウスカーソル
が位置していた座標或はペンダウンした位置の座標に対
応する表示画面上の情報、例えばその位置に表示されて
いるオブジェクトが選択されたものと判断する。
【００３９】ここで、動的なストロークとは、後述する
が、ストロークの座標情報のみならず、各座標情報が入
力された時間情報をも保持し、その時間情報に従って入
力されたスピードで軌跡の再現を可能とするストローク
のことである。
が、ストロークの座標情報のみならず、各座標情報が入
力された時間情報をも保持し、その時間情報に従って入
力されたスピードで軌跡の再現を可能とするストローク
のことである。
【００４０】また、動的なストロークを入力する時にマ
イク（音声入力手段）をＯＮにしておくことにより、軌
跡により入力する座標情報に加え、音声により解説する
ことも可能である。例えば図４の軌跡４０５を入力する
時に、軌跡が五叉路に位置した時点で「この五叉路」と
発声する、また、本屋の角を曲がるように軌跡を入力し
ている時点で「本屋の角を右に曲がって」と発声するこ
とにより、より分かり易い情報を入力することが可能と
なる。
イク（音声入力手段）をＯＮにしておくことにより、軌
跡により入力する座標情報に加え、音声により解説する
ことも可能である。例えば図４の軌跡４０５を入力する
時に、軌跡が五叉路に位置した時点で「この五叉路」と
発声する、また、本屋の角を曲がるように軌跡を入力し
ている時点で「本屋の角を右に曲がって」と発声するこ
とにより、より分かり易い情報を入力することが可能と
なる。
【００４１】このように作成された文書（図４）に対し
て、動的な軌跡及び音声の全再生が指示された場合、
（１）「この五叉路を鋭角に左に曲がり、右に見える本
屋の角を右に曲がって、左側の３件目が病院です。駅か
ら徒歩４分位で病院に着きます。」という音声と共に、
軌跡４０５と軌跡４０６が記入された通りに再生され、
（２）軌跡４０４が記入された通りに再生され、（３）
「予約は１１時にしてあります。遅れないでくださ
い。」という音声が再生される。
て、動的な軌跡及び音声の全再生が指示された場合、
（１）「この五叉路を鋭角に左に曲がり、右に見える本
屋の角を右に曲がって、左側の３件目が病院です。駅か
ら徒歩４分位で病院に着きます。」という音声と共に、
軌跡４０５と軌跡４０６が記入された通りに再生され、
（２）軌跡４０４が記入された通りに再生され、（３）
「予約は１１時にしてあります。遅れないでくださ
い。」という音声が再生される。
【００４２】このような文書を作成する処理について、
図５のフローチャートに従って説明する。
図５のフローチャートに従って説明する。
【００４３】文書の作成は、表示器２６の表示画面上に
表示された文書ウインドウ４１０において行なわれる。
文書ウインドウが開かれたら、ＭＥＭ１４に格納されて
いるカレントモードを表わすパラメータを初期化する
（Ｓ２）。マウス２０、キーボード２２、デジタイザ２
４、マイク３０、画像入力手段３４等の入力デバイスに
より、何らかの情報入力が行なわれようとすることによ
るイベントの発生を検知し（Ｓ４）、以下、Ｓ６〜Ｓ１
０においてその検知されたイベントの種類を判断する。
Ｓ６においてイベントがマウス２０やデジタイザ２４に
より表示画面上の終了ボタンをクリックされる等による
終了イベントであると判断された場合には、本処理を終
了する。Ｓ８においてイベントがキーボード２２からの
文字コードの入力であると判断された場合には、Ｓ２６
の文字入力ルーチンに移る。この文字入力ルーチンで
は、図７の文書作成ウインドウ４１０に表示されている
文字入力用のカーソル７０２の位置に、キーボード２２
から入力される文字がメモリ１４に記憶されている文書
書式に従った態様で順次表示される。キーボード２２に
より入力される文字群、即ちテキストデータは、MEM１
４に格納される。
表示された文書ウインドウ４１０において行なわれる。
文書ウインドウが開かれたら、ＭＥＭ１４に格納されて
いるカレントモードを表わすパラメータを初期化する
（Ｓ２）。マウス２０、キーボード２２、デジタイザ２
４、マイク３０、画像入力手段３４等の入力デバイスに
より、何らかの情報入力が行なわれようとすることによ
るイベントの発生を検知し（Ｓ４）、以下、Ｓ６〜Ｓ１
０においてその検知されたイベントの種類を判断する。
Ｓ６においてイベントがマウス２０やデジタイザ２４に
より表示画面上の終了ボタンをクリックされる等による
終了イベントであると判断された場合には、本処理を終
了する。Ｓ８においてイベントがキーボード２２からの
文字コードの入力であると判断された場合には、Ｓ２６
の文字入力ルーチンに移る。この文字入力ルーチンで
は、図７の文書作成ウインドウ４１０に表示されている
文字入力用のカーソル７０２の位置に、キーボード２２
から入力される文字がメモリ１４に記憶されている文書
書式に従った態様で順次表示される。キーボード２２に
より入力される文字群、即ちテキストデータは、MEM１
４に格納される。
【００４４】Ｓ１０において、イベントが、マウス２０
或はデジタイザ２４により文書作成ウインドウ４１０内
に表示されたペンメニュー７０１を構成するボタンをク
リックすることによるモード切り替えの指示であると判
断された場合には、その指示されたモードをMEM１４内
のカレントモードを表わすパラメータに再設定し（Ｓ１
２）、そのモードに定められているメニュー画面を表示
する（Ｓ１４）。
或はデジタイザ２４により文書作成ウインドウ４１０内
に表示されたペンメニュー７０１を構成するボタンをク
リックすることによるモード切り替えの指示であると判
断された場合には、その指示されたモードをMEM１４内
のカレントモードを表わすパラメータに再設定し（Ｓ１
２）、そのモードに定められているメニュー画面を表示
する（Ｓ１４）。
【００４５】編集モードの時に表示されるペンメニュー
７０１を図８に示し、各ボタンについて説明する。この
ペンメニューは、通常のダイアログと同じく、タイトル
バーをドラッグすることにより、任意の位置に移動させ
て表示することができる。ペンメニューの表示されてい
る位置、及び各ボタンの位置を表わす座標情報は常にME
M１４に保持され、Ｓ１０において指示されたモードの
種類の判断の際も、このMEM１４に格納されている座標
情報と、マウス２０或はデジタイザ２４によりクリック
された位置の座標情報との比較により、クリック位置の
ボタンに対応するモードを指示されたモードとして判断
する。
７０１を図８に示し、各ボタンについて説明する。この
ペンメニューは、通常のダイアログと同じく、タイトル
バーをドラッグすることにより、任意の位置に移動させ
て表示することができる。ペンメニューの表示されてい
る位置、及び各ボタンの位置を表わす座標情報は常にME
M１４に保持され、Ｓ１０において指示されたモードの
種類の判断の際も、このMEM１４に格納されている座標
情報と、マウス２０或はデジタイザ２４によりクリック
された位置の座標情報との比較により、クリック位置の
ボタンに対応するモードを指示されたモードとして判断
する。
【００４６】ボタン８０１はドローモードへの切り替え
を指示する為のドローモード指示ボタン、ボタン８０２
は編集モードへの切り替えを指示する為の編集モード指
示ボタン、ボタン８０３は消しゴムモードへの切り替え
を指示する為の消しゴムモード指示ボタン、ボタン８０
４は録音ペンモードへの切り替えを指示する為の録音ペ
ンモード指示ボタン、ボタン８０５は前の処理を取り消
し、元に戻すことを指示する為のアンドゥ指示ボタン、
ボタン８０６は指示されている範囲のデータを画面上か
ら切り出すことを指示する為のカットボタン、ボタン８
０７は指示されている範囲のデータを画面上に残したま
ま、別領域に保持することを指示する為のコピーボタ
ン、ボタン８０８はカット或はコピーの操作により特定
されている範囲のデータを指示された位置に表示するこ
とを指示する為のペーストボタン、ボタン８０９は特定
されている範囲のデータを画面上から削除することを指
示する為のクリアボタン、ボタン８１０は指示されてい
る軌跡データの座標列をスムージングすることを指示す
る為のスムーズボタン、ボタン８１１は特定されている
軌跡データを、直線、円形（楕円或は真円）、三角形
（通常或は二等辺三角形或は正三角形）、四角形（長方
形或は正方形）の中から指定された形状に清書すること
を指示する為の清書ボタン、ボタン８１２は指定されて
いる範囲のデータを回転させた表示に変更することを指
示する為の回転ボタン、ボタン８１３は指示されている
範囲のデータの大きさを変更する為の変更指示ボタンを
表示させ、そのボタンの操作に応じてデータの大きさを
変更することを指示する為のリサイズボタン、ボタン８
１４は指示されている複数のストロークデータを一つの
グループとさせることを指示する為のグループボタン、
ボタン８１５は指示されている複数のストロークデータ
を各々別個の、グループ化されていない単独データとす
ることを指示する為のアングループボタン、ボタン８１
６は文書作成ウインドウ４１０に表示される、一文書を
構成する全データを選択することを指示する為の全選択
ボタン、ボタン８１７は軌跡を入力するペンの属性、即
ち軌跡の属性（線の色及び線の太さ）を変更する為の画
面を表示させることを指示する為のペン設定ボタン、ボ
タン８１８は文書作成ウインドウに表示され得る、動的
なストローク及び音声データを再生することを指示する
為の再生開始ボタン。この再生開始ボタン８１８がクリ
ックされたら、その文書に含まれる動的なストローク及
び音声データを入力順に、或は選択されている複数のオ
ブジェクトを選択順に再生する。８１９は音声データの
入力時及び再生時に、針が振れるイメージを表示させる
ことにより、音声データの入力中であること或は再生中
であることを報知する為のボリュームウインドウ、８２
０は再生する音声のボリュームを表わし、また、バーを
上下にドラッグして位置を変更することにより、音声の
再生ボリュームを調整する為のボリューム調整バーであ
る。
を指示する為のドローモード指示ボタン、ボタン８０２
は編集モードへの切り替えを指示する為の編集モード指
示ボタン、ボタン８０３は消しゴムモードへの切り替え
を指示する為の消しゴムモード指示ボタン、ボタン８０
４は録音ペンモードへの切り替えを指示する為の録音ペ
ンモード指示ボタン、ボタン８０５は前の処理を取り消
し、元に戻すことを指示する為のアンドゥ指示ボタン、
ボタン８０６は指示されている範囲のデータを画面上か
ら切り出すことを指示する為のカットボタン、ボタン８
０７は指示されている範囲のデータを画面上に残したま
ま、別領域に保持することを指示する為のコピーボタ
ン、ボタン８０８はカット或はコピーの操作により特定
されている範囲のデータを指示された位置に表示するこ
とを指示する為のペーストボタン、ボタン８０９は特定
されている範囲のデータを画面上から削除することを指
示する為のクリアボタン、ボタン８１０は指示されてい
る軌跡データの座標列をスムージングすることを指示す
る為のスムーズボタン、ボタン８１１は特定されている
軌跡データを、直線、円形（楕円或は真円）、三角形
（通常或は二等辺三角形或は正三角形）、四角形（長方
形或は正方形）の中から指定された形状に清書すること
を指示する為の清書ボタン、ボタン８１２は指定されて
いる範囲のデータを回転させた表示に変更することを指
示する為の回転ボタン、ボタン８１３は指示されている
範囲のデータの大きさを変更する為の変更指示ボタンを
表示させ、そのボタンの操作に応じてデータの大きさを
変更することを指示する為のリサイズボタン、ボタン８
１４は指示されている複数のストロークデータを一つの
グループとさせることを指示する為のグループボタン、
ボタン８１５は指示されている複数のストロークデータ
を各々別個の、グループ化されていない単独データとす
ることを指示する為のアングループボタン、ボタン８１
６は文書作成ウインドウ４１０に表示される、一文書を
構成する全データを選択することを指示する為の全選択
ボタン、ボタン８１７は軌跡を入力するペンの属性、即
ち軌跡の属性（線の色及び線の太さ）を変更する為の画
面を表示させることを指示する為のペン設定ボタン、ボ
タン８１８は文書作成ウインドウに表示され得る、動的
なストローク及び音声データを再生することを指示する
為の再生開始ボタン。この再生開始ボタン８１８がクリ
ックされたら、その文書に含まれる動的なストローク及
び音声データを入力順に、或は選択されている複数のオ
ブジェクトを選択順に再生する。８１９は音声データの
入力時及び再生時に、針が振れるイメージを表示させる
ことにより、音声データの入力中であること或は再生中
であることを報知する為のボリュームウインドウ、８２
０は再生する音声のボリュームを表わし、また、バーを
上下にドラッグして位置を変更することにより、音声の
再生ボリュームを調整する為のボリューム調整バーであ
る。
【００４７】カレントモードが編集モードではなく、ド
ローモード、消しゴムモード、録音ペンモードの時のペ
ンメニューは、図８に示したものと異なり、図９に示し
たペンメニュー９０１のように、ドローモードボタン８
０１、編集モードボタン８０２、消しゴムモードボタン
８０３、録音開始を指示する為の録音開始ボタン９２
０、アンドゥボタン８０５、ボリュームウインドウ８１
９、動的な軌跡を入力するペンの属性、即ち動的な軌跡
の属性（線の色及び線の太さ）、及び音声の属性（ボリ
ューム及び圧縮処理の有無）を変更する為の画面を表示
させることを指示する為の録音ペン設定ボタン９１０よ
り構成される。ただし、録音開始ボタン９２０がクリッ
クされた後は、録音開始ボタンに替って録音終了ボタン
９２１が表示される。
ローモード、消しゴムモード、録音ペンモードの時のペ
ンメニューは、図８に示したものと異なり、図９に示し
たペンメニュー９０１のように、ドローモードボタン８
０１、編集モードボタン８０２、消しゴムモードボタン
８０３、録音開始を指示する為の録音開始ボタン９２
０、アンドゥボタン８０５、ボリュームウインドウ８１
９、動的な軌跡を入力するペンの属性、即ち動的な軌跡
の属性（線の色及び線の太さ）、及び音声の属性（ボリ
ューム及び圧縮処理の有無）を変更する為の画面を表示
させることを指示する為の録音ペン設定ボタン９１０よ
り構成される。ただし、録音開始ボタン９２０がクリッ
クされた後は、録音開始ボタンに替って録音終了ボタン
９２１が表示される。
【００４８】Ｓ１０において、ドローモードボタン８０
１、編集モードボタン８０２、消しゴムモードボタン８
０３、録音ペンモード８０４の何れかがクリックされた
と判断した場合には、そのモードをＳ１２において設定
する。
１、編集モードボタン８０２、消しゴムモードボタン８
０３、録音ペンモード８０４の何れかがクリックされた
と判断した場合には、そのモードをＳ１２において設定
する。
【００４９】Ｓ１０において、発生したイベントがＳ６
〜Ｓ１０で判断される何れでもない場合、即ちクリック
された位置が現在のモードでの何らかの入力であると判
断された場合には、Ｓ１６でMEM１４内のカレントモー
ドを表わすパラメータを読取り、その読取ったモードに
従ってＳ１８〜Ｓ２４の各モードでの処理に分岐する。
〜Ｓ１０で判断される何れでもない場合、即ちクリック
された位置が現在のモードでの何らかの入力であると判
断された場合には、Ｓ１６でMEM１４内のカレントモー
ドを表わすパラメータを読取り、その読取ったモードに
従ってＳ１８〜Ｓ２４の各モードでの処理に分岐する。
【００５０】例えば、Ｓ１０において録音ペンモードボ
タン８０４がクリックされたと判断された場合には、録
音ペンモードがカレントモードとしてMEM１４に保持さ
れ（Ｓ１２）、録音ペンモードの時のペンメニュー９０
１が文書作成ウインドウに表示される。この時点で、録
音ペン設定ボタン９１０をクリックすることにより、録
音ペン設定ダイアログ９０２が文書作成ウインドウに表
示される（図９）。
タン８０４がクリックされたと判断された場合には、録
音ペンモードがカレントモードとしてMEM１４に保持さ
れ（Ｓ１２）、録音ペンモードの時のペンメニュー９０
１が文書作成ウインドウに表示される。この時点で、録
音ペン設定ボタン９１０をクリックすることにより、録
音ペン設定ダイアログ９０２が文書作成ウインドウに表
示される（図９）。
【００５１】録音ペン設定ダイアログ９０２は、設定可
能なペンの色を切り替え表示するパレット、及び選択さ
れた色を表示するペンの色設定領域９１１、設定可能な
ペンの太さを列挙し、選択された太さを表示するペンの
太さ設定領域９１２、ボタンをクリックするごとに音声
データを軌跡と共に録音するか否かを切り替えるボタン
と録音ボリュームを調整するバーとを表示する録音設定
領域９１３、録音圧縮をするか否かを切り替え指示する
録音圧縮設定領域９１４から構成される。オペレータは
マウス２０或はデジタイザ２４を用いてこの録音ペン設
定ダイアログ９０２上で任意の属性に設定した後、入力
を開始する。録音ペン設定ダイアログ９０２で設定され
た属性は、MEM１４に保持され、設定される度にMEM１４
の属性データも変更する。
能なペンの色を切り替え表示するパレット、及び選択さ
れた色を表示するペンの色設定領域９１１、設定可能な
ペンの太さを列挙し、選択された太さを表示するペンの
太さ設定領域９１２、ボタンをクリックするごとに音声
データを軌跡と共に録音するか否かを切り替えるボタン
と録音ボリュームを調整するバーとを表示する録音設定
領域９１３、録音圧縮をするか否かを切り替え指示する
録音圧縮設定領域９１４から構成される。オペレータは
マウス２０或はデジタイザ２４を用いてこの録音ペン設
定ダイアログ９０２上で任意の属性に設定した後、入力
を開始する。録音ペン設定ダイアログ９０２で設定され
た属性は、MEM１４に保持され、設定される度にMEM１４
の属性データも変更する。
【００５２】図６に、Ｓ２４の録音ペンモードにおける
処理のフローチャートを示し、動的なストローク或は音
声データからなる複数のオブジェクトのデータを入力す
る処理について説明する。ここで、オブジェクトとは、
録音開始ボタン９２０が押下されてから録音終了ボタン
９２１が押下されるまでの間に入力されたデータ全てを
まとめて一オブジェクトと称することにする。図４のア
イコン４０７〜４０９は、オブジェクト毎に表示され
る。
処理のフローチャートを示し、動的なストローク或は音
声データからなる複数のオブジェクトのデータを入力す
る処理について説明する。ここで、オブジェクトとは、
録音開始ボタン９２０が押下されてから録音終了ボタン
９２１が押下されるまでの間に入力されたデータ全てを
まとめて一オブジェクトと称することにする。図４のア
イコン４０７〜４０９は、オブジェクト毎に表示され
る。
【００５３】では、図６のフローチャートに基き、録音
ペンによる動的ストローク及び音声データの入力処理に
ついて説明する。
ペンによる動的ストローク及び音声データの入力処理に
ついて説明する。
【００５４】図１０は、Ｓ２６の文字入力ルーチンにお
いて、キーボード２２によりテキスト４０１及び４０２
を入力し、画像入力装置３４或は通信回線を介して他端
末から入力した病院付近の地図の画像４０３を入力し、
録音ペンモードが指示されてペンメニュー９０１が表示
された画面である。ここで、画像は文字と同列で扱うも
のとし、文字入力ルーチンにおいて、画像の入力を指示
することにより、文字カーソル７０２が表示されている
位置を画像の基準位置として表示する。よって、文字列
（テキスト）の編集により、画像の表示位置も変わる。
録音ペンモードが指示された時点で図６のフローチャー
トに示す処理がスタートし、録音デバイスが本装置に装
着されているかを判断する（Ｓ３０）。ここで、録音デ
バイスが装置に装着されていないと判断された場合は、
「音声記録デバイスが見つかりません。筆跡の記録のみ
可能です。」といったダイアログを表示し、音声記録デ
バイスが装着されていないことをオペレータに報知す
る。この後の画面が図１０に示したものである。
いて、キーボード２２によりテキスト４０１及び４０２
を入力し、画像入力装置３４或は通信回線を介して他端
末から入力した病院付近の地図の画像４０３を入力し、
録音ペンモードが指示されてペンメニュー９０１が表示
された画面である。ここで、画像は文字と同列で扱うも
のとし、文字入力ルーチンにおいて、画像の入力を指示
することにより、文字カーソル７０２が表示されている
位置を画像の基準位置として表示する。よって、文字列
（テキスト）の編集により、画像の表示位置も変わる。
録音ペンモードが指示された時点で図６のフローチャー
トに示す処理がスタートし、録音デバイスが本装置に装
着されているかを判断する（Ｓ３０）。ここで、録音デ
バイスが装置に装着されていないと判断された場合は、
「音声記録デバイスが見つかりません。筆跡の記録のみ
可能です。」といったダイアログを表示し、音声記録デ
バイスが装着されていないことをオペレータに報知す
る。この後の画面が図１０に示したものである。
【００５５】Ｓ３０で録音デバイスが装着されているか
否かを判断した後、録音開始ボタン９２０がクリックさ
れるのを待ち（Ｓ３２）、クリックされたら録音デバイ
スが有効であるか否か判断する（Ｓ３４）。この判断
は、Ｓ３０において装着されていると判断された録音デ
バイスが、録音開始ボタンがクリックされた時点で使用
可能な状態にあるか否かを判断するものである。録音デ
バイスが、本アプリケーションを含め、複数のアプリケ
ーション等でも使用され得る場合は、録音デバイスが使
用中であるか否かを示すフラグを設け、このフラグを判
定することにより、Ｓ３４の判断を行えば良い。
否かを判断した後、録音開始ボタン９２０がクリックさ
れるのを待ち（Ｓ３２）、クリックされたら録音デバイ
スが有効であるか否か判断する（Ｓ３４）。この判断
は、Ｓ３０において装着されていると判断された録音デ
バイスが、録音開始ボタンがクリックされた時点で使用
可能な状態にあるか否かを判断するものである。録音デ
バイスが、本アプリケーションを含め、複数のアプリケ
ーション等でも使用され得る場合は、録音デバイスが使
用中であるか否かを示すフラグを設け、このフラグを判
定することにより、Ｓ３４の判断を行えば良い。
【００５６】Ｓ３４で録音デバイスが有効であると判断
された場合には、録音ペン設定ダイアログ９０２内の録
音設定９１３でマイクボタン（録音するか否かを切り替
えるボタン）がＯＮになっているか否かをMEM１４から
読み出す（Ｓ３６）。マイクボタンがＯＮになっている
場合は、録音ルーチン３８を開始し（Ｓ３８）、Ｓ４２
で録音終了ボタン９２１がクリックされて終了の指示が
なされたと判断されるか、或は予め定められ、所定の時
間としてMEM１４に保持されていた時間を超えたと判断
されてタイムアウトとなる場合までＳ３８の音声データ
をMEM１４に記憶する処理は続けられる。
された場合には、録音ペン設定ダイアログ９０２内の録
音設定９１３でマイクボタン（録音するか否かを切り替
えるボタン）がＯＮになっているか否かをMEM１４から
読み出す（Ｓ３６）。マイクボタンがＯＮになっている
場合は、録音ルーチン３８を開始し（Ｓ３８）、Ｓ４２
で録音終了ボタン９２１がクリックされて終了の指示が
なされたと判断されるか、或は予め定められ、所定の時
間としてMEM１４に保持されていた時間を超えたと判断
されてタイムアウトとなる場合までＳ３８の音声データ
をMEM１４に記憶する処理は続けられる。
【００５７】また、録音ルーチンの開始と共に、マウス
２０或はデジタイザ２４により筆跡データが入力された
場合は、入力される筆跡をMEM１４に記録するルーチン
を繰り返す（Ｓ４０）。
２０或はデジタイザ２４により筆跡データが入力された
場合は、入力される筆跡をMEM１４に記録するルーチン
を繰り返す（Ｓ４０）。
【００５８】Ｓ３４で録音デバイスが有効ではないと判
断された場合、及びＳ３６でマイクボタンがＯＮでない
と判断された場合にも、Ｓ３８の録音ルーチンは行わな
いものの、Ｓ４２で肯定の判断がなされるまでＳ４０の
筆跡記録ルーチンは繰り返す。
断された場合、及びＳ３６でマイクボタンがＯＮでない
と判断された場合にも、Ｓ３８の録音ルーチンは行わな
いものの、Ｓ４２で肯定の判断がなされるまでＳ４０の
筆跡記録ルーチンは繰り返す。
【００５９】Ｓ４２で録音終了ボタン９２１がクリック
されて終了の指示がなされたと判断されるか、或は予め
定められ、所定の時間としてMEM１４に保持されていた
時間を超えてタイムアウトとなった場合は、Ｓ３８及び
Ｓ４０で記録されたデータの種類を判別し（Ｓ４４）、
音声データとストロークデータの両方である場合、音声
データのみである場合、ストロークデータのみである場
合の各処理に分岐する。図４に示した例においては、ア
イコン４０８に対応するオブジェクトが音声データとス
トロークデータの両方であり、アイコン４０７に対応す
るオブジェクトがストロークデータのみであり、アイコ
ン４０９に対応するオブジェクトが音声データのみであ
る。アイコンの種類も、このオブジェクトのデータ種類
に応じて切り替えることにより、オブジェクトのデータ
の種類をオペレータに報知することができる。
されて終了の指示がなされたと判断されるか、或は予め
定められ、所定の時間としてMEM１４に保持されていた
時間を超えてタイムアウトとなった場合は、Ｓ３８及び
Ｓ４０で記録されたデータの種類を判別し（Ｓ４４）、
音声データとストロークデータの両方である場合、音声
データのみである場合、ストロークデータのみである場
合の各処理に分岐する。図４に示した例においては、ア
イコン４０８に対応するオブジェクトが音声データとス
トロークデータの両方であり、アイコン４０７に対応す
るオブジェクトがストロークデータのみであり、アイコ
ン４０９に対応するオブジェクトが音声データのみであ
る。アイコンの種類も、このオブジェクトのデータ種類
に応じて切り替えることにより、オブジェクトのデータ
の種類をオペレータに報知することができる。
【００６０】記録種類が音声データとストロークデータ
であった場合は、録音ペン設定ダイアログ９０２内の録
音圧縮９１４において圧縮指定がなされているか否かを
示すパラメータをMEM１４から読み出す（Ｓ４６）。圧
縮指定がなされている場合は、Ｓ３８でMEM１４に格納
した音声データの圧縮を行う（Ｓ４８）。圧縮指定がな
されていない場合は、Ｓ５０に進む。
であった場合は、録音ペン設定ダイアログ９０２内の録
音圧縮９１４において圧縮指定がなされているか否かを
示すパラメータをMEM１４から読み出す（Ｓ４６）。圧
縮指定がなされている場合は、Ｓ３８でMEM１４に格納
した音声データの圧縮を行う（Ｓ４８）。圧縮指定がな
されていない場合は、Ｓ５０に進む。
【００６１】Ｓ３８及びＳ４０でMEM１４に記憶された
音声データ及びストロークデータ（筆跡データ）につい
て、音声データのファイル化を行い（Ｓ５０）、音声ク
ラスタを作成し（Ｓ５２）、ストローククラスタグルー
プを作成し（Ｓ５４），グループクラスタを作成し（Ｓ
５６）、編集モードに戻る（Ｓ６８）。Ｓ４２で肯定の
判断がなされる前の、ストロークデータ及び音声データ
を入力している途中の表示画面は図１１のようであり、
Ｓ４２で肯定の判断がなされた後の表示画面は図１２の
ようである。図１１において、マウスカーソル或はペン
により指示されている位置を示すカーソルは、録音開始
ボタン９２０がクリックされてから録音終了ボタン９２
１がクリックされるまでの間は４２０のような形状であ
って、ペンメニューにおける録音開始ボタン９２０に替
って録音終了ボタン９２１が表示されている。また、音
声データの録音中は、ボリュームウインドウ８１９の針
が振れている状態の表示にする。図１２において、スト
ロークデータと音声データの両方が入力されたので、両
方のデータが記録されていることを示すアイコン４０８
を表示している。アイコン４０８の表示位置は、ストロ
ークデータの外接矩形の左上とする。しかし、アイコン
の表示位置はこのような位置に限定されるものではな
く、ストロークの外接矩形の右上でも、一番最初に入力
された座標位置でも、また、ストロークや下の画像、テ
キストにかぶらないように配慮した位置にしても良い。
また、ストロークデータが入力されず、音声データのみ
の場合は、アイコンはデフォルトで定めた位置に表示す
る。
音声データ及びストロークデータ（筆跡データ）につい
て、音声データのファイル化を行い（Ｓ５０）、音声ク
ラスタを作成し（Ｓ５２）、ストローククラスタグルー
プを作成し（Ｓ５４），グループクラスタを作成し（Ｓ
５６）、編集モードに戻る（Ｓ６８）。Ｓ４２で肯定の
判断がなされる前の、ストロークデータ及び音声データ
を入力している途中の表示画面は図１１のようであり、
Ｓ４２で肯定の判断がなされた後の表示画面は図１２の
ようである。図１１において、マウスカーソル或はペン
により指示されている位置を示すカーソルは、録音開始
ボタン９２０がクリックされてから録音終了ボタン９２
１がクリックされるまでの間は４２０のような形状であ
って、ペンメニューにおける録音開始ボタン９２０に替
って録音終了ボタン９２１が表示されている。また、音
声データの録音中は、ボリュームウインドウ８１９の針
が振れている状態の表示にする。図１２において、スト
ロークデータと音声データの両方が入力されたので、両
方のデータが記録されていることを示すアイコン４０８
を表示している。アイコン４０８の表示位置は、ストロ
ークデータの外接矩形の左上とする。しかし、アイコン
の表示位置はこのような位置に限定されるものではな
く、ストロークの外接矩形の右上でも、一番最初に入力
された座標位置でも、また、ストロークや下の画像、テ
キストにかぶらないように配慮した位置にしても良い。
また、ストロークデータが入力されず、音声データのみ
の場合は、アイコンはデフォルトで定めた位置に表示す
る。
【００６２】Ｓ４４で記録種類が音声データのみである
と判断された場合は、Ｓ５８〜Ｓ６４の処理を行い、編
集モードに戻る（Ｓ６８）。Ｓ５８〜Ｓ６４の処理は、
Ｓ４６〜Ｓ５２の処理と同様である。
と判断された場合は、Ｓ５８〜Ｓ６４の処理を行い、編
集モードに戻る（Ｓ６８）。Ｓ５８〜Ｓ６４の処理は、
Ｓ４６〜Ｓ５２の処理と同様である。
【００６３】Ｓ４４で記録種類がストロークデータのみ
であると判断された場合は、Ｓ５４と同様のＳ６６の処
理を行い、編集モードに戻る（Ｓ６８）。
であると判断された場合は、Ｓ５４と同様のＳ６６の処
理を行い、編集モードに戻る（Ｓ６８）。
【００６４】Ｓ４４で何のデータも記録されていないと
判断された場合も、編集モードに戻る（Ｓ６８）。
判断された場合も、編集モードに戻る（Ｓ６８）。
【００６５】Ｓ５０〜Ｓ６６の処理により作成されるデ
ータ及びＳ１８のドローモードで入力されるデータの構
造を図１３に示す。これらのデータは、MEM１４に格納
されるものである。
ータ及びＳ１８のドローモードで入力されるデータの構
造を図１３に示す。これらのデータは、MEM１４に格納
されるものである。
【００６６】クラスタデータは、ストロークデータや音
声データをグループ化して１つのオブジェクトとして扱
う場合のMEM１４に記憶するデータ構造である。例えば
ドローモードで記入された複数のストロークのグループ
化は、ストロークが記入される間隔（ペンアップからペ
ンダウンまでの時間間隔或はストロークの位置的間隔）
が予め定められ、パラメータとしてMEM１４に保持され
ている規定値よりも近い場合に、それらのストロークを
自動的にグループ化する場合、或はグループボタン８１
４をクリックすることにより、その時点でオペレータに
より選択されていた複数のデータを後天的にグループ化
する場合等がある。
声データをグループ化して１つのオブジェクトとして扱
う場合のMEM１４に記憶するデータ構造である。例えば
ドローモードで記入された複数のストロークのグループ
化は、ストロークが記入される間隔（ペンアップからペ
ンダウンまでの時間間隔或はストロークの位置的間隔）
が予め定められ、パラメータとしてMEM１４に保持され
ている規定値よりも近い場合に、それらのストロークを
自動的にグループ化する場合、或はグループボタン８１
４をクリックすることにより、その時点でオペレータに
より選択されていた複数のデータを後天的にグループ化
する場合等がある。
【００６７】通常ストロークデータは、ドローモードに
おいて記入された一つのストロークを単独のデータとし
てMEM１４に記憶する場合のデータ構造である。
おいて記入された一つのストロークを単独のデータとし
てMEM１４に記憶する場合のデータ構造である。
【００６８】再生ストロークデータは、録音ペンモード
において入力されるストロークであり、先に動的ストロ
ークと表現したストロークのデータであって、ストロー
クの座標のみならず、各座標が入力された時間情報をも
合わせてMEM１４に記憶する場合のデータ構造である。
ただし、一つのオブジェクトに含まれる全ての動的スト
ロークのデータを保持するのではなく、その中の一つの
ストロークに関するデータのみ保持する。
において入力されるストロークであり、先に動的ストロ
ークと表現したストロークのデータであって、ストロー
クの座標のみならず、各座標が入力された時間情報をも
合わせてMEM１４に記憶する場合のデータ構造である。
ただし、一つのオブジェクトに含まれる全ての動的スト
ロークのデータを保持するのではなく、その中の一つの
ストロークに関するデータのみ保持する。
【００６９】音声データは、録音ペンモードにおいて入
力される音声をMEM１４に記憶する場合のデータ構造で
ある。
力される音声をMEM１４に記憶する場合のデータ構造で
ある。
【００７０】クラスタデータ、通常ストロークデータ、
再生ストロークデータ、音声データは、全て、Ｌｎ（デ
ータ全体のサイズ）、Ｏｘ（データの外接矩形の左上の
ｘ座標）、Ｏｙ（データの外接矩形の左上のｙ座標）、
Ｃｘ（データの外接矩形の横幅）、Ｃｙ（データの外接
矩形の縦幅）、Ｓｔ（データの入力開始時刻）、Ｅｔ
（データの入力終了時刻）、Ｄｋ（ボディ部に格納され
るデータの種別）からなるヘッダと呼ぶ部分と、データ
そのものからなるボディと呼ぶ部分からなる。ボディ部
分には、通常ストロークにはストロークの太さや色の属
性データと、ｎ個の座標点列Ｐｉ（ｉ＝１〜ｎ）が、再
生ストロークデータにはストロークの太さや色の属性デ
ータと、ｎ個の座標点列Ｐｉ（ｉ＝１〜ｎ）の他に、各
座標点が入力された時の時間を示すｎ個の時間情報Ｐｉ
ｔ（ｉ＝１〜ｎ）が、音声データには音声データを格納
しているファイル名であるｓｚＶｏｉｃｅＦｉｌｅＮａ
ｍｅが格納される。
再生ストロークデータ、音声データは、全て、Ｌｎ（デ
ータ全体のサイズ）、Ｏｘ（データの外接矩形の左上の
ｘ座標）、Ｏｙ（データの外接矩形の左上のｙ座標）、
Ｃｘ（データの外接矩形の横幅）、Ｃｙ（データの外接
矩形の縦幅）、Ｓｔ（データの入力開始時刻）、Ｅｔ
（データの入力終了時刻）、Ｄｋ（ボディ部に格納され
るデータの種別）からなるヘッダと呼ぶ部分と、データ
そのものからなるボディと呼ぶ部分からなる。ボディ部
分には、通常ストロークにはストロークの太さや色の属
性データと、ｎ個の座標点列Ｐｉ（ｉ＝１〜ｎ）が、再
生ストロークデータにはストロークの太さや色の属性デ
ータと、ｎ個の座標点列Ｐｉ（ｉ＝１〜ｎ）の他に、各
座標点が入力された時の時間を示すｎ個の時間情報Ｐｉ
ｔ（ｉ＝１〜ｎ）が、音声データには音声データを格納
しているファイル名であるｓｚＶｏｉｃｅＦｉｌｅＮａ
ｍｅが格納される。
【００７１】階層構造に構成されているクラスタデータ
の一例をクラスタ階層構造として示す。Ｃ０Ｈはルート
クラスタのヘッダ部、Ｃ０Ｂはルートクラスタのボディ
部であって、このＣ０ＢはクラスタＣ１，クラスタＣ４
を含んでいる。Ｃ１ＨはクラスタＣ１のヘッダ部、Ｃ１
ＢはクラスタＣ１のボディ部、Ｃ４ＨはクラスタＣ４の
ヘッダ部、Ｃ４ＢはクラスタＣ４のボディ部であって、
クラスタＣ１はクラスタＣ２とクラスタＣ３を含んでい
る。Ｃ２ＨはクラスタＣ２のヘッダ部、Ｃ２Ｂはクラス
タＣ２のボディ部、Ｃ３ＨはクラスタＣ３のヘッダ部、
Ｃ３ＢはクラスタＣ３のボディ部を表わす。
の一例をクラスタ階層構造として示す。Ｃ０Ｈはルート
クラスタのヘッダ部、Ｃ０Ｂはルートクラスタのボディ
部であって、このＣ０ＢはクラスタＣ１，クラスタＣ４
を含んでいる。Ｃ１ＨはクラスタＣ１のヘッダ部、Ｃ１
ＢはクラスタＣ１のボディ部、Ｃ４ＨはクラスタＣ４の
ヘッダ部、Ｃ４ＢはクラスタＣ４のボディ部であって、
クラスタＣ１はクラスタＣ２とクラスタＣ３を含んでい
る。Ｃ２ＨはクラスタＣ２のヘッダ部、Ｃ２Ｂはクラス
タＣ２のボディ部、Ｃ３ＨはクラスタＣ３のヘッダ部、
Ｃ３ＢはクラスタＣ３のボディ部を表わす。
【００７２】各クラスタのデータが再生ストロークデー
タであるのか音声データであるのかによって、ヘッダ部
及びボディ部に各々のデータが格納される。
タであるのか音声データであるのかによって、ヘッダ部
及びボディ部に各々のデータが格納される。
【００７３】尚、上記各データの座標値は、データが入
力された文書の左上を基準とした座標軸に沿ったもので
あり、この基準座標軸は、テキストデータと一致する。
力された文書の左上を基準とした座標軸に沿ったもので
あり、この基準座標軸は、テキストデータと一致する。
【００７４】このように、図５及び図６のフローチャー
トで説明した処理により作成された文書は、テキスト情
報と共に図１３に示されたような構造のデータが一文書
として文書名で識別可能なようにしてMEM１４に記憶さ
れ、その後の処理に利用できるようになる。例えば、画
像出力手段３４による文書の印刷、モデム３８を介して
他のファクシミリやコンピュータへの送信、ＦＤ１８等
の着脱可能な記憶媒体への記憶等を行ない、必要に応じ
て呼び出して再生させる事ができる。
トで説明した処理により作成された文書は、テキスト情
報と共に図１３に示されたような構造のデータが一文書
として文書名で識別可能なようにしてMEM１４に記憶さ
れ、その後の処理に利用できるようになる。例えば、画
像出力手段３４による文書の印刷、モデム３８を介して
他のファクシミリやコンピュータへの送信、ＦＤ１８等
の着脱可能な記憶媒体への記憶等を行ない、必要に応じ
て呼び出して再生させる事ができる。
【００７５】次に、以上のような記憶、送信の後に再生
する場合、或は文書作成途中で再生する場合の処理につ
いて図１４〜１６のフローチャートに基き説明する。
する場合、或は文書作成途中で再生する場合の処理につ
いて図１４〜１６のフローチャートに基き説明する。
【００７６】動的ストローク及び音声の再生は、（１）
再生開始ボタン８１８をクリックする。（２）再生した
いオブジェクトのアイコンをダブルクリックする。の２
通りがある。更に、（１）の再生方法では、再生開始ボ
タン８１８がクリックされた時点のオブジェクトの選択
状態に従って再生の対象を以下の２ケースに切り替え
る。（１−１）選択操作が行なわれていない状態で再生
開始ボタン８１８がクリックされた場合は、その文書に
含まれているオブジェクトが再生対象となり、オブジェ
クトの入力順に再生される場合と、（１−２）オブジェ
クトの一部をクリックして選択状態にし、複数のオブジ
ェクトが選択状態になっている場合にはその選択操作が
なされた順にオブジェクトを再生する場合とがある。
再生開始ボタン８１８をクリックする。（２）再生した
いオブジェクトのアイコンをダブルクリックする。の２
通りがある。更に、（１）の再生方法では、再生開始ボ
タン８１８がクリックされた時点のオブジェクトの選択
状態に従って再生の対象を以下の２ケースに切り替え
る。（１−１）選択操作が行なわれていない状態で再生
開始ボタン８１８がクリックされた場合は、その文書に
含まれているオブジェクトが再生対象となり、オブジェ
クトの入力順に再生される場合と、（１−２）オブジェ
クトの一部をクリックして選択状態にし、複数のオブジ
ェクトが選択状態になっている場合にはその選択操作が
なされた順にオブジェクトを再生する場合とがある。
【００７７】ここでは、（１−１）の選択操作が行われ
ていない状態でオブジェクトの再生が指示された時の処
理の例で図１４のフローチャートを説明する。
ていない状態でオブジェクトの再生が指示された時の処
理の例で図１４のフローチャートを説明する。
【００７８】まず、再生オブジェクトとして文書に含ま
れているオブジェクトの数をMEM１４のデータから計数
し、ｎｕｍＯｂｊとしてMEM１４に格納する（Ｓ７
０）。MEM１４内のカウンタｉを１に初期化し（Ｓ７
２）、ｉがｎｕｍＯｂｊより大きい値になっているか否
か判定し（Ｓ７３）、否判定の場合はＳ７４に進む。S
７３の判定は、ｉがｎｕｍＯｂｊより大きい値になった
との判定、即ちＳ７０で対象として求めた全てのオブジ
ェクトについて以下のＳ７４〜Ｓ９６の処理が行われた
と判定されるまで繰り返される。
れているオブジェクトの数をMEM１４のデータから計数
し、ｎｕｍＯｂｊとしてMEM１４に格納する（Ｓ７
０）。MEM１４内のカウンタｉを１に初期化し（Ｓ７
２）、ｉがｎｕｍＯｂｊより大きい値になっているか否
か判定し（Ｓ７３）、否判定の場合はＳ７４に進む。S
７３の判定は、ｉがｎｕｍＯｂｊより大きい値になった
との判定、即ちＳ７０で対象として求めた全てのオブジ
ェクトについて以下のＳ７４〜Ｓ９６の処理が行われた
と判定されるまで繰り返される。
【００７９】ここでは、オブジェクトの入力された順に
Ｓ７４〜Ｓ９６の処理を繰り返すので、オブジェクトの
入力された順に再生オブジェクトを検索をする（Ｓ７
４）。この、オブジェクトの入力された順は、MEM１４
に格納されているクラスタデータのヘッダ部のＳｔ（入
力開始時刻）を検索して、早い時刻のものから順に検索
することにより可能である。
Ｓ７４〜Ｓ９６の処理を繰り返すので、オブジェクトの
入力された順に再生オブジェクトを検索をする（Ｓ７
４）。この、オブジェクトの入力された順は、MEM１４
に格納されているクラスタデータのヘッダ部のＳｔ（入
力開始時刻）を検索して、早い時刻のものから順に検索
することにより可能である。
【００８０】ｉ番目の再生オブジェクトのデータをMEM
１４内の作業エリアにコピーし（Ｓ７６）、ｉ番目の再
生オブジェクトのアイコンを表示画面上から消去する
（Ｓ７８）。ｉ番目のオブジェクトに再生ストロークが
有るか否か判定し（Ｓ８０）、再生ストロークがある場
合はそのストロークを表示画面から消去する（Ｓ８
２）。再生ストロークを消去した画素には、ストローク
の下に位置する画像データ（例えば他のストローク、テ
キスト、画像等）を描画する。
１４内の作業エリアにコピーし（Ｓ７６）、ｉ番目の再
生オブジェクトのアイコンを表示画面上から消去する
（Ｓ７８）。ｉ番目のオブジェクトに再生ストロークが
有るか否か判定し（Ｓ８０）、再生ストロークがある場
合はそのストロークを表示画面から消去する（Ｓ８
２）。再生ストロークを消去した画素には、ストローク
の下に位置する画像データ（例えば他のストローク、テ
キスト、画像等）を描画する。
【００８１】図４に例示した文書を表示して再生開始ボ
タン８１８をクリックし、最初に記入したオブジェクト
（ストローク４０５と４０６及び音声データ）が再生対
象となっている状態でＳ８２までの処理が進んだ時の表
示画面を図１７に示す。１番目のオブジェクトのアイコ
ン４０８とストローク４０５、４０６が画面から消去さ
れている。
タン８１８をクリックし、最初に記入したオブジェクト
（ストローク４０５と４０６及び音声データ）が再生対
象となっている状態でＳ８２までの処理が進んだ時の表
示画面を図１７に示す。１番目のオブジェクトのアイコ
ン４０８とストローク４０５、４０６が画面から消去さ
れている。
【００８２】次に、ｉ番目のオブジェクトのデータの再
生ルーチン（Ｓ８６）を行う。この再生ルーチンの処理
については、図１５のフローチャートにより後述する。
Ｓ８０でｉ番目のオブジェクトには再生ストロークがな
いと判断された場合には、Ｓ８２のストローク消去処理
は不要であり、Ｓ８６で音声のみの再生を行う。
生ルーチン（Ｓ８６）を行う。この再生ルーチンの処理
については、図１５のフローチャートにより後述する。
Ｓ８０でｉ番目のオブジェクトには再生ストロークがな
いと判断された場合には、Ｓ８２のストローク消去処理
は不要であり、Ｓ８６で音声のみの再生を行う。
【００８３】再生ストロークがあった場合（Ｓ９０）
は、表示画面に再生ストロークを描画する（Ｓ９２）。
このストロークの描画は、Ｓ８６の再生処理が、テンポ
ラリーな画像の再生で有る為、再度ストロークの画像を
描画するものである。
は、表示画面に再生ストロークを描画する（Ｓ９２）。
このストロークの描画は、Ｓ８６の再生処理が、テンポ
ラリーな画像の再生で有る為、再度ストロークの画像を
描画するものである。
【００８４】ｉ番目の再生オブジェクトのアイコンを描
画し（Ｓ９４）、ｉを一つインクリメントし（Ｓ９
６）、Ｓ７３に戻り、Ｓ７０で設定された全てのオブジ
ェクトの再生が繰り返される。
画し（Ｓ９４）、ｉを一つインクリメントし（Ｓ９
６）、Ｓ７３に戻り、Ｓ７０で設定された全てのオブジ
ェクトの再生が繰り返される。
【００８５】尚、先にオブジェクトの再生が行なわれる
場合として説明した上記（１−２）の場合は、Ｓ７０で
再生オブジェクトとして選択状態になっているオブジェ
クトの数をｎｕｍＯｂｊに設定し、Ｓ７４では選択操作
された順にオブジェクトを検索する。また、上記（２）
の場合は、Ｓ７０で再生オブジェクトの数として１をｎ
ｕｍＯｂｊに設定する。
場合として説明した上記（１−２）の場合は、Ｓ７０で
再生オブジェクトとして選択状態になっているオブジェ
クトの数をｎｕｍＯｂｊに設定し、Ｓ７４では選択操作
された順にオブジェクトを検索する。また、上記（２）
の場合は、Ｓ７０で再生オブジェクトの数として１をｎ
ｕｍＯｂｊに設定する。
【００８６】Ｓ８６の再生ルーチンを図１５のフローチ
ャートを用いて説明する。再生オブジェクトの種類が判
断され（Ｓ１００）、音声データとストロークデータの
両方であるのか、音声データのみであるのか、ストロー
クデータのみであるのかに従って処理が分岐する。こ
の、オブジェクトの種類は、Ｓ７６で作業エリアにコピ
ーされた対象データを解析し、このデータに含まれるヘ
ッダ部のＤｋ（種別）データを判別することにより可能
である。
ャートを用いて説明する。再生オブジェクトの種類が判
断され（Ｓ１００）、音声データとストロークデータの
両方であるのか、音声データのみであるのか、ストロー
クデータのみであるのかに従って処理が分岐する。こ
の、オブジェクトの種類は、Ｓ７６で作業エリアにコピ
ーされた対象データを解析し、このデータに含まれるヘ
ッダ部のＤｋ（種別）データを判別することにより可能
である。
【００８７】再生オブジェクトのデータが音声データと
ストロークデータの両方である場合には、音声開始時刻
（対象データの音声データヘッダ部のＳｔ）とストロー
ク開始時刻（対象データに含まれる再生ストロークデー
タのヘッダ部Ｓｔが最も早いもの）との差を求め、ｄｉ
ｆｆＴｉｍｅとしてMEM１４に記憶する（Ｓ１０２）。
ストロークデータの両方である場合には、音声開始時刻
（対象データの音声データヘッダ部のＳｔ）とストロー
ク開始時刻（対象データに含まれる再生ストロークデー
タのヘッダ部Ｓｔが最も早いもの）との差を求め、ｄｉ
ｆｆＴｉｍｅとしてMEM１４に記憶する（Ｓ１０２）。
【００８８】音声データが圧縮されていると判断される
場合には（Ｓ１０４）、圧縮を解凍し（Ｓ１０６）、中
断イベント検知ループを生成し（Ｓ１０８）、音声の再
生を開始する（Ｓ１１０）。
場合には（Ｓ１０４）、圧縮を解凍し（Ｓ１０６）、中
断イベント検知ループを生成し（Ｓ１０８）、音声の再
生を開始する（Ｓ１１０）。
【００８９】中断イベントは、例えば、再生終了ボタン
のクリックや、入力モードの切り替え等である。
のクリックや、入力モードの切り替え等である。
【００９０】ストロークの再現ルーチン（Ｓ１１２）
は、図１６のフローチャートにおいて後述する。
は、図１６のフローチャートにおいて後述する。
【００９１】音声の再生が終了したと判断されたら（Ｓ
１１４）、「ジャン♪」等の所定の音を出力する等し
て、再生処理の終了をオペレータに告知する（Ｓ１３
２）。ここで、音声の再生処理の終了の判断は、音声フ
ァイルに格納されているデータの末尾まで再生がなされ
たことの判断に基づく。
１１４）、「ジャン♪」等の所定の音を出力する等し
て、再生処理の終了をオペレータに告知する（Ｓ１３
２）。ここで、音声の再生処理の終了の判断は、音声フ
ァイルに格納されているデータの末尾まで再生がなされ
たことの判断に基づく。
【００９２】Ｓ１００で再生オブジェクトの種類が音声
データのみであると判定された場合は、Ｓ１１６に進
み、音声データが圧縮されていると判断される場合には
（Ｓ１１６）、圧縮を解凍し（Ｓ１１８）、中断イベン
ト検知ループを生成し（Ｓ１２０）、音声の再生を開始
する（Ｓ１２２）。音声の再生が終了したと判断された
ら（Ｓ１２４）、再生処理の終了をオペレータに告知す
る（Ｓ１３２）。
データのみであると判定された場合は、Ｓ１１６に進
み、音声データが圧縮されていると判断される場合には
（Ｓ１１６）、圧縮を解凍し（Ｓ１１８）、中断イベン
ト検知ループを生成し（Ｓ１２０）、音声の再生を開始
する（Ｓ１２２）。音声の再生が終了したと判断された
ら（Ｓ１２４）、再生処理の終了をオペレータに告知す
る（Ｓ１３２）。
【００９３】Ｓ１００で再生オブジェクトの種類がスト
ロークデータのみであると判断された場合は、Ｓ１２６
に進み、ｄｉｆｆＴｉｍｅとして０をＭＥＭ１４に記憶
し，中断イベント検知ループを生成し（Ｓ１２８）、ス
トロークを再現する（Ｓ１３０）。ストロークの再現ル
ーチンは、Ｓ１１２と同じく、図１６のフローチャート
により説明する。ストロークの再現が終了したら、再生
処理の終了をオペレータに告知する（Ｓ１３２）。
ロークデータのみであると判断された場合は、Ｓ１２６
に進み、ｄｉｆｆＴｉｍｅとして０をＭＥＭ１４に記憶
し，中断イベント検知ループを生成し（Ｓ１２８）、ス
トロークを再現する（Ｓ１３０）。ストロークの再現ル
ーチンは、Ｓ１１２と同じく、図１６のフローチャート
により説明する。ストロークの再現が終了したら、再生
処理の終了をオペレータに告知する（Ｓ１３２）。
【００９４】ストロークの再現処理は、図１６のフロー
チャートのように行なう。
チャートのように行なう。
【００９５】まず、ｉ番目の再生オブジェクトのストロ
ーク数を、Ｓ７６でコピーされたデータのボディ部のデ
ータを解析してストロークデータの個数を計数し、この
値をｎｕｍＳｔｒｋとしてＭＥＭ１４に記憶する（Ｓ１
４０）。
ーク数を、Ｓ７６でコピーされたデータのボディ部のデ
ータを解析してストロークデータの個数を計数し、この
値をｎｕｍＳｔｒｋとしてＭＥＭ１４に記憶する（Ｓ１
４０）。
【００９６】ｎｕｍＳｔｒｋが０より大きいか判定し
（Ｓ１４２）、肯定判定の場合はＳ１４４に進む。Ｓ１
４２の判定は、ｎｕｍＳｔｒｋが０より大きいと判定さ
れるまで、即ちＳ１４０で計数された全てのストローク
に対して以下のＳ１４４〜Ｓ１６６のストロークを再現
する処理が行なわれたと判断されるまで繰り返される。
（Ｓ１４２）、肯定判定の場合はＳ１４４に進む。Ｓ１
４２の判定は、ｎｕｍＳｔｒｋが０より大きいと判定さ
れるまで、即ちＳ１４０で計数された全てのストローク
に対して以下のＳ１４４〜Ｓ１６６のストロークを再現
する処理が行なわれたと判断されるまで繰り返される。
【００９７】Ｓ１４４で、ｄｉｆｆＴｉｍｅに設定され
ている時間スリープ状態となる。ここで、現在処理対象
となっているストロークが１番目のストロークである場
合、Ｓ１１２ではｄｉｆｆＴｉｍｅはＳ１０２で記憶さ
れた音声開始時刻とストローク開始時刻の差であり、Ｓ
１３０ではｄｉｆｆＴｉｍｅはＳ１２６で設定された０
である。
ている時間スリープ状態となる。ここで、現在処理対象
となっているストロークが１番目のストロークである場
合、Ｓ１１２ではｄｉｆｆＴｉｍｅはＳ１０２で記憶さ
れた音声開始時刻とストローク開始時刻の差であり、Ｓ
１３０ではｄｉｆｆＴｉｍｅはＳ１２６で設定された０
である。
【００９８】また、Ｓ１４４〜Ｓ１６６の処理を行う対
象のストロークは、Ｓ１４０で計数されたストロークデ
ータであるが、各々のストロークデータのヘッダ部のＳ
ｔ（入力開始時刻）を比較して、最も早いストロークか
ら順にＳ１４４〜Ｓ１６６の処理の対象として選択する
ものとする。以下、処理対象となっているストロークデ
ータを、現ストロークデータと称する。
象のストロークは、Ｓ１４０で計数されたストロークデ
ータであるが、各々のストロークデータのヘッダ部のＳ
ｔ（入力開始時刻）を比較して、最も早いストロークか
ら順にＳ１４４〜Ｓ１６６の処理の対象として選択する
ものとする。以下、処理対象となっているストロークデ
ータを、現ストロークデータと称する。
【００９９】現ストロークデータの属性を読み込み（Ｓ
１４６），次のストロークデータの描画時刻ｎｅｘｔＤ
ｒａｗＴｉｍｅを求め、ＭＥＭ１４に記憶する（Ｓ１４
８）。このｎｅｘｔＤｒａｗＴｉｍｅは、現ストローク
データのＳｔと次ストロークデータのＳｔとの差を、現
在時刻（装置内の時計機能における現在時刻）に加算し
たものとする。
１４６），次のストロークデータの描画時刻ｎｅｘｔＤ
ｒａｗＴｉｍｅを求め、ＭＥＭ１４に記憶する（Ｓ１４
８）。このｎｅｘｔＤｒａｗＴｉｍｅは、現ストローク
データのＳｔと次ストロークデータのＳｔとの差を、現
在時刻（装置内の時計機能における現在時刻）に加算し
たものとする。
【０１００】現ストロークデータのポイント数をＭＥＭ
１４から読み出し、ｎｕｍＰｔｓとしてＭＥＭ１４に記
憶する（Ｓ１５０）。このポイント数は、ストロークデ
ータのボディ部のｎの値とする。
１４から読み出し、ｎｕｍＰｔｓとしてＭＥＭ１４に記
憶する（Ｓ１５０）。このポイント数は、ストロークデ
ータのボディ部のｎの値とする。
【０１０１】始点座標（Ｐ１）をＭＥＭ１４から読み出
し、ｐｒｅＰｔｓとしてＭＥＭ１４に記憶する（Ｓ１５
２）。ＭＥＭ１４内のカウンタｉを１に初期化し（Ｓ１
５４）、ｄｉｆｆＰｔＴｉｍｅを０に初期化する（Ｓ１
５６）する。
し、ｐｒｅＰｔｓとしてＭＥＭ１４に記憶する（Ｓ１５
２）。ＭＥＭ１４内のカウンタｉを１に初期化し（Ｓ１
５４）、ｄｉｆｆＰｔＴｉｍｅを０に初期化する（Ｓ１
５６）する。
【０１０２】ｉがｎｕｍＰｔｓより小さいか否か判定し
（Ｓ１５８）、肯定判定の場合はＳ１６０に進む。Ｓ１
５８の判定は、ｉがｎｕｍＰｔｓより小さくないと判定
されるまで、即ち、現ストロークの全ての座標点につい
てＳ１６０〜Ｓ１６６の再現処理が完了したと判断され
るまで繰り返される。
（Ｓ１５８）、肯定判定の場合はＳ１６０に進む。Ｓ１
５８の判定は、ｉがｎｕｍＰｔｓより小さくないと判定
されるまで、即ち、現ストロークの全ての座標点につい
てＳ１６０〜Ｓ１６６の再現処理が完了したと判断され
るまで繰り返される。
【０１０３】ｄｉｆｆＰｔＴｉｍｅとして設定されてい
る時間スリープ状態とし（Ｓ１６０）、ｐｒｅＰｔｓと
して記憶されている座標からｉ番目の座標を直線で結ん
で描画し（Ｓ１６２）、ｉ番目の座標時刻（Ｐｉｔ）と
ｉ＋１番目の座標時刻（Ｐ（ｉ＋１）ｔ）との差をｄｉ
ｆｆＰｔＴｉｍｅの値として、ＭＥＭ１４のデータを更
新し（Ｓ１６４）、ｉを一つインクリメントして（Ｓ１
６６）Ｓ１５８に戻る。
る時間スリープ状態とし（Ｓ１６０）、ｐｒｅＰｔｓと
して記憶されている座標からｉ番目の座標を直線で結ん
で描画し（Ｓ１６２）、ｉ番目の座標時刻（Ｐｉｔ）と
ｉ＋１番目の座標時刻（Ｐ（ｉ＋１）ｔ）との差をｄｉ
ｆｆＰｔＴｉｍｅの値として、ＭＥＭ１４のデータを更
新し（Ｓ１６４）、ｉを一つインクリメントして（Ｓ１
６６）Ｓ１５８に戻る。
【０１０４】Ｓ１５８で否定判定がなされたら、Ｓ１６
８に進んでｎｕｍＳｔｒｋを一つデクリメントし、Ｓ１
７０でｎｅｘｔＤｒａｗＴｉｍｅと現在時刻を比較す
る。Ｓ１７０でｎｅｘｔＤｒａｗＴｉｍｅが現在時刻
（ｃｕｒＴｉｍｅ）より大きいと判断された場合は、Ｍ
ＥＭ１４内のｄｉｆｆＴｉｍｅの値をｎｅｘｔＤｒａｗ
Ｔｉｍｅ−ｃｕｒＴｉｍｅで求めた値（Ｓ１４８で求め
たｎｅｘｔＤｒａｗＴｉｍｅと現在時刻との差）に更新
し（Ｓ１７２）、Ｓ１７０でｎｅｘｔＤｒａｗＴｉｍｅ
が現在時刻より大きいのではないと判断された場合は、
ＭＥＭ１４内のｄｉｆｆＴＩｍｅを０に更新する（Ｓ１
７４）。
８に進んでｎｕｍＳｔｒｋを一つデクリメントし、Ｓ１
７０でｎｅｘｔＤｒａｗＴｉｍｅと現在時刻を比較す
る。Ｓ１７０でｎｅｘｔＤｒａｗＴｉｍｅが現在時刻
（ｃｕｒＴｉｍｅ）より大きいと判断された場合は、Ｍ
ＥＭ１４内のｄｉｆｆＴｉｍｅの値をｎｅｘｔＤｒａｗ
Ｔｉｍｅ−ｃｕｒＴｉｍｅで求めた値（Ｓ１４８で求め
たｎｅｘｔＤｒａｗＴｉｍｅと現在時刻との差）に更新
し（Ｓ１７２）、Ｓ１７０でｎｅｘｔＤｒａｗＴｉｍｅ
が現在時刻より大きいのではないと判断された場合は、
ＭＥＭ１４内のｄｉｆｆＴＩｍｅを０に更新する（Ｓ１
７４）。
【０１０５】Ｓ１６０〜Ｓ１６６の処理を繰り返すこと
により、一つのストロークが、記入された時と同じ速度
で同じ形状、同じ位置に再現され、Ｓ１４４〜Ｓ１７４
の処理を繰り返すことにより、一つのオブジェクトに含
まれる全てのストロークが、記入された時と同じスピー
ド、同じ時間間隔で再現されることになる。
により、一つのストロークが、記入された時と同じ速度
で同じ形状、同じ位置に再現され、Ｓ１４４〜Ｓ１７４
の処理を繰り返すことにより、一つのオブジェクトに含
まれる全てのストロークが、記入された時と同じスピー
ド、同じ時間間隔で再現されることになる。
【０１０６】また、Ｓ１６２におけるストロークの描画
の際に、Ｓ１４６で読み込んだ属性を描画することによ
りＳ８２のストロークの消去なしでもストロークの再生
をユーザに確認させることが可能となる。
の際に、Ｓ１４６で読み込んだ属性を描画することによ
りＳ８２のストロークの消去なしでもストロークの再生
をユーザに確認させることが可能となる。
【０１０７】次に、ドローモードにおいて記入された複
数のストロークが、先に述べたようにグループ化され、
一つのオブジェクトとして扱われ、ＭＥＭ１４にはクラ
スタデータとして記憶されているデータについて説明す
る。
数のストロークが、先に述べたようにグループ化され、
一つのオブジェクトとして扱われ、ＭＥＭ１４にはクラ
スタデータとして記憶されているデータについて説明す
る。
【０１０８】図１８に、二つのオブジェクトがドローモ
ードで記入された例を示す。この文書では、木を描いた
２本のストロークからなるオブジェクト１１００と、太
陽を描いた１３本のストロークからなるオブジェクト１
０２０がある。ここで、編集モードにおいて、カーソル
でストロークの近傍をクリックすると、そのストローク
を含むオブジェクト全体が選択され、選択されたオブジ
ェクトのヘッダ部のＯｘ、Ｏｙ、Ｃｘ、Ｃｙのデータに
基づいて選択されたオブジェクトの外接矩形を表示す
る。この外接矩形の表示によって、オブジェクトが選択
されたこと、及びそのオブジェクトに含まれているスト
ロークがどれであるのかをオペレータに報知することに
なる。図１８は、カーソル４３０をオブジェクト１０２
０の１ストロークの近傍に位置させてクリックしたこと
により、そのストロークを含むオブジェクト１０２０が
選択され、オブジェクトの外接矩形１０２１が表示され
ている状態である。
ードで記入された例を示す。この文書では、木を描いた
２本のストロークからなるオブジェクト１１００と、太
陽を描いた１３本のストロークからなるオブジェクト１
０２０がある。ここで、編集モードにおいて、カーソル
でストロークの近傍をクリックすると、そのストローク
を含むオブジェクト全体が選択され、選択されたオブジ
ェクトのヘッダ部のＯｘ、Ｏｙ、Ｃｘ、Ｃｙのデータに
基づいて選択されたオブジェクトの外接矩形を表示す
る。この外接矩形の表示によって、オブジェクトが選択
されたこと、及びそのオブジェクトに含まれているスト
ロークがどれであるのかをオペレータに報知することに
なる。図１８は、カーソル４３０をオブジェクト１０２
０の１ストロークの近傍に位置させてクリックしたこと
により、そのストロークを含むオブジェクト１０２０が
選択され、オブジェクトの外接矩形１０２１が表示され
ている状態である。
【０１０９】Ｓ２０において行なわれる編集処理、移
動、カット、コピー、ペースト、クリア、スムーズ、清
書、回転、リサイズ等の処理は、この選択されたオブジ
ェクト全体に対して行なわれる。
動、カット、コピー、ペースト、クリア、スムーズ、清
書、回転、リサイズ等の処理は、この選択されたオブジ
ェクト全体に対して行なわれる。
【０１１０】ここで、選択されたオブジェクトを移動す
る処理について、図１９のフローチャートに従って、木
のオブジェクト１１００を太陽のオブジェクト１０２０
に近づける為の移動処理を行う例で説明する。
る処理について、図１９のフローチャートに従って、木
のオブジェクト１１００を太陽のオブジェクト１０２０
に近づける為の移動処理を行う例で説明する。
【０１１１】図２０に、カーソル４３０でオブジェクト
１１００が選択され、外接矩形１１０１が表示されてい
る時の表示画面を示す。この状態でカーソル４３０をド
ラッグさせることにより、そのカーソルのｘ軸方向及び
ｙ軸方向の移動量をｘＯｆｆｓｅｔ、ｙＯｆｆｓｅｔと
してMEM１４に記憶する（Ｓ２３０）。移動対象のクラ
スタ（図２０ではオブジェクト１１００のクラスタ）を
ｃｕｒＣｌｓｔｒとしてMEM１４に記憶する（Ｓ２３
２）。ｃｕｒＣｌｓｔｒのデータがグループ化されてい
るデータであるか否か判断し（Ｓ２３４）、グループ化
されていると判断される場合は、ｃｕｒＣｌｓｔｒ内の
全てのクラスタの矩形情報ｘＯｒｉｇｉｎ、ｙＯｒｉｇ
ｉｎにそれぞれｘＯｆｆｓｅｔ、ｙＯｆｆｓｅｔを加え
る（Ｓ２６）。即ち、オブジェクト１１００のように複
数のストロークが一つのオブジェクトとしてグループ化
されている場合は、全ストロークの矩形情報ｘＯｒｉｇ
ｉｎ、ｙＯｒｉｇｉｎにそれぞれｘＯｆｆｓｅｔ、ｙＯ
ｆｆｓｅｔを加える。
１１００が選択され、外接矩形１１０１が表示されてい
る時の表示画面を示す。この状態でカーソル４３０をド
ラッグさせることにより、そのカーソルのｘ軸方向及び
ｙ軸方向の移動量をｘＯｆｆｓｅｔ、ｙＯｆｆｓｅｔと
してMEM１４に記憶する（Ｓ２３０）。移動対象のクラ
スタ（図２０ではオブジェクト１１００のクラスタ）を
ｃｕｒＣｌｓｔｒとしてMEM１４に記憶する（Ｓ２３
２）。ｃｕｒＣｌｓｔｒのデータがグループ化されてい
るデータであるか否か判断し（Ｓ２３４）、グループ化
されていると判断される場合は、ｃｕｒＣｌｓｔｒ内の
全てのクラスタの矩形情報ｘＯｒｉｇｉｎ、ｙＯｒｉｇ
ｉｎにそれぞれｘＯｆｆｓｅｔ、ｙＯｆｆｓｅｔを加え
る（Ｓ２６）。即ち、オブジェクト１１００のように複
数のストロークが一つのオブジェクトとしてグループ化
されている場合は、全ストロークの矩形情報ｘＯｒｉｇ
ｉｎ、ｙＯｒｉｇｉｎにそれぞれｘＯｆｆｓｅｔ、ｙＯ
ｆｆｓｅｔを加える。
【０１１２】また、Ｓ２３４でｃｕｒＣｌｓｔｒのデー
タがグループ化されているデータではないと判断された
場合は、ｃｕｒＣｌｓｔｒの矩形情報ｘＯｒｉｇｉｎ、
ｙＯｒｉｇｉｎそれぞれにｘＯｆｆｓｅｔ、ｙＯｆｆｓ
ｅｔを加える（Ｓ２３８）。ｘＯｆｆｓｅｔ、ｙＯｆｆ
ｓｅｔを加えるＳ２３６或はＳ２３８の処理が終了した
ら、ルートクラスタの情報を更新する（Ｓ２４０）。マ
ウス２０のボタンの継続押下が開放され、ドラッグが終
了した時点で移動指示が終了したと判定し、Ｓ２３６〜
Ｓ２４０で更新されたデータを、移動後のデータとして
MEM１４内に記憶されているデータを変更することによ
り、ストロークが移動して表示される。
タがグループ化されているデータではないと判断された
場合は、ｃｕｒＣｌｓｔｒの矩形情報ｘＯｒｉｇｉｎ、
ｙＯｒｉｇｉｎそれぞれにｘＯｆｆｓｅｔ、ｙＯｆｆｓ
ｅｔを加える（Ｓ２３８）。ｘＯｆｆｓｅｔ、ｙＯｆｆ
ｓｅｔを加えるＳ２３６或はＳ２３８の処理が終了した
ら、ルートクラスタの情報を更新する（Ｓ２４０）。マ
ウス２０のボタンの継続押下が開放され、ドラッグが終
了した時点で移動指示が終了したと判定し、Ｓ２３６〜
Ｓ２４０で更新されたデータを、移動後のデータとして
MEM１４内に記憶されているデータを変更することによ
り、ストロークが移動して表示される。
【０１１３】図２２は、移動の処理が終了して、オブジ
ェクト１１００がカーソルの指示した位置に表示を更新
している図である。移動途中では、図２１に示されるよ
うに、オブジェクト１１００は移動が指示される前の選
択時の位置に保持して表示され、カーソルに追随してス
トローク１１０３が移動して表示される。このストロー
ク１１０３は、移動中の仮表示であって、ｃｕｒＣｌｕ
ｓｔｒ内のデータに基づいて表示する。ただし、ストロ
ークの属性は反映させず、表示の変更が容易な、簡単な
線（例えば、線の色は黒で、線の太さは最細）とする。
ェクト１１００がカーソルの指示した位置に表示を更新
している図である。移動途中では、図２１に示されるよ
うに、オブジェクト１１００は移動が指示される前の選
択時の位置に保持して表示され、カーソルに追随してス
トローク１１０３が移動して表示される。このストロー
ク１１０３は、移動中の仮表示であって、ｃｕｒＣｌｕ
ｓｔｒ内のデータに基づいて表示する。ただし、ストロ
ークの属性は反映させず、表示の変更が容易な、簡単な
線（例えば、線の色は黒で、線の太さは最細）とする。
【０１１４】次に、Ｓ２２での消しゴム処理について、
図２３のフローチャートに従って説明する。
図２３のフローチャートに従って説明する。
【０１１５】消しゴムモードボタン８０３をクリックす
ることにより、消しゴムモードに切り替わり、マウスカ
ーソルが消しゴムの画像に切り替わる（図２４の画面例
示図における消しゴムカーソル１０００）。マウス２０
のボタン押下或は、デジタイザ２４がペンダウンの検知
に応じて、その位置に消しゴムカーソルを表示し、その
座標値をｐｔＥｒａｓｅとしてMEM１４内に記憶する
（Ｓ１８０）。文書内のオブジェクトの数をMEM１４に
記憶されているデータから計数し、ｎｕｍＯｂｊとして
MEM１４に記憶し（Ｓ１８２）、カウンタｉを１に初期
化する（Ｓ１９０）。ｉがｎｕｍＯｂｊ以下であるか否
か判定し（Ｓ１９２）、肯定判定の場合はＳ１９４に進
む。このＳ１９２のｉがｎｕｍＯｂｊ以下であるか否か
の判定は、ｉがｎｕｍＯｂｊ以下ではないと判定される
まで、即ちＳ１８２で計数されたオブジェクト全てに対
して消しゴムカーソルの位置がオブジェクトに内包され
ているか否かの判断（Ｓ１９４）が行なわれたと判定さ
れるまで繰り返される。
ることにより、消しゴムモードに切り替わり、マウスカ
ーソルが消しゴムの画像に切り替わる（図２４の画面例
示図における消しゴムカーソル１０００）。マウス２０
のボタン押下或は、デジタイザ２４がペンダウンの検知
に応じて、その位置に消しゴムカーソルを表示し、その
座標値をｐｔＥｒａｓｅとしてMEM１４内に記憶する
（Ｓ１８０）。文書内のオブジェクトの数をMEM１４に
記憶されているデータから計数し、ｎｕｍＯｂｊとして
MEM１４に記憶し（Ｓ１８２）、カウンタｉを１に初期
化する（Ｓ１９０）。ｉがｎｕｍＯｂｊ以下であるか否
か判定し（Ｓ１９２）、肯定判定の場合はＳ１９４に進
む。このＳ１９２のｉがｎｕｍＯｂｊ以下であるか否か
の判定は、ｉがｎｕｍＯｂｊ以下ではないと判定される
まで、即ちＳ１８２で計数されたオブジェクト全てに対
して消しゴムカーソルの位置がオブジェクトに内包され
ているか否かの判断（Ｓ１９４）が行なわれたと判定さ
れるまで繰り返される。
【０１１６】Ｓ１９４では、ｐｔＥｒａｓｅをｉ番目の
オブジェクトのヘッダ部の外接矩形を表わす情報と比較
して、ｐｔＥｒａｓｅが外接矩形に含まれているか否か
を判断することにより、消しゴムカーソルがｉ番目のオ
ブジェクト矩形に含まれるか否かを判断する。含まれる
と判断された場合は、続けてｐｔＥｒａｓｅをｉ番目の
オブジェクトの各クラスタのヘッダ部の外接矩形を表わ
す情報と比較することにより、ｐｔＥｒａｓｅを内包す
るクラスタを全て抽出し（Ｓ１９８）、抽出されたクラ
スタデータの数を計数してｎｕｍＣｌｓｔｒとしてMEM
１４に記憶し（Ｓ２００）、カウンタｊを１に初期化す
る（Ｓ２０２）。ｊがｎｕｍＣｌｓｔｒ以下であるか否
か判定し（Ｓ２０４）、肯定判定の場合はＳ２０６に進
む。否定判定の場合は、Ｓ１９８で抽出された全てのク
ラスタについて、消しゴムカーソルがそのクラスタの表
わすストロークの近傍であるか否かの判断（Ｓ２０６）
を完了したと判定したことになるので、Ｓ１９６に進ん
でｉを一つインクリメントし、次のオブジェクトとの比
較に移る。
オブジェクトのヘッダ部の外接矩形を表わす情報と比較
して、ｐｔＥｒａｓｅが外接矩形に含まれているか否か
を判断することにより、消しゴムカーソルがｉ番目のオ
ブジェクト矩形に含まれるか否かを判断する。含まれる
と判断された場合は、続けてｐｔＥｒａｓｅをｉ番目の
オブジェクトの各クラスタのヘッダ部の外接矩形を表わ
す情報と比較することにより、ｐｔＥｒａｓｅを内包す
るクラスタを全て抽出し（Ｓ１９８）、抽出されたクラ
スタデータの数を計数してｎｕｍＣｌｓｔｒとしてMEM
１４に記憶し（Ｓ２００）、カウンタｊを１に初期化す
る（Ｓ２０２）。ｊがｎｕｍＣｌｓｔｒ以下であるか否
か判定し（Ｓ２０４）、肯定判定の場合はＳ２０６に進
む。否定判定の場合は、Ｓ１９８で抽出された全てのク
ラスタについて、消しゴムカーソルがそのクラスタの表
わすストロークの近傍であるか否かの判断（Ｓ２０６）
を完了したと判定したことになるので、Ｓ１９６に進ん
でｉを一つインクリメントし、次のオブジェクトとの比
較に移る。
【０１１７】Ｓ２０６では、ｐｔＥｒａｓｅがｊ番目の
クラスタ内のストロークの近傍点であるか否かを判断す
る。この判断は、ｐｔＥｒａｓｅとｊ番目のクラスタ内
の各座標点を結ぶ直線との距離を比較し、MEM１４内に
予め記憶されている所定距離値の閾値より近い場合は、
ｐｔＥｒａｓｅがｊ番目のクラスタ内のストロークの近
傍点であると判断することとする。Ｓ２０６で近傍点で
はないと判断された場合は、Ｓ２０８でｊを一つインク
リメントし、次のクラスタとの比較に進む。Ｓ２０６で
近傍点であると判断された場合は、Ｓ２１０に進み、該
当クラスタ（ｊ番目のクラスタ）をMEM１４及び表示画
面上から削除する。
クラスタ内のストロークの近傍点であるか否かを判断す
る。この判断は、ｐｔＥｒａｓｅとｊ番目のクラスタ内
の各座標点を結ぶ直線との距離を比較し、MEM１４内に
予め記憶されている所定距離値の閾値より近い場合は、
ｐｔＥｒａｓｅがｊ番目のクラスタ内のストロークの近
傍点であると判断することとする。Ｓ２０６で近傍点で
はないと判断された場合は、Ｓ２０８でｊを一つインク
リメントし、次のクラスタとの比較に進む。Ｓ２０６で
近傍点であると判断された場合は、Ｓ２１０に進み、該
当クラスタ（ｊ番目のクラスタ）をMEM１４及び表示画
面上から削除する。
【０１１８】図２５は、図１８において説明したよう
に、１３本のストロークが一つのオブジェクトとしてグ
ループ化されているものであるが、各ストロークは各々
別個のクラスタデータとして扱われている。点線は、各
クラスタの外接矩形である。ここで、消しゴムカーソル
１０００がストローク１０２６に接近すると、消しゴム
カーソル１０００の位置がストローク１０２６の近傍点
であるとＳ２０６で判断され、Ｓ２１０でストローク１
０２６が消去される。ストローク１０２６が消去された
画面が図２６である。オブジェクトを構成する１クラス
タデータが消去されたあとは、オブジェクト１０２１は
残りの１２本のストロークで構成される。図２５及び図
２６において、各クラスタを説明する点線枠を示した
が、消しゴムモードにおいては、実際は点線枠は表示し
ない。
に、１３本のストロークが一つのオブジェクトとしてグ
ループ化されているものであるが、各ストロークは各々
別個のクラスタデータとして扱われている。点線は、各
クラスタの外接矩形である。ここで、消しゴムカーソル
１０００がストローク１０２６に接近すると、消しゴム
カーソル１０００の位置がストローク１０２６の近傍点
であるとＳ２０６で判断され、Ｓ２１０でストローク１
０２６が消去される。ストローク１０２６が消去された
画面が図２６である。オブジェクトを構成する１クラス
タデータが消去されたあとは、オブジェクト１０２１は
残りの１２本のストロークで構成される。図２５及び図
２６において、各クラスタを説明する点線枠を示した
が、消しゴムモードにおいては、実際は点線枠は表示し
ない。
【０１１９】尚、ここでは消しゴムモードにおいてのみ
処理対象を単独のストロークとする例について説明した
が、これは消しゴムモードに限るものではなく、他の編
集機能においても、処理対象を単独ストロークとする機
能実行時にＳ２０４〜Ｓ２２０の処理を実行し、単独ス
トロークのみの取り出しと、処理実行を行っても良い。
この場合、編集モードの種類によって、処理対象を単独
のストロークにするか、１グループに属する全てのスト
ロークにするかを予め設定し、テーブルとしてメモリ１
４に記憶しておき、指示された編集モードがどちらの設
定になっているか否かの判定によって、処理対象を切り
替える。
処理対象を単独のストロークとする例について説明した
が、これは消しゴムモードに限るものではなく、他の編
集機能においても、処理対象を単独ストロークとする機
能実行時にＳ２０４〜Ｓ２２０の処理を実行し、単独ス
トロークのみの取り出しと、処理実行を行っても良い。
この場合、編集モードの種類によって、処理対象を単独
のストロークにするか、１グループに属する全てのスト
ロークにするかを予め設定し、テーブルとしてメモリ１
４に記憶しておき、指示された編集モードがどちらの設
定になっているか否かの判定によって、処理対象を切り
替える。
【０１２０】以上、文書処理におけるストロークの入
力、編集について説明したが、これらの処理は、電子メ
ール等における文書処理機能として利用することができ
る。
力、編集について説明したが、これらの処理は、電子メ
ール等における文書処理機能として利用することができ
る。
【０１２１】電子メールにおいて、送信者により行なわ
れる文書作成時の処理は上記処理と同じであるが、スト
ロークや音声データを含む電子メールの受信者がメール
を返信する時に、受信したメールを引用する場合の処理
について図２７のフローチャートを用いて説明する。
れる文書作成時の処理は上記処理と同じであるが、スト
ロークや音声データを含む電子メールの受信者がメール
を返信する時に、受信したメールを引用する場合の処理
について図２７のフローチャートを用いて説明する。
【０１２２】挿入コメントの情報を、MEM１４の引用書
式記憶領域から読み出して（Ｓ２５０）、挿入コメント
情報内のｘ方向のずれ量、ｙ方向のずれ量を計算し、ｘ
Ｍｏｖｅ、ｙＭｏｖｅとしてMEM１４に記憶する（Ｓ２
５２）。ｘ方向のずれ量は、引用書式において設定され
ている文書の先頭への挿入コメント文章を読み出し、そ
の行数と、挿入コメントを出力する書式（行ピッチ、文
字サイズ等）とから、挿入コメントに要するx方向の長
さを求め、その値をx方向のずれ量とする。ｙ方向のず
れ量は、引用書式において設定されている行頭の引用記
号の文字数と、引用記号を出力する書式（文字ピッチ、
文字サイズ等）とから、引用記号に要するｙ方向の長さ
を求め、その値をy方向のずれ量とする。引用記号と
は、引用する文章の各行の行頭に繰り返し挿入する文字
列のことであり、挿入コメント文章とは、引用する文章
の先頭に挿入する文字列のことである。尚、この挿入コ
メント文章と引用記号の内容、文字数、行数はユーザに
より自在に設定可能であり、設定された情報をメモリ１
４に記憶しておくことにより、引用処理時に適当なずれ
量を求めることができる。
式記憶領域から読み出して（Ｓ２５０）、挿入コメント
情報内のｘ方向のずれ量、ｙ方向のずれ量を計算し、ｘ
Ｍｏｖｅ、ｙＭｏｖｅとしてMEM１４に記憶する（Ｓ２
５２）。ｘ方向のずれ量は、引用書式において設定され
ている文書の先頭への挿入コメント文章を読み出し、そ
の行数と、挿入コメントを出力する書式（行ピッチ、文
字サイズ等）とから、挿入コメントに要するx方向の長
さを求め、その値をx方向のずれ量とする。ｙ方向のず
れ量は、引用書式において設定されている行頭の引用記
号の文字数と、引用記号を出力する書式（文字ピッチ、
文字サイズ等）とから、引用記号に要するｙ方向の長さ
を求め、その値をy方向のずれ量とする。引用記号と
は、引用する文章の各行の行頭に繰り返し挿入する文字
列のことであり、挿入コメント文章とは、引用する文章
の先頭に挿入する文字列のことである。尚、この挿入コ
メント文章と引用記号の内容、文字数、行数はユーザに
より自在に設定可能であり、設定された情報をメモリ１
４に記憶しておくことにより、引用処理時に適当なずれ
量を求めることができる。
【０１２３】引用するメールのストロークデータ、音声
データからなる元インクデータを受信したメールを記憶
しているMEM１４の記憶領域から読み出して、MEM１４内
の作業エリアにコピーして記憶し（Ｓ２５４）、MEM１
４に記憶されているｘＭｏｖｅの値をｘＯｆｆｓｅｔの
値として、ｙＭｏｖｅの値をｙＯｆｆｓｅｔの値とし
て、MEM１４に記憶する（Ｓ２５６）。
データからなる元インクデータを受信したメールを記憶
しているMEM１４の記憶領域から読み出して、MEM１４内
の作業エリアにコピーして記憶し（Ｓ２５４）、MEM１
４に記憶されているｘＭｏｖｅの値をｘＯｆｆｓｅｔの
値として、ｙＭｏｖｅの値をｙＯｆｆｓｅｔの値とし
て、MEM１４に記憶する（Ｓ２５６）。
【０１２４】Ｓ２５４でコピーされたインクデータに対
し、移動ルーチンを呼び出し（Ｓ２５８）、移動ルーチ
ンを実行する（Ｓ２６０）。移動ルーチンは図１９のフ
ローチャートに示した通りである。
し、移動ルーチンを呼び出し（Ｓ２５８）、移動ルーチ
ンを実行する（Ｓ２６０）。移動ルーチンは図１９のフ
ローチャートに示した通りである。
【０１２５】移動後のインクデータを表示用メモリに描
画し、画面に表示する（Ｓ２６２）。
画し、画面に表示する（Ｓ２６２）。
【０１２６】図２７のフローチャートにおいては、イン
クデータ（ストロークデータ及び音声データ）の移動に
ついて説明したが、受信メールに含まれるテキストにつ
いては、テキスト編集の処理における、挿入コメント文
章及び引用記号の挿入と同様の処理が実行され、引用処
理前後で、受信メールに含まれているテキストデータ
と、インクデータの相対位置関係は変化しない。
クデータ（ストロークデータ及び音声データ）の移動に
ついて説明したが、受信メールに含まれるテキストにつ
いては、テキスト編集の処理における、挿入コメント文
章及び引用記号の挿入と同様の処理が実行され、引用処
理前後で、受信メールに含まれているテキストデータ
と、インクデータの相対位置関係は変化しない。
【０１２７】図２８に、電子メールの受信画面を示す。
メールの内容は、テキスト「本日の会議の出欠をお願い
します。」（２０００）と、「出」及び「欠」を表わす
ストローク２１００と、テキスト「ＰＳ．会議場所はＡ
会議室です。」（２００１）と、メール発信者の署名２
００２からなっている。このメールに対して返信を指示
すると、図２７の処理が実行され、受信したメールの内
容が引用され、図２９に示すように挿入コメント２２０
０及び引用記号２２０１が各行先頭に挿入された画面が
表示される。
メールの内容は、テキスト「本日の会議の出欠をお願い
します。」（２０００）と、「出」及び「欠」を表わす
ストローク２１００と、テキスト「ＰＳ．会議場所はＡ
会議室です。」（２００１）と、メール発信者の署名２
００２からなっている。このメールに対して返信を指示
すると、図２７の処理が実行され、受信したメールの内
容が引用され、図２９に示すように挿入コメント２２０
０及び引用記号２２０１が各行先頭に挿入された画面が
表示される。
【０１２８】図２７のフローチャートに示した引用処理
を施すことにより、メールを受信した時のテキストデー
タとインクデータの相対位置関係（図２８）と、メール
返信時のテキストデータとインクデータの相対位置関係
（図２９）とで変化しない。
を施すことにより、メールを受信した時のテキストデー
タとインクデータの相対位置関係（図２８）と、メール
返信時のテキストデータとインクデータの相対位置関係
（図２９）とで変化しない。
【０１２９】
【発明の効果】以上説明したように、本発明によれば、
軌跡情報の再生の時に、軌跡の下に表示されている画像
情報を確認することができる。
軌跡情報の再生の時に、軌跡の下に表示されている画像
情報を確認することができる。
【０１３０】以上説明したように、本発明によれば、軌
跡情報の再生の時に、軌跡の下に隠れていた画像情報を
視認できる状態で軌跡の再生を確認できるので、軌跡が
記入された画像情報と軌跡情報の関係をより正確に把握
することができる。
跡情報の再生の時に、軌跡の下に隠れていた画像情報を
視認できる状態で軌跡の再生を確認できるので、軌跡が
記入された画像情報と軌跡情報の関係をより正確に把握
することができる。
【０１３１】以上説明したように、本発明によれば、情
報の再生指示手段による指示に応じて情報を再生する時
に、情報の選択状態に応じて再生順を切り替えるので、
一つの再生指示手段でもその時々の状況に応じた適切な
順番での再生を可能とする。
報の再生指示手段による指示に応じて情報を再生する時
に、情報の選択状態に応じて再生順を切り替えるので、
一つの再生指示手段でもその時々の状況に応じた適切な
順番での再生を可能とする。
【図１】本発明に係る装置の概略構成図
【図２】本発明に係る装置の外観図
【図３】本発明に係る装置の機能構成図
【図４】本発明の実施の形態において作成する文書の例
示図
示図
【図５】文書を作成する処理全体のフローチャート
【図６】録音ペンモードにおける処理のフローチャート
【図７】編集モードになっている時の文書作成ウインド
ウ例示図
ウ例示図
【図８】編集モードでのペンメニュー例示図
【図９】録音ペンの属性設定時の画面
【図１０】録音ペンによる動的ストロークを入力する前
の画面例示図
の画面例示図
【図１１】動的ストロークを入力している途中の画面の
例示図
例示図
【図１２】一つのオブジェクトのデータ入力を終了した
画面の例示図
画面の例示図
【図１３】データ構造を示す図
【図１４】オブジェクトの再生処理のフローチャート
【図１５】再生ルーチンのフローチャート
【図１６】ストローク再現処理のフローチャート
【図１７】図４の文書を再生している途中の画面を説明
する図
する図
【図１８】オブジェクト選択状態の画面を説明する図
【図１９】オブジェクトの移動処理のフローチャート
【図２０】移動するオブジェクトを指示した状態の画面
例示図
例示図
【図２１】オブジェクトの移動途中の画面例示図
【図２２】オブジェクトの移動が終了した時の画面例示
図
図
【図２３】消しゴム処理のフローチャート
【図２４】消しゴムモードでの画面例示図
【図２５】グループ化されている複数のストローク各々
の外接矩形を説明する図
の外接矩形を説明する図
【図２６】消しゴムにより一つのストロークが消去され
た時の画面例示図
た時の画面例示図
【図２７】引用処理のフローチャート
【図２８】受信メール例示図
【図２９】返信メール例示図
Claims (21)
- 【請求項１】 複数の情報を記憶し、 前記記憶されている情報の再生を指示し、 前記記憶されている情報における選択状態を判別し、 前記指示に応じた情報の再生の順番を、前記判別に従っ
て、情報の入力順か、情報の選択順に切り替えることを
特徴とする情報処理方法。 - 【請求項２】 記憶されている情報の表示再生を指示
し、 前記記憶されている情報における選択状態を判別し、 前記指示に応じた情報の再生の順番を、前記判別に従っ
て、情報の入力順か、情報の選択順に切り替え、 前記切り替えられた順番で情報の表示を再生する場合
に、該情報を一旦消去した後、該再生を開始するよう制
御することを特徴とする情報処理方法。 - 【請求項３】 画像を再生する為の画像情報を記憶し、 軌跡を再生する為の軌跡情報を記憶し、 音声を再生する為の音声情報を記憶し、 軌跡と音声とを同期して再生する場合に、画像情報を表
示したまま、再生する軌跡情報を表示画面から一旦消去
した後、該軌跡情報と音声情報の再生を開始することを
特徴とする情報処理方法。 - 【請求項４】 音声情報に関連つけられている文書上の
位置にアイコンを表示し、前記軌跡情報を表示画面から
消去する時に該軌跡情報と同期して再生する音声情報に
関連つけられているアイコンを表示画面から消去するこ
とを特徴とする請求項３に記載の情報処理方法。 - 【請求項５】 前記軌跡と音声との再生を、該軌跡が表
示されている画面上で指示することを特徴とする請求項
３に記載の情報処理方法。 - 【請求項６】 画像情報と、軌跡情報と、音声情報とを
送受信することを特徴とする請求項３に記載の情報処理
方法。 - 【請求項７】 前記軌跡の再生は、該軌跡が記入された
速度で再生することを特徴とする請求項３に記載の情報
処理方法。 - 【請求項８】 前記軌跡の表示画面からの消去と再生
は、グループ化されている軌跡ごとに行うことを特徴と
する請求項３に記載の情報処理方法。 - 【請求項９】 前記画像情報は、テキスト情報を含むこ
とを特徴とする請求項３に記載の情報処理方法。 - 【請求項１０】 複数の情報を記憶する記憶手段と、 前記記憶手段に記憶されている情報の再生を指示する指
示手段と、 前記記憶手段に記憶されている情報における選択状態を
判別する判別手段と、 前記指示手段による指示に応じた情報の再生の順番を、
前記判別手段による判別に従って、情報の入力順か、情
報の選択順に切り替える切り替え手段とを有することを
特徴とする情報処理装置。 - 【請求項１１】 複数の情報を記憶する記憶手段と、 前記記憶手段に記憶されている情報の表示再生を指示す
る指示手段と、 前記記憶手段に記憶されている情報における選択状態を
判別する判別手段と、 前記指示手段による指示に応じた情報の再生の順番を、
前記判別手段による判別に従って、情報の入力順か、情
報の選択順に切り替える切り替え手段と、 前記切り替え手段により切り替えられた順番で情報の表
示を再生する場合に、該情報を一旦消去した後、該再生
を開始するよう制御する制御手段とを有することを特徴
とする情報処理装置。 - 【請求項１２】 画像を再生する為の画像情報を記憶す
る画像情報記憶手段と、 軌跡を再生する為の軌跡情報を記憶する軌跡情報記憶手
段と、 音声を再生する為の音声情報を記憶する音声情報記憶手
段と、 軌跡と音声とを同期して再生する同期再生手段と、 前記軌跡と音声とを同期して再生する場合に、画像情報
を表示したまま、再生する軌跡情報を表示画面から一旦
消去した後、該軌跡情報と音声情報の再生を開始する表
示制御手段とを有することを特徴とする情報処理装置。 - 【請求項１３】 前記表示制御手段は、音声情報に関連
つけられている文書上の位置にアイコンを表示し、前記
軌跡情報を表示画面から消去する時に該軌跡情報と同期
して再生する音声情報に関連つけられているアイコンを
表示画面から消去することを特徴とすることを特徴とす
る請求項１２に記載の情報処理装置。 - 【請求項１４】 前記軌跡と音声との再生を、該軌跡が
表示されている画面上指示する指示手段を有することを
特徴とすることを特徴とする請求項１２に記載の情報処
理装置。 - 【請求項１５】 画像情報と、軌跡情報と、音声情報と
を送受信する通信制御手段とを有することを特徴とする
ことを特徴とする請求項１２に記載の情報処理装置。 - 【請求項１６】 前記軌跡の再生は、該軌跡が記入され
た速度で再生することを特徴とすることを特徴とする請
求項１２に記載の情報処理装置。 - 【請求項１７】 前記軌跡の表示画面からの消去と再生
は、グループ化されている軌跡ごとに行うことを特徴と
することを特徴とする請求項１２に記載の情報処理装
置。 - 【請求項１８】 前記画像情報は、テキスト情報を含む
ことを特徴とすることを特徴とする請求項１２に記載の
情報処理装置。 - 【請求項１９】 複数の情報を記憶する工程のプログラ
ムと、 前記記憶されている情報の再生を指示する工程のプログ
ラムと、 前記記憶されている情報における選択状態を判別する工
程のプログラムと、 前記指示に応じた情報の再生の順番を、前記判別に従っ
て、情報の入力順か、情報の選択順に切り替える工程の
プログラムとを記憶した、コンピュータにより読取り可
能な記憶媒体。 - 【請求項２０】 記憶されている情報の表示再生を指示
する工程のプログラムと、 前記記憶されている情報における選択状態を判別する工
程のプログラムと、 前記指示に応じた情報の再生の順番を、前記判別に従っ
て、情報の入力順か、情報の選択順に切り替える工程の
プログラムと、 前記切り替えられた順番で情報の表示を再生する場合
に、該情報を一旦消去した後、該再生を開始するよう制
御する工程のプログラムととを記憶した、コンピュータ
により読取り可能な記憶媒体。 - 【請求項２１】 画像を再生する為の画像情報を記憶す
る工程のプログラムと、 軌跡を再生する為の軌跡情報を記憶する工程のプログラ
ムと、 音声を再生する為の音声情報を記憶する工程のプログラ
ムと、 軌跡と音声とを同期して再生する場合に、画像情報を表
示したまま、再生する軌跡情報を表示画面から一旦消去
した後、該軌跡情報と音声情報の再生を開始する工程の
プログラムとを記憶した、コンピュータにより読取り可
能な記憶媒体。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24399097A JPH1186016A (ja) | 1997-09-09 | 1997-09-09 | 情報処理方法及び装置及びその記憶媒体 |
| US09/148,473 US6384851B1 (en) | 1997-09-09 | 1998-09-08 | Apparatus for facilitating observation of the screen upon reproduction |
| DE69836664T DE69836664D1 (de) | 1997-09-09 | 1998-09-09 | Informationsverarbeitungsverfahren und -vorrichtung sowie Speichermedium dafür |
| EP98307301A EP0905483B1 (en) | 1997-09-09 | 1998-09-09 | Information processing method and apparatus, and storage medium thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24399097A JPH1186016A (ja) | 1997-09-09 | 1997-09-09 | 情報処理方法及び装置及びその記憶媒体 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH1186016A true JPH1186016A (ja) | 1999-03-30 |
Family
ID=17112081
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP24399097A Withdrawn JPH1186016A (ja) | 1997-09-09 | 1997-09-09 | 情報処理方法及び装置及びその記憶媒体 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US6384851B1 (ja) |
| EP (1) | EP0905483B1 (ja) |
| JP (1) | JPH1186016A (ja) |
| DE (1) | DE69836664D1 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009050528A (ja) * | 2007-08-28 | 2009-03-12 | Tanita Corp | 生体測定装置 |
| JP2015197765A (ja) * | 2014-03-31 | 2015-11-09 | 富士通株式会社 | 表示制御プログラム、表示制御装置及び表示制御方法 |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6938222B2 (en) * | 2002-02-08 | 2005-08-30 | Microsoft Corporation | Ink gestures |
| US7337399B2 (en) * | 2005-01-03 | 2008-02-26 | Infoprint Solutions Company | Apparatus, system, and method for editing a region of a document intersecting multiple content component types in a single operation |
| US8739068B2 (en) * | 2007-06-15 | 2014-05-27 | Microsoft Corporation | Dynamic user interface for in-diagram shape selection |
| US8762871B2 (en) * | 2008-02-03 | 2014-06-24 | Microsoft Corporation | Dynamic preview of diagram elements to be inserted into a diagram |
| KR20110020642A (ko) * | 2009-08-24 | 2011-03-03 | 삼성전자주식회사 | 사용자 접근을 인식하여 반응하는 ｇｕｉ제공 장치 및 방법 |
| USD665408S1 (en) * | 2011-03-09 | 2012-08-14 | Microsoft Corporation | Display screen with graphical user interface |
| USD667434S1 (en) * | 2011-09-12 | 2012-09-18 | Microsoft Corporation | Display screen with icon |
| KR102013239B1 (ko) * | 2011-12-23 | 2019-08-23 | 삼성전자주식회사 | 디지털 영상 처리장치, 및 그 제어방법 |
| KR101909031B1 (ko) * | 2012-07-26 | 2018-10-17 | 엘지전자 주식회사 | 이동 단말기 및 이의 제어 방법 |
| KR102102663B1 (ko) * | 2012-10-05 | 2020-04-22 | 삼성전자주식회사 | 휴대단말기의 사용 방법 및 장치 |
| JP5775240B1 (ja) * | 2014-12-18 | 2015-09-09 | 株式会社ワコム | デジタルインク生成装置、デジタルインク生成方法、及びプログラム |
| US20160321025A1 (en) * | 2015-04-30 | 2016-11-03 | Kabushiki Kaisha Toshiba | Electronic apparatus and method |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5191617A (en) * | 1987-04-20 | 1993-03-02 | Intechnica International, Inc. | Voice interactive computer system |
| AU624838B2 (en) * | 1988-05-27 | 1992-06-25 | Global 360, Inc. | Document annotation and manipulation in a data processing system |
| US5596702A (en) * | 1993-04-16 | 1997-01-21 | International Business Machines Corporation | Method and system for dynamically sharing user interface displays among a plurality of application program |
| US5801687A (en) * | 1994-09-30 | 1998-09-01 | Apple Computer, Inc. | Authoring tool comprising nested state machines for use in a computer system |
| WO1996031829A1 (en) * | 1995-04-06 | 1996-10-10 | Avid Technology, Inc. | Graphical multimedia authoring system |
| JP3442192B2 (ja) * | 1995-05-31 | 2003-09-02 | シャープ株式会社 | データ駆動型情報処理装置 |
| GB2315577A (en) * | 1996-07-20 | 1998-02-04 | Ibm | Grouping of operations in a computer system |
| US5812977A (en) * | 1996-08-13 | 1998-09-22 | Applied Voice Recognition L.P. | Voice control computer interface enabling implementation of common subroutines |
-
1997
- 1997-09-09 JP JP24399097A patent/JPH1186016A/ja not_active Withdrawn
-
1998
- 1998-09-08 US US09/148,473 patent/US6384851B1/en not_active Expired - Lifetime
- 1998-09-09 DE DE69836664T patent/DE69836664D1/de not_active Expired - Lifetime
- 1998-09-09 EP EP98307301A patent/EP0905483B1/en not_active Expired - Lifetime
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009050528A (ja) * | 2007-08-28 | 2009-03-12 | Tanita Corp | 生体測定装置 |
| JP2015197765A (ja) * | 2014-03-31 | 2015-11-09 | 富士通株式会社 | 表示制御プログラム、表示制御装置及び表示制御方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US6384851B1 (en) | 2002-05-07 |
| EP0905483A3 (en) | 2003-09-03 |
| EP0905483B1 (en) | 2006-12-20 |
| DE69836664D1 (de) | 2007-02-01 |
| EP0905483A2 (en) | 1999-03-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH1186015A (ja) | 情報処理方法及び装置及びその記憶媒体 | |
| US9207858B2 (en) | Method and apparatus for drawing and erasing calligraphic ink objects on a display surface | |
| KR101804759B1 (ko) | 입출력 장치, 정보 입출력 시스템 | |
| JP2589999B2 (ja) | 図形入出力装置 | |
| JPH1186016A (ja) | 情報処理方法及び装置及びその記憶媒体 | |
| US20020141643A1 (en) | Method for creating and operating control systems | |
| JPH1185739A (ja) | 情報処理方法及び装置及びその記憶媒体 | |
| EP1876516A1 (en) | Information processing device, image movement instructing method, and information storage medium | |
| US20040161151A1 (en) | On-line handwritten character pattern recognizing and editing apparatus and method, and recording medium storing computer-executable program for realizing the method | |
| JP2000029909A (ja) | フリ―フォ―ムインクからアドホックリンクを生成する方法及びシステム | |
| JPH05330289A (ja) | 電子黒板装置 | |
| JPH06208654A (ja) | ペン入力図形編集システム | |
| US20140092101A1 (en) | Apparatus and method for producing animated emoticon | |
| JPH09244599A (ja) | ペンベースのコンピューティングにおける消去機能 | |
| JP3007232B2 (ja) | 描画処理装置及び方法 | |
| JP2007066081A (ja) | 電子会議装置及び電子会議装置制御プログラム | |
| US6448959B1 (en) | Desired region specifying system in an image editing apparatus | |
| JPH07200154A (ja) | 手書き図形入力装置 | |
| JPH06309395A (ja) | 画像作成装置 | |
| JP2000099223A (ja) | 手書き文字入力インタフェースを有するデータ処理装置及び記録媒体 | |
| JP2008102613A (ja) | 検索結果表示装置及び方法、並びプログラム | |
| JPH08255221A (ja) | 文字図形入力編集装置 | |
| JP2935336B2 (ja) | 図形入出力装置 | |
| JP2660795B2 (ja) | 手書き入力編集方法 | |
| JP2543926B2 (ja) | スケジュ―ル管理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20041207 |