JP3535624B2 - 検索装置及び方法 - Google Patents

検索装置及び方法

Info

Publication number
JP3535624B2
JP3535624B2 JP24282995A JP24282995A JP3535624B2 JP 3535624 B2 JP3535624 B2 JP 3535624B2 JP 24282995 A JP24282995 A JP 24282995A JP 24282995 A JP24282995 A JP 24282995A JP 3535624 B2 JP3535624 B2 JP 3535624B2
Authority
JP
Japan
Prior art keywords
stroke
search
keystroke
input
strokes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP24282995A
Other languages
English (en)
Other versions
JPH0991424A (ja
Inventor
克彦 阪口
英司 高須
常一 新井
裕人 吉井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP24282995A priority Critical patent/JP3535624B2/ja
Priority to US08/715,122 priority patent/US6373473B1/en
Priority to KR1019960041212A priority patent/KR100283633B1/ko
Priority to DE69625759T priority patent/DE69625759T2/de
Priority to EP96115158A priority patent/EP0764908B1/en
Priority to CNB961128399A priority patent/CN1169068C/zh
Publication of JPH0991424A publication Critical patent/JPH0991424A/ja
Priority to HK98113113A priority patent/HK1012099A1/xx
Application granted granted Critical
Publication of JP3535624B2 publication Critical patent/JP3535624B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/235Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/1444Selective acquisition, locating or processing of specific regions, e.g. highlighted text, fiducial marks or predetermined fields
    • G06V30/1456Selective acquisition, locating or processing of specific regions, e.g. highlighted text, fiducial marks or predetermined fields based on user interactions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/32Digital ink
    • G06V30/36Matching; Classification
    • G06V30/387Matching; Classification using human interaction, e.g. selection of the best displayed recognition candidate
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00Data processing: database and file management or data structures
    • Y10S707/99931Database or file accessing
    • Y10S707/99933Query processing, i.e. searching
    • Y10S707/99936Pattern matching access

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Character Discrimination (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)
  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Calculators And Similar Devices (AREA)
  • User Interface Of Digital Computer (AREA)

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、手書きのストロー
ク入力を行える電子機器に関するものである。
【0002】
【従来の技術】従来の手書き入力が行える電子機器は、
手書き入力されたメモなどが記憶できるように入力され
たストローク情報を記憶することが可能に構成されてい
る。このようにして記憶された手書きメモに対して、ペ
ージめくりやメモにつけたタイトル、キーワード等で検
索が行える機能が付加されているものもあった。
【0003】但し、このような機能において、メモに付
加するタイトルや、キーワードに関しては、画面上に表
示されたキーボードや手書き文字認識を使用して入力さ
れたコード情報で構成されている。よって、検索時にも
同様にキーボードや手書き文字認識を使用して入力され
たコード情報によって検索キーワードが特定され、その
マッチング処理を行うことによって検索が完了するよう
に構成されている。
【0004】
【発明が解決しようとする課題】しかしながら、上記従
来例では、検索は確かに行えるが、キーワード設定時
や、検索キーワードの入力時に手書き入力が行えるにも
関らず、物理的なキーボードを使用しなければならなか
った。あるいは、画面上に表示されるキーボードをわざ
わざ呼び出したりする特別な操作を要求するものであっ
たため、非常に操作が煩雑であり、また面倒であった。
【0005】更に、手書き文字認識を使用するものに関
しても、キーボードの入力よりは直感的ではあるが、認
識の正誤を確認しながら入力を行わねばならないため、
やはり面倒な操作が避けられず、認識自体に処理時間が
かかるため使用者にとって、即時性が求められる場合
は、非常にストレスを感じさせるものである。
【0006】さらにコード情報を用いて検索するため
に、検索のキーワードを覚えてしまえば、誰にでも検索
できるため、セキュリティが必要な場合などは、キーワ
ードとは別にさらにパスワードを設定するなど面倒な操
作を求められていた。また文字のコード情報を使用する
ために、検索対象は文字コード表に存在する文字や記号
に限定されており、手書きで日常よく使用するマークや
略字は全く使うことができなかった。
【0007】
【課題を解決するための手段】本発明は以上の課題を解
決することを目的として成されたもので、上述の課題を
解決する一手段として以下の構成を備える。
【0008】即ち、ストロークデータを入力する入力手
段と、前記入力手段より入力された複数のストロークか
ら検索の対象となるキーストロークを判別して設定する
検索ストローク設定手段と、前記検索の対象となるキー
ストロークと前記入力手段より入力した複数の入力スト
ローク情報を複数のグループ情報として記憶する記憶手
段と、その後、前記入力手段により入力されたストロー
クデータによりキーストロークを検索して該検索キース
トロークにより前記記憶手段に記憶された複数のグルー
プ情報から前記検索されたキーストロークを含むグルー
プ情報を特定する検索手段と、前記検索手段で特定され
たグループ情報を表示する検索結果表示手段とを備える
ことを特徴とする。
【0009】そして例えば、前記検索手段は、グループ
情報として記憶された複数のストローク情報から単数ま
たは複数のストロークを検索し、前記表示手段は、前記
検索手段で検索されたストロークが存在するグループ情
報を表示することを特徴とする。あるいは、前記入力手
段よりの入力ストロークデータは手書きの筆跡を表すデ
ータとすることを特徴とする。
【0010】また例えば、前記記憶手段は、前記検索手
段が検索する対象として特定した手書きの筆跡を複数筆
跡記憶可能とし、前記表示手段は、前記記憶手段に記憶
されている複数の手書き筆跡の全てのキーストロークの
情報を表示し、更に、前記表示手段に表示された複数の
キーストロークから所望のキーストロークを選択する選
択手段を備えることを特徴とする。
【0011】更に例えば、前記記憶手段に記憶される複
数のグループ情報がストローク情報のみでなく他の情報
も含むことを特徴とする。
【0012】
【発明の実施の形態】以下、図面を参照して本発明に係
る発明の実施の態様の一例を詳細に説明する。
【0013】(発明の実施の態様の第1の例)図1は本
発明に係る発明の実施の態様の特徴を最も良く表す図面
であり発明の実施の態様の機能を示すブロック図であ
る。同図において、1は表示画面と入力画面が一体にな
っているストローク情報を入力可能なデジタイザ等で構
成することのできるデータ入力手段であり、記憶手段3
に入力情報を出力する。前記ストローク情報とは、上述
したデータ入力手段1から送られる筆跡の情報であり、
ペンダウンからペンアップまでの筆跡を一定の単位時間
でサンプリングした時系列的に送られる座標点列情報で
ある。
【0014】2は既に記憶手段に記憶された複数のスト
ロークから検索の対象となるキーストロークを指定する
ための検索ストローク設定手段である。このキーストロ
ークは、単数または複数で構成されている。3は表示画
面1面分を1ページ単位としてページ番号をインデック
スとしてデータ入力手段1より入力された複数のストロ
ークをグループ化し記憶すると共に、ストローク設定手
段2により指定されたストロークを記憶する記憶手段で
ある。
【0015】また、4は検索ストローク設定手段2で設
定されたキーストロークを検索するための検索ストロー
クを入力する検索ストローク入力手段である。5は検索
手段であり、検索ストローク入力手段4で入力された検
索ストロークと、記憶手段3で記憶されている複数のキ
ーストロークとの比較処理を行い、類似していると判定
されれば検索されたとして、検索されたキーストローク
を含むページインデックスを出力する。
【0016】この場合、検索されたキーストロークが複
数の場合は、複数のページインデックスを出力する。6
は検索手段5より出力されたページインデックスを基
に、表示画面に検索されたキーストロークが存在するペ
ージの情報を表示する検索結果表示手段である。複数の
検索結果が存在する場合は、使用者の指示に従って順次
検索結果であるページを表示を行うようになっている。
また、検索キーストロークの存在がすぐわかるように、
表示中のページ内の複数のストロークのうちキーストロ
ークとして該当するものは表示属性が変えられている。
【0017】図2は、図1に示すデータ入力手段1より
入力される手書きストロークの入出力画面の例を示す図
であり、この入力画面一面が1ページ単位として扱われ
る。図2中、11は表示されたページが何ページかを示
すページインデックスとなるページ番号、12は前後の
ページに画面を切り替えるためのページめくり部分であ
る。使用者は、この部分をペンで押下することにより、
前後のページに画面を切り替えることが可能である。
【0018】13はメニュー表示指示領域であり、この
部分を押下することにより、“キーストローク指定モー
ド”、“データ入力モード”、“検索ストローク入力”
の3つの動作モードを選択することができる。
【0019】ここで述べたページが、図1に示す記憶手
段3の説明等で述べたページ単位となり、図2に表示さ
れている複数のストロークがグループ化された情報とし
て記憶され、検索結果として表示される。
【0020】図3は、図1の検索ストローク設定手段2
でキーストロークの指定を行っている画面例である。図
2のデータ入力画面から図3の検索ストロークの指定手
段画面へ移るには、本実施例では、図2の13で説明し
たメニューを用いてモードを切り替える。図中、21は
ストローク指定のための最初のペンダウン位置であり、
22は最終のペン位置である。このように矩形領域の対
角線を指示することによって、矩形領域の内部に含まれ
るストロークデータをキーストロークとして指定する。
図3の画面例の場合は、「丸」と「大」の字を構成する
4本のストロークが指定されたことになる。このような
指定方法は、本実施例の方法に限定されているわけでは
なく、画面上に表示された複数のストロークから特定の
ストロークが指示できればよい。
【0021】よって、マウスやペンを用いた情報機器の
作画アプリケーション等で使用されている様々なストロ
ーク指定手段を応用することが可能である。
【0022】図4は検索ストローク入力画面例であり、
図中、31は検索を実行を指示する実行指示エリアであ
り、32は検索ストローク入力の書き直しをする場合に
既に書かれた検索ストロークを消去するクリア指示エリ
ア、33は検索ストロークの入力を中止するための中止
指示エリアを示している。34は検索ストローク入力エ
リアである。
【0023】検索ストロークの入力は、図で示したよう
に手書きで行うが、本実施例では、ストローク大きさ位
置などの比較は行われない。ストロークの形と入力順序
のみが検索のための比較対象となる。これは、後述する
マッチング方法と関連するもので本発明に係る発明の実
施の態様の制約ではない。
【0024】図5は、検索結果の表示画面例であり、図
4の31に示すエリアより検索の実行を指示された結果
として表示される画面である。図5中、41は検索結果
が複数ページある場合、次の検索ページを表示させるた
めの次候補指示エリアであり、42は検索結果が意図し
たものである場合に指示する終了指示エリアである。終
了指示エリア42を押下した場合は、検索結果として表
示されている画面がデータ入力画面として表示される。
なお、次候補がない場合や、検索結果が全くなかった場
合は、その旨をメッセージとして表示し、使用者に知ら
せる。また、図5の例では検索の対象となっているキー
ストロークの表示が他のストロークの表示と区別され太
く表示されている。
【0025】図6は、図に示す記憶手段3で記憶されて
いるページ単位のストローク情報と、ページインデック
ス、キーストロークの関係をわかりやすく図示した例で
ある。図6中、51はページインデックステーブルを示
したもので、1ページから99ページまでの各ページの
ストロークデータが格納されている先頭アドレスが格納
されている。本例では、ページ情報がストロークのみで
構成されているが、コード情報、ビットマップ情報など
の画像情報も混在させることが可能であり、前記ページ
インデックスのアドレス情報をページごとに複数持てば
簡単に実現できる。
【0026】52はページ内のストローク情報格納エリ
アを図示したもので、図6に示す例では、2ページ目の
ストロークデータを示している。ストローク情報格納エ
リア52において、aは1ストロークデータを表すブロ
ックである。各ストローク内の座標データは、x,yそ
れぞれ15ビットの数値データと、1ビットのストロー
クエンドフラグで表される。
【0027】よって1ストロークブロックの最後のデー
タは、図で示されるように、このフラグがオンを示す”
1”となっており、そのデータは”0”となっている。
またこのようなストロークブロックが複数続いた後、ペ
ージエンドを示すエンドブロックbが存在する。
【0028】このデータは、ストロークエンドフラグが
オンとなり、データ部分が16進数で”7fff”とな
るため、ページの最後を知ることができる。
【0029】また、図6において、53はキーストロー
ク情報の格納エリアを示したものであり、キーストロー
ク情報の格納エリア53において、cはページインデッ
クスの番号、dはストローク情報のオフセットアドレ
ス、eはキーストロークを構成するストロークの本数を
格納したものである。
【0030】cに示すページインデックス番号が”0”
の場合は、キーストローク情報エリアのエンド情報とし
て取り扱う。
【0031】図7は、以上に説明した検索時の動作の詳
細を示したフローチャートである。以下検索時の動作を
図7を用いて詳細に説明する。
【0032】まずステップS1では、入力された検索入
力ストロークより、簡単な特徴抽出を行う。本例では、
ストロークの本数のみである。次にステップS2で、先
述した図6の53に示すキーストローク情報格納エリア
のページインデックスcを調べ、ブロックエンド”0”
かどうかを判別する。その結果”0”のエンドブロック
の場合にはステップS9へ進む。
【0033】一方、ステップS2でエンドブロックでな
い場合は、ステップS3に進む。ステップS3では、ス
テップS1で調べたストローク本数をキーストローク情
報格納エリア53のeのストローク構成数と比較する。
このストローク本数が同じでなければ、ステップS8に
進み、次のキーストロークブロックへと処理を移す。そ
してステップS2に戻る。
【0034】一方、ステップS3でストローク本数が同
じ場合にはステップS4に進み、キーストロークのスト
ローク情報を図6の53に示すキーストローク情報の格
納エリアdのオフセットアドレスを抜き出し、aのペー
ジインデックス番号をもとに図6の51のページインデ
ックステーブルより得られるアドレスと足し合わせ、図
6の52のページ内のストローク情報格納エリア中にあ
るストローク情報からキーストロークとして抜き出す。
この時、図6の53のキーストローク情報の格納エリア
eに格納されたストローク本数分のデータだけをマッチ
ングするためにバッファに抜き出しておく。次にステッ
プS4で、キーストロークを抜き出し、続くステップS
5で検索ストロークと抜き出したキーストロークのマッ
チングを行う。このマッチング方法に関しては、オンラ
イン手書き文字認識でよく使われる公知のストロークベ
クトルのマッチング技術を使用する。本例で用いた方法
を以下において簡単に説明する。
【0035】まずそれぞれのストロークを10等分し、
それぞれを8方向のベクトル表現に変換する。この様に
変換された検索ストロークとキーストロークを、(10
*ストローク本数)のベクトル表現とそれぞれ比較して
いく、この時ベクトルが全く同じものは、ペナルティ”
0”、8方向のベクトルが1つずれたものは、ペナルテ
ィ”1”というようにずれに応じてペナルティを多くす
る。全てのストロークのベクトル比較を行いながら、こ
のペナルティを加算していく。このようにして最終結果
の合計ペナルティを求める。
【0036】このようにして得られた類似度を次のステ
ップS6で判別する。当然ぴったり合っているものはペ
ナルティ”0”となるが、手書きの筆跡は当然書く度に
変わるので、ある程度のペナルティは許容する。この許
容量を変えることによって検索の甘さを調節することも
可能である。本例では、1ストロークあたり10ポイン
トのペナルティを許し、これ以下であれば類似している
と判断する。例えば図4の検索例の場合は、4ストロー
クで構成されているので、合計40個のベクトル表現を
比較することにより、40ポイントが最大のペナルティ
許容量である。
【0037】以上のように本例では、ストロークのベク
トルマッチングを使用したが、よく知られる特徴点抽出
法を応用しても同等の効果が得られる。本発明の狙い
は、このマッチング方法には依存しておらずストローク
類似度が判別できるのであれば、どのような技術を用い
ても差し支えない。
【0038】本例では、先に述べたように図4の例では
40ポイントのペナルティの許容度をもって類似したと
判定する。ステップS6での判定で類似していないと判
断した場合にはステップS6よりステップS8に進み、
次のキーストロークを対象として、その後ステップS2
からの処理を繰り返す。
【0039】一方、ステップS6の判定で類似と判定し
た場合にはステップS7へ進み、このキーストロークの
ページ番号を一時格納してステップS8へ進み、次のキ
ーストロークを対象としてステップS2からの処理を繰
り返す。
【0040】このようにして処理を行い、全てのキース
トロークの検査が終了すると、ステップS2での判定で
キーストロークがなくなり、ステップS2よりステップ
S9の処理に移行し、ステップS7で格納されたページ
番号を次の検索結果表示手段へ出力し、全ての検索処理
を終える。なお、ステップS7で検索されたページがな
い場合は、ページ番号0を出力して終了する。
【0041】以上の処理で出力されたページ番号を基
に、検索結果を図5で示したように表示する。但し、出
力されたページが”0”の場合は、検索対象が見つから
なかった旨のメッセージを出力する。以上の動作により
使用者に対し、ストロークによるページ検索を提供する
ことが実現されている。
【0042】本例では、ストロークマッチングでベクト
ルマッチングを用い、この場合の検索ストロークの制約
条件を非常に緩く設定し、またマッチング条件も非常に
緩く設定したため、ストロークはかなり一致しやすくな
っている。よって、検索ストロークで検索されるページ
は、かなり出やすくなっている反面、意図しないページ
もかなり出力される可能性がある。このような場合で検
索の甘さが感じられる場合には、先に述べたようにマッ
チング時の条件を調節することで変えられるので、最適
な条件に設定することにより、所望の条件での検索が可
能となる。実際は開発時に上手く調整しておくか、条件
の調節を使用者ができるようにしておけば、実用上は全
く問題にはならない。
【0043】さらに、本例では、マッチングを行う前に
ストロークの本数を比較するため高速な処理となってい
るが、この本数比較をやめれば、処理スピードは落ちる
が、キーストロークと検索ストロークのストローク本数
が変わってもよいことになる。またマッチング方法を特
徴点のみにすれば、ストロークの筆順制限なども除くこ
とが可能である。
【0044】この様に、検索の制限は如何様にでも調整
可能であり、使用者が望む最も適した検索制限を選択す
ることが可能である。
【0045】また、本例では、キーストローク設定手段
が、データ入力された任意のストロークを指示すること
によって行えるため、複数データの一部をキーストロー
クとして兼用させたり、複数のキーストロークを同一ペ
ージに持たせたりすることができ、非常に柔軟で使いや
すい検索装置となっている。
【0046】更に、本例では、ページ切り替え機能を提
供したが、この機能を提供せず新ページを作成する場合
に必ずキーストロークを設定するようにすれば、キース
トロークを使用者が、一般的な記号や文字を使用したり
使用者しか知り得ないマークや略字を使用したりするこ
とによってセキュリティのコントロールを行うことが可
能である。
【0047】更にまた本例では、1ページに格納される
データは、ストロークデータのみで構成されているが、
これも本発明の主旨とは関係なくストロークデータ以外
の文字コード情報や、ビットマップのような画像情報が
ページデータに付加されていてもなんら問題はない。
【0048】(発明の実施の態様の第2の例)第2の例
の構成は、上述した第1の例の構成と同様なものにキー
ストロークの表示手段を追加したものである。よって、
上述した第1の例における図1から図7に示す構成は第
2例においても上述した第1の例と全く同じ構成とする
ことができる。このため、詳細説明を省略する。ただ
し、第2例においては、図2以降で説明したメニューの
内容が追加されている。
【0049】具体的には、図2のメニュー表示指示を行
い表示されるメニュー内容に“キーストローク表示”が
追加されている。このキーストローク表示を指示するこ
とによって、図8のキーストローク表示画面が表示され
る。
【0050】図8に示す61には、キーストローク表示
エリアで選ばれたキーストロークがいかにも人間が書い
ているかのように時系列的に表示される。62はキース
トローク選択エリアで現在設定されているキーストロー
クが全て表示される。このエリアの右端にスクロールバ
ーと上下スクロール指示のための矢印が表示されてい
る。これは、この範囲に全てのキーストロークが表示で
きない場合使われる。
【0051】このエリアに表示されたキーストロークエ
リアを、ペンで押下することにより、キーストロークを
選択する。選択されたキーストロークは、書き順がわか
るように時系列的に61のキーストローク表示エリアに
表示される。表示ストロークの大きさは、表示エリアに
合うように座標変換され最適化される。
【0052】63は、既に61のキーストローク表示エ
リアに表示されているキーストロークを一度消去し、再
度時系列的に表示する為の再表示指示エリアである。6
4は表示されているキーストロークを含むページ情報の
検索を行う検索指示エリアであり、使用者が(第1の実
施例)のように手書きの検索ストロークを入力しなくて
もこのキーストロークをインデックスとして検索可能と
している。65はこの画面を終了し再度図2のデータ入
力画面に戻るための終了指示エリアである。
【0053】以下、第2の例の動作を図6と図8を用い
て説明する。先ず、図8の62のキーストローク選択エ
リアにキーストロークを表示するには、図6の53のキ
ーストローク情報格納エリアを検査し、ページ番号が”
0”になるまでキーストロークのデータ取り出しを行
う。この処理は、上述した第1の例で述べた図7のステ
ップS2,S4の処理と全く同様である。
【0054】このようにして抜き出された各キーストロ
ークの座標情報は、各キーストロークごと表示エリアに
位置と大きさが合うよう座標点の平行移動と相似変換を
行いキーストローク選択エリアに表示する。この選択エ
リアで選択されたキーストロークに関しても61の表示
エリアに位置と大きさがあうように座標点の変換が行わ
れる。
【0055】ここまでの処理は、62エリアに表示する
場合と同様であるが、表示方法第1の例とは異なる。ス
トローク表示は通常各座標点を結ぶ複数の直線で表示さ
れるが、このエリアでの表示は、各座標点を結ぶ複数の
直線を一度に表示するのではなく、直線ごと一定時間の
休止を行いながら表示する。
【0056】第2の例の場合においては、各直線ごと約
25msec.程度の休止間隔とした。また更にストロ
ークとストロークの間では、約100msec程度の休
止を入れた。これにより使用者は、キーストロークがど
のような順序で、どの方向から書かれたか明確に確認す
ることが可能となった。
【0057】また64の検索動作に関しては、選択され
たキーストローク情報からページ番号を取り出し出力す
れば、図7のステップS9で出力されたものと全く同じ
として扱え、図1の6の検索結果表示手段によって検索
されたとして表示される。
【0058】本実施例では、使用者がキーストロークの
存在自体や、書き方を忘れてしまい、検索できなくなる
ことを防ぐために効果があるだけでなく、キーストロー
クの検索を手書き入力を行う他に新たな検索方法を提供
できる効果もある。
【0059】以上説明したように、発明の実施の態様に
よれば、複数の情報をグループ化した情報を手書きスト
ロークにより検索できるため、手書き入力が主となる情
報機器において、手書き文字認識や、キーボード入力を
使用する必要がなくなり、使用者にとって容易で高速な
検索を行うことができる。即ち、手書き入力が主となる
情報機器において、検索者独自のキーワードの登録を可
能とすると共に、検索時に使用者が直感的に覚えやすい
記号や略字をキーワードとして使用できる検索装置を提
供することができる。
【0060】また、ストロークをキーワードの代わりと
して使用するため文字コードのように固定化された情報
を検索対象とする必要がなくなり、使用者が直感的に覚
えやすい記号や略字をキーストロークとして使用できる
ためより自由度が増し使いやすくなるばかりでなく、使
用者しか知らないキーストロークを指定することも可能
であり、セキュリティ機能として使用することも可能で
ある。
【0061】更に、検索対象のキーストロークを表示中
から選ぶことができるため、検索方法が更に充実するだ
けでなくキーストロークの確認も行える利点がある。
【0062】また、本発明は、『ホストコンピュータ、
インタフェース、プリンタ等の』複数の機器から構成さ
れるシステムに適用しても、『複写機等の』1つの機器
からなる装置に適用しても良い。また、本発明はシステ
ム或は装置にプログラムを供給することによって実施さ
れる場合にも適用できることは言うまでもない。この場
合、本発明に係るプログラムを格納した記憶媒体が本発
明を構成することになる。そして、該記憶媒体からその
プログラムをシステム或は装置に読み出すことによっ
て、そのシステム或は装置が、予め定められた仕方で動
作する。
【0063】
【発明の効果】以上説明したように本発明によれば、複
数の情報をグループ化した情報をストロークデータ、例
えば手書きのストロークにより検索できるため、手書き
入力が主となる情報機器において手書き文字認識や、キ
ーボード入力を使用する必要がなくなり、使用者にとっ
て容易で高速な検索を行うことができる。またストロー
クをキーワードの代わりとして使用するため文字コード
のように固定化された情報を検索対象とする必要がなく
なり、使用者が直感的に覚えやすい記号や略字をキース
トロークとして使用できるためより自由度が増し使いや
すくなるばかりでなく、使用者しか知らないキーストロ
ークを指定することも可能であり、セキュリティ機能と
して使用することも可能である。
【0064】また、検索ストロークとキーストロークと
の一致を判定する際に、ストローク数が同一であるか否
かを判定して、同一であると判定した場合に検索ストロ
ークとキーストロークとの類似度を判定するために、高
速な処理が可能となる。また、検索対象のキーストロー
クを表示中から選ぶことができるため、検索方法が更に
充実するだけでなくキーストロークの確認も行える利点
がある。
【0065】
【図面の簡単な説明】
【図1】本発明に係る発明の実施の態様の第1の例を示
す構成図である。
【図2】本例における手書きストロークのデータ入力画
面例である。
【図3】本例におけるキーストロークの設定画面例であ
る。
【図4】本例における検索ストロークの入力画面例であ
る。
【図5】本例における検索結果の表示画面例である。
【図6】本例におけるページインデックステーブル、ス
トローク情報、キーストローク情報の関連を示す図であ
る。
【図7】本例における検索時の動作を示す処理の流れ図
である。
【図8】本発明に係る発明の実施の態様の第2の例を示
すキーストローク表示画面例である。
【符号の説明】
1 データ入力手段。 2 検索ストローク設定手段 3 記憶手段 4 検索ストローク入力手段 5 検索手段
───────────────────────────────────────────────────── フロントページの続き (72)発明者 吉井 裕人 東京都大田区下丸子3丁目30番2号 キ ヤノン株式会社内 (56)参考文献 特開 平7−182445(JP,A) 特開 昭62−229383(JP,A) 特開 平7−85097(JP,A) 特開 平5−298374(JP,A) (58)調査した分野(Int.Cl.7,DB名) G06T 7/00 - 7/60 G06F 17/30 170 G06F 17/30 210 G06F 17/30 310 G06T 1/00 200 G06K 9/46 - 9/82

Claims (12)

    (57)【特許請求の範囲】
  1. 【請求項1】ストロークを入力する入力手段と、 前記入力手段より入力された入力ストロークの中から、
    検索の対象となるキーストロークを指定させるキースト
    ローク指定手段と、 前記キーストロークと前記入力ストロークとをグループ
    情報として記憶する記憶手段と、 前記記憶手段に記憶されたグループ情報の中から、入力
    された検索ストロークと一致するキーストロークを検索
    して、検索されたキーストロークを含むグループ情報を
    特定する検索手段と、 前記検索手段で特定されたグループ情報を出力するよう
    制御する出力制御手段とを備え、 前記検索手段は、前記検索ストロークのストローク数が
    前記キーストロークのストローク数と同一であるか否か
    を判定し、同一であると判定した場合に、更に前記検索
    ストロークと前記キーストロークとの類似度を判定する
    ことにより、検索ストロークとキーストロークとの一致
    を判定することを特徴とする検索装置。
  2. 【請求項2】前記出力制御手段は、前記検索手段で検索
    されたキーストロークを区別して、前記グループ情報を
    出力するよう制御することを特徴とする請求項1記載の
    検索装置。
  3. 【請求項3】前記キーストローク指定手段は、前記入力
    ストロークを表示し、表示された入力ストロークの中か
    ら所望のストロークを選択させることでキーストローク
    を指定させることを特徴とする請求項に記載の検索装
    置。
  4. 【請求項4】前記キーストローク指定手段で指定された
    キーストロークについて、ストロークが書かれる順番を
    時系列に表示するキーストローク表示手段を更に備えた
    ことを特徴とする請求項1記載の検索装置。
  5. 【請求項5】前記入力ストロークは、手書きの筆跡を表
    すデータであることを特徴とする請求項1又は請求項2
    に記載の検索装置。
  6. 【請求項6】前記記憶手段に記憶されるグループ情報
    は、ストローク情報以外の情報も含むことを特徴とする
    請求項に記載の検索装置。
  7. 【請求項7】ストロークを入力する入力工程と、 前記入力工程により入力された入力ストロークの中か
    ら、検索の対象となるキーストロークを指定させるキー
    ストローク指定工程と、 前記キーストロークと前記入力ストロークとをグループ
    情報として記憶手段により記憶する記憶工程と、 前記記憶手段に記憶されたグループ情報の中から、入力
    された検索ストロークと一致するキーストロークを検索
    して、検索されたキーストロークを含むグループ情報を
    特定する検索工程と、 前記検索工程で特定されたグループ情報を出力するよう
    制御する出力制御工程とを備え、 前記検索工程では、前記検索ストロークのストローク数
    が前記キーストロークのストローク数と同一であるか否
    かを判定し、同一であると判定した場合に、更に前記検
    索ストロークと前記キーストロークとの類似度を判定す
    ることにより、検索ストロークとキーストロークとの一
    致を判定することを特徴とする検索方法。
  8. 【請求項8】前記出力制御工程は、前記検索工程で検索
    されたキーストロークを区別して、前記グル ープ情報を
    出力するよう制御することを特徴とする請求項7記載の
    検索方法。
  9. 【請求項9】前記キーストローク指定工程では、前記入
    力ストロークを表示し、表示された入力ストロークの中
    から所望のストロークを選択させることでキーストロー
    クを指定させることを特徴とする請求項に記載の検索
    方法。
  10. 【請求項10】前記キーストローク指定工程で指定され
    たキーストロークについて、ストロークが書かれる順番
    を時系列に表示するキーストローク表示工程を更に備え
    たことを特徴とする請求項7記載の検索方法。
  11. 【請求項11】前記入力ストロークは、手書きの筆跡を
    表すデータであることを特徴とする請求項に記載の検
    索方法。
  12. 【請求項12】前記記憶手段に記憶されるグループ情報
    は、ストローク情報以外の情報も含むことを特徴とする
    請求項に記載の検索方法。
JP24282995A 1995-09-21 1995-09-21 検索装置及び方法 Expired - Fee Related JP3535624B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP24282995A JP3535624B2 (ja) 1995-09-21 1995-09-21 検索装置及び方法
US08/715,122 US6373473B1 (en) 1995-09-21 1996-09-17 Data storage apparatus and data retrieval method in said apparatus
DE69625759T DE69625759T2 (de) 1995-09-21 1996-09-20 Vorrichtung und Verfahren zum Abspeichern und zum Wiederauffinden von Daten
EP96115158A EP0764908B1 (en) 1995-09-21 1996-09-20 Data storage and data retrieval apparatus and method
KR1019960041212A KR100283633B1 (ko) 1995-09-21 1996-09-20 데이타 저장 장치 및 이의 데이타 검색 방법
CNB961128399A CN1169068C (zh) 1995-09-21 1996-09-20 数据存储设备及其控制方法
HK98113113A HK1012099A1 (en) 1995-09-21 1998-12-10 Data storage and data retrieval apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP24282995A JP3535624B2 (ja) 1995-09-21 1995-09-21 検索装置及び方法

Publications (2)

Publication Number Publication Date
JPH0991424A JPH0991424A (ja) 1997-04-04
JP3535624B2 true JP3535624B2 (ja) 2004-06-07

Family

ID=17094917

Family Applications (1)

Application Number Title Priority Date Filing Date
JP24282995A Expired - Fee Related JP3535624B2 (ja) 1995-09-21 1995-09-21 検索装置及び方法

Country Status (7)

Country Link
US (1) US6373473B1 (ja)
EP (1) EP0764908B1 (ja)
JP (1) JP3535624B2 (ja)
KR (1) KR100283633B1 (ja)
CN (1) CN1169068C (ja)
DE (1) DE69625759T2 (ja)
HK (1) HK1012099A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101492995B1 (ko) 2008-07-08 2015-02-13 주식회사 비즈모델라인 무선단말 이용 권한 공유 확인 방법

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5832474A (en) * 1996-02-26 1998-11-03 Matsushita Electric Industrial Co., Ltd. Document search and retrieval system with partial match searching of user-drawn annotations
US6801659B1 (en) 1999-01-04 2004-10-05 Zi Technology Corporation Ltd. Text input system for ideographic and nonideographic languages
GB2354099B (en) * 1999-09-09 2003-09-10 Sony Uk Ltd Image identification apparatus and method of identifying images
US6999622B2 (en) * 2000-03-31 2006-02-14 Brother Kogyo Kabushiki Kaisha Stroke data editing device
US6618040B1 (en) * 2000-09-15 2003-09-09 Targus Communications Corp. Apparatus and method for indexing into an electronic document to locate a page or a graphical image
US7602379B2 (en) * 2001-06-19 2009-10-13 Hewlett-Packard Development Company, L.P. Digital annotator
US7120320B2 (en) 2001-09-21 2006-10-10 Anoto Ab Method and apparatus for displaying a handwritten message based on position and time data
SE520022C2 (sv) * 2001-09-21 2003-05-06 Anoto Ab C O C Technologies Ab Förfarande och anordning för segmentering av handskrivna objekt
US7287027B2 (en) * 2004-03-01 2007-10-23 Sap Ag System and method for entering a default field value through statistical defaulting
JP2007317022A (ja) 2006-05-26 2007-12-06 Canon Inc 手書文字処理装置及び手書文字処理方法
JP4046753B2 (ja) * 2006-06-22 2008-02-13 株式会社コナミデジタルエンタテインメント 線形状処理装置、線形状処理方法、ならびに、プログラム
JP5464786B2 (ja) 2006-12-21 2014-04-09 キヤノン株式会社 情報処理装置、制御方法、及び制御プログラム
KR20080097718A (ko) * 2007-05-03 2008-11-06 삼성전자주식회사 휴대용 단말기에서 형상 인식을 이용한 전화번호 검색 방법및 장치
JP5538967B2 (ja) 2009-06-18 2014-07-02 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
US8768944B2 (en) 2010-08-18 2014-07-01 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and storage medium
JP5675214B2 (ja) 2010-08-18 2015-02-25 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
JP5719145B2 (ja) 2010-11-02 2015-05-13 キヤノン株式会社 情報処理装置、その処理方法及びプログラム
CN104471892A (zh) * 2011-12-02 2015-03-25 巴克莱银行公开有限公司 基于图形化签名的用户访问控制
JP5395927B2 (ja) * 2012-05-11 2014-01-22 株式会社東芝 電子機器および手書き文書検索方法
JP5349645B1 (ja) * 2012-05-11 2013-11-20 株式会社東芝 電子機器および手書き文書処理方法
JP5694234B2 (ja) * 2012-05-11 2015-04-01 株式会社東芝 電子機器、手書き文書表示方法、及び表示プログラム
JP5717691B2 (ja) 2012-05-28 2015-05-13 株式会社東芝 手書き文字検索装置、方法及びプログラム
JP2014032632A (ja) * 2012-08-06 2014-02-20 Toshiba Corp 電子機器、方法、およびプログラム
JP5567097B2 (ja) 2012-10-26 2014-08-06 株式会社東芝 電子機器、手書き文書表示方法、及び表示プログラム
JP2014092902A (ja) * 2012-11-02 2014-05-19 Toshiba Corp 電子機器および手書き文書処理方法
JP6038700B2 (ja) * 2013-03-25 2016-12-07 株式会社東芝 整形装置
WO2015004730A1 (ja) * 2013-07-09 2015-01-15 株式会社 東芝 検索方法及び電子機器
JP2013239203A (ja) * 2013-08-05 2013-11-28 Toshiba Corp 電子機器、方法、及びプログラム
US10725650B2 (en) * 2014-03-17 2020-07-28 Kabushiki Kaisha Kawai Gakki Seisakusho Handwritten music sign recognition device and program
JP6430198B2 (ja) * 2014-09-30 2018-11-28 株式会社東芝 電子機器、方法及びプログラム
JP6030172B2 (ja) * 2015-03-12 2016-11-24 株式会社東芝 手書き文字検索装置、方法及びプログラム
JP2017215833A (ja) * 2016-06-01 2017-12-07 株式会社リコー 情報処理システム、情報処理方法、情報処理装置およびプログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5191622A (en) 1987-07-17 1993-03-02 Hitachi, Ltd. Hand-written character recognition apparatus with a personal dictionary preparation function
JP3105967B2 (ja) 1991-11-14 2000-11-06 キヤノン株式会社 文字認識方法及び装置
US5333209A (en) * 1992-03-24 1994-07-26 At&T Bell Laboratories Method of recognizing handwritten symbols
JP3371454B2 (ja) 1993-01-13 2003-01-27 石川島播磨重工業株式会社 連続真空蒸着装置
JPH0773190A (ja) 1993-04-29 1995-03-17 Matsushita Electric Ind Co Ltd ペンベースコンピューターシステム用絵文字ネーミング
JPH0756956A (ja) 1993-07-22 1995-03-03 Xerox Corp 人間の作成したイメージに基づくデータアクセス方法
US5592608A (en) * 1993-10-15 1997-01-07 Xerox Corporation Interactively producing indices into image and gesture-based data using unrecognized graphical objects
US5528701A (en) * 1994-09-02 1996-06-18 Panasonic Technologies, Inc. Trie based method for indexing handwritten databases
US5687254A (en) 1994-06-06 1997-11-11 Xerox Corporation Searching and Matching unrecognized handwriting
JPH0877190A (ja) 1994-09-06 1996-03-22 Sharp Corp 文書作成装置の編集方法
US5757959A (en) * 1995-04-05 1998-05-26 Panasonic Technologies, Inc. System and method for handwriting matching using edit distance computation in a systolic array processor
US5832474A (en) * 1996-02-26 1998-11-03 Matsushita Electric Industrial Co., Ltd. Document search and retrieval system with partial match searching of user-drawn annotations

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101492995B1 (ko) 2008-07-08 2015-02-13 주식회사 비즈모델라인 무선단말 이용 권한 공유 확인 방법

Also Published As

Publication number Publication date
DE69625759T2 (de) 2003-10-02
EP0764908B1 (en) 2003-01-15
DE69625759D1 (de) 2003-02-20
EP0764908A1 (en) 1997-03-26
KR970016906A (ko) 1997-04-28
CN1151053A (zh) 1997-06-04
KR100283633B1 (ko) 2001-03-02
US6373473B1 (en) 2002-04-16
JPH0991424A (ja) 1997-04-04
HK1012099A1 (en) 1999-07-23
CN1169068C (zh) 2004-09-29

Similar Documents

Publication Publication Date Title
JP3535624B2 (ja) 検索装置及び方法
JP4728860B2 (ja) 情報検索装置
US6107994A (en) Character input method and apparatus arrangement
US6970599B2 (en) Chinese character handwriting recognition system
CN1205528C (zh) 计算机***中提供提示的方法
US20080150910A1 (en) Handwritten charater input device
JPH06242885A (ja) 文書編集方法
JPH07200786A (ja) ファイリング装置
JPH0785074A (ja) 文書検索方法および装置
JP3292752B2 (ja) ジェスチャー処理装置およびジェスチャー処理方法
US7170503B2 (en) Layer editing method and apparatus in a pen computing system
JP2005182460A (ja) 情報処理装置、注釈処理方法、情報処理プログラムおよび情報処理プログラムを格納した記録媒体
JPH02126361A (ja) 中国語入力装置
JPH11154198A (ja) 手書き入力装置及び記憶媒体
US20030223640A1 (en) Apparatus, methods, computer program products for editing handwritten symbols using alternative known symbols
JP2003015807A (ja) 入力制御方法と入力制御プログラム
JPH09230992A (ja) 情報処理装置
JP2561000B2 (ja) 文字列出力方法
JPH04148370A (ja) 文書処理装置
JPH0793483A (ja) 手書き文字認識方法および手書き文字認識装置
JPH1091618A (ja) 文書作成装置及び文書作成装置制御プログラムを記憶した媒体
JPH11353073A (ja) データ入力装置及び記憶媒体
JPH06131096A (ja) キーボード映像を切換えて使用可能な情報処理装置
JPH0863487A (ja) 文書検索方法及び文書検索装置
JPH09212588A (ja) 文字入力装置及び文字入力方法

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040308

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040312

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080319

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090319

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100319

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100319

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110319

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120319

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130319

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140319

Year of fee payment: 10

LAPS Cancellation because of no payment of annual fees