JP3382071B2 - 文字コード取得装置 - Google Patents
文字コード取得装置Info
- Publication number
- JP3382071B2 JP3382071B2 JP23531895A JP23531895A JP3382071B2 JP 3382071 B2 JP3382071 B2 JP 3382071B2 JP 23531895 A JP23531895 A JP 23531895A JP 23531895 A JP23531895 A JP 23531895A JP 3382071 B2 JP3382071 B2 JP 3382071B2
- Authority
- JP
- Japan
- Prior art keywords
- character
- character code
- range
- image
- acquisition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Character Input (AREA)
Description
ルコンピュータなどに適用して好適な文字コード取得装
置に係り、特に表示画面上に表示された文字画像に対応
した文字コードを表示状況に応じた最適な方法により取
得する文字コード取得装置に関する。
ものがあり、これに伴って種々のデータ取得方法が利用
されている。そして、その中の一つに、表示画面上に表
示された文字画像(イメージ)からその文字コードを取
得する方法が存在する。
取得する方法としては、次の2つの方法が採用されてき
た。一つは、文字画像をテキストリーダを用いて文字認
識することにより文字コードに変換する方法であり、も
う一つは、文字画像を表示しているアプリケーションプ
ログラム自身から直接文字コードを取得する方法であ
る。
字画像からその文字コードを簡単に取得しようとする場
合、これらの方法には以下の欠点があった。まず前者の
方法では、テキストリーダで処理させる画像ファイルを
別途準備するために、画像切り取りを行なう別のソフト
ウエアを利用する必要があった。また、認識を実行する
ためには、テキストリーダを直接操作する必要があり、
複数のアプリケーションプログラムを組み合わせた煩雑
な操作が必要であった。また後者の方法では、内部に文
字コードを保持しているアプリケーションプログラムで
あって、かつこの文字コードの送受信をサポートしてい
るアプリケーションプログラムでなければ操作が行なえ
ない。したがって、たとえばイメージ表示用のツールな
どでは、このような機能を用いることはできなかった。
示された文字画像の文字コードを簡単な操作を行なうの
みでテキストリーダによって認識させるようなシステム
は存在しなかった。また、アプリケーションプログラム
の種類に依存せずに統一的な操作で処理することのでき
る装置が存在しなかったため、アプリケーションプログ
ラムごとに操作方法を切替える必要があった。
索システムと連動したものは存在しなかった。このた
め、取得した文字コードに対して関連する情報を入手し
ようとした場合、検索を行なうための別のアプリケーシ
ョンプログラムを利用しなければならず、手軽に検索機
能を利用することができなかった。また、当然ながらこ
の検索結果を認識結果の向上に活用するなどといったシ
ステムは存在しなかった。
クの大容量化により、大規模なネットワークに接続され
た豊富な計算機資源を活用した分散処理が今後発展して
いくと予想される。このような環境では、たとえば精度
の異なる画像データを並列に処理してもそれぞれにかか
る時間は従来通りであり、またそれぞれの認識処理をさ
らに並列処理アルゴリズムで処理することも可能であ
る。
るデータを分割して同時に処理するような並列処理は考
えられているが、同一対象について異なる精度の画像デ
ータを並列に処理するということは考えられていなかっ
た。
数のアプリケーションプログラムとの通信機能をもつシ
ステムは存在しなかった。このため、たとえば文字認識
部を異なる計算機で動作させて,大量のイメージデータ
によるネットワークトラフィックを減少させるといっ
た、処理の分業を実現する仕組みをもつシステムは存在
しなかった。
での処理指定方法において、読み取りエリアの指定をす
る際に、入力画像に対する画像処理や認識処理の結果得
られる単語の位置情報などを矩形表示して、これをポイ
ンティングデバイスなどで指示することによって確定す
る方法がすでに考えられている。
存在するときに、1つ1つ指示していかなければならな
いため、非常に不便であった。また、この方法は、指示
された部分を認識し、その認識結果やそれに関連する情
報を表示する機能しかもっていないために、応用範囲が
非常に狭いものであった。
て、複数のテキストを一度の操作で指示する指示方法が
知られている。この方法では、開始位置をまず指示し、
次に終了位置を指示する。そして、その間の文字を反転
表示して、現在どの文字が選択されようとしているのか
をオペレータに示し、マウスをクリックするなどの確定
処理により取り出すべきテキストの範囲を決定するもの
である。
に整列している場合のみ可能な方法であり、一般の文書
画像から抽出すべき文字列を確定するには向いていない
ものであった。
では、画面上に表示された文字画像を簡単な操作で認識
処理するようなシステムは存在しなかった。また、アプ
リケーションプログラムの種類に依存せずに統一的な操
作で処理することのできる装置は存在しなかった。
ものであり、画像切り取り機能とOCR(Optical Char
acter Reader)機能とを一体化することにより、画面上
に表示された文字画像に対応した文字コードを簡単な操
作で取得することのできる文字コード取得装置を提供す
ることを目的とする。
を行なう際に、アプリケーションプログラムと通信を行
ない、アプリケーションプログラムの種類に応じた適切
な処理を自動的に判断し実行することによって、操作の
統一性を図るとともに操作性の一層の向上をはかること
を目的とする。
に対応した文字コードに関連する情報を検索することに
より、利用者の発想支援を実現する文字コード取得装置
を提供することを目的とする。
結果の修正を行なうことで、より正確な文字認識結果を
得ることを可能とする文字コード取得装置を提供するこ
とを目的とする。さらに、検索する文書データベースに
利用者の有する文書を格納しておくことにより、利用者
の使用する語句の傾向に応じた認識結果を得ることを可
能とする文字コード取得装置を提供すること目的とす
る。
いて異なる精度の画像データを処理するといったことは
考えられていなかった。
境で並列処理することにより、ユーザは処理結果をより
速く得られ、かつ信頼性の高い処理結果を得ることので
きる文字コード取得装置を提供することを目的とする。
との通信により、たとえば文字認識部が異なる計算機で
動作していた場合に、大量の文字画像データをネットワ
ークにより通信することを極力さけることにより,文字
コード取得のための応答時間の大幅な短縮が図れる文字
コード取得装置を提供することを目的とする。
任意の領域を範囲指定する範囲指定手段と、この範囲指
定された領域内で描画されている画像データをビデオメ
モリから切り取る画像切り取り手段と、この切り出され
た画像データに対し文字認識を行なう文字認識手段とを
具備していることを特徴とする。
に対応したアプリケーションプログラムとの通信が可能
か否かを判定し、可能であるときに、前記アプリケーシ
ョンプログラムから文字コードの取得方法を得ることに
よりその取得方法を決定する取得方法決定手段をさらに
具備したことを特徴とする。
が、前記アプリケーションプログラムとの通信が不可能
であるときに、前記画像切り取り手段および前記文字認
識手段により前記範囲指定された領域内の文字画像に対
応した文字コードを取得するようにその取得方法を決定
することを特徴とする。
が、前記指定された領域への表示が前記アプリケーショ
ンプログラムの内部に保持された文字コードに基づいて
行なわれているときに、前記範囲指定された領域内の文
字画像に対応した文字コードを前記アプリケーションが
内部に保持する文字コードから取得する方法を取得方法
として決定することを特徴とする。
は、前記指定された領域への表示が前記アプリケーショ
ンの内部に保持された高品質の画像データに基づいて行
なわれているときに、前記範囲指定された領域内の文字
画像に対応した文字コードを前記アプリケーションプロ
グラムが内部に保持する高品質の画像データから取得す
る方法を取得方法として決定することを特徴とする。
結果に基づいて情報検索を行なう情報検索手段と、この
検索結果を表示する検索結果表示手段とをさらに具備し
たことを特徴とする。
検索されたテキストに基づいて、前記文字認識手段の認
識結果に含まれる語の校正を行なう校正手段をさらに具
備したことを特徴とする。
記ビデオメモリから切り取られた画像データと、前記ア
プリケーションプログラムが内部に保持する高品質の画
像データとの双方に対し文字認識を行なうことを特徴と
する。
に、前記アプリケーションプログラムとの通信を行なう
通信手段を設け、この複数の計算機によって構成される
分散システム上で動作することを特徴とする。
記表示画面上から読み取り対象となる文字領域を抽出し
て所定の形態で表示画面上に一覧表示する一覧表示手段
と、この一覧表示された文字領域の中から所望の文字領
域を指示することにより読み取り対象とする領域を確定
する確定手段とを具備したことを特徴とする。
記表示画面上から読み取り対象となる文字領域を抽出し
て所定の形態で表示画面上に一覧表示する一覧表示手段
と、この一覧表示された文字領域に対し前記表示画面上
でその文字領域の取得開始位置と取得終了位置とを指示
する文字領域指示手段と、この指示された取得開始位置
および取得終了位置と前記抽出された文字領域それぞれ
の位置関係とに基づいて読み取り対象とする領域を確定
する確定手段とを具備することを特徴とする。
インティングデバイスを用いて範囲指定をするといっ
た、範囲指定手段による表示画面上の任意の領域の範囲
選択が行なわれると、画像切り出し手段が、この範囲選
択された領域内で描画されている画像データ(ビットマ
ップデータ)をビデオメモリから切り取って、この切り
取られた画像データを文字認識手段が文字認識すること
により文字コードを取得する。
ションプログラムが表示する文字画像であるのか、この
文字画像は文字コードに基づいて展開されているものな
のかどうか、などといったことを一切考慮する必要がな
く、かつ統一的な操作で表示画面上の所望の領域内の文
字画像に対応する文字コードを取得することができるこ
ととなる。
が、この範囲指定された領域に対応するアプリケーショ
ンプログラム(表示出力する画像データが、その範囲選
択された領域で表示されているアプリケーションプログ
ラム)との通信が可能であるかどうかを判定し、その判
定結果にしたがって、その範囲指定された領域内の文字
画像に対応した文字コードの取得方法を決定する。
プログラムとの通信が可能であった場合であって、その
アプリケーションプログラムが内部に保持した文字コー
ドに基づいて文字画像の表示を行なっている場合には、
その内部に保持した文字コードを利用することにより文
字画像に対応した文字コードの取得を行なう。また、そ
のアプリケーションプログラムが内部に保持した画像デ
ータ(イメージデータ)に基づいて文字画像の表示を行
なっている場合であっても、たとえばこのイメージデー
タが高品質である場合には、この高品質の画像データを
利用することにより文字画像に対応した文字コードの取
得を行なう。
信が不可能であった場合には、前述したように、ビデオ
メモリに保持された画像データを利用した文字コードの
取得を行なう。
状況に応じて、最適な文字コード取得方法が自動的に決
定されることになり、かつユーザはこれらをまったく意
識することなく統一的な操作で信頼性の高い文字コード
を取得することができることとなる。
この取得された文字コードに基づいて情報の検索を行な
い、検索結果表示手段がその検索結果を表示する。さら
に、構成手段は、この検索結果に基づいて、認識結果で
ある文字コードの構成を行なう。
い文字や、認識候補を複数もつような形態の文字に対す
る修正作業などが、関連文書などに基づいて行なえるよ
うになるため、その効率を飛躍的に向上させることがで
きることとなり、また、以降の認識率を向上させるとい
ったことが可能となる。
なアプリケーションプログラムが内部に高品質な画像デ
ータを保持しているような場合に、文字認識手段が、こ
の高品質の画像データと、ビデオメモリに保持された画
像データとの双方に対して文字認識を行なう。この作業
は、たとえば文字認識手段を複数設けて並列に行なうな
ど、いずれの手順を採用しても構わない。
することにより、たとえば、まずビデオメモリに保持さ
れた画像データの認識結果を確認させ、その状況によっ
て高品質な画像データの認識終了を待機するかどうかを
ユーザに決定させるなどといった、処理時間の短縮と認
識精度の向上とを両立させたシステムを構築することが
できることとなる。
り構成される分散システム上で動作するために、たとえ
ば大量のイメージデータによるネットワークトラフィッ
クを減少させるといったことが実現される。
表示画面上から読み取り対象となる文字領域を抽出して
所定の形態で表示画面上に一覧表示する。また、文字領
域指示手段が、この表示画面上においてその文字領域の
取得開始位置と取得終了位置とを指示する。そして、確
定手段が、この指示された取得開始位置および取得終了
位置と、抽出された文字領域それぞれの位置関係とに基
づいて読み取り対象とする領域を確定する。
立して存在する複数の領域に表示された文字画像に対す
る文字コードを取得したい場合に、複数回の指示操作を
繰返す必要がなくなり、その操作性は飛躍的に向上す
る。
形態を説明する。
形態の文字コード取得装置の構成を示す機能ブロック図
である。
ド取得装置は、制御部1、入力部2、範囲指定部3、画
像切り取り部4、文字認識部5、文字コード出力部6、
画面表示部7およびディスプレイ8から構成される。
動作を管理し制御するところであり、入力部2から送ら
れてくるユーザの指示とその時点での同装置内の状態と
から各部の動作を制御する。入力部2は、ユーザによる
指示操作が入力される部分である。この入力デバイスと
して、同実施形態では、マウスおよびキーボードを用い
るが、これ以外にもタブレットやトラックボールなどと
いった他のポインティングデバイスを適用することも可
能である。
た画像内において、文字コードを取得したい所望の文字
画像領域の範囲をユーザが指定する範囲指定処理を行な
うところである。範囲指定部3は、制御部1から送られ
てくる範囲指定に関する指示にしたがって、指定範囲の
表示および指定範囲の確定処理を行なう。画像切り取り
部4は、範囲指定部3により指定された範囲部分の画像
データをビデオメモリから切り取ってくるところであ
る。
により切り出された画像データに対応する文字コードを
抽出するために文字認識処理を行なうところである。文
字コード出力部6は、文字認識部5により抽出された文
字コードを共有メモリやプリンタなどに出力するところ
である。画面表示部7は、範囲指定部3から送られる範
囲指定の表示の指示にしたがって、ディスプレイ8への
表示を行なう。なお、同実施形態では、ディスプレイ8
としてCRTを用いるが、それ以外にも液晶表示装置や
大型スクリーンなどといった他の出力デバイスを適用す
ることも可能である。
手順を説明する。
ド取得の開始を指示する(ステップA1)。この指示
は、たとえば同装置がアイコンによってユーザからの指
示を受け取っている場合には、このアイコンをマウスの
左ボタンでクリックすることにより行なわれる(図3参
照)。その他、この開始の指示は、開始用の専用のボタ
ンを押すなど、他の方法で行なうことも可能である。
伝達され、制御部1により開始の指示であると解釈され
る。さらに制御部1は、範囲指定部3に制御を移すとと
もに、入力部2より送られるユーザの操作を範囲指定部
3に伝える働きをする。これにより、以下範囲指定部3
による範囲指定処理が実行される。このとき、たとえば
マウスの形状を十字型に変えるなどといったことを行な
うことにより、同装置が範囲選択の状態にあることをユ
ーザーが容易に知ることができるとともに、誤操作を防
止することができる。
コードとして取得したい領域をマウスなどのポインティ
ングデバイスを用いて範囲選択する(ステップA2)。
この範囲選択の方法としては、矩形領域による選択(図
4参照)、ポリゴンによる選択(図5参照)など複数の
選択方法を用意する。
場合には、図6に示す手順にしたがって操作する。
タンをクリックする(ステップB1〜ステップB3)。
続いて左ボタンを押したまま、マウスをドラッグする。
この際、最初に左ボタンをクリックした地点と現在のマ
ウスの位置とを対角線とする矩形領域が反転表示される
(ステップB8〜ステップB9)。この反転表示された
矩形領域が文字コードとして取得する範囲となる。マウ
スをドラッグし続けると、マウスの移動に応じて矩形領
域もリアルタイムで再表示される。ユーザはこの矩形領
域を目で確認しながら、希望する範囲が矩形で選択され
るようにマウスを操作し、選択されたところでマウスの
左ボタンから手を離す(ステップB4〜ステップB
6)。
は終了し、同装置はユーザに対して範囲を確定しても良
いかどうかの確認メッセージを出して、ユーザからの応
答を待つ(ステップB10〜ステップB11)。
は、まずマウスの左ボタンをクリックしてポリゴンの始
点を指示する。引続きマウスの左ボタンをクリックする
ことで第2点、第3点と指示して行き、最後にマウスの
中ボタンをクリックすると直前の指定点と第一点との間
が結ばれ、ポリゴン領域が選択される。
の右ボタンをクリックすることで途中の指定点をキャン
セルし、1回前の状態に戻すといった範囲選択の際の修
正動作を行なうことができる。
よる選択の場合と同様に領域選択の後、同装置は、ユー
ザに対して選択された範囲を確定しても良いかどうかの
確認メッセージを出してユーザからの応答を待つ。この
様子を図7に示す。ここでは、図7に示すように、「は
い」、「いいえ」および「終了」の3つの選択肢が設定
されており、「はい」を選択すると選択された領域が確
定される。また、「いいえ」を選択すると選択された領
域が取り消されて、範囲選択前の状態に戻る。したがっ
て、このときユーザは再び左ボタンクリックからの操作
を繰り返すことになる。また、「終了」を選択すると一
連の文字コード取得操作そのものを中止にする。この場
合、再び文字コードの取得を行なう際には、図3で示し
た範囲選択の開始操作から始めることになる。なお、同
装置からの確認メッセージを省略し、範囲選択が終了し
た後、直ちに選択された範囲を確定することも可能であ
る。この場合には、範囲を誤って指定した場合であって
も、その後の処理が始まってしまい、範囲の修正ができ
ないといった欠点はあるが、逆に即座に処理を行なうこ
とが可能になる。
囲が確定されると、一連の範囲指定処理の終了が制御部
1に通知される。制御部1では、指定された範囲を画面
切り取り部4に送り、画面上の指定範囲に展開している
ビットマップイメージの取り出しを指示する(ステップ
A3)。
取り出し方法として、たとえばマイクロソフト社製造販
売のWindows3.1の場合、API関数であるCr
eateCompatibleBitmap() 関数を用いて指定範囲のビッ
トマップを獲得することができる。他のウインドウシス
テムにおいても、同様の関数を利用することで容易に実
現することができる。
ップイメージが獲得されると、画面切り取り部4の処理
の終了が制御部1に通知される。そして、制御部1は、
文字認識部5に対して取り出されたビットマップイメー
ジに対する文字認識処理の実行を指示する(ステップA
4)。
ータに含まれる文字コードの認識処理が実行される。そ
の概略手順は、まず当該イメージのレイアウト解析が行
なわれ、文書を構成する行の抽出が行なわれる。続いて
抽出されたそれぞれの行に対して、文字の切り出しが行
なわれ、その後にそれぞれの文字に対して文字認識が実
行される。
と、処理の終了が制御部1に伝えられる。制御部1で
は、続いて文字コード出力部6に、文字コードの共有メ
モリやプリンタなどといった外部デバイスへの出力を指
示する(ステップA5)(図8参照)。
を終えると、その旨を制御部1に伝える。そして、制御
部1は一連の処理を終了させる。
ば、画面上に表示された文字画像からの文字コード取得
にあたり、ユーザは画面上で範囲を指定するだけでその
目的を達成できることとなる。
り、高解像度のディスプレイ上でのウインドウ環境がす
でに一般的になり、画像などのマルチメディアデータを
扱う機会が多くなってきた。今後、コンピュータの高機
能化が進むにつれ、このような機会は確実に増えてく
る。このような状況下にあって、たとえば他のウインド
ウ上に表示された文書画像を文書作成中に利用したいと
いった要求が今後高まっていくことは容易に想像するこ
とができる。
された文書画像から文字コードを取り出すために、所望
の画像を切り出してOCRで利用できるイメージ形式の
データに変換する画像切り出し用のアプリケーションプ
ログラムと、このデータから文字コードを取り出すOC
Rアプリケーションプログラムとの最低2つのアプリケ
ーションプログラムを組み合わせて利用する必要があっ
た(図9(a))。たとえば、画面切り出しのアプリケ
ーションツールで希望の範囲を切り出し、この結果をク
リップボード上に出力して、その後にOCRソフトを立
ち上げてクリップボード上のデータに対する文字認識を
実行し、その結果を再びクリップボードに出力する、な
どといった手順が必要であった。
よれば、画面切り出し機能と、OCR機能(文字認識機
能)とが1つのアプリケーションとして組み合わされて
いるために、画面切り出しを行なうと、直ちにそのイメ
ージに対する文字認識が実行され、簡単に文字コードを
取得することができるため(図9の(b))、処理手順
の簡略化によりユーザにとって使いやすい環境を提供で
きることに加え、処理時間の短縮といった大きな効果を
奏することができる。
形態を説明する。
ド取得装置の構成を示す機能ブロック図である。
ード取得装置は、第1実施形態の文字コード取得装置の
構成に、取得方法決定部22、ウインドウ情報管理部
9、ウインドウ情報記憶部10、アプリケーション通信
部11、および文字コード取得部23を加えた構成とな
っている。
範囲に含まれる画像を表示するアプリケーション12か
ら、その文字コードを取得する方法を知得して決定する
ところである。範囲指定部3においてユーザが指定した
文字コードの取得範囲をウィンドウ情報管理部9に送
り、文字コードを取得する対象となるウィンドウと、そ
のウィンドウ内における文字コードの取得範囲と、その
ウィンドウを表示するアプリケーション12の識別デー
タを通知してもらい、アプリケーション12との通信が
可能であるかどうかをアプリケーション通信部11を介
して判定し、アプリケーション12からの文字コードの
取得方法を決定する。
部22から送られてくる文字コードの取得範囲と、この
取得範囲が送られた時点でウィンドウ情報記憶部10に
格納されてる画面上のウィンドウに関する情報とから、
文字コードを取得する対象となるウィンドウ、このウィ
ンドウ内における文字コードの取得範囲、およびこのウ
ィンドウを表示するアプリケーション12を決定すると
ころである。ウィンドウ情報記憶部10は、画面上のウ
ィンドウに関する情報を格納しているところである。
プリケーション12との通信を行なうところであり、ア
プリケーション12と通信が可能であるかどうかを調べ
ることと、アプリケーション12が画面上に表示してい
る画像のうち、文字コードの取得範囲に含まれる領域に
対応するイメージや文字コードをアプリケーション12
から受けとる処理を行なう。なお、アプリケーション1
2は、文字コードを取得する範囲に含まれる画像を画面
上に表示しているアプリケーションプログラムである。
ドを取得する対象となるアプリケーション12から文字
コード情報を取得する部分である。取得方法決定部22
から入力される、文字コードを取得する対象となるウィ
ンドウと、このウィンドウ内における文字コードの取得
範囲と、このウィンドウを表示するアプリケーション1
2と、このアプリケーション12からの文字コードの取
得方法とに基づき、アプリケーション12が通信可能で
ある場合には、アプリケーション通信部11を介して通
信を行ない、その取得範囲に対応するデータを取得す
る。アプリケーション12と通信ができない場合、また
は取得範囲に対応するデータが得られなかった場合に
は、画像切り取り部4および文字認識部5により取得範
囲に対応する文字コードを取得する。
たデータがイメージである場合には、文字認識部5によ
り文字コードに変換して文字コードを取得する。
ン12が文字コードの取得範囲に対応するデータを通信
によって出力することができるアプリケーション(以
下、通信対応アプリケーションと称す)である場合、通
信によってこのデータを取得しているが、この通信対応
アプリケーションの構成を図11に示す。
プリケーション通信部11との通信を行なうところであ
る。この通信部121は、アプリケーション通信部11
から送られてくる指定範囲に対応するデータの取得要求
を転送情報決定部122へ転送する処理と、転送情報決
定部122で決定された要求指定範囲に対応するデータ
をアプリケーション通信部11へ返送する処理を行な
う。
21から送られる指定範囲に対応するデータの取得要求
に応じ、レイアウト情報記憶部123の表示位置情報
と、データ記憶部124のデータとに基づいて、要求さ
れた範囲に含まれるデータを決定し、通信部121に返
送するところである。
憶部124の各データが画面上のどのウィンドウのどの
位置に表示されているかというデータの表示位置に関す
る情報を格納するところである。データ記憶部124
は、通信対応アプリケーション12が画面上に表示して
いる画像に対応する、通信対応アプリケーション12内
部でデータを格納するところである。
作手順を説明する。
ド取得の開始を指示する(ステップC1)。
あると解釈され、制御部1は、範囲指定部3に範囲指定
処理の開始を指示する。
像から文字コードとして取得したい範囲を、マウスなど
のポインティングデバイスを使って指定する(ステップ
C2)。この範囲指定の方法としては、第1実施形態と
同様に、矩形領域による選択(図4参照)、ポリゴンに
よる選択(図5参照)などが用意されるが、これ以外の
方法でも範囲を指定することは可能である。
指定部3はユーザに対して範囲を確定するために確認を
求め(図7参照)、ユーザが承認した際に文字コードを
取得する範囲を確定する。なお、同実施形態では、ユー
ザに対して指定範囲の確認を行なっているが、指定範囲
の確認を省略しても範囲指定処理は実行可能である。
操作は、制御部1において範囲指定のための指示である
と解釈され、制御部1から範囲指定部3に範囲指定に関
する指示として送られ、範囲指定処理が進められる。
が終了すると、範囲指定部3は、制御部1に範囲指定処
理の終了を通知する。制御部1は、この通知を受け取る
と、取得方法決定部22に対してユーザが指定した範囲
に含まれる文字コードの取得方法の決定処理の開始を指
示する(ステップC3)。
フローチャートである。
開始の指示を受け取ると、範囲指定部3からユーザが指
定した文字コードの取得範囲を入力し(ステップD
1)、この取得範囲をウィンドウ情報管理部9に送っ
て、ウィンドウ情報管理部9に対して、文字コードを取
得する対象となるウィンドウと、このウィンドウ内にお
けるテキスト情報の取得範囲と、このウィンドウを表示
するアプリケーション12とを問い合わせる(ステップ
D2)。
部22からユーザが指定した文字コードの取得範囲を受
け取ると、ウィンドウ情報記憶部10から画面上のウィ
ンドウに関する情報を取得し、文字コードを取得する対
象となるウィンドウと、このウィンドウ内における文字
コードの取得範囲と、このウィンドウを表示するアプリ
ケーション12とを決定し、取得方法決定部22に通知
する。
示されているウィンドウに関する位置、大きさ、重な
り、および表示しているアプリケーションなどの最新の
情報を格納しており、一般的にはオペレーティングシス
テム内に含まれる。
囲と、画面上のウィンドウに関する情報とから、文字コ
ードを取得する対象となるウィンドウを決定する方法に
は、種々の方法を用いることができる。たとえば、範囲
指定の開始点を含むウィンドウに決定する方法、ユーザ
が指定した範囲と最も大きな面積を共有するウィンドウ
に決定する方法などである。
結果が返されると、取得方法決定部22は、次のような
処理によって最終的な文字コードを取得するようにその
方法を決定する(ステップD3〜ステップD8)。
ィンドウが存在する場合。
ン12が、指定した範囲に対応するデータを取得するた
めの通信を行なうことが可能であるかどうかを、アプリ
ケーション通信部11を介して判定する。
うことが可能である場合。
ョン12との通信を行なうことに決定する。
うことが不可能である場合。
ョン12との通信を行なわないことに決定する。
ィンドウが存在しなかった場合。
表示するアプリケーション12との通信を行なわないこ
とに決定する。
と、取得方法決定部22は、制御部1に処理の終了を通
知する。この通知を受け取った制御部1は、文字コード
取得部23に対して、文字コードを取得する対象となる
アプリケーション12から、文字コードの取得範囲に含
まれる領域の文字コードを取得する処理の開始を指示す
る(ステップC4)。
理開始の指示を受け取ると、取得方法決定部22から、
文字コードを取得する対象となるウィンドウと、このウ
ィンドウ内における文字コードの取得範囲と、このウィ
ンドウを表示するアプリケーション12と、このアプリ
ケーション12からの文字コードの取得方法とを入力
し、これら4つの入力パラメータに基づいて、次のよう
な処理を行なう(図14参照)。
わない場合。
コードの取得範囲のイメージを取得し、この取得したイ
メージに対して文字認識部5による文字認識処理を行な
い、この文字認識処理の結果得られた文字コードを最終
的に取得した文字コードとする。
ティングシステムによって、バックグラウンド、ルート
ウィンドウ、デスクトップなどと称される)に表示され
ている画像を取得して、文字認識処理を行ない、文字コ
ードを得る場合などが相当する。
ない、かつ指定された範囲に対応するデータが存在しな
い場合。
コードの取得範囲のイメージを取得し、この取得したイ
メージに対して文字認識部5による文字認識処理を行な
い、この文字認識処理の結果得られた文字コードを最終
的に取得した文字コードとする。
共有ライブラリなど、アプリケーション12以外が保持
するコードが描画されている画像を取得して、文字認識
処理を行ない、文字コードを得る場合などが相当する。
ない、かつ指定された範囲に対応するデータがプレーン
テキストであった場合。
取得した文字コードとする。
に表示されている文字画像に対応する文字コードをアプ
リケーションから直接取得する場合などが相当する。
ない、かつ指定された範囲に対応するデータが構造化さ
れたテキストであった場合 この取得した構造化されたテキストを最終的に取得した
文字コードとする。
cript、およびHTMLなどの構造化文書記述言語
で記述された文書をプレビューアで表示させた文字画像
のうち、指定した範囲の文字画像に対応する文字コード
をプレビューアから直接取得する場合などが相当する。
ない、かつ指定された範囲に対応するデータが画面上に
表示されているイメージよりも高品質なイメージであっ
た場合。
に表示されているイメージよりも高品質なイメージとし
て取得して、この取得したイメージに対して文字認識処
理を行なう。そして、この文字認識処理の結果得られた
文字コードを最終的に取得した文字コードとする。
に持つ高解像度のイメージを画面上のウィンドウ内に縮
小表示させている文字画像のうち、指定した範囲の文字
画像に対応する高解像度のイメージをアプリケーション
12から直接取得して文字認識処理を行ない、文字コー
ドを得る場合などが相当する。
ない、かつ指定された範囲に対応するデータが画面上に
表示されているイメージと全く同じイメージであった場
合。
に表示されている指定した範囲に含まれるイメージと同
じイメージとして取得して、この取得したイメージに対
して文字認識処理を行なって、この文字認識処理の結果
得られたテキストを最終的に取得した文字コードとす
る。
に持つ文字画像のイメージを等倍で画面上のウィンドウ
内に表示しており、ユーザが指定した範囲のテキスト画
像に対応するイメージをアプリケーション12から直接
取得して文字認識処理を行ない、文字コードを得る場合
などが相当する。
に対応するデータが複数種類存在するような場合には、
それぞれの種類のデータに対応する範囲ごとにこれら
(1)〜(6)のいずれかの処理を適用する。
文字コード取得部23は、制御部1に処理の終了を通知
する。この通知を受け取った制御部1は、文字コード出
力部6に対して、取得した文字コードの出力処理の開始
を指示する(ステップC5)。
開始の指示を受け取ると、文字コード取得部23から取
得された文字コードを入力して、この文字コードを外部
へと出力する。出力先は、たとえば共有メモリ、ファイ
ル、および他のアプリケーションなどである。
装置によれば、画面上に表示された画像の内、指定され
た範囲に対応するアプリケーションから、この指定され
た範囲に対応するデータを直接取得することが可能であ
るため、たとえば取得したデータが文字コードである場
合には、文字認識誤りのない文字コードを得ることが可
能となり、取得したデータがイメージであった場合に
は、文字認識処理に適した高品質なイメージデータを得
ることも可能である。そのため、画面上に表示されてい
る低品質なイメージに対して文字認識処理を行ってテキ
スト情報を取得するのと比較して、高精度な文字コード
が取得することができることになる。
字コードを統一した操作で取得することができるため、
ユーザに対して優れた操作性を提供することが可能とな
る。
形態を説明する。
コード取得装置の概略構成を示す図である。
ード取得装置は、第1または第2実施形態に示した文字
コード取得装置15と、親アプリケーション13との通
信を行なう通信部141とを有して構成されている。
ndows3.1の場合にはDDEによって他のアプリ
ケーションからの操作要求を受け取り制御部1に伝え
る。またその逆に、他のアプリケーションに対して返答
やデータ転送などを実行する働きをする。
説明する。
ド取得の指示が通信部141に送られる。
3に対して承諾の通知を返すとともに、第1または第2
実施形態に示した文字コード取得装置15を起動して、
範囲指定処理から文字コードの出力までの処理を実行さ
せる。
した後、制御は通信部141に戻りって、通信部141
は処理終了を親アプリケーション13に通知する。
知を受け取ると、その後はアプリケーション毎に適した
処理を行なう。たとえば、ユーザに処理終了を通知し
て、ユーザ自身の手により所望の領域への文字コードの
取り込み処理が実行される。
ション13への渡し方として、第1または第2実施形態
に示した文字コード取得装置15の通信部141を介し
て直接親アプリケーション13に転送することも可能で
ある。たとえば、小さな領域を処理するなどといった瞬
時に文字コード取得が終了する場合などには有効な方法
である。
成例を示す。
に表示されている文書画像からの文字コードの取り込み
が、エディタ上で制御することが可能になり、ユーザか
らみればエディタ自体に文字コード取得装置14の機能
があるものとして利用することができる。
マットの異なる複数のアプリケーションのファイルを閲
覧する機能をもったマルチビューアに組み入れた際のシ
ステム構成例を示す。
ープロソフトのそれぞれのアプリ固有のデータファイル
から直接文書を表示させたり、表計算ソフトのデータか
らワークシート画面を表示させたりする機能をもったソ
フトであって、フリーソフトやシェアウエアなどで優秀
な物が多数使われている。これに同実施形態を組み入れ
ると、あらゆるアプリケーションのデータファイルか
ら、内部にある文字コードを閲覧しつつ簡単に取り出す
ことが可能になる。
プリケーション上から簡単に制御することができること
により、そのアプリケーションがあたかも文字コード取
得機能をもったかのように利用することができる効果を
奏する。また、このことにより、既存アプリケーション
の利用効率をさらに高め、生産性の向上に多大なる効果
を与えることができる。
形態を説明する。
ド取得装置の構成を示す機能ブロック図である。
ード取得装置は、第1実施形態の文字コード取得装置の
構成に、情報検索部16および検索結果表示部18を加
えた構成となっている。
であるテキストを入力としてそのテキストに関連するテ
キストを文書データベース17から検索する。また、検
索結果表示部18は、検索されたテキストを表示する。
なお、文書データベース17は、同装置からアクセス可
能であればよいので、同装置内に含まれていなくてもよ
いものである。
作手順を説明する。なお、同実施形態の動作手順と第1
実施形態で示した動作手順との違いは、情報検索処理の
実行とその検索テキストの出力とを行なう点にある。
果に基づいて関連テキストの検索を行ない(ステップF
5)、検索結果表示部18が、文字認識結果を表示する
とともに、この検索テキストを表示する(ステップF
7)。
に実施されている技術を流用すればよく、たとえば文書
データベース17中のテキストすべてに関して形態素解
析を行なうことで個々のテキストで使用されている単語
を抽出するとともに、文字認識結果についても形態素解
析を行ない単語を抽出する。そして、この抽出された単
語に基づいて、文献(Advanced Information-Retrieval
Models,Automatic Text Processing, G.Salton, Addis
on-Wesley Publishing Company)などで述べられている
ベクトル空間法を適用することでテキスト間の類似度を
求める。類似度があらかじめ定めた閾値を越えたテキス
トをその類似度の順で検索結果表示部18に送る。
トを表示する。この検索テキストの表示例を図21に示
す。各テキストの1行目のリストと最も関連度の高かっ
たテキストが表示されている。
装置によれば、文字コードの取得とともに関連文書など
の検索を即座に行なわせることができ、その操作性は飛
躍的に向上する。さらに、この関連文書によりユーザの
発想支援を実現することができることとなる。
形態を説明する。
ド取得装置の構成を示す機能ブロック図である。
ード取得装置は、第1実施形態の文字コード取得装置の
構成に、情報検索部16および校正処理部19を加えた
構成となっている。
施形態で示したものと同じであるので説明を省略する。
作手順を説明する。なお、同実施形態の動作手順と第1
実施形態で示した動作手順との違いは、情報検索処理の
実行と校正処理とを行なう点にある。
果に基づいて関連テキストの検索を行ない(ステップG
5)、校正処理部19が、校正処理を実行する(ステッ
プG7)。
とは不可能であるので、認識結果は、図24に示すよう
な曖昧性を含んでいる。したがって、予め定めた数の候
補数までの認識結果を出力するとすると、このようにな
る(2候補まで出力した場合)。図24の例では、たと
えば「新」という文字に対して「親」という第2候補が
存在することを示している。また、「フィーリング」の
部分は本来ならば「フィルタリング」と認識すべきであ
ったが、第1候補としては「フィーリング」が得られた
ことを示している。
ストに含まれる単語の頻度を算出する(ステップH
1)。次に、文字認識結果をスキャンして、文字の組合
せにしたがってすべての文字列候補を生成した後(ステ
ップH2)、頻度の高い単語を含む組合せを優先して出
力する(ステップH3)。
の頻度をn(i)としたときに、生成した文字列に含ま
れる単語に関するn(i)の総和を優先度とすることが
できる。
ってすべての文字列を生成せずに、前方の文字から文字
列候補の絞り込みを行うことで等価な結果を得ることも
できる。
装置によれば、認識結果に対する校正作業の効率を飛躍
的に向上させることができることになる。
形態を説明する。
実施形態に示した構成のうち、文字認識部5が2つ以上
の別々のデータに対する処理を同時に実行できるように
構成されたものである。その方法としては、文字認識部
5内において文字認識のサブルーチンをマルチスレッド
で実行させてもいいし、文字認識部5を文字認識のサー
ビスを行なう別のプロセスサーバで構成してもよい。
の動作手順を示す。なお、文字コード取得部23以外の
動作手順は第2実施形態で示したものと同じであり、図
3で示したような開始時のモードの指定や専用のボタン
などによって、文字認識の動作が切り替えられ、同実施
形態の動作手順になる。
通信して画面イメージよりも高品質なイメージを取得で
きる場合に、次のような処理を行う。
る場合。
識する場合。
指示し、得られた画面イメージと高品質なイメージの両
方を文字認識部5に平行して処理させる。画面イメージ
の文字認識結果が先に終了した場合には、たとえば図2
7に示すような画面で認識結果をユーザに提示し、結果
が十分であれば高品質イメージの文字認識処理を中断さ
せ、画面イメージの認識結果を制御部に通知してテキス
ト情報取得部の動作を終了する。
高品質なイメージの処理結果を制御部1に通知して文字
コード取得部の動作を終了する。先に得られた認識結果
が高品質なイメージの認識結果である場合には、画面イ
メージの文字認識処理を中断させ、高品質なイメージの
認識結果を制御部1に通知して文字コード取得部23の
動作を終了する。
結果の類似度などを使って自動的に結果の信頼性を確認
し、信頼性が低い場合には最初からユーザに確認せずに
画面イメージの結果を無効にしてしまっても良い。
ージの処理は、文字列と文字枠の切り出し処理までで中
断し、ある特定の文字領域に対する処理命令を受けて文
字認識を行なうようにする。画面イメージ側の処理は通
常通りに行う。画面イメージの処理は一文字づつ文字認
識を行なった後で、その文字の認識結果の信頼性が認識
結果の類似度などにより低いと判断されると高品質なイ
メージを処理しているモジュールに文字領域の位置を指
定して文字認識処理を指示する。画面イメージを処理し
ているモジュールは次の文字の認識処理に移行し、その
結果を画面イメージを処理しているモジュールに返す。
画面イメージを処理しているモジュールは処理結果を順
番通りに組み立てて処理結果をテキスト情報取得部に返
す。
装置によれば、作業時間の短縮と認識精度とを両立させ
ることができることとなる。
態を説明する。
ド取得装置の構成を示す機能ブロック図である。また、
図29は同実施形態のシステム構成を示す図である。
実施形態で示した文字コード取得装置を分散システムに
適用させたものであり、図28に示すように、文字認識
部5、アプリケーション通信部(2)11b、およびア
プリケーション(2)12bを計算機(2)21で動作
させ、その他の処理部を計算機(1)20で動作させる
ている。図29の計算機(1)20と計算機(2)21
とはネットワークによって接続されている。そして、文
字コード取得部23と文字認識部5、および取得方法決
定部22ならびに文字コード取得部23とアプリケーシ
ョン通信部(2)11bとはこのネットワークを介して
通信を行なう。
とアプリケーション(1)12aとは図10に示したア
プリケーション通信部11とアプリケーション12とに
相当する。また、アプリケーション通信部(2)11b
とアプリケーション(2)12bとは、アプリケーショ
ン通信部(1)11aとアプリケーション(1)12a
と同じ働きを文字認識部5に対して行なう。同実施形態
では、アプリケーション(1)12aとアプリケーショ
ン(2)12bとが同じデータを保持している場合を想
定している。たとえば、パーソナルコンピュータ上で動
作するソフトウエアで処理されるデータであって、複製
データを複数のパーソナルコンピュータ上PC上で保持
されるような場合である。
字コード取得部23、および文字認識部5以外は、第2
実施形態で示した動作と同様の動作を行なう。一方、取
得方法決定部22は、アプリケーション(1)12aと
通信が可能であるかどうかを確認する際に、アプリケー
ション(1)12aおよびアプリケーション(2)12
bのいずれかと通信が可能であれば、アプリケーション
との通信によって文字コードを取得するように決定する
ところが異なる。また、文字コード取得部23の動作手
順は図30に示したようになる。なお、アプリケーショ
ン(1)12aおよびアプリケーション(2)12bの
いずれと通信を行なうかの決定は、第2実施形態で示し
た動作手順と同様に行なう。ここでは、アプリケーショ
ンから文字コードを取得する場合に、アプリケーション
(1)12aおよびアプリケーション(2)12bのい
ずれを選択するか(ステップJ2、ステップJ3)につ
いて説明する。
はアプリケーション(2)12bのいずれかとだけ通信
が可能であった場合には、通信が可能である方のアプリ
ケーションを選択する.両方と通信が可能であったなら
ば、文字コードを直接アプリケーションから取得できる
場合には,アプリケーション(1)12aを選択し、イ
メージを取得できる場合には、アプリケーション(2)
12bを選択する.第2実施形態と同様に、文字コード
とイメージとの両方を取得できる場合には、文字コード
の取得を優先する。また、イメージを取得する場合に
は、文字認識部5により文字コードに変換する。アプリ
ケーション(2)12bからイメージを取得する場合に
は、文字コード取得部23が、文字認識部5に対し、ア
プリケーション(2)12bからアプリケーション通信
部(2)11bを介して直接イメージを取得して文字認
識を行なった後、その認識結果を渡すように指示する。
切り取り部4からイメージを取得する場合には、文字コ
ード取得部23が、そのイメージをネットワークを介し
て文字認識部5に渡し、文字認識結果の文字コードを返
してもらう.同実施形態の文字コード取得装置によれ
ば、文字認識部5が異なる計算機上で動作していた場合
に、大量のイメージをネットワークにより通信すること
を極力さけることにより,文字コード取得のための応答
時間を大幅に向上できるようになる.このことは,計算
機(1)20と計算機(2)21とがシリアル回線のよ
うに低速な通信回線で接続されているような場合に特に
有効となる. (第8実施形態)次に、本発明の第8実施形態を説明す
る。
る画像の一例を示した図である。また、図32はこの画
像に対して文字列抽出したものである。各文字列は図3
2に示したように矩形で表現され、これが表示画面上に
たとえばウインドウの中に表示されている。表現は矩形
だけでなく、矩形の中を特定の色で塗りつぶしたもの
や、特定のテクスチャーで塗りつぶしたものであっても
よく、また形状もどのようなものであっても良い。また
原画像そのもの、または原画像と矩形とを重ね合わせて
表示しても良い。その際、原画像の色を薄くしておくと
効果的である。矩形表示と原画像の表示スケールが異な
るときは、表示画像を縮小したり拡大すればよい。
像処理や認識処理を行なうことによって得られる。この
ような手法は、文書画像処理分野で知られている方式を
使うことによって得ることができる。たとえば、行抽出
の方式の代表的なものとしては、原画像中の黒画素を左
右に延長し、離れている黒画素のうち近いもの同志を接
続して、その上で連結領域を見つける手段を含む方式が
挙げられる。
をそれ単独か、または矩形とともに表示するようにして
も良い。
必要部分を指示することにより、取り出すべき部分を確
定する。指示の方法は、認識対象画像から読み取り対象
文字と見なされる部分をまとめた複数の部分領域を抽出
して表示し、取得開始位置と終了位置とを指示すること
により、この開始および終了位置情報、および抽出され
た部分領域の位置情報に基づいて読取り対象領域を確定
する 以下、図面を参照して具体的に説明する。まず、マウス
などのポインテイングデバイスを用いて指示開始位置を
指示する。図32の38は32の矩形内を指示している
例である。この後、指示位置を移動させる。この移動経
路を42で示す。
えば黒で塗りつぶし、オペレータにその矩形が選択され
ていることを知らせる。次に、指示位置が39の位置に
移動したときに、33の矩形を黒にする。さらに同様
に、40に進んだときに、34の矩形を黒にする。次
に、指示が再び41に戻ることにより、34の選択はキ
ャンセルされ、34の矩形をもとに戻す。そして最後
に、選択の確定を意味する何らかの指示、たとえば、マ
ウスのボタンをクリックするなどして選択を確定する。
選択され、これに対応する認識結果が取り出されて格納
される。開始位置は38、終了位置は41である。対応
する矩形は32から34であるが、矩形33は、ポイン
テイングデバイスが39の位置を通過することによって
選択されているのではなく、ここでは開始位置と現在位
置と矩形の前後関係から黒く塗る選択候補矩形を選び、
また最終的には読取対象領域を確定している。
形32および矩形33を経て、46に至る経路をたどる
ものとする。このように矩形34から矩形33に戻らな
ければ図32で説明したような矩形33のキャンセルは
行なわない。現在位置はあくまでも、45であり、これ
はいずれの矩形上にも無い点なので、その時点での終了
位置は34と見なされるからである。また、終了位置は
46であるので、かりに経路が矩形35を通過しなくて
も矩形の前後関係から矩形35が読み取り対象として選
ばれる。この例では32、33、34、35および36
が選ばれることになる。
が付加される。これに対して各行の認識結果の最後に改
行を付加しないで認識結果を取り出すか、格納するか、
または、別のアプリケーションソフトに送るように構成
しても良い。このように、認識結果の格納の仕方や格納
フォーマットをユーザがモード選択することもできる。
認識モードがあるときなどは、それもモード選択可能に
できる。
なっているかによって矩形が情報取得候補として選択さ
れた時に内部を黒くするとして説明したが、この変化方
法を変えるようにしても良い。
ンクで塗るとか、矩形の右側のみ黒でなくピンクにする
とか、あるいは黒く塗る領域を右側にはみ出すように変
化させるなどの方法が可能である。
行を付加しないようにする。段落は画像処理や文字認識
の結果として得られる事は従来の文書画像処理技術で公
知である。
を縦方向に接続したブロック単位でも良い。また文字単
位でも行なえる(図34参照)。
バイスにより図32の38、39、40および41の各
点を指示するように構成することも可能である。また、
各矩形の上をなぞるようにポインテイングデバイスを動
かして指示することも可能である。このとき、図32で
示した例のように、40の点から41の点に戻ったとき
は矩形34をキャンセルするようにしても良い。また、
44の位置で一度何らかの確定のアクション、たとえば
44の位置でマウスのボタンをクリックするようにし、
引き続き、そのあとの指定を経路が上向きに変わっても
44をキャンセルしないように構成できる。
ート機能を付加しても良い。すなわち、前述した確定手
段と同様な方法でデリートすべき矩形を決定し、決定し
たものは画面から消すかまたは色を薄くするなどして表
示し、残されたものについて認識するように設定しても
良い。これらは、複数の異なる領域指定手段と組み合わ
せて用いても良い。
つながりを持つテキストデータに対して、ポインテイン
グデバイスにより指示して、必要なテキストデータを表
示画面中から取り出す方式は良く知られた公知の技術で
ある。この技術を前述した方式と組み合わせることによ
り、さらにより良いマンマシンインターフェースが可能
となる。
て、認識結果を得る領域を指定する為に表示される画面
上でポインテイングデバイスを操作するときは前述の例
で説明したような動作を行ない、ポインテイングデバイ
ス操作するときは、もしこれがシーケンシャルなつなが
りを持つときには従来から知られている動作によりテキ
ストデータを得るようにする。
なつながりを持たないケースでは、これらのテキストデ
ータは、文字フォントに変換されて2次元的に画面中に
配置されて表示されている。このような場合に、表示画
面中の単語、行、ブロックなどの位置情報をテキストデ
ータに付随しているフォーマット情報から抽出し、これ
に基づいて前述した文字認識のケースと同様に、ポイン
テイングデバイスにより指示して必要な文字コードを表
示画面中から取り出す動作を行なう。
を組み合わせた指示方式に対して、これらの操作そのも
のは、オペレータにとって同一、または同一と見なせる
方式に設定する。すなわち、同一の操作に対して、それ
ぞれの方式が操作の対象となっている表示画面に応じて
動作するように装置を構成する。
定は、指示対象がテキストを表示した画面であっても、
また指示対象が認識対象となる原画像の部分領域を矩形
で表したものを表示した画面であっても同一である。つ
まり、オペレータはどちらに対しても同一の操作を行な
う。これに対して、テキスト表示に関しては開始位置と
終了位置の情報により前述した方法で対象文字列を抜き
出し、一方、文字認識対象のものに対しては、この開始
位置および終了位置の情報と、部分領域の位置関係の情
報とから前述した手段で対象領域を確定し、その部分を
文字認識して文字列を抽出する。このような手段により
オペレータは多くの操作方法を覚えなくてもよくなるの
で、文字コード取得についての操作が非常に容易とな
る。
像切り取り機能とOCRとを一体化することにより、従
来のように画面上に表示された文字画像を文字コードに
変換する際に、複数の処理系プログラムなどを使い分け
る必要がなくなり、所望の範囲をマウスなどで指定する
だけの簡単かつ統一的な操作で処理することが可能にな
る。また、このような文字画像を表示しているアプリケ
ーションとの通信手段を具備することにより、アプリケ
ーションの種類に応じた最適な処理方法を自動判別する
ことができることとなる。
求を受け付ける通信手段を具備することにより、あたか
もそのアプリケーションが本発明の機能を持ったかのよ
うに振舞わせることが可能になり、そのアプリケーショ
ンの機能を大幅に向上することができる。また、検索機
能をも一体化させることによって、ユーザの作業効率の
向上、認識率の向上、およびユーザの発想支援などが図
られることとなる。
構成を示す機能ブロック図。
を示すフローチャート。
す図。
際の動作手順を示すフローチャート。
出力を示す図。
比較を示す図。
の構成を示す機能ブロック図。
構成を示す図。
順を示すフローチャート。
示すフローチャート。
を示すフローチャート。
構成を示す図。
念図。
構成例を示す図。
複数のアプリケーションのファイルを閲覧する機能をも
ったマルチビューアに組み入れた際のシステム構成例を
示す図。
の構成を示す機能ブロック図。
順を示すフローチャート。
図。
の構成を示す機能ブロック図。
順を示すフローチャート。
チャート。
を示すフローチャート。
入力を促す画面を示す図。
の構成を示す機能ブロック図。
を示す図。
示した図。
字列抽出を行なった結果および指示位置の移動経路を示
す図。
字列抽出を行なった結果および指示位置の移動経路を示
す図。
た場合の表示イメージを示す図。
Claims (9)
- 【請求項1】 表示画面上の任意の領域を範囲指定する
範囲指定手段と、範囲指定された前記領域内の文字コードを取得するため
の少なくとも第1又は第2の取得方法を、前記範囲指定
された領域に対応したアプリケーションプログラムとの
間の通信の可否に基づいて決定する取得方法決定手段
と、 前記取得方法決定手段により決定された第1の取得方法
に従い、前記アプリケーションプログラムとの通信によ
り得られたテキストデータに基づいて前記文字コードを
取得し、又は前記取得方法決定手段により決定された第
2の取得方法に従い、前記 範囲指定された領域内で描画
されている画像データをビデオメモリから切り取る画像
切り取り手段と、前記 切り出された画像データに対し文字認識を行なう文
字認識手段とを具備していることを特徴とする文字コー
ド取得装置。 - 【請求項2】 前記取得方法決定手段は、前記指定され
た領域への表示が前記アプリケーションプログラムの内
部に保持された文字コードに基づいて行なわれていると
きに、前記範囲指定された領域内の文字画像に対応した
文字コードを前記アプリケーションプログラムが内部に
保持する文字コードから取得する方法を前記第1の取得
方法として決定することを特徴とする請求項1記載の文
字コード取得装置。 - 【請求項3】 前記取得方法決定手段は、前記指定され
た領域への表示が前記アプリケーションプログラムの内
部に保持された高品質の画像データに基づいて行なわれ
ているときに、前記範囲指定された領域内の文字画像に
対応した文字コードを前記アプリケーションプログラム
が内部に保持する高品質の画像データから取得する方法
を前記第1の取得方法として決定することを特徴とする
請求項1記載の文字コード取得装置。 - 【請求項4】 前記文字認識手段の認識結果に基づいて
情報検索を行なう情報検索手段と、この検索結果を表示
する検索結果表示手段とをさらに具備したことを特徴と
する請求項1記載の文字コード取得装置。 - 【請求項5】 前記情報検索手段により検索されたテキ
ストに基づいて、前記文字認識手段の認識結果に含まれ
る語の校正を行なう校正手段をさらに具備したことを特
徴とする請求項4記載の文字コード取得装置。 - 【請求項6】 前記文字認識手段は、前記ビデオメモリ
から切り取られた画像データと、前記アプリケーション
プログラムが内部に保持する高品質の画像データとの双
方に対し文字認識を行なうことを特徴とする請求項1記
載の文字コード取得装置。 - 【請求項7】 複数の計算機それぞれに、前記アプリケ
ーションプログラムとの通信を行なう通信手段を設け、
この複数の計算機によって構成される分散システム上で
動作することを特徴とする請求項1記載の文字コード取
得装置。 - 【請求項8】 前記範囲指定手段は、前記表示画面上か
ら読み取り対象となる文字領域を抽出して所定の形態で
表示画面上に一覧表示する一覧表示手段と、この一覧表
示された文字領域の中から所望の文字領域を指示するこ
とにより読み取り対象とする領域を確定する確定手段と
を具備したことを特徴とする請求項1記載の文字コード
取得装置。 - 【請求項9】 前記範囲指定手段は、前記表示画面上か
ら読み取り対象となる文字領域を抽出して所定の形態で
表示画面上に一覧表示する一覧表示手段と、この一覧表
示された文字領域に対し前記表示画面上でその文字領域
の取得開始位置と取得終了位置とを指示する文字領域指
示手段と、この指示された取得開始位置および取得終了
位置と前記抽出された文字領域それぞれの位置関係とに
基づいて読み取り対象とする領域を確定する確定手段と
を具備することを特徴とする請求項1記載の文字コード
取得装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP23531895A JP3382071B2 (ja) | 1995-09-13 | 1995-09-13 | 文字コード取得装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP23531895A JP3382071B2 (ja) | 1995-09-13 | 1995-09-13 | 文字コード取得装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH0981671A JPH0981671A (ja) | 1997-03-28 |
JP3382071B2 true JP3382071B2 (ja) | 2003-03-04 |
Family
ID=16984337
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP23531895A Expired - Lifetime JP3382071B2 (ja) | 1995-09-13 | 1995-09-13 | 文字コード取得装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3382071B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6071218B2 (ja) * | 2012-03-07 | 2017-02-01 | キヤノン株式会社 | 会議準備システム、会議準備方法及びプログラム |
JP6080586B2 (ja) * | 2013-02-13 | 2017-02-15 | 株式会社ファインデックス | 文字認識システム、文字認識プログラム及び文字認識方法 |
CN104090648B (zh) * | 2014-05-21 | 2017-08-25 | 中兴通讯股份有限公司 | 数据录入方法及终端 |
JP6090269B2 (ja) * | 2014-09-08 | 2017-03-08 | コニカミノルタ株式会社 | 電子文書生成装置、プログラムおよび電子文書生成システム |
KR101954320B1 (ko) * | 2017-05-11 | 2019-03-11 | 한국축산데이터 주식회사 | 스마트 디바이스의 일정 등록을 지원하는 캘린더 서비스 시스템 |
-
1995
- 1995-09-13 JP JP23531895A patent/JP3382071B2/ja not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JPH0981671A (ja) | 1997-03-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6249283B1 (en) | Using OCR to enter graphics as text into a clipboard | |
JP3277014B2 (ja) | データ処理資源を操作するための方法 | |
US5819261A (en) | Method and apparatus for extracting a keyword from scheduling data using the keyword for searching the schedule data file | |
US6415307B2 (en) | Publication file conversion and display | |
US20080282160A1 (en) | Designated screen capturing and automatic image exporting | |
CN101639755B (zh) | 一种支持图片输入的方法和设备 | |
JP4970714B2 (ja) | 指定されたドキュメント・エリアからのメタデータの抽出 | |
CN100449485C (zh) | 信息处理装置和方法 | |
US8548240B2 (en) | Image processing apparatus, image processing method, and computer readable medium | |
US8494281B2 (en) | Automated method and system for retrieving documents based on highlighted text from a scanned source | |
US20050091607A1 (en) | Remote operation system, communication apparatus remote control system and document inspection apparatus | |
EP0969389A2 (en) | Method for generating display control information and computer | |
US11556502B2 (en) | Intelligent routing based on the data extraction from the document | |
JPH0887495A (ja) | 表データのカット・アンド・ペースト方法及びデータ処理システム | |
JPH11134327A (ja) | 電子メモ処理装置、電子メモ処理方法、および電子メモ処理プログラムを記録したコンピュータ読取り可能な記録媒体 | |
US20150193387A1 (en) | Cloud-based font service system | |
JP2007503032A (ja) | ドキュメントスキャナ | |
US11182439B2 (en) | Automatic data capture of desired data fields and generation of metadata based on captured data fields | |
EP2045712A1 (en) | Approach for generating print data using a multi-document print driver | |
JP3382071B2 (ja) | 文字コード取得装置 | |
US8719416B1 (en) | Multiple subparts of a uniform resource locator | |
JPH0659951A (ja) | フォーマット変換システム及びデータ処理システム | |
KR100419568B1 (ko) | 네트워크 기반 홈페이지 자동 편집 방법 | |
JP2022137608A (ja) | 情報処理装置、情報処理方法およびプログラム | |
US6275609B1 (en) | Image processing apparatus and method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071220 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081220 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091220 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091220 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101220 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101220 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111220 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121220 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131220 Year of fee payment: 11 |
|
EXPY | Cancellation because of completion of term |