JP2009163743A - 画像処理装置および画像処理方法 - Google Patents
画像処理装置および画像処理方法 Download PDFInfo
- Publication number
- JP2009163743A JP2009163743A JP2009002822A JP2009002822A JP2009163743A JP 2009163743 A JP2009163743 A JP 2009163743A JP 2009002822 A JP2009002822 A JP 2009002822A JP 2009002822 A JP2009002822 A JP 2009002822A JP 2009163743 A JP2009163743 A JP 2009163743A
- Authority
- JP
- Japan
- Prior art keywords
- information
- character
- unit
- image processing
- search
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/93—Document management systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
- G06V30/41—Analysis of document content
- G06V30/416—Extracting the logical structure, e.g. chapters, sections or page numbers; Identifying elements of the document, e.g. authors
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Business, Economics & Management (AREA)
- Multimedia (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Processing Or Creating Images (AREA)
Abstract
【課題】電子化される情報に対して、2次的に利用可能な情報を好適に付加することができるようにする。
【解決手段】本発明に係る画像処理装置においては、スキャン部12は、原稿に関する画像情報を読み取り、レイアウト解析部53は、画像情報から文字領域に関するレイアウト情報と文字領域内の文字に付加されている文字付加情報を抽出し、OCR処理部54は、抽出されたレイアウト情報に含まれる文字領域を文字情報に変換し、キーワード抽出部55は、文字情報の中から複数の文字により構成される1または複数のキーワードを抽出し、キーワード検索部56は、抽出されたキーワードを用いてメタ情報を取得し、電子文書作成部58は、文字情報にメタ情報を付加して所定の形式の記述に従った電子文書を作成する。
【選択図】 図2
【解決手段】本発明に係る画像処理装置においては、スキャン部12は、原稿に関する画像情報を読み取り、レイアウト解析部53は、画像情報から文字領域に関するレイアウト情報と文字領域内の文字に付加されている文字付加情報を抽出し、OCR処理部54は、抽出されたレイアウト情報に含まれる文字領域を文字情報に変換し、キーワード抽出部55は、文字情報の中から複数の文字により構成される1または複数のキーワードを抽出し、キーワード検索部56は、抽出されたキーワードを用いてメタ情報を取得し、電子文書作成部58は、文字情報にメタ情報を付加して所定の形式の記述に従った電子文書を作成する。
【選択図】 図2
Description
本発明は画像処理装置および画像処理方法に係り、特に、電子文書を作成することができるようにした画像処理装置および画像処理方法に関する。
従来から、紙文書を電子化して電子化後のデータを保存する目的、あるいは電子化後のデータの再利用を目的として、MFP(Multi Function Peripheral)によるスキャン機能が使われている。MFPによるスキャンにおいては、JPEG(Joint Photographic Experts Group)に関するフォーマットやTIFF(Tagged Image File Format)に関するフォーマットが使用されてきていたが、最近ではPDF(Portable Document Format)に関するフォーマットやXPS(XML Paper Specification)に関するフォーマットなどが利用されつつある。
電子化後のデータを保存する目的でMFPによるスキャン機能を用いる場合には、データ容量を少なくする必要があるために、一般的にJPEGによる圧縮が利用されている。しかし、JPEGを用いて自然画像を圧縮する場合には大きな圧縮効果を得ることはできるが、JPEGを用いて文字線画を圧縮する場合には文字線画におけるエッジ部分が鈍ってしまう問題がある。特に、符号化後のデータサイズを小さくするために圧縮率を上げると、文字線画におけるエッジ部分の鈍りが顕著となる。
一方、例えばPDFやXPSなどのように、文書の構造を記述することが可能なフォーマットである場合には、圧縮率と画質の両立させるために文字領域、背景領域、および画像領域をレイアウト解析技術によって抽出し、抽出された各領域に最も適した圧縮方法を選択して圧縮することで全体として高い圧縮効率を実現する方法が提案されている。この圧縮方法は、一般的に「高圧縮PDF」や「高圧縮XPS」と呼ばれる。
PDFやXPSを利用する場合、画像情報を保存するだけではなく、その他のメタ情報をフォーマット内に保存することが可能になる。従来の技術としてはさらに次のような技術が知られている。すなわち、この技術では、レイアウト解析技術により文章のタイトルや日付、そして報告者の文字領域の抽出を行い、抽出された文字領域に対してOCR(Optical Character Reader)機能を利用することで、電子文書への検索キーワードを付加し、目次などとして付加する。画像データとなっている文字オブジェクトをベクトル化するといった付加価値が付けられている。そして、抽出したキーワードを検索クエリ(問い合わせ要求)として検索サイトに送信し、検索サイトから取得された結果を、取り込んだ画像とともに表示する。これらの技術は、特開2006−350551号公報、特開2004−348774号公報、特開2002−183165号公報、および特開平11−184924号公報に開示されている。
従来技術では、OCRを行ってキーワードを抽出し、抽出されたキーワードを検索クエリ(問い合わせ要求)として検索サイトに送信し、検索サイトから検索結果を得るようなことも行っているが、ユーザは専用の装置を用いなければ検索情報にアクセスできず、また、ユーザがデータの保存に際して明示的にキーワードを指示しなければならないという課題があった。特に、ユーザが大量の書類を電子化する場合には、ユーザは逐一入力をしなければならず、ユーザにとって非常に不便であった。
特開2006−350551号公報では、OCRを使用しても目次の生成のみにしかデータを利用しておらず情報を生かしきれていない。特開2004−348774号公報では、キーワードを抽出してサーチエンジンからの検索結果を、システム内にあるブラウザによって元の文書とともに同時に表示するようなシステムを提案しているが、専用のシステムが必要であり、取り込んだ文書の利用といった観点では使いにくいことがある。特開2002−183165号公報では、文書中のキーワードを探し、検索クエリをユーザに選択させる技術であるが、処理後の検索にしか適用することができない。
本発明は、このような状況に鑑みてなされたものであり、電子化される情報に対して、2次的に利用可能な情報を好適に付加することができる画像処理装置および画像処理方法を提供することを目的とする。
本発明の画像処理装置は、上述した課題を解決するために、原稿に関する画像情報を読み取るスキャン部と、スキャン部によって読み取られた画像情報から、文字領域に関するレイアウト情報と文字領域内の文字に付加されている文字付加情報を抽出する解析部と、解析部によって抽出されたレイアウト情報に含まれる文字領域を文字情報に変換するOCR処理部と、OCR処理部によって変換された文字情報の中から、複数の文字により構成される1または複数のキーワードを抽出する抽出部と、抽出部によって抽出されたキーワードを用いて検索を実行し、得られた検索情報をメタ情報として生成する検索手段と、文字情報にメタ情報を付加して所定の形式の記述に従った電子文書を作成する電子文書作成部とを備えることを特徴とする。
本発明の画像処理方法は、上述した課題を解決するために、原稿に関する画像情報を読み取り、読み取られた画像情報から、文字領域に関するレイアウト情報と文字領域内の文字に付加されている文字付加情報を抽出し、レイアウト情報に含まれる文字領域を文字情報に変換し、変換された文字情報の中から、複数の文字により構成される1または複数のキーワードを抽出し、抽出されたキーワードを用いて検索を実行し、得られた検索情報をメタ情報として生成し、文字情報にメタ情報を付加して所定の形式の記述に従った電子文書を作成することを特徴とする。
本発明の画像処理装置は、上述した課題を解決するために、所定の形式によって生成されたファイルを解析してビットマップデータを生成するデータ生成部と、データ生成部によって生成されたビットマップデータから、文字領域に関するレイアウト情報と文字領域内の文字に付加されている文字付加情報を抽出する解析部と、解析部によって抽出されたレイアウト情報に含まれる文字領域を文字情報に変換するOCR処理部と、OCR処理部によって変換された文字情報の中から、複数の文字により構成される1または複数のキーワードを抽出する抽出部と、抽出部によって抽出されたキーワードを用いて検索を実行し、得られた検索情報をメタ情報として生成する検索手段と、文字情報にメタ情報を付加して所定の形式の記述に従った電子文書を作成する電子文書作成部とを備えることを特徴とする。
本発明によれば、電子化される情報に対して、2次的に利用可能な情報を好適に付加することができる。
以下、本発明の実施の形態について、図面を参照しながら説明する。
[第1実施形態]
図1は、本発明に係る画像処理装置1の内部の構成を表している。図1に示されるように、画像処理装置1は、コントローラ11、スキャナ部12、画像処理部13、画像データインタフェース14、ページメモリ15、およびプリンタ駆動部16を備える。コンテローラ11は、CPU(Central Processing Unit)21、ROM(Read Only Memory)22、RAM(Random Access Memory)23、バス24、HDD(Hard Disk Drive)25、および外部通信部26からなる。CPU21は、ROM22に記憶されているプログラムまたはHDD25からRAM23にロードされた各種のアプリケーションプログラムに従って各種の処理を実行するとともに、種々の制御信号を生成し、各部に供給することにより画像処理装置1を統括的に制御する。RAM23は、CPU21が各種の処理を実行する上において必要なデータなどを適宜記憶する。CPU21、ROM22、RAM23、およびHDD25には、バス24を介して相互に接続されている。また、モデム、ターミナルアダプタ、およびネットワークインタフェース(いずれも図示せず)などより構成される外部通信部26がバス24に接続される。外部通信部26は、ネットワーク31を介しての通信処理を行う。
図1は、本発明に係る画像処理装置1の内部の構成を表している。図1に示されるように、画像処理装置1は、コントローラ11、スキャナ部12、画像処理部13、画像データインタフェース14、ページメモリ15、およびプリンタ駆動部16を備える。コンテローラ11は、CPU(Central Processing Unit)21、ROM(Read Only Memory)22、RAM(Random Access Memory)23、バス24、HDD(Hard Disk Drive)25、および外部通信部26からなる。CPU21は、ROM22に記憶されているプログラムまたはHDD25からRAM23にロードされた各種のアプリケーションプログラムに従って各種の処理を実行するとともに、種々の制御信号を生成し、各部に供給することにより画像処理装置1を統括的に制御する。RAM23は、CPU21が各種の処理を実行する上において必要なデータなどを適宜記憶する。CPU21、ROM22、RAM23、およびHDD25には、バス24を介して相互に接続されている。また、モデム、ターミナルアダプタ、およびネットワークインタフェース(いずれも図示せず)などより構成される外部通信部26がバス24に接続される。外部通信部26は、ネットワーク31を介しての通信処理を行う。
コントローラ11には、画像データインタフェース14およびプリンタ駆動部16が接続されている。画像データインタフェース14には、画像処理部13とページメモリ15が接続される。画像処理部13には、スキャナ部12が接続される。ここで、画像を形成する際の画像データの流れについて説明する。原稿が原稿台ガラス上にセットされると、スキャナ部12によって原稿の画像データが読み取られ、読み取られた画像データは画像処理部13に供給される。画像処理部13は、スキャナ部12から供給された原稿の画像データを取得し、取得された画像データに対して例えばシェーディング補正や各種のフィルタリング処理、階調処理、ガンマ補正などを施す。これらの処理後の画像データは、必要に応じて画像データインタフェース14を介してページメモリ15に格納される。
プリンタ駆動部16は、光学系ユニットと、被画像形成媒体としての用紙上に画像を形成することが可能な画像形成ユニットからなる。プリンタ駆動部16は、コントローラ11の制御に従い、光学系ユニットおよび画像形成ユニットを駆動する。
図2は、本発明の第1実施形態に係る、コントローラ11のCPU21により実行することが可能な機能的な構成を表している。図2に示されるように、画像処理装置1は、本発明の特徴的な構成として、スキャン制御部52、レイアウト解析部53、OCR処理部54、キーワード抽出部55、キーワード検索部56、通信制御部57、および電子文書作成部58を備える。これらの構成は、CPU21上でソフトウェアとして実装される。
記憶部51は、例えばコントローラ11のHDD25により構成され、必要に応じて種々のデータを記憶する。スキャナ制御部52は、スキャナ部12を制御し、スキャナ部12によって読み取られた後に種々の画像処理が施された画像データを画像データインタフェース14を介して取り込み、取り込まれた画像データを記憶部51またはコントローラ11のRAM23に記憶させる。レイアウト解析部53は、記憶部51またはRAM23に記憶されているスキャンデータとしての画像データを読み出し、読み出された画像データから文字領域や画像領域などに関するレイアウト情報を抽出する。また、レイアウト解析部53は、読み出された画像データから文字と同時に描画されている文字付加情報を抽出する。文字と同時に描画されている文字付加情報は、それぞれの文字に任意に付加される特徴量であり、例えば文字の色、文字の網掛けや下線などの情報が含まれる。
OCR処理部54は、レイアウト解析部53により抽出されたレイアウト情報に含まれる文字領域を文字情報に変換する。具体的には、OCR処理部54は、レイアウト解析部53により抽出されたレイアウト情報に含まれる文字領域を文字行、図表、および写真などの領域に分割する。OCR処理部54は、求められた文字行の中から1文字ごとに文字を切り出し、切り出された文字に関して文字認識を行い、文字情報に変換する。この文字情報は、ベクトルデータからなる。文字情報には、認識された文字の位置に関する情報なども含まれている。OCR処理部54は、変換後の文字情報をキーワード抽出部55に供給するとともに、変換後の文字情報を記憶部51またはコントローラ11のRAM23に供給する。記憶部51またはコントローラ11のRAM23は、OCR処理部54から供給された文字情報を記憶する。
キーワード抽出部55は、OCR処理部54からの文字情報に基づいて、複数の文字により構成される文章中の特徴的な文字をキーワードとして抽出する。キーワード抽出部55は、レイアウト解析部53によるレイアウト解析時点で得られた画像的特徴や、自然言語解析による意味的な特徴に基づいて、文章中の特徴的な文字(キーワード)を抽出する。
キーワード抽出部55は、抽出された文章中の特徴的な文字(キーワード)に関するキーワード情報をキーワード検索部56に供給する。キーワード検索部56は、キーワード抽出部55から供給されキーワード情報を取得し、取得されたキーワード情報を用いてWebサイト上の検索サービス/辞書辞典サービスを通信制御部57を介して利用し、検索結果を取得する。キーワード検索部56は、取得された検索結果をメタ情報として生成し、電子文書作成部58に供給する。電子文書作成部58は、キーワード検索部56で生成されたメタ情報を取得するとともに、記憶部51に記憶されている文字情報を読み出す。電子文書作成部58は、読み出された文字情報に基づいて、例えばPDF形式あるいはXML形式の記述に従った電子文書を作成する。このとき、電子文書作成部58は、文字情報に含まれる文字の位置に関する情報と、取得されたメタ情報を関連付けることにより、文字情報にメタ情報を付加して電子文書を作成する。
次に、図3のフローチャートを参照して、図2の画像処理装置1における電子文書作成処理について説明する。
ステップS1において、スキャナ部12は、原稿が原稿台ガラス上にセットされると、スキャナ制御部52の制御に従い、原稿の画像データを読み取る(スキャンする)。ステップS2において、スキャナ制御部52は、スキャナ部12を制御し、スキャナ部12によって読み取られた後に種々の画像処理が施された画像情報を画像データインタフェース14を介して取り込み、取り込まれた画像情報を記憶部51またはコントローラ11のRAM23に記憶させる。ステップS3において、レイアウト解析部53は、記憶部51またはRAM23に記憶されているスキャン情報としての画像情報を読み出し、読み出された画像情報から文字領域や画像領域などに関するレイアウト情報を抽出する。また、レイアウト解析部53は、読み出された画像情報から文字と同時に描画されている文字付加情報を抽出する。文字と同時に描画されている文字付加情報は、それぞれの文字に任意に付加される特徴量であり、例えば文字の色、文字の網掛けや下線などの情報が含まれる。
ステップS4において、OCR処理部54は、レイアウト解析部53により抽出されたレイアウト情報に含まれる文字領域を文字情報に変換する。具体的には、OCR処理部54は、レイアウト解析部53により抽出されたレイアウト情報に含まれる文字領域を文字行、図表、および写真などの領域に分割する。OCR処理部54は、求められた文字行の中から1文字ごとに文字を切り出し、切り出された文字に関して文字認識を行い、文字情報に変換する。OCR処理部54は、変換後の文字情報をキーワード抽出部55に供給する。
ステップS5において、キーワード抽出部55は、OCR処理部54からの文字情報に基づいて、複数の文字により構成される文章中の特徴的な文字をキーワードとして抽出する。キーワード抽出部55は、レイアウト解析部53によるレイアウト解析時点で得られた画像的特徴や、自然言語解析による意味的な特徴に基づいて、文章中の特徴的な文字(キーワード)を抽出する。図4は、キーワード抽出部55によって抽出されるキーワードの例を表している。図4の場合、キーワード抽出部55は、キーワードとして「百科事典」を抽出する。
特に、キーワード抽出部55は、画像的特徴に基づいて文章中の特徴的な文字を抽出する場合、次のように文字中の特徴的な文字を抽出する。すなわち、例えば図5に示されるように、文字列とされる画像が色文字、斜体文字、大文字、網掛け文字、下線文字、または背景色付き文字などのような周辺の文字と異なる形状を有するとき、形状に関する画像的特徴が文字付加情報としてレイアウト解析時点で得られており、この形状に関する情報に基づいて文字中の特徴的な文字が抽出される。勿論、形状に関する情報とした他の情報を用いてもよい。
また、キーワード抽出部55は、意味的な特徴に基づいて文章中の特徴的な文字を抽出する場合、次のように文章中の特徴的な文字を抽出する。すなわち、キーワード抽出部55は、OCR処理の結果に基づいて、文章的に意味を有すると推定される部分を自然言語解析処理によって文章中の特徴的な文字として抽出する。具体的には、キーワード抽出部55は、例えば固有名詞や一般名詞、あるいは主語(主語部から導き出される単語)をキーワードとして抽出する。勿論、記憶部51が単語辞書データベースを格納する場合には、キーワード抽出部55は、単語辞書データベースに登録されている単語の重み係数(重みパラメータ)を用いてキーワードを抽出するようにしてもよい。また、外部通信部26およびネットワーク31を介して接続されるWebサイトから画像的特徴や自然言語解析による意味的な特徴に基づく文章中の特徴的な文字を取得するようにしてもよい。
キーワード抽出部55は、抽出された文章中の特徴的な文字(キーワード)に関するキーワード情報をキーワード検索部56に供給する。ステップS6において、キーワード検索部56は、キーワード抽出部55から供給されキーワード情報を取得し、取得されたキーワード情報を用いて所定のWebサイト上の検索サービス/辞書辞典サービスを通信制御部57を介して利用する。通信制御部57は、キーワード検索部56の指示に従い、外部通信部26を介して所定のWebサイトに接続する。ステップS7において、キーワード検索部56は、通信制御部57を介して検索結果を取得してメタ情報を生成する。本発明の実施形態における検索サービスあるいは辞書辞典サービスは、次のようなサービスを想定している。すなわち、Webサイト上での検索サービスあるいは辞書辞典サービスは、ネットワークを介して外部機器から取得されたテキストデータからなるキーワードに基づいて、そのキーワードに対応付けられている関連情報または、関連情報が記述されているWebページを検索し、検索された関連情報またはWebページをネットワークを介して接続される外部機器に送信するサービスである。この関連情報は、メタ情報として例えばHTMLファイルやXMLファイルなどのデータ形式により記述されている。ここで、本発明の実施形態においては、「メタ情報」には、キーワードに対応付けられている関連情報や、Webページ、あるいは、Webページに関するURL(Uniform Resource Locator)などが含まれる。
なお、本発明の実施形態においては、説明を簡略化するために、辞書辞典サービスを用いて説明するが、このような場合に限られず、例えば複数のサービスがリストアップされており、検索結果を取得する際に使用するサービスを適宜選択するようにしてもよい。また、これらのサービスは必要に応じて更新し、新たなサービスを追加したり、既存のサービスを削除・変更するようにしてもよい。
図6は、キーワード検索部56によって取得される検索結果の一例を示している。例えば「百科事典」がキーワードとして抽出されたとする。その後、通信制御部57は、外部通信部26を介して、予め設定されているWebサイト上のサービスに対してキーワード「百科事典」を用いた問い合わせ要求を行う。Webサイト上のサービスは、画像処理部1の外部通信部26からの問い合わせ要求を受信すると、受信されたキーワード「百科事典」を用いた検索を行う。Webサイト上のサービスは、例えばWebページあるいはWebページに関するURLなどが含まれるメタ情報を画像処理装置1に対して送信する。画像処理装置1の外部通信部26は、Webサイト上のサービスから検索結果を受信し、この関連情報としてメタ情報を生成する。
図6の場合、キーワードとして抽出された「百科事典」に対応付けられるメタ情報は、「百科事典(ひゃっかじてん)とは、人文科学・自然科学・社会科学・芸術など幅広い分野の知識を、項目ごとに整理・記述して、誰でも容易に概要を理解できるよう簡潔にまとめたものである。」という内容のテキストデータである。
また、図7は、キーワード検索部56によって生成されるメタ情報の他の例を示している。図7の場合、キーワードとして抽出された「百科事典」に対応付けられるメタ情報は、「http://xxxxxxxxxxxxxxxxxx」というWebページに関するURLである。
キーワード検索部56は、取得された検索結果をメタ情報として生成し、電子文書作成部58に供給する。ステップS8において、電子文書作成部58は、キーワード検索部56から供給されたメタ情報を取得するとともに、記憶部51に記憶されている文字情報を読み出す。電子文書作成部58は、読み出された文字情報に基づいて、例えばPDF形式あるいはXML形式の記述に従った電子文書を作成する。このとき、電子文書作成部58は、文字情報に含まれる文字の位置に関する情報と、取得されたメタ情報を関連付けることにより、文字情報にメタ情報を付加して電子文書を作成する。換言すれば、電子文書作成部58は、文字情報にメタ情報を埋め込むことで電子文書を作成する。
具体的には、図6の場合、文字情報中でキーワードとして抽出された「百科事典」に、「百科事典(ひゃっかじてん)とは、人文科学・自然科学・社会科学・芸術など幅広い分野の知識を、項目ごとに整理・記述して、誰でも容易に概要を理解できるよう簡潔にまとめたものである。」という内容のテキストデータが付加された上で電子文書が作成される。一方、図7の場合、文字情報中でキーワードとして抽出された「百科事典」に、「http://xxxxxxxxxxxxxxxxxx」というWebページに関するURLが付加された上で電子文書が作成される。勿論、図8に示されるように、図6と図7に示されるいずれのメタ情報も付加された上で電子文書が作成されるようにしてもよい。
このように、本実施形態においては、電子文書中の特徴的なキーワードには、キーワードの意味のテキストデータ、またはWebページに関するリンク情報(URLなど)が付加されており、紙文書から電子データを作成する際に2次的に利用可能な情報を電子データフォーマット上に直に付加することができる。
電子データである電子文書を作成した後、画像処理装置1とネットワーク31を介して接続されるパーソナルコンピュータ32は、例えば図6や図7に示されるように、作成した電子データをビューアによって表示することができる。これにより、ユーザは、画像処理部1にて作成された電子文書を閲覧することができる。また、ユーザがパーソナルコンピュータ32で電子文書を閲覧している場合に、キーワードに付加されたリンク情報に接続することが容易になり、PDFフォーマットであればテキスト注釈としてメタ情報を関連付けた電子文書を閲覧することができる。
ステップS9において、電子文書作成部58は、作成された電子文書を記憶部51またはコントローラ11のRAM23に記憶させる。
本発明の実施形態においては、原稿に関する画像情報を読み取り、読み取られた前記画像情報から、文字領域に関するレイアウト情報と文字領域内の文字に付加されている文字付加情報を抽出し、レイアウト情報に含まれる文字領域を文字情報に変換し、変換された文字情報の中から、複数の文字により構成される1または複数のキーワードを抽出し、抽出されたキーワードを用いて検索を実行し、得られた検索情報をメタ情報として生成し、文字情報にメタ情報を付加して所定の形式の記述に従った電子文書を作成することができる。その結果、2次的に利用可能な効率的な電子文書を作成することができる。従って、電子文書を作成する際に、2次的な情報と電子文書そのものを分けて保存する必要がなくなるとともに、ビューアで表示させる際に専用のハードウェアが必要なくなる。また、2次的な情報は電子文書に伴って移動するため、データの管理を好適に行うことも可能となる。
特に、本実施形態における具体的な用途としては、紙文書である原稿中に存在するキーワードにユーザ自らマークをすることでよって、ユーザ自らの好みに応じて意図的にキーワード抽出部55で抽出可能なキーワードを作成することができ、原稿に記述されている紙情報以上に更なる情報を付加したデータを意図的に作成することが可能になる。たとえばユーザがキーワードとして所望する文字または文字列に下線を引いたり、あるいは、蛍光マーカで色を付けるといった操作を行うことで簡単にキーワード抽出を画像処理装置1に対して指示することができる。本実施形態では、マークした文字列の意味の情報があらかじめ準備された電子文書を作成することが可能であり、電子文書の作成後に検索を行う場合においても検索の際に基礎となる情報量自体が増えているため検索時に有利となる。
[第2実施形態]
図9は、本発明の第2実施形態に係る、コントローラ11のCPU21により実行することが可能な機能的な構成を表している。図9に示されるように、画像処理装置1は、本発明の特徴的な構成として、レイアウト解析部53、OCR処理部54、キーワード抽出部55、キーワード検索部56、通信制御部57、電子文書作成部58、およびRIP(Raster Image Processor)処理部61を備える。これらの構成は、CPU21上でソフトウェアとして実装される。なお、図2の構成と対応する部分については、その説明は繰り返しになるので省略する。
図9は、本発明の第2実施形態に係る、コントローラ11のCPU21により実行することが可能な機能的な構成を表している。図9に示されるように、画像処理装置1は、本発明の特徴的な構成として、レイアウト解析部53、OCR処理部54、キーワード抽出部55、キーワード検索部56、通信制御部57、電子文書作成部58、およびRIP(Raster Image Processor)処理部61を備える。これらの構成は、CPU21上でソフトウェアとして実装される。なお、図2の構成と対応する部分については、その説明は繰り返しになるので省略する。
RIP処理部61は、ネットワーク31を介して接続されるパーソナルコンピュータ32のアプリケーションやプリンタドライバによって作成されたPDL(Page Description Language)ファイルを外部通信部26およびネットワーク31を介して取得し、取得されたPDLファイルを解析してビットマップデータに変換する。ビットマップデータとともにPDLファイルの情報からオブジェクト情報を表現するためのタグを示したビットマップデータを生成することも可能である。
図10のフローチャートを参照して、図9の画像処理装置1における電子文書作成処理について説明する。なお、図10のステップS22乃至S28の処理は、図3のステップS3乃至S9の処理と基本的には同様であり、その説明は繰り返しになるので適宜省略する。
ステップS21において、RIP処理部61は、ネットワーク31を介して接続されるパーソナルコンピュータ32のアプリケーションやプリンタドライバによって作成されたPDL(Page Description Language)ファイルを外部通信部26およびネットワーク31を介して取得し、取得されたPDLファイルを解析してビットマップデータに変換する。このとき、ビットマップデータとともにPDLファイルの情報からオブジェクト情報を表現するためのタグを示したビットマップデータを生成することも可能である。
ステップS22において、レイアウト解析部53は、RIP処理が完了した後に、RIP処理部61から出力されるビットマップデータを用いて文字領域や画像領域などに関するレイアウト情報を抽出する。このとき、レイアウト解析部53は、RIP処理部61から出力されるタグ情報も用いてレイアウト情報を抽出する。レイアウト情報の抽出の際にタグ情報を利用することで画像のみからレイアウトを解析する以上に精度の高い解析が可能になる。その後、処理はステップS23に進み、OCR処理が実行され、ステップS26でメタ情報が生成される。
本発明の実施形態においては、所定の形式によって生成されたファイルを解析してビットマップデータを生成し、生成された前記ビットマップデータから、文字領域に関するレイアウト情報と文字領域内の文字に付加されている文字付加情報を抽出し、抽出された前記レイアウト情報に含まれる前記文字領域を文字情報に変換し、変換された前記文字情報の中から、複数の文字により構成される1または複数のキーワードを抽出し、抽出された前記キーワードを用いて検索を実行し、得られた情報をメタ情報として生成し、文字情報に前記メタ情報を付加して所定の形式の記述に従った電子文書を作成することができる。
これにより、RIP処理後の画像を電子文書として保存する場合にも、電子化される情報に対して2次的に利用可能な情報を好適に付加することができ、2次的に利用可能な情報を電子文書上に埋め込むことができ、その結果、2次的に利用可能な効率的な電子文書を作成することができる。
なお、本発明の実施形態において説明した一連の処理は、ソフトウェアにより実行させることもできるが、ハードウェアにより実行させることもできる。
また、本発明の実施形態では、フローチャートのステップは、記載された順序に沿って時系列的に行われる処理の例を示したが、必ずしも時系列的に処理されなくとも、並列的あるいは個別実行される処理をも含むものである。
1…画像処理装置、11…コントローラ、12…スキャナ部、13…画像処理部、14…画像データインタフェース、15…ページメモリ、16…プリンタ駆動部、21…CPU、22…ROM、23…RAM、24…バス、25…HDD、26…外部通信部、31…ネットワーク、32…パーソナルコンピュータ、51…記憶部、52…スキャナ制御部、53…レイアウト解析部、54…OCR処理部、55…キーワード抽出部、56…キーワード検索部、57…通信制御部、58…電子文書作成部、61…RIP処理部。
Claims (12)
- 原稿に関する画像情報を読み取るスキャン部と、
前記スキャン部によって読み取られた前記画像情報から、文字領域に関するレイアウト情報と前記文字領域内の文字に付加されている文字付加情報を抽出する解析部と、
前記解析部によって抽出された前記レイアウト情報に含まれる前記文字領域を文字情報に変換するOCR処理部と、
前記OCR処理部によって変換された前記文字情報の中から、複数の文字により構成される1または複数のキーワードを抽出する抽出部と、
前記抽出部によって抽出された前記キーワードを用いて検索を実行し、得られた検索情報をメタ情報として生成する検索手段と、
前記文字情報に前記メタ情報を付加して所定の形式の記述に従った電子文書を作成する電子文書作成部とを備えることを特徴とする画像処理装置。 - 前記抽出部は、文章的に意味を有すると推定される部分を自然言語解析し、1または複数の前記キーワードを抽出することを特徴とする請求項1に記載の画像処理装置。
- 単語辞書データベースを記憶する記憶部をさらに備え、
前記抽出部は、前記記憶部に記憶されている前記単語辞書データベースに登録されている単語の重み係数を用いて、キーワードを抽出することを特徴とする請求項1に記載の画像処理装置。 - 前記画像処理装置とネットワークを介して接続される情報提供装置と通信する通信部をさらに備え、
前記検索部は、前記通信部を介して前記情報提供装置から前記検索情報を取得することを特徴とする請求項1に記載の画像処理装置。 - 前記電子文書作成部は、前記文字情報に含まれる文字の位置に関する情報と前記メタ情報を関連付け、前記文字情報に前記メタ情報を付加して電子文書を作成することを特徴とする請求項1に記載の画像処理装置。
- 原稿に関する画像情報を読み取り、
読み取られた前記画像情報から、文字領域に関するレイアウト情報と前記文字領域内の文字に付加されている文字付加情報を抽出し、
前記レイアウト情報に含まれる前記文字領域を文字情報に変換し、
変換された前記文字情報の中から、複数の文字により構成される1または複数のキーワードを抽出し、
抽出された前記キーワードを用いて検索を実行し、得られた検索情報をメタ情報として生成し、
前記文字情報に前記メタ情報を付加して所定の形式の記述に従った電子文書を作成することを特徴とする画像処理方法。 - 文章的に意味を有すると推定される部分を自然言語解析し、1または複数の前記キーワードを抽出することを特徴とする請求項6に記載の画像処理方法。
- 単語辞書データベースを記憶し、
記憶されている前記単語辞書データベースに登録されている単語の重み係数を用いて、キーワードを抽出することを特徴とする請求項6に記載の画像処理方法。 - ネットワークを介して接続される情報提供装置と通信し、
前記情報提供装置から前記検索情報を取得することを特徴とする請求項6に記載の画像処理方法。 - 前記文字情報に含まれる文字の位置に関する情報と前記メタ情報を関連付け、前記文字情報に前記メタ情報を付加して電子文書を作成することを特徴とする請求項6に記載の画像処理方法。
- 所定の形式によって生成されたファイルを解析してビットマップデータを生成するデータ生成部と、
前記データ生成部によって生成された前記ビットマップデータから、文字領域に関するレイアウト情報と前記文字領域内の文字に付加されている文字付加情報を抽出する解析部と、
前記解析部によって抽出された前記レイアウト情報に含まれる前記文字領域を文字情報に変換するOCR処理部と、
前記OCR処理部によって変換された前記文字情報の中から、複数の文字により構成される1または複数のキーワードを抽出する抽出部と、
前記抽出部によって抽出された前記キーワードを用いて検索を実行し、得られた検索情報をメタ情報として生成する検索手段と、
前記文字情報に前記メタ情報を付加して所定の形式の記述に従った電子文書を作成する電子文書作成部とを備えることを特徴とする画像処理装置。 - 前記データ生成部は、前記ビットマップデータを生成する場合、所定の形式によって生成された前記ファイルからオブジェクト情報を表現するためのタグ情報を生成することを特徴とする請求項11に記載の画像処理装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US1978708P | 2008-01-08 | 2008-01-08 | |
US12/349,993 US8204896B2 (en) | 2008-01-08 | 2009-01-07 | Image processing apparatus and image processing method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009163743A true JP2009163743A (ja) | 2009-07-23 |
Family
ID=40845392
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009002822A Pending JP2009163743A (ja) | 2008-01-08 | 2009-01-08 | 画像処理装置および画像処理方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US8204896B2 (ja) |
JP (1) | JP2009163743A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012190313A (ja) * | 2011-03-11 | 2012-10-04 | Fuji Xerox Co Ltd | 画像処理装置およびプログラム |
JP2013061699A (ja) * | 2011-09-12 | 2013-04-04 | Dainippon Printing Co Ltd | コンテンツ表示システム、コンテンツ表示方法、コンテンツ表示端末及びプログラム |
JP2015122796A (ja) * | 2015-02-17 | 2015-07-02 | 京セラドキュメントソリューションズ株式会社 | 画像読取装置、文書管理システム、及び画像読取制御プログラム |
JP2018164173A (ja) * | 2017-03-24 | 2018-10-18 | 富士ゼロックス株式会社 | 画像読取装置、及びプログラム |
JP2019207628A (ja) * | 2018-05-30 | 2019-12-05 | 京セラドキュメントソリューションズ株式会社 | 電子機器 |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5115089B2 (ja) * | 2007-08-10 | 2013-01-09 | 富士通株式会社 | キーワード抽出方法 |
KR20110051052A (ko) * | 2009-11-09 | 2011-05-17 | 삼성전자주식회사 | 인쇄 제어 방법 및 인쇄 제어 단말장치 |
KR101116434B1 (ko) * | 2010-04-14 | 2012-03-07 | 엔에이치엔(주) | 이미지를 이용한 쿼리 제공 방법 및 시스템 |
EP2383970B1 (en) * | 2010-04-30 | 2013-07-10 | beyo GmbH | Camera based method for text input and keyword detection |
KR20120085023A (ko) * | 2011-01-21 | 2012-07-31 | 주식회사 팬택 | 복수의 클립보드 저장 데이터를 이용한 검색 기능을 가진 단말기 및 이를 이용한 검색 서비스 제공 방법 |
EP2533141A1 (en) | 2011-06-07 | 2012-12-12 | Amadeus S.A.S. | A personal information display system and associated method |
US9063936B2 (en) | 2011-12-30 | 2015-06-23 | Verisign, Inc. | Image, audio, and metadata inputs for keyword resource navigation links |
US8965971B2 (en) * | 2011-12-30 | 2015-02-24 | Verisign, Inc. | Image, audio, and metadata inputs for name suggestion |
EP2637128B1 (en) | 2012-03-06 | 2018-01-17 | beyo GmbH | Multimodal text input by a keyboard/camera text input module replacing a conventional keyboard text input module on a mobile device |
US9165186B1 (en) * | 2014-05-30 | 2015-10-20 | Amazon Technologies, Inc. | Providing additional information for text in an image |
JP6478623B2 (ja) * | 2014-12-24 | 2019-03-06 | キヤノン株式会社 | 画像処理装置、制御方法及びプログラム |
JP2018124810A (ja) * | 2017-02-01 | 2018-08-09 | 株式会社東芝 | 画像処理装置及び画像処理方法 |
JP7379876B2 (ja) * | 2019-06-17 | 2023-11-15 | 株式会社リコー | 文字認識装置、文書ファイル生成方法、文書ファイル生成プログラム |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5822720A (en) * | 1994-02-16 | 1998-10-13 | Sentius Corporation | System amd method for linking streams of multimedia data for reference material for display |
US5784487A (en) * | 1996-05-23 | 1998-07-21 | Xerox Corporation | System for document layout analysis |
JP4286752B2 (ja) | 1998-05-08 | 2009-07-01 | 株式会社リコー | 検索支援サーバ及びコンピュータで読み取り可能な記録媒体 |
JP4695255B2 (ja) | 2000-12-08 | 2011-06-08 | 株式会社リコー | デジタル複合機 |
US20050229099A1 (en) * | 2004-04-07 | 2005-10-13 | Rogerson Dale E | Presentation-independent semantic authoring of content |
JP4671885B2 (ja) * | 2005-06-01 | 2011-04-20 | 株式会社リコー | 画像処理装置、プログラムおよび画像処理方法 |
JP4789516B2 (ja) | 2005-06-14 | 2011-10-12 | キヤノン株式会社 | 文書変換装置、文書変換方法並びに記憶媒体 |
-
2009
- 2009-01-07 US US12/349,993 patent/US8204896B2/en not_active Expired - Fee Related
- 2009-01-08 JP JP2009002822A patent/JP2009163743A/ja active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012190313A (ja) * | 2011-03-11 | 2012-10-04 | Fuji Xerox Co Ltd | 画像処理装置およびプログラム |
JP2013061699A (ja) * | 2011-09-12 | 2013-04-04 | Dainippon Printing Co Ltd | コンテンツ表示システム、コンテンツ表示方法、コンテンツ表示端末及びプログラム |
JP2015122796A (ja) * | 2015-02-17 | 2015-07-02 | 京セラドキュメントソリューションズ株式会社 | 画像読取装置、文書管理システム、及び画像読取制御プログラム |
JP2018164173A (ja) * | 2017-03-24 | 2018-10-18 | 富士ゼロックス株式会社 | 画像読取装置、及びプログラム |
JP2019207628A (ja) * | 2018-05-30 | 2019-12-05 | 京セラドキュメントソリューションズ株式会社 | 電子機器 |
JP7135446B2 (ja) | 2018-05-30 | 2022-09-13 | 京セラドキュメントソリューションズ株式会社 | 電子機器 |
Also Published As
Publication number | Publication date |
---|---|
US20090177653A1 (en) | 2009-07-09 |
US8204896B2 (en) | 2012-06-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2009163743A (ja) | 画像処理装置および画像処理方法 | |
US7715625B2 (en) | Image processing device, image processing method, and storage medium storing program therefor | |
US9411827B1 (en) | Providing images of named resources in response to a search query | |
JP5274305B2 (ja) | 画像処理装置、画像処理方法、コンピュータプログラム | |
RU2437152C2 (ru) | Устройство обработки изображений, способ и компьютерная программа обработки изображений | |
US9286392B2 (en) | Enhanced search engine | |
US9384225B2 (en) | Systems and methods for providing hi-fidelity contextual search results | |
US9881001B2 (en) | Image processing device, image processing method and non-transitory computer readable recording medium | |
US20060167899A1 (en) | Meta-data generating apparatus | |
JP5500994B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
US10922475B2 (en) | Systems and methods for managing documents containing one or more hyper texts and related information | |
KR100933269B1 (ko) | 색상 키워드를 이용한 검색 방법 및 시스템 | |
JP2004348467A (ja) | 画像検索装置及びその制御方法、プログラム | |
JP4952079B2 (ja) | 画像処理装置、方法及びプログラム | |
US20100188674A1 (en) | Added image processing system, image processing apparatus, and added image getting-in method | |
US20050166137A1 (en) | Systems and methods for analyzing documents | |
JP2005149210A (ja) | 画像処理装置及びその制御方法、プログラム | |
US20090031203A1 (en) | Hyperlinks | |
Youssef et al. | The Million Book Project at Bibliotheca Alexandrina | |
US20110279855A1 (en) | Retrieval system, image forming apparatus, and recording medium | |
JP2009123033A (ja) | 文書検索支援装置及びプログラム | |
JP2004287992A (ja) | 文書情報処理装置並びにプログラム | |
JP2007172233A (ja) | 画像処理履歴管理装置 | |
Eldakar et al. | A Framework for the Encoding of Multilayered Documents |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20111121 |