JP2006133963A - 画像処理システム - Google Patents
画像処理システム Download PDFInfo
- Publication number
- JP2006133963A JP2006133963A JP2004320561A JP2004320561A JP2006133963A JP 2006133963 A JP2006133963 A JP 2006133963A JP 2004320561 A JP2004320561 A JP 2004320561A JP 2004320561 A JP2004320561 A JP 2004320561A JP 2006133963 A JP2006133963 A JP 2006133963A
- Authority
- JP
- Japan
- Prior art keywords
- data
- image
- file
- document
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
Abstract
【課題】 送信原稿は、一通りしか、選択できなかった。
【解決手段】 原稿を読み込みセンド送信する際に、読み込んだ原稿のデータを送信するか、もしくは原稿から検索されたサーバ内のオリジナルデータを送信するかをユーザが切り替えることできるように操作部から設定できる。
【選択図】 図1
【解決手段】 原稿を読み込みセンド送信する際に、読み込んだ原稿のデータを送信するか、もしくは原稿から検索されたサーバ内のオリジナルデータを送信するかをユーザが切り替えることできるように操作部から設定できる。
【選択図】 図1
Description
本願発明は、複写機などの画像処理装置で読み取った画像データを、所謂文書作成アプリケーションソフトで再利用可能なベクトルデータに変換する画像処理システムに関する。
近年、環境問題が叫ばれる中、オフィスでのペーパーレス化が急速に進んでいる。即ち、従来からバインダー等で蓄積された紙文書をスキャナで読み取りポータブルドキュメントフォーマット(以降PDFと記す)に変換して画像記憶装置にデータベースとして蓄積し、文書管理システムを構築出来る。一方、機能が拡張されたMFPでは、予め画像を記録する際に、該画像ファイルが存在する画像記憶装置内のポインター情報を該文書の表紙或いは記載情報中に付加情報として記録して置き、再度、該文書を複写等、再利用する際に、このポインター情報からオリジナル電子ファイルの格納場所を検出し、該電子ファイルの元情報を直接用いる事で、紙文書全体の保存を削減する。(特許文献1参照)
特開平7−288628号公報
しかしながら、ポインター情報からオリジナル電子ファイルの格納場所を検出し、該電子ファイルを相手先にネットワークを介して送信するかスキャナの読み込んだ画像データを送信するかを選択することができなかった。
上記問題を解決するために、請求項1記載の発明は、原稿を読み取り走査する読み取り手段と、読み取り手段により得られた前記原稿の画像データを送信する画像データ送信手段と、前記読み取り手段で得られた画像データから、画像蓄積装置内のベクトルデータを特定する特定手段と、前記特定手段で前記原稿のベクトルデータが特定し、前記ベクトルデータを前記画像蓄積装置から送信するベクトルデータ送信手段と、前記画像データ送信手段により画像データを送信するか前記ベクトルデータ送信手段により電子データを送信するかをユーザが選択できるデータ送信選択手段と、前記データ送信選択手段により選択されたデータを送信することを特徴とする。
また、請求項2記載の発明は、請求項1記載の画像処理システムにおいて、前記特定手段によりベクトルデータを特定できなかった場合は、ベクトルデータに変換して送信することを特徴とする。
請求項3記載の発明は、請求項1記載の画像処理システムにおいて、前記特定手段により電子ベクトルデータを特定できなかった場合は、スキャンした画像データを前記画像データ送信手段により送信することを特徴とする。
請求項4記載の発明は、請求項1記載の画像処理システムにおいて、前記特定手段により電子ベクトルデータを特定できなかった場合は、ベクトルデータに変換して送信するか、スキャンした画像データを送信するかをユーザが選択することができることを特徴とする。
請求項5記載の発明は、請求項1記載の画像処理システムにおいて、前記特定手段は原稿に付加的に記録されたベクトルデータの格納場所を認識する手段を含む事を特徴とする。
請求項6記載の発明は、請求項1記載の画像処理システムにおいて、前記特定手段は原稿中に記載された特定の情報を記憶手段で格納されたファイルの中から検索する手段を有する事を特徴とする。
請求項7記載の発明は、請求項1記載の画像処理システムにおいて、前記特定手段は、前記読み取り手段によって得られる前記原稿の画像データから、原稿中に記載された特定の情報が検索して得られる場合に限って前記ベクトルデータに特定する事を特徴とする。
原稿をスキャンして読み取った原稿の画像データを送信する際に、サーバ内のオリジナルデータを取得して送信することを可能とし、読み込んだ原稿のデータを送信するか、もしくはサーバ内にファイルを送信するかをユーザが切り替えることできるように操作部から設定できるので、ユーザが所望するデータを送信できるという効果が得られる。
(実施例1)
本願発明の実施の形態について説明する。図1は本願発明にかかる画像処理システム構成例を示すブロック図である。この画像処理システムは、オフィス10とオフィス20とをインターネット104で接続された環境で実現する。オフィス10内に構築されたLAN107には、MFP100、MFP100を制御するマネージメントPC101、クライアントPC(外部記憶手段)102文書管理サーバ106、そのデータベース105およびプロキシサーバ103が接続されている。LAN107及びオフィス20内のLAN108はプロキシサーバ13を介してインターネット104に接続される。MFP100は本発明において紙文書の画像読み取り部と読み取った画像信号に対する画像処理の1部を担当し、画像信号はLAN109を用いてマネージメントPC101に入力する。マネージメントPCは通常のPCであり、内部に画像記憶手段、画像処理手段、表示手段、入力手段を有するが、その一部をMFP100に一体化して構成されている。
本願発明の実施の形態について説明する。図1は本願発明にかかる画像処理システム構成例を示すブロック図である。この画像処理システムは、オフィス10とオフィス20とをインターネット104で接続された環境で実現する。オフィス10内に構築されたLAN107には、MFP100、MFP100を制御するマネージメントPC101、クライアントPC(外部記憶手段)102文書管理サーバ106、そのデータベース105およびプロキシサーバ103が接続されている。LAN107及びオフィス20内のLAN108はプロキシサーバ13を介してインターネット104に接続される。MFP100は本発明において紙文書の画像読み取り部と読み取った画像信号に対する画像処理の1部を担当し、画像信号はLAN109を用いてマネージメントPC101に入力する。マネージメントPCは通常のPCであり、内部に画像記憶手段、画像処理手段、表示手段、入力手段を有するが、その一部をMFP100に一体化して構成されている。
図2はMFP100の構成図である。図2においてオートドキュメントフィーダー(以降ADFと記す)を含む画像読み取り部110は束状の或いは1枚の原稿画像を図示しない光源で照射し、原稿反射像をレンズで固体撮像素子上に結像し、固体撮像素子からラスター状の画像読み取り信号を600DPIの密度のイメージ情報として得る。通常の複写機能はこの画像信号をデータ処理部115で記録信号へ画像処理し、複数毎複写の場合は記録装置111に一旦1ページ分の記録データを記憶保持した後、記録装置112に順次出力して紙上に画像を形成する。
一方クライアントPC102から出力されるプリントデータはLAN107からネットワークIF114を経てデータ処理装置115で記録可能なラスターデータに変換した後、前記記録装置で紙上に記録画像として形成される。
MFP100への操作者の指示はMFPに装備されたキー操作部とマネージメントPCに入力されるキーボード及びマウスからなる入力装置113から行われ、これら一連の動作はデータ処理装置115内の図示しない制御部で制御される。
一方操作入力の状態表示及び処理中の画像データの表示は表示装置116で行われる。尚記憶装置111はマネージメントPCからも制御され、これらMFPとマネージメントPCとのデータの授受及び制御はネットワークIF117および直結したLAN109を用いて行われる。
(処理概要)
次に本発明による画像処理全体の概要を図3を用いて説明する。
次に本発明による画像処理全体の概要を図3を用いて説明する。
図3においてまず、MFP100の画像読み取り部110を動作させ1枚の原稿をラスター状に走査し、イメージ情報入力処理120で600DPI−8ビットの画像信号を得る。該画像信号をデータ処理部115で前処理を施し記憶装置111に1ページ分の画像データとして保存する。マネージメントPC101のCPUは該格納された画像信号から先ず、文字/線画部分とハーフトーンの画像部分とに領域を分離し、文字部は更に段落で塊として纏まっているブロック毎に、或いは、線で構成された表、図形に分離し各々セグメント化する。一方ハーフトーンで表現される画像部分は、矩形に分離されたブロックの画像部分、背景部等所謂ブロック毎に独立したオブジェクトに分割する(ステップ121)。
このとき原稿画像中に付加情報として記録された2次元バーコード、或いはURLに該当するオブジェクトを検出しURLはOCRで文字認識し、或いは2次元バーコードなら該マークを解読して(ステップ122)該原稿のオリジナル電子ファイルが格納されている記憶装置内のポインター情報を検出する(ステップ123)。尚、ポインター情報を付加する手段は他に文字と文字の間隔に情報を埋め込む方法、ハーフトーンの画像に埋め込む方法等直接可視化されない所謂電子透かしによる方法も有る。
ポインター情報が検出された場合、ステップ125に分岐し、ポインターで示されたアドレスから元の電子ファイルを検索する。電子ファイルは図1においてクライアントPC内のハードディスク内、或いはオフィス10或いは20のLANに接続された文書管理サーバ105内のデータベース105内、或いはMFP100自体が有する記憶装置111のいずれかに格納されており、ステップ123で得られたアドレス情報に従ってこれらの記憶装置内を検索する。ステップ125で電子ファイルが見つからなかった場合、見つかったがPDFあるいはtiffに代表される所謂イメージファイルであった場合、或いはポインター情報自体が存在しなかった場合はステップ126に分岐する。
ステップ126は所謂文書検索処理ルーチンである。
まずステップ122で各文字ブロックに対して行ったOCRの結果から単語を抽出して全文検索、或いは各オブジェクトの配列と各オブジェクトの属性から所謂レイアウト検索を行う。検索の結果、類似度の高い電子ファイルが見つかった場合、サムネイル等を表示(ステップ127)し、複数の中から操作者の選択が必要なら操作者の入力操作よってファイルの特定を行う。尚、候補が1ファイルの場合、自動的にステップ128からステップ134に分岐し、格納アドレスを通知する。ステップ126の検索処理で電子ファイルが見つからなかった場合、或いは、見つかったがPDFあるいはtiffに代表される所謂イメージファイルであった場合、ステップ129に分岐する。
ステップ129はイメージデータからベクトルデータへの変換処理部であり、オリジナル電子ファイルに近い電子ファイルに変換する。先ずステップ122でOCRされた文字ブロックに対しては、更に文字のサイズ、スタイル、字体を認識し、原稿を走査して得られた文字に可視的に忠実なフォントデータに変換する。一方線で構成される表、図形ブロックに対してはアウトライン化する。画像ブロックに対してはイメージデータとして個別のJPEGファイルとして処理する。これらのベクトル化処理は各オブジェクト毎に行い、更に各オブジェクトのレイアウト情報を保存して例えば、rtfに変換(ステップ130)して電子ファイルとして記憶装置111に格納(ステップ131)する。
今ベクトル化した原稿画像は以降同様の処理を行う際に直接電子ファイルとして検索出来るように、先ずステップ132において検索の為のインデックス情報を生成して検索用インデックスファイルに追加する。更に、ステップ136で今、操作者が行いたい処理が記録であると判断されれば、ステップ133に分岐し、ポインター情報をイメージデータとしてファイルに付加する。検索処理で電子ファイルが特定できた場合も同様に以降からは直接電子ファイルを特定する為にステップ128からステップ134に分岐し、格納アドレスを操作者に通知すると共に、今紙に記録する場合は、同様にポインター情報を電子ファイルに付加する。尚、ステップ125でポインター情報から電子ファイルが特定できた場合、検索処理で電子ファイルが特定出来た場合、ベクトル化により電子ファイルに変換した場合、ステップ134において、該電子ファイルの格納アドレスを操作者に通知する。
尚、以上本発明によって得られた電子ファイル自体を用いて、例えば文書の加工、蓄積、伝送、記録をステップ135で行う事が可能になる。これらの処理はイメージデータを用いる場合に比べて、情報量が削減され、蓄積効率が高まり、伝送時間が短縮され、又記録表示する際には高品位なデータとして非常に優位となる。
以下、各処理ブロックに対して詳細に説明する。
先ずステップ121で示すブロックセレクション処理について説明する。
(ブロックセレクション処理)
ブロックセレクション処理とは、図4の右に示すステップ120で読み取った一頁のイメージデータを左に示す様に、各オブジェクト毎の塊として認識し、該ブロック各々を文字/図画/写真/線/表等の属性に判定し、異なる属性を持つ領域に分割する処理である。
ブロックセレクション処理とは、図4の右に示すステップ120で読み取った一頁のイメージデータを左に示す様に、各オブジェクト毎の塊として認識し、該ブロック各々を文字/図画/写真/線/表等の属性に判定し、異なる属性を持つ領域に分割する処理である。
ブロックセレクション処理の実施例を以下に説明する。
先ず、入力画像を白黒に二値化し、輪郭線追跡をおこなって黒画素輪郭で囲まれる画素の塊を抽出する。面積の大きい黒画素の塊については、内部にある白画素に対しても輪郭線追跡をおこない白画素の塊を抽出、さらに一定面積以上の白画素の塊の内部からは再帰的に黒画素の塊を抽出する。
このようにして得られた黒画素の塊を、大きさおよび形状で分類し、異なる属性を持つ領域へ分類していく。たとえば、縦横比が1に近く、大きさが一定の範囲のものを文字相当の画素塊とし、さらに近接する文字が整列良くグループ化可能な部分を文字領域、扁平な画素塊を線領域、一定大きさ以上でかつ四角系の白画素塊を整列よく内包する黒画素塊の占める範囲を表領域、不定形の画素塊が散在している領域を写真領域、それ以外の任意形状の画素塊を図画領域、などとする。
ブロックセレクション処理で得られた各ブロックに対するブロック情報を図5に示す。
これらのブロック毎の情報は以降に説明するベクトル化、或いは検索の為の情報として用いる。
(ポインター情報の検出)
次に、ステップ122で示すファイルの格納位置をイメージ情報から抽出する為のOCR/OMR処理について説明する。
次に、ステップ122で示すファイルの格納位置をイメージ情報から抽出する為のOCR/OMR処理について説明する。
図6は原稿画像中に付加された2次元バーコード(QRコードシンボル)を復号して、データ文字列を出力する過程を示すフローチャートである。2次元バーコードの付加された原稿310の一例を図7に示す。
まず、データ処理装置115内のページメモリに格納された原稿310を表すイメージ画像をCPU(不図示)で走査して、先に説明したブロックセレクション処理の結果から所定の2次元バーコードシンボル311の位置を検出する。QRコードの位置検出パターンは、シンボルの4隅のうちの3済みに配置される同一の位置検出要素パターンから構成される(ステップ300)。
次に、位置検出パターンに隣接する形式情報を復元し、シンボルに適用されている誤り訂正レベルおよびマスクパターンを得る(ステップ301)。
シンボルの型番を決定した(ステップ302)後、形式情報で得られたマスクパターンを使って符号化領域ビットパターンをXOR演算することによってマスク処理を解除する(ステップ303)。
尚、モデルに対応する配置規則に従い、シンボルキャラクタを読取り、メッセージのデータ及び誤り訂正コード語を復元する(ステップ304)。
復元されたコード上に、誤りがあるかどうかの検出を行い(ステップ305)、誤りが検出された場合、ステップ306に分岐し、これを訂正する。
誤り訂正されたデータより、モード指示子および文字数指示子に基づいて、データコード語をセグメントに分割する(ステップ307)。
最後に、仕様モードに基づいてデータ文字を復号し、結果を出力する(ステップ308)。
尚、2次元バーコード内に組み込まれたデータは、対応するファイルのアドレス情報を表しており、例えばファイルサーバー名およびファイル名からなるパス情報で構成される。或いは、対応するファイルへのURLで構成される。
本実施例ではポインター情報が2次元バーコードを用いて付与された原稿310について説明したが、直接文字列でポインター情報が記録される場合は所定のルールに従った文字列のブロックを先のブロックセレクション処理で検出し、該ポインター情報を示す文字列の各文字を文字認識する事で、直接、元ファイルのアドレス情報を得る事が可能である。
又、或いは、図7の文書310の文字ブロック312、或いは313の文字列に対して隣接する文字と文字の間隔等に視認し難い程度の変調を加え、該文字間隔に情報を埋め込むことでもポインター情報を付与できる。該所謂透かし情報は、後述する文字認識処理を行う際に各文字の間隔を検出すれば、ポインター情報が得られる。又、自然画314の中に電子透かしとしてポインター情報を付加する事も可能である。
(ポインター情報によるファイル検索)
次に、図3で先に説明したステップ125およびステップ128で示す、ポインター情報からの電子ファイルの検索について図8のフローチャートを使用して説明する。
次に、図3で先に説明したステップ125およびステップ128で示す、ポインター情報からの電子ファイルの検索について図8のフローチャートを使用して説明する。
まず、ポインタ情報に含まれるアドレスに基づいて,ファイル・サーバーを特定する。(ステップ400)
ここでファイルサーバとは、クライアントPC102や、データベース105を内蔵する文書管理サーバ106や、記憶装置111を内蔵するMFP100自身を指す。
ここでファイルサーバとは、クライアントPC102や、データベース105を内蔵する文書管理サーバ106や、記憶装置111を内蔵するMFP100自身を指す。
ここでアドレスとは、URLや、サーバ名とファイル名からなるパス情報である。
ファイルサーバが特定できたら、ファイルサーバに対してアドレスを転送する。(ステップ401)ファイル・サーバーは,アドレスを受信すると,該当するファイルを検索する。(ステップ402)ファイルが存在しない場合(ステップ403−N)には、MFPに対してその旨通知する。
ファイルが存在した場合(ステップ403−Y)には、図3で説明した様に、ファイルのアドレスを通知(ステップ134)すると共に、ユーザの希望する処理が画像ファイルデータの取得であれば、MFPに対してファイルを転送する(ステップ408)。
(ファイル検索処理)
次に、図3のステップ126で示すファイル検索処理の詳細について図5、図9を使用して説明を行う。
次に、図3のステップ126で示すファイル検索処理の詳細について図5、図9を使用して説明を行う。
ステップ126の処理は、前述したように、ステップ124で入力原稿(入力ファイル)にポインタ情報が存在しなかった場合、または、ポインタ情報は在るが電子ファイルが見つからなかった場合、或いは電子ファイルがイメージファイルであった場合に行われる。
ここでは、ステップ122の結果、抽出された各ブロック及び入力ファイルが、図5に示す情報(ブロック情報、入力ファイル情報)を備えるものとする。情報内容として、属性、座標位置、幅と高さのサイズ、OCR情報有無を例としてあげる。属性は、文字、線、写真、絵、表その他に分類する。また簡単に説明を行うため、ブロックは座標Xの小さい順、即ち(例、X1<X2<X3<X4<X5<X6)にブロック1、ブロック2、ブロック3、ブロック4、ブロック5,ブロック6と名前をつけている。ブロック総数は、入力ファイル中の全ブロック数であり、図9の場合は、ブロック総数は6である。以下、これらの情報を使用して、データベース内から、入力ファイルに類似したファイルのレイアウト検索を行うフローチャートを図9に示す。ここで、データベースファイルは、図5と同様の情報を備えることを前提とする。
フローチャートの流れは、入力ファイルとデータベース中のファイルを順次比較するものである。まず、ステップ510にて、後述する類似率などの初期化を行う。次に、ステップ511にてブロック総数の比較を行い、ここで、真の場合、さらにファイル内のブロックの情報を順次比較する。ブロックの情報比較では、ステップ513,515,518にて、属性類似率、サイズ類似率、OCR類似率をそれぞれ算出し、ステップ522にてそれらをもとに総合類似率を算出する。各類似率の算出方法については、公知の技術が用いれるので説明を省略する。ステップ523にて総合類似率が、予め設定された閾値Thより高ければステップ524にてそのファイルを類似候補としてあげる。但し、図中のN、W、Hは、入力ファイルのブロック総数、各ブロック幅、各ブロック高さとし、ΔN、ΔW、ΔHは、入力ファイルのブロック情報を基準として誤差を考慮したものである。n、w、hは、データベースファイルのブロック総数、各ブロック幅、各ブロック高さとする。また、不図示ではあるが、ステップ514にてサイズ比較時に、位置情報XYの比較などを行ってもよい。
以上、検索の結果、類似度が閾値Thより高く、候補として保存されたデータベースファイル(ステップ524)をサムネイル等で表示(ステップ127)する。複数の中から操作者の選択が必要なら操作者の入力操作よってファイルの特定を行う。
(ベクトル化処理)
ファイルサーバーに元ファイルが存在しない場合は、図4に示すイメージデータを各ブロック毎にベクトル化する。次に、ステップ129で示されるベクトル化について詳説する。まず、文字ブロックに対しては各文字に対して文字認識処理を行う。
ファイルサーバーに元ファイルが存在しない場合は、図4に示すイメージデータを各ブロック毎にベクトル化する。次に、ステップ129で示されるベクトル化について詳説する。まず、文字ブロックに対しては各文字に対して文字認識処理を行う。
『文字認識』
文字認識部では、文字単位で切り出された画像に対し、パターンマッチの一手法を用いて認識を行い、対応する文字コードを得る。この認識処理は、文字画像から得られる特徴を数十次元の数値列に変換した観測特徴ベクトルと、あらかじめ字種毎に求められている辞書特徴ベクトルと比較し、最も距離の近い字種を認識結果とする処理である。特徴ベクトルの抽出には種々の公知手法があり、たとえば、文字をメッシュ状に分割し、各メッシュ内の文字線を方向別に線素としてカウントしたメッシュ数次元ベクトルを特徴とする方法がある。
文字認識部では、文字単位で切り出された画像に対し、パターンマッチの一手法を用いて認識を行い、対応する文字コードを得る。この認識処理は、文字画像から得られる特徴を数十次元の数値列に変換した観測特徴ベクトルと、あらかじめ字種毎に求められている辞書特徴ベクトルと比較し、最も距離の近い字種を認識結果とする処理である。特徴ベクトルの抽出には種々の公知手法があり、たとえば、文字をメッシュ状に分割し、各メッシュ内の文字線を方向別に線素としてカウントしたメッシュ数次元ベクトルを特徴とする方法がある。
ブロックセレクション(ステップ121)で抽出された文字領域に対して文字認識を行う場合は、まず該当領域に対し横書き、縦書きの判定をおこない、各々対応する方向に行を切り出し、その後文字を切り出して文字画像を得る。横書き、縦書きの判定は、該当領域内で画素値に対する水平/垂直の射影を取り、水平射影の分散が大きい場合は横書き領域、垂直射影の分散が大きい場合は縦書き領域と判断すればよい。文字列および文字への分解は、横書きならば水平方向の射影を利用して行を切り出し、さらに切り出された行に対する垂直方向の射影から、文字を切り出すことでおこなう。縦書きの文字領域に対しては、水平と垂直を逆にすればよい。尚、この時文字のサイズが検出出来る。
『フォント認識』
文字認識の際に用いる、字種数ぶんの辞書特徴ベクトルを、文字形状種すなわちフォント種に対して複数用意し、マッチングの際に文字コードとともにフォント種を出力することで、文字のフォントが認識出来る。
文字認識の際に用いる、字種数ぶんの辞書特徴ベクトルを、文字形状種すなわちフォント種に対して複数用意し、マッチングの際に文字コードとともにフォント種を出力することで、文字のフォントが認識出来る。
『文字のベクトル化』
前記文字認識およびフォント認識よって得られた、文字コードおよびフォント情報を用いて、各々あらかじめ用意されたアウトラインデータを用いて、文字部分の情報をベクトルデータに変換する。なお、元原稿がカラーの場合は、カラー画像から各文字の色を抽出してベクトルデータとともに記録する。
前記文字認識およびフォント認識よって得られた、文字コードおよびフォント情報を用いて、各々あらかじめ用意されたアウトラインデータを用いて、文字部分の情報をベクトルデータに変換する。なお、元原稿がカラーの場合は、カラー画像から各文字の色を抽出してベクトルデータとともに記録する。
以上の処理により、文字ブロックに属するイメージ情報をほぼ形状、大きさ、色が忠実なベクトルデータに変換出来る。
『文字以外の部分のベクトル化』
ブロックセレクション処理(ステップ121)で、図画あるいは線、表領域とされた領域を対象に、中で抽出された画素塊の輪郭をベクトルデータに変換する。具体的には、輪郭をなす画素の点列を角と看倣される点で区切って、各区間を部分的な直線あるいは曲線で近似する。角とは曲率が極大となる点であり、曲率が極大となる点は、図10に図示するように、任意点Piに対し左右k個の離れた点Pi−k,Pi+kの間に弦を引いたとき、この弦とPiの距離が極大となる点として求められる。さらに、Pi−k,Pi+k間の弦の長さ/弧の長さをRとし、Rの値が閾値以下である点を角とみなすことができる。角によって分割された後の各区間は、直線は点列に対する最小二乗法など、曲線は3次スプライン関数などを用いてベクトル化することができる。
ブロックセレクション処理(ステップ121)で、図画あるいは線、表領域とされた領域を対象に、中で抽出された画素塊の輪郭をベクトルデータに変換する。具体的には、輪郭をなす画素の点列を角と看倣される点で区切って、各区間を部分的な直線あるいは曲線で近似する。角とは曲率が極大となる点であり、曲率が極大となる点は、図10に図示するように、任意点Piに対し左右k個の離れた点Pi−k,Pi+kの間に弦を引いたとき、この弦とPiの距離が極大となる点として求められる。さらに、Pi−k,Pi+k間の弦の長さ/弧の長さをRとし、Rの値が閾値以下である点を角とみなすことができる。角によって分割された後の各区間は、直線は点列に対する最小二乗法など、曲線は3次スプライン関数などを用いてベクトル化することができる。
また、対象が内輪郭を持つ場合、ブロックセレクションで抽出した白画素輪郭の点列を用いて、同様に部分的直線あるいは曲線で近似する。
以上のように、輪郭の区分線近似を用いれば、任意形状の図形のアウトラインをベクトル化することができる。元原稿がカラーの場合は、カラー画像から図形の色を抽出してベクトルデータとともに記録する。
さらに、図11に示す様に、ある区間で外輪郭と、内輪郭あるいは別の外輪郭が近接している場合、2つの輪郭線をひとまとめにし、太さを持った線として表現することができる。具体的には、ある輪郭の各点Piから別輪郭上で最短距離となる点Qiまで線を引き、各距離PQiが平均的に一定長以下の場合、注目区間はPQi中点を点列として直線あるいは曲線で近似し、その太さはPQiの平均値とする。線や線の集合体である表罫線は、前記のような太さを持つ線の集合として効率よくベクトル表現することができる。
尚、先に文字ブロックに対する文字認識処理を用いたベクトル化を説明したが、該文字認識処理の結果、辞書からの距離が最も近い文字を認識結果として用いるが、この距離が所定値以上の場合は、必ずしも本来の文字に一致せず、形状が類似する文字に誤認識している場合が多い。従って、本発明では、この様な文字に対しては、上記した様に、一般的な線画と同じに扱い、該文字をアウトライン化する。即ち、従来、文字認識処理で誤認識を起こす文字に対しても誤った文字にベクトル化されず、可視的にイメージデータに忠実なアウトライン化によるベクトル化が行える。
又、写真と判定されたブロックに対しては本発明では、ベクトル化出来ない為、イメージデータのままとする。
(図形認識)
上述したように任意形状の図形のアウトラインをベクトル化した後、これらベクトル化された区分線を図形オブジェクト毎にグループ化する処理について説明する。
上述したように任意形状の図形のアウトラインをベクトル化した後、これらベクトル化された区分線を図形オブジェクト毎にグループ化する処理について説明する。
図12は、ベクトルデータを図形オブジェクト毎にグループ化するまでのフローチャートを示している。まず、各ベクトルデータの始点、終点を算出する(700)。次に各ベクトルの始点、終点情報を用いて、図形要素を検出する(701)。図形要素の検出とは、区分線が構成している閉図形を検出することである。検出に際しては、閉形状を構成する各ベクトルはその両端にそれぞれ連結するベクトルを有しているという原理を応用し、検出を行う。次に図形要素内に存在する他の図形要素、もしくは区分線をグループ化し、一つの図形オブジェクトとする(702)。また、図形要素内に他の図形要素、区分線が存在しない場合は図形要素を図形オブジェクトとする。
図13は,図形要素を検出するフローチャートを示している。先ず,ベクトルデータより両端に連結していない不要なベクトルを除去し、閉図形構成ベクトルを抽出する(710)。次に閉図形構成ベクトルの中から該ベクトルの始点を開始点とし、時計回りに順にベクトルを追っていく。開始点に戻るまで行い、通過したベクトルを全て一つの図形要素を構成する閉図形としてグループ化する(711)。また、閉図形内部にある閉図形構成ベクトルも全てグループ化する。さらにまだグループ化されていないベクトルの始点を開始点とし、同様の処理を繰り返す。最後に、710で除去された不要ベクトルのうち、711で閉図形としてグループ化されたベクトルに接合しているものを検出し一つの図形要素としてグループ化する(712)。
以上によって図形ブロックを個別に再利用可能な個別の図形オブジェクトとして扱う事が可能になる。
(アプリデータへの変換処理)
ところで、一頁分のイメージデータをブロックセレクション処理(121)し、ベクトル化処理(129)した結果は図14に示す様な中間データ形式のファイルとして変換されているが、このようなデータ形式はドキュメント・アナリシス・アウトプット・フォーマット(DAOF)と呼ばれる。
ところで、一頁分のイメージデータをブロックセレクション処理(121)し、ベクトル化処理(129)した結果は図14に示す様な中間データ形式のファイルとして変換されているが、このようなデータ形式はドキュメント・アナリシス・アウトプット・フォーマット(DAOF)と呼ばれる。
図14はDAOFのデータ構造を示す図である。
図14において、791はHeaderであり、処理対象の文書画像データに関する情報が保持される。レイアウト記述データ部792では、文書画像データ中のTEXT(文字)、TITLE(タイトル)、CAPTION(キャプション)、LINEART(線画)、EPICTURE(自然画)、FRAME(枠)、TABLE(表)等の属性毎に認識された各ブロックの属性情報とその矩形アドレス情報を保持する。文字認識記述データ部793では、TEXT、TITLE、CAPTION等のTEXTブロックを文字認識して得られる文字認識結果を保持する。表記述データ部794では、TABLEブロックの構造の詳細を格納する。画像記述データ部795は、PICTUREやLINEART等のブロックのイメージデータを文書画像データから切り出して保持する。
このようなDAOFは、中間データとしてのみならず、それ自体がファイル化されて保存される場合もあるが、このファイルの状態では、所謂一般の文書作成アプリケーションで個々のオブジェクトを再利用する事は出来ない。そこで、次に、このDAOFからアプリデータに変換する処理130について詳説する。
図15は、全体の概略フローである。
8000は、DAOFデータの入力を行う。
8002は、アプリデータの元となる文書構造ツリー生成を行う。
8004は、文書構造ツリーを元に、DAOF内の実データを流し込み、実際のアプリデータを生成する。
図16は、8002文書構造ツリー生成部の詳細フロー、図17は、文書構造ツリーの説明図である。全体制御の基本ルールとして、処理の流れはミクロブロック(単一ブロック)からマクロブロック(ブロックの集合体)へ移行する。
以後ブロックとは、ミクロブロック、及びマクロブロック全体を指す。
8100は、ブロック単位で縦方向の関連性を元に再グループ化する。スタート直後はミクロブロック単位での判定となる。
ここで、関連性とは、距離が近い、ブロック幅(横方向の場合は高さ)がほぼ同一であることなどで定義することができる。
また、距離、幅、高さなどの情報はGAOFを参照し、抽出する。
図17(a)は実際のページ構成、(b)はその文書構造ツリーである。8100の結果、T3,T4,T5が一つのグループV1、T6,T7が一つのグループV2が同じ階層のグループとしてまず生成される。
8102は、縦方向のセパレータの有無をチェックする。セパレータは、例えば物理的にはDAOF中でライン属性を持つオブジェクトである。また論理的な意味としては、アプリ中で明示的にブロックを分割する要素である。ここでセパレータを検出した場合は、同じ階層で再分割する。
8104は、分割がこれ以上存在し得ないか否かをグループ長を利用して判定する。
ここで、縦方向のグループ長がページ高さとなっている場合は、文書構造ツリー生成は終了する。
図17の場合は、セパレータもなく、グループ高さはページ高さではないので、8106に進む。
8106は、ブロック単位で横方向の関連性を元に再グループ化する。ここもスタート直後の第一回目はミクロブロック単位で判定を行うことになる。
関連性、及びその判定情報の定義は、縦方向の場合と同じである。
図17の場合は、T1,T2でH1、V1,V2でH2、がV1,V2の1つ上の同じ階層のグループとして生成される。
8108は、横方向セパレータの有無をチェックする。
図17では、S1があるので、これをツリーに登録し、H1,S1,H2という階層が生成される。
8110は、分割がこれ以上存在し得ないか否かをグループ長を利用して判定する。
ここで、横方向のグループ長がページ幅となっている場合は、文書構造ツリー生成は終了する。
そうでない場合は、8102に戻り、再びもう一段上の階層で、縦方向の関連性チェックから繰り返す。
図17の場合は、分割幅がページ幅になっているので、ここで終了し、最後にページ全体を表す最上位階層のV0が文書構造ツリーに付加される。
文書構造ツリーが完成した後、その情報を元に8006においてアプリデータの生成を行う。
図17の場合は、具体的には、以下のようになる。
すなわち、H1は横方向に2つのブロックT1とT2があるので、2カラムとし、T1の内部情報(DAOFを参照、文字認識結果の文章、画像など)を出力後、カラムを変え、T2の内部情報出力、その後S1を出力となる。
H2は横方向に2つのブロックV1とV2があるので、2カラムとして出力、V1はT3,T4,T5の順にその内部情報を出力、その後カラムを変え、V2のT6,T7の内部情報を出力する。
以上により例えばマイクロソフト社のMS−Word等のようなアプリケーションソフトウェアで利用可能なアプリデータへの変換処理が行える。
(ポインター情報の付加)
次に、ステップ133で示す、ポインター情報付加処理について説明する。
次に、ステップ133で示す、ポインター情報付加処理について説明する。
今、処理すべき文書が検索処理で特定された場合、あるいはベクトル化によって元ファイルが再生できた場合において、該文書を記録処理する場合においては、紙への記録の際にポインター情報を付与する事で、この文書を用いて再度各種処理を行う場合に簡単に元ファイルデータを取得できる。
図18はポインター情報としてのデータ文字列を2次元バーコード(QRコードシンボル:JIS X0510)311にて符号化して画像中に付加する過程を示すフローチャートである。
2次元バーコード内に組み込むデータは、対応するファイルのアドレス情報を表しており、例えばファイルサーバー名およびファイル名からなるパス情報で構成される。或いは、対応するファイルへのURLや、対応するファイルの格納されているデータベース105内あるいはMFP100自体が有する記憶装置内で管理されるファイルID等で構成される。
まず、符号化する種種の異なる文字を識別するため、入力データ列を分析する。また、誤り検出及び誤り訂正レベルを選択し、入力データが収容できる最小型番を選択する。(ステップ900)。
次に、入力データ列を所定のビット列に変換し、必要に応じてデータのモード(数字、英数字、8ビットバイト、漢字等)を表す指示子や、終端パターンを付加する。さらに所定のビットコード語に変換する。(ステップ901)。
この時、誤り訂正を行うため、コード語列を型番および誤り訂正レベルに応じて所定のブロック数に分割し、各ブロック毎に誤り訂正コード語を生成し、データコード語列の後に付加する(ステップ902)。
該ステップ902で得られた各ブロックのデータコード語を接続し、各ブロックの誤り訂正コード語、必要に応じて剰余コード語を後続する。(ステップ903)。
次に、マトリクスに位置検出パターン、分離パターン、タイミングパターンおよび位置合わせパターン等とともにコード語モジュールを配置する。(ステップ904)。
更に、シンボルの符号化領域に対して最適なマスクパターンを選択して、マスク処理パターンをステップ904で得られたモジュールにXOR演算により変換する。(ステップ905)。
最後に、ステップ905で得られたモジュールに形式情報および型番情報を生成して、2次元コードシンボルを完成する。(ステップ906)。
上記に説明した、アドレス情報の組み込まれた2次元バーコードは、例えば、クライアントPC102から電子ファイルをプリントデータとして記録装置112に紙上に記録画像として形成する場合に、データ処理装置115内で記録可能なラスターデータに変換された後にラスターデータ上の所定の個所に付加されて画像形成される。ここで画像形成された紙を配布されたユーザーは、画像読取り部110で読み取ることにより、前述したステップ123にてポインター情報からオリジナル電子ファイルの格納場所を検出することができる。
尚、同様の目的で付加情報を付与する手段は、本実施例で説明した2次元バーコードの他に、例えば、ポインター情報を直接文字列で文書に付加する方法、文書内の文字列、特に文字と文字の間隔を変調して情報を埋め込む方法、文書中の中間調画像中に埋め込む方法等、一般に電子透かしと呼ばれる方法が適用出来る。
(送信データ切り替え処理)
まず、ユーザはスキャンした画像を送信するか、もしくは、文書管理サーバ内のオリジナルデータを送信するかをあらかじめ操作部から設定しておく。ユーザがスキャンした画像を送信すると指定した場合には、原稿をスキャンして読み取った画像データを機器側から相手先に送信する。また、ユーザが文書管理サーバ内のオリジナルデータを送信すると指定した場合には、スキャンで得られた画像データをもとに、ネットワークに接続された文書管理サーバ内のデータベース等から電子ファイルを検索し、検出して相手先に送信する。もし、検出できなかった場合には、あらかじめ、ユーザがスキャンした画像をそのまま相手先に送信するか、もしくは、画像データをベクトルデータに変換してから送信するかを選択しておき、ユーザがスキャンした画像データをそのまま相手先に送信すると指定した場合には、画像データを相手先に送信し、ベクトルデータに変換してから送信すると指定した場合には、画像データをベクトルデータに変換してから送信する。
まず、ユーザはスキャンした画像を送信するか、もしくは、文書管理サーバ内のオリジナルデータを送信するかをあらかじめ操作部から設定しておく。ユーザがスキャンした画像を送信すると指定した場合には、原稿をスキャンして読み取った画像データを機器側から相手先に送信する。また、ユーザが文書管理サーバ内のオリジナルデータを送信すると指定した場合には、スキャンで得られた画像データをもとに、ネットワークに接続された文書管理サーバ内のデータベース等から電子ファイルを検索し、検出して相手先に送信する。もし、検出できなかった場合には、あらかじめ、ユーザがスキャンした画像をそのまま相手先に送信するか、もしくは、画像データをベクトルデータに変換してから送信するかを選択しておき、ユーザがスキャンした画像データをそのまま相手先に送信すると指定した場合には、画像データを相手先に送信し、ベクトルデータに変換してから送信すると指定した場合には、画像データをベクトルデータに変換してから送信する。
100 MFP
101 マネージメントPC
102 クライアントPC
103 プロキシサーバ
104 インターネット
105 データベース
106 文書管理サーバ
107 LAN
108 LAN
109 LAN
101 マネージメントPC
102 クライアントPC
103 プロキシサーバ
104 インターネット
105 データベース
106 文書管理サーバ
107 LAN
108 LAN
109 LAN
Claims (7)
- 原稿を読み取り走査する読み取り手段と、読み取り手段により得られた前記原稿の画像データを送信する画像データ送信手段と、前記読み取り手段で得られた画像データから、画像蓄積装置内のベクトルデータを特定する特定手段と、前記特定手段で前記原稿のベクトルデータが特定し、前記ベクトルデータを前記画像蓄積装置から送信するベクトルデータ送信手段と、前記画像データ送信手段により画像データを送信するか前記ベクトルデータ送信手段により電子データを送信するかをユーザが選択できるデータ送信選択手段と、前記データ送信選択手段により選択されたデータを送信することを特徴とする画像処理システム。
- 前記特定手段によりベクトルデータを特定できなかった場合は、ベクトルデータに変換して送信することを特徴とする第1項記載の画像処理システム。
- 前記特定手段により電子ベクトルデータを特定できなかった場合は、スキャンした画像データを前記画像データ送信手段により送信することを特徴とする第1項記載の画像処理システム。
- 前記特定手段により電子ベクトルデータを特定できなかった場合は、ベクトルデータに変換して送信するか、スキャンした画像データを送信するかをユーザが選択することができることを特徴とする第1項記載の画像処理システム。
- 前記特定手段は原稿に付加的に記録されたベクトルデータの格納場所を認識する手段を含む事を特徴とする第1項記載の画像処理システム。
- 前記特定手段は原稿中に記載された特定の情報を記憶手段で格納されたファイルの中から検索する手段を有する事を特徴とする第1項記載の画像処理システム。
- 前記特定手段は、前記読み取り手段によって得られる前記原稿の画像データから、原稿中に記載された特定の情報が検索して得られる場合に限って前記ベクトルデータに特定する事を特徴とする第5項記載の画像処理システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004320561A JP2006133963A (ja) | 2004-11-04 | 2004-11-04 | 画像処理システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004320561A JP2006133963A (ja) | 2004-11-04 | 2004-11-04 | 画像処理システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006133963A true JP2006133963A (ja) | 2006-05-25 |
Family
ID=36727476
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004320561A Withdrawn JP2006133963A (ja) | 2004-11-04 | 2004-11-04 | 画像処理システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2006133963A (ja) |
-
2004
- 2004-11-04 JP JP2004320561A patent/JP2006133963A/ja not_active Withdrawn
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7681121B2 (en) | Image processing apparatus, control method therefor, and program | |
JP4266784B2 (ja) | 画像処理システム及び画像処理方法 | |
US7542605B2 (en) | Image processing apparatus, control method therefor, and program | |
US8520006B2 (en) | Image processing apparatus and method, and program | |
US7640269B2 (en) | Image processing system and image processing method | |
JP4393161B2 (ja) | 画像処理装置及び画像処理方法 | |
EP1455284A2 (en) | Image processing method and image processing system | |
JP2004265384A (ja) | 画像処理システム及び情報処理装置、並びに制御方法及びコンピュータプログラム及びコンピュータ可読記憶媒体 | |
JP3862694B2 (ja) | 画像処理装置及びその制御方法、プログラム | |
JP4227432B2 (ja) | 画像処理方法 | |
JP4338189B2 (ja) | 画像処理システム及び画像処理方法 | |
JP2007129557A (ja) | 画像処理システム | |
JP2006134042A (ja) | 画像処理システム | |
JP2005149097A (ja) | 画像処理システム及び画像処理方法 | |
JP4185858B2 (ja) | 画像処理装置及びその制御方法、プログラム | |
JP4310176B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2006146486A (ja) | 画像処理装置 | |
JP2008084127A (ja) | 画像形成装置 | |
JP2006195886A (ja) | 画像処理システム | |
JP2005208872A (ja) | 画像処理システム | |
JP2006133963A (ja) | 画像処理システム | |
JP2005136729A (ja) | 画像処理装置、画像処理方法、コンピュータプログラム、及びコンピュータ読み取り可能な記録媒体 | |
JP2006134231A (ja) | 画像処理システム | |
JP2005157447A (ja) | 画像処理システム及び画像処理方法 | |
JP2005165674A (ja) | 画像処理装置、画像処理方法、及びコンピュータプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20080108 |