JP2006261772A - 画像形成装置及び画像形成方法 - Google Patents
画像形成装置及び画像形成方法 Download PDFInfo
- Publication number
- JP2006261772A JP2006261772A JP2005073019A JP2005073019A JP2006261772A JP 2006261772 A JP2006261772 A JP 2006261772A JP 2005073019 A JP2005073019 A JP 2005073019A JP 2005073019 A JP2005073019 A JP 2005073019A JP 2006261772 A JP2006261772 A JP 2006261772A
- Authority
- JP
- Japan
- Prior art keywords
- image
- information
- original
- image forming
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Editing Of Facsimile Originals (AREA)
Abstract
【課題】 紙文書に追加された手書きの修正を電子情報に変換し、オリジナル文書の修正を共有することの出来る画像形成装置及び画像形成方法を提供する。
【解決手段】 画像を入力する画像入力手段と、画像に関連付けられたオリジナル電子情報を取得するオリジナル情報取得手段と、画像をベクトルデータに変換するベクトルデータ変換手段と、オリジナル電子情報と画像から差分ベクトル情報を作成する差分抽出手段と、を含む画像形成装置において、抽出した差分ベクトル情報を、オリジナル電子データに関連付けて登録することを特徴とする。
【選択図】 図1
【解決手段】 画像を入力する画像入力手段と、画像に関連付けられたオリジナル電子情報を取得するオリジナル情報取得手段と、画像をベクトルデータに変換するベクトルデータ変換手段と、オリジナル電子情報と画像から差分ベクトル情報を作成する差分抽出手段と、を含む画像形成装置において、抽出した差分ベクトル情報を、オリジナル電子データに関連付けて登録することを特徴とする。
【選択図】 図1
Description
本発明は、手書きや画像合成により修正がなされた画像とオリジナル画像データを比較し、修正をベクトル化してサーバに登録する画像形成装置及び画像形成方法に関するものである。
近年、ワードプロセッサやパーソナルコンピュータ上で文書作成用のアプリケーションを使用して電子的な文書を作成することが多い。この電子的な文書の他の人に送付するための方法としては、プリンタにより文書の内容を用紙上に印刷して従来の回覧用紙と同様に相手に手渡す方法、文書情報をフロッピー(登録商標)ディスク等の記憶媒体に記録し、あるいは、さらにネットワークにて伝送する方法がある。
受取人は、記憶媒体から読み出された、あるいはネットワークを介して送られてきた文書情報をプリンタにより用紙上に印刷するか、あるいは電子ディスプレイに表示する等の過程を経て情報の共有化をはかる。受取人は、それを知識として将来のために蓄えるか、加工して新しい文書情報とするか、新たな文書情報で発信人に答えるかして、文書活用のサイクルがなされる。
受け取った文書に対して修正を行うためには、印刷された紙の文書に直接手書きで追記をする場合や、元の文書を編集し直して電子メールで送る等の場合が考えられる。
しかしながら、文書が印刷された印刷物に直接上書きする以外は、見る文書が電子的手段で表現されているため、紙の印刷物に比べて視認性が悪く、ユーザに対する視覚的なインターフェイス特性が悪いという問題がある。また、会議などでは配布文書は印刷された紙であることが多い。
このため、視認性の良い紙の上での情報を元に、書かれた文書を読み、手書きで情報を追加し、伝送し、さらには文書の編集処理・修正等を行うための文書処理装置および方法を提供するものとして、特許文献1のような発明がなされている。
特許第3454273号明細書
しかしながら、特許文献1では、オリジナルの画像と、手書き画像をビット単位で比べる差分法を示しているが、オリジナル画像の拡大縮小やレイアウトの変更に対応することができない。また、特許文献1では手書きはあくまでも修正の指示を指定するだけのもので、重要な手書きの修正内容をデータとして共有することができない。また、複数の人間により修正された内容をマージすることもできない。
本発明はこのような従来の問題点を解消すべく創案されたもので、紙文書に追加された手書きの修正を電子情報に変換し、オリジナル文書の修正を共有することの出来る画像形成装置及び画像形成方法を提供することを目的とする。
上述した問題点を解決するために、本発明では第1に、画像を入力する画像入力手段と画像に関連付けられたオリジナル電子情報を取得するオリジナル情報取得手段と、画像をベクトルデータに変換するベクトルデータ変換手段と、オリジナル電子情報と画像から差分ベクトル情報を作成する差分抽出手段と、を含む画像形成装置において、抽出した差分ベクトル情報を、オリジナル電子データに関連付けて登録することを特徴とするように構成する。
第2に第1の画像形成装置であって、画像を入力する画像入力手段は原稿を光学的に読込み画像情報を得る原稿読込手段であることを特徴とするように構成する。
第3に、第1または第2の画像形成装置であって、画像出力手段を含み、さらにオリジナル電子データに関連付けされた差分ベクトル情報をオリジナル電子データと合成して出力する時に、出力画像に差分ベクトル情報とオリジナル電子データを関連付けることを特徴とするように構成される。
第4に、画像を入力する画像入力ステップと、画像に関連付けられたオリジナル電子情報を取得するオリジナル情報取得ステップと、画像をベクトルデータに変換するベクトルデータ変換ステップと、オリジナル電子情報と画像から差分ベクトル情報を作成する差分抽出ステップとを含む画像形成方法において、抽出した差分ベクトル情報を、オリジナル電子データに関連付けて登録することを特徴とするように構成する。
第5に、第4の画像形成方法であって、画像を入力する画像入力ステップは原稿を光学的に読込み画像情報を得る原稿読込ステップであることを特徴とするように構成する。
第6に、第4または第5の画像形成方法であって、画像出力ステップを含み、さらにオリジナル電子データに関連付けされた差分ベクトル情報をオリジナル電子データと合成して出力する時に、出力画像に差分ベクトル情報とオリジナル電子データを関連付けることを特徴とするように構成する。
本発明の第1または第4の構成により、入力した画像から、オリジナル原稿を取得し、その差分をサーバに登録することが出来る。これにより、手書きによる修正をオリジナル原稿と結びつけることが容易にできる。
本発明の第2または第5の構成により、利用者は原稿読み取り用のスキャナを用いて画像の入力を行うこととなり、紙に直接手書きで記入した画像を容易に入力することが出来る。
本発明の第3または第6の構成により、利用者は登録された修正画像をいろいろな形式で出力することが可能となり、手書きによる修正を共有することが可能となる。
発明を実施するための最良の形態について実施例により詳しく説明する。
次に本発明に係る画像処理方法の第1実施形態を図面に基づいて説明する。
[画像処理システム]
図1において、本発明に係る画像処理方法の第1実施形態を実施する画像処理システムは、オフィス10とオフィス20とをインターネット104で接続した環境において使用される。
図1において、本発明に係る画像処理方法の第1実施形態を実施する画像処理システムは、オフィス10とオフィス20とをインターネット104で接続した環境において使用される。
オフィス10内に構築されたLAN107には、記録装置としてのMFP(マルチファンクション複合機)100、MFP100を制御するマネージメントPC101、クライアントPC(外部記憶手段)102、文書管理サーバ106、文書管理サーバ106のためのデータベース105が接続されている。
オフィス20内にはLAN108が構築され、LAN108には文書管理サーバ106、および文書管理サーバ106のためのデータベース105が接続されている。
LAN107、108にはプロキシサーバ103が接続され、LAN107、108はプロキシサーバ103を介してインターネットに接続される。
MFP100は原稿から読み取った入力画像に対する画像処理の一部を担当し、処理結果としての画像データはLAN109を通じてマネージメントPC101に入力される。マネージメントPC101は、画像記憶手段、画像処理手段、表示手段、入力手段等を含むコンピュータであり、機能的にはこれら構成要素の一部がMFP100と一体化して、画像処理システムの構成要素となっている。なお、本実施形態では、マネージメントPC101において、下記に記載の検索処理などが実行されるものとするが、マネージメントPC101で行われる処理すべてをMFPで実行するようにしても構わない。
さらにMFP100は、LAN109によってマネージメントPC101に直接接続されている。
[MFPの構成]
図2において、MFP100は、オートドキュメントフィーダ(ADF)を有する画像読み取り部110を備える。画像読み取り部110は束状の或いは1枚の原稿の画像を光源で照射し、反射画像をレンズで固体撮像素子上に結像する。固体撮像素子は所定解像度(例えば600dpi)および所定濃度レベル(例えば8ビット)の画像読み取り信号を生成し、画像読み取り信号からラスターデータよりなる画像データが構成される。
図2において、MFP100は、オートドキュメントフィーダ(ADF)を有する画像読み取り部110を備える。画像読み取り部110は束状の或いは1枚の原稿の画像を光源で照射し、反射画像をレンズで固体撮像素子上に結像する。固体撮像素子は所定解像度(例えば600dpi)および所定濃度レベル(例えば8ビット)の画像読み取り信号を生成し、画像読み取り信号からラスターデータよりなる画像データが構成される。
MFP100は、記憶装置111および印刷機能を有する記録装置112を有する。複写機能を実行する際には、画像読み取り部110から出力されたイメージデータをデータ処理装置115によって画像処理して記録信号に変換し、記録装置112に出力する。複数枚複写の場合には、1頁分の記録信号を一旦記憶装置111に記憶保持した後、記録装置112に順次出力して、記録紙上に記録画像を形成する。
MFP100は、LAN107との接続のためのネットワークIF114を有し、クライアントPC102が出力したイメージデータを、記録装置112によって記録し得る。クライアントPC102から出力されたイメージデータはLAN107からネットワークIF114を経てデータ処理装置115で記録可能な記録信号に変換された後、MFP100において、記録紙上に記録画像として記録される。
記憶装置111はネットワークIF117を介して、マネージメントPC101から直接制御し得る。
MFP100は表示装置116を有し、操作入力の状態と、処理すべきイメージデータとを、表示装置116によって表示し得る。
MFP100は、MFP100に設けられたキー操作部を含む入力装置113、表示装置116を利用したタッチパネル、あるいはマネージメントPC101のキーボード、ポインティングデバイス等の入力装置を通じて操作される。これらの操作のために、データ処理装置115は内部の制御部(図示せず。)によって所定の制御を実行する。
LAN109は、MFP100とマネージメントPC1 01との間のデータの授受、制御信号授受に用いられる。
[画像処理方法の全体の流れ]
本発明に係る画像処理方法の第1実施形態は図3の各ステップにより実行される。
本発明に係る画像処理方法の第1実施形態は図3の各ステップにより実行される。
ステップS301では、MFP100の画像読み取り部110を動作させて、1枚の原稿をラスター状に走査し、所定解像度および所定濃度レベルの、画像読み取り信号を取得する。画像読み取り信号はデータ処理部115によって前処理され、入力画像の1頁分のイメージデータとして、記憶装置111に保存される。次にステップS302に進む。
ステップS302(ブロックセレクション(領域分割)ステップ)では、マネージメントPC101によって、記憶装置111に格納されたイメージデータの領域を、文字あるいは線画を含む文字・線画領域と、ハーフトーンの写真領域、不定形の画像領域その他に分ける。さらに文字・線画領域について、主に文字を含む文字領域と、主に表、図形等を含む線画領域とを分離し、線画領域は表領域と図形領域に分離する。なお、本実施形態では連結画素を検知し、該連結画素の外接矩形領域の形状・サイズ・画素密度等を用いて、属性毎の領域に分割するものとするが、その他の領域分割手法を用いても構わない。
文字領域については、文字段落ごとの纏まった塊をブロックとして矩形ブロック(文字領域矩形ブロック)にセグメント化し、線画領域では、表、図形等の個々のオブジェクト(表領域矩形ブロック、線画領域矩形ブロック)ごとに矩形ブロックにセグメント化する。
ハーフトーンで表現される写真領域は、画像領域矩形ブロック、背景領域矩形ブロック等のオブジェクトごとに、矩形ブロックにセグメント化する。これらの矩形ブロックの情報を「領域分割情報」という。
ステップS303では、ブロックセレクションステップで得られた領域分割情報と入力画像とを合成して、MFP100の表示装置116における操作画面上に表示する。
表示装置116に表示される操作画面の一例を図4に示す。
操作画面には、左半部に入力画像そのものが画像41として表示され、右半部に矩形ブロックにより領域分割情報を示す画像42が表示される。
画像42では、入力画像を簡略表示するとともに、各矩形ブロックを矩形で示す。
矩形ブロックの概念の理解を容易にするため、各矩形ブロックには、その属性を示す、TEXT、PICTURE、LINE、TABLEの表示が付されているが、実際には属性情報は表示されず、分割された矩形領域が枠線として表示される。
TEXT、PICTURE、LINE、TABLEは文字領域矩形ブロック、図面領域矩形ブロック、線図形領域矩形ブロック、表領域矩形ブロックの属性表示であり、写真領域矩形ブロックを示すPHOTO、その他の属性表示が用いられる。
なお、図4では入力画像と領域分割情報を左右に並べて表示しているが、これらを重ねて入力画像上に分割された矩形ブロックを表示する等、多様な表示形態が可能である。
ステップS304(特定領域指定ステップ)では、ステップS303で表示された領域分割情報について、手書き部分が含まれる矩形ブロックを特定領域として指定する。特定領域の指定方法としては、例えば、ユーザがポインティングデバイスを用いて、画像42中の1個または複数の矩形ブロックを指示することによって行う。なお操作画面116をタッチパネルとし、ユーザが所望の矩形ブロックを指で指示する方法等、種々の方法を採用し得る。
また、領域を指定させず、表示されている矩形すべてを対象としても良い。
ステップS305では、ステップS304で指定された特定領域をイメージデータとして切り出し、切り出されたイメージデータに対して以下の処理を行う。
ステップS306では、原稿画像にオリジナルデータファイルのポインタ情報が埋め込まれているか否かの判定を行うため、OCR、OMR処理を行う。
原稿画像中に付加情報として記録された2次元バーコード、あるいはURLに該当するオブジェクトを検出し、OCRによってURLを文字認識し、OMRによって2次元バーコードを解読して入力画像のオリジナルデータファイルが格納されている記憶装置内のポインタ情報を検出する。
ポインタ情報を付加する手段は2次元バーコードに限定されるものではなく、隣接文字列間隔の変化として情報を埋め込む方法、ハーフトーンの画像に埋め込む方法等、直接視認されない、いわゆる電子透かしによる方法等がある。
ステップS307(ポインタ情報抽出ステップ)では、ステップS306におけるOCR、OMR、もしくは電子透かしの情報から、ポインタ情報を抽出する。
ステップS308では、ポインタ情報が取得されたか否か判断する。ポインタ情報が取得されたときは、オリジナルデータファイルに直接アクセスすべく、ステップS309に遷移する。
ステップS309では、オリジナルデータファイルを検索する。オリジナルファイルは、電子ファイルの形態で、図1のクライアントPC102のハードディスク内、文書管理サーバ106内のデータベース105内、MFP100に設けられた記憶装置111等に格納されており、ステップS308で得られたアドレス情報(ポインタ情報)に従ってこれらの記憶装置内を検索する。電子ファイルの検索が成功した場合、ステップS311に遷移する。そうでなければ処理を終了する。
ステップS311では、ステップS310で抽出されたオリジナルデータファイルがラスターデータファイルあるいは、BMP、tiffに代表される、ラスターデータを符号化したイメージデータファイルであるかどうかを判定する。抽出されたデータファイルがイメージデータファイルのときは、ステップS311に遷移する。
抽出されたデータファイルが、文字コードやベクトルデータ等、再利用が容易なデータファイルであったときはステップS312に遷移する。
ステップS312(ベクトル化ステップ)では、ベクトル化処理に移り、ベクトル化処理により各特定領域のイメージデータをベクトルデータに変換する。
ベクトル化の方法は、以下(a)〜(f)等が存在する。
(a)特定領域が文字領域のとき、さらにOCRによる文字画像のコード変換を行う、あるいは文字のサイズ、スタイル、字体を認識し、原稿を走査して得られた文字に可視的に忠実なフォントデータに変換する。
(b)特定領域が文字領域であり、かつOCRによる認識が不可能であったとき、文字の輪郭を追跡し、輪郭情報(アウトライン)を線分のつながりとして表現する形式に変換する。
(c)特定領域が図形領域のとき、図形オブジェクトの輪郭を追跡し、輪郭情報を線分のつながりとして表現する形式に変換する。
(d)前述の(b)、(c)の線分形式のアウトライン情報をベジエ関数などでフィッティングして、関数情報に変換する。
(e)前述の(c)の図形オブジェクトの輪郭情報から、図形の形状を認識し、円、矩形、多角形、等の図形定義情報に変換する。
(f)特定領域が図形領域であって、特定領域における表形式オブジェクトの場合、罫線や枠線を認識し、所定のフォーマットの帳票フォーマット情報に変換する。
以上の方法以外に、イメージデータをコード情報、図形情報、関数情報等のコマンド定義形の情報に置きかえる種々のベクトル化処理が考えられる。
ステップS312では、ステップS309で得られたベクトル化された電子ファイルもしくはステップS311で得られたオリジナル画像のベクトル化データと、画像の読込によって得られたファイルとの差分を抽出する。差分を抽出する部分はステップS304で指定された領域だけとする。
ステップS313では、ステップS312で抽出された差分のベクトル情報を、オリジナルファイルの属性としてサーバに登録する。
以上の構成により、ユーザが希望する領域のみから、手書き等による修正をベクトルデータに変換し、サーバに登録することが出来る。
次に図3の主要なステップについて詳細に説明する。
[ブロックセレクションステップ]
ステップS302(ブロックセレクションステップ)においては、図4右半部の画像42に示すように、入力画像を属性ごとに矩形ブロックに分割する。前述のように、矩形ブロックの属性としては、文字(TEXT)/図面(PICTURE)/線画(Line)/表(Table)/写真(PHOTO)等がある。
ブロックセレクションステップにおいては、まず入力画像を白黒に2値化し、黒画素輪郭で囲まれる画素塊を抽出する。
ステップS302(ブロックセレクションステップ)においては、図4右半部の画像42に示すように、入力画像を属性ごとに矩形ブロックに分割する。前述のように、矩形ブロックの属性としては、文字(TEXT)/図面(PICTURE)/線画(Line)/表(Table)/写真(PHOTO)等がある。
ブロックセレクションステップにおいては、まず入力画像を白黒に2値化し、黒画素輪郭で囲まれる画素塊を抽出する。
さらに、このように抽出された黒画素塊の大きさを評価し、大きさが所定値以上の黒画素塊の内部にある白画素塊に対する輪郭追跡を行う。白画素塊に対する大きさ評価、内部黒画素塊の追跡というように、内部の画素塊が所定値以上である限り、再帰的に内部画素塊の抽出、輪郭追跡を行う。
画素塊の大きさは、例えば画素塊の面積によって評価される。
このようにして得られた画素塊に外接する矩形ブロックを生成し、矩形ブロックの大きさ、形状に基づき属性を判定する。
例えば、縦横比が1に近く、大きさが一定の範囲の矩形ブロックは文字領域矩形ブロックの可能性がある文字相当ブロックとし、近接する文字相当ブロックが規則正しく整列しているときに、これら文字相当ブロックをまとめた新たな矩形ブロックを生成し、新たな矩形ブロックを文字領域矩形ブロックとする。
また扁平な画素塊を線画領域矩形ブロック、一定大きさ以上でかつ四角形の白画素塊を整列よく内包する黒画素塊を表領域矩形ブロック、不定形の画素塊が散在している領域を写真領域矩形ブロック、それ以外の不定形の画素塊を写真領域矩形ブロックとする。
ブロックセレクションステップでは、このようにして生成された矩形ブロックのそれぞれについて、図5に示す、属性等のブロック情報および入力ファイル情報を生成する。
図5において、ブロック情報には各ブロックの属性、位置の座標X、座標Y、幅W、高さH、OCR情報が含まれる。属性は1〜5の数値で与えられ、1は文字領域矩形ブロック、2は図面領域矩形ブロック、3は表領域矩形ブロック、4は線画領域矩形ブロック、5は写真領域矩形ブロックを示す。座標X、座標Yは入力画像における各矩形ブロックの始点のX、Y座標(左上角の座標)である。幅W、高さHは矩形ブロックのX座標方向の幅、Y座標方向の高さである。OCR情報は入力画像におけるポインタ情報の有無を示す。
さらに入力ファイル情報として矩形ブロックの個数を示すブロック総数Nが含まれる。
これらの矩形ブロックごとのブロック情報は、特定領域のベクトル化に利用される。
[ポインタ情報抽出ステップ]
ステップS307(ポインタ情報抽出ステップ)は図6の各ステップによって実行される。図7は、ポインタ情報抽出ステップの処理対象となる原稿710を示し、原稿710はデータ処理装置115内に格納される。原稿710には、文字領域矩形ブロック702、703、図面領域矩形ブロック704、2次元バーコード(QRコード)のシンボル701が記録されている。
ステップS307(ポインタ情報抽出ステップ)は図6の各ステップによって実行される。図7は、ポインタ情報抽出ステップの処理対象となる原稿710を示し、原稿710はデータ処理装置115内に格納される。原稿710には、文字領域矩形ブロック702、703、図面領域矩形ブロック704、2次元バーコード(QRコード)のシンボル701が記録されている。
ステップS601では、マネージメントPC101のCPUにより、記憶装置111に格納された原稿710の入力画像を走査して、ブロックセレクションステップの処理結果から、2次元バーコードシンボル701の位置を検出する。QRコードシンボルは、4隅のうちの3隅に、特定の位置検出要素パターンが設けられ、位置検出要素パターンを検出することにより、QRコードシンボルを検出し得る。
ステップS602では、位置検出パターンに隣接する形式情報を復元し、シンボルに適用されている誤り訂正レベルおよびマスクパターンを得る。
ステップS603では、次にシンボルの型番(モデル)を決定する。
ステップS604では、ステップS602の形式情報から得られたマスクパターンを使って、QRコードのシンボルの符号化領域ビットパターンをXOR演算し、QRコードのシンボルのマスク処理を解除する。
ステップS605では、ステップS603で得られたモデルに基づいて配置規則を取得し、この配置規則に基づいて、シンボルキャラクタを読み取り、メッセージのデータ及び誤り訂正コード語を復元する。
ステップS606では、復元されたメッセージについて、誤り訂正コード語に基づいて、誤りがあるかどうかの検出を行う。誤りが検出されたときは、訂正のためにステップS607に分岐する。
ステップS607では、復元されたメッセージを訂正する。
ステップS608では、誤り訂正されたデータより、モード指示子および文字数指示子に基づいて、データコード語をセグメントに分割し、データコード語を復元する。
ステップS609では、検出された仕様モードに基づいてデータコード文字を復号し、結果を出力する。
2次元バーコードに組み込まれたデータは、オリジナルデータファイルのポインタ情報を表しており、例えばファイルサーバ名およびファイル名からなるパス情報で構成される。あるいは、対応するファイルへのURI/URL等で構成される。
本実施形態ではポインタ情報を2次元バーコードの形で付与した原稿710について説明したが、種々のポインタ情報の記録形態を採用し得る。
例えば、所定のルールに従った文字列によってポインタ情報を直接文字列で記録し、ブロックセレクションステップによって文字列の矩形ブロックを検出してもよい。検出された文字列を認識することによりポインタ情報を取得し得る。
あるいは文字領域矩形ブロック702や文字領域矩形ブロック703において、隣接文字列の間隔に視認し難い程度の変調を加え、該文字列間隔変調の情報によってポインタ情報を表現し得る。このような透かし情報は、後述する文字認識処理を行う際に各文字の間隔を検出することによって検出でき、ポインタ情報を取得し得る。また図面領域矩形ブロック704の中に電子透かしとしてポインタ情報を付加する事も可能である。
以上のようなポインタ情報抽出に関しても、本実施形態のようにベクトル化すべき特定領域を指定することにより、迅速かつ確実にポインタ情報を取得し得る。すなわち、バーコード、電子透かし等が埋め込まれている矩形ブロックをユーザが指定することで、効率のよいポインタ情報抽出を行うことが可能である。
[ベクトル化ステップ]
ステップS311(ベクトル化ステップ)は図8の各ステップによって実行される。
ステップS311(ベクトル化ステップ)は図8の各ステップによって実行される。
ステップS801では、特定領域が文字領域矩形ブロックであるか否か判断し、文字領域矩形ブロックであればステップS802以下のステップに進み、パターンマッチングの一手法を用いて認識を行い、対応する文字コードを得る。特定領域が文字領域矩形ブロックでないときは、ステップS812に移行する。
ステップS802では、特定領域に対し横書き、縦書きの判定(組み方向判定)を行うために、特定領域内で画素値に対する水平・垂直の射影を取る。
ステップS802では、特定領域に対し横書き、縦書きの判定(組み方向判定)を行うために、特定領域内で画素値に対する水平・垂直の射影を取る。
ステップS803では、ステップS802の射影の分散を評価する。水平射影の分散が大きい場合は横書き、垂直射影の分散が大きい場合は縦書きと判断する。
ステップS804では、ステップS803の評価結果に基づき、組み方向を判定し、行の切り出しを行い、その後文字を切り出して文字画像を得る。
文字列および文字への分解は、横書きならば水平方向の射影を利用して行を切り出し、切り出された行に対する垂直方向の射影から、文字を切り出す。縦書きの文字領域に対しては、水平と垂直について逆の処理を行う。行、文字切り出しに際して、文字のサイズも検出し得る。
ステップS805では、ステップS804で切り出された各文字について、文字画像から得られる特徴を数十次元の数値列に変換した観測特徴ベクトルを生成する。特徴ベクトルの抽出には種々の公知手法があり、例えば、文字をメッシュ状に分割し、各メッシュ内の文字線を方向別に線素としてカウントしたメッシュ数次元ベクトルを特徴ベクトルとする方法がある。
ステップS806では、ステップS805で得られた観測特徴ベクトルと、あらかじめ字種ごとに求められている辞書特徴ベクトルとを比較し、観測特徴ベクトルと辞書特徴ベクトルとの距離を算出する。
ステップS807では、ステップS806で算出された距離を評価し、最も距離の近い字種を認識結果とする。
ステップS808では、ステップS807における距離評価において、最短距離が所定値よりも大きいか否か、類似度を判断する。類似度が所定値以上の場合は、辞書特徴ベクトルにおいて、形状が類似する他の文字に誤認識している可能性が高い。そこで類似度が所定値以上の場合は、ステップS807の認識結果を採用せず、ステップS811の処置に進む。類似度が所定値より低い(小さい)ときは、ステップS807の認識結果を採用し、ステップS809に進む。
ステップS809(フォント認識ステップ)では、文字認識の際に用いる字種数ぶんの辞書特徴ベクトルを、文字形状種すなわちフォント種に対して複数用意しておき、パターンマッチングの際に、文字コードとともにフォント種を出力することで、文字フォントを認識し得る。
ステップS810では、文字認識およびフォント認識よって得られた文字コードおよびフォント情報を用いて、各々あらかじめ用意されたアウトラインデータを用いて、各文字をベクトルデータに変換する。なお、入力画像がカラーの場合は、カラー画像から各文字の色を抽出してベクトルデータとともに記録する。
ステップS811では、文字を一般的な線画と同様に扱い、該文字をアウトライン化する。すなわち誤認識を起こす可能性の高い文字については、可視的にイメージデータに忠実なアウトラインのベクトルデータを生成する。
ステップS812では、特定領域が文字領域矩形ブロックでないときは、画像の輪郭に基づいてベクトル化の処理を実行する。
以上の処理により、文字領域矩形ブロックに属するイメージ情報をほぼ形状、大きさ、色が忠実なベクトルデータに変換出来る。
[文字領域以外の領域のベクトル化]
ステップS812の文字領域矩形ブロック以外の領域、すなわち図面領域矩形ブロック、線画領域矩形ブロック、表領域矩形ブロック等と判断されたときは、特定領域内で抽出された黒画素塊の輪郭をベクトルデータに変換する。
ステップS812の文字領域矩形ブロック以外の領域、すなわち図面領域矩形ブロック、線画領域矩形ブロック、表領域矩形ブロック等と判断されたときは、特定領域内で抽出された黒画素塊の輪郭をベクトルデータに変換する。
文字領域以外の領域のベクトル化においては、まず線画等を直線および/または曲線の組合せとして表現するために、曲線を複数の区間(画素列)に区切る「角」を検出する。角とは曲率が極大となる点であり、図9の曲線上の画素Piが角か否かの判断は以下のように行う。
すなわち、Piを起点とし、曲線に沿ってPiから両方向に所定画素(k個とする)離れた画素Pi−k、Pi+kを線分Lで結ぶ。画素Pi−k、Pi+k間の距離をd1、線分Lと画素Piとの距離をd2、曲線の画素Pi−k、Pi+k間の弧の長さをAとするとき、d2が極大となるとき、あるいは比(d1/A)が閾値以下となるときに画素Piを角と判断する。
角によって分割された画素列を、直線あるいは曲線で近似する。直線への近似は最小二乗法等により実行し、曲線への近似は3次スプライン関数などを用いる。画素列を分割する角の画素は近似直線あるいは近似直線における、始端または終端となる。
さらにベクトル化された輪郭内に白画素塊の内輪郭が存在するか否かを判断し、内輪郭が存在するときはその輪郭をベクトル化し、内輪郭の内輪郭というように、再帰的に反転画素の内輪郭をベクトル化する。
以上のように、輪郭の区分線近似を用いれば、任意形状の図形のアウトラインをベクトル化することができる。元原稿がカラーの場合は、カラー画像から図形の色を抽出してベクトルデータとともに記録する。
図10に示すように、ある注目区間で外輪郭PRjと、内輪郭PRj+1あるいは別の外輪郭が近接している場合、2個あるいは複数の輪郭線をひとまとめにし、太さを持った線として表現することができる。例えば、輪郭Pj+1の各画素Piから輪郭PRj上で最短距離となる画素Qiまでの距離PiQiを算出し、PQiのばらつきがわずかである場合には、注目区間を画素Pi、Qiの中点Miの点列に沿った直線または曲線で近似し得る。近似直線、近似曲線の太さは、例えば距離PiQiの平均値とする。
線や線の集合体である表罫線は、太さを持つ線の集合とすることにより、効率よくベクトル表現することができる。
なお写真領域矩形ブロックについては、ベクトル化せず、イメージデータのままとする。
[修正部分抽出処理]
次に、図3のステップS312で示す修正部分抽出処理の詳細について図11のフローチャートを参照しつつ説明する。
次に、図3のステップS312で示す修正部分抽出処理の詳細について図11のフローチャートを参照しつつ説明する。
ここでは、図4の画像41を読み込み、ステップS302の結果、抽出された各矩形ブロック及び入力画像データが、図5に示すブロック情報および入力ファイル情報を備えるものとし、かつ特定領域内のベクトル化情報を保持しているものとする。
また、ステップS311までの処理により、読込んだ原稿のオリジナルのブロック情報とベクトル情報が得られているものとする。
ステップS1101では、ステップS304でユーザが指定したブロックのうち、未比較のブロックの1つを選択する。
ステップS1102では、選択されているブロックとオリジナル原稿のブロック情報を比較する。比較には、ブロックの位置とサイズを用いる。同じ位置に異なる大きさのブロックがあれば、大きい方のブロックをさらに分割して複数のブロックに分けて比較を行う。これにより、ブロックの認識誤差により比較が出来ないことを防止できる。読み込み原稿側のブロックを分割した場合は、分割したブロックのうち比較対象のもの意外は、未比較のブロックリストに加える。
ステップS1103では、ステップS1102で行った比較の結果を判断する。ブロックの位置と大きさにが、あらかじめ設定してある誤差範囲内に収まる場合、近似ブロックがあると判断してステップS1104に遷移し、そうでなければ、そのブロック自体が追加修正された部分であると判断し、ステップS1109に遷移する。
ステップS1109では、洗濯されているブロックを差分ベクトルとするためベクトル化を行う。そして差分ベクトルリストに得られたベクトル情報を追加する。
ステップS1104では、近似ブロック内のベクトル情報を比較する。もしも、比較するブロックが図形領域である場合は、画像同士を比較しその差分を作成する。そして、画像の差分についてベクトル化を行う。また、比較するブロックの領域が文字領域の場合は文字コードで比較を行う。領域の属性が異なる場合は、領域を図形領域に変換し画像の差分を取得する。
ステップS1105では、ステップS1105の比較の結果、差分ベクトルが取得できたかどうかを判別する。差分ベクトルが取得できていれば、ステップS1106へ、そうでなければ、ステップS1107に遷移する。
ステップS1106では、ステップS1104で得られた差分ベクトル情報を差分ベクトルリストに追加する。
ステップS1107では、ステップS304でユーザが指定したブロックのうち、未選択のものがあるかどうかチェックする。全ブロック比較が終わっていれば、ステップS1108に、そうでなければ、ステップS1101に遷移する。
ステップS1108では、前記ステップで得られた差分ベクトル情報を図形オブジェクト毎にグループ化する。図形のグループ化については、後述の図12のフローチャートを参照して詳しく説明する。
[図形認識]
以上の線図形等のアウトラインをベクトル化した後、ベクトル化された区分線を図形オブジェクトごとにグループ化する。
以上の線図形等のアウトラインをベクトル化した後、ベクトル化された区分線を図形オブジェクトごとにグループ化する。
図12の各ステップは、ベクトルデータを図形オブジェクトごとにグループ化する処理を示す。
ステップS1201では、まず各ベクトルデータの始点、終点を算出する。
ステップS1202では、ステップS1201で求められた始点、終点情報を用いて、図形要素を検出する。図形要素とは、区分線が構成している閉図形であり、検出に際しては、始点、終端となっている共通の角の画素においてベクトルを連結する。すなわち、閉形状を構成する各ベクトルはその両端にそれぞれ連結するベクトルを有しているという原理を応用する。
まず、ベクトルデータより両端に連結していない不要なベクトルを除去し、閉図形を構成するベクトルを抽出する。次に閉図形を構成するベクトルについて、いずれかのベクトルの端点(始点または終点)を開始点とし、一定方向、例えば時計回りに、順にベクトルを探索する。すなわち、他端点において他のベクトルの端点を探索し、所定距離内の最近接端点を連結ベクトルの端点とする。閉図形を構成するベクトルを1回りして開始点に戻ったとき、通過したベクトルを全て一つの図形要素を構成する閉図形としてグループ化する。また、閉図形内部にある閉図形構成ベクトルも全てグループ化する。さらにまだグループ化されていないベクトルの始点を開始点とし、同様の処理を繰り返す。最後に、ステップS1201で除去された不要ベクトルのうち、ステップS1202で閉図形としてグループ化されたベクトルに端点が近接しているベクトルを検出し、一つの図形要素としてグループ化する。
ステップS1203では、次に図形要素内に存在する他の図形要素、もしくは区分線をグループ化し、一つの図形オブジェクトとする。また、図形要素内に他の図形要素、区分線が存在しない場合は図形要素を図形オブジェクトとする。
以上の処理によって図形ブロックを、再利用可能な個別の図形オブジェクトとして扱う事が可能になる。
以上の処理によって図形ブロックを、再利用可能な個別の図形オブジェクトとして扱う事が可能になる。
この処理により、差分ベクトル情報が図形オブジェクトとしてグループ化される。
以上の処理により、図4に示す原稿のオリジナル画像を図13の131であるとすると、図形オブジェクトは132のように得ることができる。
以上により、手書きやコピー処理により、オリジナル原稿に追加された情報がベクトル情報からなる図形オブジェクトとして得られ、サーバに登録がなされる。
図14はデータベース105に保存される文書の構造を示した図である。この例では、データベース105に文書a:1302と文書b:1305が保存されている。文書a:1302には修正情報として、手書き情報1:1303と手書き情報2:1304が登録されている。同様に、文書b:1305には修正情報として、手書き情報3:1306と手書き情報4:1307が登録されている。手書き情報には修正図形のベクトル情報や、それぞれ追加した日時や追加者の情報が記録されている。
このようにして登録された文書の印刷について説明する。例えば、データベース105に登録された文書a:1302を印刷する際には、文書a:1302のオリジナルを印刷する方法だけでなく、文書a:1302と手書き情報1:1303を合成させて印刷出力することができる。
まず、表示装置116と入力装置113を用いてデータベース105中の文書a:1301を選択する。次に、ユーザに合成する修正情報を指定させる。この際、修正情報の合成方法には(g)〜(k)等が存在する。
(g)読み取った時の状態を復元して合成する。
(h)修正情報をオリジナル画像とは異なった色で合成する。
(i)オリジナル画像と修正情報が重なる場合や、修正情報が2つ以上指定され、それらが重なる場合は、お互いが重ならない位置に移動して合成する。
(j)オリジナル画像と修正情報が重なる場合や、修正情報が2つ以上指定され、それらが重なる場合は、修正情報を縮小して合成する。
(k)上記の組合せで合成する。
これらの合成方法は修正情報が、ベクトルデータとして格納されており、移動、拡大縮小、色の変更が行えるため、従来技術で容易に実現ができる。
第1実施形態では、ユーザがベクトル化対象とする特定領域を指定する際に、BS(ブロックセレクション処理)によって自動的に生成された矩形ブロックのうちの1個もしくは複数を、入力手段等により指定したが、本発明がこれに限定されないことはいうまでもない。
BS(ブロックセレクション処理)による矩形ブロックを生成せず、入力画像そのものをMFP100の操作部画面に表示し、ユーザが希望する領域を開始座標、終了座標によって指定してもよい。例えば開始座標、終了座標により特定領域を指定する。開始座標、終了座標の指定方法としては、操作画面をタッチパネルとして、このタッチパネルで行う方法、数値キー等により座標を入力する方法等がある。
第1実施形態では、オリジナル画像を原稿画像に含まれるポインタ情報から得ていたが、ポインタ情報にさらに、修正情報の情報を入れておいても良い。
例えば、図13の文書a:1302を印刷する際に、手書き情報1を加えて印刷する場合を想定する。この場合には、ポインタ情報としてデータベース105上の文書a:1302の情報と手書き情報1:1303の情報も付加しておく。これにより印刷された画像に修正を加えその修正を登録する際には、文書a:1302に手書き情報1:1303を加えた画像からの差分を登録することが可能となる。つまり、手書き情報1:1303が2重に登録することを防ぐことが出来る。
例えば、図13の文書a:1302を印刷する際に、手書き情報1を加えて印刷する場合を想定する。この場合には、ポインタ情報としてデータベース105上の文書a:1302の情報と手書き情報1:1303の情報も付加しておく。これにより印刷された画像に修正を加えその修正を登録する際には、文書a:1302に手書き情報1:1303を加えた画像からの差分を登録することが可能となる。つまり、手書き情報1:1303が2重に登録することを防ぐことが出来る。
以上が、本発明に係る実施形態である。
なお以上の実施形態においては、画像読み取り装置110等から入力された入力画像の処理について説明したが、記憶媒体に格納されたラスターデータあるいはその符号化データよりなるイメージデータ、通信手段によって供給されたイメージデータ等、入力画像以外のイメージデータについても、本発明は有効である。
本発明に係る画像処理方法を実施する手段は図1、図2に記載した画像処理システムに限定されるものではなく、専用の画像処理装置、汎用コンピュータ等種々の手段を採用し得る。
汎用コンピュータにおいて実行する際には、画像処理方法の各ステップを汎用コンピュータに実行させるためプログラムコードを含むコンピュータ実行可能なプログラムを、汎用コンピュータに読み込ませる。
汎用コンピュータが画像処理を実行するためのプログラムは、汎用コンピュータに内蔵されたROMや、汎用コンピュータが読み取り得る記憶媒体から読み込まれ、あるいはネットワークを通じてサーバ等から読み込まれる。
また本発明の趣旨と範囲は、本発明の特定の説明と図に限定されるものではなく、本願特許請求の範囲に述べられた内容の様々な修正および変更に及ぶことは当業者にとって理解されるであろう。
本発明によれば、印刷画像について手書きや合成により修正がなされた情報を、ベクトルデータに変換し、オリジナルデータと関連付けを行い登録することができる。そして、複数人による手書き修正情報を共有し、紙と電子データの融合を容易することができる。
10 オフィス
20 オフィス
100 MFP
101 マネージメントPC
102 クライアントPC
103 プロキシサーバ
104 インターネット
105 データベース
106 文書管理サーバ
107 LAN
108 LAN
109 LAN
20 オフィス
100 MFP
101 マネージメントPC
102 クライアントPC
103 プロキシサーバ
104 インターネット
105 データベース
106 文書管理サーバ
107 LAN
108 LAN
109 LAN
Claims (6)
- 画像を入力する画像入力手段と、
画像に関連付けられたオリジナル電子情報を取得するオリジナル情報取得手段と、
画像をベクトルデータに変換するベクトルデータ変換手段と、
オリジナル電子情報と画像から差分ベクトル情報を作成する差分抽出手段と、
を含む画像形成装置において、
抽出した差分ベクトル情報を、オリジナル電子データに関連付けて登録することを特徴とする画像形成装置。 - 請求項1記載の画像形成装置であって、
画像を入力する画像入力手段は、
原稿を光学的に読込み画像情報を得る原稿読込手段であることを特徴とした画像形成装置。 - 請求項1または請求項2記載の画像形成装置であって、
画像出力手段を含み、
さらにオリジナル電子データに関連付けされた差分ベクトル情報をオリジナル電子データと合成して出力する時に、
出力画像に差分ベクトル情報とオリジナル電子データを関連付けることを特徴とする画像形成装置。 - 画像を入力する画像入力ステップと、
画像に関連付けられたオリジナル電子情報を取得するオリジナル情報取得ステップと、
画像をベクトルデータに変換するベクトルデータ変換ステップと、
オリジナル電子情報と画像から差分ベクトル情報を作成する差分抽出ステップと、
を含む画像形成方法において、
抽出した差分ベクトル情報を、オリジナル電子データに関連付けて登録することを特徴とする画像形成方法。 - 請求項4記載の画像形成方法であって、
画像を入力する画像入力ステップは、
原稿を光学的に読込み画像情報を得る原稿読込ステップであることを特徴とした画像形成方法。 - 請求項4または請求項5記載の画像形成方法であって、
画像出力ステップを含み、
さらにオリジナル電子データに関連付けされた差分ベクトル情報をオリジナル電子データと合成して出力する時に、
出力画像に差分ベクトル情報とオリジナル電子データを関連付けることを特徴とする画像形成方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005073019A JP2006261772A (ja) | 2005-03-15 | 2005-03-15 | 画像形成装置及び画像形成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005073019A JP2006261772A (ja) | 2005-03-15 | 2005-03-15 | 画像形成装置及び画像形成方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006261772A true JP2006261772A (ja) | 2006-09-28 |
Family
ID=37100572
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005073019A Withdrawn JP2006261772A (ja) | 2005-03-15 | 2005-03-15 | 画像形成装置及び画像形成方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2006261772A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013109724A (ja) * | 2011-11-24 | 2013-06-06 | Oki Data Corp | 画像処理装置、画像処理プログラム及び画像処理システム |
-
2005
- 2005-03-15 JP JP2005073019A patent/JP2006261772A/ja not_active Withdrawn
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013109724A (ja) * | 2011-11-24 | 2013-06-06 | Oki Data Corp | 画像処理装置、画像処理プログラム及び画像処理システム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7551753B2 (en) | Image processing apparatus and method therefor | |
JP4251629B2 (ja) | 画像処理システム及び情報処理装置、並びに制御方法及びコンピュータプログラム及びコンピュータ可読記憶媒体 | |
JP5247601B2 (ja) | 画像処理装置、画像処理方法、コンピュータプログラム | |
JP4557765B2 (ja) | 画像処理装置およびその方法 | |
US7640269B2 (en) | Image processing system and image processing method | |
US8520006B2 (en) | Image processing apparatus and method, and program | |
JP4854491B2 (ja) | 画像処理装置及びその制御方法 | |
JP4533187B2 (ja) | 画像処理装置およびその制御方法 | |
JP2006023945A (ja) | 画像処理システム及び画像処理方法 | |
JP4227432B2 (ja) | 画像処理方法 | |
JP5020698B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム | |
JP2008028716A (ja) | 画像処理方法及び装置 | |
JP2007129557A (ja) | 画像処理システム | |
CN100501728C (zh) | 图像处理方法、***、程序、程序存储介质以及信息处理设备 | |
JP2006261772A (ja) | 画像形成装置及び画像形成方法 | |
JP4323856B2 (ja) | 画像処理方法 | |
JP2005149097A (ja) | 画像処理システム及び画像処理方法 | |
JP2006309622A (ja) | 画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体 | |
JP4665754B2 (ja) | 画像生成装置、画像生成方法、及びプログラム | |
JP2005157905A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2006146486A (ja) | 画像処理装置 | |
JP2005070980A (ja) | バーコード読み取り装置、バーコード読み取り方法及びバーコード読み取りプログラム | |
JP2008084127A (ja) | 画像形成装置 | |
JP2005165674A (ja) | 画像処理装置、画像処理方法、及びコンピュータプログラム | |
JP2005136729A (ja) | 画像処理装置、画像処理方法、コンピュータプログラム、及びコンピュータ読み取り可能な記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20080603 |