JP2006261772A - 画像形成装置及び画像形成方法 - Google Patents

Abstract

【課題】 紙文書に追加された手書きの修正を電子情報に変換し、オリジナル文書の修正を共有することの出来る画像形成装置及び画像形成方法を提供する。
【解決手段】 画像を入力する画像入力手段と、画像に関連付けられたオリジナル電子情報を取得するオリジナル情報取得手段と、画像をベクトルデータに変換するベクトルデータ変換手段と、オリジナル電子情報と画像から差分ベクトル情報を作成する差分抽出手段と、を含む画像形成装置において、抽出した差分ベクトル情報を、オリジナル電子データに関連付けて登録することを特徴とする。
【選択図】 図１

Description

本発明は、手書きや画像合成により修正がなされた画像とオリジナル画像データを比較し、修正をベクトル化してサーバに登録する画像形成装置及び画像形成方法に関するものである。

近年、ワードプロセッサやパーソナルコンピュータ上で文書作成用のアプリケーションを使用して電子的な文書を作成することが多い。この電子的な文書の他の人に送付するための方法としては、プリンタにより文書の内容を用紙上に印刷して従来の回覧用紙と同様に相手に手渡す方法、文書情報をフロッピー（登録商標）ディスク等の記憶媒体に記録し、あるいは、さらにネットワークにて伝送する方法がある。

受取人は、記憶媒体から読み出された、あるいはネットワークを介して送られてきた文書情報をプリンタにより用紙上に印刷するか、あるいは電子ディスプレイに表示する等の過程を経て情報の共有化をはかる。受取人は、それを知識として将来のために蓄えるか、加工して新しい文書情報とするか、新たな文書情報で発信人に答えるかして、文書活用のサイクルがなされる。

受け取った文書に対して修正を行うためには、印刷された紙の文書に直接手書きで追記をする場合や、元の文書を編集し直して電子メールで送る等の場合が考えられる。

しかしながら、文書が印刷された印刷物に直接上書きする以外は、見る文書が電子的手段で表現されているため、紙の印刷物に比べて視認性が悪く、ユーザに対する視覚的なインターフェイス特性が悪いという問題がある。また、会議などでは配布文書は印刷された紙であることが多い。

このため、視認性の良い紙の上での情報を元に、書かれた文書を読み、手書きで情報を追加し、伝送し、さらには文書の編集処理・修正等を行うための文書処理装置および方法を提供するものとして、特許文献１のような発明がなされている。
特許第３４５４２７３号明細書

しかしながら、特許文献１では、オリジナルの画像と、手書き画像をビット単位で比べる差分法を示しているが、オリジナル画像の拡大縮小やレイアウトの変更に対応することができない。また、特許文献１では手書きはあくまでも修正の指示を指定するだけのもので、重要な手書きの修正内容をデータとして共有することができない。また、複数の人間により修正された内容をマージすることもできない。

本発明はこのような従来の問題点を解消すべく創案されたもので、紙文書に追加された手書きの修正を電子情報に変換し、オリジナル文書の修正を共有することの出来る画像形成装置及び画像形成方法を提供することを目的とする。

上述した問題点を解決するために、本発明では第１に、画像を入力する画像入力手段と画像に関連付けられたオリジナル電子情報を取得するオリジナル情報取得手段と、画像をベクトルデータに変換するベクトルデータ変換手段と、オリジナル電子情報と画像から差分ベクトル情報を作成する差分抽出手段と、を含む画像形成装置において、抽出した差分ベクトル情報を、オリジナル電子データに関連付けて登録することを特徴とするように構成する。

第２に第１の画像形成装置であって、画像を入力する画像入力手段は原稿を光学的に読込み画像情報を得る原稿読込手段であることを特徴とするように構成する。

第３に、第１または第２の画像形成装置であって、画像出力手段を含み、さらにオリジナル電子データに関連付けされた差分ベクトル情報をオリジナル電子データと合成して出力する時に、出力画像に差分ベクトル情報とオリジナル電子データを関連付けることを特徴とするように構成される。

第４に、画像を入力する画像入力ステップと、画像に関連付けられたオリジナル電子情報を取得するオリジナル情報取得ステップと、画像をベクトルデータに変換するベクトルデータ変換ステップと、オリジナル電子情報と画像から差分ベクトル情報を作成する差分抽出ステップとを含む画像形成方法において、抽出した差分ベクトル情報を、オリジナル電子データに関連付けて登録することを特徴とするように構成する。

第５に、第４の画像形成方法であって、画像を入力する画像入力ステップは原稿を光学的に読込み画像情報を得る原稿読込ステップであることを特徴とするように構成する。

第６に、第４または第５の画像形成方法であって、画像出力ステップを含み、さらにオリジナル電子データに関連付けされた差分ベクトル情報をオリジナル電子データと合成して出力する時に、出力画像に差分ベクトル情報とオリジナル電子データを関連付けることを特徴とするように構成する。

本発明の第１または第４の構成により、入力した画像から、オリジナル原稿を取得し、その差分をサーバに登録することが出来る。これにより、手書きによる修正をオリジナル原稿と結びつけることが容易にできる。

本発明の第２または第５の構成により、利用者は原稿読み取り用のスキャナを用いて画像の入力を行うこととなり、紙に直接手書きで記入した画像を容易に入力することが出来る。

本発明の第３または第６の構成により、利用者は登録された修正画像をいろいろな形式で出力することが可能となり、手書きによる修正を共有することが可能となる。

発明を実施するための最良の形態について実施例により詳しく説明する。

次に本発明に係る画像処理方法の第１実施形態を図面に基づいて説明する。

［画像処理システム］
図１において、本発明に係る画像処理方法の第１実施形態を実施する画像処理システムは、オフィス１０とオフィス２０とをインターネット１０４で接続した環境において使用される。

オフィス１０内に構築されたＬＡＮ１０７には、記録装置としてのＭＦＰ（マルチファンクション複合機）１００、ＭＦＰ１００を制御するマネージメントＰＣ１０１、クライアントＰＣ（外部記憶手段）１０２、文書管理サーバ１０６、文書管理サーバ１０６のためのデータベース１０５が接続されている。

オフィス２０内にはＬＡＮ１０８が構築され、ＬＡＮ１０８には文書管理サーバ１０６、および文書管理サーバ１０６のためのデータベース１０５が接続されている。

ＬＡＮ１０７、１０８にはプロキシサーバ１０３が接続され、ＬＡＮ１０７、１０８はプロキシサーバ１０３を介してインターネットに接続される。

ＭＦＰ１００は原稿から読み取った入力画像に対する画像処理の一部を担当し、処理結果としての画像データはＬＡＮ１０９を通じてマネージメントＰＣ１０１に入力される。マネージメントＰＣ１０１は、画像記憶手段、画像処理手段、表示手段、入力手段等を含むコンピュータであり、機能的にはこれら構成要素の一部がＭＦＰ１００と一体化して、画像処理システムの構成要素となっている。なお、本実施形態では、マネージメントＰＣ１０１において、下記に記載の検索処理などが実行されるものとするが、マネージメントＰＣ１０１で行われる処理すべてをＭＦＰで実行するようにしても構わない。

さらにＭＦＰ１００は、ＬＡＮ１０９によってマネージメントＰＣ１０１に直接接続されている。

［ＭＦＰの構成］
図２において、ＭＦＰ１００は、オートドキュメントフィーダ（ＡＤＦ）を有する画像読み取り部１１０を備える。画像読み取り部１１０は束状の或いは１枚の原稿の画像を光源で照射し、反射画像をレンズで固体撮像素子上に結像する。固体撮像素子は所定解像度（例えば６００ｄｐｉ）および所定濃度レベル（例えば８ビット）の画像読み取り信号を生成し、画像読み取り信号からラスターデータよりなる画像データが構成される。

ＭＦＰ１００は、記憶装置１１１および印刷機能を有する記録装置１１２を有する。複写機能を実行する際には、画像読み取り部１１０から出力されたイメージデータをデータ処理装置１１５によって画像処理して記録信号に変換し、記録装置１１２に出力する。複数枚複写の場合には、１頁分の記録信号を一旦記憶装置１１１に記憶保持した後、記録装置１１２に順次出力して、記録紙上に記録画像を形成する。

ＭＦＰ１００は、ＬＡＮ１０７との接続のためのネットワークＩＦ１１４を有し、クライアントＰＣ１０２が出力したイメージデータを、記録装置１１２によって記録し得る。クライアントＰＣ１０２から出力されたイメージデータはＬＡＮ１０７からネットワークＩＦ１１４を経てデータ処理装置１１５で記録可能な記録信号に変換された後、ＭＦＰ１００において、記録紙上に記録画像として記録される。

記憶装置１１１はネットワークＩＦ１１７を介して、マネージメントＰＣ１０１から直接制御し得る。

ＭＦＰ１００は表示装置１１６を有し、操作入力の状態と、処理すべきイメージデータとを、表示装置１１６によって表示し得る。

ＭＦＰ１００は、ＭＦＰ１００に設けられたキー操作部を含む入力装置１１３、表示装置１１６を利用したタッチパネル、あるいはマネージメントＰＣ１０１のキーボード、ポインティングデバイス等の入力装置を通じて操作される。これらの操作のために、データ処理装置１１５は内部の制御部（図示せず。）によって所定の制御を実行する。

ＬＡＮ１０９は、ＭＦＰ１００とマネージメントＰＣ１ ０１との間のデータの授受、制御信号授受に用いられる。

［画像処理方法の全体の流れ］
本発明に係る画像処理方法の第１実施形態は図３の各ステップにより実行される。

ステップＳ３０１では、ＭＦＰ１００の画像読み取り部１１０を動作させて、１枚の原稿をラスター状に走査し、所定解像度および所定濃度レベルの、画像読み取り信号を取得する。画像読み取り信号はデータ処理部１１５によって前処理され、入力画像の１頁分のイメージデータとして、記憶装置１１１に保存される。次にステップＳ３０２に進む。

ステップＳ３０２（ブロックセレクション（領域分割）ステップ）では、マネージメントＰＣ１０１によって、記憶装置１１１に格納されたイメージデータの領域を、文字あるいは線画を含む文字・線画領域と、ハーフトーンの写真領域、不定形の画像領域その他に分ける。さらに文字・線画領域について、主に文字を含む文字領域と、主に表、図形等を含む線画領域とを分離し、線画領域は表領域と図形領域に分離する。なお、本実施形態では連結画素を検知し、該連結画素の外接矩形領域の形状・サイズ・画素密度等を用いて、属性毎の領域に分割するものとするが、その他の領域分割手法を用いても構わない。

文字領域については、文字段落ごとの纏まった塊をブロックとして矩形ブロック（文字領域矩形ブロック）にセグメント化し、線画領域では、表、図形等の個々のオブジェクト（表領域矩形ブロック、線画領域矩形ブロック）ごとに矩形ブロックにセグメント化する。

ハーフトーンで表現される写真領域は、画像領域矩形ブロック、背景領域矩形ブロック等のオブジェクトごとに、矩形ブロックにセグメント化する。これらの矩形ブロックの情報を「領域分割情報」という。

ステップＳ３０３では、ブロックセレクションステップで得られた領域分割情報と入力画像とを合成して、ＭＦＰ１００の表示装置１１６における操作画面上に表示する。

表示装置１１６に表示される操作画面の一例を図４に示す。

操作画面には、左半部に入力画像そのものが画像４１として表示され、右半部に矩形ブロックにより領域分割情報を示す画像４２が表示される。

画像４２では、入力画像を簡略表示するとともに、各矩形ブロックを矩形で示す。

矩形ブロックの概念の理解を容易にするため、各矩形ブロックには、その属性を示す、ＴＥＸＴ、ＰＩＣＴＵＲＥ、ＬＩＮＥ、ＴＡＢＬＥの表示が付されているが、実際には属性情報は表示されず、分割された矩形領域が枠線として表示される。

ＴＥＸＴ、ＰＩＣＴＵＲＥ、ＬＩＮＥ、ＴＡＢＬＥは文字領域矩形ブロック、図面領域矩形ブロック、線図形領域矩形ブロック、表領域矩形ブロックの属性表示であり、写真領域矩形ブロックを示すＰＨＯＴＯ、その他の属性表示が用いられる。

なお、図４では入力画像と領域分割情報を左右に並べて表示しているが、これらを重ねて入力画像上に分割された矩形ブロックを表示する等、多様な表示形態が可能である。

ステップＳ３０４（特定領域指定ステップ）では、ステップＳ３０３で表示された領域分割情報について、手書き部分が含まれる矩形ブロックを特定領域として指定する。特定領域の指定方法としては、例えば、ユーザがポインティングデバイスを用いて、画像４２中の１個または複数の矩形ブロックを指示することによって行う。なお操作画面１１６をタッチパネルとし、ユーザが所望の矩形ブロックを指で指示する方法等、種々の方法を採用し得る。

また、領域を指定させず、表示されている矩形すべてを対象としても良い。

ステップＳ３０５では、ステップＳ３０４で指定された特定領域をイメージデータとして切り出し、切り出されたイメージデータに対して以下の処理を行う。

ステップＳ３０６では、原稿画像にオリジナルデータファイルのポインタ情報が埋め込まれているか否かの判定を行うため、ＯＣＲ、ＯＭＲ処理を行う。

原稿画像中に付加情報として記録された２次元バーコード、あるいはＵＲＬに該当するオブジェクトを検出し、ＯＣＲによってＵＲＬを文字認識し、ＯＭＲによって２次元バーコードを解読して入力画像のオリジナルデータファイルが格納されている記憶装置内のポインタ情報を検出する。

ポインタ情報を付加する手段は２次元バーコードに限定されるものではなく、隣接文字列間隔の変化として情報を埋め込む方法、ハーフトーンの画像に埋め込む方法等、直接視認されない、いわゆる電子透かしによる方法等がある。

ステップＳ３０７（ポインタ情報抽出ステップ）では、ステップＳ３０６におけるＯＣＲ、ＯＭＲ、もしくは電子透かしの情報から、ポインタ情報を抽出する。

ステップＳ３０８では、ポインタ情報が取得されたか否か判断する。ポインタ情報が取得されたときは、オリジナルデータファイルに直接アクセスすべく、ステップＳ３０９に遷移する。

ステップＳ３０９では、オリジナルデータファイルを検索する。オリジナルファイルは、電子ファイルの形態で、図１のクライアントＰＣ１０２のハードディスク内、文書管理サーバ１０６内のデータベース１０５内、ＭＦＰ１００に設けられた記憶装置１１１等に格納されており、ステップＳ３０８で得られたアドレス情報（ポインタ情報）に従ってこれらの記憶装置内を検索する。電子ファイルの検索が成功した場合、ステップＳ３１１に遷移する。そうでなければ処理を終了する。

ステップＳ３１１では、ステップＳ３１０で抽出されたオリジナルデータファイルがラスターデータファイルあるいは、ＢＭＰ、ｔｉｆｆに代表される、ラスターデータを符号化したイメージデータファイルであるかどうかを判定する。抽出されたデータファイルがイメージデータファイルのときは、ステップＳ３１１に遷移する。

抽出されたデータファイルが、文字コードやベクトルデータ等、再利用が容易なデータファイルであったときはステップＳ３１２に遷移する。

ステップＳ３１２（ベクトル化ステップ）では、ベクトル化処理に移り、ベクトル化処理により各特定領域のイメージデータをベクトルデータに変換する。

ベクトル化の方法は、以下（ａ）〜（ｆ）等が存在する。

（ａ）特定領域が文字領域のとき、さらにＯＣＲによる文字画像のコード変換を行う、あるいは文字のサイズ、スタイル、字体を認識し、原稿を走査して得られた文字に可視的に忠実なフォントデータに変換する。

（ｂ）特定領域が文字領域であり、かつＯＣＲによる認識が不可能であったとき、文字の輪郭を追跡し、輪郭情報（アウトライン）を線分のつながりとして表現する形式に変換する。

（ｃ）特定領域が図形領域のとき、図形オブジェクトの輪郭を追跡し、輪郭情報を線分のつながりとして表現する形式に変換する。

（ｄ）前述の（ｂ）、（ｃ）の線分形式のアウトライン情報をベジエ関数などでフィッティングして、関数情報に変換する。

（ｅ）前述の（ｃ）の図形オブジェクトの輪郭情報から、図形の形状を認識し、円、矩形、多角形、等の図形定義情報に変換する。

（ｆ）特定領域が図形領域であって、特定領域における表形式オブジェクトの場合、罫線や枠線を認識し、所定のフォーマットの帳票フォーマット情報に変換する。

以上の方法以外に、イメージデータをコード情報、図形情報、関数情報等のコマンド定義形の情報に置きかえる種々のベクトル化処理が考えられる。

ステップＳ３１２では、ステップＳ３０９で得られたベクトル化された電子ファイルもしくはステップＳ３１１で得られたオリジナル画像のベクトル化データと、画像の読込によって得られたファイルとの差分を抽出する。差分を抽出する部分はステップＳ３０４で指定された領域だけとする。

ステップＳ３１３では、ステップＳ３１２で抽出された差分のベクトル情報を、オリジナルファイルの属性としてサーバに登録する。

以上の構成により、ユーザが希望する領域のみから、手書き等による修正をベクトルデータに変換し、サーバに登録することが出来る。

次に図３の主要なステップについて詳細に説明する。

［ブロックセレクションステップ］
ステップＳ３０２（ブロックセレクションステップ）においては、図４右半部の画像４２に示すように、入力画像を属性ごとに矩形ブロックに分割する。前述のように、矩形ブロックの属性としては、文字（ＴＥＸＴ）／図面（ＰＩＣＴＵＲＥ）／線画（Ｌｉｎｅ）／表（Ｔａｂｌｅ）／写真（ＰＨＯＴＯ）等がある。
ブロックセレクションステップにおいては、まず入力画像を白黒に２値化し、黒画素輪郭で囲まれる画素塊を抽出する。

さらに、このように抽出された黒画素塊の大きさを評価し、大きさが所定値以上の黒画素塊の内部にある白画素塊に対する輪郭追跡を行う。白画素塊に対する大きさ評価、内部黒画素塊の追跡というように、内部の画素塊が所定値以上である限り、再帰的に内部画素塊の抽出、輪郭追跡を行う。

画素塊の大きさは、例えば画素塊の面積によって評価される。

このようにして得られた画素塊に外接する矩形ブロックを生成し、矩形ブロックの大きさ、形状に基づき属性を判定する。

例えば、縦横比が１に近く、大きさが一定の範囲の矩形ブロックは文字領域矩形ブロックの可能性がある文字相当ブロックとし、近接する文字相当ブロックが規則正しく整列しているときに、これら文字相当ブロックをまとめた新たな矩形ブロックを生成し、新たな矩形ブロックを文字領域矩形ブロックとする。

また扁平な画素塊を線画領域矩形ブロック、一定大きさ以上でかつ四角形の白画素塊を整列よく内包する黒画素塊を表領域矩形ブロック、不定形の画素塊が散在している領域を写真領域矩形ブロック、それ以外の不定形の画素塊を写真領域矩形ブロックとする。

ブロックセレクションステップでは、このようにして生成された矩形ブロックのそれぞれについて、図５に示す、属性等のブロック情報および入力ファイル情報を生成する。

図５において、ブロック情報には各ブロックの属性、位置の座標Ｘ、座標Ｙ、幅Ｗ、高さＨ、ＯＣＲ情報が含まれる。属性は１〜５の数値で与えられ、１は文字領域矩形ブロック、２は図面領域矩形ブロック、３は表領域矩形ブロック、４は線画領域矩形ブロック、５は写真領域矩形ブロックを示す。座標Ｘ、座標Ｙは入力画像における各矩形ブロックの始点のＸ、Ｙ座標（左上角の座標）である。幅Ｗ、高さＨは矩形ブロックのＸ座標方向の幅、Ｙ座標方向の高さである。ＯＣＲ情報は入力画像におけるポインタ情報の有無を示す。

さらに入力ファイル情報として矩形ブロックの個数を示すブロック総数Ｎが含まれる。

これらの矩形ブロックごとのブロック情報は、特定領域のベクトル化に利用される。

［ポインタ情報抽出ステップ］
ステップＳ３０７（ポインタ情報抽出ステップ）は図６の各ステップによって実行される。図７は、ポインタ情報抽出ステップの処理対象となる原稿７１０を示し、原稿７１０はデータ処理装置１１５内に格納される。原稿７１０には、文字領域矩形ブロック７０２、７０３、図面領域矩形ブロック７０４、２次元バーコード（ＱＲコード）のシンボル７０１が記録されている。

ステップＳ６０１では、マネージメントＰＣ１０１のＣＰＵにより、記憶装置１１１に格納された原稿７１０の入力画像を走査して、ブロックセレクションステップの処理結果から、２次元バーコードシンボル７０１の位置を検出する。ＱＲコードシンボルは、４隅のうちの３隅に、特定の位置検出要素パターンが設けられ、位置検出要素パターンを検出することにより、ＱＲコードシンボルを検出し得る。

ステップＳ６０２では、位置検出パターンに隣接する形式情報を復元し、シンボルに適用されている誤り訂正レベルおよびマスクパターンを得る。

ステップＳ６０３では、次にシンボルの型番（モデル）を決定する。

ステップＳ６０４では、ステップＳ６０２の形式情報から得られたマスクパターンを使って、ＱＲコードのシンボルの符号化領域ビットパターンをＸＯＲ演算し、ＱＲコードのシンボルのマスク処理を解除する。

ステップＳ６０５では、ステップＳ６０３で得られたモデルに基づいて配置規則を取得し、この配置規則に基づいて、シンボルキャラクタを読み取り、メッセージのデータ及び誤り訂正コード語を復元する。

ステップＳ６０６では、復元されたメッセージについて、誤り訂正コード語に基づいて、誤りがあるかどうかの検出を行う。誤りが検出されたときは、訂正のためにステップＳ６０７に分岐する。

ステップＳ６０７では、復元されたメッセージを訂正する。

ステップＳ６０８では、誤り訂正されたデータより、モード指示子および文字数指示子に基づいて、データコード語をセグメントに分割し、データコード語を復元する。

ステップＳ６０９では、検出された仕様モードに基づいてデータコード文字を復号し、結果を出力する。

２次元バーコードに組み込まれたデータは、オリジナルデータファイルのポインタ情報を表しており、例えばファイルサーバ名およびファイル名からなるパス情報で構成される。あるいは、対応するファイルへのＵＲＩ／ＵＲＬ等で構成される。

本実施形態ではポインタ情報を２次元バーコードの形で付与した原稿７１０について説明したが、種々のポインタ情報の記録形態を採用し得る。

例えば、所定のルールに従った文字列によってポインタ情報を直接文字列で記録し、ブロックセレクションステップによって文字列の矩形ブロックを検出してもよい。検出された文字列を認識することによりポインタ情報を取得し得る。

あるいは文字領域矩形ブロック７０２や文字領域矩形ブロック７０３において、隣接文字列の間隔に視認し難い程度の変調を加え、該文字列間隔変調の情報によってポインタ情報を表現し得る。このような透かし情報は、後述する文字認識処理を行う際に各文字の間隔を検出することによって検出でき、ポインタ情報を取得し得る。また図面領域矩形ブロック７０４の中に電子透かしとしてポインタ情報を付加する事も可能である。

以上のようなポインタ情報抽出に関しても、本実施形態のようにベクトル化すべき特定領域を指定することにより、迅速かつ確実にポインタ情報を取得し得る。すなわち、バーコード、電子透かし等が埋め込まれている矩形ブロックをユーザが指定することで、効率のよいポインタ情報抽出を行うことが可能である。

［ベクトル化ステップ］
ステップＳ３１１（ベクトル化ステップ）は図８の各ステップによって実行される。

ステップＳ８０１では、特定領域が文字領域矩形ブロックであるか否か判断し、文字領域矩形ブロックであればステップＳ８０２以下のステップに進み、パターンマッチングの一手法を用いて認識を行い、対応する文字コードを得る。特定領域が文字領域矩形ブロックでないときは、ステップＳ８１２に移行する。
ステップＳ８０２では、特定領域に対し横書き、縦書きの判定（組み方向判定）を行うために、特定領域内で画素値に対する水平・垂直の射影を取る。

ステップＳ８０３では、ステップＳ８０２の射影の分散を評価する。水平射影の分散が大きい場合は横書き、垂直射影の分散が大きい場合は縦書きと判断する。

ステップＳ８０４では、ステップＳ８０３の評価結果に基づき、組み方向を判定し、行の切り出しを行い、その後文字を切り出して文字画像を得る。

文字列および文字への分解は、横書きならば水平方向の射影を利用して行を切り出し、切り出された行に対する垂直方向の射影から、文字を切り出す。縦書きの文字領域に対しては、水平と垂直について逆の処理を行う。行、文字切り出しに際して、文字のサイズも検出し得る。

ステップＳ８０５では、ステップＳ８０４で切り出された各文字について、文字画像から得られる特徴を数十次元の数値列に変換した観測特徴ベクトルを生成する。特徴ベクトルの抽出には種々の公知手法があり、例えば、文字をメッシュ状に分割し、各メッシュ内の文字線を方向別に線素としてカウントしたメッシュ数次元ベクトルを特徴ベクトルとする方法がある。

ステップＳ８０６では、ステップＳ８０５で得られた観測特徴ベクトルと、あらかじめ字種ごとに求められている辞書特徴ベクトルとを比較し、観測特徴ベクトルと辞書特徴ベクトルとの距離を算出する。

ステップＳ８０７では、ステップＳ８０６で算出された距離を評価し、最も距離の近い字種を認識結果とする。

ステップＳ８０８では、ステップＳ８０７における距離評価において、最短距離が所定値よりも大きいか否か、類似度を判断する。類似度が所定値以上の場合は、辞書特徴ベクトルにおいて、形状が類似する他の文字に誤認識している可能性が高い。そこで類似度が所定値以上の場合は、ステップＳ８０７の認識結果を採用せず、ステップＳ８１１の処置に進む。類似度が所定値より低い（小さい）ときは、ステップＳ８０７の認識結果を採用し、ステップＳ８０９に進む。

ステップＳ８０９（フォント認識ステップ）では、文字認識の際に用いる字種数ぶんの辞書特徴ベクトルを、文字形状種すなわちフォント種に対して複数用意しておき、パターンマッチングの際に、文字コードとともにフォント種を出力することで、文字フォントを認識し得る。

ステップＳ８１０では、文字認識およびフォント認識よって得られた文字コードおよびフォント情報を用いて、各々あらかじめ用意されたアウトラインデータを用いて、各文字をベクトルデータに変換する。なお、入力画像がカラーの場合は、カラー画像から各文字の色を抽出してベクトルデータとともに記録する。

ステップＳ８１１では、文字を一般的な線画と同様に扱い、該文字をアウトライン化する。すなわち誤認識を起こす可能性の高い文字については、可視的にイメージデータに忠実なアウトラインのベクトルデータを生成する。

ステップＳ８１２では、特定領域が文字領域矩形ブロックでないときは、画像の輪郭に基づいてベクトル化の処理を実行する。

以上の処理により、文字領域矩形ブロックに属するイメージ情報をほぼ形状、大きさ、色が忠実なベクトルデータに変換出来る。

［文字領域以外の領域のベクトル化］
ステップＳ８１２の文字領域矩形ブロック以外の領域、すなわち図面領域矩形ブロック、線画領域矩形ブロック、表領域矩形ブロック等と判断されたときは、特定領域内で抽出された黒画素塊の輪郭をベクトルデータに変換する。

文字領域以外の領域のベクトル化においては、まず線画等を直線および／または曲線の組合せとして表現するために、曲線を複数の区間（画素列）に区切る「角」を検出する。角とは曲率が極大となる点であり、図９の曲線上の画素Ｐｉが角か否かの判断は以下のように行う。

すなわち、Ｐｉを起点とし、曲線に沿ってＰｉから両方向に所定画素（ｋ個とする）離れた画素Ｐｉ−ｋ、Ｐｉ＋ｋを線分Ｌで結ぶ。画素Ｐｉ−ｋ、Ｐｉ＋ｋ間の距離をｄ１、線分Ｌと画素Ｐｉとの距離をｄ２、曲線の画素Ｐｉ−ｋ、Ｐｉ＋ｋ間の弧の長さをＡとするとき、ｄ２が極大となるとき、あるいは比（ｄ１／Ａ）が閾値以下となるときに画素Ｐｉを角と判断する。

角によって分割された画素列を、直線あるいは曲線で近似する。直線への近似は最小二乗法等により実行し、曲線への近似は３次スプライン関数などを用いる。画素列を分割する角の画素は近似直線あるいは近似直線における、始端または終端となる。

さらにベクトル化された輪郭内に白画素塊の内輪郭が存在するか否かを判断し、内輪郭が存在するときはその輪郭をベクトル化し、内輪郭の内輪郭というように、再帰的に反転画素の内輪郭をベクトル化する。

以上のように、輪郭の区分線近似を用いれば、任意形状の図形のアウトラインをベクトル化することができる。元原稿がカラーの場合は、カラー画像から図形の色を抽出してベクトルデータとともに記録する。

図１０に示すように、ある注目区間で外輪郭ＰＲｊと、内輪郭ＰＲｊ＋１あるいは別の外輪郭が近接している場合、２個あるいは複数の輪郭線をひとまとめにし、太さを持った線として表現することができる。例えば、輪郭Ｐｊ＋１の各画素Ｐｉから輪郭ＰＲｊ上で最短距離となる画素Ｑｉまでの距離ＰｉＱｉを算出し、ＰＱｉのばらつきがわずかである場合には、注目区間を画素Ｐｉ、Ｑｉの中点Ｍｉの点列に沿った直線または曲線で近似し得る。近似直線、近似曲線の太さは、例えば距離ＰｉＱｉの平均値とする。

線や線の集合体である表罫線は、太さを持つ線の集合とすることにより、効率よくベクトル表現することができる。

なお写真領域矩形ブロックについては、ベクトル化せず、イメージデータのままとする。

［修正部分抽出処理］
次に、図３のステップＳ３１２で示す修正部分抽出処理の詳細について図１１のフローチャートを参照しつつ説明する。

ここでは、図４の画像４１を読み込み、ステップＳ３０２の結果、抽出された各矩形ブロック及び入力画像データが、図５に示すブロック情報および入力ファイル情報を備えるものとし、かつ特定領域内のベクトル化情報を保持しているものとする。

また、ステップＳ３１１までの処理により、読込んだ原稿のオリジナルのブロック情報とベクトル情報が得られているものとする。

ステップＳ１１０１では、ステップＳ３０４でユーザが指定したブロックのうち、未比較のブロックの１つを選択する。

ステップＳ１１０２では、選択されているブロックとオリジナル原稿のブロック情報を比較する。比較には、ブロックの位置とサイズを用いる。同じ位置に異なる大きさのブロックがあれば、大きい方のブロックをさらに分割して複数のブロックに分けて比較を行う。これにより、ブロックの認識誤差により比較が出来ないことを防止できる。読み込み原稿側のブロックを分割した場合は、分割したブロックのうち比較対象のもの意外は、未比較のブロックリストに加える。

ステップＳ１１０３では、ステップＳ１１０２で行った比較の結果を判断する。ブロックの位置と大きさにが、あらかじめ設定してある誤差範囲内に収まる場合、近似ブロックがあると判断してステップＳ１１０４に遷移し、そうでなければ、そのブロック自体が追加修正された部分であると判断し、ステップＳ１１０９に遷移する。

ステップＳ１１０９では、洗濯されているブロックを差分ベクトルとするためベクトル化を行う。そして差分ベクトルリストに得られたベクトル情報を追加する。

ステップＳ１１０４では、近似ブロック内のベクトル情報を比較する。もしも、比較するブロックが図形領域である場合は、画像同士を比較しその差分を作成する。そして、画像の差分についてベクトル化を行う。また、比較するブロックの領域が文字領域の場合は文字コードで比較を行う。領域の属性が異なる場合は、領域を図形領域に変換し画像の差分を取得する。

ステップＳ１１０５では、ステップＳ１１０５の比較の結果、差分ベクトルが取得できたかどうかを判別する。差分ベクトルが取得できていれば、ステップＳ１１０６へ、そうでなければ、ステップＳ１１０７に遷移する。

ステップＳ１１０６では、ステップＳ１１０４で得られた差分ベクトル情報を差分ベクトルリストに追加する。

ステップＳ１１０７では、ステップＳ３０４でユーザが指定したブロックのうち、未選択のものがあるかどうかチェックする。全ブロック比較が終わっていれば、ステップＳ１１０８に、そうでなければ、ステップＳ１１０１に遷移する。

ステップＳ１１０８では、前記ステップで得られた差分ベクトル情報を図形オブジェクト毎にグループ化する。図形のグループ化については、後述の図１２のフローチャートを参照して詳しく説明する。

［図形認識］
以上の線図形等のアウトラインをベクトル化した後、ベクトル化された区分線を図形オブジェクトごとにグループ化する。

図１２の各ステップは、ベクトルデータを図形オブジェクトごとにグループ化する処理を示す。

ステップＳ１２０１では、まず各ベクトルデータの始点、終点を算出する。

ステップＳ１２０２では、ステップＳ１２０１で求められた始点、終点情報を用いて、図形要素を検出する。図形要素とは、区分線が構成している閉図形であり、検出に際しては、始点、終端となっている共通の角の画素においてベクトルを連結する。すなわち、閉形状を構成する各ベクトルはその両端にそれぞれ連結するベクトルを有しているという原理を応用する。

まず、ベクトルデータより両端に連結していない不要なベクトルを除去し、閉図形を構成するベクトルを抽出する。次に閉図形を構成するベクトルについて、いずれかのベクトルの端点（始点または終点）を開始点とし、一定方向、例えば時計回りに、順にベクトルを探索する。すなわち、他端点において他のベクトルの端点を探索し、所定距離内の最近接端点を連結ベクトルの端点とする。閉図形を構成するベクトルを１回りして開始点に戻ったとき、通過したベクトルを全て一つの図形要素を構成する閉図形としてグループ化する。また、閉図形内部にある閉図形構成ベクトルも全てグループ化する。さらにまだグループ化されていないベクトルの始点を開始点とし、同様の処理を繰り返す。最後に、ステップＳ１２０１で除去された不要ベクトルのうち、ステップＳ１２０２で閉図形としてグループ化されたベクトルに端点が近接しているベクトルを検出し、一つの図形要素としてグループ化する。

ステップＳ１２０３では、次に図形要素内に存在する他の図形要素、もしくは区分線をグループ化し、一つの図形オブジェクトとする。また、図形要素内に他の図形要素、区分線が存在しない場合は図形要素を図形オブジェクトとする。
以上の処理によって図形ブロックを、再利用可能な個別の図形オブジェクトとして扱う事が可能になる。

この処理により、差分ベクトル情報が図形オブジェクトとしてグループ化される。

以上の処理により、図４に示す原稿のオリジナル画像を図１３の１３１であるとすると、図形オブジェクトは１３２のように得ることができる。

以上により、手書きやコピー処理により、オリジナル原稿に追加された情報がベクトル情報からなる図形オブジェクトとして得られ、サーバに登録がなされる。

図１４はデータベース１０５に保存される文書の構造を示した図である。この例では、データベース１０５に文書ａ：１３０２と文書ｂ：１３０５が保存されている。文書ａ：１３０２には修正情報として、手書き情報１：１３０３と手書き情報２：１３０４が登録されている。同様に、文書ｂ：１３０５には修正情報として、手書き情報３：１３０６と手書き情報４：１３０７が登録されている。手書き情報には修正図形のベクトル情報や、それぞれ追加した日時や追加者の情報が記録されている。

このようにして登録された文書の印刷について説明する。例えば、データベース１０５に登録された文書ａ：１３０２を印刷する際には、文書ａ：１３０２のオリジナルを印刷する方法だけでなく、文書ａ：１３０２と手書き情報１：１３０３を合成させて印刷出力することができる。

まず、表示装置１１６と入力装置１１３を用いてデータベース１０５中の文書ａ：１３０１を選択する。次に、ユーザに合成する修正情報を指定させる。この際、修正情報の合成方法には（ｇ）〜（ｋ）等が存在する。

（ｇ）読み取った時の状態を復元して合成する。

（ｈ）修正情報をオリジナル画像とは異なった色で合成する。

（ｉ）オリジナル画像と修正情報が重なる場合や、修正情報が２つ以上指定され、それらが重なる場合は、お互いが重ならない位置に移動して合成する。

（ｊ）オリジナル画像と修正情報が重なる場合や、修正情報が２つ以上指定され、それらが重なる場合は、修正情報を縮小して合成する。

（ｋ）上記の組合せで合成する。

これらの合成方法は修正情報が、ベクトルデータとして格納されており、移動、拡大縮小、色の変更が行えるため、従来技術で容易に実現ができる。

第１実施形態では、ユーザがベクトル化対象とする特定領域を指定する際に、ＢＳ（ブロックセレクション処理）によって自動的に生成された矩形ブロックのうちの１個もしくは複数を、入力手段等により指定したが、本発明がこれに限定されないことはいうまでもない。

ＢＳ（ブロックセレクション処理）による矩形ブロックを生成せず、入力画像そのものをＭＦＰ１００の操作部画面に表示し、ユーザが希望する領域を開始座標、終了座標によって指定してもよい。例えば開始座標、終了座標により特定領域を指定する。開始座標、終了座標の指定方法としては、操作画面をタッチパネルとして、このタッチパネルで行う方法、数値キー等により座標を入力する方法等がある。

第１実施形態では、オリジナル画像を原稿画像に含まれるポインタ情報から得ていたが、ポインタ情報にさらに、修正情報の情報を入れておいても良い。
例えば、図１３の文書ａ：１３０２を印刷する際に、手書き情報１を加えて印刷する場合を想定する。この場合には、ポインタ情報としてデータベース１０５上の文書ａ：１３０２の情報と手書き情報１：１３０３の情報も付加しておく。これにより印刷された画像に修正を加えその修正を登録する際には、文書ａ：１３０２に手書き情報１：１３０３を加えた画像からの差分を登録することが可能となる。つまり、手書き情報１：１３０３が２重に登録することを防ぐことが出来る。

以上が、本発明に係る実施形態である。

なお以上の実施形態においては、画像読み取り装置１１０等から入力された入力画像の処理について説明したが、記憶媒体に格納されたラスターデータあるいはその符号化データよりなるイメージデータ、通信手段によって供給されたイメージデータ等、入力画像以外のイメージデータについても、本発明は有効である。

本発明に係る画像処理方法を実施する手段は図１、図２に記載した画像処理システムに限定されるものではなく、専用の画像処理装置、汎用コンピュータ等種々の手段を採用し得る。

汎用コンピュータにおいて実行する際には、画像処理方法の各ステップを汎用コンピュータに実行させるためプログラムコードを含むコンピュータ実行可能なプログラムを、汎用コンピュータに読み込ませる。

汎用コンピュータが画像処理を実行するためのプログラムは、汎用コンピュータに内蔵されたＲＯＭや、汎用コンピュータが読み取り得る記憶媒体から読み込まれ、あるいはネットワークを通じてサーバ等から読み込まれる。

また本発明の趣旨と範囲は、本発明の特定の説明と図に限定されるものではなく、本願特許請求の範囲に述べられた内容の様々な修正および変更に及ぶことは当業者にとって理解されるであろう。

本発明によれば、印刷画像について手書きや合成により修正がなされた情報を、ベクトルデータに変換し、オリジナルデータと関連付けを行い登録することができる。そして、複数人による手書き修正情報を共有し、紙と電子データの融合を容易することができる。

本発明に係る画像処理方法の第１実施形態を実施する画像処理システムを示すブロック図 図１におけるＭＦＰを示すブロック図 本発明に係る画像処理方法の第１実施形態を示すフローチャ−ト 画像処理方法により処理される原稿を示す図 ブロックセレクション処理で得られるブロック情報および入力ファイル情報を示す表 原稿の画像からポインタ情報を抽出する処理を示すフローチャート ポインタ情報を含む原稿の画像例を示す図 文字領域のベクトル化処理を示すフローチャート ベクトル化の処理における角抽出の処理を示す図 ベクトル化の処理における輪郭線まとめの処理を示す図 差分ベクトル情報の抽出処理を示すフローチャート ベクトルデータのグループ化の処理を示すフローチャート 図４の読込原稿のオリジナル画像と抽出された差分画像を示す図 データベースに登録されている文書の構造の模式図

符号の説明

１０ オフィス
２０ オフィス
１００ ＭＦＰ
１０１ マネージメントＰＣ
１０２ クライアントＰＣ
１０３ プロキシサーバ
１０４ インターネット
１０５ データベース
１０６ 文書管理サーバ
１０７ ＬＡＮ
１０８ ＬＡＮ
１０９ ＬＡＮ

Claims (6)

1. 画像を入力する画像入力手段と、
   画像に関連付けられたオリジナル電子情報を取得するオリジナル情報取得手段と、
   画像をベクトルデータに変換するベクトルデータ変換手段と、
   オリジナル電子情報と画像から差分ベクトル情報を作成する差分抽出手段と、
   を含む画像形成装置において、
   抽出した差分ベクトル情報を、オリジナル電子データに関連付けて登録することを特徴とする画像形成装置。
2. 請求項１記載の画像形成装置であって、
   画像を入力する画像入力手段は、
   原稿を光学的に読込み画像情報を得る原稿読込手段であることを特徴とした画像形成装置。
3. 請求項１または請求項２記載の画像形成装置であって、
   画像出力手段を含み、
   さらにオリジナル電子データに関連付けされた差分ベクトル情報をオリジナル電子データと合成して出力する時に、
   出力画像に差分ベクトル情報とオリジナル電子データを関連付けることを特徴とする画像形成装置。
4. 画像を入力する画像入力ステップと、
   画像に関連付けられたオリジナル電子情報を取得するオリジナル情報取得ステップと、
   画像をベクトルデータに変換するベクトルデータ変換ステップと、
   オリジナル電子情報と画像から差分ベクトル情報を作成する差分抽出ステップと、
   を含む画像形成方法において、
   抽出した差分ベクトル情報を、オリジナル電子データに関連付けて登録することを特徴とする画像形成方法。
5. 請求項４記載の画像形成方法であって、
   画像を入力する画像入力ステップは、
   原稿を光学的に読込み画像情報を得る原稿読込ステップであることを特徴とした画像形成方法。
6. 請求項４または請求項５記載の画像形成方法であって、
   画像出力ステップを含み、
   さらにオリジナル電子データに関連付けされた差分ベクトル情報をオリジナル電子データと合成して出力する時に、
   出力画像に差分ベクトル情報とオリジナル電子データを関連付けることを特徴とする画像形成方法。