JP5699010B2 - 画像処理装置 - Google Patents

Description

本発明の実施形態は、紙文書に加えられた手書き情報を電子化する画像処理装置に関する。

文書作成アプリケーションを用いて作成された電子文書を紙媒体に印刷し、この紙媒体に印刷された文書内容についてレビュー（記載内容のチェックや修正など）をする場合がある。この際、紙文書に対して手書きによってコメント等を記載することがある。この手書きされたコメント等は、レビュー終了後に電子化して議事録等として記録する場合がある。

紙文書に手書きされたコメント等を電子化するためには、元の電子文書を印刷した紙文書の画像（印刷画像）と、コメントが付加された紙文書の画像とを比較するため、２つの画像を対応付ける必要がある。その方法として、元の電子文書を紙文書として印刷する際、電子文書を一意に表すＩＤを含むコードを印刷する。そして、印刷した紙文書に手書きによりコメントを加えた後、紙文書をスキャンした際にコードを読み取ってＩＤを抽出することにより、印刷した元の電子文書とスキャンした文書とを対応付ける。

また、印刷画像と、紙文書をスキャンして得られたスキャン画像とを比較して、手書きされたコメント等の差分画像を抽出したり、印刷したりする等の後処理に関する情報を予め印刷画像に含めておくことにより、スキャン後に得られる手書き文字に対する後処理を自動で行う方法がある。

特開２００９−１６５０８８号公報 特開２００６−０３１５４８号公報

このように従来では、元の電子文書（印刷画像）と紙文書の画像とを、紙文書に印刷したコードをもとに対応付けることができた。

しかしながら、近年では、文書を紙媒体に印刷する際に、複数分のページを１枚の紙媒体に印刷する印刷形態、例えば１枚に複数ページ分をまとめて印刷するＮｉｎ１印刷や両面印刷することも頻繁に行われており、こうした場合には、手書きされたコメント（差分画像）を抽出することは可能だが、抽出したコメントが複数ページの何れに対応するか判別することができなかった。

本発明が解決しようとする課題は、複数分のページが印刷された紙文書に手書きされた情報と、各ページとの対応関係を判別することが可能な画像処理装置を提供することである。

実施形態によれば、画像処理装置は、印刷制御手段、画像入力手段、抽出手段、差分画像抽出手段、判別手段、及び文字認識手段を有する。印刷制御手段は、印刷形態を示す印刷設定情報に応じて複数分のページを１枚の紙媒体に印刷させると共に、前記印刷設定情報を示すコードを前記紙媒体に印刷させる。画像入力手段は、前記紙媒体のスキャン画像を入力する。抽出手段は、前記スキャン画像から前記コードを抽出する。差分画像抽出手段は、前記抽出手段により抽出されたコードが示す印刷設定情報をもとに複数分のページを含む印刷画像を生成し、前記印刷画像と前記スキャン画像との差分画像を抽出する。判別手段は、前記差分画像と前記印刷画像に含まれるページとの対応関係を判別し、さらに前記印刷設定情報をもとに前記ページの周辺の余白領域と前記差分画像との位置関係を判別する。文字認識手段は、前記判別手段により判別された前記余白領域と前記差分画像との位置関係をもとに文字列の方向を設定して、前記差分画像について文字認識する。

本実施形態における画像処理システムの構成を示すブロック図。 本実施形態におけるＭＦＰの構成を示すブロック図。 本実施形態における文書管理サーバの構成を示すブロック図。 本実施形態におけるクライアントＰＣの構成を示すブロック図。 本実施形態における文書管理サーバの処理を示すフローチャート。 本実施形態におけるクライアントＰＣの処理を示すフローチャート。 本実施形態におけるＭＦＰの処理（印刷処理）を示すフローチャート。 本実施形態におけるクライアントＰＣの表示器により表示される印刷設定画面の一例を示す図。 本実施形態における印字方向項目の設定内容を説明するための図。 本実施形態におけるコメントが手書きされた印刷文書の例を示す図。 本実施形態におけるＭＦＰの処理（スキャン処理）を示すフローチャート。 本実施形態における文書管理サーバの処理を示すフローチャート。 本実施形態における差分画像の例を示す図。 本実施形態における印刷設定情報をもとに算出された横長の余白領域の例を示す図。 本実施形態における印刷設定情報をもとに算出された縦長の余白領域の例を示す図。 本実施形態におけるコメント領域（差分画像）と印刷画像中のページとの対応関係を判別するための処理を示すフローチャート。 本実施形態における図１３に示す指示線が付加された「コメント２」の差分画像を示す図。 本実施形態における図１３に示す「コメント４」の差分画像を示す図。 本実施形態における図１３に示す「コメント６」の差分画像を示す図。 本実施形態における図１３に示す「コメント５」の差分画像を示す図。 本実施形態における印刷対象となった文書に各ページと対応付けられたコメントをページ毎に挿入した形態を示す図。 本実施形態におけるコメントのみをページ毎に分類した形態を示す図。 本実施形態における印刷対象となった文書に各ページと対応付けられたコメントをそれぞれのページ内に挿入した形態を示す図。 本実施形態における文書のページ毎に、手書きされたコメントに対する文字認識処理により得られた文字列のデータと共に、コメントの差分画像を記載した形態を示す図。 本実施形態におけるＭＦＰの処理（スキャン処理）を示すフローチャート。 本実施形態における文書管理サーバの処理を示すフローチャート。

以下、実施の形態について、図面を参照して説明する。
図１は、本実施形態における画像処理システムの構成を示すブロック図である。画像処理システムは、ＭＦＰ（Multi Function Peripheral）１０１と、ＭＦＰ１０１から画像を取得して画像処理を行う文書管理サーバ１０２と、操作者からの入力を受け付けるクライアントパーソナルコンピュータ（ＰＣ）１０３とを含む。また、画像処理システムは、ＭＦＰ１０１と文書管理サーバ１０２とクライアントＰＣ１０３とを接続して、データを相互に送受信可能なネットワーク１０４も含む。ネットワーク１０４は、インターネットやＬＡＮ（Local Area Network）などである。

ＭＦＰ１０１は、図２に示すように、データの制御や演算などの処理を行うＣＰＵ（Central Processing Unit）２０１と、ＣＰＵ２０１が処理するためのデータを一時的に記憶するＲＡＭ（Random Access Memory）２０２と、処理プログラムなどを記憶するＲＯＭ（Read Only Memory）２０３と、ネットワーク１０４を介してデータを入出力するネットワークインタフェース（Ｉ／Ｆ）２０４を含む。また、ＭＦＰ１０１は、画像読み取りユニット２０５、印刷ユニット２０６、ＦＡＸユニット２０７が設けられ、ＣＰＵ２０１の制御のもとで、スキャナ機能、プリンタ機能、ＦＡＸ機能を提供する。ＭＦＰ１０１は、クライアントＰＣ１０３からの指示に応じて、ＭＦＰ１０１に記録された文書をプリンタ機能により印刷することができる。また、ＭＦＰ１０１は、スキャナ機能によって、文書等が記録された紙媒体をスキャンして画像データ（スキャン画像）を読み取り、文書管理サーバ１０２に出力することができる。

文書管理サーバ１０２は、図３に示すように、データの制御や演算などの処理を行うＣＰＵ３０１と、ＣＰＵ３０１が処理するためのデータを一時的に記憶するＲＡＭ３０２と、処理プログラムなどを記憶するＲＯＭ３０３と、処理プログラムや画像データ、あるいはクライアントＰＣ１０３等において文書作成アプリケーションによって作成された文書等のファイル等を記憶するためのハードディスク（ＨＤ）に対するデータのリード／ライトを制御するハードディスク制御部３０４と、ネットワーク１０４を介してデータを入出力するネットワークインタフェース（Ｉ／Ｆ）３０５を含む。ＣＰＵ３０１は、ＲＯＭ３０３あるいはハードディスクに記録された画像処理プログラムを実行することにより、ＭＦＰ１０１による印刷の制御やネットワーク１０４を介してＭＦＰ１０１から入力される画像データ（スキャナ画像）に対する各種の画像処理、さらには文書ファイルの編集処理（議事録作成）等を実行する。

クライアントＰＣ１０３は、図４に示すように、データの制御や演算などの処理を行うＣＰＵ４０１と、ＣＰＵ４０１が処理するためのデータを一時的に記憶するＲＡＭ４０２と、処理プログラムなどを記憶するＲＯＭ４０３と、プログラムやデータなどを長期的に記憶するためのハードディスク（ＨＤ）に対するデータのリード／ライトを制御するハードディスク制御部４０４と、プログラムなどを記憶しているＣＤ−ＲＯＭに対するリードを制御するＣＤ−ＲＯＭ制御部４０５とを含む。更にクライアントＰＣ１０３は、キーボードやマウスなどの入力装置４１０を制御する入力制御部４０６と、文書管理サーバ１０２からの情報（印刷文書選択画面等を含む）を表示する表示器４０７を制御する表示器制御部４０８と、ネットワーク１０４を介してデータを入出力するネットワークインタフェース（Ｉ／Ｆ）４０９を含む。

本実施形態では、文書管理サーバ１０２が画像処理プログラムをＣＰＵ３０１により実行することにより画像処理装置として機能する。なお、ＭＦＰ１０１と文書管理サーバ１０２とが協働して画像処理装置を実現することも可能である。また、以下に説明する文書管理サーバ１０２により実行される処理をＭＦＰ１０１が実行することにより、ＭＦＰ１０１を画像処理装置として機能させることも可能である。

次に、図５、図６、図７に示すフローチャートを参照しながら、画像処理システムにおいて文書を印刷する場合の処理について説明する。図５は文書管理サーバ１０２の処理、図６はクライアントＰＣ１０３の処理、図７はＭＦＰ１０１の処理（印刷処理）をそれぞれ示すフローチャートである。

まず、文書管理サーバ１０２は、ネットワーク１０４を介して、ＭＦＰ１０１及びクライアントＰＣ１０３と接続されると、クライアントＰＣ１０３に対して印刷対象とする文書を選択させるための印刷文書選択画面情報を送信する（図５、ステップＡ１）。印刷文書選択画面情報には、例えば、文書管理サーバ１０２に保存されている文書のファイル名一覧を表示させるためのデータが含まれている。

クライアントＰＣ１０３は、文書管理サーバ１０２と接続されると、文書管理サーバ１０２からの印刷文書選択画面情報の受信待ち状態となる。クライアントＰＣ１０３は、印刷文書選択画面情報を受信したことを検知すると（図６、ステップＢ１のＹｅｓ）、印刷文書選択画面情報に基づいて、表示器４０７において印刷文書選択画面を表示する（ステップＢ２）。

クライアントＰＣ１０３は、印刷文書選択画面から印刷対象とする文書を選択する指示が入力されると（ステップＢ３のＹｅｓ）、選択された印刷文書を示すデータを文書管理サーバ１０２に送信する（ステップＢ４）。

文書管理サーバ１０２は、クライアントＰＣ１０３から印刷文書を受信すると（ステップＡ２のＹｅｓ）、クライアントＰＣ１０３に対して印刷設定をさせるための印刷設定画面情報を送信する（ステップＡ３）。

クライアントＰＣ１０３は、印刷設定画面情報を受信したことを検知すると（ステップＢ５のＹｅｓ）、印刷設定画面情報に基づいて、表示器４０７において印刷設定画面を表示する（ステップＢ６）。

図８は、クライアントＰＣ１０３の表示器４０７により表示される印刷設定画面の一例を示している。
印刷設定画面には、文書を紙媒体に印刷する際の印刷形態を設定するための複数の印刷設定項目が設けられている。印刷設定項目には、例えば、１枚に複数ページ分（Ｎページ）をまとめて印刷するＮｉｎ１印刷を設定するためのＮｉｎ１設定項目１００１、両面印刷と片面印刷の何れかを設定するための印刷面設定項目１００２、複数枚のページを１枚の紙媒体に印刷する場合のページの配置を設定する印字方向項目１００３、文書を印刷する際のカラーモードを設定するためのカラーモード設定項目１００４が設けられている。

Ｎｉｎ１設定項目１００１では、「Ｎｉｎ１印刷なし」の他、１枚（１面）に印刷する文書のページ数（例えば、２，４，６，８，９，１２）の何れかを設定することができる。

印刷面設定項目１００２では、１枚の紙媒体に対して「片面」と「両面」の何れに印刷するかを設定することができる。また、「両面」の印刷では、紙媒体を横長の向きで印刷するか（短辺とじ）、あるいは縦長の向きで印刷するか（長辺とじ）を設定することができる。

印字方向項目１００３では、ページの配置として、図９に示すように、「順横方向」（図９（ａ））、「順縦方向」（図９（ｂ））、「逆横方向」（図９（ｃ））、「逆縦方向」（図９（ｄ））の何れかを設定することができる。

カラーモード設定項目１００４では、カラーモードとして「フルカラー」「グレースケール」「モノクロ」の何れかを設定することができる。

クライアントＰＣ１０３は、各印刷設定項目１００１〜１００４についての設定（選択）がされた後、「決定」ボタンに対する指示によって設定完了が指示されると（ステップＢ７のＹｅｓ）、設定された内容を示す印刷設定情報を文書管理サーバ１０２に送信する（ステップＢ８）。

文書管理サーバ１０２は、クライアントＰＣ１０３から印刷設定情報を受信すると（ステップＡ４のＹｅｓ）、印刷文書について予め設定された文書ＩＤを取得する（ステップＡ５）。なお、文書ＩＤは、文書管理サーバ１０２に保存された各文書に対して予め決められた、文書に固有のデータである。

文書管理サーバ１０２は、文書ＩＤとクライアントＰＣ１０３から受信した印刷設定情報を含むコードパターンを生成する（ステップＡ６）。コードパターンは、文書が印刷される紙媒体に文書と共に印刷するためのもので、例えば二次元コードが用いられる。以下の説明では、ＱＲ（Quick response）コードが用いられるものとして説明する。なお、ＱＲコード以外の二次元コードを用いても良いし、バーコード等の一次元コードや三次元コードなどを用いることも可能である。

次に、文書管理サーバ１０２は、ＭＦＰ１０１により印刷させるために、印刷設定情報に応じて、印刷文書に対応する印刷画像を作成する（ステップＡ７）。すなわち、図８に示す印刷設定画面において、Ｎｉｎ１設定項目１００１、印刷面設定項目１００２、印字方向項目１００３、及びカラーモード設定項目１００４においてそれぞれ設定された設定内容に応じた印刷画像を作成する。

例えば、Ｎｉｎ１印刷において「４ｉｎ１」が設定されている場合には、１枚に４ページ分を印刷する印刷画像を作成する。また、「両面（短辺とじ）」が設定されている場合には、紙媒体を横長にした向きで印刷するようにページをレイアウトし、紙媒体の表面用と裏面用のそれぞれ印刷画像を作成する。複数のページを１枚に印刷する際の印字方向として「順横方向」が設定されている場合には、図９（ａ）に示す順番で各ページを配置する。そして、カラーモードとして「グレースケール」が設定されている場合には、文書中に黒の文字以外に他の色の文字や図形、カラーの絵などが含まれていれば、これらをグレースケールで表現した印刷画像を作成する。

また、文書管理サーバ１０２は、印刷画像に印刷設定情報と文書ＩＤとを含むＱＲコードの印刷パターンを付与する。本実施形態では、１つのＱＲコードを紙媒体の予め決められた位置、例えば紙媒体の左上隅の近傍に付与する。

なお、印刷設定情報においてＮｉｎ１印刷が設定されている場合、１枚の紙媒体に印刷される印刷画像には、印刷文書の複数分のページが含まれる。複数分のページを含む印刷画像に対しても、１つのＱＲコードを付与するものとする。

また、ＱＲコードは、少なくとも１枚目の紙媒体の一方の面（例えば表面）に印刷されるように印刷画像が生成されるものとする。印刷文書が複数枚の紙媒体に印刷される場合に、ＱＲコードを１枚目のみに印刷したり、全ての紙媒体のそれぞれに印刷したりすることができる。また、印刷設定情報において「両面」印刷が設定されている場合、ＱＲコードを一方の面にのみに印刷したり、両方の面にそれぞれ印刷したりすることも可能である。ＱＲコードを１枚目のみに印刷する場合には、ＱＲコードの作成が１回で良いため処理負担が軽くて済む。

文書管理サーバ１０２は、印刷実行を指示する印刷命令と印刷画像とを、ＭＦＰ１０１に対して送信する（ステップＡ８）。

ＭＦＰ１０１は、文書管理サーバ１０２より印刷命令と印刷画像を受信すると（図７、ステップＣ１のＹｅｓ）、印刷ユニット２０６を用いて印刷を実行する（ステップＣ２）。ＭＦＰ１０１により印刷された印刷文書は、印刷設定情報により指定された形態によって文書が印刷され、また左上隅の近傍に印刷設定情報を含むＱＲコードが印刷されている。

この印刷文書は、例えば、文書内容についてのレビュー等（記載内容のチェックや修正など）をするために使用される。ここで、印刷文書に対しては、修正内容を示す文字列等からなるコメントが手書きによって記入される。

図１０は、コメントが手書きされた印刷文書の例を示している。図１０に示す印刷文書は、例えば、印刷設定情報として、Ｎｉｎ１設定項目１００１において「４ｉｎ１」、印刷面設定項目１００２において「片面」、印字方向項目１００３において「順横方向」、カラーモード設定項目１００４として「モノクロ」が設定された例を示している。

図１０に示すように、印刷文書の左上隅の近傍には、ＱＲコード１１０１が印刷されている。また、印刷設定情報に従い、１枚の紙媒体（一方の面）に４ページ分の文書が印刷されている。図１０中に示す矩形枠１１０２，１１０３，１１０４，１１０５は、印刷文書の各ページの内容、例えば文字列が印刷されている範囲を示すものである。印刷文書の内容（文字列）は、手書きされたコメントの記載位置を分かり易くするために、図１０において省略している。なお、図１０中の破線は各ページの境界を示すもので印刷されるものではない。

図１０では、分かり易くするために手書き入力された内容を「コメント１」〜「コメント６」と示しているが、実際には、レビューの結果とする修正内容を示す文字列や絵、図形等の意味のある内容がコメントとして手書きされる。

本実施形態における画像処理システムでは、印刷文書に対してコメントを手書きする際の記入位置に制約を設けていない。一般には、文書が印刷されていない行間や、印刷ページの周囲に設けられた余白領域に、手書きされることが多い。

例えば、「コメント２」「コメント３」「コメント４」は、文書の行間に手書きされた例を示し、「コメント１」「コメント５」「コメント６」は余白領域に手書きされた例を示している。なお、印刷された文書の上に重ねて、コメントを手書きすることも可能である。

また、「コメント１」「コメント２」には、コメントの他に、ページとの対応関係を明示するための特定の形状のパターンが手書きされている。図１０に示す例では、手書きされたコメントに対応するページを指示するための指示線が手書きされている。指示線は、一端がコメントの近傍にあり、他端がコメントと対応付けるページの領域内にあるように、予め決められた長さ以上（通常の文字を手書きする場合の線よりも十分に長い）となるように手書きされるものとする。指示線は、単純な線であるため、手書きするための負担が少なくて済む。なお、他の形状のパターンを用いることも可能であるが、コメント以外に手書きを必要とするため、負担を増大させないように単純なパターンであることが望ましい。

本実施形態では、文書管理サーバ１０２における画像処理によって、手書きされたコメントの位置と印刷画像の各ページの印刷位置とに基づいて、コメントが何れのページに対するものであるかを判別する。このページとコメントとを対応付けるため画像処理の詳細については後述する。

次に、図１１、図１２に示すフローチャートを参照しながら、印刷文書に手書きされたコメントをページ毎にまとめた議事録を作成するための処理について説明する。図１１はＭＦＰ１０１の処理（スキャン処理）、図１２は文書管理サーバ１０２の処理をそれぞれ示すフローチャートである。

まず、ＭＦＰ１０１は、スキャン命令を受信すると（図１１、ステップＤ１のＹｅｓ）、画像読み取りユニット２０５によって原稿（印刷文書）をスキャンして画像データ（スキャン画像）を読み取る（ステップＤ２）。ここで、ＭＦＰ１０１は、ＡＤＦ（Auto Document Feeder）を用いて原稿のスキャンが実行されるものとする。すなわち、ＡＤＦにセットされた原稿について一括してスキャンが実行される。複数枚の原稿がセットされていた場合には、複数枚の原稿についてのスキャン画像が読み取られる。

ここでは、例えば複数の原稿（印刷文書）に対して片面印刷され、先頭の原稿にのみＱＲコードが印刷されているものとする。この場合、複数枚の原稿は正しい向きに正しい順序に揃えられてＡＤＦにセットされ、スキャンされるものとする。

ＭＦＰ１０１は、ＡＤＦにセットされた全ての原稿についてのスキャンが完了すると、スキャン画像を文書管理サーバ１０２に送信する（ステップＤ３）。

文書管理サーバ１０２は、ＭＦＰ１０１からスキャン画像を受信すると（図１２、ステップＥ１のＹｅｓ）、先頭の原稿から読み取られたスキャン画像からＱＲコードを読み取る（ステップＥ２）。ＱＲコードは、原稿の予め決められた位置（左上隅の近傍）に印刷されているため、容易に読み取ることができる。

文書管理サーバ１０２は、スキャン画像から読み取られたＱＲコードをデコードし（ステップＥ３）、ＱＲコードに含まれる印刷設定情報と文書ＩＤを抽出する（ステップＥ４）。

文書管理サーバ１０２は、保存されている複数の文書から文書ＩＤに対応する文書を取得し（ステップＥ５）、この文書に印刷設定情報を反映した画像、すなわち印刷画像と同等の画像を作成する（ステップＥ６）。すなわち、印刷時と同様にして、Ｎｉｎ１印刷、印刷面、印字方向、カラーモードについての設定内容に応じた画像を生成する。

また、文書管理サーバ１０２は、文書ＩＤと印刷設定情報を含むＱＲコード（コードパターン）を生成し、このＱＲコードを印刷画像に付与する（ステップＥ７）。これにより、元の印刷文書を印刷する際に生成した時と同じ印刷画像を生成することができる。なお、印刷文書が１枚の紙媒体に印刷できない長さ（ページ数）である場合には、複数枚分の印刷画像が生成される。

次に、文書管理サーバ１０２は、ＭＦＰ１０１から受信したスキャン画像について、先頭から順番に以下の処理を実行する。文書管理サーバ１０２は、Ｎ番目（初期値Ｎ＝１）のスキャン画像とＮ番目の印刷画像を取得し（ステップＥ８）、２つの画像の差分を抽出する（ステップＥ９）。以下、ここで抽出された画像を差分画像と称する。スキャン画像から抽出された文書ＩＤと印刷設定情報に基づいて生成された印刷画像は、スキャン画像のもとになった印刷文書を印刷する際の印刷画像と同じ画像であるため、２つの画像の差分を抽出することにより印刷文書に対して手書きされたコメントのみが差分画像として抽出される。

図１３は、差分画像の例を示している。図１３に示す差分画像は、図１０に示すコメントが手書きされた印刷文書に対応するもので、「コメント１」〜「コメント６」のそれぞれが抽出されている。また、「コメント１」「コメント２」には、ページとの対応関係を明示するための特定の形状のパターン（指示線）が付加されている。なお、図１３中の破線は各ページの境界を示すもので差分画像には含まれない。

次に、文書管理サーバ１０２は、差分画像のまとまり（グループ）を判別することにより、手書きされたコメント毎に差分画像を分類する。差分画像のまとまり（グループ）は、例えば隣接する画像が予め決められた距離内に存在する画像の集合とする。文書管理サーバ１０２は、コメント毎に分類した差分画像について、手書きされた範囲を示す領域（以下、コメント領域と称する）を設定して記録する。

例えば、コメント領域は、差分画像に外接する矩形によって設定されるものとする。コメント領域の範囲は、スキャン画像に対してＸＹ座標系を定義し、矩形の対角２頂点（例えば、左上、右下）の座標値によって示すものとする。

なお、コメントに指示線が付加されている場合には、指示線に相当する差分画像を除いた差分画像のグループを対象としてコメント領域を設定するものとする。指示線による差分画像は、予め決められた長さ以上の線となっており、文字を表す差分画像と容易に区別することができる。指示線に相当する差分画像が抽出された場合には、この差分画像の両端（コメント領域の近傍にある点を始端、他方の点を終端とする）の座標値もコメント領域の座標値と共に記録しておくものとする。

また、印刷文書に対するコメントは、図１０に示すように、水平方向あるいは垂直方向に手書きされるだけでなく、斜め方向に手書きされる場合もある。こうした場合、矩形の対角２頂点の座標値により示すだけでなく、他の定義の方法によってコメント領域を設定するようにしても良い。また、１文字分の差分画像毎に矩形枠を設定し、複数の矩形枠の集合によって文字列に対応するコメント領域を設定するようにしても良い。

次に、文書管理サーバ１０２は、差分画像に対して文字認識処理を実行することにより、差分画像が表す文字列を抽出する（ステップＥ１１）。
文書管理サーバ１０２は、既存の文字認識処理の技術を用いるなどして、コメント毎に分類された差分画像を１文字に相当する画像毎に区分する。そして、１文字に相当する画像毎に、予め用意されている文字認識用の辞書データと照合することにより手書きされた文字を判別し、その文字の文字データを記録する。

なお、文字認識処理では、印刷設定情報とスキャン画像において設定されたコメント領域の位置を利用して、認識率の向上を図ることができる。すなわち、印刷画像中の余白領域とコメント領域（差分画像）との位置関係を判別し、この位置関係をもとに文字列の方向を設定して文字認識を実行する。

例えば、文書管理サーバ１０２は、印刷設定情報をもとにして、印刷されるページの周辺に設けられた余白領域の範囲を算出することができる。図１４には、印刷設定情報をもとに算出された横長の余白領域１４０１，１４０２，１４０３を示し、図１５には、同じく縦長の余白領域１５０１，１５０２，１５０３を示している。

図１４では、横長の余白領域１４０１にコメントが手書きされた例を示している。図１４に示すコメントＡのコメント領域は、２点の座標Ｐ１，Ｐ２により設定されている。文書管理サーバ１０２は、２点の座標Ｐ１，Ｐ２が横長の余白領域１４０１に含まれると判別される場合には、コメントＡが横書きされているものと判別する。この場合、差分画像に対して文字認識処理をする際に、横書きされた文字であるものとして処理を実行する。

同様にして、図１５に示すコメントＢのコメント領域は、２点の座標Ｐ３，Ｐ４により設定されている。文書管理サーバ１０２は、２点の座標Ｐ３，Ｐ４が縦長の余白領域１５０１に含まれると判別される場合には、コメントＢが縦書きされているものと判別する。この場合、差分画像に対して文字認識処理をする際に、縦書きされた文字であるものとして処理を実行する。

このように、印刷設定情報により算出される余白領域とコメント領域との位置関係を判別し、この位置関係をもとにして手書きされた文字列の方向を設定して差分画像について文字認識処理を実行することで、文字の認識率の向上を期待することができる。

なお、図１４及び図１５では、コメント領域の位置を示す２点の座標が余白領域内にある場合を対象としているが、他の位置関係に基づいて手書きの方向が横書きかあるいは縦書きかを判別するようにしても良い。例えば、コメント領域の位置を示す一方の点が横長の余白領域に含まれ、他方の点が横長の余白領域の近傍にある場合には、横書きされているものとして判別するようにしても良い（縦長の余白領域についても同じ）。さらに、余白領域とコメント領域（差分画像）との位置関係をもとにした別の方法を用いて、手書きされた文字列の方向を判別して文字認識処理に反映するようにしても良い。

また、印刷設定情報に文書の文字方向（横書き、縦書き）が含まれている場合に、この文字方向の設定に応じて文字認識処理を実行するようにしても良い。一般に、横書きされた文書に対しては、文書の並びに沿って横書きでコメントの文字列が手書きされる場合が多い。このため、文書の文字方向が「横書き」に設定されている場合には、手書きされた文字列の方向を「横書き」に設定して差分画像について文字認識処理を実行することで、文字の認識率の向上を期待することができる。

文書管理サーバ１０２は、前述したようにして、コメント毎に分類したそれぞれの差分画像について文字認識処理を実行して、コメント毎の文字認識処理の結果（文字列等）を記録する。

なお、差分画像を全て文字として認識するだけでなく、図形や絵などのイメージとして記録するようにしても良い。例えば、差分画像に対する文字認識処理において、辞書データの照合において予め設定された基準値より認識率が低い場合には、手書きされたコメントが文字以外の図形や絵などであると見なし、差分画像をそのまま手書きされたコメントとして記録する。

また、差分画像について文字認識した結果、文字として認識できた場合（認識率が基準値以上であった場合）であっても、文字認識結果（文字データ）と共に差分画像を対応付けて記録しておくようにしても良い。

次に、文書管理サーバ１０２は、コメント領域（差分画像）が何れのページに対応するかを判別し、該当するページにコメント毎の文字認識処理の結果（文字列等）を振り分ける（ステップＥ１２）。すなわち、文書管理サーバ１０２は、コメント（文字列等）が何れのページに対して手書きされたかを、差分画像と印刷画像に含まれるページとの対応関係に基づいて判別する。

図１６は、コメント領域（差分画像）と印刷画像中のページとの対応関係を判別するための処理を示すフローチャートである。文書管理サーバ１０２は、図１６に示す処理を、各コメント領域について実行して、それぞれに対応するページを判別する。

文書管理サーバ１０２は、差分画像（コメント領域）に指示線が付加されている場合（ステップＦ１のＹｅｓ）、指示線の終端座標が属するページを対応付けの対象として判別する（ステップＦ２）。

図１７は、図１３に示す指示線が付加された「コメント２」の差分画像を示している。図１７に示すように「コメント２」の差分画像１に対しては、２点の座標Ｐ５，Ｐ６によりコメント領域が設定されている。このコメント領域には、始端をＰ７、終端をＰ８とする指示線（差分画像２）が付加されている。

文書管理サーバ１０２は、印刷設定情報をもとにして、スキャン画像における複数のページのそれぞれの印刷位置を判別することができる。図１７では、１〜４ページ目のそれぞれが印刷される位置として、１〜４ページ領域が判別される。従って、文書管理サーバ１０２は、指示線の終端Ｐ８の座標が１ページ領域に含まれることを判別することができる。

指示線は、コメント２が手書きされた際に、コメント２と対応付けるページを明示するために意図して付加された特定のパターンである。従って、コメント２が４ページ領域に手書きされていたとしても、コメント２を１ページと対応付けるものと判別する。

次に、文書管理サーバ１０２は、差分画像（コメント領域）に指示線が付加されていない場合（ステップＦ１のＮｏ）、差分画像（コメント領域）の各ページ領域に含まれる面積を算出し（ステップＦ３）、差分画像が含まれる面積が最も大きいページ領域を対応付けの対象として判別する（ステップＦ４）。

図１８は、図１３に示す「コメント４」の差分画像を示している。図１８に示すように「コメント４」の差分画像は、２点の座標Ｐ９，Ｐ１０によりコメント領域が設定されている。このコメント領域は、１ページ領域と２ページ領域に含まれている。

文書管理サーバ１０２は、印刷設定情報をもとにして、１ページ領域と２ページ領域の境界を判別することができる。文書管理サーバ１０２は、座標Ｐ９，Ｐ１０と１ページ領域と２ページ領域の境界とに基づいて、１ページ領域に含まれる「領域１」と２ページ領域に含まれる「領域２」のそれぞれの面積を算出し、何れの領域の面積が大きいかを判別する。なお、図１８に示すコメント領域は、２つのページ領域に含まれているが、３つ以上のページ領域にコメント領域が含まれる場合には、３つ以上のページ領域のそれぞれに含まれる面積を算出して比較する。

ここで、最も面積が大きいページ領域がちょうど一つだけ存在した場合（ステップＦ５のＹｅｓ）、文書管理サーバ１０２は、コメント領域が含まれる面積が最も大きいページにコメントを対応付ける。図１８に示すコメント４は、１ページ領域に含まれる「領域１」の方が「領域２」より面積が大きいため、コメント４を１ページと対応付けるものと判別する。

通常、コメントを手書き入力する場合、関連するページ内にコメントを書き込もうとする傾向があるため、コメント領域が含まれる面積に基づいて、コメントに対応付けるページを判別することができる。

なお、最も面積が大きいページ領域が二つ以上存在した場合（ステップＦ５のＮｏ）、文書管理サーバ１０２は、差分画像の特定の位置が属するページ領域を対応付けの対象として判別する（ステップＦ６）。ここでは、例えば、差分画像の特定の位置を、コメント領域の位置を示す左上頂点の座標とする。

図１９は、図１３に示す「コメント６」の差分画像、図２０は、図１３に示す「コメント５」の差分画像をそれぞれ示している。

図１９と図２０に示すように、「コメント６」「コメント５」の差分画像（コメント領域）は、ページ境界上にあり、それぞれのページ領域に含まれる面積が同じとなっている。

この場合、文書管理サーバ１０２は、図１９に示す「コメント６」については、左上座標Ｐ１１が３ページ領域に含まれるため、コメント６を３ページと対応付けるものと判別する。また、文書管理サーバ１０２は、図２０に示す「コメント５」については、左上座標Ｐ１３が２ページ領域に含まれるため、コメント５を２ページと対応付けるものと判別する。

このように、コメントに付加された指示線、コメント領域が含まれる面積、コメントの書き始めの位置（左上座標）の順で優先順位を付けてコメント領域に対応付けるページを判別するので、コメントとページとの対応関係をより確実に決めることができる。従って、コメントを手書きする際の制約を少なくすることができる。

こうして、Ｎ番目のスキャン画像について全てのコメント領域（差分画像）の処理が完了すると、文書管理サーバ１０２は、次のスキャン画像が存在すれば（ステップＥ１３のＹｅｓ）、前述と同様の処理を繰り返して実行する（ステップＥ８〜Ｅ１２）。

全てのスキャン画像について処理が終了すると（ステップＥ１３のＮｏ）、文書管理サーバ１０２は、各スキャン画像に対する処理によって記録されたコメント（文字列等）をページ毎にまとめた議事録を作成する（ステップＥ１４）。

図２１、図２２、図２３、及び図２４には、文書管理サーバ１０２によって作成される議事録の形態の一例を示している。
図２１は、印刷対象となった文書に、各ページと対応付けられたコメントをページ毎に挿入した形態を示している。図２１（ａ）は、文書の１ページ目であり、この１ページ目の後に、図２１（ｂ）に示すような１ページと対応付けられた「コメント３」「コメント４」「コメント１」「コメント２」を挿入する。なお、コメントの順番は、差分画像における配置に応じて決定されるものとする。例えば、図２１（ｂ）に示す例では、スキャン画像中の上に配置されたコメントから順番に配置した例を示している。図２１（ｃ）は、文書の２ページ目と、２ページと対応付けられた「コメント５」を示している。図２１（ｄ）は、文書の３ページ目と、３ページと対応付けられた「コメント６」を示している。

印刷文書が特定の文書作成用のアプリケーションによって作成されている場合、このアプリケーションにコメントを付加する機能が設けられていれば、この機能を利用して元の文書にコメントデータとして付加することも可能である。

図２１に示す形態では、文書の各ページと対応付けてコメントが分類されているために、文書本文とコメントとの対応付けを容易にすることができる。

図２２は、コメントのみをページ毎に分類した形態を示している。図２２に示すように、１ページ目に対応付けられた「コメント３」「コメント４」「コメント１」「コメント２」がまとめて記載され、２ページ目と３ページ目にそれぞれ対応付けられた「コメント５」「コメント６」が記載されている。

図２２に示す形態では、手書きによって追加されたコメントのみをまとめて確認することが容易となる。
図２３は、印刷対象となった文書に、各ページと対応付けられたコメントをそれぞれのページ内に挿入した形態を示している。図２３（ａ）（ｂ）は、文書の１ページ目を示しており、１ページ目と対応付けられた「コメント３」「コメント４」「コメント１」「コメント２」がページ内に挿入されている。

図２３に示す形態が用いられる場合には、コメント領域（差分画像）とページとの対応関係を判別するだけでなく、コメント領域のページにおける位置についても判別しておくものとする。例えば、図１３において「コメント３」はページ内の上端から１／３位の位置に存在している。同様にして「コメント４」は、ページ内の上端から１／２位の位置、「コメント１」「コメント２」はページの下端より下に存在している。

文書管理サーバ１０２は、各コメント領域のページにおける位置に応じて、ページ内の該当行の近傍にコメントを挿入する。図２３（ａ）では、ページの先頭から１／３位の行位置に「コメント３」、ページの先頭から１／２位の行位置に「コメント４」、行末に「コメント１」「コメント２」が挿入されている。

なお、印刷文書に対するコメントは、厳密に文書の行位置に合わせて手書きされるわけではないので、各コメント領域のページにおける位置や、コメントを挿入する行位置を、必ずしも正確に算出する必要がないものとする。

また、印刷文書が特定の文書作成用のアプリケーションによって作成されている場合、このアプリケーションに修正箇所を明示した表示形態（修正履歴表示）で文字等を文書に追加できる機能が設けられていれば、この機能を利用して元の文書にコメントデータとして挿入することも可能である。
図２３に示す形態では、文書のページ内にコメントが挿入されるため、文書本文とコメントとの対応付けを容易にすることができる。

図２４は、文書のページ毎に、手書きされたコメントに対する文字認識処理により得られた文字列のデータと共に、コメントの差分画像を記載した形態を示している。
図２４（ａ）（ｂ）に示す形態では、各ページにおいて読み取られたコメントと、それぞれに対応する差分画像が記載されている。なお、図２４（ａ）（ｂ）に示す例では、全てのコメントに対して差分画像を記載しているが、例えば文字認識処理によって認識率が低かったコメントについてのみ差分画像を記載しても良いし、認識率が低かったコメントについては差分画像のみを掲載するようにしても良い。また、図２１や図２３に示すように、印刷文書にコメント（文字列）と差分画像（あるいは何れか一方）を挿入するようにしても良い。

なお、図２１〜図２４に示す形態のうち何れの形態の議事録を作成するかは、クライアントＰＣ１０３から文書管理サーバ１０２に対して予め任意に設定できるようにしても良いし、何れかの形態に固定されていても良い。

こうして、文書管理サーバ１０２は、印刷文書に手書きされたコメントをページ毎にまとめた議事録を作成すると、この議事録のデータを記録すると共に、クライアントＰＣ１０３に処理の終了を通知する（ステップＥ１５）。

このようにして、本実施形態におけるシステムでは、複数分のページが印刷された印刷文書に手書きされたコメントと、各ページとの対応関係を判別して、コメントをページ毎に分類した議事録を簡単に作成することができる。

なお、前述した説明では、（１）「複数の原稿（印刷文書）に対して片面印刷され、先頭の原稿にのみＱＲコードが印刷されている場合」を例にしているが、（２）「複数の原稿（印刷文書）に対して両面印刷され、先頭の原稿にのみＱＲコードが印刷されている場合」、（３）「複数の原稿（印刷文書）に対して片面印刷され、全ての原稿にＱＲコードが印刷されている場合」、（４）「複数の原稿（印刷文書）に対して両面印刷され、全ての原稿にＱＲコードが印刷されている場合」を対象とすることも可能である。

（２）「複数の原稿（印刷文書）に対して両面印刷され、先頭の原稿にのみＱＲコードが印刷されている場合」については、スキャン処理において原稿（印刷文書）を両面スキャンして画像データ（スキャン画像）を読み取り、各面から読み取ったスキャン画像について前述と同様の処理を実行すれば良い。文書管理サーバ１０２は、１枚目の原稿の表面のスキャン画像からＱＲコードを読み取り、このＱＲコードが示す文書ＩＤと印刷設定情報に基づいて処理を実行する。

次に、（３）（４）の「全ての原稿にＱＲコードが印刷されている場合」について、図２５と図２６に示すフローチャートを参照しながら説明する。図２５はＭＦＰ１０１の処理（スキャン処理）、図２６は文書管理サーバ１０２の処理をそれぞれ示すフローチャートである。なお、全ての原稿にＱＲコードを印刷する場合、文書ＩＤと印刷設定情報の他に、印刷文書のページに応じたページ番号のデータを含むようにＱＲコードを生成して印刷画像に付加するものとする。

ＭＦＰ１０１による印刷処理では、片面印刷と両面印刷の何れかを任意に選択することができるものとする。一方、スキャン処理では、片面印刷あるいは両面印刷された原稿がＡＤＦにセットされてスキャン処理が開始されるものとする。

全ての原稿（印刷面）にＱＲコードを印刷する場合には、スキャン画像から検出されるＱＲコードの位置によって原稿が読み取られた向きを判別して、スキャン画像の向きを補正することができるため、ＡＤＦにセットされる複数の原稿の向き（上下左右）はそれぞれ何れであっても良い。また、ＱＲコードにはページ番号のデータが含まれているため、ページ番号をもとにして、各原稿から読み取られた手書きのコメントのデータの順番を整列させることができる。従って、複数枚の原稿を正しい順番に配列させてＡＤＦにセットしてスキャンする必要もない。このため、ユーザは、原稿の向きや順番を予め揃えてＡＤＦにセットする必要がないため作業負担が軽減される。ただし、片面印刷された原稿については、印刷面がスキャンされるように表裏の向きを揃えてＡＤＦにセットする必要があるものとする。

まず、ＭＦＰ１０１は、スキャン命令を受信すると（図２５、ステップＧ１のＹｅｓ）、画像読み取りユニット２０５によって１枚目の原稿（印刷文書）を両面スキャンして、表面と裏面のそれぞれの画像データ（スキャン画像）を読み取る（ステップＧ２）。

ＭＦＰ１０１は、１枚目の原稿（印刷文書）を両面スキャンが完了すると、両面のスキャン画像を文書管理サーバ１０２に送信する（ステップＧ３）。

文書管理サーバ１０２は、ＭＦＰ１０１からスキャン画像を受信すると（図２６、ステップＨ１のＹｅｓ）、１枚目の原稿から読み取られたスキャン画像からＱＲコードを読み取る（ステップＨ２）。ＱＲコードは、原稿の予め決められた位置（左上隅の近傍）に印刷されているため、原稿の向きが何れであっても４隅近傍の何れかにおいて読み取ることができる。ここでは、原稿の表面のスキャン画像からＱＲコードを読み取る。

文書管理サーバ１０２は、スキャン画像から読み取られたＱＲコードをデコードし（ステップＨ３）、ＱＲコードに含まれる印刷面の印刷設定情報を抽出し（ステップＨ４）、この情報をＭＦＰ１０１に送信する（ステップＨ５）。

文書管理サーバ１０２は、文書管理サーバ１０２から印刷面（片面／両面）の印刷設定情報を受信すると（ステップＧ４のＹｅｓ）、この情報に応じたスキャン動作を実行する。

すなわち、両面印刷が設定されていた場合には、ＭＦＰ１０１は、ＡＤＦにセットされた残りの原稿について両面スキャンを実行し（ステップＧ８）、スキャン画像を文書管理サーバ１０２に送信する（ステップＧ９）。

一方、片面印刷が設定されていた場合には、ＭＦＰ１０１は、ＡＤＦにセットされた残りの原稿について片面スキャンを実行し（ステップＧ６）、スキャン画像を文書管理サーバ１０２に送信する（ステップＧ７）。片面スキャンは、両面スキャンを実行する場合と比較して１枚の原稿に要する処理時間が短い。従って、１枚目の原稿に記録されたＱＲコード（印刷設定情報）をもとに片面印刷された原稿であることが判別できた場合に、片面スキャンに処理を特定することで、無駄な処理時間を発生させなくて済む。特に大量の原稿をスキャンする場合には、両面スキャンをする場合より大幅な時間短縮が可能である。

文書管理サーバ１０２は、ＭＦＰ１０１から残りのスキャン画像を受信すると（ステップＨ６のＹｅｓ）、全てのスキャン画像からＱＲコードを読み取り、スキャン画像中におけるＱＲコードの位置をもとにスキャン画像の向きを判別する（ステップＨ７）。ＱＲコードは、原稿の予め決められた位置（左上隅の近傍）に印刷されているため、原稿の向きが何れであっても４隅近傍の何れかにおいて読み取ることができ、その読み取り位置によってスキャン画像の向きを判別することができる。

文書管理サーバ１０２は、スキャン画像から読み取られたＱＲコードをデコードし（ステップＨ８）、ＱＲコードに含まれる印刷設定情報（ページ番号のデータを含む）と文書ＩＤを抽出する（ステップＨ９）。なお、１枚目の原稿のスキャン画像については、先にＱＲコードの読み取りを実行しているので（ステップＨ２，Ｈ３）、先の処理のデータを利用するようにしても良い。

以下、文書管理サーバ１０２は、ＭＦＰ１０１から受信したスキャン画像について、先頭から順番に以下の処理を実行する。まず、文書管理サーバ１０２は、ＱＲコードから取得された印刷設定情報をもとにして、スキャン画像との差分画像を抽出するために印刷画像と同等の画像を作成する（ステップＨ１０〜Ｈ１２）。なお、ステップＨ１０〜Ｈ１２については、図１２に示すＥ５〜Ｅ７の処理と同様に実行されるものとして詳細な説明を省略する。

全ての原稿にＱＲコードが印刷されている場合には、原稿の順番を揃えてＡＤＦにセットさせる必要がないものとしているため、文書管理サーバ１０２は、ステップＨ９においてＱＲコードから抽出されたページ番号のデータをもとに、スキャン画像を正しい順番に整列する（ステップＨ１２.５）。

文書管理サーバ１０２は、Ｎ番目（初期値Ｎ＝１）のスキャン画像とＮ番目の印刷画像を取得し（ステップＨ１３）、スキャン画像についてステップＨ７において判別された向きに応じて正しい向きに補正した後（ステップＨ１４）、２つの画像の差分を抽出する（ステップＨ１５）。

以下、文書管理サーバ１０２は、差分画像から文字列等を抽出し、文書の対応するページを判別して振り分ける処理を実行する（ステップＨ１６〜Ｈ１８）。なお、ステップＨ１６〜Ｈ１８の処理については、図１２に示すステップＥ１０〜Ｅ１２と同様にして実行されるものとして詳細な説明を省略する。

こうして、Ｎ番目のスキャン画像についての処理が完了すると、文書管理サーバ１０２は、次のスキャン画像が存在すれば（ステップＨ１９のＹｅｓ）、前述と同様の処理を繰り返して実行する（ステップＨ１３〜Ｈ１８）。

全てのスキャン画像について処理が終了すると（ステップＨ１９のＮｏ）、文書管理サーバ１０２は、各スキャン画像に対する処理によって記録されたコメント（文字列等）をページ毎にまとめた議事録を作成する（ステップＨ２０）。

こうして、文書管理サーバ１０２は、印刷文書に手書きされたコメントをページ毎にまとめた議事録を作成すると、この議事録のデータを記録すると共に、クライアントＰＣ１０３に処理の終了を通知する（ステップＨ２１）。

このようにして、全ての原稿にＱＲコードを印刷することにより、ＡＤＦに原稿をセットする際のユーザへの負担を軽減することができる。また、ＱＲコードをもとに片面／両面印刷を判別して、ＭＦＰ１０１における片面スキャン／両面スキャンを切り替えて実行するので、無駄な処理時間を発生させなくてすむ。

なお、前述した図２５及び図２６に示す処理では、１枚目の原稿に印刷されたＱＲコードを読み取って、ＱＲコードが示す片面／両面印刷の設定に応じてＭＦＰ１０１のスキャンを制御しているが、ＭＦＰ１０１においてＡＤＦにセットされた全ての原稿について両面スキャンを実行するようにしても良い。

例えば、ＭＦＰ１０１は、ＡＤＦにセットされた全ての原稿を両面スキャンして、スキャン画像を文書管理サーバ１０２に送信する。文書管理サーバ１０２は、先頭のスキャン画像からＱＲコードを抽出し、印刷設定情報において両面印刷が設定されていることが判別された場合には、ＭＦＰ１０１から受信した全てのスキャン画像について前述と同様の処理を実行する。一方、印刷設定情報において片面印刷が設定されていることが判別された場合には、文書管理サーバ１０２は、ＭＦＰ１０１から受信した全てのスキャン画像のうち偶数ページ（裏面）に該当するスキャン画像を全て削除する。そして、残った奇数ページ（表面）に該当するスキャン画像についてのみ前述と同様の処理を実行する。

また、前述した説明では、ＭＦＰ１０１においてＡＤＦを用いてスキャンを実行するものとしているが、ＭＦＰ１０１ではフラットヘッドスキャナのスキャナ面（Glass）にユーザが原稿を１枚毎にセットしてスキャンを実行することができる。ＭＦＰ１０１は、スキャン処理によって読み取られたスキャン画像を文書管理サーバ１０２に送信する際、スキャン処理がＡＤＦを用いたスキャン、あるいはスキャナ面（Glass）にユーザが原稿を１枚毎にセットしたスキャン（Glassスキャン）の何れによって実行されたかを文書管理サーバ１０２に通知する。

文書管理サーバ１０２は、ＭＦＰ１０１においてGlassスキャンであることが通知された場合、ＭＦＰ１０１から受信された全てのスキャン画像を対象として前述した処理を実行する。すなわち、ユーザが原稿を１枚毎にセットしてスキャンを実行する場合には、印刷面についてのみ読み取りの対象とするためである。従って、文書管理サーバ１０２は、スキャン画像のＱＲコードが示す印刷設定情報が片面印刷を示す場合であっても、全てのスキャン画像について処理を実行する。

なお、前述した説明では、印刷文書に手書きされたコメントをもとに議事録を作成する場合を例にしているが、議事録以外の各種の文書ファイルを作成することが可能である。

また、前記実施形態では、印刷文書の各ページの印刷領域に対して手書き入力された文字列等と各ページの位置関係をもとにして、各ページと手書き文字等との対応関係を判別しているが、他の方法によって対応関係を判別するようにしても良い。例えば、複数のページを１枚の紙媒体に印刷（Ｎｉｎ１印刷）する際に、各ページに対応する手書き入力エリアを設ける。例えば、印刷対象とする本文を縮小印刷することで手書き入力用領域を確保し、この手書き入力用領域を各ページに対応するエリアに分割する。印刷時には、各ページに対応する手書き入力用領域の位置を示すデータを印刷設定情報とし、この情報を含むＱＲコードを文書と共に印刷する。手書き入力用領域に手書きされた印刷文書をスキャンして得られたスキャン画像に対しては、前述と同様にしてＱＲコードを検出し、ＱＲコードが示す各ページに対応するエリアと手書き入力された文字等（差分画像）との対応関係を判別する。以下、前述と同様にして、議事録等を作成することができる。

また、ＱＲコードを付与して文書を印刷する場合、ＱＲコードによって文書本文（元のデータ）が隠れてしまう可能性がある。これを回避するために、ＱＲコードを印刷するための領域を確保するために、印刷画像を作成する際に文書本文（ページ）を縮小して印刷するようにしても良い。この場合、スキャン画像から差分画像を抽出する際に、印刷時と同じ縮小率で文書本文を縮小した印刷画像を作成するものとする。

また、ＱＲコードを付与する印刷文書中における位置を、印刷文書の右下にするなど文書本文が存在しない可能性の高い位置にしても良い。さらに、前述した説明では、１つの印刷面に１つのＱＲコードを付加するとしているが、複数のＱＲコードを付加するようにしても良い。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

１０１…ＭＦＰ、１０２…文書管理サーバ、１０３…クライアントＰＣ。

Claims (10)

1. 印刷形態を示す印刷設定情報に応じて複数分のページを１枚の紙媒体に印刷させると共に、前記印刷設定情報を示すコードを前記紙媒体に印刷させる印刷制御手段と、
   前記紙媒体のスキャン画像を入力する画像入力手段と、
   前記スキャン画像から前記コードを抽出する抽出手段と、
   前記抽出手段により抽出されたコードが示す印刷設定情報をもとに複数分のページを含む印刷画像を生成し、前記印刷画像と前記スキャン画像との差分画像を抽出する差分画像抽出手段と、
   前記差分画像と前記印刷画像に含まれるページとの対応関係を判別し、さらに前記印刷設定情報をもとに前記ページの周辺の余白領域と前記差分画像との位置関係を判別する判別手段と、
   前記判別手段により判別された前記余白領域と前記差分画像との位置関係をもとに文字列の方向を設定して、前記差分画像について文字認識する文字認識手段と
   を具備したことを特徴とする画像処理装置。
2. 印刷形態を示す印刷設定情報に応じて複数分のページを１枚の紙媒体に印刷させると共に、前記印刷設定情報を示すコードを前記紙媒体に印刷させる印刷制御手段と、
   前記紙媒体のスキャン画像を入力する画像入力手段と、
   前記スキャン画像から前記コードを抽出する抽出手段と、
   前記抽出手段により抽出されたコードが示す印刷設定情報をもとに複数分のページを含む印刷画像を生成し、前記印刷画像と前記スキャン画像との差分画像を抽出する差分画像抽出手段と、
   前記差分画像と前記印刷画像に含まれるページとの対応関係を判別する判別手段と、
   前記印刷設定情報をもとに文字列の方向を設定して、前記差分画像について文字認識する文字認識手段と
   を具備したことを特徴とする画像処理装置。
3. 前記判別手段は、前記差分画像の前記スキャン画像中の位置と、前記印刷設定情報が示す前記複数のページの印刷位置とに基づいて、前記差分画像と前記ページとの対応関係を判別することを特徴とする請求項１または請求項２の何れかに記載の画像処理装置。
4. 前記判別手段は、前記差分画像に含まれる特定の形状パターンの位置と、前記印刷設定情報が示す前記複数のページの印刷位置とに基づいて、前記差分画像と前記ページとの対応関係を判別することを特徴とする請求項１または請求項２の何れかに記載の画像処理装置。
5. 前記判別手段は、前記印刷設定情報が示す前記複数のページの印刷領域と、前記複数のページの印刷領域に含まれる前記差分画像の面積とに基づいて、前記差分画像と前記ページとの対応関係を判別することを特徴とする請求項１または請求項２の何れかに記載の画像処理装置。
6. 前記印刷制御手段は、複数枚の紙媒体に印刷させる場合に、１枚の紙媒体に対して前記コードを印刷させ、
   前記差分画像抽出手段は、前記１枚の紙媒体から抽出された前記コードをもとに、前記複数枚の紙媒体のそれぞれについて、前記印刷画像と前記スキャン画像との差分画像を抽出することを特徴とする請求項１または請求項２の何れかに記載の画像処理装置。
7. 前記印刷制御手段は、複数枚の紙媒体に印刷させる場合に、前記複数枚の紙媒体に対して前記コードを印刷させ、
   前記差分画像抽出手段は、前記複数枚の紙媒体のそれぞれについて、前記紙媒体から個々に抽出された前記コードをもとに、前記印刷画像と前記スキャン画像との差分画像を抽出することを特徴とする請求項１または請求項２の何れかに記載の画像処理装置。
8. 前記文字認識手段により認識された文字の文字データを、前記判別手段により判別された対応関係に応じて、前記ページ毎に分類した文書を作成する文書作成手段をさらに具備したことを特徴とする請求項１または請求項２の何れかに記載の画像処理装置。
9. 前記文字認識手段により認識された文字の文字データを、前記判別手段により判別された対応関係に応じて、前記ページのそれぞれに付加した文書を作成する文書作成手段をさらに具備したことを特徴とする請求項１または請求項２の何れかに記載の画像処理装置。
10. 前記文書作成手段は、前記判別手段により判別された対応関係に応じて、前記差分画像を前記ページと対応付けた文書を作成することを特徴とする請求項８または請求項９の何れかに記載の画像処理装置。

Images