(A)第1の実施形態
以下では、本発明の画像処理装置及び画像処理システムの第1の実施形態を、図面を参照しながら詳細に説明する。
第1の実施形態では、例えば、複合機が備える画像処理装置に本発明を適用する場合を例示して説明する。
(A−1)第1の実施形態の構成
図1は、第1の実施形態の複合機の有する画像処理装置100の全体構成を示す構成図である。
図1において、画像処理装置100は、表示部104、操作部114、読取部103、画像データ蓄積部102、抽出領域決定部109、抽出部108、情報管理部107、合成部106、重複判定部101、再構成部105、ファックス送受信部111、通信部113、印刷部112、システム制御部110を有する。
ここで、画像データ蓄積部102、抽出領域決定部109、抽出部108、情報管理部107、合成部106、重複判定部101、再構成部105、システム制御部110は、画像処理装置100の機能を示すものである。これら画像処理装置100の機能は、例えば、CPUが、ROMに格納されている画像処理プログラムを実行することで実現される。
画像処理装置(複合機)100は、例えば、図2に例示する画像処理システム700を構成するものであり、ネットワーク600に接続可能なものであり、ネットワーク600を介して、ファイルサーバ300、携帯端末400、ファックス装置500等と通信することができるものである。
システム制御部110は、画像処理装置100の機能を司るものである。
表示部104は、例えばディスプレイが該当し、画像処理装置100の状態表示や、操作画面や、画像表示や、利用者の入力情報等を表示するものである。
操作部114は、利用者操作を受け付けるものであり、例えば、テンキー、操作ボタン、マウス等が該当する。操作部114は、印刷処理、ファックス処理、通信処理(例えば、ファイルサーバ300との通信処理、電子メール通信等)に関する情報の入力や、後述する差分抽出領域の指定や、画像データに重畳させる差分データの選択等の情報を取り込み、その入力情報をシステム制御部110に与えるものである。
なお、図1では、操作部114及び表示部104が別々の構成要素である場合を例示するが、例えばタッチパネル等のように操作部114及び表示部104が一体的な構成であり、これが操作部114の機能の一部又は全部を担ってもよい。
読取部103は、例えばスキャナー等のように、用紙等の媒体を画像として読み取り、画像データに変換するものである。読取部103は、加筆された媒体を画像データに変換する。また読取部103は、変換した画像データを、画像データ蓄積部102及び抽出部108に与えるものである。
画像データ蓄積部102は、画像データを記憶領域に蓄積するものである。画像データ蓄積部102は、加筆される前の元の画像データを蓄積したり、読取部103が読み取った加筆された後の媒体の画像データを一時的に蓄積したりするものである。
ここで、画像データ蓄積部102に蓄積される元の画像データとしては、印刷部112が印刷する画像データであり、例えば、読取部103が読み取った画像データ、ファックス送受信部111が送受信する画像データ、通信部113が受信した画像データ(例えば、ファイルサーバ300から受信したファイルデータに基づく画像データ等)とすることができる。
抽出領域決定部109は、操作部114を通じて、媒体の画像データにおいて利用者が指定した領域を、差分を抽出する領域(以下、差分抽出領域ともいう)として当該画像データに対応付け、この差分抽出領域を示す情報(以下、差分抽出領域情報ともいう)を情報管理部107に記憶する。
ここで、差分抽出領域の指定は、例えば、予め画像データ蓄積部102に蓄積されている画像データの画像イメージを表示部104に表示し、加筆前の画像イメージにおいて利用者が指定するようにしてもよいし、又例えば、加筆後に、読取部103が読み取った加筆後の媒体の画像イメージを表示部104に表示し、加筆後の媒体の画像イメージにおいて利用者が指定するようにしてもよい。勿論、加筆前と加筆後の双方で差分抽出領域の指定を行えるようにしてもよい。また、差分抽出領域は、1枚の媒体の画像データにおいて、1つの領域を指定しても良いし、2以上の領域を指定できるようにしてもよい。
抽出部108は、元の画像データと加筆後の媒体の画像データとに基づいて差分データを抽出するものである。また、抽出部108は、抽出した差分データを、元の画像データと対応付けて情報管理部107に記憶させる。
ここで、抽出部108による差分抽出は、情報管理部107を参照して、当該元の画像データについて差分抽出領域が指定されている場合には、その差分抽出領域を抽出対象とし、この差分抽出領域内に存在する差分データを抽出するようにしてもよいし、また、差分抽出領域が指定されていない場合には、加筆後の媒体の画像データと元の画像データとの全領域を抽出対象とし、全領域内に存在する差分データを抽出するようにしてもよい。
また、差分データとは、元の画像と加筆後の画像との比較により、加筆後の画像データにおける無地でない小さな画像の領域(小領域)をいう。つまり、差分データは加筆部分を含む小領域である。
さらに、差分データの生成方法は、特に限定されるものではなく、種々の方法を広く適用することができる。例えば、抽出部108は、元の画像と加筆後の画像との画素値の比較により、差分を検出すると、矩形領域でその差分部分を括る方法や、又例えばタッチペン等の電子ペンにより利用者が加筆部分を括る方法等を適用することができる。
情報管理部107は、抽出領域決定部109により決定された差分抽出領域情報、及び、抽出部108により抽出された差分データを、対応する元の画像データに対応付けて管理するものである。すなわち、情報管理部107は、元の画像データ及び各差分データを特定する識別情報(例えば、ファイル名、識別番号等)を付与し、差分データの識別情報を元の画像データの識別情報に対応させて管理する。
なお、情報管理部107による情報管理については後述する動作の項で詳細に説明するが、情報管理部107は、元の画像データや差分データの格納場所や、画像データに重畳する差分データとの対応付け情報や、更新した画像データの版情報等も管理する。
合成部106は、操作部114を通じて、指定された画像データに対して差分データを重畳させる画像処理の指示を受けた場合、画像データ蓄積部102に蓄積されている指定された画像データと、情報管理部107に保持されている指定された1又は複数の差分データとを合成するものである。
重複判定部101は、画像データ蓄積部102に蓄積された画像データに、複数の差分データを重畳させた場合に、複数の差分データ同士が重複するか否かを判定するものである。重複判定部101は、例えば、差分データである小領域が、重なり合うか否かを判定することで差分データの重複を判定することができる。
再構成部105は、重複判定部101により複数の差分データが重複すると判定された場合に、画像データ上に重畳する複数の差分データを再構成し、その再構成後の各差分データの情報を、情報管理部107に保持させるものである。
ここで、再構成部105による各差分データの再構成の仕方は、種々の方法を適用することができる。例えば、再構成部105は、各差分データの領域サイズを大きくしたり又は小さくしたりする変更や、画像データ上に各差分データを重畳させる位置の変更や、各差分データに含まれる加筆内容の色の変更等がある。
ファックス送受信部111は、ネットワーク600を介して、ファックス送信又はファックス受信を行うものである。
通信部113は、ネットワーク600を介して、ファイルサーバ300との間でファイル情報等のデータ通信を行なうものである。
印刷部112は、画像データに基づいて印刷処理を行うものである。例えば、印刷部112は、ファックス送受信部111が受信したファックス画像データや、読取部103が読み取った画像データや、通信部113が受信したファイルデータに基づく画像データに基づいて、用紙等の媒体に印刷するものである。
(A−2)第1の実施形態の動作
次に、第1の実施形態の画像処理装置100における画像処理の動作を、図面を参照しながら詳細に説明する。
以下では、画像処理装置100が、差分抽出領域の指定動作、差分データの抽出・蓄積動作、画像データに差分データを合成させる合成動作を、図面を用いて詳細に説明する。
(A−2−1)差分抽出領域の指定動作
図3は、画像処理装置100における差分抽出領域の指定処理の動作を示すフローチャートである。
差分抽出領域の指定処理は、加筆前の元の画像データに基づいて媒体を印刷するとき(事前指定)、又、加筆後の媒体を読み取った後(事後指定)においても行うことができる。ここでは、説明便宜上、事前指定の場合を例示して説明する。
まず、画像処理装置100において、操作部114が利用者による操作情報を取り込み、画像データ蓄積部102に蓄積されている画像データについて印刷指令がシステム制御部110に与えられる(S301)。
システム制御部110は、差分抽出領域の指定を行うか否かについて、利用者に選択させるようにする(S302)。このとき、表示部104は、差分抽出領域の指定を行うか否かの画面を表示する。
図4は、差分抽出領域の指定処理において表示部104が表示する画面例を説明する説明図であり、図4(A)は、差分抽出領域の指定を行うか否かの選択画面例である。図4(A)の画面301は、「追記した内容のスキャンのための領域を指定しますか?」という案内表示部3011と、差分抽出領域の指定した場合を説明する説明画面部3012とを有する。また、表示画面には、「はい」ボタン3013及び「いいえ」ボタン3014を有しており、差分抽出領域の指定を行うか否かについて利用者に選択させる。
そして、差分抽出領域の指定を行わないことが選択されると(S302)、差分抽出領域の指定処理は終了する。
一方、利用者により差分抽出領域の指定を行うことが選択されると(S302)、差分抽出領域を指定させる画面が表示部104に表示され、差分抽出領域の指定を受け付ける(S303)。
図4(B)は、差分抽出領域の指定画面例である。図4(B)の画面302は、「領域を指定してください」という案内表示部3021と、画像イメージを表示する表示部3022を有する。表示部3022の画面上には、操作部114と連動するポインタ3028が表示される。
また、画面3022は、印刷する媒体の画像イメージをサムネイル表示することができ、操作部114の操作により差分抽出領域を指定する画像イメージを選択させる。そして、差分抽出領域を指定する画像イメージが選択されると、図4(B)に例示する表示部3022のように、選択された画像イメージを拡大表示し、その表示された画像イメージ上で、差分抽出領域の指定を受け付ける。
図4(B)の画面302は、画像イメージのサイズを拡大する「拡大」ボタン3023、縮小する「縮小」ボタン3024を有しており、利用者の好みに応じて画像イメージのサイズを変更することができる。また、図4(B)の画面例は、「完了」ボタン3025、「キャンセル」ボタン3026、「設定保存」ボタン3027を有する。
ここで、利用者による差分抽出領域の指定の方法は、例えば、利用者が操作部114によりポインタ3028を移動させて、画像イメージ上で差分抽出領域とする矩形領域を指定する方法を適用することができる。すなわち、矩形領域の対向する角の頂点座標(例えば、矩形領域の左上角と右下角の座標)を指定することで、差分抽出領域を設定できる。
また、差分抽出領域の指定方法は、上記に限定されるものではなく種々の方法を適用することができる。例えば、操作部114及び表示部104がタッチパネル形式のものであれば、タッチペン等の電子ペン等により領域を指定するようにしてもよい。また、差分抽出領域は、閉じられた閉領域であればよく、矩形領域に限定されるものではない。
利用者による差分抽出領域の指定が終了し、「完了」ボタン3025、「設定保存」ボタン3027が選択されると、当該画像データ上で指定された差分抽出領域の位置情報(例えば、始点の「X座標、Y座標」、横及び縦のサイズ等)が抽出領域決定部109に与えられる。抽出領域決定部109は、差分抽出領域の位置情報を、当該画像データに対応付けて(S304)、差分抽出領域情報として情報管理部107に記憶させる(S305)。
(A−2−2)差分データの抽出・蓄積動作
次に、第1の実施形態の画像処理装置100の差分データの抽出・蓄積処理の動作を、図面を参照しながら詳細に説明する。
図5は、第1の実施形態の画像処理装置100における差分データ抽出・蓄積処理の動作を示すフローチャートである。図6は、差分データ抽出・蓄積処理において表示部104が表示する画面例を説明する説明図である。
まず、画像処理装置100において、操作部114を介して、利用者により読み取り指示があると(S101)、情報管理部107は、差分データが蓄積されているか否かを判定する(S102)。すなわち、画像データ蓄積部102に蓄積されている元の画像データのうち、過去に差分データが蓄積されたものがあるか否かの判定を行う。
そして、情報管理部107が差分データの蓄積がないと判定した場合、読取部103は通常の読み取り動作を行う(S104)。例えば、読み取った画像のコピー、Email通信、ファックス通信、画像データの蓄積などの通常の読み取り動作を行う。
一方、情報管理部107が差分データを蓄積していると判定した場合、加筆後の加筆内容を含む媒体が読取部103により読み取られ(S103)、その加筆内容を含む媒体の画像データが、一時的に、画像データ蓄積部102に蓄積される。
また、読取部103は、今回読み取った加筆後の媒体の画像データに対応する、元の画像データを画像データ蓄積部102から取得する(S105)。
ここで、元の画像データの読み出し方法は、種々の方法を適用することができる。例えば、読取部103は、画像データ蓄積部102に蓄積されている画像データの中から、加筆後の画像データに基づいて類似性を判定し、その判定結果により、1又は複数の候補を選択する。そして、図6(A)の画面401のように、1又は複数の候補の画像イメージを候補表示部4011に表示し、操作部114及び「実行」ボタン4011により選択させる方法を適用することができる。
なお、図6(A)の画面401に例示するように、「領域指定」ボタン4013を表示させ、加筆後の媒体を読み取った後、(A−1−2)で説明した差分抽出領域の指定処理を行うようにしてもよい。また、「キャンセル」ボタン4012の選択により、差分データの抽出・蓄積処理をキャンセルことができる。
また、元の画像データを読み出す別の方法としては、例えば、媒体を識別するQRコード(登録商標)等の二次元コード、バーコード等の一次元コード、文字列(例えば、数字、アルファベット、文字等)等の識別情報を媒体の特定箇所に付与しておき、読取部103が読み取った上記識別情報に基づいて、対応する元の画像データを読み出すようにしてもよい。また、別の方法としては、利用者が媒体のファイル名を入力し、そのファイル名に基づいて、対応する元の画像データを画像データ蓄積部102から読み出すようにしてもよい。
次に、抽出部108は、情報管理部107を参照して、元の画像データについて差分抽出領域が指定されているか否かを判定する(S106)。
当該元の画像データについて差分抽出領域が指定されている場合、システム制御部110は、当該元の画像データに対応する差分抽出領域情報を情報管理部107から取得し、差分抽出領域情報に基づいて画像データ上の差分抽出領域を表示部104に表示する。
例えば、図6(B)の画面402のように、画像表示部4021には元の画像データを表示し、差分抽出領域選択部4022には、当該元の画像データに指定されている1又は複数の差分抽出領域を表示する。差分抽出領域選択部4022には各差分抽出領域を選択させるチェックボックスが付与されており、利用者により差分抽出領域の選択を受け付ける(S108)。
差分抽出領域が選択されると、抽出部108は、加筆前の画像データ上の差分抽出領域と、加筆後の画像データ上の差分抽出領域とを比較して、当該差分抽出領域の差分データを抽出し(S109)、その抽出した差分データ及び差分データの構成情報を元の画像データに対応付けて情報管理部107に蓄積する(S110)。
ここで、抽出部108は、今回の加筆後の画像データと、対応する元の画像データと比較するようにしてもよいし、また、前回に加筆したことがある場合には、前回の加筆部分に相当する差分データを元の画像データに重畳させたものと、今回の加筆後の画像データとを比較するようにしてもよい。これにより、今回更新した部分に相当する差分データのみを抽出することができる。
一方、S106において、当該画像データについて差分抽出領域が指定されていない場合、抽出部108は、加筆前の画像データの全領域と、加筆後の画像データの全領域とを比較して、全領域を対象として差分データを抽出し(S107)、その抽出した差分データ及び差分データの構成情報を元の画像データに対応付けて情報管理部107に蓄積する(S110)。
ここで、抽出部108は、検出した差分部分を括る小領域を差分データとして抽出する。また、抽出部108は、少なくとも、差分データの小領域の位置情報を含む構成情報として情報管理部107に蓄積する。
図7は、差分データの抽出を説明する説明図である。図7に示すように、抽出部108は、差分抽出領域11において差分を検出すると、その検出した差分部分を取り囲むように小領域を差分データ12となるようにして差分データを抽出する。なお、図7では、矩形領域により差分データ12を生成する場合を示すが、円形領域、楕円領域、差分を括るように任意の非円形領域等であってもよい。
また、抽出部108による差分データの検出方法は、例えば、加筆前の画像データと加筆後の画像データの各画素値を比較し、一致していない場合には、差分であると判定する方法を適用することができる。また、画像データの画素値が2値でない場合には、画素値が閾値を超えている場合には、差分であると判定する方法を適用することができる。また、別の方法としては、差分を高精度で抽出するために、比較前に、加筆後の画像データの各画素を2値化して黒線部分を太字にしてから比較判定を行うようにしてもよい。
さらに、抽出部108が差分データを抽出した場合、例えば図6(C)の画面403のように、抽出部108が抽出した差分データを差分データ画面4031に表示し、利用者が「OK」ボタン4034で選択できるようにしてもよい。これにより、利用者が認識する加筆部分(すなわち差分データ)を確実に抽出することができる。なお、画面4031のように、「拡大」ボタン4032及び「縮小」ボタン4033のように、差分データの表示サイズを拡大、縮小するようにしてもよい。
次に、重複判定部101は、差分データ及び差分データの構成情報に基づいて、差分データ同士が重複するか否かを判定する(S111)。
また、重複判定部101は、今回の複数の差分データ間の重複判定を行うだけでなく、当該元の画像データに対応付けられている過去に蓄積された差分データと今回の差分データとの間の重複判定も行うようにしてもよい。
ここで、重複判定部101による重複判定の方法は、複数の差分データの構成情報に含まれる小領域の位置情報に基づいて、小領域が全部又は一部に重複が発生するか否かを判定する方法を適用することができる。
重複判定部101による判定結果に基づいて、過去と今回の差分データ間で重複がない場合、今回の複数の差分データ間で重複がない場合、動作を終了する。
一方、重複判定部101による判定結果に基づいて、複数の差分データ間に重複が生じる場合、表示部104は重複発生を通知する(S112)。
例えば、図6(D)の画面404のように、「過去の追記内容と重複が発生しまう」という警告通知部4041を設け、画面4042に複数の差分データの重複の様子を表示する。また、画面4043には、重複する一方の差分データ(図6(D)では過去に蓄積した差分データ)を表示し、当該差分データ付近に警告マークを表示している。
また、図6(D)の画面404には、「再構成する」ボタン4044と、「再構成せず保存」ボタン4045とを有しており、差分データを再構成するか否かの選択をさせる。
利用者により差分データの再構成せず、差分データを保存する旨が選択されると(S113)、動作は終了する。これは、例えば、差分データ同士が一部重複していても、加筆部分が十分に見える等の大きな問題がない等の理由から、選択され得る。
一方、利用者による差分データの再構成を行う旨が選択されると(S113)、再構成部105は、操作部114を介して利用者の操作情報に基づいて、重複する差分データの構成情報を再構成し(S114)、再構成後、動作を終了する。
例えば、図6(E)の画面405のように、画面4051には再構成する差分データを表示する。また、例えば、差分データの領域サイズを拡大する「拡大」ボタンや縮小する「縮小」ボタン、差分データの色を設定する「色設定」ボタン、差分データに枠線を設定する「枠設定」ボタンを有する構成設定ボタン4052を表示させ、利用者の選択により、差分データの構成を変更することができる。
また、例えば、利用者は、操作部114を用いて、ポインタで差分データを指定し、画像データ上の余白部分に差分データを移動させるようにしてもよい。このとき、再構成部105は、差分データの移動後、移動後の差分データの位置と元の位置にあった差分データの位置とを引き出し線で結び、どの位置に差分データがあったものかを示すようにしても良い。
さらに、例えば、媒体を読み取る際に、当該媒体と、加筆した者や加筆日時情報等の属性情報と、差分データとを対応付ける属性情報テーブルを備えるようにし、差分データの位置付近に上記属性情報を付与するようにしてもよい。
また、図6(E)の画面4053には、構成変更後の差分データの様子を表示し、利用者は重複の様子を確認することができ、「完了」ボタン4054の選択により、再構成を終了する。
なお、再構成部105は、重複する過去の差分データと今回の差分データのいずれ又は双方を再構成することができる。
図8は、画像データ蓄積部102に蓄積される画像データを管理するための画像データ管理テーブルの構成を示す構成図である。
図8において、画像データ管理テーブル601は、通し番号である「No.」、「画像データファイル名」、画像データを格納する「格納場所」、「更新情報管理ファイル名」、更新情報を格納する「格納場所」等を項目に有する。
例えば、図8において「No.1」は、「画像データファイル名:Image1.img」という画像データは、画像データ蓄積部102の「格納場所:/Box/A/Image/」に格納されていることを示し、当該「画像データファイル名:Image1.img」の更新情報は、「更新情報管理ファイル名:Version_image1.dat」という名前で、情報管理部107の「格納場所:/box/version/A/」に格納されていることを意味する。
図9は、情報管理部107が管理する更新情報の構成を示す構成図である。情報管理部107は、画像データファイル毎に更新情報を管理しており、図9は、「画像データファイル名:Image1.img」の更新情報を例示する。
図9において、更新情報701は、通し番号「No.」、「版識別情報」「差分データファイル名」、差分データを格納する「格納場所」、差分データの構成情報のファイル名を示す「構成情報管理ファイル名」、「再構成情報管理ファイル名」等を項目に有する。
「版識別情報」は、画像データの版を識別する版識別情報が格納される。「版識別情報」は、1つの媒体に少しずつ追記された場合のバージョンを識別するものである。例えば、複数の人が同じ用紙(媒体)に書き込みをした場合、各人が用紙(媒体)に加筆した差分データには、別の版識別情報を付与し、又異なる用紙(媒体)毎に異なる版識別情報となるようにする。
具体的には、ある人が「Image1.img」に相当する媒体に書き込みをしたときには、その人の画像データを「1a」とする。また別の人の画像データを「1b」とする。また例えば「1a-1」のうち「-1」は更新回数を示し、「-1」は1回目の読み込み、「-2」は2回目の読み込みを示す。
「差分データファイル名」には、当該版として元の画像データに重畳させる差分データのファイル名が格納される。
例えば、図9の「No.1」は、「画像データファイル名:Image1.img」の版識別情報が「1a-1」であり、この版には、元の画像データ上に、「差分データファイル名:1a-1.img」という名前の差分データが重畳されることを意味する。また、「差分データファイル名:1a-1.img」の差分データは、「格納場所:/Box/dif/A/image1/」に格納され、又当該差分データの構成情報は、「構成情報管理ファイル名:info_1a-1.dat」という名前であることを示す。また、再構成をしていないので、「再構成情報管理ファイル名」には「−」が付されている。
また、図9の「No.3」は、差分データの再構成を行った場合の更新情報である。この場合、再構成を行った後のファイル名を、「再構成情報管理ファイル名:Modifyinfo_1b-1.dat」とし、「No.4」に再構成後の版を識別する「版識別情報:1b-1-m1」を新たに設定し、「版識別情報:1b-1-m1」に、再構成後の差分データと、再構成後の構成情報の内容を示す「構成情報管理ファイル名:info_1b-1-m1.dat」とを対応付ける。
図10は、情報管理部107が管理する差分データの構成情報の構成を示す構成図である。すなわち、上記の構成情報管理ファイルの構成である。
図10に例示するように、差分データの構成情報801は、通し番号「No.」、「位置(X座標,Y座標)」、「サイズ(横,縦)」、「色(R,G,B)」等を項目に有する。
「位置(X座標,Y座標)」は、例えば差分データを矩形領域とする場合の始点の位置(例えば、矩形領域の左上角の座標位置)を示す。「サイズ(横,縦)」は、例えば差分データを矩形領域とする場合に、始点からの横方向の長さ及び縦方向の長さを示す。「位置」及び「サイズ」により、矩形領域の範囲を特定することができる。「色」は、例えば、RGBカラーモデルによる画素値が格納される。なお、色の設定を差分抽出時に行わなかった場合は「−」が記載され、特に設定が行われなかったことを表す。
また、1つの差分データの領域内に、さらに複数の無地でない小領域を構成する場合もある。この場合には、構成情報801に「No.2」、「No.3」、…の行を追加するようにしてもよい。なお、1つの差分データの領域内に、さらに複数の小領域を形成する方法は、例えば、利用者が、電子ペン等を用いて、差分データを細分化することで実現することができる。
(A−2−3)画像データに差分データを合成させる合成動作
次に、第1の実施形態の画像処理装置100における合成処理の動作を、図面を参照しながら詳細に説明する。
図11は、第1の実施形態の画像処理装置100における合成処理の動作を示すフローチャートである。図12は、合成処理における表示部104が表示する画面例を説明する説明図である。
まず、画像処理装置100において、操作部114を介して、利用者により画像データ蓄積部102に蓄積されている画像データの利用の指示を受ける(S201)、表示部104は、画像データ蓄積部102に蓄積されている画像データを表示する。
ここで、画像データの利用には、例えば、合成した画像データを用いて、印刷、電子メール、ファックス、ファイルサーバへの転送等の画像処理装置100が有する機能を実現することである。
図12(A)は、画像データの一覧を表示する画面例である。図12(A)の画面501において、一覧画面5011には、画像データ蓄積部102に蓄積されている画像データの画像イメージがサムネイル表示される。利用者は、操作部114を操作して、利用する画像データを選んで「次へ」ボタン5013を選択して処理を進める。
このとき、図12(A)の画面5012には、各画像データの「対象ファイル名」、「追記数」、「バージョンの種類」が表示される。
ここで、「対象ファイル名」は、当該画像データのファイル名である。この対象ファイル名は、情報管理部107で管理されるファイル名であってもよいし、利用者が付与したファイル名であってもよく、利用者が付与した場合、その付与したファイル名を情報管理部107が管理するファイル名に対応付けて管理することが必要である。「追記数」は、画像データに関する差分データの抽出数である。「バージョンの種類」は、画像データに関する版識別情報の数である。
次に、システム制御部110は、情報管理部107を参照して、選択された画像データに対応付けられた差分データを再利用するか否かを表示部104に表示し、再利用するか否かの指示を受け付ける(S202)。
ここで、差分データの再利用としては、図9に例示する更新情報701のように、既に各版識別情報で対応付けた各差分データを重畳させるものを利用する場合と、今回の利用の際に、新たに差分データを組み合わせる場合とのいずれも適用することができる。
そして、当該画像データに対応付けられた差分データがない場合、又は、利用者による差分データの再利用の指示がない場合(S202)、システム制御部110は、通常の蓄積された画像データを利用して指定された機能を実行して(S211)、動作を終了する。
一方、利用者が差分データを再利用する場合、画像データに対応付けられている差分データが場合、システム制御部110は、当該選択された画像データに対応付けられている差分データを情報管理部107から読み出し、差分データの一覧を表示部104に表示させ(S203)、利用者により画像データに重畳させる差分データが選択される(S204)。
図12(B)は、既に各版識別情報で対応付けた各差分データを重畳させるものを利用する場合の画面例である。また図12(C)は、今回の利用の際に、新たに差分データを組み合わせる場合の画面例である。
図12(B)に示すように、画面5021には、利用者が選択した元の画像データが表示され、画面5022には、元の画像データに差分データが重畳された各バージョンの画像データがサムネイル表示され、又各画像データのバージョン、更新回数、再構成数等が表示される。
この場合、利用者は、操作部114により、既に情報管理部107に蓄積されている差分データを再利用する場合には、再利用するバージョンをチェックボックスで選んで「次へ」ボタン5023を選択して処理を進める。また、バージョンを再利用しない場合には、チェックボックスで選択しないで、「次へ」ボタン5023を選択して処理を進める。
図12(C)に示すように、画面5032には、当該画像データについての差分データの一覧が表示され、利用する差分データをチェックボックスで選択する。このとき、利用者は、1つの差分データだけでなく、複数の差分データを選択ようにしてもよい。また、画面5031には、選択した差分データを基の画像データに重畳させた画面が表示される。
利用者により差分データが選択されると、重複判定部101は、選択された差分データの構成情報に基づいて、差分データ同士が重複するか否かを判定する(S205)。
1個の差分データのみが選択された場合、又は、選択された全ての差分データ同士が重複しない場合に(S205)、合成部106は、元の画像データに、選択された差分データを重畳させて画像合成を行う(S209)。
一方、複数の差分データが選択され、差分データが重複する場合(S205)、表示部104は重複発生を通知する(S206)。そして、上述したように、差分データの再構成を行うか否かを利用者により選択させ(S207)、差分データの再構成を行う場合に、再構成部105が利用者操作に応じて差分データの再構成を行い(S208)、合成部106は、元の画像データに再構成後の差分データを重畳させて画像合成を行う(S209)。また、再構成を行わない場合(S207)、再構成をしないままで、合成部106は、元の画像データに差分データを重畳して画像合成を行う(S209)。
次に、表示部104は、更に別の差分データを重畳させるか否かの確認表示を表示し、利用者が更に別の差分データを重畳させることを選択した場合、処理はS203に移行し、処理を繰り返す(S210)。
一方、利用者が更に別の差分データを重畳しないことを選択した場合、システム制御部110は、その合成画像を利用して指定された機能を実行し(S211)、動作を終了する。
なお、上述した第1の実施形態では、画像処理装置100の画像データ蓄積部102に画像データを蓄積し、又、差分データを情報管理部107に蓄積する場合を例示した。しかし、画像データ及び差分データは、ネットワーク600上のファイルサーバ300等の外部サーバに蓄積するようにしてもよい。この場合、システム制御部110が、通信部113を介して、必要な画像データ及び差分データを取得することで、第1の実施形態と同様の動作で実現することができる。
また、第1の実施形態において、利用者は、画像処理装置100の操作部114及び表示部104を用いて操作等を行う場合を例示した。しかし、携帯端末400を操作手段及び表示手段として利用者が操作等を行うようにしてもよい。
(A−3)第1の実施形態の効果
以上のように、第1の実施形態によれば、画像形成装置において、予め蓄積しておいた画像データを印刷した後で、加筆を加えた媒体を読み込み、その媒体の画像データから差分を抽出し、差分データとして蓄積しておき、必要に応じて画像データに差分データを重畳させて加筆後の画像データを利用することができる。
また、第1の実施形態によれば、差分データのみ蓄積しておくことにより、画像処理装置において必要とされる不揮発な記憶領域の容量を圧迫することはなく、複数の差分データを組み合わせて加筆前の画像データに重畳させることが可能である。そのため、例えば会議にて同一の印刷物に会議の参加者がめいめいで加筆した加筆内容を組み合わせて出力させるといったことが可能となる。
さらに、第1の実施形態によれば、複数の差分データを組み合わせて加筆前の画像データに重畳させる際に差分データ間に重複が発生するかを判定させ、差分データのサイズ変更や差分データの部分領域の移動等といった差分データの再構成の手段により、重複して見づらい、若しくは意味を読み取れなくなってしまうといった従来の問題が解決され、利便性が向上される。
(B)第2の実施形態
次に、本発明の画像処理装置及び画像処理システムの第2の実施形態を、図面を参照しながら詳細に説明する。
第2の実施形態も、第1の実施形態と同様に、例えば、複合機が備える画像処理装置に本発明を適用する場合を例示して説明する。
(B−1)第2の実施形態の構成
図13は、第2の実施形態の複合機が有する画像処理装置の全体構成を示す構成図である。
図13において、第2の実施形態の画像処理装置200は、表示部104、操作部114、読取部103、画像データ蓄積部102、抽出領域決定部109、抽出部108、情報管理部107、合成部106、重複判定部101、再構成部105、ファックス送受信部111、通信部113、印刷部112、システム制御部110、再構成方法判定部201、構成方法設定部202を有する。
ここで、画像データ蓄積部102、抽出領域決定部109、抽出部108、情報管理部107、合成部106、重複判定部101、再構成部105、システム制御部110、再構成方法判定部201、構成方法設定部202は、画像処理装置200の機能を示すものである。これら画像処理装置200の機能は、例えば、CPUが、ROMに格納されている画像処理プログラムを実行することで実現される。
第2の実施形態の画像処理装置200は、第1の実施形態の画像処理装置100の構成に、再構成方法判定部201、構成方法設定部202を更に備える点である。
そこで、図13では、第1の実施形態で説明した構成要素に図1と同様の符号を付しており、又、以下では、第1の実施形態で既に説明した構成要素の説明については省略し、第2の実施形態の特徴的な構成要素について詳細に説明する。
構成方法設定部202は、抽出した差分データを情報管理部107に蓄積する際に、差分データの構成情報を再構成する方法のうち、利用者の指示に基づいて許可する方法を情報管理部107に設定するものである。これにより、差分データ毎に構成情報を再構成する方法を制限することができる。
図14は、第2の実施形態の情報管理部107が管理する差分データの構成情報の構成を示す構成図である。図15は、差分データの構成情報を再構成する方法を設定する設定情報の構成を示す構成図である。
第1の実施形態と同様に、情報管理部107は、図9の差分データの構成情報と、各差分データの構成情報として図14に例示する差分データの構成情報901と、図15に例示する設定情報とを管理する。
図14に例示する構成情報901は、通し番号の「No.」、「位置(X座標,Y座標)」、「サイズ(横,縦)」、「色(R,G,B)」に加えて、再構成方法の設定情報を示す「再構成方法設定ファイル名」を項目として有する。図14の例では、「再構成方法設定ファイル名:ModifyMethod1.dat」が、図15に例示する設定情報1001である。
構成方法設定部202は、利用者の指示に基づいて、構成情報を再構成する方法のうち、許可する方法と許可しない方法の設定を行う。例えば、図15の例では、「位置変更」については「不許可」を設定し、「サイズ変更」及び「色変更」については「許可」を設定した場合である。
これは、差分データの位置の移動等を行うことで、加筆部分の重複を回避することができるが、そのために、重要な加筆部分が移動したり、サイズが小さくなってしまったりして、その加筆部分の重要性が不明確なものとなる場合がある。このような場合に、差分データ毎に、再構成できる方法を制限することで、上記のような問題を回避することができる。
再構成方法判定部201は、差分データの構成情報を再構成する際に、再構成を行う差分データに設定情報が設定されているか否かを判定するものである。
(B−2)第2の実施形態の動作
次に、第2の実施形態の画像処理装置200における再構成処理の動作について、図面を参照しながら詳細に説明する。
以下では、差分データの抽出・蓄積動作、及び、合成動作における再構成処理の動作を説明する。
図16は、差分データの抽出・蓄積処理の動作を示すフローチャートである。図16では、第1の実施形態の図5と同じ処理には図5と同じ番号を付している。
S101〜S109の動作は、第1の実施形態と同様である。S107又はS109において、抽出部108が、読み取った媒体の画像データから差分データを抽出すると、表示部104は、抽出した差分データを表示すると共に、差分データの蓄積の際に、差分データの再構成の方法のうち、許可又は不許可とする方法の設定を行うか否かを選択させる(S401)。
利用者が再構成の方法の許可又は不許可の設定をしない場合、処理はS110に移行し、第1の実施形態と同様の処理を行う(S110〜S114)。
一方、利用者が再構成の方法の許可又は不許可の設定を行う場合、利用者は操作部114により、再構成の方法のうち、許可するもの又は不許可とするものを入力し、構成方法設定部202は、利用者の指示情報に基づいて、図15に例示するような設定情報を設定する(S402)。
ここで、設定情報の設定方法としては、例えば、差分データのサイズ変更(縮小、拡大)、画像データ上に重ね合わせる差分データの位置の変更(移動)、差分データの色設定の変更、差分データの部分領域の選択(例えば、電子ペン等により括った閉領域を設定することを指し、閉領域内の差分データに対してサイズ変更、位置の変更、色設定の変更を行うことを目的とする操作)について、許可もしくは不許可を選択する方法を適用することができる。
そして、利用者が操作部114での設定の操作を完了すると、構成方法設定部202は、差分データの再構成のためのそれぞれの方法の許可、不許可の設定について、差分データと対応付けて蓄積する(S403)。その後、処理はS110に移行し、第1の実施形態と同様の処理を行う(S110〜S114)。
図17は、第2の実施形態の画像処理装置200における合成処理の動作を示すフローチャートである。図17では、第1の実施形態の図11と同じ処理には図11と同じ番号を付している。
S201〜S207の動作は、第1の実施形態と同様である。S207において、画像データ上の差分データ同士が重複する場合に、利用者が差分データを再構成するとき、再構成方法判定部201は、重複する各差分データに対応付けられた設定情報が情報管理部107にあるか否かを判定し、情報管理部107から取得する(S501)。
このとき、重複する全ての差分データの設定情報が取得できない場合(S502)、すなわち、全ての差分データについて設定情報が設定されていない場合、処理はS208に移行し、第1の実施形態と同様の処理を行う(S208〜S211)。
一方、全ての差分データのうちいずれの設定情報を取得した場合(S502)、再構成方法判定部201は、設定情報を取得した差分データについて、当該設定情報で許可されている方法のみを実行できるように再構成部105に通知する。
例えば、再構成部105は、許可されない方法が指示された場合に、エラーメッセージを表示部104に表示させるようにしてもよいし、また例えば、再構成部105は、許可されていない方法を選択できないようにし、利用者に意識させずに実行させないようにしてもよい。
なお、差分データを更に選択し、その重複が発生した場合には、処理がS205に移行し、その後の動作を繰り返し行うようにしてもよい。
その後、処理はS208に移行し、第1の実施形態と同様の処理を行う(S208〜S211)。
(B−3)第2の実施形態の効果
以上のように、第2の実施形態によれば、差分データの再構成の際に差分データを抽出した際に許可されなかった操作を行わずに差分データの再構成を行うことができる。差分として抽出されるデータは、画像データ上の所定の位置に配置されることで意味を読み取れるものや、設定されている色に意味合いが設定されることが考えられる。差分データを再利用する利用者は、再利用しようとする全ての差分データについて再構成を行う際に行ってはならない操作が何かということを注意する手間が省け、利便性が向上する。
(C)他の実施形態
本実施例では画像処理装置100、200の一形態として複合機を例に挙げて説明したが、本発明は複合機に限らずファクシミリ、複写装置等の画像処理装置にも適用可能である。
また、画像処理装置100、200においては複合機の内部に画像データ、差分データ、差分データの管理情報を蓄積していたが、ネットワーク上のファイルサーバを一例として外部に蓄積することも可能である。