〔実施の形態1〕
本発明の実施の一形態について説明すれば、以下の通りである。
本実施の形態にかかる画像判断装置は、ベクトル形式で表されたベクトル画像を取得する第一取得手段と、比較対象であるベクトル形式で表された比較ベクトル画像を取得する第二取得手段と、上記ベクトル画像を構成している要素が比較ベクトル画像を構成している要素に含まれているか否かを比較し、当該比較結果に基づいてベクトル画像と比較ベクトル画像との類似度を求める比較手段とを備えている構成である。
まず、ベクトル画像とラスター画像とについて説明する。上記ベクトル画像とは、ベクター画像とも呼ばれ、スケーラブル(拡大縮小可能)な画像である。具体的には、上記ベクトル画像とは、画像を、点の座標とそれを結ぶ線や面の方程式のパラメータ、および、塗りつぶしや特殊効果等の描画情報の集合として表現したものである。このベクトル画像は、どのように拡大してもなめらかな線を表示することができ(画像を拡大および縮小しても見え方が同じになる)、また、データ量もそれほど大きくならないという特性を有する。上記ベクトル画像としては、SVG(Scalable Vector Graphics)規格や、SVG−T規格等の画像が挙げられる。また、例えば、JPEG形式や、GIF形式等の画像の場合には、画像を拡大するとドットが荒くなり見づらくなるが、ベクトル画像は、表示する大きさを変更した場合であっても見づらくなることがない。
図2は、ベクトル画像を説明する図面である。図中の上部に示す画像の場合、図中の下部に示すような形式でベクトル画像は表現される。つまり、ベクトル画像は、例えば、ビットマップ形式のような、各画素に関する情報を有しているのではなく、例えば、直線、円、矩形および曲線等を示す数式の集合体(要素)として記述される。つまり、図中の長方形、文字列、楕円、閉じた直線の連続、および汎用パスがそれぞれ要素に相当する。つまり、複数の要素が集まってベクトル画像を構成している。また、ベクトル画像では、文字は文字領域として、写真等の画像は網点・写真領域として、それぞれ画像領域が記録され、それぞれの画像領域に各画像情報が記録されている。
一方、ラスター画像とは、ビットマップ画像であり、例えば、画像を色のついた点(ドット)の羅列として表現した画像である。上記ラスター画像としては、例えば、PNG、JPEG/JPEG2000、GIF、BMP、TIFF、PICT等の形式の画像等が挙げられる。
そして、本実施の形態にかかる画像形成装置は、上記画像判断装置によって判断された類似度に基づいて、上記ベクトル画像と比較ベクトル画像とのいずれかを画像形成するかを決定し、決定された画像を画像形成する構成である。以下の説明では、上記画像判断装置を備えた画像形成装置について説明する。
図1は、本実施の形態にかかる画像形成装置1の概略の構成を示すブロック図である。上記画像形成装置1は、図1に示すように、画像判断装置2、通信部3、画像読取部(画像読取手段)4、印刷画像取得部(決定手段)5、画像形成部(画像形成手段)6、記憶部7、表示部8および操作部(決定手段)9を備えている。
上記通信部3は、上記画像形成装置1とネットワークを介して接続されている各種装置に対して種々の情報を送受信するものである。そして、上記通信部3は、外部(各種装置)から画像(ラスター画像またはベクトル画像)を受信するものである。
上記画像読取部4は、原稿載置台(図示せず)に載置された原稿を、例えば、撮像素子等を用いて光学的に読取り、読取画像を得るものである。上記画像読取部4としては、例えば、スキャナ等が挙げられる。
上記記憶部7は、画像判断装置2において、上記通信部3または画像読取部4から取得した画像(ラスター画像またはベクトル画像)と比較するための比較ベクトル画像を少なくとも記憶するものである。また、上記記憶部7は、必要に応じて比較SVG画像変換部80を備えていてもよい。上記比較SVG画像変換部80は、記憶部7にラスター形式のラスター画像が記憶されている場合に、当該ラスター画像からベクトル形式の画像、すなわち、比較ベクトル画像に変換するものである。つまり、上記記憶部7には、画像がベクトル形式の状態で記憶されていてもよく、また、ラスター形式の状態で記憶されていてもよい。そして、ラスター形式の状態で画像が記憶されている場合には、上記比較SVG画像変換部80にて記憶されている画像がベクトル形式の比較ベクトル画像に変換される。従って、本実施の形態では、記憶部7から比較ベクトル画像が読み出される。
上記画像判断装置2は、画像読取部4によって読取られた読取画像または通信部3を介して受信した画像と、記憶部7から読み出される比較ベクトル画像との類似度を求めるものである。具体的には、上記画像判断装置2は、画像読取部4によって読取られた読取画像または通信部3を介して受信した画像をベクトル画像に変換したものと、記憶部7から読み出した比較ベクトル画像とを、上記ベクトル画像を構成している要素が比較ベクトル画像を構成している要素に含まれているか否かを比較し、当該比較結果に基づいてベクトル画像と比較ベクトル画像との類似度を求めるものである。また、上記画像判断装置2は、求めた類似度に基づいて、上記読取画像または画像と同じであると推定される比較ベクトル画像の候補(1つでも複数でもよい)を決定するものである。なお、以下の説明では、通信部3を介して受信した画像と画像読取部4によって読取られた読取画像とを併せて特定画像として説明する。つまり、上記画像判断装置2は、特定画像のベクトル画像と比較ベクトル画像との類似度を求めるものである。なお、上記画像判断装置2の詳細な構成については後述する。
上記画像形成部6は、上記特定画像および比較ベクトル画像を画像形成するものである。また、上記画像形成部6は、補正部(図示せず)を備えている。上記補正部は、画像形成するべき画像(比較ベクトル画像、特定画像)に対して、画像形成部6の特性に応じて補正を施すものである。つまり、上記画像形成部6では、特定画像および比較ベクトル画像に対して階調補正等の補正が行われた画像が出力される。なお、画像形成部6に送信される特定画像および比較ベクトル画像が、例えば、既に、画像形成部6の特性に応じた補正が施されている場合には、上記補正部における補正は行われず、そのまま画像形成されることとなる。
上記印刷画像取得部5は、画像判断装置2によって求められた特定画像と比較ベクトル画像との類似度に基づいて、画像形成すべき画像を取得するものである。具体的には、上記印刷画像取得部5は、画像判断装置2による比較ベクトル画像と特定画像との類似度の判断の結果、または、操作部9から入力された画像形成命令に基づいて、画像形成部6にて画像形成すべき印刷画像を取得するものである。
上記表示部8は、種々の情報を表示するものである。例えば、上記表示部8は、画像判断装置2によって特定画像との類似度が高いと判断された比較ベクトル画像を表示する。
上記操作部9は、各種の操作に関する入力を行うものである。換言すると、上記操作部9は、操作者によって入力された種々の命令を受け付けるものである。
ここで、図1を参照して、上記画像判断装置2の詳細な構成について説明する。上記画像判断装置2は、ベクトル画像取得部(第一取得手段、ベクトル画像生成手段)20、比較画像取得部(第二取得手段)40および決定部(比較手段)30を備えている。
上記ベクトル画像取得部20は、通信部3および/または画像読取部4を介して取得した特定画像をベクトル形式のベクトル画像に変換するものであり。換言すれば、上記ベクトル画像取得部20は、ベクトル画像を得るものである。
そして、上記ベクトル画像取得部20は、特定画像取得部10と画像認識部21とチェック用データ作成部81とを備えている。このベクトル画像取得部20の詳細な構成については後述する。
上記決定部30は、ベクトル画像取得部20によって生成されたベクトル画像と比較画像取得部40によって取得された比較ベクトル画像とを比較して、類似度(類似の度合い)を判定するものである。より具体的には、上記決定部30は、上記ベクトル画像と、上記比較画像取得部40が記憶部7から取得した複数の比較ベクトル画像のそれぞれとを当該ベクトル画像および比較ベクトル画像を構成している要素単位で比較して、それぞれの差異(類似度)を求める。そして、上記決定部30は、上記差異(類似度)に基づいて、上記ベクトル画像に類似している比較ベクトル画像を決定するものである。
そして、上記決定部30は、比較部32、特徴点生成部(特徴点生成手段)31、および変倍処理部(変倍処理手段)39を備えている。上記比較部32は、除去画像と比較ベクトル画像とを比較して、その差異を求めるものである。なお、上記決定部30の詳細な構成については後述する。
このように、画像判断装置2では、上記ベクトル画像を構成している要素が比較ベクトル画像を構成している要素に含まれているか否かを比較し、当該比較結果に基づいて、上記ベクトル画像と類似度が高いと判断される比較ベクトル画像を決定している。
図3は、画像判断装置2の構成を説明するブロック図である。ここで、ベクトル画像取得部20および決定部30の詳細について説明する。
上記ベクトル画像取得部20は、図3に示すように、画像認識部21、特定画像取得部10およびチェック用データ作成部81(ベクトル画像生成手段、チェック用ベクトル画像生成手段)を備えている。
上記特定画像取得部10は、通信部3を介して受信した画像または画像読取部4によって読取られた読取画像を特定画像として取得するものである。換言すると、上記特定画像取得部10は、操作者が画像形成を望んでいる画像(特定画像)を取得するものである。この特定画像取得部10は、特定画像を取得するものであり、上記特定画像は、ラスター形式の画像およびベクトル形式の画像の両方の場合を含む。
比較画像取得部40は、上記記憶部7から、上記特定画像の比較対象である比較ベクトル画像を取得するものである。
上記画像認識部21は、特定画像を種々の領域に分離するものである。具体的には、画像認識部21は、特定画像の濃度ヒストグラムおよびブロックヒストグラム等を算出して、画像領域に分離している。そして、上記画像認識部21は、特定画像を、例えば、文字領域、背景領域および網点・写真領域に分離する。
上記チェック用データ作成部81は、上記特定画像取得部10によって取得された特定画像(ラスター画像およびベクトル画像を含む)から、後述する決定部30にて、比較ベクトル画像と比較するためのチェック用ベクトル画像を生成するものである。
上記チェック用ベクトル画像は、比較ベクトル画像と比較するために、要素単位が小さいベクトル画像である。
具体的には、例えば、特定画像取得部10が取得したベクトル画像が、4角形を表す方程式で表された形式の場合、チェック用データ作成部81は、例えば、4本の直線で表された形式のチェック用ベクトル画像を生成する。つまり、上記チェック用データ作成部81は、上記ベクトル画像と比べて、より単純化された要素からなるチェック用ベクトル画像を生成する。
次に、上記決定部30について説明する。
上記決定部30は、比較部32と特徴点生成部31と変倍処理部39を備えている。上記特徴点生成部31は、ベクトル画像および/または比較ベクトル画像である特定ベクトル画像の特徴点を生成するものである。つまり、上記特徴点生成部31はベクトル画像取得部20が取得したベクトル画像、および、比較画像取得部40が取得した比較ベクトル画像の特徴点を抽出している。上記特徴点とは、上記特定画像の特徴を示す情報であり、上記特定ベクトル画像を特定することができる情報である。上記特徴点としては、具体的には、例えば、特定ベクトル画像の特定の場所に記載されている可能性が高い情報や罫線情報、各画像領域(文字領域、背景領域、網点・写真領域等)の配置情報等が挙げられる。また、特定ベクトル画像の特定場所に記載されている可能性が高い情報とは、例えば、特定ベクトル画像の上方に付されている社名やロゴ、特定ベクトル画像の下方に付されている頁情報等が挙げられる。
また、上記特徴点生成部31は、文字認識部33および罫線認識部(文字認識手段)34を備えている。上記文字認識部33は、特定ベクトル画像(ベクトル画像(チェック用ベクトル画像)および比較ベクトル画像)の文字領域に記載されている文字を認識するものである。つまり、上記文字認識部33は、OCR機能を有しており、画像に記された文字コード(文字)を認識することができる。これにより、上記特徴点生成部31は、特定ベクトル画像に記載されている文字を認識することができ、上記特定ベクトル画像に記載された特定の文字情報を特徴点とすることができる。なお、上記文字認識部33は、外部の辞書情報記録部60に記録されている辞書情報に基づいて認識した文字情報の認識の精度を上げている。また、辞書情報記録部60は、例えば、ICカード判断部71を備えたユーザID入力部70からユーザ情報の入力を記録し、当該ユーザ情報を辞書情報として記録している。また、上記ICカード判断部71では、例えば、非接触に他からの情報を受け付けることができる。この上記辞書情報記録部60およびユーザIDは、画像形成装置1に備えられていても良く、また、別体で設けられていても良い。
上記罫線認識部34は、上記特定ベクトル画像に形成されている罫線(線)を認識するものである。特に、表が特定画像中の大部分を占める場合には、上記罫線(線)が当該特定ベクトル画像の特徴を示す特徴点となる。
上記変倍処理部39は、ベクトル画像と比較ベクトル画像と比較する前に、両者の大きさを同じにするために変倍処理を行うものである。具体的には、上記変倍処理部39は、ベクトル画像と比較ベクトル画像との大きさを把握し、両者の大きさが同じになるように、少なくとも一方を変倍処理するものである。なお、具体的な変倍処理方法については後述する。
上記比較部32は、上記変倍処理部39にて、変倍処理が施され同じ大きさになっているチェック用ベクトル画像と比較ベクトル画像とを比較して、両者の類似度を求めるものである。そして、本実施の形態では、上記比較部32は、上記チェック用ベクトル画像を構成する要素と、比較ベクトル画像を構成する要素との対応関係を比較(チェック用ベクトル画像の要素が比較ベクトル画像の要素に含まれているか否かを比較)した後、さらに、上記特徴点生成部31によって生成されたチェック用ベクトル画像の特徴点と比較ベクトル画像の特徴点とを比較することで類似度を求めている。ここで、比較部32の詳細な構成を説明する。
上記比較部32は、様式比較部35と文字比較部36とを備えている。様式比較部35は、ベクトル画像を構成している要素同士を比較するものである。具体的には、様式比較部35は、チェック用ベクトル画像と比較ベクトル画像とにそれぞれ形成されている線(罫線)同士や、文字領域の位置同士を比較する。つまり、様式比較部35は、チェック用ベクトル画像を構成している要素と比較ベクトル画像を構成している要素とを比較する。より具体的には、様式比較部35は、チェック用ベクトル画像を構成している要素(要素データ)が、比較ベクトル画像を構成している要素データに、どの程度の割合で含まれているか否かを各要素データごとに比較する。すなわち、上記様式比較部35は、チェック用ベクトル画像を構成している1つの要素データを含む要素データが比較ベクトル画像を構成している要素データ中にあるか否かを判断し、チェック用ベクトル画像を構成している要素データの数だけ繰り返す。そして、比較部32は、その結果、つまり、チェック用ベクトル画像を構成している要素データがどれだけ比較ベクトル画像を構成している要素データに含まれているのかを示す値を類似度とする。なお、以下の説明では、チェック用ベクトル画像を構成している要素データが、比較ベクトル画像を構成している要素データに1つでも含まれていないと判断すると比較部32は、両者は類似していないと判断する例について説明しているが特に限定されるものではなく、含まれていない場合であっても、類似度を求めることはできる。
上記文字比較部36は、特徴点生成部31によって生成された比較ベクトル画像とチェック用ベクトル画像の特徴点同士を比較する。具体的には、上記文字比較部36は、特徴点生成部31によって抽出された例えば、社名や作成者、頁数等の文字情報同士を比較する。
そして、上記比較部32は、これら文字比較部36と様式比較部35との比較結果に基づいて、チェック用ベクトル画像と比較ベクトル画像との類似度を算出する。なお、具体的な類似度の算出方法については後述する。
そして、上記決定部30は、比較部32によって算出された類似度に基づいて、上記チェック用ベクトル画像の生成元である通信部3または画像読取部4を介して取得した画像と類似する比較ベクトル画像を決定する。具体的には、上記比較部32によってチェック用ベクトル画像と記憶部7から取得した複数の比較ベクトル画像のそれぞれとが比較された後、上記決定部30は、算出された複数の類似度のうち、所定値よりも高い類似度を有する比較ベクトル画像を、上記チェック用ベクトル画像と類似する画像であると決定する。すなわち、上記算出された類似度が全て所定値以下である場合には、上記決定部30は、上記チェック用ベクトル画像と類似する画像はないと判断する。また、上記決定部30は、上記所定値以上である類似度を有する比較ベクトル画像のうち、最も高い類似度である比較ベクトル画像を上記チェック用ベクトル画像と類似する画像であると決定してもよい。
また、例えば、上記決定部30によって上記チェック用ベクトル画像との類似度が所定値以上である比較ベクトル画像を決定した後、その中から操作者が操作部9を操作することにより、チェック用ベクトル画像と類似する画像を決定するようにしてもよい。
このようにして、画像判断装置2では、上記通信部3および/または画像読取部4を介して取得した画像と対応する(つまり、類似度が高い)比較ベクトル画像を決定する。
ここで、図1を参照して、上記画像形成装置1における各ブロック間でやり取りされる情報について説明する。
まず、上記画像読取部4にて画像形成すべき原稿が読取られ読取画像が生成される、または、通信部3にて外部から送信されてきた画像形成すべき画像が受信される。次に、上記ベクトル画像取得部20の特定画像取得部10は上記読取画像(画像)を取得する。
そして、特定画像取得部10にて取得された特定画像は画像認識部21にて、上記取得した画像を領域分離され、チェック用データ作成部81に送られる。その後、チェック用データ作成部81では、上記画像認識部21にて領域分離した結果(領域分離結果)に基づいてチェック用ベクトル画像を作成する。
そして、ベクトル画像取得部20は、チェック用データ作成部81にて作成したチェック用ベクトル画像と画像認識部21にて得られた領域分離結果とを決定部30に送信する。
一方、比較画像取得部40は、記憶部7から上記チェック用ベクトル画像と比較するべき比較ベクトル画像を取得する。そして、比較画像取得部40は、取得した比較ベクトル画像を決定部30に送信する。
決定部30では、変倍処理部39を動作させて、取得したチェック用ベクトル画像と比較ベクトル画像との大きさが互いに同じになるように上記上記チェック用ベクトル画像と比較ベクトル画像との少なくとも一方の変倍処理を行う。なお、両者の大きさが同じ場合には、変倍処理部39における変倍処理は行われない。
次に、上記決定部30は、特徴点生成部31を動作させて、チェック用ベクトル画像と比較ベクトル画像とのそれぞれの特徴点を抽出する。
そして、上記決定部30は、比較部32を動作させて、上記ベクトル画像を構成している要素が比較ベクトル画像を構成している要素に含まれているか否かを比較するとともに、上記両者の特徴点同士を比較して、上記両者の類似度を求める。そして、上記決定部30は、上記類似度の算出を、記憶部7に記憶されている画像の数だけ行い、それぞれのチェック用ベクトル画像との類似度を求める。次に、上記決定部30は、算出された類似度のうち、所定値よりも高い類似度である比較ベクトル画像を決定する。
そして、上記決定部30は、上記所定値よりも類似度が高い比較ベクトル画像の結果を印刷画像取得部5に送信する。
そして、印刷画像取得部5では、表示部8を動作させて、上記結果に基づく比較ベクトル画像を表示する。つまり、印刷画像取得部5は、表示部8に、上記所定値よりも高い類似度の比較ベクトル画像を表示する。そして、操作者は、操作部9を用いて、この表示部8に表示された結果に基づいて上記チェック用ベクトル画像を生成した元の画像、つまり、画像読取部4にて読取られた読取画像または通信部3を介して取得した画像を画像形成するか、決定部30にて類似度が高いと判断された比較ベクトル画像を画像形成するかを選択する。そして、操作者による選択命令は、操作部9を介して印刷画像取得部5に与えられる。
上記印刷画像取得部5は、上記選択命令に基づいて、上記特定画像を画像形成する旨を受信した場合には、特定画像取得部10を動作させて上記画像を取得する。一方、印刷画像取得部5は、上記比較ベクトル画像を画像形成する旨を受信した場合には、上記比較画像取得部40を動作させて比較ベクトル画像を取得する。そして、上記印刷画像取得部5は、取得した画像または比較ベクトル画像を画像形成部6に送信し、画像形成部6に画像形成動作を行わせる。
なお、上記の説明では、上記決定部30が所定値よりも高い類似度である比較ベクトル画像を決定し、最終的にどの比較ベクトル画像または上記画像を画像形成すべきかを操作者が選択する例について説明している。しかしながら、例えば、画像判断装置2が、画像形成すべき画像(画像、比較ベクトル画像)を決定するようにしてもよい。この場合には、上記決定部30は、類似度が最も高い比較ベクトル画像を決定した後、この類似度が画像形成すべき所定値よりも高い場合には比較ベクトル画像を画像形成することを決定し、上記類似度が上記所定値よりも低い場合には上記特定画像を画像形成することを決定すればよい。そして、上記決定部30は、上記決定に基づいて、画像形成すべき画像(画像、比較ベクトル画像)に関する情報を印刷画像取得部5に送信すればよい。これにより、操作者は、単に原稿を画像読取部4に読取らせるだけで、所望の画像を画像形成することができる。
ここで、チェック用ベクトル画像と比較ベクトル画像との類似度を判定する方法について説明する。本実施の形態にかかる画像判断方法は、チェック用ベクトル画像と比較ベクトル画像との大きさを互いに同じにした後、上記ベクトル画像を構成している要素が比較ベクトル画像を構成している要素に含まれているか否かを比較するとともに、両者の特徴点を比較し、その比較結果に基づいてベクトル画像と比較ベクトル画像との類似度を求める方法である。
ここで、変倍処理について説明する。図4は、変倍処理を説明する図面である。図4に示すように、例えば、チェック用ベクトル画像と比較ベクトル画像とを比較する場合、両者の大きさが異なった場合、両者が同じであるか否かを判断することは困難である。ベクトル形式のベクトル画像(チェック用ベクトル画像、比較ベクトル画像)では、画像を構成する各要素が方程式等の数式で記述されており、例えば、線分の長さが異なった場合には、他の数式で記述される場合がある。そこで、上記決定部30は、上記両者を比較する前に、当該両者の大きさが互いに同じであるか否かを判断し、異なっている場合には、変倍処理部39を動作させて、両者の大きさを同じにしている。
具体的に、両者の大きさを同じにする方法としては、上記決定部30は、例えば、各画像の外縁または外縁の四隅(4つの角)の画像の種類を比較する。そして、両者の画像の種類が同じである場合には、上記決定部30は、両者は類似の画像であるとして、上記四隅間の距離を、ベクトル画像と比較ベクトル画像とについてそれぞれ測定する。そして、その測定された長さに基づいて、上記決定部30は、変倍処理部39を動作させて変倍処理を行う。その後、上記決定部30は、上記両者の類似度の判定を行う。
なお、他の変倍処理方法としては、例えば、領域分離処理によって分離された各領域の割合を、チェック用ベクトル画像と比較ベクトル画像とで比較し、同じである(誤差がある一定の範囲内である場合を含む)場合には、両者の画像の同じ位置に配置、例えば、画像の端部に配置されている画像が同じであるか判断する。そして、同じである場合には、その画像の大きさをそれぞれ取得し、それぞれの大きさに基づいて、両者の大きさが同じになるように変倍処理を施せばよい。なお、変倍処理は、チェック用ベクトル画像または比較ベクトル画像のみを変倍処理することにより、上記両者の大きさを同じにしてもよく、また、チェック用ベクトル画像と比較ベクトル画像との両方を変倍処理して両者の大きさを同じにしてもよい。なかでも、複数の比較ベクトル画像の大きさが同じである場合、チェック用ベクトル画像のみを変倍処理することで、複数のチェック用ベクトル画像の全ての大きさを変倍処理しなくて済むため、処理量をより少なくすることができるのでより好ましい。
ここで、チェック用ベクトル画像について説明する。図5は、ベクトル画像に含まれる要素を示す図面である。
例えば、図5の(a)に示すように、チェック用ベクトル画像は、横方向に伸びた3本の直線と縦方向に延びた3本の直線との計6本の直線の要素から構成されている。また、図5の(b)に示すように、記憶部7から取得した比較ベクトル画像は、4つの矩形の要素から構成されている。このように、上記ベクトル画像と比較ベクトル画像とは同じ形状である場合であっても、異なる要素の集合体としてベクトル形式の画像が作成されている場合がある。そして、この場合には、上記ベクトル画像と比較ベクトル画像とは互いに同じ形状であっても、両者は類似していないと判断される場合がある。また、例えば、図5の(c)〜(e)に示すように、上記ベクトル画像と若干異なった形状である場合であっても、要素の表し方によっては、比較部32によって類似していると判断される場合がある。
そこで、ベクトル画像と類似している比較ベクトル画像をより正確に判断するために、上記のように6本の直線で構成されているベクトル画像から、より細かい要素の集合体のチェック用ベクトル画像を作成する。具体的には、例えば、後述する図6の(b)に示すように、全ての要素を重ね合わせたときに、複数の直線が交差する交点を含まない要素の集合体となるようにチェック用ベクトル画像を作成する。より詳細には、チェック用データ作成部81は、得られる要素を重ね合わせたときに、他の要素と重ならないような要素からなるチェック用ベクトル画像を作成する。
そして、比較部32は、このチェック用ベクトル画像を用いて、当該チェック用ベクトル画像と類似した比較ベクトル画像を判断する。以下、これについて説明する。
図6は、比較部32におけるチェック用ベクトル画像と比較ベクトル画像との比較方法を説明する図面である。また、図7は、上記決定部30におけるチェック用ベクトル画像と比較ベクトル画像との比較処理を説明するフローチャートである。図6、図7を参照して、上記両者の比較方法について説明する。
まず、特定画像取得部によって図6の(a)に示すように、ベクトル形式のベクトル画像が取得される。次に、上記図6の(b)に示すように、チェック用データ作成部81にて当該ベクトル画像からチェック用ベクトル画像が生成される。このチェック用ベクトル画像は、12本の直線を表す数式の要素から構成されている。
そして、上記決定部30にて、チェック用ベクトル画像と比較ベクトル画像との比較処理が行われる。具体的には、上記比較部32は、図6の(b)と図6の(c)とに示すように、矩形に相当するチェック用ベクトル画像の各要素(4つの要素)が比較ベクトル画像中に含まれているか否かを判断する。つまり、4つのベクトルを構成している記述がそれぞれ一致するかを判断する。そして、比較ベクトル画像中に含まれていると判断すると、比較部32は、上記チェック用ベクトル画像から上記図中左上の矩形を構成している4つの要素を消去する。
次に、図6の(d)と図6の(e)とに示すように、比較部32は、残ったチェック用ベクトル画像の要素に、比較ベクトル画像にまだ含まれる部分があるか判断し、ある場合には、該当する要素を除去する。ここでは、上記比較部32は、図中左下の矩形を構成している要素が比較ベクトル画像中に含まれているか否かを判断し、含まれていると判断した場合には、該当する要素をチェック用ベクトル画像から除去する。
そして、上記の操作を繰り返すことで、チェック用ベクトル画像を構成する要素は、図6の(b)(d)(f)(h)(j)に示すように減っていく。そして、チェック用ベクトル画像を構成する要素の全てが、比較ベクトル画像に含まれている場合には、図6の(j)に示すように何も残らない状態になる。この場合には、上記決定部30は、チェック用ベクトル画像と比較ベクトル画像とは類似していると判断する。一方で、ベクトル画像の各要素と比較ベクトル画像の各要素との比較を行った結果、ベクトル画像の要素が残った場合には、両者は類似していないと判断する。
次に、上記決定部30が、ベクトル画像と比較ベクトル画像との比較処理を行った後、最終的に両者が類似しているか否かを判断する比較処理について図7を参照して説明する。
まず、特定画像取得部10にて記憶部7から読み出される比較ベクトル画像との類似度を判定したい特定画像が取得される(S10)。次に、画像認識部21は、比較ベクトル画像と比較するためのチェック用ベクトル画像を生成するために、上記特定画像の領域分離処理を行う(S11)。この領域分離処理については後述する。
その後、チェック用データ作成は、上記画像認識部21にて行われた領域分離処理の結果に基づいて、上記特定画像からチェック用ベクトル画像を生成する(S12)。そして、生成されたチェック用ベクトル画像は、決定部30に送信される。
そして、チェック用ベクトル画像を取得した決定部30は、比較対象の比較ベクトル画像を比較画像取得部40から取得する(S13)。なお、上記比較画像取得部40は、記憶部7から比較ベクトル画像を取得している。
そして、上記決定部30は、チェック用ベクトル画像と比較ベクトル画像とを比較する(S14)。
具体的には、まず、上記決定部30に備えられている変倍処理部39は、上記チェック用ベクトル画像と比較ベクトル画像との大きさが同じであるか否かを判断する(S15)。そして、上記ステップS15にて上記両者の大きさが異なると判断する(S15でNO)と、上記変倍処理部39は、チェック用ベクトル画像および比較ベクトル画像の少なくとも一方を変倍処理し、両者の大きさを同じにする(S16)。
上記ステップS16の後、または、上記ステップS15にて両者の大きさが同じであると判断した(S15でYES)場合、決定部30は、除去ベクトル画像を構成している任意の要素を取り出し(S17)、比較部32(様式比較部35)は、チェック用ベクトル画像を構成している要素が、比較ベクトル画像に含まれているか否かを判断する(S18)。そして、上記ステップS18にて含まれていると判断する(S18でYES)と、比較部32は、チェック用ベクトル画像を構成している要素から、比較ベクトル画像に含まれていると判断した要素を消去する(S19)。なお、上記チェック用ベクトル画像を構成している要素が、比較ベクトル画像に含まれているか否かの判断については、上記比較ベクトル画像の要素ごとに行ってもよく、また、一度に行ってもよい。
なお、上記ステップS18にて含まれていないと判断した(S18でNO)場合には、チェック用ベクトル画像と上記比較ベクトル画像とは、決定部30は、類似していないと判断し、処理は、ステップS25に進む。
次に、上記比較部32は、上記ステップS19にて比較ベクトル画像に含まれる要素を消去した後の状態における、チェック用ベクトル画像を構成している要素が未だ残っているか否かを判断する(S20)。
上記ステップS20にて残っていると判断した(S20でYES)場合には、処理はステップS17に戻る。一方、上記ステップS20にて残っていないと判断した(S18でNO)場合には、上記決定部30は、上記チェック用ベクトル画像と比較ベクトル画像とは類似していると判断し、次の特徴点比較処理へ進む。
次に、上記決定部30は、特徴点生成部31を動作させて、要素を消去する前のチェック用ベクトル画像および比較ベクトル画像の特徴点を生成する特徴点生成処理を行う(S21)。なお、上記特徴点生成処理については後述する。
そして、上記比較部32(文字比較部36)は、生成した上記特徴点に基づいて、チェック用ベクトル画像と比較ベクトル画像とを比較して両者の類似度を算出する(S22)。
次に、決定部30は、上記算出された類似度に基づいて、当該類似度が所定値よりも高いか否かを判断する(S23)。そして、上記ステップS23にて上記類似度が所定値よりも高い(S23でYES)場合には、この類似度を比較した比較ベクトル画像をチェック用ベクトル画像と類似している画像候補とする(S24)。また、上記ステップS23にて上記類似後が所定値以下である(S23でNO)場合には、上記決定部30は、両者は類似していないと判断し、処理はステップS25に進む。
その後、上記決定部30は、他に比較すべき比較ベクトル画像が存在するか否かを判断する(S25)。上記ステップS25にて他に比較すべき比較ベクトル画像が存在する(S25でYES)場合には、決定部30は比較画像取得部40に他の比較ベクトル画像を取得するための命令を出し、処理はステップS13に進む。
上記ステップS25にて他に比較すべき比較ベクトル画像が存在しない(S25でNO)場合には、決定部30は、上記画像候補の中からチェック用ベクトル画像と類似している比較ベクトル画像を決定する(S26)。具体的には、例えば、上記決定部30は、上記画像候補の中から類似度が所定の値以上の比較ベクトル画像を決定してもよく、また、上記画像候補の中で最も類似度が高い比較ベクトル画像を決定してもよい。
このようにして、本実施の形態では、チェック用ベクトル画像と比較ベクトル画像とのそれぞれのベクトル画像同士を比較して、その結果をチェック用ベクトル画像と類似する比較ベクトル画像の抽出に用いている。
なお、上記の例では、チェック用ベクトル画像に含まれる要素が比較ベクトル画像に全て含まれているか否かを判断した後、上記チェック用ベクトル画像と比較ベクトル画像との特徴点を比較している。しかしながら、例えば、いずれか一方のみを用いて、チェック用ベクトル画像と類似している比較ベクトル画像を決定してもよい。
また、上記ステップS18では、チェック用ベクトル画像を構成している要素が比較ベクトル画像を構成している要素に含まれているか否かを判断しているが、このときにどの程度含まれているかを求めるようにしてもよい。そして、その結果を、チェック用ベクトル画像と比較ベクトル画像との類似度としてもよい。
図8は、画像認識部21における画像認識処理の流れを説明するフローチャートである。図8を参照して、画像認識処理について説明する。
特定画像取得部10から特定画像を取得したベクトル画像取得部20は、まず、画像認識部21を動作させて、上記特定画像の領域分離を行う。具体的には、上記画像認識部21は、上記特定画像を、例えば、文字領域、背景領域および網点・写真領域の3つの領域に分離する(S30)。次に、上記画像認識部21は、少なくとも上記文字領域のブロックヒストグラムを算出する(S31)。
次に、画像認識部21は、上記文字領域のブロックヒストグラムの結果に基づいて、上記特定画像の回転処理を行う。具体的には、画像認識部21は、ブロックヒストグラムの結果より文字列の傾きを算出し、画像が傾いているか否かを判断する(S32)。そして、上記画像認識部21は、上記ステップS32の結果に基づいて上記特定画像が傾いている場合、当該特定画像の回転処理を行う(S33)。
次に、画像認識部21は、上記特定画像の少なくとも文字領域の濃度ヒストグラムを算出し(S34)、その結果に基づいて、文字領域の文字認識を行う(S35)。
その後、画像認識部21は、上記特定画像の中に、例えば、手書き等のオリジナル画像に対して付加された付加画像があるか否かを判断する(S36)。具体的には、上記画像認識部21は、濃度ヒストグラムの結果より、濃度ヒストグラムに基づいて濃度値が所定範囲に分布する画像を付加画像と認識する。そして、画像認識部21は、認識付加画像を特定画像から除去する(S37)。このようにして、画像認識処理を行う。なお、上記画像認識処理は、チェック用データ作成部81が上記特定画像からチェック用ベクトル画像を作成できるのであれば、必ずしも必須ではない。また、上記付加画像の除去処理(S36、S37)についても必要に応じて行えばよい。
図9は、特徴点生成部31における特徴点生成処理の流れを説明するフローチャートである。図9を参照して、特徴点生成処理について説明する。なお、以下の説明ではチェック用ベクトル画像を例示して説明するが、比較ベクトル画像の特徴点を抽出する場合も同じ処理を行う。
まず、特徴点生成部31は、特徴点を生成するためにチェック用ベクトル画像を取得する(S50)。
次に、特徴点生成部31は、文字認識部33および罫線認識部34を動作させて、チェック用ベクトル画像中に含まれる文字列の文字認識およびチェック用ベクトル画像中に含まれる罫線(線)を認識する(S51)。具体的には、文字認識部33は、ベクトル画像取得部20にて特定画像の領域分離結果に基づいて、文字領域と判断されている領域について文字認識を行う。また、このとき、文字認識部33は、辞書情報記録部60に記録されている辞書情報に基づいて文字認識を行う。なお、この文字認識については、上記画像認識部21が行った文字認識の結果を用いてもよい。
次に、特徴点生成部31は、文字認識部33による文字認識結果に基づいて、チェック用ベクトル画像中に社名に関する社名情報が記載されているか否かを判断する(S52)。具体的には、操作者が予め辞書情報記録部60に社名情報を記録しておく。そして、上記特徴点生成部31は、文字認識部33によって認識した文字列の中に、辞書情報記録部60に記録されている社名情報と同じ情報が含まれているか否かを判断する。なお、このとき、特徴点生成部31は、チェック用ベクトル画像中に社名情報が含まれているか否かを判断する際に、例えば、チェック用ベクトル画像の上部付近のみに社名情報が含まれているか否かを判断するようにしてもよい。
上記ステップS52にて、チェック用ベクトル画像中に社名情報が含まれていると判断すると、上記特徴点生成部31は、特徴点として上記社名情報を加える(S53)。具体的には、上記特徴点生成部31は、図示しない特徴点情報格納部を有しており、その中に上記チェック用ベクトル画像の特徴点を示す特徴点情報を格納している。そして、特徴点生成部31は、その特徴点情報に上記社名情報を加えることで特徴点を作成している。
上記ステップS53の後、または、上記ステップS52にてチェック用ベクトル画像中に社名情報が含まれていないと判断した場合、上記特徴点生成部31は、上記チェック用ベクトル画像中に機密事項に関する内容が含まれているか否かを判断する。上記機密事項に関する内容とは、例えば、“極秘”や“社外秘”等のチェック用ベクトル画像中に機密事項が含まれていることを示す文字列である。つまり、上記特徴点生成部31は、チェック用ベクトル画像中に機密事項が含まれていることを示す文字列が当該チェック用ベクトル画像中に含まれているか否かを判断する(S54)。これにより、特徴点生成部31は、チェック用ベクトル画像中に機密事項に関する内容が含まれているか否かを判断することができる。
上記ステップS54にて、チェック用ベクトル画像中に上記機密事項に関する内容が含まれていると判断すると、特徴点生成部31は、上記特徴点として上記機密事項が含まれていることを示す文字列(機密事項情報)を加える(S55)。そして、処理はステップS56に進む。また、上記ステップS54にて、チェック用ベクトル画像中に機密事項に関する内容が含まれていないと判断すると、処理はステップS56に進む。なお、一般に上記“極秘”や“社外秘”等の文字列は画像の上部に記載されていることが多い。このため、上記特徴点生成部31は、例えば、チェック用ベクトル画像の上部のみに上記文字列があるか否かを判断するようにしても良い。
次に、上記特徴点生成部31は、上記チェック用ベクトル画像中に、他と比べて大きなサイズの文字(文字列)があるか否かを判断する(S56)。
そして、上記ステップS56にて、チェック用ベクトル画像中に他と比べて大きなサイズの文字(文字列)があると判断すると、特徴点生成部31は、特徴点として上記大きなサイズの文字の内容を加える(S57)。そして、処理はステップS58に進む。また、上記ステップS56にて、チェック用ベクトル画像中に他と比べて大きなサイズの文字(文字列)がないと判断すると、処理はステップS58に進む。
次に、上記特徴点生成部31は、上記チェック用ベクトル画像中に、日付情報が含まれているか否かを判断する(S58)。そして、チェック用ベクトル画像中に日付情報が含まれていると判断すると、特徴点生成部31は、上記特徴点として上記日付情報を加える(S59)。そして、処理はステップS60に進む。また、上記ステップS58にて、チェック用ベクトル画像中に日付情報がないと判断すると、処理はステップS60に進む。なお、一般に上記日付情報は画像の上部に記載されていることが多い。このため、上記特徴点生成部31は、例えば、チェック用ベクトル画像の上部のみに上記日付情報があるか否かを判断するようにしても良い。
次に、上記特徴点生成部31は、上記チェック用ベクトル画像中に、所属(部署名)に関する情報が含まれているか否かを判断する(S60)。そして、チェック用ベクトル画像中に所属(部署名)に関する情報が含まれていると判断すると、特徴点生成部31は、上記特徴点として上記所属(部署名)に関する情報を加える(S61)。そして、処理はステップS62に進む。また、上記ステップS60にて、チェック用ベクトル画像中に所属(部署名)に関する情報がないと判断すると、処理はステップS62に進む。なお、一般に上記所属(部署名)に関する情報は画像の上部に記載されていることが多い。このため、上記特徴点生成部31は、例えば、チェック用ベクトル画像の上部のみに上記所属(部署名)に関する情報があるか否かを判断するようにしても良い。
次に、上記特徴点生成部31は、上記チェック用ベクトル画像中に、名前に関する名前情報が含まれているか否かを判断する(S62)。そして、チェック用ベクトル画像中に名前情報が含まれていると判断すると、特徴点生成部31は、上記特徴点として上記名前情報を加える(S63)。そして、処理はステップS64に進む。また、上記ステップS62にて、チェック用ベクトル画像中に名前情報がないと判断すると、処理はステップS64に進む。なお、一般に上記名前情報は画像の上部に記載されていることが多い。このため、上記特徴点生成部31は、例えば、チェック用ベクトル画像の上部のみに上記名前情報があるか否かを判断するようにしても良い。
次に、上記特徴点生成部31は、上記チェック用ベクトル画像中に、バージョン情報が含まれているか否かを判断する(S64)。そして、チェック用ベクトル画像中にバージョン情報が含まれていると判断すると、特徴点生成部31は、上記特徴点として上記バージョン情報を加える(S65)。そして、処理はステップS66に進む。また、上記ステップS64にて、チェック用ベクトル画像中にバージョン情報がないと判断すると、処理はステップS66に進む。なお、一般に上記バージョン情報は画像の下部に記載されていることが多い。このため、上記特徴点生成部31は、例えば、チェック用ベクトル画像の下部のみに上記バージョン情報があるか否かを判断するようにしても良い。
次に、上記特徴点生成部31は、上記チェック用ベクトル画像中に、表、または、罫線が含まれているか否かを判断する(S66)。そして、チェック用ベクトル画像中に表、または、罫線が含まれていると判断すると、特徴点生成部31は、上記特徴点として上記表、または、罫線に関する線情報を加える(S67)。そして、特徴点生成処理を終了する。また、上記ステップS66にて、チェック用ベクトル画像中に罫線がないと判断すると、特徴点生成処理を終了する。
このようにして、特徴点生成部31は、チェック用ベクトル画像の特徴点を生成している。また、特徴点生成部31は、上記と同様にして比較ベクトル画像についても特徴点を生成する。そして、このようにして生成された特徴点に基づいて、比較部32は、チェック用ベクトル画像と比較ベクトル画像との類似度を判断する。具体的には、上記比較部32は、文字比較部36を動作させて、チェック用ベクトル画像と比較ベクトル画像との特徴点に含まれる文字列同士を比較する。また、比較部32は、様式比較部35を動作させて、チェック用ベクトル画像と比較ベクトル画像との特徴点に含まれる罫線情報同士を比較する。そして、比較部32は、この2つの比較結果に基づいて、上記チェック用ベクトル画像と比較ベクトル画像との類似度を算出する。上記類似度の算出方法としては、例えば、特徴点に含まれる各項目のうち、一致した数によって算出してもよく、また、上記各項目に重み付けを行って、類似の度合いを求めても良い。
なお、上記の説明では、特徴点生成部31は、チェック用ベクトル画像中に特定の文字列が含まれている場合に、当該文字列を特徴点としている。しかしながら、例えば、上記文字列とその文字列がチェック用ベクトル画像中のどの位置に配置されているかを示す位置情報とを併せて特徴点としてもよい。つまり、特徴点生成部31は、特定の文字列のみを特徴点としてもよく、特定の文字列と当該文字列の位置情報との両方を特徴点としてもよい。
また、上記の説明は、特徴点を生成するための一例であり、上記方法に限定されるものではない。従って、例えば、別の項目を特徴点として設定・判断してもよいし、上記例示のうちのいくつかのみを特徴点として設定・判断してもよい。
また、上記の説明では、特徴点生成部31は、認識した文字および罫線に基づいて特徴点を生成しているが、例えば、会社のロゴやマーク等の記号や図形等を特徴点としてもよい。
図10は、上記画像判断装置2によって判断された類似度に基づいて画像形成処理を行う画像形成処理を説明するフローチャートである。図10を参照して、画像形成処理について説明する。
上記画像判断装置2にて、チェック用ベクトル画像と比較ベクトル画像との比較に基づいて両者の類似度が判断された後、その判断結果は、印刷画像取得部5に送信される。そして、判断結果を取得した印刷画像取得部5は、上記判断結果に基づいて、比較画像取得部40を動作させて、類似度が高いと判断された比較ベクトル画像を取得する(S70)。そして、印刷画像取得部5は、取得した比較ベクトル画像を、表示部8に表示する(S71)。
その後、操作者は、表示部8に表示された類似度が高いと判断された比較ベクトル画像に基づいて、この比較ベクトル画像を画像形成するか、それとも、上記チェック用ベクトル画像を作成する元となった特定画像を画像形成するかの選択を行う。具体的には、操作者は、操作部9を操作して、画像形成を行う画像を決定する。
このとき、印刷画像取得部5は、操作者からの選択結果を取得する(S72)と、当該選択結果に基づいて画像形成部6を動作させて、画像形成を行う(S73)。
具体的には、操作者からの比較ベクトル画像を画像形成する指示を受信した場合には、上記印刷画像取得部5は、取得している比較ベクトル画像を画像形成部6に送信する。そして、画像形成部6にて当該比較ベクトル画像の画像形成が行われる。一方、操作者からの特定画像を画像形成する指示を受信した場合には、上記印刷画像取得部5は、特定画像取得部10から特定画像を取得し、この特定画像を画像形成部6に送信する。そして、画像形成部6にて当該特定画像の画像形成が行われる。
このようにして、画像判断装置2によって判断された上記両者の類似度の結果に基づいて画像形成が行われる。
以上のように、本実施の形態にかかる画像判断装置2は、ベクトル形式で表されたベクトル画像を取得するベクトル画像取得部20と、比較対象である、ベクトル形式で表された比較ベクトル画像を取得する比較画像取得部40と、上記ベクトル画像を構成している要素が比較ベクトル画像を構成している要素に含まれているか否かを比較し、当該比較結果に基づいてベクトル画像と比較ベクトル画像との類似度を求める比較部32とを備えている構成である。
上記ベクトル画像とは、ベクター画像とも呼ばれ、スケーラブル(拡大縮小可能)な画像である。具体的には、上記ベクトル画像とは、画像を、点の座標とそれを結ぶ線や面の方程式のパラメータ、および、塗りつぶしや特殊効果等の描画情報の集合(要素の集合)として表現したものである。つまり、上記ベクトル画像には、例えば、上記方程式のパラメータおよび描画情報等の要素が含まれている。
そして、上記の構成によれば、ベクトル形式のベクトル画像同士を、上記ベクトル画像を構成している要素が比較ベクトル画像を構成している要素に含まれているか否かを比較し、その比較結果に基づいて、類似度を求めている。また、上記ベクトル画像は、例えば、ビットマップ画像等に比べて情報量が少ないので、ビットマップ画像同士を比較する構成と比べて、類似度を求めるための処理量を少なくすることができる。
つまり、上記構成とすることにより、従来の上記画像を構成している画素ごとに比較する場合と比べて類似度を求めるための処理量を少なくすることができるので、より高速に検索を行う(類似度を求める)ことができる。また、上記ベクトル画像は、画像の特徴点を部分的に抽出するといったものではないため、従来のように画像の特徴点同士を比較する構成と比べて、より精度よく類似度を求めることができる。
このように、上記の構成とすることで、原稿(ベクトル画像)に類似したまたは同じである画像(比較ベクトル画像)を、高い精度を保ちつつ、短時間で特定することができる画像判断装置2を提供することができる。
また、本実施の形態にかかる画像判断装置2は、上記比較画像取得部40は、互いに異なる複数の比較ベクトル画像を取得するものであり、上記決定部30は、上記複数の比較ベクトル画像のうち、上記ベクトル画像との類似度が最も高い比較ベクトル画像を決定するものである構成がより好ましい。
上記の構成によれば、複数の比較ベクトル画像を取得して、その中から上記ベクトル画像との類似度が最も高い比較ベクトル画像を決定することができる。
なお、上記決定部30は、例えば、比較ベクトル画像とベクトル画像との類似度が所定の閾値以上のものを決定してもよく、さらに、上記類似度が所定の閾値以上であり、かつ、上記類似度が最も高い比較ベクトル画像を決定してもよい。このように、類似度が所定の閾値以上のものの中から比較ベクトル画像を決定することにより、類似度が所定の閾値よりも小さいものはベクトル画像と類似していないと判断することができる。
また、本実施の形態にかかる画像判断装置2は、上記ベクトル画像および/または比較ベクトル画像である特定ベクトル画像から当該特定ベクトル画像を特定するための特徴点を抽出する特徴点生成部31を備え、上記決定部30は、上記特徴点に基づいて上記類似度を求めるものである構成がより好ましい。
上記の構成によれば、上記決定部30は、上記ベクトル画像と比較ベクトル画像との比較結果に加えて、さらにベクトル画像および/または比較ベクトル画像をそれぞれ特定するための特徴点を用いて、両者の類似度を求めている。これにより、より類似度の判定を高精度で行うことができる。
なお、上記特徴点生成部31は、例えば、上記比較ベクトル画像を特定するための特徴点が予め生成されている場合には、上記決定部30は、ベクトル画像の特徴点を生成して、当該特徴点と予め生成されている比較ベクトル画像の特徴点とに基づいて類似度を求めればよい。
また、本実施の形態にかかる画像判断装置2は、上記特徴点生成部31は、上記特定ベクトル画像中の特定場所の画像を抽出して上記特徴点とするものである構成がより好ましい。
上記の構成によれば、ベクトル画像および/または比較ベクトル画像中の特定場所の画像(画像情報)を抽出して上記特徴点としている。例えば、1つのテンプレートを用いて複数の文書を作成する場合、これら複数の文書には、同じ場所に同じ記号や文字等が配置される場合が多い。このように、特定場所にある画像を特徴点とすることで、上記特定ベクトル画像の特徴がより正確に表された特徴点を生成することができる。
なお、上記特定ベクトル画像中の特定場所の画像を抽出して上記特徴点とする方法としては、例えば、特定ベクトル画像中の特定場所に配置された画像の種類を示す種類情報を特徴点とする方法や、上記特定場所に配置された画像の大きさを示す大きさ情報を特徴点とする方法、上記特定場所に配置された画像そのものの特性を示す特性情報(例えば、画像に含まれる文字情報)等が挙げられる。
また、本実施の形態にかかる画像判断装置2は、上記特徴点生成部31は、上記特定ベクトル画像に含まれる文字を認識する文字認識部33を備えるとともに、認識した特定の文字情報を特徴点とするものである構成がより好ましい。
上記の構成によれば、特定ベクトル画像に含まれる特定の文字情報を上記特徴点としている。例えば、1つのテンプレートを用いて複数の文書を作成する場合、これら複数の文書には例えば、社名や個人名等が同じ場所に配置されている場合が多い。このように、画像を文字認識して特定の文字情報を特徴点とすることで、ベクトル画像および/または比較ベクトル画像の特徴がより正確に表された特徴点を生成することができる。
また、本実施の形態にかかる画像判断装置2は、上記比較ベクトル画像を構成している要素よりも要素単位が小さいチェック用ベクトル画像を生成するチェック用データ作成部81を備え、上記決定部30は、チェック用ベクトル画像と上記比較ベクトル画像とを比較するものである構成がより好ましい。
上記チェック用ベクトル画像とは、比較ベクトル画像よりも細かい要素からなるベクトル画像である。具体的には、例えば、比較ベクトル画像が、4角形を表す方程式で表された形式の場合、チェック用ベクトル画像は、例えば、4本の直線で表された形式のデータ等である。つまり、チェック用ベクトル画像は、比較ベクトル画像と比べて、より単純化された要素からなる画像である。
上記ベクトル画像が、例えば、長い直線や、大きな四角といった大きな形状を数式で表わしたものであり、比較ベクトル画像が、短い直線や小さな四角等の集合体で表されている場合に、両者を比較すると、両者は一致しないと判断される場合がある。そこで、上記ベクトル画像を、例えば、線(直線、曲線)または弧(円、楕円を含む)等の要素で記載されたチェック用ベクトル画像を作成し、このチェック用ベクトル画像と比較ベクトル画像とを比較することで、より精度よく、両者の類似度を求めることができる。
また、本実施の形態にかかる画像判断装置2は、上記ベクトル画像と比較ベクトル画像との大きさが、同じになるように、上記ベクトル画像および/または比較ベクトル画像を変倍処理する変倍処理部39を備える構成がより好ましい。
上記ベクトル画像と比較ベクトル画像との大きさが異なる場合、両者の類似度を比較することができない、または、精度よく類似度を求めることができない場合がある。上記の構成によれば、上記ベクトル画像および/または比較ベクトル画像を変倍処理することで、両者の大きさを同じにしているので、当該両者の類似度をより正確に求めることができる。
なお、上記両者の大きさが同じになるように変倍処理する方法としては、例えば、ベクトル画像と比較ベクトル画像とのそれぞれの特定の位置に配置されている画像の大きさを比較して変倍する方法や、ベクトル画像と比較ベクトル画像とのそれぞれの4隅に配置されている画像の位置を検出するとともに当該4隅間の距離に基づいて変倍する方法等が挙げられる。
また、本実施の形態にかかる画像判断装置2は、ラスター形式のラスター画像から上記ベクトル画像を生成するチェック用データ作成部81を備える構成がより好ましい。
上記ラスター画像とは、ビットマップ画像であり、例えば、画像を色のついた点(ドット)の羅列として表現した画像である。上記ラスター画像としては、例えば、PNG、JPEG/JPEG2000、GIF、BMP、TIFF、PICT等の形式の画像等が挙げられる。
上記の構成によれば、ラスター画像からベクトル画像を生成(変換)することができるので、様々な形式の画像であっても、ベクトル画像同士の比較を行うことができる。
また、本実施の形態にかかる画像判断装置2は、原稿を光学的に読取って上記ラスター画像を取得する画像読取部4を備える構成がより好ましい。
上記の構成によれば、画像読取部4を備えているので、例えば、紙等に記録された画像と比較ベクトル画像とを比較することができる。
本実施の形態にかかる画像形成装置は、ベクトル形式で表されたベクトル画像を取得するベクトル画像取得部20と、比較対象である、ベクトル形式で表された比較ベクトル画像を取得する比較画像取得部40と、上記ベクトル画像を構成している要素が比較ベクトル画像を構成している要素に含まれているか否かを比較し、当該比較結果に基づいてベクトル画像と比較ベクトル画像との類似度を求める決定部30と、上記決定部30の比較結果に基づいて、上記ベクトル画像と比較ベクトル画像とのいずれかを画像形成するか決定する印刷画像取得部5、操作部9と、上記印刷画像取得部5、操作部9によって決定された画像に基づいて画像形成を行う画像形成部6とを備える構成である。
上記の構成によれば、例えば、画像読取装置等によって読取られた画像形成すべきベクトル画像と類似した比較ベクトル画像が、記憶装置に記憶されている複数の比較ベクトル画像の中にあるか否かを検索し、上記ベクトル画像と比較ベクトル画像とのいずれかを画像形成するかを判断している。つまり、例えば、画像形成すべきベクトル画像のオリジナル画像に基づいて作成した比較ベクトル画像が記憶装置に記憶されている場合には、当該比較ベクトル画像に基づいて画像形成を行うことができる。
本実施の形態にかかる画像判断方法は、ベクトル形式で表されたベクトル画像を取得する第一取得工程と、比較対象である、ベクトル形式で表された比較ベクトル画像を取得する第二取得工程と、上記ベクトル画像を構成している要素が比較ベクトル画像を構成している要素に含まれているか否かを比較し、当該比較結果に基づいてベクトル画像と比較ベクトル画像との類似度を求める比較工程とを含む構成である。
上記の構成によれば、ベクトル形式のベクトル画像同士を、上記ベクトル画像を構成している要素が比較ベクトル画像を構成している要素に含まれているか否かを比較し、その比較結果に基づいて、類似度を求めている。また、上記ベクトル画像は、例えば、ビットマップ画像等に比べて情報量が少ないので、ビットマップ画像同士を比較する構成と比べて、類似度を求めるための処理量を少なくすることができる。
つまり、上記構成とすることにより、従来の上記画像を構成している画素ごとに比較する場合と比べて類似度を求めるための処理量を少なくすることができるので、より高速に検索を行う(類似度を求める)ことができる。また、上記ベクトル画像は、画像の特徴点を部分的に抽出するといったものではないため、従来のように画像の特徴点同士を比較する構成と比べて、より精度よく類似度を求めることができる。
このように、上記の構成とすることで、原稿(ベクトル画像)に類似したまたは同じである画像(比較ベクトル画像)を、高い精度を保ちつつ、短時間で特定することができる。
なお、上記の説明では、比較SVG画像変換部80が記憶部7に設けられている例について説明しているが、例えば、上記比較SVG画像変換部80は画像判断装置2に設けられていてもよい。
また、上記の説明では、通信部3および画像読取部4にて、読取られた特定画像を画像判断装置2のベクトル画像取得部20にてベクトル画像に変換する構成について説明しているが、例えば、特定画像が既にベクトル画像である場合には、ベクトル画像に変換する必要はない。また、上記通信部3は外部からベクトル画像を取得してもよく、画像読取部4は原稿からベクトル形式のベクトル画像を生成してもよい。
また、上記の説明では、チェック用ベクトル画像を構成している要素が比較ベクトル画像を構成している要素に含まれているか否かを判断する際に、含まれていないと様式比較部35が判断した場合には、上記決定部30は、チェック用ベクトル画像と比較ベクトル画像とは類似していないと判断している。しかしながら、上記に限定されるものではなく、例えば、チェック用ベクトル画像を構成している要素が比較ベクトル画像を構成している要素に含まれていない場合であっても、含まれていない要素の割合に応じて、類似しているか否かを判断してもよい。
また、図示していないが、例えば、上記画像判断装置2による判断を行わずに、画像読取部4にて読取られた読取画像または通信部3を介して受信した画像をそのまま画像形成する場合には、上記読取画像(画像)は、直接、画像形成部6に送信される。
また、上記の説明では、画像形成装置1が画像判断装置2および画像読取部4を備えている例について説明している。しかしながら、上記に限定されるものではなく、例えば、上記画像形成装置1と画像読取部4と画像判断装置2とが互いに別体に設けられており、これらがネットワークを介して接続されている構成であってもよい。以下にこれについて説明する。
図11は、本実施の形態にかかる画像形成システムの概略構成を示すブロック図である。図11に示すように、上記画像形成システムは、画像判断装置2と画像読取装置4(画像読取部4)と画像形成装置1と記憶装置7(記憶部7)とを備えている。
そして、上記画像形成装置1は、画像形成部6と印刷画像取得部5とを備えている。そして、上記画像判断装置2は、上記構成に加えてネットワークI/F50を有している。上記ネットワークI/F50は、各種の情報を送受信するものである。
そして、上記画像形成システムの構成とした場合でも、画像読取装置4にて読取られた読取画像と類似する比較画像を記憶装置7から探し出すことができる。
最後に、画像形成装置1、および画像判断装置2の各ブロックは、ハードウェアロジックによって構成してもよいし、次のようにCPUを用いてソフトウェアによって実現してもよい。
すなわち、画像形成装置1、および画像判断装置2は、各機能を実現する制御プログラムの命令を実行するCPU(central processing unit)、上記プログラムを格納したROM(read only memory)、上記プログラムを展開するRAM(random access memory)、上記プログラムおよび各種データを格納するメモリ等の記憶装置7(記録媒体)などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである画像形成装置1、および画像判断装置2の制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読取り可能に記録した記録媒体を、上記画像形成装置1、および画像判断装置2に供給し、そのコンピュータ(またはCPU52やMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD−ROM/MO/MD/DVD/CD−R等の光ディスクを含むディスク系、ICカード(メモリカードを含む)/光カード等のカード系、あるいはマスクROM/EPROM/EEPROM/フラッシュROM等の半導体メモリ系などを用いることができる。
また、画像形成装置1、および画像判断装置2を通信ネットワークと接続可能に構成し、上記プログラムコードを、通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(virtual private network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、IEEE1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、802.11無線、HDR、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
このように本明細書において、手段とは必ずしも物理的手段を意味するものではなく、各手段の機能がソフトウェアによって実現される場合も包含する。さらに、一つの手段の機能が、二つ以上の物理的手段により実現されても、もしくは、二つ以上の手段の機能が、一つの物理的手段により実現されてもよい。
また、本実施の形態にかかる画像判断装置2は、原稿の特徴を抽出して検索条件を抽出して、この条件に適したデータを抽出する画像判断装置2において、原稿に対して追記された部分を除去して検索条件とする構成であってもよい。
また、本実施の形態にかかる画像判断装置2は、原稿に対して色部分を除去した部分を検索条件とするものである構成であってもよい。また、本実施の形態にかかる画像判断装置2は、原稿に対して手書き部分を除去した部分を検索条件とする構成であってもよい。
また、本実施の形態にかかる画像判断装置2は、原稿に対して低濃度部分を除去した部分を検索条件とする構成であってもよい。また、本実施の形態にかかる画像判断装置2は、原稿に対して追記された部分を除去した状態の原稿からさらに原稿の特徴点を検出して検索条件とする構成であってもよい。また、本実施の形態にかかる画像判断装置2は、原稿の特徴点として原稿画像に付された特定のパターン情報(ロゴ、印、マークなど)を用いる構成であってもよい。また、本実施の形態にかかる画像判断装置2は、原稿の特徴点として原稿の特定領域の画像情報(見出し、発信先、発信元、発行日付など)を用いる構成であってもよい。また、本実施の形態にかかる画像判断装置2は、原稿の特徴点として原稿の罫線(枠)情報用いる構成であってもよい。
また、本実施の形態にかかかる画像判断装置2は、ビットマップ画像でデータを入力する入力手段(特定画像取得部10、比較画像取得部40)と、上記入力された画像の特徴を認識して画像要素に分離する画像認識手段(画像認識部21)と、認識された画像を画像要素ごとにベクトル形式に変換するベクトル変換手段(チェック用データ作成部81)と、ベクトル形式の検索対象画像群(複数の比較対象である比較用ベクトル画像)を記憶した記憶手段(記憶部7)と、入力されベクトル形式に変換された画像と検索対象画像群の画像とを画像要素が対類似応するか否か比較し、上記入力された画像と類似する検索対象画像を候補として抽出する画像比較処理手段(決定部30)とを備える構成であってもよい。これにより、従来と比べて、画像の検索を効率よく行える。
また、本実施の形態にかかかる画像判断装置2は、上記画像要素のうち文字と判定した部分を文字コードに変換する文字認識手段(文字認識部33)をさらに備え、上記画像比較処理手段は、文字である画像要素については文字コードも比較して一致した候補に絞り込む、または、文字コードが一致した候補の優先度を上げる構成であってもよい。これにより、類似画像があっても一致するものを正確に識別できる。
また、本実施の形態にかかかる画像判断装置2は、文書中の項目の配置(および文字属性)を記憶した様式情報をさらに備え、上記画像比較処理手段は、上記様式情報に基づいて文字コードも比較して一致した候補に絞り込むまたは文字コードが一致した候補の優先度を上げる構成であってもよい。これにより、類似画像があっても重要なマークや文字を比較して、より正確に一致の程度を評価できる。
また、本実施の形態にかかかる画像判断装置2は、上記画像比較処理手段は、比較する画像の一方と同じ内容のチェック用データを生成し、他方の画像から逐次取り出した画像要素が一方の画像に含まれるか否か調べ、一つでも含まれない画像要素があれば類似しないと判定し、含まれる画像要素についてはチェック用データから対応部分を消去し、全画像要素を調べてチェック用データが全て消去さされた場合に類似すると判定するものである構成であってもよい。これにより、画像要素が1対1に対応しなくても、類似する画像を検索できる。
また、本実施の形態にかかかる画像形成装置1は、上記画像判断装置2と、紙原稿を読み込んでビットマップ画像に変換する画像読取手段(画像読取装置4)と、抽出した候補を出力する出力手段(画像形成部6)とを備える構成であってもよい。
また、本実施の形態にかかかる画像形成装置1は、抽出した候補をユーザに提示し、ユーザが所望の候補を選択する検索結果選択手段をさらに備える構成であってもよい。これにより、類似の画像候補が複数あっても、ユーザが目視して必要なものを選択できる。
また、本実施の形態にかかかる画像判断方法は、入力されたビットマップ画像の特徴を認識して画像要素に分離するステップと、認識された画像を画像要素ごとにベクトル形式に変換するステップと、入力されベクトル形式に変換された画像と検索対象画像群の画像とを画像要素が対応するか否か比較し対応するものを候補として抽出するステップとを含む方法であってもよい。
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、実施形態に開示された技術的手段を適宜組み合わせて得られる内容についても本発明の技術的範囲に含まれる。