JP2006157831A - 改ざん検出装置,透かし入り画像出力装置,透かし入り画像入力装置,透かし入り画像出力方法,および透かし入り画像入力方法 - Google Patents

改ざん検出装置,透かし入り画像出力装置,透かし入り画像入力装置,透かし入り画像出力方法,および透かし入り画像入力方法 Download PDF

Info

Publication number
JP2006157831A
JP2006157831A JP2004349147A JP2004349147A JP2006157831A JP 2006157831 A JP2006157831 A JP 2006157831A JP 2004349147 A JP2004349147 A JP 2004349147A JP 2004349147 A JP2004349147 A JP 2004349147A JP 2006157831 A JP2006157831 A JP 2006157831A
Authority
JP
Japan
Prior art keywords
image
determination
block
unit
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004349147A
Other languages
English (en)
Inventor
Masahiko Suzaki
昌彦 須崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Electric Industry Co Ltd
Original Assignee
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Industry Co Ltd filed Critical Oki Electric Industry Co Ltd
Priority to JP2004349147A priority Critical patent/JP2006157831A/ja
Priority to PCT/JP2005/022080 priority patent/WO2006059681A1/ja
Publication of JP2006157831A publication Critical patent/JP2006157831A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0021Image watermarking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H04N1/32154Transform domain methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Processing (AREA)

Abstract

【課題】 透かし情報を自動的に埋め込み,出力画像を生成し,その出力画像から埋め込まれた透かし情報を抽出し,出力画像の改ざんを自動的に検出することが可能な改ざん検出装置等を提供する。
【解決手段】 上記改ざん検出装置は,画像の判定領域(32)に対して特定の形状に強く反応する特徴抽出フィルタ(40)を施し出力値を計算し;各判定領域を判定ブロックで分割し;出力値に基づき各判定ブロックの評価値を算出し;透かし情報(28)の判定領域の位置情報または各判定ブロックの評価値等を画像に埋め込む。出力画像から透かし情報を抽出し;判定領域の位置情報等に基づき比較画像の判定領域に対し特徴抽出フィルタを施し比較出力値を計算し;判定ブロック単位に判定領域を分割し;比較評価値を算出し;画像の各判定ブロックの評価値と比較画像の各判定ブロックの比較評価値との差分から比較画像の判定領域の改ざんの有無を判定する。
【選択図】 図2

Description

本発明は,文書画像などの画像の改ざん検出に関する。
コピー用紙などの印刷媒体に印字データを印刷し,印刷物を生成すると,その印刷物に印刷されたテキストや画像などを見ることによって,印刷物に印刷された内容を把握することができる。
一方,画像や文書データなどのディジタルデータにコピー・偽造防止のための情報や機密情報を目視できない形式で埋め込む「電子透かし」が存在している。その「電子透かし」を文書データ等に埋め込むことで,偽造等の不正行為を未然に防ぐための技術が存在する。
上記「電子透かし」の技術を応用して,上記印刷媒体に印字データを印刷する際に,上記印字データの他に,上記印字データに対応した電子透かしを一緒に印刷すると,その印刷物を人の目で見ただけで,印刷物に印刷してある電子透かし情報から,印刷物に印字された文字が改変される等の印刷物の改ざんを発見できる(例えば,特許文献1参照)。なお,改ざんされているか否かの判定は印刷結果と電子透かしで印字されてものを比較することによって行われている。
特開2000−232573号公報
しかしながら,印刷物に改ざんされたか否かを判定するために,電子透かしから取り出した印字内容と,印刷物に印刷されている印字内容とを目視によって比較する必要があった。
したがって,以下(1)及び(2)に示すような問題があった。(1)目視による判定であるため大量の印刷物の改ざんの有無を短時間で処理することは困難であった。(2)印字内容を1文字ずつ読み比べる必要があるため,人為的なミスによって改ざんの見逃しが起こる可能性があった。
本発明は,上記問題点に鑑みてなされたものであり,本発明の目的は,透かし情報を自動的に埋め込み,出力画像を生成し,その出力画像から埋め込まれた透かし情報を抽出し,出力画像の改ざんを自動的に検出することが可能な,新規かつ改良された改ざん検出装置,透かし入り画像出力装置,透かし入り画像入力装置,透かし入り画像出力方法,および透かし入り画像入力方法を提供することである。
上記課題を解決するため,本発明の第1の観点によれば,改ざん検出装置が提供される。上記改ざん検出装置は,画像を入力し,その入力画像の画像領域のうち改ざんされたか否かを判定する1又は2以上の判定領域に対して特定の形状に強く反応する1又は2種以上の特徴抽出フィルタのうち少なくとも一種の特徴抽出フィルタを施して出力値を計算する第1の画像特徴抽出部と;画像の各判定領域を所定の大きさの判定ブロックで分割する第1の領域分割処理部と;算出された出力値に基づき,特徴抽出フィルタごとに各判定ブロックの評価値を算出する第1の画像特徴評価部と;画像のサイズ情報,画像における判定領域の位置情報,判定領域のサイズ情報,各判定ブロックの位置情報,各判定ブロックのサイズ情報,または各判定ブロックの評価値のうち少なくとも一つの情報を透かし情報として画像に埋め込み,出力画像を少なくとも生成する透かし情報埋め込み部と;出力画像に埋め込まれた透かし情報を抽出する透かし情報抽出部と;少なくとも出力画像を加工し,画像と略同一サイズの比較画像を生成する画像生成部と;抽出された透かし情報に含まれる少なくとも判定領域の位置情報と,判定領域のサイズ情報と,各判定ブロックの位置情報と,各判定ブロックのサイズ情報とに基づいて,比較画像における判定領域に対し,特徴抽出フィルタを施して比較出力値を計算する第2の画像特徴抽出部と;比較画像の各判定領域を判定ブロックで分割する第2の領域分割処理部と;上記算出された比較出力値に基づいて,各判定領域に施された特徴抽出フィルタごとに判定ブロックの比較評価値を算出する第2の画像特徴評価部と;上記透かし情報に含まれる画像における各判定ブロックの評価値を取得し,該画像の各判定ブロックの評価値と比較画像の各判定ブロックの比較評価値との差分を特徴検出フィルタごとに計算し,該特徴検出フィルタごとに算出された1又は2以上の差分値のうち少なくとも一つが所定値よりも大きい場合,その比較評価値に対応する比較画像の判定領域には改ざんがあったと判定する改ざん判定部とを備えることを特徴としている。なお,出力画像から評価値を計算する際に用いられる上記特徴抽出フィルタは,画像から評価値を計算する際に用いられた特徴抽出フィルタと同一のものである。
本発明によれば,改ざん検出装置は,特定の形状に強く反応する特徴抽出フィルタを用いて,改ざんの有無を判定する対象の領域(判定領域)について画像の反応状況を検出するフィルタリング処理を実行し,その結果,出力値が求まる。次に,今度は判定領域を判定ブロック単位に分割し,その判定ブロックごとに,上記出力値に基づいて評価値を計算する。当該判定ブロックごとの評価値が改ざんの判定基準(マスタ)となり,透かし情報として出力画像に埋め込まれる。出力画像として出力後,出力画像を不正に改ざんされたか否かを検出する段階で,出力画像を画像と同じサイズに加工し,出力画像から評価値を画像における処理と同様に計算し,出力画像における比較評価値と画像における評価値との差分値によって比較対照すれば,出力画像の判定領域に改ざんの有無を判定することができる。かかる構成によれば,人の目によらなくとも自動的に改ざんを検出し,改ざんの有無を自動的に判定することができる。さらに,人の目による改ざん検出よりも改ざん検出精度を向上させ,処理時間も短縮化される。さらに,判定ブロックごとに改ざんの有無を判定するため,判定領域内のどの位置が改ざんされたのか判定ブロックで把握することが可能であるため,利用者は容易にその改ざんされた該当個所を確認することができる。なお,上記画像生成部は,出力画像に縮小/拡大などの所定処理を施すことで,出力画像に生じる歪みや汚れなどを補正し,改ざん検出の精度の向上化が図れる。
上記出力画像は,紙などの印刷媒体に印刷された印刷物,または画像に透かし情報が埋め込まれた画像データなどで構成してもよい。かかる構成により,改ざんの有無を判定する対象範囲が広く,汎用性を向上させることができる。
上記課題を解決するために,本発明の別の観点によれば,透かし入り情報出力装置が提供される。上記透かし入り情報出力装置は,画像を入力し,その入力画像の画像領域のうち改ざんされたか否かを判定する1又は2以上の判定領域に対して特定の形状に強く反応する1又は2種以上の特徴抽出フィルタのうち少なくとも一種の特徴抽出フィルタを施して出力値を計算する画像特徴抽出部と;画像の各判定領域を所定の大きさの判定ブロックで分割する領域分割処理部と;算出された出力値に基づき,特徴抽出フィルタごとに各判定ブロックの評価値を算出する画像特徴評価部と;画像のサイズ情報,画像における判定領域の位置情報,判定領域のサイズ情報,各判定ブロックの位置情報,各判定ブロックのサイズ情報,または各判定ブロックの評価値のうち少なくとも一つの情報を透かし情報として画像に埋め込み,出力画像を生成する透かし情報埋め込み部とを備えることを特徴としている。
本発明によれば,透かし入り画像出力装置は,特定の形状に強く反応する特徴抽出フィルタを用いて,改ざんの有無を判定する対象の領域(判定領域)について画像の反応状況を検出するフィルタリング処理を実行し,出力値を求め,さらに判定領域を判定ブロック単位に分割し,その判定ブロックごとに,上記出力値に基づいて評価値を計算する。当該判定ブロックごとの評価値を透かし情報として出力画像に埋め込む。かかる構成により,改ざんを検出したい対象領域である判定領域の画像を特徴抽出フィルタによってフィルタリング処理することで,例えばハッシュ値等のような改ざんされた場合,容易に判定可能な評価値を生成し,画像に埋め込み出力画像を生成することができる。さらに,改ざん判定時に,上記出力画像から評価値を抽出すれば,それらの評価値と,被判定対象である出力画像から求めた比較評価値との差分に基づき,効率的な改ざん判定処理を実現させることができる。
上記評価値は,判定ブロック内に存在する1又は2以上の前記出力値の平均値であるように構成してもよく,また上記評価値は,特徴抽出フィルタごとに設定された所定値よりも大きい出力値のうち,判定ブロック内に存在する1又は2以上の出力値の平均値であるように構成してもよい(例えば,第1の実施形態)。
上記画像に設定される判定領域は,該判定領域内の領域全てに対して特徴抽出フィルタが施されるように構成してもよく(例えば,第1の実施形態),画像に設定された判定領域は,該判定領域内に文字が存在する領域のみを網羅するように再配置されるように構成してもよい(例えば,第2の実施形態)。
上記特徴抽出フィルタは,画像の特定の方向に傾く直線に強く反応するフィルタであるように構成してもよい。
上記課題を解決するために,本発明の別の観点によれば,透かし入り画像入力装置が提供される。上記透かし入り画像入力装置は,画像に,上記画像のサイズ情報,上記画像の画像領域のうち改ざんされたか否かを判定する1又は2以上の判定領域の位置情報,判定領域のサイズ情報,判定領域を分割することで判定領域に構成される1又は2以上の各判定ブロックの位置情報,各判定ブロックのサイズ情報,または各判定ブロックの評価値のうち少なくとも一つの情報が透かし情報として埋め込まれることで生成された出力画像から,透かし情報を抽出する透かし情報抽出部と;少なくとも出力画像を加工し,画像と略同一サイズの比較画像を生成する画像生成部と;抽出された透かし情報に含まれる少なくとも判定領域の位置情報,判定領域のサイズ情報,各判定ブロックの位置情報,または各判定ブロックのサイズ情報のうち少なくとも一つに基づいて,比較画像における判定領域に対し,特定の形状に強く反応する1又は2種以上の特徴抽出フィルタのうち少なくとも一種の特徴抽出フィルタを施して比較出力値を計算する画像特徴抽出部と;比較画像の各判定領域を判定ブロックで分割する領域分割処理部と;算出された比較出力値に基づいて,各判定領域に施された特徴抽出フィルタごとに判定ブロックの比較評価値を算出する画像特徴評価部と;透かし情報に含む画像における各判定ブロックの評価値を取得し,該画像の各判定ブロックの評価値と比較画像の各判定ブロックの比較評価値との差分を特徴検出フィルタごとに計算し,該特徴検出フィルタごとに算出された1又は2以上の差分値のうち少なくとも一つが所定値よりも大きい場合,その比較評価値に対応する比較画像の判定領域には改ざんがあったと判定する改ざん判定部とを備えることを特徴としている。
本発明によれば,透かし入り画像入力装置は,印刷物またはディジタル文書画像等に相当する出力画像を不正に改ざんされたか否かを検出する段階で,出力画像を画像と同じサイズに加工し,出力画像から評価値を画像における処理と同様に計算し,出力画像における比較評価値と画像における評価値との差分値によって比較対照すれば,出力画像の判定領域に改ざんの有無を判定することができる。かかる構成によれば,人間の目に頼らなくても透かし入り画像入力装置が自動的に改ざんを検出し,改ざんの有無を自動的に判定することができる。さらに,人による改ざん検出よりも改ざん検出精度を向上させ,処理時間も短縮化される。さらに,判定ブロックごとに改ざんの有無を判定するため,判定領域内のどの位置が改ざんされたのか判定ブロックで把握することが可能であるため,利用者は容易にその改ざんされた該当個所を確認することができる。
上記改ざん判定部は,透かし情報に含む画像における各判定ブロックの評価値を取得し,画像の各判定ブロックの評価値と比較画像の各判定ブロックの比較評価値との差分を特徴検出フィルタごとに計算し,該特徴検出フィルタごとの差分値を線形結合した値が,所定値よりも大きい場合,その比較評価値に対応する比較画像の判定領域には改ざんがあったと判定するように構成してもよい。
上記評価値は,判定ブロック内に存在する1又は2以上の出力値の平均値であるように構成してもよく,上記評価値は,特徴抽出フィルタごとに設定された所定値よりも大きい前記出力値のうち,判定ブロック内に存在する1又は2以上の出力値の平均値であるように構成してもよい。
上記課題を解決するために,本発明の別の観点によれば,透かし入り画像出力方法が提供される。上記透かし入り画像出力方法は,画像を入力し,その入力画像の画像領域のうち改ざんされたか否かを判定する1又は2以上の判定領域に対して特定の形状に強く反応する1又は2種以上の特徴抽出フィルタのうち少なくとも一種の特徴抽出フィルタを施して出力値を計算する画像特徴抽出処理と;画像の各判定領域を所定の大きさの判定ブロックで分割する領域分割処理と;上記算出された出力値に基づき,特徴抽出フィルタごとに各判定ブロックの評価値を算出する画像特徴評価処理と;画像のサイズ情報,画像における判定領域の位置情報,判定領域のサイズ情報,各判定ブロックの位置情報,各判定ブロックのサイズ情報,または各判定ブロックの評価値のうち少なくとも一つの情報を透かし情報として画像に埋め込み,出力画像を生成する透かし情報埋め込み処理とを含むことを特徴とする。
さらに,上記課題を解決するために,本発明の別の観点によれば,透かし入り画像入力方法が提供される。上記透かし入り画像入力方法は,画像に,当該画像のサイズ情報,画像の画像領域のうち改ざんされたか否かを判定する1又は2以上の判定領域の位置情報,判定領域のサイズ情報,判定領域を分割することで判定領域に構成される1又は2以上の各判定ブロックの位置情報,各判定ブロックのサイズ情報,または各判定ブロックの評価値のうち少なくとも一つの情報が透かし情報として埋め込まれることで生成された出力画像から,透かし情報を抽出する透かし情報抽出処理と;少なくとも出力画像を加工し,画像と略同一サイズの比較画像を生成する画像生成処理と;抽出された透かし情報に含まれる少なくとも判定領域の位置情報,判定領域のサイズ情報,各判定ブロックの位置情報,または各判定ブロックのサイズ情報のうち少なくとも一つに基づいて,比較画像における判定領域に対し,特定の形状に強く反応する1又は2種以上の特徴抽出フィルタのうち少なくとも一種の特徴抽出フィルタを施して比較出力値を計算する画像特徴抽出処理と;比較画像の各判定領域を判定ブロックで分割する領域分割処理処理と;上記算出された比較出力値に基づいて,各判定領域に施された特徴抽出フィルタごとに判定ブロックの比較評価値を算出する画像特徴評価処理と;透かし情報に含む画像における各判定ブロックの評価値を取得し,該画像の各判定ブロックの評価値と比較画像の各判定ブロックの比較評価値との差分を特徴検出フィルタごとに計算し,該特徴検出フィルタごとに算出された1又は2以上の差分値のうち少なくとも一つが所定値よりも大きい場合,その比較評価値に対応する比較画像の判定領域には改ざんがあったと判定する改ざん判定処理とを含むことを特徴としている。
以上説明したように,本発明によれば,人間の目で改ざんの有無を検出せずに,装置単独で改ざんの有無を自動的に判定することができる。また,人間が改ざん検出するよりも装置が改ざん検出した方が,改ざん検出の精度が向上し,改ざん検出処理時間も短縮化される。
以下,本発明の好適な実施の形態について,添付図面を参照しながら詳細に説明する。なお,以下の説明及び添付図面において,略同一の機能及び構成を有する構成要素については,同一符号を付することにより,重複説明を省略する。
以降の説明では文書は白黒(背景が白,文字が黒)であることを前提に説明を行うが,背景と文字の色が異なっていれば,どのような色の組み合わせについても実施可能である。
(第1の実施の形態について)
まず,図1を参照しながら,第1の実施の形態にかかる改ざん検出装置に備わる透かし画像出力部10について説明する。図1は,第1の実施の形態にかかる透かし画像出力部10の概略的な構成を示すブロック図である。
図1に示すように,透かし画像出力部(透かし入り画像出力装置)10は,原画像(画像)11を入力として,透かし入りの出力画像16を出力する。上記原画像(画像)11は,複数の画素から構成される画像データである。
上記画像データには,例えば,文字,図形,記号,もしくはシンボルまたはそれらの任意な組合せが少なくとも含まれている。したがって,画像データは小説など文字だけの場合,または新聞など静止画と文字からなる場合を例示することができる。なお,本明細書における図形は,広義の意味として,上記画像データに含まれる文字,図形,記号,もしくはシンボルまたはそれらの任意な組合せを総称する場合もある。
出力画像16は,上記原画像11に透かし情報が埋め込まれた画像データであるが,かかる例に限定されず,例えば,出力画像16は,プリンタ等の印刷手段によって紙などの印刷媒体に印刷された印刷物の場合でもよい。
画像特徴抽出部12は,原画像11の画像領域のうち改ざんの有無の判定をする改ざん判定領域(又は,判定領域)内において特徴抽出フィルタを用いて画像特徴を示す出力値を計算する。なお,改ざんは,出力画像16の完全性を失うことであり,つまり出力画像16を正確かつ完全な状態に維持できなくなることである。したがって,例えば,出力画像16に不正の目的でなくとも何らかの改変等があれば改ざんに該当するものとする。また,上記特徴抽出フィルタを用いた出力値の計算については後程説明する。
領域分割処理部13は,画像特徴抽出部12で画像の特徴を計算した改ざん判定領域について,各改ざん判定領域ごと所定の大きさの判定ブロックに分割する。なお,上記判定ブロックについては,後程説明する。
画像特徴データ化部(第1の画像特徴評価部)14は,領域分割処理部13で分割した判定ブロックごとに上記計算した出力値に基づき,各特徴抽出フィルタの評価値を計算する。なお,上記評価値の計算については,後程説明する。
透かし情報合成部(透かし情報埋め込み部)15は,上記画像特徴データ化部14により計算された各特徴抽出フィルタの各判定ブロックの評価値を少なくとも含む情報を透かし情報として原画像11に埋め込み,出力画像16を生成する。なお,出力画像16に埋め込まれた透かし情報は,出力画像16が印刷された印刷物などの場合,その印刷物の表面に地紋等のように表示される場合等を例示することができる。
次に,図2を参照しながら,第1の実施の形態にかかる改ざん検出装置に備わる透かし画像入力部20について説明する。なお,図2は,第1の実施の形態にかかる透かし画像入力部20の概略的な構成を示すブロック図である。
透かし画像入力部(透かし入り画像入力装置)20は,改ざん検出装置に備わり,出力画像16又は当該出力画像16を印刷した印刷物の任意個所が改ざんされたか否かを判定する。なお,第1の実施の形態にかかる改ざん検出装置には上記透かし画像出力部10及び/又は透かし画像入力部20が備わる。
図2に示すように,透かし画像入力部20は,出力画像16を印刷した透かし入りの印刷物をスキャナなどの入力デバイス(図示せず。)により計算機に取り込んだ入力画像21から改ざん検出を行う。なお,第1の実施の形態にかかる透かし画像入力部20は,透かし画像出力部10で生成された出力画像16を印刷した入力画像21から改ざん検出を行う場合について説明するが,出力画像16を印刷せずに出力画像16をそのまま改ざん検出を行う場合でも実施可能である。その場合は,入力画像21は出力画像16と同一である。また,上記入力画像21は,出力画像16,または出力画像16を印刷した印刷物をスキャナ等の入力デバイスで画像化されたものである。
透かし情報抽出部22は,入力画像21から透かし情報28を抽出する。なお,透かし情報28の抽出処理および透かし情報28の詳細については後程詳細に説明する。
画像変形部(画像生成部)23は入力画像21の補正を行い,補正画像29を生成する。なお,補正後の補正画像29は,原画像11と略同一の大きさの画像であり,当該補正画像29と透かし情報28に基づいて生成される比較原画像(比較画像)とを対比することで改ざんを検出するが,詳細については後述する。
画像特徴抽出部24は,透かし情報28に含まれる改ざん判定領域に関する情報に基づき,補正画像29における改ざん判定領域を特定し,その改ざん判定領域に対して特徴抽出フィルタを用いて画像特徴を示す比較出力値を計算する。なお,上記比較出力値は,透かし情報28に含まれる出力値との差分値を計算することで改ざんされたか否かを判定するための判定基準となる値である。
領域分割処理部25は,画像特徴抽出部24で特徴を計算した改ざん判定領域の比較出力値を,透かし情報28に含まれた判定ブロックの大きさや,判定ブロックの位置などに関する情報に基づいて1又は2以上の判定ブロックに分割する。
画像特徴データ化部(第2の画像特徴評価部)26は,領域分割処理部25で分割した判定ブロックごとに上記計算した比較出力値に基づき,各特徴抽出フィルタの比較評価値を計算する。なお,上記比較評価値の計算については,上記画像特徴データ化部14の評価値の計算と実質的に同一であり,詳細については後述する。
改ざん判定部27は,入力画像21から抽出された透かし情報28に含む各特徴抽出フィルタの評価値と,画像特徴データ化部26で計算した各特徴抽出フィルタの比較評価値とを比較し,所定の判定基準に基づいて改ざんの有無の判定を行う。上記改ざん有無の判定については,後程詳述する。
(原画像11について)
次に,図3を参照しながら,本実施の形態にかかる原画像11について説明する。図3は,本実施の形態にかかる原画像の概略的な構成の一例を示す説明図である。
図3に示すように,本実施の形態にかかる原画像11には,透かし領域30と,改ざん判定領域32とが存在する画像データである。透かし領域30は,透かし情報が重畳される領域である。透かし情報は,コピー・偽造防止のための情報や機密情報等であり,上記透かし情報が透かし領域30に埋め込まれる。なお,透かし情報を透かし領域30に埋め込む処理については後述する。
また,透かし領域30の左上の座標(基準座標31)は,当該透かし領域30の領域を示す基準となる座標である。改ざん判定領域32は改ざんされたか否かを判定する対象となる領域であり,この領域の始点の座標33を(Ax,Ay),改ざん判定領域の幅34をAw,高さ35をAhとする。
(特徴抽出フィルタについて)
次に,図4〜図7を参照しながら,特徴抽出フィルタについて説明する。図4〜図7は,画像特徴抽出に用いる特徴抽出フィルタの概略的な構成の一例を示す説明図である。
図4〜図7に示す1又は2パターン以上の特徴抽出フィルタ40は原画像11のうちの特定の図形に強く反応するように設計されている。
図4に示す特徴抽出フィルタ40a(フィルタA)は,特徴抽出フィルタ40a中心部に垂直方向に黒とするバーが存在し,その両側に黒よりも明度が高いグレー色のバーが存在し,以降黒バーよりも遠ざかるにつれて徐々に明度等が高まるようなバーが複数存在すし,それら複数のバーによって濃淡を表わしている。上記特徴抽出フィルタ40aは,濃淡を表わす複数のバーに対応する図形,即ち原画像11の画像のうち垂直方向に伸びるような直線等に強く反応する。なお,垂直方向に伸びる直線の形状が多少曲がった場合等でも反応する。
次に,図5に示す特徴抽出フィルタ40b(フィルタB)は,特徴抽出フィルタ40b中心部に水平方向に黒色のバーが存在し,その両側に黒よりも明度が高いグレー色のバーが存在し,以降黒バーよりも遠ざかるにつれて徐々に明度等が高まるようなバーが複数存在し,それら複数のバーによって濃淡を表わしている。上記特徴抽出フィルタ40bは,濃淡を表わす複数のバーに対応する図形,即ち原画像11の画像のうち水平方向に伸びるような直線等に強く反応する。なお,水平方向に伸びる直線の形状が多少曲がった場合等でも反応する。
次に,図6に示す特徴抽出フィルタ40c(フィルタC)は,例えば図示のように右上及び左下頂点を結ぶ黒色のバーが存在し,その両側に黒よりも明度が高いグレー色のバーが存在し,以降黒バーよりも遠ざかるにつれて徐々に明度等が高まるようなバーが複数存在し,それら複数のバーによって濃淡を表わしている。上記特徴抽出フィルタ40cは,濃淡を表わす複数のバーに対応する図形,即ち原画像11の画像のうち右斜め上方向に伸びるような直線等に強く反応する。なお,右斜め上方向に伸びる直線の形状が多少曲がった場合等でも反応する。
また,第1の実施の形態にかかる特徴抽出フィルタ40cに構成される濃淡を表わす複数のバーの角度はフィルタCの右上及び左下頂点を黒バーが通過するような場合を例に挙げて説明したが,かかる例に限定されず,例えば,濃淡を表わす複数のバーの角度は,30度,45度,または70度などいかなる角度の場合でも実施可能である。
次に,図7に示す特徴抽出フィルタ40d(フィルタD)は,例えば図示のように左上及び右下頂点を結ぶ黒色のバーが存在し,その両側に当該黒よりも明度が高いグレー色のバーが存在し,以降黒バーよりも遠ざかるにつれて徐々に明度等が高まるようなバーが複数存在し,それら複数のバーによって濃淡を表わしている。上記特徴抽出フィルタ40d(フィルタD)は,濃淡を表わす複数のバーに対応する図形,即ち原画像11の画像のうち右斜め下方向に伸びるような直線等に強く反応する。なお,右斜め下方向に伸びる直線の形状が多少曲がった場合等でも反応する。
また,第1の実施の形態にかかる特徴抽出フィルタ40dに構成される濃淡を表わす複数のバーの角度はフィルタDの左上及び右下頂点を黒バーが通過するような場合を例に挙げて説明したが,かかる例に限定されず,例えば,濃淡を表わす複数のバーの角度は,30度,45度,または70度などいかなる角度の場合でも実施可能である。
また,第1の実施の形態にかかる特徴抽出フィルタ40a〜40dでは,濃淡を表わす複数のバーが直線の場合を例に挙げて説明したが,かかる例に限定されず,例えば,特徴抽出フィルタ40a〜40dには,上記濃淡を表わす複数の円形状のバーが存在し,円形状の図形に強く反応するフィルタ等の場合でも良い。
さらに,第1の実施の形態にかかる特徴抽出フィルタ40a〜40dは,例えば,ウェーブレットフィルタ,ガボールフィルタ,または画像認識の際に用いられるテンプレート画像等の場合でもよい。
(画像特徴抽出部12の動作について)
画像特徴抽出部12は,1又は2種以上のフィルタ(特徴抽出フィルタ40a〜40d)から画像特徴を抽出するための特徴抽出用フィルタ40を選択する。選択後,原画像11の改ざん判定領域32に対して特徴抽出フィルタ40を介した反応状況を検出する処理(フィルタリング処理)を行う。その結果として得られた出力値はメモリ等の記録手段に記録される。
次に,図8を参照しながら,画像特徴抽出部12によるフィルタリング処理について説明する。図8は,フィルタAを特徴抽出用フィルタとして選択した場合のフィルタリング処理の概略の一例を示す説明図である。なお,図8に示すフィルタリング処理は,フィルタAの場合におけるフィルタリング処理を説明するが,かかる例に限定されず,他の特徴抽出フィルタ40の場合のフィルタリング処理も図8に示すフィルタリング処理と同様である。
図8に示すように,原画像11の画像領域のうち改ざんされたか否かを判定するための改ざん判定領域32の左上隅から順に,改ざん判定領域32上を1ラインずつラスター方向(図8に示す矢印の方向)に走査しながら,フィルタAと画像との畳み込み積分を計算する。かかる計算によって,上記説明したフィルタAに構成された濃淡を表わす複数のバーと同一又は類似する水平方向の直線に強く反応する図形を検出することができる。なお,上記図形は,広義の意味として,上記画像データに含まれる文字,図形,記号,もしくはシンボルまたはそれらの任意な組合せを総称する。また,走査単位は特徴抽出フィルタ40を1ブロックとして,当該特徴抽出フィルタ40をラスター方向にブロック単位に走査していく。
次に,上記ラスター方向にフィルタAによるフィルタリング処理が実行されると,図9に示すような結果となる。なお,図9は,フィルタAによるフィルタリング処理の概略的な結果の一例を示す説明図である。
図9に示すように,黒色の領域90は,フィルタAに強く反応した領域である。上記黒色領域90は,上記計算結果で得られた出力値が所定の閾値t以上の場合,画像特徴抽出部12によって黒色領域90であると判断される。即ち,フィルタAによって黒色領域90であると判断された改ざん判定領域32の画像(図形)は,極めて垂直方向に伸びる直線に近似しているといえる。
次に,図9に示す黒色領域90よりも明度が高いグレー色の領域91は,フィルタAに中程度に反応した領域である。上記グレー色領域91は,上記計算結果で得られた出力値が閾値t以上でかつ閾値t未満である場合,画像特徴抽出部12によってグレー色領域91であると判断される。即ち,フィルタAによってグレー色領域91であると判断された該当するブロックの画像(図形)は,黒色領域90程に直線に近似していないものの中程度に直線に近いといえる。
次に,図9に示す明度が最も高い白色領域92は,フィルタAに反応しなかった領域である。上記白色領域92は,上記計算結果で得られた出力値が閾値t未満である場合,画像特徴抽出部12によって白色領域92であると判断される。即ち,フィルタAによって白色領域92であると判断された該当ブロックの画像(図形)は,垂直方向に伸びる直線には近似しないといえる。
次に,改ざん判定領域32においてラスター方向にフィルタBによるフィルタリング処理が実行されると,図10に示すような結果となる。なお,図10は,フィルタBによるフィルタリング処理の概略的な結果の一例を示す説明図である。
図10に示すように,黒色領域100は,フィルタBに強く反応した領域である。上記黒色領域100は,上記計算結果で得られた出力値が所定の閾値t以上の場合,画像特徴抽出部12によって黒色領域100であると判断される。即ち,フィルタBによって黒色領域100であると判断された改ざん判定領域32の画像(図形)は,水平方向に伸びる直線に極めて近いといえる。
次に,図10に示す黒色領域100よりも明度が高いグレー色の領域101は,フィルタBに中程度に反応した領域である。上記グレー色領域101は,上記計算結果で得られた出力値が閾値t以上でかつ閾値t未満である場合,画像特徴抽出部12によってグレー色領域101であると判断される。即ち,フィルタBによってグレー色領域101であると判断された個所(ブロック)の図形は,直線に極めて近似しているとはいえないものの中程度に水平方向に伸びる直線に近似しているといえる。
次に,図10に示す明度が最も高い白色領域102は,フィルタBに反応しなかった領域である。上記白色領域102は,上記計算結果で得られた出力値が閾値t未満である場合,画像特徴抽出部12によって白色領域102であると判断される。即ち,フィルタBによって白色領域102であると判断された該当ブロックの画像(図形)は,水平方向に伸びる直線には近似しないといえる。
なお,上記図9および図10に示すフィルタリング処理の結果は,画像データであり,フィルタ40を走査することで得られた出力値に基づいて,画像データに変換されたものである。また,上記フィルタリング処理の結果,得られる出力値は実数であるが,かかる例に限定されない。
また,第1の実施の形態にかかるフィルタリング処理では,原画像11における改ざん判定領域32を拡大/縮小処理せずそのままの大きさでフィルタリング処理を行っても良いし,予め定められた所定の倍率で縮小または拡大した後にフィルタリング処理を行ってもよい。かかる拡大処理後にフィルタリング処理をすることで,出力値を微調整することができる。また,縮小処理後にフィルタリング処理することで,黒画素の領域を縮小することができるため処理速度を向上化させることができ,または出力画像が印刷物の場合には印刷面に生じた汚れなどを縮小し目立たなくすることができるため,改ざん検出の精度を容易に高めることができる。
上記改ざん判定領域32を縮小または拡大した後にフィルタリング処理を行った場合,フィルタリング処理の結果も縮小または拡大された画像サイズとなる。以下の説明では改ざん判定領域32の拡大または縮小を行わないものとするが,拡大または縮小を行った場合,領域に関する変数を同じ倍率で拡大または縮小することにより,以下の説明と同じ処理で実施できる。
(領域分割処理部13の動作について)
次に,画像特徴抽出部12によるフィルタリング処理が終了すると,領域分割処理部13によって,所定の大きさのブロック単位で改ざん判定領域32を複数のブロックに分割される。なお上記分割された複数のブロックが判定ブロックであり,上記判定ブロックが改ざんされたか否かを判定する判定処理単位のブロックである。
次に,図11を参照しながら,改ざん判定領域32を分割した複数の判定ブロックについて説明する。なお,図11は,改ざん判定領域32を判定ブロック単位に分割した場合の改ざん判定領域32の概略的な構成を示す説明図である。
図11に示すように,改ざん判定領域32は複数の判定ブロックBlock(Block(0),Block(1),…,Block(Bn−1))から構成されている。判定ブロックには,ブロックIDが,例えば0,1,2,…Bn−1等のように割り振られる。
図11に示す判定ブロックのブロックIDは,改ざん判定領域32の左上端の判定ブロックが判定ブロックBlock(0)であり,ブロックIDが“0”となる。その右隣が判定ブロックBlock(1)で,ブロックIDが“1”である。
また,改ざん判定領域32の右上端の判定ブロックが図11に示すように,判定ブロックBlock(n)であり,ブロックIDが“n”となる。次の行(2行目)の左端の判定ブロックをBlock(n+1)としているため,ブロックIDが“n+1”である。なお,ブロックIDに基づいて改ざん判定領域32に構成された判定ブロックを識別可能であれば,ブロックIDの割振り方法は,かかる例に限定されない。
上記改ざん判定領域32に複数の判定ブロックにブロックIDを割振ることで,ブロックIDから改ざん判定領域32のどの位置に該当するかを認識することができる。例えば,ブロックIDが“1”であれば,改ざん判定領域32の1行目の左端の判定ブロックBlock(0)の右隣の位置であることを把握することができる。つまり,画像入力部20側でブロックIDと改ざん判定領域32における該当位置との対応ができるようにブロックIDの割り振りが行われる。
上記説明では,図11を参照しながら,原画像11に存在する改ざん判定領域32が単数の場合について説明した。ここでは,図12及び図13を参照しながら,原画像11に存在する改ざん判定領域32が複数の場合について説明する。なお,図12は,改ざん判定領域32が複数存在する場合の原画像11の概略的な構成の一例を示す説明図であり,図13は,図12に示す各改ざん判定領域32の概略的な構成の一例を示す説明図である。
図12に示すように,原画像11には,複数の改ざん判定領域32(32a,32b,32c)が割当てられている。なお,原画像11に改ざん判定領域32を割当てる方法としては,例えば,改ざんされたか否かの判定が必要な領域を改ざん判定領域としてユーザが指定する方法,または改ざん検出装置側で,文字認識によって所定のキーワードを検出し,そのキーワードを含む領域を自動的に改ざん判定領域を設定する方法等を例示することができる。
図12に示す改ざん判定領域32(32a,32b,32c)を分割すると,改ざん判定領域32各々は,図13に示すような複数の判定ブロックBlockから構成される。
図12及び図13に示すように,原画像11に対して複数の改ざん判定領域32が設定されている場合,ブロックIDと改ざん判定領域32における該当位置との対応をとるために,例えば,原画像11に設定した全ての改ざん判定領域32が分割された全ての判定ブロックに対して一意のブロックIDを割り振る(同じブロックIDを持つ改ざん検出ブロックは2つ以上存在しない。)か,または各改ざん判定領域32に一意の番号を割り振り,それ以降は上記図11に示した判定ブロックのブロックIDの割振りと同様とする(改ざん判定領域32に割り振った番号とその改ざん判定領域32を分割した各判定ブロックのブロックIDとの組み合わせにより番号付けを行う。)等の方法を例示することができるが,係る例に限定されない。
図13(a)に示すように,改ざん判定領域32aに構成された判定ブロックBlockのブロックIDは,“0”〜“M−1”である。次に,図13(b)に示す改ざん判定領域32bに構成された判定ブロックBlockのブロックIDは,“M”〜“N−1”であり,同様に図13(c)に示すブロックIDは,“N”〜“L−1”である。以上,図13(a)〜図13(c)に示したように,ブロックIDは,各改ざん判定領域32の判定ブロックでは重複せず,一意に割振られているのが分かる。
また,改ざん判定領域32を複数ブロックに分割する単位となる判定ブロックBlockの大きさは,例えば,固定値でもよいし,改ざん判定領域32内をN×M(N,Mは自然数)に分割することが可能な大きさになるよう動的にサイズを決めても良い。
また,原画像11に複数の改ざん判定領域32が設定されている場合,例えば,改ざん判定領域32の判定ブロックBlockの大きさを全て同じの場合でもよく,係る例に限定されず,原画像11に設定された改ざん判定領域32の重要度に応じ,改ざん判定領域32ごとに分割する各判定ブロックBlockの大きさを変えても良い。
上記判定ブロックBlockの大きさは,1画素の場合でもよく,いかなる画素数からなる判定ブロックBlockの場合でも実施可能である。なお,判定ブロックBlockの大きさが1画素の場合,より詳細な精度の高い改ざん検出を行うことができるが,その分改ざん検出装置に処理負荷がかかる。
また,図11又は図13等に示すように,第1の実施の形態にかかる各判定ブロックBlockの間は,所定距離だけ間隔を空ける場合を例に挙げて説明したが,かかる例に限定されない。例えば,各判定ブロックBlockの間を隙間なくシームレスである場合,または図14に示すように,例えば,判定ブロックBlock(0)と判定ブロックBlock(1)とが一部重なり合うなど,各判定ブロックBlockが一部重なり合う等の場合でも実施可能である。なお,図14は,判定ブロックで分割された改ざん判定領域の概略的な構成の一例を示す説明図である。
なお,第1の実施の形態にかかる改ざん判定領域32は,例えば,図3に示すように原画像11に1つだけ設定され,判定ブロックBlockは,図11に示すように改ざん判定領域32にB×n個だけ配置され,図11で示すように各判定ブロックBlockは,隣り合う判定ブロックBlockと所定間隔空けて改ざん判定領域32に配置されるものとするが,かかる例に限定されない。
(画像特徴データ化部14の動作について)
次に,図15を参照しながら,第1の実施の形態にかかる画像特徴データ化部14による画像特徴データ化処理について説明する。なお,図15は,画像特徴データ化処理の概略の一例を示す説明図である。
画像特徴データ化部14は,上記説明の特徴抽出フィルタ40を介して計算された出力値に基づき,改ざん判定領域32に構成された判定ブロックBlockごとに各特徴抽出フィルタ40別の画像特徴データを計算する。
上記画像特徴データを計算する画像特徴データ化処理では,画像特徴データ化部14は,画像特徴抽出部12によって計算された出力値に基づいて画像化された特抽出フィルタ40a(フィルタA)のフィルタリング処理結果を示す改ざん判定領域32(図9)と,判定ブロックBlockから構成される改ざん判定領域32(図11)を重ね合わせる。
図15に示すように,画像特徴データ化部14によって図9に示すようなフィルタリング処理結果を視覚的に示す改ざん特徴領域32と,図11に示すような判定ブロックBlockで分割された改ざん判定領域32とが重畳的に合成されている。
次に,画像特徴データ化部14は,判定ブロックBlockごとに当該判定ブロックBlock領域内の出力値に基づいてその判定ブロックBlockの画像特徴を評価するための評価値を算出する。
ここで,図15に示す各判定ブロックBlockにおいて,どの特徴抽出フィルタ40でフィルタリング処理が行われた評価値であるかを示すため,表記上,判定ブロックBlock(n)におけるフィルタXの評価値をBw(X,n)とする。したがって,例えば,判定ブロックBlock(1)のフィルタAの場合の評価値はBw(A,1)となる。なお,“X”は,図4〜図7に示すように“A”〜“D”であり,nは図11に示すように“0”〜“Bn−1”であるが,かかる例に限定されない。
図15に示す判定ブロックBlockの評価値としては,例えば,判定ブロックBlock(0)のフィルタAによる評価値(Bw(A,0))は,判定ブロックBlock(0)の領域内におけるフィルタAによるフィルタリング処理結果で得られた出力値の平均値を評価値とする。また,判定ブロックBlock(0)のフィルタBによる評価値(Bw(B,0))は,判定ブロックBlock(0)の領域内におけるフィルタBによるフィルタリング処理結果で得られた出力値の平均値を評価値とするが,かかる例に限定されない。
例えば,図15に示すように,判定ブロックBlock(1)のフィルタAによる評価値(Bw(A,1))は,上記判定ブロックBlock(1)の領域内に少なくとも黒色領域90と,グレー色領域91aと,グレー色領域91bと,白色領域92とを含んでいるため,当該それらの領域に対応する出力値を総計し,その総計の平均値が画像特徴データ化部14によって求められ,評価値として算出される。
次に,図16を参照しながら,画像特徴データ化部14によるフィルタBの場合の画像特徴データ化処理について説明する。なお,図16は,画像特徴データ化処理の概略の一例を示す説明図である。また,図16に示す画像特徴データ化処理は,図15に示す画像特徴データ化処理との相違点についてのみ説明し,その他についてはほぼ同様であるため詳細な説明を省略する。
図16に示すように,画像特徴データ化部14は,図10に示すようなフィルタリング処理結果を画像化した改ざん特徴領域32と,図11に示すような判定ブロックBlockで分割された改ざん判定領域32とを重畳的に合成する。
図16に示す判定ブロックBlock(n)におけるフィルタBの評価値は,上記説明の通り,Bw(B,n)となる。また,図16に示すように,例えば,判定ブロックBlock(n)の評価値(Bw(B,n))は,上記判定ブロックBlock(n)の領域内に少なくとも黒色領域100と白色領域102を含んでいるため,当該それらの領域(黒色領域100,白色領域102)に対応する出力値を総計し,その総計の平均値が画像特徴データ化部14によって求められ,評価値として算出される。
次に,画像特徴データ化部14によって,フィルタAとフィルタBを特徴抽出フィルタとして用いた場合の各判定ブロックBlockの評価値が求められると,画像特徴データ化部14は,それらの評価値を格納した評価値テーブルを生成する。
次に,図17を参照しながら,第1の実施の形態にかかる評価値テーブルについて説明する。なお,図17は,第1の実施の形態にかかる評価値テーブルの概略的な構成の一例を示す説明図である。
フィルタAとフィルタBの各判定ブロックBlockの評価値が求められると,図17に示すように評価値テーブル170が画像特徴データ化部14によって生成される。
上記評価値テーブル170は,図17に示すように,判定ブロックBlockを一意に示すブロック番号nと,フィルタAの場合の各判定ブロックBlockの評価値と,フィルタBの場合の各判定ブロックBlockの評価値とから構成されている。
したがって,図17に示すように,改ざん判定領域32においてブロック番号を指定すれば,各特徴抽出フィルタ40(フィルタA,フィルタB)による各判定ブロックBlockの評価値を参照又は取得等することができる。
なお,図17に示す評価値テーブル170は,フィルタAとフィルタBの各判定ブロックBlockの評価値から構成される場合を例に挙げて説明するが,かかる例に限定されず,例えば,評価値テーブル170は,フィルタA,フィルタB,およびフィルタCの各判定ブロックBlockの評価値から構成される場合など,1又は2種以上の特徴抽出フィルタ40の各判定ブロックBlockの評価値から構成されれば,かかる例に限定されない。
次に,図18を参照しながら,第1の実施の形態にかかる評価値テーブルについて説明する。図18は,第1の実施の形態にかかる評価値テーブルの概略的な構成の一例を示す説明図である。なお,図18に示す評価値テーブル170は,図17に示す評価値テーブル170と比較して,図17に示す評価値テーブル170に構成される特徴抽出フィルタ40は,フィルタAとフィルタBの2種類であるが,図18に示す評価値テーブル170に構成される特徴抽出フィルタ40は,フィルタA〜フィルタDの4種類であるため,特徴抽出フィルタ40の種類の点で相違するが,上記以外の点では実質的に同一であるため,詳細な説明は省略する。
なお,図18に示す評価値テーブル170は,フィルタA〜フィルタBの各判定ブロックBlockの評価値から構成される場合を例に挙げて説明するが,かかる例に限定されず,例えば,評価値テーブル170は,フィルタA〜フィルタFの各判定ブロックBlockの評価値から構成される場合など,1又は2種以上の特徴抽出フィルタ40の各判定ブロックBlockの評価値から構成されれば,かかる例に限定されない。
また,第1の実施の形態にかかる各判定ブロックBlockの評価値は,判定ブロックBlock領域内に含む出力値の平均値によって求められる場合を例に挙げて説明したが,かかる例に限定されず,例えば,各判定ブロックBlockの評価値は,フィルタX(Xはフィルタの種類)によるフィルタリング処理結果で得られた出力値に対して,所定の閾値Vxを設定し,判定ブロックBlockの領域内において,そのVxより大きい値を示す出力値のみをピックアップし,ピックアップされたそれらの出力値の平均値を評価値とする場合でもよい。ただし,VxはフィルタXによるフィルタリング処理結果の,改ざん判定領域32全体における平均値などである。
(透かし情報合成部15の動作について)
透かし情報合成部15は,後程詳述する処理方法等により,改ざんされたか否かを判定する際に用いられる改ざん検出データDATAを原画像11に透かしとして埋め込む。なお,改ざん検出データDATAとは以下に示すデータであるとする。
改ざん検出データDATA0:原画像11の大きさ,データサイズなどのヘッダ情報
改ざん検出データDATA1:改ざん判定領域32の領域情報(位置座標など)
改ざん検出データDATA2:評価値テーブル170(画像特徴データ化部14で求めた評価値の一覧)
改ざん検出データDATA3:各判定ブロックBlockの位置情報およびサイズ情報
上記改ざん検出データDATA2の評価値テーブル170は,上記説明した図17又は図18に示す評価値テーブル170をそのまま透かしとして原画像11に埋め込まれてもよいし,特徴抽出フィルタ40ごとに所定値で量子化した後に埋め込まれてもよい。
また,透かし画像出力部10と透かし画像入力部20の間で,改ざん判定領域32における各判定ブロックBlockの位置やサイズ等が予め共通であって,上記位置やサイズ等を求める計算方法が共通である場合,改ざん判定領域32の位置または大きさ等から,判定ブロックBlockの位置や大きさを透かし画像入力部20側で再計算することができるため,改ざん検出データDATA3を省略することができる。したがって,改ざん検出データDATA自体のデータ量が軽減され,透かしとして埋め込む処理等の効率化が図れる。
ここで,図19を参照しながら,透かし情報合成部15の処理について説明する。なお,図19は,透かし情報合成部15の処理の概略的な流れの一例を示すフローチャートである。
図19に示すように,まず,改ざん検出データDATAをN元符号に変換する(ステップS101)。Nは任意であるが,本実施形態では説明を容易にするためN=2とする。従って,ステップS101で生成される符号は2元符号であり,0と1のビット列で表現されるものとする。このステップS101ではデータをそのまま符号化しても良いし,データを暗号化したものを符号化しても良い。
次に,符号語の各シンボルに対して透かし信号を割り当てる(ステップS102)。透かし信号とはドット(黒画素)の配列によって任意の波長と方向を持つ波を表現したものである。透かし信号については,さらに後述する。
さらに,符号化されたデータのビット列に対応する信号ユニットを原画像11上に配置する(ステップS103)。
上記ステップS102において,符号語の各シンボルに対して割り当てる透かし信号について説明する。図20は透かし信号の一例を示す説明図である。
透かし信号の幅と高さをそれぞれSw,Shとする。SwとShは異なっていても良いが,本実施形態では説明を容易にするためSw=Shとする。長さの単位は画素数であり,図20の例ではSw=Sh=12である。これらの信号が紙面に印刷されたときの大きさは,透かし画像の解像度に依存しており,例えば透かし画像が600dpi(dot per inch:解像度の単位であり,1インチ当たりのドット数)の画像であるとしたならば,図20の透かし信号の幅と高さは,印刷文書上で12/600=0.02(インチ)となる。
以下,幅と高さがSw,Shの矩形を1つの信号の単位として「信号ユニット」と称する。図20(1)は,ドット間の距離が水平軸に対してarctan(3)(arctanはtanの逆関数)の方向に密であり,波の伝播方向はarctan(−1/3)である。以下,この信号ユニットをユニットAと称する。図20(2)はドット間の距離が水平軸に対してarctan(−3)の方向に密であり,波の伝播方向はarctan(1/3)である。以下,この信号ユニットをユニットBと称する。
図21は,図20(1)の画素値の変化をarctan(1/3)の方向から見た断面図である。図21において,ドットが配列されている部分が波の最小値の腹(振幅が最大となる点)となり,ドットが配列されていない部分は波の最大値の腹となっている。
また,ドットが密に配列されている領域はそれぞれ1ユニットの中に2つ存在するため,この例では1ユニットあたりの周波数は2となる。波の伝播方向はドットが密に配列されている方向に垂直となるため,ユニットAの波は水平方向に対してarctan(−1/3),ユニットBの波はarctan(1/3)となる。なお,arctan(a)の方向とacrtan(b)の方向が垂直のとき,a×b=−1である。
本実施形態では,ユニットAで表現される透かし信号にシンボル0を割り当て,ユニットBで表現される透かし信号にシンボル1を割り当てる。また,これらをシンボルユニットと称する。
透かし信号には図20(1),(2)で示されるもの以外にも,例えば図22(3)〜(5)で示されるようなドット配列が考えられる。図22(3)は,ドット間の距離が水平軸に対してarctan(1/3)の方向に密であり,波の伝播方向はarctan(−3)である。以下,この信号ユニットをユニットCと称する。
図22(4)は,ドット間の距離が水平軸に対してarctan(−1/3)の方向に密であり,波の伝播方向はarctan(3)である。以下,この信号ユニットをユニットDと称する。図22(5)は,ドット間の距離が水平軸に対してarctan(1)の方向に密であり,波の伝播方向はarctan(−1)である。なお,図22(5)は,ドット間の距離が水平軸に対してarctan(−1)の方向に密であり,波の伝播方向はarctan(1)であると考えることもできる。以下,この信号ユニットをユニットEと称する。
このようにして,先に割り当てた組み合わせ以外にも,シンボル0とシンボル1を割り当てるユニットの組み合わせのパターンが複数考えられるため,どの透かし信号がどのシンボルに割り当てられているかを秘密にして第三者(不正者)が埋め込まれた信号を簡単に解読できないようにすることもできる。
さらに,図19に示したステップS102で,改ざん検出データDATAを4元符号で符号化した場合には,例えば,ユニットAに符号語のシンボル0を,ユニットBにシンボル1を,ユニットCにシンボル2を,ユニットDにシンボル3を割り当てることも可能である
図20,図22に示した透かし信号の一例においては,1ユニット中のドットの数をすべて等しくしているため,これらのユニットを隙間なく並べることにより,見かけの濃淡が均一となる。したがって印刷された紙面上では,単一の濃度を持つグレー画像が背景として埋め込まれているように見える。
このような効果を出すために,例えば,ユニットEを背景ユニット(シンボルが割り当てられていない信号ユニット)と定義し,これを隙間なく並べて原画像11の背景とし,シンボルユニット(ユニットA,ユニットB)を原画像11に埋め込む場合は,埋め込もうとする位置の背景ユニット(ユニットE)とシンボルユニット(ユニットA,ユニットB)とを入れ替える。
図23(1)はユニットEを背景ユニットと定義し,これを隙間なく並べて原画像11の背景とした場合を示す説明図である。図23(2)は図23(1)の背景画像の中にユニットAを埋め込んだ一例を示し,図23(3)は図23(1)の背景画像の中にユニットBを埋め込んだ一例を示している。本実施形態では,背景ユニットを原画像11の背景とする方法について説明するが,シンボルユニットのみを配置することによって原画像11の背景としても良い。
次に,符号語の1シンボルを原画像11に埋め込む方法について,図24を参照しながら説明する。
図24は,原画像11へのシンボル埋め込み方法の一例を示す説明図である。ここでは,例として「0101」というビット列を埋め込む場合について説明する。
図24(1),(2)に示すように,同じシンボルユニットを繰り返し埋め込む。これは文書中の文字が埋め込んだシンボルユニットの上に重なった場合,信号検出時に検出されなくなることを防ぐためであり,シンボルユニットの繰り返し数と配置のパターン(以下,ユニットパターンと称する。)は任意である。
すなわち,ユニットパターンの一例として,図24(1)のように繰り返し数を4(1つのユニットパターン中に4つのシンボルユニットが存在する)にしたり,図24(2)のように繰り返し数を2(1つのユニットパターン中に2つのシンボルユニットが存在する)にしたりすることができ,あるいは,繰り返し数を1(1つのユニットパターン中には1つのシンボルユニットだけが存在する)としてもよい。
また,図24(1),(2)は1つのシンボルユニットに対して1つのシンボルが与えられているが,図24(3)のようにシンボルユニットの配置パターンに対してシンボルを与えても良い。
1ページ分に何ビットの情報量を埋め込むことができるかは,信号ユニットの大きさ,ユニットパターンの大きさ,原画像の大きさに依存する。原画像の水平方向と垂直方向にいくつの信号を埋め込んだかは,既知として信号検出を行っても良いし,入力装置から入力された画像の大きさと信号ユニットの大きさから逆算しても良い。
1ページ分の水平方向にPw個,垂直方向にPh個のユニットパターンが埋め込めるとすると,画像中の任意の位置のユニットパターンをU(x,y),x=1〜Pw,y=1〜Phと表現し,U(x,y)を「ユニットパターン行列」と称することにする。また,1ページに埋め込むことができるビット数を「埋め込みビット数」と称する。埋め込みビット数はPw×Phである。
図25は,改ざん検出データDATAを原画像11に埋め込む方法について示したフローチャートである。ここでは,例えば印刷物として換算すると1枚(1ページ分)の原画像11に,同じ情報を繰り返し埋め込む場合について説明する。同じ情報を繰り返し埋め込むことにより,原画像11と改ざん検出データDATAを重ね合わせたときに1つのユニットパターン全体が塗りつぶされるなどして埋め込み情報が消失するような場合でも,埋め込んだ情報を取り出すことを可能とするためである。
まず,改ざん検出データDATAをN元符号に変換する(ステップS201)。図19のステップS101と同様である。以下では,符号化されたデータをデータ符号と称し,ユニットパターンの組み合わせによりデータ符号を表現したものをデータ符号ユニットDuと称する。
次いで,データ符号の符号長(ここではビット数)と埋め込みビット数から,1枚の画像にデータ符号ユニットを何度繰り返し埋め込むことができるかを計算する(ステップS202)。本実施形態ではデータ符号の符号長データをユニットパターン行列の第1行に挿入するものとする。データ符号の符号長を固定長として符号長データは埋め込まないようにしても良い。
データ符号ユニットを埋め込む回数Dnは,データ符号長をCnとして以下の式で計算される。
Figure 2006157831
ここで剰余をRn(Rn=Cn−(Pw×(Ph−1)))とすると,ユニットパターン行列にはDn回のデータ符号ユニットおよびデータ符号の先頭Rnビット分に相当するユニットパターンを埋め込むことになる。ただし,剰余部分のRnビットは必ずしも埋め込まなくても良い。
図26の説明では,ユニットパターン行列のサイズを9×11(11行9列),データ符号長を12(図中で0〜11の番号がついたものがデータ符号の各符号語を表わす)とする。
次いで,ユニットパターン行列の第1行目に符号長データを埋め込む(ステップS203)。図26の例では符号長を9ビットのデータで表現して1度だけ埋め込んでいる例を説明しているが,ユニットパターン行列の幅Pwが十分大きい場合,データ符号と同様に符号長データを繰り返し埋め込むこともできる。
さらに,ユニットパターン行列の第2行以降に,データ符号ユニットを繰り返し埋め込む(ステップS204)。図26で示すようにデータ符号のMSB(most significant bit)またはLSB(least significant bit)から順に行方向に埋め込む。図26の例ではデータ符号ユニットを7回,およびデータ符号の先頭6ビットを埋め込んでいる例を示している。
データの埋め込み方法は図26のように行方向に連続になるように埋め込んでも良いし,列方向に連続になるように埋め込んでも良い。
以上,透かし情報合成部15における,原画像11と改ざん検出データDATAの重ね合わせについて説明した。
上述のように,透かし情報合成部15は,原画像11と改ざん検出データDATAを重ね合わせる。透かし入り文書画像の各画素の値は,原画像11と改ざん検出データDATAの対応する画素値の論理積演算(AND)によって計算する。すなわち,原画像11と改ざん検出データDATAのどちらかが0(黒)であれば,透かし入り原画像の画素値は0(黒),それ以外は1(白)となる。
図27は,透かし入り文書画像の一例を示す説明図である。図28は,図27の一部を拡大して示した説明図である。ここで,ユニットパターンは図24(1)のパターンを用いている。透かし入り原画像11(出力画像16)は,例えば,透かし情報合成部15のインタフェース(図示せず。)により出力される。
(透かし画像入力部20について)
以降の説明では,出力画像16は紙等の印刷媒体に印刷された後に配布されるものとし,入力画像21はその出力画像16の透かし入りの印刷書面をスキャナ等の入力デバイスにより画像化したものとするが,かかる例に限定されず,出力画像16は印刷されないディジタルデータそのままの場合であってもよい。
また,透かし画像出力部10において,特徴抽出フィルタ40としてフィルタA,フィルタB,フィルタC,およびフィルタDを用いるものとする。特徴抽出フィルタ40としてどのようなフィルタを用いるかは,透かし画像出力部10と透かし画像入力部20の間で既知であるとする。
(透かし情報抽出部22の動作について)
透かし情報抽出部22の処理は,後程詳述する処理方法によって原画像11に埋め込まれた改ざん検出データDATAを抽出し,復元する。この処理により透かし情報抽出部22から出力される透かし情報28(改ざん検出データDATA)は,上記説明した通り,改ざん検出データDATA0,改ざん検出データDATA1,改ざん検出データDATA2,改ざん検出データDATA3である。なお,改ざん検出データDATA3は,上記説明の通り省略可能である。
改ざん検出データDATA2が量子化されている場合は,量子化誤差を含んだデータとなっているため,元の値に復元する。また,改ざん検出データDATA3が記録されていない場合,各判定ブロックBlockの位置とサイズを再計算する。
次に,図29を参照しながら,透かし情報抽出部22の処理について説明する。図29は,透かし情報抽出部22の処理の概略的な流れの一例を示すフローチャートである。
図29に示すように,まず,スキャナなどの入力デバイス31によって透かし入り原画像を計算機のメモリ等に入力する(ステップS301)。この画像を入力画像と称する。入力画像は多値画像であり,以下では256階調のグレイ画像として説明するが,かかる例に限定されず,フルカラー画像などの場合でもよい。また入力画像の解像度(スキャナ等の入力デバイス(図示せず。)で読み込むときの解像度)は,上記透かし画像出力部10で作成した透かし入り原画像と異なっていても良いが,ここでは上記透かし画像出力部10で作成した画像と同じ解像度であるとして説明する。また,1つのユニットパターンが1つのシンボルユニットから構成されている場合について説明する。
<信号検出フィルタリング工程(ステップS310)>
ステップS310では,入力画像21全体に対してフィルタリング処理を行い,フィルタ出力値の計算とフィルタ出力値の比較を行う。フィルタ出力値の計算は,以下に示すガボールフィルタと称されるフィルタを用いて,入力画像21の全画素においてフィルタと画像間のコンボリューションにより計算する。
以下にガボールフィルタG(x,y),x=0〜gw−1,y=0〜gh−1を示す。gw,ghはフィルタのサイズであり,ここでは上記透かし情報埋め込み装置10で埋め込んだ信号ユニットと同じ大きさである。
Figure 2006157831
入力画像中の任意の位置でのフィルタ出力値はフィルタと画像間のコンボリューションにより計算する。ガボールフィルタの場合は実数フィルタと虚数フィルタ(虚数フィルタは実数フィルタと半波長分位相がずれたフィルタ)が存在するため,それらの2乗平均値をフィルタ出力値とする。例えば,ある画素(x,y)における輝度値とフィルタAの実数フィルタとのコンボリューションがRc,虚数フィルタとのコンボリューションがIcであったとすると,フィルタ出力値F(A,x,y)は以下の式で計算する。
Figure 2006157831
上記のように各信号ユニットに対応するすべてのフィルタに対してフィルタ出力値を計算した後,各画素において上記のように計算したフィルタ出力値を比較し,その最大値F(x,y)をフィルタ出力値行列として記憶する。また,値が最大であるフィルタに対応する信号ユニットの番号をフィルタ種類行列として記憶する(図30)。具体的には,ある画素(x,y)において,F(A,x,y)>F(B,x,y)の場合には,フィルタ出力値行列の(x,y)の値としてF(A,x,y)を設定し,フィルタ種類行列の(x,y)の値として信号ユニットAを示す「0」を設定する(本実施形態では,信号ユニットA,Bの番号を「0」,「1」としている)。
なお,本実施形態ではフィルタの個数が2つであるが,フィルタの個数がそれより多い場合も,同様に複数のフィルタ出力値の最大値とその際のフィルタに対応する信号ユニット番号を記憶すればよい。
<信号位置探索工程(ステップS320)>
ステップS320では,ステップS310で得られたフィルタ出力値行列を用いて,信号ユニットの位置を決定する。具体的には,まず,信号ユニットの大きさがSh×Swで構成されていたとすると,格子点の垂直方向の間隔がSh,水平方向の間隔がSw,格子点の個数がNh×Nwの信号位置探索テンプレートを作成する(図31)。そのように作成したテンプレートの大きさは,Th(Sh*Nh)×Tw(Sw*Nw)となるが,Nh,Nwには信号ユニット位置を探索するために最適な値を用いればよい。
次に,フィルタ出力値行列をテンプレートの大きさごとに分割する。さらに,各分割領域で,隣接する領域の信号ユニットに重複しない範囲(水平方向±Sw/2,垂直方向±Sh/2,)でテンプレートをフィルタ出力値行列上で画素単位に移動させながら,テンプレート格子点上のフィルタ出力値行列値F(x,y)の総和Vを以下の式を用いて求め(図31),その総和が一番大きいテンプレートの格子点をその領域の信号ユニットの位置とする。
Figure 2006157831
上記の例は,ステップS310で全画素に対して,フィルタ出力値を求めた場合であり,フィルタリングを行う際,ある一定間隔の画素に対してのみフィルタリングを行うこともできる。例えば,2画素おきにフィルタリングを行った場合は,上記の信号位置探索テンプレートの格子点の間隔も1/2とすればよい。
<信号シンボル決定工程(ステップS330)>
ステップS330では,ステップS320で決定した信号ユニット位置のフィルタ種類行列の値(フィルタに対応した信号ユニット番号)を参照することで,信号ユニットがAかBを決定する。
上記のようにして,決定した信号ユニットの判定結果をシンボル行列として記憶する。
<信号境界決定工程(ステップS340)>
ステップS320では,信号ユニットが埋め込まれているかにかかわらず,画像全面に対してフィルタリング処理を行っているので,どの部分に信号ユニットが埋め込まれていたかを決定する必要がある。そこで,ステップS340では,シンボル行列からあらかじめ信号ユニットを埋め込む際に決めておいたパターンを探索することで信号境界を求める。
例えば信号ユニットが埋め込まれている境界には,必ず信号ユニットAを埋め込むとしておけば,ステップS330で決定したシンボル行列の横方向に信号ユニットAの数を計数し,中心から上下にそれぞれ,信号ユニットAの個数が一番多い位置を信号境界の上端/下端とする。図32の例では,シンボル行列における信号ユニットAは「黒」(値でいうと「0」)で表現されているので,シンボル行列の黒画素数を計数することで,信号ユニットAの数を計数することができ,その度数分布により,信号境界の上端/下端を求めることができる。左端/右端もユニットAの個数を計数する方向が異なるだけで,同じように求めることができる。
信号境界を求めるためには上記方法に限らず,シンボル行列から探索することができるパターンをあらかじめ埋め込み側と検出側で決めておくだけでよい。
再び,図29のフローチャートに戻り,以降のステップS305について説明する。ステップS305では,シンボル行列のうち,信号境界内部に相当する部分から元の情報を復元する。なお,本実施形態では,1つのユニットパターンは1つのシンボルユニットで構成されているので,ユニットパターン行列は,シンボル行列と等価になる。
<情報復号工程(ステップS305)>
図33は情報復元の一例を示す説明図である。情報復元のステップは以下の通りである。
(1)各ユニットパターンに埋め込まれているシンボルを検出する(図33(1))。
(2)シンボルを連結してデータ符号を復元する(図33(2))。
(3)データ符号を復号して埋め込まれた情報を取り出す(図33(3))。
図34〜図36はデータ符号の復元方法の一例を示す説明図である。復元方法は基本的に図26の逆の処理となる。
まず,ユニットパターン行列の第1行から符号長データ部分を取り出して,埋め込まれたデータ符号の符号長を得る(ステップS401)。
次いで,ユニットパターン行列のサイズとステップS401で得たデータ符号の符号長をもとに,データ符号ユニットを埋め込んだ回数Dnおよび剰余Rnを計算する(ステップS402)。
次いで,ユニットパターン行列の2行目以降からステップS203と逆の方法でデータ符号ユニットを取り出す(ステップS403)。図35の例ではU(1,2)(2行1列)から順に12個のパターンユニットごとに分解する(U(1,2)〜U(3,3),U(4,3)〜U(6,4),・・・)。Dn=7,Rn=6であるため,12個のパターンユニット(データ符号ユニット)は7回取り出され,剰余として6個(データ符号ユニットの上位6個に相当する)のユニットパターン(U(4,11)〜U(9,11))が取り出される。
次いで,ステップS403で取り出したデータ符号ユニットに対してビット確信度演算を行うことにより,埋め込んだデータ符号を再構成する(ステップS404)。以下,ビット確信度演算について説明する。
図36のようにユニットパターン行列の2行1列目から最初に取り出されたデ−外符号ユニットをDu(1,1)〜Du(12,1)とし,順次Du(1,2)〜Du(12,2),・・・,と表記する。また,剰余部分はDu(1,8)〜Du(6,8)とする。ビット確信度演算は各データ符号ユニットの要素ごとに多数決を取るなどして,データ符号の各シンボルの値を決定することである。これにより,例えば,文字領域との重なりや紙面の汚れなどが原因で,任意のデータ符号ユニット中の任意のユニットから正しく信号検出を行えなかった場合(ビット反転エラーなど)でも,最終的に正しくデータ符号を復元することができる。
具体的には例えばデータ符号の1ビット目は,Du(1,1),Du(1,2),・・・,Du(1,8)の信号検出結果が1である方が多い場合には1と判定し,0である方が多い場合には0と判定する。同様にデータ符号の2ビット目はDu(2,1),Du(2,2),・・・,Du(2,8)の信号検出結果による多数決によって判定し,データ符号の12ビット目はDu(12,1),Du(12,2),・・・,Du(12,7)(Du(12,8)は存在しないためDu(12,7)までとなる)の信号検出結果による多数決によって判定する。
ここではデータ符号を繰り返し埋め込む場合について説明したが,データを符号化する際に誤り訂正符号などを用いることにより,データ符号ユニットの繰り返しを行わないような方法も実現できる。
以上説明したように,入力画像21全面にフィルタリング処理を施し,信号位置探索テンプレートを用いて,フィルタ出力値の総和が最大になるように,信号ユニットの位置を求めることができるので,用紙のゆがみなどにより画像が伸縮していたりする場合にでも,信号ユニットの位置を正しく検出でき,透かし入り原画像(入力画像21)から正確に改ざん検出データDATAを検出することができる。
(画像変形部23の動作について)
画像変形部23では,後程詳述する画像補正処理などの方法により,入力画像21の歪みなどを補正し,図3に示す原画像11の基準座標31を原点とし,サイズが透かし領域30に等しい二値化済みの補正画像29を作成する。
ここで,図37を参照しながら,画像変形部23の処理について説明する。なお,図37は画像変形部23のフローチャートである。以下,このフローチャートに従って説明を行う。
<信号ユニットの位置検出(ステップS610)>
図38は第1の実施形態で検出された信号ユニット位置を入力画像(透かし入り原画像11)21上に表示したものである。図38において,信号ユニットをU(x,y),x=1〜Wu,y=1〜Huと表記する。U(1,y)〜U(Wu,y)は同じ行にある信号ユニット(図38の符号710)とし,U(x,1)〜U(x,Hu)は同じ列にある信号ユニット(図38の符号720)とする。U(1,y)〜U(Wu,y)およびU(x,1)〜U(x,Hu)などは,実際には同じ直線上には並んでおらず,微小に上下左右にずれている。
また信号ユニットU(x,y)の入力画像上の座標値Pを(Px(x,y),Py(x,y)),x=1〜Wu,y=1〜Huと表記する(図38の符号730,740,750,760)。ただし入力画像に対して縦横N画素おき(Nは自然数)にフィルタリングを行うものとする。このフィルタリングについては,第1の実施形態の<信号位置探索工程(ステップS320)>と同様に行う。Pは信号出力値行列における各信号ユニットの座標値を単純に縦横N倍した値である。
<信号ユニット位置の直線近似(ステップS620)>
信号ユニットの位置を行方向,列方向に直線で近似する。図39は行方向の直線近似の例である。図39において,同じ行にある信号ユニットU(1,y)〜U(Wu,y)の位置を直線Lh(y)で近似している。近似直線は,各信号ユニットの位置と直線Lh(y)との距離の総和が最も小さくなるような直線である。このような直線は,例えば最小二乗法や主成分分析などの一般的手法によって求めることができる。行方向の直線近似はすべての行について行い,同様にして列方向の直線近似をすべての列について行う。
図40は行方向,列方向に直線近似を行った結果の例である。図40において,信号ユニットをU(x,y),x=1〜Wu,y=1〜Huと表記する。Lh(y)はU(1,y)〜U(Wu,y)を近似した直線(図40の符号810)であり,Lv(x)はU(x,1)〜U(x,Hu)を近似した直線(図40の符号820)である。
<直線の均等化(ステップS630)>
ステップS620で近似した直線は,検出された信号ユニットの位置が,ある程度まとまってずれているなどの理由により,個別に見ると直線の傾きや位置が均等ではない。そこで,ステップS630では,個々の直線の傾きや位置を補正して均等化を行う。
図41は行方向の近似直線Lh(y)の傾きを補正する例である。図41(a)は補正前であり,図41(b)は補正後である。図41(a)におけるLh(y)の傾きをTh(y)としたとき,Lh(y)の傾きはLh(y)の近傍の直線の傾きの平均値となるように補正する。具体的には,Th(y)=AVERAGE(Th(y−Nh)〜Th(y+Nh))とする。ただし,AVERAGE(A〜B)はA〜Bまでの平均値を計算する計算式とし,Nhは任意の自然数とする。y−Nh<1の場合はTh(y)=AVERAGE(Th(1)〜Th(y+Nh))とし,y+Nh>Huの場合はTh(y)=AVERAGE(Th(y−Nh)〜Th(Hu))とする。図41はNhを1としたときの例であり,図41(b)はLh(y)がLh(y−1)〜Lh(y+1)の直線の傾きの平均値によって補正されている例を示している。
図42は行方向の近似直線Lh(y)の位置を補正する例である。図42(a)は補正前であり,図42(b)は補正後である。図42(a)について,垂直方向に任意の基準直線1130を設定し,この直線とLh(y)との交点のy座標をQ(y)としたとき,Q(y)がLh(y)の近傍の直線位置の平均となるように補正する。具体的には,Q(y)=AVERAGE(Q(y−Mh)〜Q(y+Mh))とする。ただしMhは任意の自然数とする。y−Mh<1またはy+Mh>Huの場合は変更を行わないものとする。図42はMhを1としたときの例であり,図42(b)はLh(y)がLh(y−1)とLh(y+1)の直線の位置の中点(平均)によって補正されている例を示している。なお,この処理は省略可能である。
<直線の交点計算(ステップS640)>
行方向の近似直線と列方向の近似直線の交点を計算する。図43は行方向の近似直線Lh(1)〜Lh(Hu)と,列方向の近似直線Lv(1)〜Lv(Wu)の交点を計算した例である。交点の計算は一般的な数学的手法で行う。ここで計算した交点を補正後の信号ユニット位置とする。すなわち,行方向の近似直線Lh(y)と列方向の近似直線Lv(x)の交点を,信号ユニットU(x,y)の補正後の位置(Rx(x,y),Ry(x,y))とする。例えば信号ユニットU(1,1)の補正後の位置は,Lh(1)とLv(1)の交点とする。
<補正画像作成(ステップS650)>
ステップS640により計算した信号ユニット位置を参照して,入力画像から補正画像を作成する。ここでは透かし画像出力部10で出力した透かし入り原画像を印刷する際の解像度をDoutとし,透かし画像入力部20に入力する入力画像21を取得する際の解像度をDinとする。また補正画像29の大きさは,入力画像21と同じ倍率であるとする。
透かし画像出力部10において信号ユニットの大きさが幅Sw,高さShであるとすると,入力画像21における信号ユニットは幅Tw=Sw×Din/Dout,高さはTh=Sh×Din/Doutとなる。したがって,信号ユニットの数が横方向にWu個,縦方向にHu個である場合には,補正画像29のサイズは幅Wm=Tw×Wu,高さHm=Th×Huとなる。また,補正画像29における任意の信号ユニットU(x,y)の位置を(Sx(x,y),Sy(x,y))とすると,信号ユニットが均等に並ぶように補正画像29を作るため,Sx=Tw×x,Sy=Th×yが成り立つ。なお,最も左上の信号ユニットU(1,1)の位置は(0,0)であり,これが補正画像29の原点となる。
補正画像上の任意の位置(Xm,Ym)の画素値Vmは,入力画像上の座標(Xi,Yi)の画素値Viにより求める。図44はこれらの座標の対応例であり,図44(a)は入力画像1310(入力画像21)を,図44(b)は補正画像1320(補正画像29)を示している。この図を用いて(Xm,Ym)と(Xi,Yi)の関係を説明する。
図44(b)の補正画像1320において,(Xm,Ym)を中心としてみたときの左上,右上,左下の領域で,最も近い信号ユニットをそれぞれU(x,y)(座標値は(Sx(x,y),Sy(x,y)),1360),U(x+1,y)(1370),U(x,y+1)(1380)とし,それらとの距離をそれぞれE1,E2,E3とする(具体的には,xはXm/Tw+1を超えない最小の整数,yはXm/Tw+1を超えない最小の整数)。このとき,図44(a)の入力画像1310におけるU(x,y)(座標値は(Rx(x,y),Ry(x,y)),1330),U(x+1,y)(1340),U(x,y+1)(1350)と(Xi,Yi)との距離がそれぞれD1,D2,D3であって,D1〜D3の比D1:D2:D3がE1:E2:E3と等しいときに(Xm,Ym)の画素値Vmは,入力画像1310上の座標(Xi,Yi)の画素値Viにより求める。
図45はこのような(Xi,Yi)の具体的な計算方法を示している。図45(a)の符号1430は(Xm,Ym)をU(x,y)とU(x+1,y)を結ぶ直線上に射影した点でFx=Xm−Sx(x,y)である。また,符号1440は(Xm,Ym)をU(x,y)とU(x,y+1)を結ぶ直線上に射影した点でFy=Ym−Sy(x,y)である。同様に,図45(b)の符号1450は(Xm,Ym)をU(x,y)とU(x+1,y)を結ぶ直線上に射影した点でGx=Xm−Sx(x,y)である。同様に,符号1460は(Xm,Ym)をU(x,y)とU(x,y+1)を結ぶ直線上に射影した点でGy=Ym−Sy(x,y)である。このとき,図45(a)の入力画像1410におけるFxは,Fx/(Rx(x+1,y)−Rx(x,y))=Ex/Twより,Fx=Ex/Tw×(Rx(x+1,y)−Rx(x,y))となる。同様に,Fy=Ey/Th×(Ry(x,y+1)−Ry(x,y))となる。これより,Xi=Fx+Rx(x,y),Yi=Fy+Ry(x,y)となる。
以上により,図45(b)の補正画像1420上の任意の点(Xm,Ym)の画素値には,入力画像上の点(Xi,Yi)の画素値をセットする。ただし,(Xi,Yi)は一般的に実数値であるため,入力画像上で(Xi,Yi)に最も近い座標における画素値とするか,その近傍4画素の画素値とそれらとの距離の比から画素値を計算する。
以上,画像変形部23の動作について説明した。
以上説明したように,本実施形態によれば,印刷時に埋め込んだ信号の位置情報を元に,印刷書面を取り込んだ画像を補正するため,印刷物から取り込んだ画像から印刷前の画像を歪みや伸び縮みなく復元できるので,それらの画像間の位置の対応付けを高精度で行うことができ,さらには高性能の改ざん検出を行うことができる。
(画像特徴抽出部24〜画像特徴データ化部26の動作について)
次に,画像変形部22によって入力画像21が補正された補正画像29が出力されると,画像特徴抽出部24は,補正画像29に対して画像特徴を示し,改ざんの有無を判定するための比較出力値を出力する。なお,比較出力値を出力する方法については,上記画像特徴抽出部12において説明したのと実質的に同様であるため詳細な説明は省略する。
上記画像特徴抽出部24と同じように,領域分割処理部25と画像特徴データ化部26についても,上記領域分割処理部13及び画像特徴データ化部14において説明したのと実質的に同様であるため詳細な説明は省略する。なお,画像特徴データ化部26で出力される比較評価値は,補正画像29に対する各判定ブロックBlockの画像特徴データである。
(改ざん判定部27の動作について)
ここで,上記説明した通り,透かし情報28(改ざん検出データDATA)に含まれる改ざん検出データDATA2において,判定ブロックBlock(n)のフィルタXによる評価値をBw(X,n)とする(XはA,B,C,またはDのうちいずれか,nは0〜Bn−1)。
また,上記画像特徴データ化部26が計算し,改ざん判定部27に出力する比較評価値をBd(X,n)と表記する。さらに,Bw(X,n)とBd(X,n)の差の絶対値をDf(X,n)と表記すると,以下に示す式になる。
Df(X,n)=|Bw(X,n)−Bd(X,n)|…(式1)
このとき,改ざん判定部27は,各判定ブロックBlockの評価値と比較評価値との絶対値の差(Df(X,n))を計算し,さらに改ざん判定部27は,そのDf(X,n)が以下に示す“判定基準1”〜“判定基準4”のいずれかを満たす場合,入力画像21の判定ブロックBlock(n)に相当する位置に改ざんがあったとみなす。
(判定基準1):Df(A,n)>T
(判定基準2):Df(B,n)>T
(判定基準3):Df(C,n)>T
(判定基準4):Df(D,n)>T
なお,上記判定基準1は,フィルタAにおける評価値と比較評価値との絶対値の差がTよりも大きいことを示し,上記判定基準2は,フィルタBにおける評価値と比較評価値との絶対値の差がTよりも大きいことを示し,上記判定基準3は,フィルタCにおける評価値と比較評価値との絶対値の差がTよりも大きいことを示し,上記判定基準4は,フィルタDにおける評価値と比較評価値との絶対値の差がTよりも大きいことを示している。
ここで,図46〜図49を参照しながら,改ざん判定部27による改ざんされたか否かを判定する判定処理について説明する。図46〜図49は,改ざん判定部27による改ざん判定処理の概略の一例を示す説明図である。なお,図46〜図49は原画像11の改ざん判定領域32内の画像領域190−1に存在した“X”という文字が入力画像21の改ざん判定領域32内の画像領域190−2で“L”という文字に書き換えられた場合の改ざん判定処理について説明した図である。
図46に示すように,原画像11の改ざん判定領域32内の画像領域190−1に“X”という文字に対して特徴抽出フィルタ40のフィルタA〜フィルタDによるフィルタリング処理が行われた結果が示されている。
図46に示す画像領域190a−1は,画像領域190−1についてフィルタAによるフィルタリング処理結果であり,画像領域190b−1は,画像領域190−1についてフィルタBによるフィルタリング処理結果であり,画像領域190c−1は,画像領域190−1についてフィルタCによるフィルタリング処理結果であり,画像領域190d−1は,画像領域190−1についてフィルタDによるフィルタリング処理結果を示している。
“X”という文字は右斜め上方向の直線と左斜め上方向の直線とから主に構成されているため,図46の画像領域190a−1と画像領域190b−1に示すように,水平方向と垂直方向の直線に対する反応が弱く,画像領域190c−1と画像領域190d−1に示すように,斜め方向の直線に対する反応は強い。
図47は,上記“X”文字を含んだ画像領域190−1を複数の判定ブロックBlockに分割した場合の概略的な構成の一例を示す説明図である。図47に示すように,特に,画像領域190c−1の判定ブロックBlock(M)と判定ブロックBlock(N+1)の評価値(Bw(C,M),Bw(C,N+1))や,画像領域190d−1の判定ブロックBlock(M+1)と,判定ブロックBlock(N)と,判定ブロックBlock(N+1)との評価値(Bw(D,M+1),Bw(D,N),Bw(D,N+1))などが特に大きい値となり,それ以外の評価値は小さな値となる。
次に,図48には,改ざん判定領域32の画像領域190−1に含まれていた“X”という文字と同じ位置(画像領域190−2)に対して上記フィルタA〜フィルタDによるフィルタリング処理を行った結果の一例を示している。なお,何らかの行為により,入力画像21において“X”が“L”という文字に置き換えられているものとする。
画像領域190a−2は,画像領域190−2にフィルタAでフィルタリング処理した結果を示し,画像領域190b−2は,画像領域190−2にフィルタBでフィルタリング処理した結果を示し,画像領域190c−2は,画像領域190−2にフィルタCでフィルタリング処理した結果を示し,画像領域190d−2は,画像領域190−2にフィルタDでフィルタリング処理した結果を示している。
“L”という文字は,垂直方向の直線と水平方向の直線とから主に構成されているため,図48の画像領域190a−2と画像領域190b−2に示すように,水平方向と垂直方向の直線に対する反応が強く,画像領域190c−1と画像領域190d−2に示すように,斜め方向の直線に対する反応は弱い。
図49は,上記文字“L”を含んだ画像領域190−2を複数の判定ブロックBlockに分割した場合の概略的な構成の一例を示す説明図である。図49に示すように,特に,画像領域190a−2の判定ブロックBlock(M+1)と,判定ブロックBlock(N+1)の評価値(Bd(A,M+1),Bd(A,N+1))や,画像領域190b−2の判定ブロックBlock(N)と,判定ブロックBlock(N+1)の比較評価値(Bd(B,N),Bd(B,N+1))などが特に大きい値となり,それ以外の評価値は小さな値となる。
改ざん判定部27は,例えば,図47と図49に示す各判定ブロックBlockの評価値及び比較評価値に基づいて,改ざんされたか否かの判定処理を行う。
改ざん判定部27は,例えば,図47に示す原画像11の改ざん判定領域32内の判定ブロックBlockの評価値の方が,原画像11の判定ブロックBlockに対応する図49に示す入力画像21の判定ブロックBlockの比較評価値よりも大きい場合の評価値のペア(Bw(C,M)とBd(C,M))の差分である絶対値Df(C,M)や,Bw(C,N+1)とBd(C,N+1)の差分の絶対値Df(C,N+1)などが閾値Tcを超えるため,判定ブロックBlock(M),判定ブロックBlock(N+1)などに相当する位置に改ざんがあったと判定することができる。
同様に,改ざん判定部27は,例えば,図47に示す原画像11の判定ブロックBlockの評価値の方が,入力画像21の判定ブロックBlockの比較評価値よりも小さい場合の評価値・比較評価値ペア(Bw(A,M+1),Bd(A,M+1))の差分である絶対値Df(A,M+1)や,評価値・比較評価値ペア(Bw(A,N+1),Bd(A,N+1))の差分の絶対値Df(A,N+1)などが閾値Taをこえるため,判定ブロックBlock(M+1),判定ブロックBlock(N+1)などに相当する位置に改ざんがあったと判定することができる。
なお,上記説明した判定基準1〜判定基準4からなる判断基準に,以下に示す判定基準5の式を,さらに追加してもよいし,以下に示す“判定基準5”のみからなる判断基準の場合でも実施可能である。
(判定基準5):C×Df(A,n)+C×Df(B,n)+C×Df(C,n)+C×Df(D,n)>Tall…(式2)
ただし,上記“判定基準5”において,C〜Cは任意の定数である。また,C〜Cがすべて1の場合,上記判定基準5はDf(A,n)〜Df(D,n)の単純な和に対する判定基準となる。
また,あるブロックαの差分の絶対値の組(Df(A,α),Df(B,α),Df(C,α),Df(D,α))を,要素数が4つのベクトル(四次元ベクトル)とみなし(これを差分ベクトルと呼ぶ),サンプル画像により原画像11と入力画像21の間で改ざんのない判定ブロックBlockの評価値と比較評価値の差分Df(X,n),および改ざんのある判定ブロックBlockの評価値と比較評価値の差分Df(X,n)のサンプルデータを取得し,さらに改ざんのない場合と改ざんのある場合の差分ベクトルの分布を計算し,この分布の第1主成分を示す主軸を計算した後,C〜Cを各差分ベクトルを主軸へ写像するための係数としてもよい。
また,判定ブロックBlock(n)の近傍領域に含まれる判定ブロックBlock(n+Δn)から,Df(X,n)の値を以下に示す式から求める場合でもよい。
Df(X,n)=MAX{|Bw(X,n+Δn)−Bd(X,n+Δn)|}…(式3)
ただし,MAX{}はすべてのΔnに対する|Bw(X,n+Δn)−Bd(X,n+Δn)|の最大値である。
以上から,第1の実施の形態にかかる透かし画像出力部10と透かし画像入力部20の説明を終了する。上記透かし画像出力部10又は透かし画像入力部20によって,印刷された書面に対する改ざんの有無を自動的に判別することができる。
(第2の実施の形態について)
次に,第2の実施の形態にかかる改ざん検出装置では,例えば,文書画像中の文字領域の特徴データのみを透かし情報とすることによって,データ量を削減することを目的としている。なお,第2の実施の形態にかかる改ざん検出装置の説明では,第1の実施の形態にかかる改ざん検出装置との相違点について特に詳細に説明し,その他の点については実質的に同様であるため省略する。
まず,図50を参照しながら,第2の実施の形態にかかる改ざん検出装置に備わる透かし画像出力部1010について説明する。なお,図50は,第2の実施の形態にかかる透かし画像出力部1010の概略的な構成の一例を示すブロック図である。
図50に示すように,第2の実施の形態にかかる透かし画像出力部1010と第1の実施の形態にかかる透かし画像出力部10とが相違する点は,第2の実施の形態に係る透かし画像出力部1010に文字領域抽出部1017が,さらに追加された点である。
上記文字領域抽出部1017は,原画像1011から文字領域を抽出する。なお,第2の実施の形態にかかる原画像1011は,文書作成ツール等により作成された文書画像である。
領域分割処理部1013は,上記文字領域抽出部1017で抽出された文字領域を任意の大きさのブロックに分割する。上記文字領域が分割されると,文字領域は複数の判定ブロックBlockから構成される。
次に,図51を参照しながら,第2の実施の形態にかかる改ざん検出装置に備わる透かし画像入力部1020について説明する。なお,図24は,第2の実施の形態にかかる透かし画像入力部の概略的な構成の一例を示すブロック図である。
図51に示すように,第2の実施の形態にかかる透かし画像入力1020は,第1の実施の形態にかかる透かし画像入力部20に備わる各部の構成と実質的に同様であるため,詳細な説明を省略する。なお,第2の実施の形態にかかる改ざん検出装置には上記透かし画像出力部1010及び/又は透かし画像入力部1020が備わる。
(第2の実施の形態に係る改ざん検出装置に備わる各部の動作について)
次に,図52および図53を参照しながら,第2の実施の形態にかかる透かし画像出力部1010による処理について説明する。図52は,第2の実施の形態にかかる文字領域を抽出する抽出処理の概略の一例を示す説明図であり,図53は,第2の実施の形態にかかる文字領域を分割する分割処理の概略の一例を示す説明図である。
なお,以降の説明では,第1の実施の形態と相違する相違点について説明し,その他の点については,実質的に同様であるため,詳細な説明は省略する。
まず,文字領域抽出部1017は,原画像1011の画像領域のうち,改ざん判定領域32に対して文字領域1251を識別し,改ざん判定領域32から文字領域1251を抽出する。
文字領域抽出部1017が上記文字領域1251を抽出すると,図52に示すように,改ざん判定領域32のうち文字である部分だけが認識され,文字領域1251(1251a,1251b,1251c)として抽出されている。
なお,図52に示す文字領域1251には,横書きの文字が含まれている場合を例に挙げて説明しているが,かかる例に限定されず,例えば,文字領域1251には,縦書きの文字が含まれる場合等でも実施可能である。上記の場合,その文字領域1251に含まれる文字を90度回転することで,横書きの場合と同じように後続処理を実行することができる。
ここで,文字領域抽出部1017の文字領域抽出処理について説明すると,まず文字領域抽出部1017は,改ざん判定領域32のうち黒画素からなる領域(黒画素領域)に対して膨張処理を実行する。なお,膨張処理については一般的に用いられる画像処理によって行われる。
次に,文字領域抽出部1017は,膨張処理が行われた文字領域に対して,ラベル付けを実行し,1文字又は2文字等の各文字を囲む最小矩形からなる文字領域を,まず抽出する。なお,ラベル付けは,連続的に集まった黒画素の集合を1つのグループとして定義付ける,いわゆる黒画素のグルーピング処理である。上記ラベル付けすることで,1文字または2文字からなる最小矩形からなる文字領域を抽出することができる。
また,文字領域抽出部1017が,膨張処理を行うのは,上記ラベル付け処理を効率化するためであり,かかる膨張処理によって,ラベル付け処理の処理時間を短縮することができる。
次に,文字領域抽出部1017は,ラベル付けを行った最小矩形からなる文字領域の存在位置を把握し,その文字領域の左右に存在する最小矩形からなる文字領域同士を結合させる。その結果,文字領域抽出部1017は,複数文字が含まれる文字領域1251を抽出することができる。なお,上記結合処理の結果,文字領域1251には,1文字だけの文字が含まれる場合もあり得る。
なお,第2の実施の形態にかかる文字領域抽出部1017は,文字領域1251を抽出する際に,改ざん判定領域32には,文字以外,直線等,特に存在しない場合を例に挙げて説明したが,かかる例に限定されず,例えば,水平方向又は垂直方向の罫線が改ざん判定領域32に存在する場合であっても,実施可能である。上記の場合,改ざん判定領域32を含む原稿画像11に存在する罫線を除去した後,文字領域の抽出を行う。
また,上記文字領域抽出部1017による文字領域1251が抽出された後の処理については,第1の実施の形態にかかる透かし画像出力部10の処理と,ほぼ同様であるため詳細な説明は省略する。
なお,画像特徴抽出部1012による出力値を出力するためのフィルタリング処理では,第1の実施の形態にかかる画像特徴抽出部12と同様に,改ざん判定領域32の全体についてフィルタリング処理を実行してもよいし,または処理時間短縮を目的として,文字領域抽出部1017で抽出された文字領域1251についてのみフィルタリング処理を実行してもよい。
(領域分割処理部1013の動作について)
次に,図53に示すように,領域分割処理部1013は,文字領域抽出部1017によって抽出された文字領域1251に対して,判定ブロックBlock単位に分割処理を実行する。したがって,文字領域1251には,1又は2以上の判定ブロックBlockが存在する。
図53に示すように,文字領域1251は,まず上下に2つに分割し,さらに水平方向にn分割されている。したがって,判定ブロックBlockの高さは,文字領域1251を縦方向に2分割した値であり,文字領域1251ごとに異なる。また,判定ブロックBlockの幅は予め定められた固定値としているが,かかる例に限定されず,例えば,判定ブロックBlockの幅を,文字領域1251を水平方向にN分割した値に動的に変更する場合でもよいし,または幅,高さ共に予め定められた固定値の場合でもよい。
上記領域分割処理部1013によって文字領域1251が分割されると,画像特徴データ化部(第1の画像特徴評価部)1014によって,フィルタリング処理が実行され,出力値が生成される。なお,第2の実施の形態にかかる画像特徴データ化部1014の処理は,第1の実施の形態にかかる画像特徴データ化部14と実質的に同様であるため,詳細な説明は省略する。
(透かし情報合成部1015の動作について)
次に,透かし情報合成部1015は,第1の実施の形態にかかる改ざん検出データDATAに含まれる改ざん検出データDATA0〜DATA3に加え,さらに以下に示す改ざん検出データDATA4が改ざん検出データDATAに含まれる。
DATA4:文字領域の位置情報およびサイズ情報
なお,上記改ざん検出データDATA4の他にも,例えば,文字領域抽出部1017において,罫線を除去する処理が行われた場合等には,改ざん検出データDATAに,改ざん検出データDATA5を,さらに追加する。
DATA5:罫線領域(罫線がひかれた個所)を特定ための位置情報およびサイズ情報
(透かし画像入力部1020について)
第2の実施の形態にかかる透かし画像入力部1020は,第1の実施の形態にかかる透かし画像入力部20とほぼ同様の構成であるため詳細な説明は省略する。なお,画像変形部1023については,透かし情報1028(改ざん検出データDATA)に改ざん検出データDATA5(罫線領域情報)が含まれている場合,画像変形部1023は,原画像11の画像領域のうち罫線領域のみを除去する。
上記画像領域のうち罫線領域の除去については,例えば,画像変形部1023は,画像領域の水平方向又は垂直方向に走査しながら,黒画素が連続的に存在する個所を検索する。上記黒画素が所定値以上連続して検出した場合,上記黒画素の存在する領域を罫線領域であると判断する。さらに画像変形部1023は,その黒画素を白画素に変更することで,上記罫線領域を除去する。
さらに,領域分割処理部1025については透かし情報1028に改ざん検出データDATA3が格納されていない場合,領域分割処理部1025は,改ざん検出データDATA4を取得し,その改ざん検出データDATA4が示す文字領域情報に基づき判定ブロックBlockの位置とサイズを再計算する。
以上で,第2の実施の形態にかかる透かし画像出力部1010又は透かし画像入力部1020の一連の動作についての説明は終了する。かかる処理によって,特に入力画像1201として文書画像中に存在する文字領域1251に係る評価値のみを透かし情報として,原画像1021に埋め込むことができる。したがって,改ざん判定領域32よりも文字領域1251の方が狭いため,第1の実施の形態にかかる効果に加えて,原画像1021に埋め込む必要がある透かし情報のデータ量を削減することができる。
以上,添付図面を参照しながら本発明の好適な実施形態について説明したが,本発明はかかる例に限定されない。当業者であれば,特許請求の範囲に記載された技術的思想の範疇内において各種の変更例または修正例を想定し得ることは明らかであり,それらについても当然に本発明の技術的範囲に属するものと了解される。
また,本実施形態においては,透かし情報が埋め込まれた入力画像21を紙などの印刷物に印刷し,その印刷書面をスキャナ等のインタフェースから取り込んだ画像を用いて改ざんの判定を行う場合を例に挙げて説明したが,かかる例に限定されない。例えば,入力画像21を印刷せず,そのまま改ざんの判定を行う場合等でも実施可能である。
本発明は,文書画像等の改ざんを検出することが可能な改ざん検出装置,透かし入り画像入力装置,透かし入り画像出力装置,および検索情報提供システムに適用可能である。
透かし画像出力部の概略的な構成を示すブロック図である。 透かし画像入力部の概略的な構成を示すブロック図である。 本実施の形態にかかる原画像の概略的な構成の一例を示す説明図である。 画像特徴抽出に用いる特徴抽出フィルタの概略的な構成の一例を示す説明図である。 画像特徴抽出に用いる特徴抽出フィルタの概略的な構成の一例を示す説明図である。 画像特徴抽出に用いる特徴抽出フィルタの概略的な構成の一例を示す説明図である。 画像特徴抽出に用いる特徴抽出フィルタの概略的な構成の一例を示す説明図である。 フィルタAを特徴抽出用フィルタとして選択した場合のフィルタリング処理の概略の一例を示す説明図である。 フィルタAによるフィルタリング処理の概略的な結果の一例を示す説明図である。 フィルタBによるフィルタリング処理の概略的な結果の一例を示す説明図である。 改ざん判定領域を判定ブロック単位に分割した場合の改ざん判定領域の概略的な構成を示す説明図である。 改ざん判定領域が複数存在する場合の原画像の概略的な構成の一例を示す説明図である。 図12に示す各改ざん判定領域の概略的な構成の一例を示す説明図である。 判定ブロックで分割された改ざん判定領域の概略的な構成の一例を示す説明図である。 画像特徴データ化処理の概略の一例を示す説明図である。 画像特徴データ化処理の概略の一例を示す説明図である。 第1の実施の形態にかかる評価値テーブルの概略的な構成の一例を示す説明図である。 第1の実施の形態にかかる評価値テーブルの概略的な構成の一例を示す説明図である。 透かし情報合成部の処理の概略的な流れの一例を示すフローチャートである。 透かし信号の一例を示す説明図である。 図20(1)の画素値の変化をarctan(1/3)の方向から見た断面図である。 透かし信号の一例を示す説明図であり,(3)はユニットCを,(4)はユニットDを,(5)はユニットEを示している。 図23(1)はユニットEを背景ユニットと定義し,これを隙間なく並べて原画像11の背景とした場合を示す説明図である。図23(2)は図23(1)の背景画像の中にユニットAを埋め込んだ一例を示し,図23(3)は図23(1)の背景画像の中にユニットBを埋め込んだ一例を示している。 原画像へのシンボル埋め込み方法の一例を示す説明図である。 透かし情報を原画像に埋め込む方法について示したフローチャートである。 透かし情報を原画像に埋め込む方法について示した説明図である。 透かし入り文書画像の一例を示す説明図である。 図27の一部を拡大して示した説明図である。 透かし情報抽出部22の処理の概略的な流れの一例を示すフローチャートである。 第1の実施の形態における信号検出フィルタリング工程(ステップS310)の説明図である。 第1の実施の形態における信号位置探索工程(ステップS320)の説明図である。 第1の実施の形態における信号境界決定工程(ステップS340)の説明図である。 情報復元の一例を示す説明図である。 データ符号の復元方法の一例を示す説明図である。 データ符号の復元方法の一例を示す説明図である。 データ符号の復元方法の一例を示す説明図である。 画像変形部23のフローチャートである。 検出された信号ユニット位置の例を示す説明図である。 近似直線の検出の例を示す説明図である。 直線近似を行った結果の例を示す説明図である。 傾きの補正を示す説明図である。 位置の補正を示す説明図である。 直線の交点の例を示す説明図である。 入力画像と補正画像の位置の対応例を示す説明図である。 入力画像と補正画像の対応付け方法の例を示す説明図である。 改ざん判定部27による改ざん判定処理の概略の一例を示す説明図である。 改ざん判定部27による改ざん判定処理の概略の一例を示す説明図である。 改ざん判定部27による改ざん判定処理の概略の一例を示す説明図である。 改ざん判定部27による改ざん判定処理の概略の一例を示す説明図である。 第2の実施の形態にかかる透かし画像出力部1010の概略的な構成の一例を示すブロック図である。 第2の実施の形態にかかる透かし画像入力部1020の概略的な構成の一例を示すブロック図である。 第2の実施の形態にかかる文字領域を抽出する抽出処理の概略の一例を示す説明図であり, 第2の実施の形態にかかる文字領域を分割する分割処理の概略の一例を示す説明図である。
符号の説明
10 透かし画像出力部
11 原画像
12,24 画像特徴抽出部
13,25 領域分割処理部
14,26 画像特徴データ化部
15 透かし情報合成部
16 出力画像
20 透かし画像入力部
21 入力画像
22 透かし情報抽出部
23 画像変形部
27 改ざん判定部
28 透かし情報
29 補正情報
32 改ざん判定領域
40 特徴抽出フィルタ

Claims (13)

  1. 画像を入力し,その入力画像の画像領域のうち改ざんされたか否かを判定する1又は2以上の判定領域に対して特定の形状に強く反応する1又は2種以上の特徴抽出フィルタのうち少なくとも一種の特徴抽出フィルタを施して出力値を計算する第1の画像特徴抽出部と;
    前記画像の各判定領域を所定の大きさの判定ブロックで分割する第1の領域分割処理部と;
    前記算出された出力値に基づき,前記特徴抽出フィルタごとに前記各判定ブロックの評価値を算出する第1の画像特徴評価部と;
    前記画像のサイズ情報,前記画像における前記判定領域の位置情報,前記画像における判定領域のサイズ情報,前記各判定ブロックの位置情報,前記各判定ブロックのサイズ情報,または前記各判定ブロックの評価値のうち少なくとも一つの情報を透かし情報として前記画像に埋め込み,出力画像を生成する透かし情報埋め込み部と;
    前記出力画像に埋め込まれた前記透かし情報を抽出する透かし情報抽出部と;
    少なくとも前記出力画像を加工し,前記画像と略同一サイズの比較画像を生成する画像生成部と;
    前記抽出された透かし情報に含まれる少なくとも前記判定領域の位置情報,前記判定領域のサイズ情報,前記各判定ブロックの位置情報,または前記各判定ブロックのサイズ情報のうち少なくとも一つに基づいて,前記比較画像における前記判定領域に対し,前記特徴抽出フィルタを施して比較出力値を計算する第2の画像特徴抽出部と;
    前記比較画像の各判定領域を前記判定ブロックで分割する第2の領域分割処理部と;
    前記算出された比較出力値に基づいて,前記各判定領域に施された特徴抽出フィルタごとに前記判定ブロックの比較評価値を算出する第2の画像特徴評価部と;
    前記透かし情報に含む前記画像における各判定ブロックの評価値を取得し,該画像の各判定ブロックの評価値と前記比較画像の各判定ブロックの比較評価値との差分を前記特徴検出フィルタごとに計算し,該特徴検出フィルタごとに算出された1又は2以上の差分値のうち少なくとも一つが所定値よりも大きい場合,その比較評価値に対応する比較画像の判定領域には改ざんがあったと判定する改ざん判定部と;
    を備えることを特徴とする,改ざん検出装置。
  2. 画像を入力し,その入力画像の画像領域のうち改ざんされたか否かを判定する1又は2以上の判定領域に対して特定の形状に強く反応する1又は2種以上の特徴抽出フィルタのうち少なくとも一種の特徴抽出フィルタを施して出力値を計算する画像特徴抽出部と;
    前記画像の各判定領域を所定の大きさの判定ブロックで分割する領域分割処理部と;
    前記算出された出力値に基づき,前記特徴抽出フィルタごとに前記各判定ブロックの評価値を算出する画像特徴評価部と;
    前記画像のサイズ情報,前記画像における前記判定領域の位置情報,前記判定領域のサイズ情報,前記各判定ブロックの位置情報,前記各判定ブロックのサイズ情報,または前記各判定ブロックの評価値のうち少なくとも一つの情報を透かし情報として前記画像に埋め込み,出力画像を生成する透かし情報埋め込み部と;
    を備えることを特徴とする,透かし入り画像出力装置。
  3. 前記評価値は,前記判定ブロック内に存在する1又は2以上の前記出力値の平均値であることを特徴とする,請求項2に記載の透かし入り画像出力装置。
  4. 前記評価値は,前記特徴抽出フィルタごとに設定された所定値よりも大きい前記出力値のうち,前記判定ブロック内に存在する1又は2以上の前記出力値の平均値であることを特徴とする,請求項2に記載の透かし入り画像出力装置。
  5. 前記画像に設定される前記判定領域は,該判定領域内の領域全てに対して前記特徴抽出フィルタが施されることを特徴とする,請求項2,3,または4項のうちいずれか1項に記載の透かし入り画像出力装置。
  6. 前記画像に設定された前記判定領域は,該判定領域内に文字が存在する領域のみを網羅するように再配置されることを特徴とする,請求項2,3,または4項のうちいずれか1項に記載の透かし入り画像出力装置。
  7. 前記特徴抽出フィルタは,画像の特定の方向に傾く直線に強く反応するフィルタであることを特徴とする,請求項2,3,4,5,または6項のうちいずれか1項に記載の透かし入り画像出力装置。
  8. 画像に,前記画像のサイズ情報,前記画像の画像領域のうち改ざんされたか否かを判定する1又は2以上の判定領域の位置情報,前記判定領域のサイズ情報,前記判定領域を分割することで前記判定領域に構成される1又は2以上の各判定ブロックの位置情報,前記各判定ブロックのサイズ情報,または前記各判定ブロックの評価値のうち少なくとも一つの情報が透かし情報として埋め込まれることで生成された出力画像から,前記透かし情報を抽出する透かし情報抽出部と;
    少なくとも前記出力画像を加工し,前記画像と略同一サイズの比較画像を生成する画像生成部と;
    前記抽出された透かし情報に含まれる少なくとも前記判定領域の位置情報,前記判定領域のサイズ情報,前記各判定ブロックの位置情報,または前記各判定ブロックのサイズ情報のうち少なくとも一つに基づいて,前記比較画像における前記判定領域に対し,特定の形状に強く反応する1又は2種以上の特徴抽出フィルタのうち少なくとも一種の特徴抽出フィルタを施して比較出力値を計算する画像特徴抽出部と;
    前記比較画像の各判定領域を前記判定ブロックで分割する領域分割処理部と;
    前記算出された比較出力値に基づいて,前記各判定領域に施された特徴抽出フィルタごとに前記判定ブロックの比較評価値を算出する画像特徴評価部と;
    前記透かし情報に含む前記画像における各判定ブロックの評価値を取得し,該画像の各判定ブロックの評価値と前記比較画像の各判定ブロックの比較評価値との差分を前記特徴検出フィルタごとに計算し,該特徴検出フィルタごとに算出された1又は2以上の差分値のうち少なくとも一つが所定値よりも大きい場合,その比較評価値に対応する比較画像の判定領域には改ざんがあったと判定する改ざん判定部と;
    を備えることを特徴とする,透かし入り画像入力装置。
  9. 前記改ざん判定部は,前記透かし情報に含む前記画像における各判定ブロックの評価値を取得し,前記画像の各判定ブロックの評価値と前記比較画像の各判定ブロックの比較評価値との差分を前記特徴検出フィルタごとに計算し,該特徴検出フィルタごとの差分値を線形結合した値が,所定値よりも大きい場合,その比較評価値に対応する比較画像の判定領域には改ざんがあったと判定することを特徴とする,請求項8に記載の透かし入り画像入力装置。
  10. 前記評価値は,前記判定ブロック内に存在する1又は2以上の前記出力値の平均値であることを特徴とする,請求項8に記載の透かし入り画像入力装置。
  11. 前記評価値は,前記特徴抽出フィルタごとに設定された所定値よりも大きい前記出力値のうち,前記判定ブロック内に存在する1又は2以上の前記出力値の平均値であることを特徴とする,請求項8に記載の透かし入り画像入力装置。
  12. 画像を入力し,その入力画像の画像領域のうち改ざんされたか否かを判定する1又は2以上の判定領域に対して特定の形状に強く反応する1又は2種以上の特徴抽出フィルタのうち少なくとも一種の特徴抽出フィルタを施して出力値を計算する画像特徴抽出処理と;
    前記画像の各判定領域を所定の大きさの判定ブロックで分割する領域分割処理と;
    前記算出された出力値に基づき,前記特徴抽出フィルタごとに前記各判定ブロックの評価値を算出する画像特徴評価処理と;
    前記画像のサイズ情報,前記画像における前記判定領域の位置情報,前記判定領域のサイズ情報,前記各判定ブロックの位置情報,前記各判定ブロックのサイズ情報,または前記各判定ブロックの評価値のうち少なくとも一つの情報を透かし情報として前記画像に埋め込み,出力画像を生成する透かし情報埋め込み処理と;
    を含むことを特徴とする,透かし入り画像出力方法
  13. 画像に,前記画像のサイズ情報,前記画像の画像領域のうち改ざんされたか否かを判定する1又は2以上の判定領域の位置情報,前記判定領域のサイズ情報,前記判定領域を分割することで前記判定領域に構成される1又は2以上の各判定ブロックの位置情報,前記各判定ブロックのサイズ情報,または前記各判定ブロックの評価値のうち少なくとも一つの情報が透かし情報として埋め込まれることで生成された出力画像から,前記透かし情報を抽出する透かし情報抽出処理と;
    少なくとも前記出力画像を加工し,前記画像と略同一サイズの比較画像を生成する画像生成処理と;
    前記抽出された透かし情報に含まれる少なくとも前記判定領域の位置情報,前記判定領域のサイズ情報,前記各判定ブロックの位置情報,または前記各判定ブロックのサイズ情報のうち少なくとも一つに基づいて,前記比較画像における前記判定領域に対し,特定の形状に強く反応する1又は2種以上の特徴抽出フィルタのうち少なくとも一種の特徴抽出フィルタを施して比較出力値を計算する画像特徴抽出処理と;
    前記比較画像の各判定領域を前記判定ブロックで分割する領域分割処理処理と;
    前記算出された比較出力値に基づいて,前記各判定領域に施された特徴抽出フィルタごとに前記判定ブロックの比較評価値を算出する画像特徴評価処理と;
    前記透かし情報に含む前記画像における各判定ブロックの評価値を取得し,該画像の各判定ブロックの評価値と前記比較画像の各判定ブロックの比較評価値との差分を前記特徴検出フィルタごとに計算し,該特徴検出フィルタごとに算出された1又は2以上の差分値のうち少なくとも一つが所定値よりも大きい場合,その比較評価値に対応する比較画像の判定領域には改ざんがあったと判定する改ざん判定処理と;
    を含むことを特徴とする,透かし入り画像入力方法。
JP2004349147A 2004-12-01 2004-12-01 改ざん検出装置,透かし入り画像出力装置,透かし入り画像入力装置,透かし入り画像出力方法,および透かし入り画像入力方法 Pending JP2006157831A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2004349147A JP2006157831A (ja) 2004-12-01 2004-12-01 改ざん検出装置,透かし入り画像出力装置,透かし入り画像入力装置,透かし入り画像出力方法,および透かし入り画像入力方法
PCT/JP2005/022080 WO2006059681A1 (ja) 2004-12-01 2005-12-01 改ざん検出装置,透かし入り画像出力装置,透かし入り画像入力装置,透かし入り画像出力方法,および透かし入り画像入力方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004349147A JP2006157831A (ja) 2004-12-01 2004-12-01 改ざん検出装置,透かし入り画像出力装置,透かし入り画像入力装置,透かし入り画像出力方法,および透かし入り画像入力方法

Publications (1)

Publication Number Publication Date
JP2006157831A true JP2006157831A (ja) 2006-06-15

Family

ID=36565114

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004349147A Pending JP2006157831A (ja) 2004-12-01 2004-12-01 改ざん検出装置,透かし入り画像出力装置,透かし入り画像入力装置,透かし入り画像出力方法,および透かし入り画像入力方法

Country Status (2)

Country Link
JP (1) JP2006157831A (ja)
WO (1) WO2006059681A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8038073B2 (en) 2006-12-22 2011-10-18 Canon Kabushiki Kaisha Tamper detection of documents using encoded dots

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8840249B2 (en) 2008-10-31 2014-09-23 Christie Digital Systems, Inc. Method, system and apparatus for projecting visible and non-visible images

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3872933B2 (ja) * 2000-04-26 2007-01-24 株式会社エヌ・ティ・ティ・データ 書類認証方法、システム、書類作成装置、書類認証装置及び記録媒体
JP3628312B2 (ja) * 2001-07-18 2005-03-09 沖電気工業株式会社 透かし情報埋め込み装置,及び,透かし情報検出装置
JP4166457B2 (ja) * 2001-10-04 2008-10-15 沖電気工業株式会社 電子すかし埋め込み装置及び電子すかし検出装置
JP3964684B2 (ja) * 2002-01-10 2007-08-22 沖電気工業株式会社 電子透かし埋め込み装置,電子透かし検出装置,電子透かし埋め込み方法,及び,電子透かし検出方法
JP3804012B2 (ja) * 2002-03-08 2006-08-02 沖電気工業株式会社 文書画像の改ざん判定方法及びシステム、並びにその制御用プログラム
JP3960597B2 (ja) * 2002-11-11 2007-08-15 株式会社リコー 符号生成装置、画像処理装置、符号生成プログラム、画像処理プログラムおよび記憶媒体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8038073B2 (en) 2006-12-22 2011-10-18 Canon Kabushiki Kaisha Tamper detection of documents using encoded dots

Also Published As

Publication number Publication date
WO2006059681A1 (ja) 2006-06-08

Similar Documents

Publication Publication Date Title
JP4277800B2 (ja) 透かし情報検出方法
JP3628312B2 (ja) 透かし情報埋め込み装置,及び,透かし情報検出装置
US7536026B2 (en) Image processing apparatus and method
JP4035717B2 (ja) 画像処理装置及び画像処理方法
JP5015540B2 (ja) 電子透かし埋め込み装置および検出装置
CN103886545B (zh) 基于计算全息的变换域抗打印扫描数字水印方法
JP4296126B2 (ja) スクリーン作成装置
JP4400565B2 (ja) 透かし情報埋め込み装置及び、透かし情報検出装置
WO2005094058A1 (ja) 印刷媒体の品質調整システム,検査用透かし媒体出力装置,透かし品質検査装置,調整済透かし媒体出力装置,印刷媒体の品質調整方法,および検査用透かし媒体
JP2003209676A (ja) 電子透かし埋め込み装置,電子透かし検出装置,電子透かし埋め込み方法,及び,電子透かし検出方法
JP4595014B2 (ja) 電子透かし埋め込み装置および検出装置
KR20070052332A (ko) 화상 처리 방법 및 화상 처리 장치
WO2005046212A1 (ja) 透かし情報埋め込み装置,透かし情報検出装置,透かし情報埋め込み方法,透かし情報検出方法,および印刷物
JP2004128845A (ja) 透かし情報埋め込み方法,透かし情報検出方法,透かし情報埋め込み装置,及び,透かし情報検出装置
JP4192887B2 (ja) 改ざん検出装置,透かし入り画像出力装置,透かし入り画像入力装置,透かし入り画像出力方法,および透かし入り画像入力方法
JP4469301B2 (ja) 情報埋め込み装置、印刷用媒体、および、情報読み取り装置
JP4134992B2 (ja) 透かし情報検出装置および透かし情報埋め込み装置および透かし情報検出方法および透かし情報埋め込み方法
WO2006059681A1 (ja) 改ざん検出装置,透かし入り画像出力装置,透かし入り画像入力装置,透かし入り画像出力方法,および透かし入り画像入力方法
JP4096902B2 (ja) 透かし情報検出装置及び透かし情報検出方法
KR101654564B1 (ko) 히스테리시스기법 및 최소반전양자화기법을 이용한 인쇄문서의 워터마크삽입방법 및 워터마크검출방법
JP4964263B2 (ja) 改ざん検出用情報生成装置、画像生成装置及び改ざん検出装置
JP4192906B2 (ja) 透かし情報検出装置及び透かし情報検出方法

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060327

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20060502