JP2004328708A - データ処理装置およびデータ処理方法 - Google Patents

データ処理装置およびデータ処理方法 Download PDF

Info

Publication number
JP2004328708A
JP2004328708A JP2003296321A JP2003296321A JP2004328708A JP 2004328708 A JP2004328708 A JP 2004328708A JP 2003296321 A JP2003296321 A JP 2003296321A JP 2003296321 A JP2003296321 A JP 2003296321A JP 2004328708 A JP2004328708 A JP 2004328708A
Authority
JP
Japan
Prior art keywords
image data
data
image
correlation
generated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003296321A
Other languages
English (en)
Other versions
JP4062211B2 (ja
JP2004328708A5 (ja
Inventor
Yoichi Nishino
洋一 西野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2003296321A priority Critical patent/JP4062211B2/ja
Publication of JP2004328708A publication Critical patent/JP2004328708A/ja
Publication of JP2004328708A5 publication Critical patent/JP2004328708A5/ja
Application granted granted Critical
Publication of JP4062211B2 publication Critical patent/JP4062211B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】 画像データを生成したカメラを高い信頼性で、容易に判定できるデータ処理装置およびその方法を提供する。
【解決手段】 個々の受光素子の受光感度に固有のばらつきがあり、複数の受光素の受光結果を基に画像データを生成する所定の画像生成装置が、被判定対象の第1の画像データを生成したか否かを判定する。相関検出部5が、第1の画像データと、所定の画像生成装置を用いて生成された参照用の第2の画像データとの相関を検出する。CPU6が、前記相関を基に、第1の画像データが画像生成装置を用いて生成されたものであるか否かを判定する。
【選択図】 図1


Description

本発明は、画像データを撮像したカメラを判定するデータ処理装置およびその方法に関する。
例えば、デジタル方式のカメラで撮像したデジタル形式の画像データが、当該画像データの著作権者の許諾を受けずに、第三者によって不正に使用されることがある。
このような不正使用を防止するために、画像データに対して、当該画像データを生成したカメラを特定する情報を、電子透かし情報や、画像ファイルのヘッダとして付加する方法がある。
しかしながら、上述した画像データに電子透かし情報を付加する方法では、電子透かしの埋め込み方式を統一できないため、電子透かし情報を検出できない場合があるという問題がある。
また、上述した画像ファイルのヘッダとして付加する方法では、ヘッダの書き換えにより、カメラを特定する情報が容易に改竄されてしまうという問題がある。
本発明は上述した従来技術の問題点に鑑みてなされ、画像データを生成したカメラを高い信頼性で、容易に判定できるデータ処理装置およびその方法を提供することを目的とする。
上述した従来技術の問題点を解決し、上述した目的を達成するために、第1の発明のデータ処理装置は、受光感度に固有のばらつきがある受光素子の受光結果を基に画像データを生成する所定の画像生成装置によって生成された画像データであるか否かを判定するデータ処理装置であって、前記第1の画像データと、前記所定の画像生成装置を用いて生成された参照用の第2の画像データとの相関を検出する相関検出手段と、前記相関検出手段が検出した前記相関を基に、前記第1の画像データが前記画像生成装置を用いて生成されたものであるか否かを判定する判定手段とを有する。
第1の発明のデータ処理装置の作用は以下のようになる。
相関検出手段が、第1の画像データと、所定の画像生成装置を用いて生成された参照用の第2の画像データとの相関を検出する。
そして、判定手段が、前記相関検出手段が検出した前記相関を基に、前記第1の画像データが前記画像生成装置を用いて生成されたものであるか否かを判定する。
第1の発明のデータ処理装置は、好ましくは、前記相関検出手段は、前記第1の画像データを基に表示される絵柄と相関の無い絵柄を表示する前記第2の画像データを用いて前記相関を検出する。
第1の発明のデータ処理装置は、好ましくは、前記相関検出手段は、前記第1の画像データおよび前記第2の画像データを直交変換してそれぞれ第1の周波数成分データおよび第2の周波数成分データを生成する変換手段と、前記第1の周波数成分データを構成する各々の複素数データを、各複素数データの絶対値で除算して第1の複素数データを生成し、前記第2の周波数成分データを構成する各々の複素数データを、各複素数データの絶対値で除算して第2の複素数データを生成する除算手段と、前記第1の複素数データおよび前記第2の複素数データの一方を構成する各々の複素数データを複素共役な複素数データに置き換えた第3の複素数データを生成する置換手段と、前記置換手段によって置き換えが行われていない前記第1の複素数データまたは前記第2の複素数データと、前記置換手段で生成された前記第3の複素数データとを乗算して第4の複素数データを生成する乗算手段と、前記乗算手段が生成した前記第4の複素数データを逆直交変換して前記相関データを生成する逆変換回路とを有する。
第2の発明のデータ処理方法は、受光感度に固有のばらつきがある受光素子の受光結果を基に画像データを生成する所定の画像生成装置によって生成された画像データであるか否かを判定するデータ処理方法であって、前記第1の画像データと、前記所定の画像生成装置を用いて生成された参照用の第2の画像データとの相関を検出する第1の工程と、前記第1の工程で検出した前記相関を基に、前記第1の画像データが前記画像生成装置を用いて生成されたものであるか否かを判定する第2の工程とを有する。
第3の発明のデータ処理装置は、受光感度に固有のばらつきがある受光素子の受光結果を基に画像データを生成する複数の画像生成装置のうち何れの前記画像生成装置によって被判定対象の第1の画像データが生成されたかを判定するデータ処理装置であって、前記複数の画像生成装置を用いてそれぞれ生成された参照用の複数の第2の画像データを保持する保持手段と、前記第1の画像データと、前記保持手段が保持する前記第2の画像データとの相関を検出する相関検出手段と、前記相関検出手段が検出した前記相関を基に、前記複数の画像生成装置の何れを用いて前記第1の画像データが生成されたものであるか否かを判定する判定手段とを有する。
第3の発明のデータ処理装置の作用は以下のようになる。
相関検出手段が、第1の画像データと、保持手段が保持する前記第2の画像データとの相関を検出する。
判定手段が、前記相関検出手段が検出した前記相関を基に、前記複数の画像生成装置の何れを用いて前記第1の画像データが生成されたものであるか否かを判定する。
第4の発明のデータ処理方法は、受光感度に固有のばらつきがある受光素子の受光結果を基に画像データを生成する複数の画像生成装置のうち何れの前記画像生成装置によって被判定対象の第1の画像データが生成されたかを判定し、前記複数の画像生成装置を用いてそれぞれ生成された参照用の複数の第2の画像データを保持するデータ処理装置が行うデータ処理方法であって、前記第1の画像データと、前記保持する前記第2の画像データとの相関を検出する第1の工程と、前記第1の工程で検出した前記相関を基に、前記複数の画像生成装置の何れを用いて前記第1の画像データが生成されたものであるか否かを判定する第2の工程とを有する。
第5の発明のデータ処理装置は、受光感度に固有のばらつきがある受光素子の受光結果を基に画像データを生成する画像生成装置によって被判定対象の第1の画像データが生成されたか否かを判定するデータ処理装置であって、盗難された前記画像生成装置を用いて予め生成された参照用の複数の第2の画像データを保持する保持手段と、前記第1の画像データと、前記保持手段が保持する前記第2の画像データとの相関を検出する相関検出手段と、前記相関検出手段が検出した前記相関を基に、盗難された前記画像生成装置を用いて前記第1の画像データが生成されたものであるか否かを判定する判定手段とを有する。
第5の発明のデータ処理装置の作用は以下のようになる。
相関検出手段が、第1の画像データと、保持手段が保持する前記第2の画像データとの相関を検出する。
判定手段が、前記相関検出手段が検出した前記相関を基に、盗難された前記画像生成装置を用いて前記第1の画像データが生成されたものであるか否かを判定する。
第6の発明のデータ処理方法は、受光感度に固有のばらつきがある受光素子の受光結果を基に画像データを生成する画像生成装置によって被判定対象の第1の画像データが生成されたか否かを判定し、盗難された前記画像生成装置を用いて予め生成された参照用の複数の第2の画像データを保持するデータ処理装置が行うデータ処理方法であって、前記第1の画像データと、前記保持する前記第2の画像データとの相関を検出する第1の工程と、前記第1の工程で検出した前記相関を基に、盗難された前記画像生成装置を用いて前記第1の画像データが生成されたものであるか否かを判定する第2の工程とを有する。
第7の発明のデータ処理装置は、受光感度に固有のばらつきがある受光素子の受光結果を基に画像データを生成する画像生成装置によって被判定対象の第1の画像データが生成されたか否かを判定するデータ処理装置であって、所定の画像生成装置を用いて生成した画像データを放送することを許諾した放送元を特定する許諾放送元データと、前記所定の画像生成装置を用いて生成された参照用の第2の画像データとを保持する保持手段と、所定の放送元が放送した前記第1の画像データと、前記保持手段が保持する前記第2の画像データとの相関を検出する相関検出手段と、前記相関検出手段が検出した前記相関を基に、前記第1の画像データが前記画像生成装置を用いて生成されたものであるか否かを判定する第1の判定手段と、前記第1の判定手段において前記第1の画像データが前記画像生成装置を用いて生成されたものであると判定された場合に、前記保持手段が保持する前記許諾放送元データを基に、当該第1の画像データを放送した前記放送元に前記許諾が行われているか否かを判定する第2の判定手段とを有する。
第7の発明のデータ処理装置の作用は以下のようになる。
相関検出手段が、所定の放送元が放送した前記第1の画像データと、前記保持手段が保持する前記第2の画像データとの相関を検出する。
そして、第1の判定手段が、前記相関検出手段が検出した前記相関を基に、前記第1の画像データが前記画像生成装置を用いて生成されたものであるか否かを判定する。
そして、第2の判定手段が、前記第1の判定手段において前記第1の画像データが前記画像生成装置を用いて生成されたものであると判定された場合に、前記保持手段が保持する前記許諾放送元データを基に、当該第1の画像データを放送した前記放送元に前記許諾が行われているか否かを判定する。
第8の発明のデータ処理方法は、受光感度に固有のばらつきがある受光素子の受光結果を基に画像データを生成する画像生成装置によって、被判定対象の第1の画像データが生成されたか否かを判定し、所定の画像生成装置を用いて生成した画像データを放送することを許諾した放送元を特定する許諾放送元データと、前記所定の画像生成装置を用いて生成された参照用の第2の画像データとを保持するデータ処理装置が行うデータ処理方法であって、所定の放送元が放送した前記第1の画像データと、前記データ処理装置が保持する前記第2の画像データとの相関を検出する第1の工程と、前記第1の工程で検出した前記相関を基に、前記第1の画像データが前記画像生成装置を用いて生成されたものであるか否かを判定する第2の工程と、前記第2の工程において前記第1の画像データが前記画像生成装置を用いて生成されたものであると判定された場合に、前記データ処理装置が保持する前記許諾放送元データを基に、当該第1の画像データを放送した前記放送元に前記許諾が行われているか否かを判定する第3の工程とを有する。
第9の発明のデータ処理装置は、受光感度に固有のばらつきがある受光素子の受光結果を基に画像データを生成する所定の画像生成装置によって生成された画像データを検索するデータ処理装置であって、記憶手段に記憶されている複数の第1の画像データと、前記所定の画像生成装置を用いて生成された参照用の第2の画像データとの相関を検出する相関検出手段と、前記相関検出手段が検出した前記相関を基に、前記記憶手段に記憶されている前記複数の第1の画像データのうち、前記画像生成装置を用いて生成された画像データを検索する検索手段とを有する。
第9の発明のデータ処理装置の作用は以下のようになる。
相関検出手段が、記憶手段に記憶されている複数の第1の画像データと、所定の画像生成装置を用いて生成された参照用の第2の画像データとの相関を検出する。
そして、検索手段が、前記相関検出手段が検出した前記相関を基に、前記記憶手段に記憶されている前記複数の第1の画像データのうち、前記画像生成装置を用いて生成された画像データを検索する。
第10の発明のデータ処理方法は、受光感度に固有のばらつきがある受光素子の受光結果を基に画像データを生成する所定の画像生成装置によって生成された画像データを検索するデータ処理装置が行うデータ処理方法であって、記憶手段に記憶されている複数の第1の画像データと、前記所定の画像生成装置を用いて生成された参照用の第2の画像データとの相関を検出する第1の工程と、前記第1の工程で検出した前記相関を基に、前記記憶手段に記憶されている前記複数の第1の画像データのうち、前記画像生成装置を用いて生成された画像データを検索する第2の工程とを有する。
第11の発明のデータ処理装置は、受光感度に固有のばらつきがある受光素子の受光結果を基に画像データを生成する所定の画像生成装置によって生成された画像データであるか否かを判定するデータ処理装置であって、被判定対象の第1の画像データを構成する複数の第1のブロック画像データのそれぞれについて、当該第1のブロック画像データと、前記画像生成装置が生成した第2の画像データを構成する複数の第2のブロック画像データのうち当該第1のブロック画像データに対応する第2のブロック画像データとの間の相関を検出する相関検出手段と、前記相関検出手段が検出した前記相関を基に、前記画像生成装置を用いて生成され生成された画像データを基に前記第1の画像データが生成されたか否かを判定する判定手段とを有する。
第12の発明のデータ処理方法は、受光感度に固有のばらつきがある受光素子の受光結果を基に画像データを生成する所定の画像生成装置によって生成された画像データであるか否かを判定するデータ処理方法であって、被判定対象の第1の画像データを構成する複数の第1のブロック画像データのそれぞれについて、当該第1のブロック画像データと、前記画像生成装置が生成した第2の画像データを構成する複数の第2のブロック画像データのうち当該第1のブロック画像データに対応する第2のブロック画像データとの間の相関を検出する第1の工程と、前記第1の工程で検出した前記相関を基に、前記画像生成装置を用いて生成され生成された画像データを基に前記第1の画像データが生成されたか否かを判定する第2の工程とを有する。
第13の発明のデータ処理装置は、受光感度に固有のばらつきがある受光素子の受光結果を基に画像データを生成する所定の画像生成装置によって生成された画像データであるか否かを判定するデータ処理装置であって、被判定対象の第1の画像データと、前記画像生成装置が生成した参照用の第2の画像データとの相関を検出する相関検出手段と、前記相関検出手段が検出した前記相関を基に、前記第1の画像データが前記画像生成装置を用いて生成されたものであるか否かを判定する判定手段とを有し、前記相関検出手段は、前記第1の画像データおよび前記第2の画像データを直交変換してそれぞれ第1の周波数成分データおよび第2の周波数成分データを生成する変換手段と、前記変換手段が生成した前記第1の周波数成分データが前記第2の周波数成分データに比べて振幅制限を強く受けるように、前記第1の周波数成分データを構成する各々の複素数データを基に第1の複素数データを生成し、前記第2の周波数成分データを構成する各々の複素数データを基に第2の複素数データを生成する演算手段と、前記演算手段が生成した前記第1の複素数データおよび前記第2の複素数データの一方を構成する各々の複素数データを複素共役な複素数データに置き換えた第3の複素数データを生成する置換手段と、前記置換手段によって置き換えが行われていない前記第1の複素数データまたは前記第2の複素数データと、前記置換手段で生成された前記第3の複素数データとを乗算して第4の複素数データを生成する乗算手段と、前記乗算手段が生成した前記第4の複素数データを逆直交変換して前記相関を示す相関データを生成する逆変換回路とを有する。
第14の発明のデータ処理装置は、受光感度に固有のばらつきがある受光素子の受光結果を基に画像データを生成する所定の画像生成装置によって生成された画像データを、提供用の画像データとして登録するデータ処理装置であって、被判定対象の第1の画像データとユーザ識別データとを含む登録要求を入力するインタフェースと、前記ユーザ識別データと参照用の第2の前記画像データとを対応付けて記憶する記憶手段と、前記インタフェースを介して入力した前記登録要求に含まれる前記ユーザ識別データを基に前記記憶手段から前記第2の画像データを読み出し、当該読み出した第2の画像データと、前記登録要求に含まれる前記第1の画像データとの相関を検出する相関検出手段と、前記相関検出手段が検出した前記相関を基に、前記第1の画像データを前記提供用の画像データとして登録するか否かを判定する判定手段とを有する。
以上説明したように、本発明によれば、画像データを生成した画像生成装置を高い信頼性で、容易に判定できるデータ処理装置およびその方法を提供することができる。
以下、本発明の実施形態に係わるデータ処理装置1について説明する。
図1は、本実施形態のデータ処理装置1の構成図である。
データ処理装置1は、受光感度に固有のばらつきがある複数の受光素子の受光結果を基に画像データを生成する所定の画像生成装置であるカメラ(デジタルカメラ)が、被判定対象の画像データを生成したか否かを判定する。
図1に示すように、データ処理装置1は、例えば、メモリ2、インタフェース3、参照画像生成部4、相関検出部5および判定部6を有し、これらがバス9を介して接続されている。
ここで、参照画像生成部4が本発明の参照画像生成手段に対応し、相関検出部5が本発明の相関検出手段に対応し、判定部6が本発明の判定手段に対応している。
なお、図1に示すデータ処理装置1の構成は、一例であり、相関検出部4および参照画像生成部5の少なくとも一方の機能を判定部6で実現してもよい。
メモリ2は、インタフェース3を介して入力した所定のカメラの撮像結果を基に生成された画像データを、参照用画像データS7(本発明の第2の画像データ)として記憶する。
ここで、上記カメラが本発明の画像生成装置に対応している。
参照用画像データS7としては、例えば、被判定対象データS31を基に表示される絵柄と相関の無い絵柄を表示するものが用いられる。例えば、カメラで、グレーの紙や空などを絵柄として撮像して参照用画像データS7を生成する。
インタフェース3は、所定のカメラの撮像結果を基に生成された画像データを入力し、これをメモリ2あるいは参照画像生成部4に出力する。
また、インタフェース3は、被判定対象画像データ(本発明の第1の画像データ)を入力し、これをメモリ2あるいは判定部6に出力する。
上記所定のカメラは、マトリクス状に配設された複数の受光素子を有し、被写体からの光がレンズを介して受光素子に入射する。
そして、上記カメラは、複数の受光素子の受光結果を基に画像データを生成する。
ここで、上記受光素子は、例えば、CCD(Charge Coupled Device) 撮像素子であり、受光感度に製造上の固有のばらつきがある。当該ばらつきは、人為的に再現困難なものである。
図2は、カメラが備える受光素子11の断面を模式的に示す図である。
図2に示すように、受光素子11は、シリコン基板12、開口部13が設けられた遮光層14、並びに集光レンズ15を有する。
シリコン基板12には、開口部13と対向する位置に光電変換領域が形成されている。
また、集光レンズ15は、遮光層14に対してシリコン基板12と反対側の位置から、遮光層14を介してシリコン基板12に達するように形成されている。
開口部13は、例えば、紫外線の露光によってエッチングのマスクになるレジストに微細加工を施した後、遮光層14とその下部の絶縁層16をエッチングによって除去して形成される。
集光レンズ15は、ガラス層にフォトリソグラフィーにより微細加工を施した後、高温でガラス層を融解し球状に形成される。
上述した受光素子11の製造過程で、開口部13は、なるべく均一な形状が形成されるように制御されるが、様々な要因により形状にはばらつきが生じる。このため、複数の受光素子の各々の開口部13の形状にはばらつきがある。
ここで、各受光素子の開口部13の形状のばらつきによって、受光素子に入射する光(光束)の形状がばらつき、シリコン基板12の光電変換領域に入射する光量がばらつく。従って、各受光素子によって、受光感度のばらつきが生じる。
このような受光感度のばらつきは、人為的なものではなく、しかも、指紋のようにそれぞれの受光素子に固有のものである。また、このような受光素子の受光感度のばらつきの影響が、上記受光素子を用いたカメラによって生成される画像データに生じる。
本実施形態では、上述したように、上記カメラによって生成された画像データに生じる、受光素子の受光感度の製造上のばらつきを利用して、被判定対象画像データが、所定のカメラで撮像されたものであるか否かを判定する。
参照画像生成部4は、必要に応じて、インタフェース3から入力した単数または複数の画像データを用いて参照用画像データを生成し、これをメモリ2に書き込む。
相関検出部5は、インタフェース3を介して入力した被判定対象画像データと、メモリ2から読み出した参照用画像データS7との相関を検出し、その検出結果を示す相関データS5を生成する。
相関検出部5は、上記相関データを判定部6に出力する。
以下、SPOMF(Symmetrical Phase Only Matched Filtering)方式を採用した相関検出部5について説明する。
SPOMFは、文献”Symmetric Phase-Only Matched Filtering of Fourier-Mellin Transforms for Image Registration and Recognition” IEEE Transaction on Pattern analysis and Machine Intelligence, VOL.16 No.12 December 1994などに記載されている。
図3は、図1に示す相関検出部5の機能ブロック図である。
図3に示すように、相関検出部5は、例えば、FFT回路(Fast Fourier Transforms) 21、ホワイトニング回路22、FFT回路23、ホワイトニング回路24、複素共役化回路25、乗算回路26およびIFFT回路27を有する。
FFT回路21およびFFT回路23が本発明の変換手段に対応し、ホワイトニング回路22およびホワイトニング回路24が本発明の除算手段に対応し、複素共役化回路25が本発明の置換手段に対応し、乗算回路26が本発明の乗算回路に対応し、IFFT回路27が本発明の逆変換回路に対応している。
FFT回路21は、例えば、メモリ2から読み出した参照用画像データS7にフーリエ変換を施して第2の周波数成分データS21を生成し、これをホワイトニング回路22に出力する。
ホワイトニング回路22は、第2の周波数成分データS21を構成する各々の複素数データを、各複素数データの絶対値で除算して(すなわち、各要素データの絶対値を等しくする)第2の複素数データS22を生成し、これを乗算回路26に出力する。
FFT回路23は、例えば、インタフェース3を介して入力した被判定対象画像データS31にフーリエ変換を施して第1の周波数成分データS23を生成し、これをホワイトニング回路24は、第1の周波数成分データS23を構成する各々の複素数データを、各複素数データの絶対値で除算して第1の複素数データS24を生成し、これを複素共役化回路25に出力する。
複素共役化回路25は、第1の複素数データS24を構成する各々の複素数データを、複素共役な複素数データに置き換えた第3の複素数データS25を生成し、これを乗算回路26に出力する。
乗算回路26は、第2の複素数データS22と第3の複素数データS25とを乗算して第4の複素数データS26を生成し、これをIFFT回路27に出力する。
IFFT回路27は、第4の複素数データS26に逆フーリエ変換を施して相関データS5を生成し、これを判定部6に出力する。
ここで、相関データは、被判定対象画像データS31と参照用画像データS7との相対位置を2次元上で循環的にずらして相関をとった値全てを示している。
ところで、図4(A)に示すように、自然画像では、画像のエネルギーは低域に集中している。これに対して、受光素子のピクセルの感度ばらつきはランダムな現象なので感度ばらつきによって画像に重畳されている成分は、図4(B)に示すように、ホワイトノイズのように広い周波数成分にわたってほぼ均等なエネルギーをもつ。
上述したSPOMFによる照合では、周波数領域に変換後、各要素の絶対値を等しくする。このため、自然画像の低域の信号にかく乱されることなくピクセル感度ばらつきのパターンの照合が可能となる。
判定部6は、データ処理装置1の各構成要素の動作を統括的に制御する。
また、判定部6は、相関検出部5で生成した相関データS5を基に、被判定対象画像データS31が、参照用画像データS7を生成した所定のカメラを用いて生成されたものであるか否かを判定する。
ところで、前述したように、参照用画像データS7としては、例えば、被判定対象データS31を基に表示される絵柄と相関の無い絵柄を表示するものが用いられる。
そのため、被判定対象画像データS31と参照用画像データS7とでそれらの生成したカメラが異なる場合には、被判定対象画像データS31と参照用画像データS7とは無相関なものになる。すなわち、相関データS5の原点には大きな値は生じない。
一方、被判定対象画像データS31と参照用画像データS7とでそれらの生成したカメラが同じ場合には、被判定対象画像データS31と参照用画像データS7とは、前述した受光素子の固有の受光感度の影響で相関を有する。
判定部6は、相関検出部5が検出した相関データS5を基に、当該相関データS5が示す相関値が所定の値を越えた場合に、被判定対象画像データS31と参照用画像データS7とが同じカメラで生成(撮像)されたと判定する。
以下、判定部6による判定の基準に用いられる値の決定方法について説明する。
前述したように、相関データS5は、被判定対象画像データS31と参照用画像データS7との間の相対位置を2次元上循環的にずらして相関をとった値の全ての値を示している。
ここで、被判定対象画像データS31と参照用画像データS7とでは、絵柄については無相関なので、相関データS5の原点以外の値は、無相関なデータ間の偶発的な相関値を示している。
判定部6は、相関データS5の標準偏差σを求め、相関データS5の原点の値C00が標準偏差の所定数倍を越えるか否かを基準として、上記判定を行う。
値C00を用いたのは、画像全体同士で相関を取る場合、撮像素子の固有パターンが一致するのは原点を一致させた状態なので、その場合に相関器の出力C00にピークが現れるからである。
相関データS5内の各要素データをCij、また、要素データの数をnとする。
判定部6は、下記式(1)に基づいて、相関データS5内の全要素データが示す値の平均値meanを生成する。
(数1)
cmean = (Σcij)/n …(1)
また、判定部6は、上記平均値meanを用いて、下記式(2)に基づいて、標準偏差σを生成する。
(数2)
σ = √{{Σ(cij−cmean)×(cij−cmean)}/n} …(2)
そして、判定部6は、下記式(3)を基に、相関データS5内の原点の要素データc00が示す値が、標準偏差σの10倍を超える場合には、被判定対象画像データS31と参照用画像データS7とが同じカメラで生成されたと判定する。
(数3)
c00 > 10×σ …(3)
上述したように、データ処理装置1では、画像同士でSPOMFにより相関を取ることによって、これらの画像が同一の受光素子を備えた同じカメラで生成されたかを判定する。
当該判定(照合)を正確に行う確率は、以下のように定量化できる。
ランダムに分布するデータ同士の照合の結果は正規分布に従うと考えられる。異なる受光素子で撮影された画像データを照合した場合、二つのデータは無相関であると考えられる。無相関なデータ同士の相関の値が10σを超える確率は、7.6×10-24 乗である。
以下、図1に示すデータ処理装置1の全体動作を説明する。
図5は、当該動作を説明するためのフローチャートである。
ステップST1:
例えば、判定対象とするカメラで撮像した参照用画像データS7が、インタフェース3を介して入力され、メモリ2に書き込まれる。
ステップST2:
被判定対象画像データS31が、インタフェース3を介して入力され、相関検出部5に出力される。
ステップST3:
相関検出部5が、前述したように、インタフェース3を介して入力した被判定対象画像データと、メモリ2から読み出した参照用画像データS7との相関を検出し、その検出結果を示す相関データS5を生成する。
ステップST4:
判定部6が、上記式(1),(2)を基に、相関データS5の標準偏差σを算出する。
ステップST5:
判定部6が、上記式(3)に基づいて、相関データS5の原点の値C00が、上記算出した標準偏差σの10所定数倍より大きいか否かを判断し、大きいと判断した場合には被判定対象画像データS31と参照用画像データS7とが同じカメラで生成されたと判定し、そうでない場合には異なるカメラで生成されたと判定する。
以上説明したように、データ処理装置1によれば、画像データに対して、当該画像データを生成したカメラを特定する情報を、電子透かし情報や、画像ファイルのヘッダとして付加することなく、参照用画像データS7を登録した全てのカメラについて、被判別対象画像データが当該カメラを用いて生成したものであるか否かを判定できる。
そのため、データ処理装置1によれば、画像データを生成したカメラを高い信頼性で、容易に特定できる。
また、データ処理装置1によれば、参照用画像データS7を登録しておけば、カメラ本体が無い場合でも、被判別対象画像データが当該カメラを用いて生成したものであるか否かを判定できる。
以下、上記判定の精度を高める手法について説明する。
〔第1の手法〕
例えば、図6に示すように、相関検出部5は、第1の切り出し位置を基準に参照用画像データS7から画像データS7a(本発明の第4の画像データ)を切り出す。
また、相関検出部5は、上記第1の切り出し位置から(x1,y1)だけずれた第2の切り出し位置を基準に被判定対象画像データS31から画像データS31a(本発明の第3の画像データ)を切り出す。
そして、相関検出部5は、画像データS7aとS31aとの相関の検出を行う。
この場合に、上記SPOMFは画像を順次循環的にずらした場合の相関の強さを表すので、被判定対象画像データS31と参照用画像データS7とが同じカメラで生成されている場合には、相関データ内の(y1、x1)の点の要素データにピークが現れる。
そして、相関検出部5は、前記第1の切り出し位置および前記第2の切り出し位置を変更して複数回行って相関データS5を生成し、当該相関データS5を用いて判定部6が順次判定を行う。
これにより、相関データS5を用いた判定部6による誤判定の確率を低くすることができる。すなわち、誤判定確率はそれぞれの判定での誤判定確率の積となる。例えばピークの値が3σで有ったとすると誤判定の確率は1回の判定合では1×10-3であるが、10回切り出し位置を変えながら判定することで1×10-30 まで誤判定の確率を下げることが出来る。
〔第2の手法〕
カメラが生成する画像データは、レンズを介して光を結像することによる映像に、受光素子の受光感度の固有パターンと熱、電気的な要因によるノイズが重畳されている。
しかも画像データの振幅は、多くの場合8ビットに量子化されている。
このような、レンズによる結像、ノイズ、量子化の影響を避けるために、図7に示すように、複数の参照用画像データS7_1〜S7_Nを平均化して用いることが非常に有用である。
この場合には、カメラ29を用いて生成されたN(Nは2以上の整数)枚の参照用画像データS7_1〜S7_Nが、インタフェース3を介して参照画像生成部4に出力される。
そして、参照画像生成部4が、参照用画像データS7_1〜S7_Nを平均化して参照用画像データS7を生成し、これをメモリ2に書き込む。
参照用画像データS7_1〜S7_Nの枚数は、実験の結果、数百枚程度まで増やすことに効果があり、相関の値が一枚の参照用画像データを用いた場合に比べて倍程度まで上がる。
〔第3の手法〕
上述したように、上記カメラでは、レンズを介して受光素子に光が入射する。
図8〜図10は、レンズ31を通った光が受光素子の光電変換領域32に焦点を結ぶ様子を示している。
図8(A),(B)は、広角で絞り30を開けた場合、図9(A),(B)は広角で絞り30を絞った場合、図10(A)は望遠で絞り30を開けた場合、図10(B)は望遠で絞り30を絞った場合を示す図である。
これらの図から分かるように、光線33が光電変換領域32に入射する(当たる)状態が異なることがわかる。
前述したように、受光素子の受光感度のばらつきは、受光素子に入射する光量によるものであるから、絞り30の口径によってばらつきの状態も異なる。
本実施形態では、図11に示すように、異なる絞り30の口径比および焦点距離を基にカメラで複数の画像データa〜iを生成し、これらを参照用画像データS7として用いて相関検出部5が上記相関データS5を生成してもよい。
実験によれば、このように参照用画像データS7として、複数の画像データa〜iを用意することで、単数の画像データを用意した場合に比べて、相関の値が1.5倍程度まで上がることがわかった。これにより、判定部6による判定精度が向上する。
以下、上述したデータ処理装置1の応用例を説明する。
〔第1の応用例〕
当該応用例は、第3および第4の発明に対応している。
データ処理装置1は、例えば、画像データから撮影を行ったカメラを判定する場合に適用できる。
上述したように、画像データ同士の相関を取ることによって、同一のカメラで撮影された画像か、別のカメラで撮影された画像かを判定することができる。
そこで、画像データが複数のカメラのどれで撮影されたものかを以下のように判定する。
例えば、図12に示すように、カメラ40,41,42があった場合を考える。
この場合に、図13に示すように、カメラ40,41,42で所定の被写体を撮像し、撮像結果に応じた参照用画像データS7_1,S7_2,S7_3をそれぞれ生成する。
このとき、被写体は、青空のように均一な明るさで模様のないものにすることが好ましい。これにより、被判別対象画像データS31と絵柄が無相関の参照用画像データを生成できる。また、カメラのレンズの直前に乳白色のフィルターを配置することによっても同様の効果が得られる。
そして、図13に示すように、データ処理装置1のインタフェース3を介して入力した参照用画像データS7_1,S7_2,S7_3をメモリ2に書き込む。
そして、相関検出部5が、被判別対象画像データS31について、参照用画像データS7_1,S7_2,S7_3をそれぞれ用いた場合の相関データS5を生成する。
そして、判定部6が、参照用画像データS7_1,S7_2,S7_3をそれぞれ用いた場合の相関データS5のうち、原点の位置に大きなピークが見られる相関データを特定し、当該相関データの生成に用いた参照用画像データに対応したカメラで撮像されたと判定する。
これにより、図12に示すように、画像データ51,52,53がある場合に、これらを被判別対象画像データS31として図13に示すデータ処理装置1で判別を行うことで、画像データ51,52,53を撮像したカメラ40,41,42を特定できる。
〔第2の応用例〕
画像データの改竄の有無を判定する場合にデータ処理装置1を適用してもよい。
予め所定のカメラで撮像を行って参照用画像データS7を生成し、データ処理装置1の参照用画像データS7に記憶する。
そして、上記カメラで生成された画像データを受信した場合に、データ処理装置1を用いて、当該受信した画像データを被判別対象画像データS31として用いて、上述した判別を行い、当該受信した画像データが上記所定のカメラで撮像された正当なものであるか否かを判定する。
上記所定のカメラでの撮影を行わず、既存の画像のヘッダ情報だけを改竄して送った場合、参照用画像データS7との相関が取れないので、受信した画像データが不正なものであることを判定できる。
なお、上述したように相関検出部5で相関をとる場合、画像のスケール、変形、回転を行うと相関を示さなくなる。したがって、画像の一部を切り出して拡大する、画像の半分を拡大して半分を縮小する、画像を数度回転するなどの改竄を行った場合、相関を示さないのでオリジナルの画像ではないことがわかる。
〔第3の応用例〕
例えば、上述した第2の応用例によって、受信した画像データが正当なカメラで生成(撮像)されたものであると判定された場合に、当該受信した画像データに対して、さらに強固な画像の識別子として電子透かしデータ(付加データ)を埋め込む。
このように電子透かしデータを埋め込むことで、フィルタリング、変形などの操作を行った後も検出の容易なものを使用することによって、画像の著作権を含む画像に関する情報を画像に持たせることができる。
また、図14に示すように、コンピュータ45が、カメラ40,41,42から画像データを入力し、これらが参照用画像データS7を登録した正当な画像データであるかを判定する。
そして、コンピュータ45が、正当な画像データであると判定した場合に、当該画像データに電子透かしデータを埋め込んでネットワークに出力する。
これにより、コンピュータ45は、ネットワークを介してダウンロードした不正な画像を受信した場合に電子透かしデータが埋め込まれないようにすることができる。
〔第4の応用例〕
動画データの改竄の有無を判定する場合にデータ処理装置1を適用してもよい。
この場合には、正当なビデオカメラで生成した画像データを、参照用画像データS7としてデータ処理装置1のメモリ2に書き込む。
図15(A)は、正当なビデオカメラで生成した動画像データS60を説明するための図である。
図15(A)に示すように、動画像データS60は、ヘッダとシーン(画像データ)1〜6で構成されている。
図15(B)は、不正な改竄を行った動画像データS61を説明するための図である。
図15(B)に示すように、動画像データS61は、図15(A)に示す動画像データS60のシーン3を、上記正当なビデオカメラでないカメラで撮像した不正なシーン3Aで置き換えたものである。
データ処理装置1は、例えば、動画像データS61の各シーンを順に入力して、参照用画像データS7と相関をとることで、シーン3Aが不正に改竄されたものであると判定できる。
すなわち、動画像データS61のシーン1,2,4,5については参照用画像データS7と所定値を越える相関がとれるが、シーン3Aについては上記所定を越える相関がとれない。
この場合に、正当なビデオカメラで生成された参照用画像データを動画像データのヘッダなどに付け、データ処理装置1が当該参照用画像データS7を利用してもよい。
〔第5の応用例〕
当該応用例では、被判定対象画像データS31の一部が、参照用画像データS7を生成したカメラが生成した画像データを基に生成したもの(一部改竄画像)であるか否かを判別する場合を説明する。
当該応用例は、第11および第12の発明に対応している。
図16は、当該応用例を説明するための図である。
図16に示すように、当該応用例では、図1に示す相関検出部5aは、参照用画像データS7を入力し、これを複数のブロック画像データS7aに分割する。
また、相関検出部5aは、被判定対象画像データS31を入力し、これを複数のブロック画像データS31aに分割する。
相関検出部5aによる上記分割は、参照用画像データS7および被判定対象画像データS31とが同じサイズである場合に、同じ境界を基に行う。
ここで、参照用画像データS7および被判定対象画像データS31は、例えば、縦600ピクセル、横800ピクセルの2次元画像である。
ブロック画像データS7a,S31aは、例えば、縦横それぞれ200ピクセルの2次元画像である。
相関検出部5aは、上記複数のブロック画像データS31aのそれぞれについて、ブロック画像データS31aと、上記複数のブロック画像データS7aのうち当該ブロック画像データS31aに対応するブロック画像データS7aとの間の相関を検出する。当該相関の検出方法は、上述したSPOMFを基に行われる。この場合に、SPOMFの出力全点の値から求めた標準偏差で前述した原点の相関値を正規化する。
そして、相関検出部5aは、上記複数のブロック画像データS31aのそれぞれについて上記検出した相関COを判定部6aに出力する。
判定部6aは、相関検出部5aから入力した相関COを基に、相関COが示す検出強度の分布を基に、被判定対象画像データS31が、参照用画像データS7を生成したカメラが生成した画像データを一部改竄して生成されたものであるか否かを判別する。
具体的には、判定部6aは、図23に示すように、相関COの検出強度と、各検出強度幅内の検出強度を示したブロック画像データの数の対応関係を示すヒストグラムHSを生成し、当該ヒストグラムHSを基に上記判別を行う。
判定部6aは、上記判別を以下のように行う。
すなわち、被判定対象画像データS31に上記改竄が無い場合に、図17(A)に示すように、上記ヒストグラムHSが示す相関の検出強度は、ある値を中心として所定の範囲内に納まる。すなわち1つのグループを形成する。
これに対して、被判定対象画像データS31に上記改竄が有る場合に、図17(B)に示すように、上記ヒストグラムHSが示す相関の検出強度は、相関の検出強度が所定のレベルを越えた1つの山P1と、相関の検出強度が上記所定のレベルを越えない他の山P2とを有する。すなわち、2つのグループを形成する。 ここで、山P1に対応する部分が参照用画像データS7を生成したカメラの画像を用いた部分であり、山P2に対応する部分が上記カメラ以外の画像を用いた部分である。
判定部6aは、上記生成したヒストグラムHSが所定のレベルを越えた1つの山のみを持つ場合には、被判定対象画像データS31は上記カメラで生成した画像を一部改竄したものではないと判別する。
一方、判定部6aは、上記生成したヒストグラムHSが所定のレベルを越えた1つの山とそれ以外の山を持つ場合には、被判定対象画像データS31は上記カメラで生成した画像を一部改竄したものであると判別する。
以下、本応用例のデータ処理装置の動作例を説明する。
図18は、当該動作例を説明するための図である。
ステップST11:
図1および図16に示す相関検出部5aは、参照用画像データS7を入力し、これを複数のブロック画像データS7aに分割する。
また、相関検出部5aは、被判定対象画像データS31を入力し、これを複数のブロック画像データS31aに分割する。
ステップST12:
相関検出部5aは、上記複数のブロック画像データS31aのそれぞれについて、ブロック画像データS31aと、上記複数のブロック画像データS7aのうち当該ブロック画像データS31aに対応するブロック画像データS7aとの間の相関を検出する。
ステップST13:
判定部6aは、図16に示すように、相関COの検出強度と、各検出強度幅内の検出強度を示したブロック画像データの数の対応関係を示すヒストグラムHSを生成する。
ステップST14:
判定部6aは、ステップST13で生成したヒストグラムHSが所定のレベルを越えた1つの山のみを持つ場合には、被判定対象画像データS31は上記カメラで生成した画像を一部改竄したものではないと判別する。
一方、判定部6aは、ステップST13で生成したヒストグラムHSが所定のレベルを越えた1つの山とそれ以外の山を持つ場合には、被判定対象画像データS31は上記カメラで生成した画像を一部改竄したものであると判別する。
図16〜図18を用いて上述したデータ処理装置は、例えば、ネットワーク上のホームページや画像掲示板に掲載されている画像が他の画像を改竄して生成されたか否かを判別するシステムに適用可能である。
図19は、当該システム220の構成図である。
図19に示すように、システム220は、例えば、PC200およびデータベース210,211,212を有する。
PC200は、ネットワーク202上の単数または複数のサーバ204が提供する画像データを被判定対象画像データS31として用い、データベース211から読み出した参照用画像データS7との間の相関を検出して上述した判別を行う。
データベース210は、例えば、ネットワーク202上に接続された単数または複数のサーバ204が提供するホームページや掲示板などの画像のアドレスを記憶している。
データベース211は、例えば、単数または複数の所定のカメラで生成した参照用画像データS7を記憶している。
データベース212は、データベース211に記憶された参照用画像データS7と同じカメラから生成した画像データを改竄して用いているネットワーク202上の画像データのアドレス(URL)を記憶している。
図19に示すシステム220では、PC200の相関検出部5aが、ネットワーク202上の単数または複数のサーバ204のデータベース203から読み出した画像データを被判定対象画像データS31として用い、データベース211から読み出した参照用画像データS7との間の相関を検出する。
そして、PC200の判定部6aが、上記相関を基に、データベース203から読み出した画像データ、データベース211に記憶されている参照用画像データS7を生成したカメラの画像を改竄したものであるかを判別し、改竄したものであると判別した場合に、そのアドレスをネットワーク212に記憶する。
以上説明したように、上述した応用例によれば、被判定対象画像データS31の一部に改竄の疑いのあることを自動的に判別できる。
また、図19に示すシステム201によれば、ネットワーク202上のホームページや掲示板などの画像データの一部に改竄が施されているか否かを自動的に検出し、そのリストを生成できる。
〔第1のビジネス適用例〕
当該ビジネス適用例は、第5および第6の発明に対応している。
図20は、データ処理装置1がプリントサービスで盗難カメラを特定する場合を説明するための図である。
図20に示すように、盗難登録されたカメラで予め生成した画像データS72をデータ処理装置1に登録する。
カメラ71のユーザは、画像の記録されたメモリカードをDPE店に持って行き、プリンタ73でプリントをしてもらう。
この際、データ処理装置1が、カメラ73のメモリカードから読み出した画像データを、あらかじめ登録されている盗難されたカメラの画像との間で、前述したデータ処理装置1による相関検出および判定を行うことによって盗難されたカメラで撮影したものか否かの判定を行うことができる。
画像の照合の結果盗難されたカメラの画像と相関が所定値を越えた場合には、その旨を犯罪捜査機関74に通知する。
参照用画像データS7として登録する画像データS72は、あらかじめ平坦なシーンを複数撮影しておくことが望ましいが、何の準備もないまま盗難に遭った場合でも、既に撮影した画像を参照用画像データS7として登録してもよい。
〔第2のビジネス適用例〕
図21は、ISP(Internet Service Provider) 86にデータ処理装置1を適用した場合を説明するための図である。
図21に示すように、ユーザがカメラ81で撮像した画像データS82をコンピュータ83からISP(Internet Service Provider) 86にアップロードする。
ISP86は、アップロードされた画像データS82をデータ処理装置1に出力する。
そして、データ処理装置1が、ISP86から入力した画像データS82を、あらかじめ登録されている盗難されたカメラの画像データS84との間で、前述したデータ処理装置1による相関検出および判定を行うことによって盗難されたカメラで撮影したものか否かの判定を行うことができる。
そして、ISP86が、画像データS82が盗難されたカメラで撮像されたものではないと判定した場合に、当該画像データ82をホームページなどのデータとして用いる。
〔第3のビジネス適用例〕
図22は、盗撮された画像を撮像したカメラを特定するためにデータ処理装置1を適用した場合を説明するための図である。
現在、映画館にビデオカメラを持ち込んで非合法な方法で映画の撮影を行い、インターネット上のアップローダーなどに掲示する、又はユーザ間でのファイル交換を行うことが行われており、著作権者の権利を著しく侵害している。
そこで、製造されたビデオカメラ全ての参照用画像データS7をデータ処理装置1に登録し、データ処理装置1において、盗撮された映画の画像データS93との間の相関検出および判定を行うことで、盗撮を行ったカメラの特定が可能になる。カメラの情報を著作権者94に通報することによって、違法な方法で海賊版を作成している業者の特定の助けとなる。
〔第4のビジネス適用例〕
当該ビジネス適用例は、第7および第8の発明に対応している。
図23は、正当に契約を結んだ会社が自らのコンテンツを放送しているかを判定するためにデータ処理装置1を適用した場合を説明するための図である。
図23に示すように、テレビ局A101がカメラ102を用いて撮影した画像データS105を、参照用画像データS7としてデータ処理装置1に登録する。
テレビ局A101は、当該コンテンツデータをニュース配信会社103に提供する。
そして、ニュース配信会社103が、当該コンテンツデータをテレビ局B104に提供した場合に、テレビ局A101が、テレビ局B104を含む複数のテレビ局が放送したコンテンツデータを受信し、これを被判別対象画像データS31としてデータ処理装置1に出力する。
これにより、テレビ局A101は、データ処理装置1の判定結果を基に、何れのテレビ局が、自らのコンテンツデータを放送しているかを特定できる。
そして、テレビ局A101は、自らのコンテンツデータを放送しているテレビ局に対して、当該コンテンツデータの放送を許諾していない場合には、何らかの法的措置をとることができる。
〔第5のビジネス適用例〕
図24は、保険会社の証拠写真の正当性判断にデータ処理装置1を用いた場合を説明するための図である。
保険会社が使用する事故の証拠写真は、その証拠写真が正しく現場で撮影されたものであるかを確認する必要がある。
保険会社は、例えば、自らが登録したカメラ110で予め撮影した参照用画像データS7をデータ処理装置1に登録する。
そして、現場において、カメラ110で撮影した画像データS111を、PC112からネットワークを介してPC113に送信する。
そして、PC113が、PC112から受信した画像データを、被判別対象画像データS31としてデータ処理装置1に出力する。
そして、データ処理装置1において、上述した処理を行うことで、画像データS111が、正当なカメラ110で撮影されたものであるか否かを判定できる。
〔第6のビジネス適用例〕
データ処理装置1は、例えば、監視カメラの映像を伝送して遠隔地で確認する場合に、途中で画像がすり替えられたか否かを判定する場合にも適用できる。
この場合には、予め監視カメラで撮像した画像データを参照用画像データS7としてデータ処理装置1に登録する。
そして、データ処理装置1において、監視カメラから受信した画像データを被判別対象画像データS31として用いて、参照用画像データS7との間で相関をとることで、受信した画像データが、監視カメラで撮像されたものであるかを適切に判定できる。
〔第7のビジネス適用例〕
当該ビジネス適用例は、第9および第10の発明に対応している。
図25は、データ管理にデータ処理装置1を適用した場合を説明するための図である。
図25に示すように、PC120のメモリに複数のカメラ121,122などを用いて撮像した画像データの画像ファイルが記憶されている場合を考える。
この場合に、ユーザが、予めカメラ121,122で撮像した参照用画像データS7をデータ処理装置1に登録する。
そして、ユーザが、カメラ121,122で撮像した画像データの画像ファイルを検索する場合に、データ処理装置1にカメラ121,122の参照用画像データS7を指示する。
データ処理装置1は、当該指示を基に、PC120のメモリ内の全ての画像ファイルを被判別対象画像データS31として入力し、カメラ121,122で撮像された画像データの画像ファイルを判別(検索)する。この場合に、図1に示す判定部6が、本発明の検索手段に対応する。
そして、データ処理装置1は、判別結果を基に、PC120のメモリ内の画像ファイルを、カメラ121で撮像した画像ファイル群123と、カメラ122で撮像した画像ファイル群124と、それ以外のカメラで撮像した画像ファイル群125とに分類する。
〔第8のビジネス適用例〕
図26は、盗難された携帯電話装置の使用防止にデータ処理装置1を適用した場合を説明するための図である。
GSM方式の携帯電話201は盗難されたものでも、SIMカードを入れ替えれば使用することが出来る。盗難防止策として携帯電話201本体に設けられた識別子(IMEI)も書き換えを行う事が頻繁に行われている。携帯電話201の固体識別子として電話に付属のカメラを利用することで、このような犯罪を防ぐ事が出来る。
携帯電話201が通話をはじめる際、ダイヤルアップを行った時点で、携帯電話201から電話会社の中継器202に一枚の静止画が送られる。この静止画を、データ処理装置1において、盗難登録された携帯電話の画像データS203を参照用画像データS7として用いて、上記静止画を被判別対象画像データS31として用いることで、盗難された携帯電話201であるか無いかを判定できる。
そして、データ処理装置1は、盗難された携帯電話201であると判定した場合には犯罪捜査期間204に通知を行う。
[第9のビジネス適用例]
写真掲載を目的としたインターネット上の画像掲示板は、手軽な写真発表、写真による情報交換の場として便利なものである。デジタルカメラの普及によって、さまざまな趣味、嗜好を持つ人が画像掲示板を利用するようになった。
しかし、これらの画像掲示板は、荒らし行為により機能しなくなることがままある。荒らしの方法としてはTVキャプチャ画像、雑誌のスキャン画像など写真でないもの、他人の写真の無断転載、わいせつ画像、同一画像の連続掲載などがある。
このような荒らし行為を防ぐ方法としては、クレジットカードなどによる本人確認後にIDとパスワードを発行するなど個人認証を元にすれば完璧であるが、このような方法をとると人が集まらない。
またクッキーによる簡易ID制は、ある程度機能するが、クッキーを消去されてしまうと意味がなくなる。
第9のビジネス適用例は、上述した従来の問題点を前述したデータ処理装置1を用いて解決するものである。
図27は、本発明の第9のビジネス適用例を説明するための図である。
本ビジネス適用例は、第14の発明に対応している。
図27に示すように、ISP486は、例えば、図1に示すデータ処理装置1とデータベース450とを有する。
データベース450には、例えば、データ処理装置1による判定を経た正当な投稿画像が記憶されている。
図28は、掲示板画像451の一例を説明するための図である。
図28に示すように、掲示板画像451には、複数の投稿者がISP486に投稿(アップロード)した投稿画像と、その投稿者名(ユーザID)と、投稿者によるコメントとが関連付けられ表示される。
掲示板画像451への画像投稿を希望するユーザは、先ず、ISP486にユーザ登録を行う。
図29は、ISP486のデータ処理装置1が行うユーザ登録動作を説明するための図である。
ステップST21:
ユーザが、コンピュータ83を操作してISP486にユーザ登録要求を送信する。
ISP486の図1に示すデータ処理装置1の判定部6は、当該ユーザ登録要求に応じて、ユーザIDと参照画像との要求をコンピュータ83に送信する
ステップST22:
ユーザは、コンピュータ83を操作して、自ら決定したハンドル名などのユーザIDと、自らのカメラ81を用いて撮像した参照用画像データS482とをISP486に送信する。
参照用画像データS482は、カメラ81の撮像素子のすべてのピクセルについての情報をもつものが望ましい。また、ピクセルの感度ばらつき以外の情報が含まれていないものがよい。理想的な画像としては、グレーかつ平坦な画像で、しかもピントが被写体にあっていないものが挙げられる。このような画像は、白い紙にデジタルカメラのレンズを近づけて撮影することで得られる。また、参照用画像は、ある程度以上のサイズであることが望ましい。下限のサイズの一例としてはVGA程度とすることができる。
ISP486は、例えば、ステップST21において、このような特性を持つ参照用画像をコンピュータ83に要求する。
ステップST23:
データ処理装置1の判定部6は、ステップST22で受信した参照用画像データS482が平坦な画像であるか否かを検証し、平坦な画像であると判断するとステップST24に進み、そうでない場合にはステップST21に戻る。
ステップST24:
データ処理装置1の判定部6は、ステップST22で受信した参照用画像データS482がグレーな画像であるか否かを検証し、グレーな画像であると判断するとステップST25に進み、そうでない場合にはステップST21に戻る。
ステップST25:
データ処理装置1の判定部6は、ステップST22で受信した参照用画像データS482が予め決めたサイズを有しているか否かを検証し、予め決めたサイズを有していると判断するとステップST26に進み、そうでない場合にはステップST21に戻る。
ステップST25:
データ処理装置1の判定部6は、ステップST22で受信した参照用画像データS482(S7)と、ユーザIDとを対応付けて図1に示すメモリ2に書き込む。
次に、ISP486が、投稿画像を受け付ける場合の動作を説明する。
図30および図31は、当該動作を説明するための図である。
ステップST31:
ユーザが、コンピュータ83を操作してISP486に画像投稿要求を送信する。
ISP486の図1に示すデータ処理装置1の判定部6は、当該画像投稿要求に応じて、ユーザIDと投稿画像とをコンピュータ83に要求する。
ステップST32:
ユーザは、コンピュータ83を操作して、自ら決定したハンドル名などのユーザIDと、自らのカメラ81を用いて撮像した投稿用画像データS483とを含む登録要求をISP486に送信する。
ステップST33:
データ処理装置1の判定部6は、ステップST32で受信したユーザIDを基に、図1に示すメモリ2から、当該ユーザIDに対応する参照用画像データS482を検索する
ステップST34:
データ処理装置1の判定部6は、ステップST33において参照画像データS482を検索できたか否かを判断し、検索できたと判断するとステップST35に進み、そうでない場合にはステップST31に戻る。
ステップST35:
データ処理装置1の判定部6は、ステップST33で検索して読み出した参照画像データS482と、ステップST32で受信した投稿用画像データS483とが同一サイズであるか否かを判断し、同一サイズであると判断するとステップST38に進み、そうでない場合にはステップST36に進む。
ステップST36:
データ処理装置1の判定部6は、上記参照用画像データS482と投稿用画像データS483とが同一のアスペクト比であるか否かを判断し、同一のアスペクト比であると判断するとステップST37に進み、そうでない場合にはステップST31に戻る。
ステップST37:
データ処理装置1の判定部6は、上記参照用画像データS482のスケールを、投稿用画像データS483のスケールと一致するように変更し、これを参照用画像データS482とする。
ステップST38:
データ処理装置1の相関検出部5は、上記参照用画像データS482を参照用画像データS7として用い、上記投稿用画像データS483を被判定用画像データS31として用いて相関データS5を生成する。
ステップST39:
データ処理装置1の判定部6は、ステップST38で生成した相関データS5が所定のしきい値以上であるか否かを判断し、所定のしきい値以上であると判断するとステップST40に進み、そうでない場合にはステップST31に戻る。
ステップST40:
データ処理装置1の判定部6は、ステップST32で受信した投稿用画像データS483を、投稿画像としてデータベース450に書き込む。
これにより、当該投稿用画像データS483が、図28に示す画像掲示案451に掲載される。
第9のビジネス適用例によれば、TVキャプチャ画像、雑誌をスキャナーでスキャンした画像などをアップロードした場合、これらの画像は、参照用画像に見られるピクセル毎の感度ばらつきを持っていないので、参照用画像と同一のカメラで撮影したものでないことは容易にわかる。このような場合は、掲示板掲載を拒否すればよい。
また、参照用画像を撮影したカメラで撮影した画像であっても、意味のない写真の連続投稿、雑誌のグラビアなどを再撮影したもの、掲示板のテーマと異なる画像など、掲示板にふさわしくない画像が投稿された場合、まずユーザIDと画像が表示される。荒らしを行う人は、誰が行っているかを知られたくないのが普通なので、ユーザIDが表示されることによって自然と荒らし行為が収まる場合が多い。
また、ユーザIDが表示されても荒らし行為が続く場合、このユーザをユーザ登録のデータベースから外す。他のユーザIDを偽って投稿しようとした場合、アップロードされた画像は、ユーザIDと共に登録されている参照用画像との照合が取れないので、掲示板に掲載されることはない。
[相関検出部5の変形例]
上述した相関検出部5では、被判定対象画像データS31と参照用画像データS7に対して、図3に示すホワイトニング回路22,24において同じ処理を施している。
しかしながら、被判定対象画像データS31と参照用画像データS7とは元来異なる性質の画像であり、同じ処理をするのは、照合方法として最善ではない。

図32は、本変形例に係わる相関検出部505の機能ブロック図である。
図32に示すように、相関検出部505は、例えば、FFT回路21、ホワイトニング回路522、FFT回路23、ホワイトニング回路524、複素共役化回路25、乗算回路26およびIFFT回路27を有する。
本発明は、第13の発明に対応している。
ここで、FFT回路21およびFFT回路23が本発明の変換手段に対応し、ホワイトニング回路522およびホワイトニング回路524が本発明の除算手段に対応し、複素共役化回路25が本発明の置換手段に対応し、乗算回路26が本発明の乗算回路に対応し、IFFT回路27が本発明の逆変換回路に対応している。
図32において、図3と同じ符号を付したFFT回路21、FFT回路23、複素共役化回路25、乗算回路26およびIFFT回路27は、図3を用いて説明したものと同じである。
ホワイトニング回路522は、下記式(4)で示されるように、FFT回路21から入力した第2の周波数成分データS21を構成する各々の複素数データA(i,j)を、当該複素数データの絶対値|A(i,j)|のk1のべき乗で除算して第2の複素数データ Ad(i,j) (=S522)を生成する。
(数4)
Ad(i,j) = A(i,j)/(|A(i,j)|^k1) …(4)
ホワイトニング回路524は、下記式(5)で示されるように、FFT回路23から入力した第1の周波数成分データS23を構成する各々の複素数データB(i,j)を、当該複素数データの絶対値|B(i,j)|のk2のべき乗で除算して第1複素数データ Bd(i,j) (=S524)を生成する。
(数5)
Bd(i,j) = B(i,j)/(|B(i,j)|^k2) …(5)
ここで、k2>k1であり、第1の周波数成分データS23には、第2の周波数成分データS21に比べて強い振幅制限を加えられている。
本実施形態では、例えば、k1は例えば0.4〜0.8、k2は例えば1.0〜1.3である。
ビデオカメラAによる実験では、k1=0.45,k2=1.30が最適であり、デジタルスチルカメラBによる実験ではk1=0.6、k2=1.0が最適であった。
複素共役化回路25は、第1の複素数データS524を構成する各々の複素数データを、複素共役な複素数データに置き換えた第3の複素数データS25を生成し、これを乗算回路26に出力する。
乗算回路26は、第2の複素数データS522と第3の複素数データS25とを乗算して第4の複素数データS26を生成し、これをIFFT回路27に出力する。
IFFT回路27は、第4の複素数データS26に逆フーリエ変換を施して相関データS505を生成し、これを判定部6に出力する。
ここで、相関データは、被判定対象画像データS31と参照用画像データS7との相対位置を2次元上で循環的にずらして相関をとった値全てを示している。
判定部6は、相関検出部505で生成した相関データS505を基に、被判定対象画像データS31が、参照用画像データS7を生成した所定のカメラを用いて生成されたものであるか否かを判定する。
図33は、デジタルスチルカメラBにおいてk1、k2を変化させて相関の値をプロットしたもの。このようにプロットを行うことで最適値が分かる。
図32に示すホワイトニング回路522は、例えば、FFT回路21が参照用画像データS7に対して所定のFFT係数(変換係数)を乗じて第2の周波数成分データS21を生成する場合に、上記FFT係数を基に規定された第2の周波数成分データS21に、所定の周波数に対して低域側の所定の周波数帯域に対応する上記FFT係数を零にする処理をさらに施して第2の複素数データS22を生成してもよい。
また、ホワイトニング回路522は、さらに、第2の周波数成分データS21に、所定の周波数に対して広域側にあり水平方向の所定の周波数に対応する上記FFT係数を零にする処理をさらに施してもよい。
具体的には、ホワイトニング回路522は、図34に示す2次元FFTの出力マトリクス550のうち、斜線で示した低域の信号と、水平方向の高域の信号をゼロにする。2次元FFT係数の並べ方は慣例として、4隅が低域で中央が高域の場合と、4隅が高域で中央が低域の場合があるが、この図34は前者(4隅が低域で中央が高域)の場合である。
図34に示すFFTの出力マトリクスおいて、HおよびVはそれぞれ水平および垂直のFFT係数の数を示す。これら係数の数は、2次元FFTを行う前の画像のピクセル数に等しい。lh、lvは4隅の低域の係数を零にする範囲を示す。hvは垂直方向の高域係数を零にする範囲を示す。
本実施形態では、例えば、「lh = h * k1 」、k1 は0.1〜0.15とし、
「lv = v * k2」、k2 は0.1〜0.15とし、
「hv = v * k3」、k3 は0 〜0.2とする。
図35は、図3に示す相関検出部5を用いて、カメラ1〜3で撮像したシーン1〜5のフレームを被判定対象画像としてフレーム単位で照合を行った場合の相関データS5の値(縦軸)を示す。
図36は、図32に示す相関検出部505を用いて、カメラ1〜3で撮像したシーン1〜5のフレームを被判定対象画像としてフレーム単位で照合を行った場合の相関データS505の値(縦軸)を示す。
シーン1は参照画像と同様の撮影条件で撮像した画像である。
シーン2は、通常の撮影条件でカメラを静止した状態で撮像した画像である。
シーン3は通常の撮影条件で、カメラをパンした状態で撮像した画像である。
シーン4は露出オーバーの状態で撮像した画像である。
シーン5は全暗黒の状態で撮像した画像である。
上記シーン1〜5のうち、シーン1については非常に高い相関がでる。ここで、シーン2とシーン3での照合結果が実用上重要である。シーン4と5は通常の撮影条件ではないので、照合は出来なくても問題はない。
図35および図36に示すように、データ処理装置1に相関検出部505を用いることで、相関検出部5を用いた場合に比べて、カメラ1のシーン2での照合精度を高めることができる。
本発明は、画像データを撮像したカメラを判定するデータ処理システムに適用可能である。
図1は、本発明の実施形態のデータ処理装置の構成図である。 図2は、カメラが備える受光素子の断面を模式的に示す図である。 図3は、図1に示す相関検出部の機能ブロック図である。 図4は、自然画像と受光素子の固有パターンとを説明するための図である。 図5は、図1に示すデータ処理装置の動作を説明するためのフローチャートである。 図6は、図1に示すデータ処理装置の判定の精度を高める第1の手法について説明するための図である。 図7は、図1に示すデータ処理装置の判定の精度を高める第2の手法について説明するための図である。 図8は、図1に示すデータ処理装置の判定の精度を高める第3の手法について説明するための図である。 図9は、図1に示すデータ処理装置の判定の精度を高める第3の手法について説明するための図である。 図10は、図1に示すデータ処理装置の判定の精度を高める第3の手法について説明するための図である。 図11は、図1に示すデータ処理装置の判定の精度を高める第3の手法について説明するための図である。 図12は、図1に示すデータ処理装置の第1の応用例を説明するための図である。 図13は、図1に示すデータ処理装置の第1の応用例を説明するための図である。 図14は、図1に示すデータ処理装置の第3の応用例を説明するための図である。 図15は、図1に示すデータ処理装置の第4の応用例を説明するための図である。 図16は、図1に示すデータ処理装置の第5の応用例を説明するための図である。 図17は、図16に示す判定部の処理を説明するための図である。 図18は、図16に示すデータ処理装置の動作例を説明するためのフローチャートである。 図16に示すデータ処理装置を適用した改竄判別を行うシステムの構成図である。 図20は、図1に示すデータ処理装置の第1のビジネス適用例を説明するための図である。 図21は、図1に示すデータ処理装置の第2のビジネス適用例を説明するための図である。 図22は、図1に示すデータ処理装置の第3のビジネス適用例を説明するための図である。 図23は、図1に示すデータ処理装置の第4のビジネス適用例を説明するための図である。 図24は、図1に示すデータ処理装置の第5のビジネス適用例を説明するための図である。 図25は、図1に示すデータ処理装置の第7のビジネス適用例を説明するための図である。 図26は、図1に示すデータ処理装置の第8のビジネス適用例を説明するための図である。 図27は、図1に示すデータ処理装置の第9のビジネス適用例を説明するための図である。 図28は、図1に示すデータ処理装置の第9のビジネス適用例を説明するための図である。 図29は、図1に示すデータ処理装置の第9のビジネス適用例を説明するための図である。 図30は、図1に示すデータ処理装置の第9のビジネス適用例を説明するための図である。 図31は、図1に示すデータ処理装置の第9のビジネス適用例を説明するための図である。 図32は、図3に示す相関検出部の変形例を説明するための図である。 図33は、図3に示す相関検出部の変形例を説明するための図である。 図34は、図3に示す相関検出部の変形例を説明するための図である。 図35は、図3に示す相関検出部の変形例を説明するための図である。 図36は、図3に示す相関検出部の変形例を説明するための図である。
符号の説明
1…データ処理装置、2…メモリ、3…インタフェース、4…参照画像生成部、5,5a,505…相関検出部、6,6a…判定部、S7…参照用画像データ、9…バス、11…受光素子、12…シリコン基板、13…開口部、14…遮光層、15…集光レンズ、16…感光ドラム、16…絶縁層、21…FFT回路、22…ホワイトニング回路、23…FFT回路、24…ホワイトニング回路、25…複素共役化回路、26…乗算回路、27…IFFT回路

Claims (28)

  1. 受光感度に固有のばらつきがある受光素子の受光結果を基に画像データを生成する所定の画像生成装置によって生成された画像データであるか否かを判定するデータ処理装置であって、
    被判定対象の第1の画像データと、前記画像生成装置が生成した参照用の第2の画像データとの相関を検出する相関検出手段と、
    前記相関検出手段が検出した前記相関を基に、前記第1の画像データが前記画像生成装置を用いて生成されたものであるか否かを判定する判定手段と
    を有するデータ処理装置。
  2. 前記相関検出手段は、前記第1の画像データを基に表示される絵柄と相関の無い絵柄を表示する前記第2の画像データを用いて前記相関を検出する
    請求項1に記載のデータ処理装置。
  3. 前記相関検出手段は、第1の切り出し位置を基準に前記第1の画像データから第3の画像データを切り出し、第2の切り出し位置を基準に前記第2の画像データから第4の画像データを切り出し、前記第3の画像データと前記第4の画像データとの相関の検出を、前記第1の切り出し位置および前記第2の切り出し位置を変更して複数回行う
    請求項1に記載のデータ処理装置。
  4. 前記所定の画像生成装置を用いて複数の画像データを生成し、前記複数の画像データを平均化して前記第2の画像データを生成する参照画像生成手段
    をさらに有し、
    前記相関検出手段は、前記参照画像生成手段が生成した前記第2の画像データを用いて前記相関を検出する
    請求項1に記載のデータ処理装置。
  5. 前記画像生成装置が、前記複数の受光素子にレンズを介して光を入射させる場合に、
    前記レンズの絞りが異なる複数の状態のそれぞれで光を前記受光素子に入射させて複数の前記第2の画像データを生成する参照画像生成手段
    をさらに有し、
    前記相関検出手段は、前記参照画像生成手段が生成した前記複数の第2の画像データを用いて前記相関を検出する
    請求項1に記載のデータ処理装置。
  6. 前記相関検出手段は、前記第1の画像データと前記第2の画像データとの間の前記相関を、前記受光素子に対応した画素データを単位として、前記第1の画像データの画像と前記第2の画像データの画像との相対位置を2次元上で順次ずらして検出した前記相関を示す相関データを生成する
    請求項1に記載のデータ処理装置。
  7. 前記相関検出手段は、
    前記第1の画像データおよび前記第2の画像データを直交変換してそれぞれ第1の周波数成分データおよび第2の周波数成分データを生成する変換手段と、
    前記第1の周波数成分データを構成する各々の複素数データを当該複素数データの絶対値で除算して第1の複素数データを生成し、前記第2の周波数成分データを構成する各々の複素数データを当該複素数データの絶対値で除算して第2の複素数データを生成する除算手段と、
    前記第1の複素数データおよび前記第2の複素数データの一方を構成する各々の複素数データを複素共役な複素数データに置き換えた第3の複素数データを生成する置換手段と、
    前記置換手段によって置き換えが行われていない前記第1の複素数データまたは前記第2の複素数データと、前記置換手段で生成された前記第3の複素数データとを乗算して第4の複素数データを生成する乗算手段と、
    前記乗算手段が生成した前記第4の複素数データを逆直交変換して前記相関を示す相関データを生成する逆変換回路と
    を有する
    請求項6に記載のデータ処理装置。
  8. 前記判定手段が前記第1の画像データが前記画像生成装置を用いて生成されたものであると判定した場合に、前記第1の画像データに、著作権侵害防止用の付加データを付加する付加手段
    をさらに有する請求項1に記載のデータ処理装置。
  9. 前記受光素子の受光感度の固有のばらつきは、前記受光素子の製造過程で生じ、人為的に再現困難である
    請求項1に記載のデータ処理装置。
  10. 受光感度に固有のばらつきがある受光素子の受光結果を基に画像データを生成する所定の画像生成装置によって生成された画像データであるか否かを判定するデータ処理方法であって、
    被判定対象の第1の画像データと、前記画像生成装置が生成した参照用の第2の画像データとの相関を検出する第1の工程と、
    前記第1の工程で検出した前記相関を基に、前記第1の画像データが前記画像生成装置を用いて生成されたものであるか否かを判定する第2の工程と
    を有するデータ処理方法。
  11. 受光感度に固有のばらつきがある受光素子の受光結果を基に画像データを生成する複数の画像生成装置のうち何れの前記画像生成装置によって被判定対象の第1の画像データが生成されたかを判定するデータ処理装置であって、
    前記複数の画像生成装置を用いてそれぞれ生成された参照用の複数の第2の画像データを保持する保持手段と、
    前記第1の画像データと、前記保持手段が保持する前記第2の画像データとの相関を検出する相関検出手段と、
    前記相関検出手段が検出した前記相関を基に、前記複数の画像生成装置の何れを用いて前記第1の画像データが生成されたものであるか否かを判定する判定手段と
    を有するデータ処理装置。
  12. 受光感度に固有のばらつきがある受光素子の受光結果を基に画像データを生成する複数の画像生成装置のうち、何れの前記画像生成装置によって被判定対象の第1の画像データが生成されたかを判定し、前記複数の画像生成装置を用いてそれぞれ生成された参照用の複数の第2の画像データを保持するデータ処理装置が行うデータ処理方法であって、
    前記第1の画像データと、前記保持する前記第2の画像データとの相関を検出する第1の工程と、
    前記第1の工程で検出した前記相関を基に、前記複数の画像生成装置の何れを用いて前記第1の画像データが生成されたものであるか否かを判定する第2の工程と
    を有するデータ処理方法。
  13. 受光感度に固有のばらつきがある受光素子の受光結果を基に画像データを生成する所定の画像生成装置によって、被検体対象の第1の画像データが生成されたか否かを判定するデータ処理装置であって、
    盗難された前記画像生成装置を用いて予め生成された参照用の複数の第2の画像データを保持する保持手段と、
    前記第1の画像データと、前記保持手段が保持する前記第2の画像データとの相関を検出する相関検出手段と、
    前記相関検出手段が検出した前記相関を基に、盗難された前記画像生成装置を用いて前記第1の画像データが生成されたものであるか否かを判定する判定手段と
    を有するデータ処理装置。
  14. 受光感度に固有のばらつきがある受光素子の受光結果を基に画像データを生成する画像生成装置によって被判定対象の第1の画像データを生成したか否かを判定し、盗難された前記画像生成装置を用いて予め生成された参照用の複数の第2の画像データを保持するデータ処理装置が行うデータ処理方法であって、
    前記第1の画像データと、前記保持する前記第2の画像データとの相関を検出する第1の工程と、
    前記第1の工程で検出した前記相関を基に、盗難された前記画像生成装置を用いて前記第1の画像データが生成されたものであるか否かを判定する第2の工程と
    を有するデータ処理方法。
  15. 受光感度に固有のばらつきがある受光素子の受光結果を基に画像データを生成する画像生成装置によって被判定対象の第1の画像データが生成されたか否かを判定するデータ処理装置であって、
    所定の画像生成装置を用いて生成した画像データを放送することを許諾した放送元を特定する許諾放送元データと、前記所定の画像生成装置を用いて生成された参照用の第2の画像データとを保持する保持手段と、
    所定の放送元が放送した前記第1の画像データと、前記保持手段が保持する前記第2の画像データとの相関を検出する相関検出手段と、
    前記相関検出手段が検出した前記相関を基に、前記第1の画像データが前記画像生成装置を用いて生成されたものであるか否かを判定する第1の判定手段と、
    前記第1の判定手段において前記第1の画像データが前記画像生成装置を用いて生成されたものであると判定された場合に、前記保持手段が保持する前記許諾放送元データを基に、当該第1の画像データを放送した前記放送元に前記許諾が行われているか否かを判定する第2の判定手段と
    を有するデータ処理装置。
  16. 受光感度に固有のばらつきがある受光素子の受光結果を基に画像データを生成する画像生成装置によって被判定対象の第1の画像データが生成されたか否かを判定し、所定の画像生成装置を用いて生成した画像データを放送することを許諾した放送元を特定する許諾放送元データと、前記所定の画像生成装置を用いて生成された参照用の第2の画像データとを保持するデータ処理装置が行うデータ処理方法であって、
    所定の放送元が放送した前記第1の画像データと、前記データ処理装置が保持する前記第2の画像データとの相関を検出する第1の工程と、
    前記第1の工程で検出した前記相関を基に、前記第1の画像データが前記画像生成装置を用いて生成されたものであるか否かを判定する第2の工程と、
    前記第2の工程において前記第1の画像データが前記画像生成装置を用いて生成されたものであると判定された場合に、前記データ処理装置が保持する前記許諾放送元データを基に、当該第1の画像データを放送した前記放送元に前記許諾が行われているか否かを判定する第3の工程と
    を有するデータ処理方法。
  17. 受光感度に固有のばらつきがある受光素子の受光結果を基に画像データを生成する所定の画像生成装置によって生成された画像データを検索するデータ処理装置であって、
    記憶手段に記憶されている複数の第1の画像データと、前記所定の画像生成装置を用いて生成された参照用の第2の画像データとの相関を検出する相関検出手段と、
    前記相関検出手段が検出した前記相関を基に、前記記憶手段に記憶されている前記複数の第1の画像データのうち、前記画像生成装置を用いて生成された画像データを検索する検索手段と
    を有するデータ処理装置。
  18. 受光感度に固有のばらつきがある受光素子の受光結果を基に画像データを生成する所定の画像生成装置によって生成された画像データを検索するデータ処理装置が行うデータ処理方法であって、
    記憶手段に記憶されている複数の第1の画像データと、前記所定の画像生成装置を用いて生成された参照用の第2の画像データとの相関を検出する第1の工程と、
    前記第1の工程で検出した前記相関を基に、前記記憶手段に記憶されている前記複数の第1の画像データのうち、前記画像生成装置を用いて生成された画像データを検索する第2の工程と
    を有するデータ処理方法。
  19. 受光感度に固有のばらつきがある受光素子の受光結果を基に画像データを生成する所定の画像生成装置によって生成された画像データであるか否かを判定するデータ処理装置であって、
    被判定対象の第1の画像データを構成する複数の第1のブロック画像データのそれぞれについて、当該第1のブロック画像データと、前記画像生成装置が生成した第2の画像データを構成する複数の第2のブロック画像データのうち当該第1のブロック画像データに対応する第2のブロック画像データとの間の相関を検出する相関検出手段と、
    前記相関検出手段が検出した前記相関を基に、前記画像生成装置を用いて生成され生成された画像データを基に前記第1の画像データが生成されたか否かを判定する判定手段と
    を有するデータ処理装置。
  20. 前記判定手段は、前記複数の第1のブロック画像データについて前記相関検出手段が検出した前記相関の分布を基に、前記判定を行う
    請求項19に記載のデータ処理装置。
  21. 前記判定手段は、前記複数の第1のブロック画像データのうち、前記相関検出手段で検出された前記相関が所定のレベルを越えた前記第1のブロック画像データの数と、前記所定のレベルを越えていない前記第1のブロック画像データの数とを基に、前記判定を行う
    請求項19に記載のデータ処理装置。
  22. 受光感度に固有のばらつきがある受光素子の受光結果を基に画像データを生成する所定の画像生成装置によって生成された画像データであるか否かを判定するデータ処理方法であって、
    被判定対象の第1の画像データを構成する複数の第1のブロック画像データのそれぞれについて、当該第1のブロック画像データと、前記画像生成装置が生成した第2の画像データを構成する複数の第2のブロック画像データのうち当該第1のブロック画像データに対応する第2のブロック画像データとの間の相関を検出する第1の工程と、
    前記第1の工程で検出した前記相関を基に、前記画像生成装置を用いて生成され生成された画像データを基に前記第1の画像データが生成されたか否かを判定する第2の工程と
    を有するデータ処理方法。
  23. 受光感度に固有のばらつきがある受光素子の受光結果を基に画像データを生成する所定の画像生成装置によって生成された画像データであるか否かを判定するデータ処理装置であって、
    被判定対象の第1の画像データと、前記画像生成装置が生成した参照用の第2の画像データとの相関を検出する相関検出手段と、
    前記相関検出手段が検出した前記相関を基に、前記第1の画像データが前記画像生成装置を用いて生成されたものであるか否かを判定する判定手段と
    を有し、
    前記相関検出手段は、
    前記第1の画像データおよび前記第2の画像データを直交変換してそれぞれ第1の周波数成分データおよび第2の周波数成分データを生成する変換手段と、
    前記変換手段が生成した前記第1の周波数成分データが前記第2の周波数成分データに比べて振幅制限を強く受けるように、前記第1の周波数成分データを構成する各々の複素数データを基に第1の複素数データを生成し、前記第2の周波数成分データを構成する各々の複素数データを基に第2の複素数データを生成する演算手段と、
    前記演算手段が生成した前記第1の複素数データおよび前記第2の複素数データの一方を構成する各々の複素数データを複素共役な複素数データに置き換えた第3の複素数データを生成する置換手段と、
    前記置換手段によって置き換えが行われていない前記第1の複素数データまたは前記第2の複素数データと、前記置換手段で生成された前記第3の複素数データとを乗算して第4の複素数データを生成する乗算手段と、
    前記乗算手段が生成した前記第4の複素数データを逆直交変換して前記相関を示す相関データを生成する逆変換回路と
    を有する
    データ処理装置。
  24. 前記演算手段は、前記第2の周波数成分データを構成する各々の複素数データを当該複素数データの絶対値で除算して第2の複素数データを生成し、前記第1の周波数成分データを構成する各々の複素数データを、当該複素数データの絶対値に対して前記第1の周波数成分データが前記第2の周波数成分データに比べて振幅制限を強く受けるように所定の演算処理して得られた値で除算して第1の複素数データを生成する
    請求項23に記載のデータ処理装置。
  25. 前記演算手段は、前記第2の周波数成分データを構成する各々の複素数データを、当該複素数データの絶対値をk1乗した値で除算して前記第2の複素数データを生成し、前記第1の周波数成分データを構成する各々の複素数データを、当該複素数データの絶対値をk2(k2>k1)乗した値で除算して前記第1の複素数データを生成する
    請求項23に記載のデータ処理装置。
  26. 前記変換手段は、前記第1の画像データおよび前記第2の画像データに所定の変換係数を乗じてそれぞれ前記第1の周波数成分データおよび前記第2の周波数成分データを生成し、
    前記演算手段は、前記変換係数を基に規定された前記第2の周波数成分データに、所定の周波数に対して低域側の所定の周波数帯域に対応する前記変換係数を零にする処理をさらに施す
    請求項23に記載のデータ処理装置。
  27. 前記演算手段は、前記第2の周波数成分データに、所定の周波数に対して高域側にあり水平方向の所定の周波数に対応する前記変換係数を零にする処理をさらに施す
    請求項26に記載のデータ処理装置。
  28. 受光感度に固有のばらつきがある受光素子の受光結果を基に画像データを生成する所定の画像生成装置によって生成された画像データを、提供用の画像データとして登録するデータ処理装置であって、
    被判定対象の第1の画像データとユーザ識別データとを含む登録要求を入力するインタフェースと、
    前記ユーザ識別データと参照用の第2の前記画像データとを対応付けて記憶する記憶手段と、
    前記インタフェースを介して入力した前記登録要求に含まれる前記ユーザ識別データを基に前記記憶手段から前記第2の画像データを読み出し、当該読み出した第2の画像データと、前記登録要求に含まれる前記第1の画像データとの相関を検出する相関検出手段と、
    前記相関検出手段が検出した前記相関を基に、前記第1の画像データを前記提供用の画像データとして登録するか否かを判定する判定手段と
    を有するデータ処理装置。


JP2003296321A 2002-10-04 2003-08-20 データ処理装置およびデータ処理方法 Expired - Fee Related JP4062211B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003296321A JP4062211B2 (ja) 2002-10-04 2003-08-20 データ処理装置およびデータ処理方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2002292621 2002-10-04
JP2003103115 2003-04-07
JP2003296321A JP4062211B2 (ja) 2002-10-04 2003-08-20 データ処理装置およびデータ処理方法

Publications (3)

Publication Number Publication Date
JP2004328708A true JP2004328708A (ja) 2004-11-18
JP2004328708A5 JP2004328708A5 (ja) 2005-08-11
JP4062211B2 JP4062211B2 (ja) 2008-03-19

Family

ID=33514501

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003296321A Expired - Fee Related JP4062211B2 (ja) 2002-10-04 2003-08-20 データ処理装置およびデータ処理方法

Country Status (1)

Country Link
JP (1) JP4062211B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017072928A (ja) * 2015-10-06 2017-04-13 日本電気株式会社 不正変更判定装置
JP2021043496A (ja) * 2019-09-06 2021-03-18 東芝テック株式会社 デジタル撮像機器、デジタル撮像方法、プログラム
JP7512523B2 (ja) 2021-03-12 2024-07-08 バイドゥ オンライン ネットワーク テクノロジー(ペキン) カンパニー リミテッド ビデオ検出方法、装置、電子機器及び記憶媒体

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017072928A (ja) * 2015-10-06 2017-04-13 日本電気株式会社 不正変更判定装置
JP2021043496A (ja) * 2019-09-06 2021-03-18 東芝テック株式会社 デジタル撮像機器、デジタル撮像方法、プログラム
JP7382767B2 (ja) 2019-09-06 2023-11-17 東芝テック株式会社 デジタル撮像機器、デジタル撮像方法、プログラム
JP7512523B2 (ja) 2021-03-12 2024-07-08 バイドゥ オンライン ネットワーク テクノロジー(ペキン) カンパニー リミテッド ビデオ検出方法、装置、電子機器及び記憶媒体

Also Published As

Publication number Publication date
JP4062211B2 (ja) 2008-03-19

Similar Documents

Publication Publication Date Title
US10019773B2 (en) Authentication and validation of smartphone imagery
Rocha et al. Vision of the unseen: Current trends and challenges in digital image and video forensics
JP3142833B2 (ja) イメージ・キャプチャ・システムおよび方法
US9479845B2 (en) System and method for auto content recognition
Piva An overview on image forensics
JP4981455B2 (ja) オンチップでの電子透かしの入ったイメージ信号及び電子透かしを通じた写真によるトラベルログ
US12002127B2 (en) Robust selective image, video, and audio content authentication
Alles et al. Source camera identification for heavily jpeg compressed low resolution still images
US10902049B2 (en) System and method for assigning multimedia content elements to users
US7602935B2 (en) Data processing apparatus and associated method of identifying an image data source by detecting variations in strength of different light receiving elements
US20090231455A1 (en) Image sensor apparatus and method for embedding recoverable data on image sensor pixel arrays
CN114840831A (zh) 人脸图像的合法性验证方法、装置、电子设备和存储介质
KR101687989B1 (ko) 디지털 포렌식 영상 검증 시스템 및 이에 사용되는 촬영장치와 영상저장장치
JP2005197901A (ja) 画像データ管理方法
WO2020246166A1 (ja) 画像処理装置、画像処理方法、プログラム、撮像装置
JP4062211B2 (ja) データ処理装置およびデータ処理方法
Lefèbvre et al. Image and video fingerprinting: forensic applications
Nixon et al. Spn dash-fast detection of adversarial attacks on mobile via sensor pattern noise fingerprinting
CN102395041A (zh) 一种基于模式噪声相位的成像设备源检测方法
JP2002176630A (ja) 時空間情報付与・検出方法、装置及び時空間情報付与・検出プログラム記録媒体
KR101818118B1 (ko) 디지털 포렌식 영상 검증 시스템
JP2004159219A (ja) 画像撮影装置、画像複製装置、画像編集装置、撮影画像管理方法、複製画像管理方法および編集画像管理方法
JP4487862B2 (ja) 画像処理装置、画像処理方法及びプログラム
Zeng et al. Source smartphone identification for digital zoomed images
Alshaya Image and video source identification in the era of mobile devices and social media

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050311

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050311

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20071129

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071217

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110111

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120111

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130111

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees