JPH11355736A - 画像処理装置、画像処理方法及びコンピュ―タ読み取り可能な記憶媒体 - Google Patents

画像処理装置、画像処理方法及びコンピュ―タ読み取り可能な記憶媒体

Info

Publication number
JPH11355736A
JPH11355736A JP9759099A JP9759099A JPH11355736A JP H11355736 A JPH11355736 A JP H11355736A JP 9759099 A JP9759099 A JP 9759099A JP 9759099 A JP9759099 A JP 9759099A JP H11355736 A JPH11355736 A JP H11355736A
Authority
JP
Japan
Prior art keywords
motion
watermark information
image processing
image data
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP9759099A
Other languages
English (en)
Other versions
JP4035257B2 (ja
Inventor
Hiroshi Suda
浩史 須田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP09759099A priority Critical patent/JP4035257B2/ja
Priority to US09/288,219 priority patent/US6639996B2/en
Publication of JPH11355736A publication Critical patent/JPH11355736A/ja
Application granted granted Critical
Publication of JP4035257B2 publication Critical patent/JP4035257B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0021Image watermarking
    • G06T1/0085Time domain based watermarking, e.g. watermarks spread over several images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • H04N19/467Embedding additional information in the video signal during the compression process characterised by the embedded information being invisible, e.g. watermarking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00General purpose image data processing
    • G06T2201/005Image watermarking
    • G06T2201/0052Embedding of the watermark in the frequency domain
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00General purpose image data processing
    • G06T2201/005Image watermarking
    • G06T2201/0061Embedding of the watermark in each block of the image, e.g. segmented watermarking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Systems (AREA)

Abstract

(57)【要約】 【課題】 透かし情報の有無やその場所が明らかになる
のを防ぐとともに、透かし情報を入れることによる画像
の劣化及びデータ量の増加を抑えることのできる画像処
理装置、画像処理方法及びその画像処理プログラムが記
憶されたコンピュータ読み取り可能な記録媒体を提供す
ることである。 【解決手段】 画像データを入力し、画像データの動き
を判定し、その判定結果に応じて透かし情報を、前記画
像データ或いは前記画像データの符号化処理に用いられ
る動きベクトル等の所定情報データに重畳する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、画像データに透か
し情報を埋め込む画像処理装置、画像処理方法及び画像
処理プログラムが記憶されたコンピュータ読み取り可能
な記録媒体に関するものである。
【0002】
【従来の技術】従来からの画像記録/再生装置として
は、アナログ映像信号を磁気テープに記録するビデオテ
ープレコーダがあるが、複写を繰り返すと画像劣化もあ
り、不正利用などの著作権問題もそれほどクローズアッ
プされてこなかった。これに対して、映像信号をデジタ
ル化し、時には圧縮符号化するなどを施したデジタル画
像データは、取り扱いが容易であり、磁気テープに記録
するデジタルVTRに記録できるばかりでなく、コンピ
ュータの記憶装置に記憶したり、通信回線を介して伝送
できたりする。このデジタル化された画像データは、記
録したり伝送したりしても画像の劣化がほとんどないた
め、不正流用が懸念されている。
【0003】この不正流用を防ぐ方法として、画像デー
タの著作権者、発信元、管理番号、流通経路等々のID
情報データとしてのデジタル透かし(ウォーターマーキ
ング)を画像に入れることが知られている。デジタル透
かしとは、画像を見るユーザーからは解らないように、
こっそりと透かし情報を画像に混入させ、不正流用され
た画像の流出元や径路を、後から確認できるようにする
ものである。この場合、透かし情報を入れることによる
画像の劣化を極力抑えることと、画像から透かしだけを
抜き取ることができないように混入すること、また透か
し情報を入れることによってデータ量が大幅に増加する
のを防ぐこと等が重要になってくる。
【0004】動画像にデジタル透かしを入れる場合は、
フレーム毎に透かし情報を混入するとそのデータ量が膨
大になるため、一部のフレームのみに入れる方式が提案
されている。ただし、あまり透かしを入れるフレーム間
隔を広げすぎると、動画像の一部を不正流用された場合
の抑止効果が薄れてしまう。
【0005】
【発明が解決しようとする課題】上述のように、動画像
の一部のフレームにデジタル透かしを入れる場合、数フ
レームに渡って画像が変化しない部分にデジタル透かし
を入れると、前後フレームと比較することで、画像に変
化が無いにも関わらずデータが変化しているために、デ
ジタル透かしが入っていることが明らかになってしまう
ばかりか、デジタル透かしの位置までも明らかになって
しまう問題があった。それ故に、そのフレームだけを抜
くなど、透かしだけを抜き取ることも容易になってしま
う。
【0006】上述したような背景から本願発明の一つの
目的は、透かし情報の有無やその場所が明らかになるの
を防ぐとともに、透かし情報を入れることによる画像の
劣化及びデータ量の増加を抑えることのできる画像処理
装置、画像処理方法及びその画像処理プログラムが記憶
されたコンピュータ読み取り可能な記録媒体を提供する
ことを目的としている。
【0007】
【課題を解決するための手段】本発明の画像処理装置
は、画像データを入力する入力手段と、前記画像データ
の動きを判定する動き判定手段と、前記動き判定手段の
判定結果に応じて透かし情報を所定情報データに重畳す
る重畳手段とを有することを特徴とする。
【0008】また、本発明の画像処理方法は、画像デー
タを入力し、前記画像データの動きを判定し、前記判定
結果に応じて透かし情報を所定情報データに重畳するこ
とを特徴とする。
【0009】また、本発明の画像処理プログラムが記憶
されたコンピュータ読み取り可能な記憶媒体は、画像デ
ータを入力する入力工程の手順コードと、前記画像デー
タの動きを判定する判定工程の手順コードと、前記判定
結果に応じて透かし情報を所定情報データに重畳する重
畳工程の手順コードとを記憶したことを特徴とする。
【0010】
【発明の実施の形態】以下、図面を参照しながら本発明
の第1の実施例を説明する。図1は、本発明を動画像を
記録再生可能なビデオカメラに適用した場合の第1の実
施例を構成を示すブロック図である。図1において、撮
影レンズ100を通してCCD(charge coupled devic
e)等の撮像素子101に結像された被写体像は電気信
号に変換され、カメラ信号処理回路102で所定の信号
処理を行うことで、デジタル画像データに変換される。
前記デジタル画像データは、圧縮符号化回路103で後
述する圧縮符号化処理されて、記録再生回路104によ
り記録媒体105に記録される。尚、記録媒体105と
してはハードディスク、メモリカード、ビデオテープ等
を使用すればよい。
【0011】透かし情報発生回路106は、原著作権
者、編集隣接著作権者、及び利用者情報等の利権関係と
か、発信元や流通経路を明確にするための透かし情報を
発生する回路であり、これらの透かし情報は操作部10
7を操作することにより作成することができる。透かし
情報発生回路106によって発生された透かし情報は、
圧縮符号化回路103により符号化処理中に画像データ
に埋め込まれる。この処理の詳細は後述する。
【0012】記録媒体105に記録された符号化された
画像データは、記録再生回路104により再生され、復
号化回路108によって復号処理される。復号処理され
た画像データは透かし情報分離回路109に入力され
る。透かし情報分離回路109では、復号化回路108
から出力された画像データから透かし情報を分離処理す
る。透かし情報分離回路109で処理された画像データ
は表示器110へ出力され、表示される。また、透かし
情報分離回路109は、分離された透かし情報を操作部
107に指示に応じて表示器110へ出力する。
【0013】つまり、透かし情報分離回路109では、
透かし情報すべてを表示器110へ供給して表示させる
こともできるし、操作部107の指示により透かし情報
の中で必要な情報(たとえば、著作者情報)だけを表示
器110へ供給して表示させることもできる。更に、透
かし情報を表示器110へ全く供給しないようにし、透
かし情報を表示器110に表示させないこともできる。
表示器110では、透かし情報分離回路109から透か
し情報が供給された時は、前記透かし情報を画像データ
と共にモニタに表示する。
【0014】ここで、表示器110の表示例を図2に示
す。図2(a)は、文字情報で埋め込まれた透かし情報
のうち、原著作者情報をオンスクリーン表示した例であ
る。この例では、文字情報なので、表示器110内のキ
ャラクタジェネレータを用いて表示文字を作り出してい
る。図2(b)は、透かし情報が図2(a)のように文
字情報ではなく、画像情報として埋め込まれていた場合
で、この例では原著作者情報を画像に重ねて表示した例
である。図2(c)は、この映像が、どの流通経路で配
布されたかを表示する例である。この例では、TVのオ
ンエアで配布されたことを表している。図2(d)は、
透かし情報をオフにした時の表示例である。
【0015】次に、圧縮符号化回路103の詳細を図3
を参照しながら説明する。図3は、第1の実施例の圧縮
符号化回路103の詳細ブロック図である。図3におい
て、カメラ信号処理回路102から圧縮符号化回路10
3に入力された画像データは、ブロック分割回路201
により水平8画素、垂直8画素で構成されるブロックに
分割され、ブロック化された画像データは動き検出回路
206と加算器202とに供給される。
【0016】動き検出回路206では、ブロック単位で
画像データの動きを判定する。図4に示すように、現在
のフレーム(kフレーム)とひとつ前のフレーム(k−
1フレーム)とで、ブロックデータの比較を行ってブロ
ック単位での画像データの動きを判定している。ここで
は、ブロック単位で現フレームと前フレームとの差分値
を計算し、その差分値に応じて現ブロックの動きを判定
している。つまり、差分値が大きければ動き有りと判定
し、差分値が小さければ動き無しと判定する。
【0017】動き検出回路206で、動き有りと判定さ
れた図5に示すようなブロックは、ブロック選択回路2
07で選択される。そして、その動き有りと判定された
ブロックに対して、透かし情報発生回路106で発生さ
れた透かし情報が、加算器202を介して画像データに
重畳される。但し、ブロック選択回路207は、フレー
ムカウンタ208に従って所定のフレーム間隔を目安
に、かつ所定数のブロックに動きが検出されたフレーム
に対してのみ透かし情報を埋め込むように制御してい
る。すべてのフレームの画像データに透かし情報を重畳
するのではなく、固定のフレーム間隔で、或いはランダ
ムなフレーム間隔で透かし情報を動きのあるブロックの
画像データに重畳する。
【0018】ここで、第1の実施例での画像データに透
かし情報を重畳する方法について述べる。透かし情報を
画像データに埋め込む際は、画像の冗長度(ノイズマー
ジン)を考慮し、コード化された透かし情報を埋め込
む。本実施例では、動きの有るブロック毎に透かし情報
の1ビットを埋め込む。複数ブロックに渡って埋め込む
ことにより、全体で複数ビットの透かし情報を埋め込
む。また、透かし情報の埋め込み順は、透かし情報を復
号するために所定の規則を決めておかなければならない
が、本実施例では画面の左上から動きの有るブロックに
対して透かし情報を順次埋め込むようにする。図5に透
かし情報を埋め込む順番の例を示し、ブロックに付され
た番号が透かし情報を埋め込む順番を示している。
【0019】図3に戻ると、DCT回路203では、加
算器202から出力された画像データを前記ブロック単
位でDCT(Discrete Cosine Transform)変換を行
う。尚、DCT回路203では、フレーム単位でのDC
T変換モード(8×8画素ブロックでのDCT変換)
と、フィールド単位でのDCT変換モード(8×8画素
ブロックを第1のフィールドと第2のフィールドのおの
おの4×8ブロックに分割し、DCT変換する)とを有
し、動き検出回路206の動き結果に基づいて、これら
モードを切り換えている。つまり、動き有りと判定され
たときはフィールド変換モード、それ以外はフレーム変
換モードを選択して直交変換を行う。
【0020】DCT回路203で変換された画像データ
は、量子化回路204により量子化され、可変長符号化
回路205によってハフマン符号化等の可変長符号化を
行い、データ圧縮される。このようにして圧縮符号化処
理されたデータは、前述したように、記録再生回路10
4により記録媒体105に記録される。尚、上記透かし
情報としては、情報を符号化した符号透かし情報であっ
ても良いし、輝度情報や色情報で表現される画像透かし
信号でも良い。
【0021】本実施例では、動きの有る画像の空間の一
部に透かし情報を埋め込むことで、復号化した画像で
は、透かし情報はほとんど検出できなくなるが、符号化
された画像には透かし情報が残り続けるという効果を有
する。また、動画像のうち、動きが検出された部分にの
み透かし情報を埋め込むので、データ量の増加を防ぐと
共に、静止した画像には透かし情報が入っていないた
め、前後の画像を比較してデータの変化により透かし情
報を抽出するようなことはできない。したがって、第三
者が透かしが入っている事実や場所を突き止めることが
不可能となる効果があり、動画像の切り出しや改ざんを
されても、デジタル透かし情報を抜き取ることができな
いため、動画像の不正流用の抑止効果があるばかりでな
く、動画像の不正使用を突き止めることが可能になる効
果がある。さらに、透かし情報を動きのある部分のみに
入れることで、透かし情報の埋め込みよる画像劣化を視
覚上目立たなくするという効果も有する。
【0022】以下、図面を参照しながら第2の実施例を
説明する。第2の実施例は、全体の構成は第1の実施例
と同様であり、図1を用いてすでに説明した通りであ
る。但し、圧縮符号化回路103の内部構成が第1の実
施例と異なり、以下では、圧縮符号化回路103の構成
及び処理を説明する。図6は、第2の実施例の圧縮符号
化回路103の詳細ブロック図である。図6において、
圧縮符号化回路103に入力された画像データは、ブロ
ック分割回路301により水平8画素、垂直8画素で構
成されるブロックに分割され、ブロック化された画像デ
ータは動き検出回路306とDCT回路302とに供給
される。
【0023】動き検出回路306では、第1の実施例の
動き検出回路206と同様な処理によってブロック毎の
画像の動きを判定する。DCT回路302では、前記ブ
ロック単位でDCT係数に変換され、量子化回路303
で量子化される。また、DCT回路302では、第1の
実施例と同様にフレーム変換モードとフィールド変換モ
ードとを有し、動き検出回路306の出力に応じてモー
ド選択される。
【0024】動き検出回路306で、動き有りと判断さ
れた図5に示すようなブロックは、ブロック選択回路3
07で選択される。そして、その動き有りのブロックに
対して、透かし情報発生回路106で発生された透かし
情報が、加算器304を介して量子化された画像データ
に重畳される。但し、ブロック選択回路307は、第1
の実施例と同様にフレームカウンタ308に従って所定
のフレーム間隔を目安に、かつ所定数のブロックに動き
が検出されたフレームに対してのみ透かし情報を埋め込
むように制御している。すべてのフレームの画像データ
に透かし情報を重畳するのではなく、固定のフレーム間
隔で、或いはランダムなフレーム間隔で透かし情報を動
きのあるブロックの画像データに重畳する。
【0025】可変長符号化回路305では、加算器30
4から出力された画像データをハフマン符号化等の可変
長符号化を行い、データ圧縮した上で、記録再生回路1
04へ出力する。ここで、第2の実施例での画像データ
に透かし情報を重畳する方法について述べる。透かし情
報を画像データに埋め込む際は、画像の冗長度(ノイズ
マージン)を考慮し、コード化された透かし情報を埋め
込む。
【0026】本実施例では、動きの有るブロック毎に透
かし情報の1ビットを埋め込む。本実施例ではDCT変
換された、交流成分の低周波数成分のデータに透かし情
報を埋め込む。これは、後段の可変長符号化回路305
で用いられるハフマン符号の符号化効率や拡大縮小変換
など、あらゆる攻撃に対して耐性を持たせるためであ
る。
【0027】上述のように透かし情報を複数ブロックに
渡って埋め込むことにより、全体で複数ビットの透かし
情報を埋め込む。また、透かし情報の埋め込み順は、透
かし情報を復号するために所定の規則を決めておかなけ
ればならないが、本実施例では画面の左上から動きの有
るブロックに対して透かし情報を順次埋め込むようにす
る。図5に透かし情報を埋め込む順番の例を示し、図に
示されたブロック番号が透かし情報を埋め込む順番を示
している。
【0028】本実施例は、第1の実施例とは異なり、D
CT変換後の空間周波数成分に、動きの有るブロックに
対して透かし情報を埋め込むもので、第1の実施例より
も攻撃に対する耐性に優れる。尚、本実施例では周波数
成分に変換する方式としてDCT変換を用いたが、それ
に限るものではなくFFT(fast fourier transform)
を利用して周波数成分に変換しても良い。
【0029】また、第1の実施例と同様に、動きの有る
画像の周波数空間の一部に透かし情報を埋め込むこと
で、デコードした画像では、透かし情報はほとんど検出
できなくなるが、符号化された画像には透かし情報が残
り続けるという効果を有する。また、動画像のうち、動
きが検出された部分にのみ透かし情報を埋め込むので、
データ量の増加を防ぐと共に、静止した画像には透かし
情報が入っていないため、前後の画像を比較してデータ
の変化により透かし情報を抽出するようなことはできな
い。したがって、第三者が透かしが入っている事実や場
所を突き止めることが不可能となる効果があり、動画像
の切り出しや改ざんをされても、デジタル透かし情報を
抜き取ることができないため、動画像の不正流用の抑止
効果があるばかりでなく、動画像の不正使用を突き止め
ることが可能になる効果がある。さらに、透かし情報を
動きのある部分のみに入れることで、透かし情報の埋め
込みよる画像劣化を視覚上目立たなくするという効果も
有する。
【0030】以下、図面を参照しながら第3の実施例を
説明する。図7は、本発明の第3の実施例の画像処理装
置の構成を示すブロック図である。図7において、圧縮
符号化された画像データが記録された記録媒体401か
ら再生回路402によって読み出される。記録媒体40
1は、ハードディスク、RAM、ビデオテープ、DVD
等で構成されている。
【0031】記録媒体401に記録されている画像デー
タは図8のように構成された符号化回路を用いて符号化
されたものである。図8は、記録媒体401に記録され
た符号化された画像データを生成するための符号化回路
の構成を示すブロック図である。図8において、ブロッ
ク化回路501において入力された画像データを、水平
8画素、垂直8画素で構成されたブロックに分割する。
ブロック化回路501でブロック分割された画像データ
は、前記ブロック単位でDCT変換処理され、量子化回
路503により量子化され、可変長符号化回路504に
よってハフマン符号化等の可変長符号化される。
【0032】図7の説明に戻り、再生回路402により
再生された符号化された画像データは、透かし埋め込み
回路403により、操作部407の指示に応じて透かし
情報発生回路406から発生された透かし情報が埋め込
まれる(詳細は後述する)。配信サーバ404は、透か
し埋め込み回路403から出力された画像データをデジ
タルネットワーク405に流す。
【0033】次に、透かし埋め込み回路403の詳細を
図9を用いて説明する。図9は、透かし埋め込み回路4
03の詳細ブロック図である。図9において、可変長復
号化回路601では再生回路402から再生された符号
化された画像データを可変長復号化する。可変長復号化
回路601から出力される画像データは周波数成分の画
像データとなる。可変長復号化回路601で復号化され
た周波数成分の画像データは、透かし情報を重畳するた
めの加算器602及び逆量子化回路604へ出力され
る。
【0034】逆量子化回路604では、可変長復号化回
路601で復号化された画像データの逆量子化を行う。
その逆量子化された画像データは逆DCT回路605に
より、前記ブロック単位で逆DCT変換されて、周波数
成分データから符号化前の画像データに戻される。動き
検出回路606では、逆DCT回路605から出力され
た画像データを前記ブロック単位で動き判定する。動き
の判定方法は、第1の実施例で説明した方法と同様であ
る。
【0035】動き検出回路606で、動き有りと判定さ
れた図5に示すようなブロックは、ブロック選択回路6
07で選択され、その動き有りと判定されたブロックに
対して透かし情報発生回路406で発生された透かし情
報が加算器602で復号された画像データに重畳され
る。但し、ブロック選択回路607は、第1の実施例と
同様にフレームカウンタ608に従って所定のフレーム
間隔を目安に、かつ所定数のブロックに動きが検出され
たフレームに対してのみ透かし情報を埋め込むように制
御している。すべてのフレームの画像データに透かし情
報を重畳するのではなく、固定のフレーム間隔で、或い
はランダムなフレーム間隔で透かし情報を動きのあるブ
ロックの画像データに重畳する。尚、透かし情報の埋め
込み方法は、第2の実施例で説明した方法と同様であ
る。加算器602から出力された画像データは、可変長
符号化回路603により再度可変長符号化され、配信サ
ーバ404へ出力される。
【0036】本実施例では、符号化された画像データ
に、透かし情報(著作権情報等)を新たに埋め込んで、
ネットワークを介して配信することができるので、配信
される画像データの著作権を保護することが可能とな
る。また、動きの有る画像の周波数空間の一部に透かし
情報を埋め込むことで、復号化した画像では、透かし情
報はほとんど検出できなくなるが、符号化された画像に
は透かし情報が残り続けるという効果を有する。
【0037】また、動画像のうち、動きが検出された部
分にのみ透かし情報を埋め込むので、データ量の増加を
防ぐと共に、静止した画像には透かし情報が入っていな
いため、前後の画像を比較してデータの変化により透か
し情報を抽出するようなことはできない。したがって、
第三者が透かしが入っている事実や場所を突き止めるこ
とが不可能となる効果があり、動画像の切り出しや改ざ
んをされても、デジタル透かし情報を抜き取ることがで
きないため、動画像の不正流用の抑止効果があるばかり
でなく、動画像の不正使用を突き止めることが可能にな
る効果がある。さらに、透かし情報を動きのある部分の
みに入れることで、透かし情報の埋め込みよる画像劣化
を視覚上目立たなくするという効果も有する。
【0038】以下、図面を参照しながら第4の実施例を
説明する。第4の実施例は、全体の構成は第1の実施例
と同様であり、図1を用いてすでに説明した通りであ
る。但し、圧縮符号化回路103の内部構成が第1の実
施例と異なり、以下では、圧縮符号化回路103の構成
及び処理を説明する。図10は、第4の実施例の圧縮符
号化回路103の詳細ブロック図である。第4の実施例
ではMPEG-1或いはMPEG-2に準拠した圧縮符号
化を実行する。MPEG-1、MPEG-2では、例えば
図11に示すような画面タイプの並びで符号化処理を行
う。
【0039】MPEGでは、画像にIピクチャ、Pピク
チャ、Bピクチャという3つのタイプを規定している。
Iピクチャ(図11のn、n+6フレーム)は、フレー
ム内符号化(Intra符号化)を行う。Pピクチャ(図1
1のn+3フレーム)は、フレーム間順方向予測符号化
を行う。例えば、n+3フレームはn+6の画像を参照
して動き補償符号化を行う。Bピクチャ(図11のn+
1,n+2,n+4,n+5フレーム)は、双方向予測
符号化を行う。Bピクチャは、前後のIピクチャやPピ
クチャを基に、動き補償符号化を行う。本実施例では、
Pピクチャに対して透かし情報を埋め込む様にした。以
下ではPピクチャの処理のみ説明する。尚、Bピクチャ
にも透かし情報を同様な処理で埋め込んでも当然良い。
【0040】図10において、入力されたデジタル画像
データはブロック分割回路701で水平8画素、垂直8
画素で構成されるブロックに分割される。ブロック分割
された画像データは、差分器702により後述する動き
補償回路707から出力された画像データと差分され
て、DCT回路703へ出力される。DCT回路703
では、前記ブロック単位でDCT変換される。DCT変
換された画像データは、量子化回路704により量子化
される。量子化された画像データは、逆量子化回路70
8に送られて後述する局部復号が実施されると共に、可
変長符号化回路705によりハフマン符号化等の可変長
符号化処理される。
【0041】一方、逆量子化回路708では、量子化回
路704から出力された画像データを逆量子化し、逆D
CT回路709により符号化前の画像データに局部復号
される。この局部復号された画像データは、動き補償回
路707に供給され、所定の期間保持され、そして現在
の入力値である画像データと比較を行い動き検出(動き
ベクトル検出)を行う。動き補償回路707は、動き検
出結果に従って、動き補償を行うための該当部の画像デ
ータを差分器702に供給する。
【0042】また、動き補償回路707は、本実施例で
は(16×16)画素のブロック単位で動き検出を行
い、前記動きベクトルデータを検出している。前記動き
ベクトルは、ゲート回路710と加算器711に供給さ
れる。ゲート回路710では、透かし情報発生回路10
6より発生された透かし情報を、動きベクトルのレベル
が所定レベル以上の時に通過するように制御する。つま
り、動きベクトルが所定レベル以上の時に透かし情報が
ゲート回路710を通過し、加算器711によって動き
ベクトルデータに透かし情報が重畳される。動きベクト
ルが所定レベル以下の時は透かし情報はゲート回路71
0を通過できず、透かし情報は動きベクトルデータに重
畳されない。
【0043】加算器711から出力された動きベクトル
データは多重化回路706により符号化された画像デー
タに多重化されて記録再生回路104へ出力される。
尚、本実施例では一つの動きベクトルの移動を透かし情
報のビット列の1ビットに対応させる。動きベクトルを
複数組み合わせて透かし情報とする。いくつの動きベク
トルを用いるか、またどのような順序で透かし情報の1
ビットを付加して行くかは、透かし情報を復元する際に
必要なので、当然あらかじめその規則は決めている。
【0044】本実施例では、動き検出から得られる動き
ベクトルのうち、動きの大きい部分の動きベクトルに透
かし情報を埋め込むことで、画像の見えない部分に透か
し情報が埋め込むことができる。画像を劣化させること
がない。また、第三者には透かしが入っている事実や場
所を突き止めることが不可能となる効果があり、動画像
の切り出しや改ざんをされても、デジタル透かし情報を
抜き取ることができないため、動画像の不正流用の抑止
効果があるばかりでなく、動画像の不正使用を突き止め
ることが可能になる効果がある。
【0045】本発明は複数の機器(たとえばホストコン
ピュータ、インタフェース機器、リーダ、プリンタ等)
から構成されるシステムに適用しても一つの機器(たと
えばデジタルVTR、デジタルカメラ、デジタルテレ
ビ)からなる装置に適用してもよい。
【0046】また前述した実施例の機能を実現する様に
各種のデバイスを動作させる様に該各種デバイスと接続
された装置あるいはシステム内のコンピュータに、前記
実施例の機能を実現するためのソフトウエアのプログラ
ムコードを供給し、そのシステムあるいは装置のコンピ
ュータ(CPUあるいはMPU)を格納されたプログラ
ムに従って前記各種デバイスを動作させることによって
実施したものも本願発明の範疇に含まれる。
【0047】またこの場合、前記ソフトウエアのプログ
ラムコード自体が前述した実施例の機能を実現すること
になり、そのプログラムコード自体、及びそのプログラ
ムコードをコンピュータに供給するための手段、例えば
かかるプログラムコードを格納した記憶媒体は本発明を
構成する。かかるプログラムコードを格納する記憶媒体
としては例えばフロッピーディスク、ハードディスク、
光ディスク、光磁気ディスク、CD−ROM、磁気テー
プ、不揮発性のメモリカード、ROM等を用いることが
出来る。
【0048】またコンピュータが供給されたプログラム
コードを実行することにより、前述の実施例の機能が実
現されるだけではなく、そのプログラムコードがコンピ
ュータにおいて稼働しているOS(オペレーティングシ
ステム)、あるいは他のアプリケーションソフト等と共
同して前述の実施例の機能が実現される場合にもかかる
プログラムコードは本願発明の実施形態に含まれること
は言うまでもない。
【0049】更に供給されたプログラムコードが、コン
ピュータの機能拡張ボードやコンピュータに接続された
機能拡張ユニットに備わるメモリに格納された後そのプ
ログラムコードの指示に基づいてその機能拡張ボードや
機能格納ユニットに備わるCPU等が実際の処理の一部
または全部を行い、その処理によって前述した実施例の
機能が実現される場合も本願発明に含まれることは言う
までもない。
【0050】
【発明の効果】以上の説明から明らかなように、本発明
では画像データの動きに応じて透かし情報を埋め込むの
で、例えば透かし情報を動きのある部分に埋め込むこと
ができ、前後の画像を比較してデータの変化により透か
し情報を抽出するようなことはできず、第三者が透かし
が入っている事実や場所を突き止めることが不可能とな
る効果がある。これにより、画像の切り出しや改ざんを
されても、デジタル透かし情報を抜き取ることができな
いため、画像の不正流用の抑止効果があるばかりでな
く、画像の不正使用を突き止めることが可能になるとい
う効果がある。さらに、透かし情報の埋め込みによるデ
ータ量の増大を抑えるとともに、画像劣化を視覚上目立
たなくするという効果も有する。
【図面の簡単な説明】
【図1】本発明をビデオカメラに適用した場合の第1の
実施例の構成を示すブロック図である。
【図2】本発明に係わる画像の表示例を示す図である。
【図3】第1の実施例の圧縮符号化回路103の詳細ブ
ロック図である。
【図4】ブロックの動きを判断処理を説明するための図
である。
【図5】フレーム内で動き有りのブロックを示す図であ
る。
【図6】第2の実施例の圧縮符号化回路103の詳細ブ
ロック図である。
【図7】本発明の第3の実施例の画像処理装置の構成を
示すブロック図である。
【図8】記録媒体401に記録された符号化された画像
データを生成するための符号化回路の構成を示すブロッ
ク図である。
【図9】透かし埋め込み回路403の詳細ブロック図で
ある。
【図10】第4の実施例の圧縮符号化回路103の詳細
ブロック図である。
【図11】MPEG符号化処理における画面タイプの並
びの例を示す図である。
【符号の説明】
101 撮像素子 102 カメラ信号処理回路 103 圧縮符号化回路 104 記録媒体 106、406 透かし情報発生回路 201、301、701 ブロック分割回路 202、304、602、711 加算器 203、302、703 DCT回路 204、303、503、704 量子化回路 205、305、504、705 可変長符号化回路 206、306、606 動き検出回路 207、307、607 ブロック選択回路 208、308、608 フレームカウンタ 403 透かし埋め込み回路 601 可変長復号化回路 605、709 逆DCT回路 702 差分器 706 多重化回路 707 動き補償回路 708 逆量子化回路 710 ゲート回路

Claims (20)

    【特許請求の範囲】
  1. 【請求項1】 画像データを入力する入力手段と、 前記画像データの動きを判定する動き判定手段と、 前記動き判定手段の判定結果に応じて透かし情報を所定
    情報データに重畳する重畳手段とを有することを特徴と
    する画像処理装置。
  2. 【請求項2】 前記画像処理装置は更に、前記画像デー
    タを符号化する符号化手段とを有することを特徴とする
    請求項1記載の画像処理装置。
  3. 【請求項3】 前記符号化手段は、前記画像データを所
    定画素数で構成されたブロック単位で直交変換する変換
    手段を有することを特徴とする請求項2記載の画像処理
    装置。
  4. 【請求項4】 前記所定情報データとは、前記変換手段
    から出力された低周波数成分の画像データであることを
    特徴とする請求項3記載の画像処理装置。
  5. 【請求項5】 前記動き判定手段は、前記ブロック毎に
    動き判定を行い、前記重畳手段は前記動き判定手段によ
    り動き有りと判定されたブロックの画像データに対して
    前記透かし情報を重畳することを特徴とする請求項3又
    は4記載の画像処理装置。
  6. 【請求項6】 前記重畳手段は、動き有りのブロックが
    所定数以上あるフレームに対して透かし情報を重畳する
    ことを特徴とする請求項5記載の画像処理装置。
  7. 【請求項7】 前記動き判定手段は、前記画像データの
    動きを所定画素数で構成されたブロック単位で行い、前
    記所定情報データは、前記動き判定手段によって動き有
    りと検出されたブロックの画像データであることを特徴
    とする請求項1記載の画像処理装置。
  8. 【請求項8】 前記重畳手段は、動き有りのブロックが
    所定数以上あるフレームに対して前記透かし情報を重畳
    することを特徴とする請求項7記載の画像処理装置。
  9. 【請求項9】 前記入力手段によって入力される画像デ
    ータは、符号化された画像データであり、前記入力手段
    は前記符号化された画像データを復号化する復号化手段
    を有し、前記動き判定手段は前記復号化手段によって復
    号化された画像データの動きを判定し、前記重畳手段は
    前記復号化手段によって復号化された画像データに対し
    て前記動き判定手段の判定結果に応じて透かし情報を重
    畳することを特徴とする請求項1記載の画像処理装置。
  10. 【請求項10】 前記画像処理装置は更に、前記重畳手
    段によって前記透かし情報が重畳された画像データを符
    号化する符号化手段を有することを特徴とする請求項9
    記載の画像処理装置。
  11. 【請求項11】 前記動き判定手段は、画像の動きを表
    す動きベクトルデータを出力し、前記重畳手段は前記動
    きベクトルデータの大きさに応じて前記透かし情報を重
    畳することを特徴とする請求項1記載の画像処理装置。
  12. 【請求項12】 前記所定情報データは、前記動きベク
    トルデータであることを特徴とする請求項11記載の画
    像処理装置。
  13. 【請求項13】 前記画像処理装置は更に、前記動き判
    定手段によって出力された動きベクトルデータに基づい
    て前記画像データを動き補償符号化する符号化手段を有
    することを特徴とする請求項12記載の画像処理装置。
  14. 【請求項14】 前記入力手段は被写体像を撮像して前
    記画像データを出力する撮像手段を含むことを特徴とす
    る請求項2〜6及び13のいずれか1項に記載の画像処
    理装置。
  15. 【請求項15】 前記画像処理装置は更に、前記符号化
    手段によって符号化された画像データを記録媒体に記録
    する記録手段を有することを特徴とする請求項14記載
    の画像処理装置。
  16. 【請求項16】 画像データを入力し、 前記画像データの動きを判定し、 前記判定結果に応じて透かし情報を所定情報データに重
    畳することを特徴とする画像処理方法。
  17. 【請求項17】 前記所定情報データは前記画像データ
    であることを特徴とする請求項16記載の画像処理方
    法。
  18. 【請求項18】 前記判定ステップは動きベクトルを検
    出し、動きベクトルデータを発生し、前記重畳ステップ
    は前記動きベクトルの大きさに応じて透かし情報を重畳
    することを特徴とする請求項16記載の画像処理方法。
  19. 【請求項19】 前記所定情報データは前記動きベクト
    ルデータであることを特徴とする請求項18記載の画像
    処理方法。
  20. 【請求項20】 画像処理プログラムが記憶されたコン
    ピュータ読み取り可能な記憶媒体であって、 画像データを入力する入力工程の手順コードと、 前記画像データの動きを判定する判定工程の手順コード
    と、 前記判定結果に応じて透かし情報を所定情報データに重
    畳する重畳工程の手順コードとを記憶したことを特徴と
    する画像処理プログラムが記憶されたコンピュータ読み
    取り可能な記憶媒体。
JP09759099A 1998-04-10 1999-04-05 画像処理装置、画像処理方法及びコンピュータ読み取り可能な記憶媒体 Expired - Fee Related JP4035257B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP09759099A JP4035257B2 (ja) 1998-04-10 1999-04-05 画像処理装置、画像処理方法及びコンピュータ読み取り可能な記憶媒体
US09/288,219 US6639996B2 (en) 1998-04-10 1999-04-08 Image processing apparatus, image processing method and computer readable memory medium

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP9894998 1998-04-10
JP10-98949 1998-04-10
JP09759099A JP4035257B2 (ja) 1998-04-10 1999-04-05 画像処理装置、画像処理方法及びコンピュータ読み取り可能な記憶媒体

Publications (2)

Publication Number Publication Date
JPH11355736A true JPH11355736A (ja) 1999-12-24
JP4035257B2 JP4035257B2 (ja) 2008-01-16

Family

ID=26438756

Family Applications (1)

Application Number Title Priority Date Filing Date
JP09759099A Expired - Fee Related JP4035257B2 (ja) 1998-04-10 1999-04-05 画像処理装置、画像処理方法及びコンピュータ読み取り可能な記憶媒体

Country Status (2)

Country Link
US (1) US6639996B2 (ja)
JP (1) JP4035257B2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002084510A (ja) * 2000-09-08 2002-03-22 Jisedai Joho Hoso System Kenkyusho:Kk 電子透かしの埋め込み方法、及びその装置
KR100383836B1 (ko) * 2001-05-30 2003-05-14 한국과학기술원 동작 데이터의 다해상도 분석에 근거한 워터마킹 삽입 및분석방법
JP2008502256A (ja) * 2004-06-08 2008-01-24 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 移動されたオブジェクトにより引き起こされた電子透かし不規則性の補償
US7336799B2 (en) 2001-06-05 2008-02-26 Sony Corporation Digital watermark embedding device and digital watermark embedding method
US7424128B2 (en) 2002-04-10 2008-09-09 Pioneer Corporation Electronic watermark embedding apparatus, electronic watermark embedding method, record medium having electronic watermark and manufacturing method of record medium
US7564973B2 (en) 2001-06-05 2009-07-21 Sony Corporation Digital watermark embedding device and digital watermark embedding method
US8346062B2 (en) 2005-08-31 2013-01-01 Sony Corporation Information processing device, information recording medium manufacturing device, information recording medium, methods thereof, and computer program
JP2013132682A (ja) * 2011-12-27 2013-07-08 Jfe Steel Corp 通板異常検出装置

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8332478B2 (en) * 1998-10-01 2012-12-11 Digimarc Corporation Context sensitive connected content
US20020032734A1 (en) 2000-07-26 2002-03-14 Rhoads Geoffrey B. Collateral data combined with user characteristics to select web site
JP2001111808A (ja) * 1999-10-05 2001-04-20 Nec Corp 電子すかしデータ挿入方式及び装置
WO2001052548A1 (en) * 2000-01-14 2001-07-19 Koninklijke Philips Electronics N.V. Transcoding method and device
JP3549097B2 (ja) * 2000-04-26 2004-08-04 インターナショナル・ビジネス・マシーンズ・コーポレーション 共同作業オブジェクトのオーナ識別方法、コンピュータシステムおよびコンピュータ可読な記録媒体
US7095870B2 (en) * 2000-12-21 2006-08-22 Hitachi, Ltd. Electronic watermark embedding apparatus and method and a format conversion device having a watermark embedding function
AU2003210625A1 (en) 2002-01-22 2003-09-02 Digimarc Corporation Digital watermarking and fingerprinting including symchronization, layering, version control, and compressed embedding
JP2004048219A (ja) * 2002-07-10 2004-02-12 Hitachi Ltd 電子透かし情報の挿入方法
EP1398732A3 (en) * 2002-09-04 2006-09-27 Matsushita Electric Industrial Co., Ltd. Digital watermark-embedding and detecting
KR20050083866A (ko) * 2002-10-30 2005-08-26 코닌클리케 필립스 일렉트로닉스 엔.브이. 적응 워터마킹
FR2846828B1 (fr) * 2002-10-31 2005-03-11 France Telecom Procede de tatouage d'un signal video, systeme et support de donnees pour la mise en oeuvre de ce procede, procede d'extraction du tatouage d'un signal video, systeme pour la mise en oeuvre de ce procede
US20040208231A1 (en) * 2003-04-17 2004-10-21 G-Mix Co., Ltd. Concealing process of digital information
EP1618564A2 (en) * 2003-04-25 2006-01-25 Thomson Licensing Marking techniques for tracking pirated media
WO2005011300A2 (en) * 2003-07-15 2005-02-03 Transchip, Inc. Data overlay for a digital camera module
US20130188712A1 (en) * 2012-01-24 2013-07-25 Futurewei Technologies, Inc. Compressed Domain Watermarking with Reduced Error Propagation
PL3326296T3 (pl) 2015-07-24 2024-01-29 Info Wise Limited System i sposób powielania znaczników dostępu bezprzewodowego

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5646997A (en) * 1994-12-14 1997-07-08 Barton; James M. Method and apparatus for embedding authentication information within digital data
US6226387B1 (en) * 1996-08-30 2001-05-01 Regents Of The University Of Minnesota Method and apparatus for scene-based video watermarking
US6282299B1 (en) * 1996-08-30 2001-08-28 Regents Of The University Of Minnesota Method and apparatus for video watermarking using perceptual masks
US6052780A (en) * 1996-09-12 2000-04-18 Open Security Solutions, Llc Computer system and process for accessing an encrypted and self-decrypting digital information product while restricting access to decrypted digital information
US5809139A (en) * 1996-09-13 1998-09-15 Vivo Software, Inc. Watermarking method and apparatus for compressed digital video
JP3686741B2 (ja) * 1997-02-19 2005-08-24 富士通株式会社 画像データへの識別情報埋め込み方法,識別情報が埋め込まれた画像データからの識別情報抽出方法,画像データへの識別情報埋め込み装置,識別情報が埋め込まれた画像データからの識別情報抽出装置,及びコンピュータ可読媒体
US5960081A (en) * 1997-06-05 1999-09-28 Cray Research, Inc. Embedding a digital signature in a video sequence
US6208735B1 (en) * 1997-09-10 2001-03-27 Nec Research Institute, Inc. Secure spread spectrum watermarking for multimedia data
US6101602A (en) * 1997-12-08 2000-08-08 The United States Of America As Represented By The Secretary Of The Air Force Digital watermarking by adding random, smooth patterns
US6037984A (en) * 1997-12-24 2000-03-14 Sarnoff Corporation Method and apparatus for embedding a watermark into a digital image or image sequence
US6208745B1 (en) * 1997-12-30 2001-03-27 Sarnoff Corporation Method and apparatus for imbedding a watermark into a bitstream representation of a digital image sequence
US6188728B1 (en) * 1998-09-29 2001-02-13 Sarnoff Corporation Block motion video coding and decoding

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002084510A (ja) * 2000-09-08 2002-03-22 Jisedai Joho Hoso System Kenkyusho:Kk 電子透かしの埋め込み方法、及びその装置
KR100383836B1 (ko) * 2001-05-30 2003-05-14 한국과학기술원 동작 데이터의 다해상도 분석에 근거한 워터마킹 삽입 및분석방법
US7336799B2 (en) 2001-06-05 2008-02-26 Sony Corporation Digital watermark embedding device and digital watermark embedding method
US7564973B2 (en) 2001-06-05 2009-07-21 Sony Corporation Digital watermark embedding device and digital watermark embedding method
US7424128B2 (en) 2002-04-10 2008-09-09 Pioneer Corporation Electronic watermark embedding apparatus, electronic watermark embedding method, record medium having electronic watermark and manufacturing method of record medium
JP2008502256A (ja) * 2004-06-08 2008-01-24 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 移動されたオブジェクトにより引き起こされた電子透かし不規則性の補償
US8346062B2 (en) 2005-08-31 2013-01-01 Sony Corporation Information processing device, information recording medium manufacturing device, information recording medium, methods thereof, and computer program
JP2013132682A (ja) * 2011-12-27 2013-07-08 Jfe Steel Corp 通板異常検出装置

Also Published As

Publication number Publication date
US6639996B2 (en) 2003-10-28
JP4035257B2 (ja) 2008-01-16
US20020114488A1 (en) 2002-08-22

Similar Documents

Publication Publication Date Title
JP4035257B2 (ja) 画像処理装置、画像処理方法及びコンピュータ読み取り可能な記憶媒体
KR100553469B1 (ko) 전자 워터마크 데이터 삽입 장치 및 전자 워터마크 데이터 검출 장치
Meng et al. Embedding visible video watermarks in the compressed domain
US6175639B1 (en) Digital data encode system
US6341350B1 (en) Device and method for processing image data, transmitting medium, and recording medium
Langelaar et al. Real-time labeling of MPEG-2 compressed video
KR100290330B1 (ko) 디지탈데이터용식별데이터삽입및검출시스템
US7920713B2 (en) Recorded video broadcast, streaming, download, and disk distribution with watermarking instructions
JP4617049B2 (ja) エンコードされたデジタルビットストリームでデータを埋め込むための方法及び装置
JP3201347B2 (ja) 画像属性変更装置と電子透かし装置
US6798893B1 (en) Digital watermarking technique
KR100309521B1 (ko) 비디오데이터인코더
EP1164543A2 (en) Digital information embedding/extracting
Du et al. Lossless authentication of MPEG-2 video
US7526099B2 (en) Motion picture data processing device, method, and program
US7564973B2 (en) Digital watermark embedding device and digital watermark embedding method
JP2002176550A (ja) 電子すかしデータ挿入・検出装置
JP2001111808A (ja) 電子すかしデータ挿入方式及び装置
JP4023324B2 (ja) 透かし埋め込み及び画像圧縮部
JP3353691B2 (ja) デジタルデータのエンコードシステム及び電子透かしデータ挿入方法並びに制御プログラムを格納した記憶媒体
US20090175335A1 (en) Digital Watermarking Method
KR20050112634A (ko) 비디오 워터마킹 방법 및 장치와, 비디오 워터마킹을 이용한 비디오 콘텐츠 보호방법 및 장치
JPH11164134A (ja) 画像データ処理装置および方法、提供媒体、並びに記録媒体
JP3933140B2 (ja) 電子すかしデータ挿入方法及び装置
CA2230183C (en) Digital data encode system

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070731

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070829

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071009

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071029

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101102

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101102

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111102

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121102

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131102

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees