以下、添付の図面を参照しながら、本発明によるデータ処理装置の各実施形態を説明する。以下の実施形態では、データ処理装置はビデオカメラであるとして説明する。
本明細書では、以下のように定義される用語を用いて説明する。
映像:複数のピクチャを所定の垂直走査周波数で次々と切り替えることによって表示される画像。映像は、動画、静止画、字幕などの文字や図形等を含む。例えば、単位時間(1秒間)に30枚のピクチャを切り替える映像の垂直走査周波数は30Hzである。
ピクチャ:インターレース方式では奇数ラインと偶数ラインの2つのフィールド画像から構成されるフレーム画像。プログレッシブ方式では1つのフレーム画像。ピクチャは、フレームおよびフィールドの両方を表す概念である。なお、映像の1ピクチャ(特にフィルムに記録された映像の1ピクチャ)は「1コマ」と呼ばれることもある。一般的な映画は、インターレース方式ではなく、また、1秒間に24ピクチャ(フレーム)が表示される。
SD(Standard Definition)映像:標準画質の映像(NTSC方式の480i映像、PAL方式の576i映像)をいう。
HD(High Definition)映像:上記SD映像以外の高精細の映像(例えばハイビジョン映像)をいう。
以下、表1および表2に、SD映像とHD映像の動画に関する、より具体的な例を示す。表2における24pまたは23.976pのHD映像は、フィルム素材の映像と呼ばれている。
(実施形態1)
図1は、本実施形態によるビデオカメラ1の機能ブロックの構成を示す。ビデオカメラ1は、撮影した映像をHD映像またはSD映像として記録媒体(図1ではDVD−RAMディスク131)に記録することができる。またビデオカメラ1は、記録媒体に記録された映像および音声を、ビデオカメラ1に付属するモニタやスピーカを用いて再生することもできる。
ビデオカメラ1は、カメラ部100と、マイク101と、動画ストリーム生成部102と、制御部105と、記録部106と、映像信号出力部110と、音声信号出力部111と、動画ストリーム復号部112と、再生制御部115と、再生部116と、映像タイプ特定部119と、ピックアップ130とを有する。なお、図1に示されているDVD−RAMディスク131はビデオカメラ1の構成要素ではないが、記録媒体として、DVD−RAMディスク131に代えてビデオカメラ1に内蔵されたハードディスク等を採用するときには、そのハードディスクはビデオカメラ1の構成要素になる。
以下、ビデオカメラ1の各構成要素を説明し、その後、ビデオカメラ1の動作を説明する。
まず、ビデオカメラ1の記録機能に関連する構成要素を説明する。
カメラ部100は、撮影対象からの光を受け取って、例えばNTSCインターレース方式のデジタル映像信号を生成する。すなわちビデオカメラ1はカメラ部100を利用してデジタル映像信号を取得する。カメラ部100は、例えばレンズ等の光学系、CCD素子およびアナログ/デジタル(AD)変換器(図示せず)から構成されている。カメラ部100が受け取る光は、人物、物品、風景等に当たり反射された光の他、本実施形態ではスクリーンに投射され、スクリーンから反射した光も含まれる。すなわち、ビデオカメラ1ではスクリーンに投影された映画等の映像が撮影対象とされることもある。1秒あたり24枚のピクチャが切り替わって表示されている一般的な映画を撮影する際には、カメラ部100は、CCD素子を利用してNTSCのフィールド周波数60Hz(または1/60秒)よりも速く、かつ適切な露出を得られるシャッター速度で撮影し、NTSCインターレース方式の映像信号を出力する。この映像信号はアナログ形式である。AD変換器はこの映像信号をアナログ形式からデジタル形式に変換して出力する。
マイク101は、撮影中の音声を受け取ってアナログ形式の音声信号を生成する。マイク101のAD変換器(図示せず)はこの音声信号をアナログ形式からデジタル形式に変換して出力する。
動画ストリーム生成部102は、デジタル形式の映像信号および音声信号をそれぞれ所定の符号化形式で符号化する。図2は、動画ストリーム生成部102の機能ブロックの構成を示す。動画ストリーム生成部102は、入力端子1301および1302において、それぞれ映像信号および音声信号を受け取る。MPEG−Video符号化部1303は、映像信号からMPEG−Video形式の符号化映像データを生成する。音声符号化部1304は、音声信号から例えばAC−3形式の符号化音声データを生成する。MPEG−Video符号化部1303および音声符号化部1304は、記録形式に応じたデータを生成する。例えば、いずれの符号化部1303および1304は、符号化映像データおよび符号化音声データを記録形式に応じたデータの単位に分け、ヘッダ等を付加して映像パケットおよび音声パケットとして生成する。映像パケットおよび音声パケットは、それぞれ一時的に多重化バッファ部1305および1306に記憶される。多重化処理部1307は、多重化バッファ部1305および1306に記憶された映像パケットおよび音声パケットを多重化して、MPEG−2プログラムストリームを生成し、出力端子1308から出力する。
なお、動画ストリームには映像データおよび音声データが含まれているとして説明しているが、本明細書では映像データが含まれていればよい。また、MPEG−2プログラムストリームはMPEG2システム規格(ISO/IEC 13818−1)で規定されるシステムストリームの一例である。このシステムストリームには、プログラムストリーム(PS)の他に、トランスポートストリーム(TS)およびPESストリームが規定されている。本発明は動画ストリームがMPEG−2トランスポートストリームであっても適用可能である。本実施形態においては、これらのストリームのデータ構造は特に問題ではないため、その説明は省略する。
次に、図3を参照しながら映像タイプ特定部119を説明する。図3は、映像タイプ特定部119の機能ブロックの構成を示す。映像タイプ特定部119はカメラ部100から映像信号を受け取り、その映像信号に基づいて、映像のタイプを特定する。「映像のタイプ」は、その映像の単位時間(1秒)あたりに表示されるピクチャ数に応じて決定される。本実施形態では、映像のタイプは毎秒24枚のピクチャが表示される映画、毎秒30枚のフレーム(60枚のフィールド)が表示されるテレビ放送等である。
映像タイプ特定部119は、検出部103および判別部104を有する。そして検出部103は、第1メモリ1031と、第2メモリ1032と、比較器1033とを備えている。
検出部103に入力される映像信号は、第1メモリ1031および第2メモリ1032に入力され記憶される。2つのメモリ1031および1032は、それぞれ1ピクチャの画像のデータを記憶できる。例えばメモリ1031および1032は、1ピクチャが2つのフィールド画像から構成されるときは各フィールド画像のデータを記憶できる。比較器1033は、1フィールド画像の表示時間間隔(約1/60秒)で第1メモリ1031の記憶内容と第2メモリ1032の記憶内容とを比較し、比較結果を出力する。比較は、第1メモリ1031の記憶内容と第2メモリ1032の記憶内容との差分を計算することによって行われ、0になるか否か、すなわち一致または不一致かが比較結果として出力される。なお、映像信号にノイズが含まれることがあるため、デジタルフィルタ等を用いてノイズを除去した後に差分を計算してもよい。
なお、プログレッシブ方式の映像では1ピクチャが1フレーム画像に対応しているため、第1メモリ1031および第2メモリ1032は、フレーム画像ごとのデータを記憶できる。プログレッシブ方式を採用するカメラを利用したときには、プログレッシブ方式の映像が出力され、その信号に基づいてフレーム画像のデータが毎秒60枚の速度でメモリ1031および1032に記憶され、比較の対象とされる。
図4は、検出部103の各機能ブロックの動作タイミングの例を示す。NTSCインターレース方式の映像信号が入力されたときには、メモリ1031および1032には、そのピクチャを構成する奇数ラインおよび偶数ラインの2つのフィールド画像データがそれぞれ記憶される。メモリ1031および1032は、「記憶タイミング」と示すように、毎秒フレーム数と同じ周期(毎秒約30フレーム)で記憶内容を更新する。メモリ1031および1032は、互いに1フィールド分(約1/60秒)の位相差(タイミングずれ)を保持して更新動作する。比較器1033は、60Hzのクロックの立ち上がりおよび立ち下がる「比較タイミング」と示す時刻(1/60秒ごと)において、各メモリのデータを比較する。その結果、次の「比較タイミング」までにその結果を出力する。比較タイミングは、メモリ1031および1032が記憶内容の更新を完了した後に到来する。図4では、比較器1033は、メモリ1031および1032の各記憶動作の後、「タイミング調整」として示す期間を経て比較を実行する。比較器1033は、例えば、比較結果が「一致」のときは「0」を示す値を出力し、「不一致」のときは「1」を示す値を出力する。
図5は、ビデオカメラ1で人物、風景などが撮影されたときのビデオカメラ1内の処理を示す。映像が連続的に撮影された結果、カメラ部100からはNTSCインターレース方式のフィールド画像A,B,C・・・の映像信号が出力されている。このとき、第1メモリ1031は、偶数フィールド画像B,D,F・・・のデータを記憶する。第2メモリ1032は、奇数フィールド画像A,C,E・・・のデータを記憶する。比較器1033は、パルスの立ち上がりおよび立ち下がりのタイミングで比較する。図5に示す例では、第1メモリ1031および第2メモリ1032は、記憶タイミングが1フィールド画像の時間分ずれており、同時に同じデータを記憶することはないため、比較器1033の出力はすべて不一致となる。
図6は、主としてビデオカメラ1でスクリーンに投影された映画が撮影されたときのビデオカメラ1内の処理を示す。映画を構成する各ピクチャ(コマ)の画像A,B,C・・・は1/24秒ごとに更新されるため、カメラ部100のCCD素子は1/60秒間隔でA,B,B,B,C,C,D,D,D・・・のフィールド画像の映像信号を生成する。その結果、例えば「コマA」から「コマB」への切り変わり時刻(時刻t1)において第1メモリ1031の記憶内容は「コマB」のデータに更新される。このとき第2メモリ1032にはすでに「コマA」のデータが記憶されている。
第1メモリ1031の更新動作後、所定時間L1が経過すると、比較器1033が比較動作を行う。このときの記憶内容は、第1メモリは「コマB」、第2メモリは「コマA」であるため、比較結果は「不一致」となる。この比較結果は次の比較時まで保持される。
時刻t1から約1/60秒後の時刻t2において、第2メモリ1032はコマBのデータを記憶する。この時点で第1メモリ1031および第2メモリ1032とも、「コマB」のデータを記憶している。よって、時刻t2から時間L2経過後のパルス立ち下がり時の比較器1033の比較結果は「一致」となる。
時刻t2点より約1/60秒後の時刻t3では、カメラ部100からはコマBの映像信号が出力され続けているため、第1メモリ1031は「コマB」のデータを再度記憶し、第2メモリも「コマB」のデータを記憶する。この状態は、時刻t3から時間L3経過した後の比較動作時も変化していないため、比較結果は「一致」となる。
一方、時刻t1から1/24秒経過後に、撮影対象は「コマB」から「コマC」に切り替わる。よって、その後の時刻t4(時刻t3から1/60秒後)において、第2メモリ1032には「コマC」のデータが記憶される。時刻t4から時間L4経過した後の比較動作時においても、第1メモリ1031は「コマB」のデータが記憶され、第2メモリ1032には「コマC」のデータが記憶されているため、比較結果は「不一致」となる。
以後、メモリ1031および1032の記憶内容が順次更新され、比較が行われると、「一致」と「不一致」とが一定順序で周期Dで繰り返される比較結果が得られる。
検出部103は、以上のような比較を繰り返し、比較結果を出力する。
映像タイプ特定部119の判別部104は、検出部103の比較結果を継続的に受け取り、「一致」と「不一致」とが出現するパターンが特定パターンに一致するか否かを判別する。「特定パターン」とは、撮影対象が毎秒24ピクチャの映像(すなわち映画)であるときに出現するパターンである。本実施形態では図6の区間Dに示す「一致」および「不一致」のパターンが特定パターンである。特定パターンは、現実に映画等を撮影することによって予め得ることが可能であり、例えば判別部104の読み出し専用メモリ(図示せず)に格納されている。
判別部104は、図5に示すように、検出部103の比較結果において不一致が連続している場合には、特定パターンと一致しないとして撮影対象が毎秒24ピクチャの映像ではないと判別する。一方、比較結果において図6に示すような順序でかつ周期Dで一致および不一致が繰り返される場合には、撮影対象が毎秒24ピクチャの映像、すなわち映画であると判別する。判別部104は、1秒あたりの表示ピクチャ数を示す値(例えば「24」)または映画であるか否かを示すフラグ値を、判別結果として出力する。これにより、撮影対象の映像のタイプを特定することができる。
なお図6では、撮影対象である映像のピクチャBの切り替わりタイミングとカメラ出力の切り替わりタイミングとが一致しているが、これは説明の便宜のためである。それらのタイミングがずれているときであっても、上述の説明は同様に適用される。
再び図1を参照する。制御部105は、判別部104からの出力に基づいて、動画ストリームの記録を許可するか禁止するかを決定し、記録部106に指示する。具体的には、判別部104から出力された判別結果が映画であることを示しているときは、制御部105は、撮影対象は映画であると判断して動画ストリームの記録を禁止する。それ以外のときには、動画ストリームの記録を許可する。動画ストリームの記録を禁止する理由は、一般に映画には保護すべき著作権が発生しており、映画の複製に相当する動画ストリームの記録を禁止してその著作権を保護するためである。
記録部106は、制御部105の決定に基づいて、DVD−RAMディスク131への動画ストリームの記録を制御する。具体的には記録部106は、制御部105によって動画ストリームの記録が禁止されたときには、動画ストリームの記録を行わない。禁止されていないときには、記録部106は、ピックアップ130を介してファイルをDVD−RAMディスク131に書き込む。書き込まれた動画ストリームは、そのファイルシステム上で時系列データファイルとして管理される。なお、動画ストリームは、時系列データとも呼ばれる。
次に、ビデオカメラ1の再生機能に関連する構成要素を説明する。
再生制御部115は、ユーザから指示された動画ストリームの時系列データファイルの読み出しを指示する。再生部116は、ピックアップ130を動作させて、再生制御部115から指示された時系列データファイルを光学的に読み出して、動画ストリームとして取得する。動画ストリーム復号部112は、動画ストリームから映像データおよび音声データをそれぞれ分離して復号化し、映像信号および音声信号を生成する。復号化された映像の解像度は、符号化時の解像度と同じまたはそれ以下である。映像信号出力部110は、例えば液晶表示装置(図示せず)であり、映像信号に基づいてピクチャを次々と切り替えることにより、映像を再生表示する。音声信号出力部111は、例えばスピーカであり、音声信号を音声として再生する。なお、ビデオカメラ1は、DVD−RAMディスク131から再生した時系列データファイルを、IEEE1394規格等に準拠したデジタルインターフェース(図示せず)を経由して外部機器へ出力することもできる。
次に、ビデオカメラ1の記録処理を説明する。図7は、本実施形態によるビデオカメラ1の記録処理の手順を示す。なお、以下では、映像タイプ特定部119の判別部104は、判別結果が映画であるときには、1秒あたりの表示ピクチャ数(24枚)を示す値を出力するとして説明する。まずステップS001において、ビデオカメラ1は、時系列データ(動画ストリーム)を生成する。時系列データは、カメラ部100およびマイク101が映像信号および音声信号を出力し、動画ストリーム生成部102がそれらを符号化することによって生成される。
ステップS002において、映像タイプ特定部119の検出部103および判別部104は、カメラ部100から出力された映像信号に基づいて、被写体の1秒あたりの映像のピクチャ数(コマ数)を判別する。
ステップS003において、制御部105は、映像のコマ数が毎秒24コマであるか否かを判定する。コマ数が毎秒24コマではないときには、処理はステップS004に進み、毎秒24コマであるとき処理はステップS005に進む。
ステップS004において、制御部105は動画ストリームの書き込みを許可する。その許可を受けて、記録部106は動画ストリームをDVD−RAMディスク131に書き込む。一方、ステップS005では、制御部105は撮影対象が映画であると判断して、動画ストリームの書き込みを禁止する。その結果、記録部106は書き込みを中止する。ステップS004またはステップS005の後、処理は終了する。
なお、撮影対象を映画以外の被写体(例えば図5に関連して説明した人や風景等)にすると、被写体の動きにほとんど変化がない場合も考えられる。このような状況では、第1メモリ1031および第2メモリ1032に実質的に同じ画像データが入力されるため、比較器1033の比較結果は「一致」が繰り返されることになる。そこで判別器104は、比較結果が図7に示すような周期Dのパターンを繰り返すときには映像が毎秒24コマであると判断し、それ以外のとき、すなわち「不一致」が連続し、「一致」が連続し、または「不一致」と「一致」とが上述の周期Dのパターンとは異なるパターン(不特定のパターン)で現れるときには、毎秒24コマの映像ではないと判断してもよい。
(実施形態2)
実施形態1によるビデオカメラは、撮影対象が毎秒24ピクチャの映像であるときは、その映像の動画ストリームの記録を禁止した。
本実施形態によるビデオカメラは、撮影対象が毎秒24ピクチャの映像であるときは、その映像の映像品質を落として動画ストリームを記録する。
図8は、本実施形態によるビデオカメラ2の機能ブロックの構成を示す。ビデオカメラ2とビデオカメラ1(図1)とに共通する構成要素には共通の参照符号を付している。以下で特に言及がないときには、ビデオカメラ2の構成要素の機能および動作は、同じ図1に記載された同じ符号が付加された構成要素の機能および動作であるとする。
ビデオカメラ2は、映像タイプ特定部119の出力を受け取り、その出力に基づいて映像の解像度を調整する解像度調整部107を備えている。解像度調整部107は、映像タイプ特定部119によって特定された映像のタイプが映画であるときには、ユーザによって撮影時に設定されている解像度よりも低い解像度を選択し、映画でないときには、撮影時に設定されている解像度をそのまま選択して解像度を維持する。例えばユーザによってNTSC方式の1080i映像の品質(HD画質)で記録を行うように設定されており、かつ、映像のピクチャ数が毎秒24枚であることが特定されたときには、解像度調整部107は、NTSC方式の480i(SD品質)で記録するように解像度を選択する。解像度調整部107は、選択した解像度を動画ストリーム生成部202に通知する。
図9は、動画ストリーム生成部202の機能ブロックの構成を示す。動画ストリーム生成部202は、図5に示す動画ストリーム生成部102に解像度設定部1309の構成を付加して構成されている。解像度設定部1309は、入力端子1301とMPEG−Video符号化部1303との間に設けられている。解像度設定部1309は、解像度調整部107から指示された解像度に対応する符号化パラメータを設定する。MPEG−Video符号化部1303は、そのパラメータを利用して映像を符号化する。
動画ストリームが生成されると、記録部106は、その動画ストリームをDVD−RAMディスク131に書き込む。なお本実施形態においては、制御部105は記録部106に対して動画ストリームの記録を許可し、禁止はしない。
図10は、本実施形態によるビデオカメラ2の記録処理の手順を示す。ステップS011の処理は、図7のステップS002の処理と同じである。すなわち映像タイプ特定部119は、実施形態1において説明した動作原理によって、被写体の1秒あたりの映像のピクチャ数(コマ数)を判別する。
ステップS012において、解像度調整部107は映像のコマ数が毎秒24コマであるか否かを判定する。コマ数が毎秒24コマではないときには、処理はステップS013に進み、毎秒24コマであるとき処理はステップS014に進む。ステップS013では、解像度調整部107は、ユーザによって設定されている解像度よりも低い解像度を選択する。
ステップS014では、動画ストリーム生成部202は選択された解像度で符号化処理を行い時系列データ(動画ストリーム)を生成する。なお、ステップS012から分岐したときには、ユーザによって設定された解像度が採用される。制御部105は動画ストリームの書き込みを許可し、その許可を受けて、記録部106はピックアップ130経由で動画ストリームの時系列データファイルをDVD−RAMディスク131に書き込む。
以上の処理により、撮影対象が映画の映像であるときには、ビデオカメラ2は映像品質を落として動画ストリームを記録することにより、映画の著作権保護を図ることができる。
なお、上記説明では、毎秒のピクチャ数(コマ数)に基づいて撮影対象が映画であると判断したとき、解像度調整部107は符号化(エンコード)時の解像度を低下させるとした。解像度調整部107は、上述の表1に記載された範囲から解像度を任意に選択し得る。しかし映像規格に準拠する範囲であれば任意の解像度の採用を決定してもよい。動画ストリームは、符号化時の解像度に従って再生される。
解像度の低下の他には、映像信号にメッセージを重畳させて記録する、映像をモザイク化して記録する、フレームレート(毎秒のピクチャ数)を下げて記録する(例えば毎秒5ピクチャ)、黒画面を記録する等によって、その後の流通時に著作権侵害を喚起することができ、また撮影対象への忠実性を低下させて著作権保護を図ることができる。
(実施形態3)
本実施形態によるビデオカメラは、撮影対象の映像のタイプを特定して符号化時の解像度を設定し、映像の解像度を下げて符号化したときには、そのことを示す情報(判別情報)を生成し、記録媒体に動画ストリームと合わせて記録する。
図11は、本実施形態によるビデオカメラ3の機能ブロックの構成を示す。ビデオカメラ3は、実施形態2によるビデオカメラ2に対して、ビデオカメラ3が、管理情報生成部108と、管理ファイル生成部109と、管理情報メモリ120と、判別情報抽出部121と、重畳処理部122とを新たに付加して構成されている。その他の構成要素は同じである。また、DVD−RAMディスク131には、管理情報を格納する管理情報領域132と、動画ストリームを格納するAVデータ領域133とがそれぞれ規定される。以下では、上述の相違点に関連して、ビデオカメラ3を説明する。
まず管理情報生成部108は、動画ストリーム生成部202が撮影時に設定されている解像度よりも低い解像度で映像信号を符号化したときには、そのことを示す判別情報を生成する。判別情報の詳細は図18を参照しながら後述する。
管理ファイル生成部109は、管理情報生成部108が作成した判別情報を含む管理ファイルを作成する。
ここで図12を参照しながら管理ファイルを説明する。本実施形態においては、管理ファイルは公知のMP4ファイルフォーマットに従ったデータ構造を有するとして説明する。そのデータ構造を利用して格納されるデータのうち、本実施形態に特有のデータの説明は後述する。
図12は、本実施形態による時系列データファイル12と管理ファイル14との関係を示す。管理ファイル14は管理情報を格納しており、そのファイル名は“MOV001.MP4”である。一方、時系列データファイル12は動画ストリームを格納しており、そのファイル名は“MOV001.MPG”である。なお、本実施形態では、動画ストリームはMPEG−2プログラムストリームとする。
管理情報には、時系列データファイル12に格納された動画ストリームの映像に関し、再生を管理するための情報が格納されている。管理情報では、映像に関する情報は、「ビデオトラック」と呼ばれる単位で管理される。ビデオトラックには、アクセス単位ごとの位置情報(アクセス情報)や、エンコード情報を含んでいる。本実施形態では、上述の判別情報はエンコード情報の一部を構成しており、管理情報内に格納されている。これらの情報は動画ストリームの記録時に生成され、動画ストリーム再生時のランダムアクセスに用いる。また、管理情報内には、対応する動画ストリームを特定するリンク情報を含んでいる。リンク情報は、例えば対応する動画ストリームを格納した時系列データファイルのファイル名(“MOV001.MPG”)である。
図13は、光ディスク131に記録される時系列データファイル12および管理ファイル14のデータ構造を示す。時系列データファイル12は動画ストリーム11を含み、管理ファイル14は管理情報13を含む。時系列データファイル12は光ディスク131のAVデータ領域133に書き込まれ、管理ファイル14は光ディスク131の管理情報領域132に書き込まれる。
動画ストリーム11は、複数のサンプル(P2Sample)15を含む。サンプル15は、映像データおよび音声データが混在して構成されている。サンプル15は、映像の再生時間、データの大きさ(データ量)等に基づいて定めることが可能であり、例えばDVDのビデオオブジェクトユニット(VOBU)のような、映像の再生時間にして0.4秒から1秒程度の映像データを含む。サンプル15の1以上の集合をチャンク(chunk)16という。図14は、動画ストリーム11のより詳細なデータ構造を示す。各サンプル15は、複数の映像パック(V_PK)および音声パック(A_PK)を含む。各パックは、パックヘッダおよび映像または音声用のデータを格納したPESパケットから構成されており、そのデータ量は一定(2048バイト)である。図14に示すような動画ストリームに対しては、ビデオデータとオーディオデータとをまとめて動画ストリームトラックとし、1つのトラックで一括して管理してもよい。
再び図13を参照する。管理情報13は、サンプル単位のアクセス情報20およびエンコード情報19を含む。これらの情報は、アトム構造体と呼ばれるデータ構造を利用して管理されており、具体的にはムービーアトム(Movie atom)17のサンプルテーブルアトム(sample Table ATOM)18内に記述される。サンプルは、サンプルテーブルアトム(Sample Description Atom)18における最小管理単位として管理されており、各サンプルに対してデータ格納位置等を示すアクセス情報20が記述される。エンコード情報19はサンプル単位またはチャンク単位で規定され、各単位内の映像データに対して共通に適用される。なお、サンプル15およびチャンク16は管理情報13によって管理される動画ストリーム11の単位であって、動画ストリーム11のデータが常に物理的に区分されて規定されているわけではない。
次に、管理情報13においてどのような基準でサンプル15およびチャンク16が規定されるかを説明する。例えば、映像の再生時間にして0.4秒から1秒程度の映像データおよび音声データが1つのサンプル(P2Sample)15とされるとする。各サンプルのアクセス情報は管理情報13に記述される。そして、ある一連の映像に対して共通して適用される解像度が決定されると、それらの映像に対応する区間が1つのチャンク16として取り扱われ、各チャンク内のサンプルに共通のエンコード情報19が規定される。「ある一連の映像」の例は、ビデオカメラによって撮影された、録画開始から録画終了までの連続的な映像である。管理情報13には、各チャンクに対するアクセス情報を設定することもできる。なお、解像度が共通する一連の映像の区間をチャンクが規定される基準として説明したが、本発明には特に関連しない他の基準によってチャンクが規定されることもある。
動画ストリーム生成部202および管理情報生成部108は、上述したデータ構造および基準に基づいて動画ストリーム11および管理情報13を生成する。
図15は、図14に対応する動画ファイル(MPEG2-PS)の管理情報13のアトム構造を示す。管理情報13は、ムービーアトム17において規定される。ムービーアトム17には、符号化された映像データおよび音声データの各々について、独立してフレーム単位のデータサイズ、データの格納先アドレス、再生タイミングを示すタイムスタンプ等の情報が記述されている。映像データに対してはトラックアトム304が規定される。トラックアトム304内の種々のアトム305、306、307等のうち、本明細書ではメディアアトム307内のサンプルテーブルアトム18を説明する。メディアアトム307は、符号化ストリームに関する情報を格納するフィールドである。なお、音声データに対しては、例えばトラックアトム317が規定される。
サンプルテーブルアトム18は、さらに複数のアトムフィールド311〜316を有する。このうち、サンプル記述アトム311、サンプルサイズアトム312、デコーディングタイムツーサンプルアトム313、サンプルツーチャンクアトム314、チャンクオフセットアトム315に着目する。
サンプル記述アトム311には、そのサンプル内の映像に対して適用されるエンコード情報が規定されている。サンプルサイズアトム312には、そのサンプルのデータサイズが規定されている。デコーディングタイムツーサンプルアトム313には、そのサンプルの映像再生時間が規定されている。サンプルツーチャンクアトム314には、1チャンクに含まれるサンプルの数が規定されている。チャンクオフセットアトム315には、例えば時系列データファイルの先頭から計算した各チャンクの先頭位置(オフセット)が規定されている。なお、各アトム312〜315に記載されている”#0”は、第0番目のサンプルまたはチャンクに対するデータであることを示しており、図示されていない第1番目、第2番目のデータが後に続く。
図16は、動画ファイル内のストリームのデータ単位およびチャンク(chunk)構造と、動画ファイルに対応する管理ファイル中のアトム(サンプルテーブルアトム)18を示す。サンプルテーブルアトム18中の各アトム312〜315内のフィールドは、動画ファイル内のストリームのデータ単位およびチャンク(chunk)構造に示す同名の区間に対応するデータサイズ、再生時間等を規定している。例えば、サンプルサイズアトム312内に示された"samples size#0"は、時系列データファイル12の最初(0番目)に配置されたP2サンプル(P2sample#0)のデータサイズを規定する。図16に示されるように、管理ファイルのサンプルテーブルアトム)18において、時系列データ12を構成するデータの各サンプル、チャンク等が規定される。
図17は、サンプルテーブルアトム18のサンプル記述アトム311のアトム構造をより詳細に示している。サンプル記述アトム311は1以上のサンプル記述エントリ515を含む。サンプル記述エントリ515は、各チャンクに対して設けられる。さらにサンプル記述エントリ515はエンコード情報518を含み、エンコード情報518の一部として、解像度を下げて映像を符号化したか否かを示す判別情報(judgement_information)が記述される。
図18は、エンコード情報518のデータ構造を示す。エンコード情報は8ビットで規定される。8ビットのうち、下位2ビット(B0〜B1:judgement_information)において判別情報が規定される。上位6ビットは予約ビットである。判別情報は、2ビットを利用して少なくとも4種類の情報を規定する。具体的には、撮影時に設定されている解像度を基準として、“00”はその解像度で映像が符号化されたことを表し、“01”はその解像度よりも低い解像度で映像が符号化されたことを表す。さらに本実施形態では“10”はその解像度よりも高い解像度で映像が符号化されたことを表すとして規定する。なお“11”の意味は未定義である。
図19は、各判別情報が適用される範囲を示し、各判別情報が記述されるサンプル記述エントリ#0〜#3を示す。図18に示すように、判別情報#n(n:整数)はチャンク#nに対して適用されるので、判別情報#nはチャンク#n内の映像に共通して適用される。
図20は、本実施形態によるビデオカメラ3の記録処理の手順を示す。ステップS101、S102、S103の処理は、図10のステップS011、S012、S013の処理と同じである。
ステップS104では、動画ストリーム生成部202は選択された解像度で符号化処理を行い時系列データ(動画ストリーム)を生成する。そして管理情報生成部108は、判別情報を生成する。より具体的には、ステップS102から分岐したときには、動画ストリーム生成部202はユーザによって設定された解像度で映像を符号化し、管理情報生成部108はその処理に対応する判別情報(“00”)を生成する。一方、ステップS103の処理を行ったときには、動画ストリーム生成部202は、解像度調整部107から指示された、より低い解像度によって映像を符号化し、管理情報生成部108はその処理に対応する判別情報(“01”)を生成する。なお、管理情報生成部108が判別情報を生成すると、管理ファイル生成部109は、その判別情報を含むエンコード情報等の管理情報を生成する。
ステップS105では、制御部105からの動画ストリームの書き込み許可を受けて、記録部106はピックアップ130経由で動画ストリームの時系列データファイルをDVD−RAMディスク131のAVデータ領域133に書き込む。また、記録部106は、管理ファイルをDVD−RAMディスク131の管理情報領域132に書き込む。
以上の処理により、撮影対象が映画の映像であるときには、ビデオカメラ3は映像品質を落として動画ストリームを記録することにより、映画の著作権保護を図ることができる。
次に、ビデオカメラ3がDVD−RAMディスク131から動画ストリームを読み出して映像を再生する処理を説明する。
図21は、本実施形態によるビデオカメラ3の再生処理の手順を示す。この処理は、ユーザが再生の対象となる映像を特定して、再生の開始を指示することにより実行される。まず、ステップS201において、再生制御部115が、再生の対象となる映像の時系列データファイル、および、対応する管理ファイルの読み出しを指示すると、再生部116はピックアップ130を介してDVD−RAMディスク131から時系列データファイルおよび管理ファイルを読み出す。管理情報メモリ120は管理ファイルを格納する。
ステップS202において、判別情報抽出部121は管理情報メモリ120に格納された管理ファイルを解析して、判別情報を抽出する。
ステップS203では、動画ストリーム復号部112は、動画ファイルの動画ストリームを復号(デコード)処理して映像信号と音声信号とを取得する。映像信号および音声信号は、それぞれ重畳処理部122および音声信号出力部111へ出力される。
ステップS204では、判別情報抽出部121は、判別情報に基づいて、符号化時に解像度を下げて記録した映像であるかを判別する。例えば、判別情報として“01”が設定されているときは、解像度を下げて符号化していることを意味する。ステップS205においては、判別情報抽出部121は「解像度を下げて記録した映像」であるか否かを表示するデータ(表示データ)を作成する。表示データは、解像度を下げて符号化した映像であること等が明確になるように、例えば文字のデータが用いられる。
ステップS206では、重畳処理部122は、表示データを再生対象の映像信号に重畳する。表示データが重畳された映像信号は、映像信号出力部110から出力される。
図22は、TVモニタにおける第1の再生表示例を示す。重畳された表示データは、画面右上の領域220に表示されている。表示データは、
記録日時 : 1/1(木) 10:10〜10:19
映像ソース : カメラ
記録情報 : SD(DC)
である。「記録情報」は記録時の解像度を示しており、「SD」は標準解像度を示し、「DC」は解像度を下げて記録したこと(ダウンコンバートしたこと)を示している。図22では、撮影対象が毎秒24コマの映像(映画)であったために、解像度を下げて記録したことを知らせている。
図23は、TVモニタにおける第2の再生表示例を示す。画面右上の領域220には、解像度を下げることなく高解像度で映像が記録されたことを示す「HD」が示されている。図24は、TVモニタにおける第3の再生表示例を示す。画面右上の領域220には、標準解像度で映像が記録されたことを示す「SD」が示されている。図24は当初から“標準解像度”で映像を記録したときの例である。よって、撮影対象が毎秒24ピクチャではなくビデオカメラ3は映像品質を落として映像を符号化していないため、“DC”は表示されない。
上記のように、本実施形態では、ビデオカメラ3が映画等を撮影対象としたか否かを検出し、著作権を有する映画等であると判断した場合、エンコード時の解像度を低下させて記録する。ビデオカメラ3は解像度を下げて映像を符号化したか否かを示す判別情報を管理情報として保持し、再生時に判別情報に基づいて表示を行う。ビデオカメラ3は、撮影当初“高解像度”による符号化が設定されているか否かに係わらず、“標準解像度”で記録したことをユーザーに通知できる。よってユーザは、通知に基づいて誤って映画などの著作物を撮影したことを認識することができ、機器の故障との間違いを解消できる。
なお、判別情報は、図17に記載されたサンプル記述エントリ515にチャンク毎に格納するとして説明した。しかし、トラックヘッダーアトム(Track Header Atom)506(図17)に格納することもできる。これにより、動画ファイルに解像度を下げて記録した部分が存在することを示すことができる。また、チャンク毎にデータフィールドを定義する必要がないので、データサイズの削減が可能である。そして、図17等に記載されたデータ構造に限定されることもない。なお、撮影対象が映画等と判断し解像度を低下させて記録した部分を再生する場合に、全画面にメッセージを重畳させて表示する(説明では右上に表示)、再生映像に特殊効果(モザイク、ウォーターマーク)を重畳して出力する、再生時に、コピー禁止情報(マクロビジョン信号、など)を重畳して出力する、等により、撮影対象への忠実性をさらに低下させることが可能である。
また、判別情報に基づいて、解像度を下げて記録した映像か否かを映像再生中のTV画面上に重畳させて表示するのではなく、ビデオカメラ3に判別情報を表示する表示出力部を設けてもよい。表示出力部は、蛍光表示管、LED(発光ダイオード)、ランプ(電球)等である。それらを駆動する駆動回路もまた、表示出力部に含めてもよい。表示出力部を備えることにより、映像再生時において映像の表示領域の一部を利用しなくてもよく、再生映像の見え難さを解消しつつ、必要な情報をユーザに提示できる。この変形例による処理は、図21のステップS205およびS206における表示データの重畳処理に代えて、表示出力部を駆動させる処理を実行することとなる。なお、映像信号の出力および解像度の出力は、対応付けて行われる。
(実施形態4)
実施形態3によるビデオカメラは、1つの動画ストリームについて判別情報を生成し、管理情報の一部としてDVD−RAMディスク131に格納するとして説明した。
本実施形態によるビデオカメラは、複数の動画ストリームの各々について判別情報を生成し、各々の管理情報の一部としてDVD−RAMディスク131に格納する。そして、各動画ストリームに対応する管理情報を一元的に管理するコンテンツ管理ファイルを生成して、DVD−RAMディスク131に格納する。なお、本実施形態では、実施形態3における「判別情報」に相当する情報を「コンテンツ判別情報」と称する。
図25は、本実施形態によるビデオカメラ4の機能ブロックの構成を示す。本実施形態によるビデオカメラ4が、実施形態3によるビデオカメラ3(図11)と相違する点は、ビデオカメラ3の管理ファイル生成部109および判別情報抽出部121に代えて、コンテンツ管理ファイル生成部209およびコンテンツ判別情報抽出部221を設けたことにある。
ただし、コンテンツ管理ファイル生成部209は管理ファイル生成部109の機能を有し、さらにコンテンツ管理ファイルを生成する機能を有する。また、コンテンツ判別情報抽出部221は、判別情報抽出部121と同等の機能を有し同等の処理を行う。よって、ビデオカメラ4は、映像の解像度を下げて符号化処理を行ったか否かを判別する情報を生成するとともに、その情報をユーザに通知するための機能を有している。
図26は、本実施形態によるビデオカメラ4の記録処理の手順を示す。ビデオカメラ4において実行される記録処理は、コンテンツ管理ファイルの作成または更新を除き、実施形態3によるビデオカメラ3の記録処理(図20)と実質的に同様である。具体的には、ステップS301からステップS306までの処理のうち、ステップS305を除いては、図20における処理と同じである。よって各処理の説明は省略する。「判別情報」を「コンテンツ判別情報」と読み替えればよい。
以下、図27を参照しながら、コンテンツ管理ファイルのデータ構造を説明する。なお、本実施形態では、対応する管理ファイルおよび時系列データファイル(動画ファイル)との組を「コンテンツ」と称する。
図27は、コンテンツ管理ファイル270のデータ構造を示す。コンテンツ管理ファイル270は、コンテンツ(動画ファイル、静止画ファイル)毎にエントリを有し、DVD−RAMディスク131に記録された動画ファイルとその管理ファイルを一元管理する。例えば、コンテンツ[A]となる動画ファイル[A]と管理ファイル[A]にはエントリ[A]270aが割り当てられる。コンテンツ[B]も同様にエントリ[B]270bが割り当てられる。
各エントリには、対応するコンテンツに関する属性情報が規定される。属性情報は、例えば記録日時、撮影ソース、ファイルサイズ、リンク情報、符号化処理に関する情報(エンコード情報)等を含む。記録日時は撮影した日付、開始/終了時刻である。撮影ソースは、ビデオカメラ4による撮影であることを示す「カメラ」、DVDレコーダ等によりテレビ放送番組を録画したときにはチャンネル番号が記述される。エンコード情報は、実施形態1で説明したと同様であり、判別情報に対応する“コンテンツ判別情報”を含んでいる。さらにエンコード情報は“ 記録モード”、“符号化レート”、および“解像度”などに関する情報を含んでいてもよい。
コンテンツ判別情報は、実施形態3における判別情報と同様、コンテンツ判別情報が“00”のときは、撮影時に設定された解像度で符号化処理を行い、“01”のときは解像度を下げて符号化処理を行う。また、コンテンツ判別情報が“10”のときは解像度を上げて符号化処理を行う。なお“11”の意味は未定義である。
コンテンツ管理ファイル生成部209は、図27に示すコンテンツ管理ファイルを生成する。例えばコンテンツ管理ファイル生成部209は、実施の形態3で説明した管理情報13(図17)のエンコード情報518に格納されたコンテンツ判別情報をコピーしてコンテンツ管理ファイル内に格納することができる。これにより、管理ファイルとデータを共通化できるというメリットがある。
ビデオカメラ4が、DVD−RAMディスク131に種々のファイルを書き込んだ後、そのDVD−RAMディスク131から映像を再生する再生処理の内容も、実施形態3によるビデオカメラ3の再生処理(図21)と同様であり、その説明は本実施形態においても適用される。
本実施形態ではさらに、コンテンツ管理ファイルを利用して、DVD−RAMディスク131に記録されたコンテンツの内容を確認するためのコンテンツの一覧を表示することができる。図28は、コンテンツ管理ファイルに基づいて表示されたコンテンツの一覧表示画面の例を示す。
上述のように、コンテンツ管理ファイルには記録日時、撮影ソース、エンコード情報等が格納されている。コンテンツ判別情報抽出部221はこれらの情報から、例えばエンコード情報を抽出して、各コンテンツとその解像度とを対応して表示するための一覧データを生成する。一覧データは、図28に示す表形式で対応関係を表示するためのデータである。
ここで、図28の“情報”の項は記録時の解像度が示されている解像度情報表示欄である。この欄には、高解像度の記録を示す「HD」、標準解像度の記録を示す「SD」、解像度を下げて標準解像度で記録したことを示す「SD(DC)」等によって、記述されている。例えば、コンテンツ判別情報抽出部221は、コンテンツ判別情報の値が“00”であることと符号化レートとによって、「HD」または「SD」を特定する。また、コンテンツ判別情報の値が“01”であるときは「SD(DC)」と判断する。
本実施形態においては、ビデオカメラ4は、実施形態3のビデオカメラ3と同じ効果を得られる他、さらに解像度を下げて記録したか等を示す判別情報をコンテンツ管理ファイルに格納し、必要に応じて表示している。コンテンツ毎の管理ファイルしか存在しないときには、一覧表示時には各管理ファイルにアクセスし、解析する必要があり表示に時間を要するが、コンテンツ管理ファイルに格納することで表示の高速化に貢献することができる。
なお、コンテンツ管理ファイルの各エントリにはさらに以下の情報を格納してもよい。例えば毎秒24ピクチャで変化する撮影対象を記録したコンテンツであることを示す情報、撮影被写体の映像変化周期(フレームレートともいう)を示す情報、ストリーム中に24ピクチャを30ピクチャにして記録することにより発生する、重複するフィールド/フレームの有無を示す情報、である。これらの情報をさらに格納することにより、より撮影対象に関する情報をユーザに知らしめることが可能になる。
上述の各実施形態では、ビデオカメラを利用して撮影する構成および処理を説明した。しかし、ストリーミングなどの、電気通信回線や無線回線を通じて伝送される映像信号についても、本発明は同様にかつ容易に適用することができる。このときは、データ処理装置のイーサネット端子等が、ビデオカメラのカメラ部100に代えて映像信号を取得する。また実施形態3および4において説明した管理情報のデータ構造は例であり、これに限定されることはない。また、本発明の実施の形態では、映像ピクチャ数の検出にフィールドメモリ1031および1032を用いる例を挙げて説明したが、フレームメモリ等を用いてもよい。
さらに、本発明の実施の形態では検出する映像のタイプを毎秒24枚のピクチャで表示される映画として説明したが、これは例である。検出する映像のタイプに応じた検出ピクチャ数は任意に設定できる。また、検出に際して一定の閾値時間を設定し、特定パターンが閾値時間以上連続して検出されたときに、検出ピクチャ数に該当したと判断してもよい。これにより、信頼性の向上を図ることが可能である。
さらに本発明は、撮影映像が映画等の映像であるか否かの判断を、撮影映像の内容を解析することにより行うこともできる。
CCD(Charge Coupled Devices:電荷結合素子)やCMOS(Complementary Metal Oxide Semiconductor)などの受光素子をカメラ部の撮像素子に適用した場合、有効画素数(撮像素子のうち、実際に撮影に使用される素子の数)は総画素数(撮像素子の総数)より少ない。図29は、撮像素子290に関する全画素の範囲291と、有効画素の範囲292との関係を示す。図29において、総画素数に対応する範囲は斜線部、有効画素数に対応する範囲は空白部である。
図30は、スクリーンに投射された映画を、撮像素子290を利用して撮影したときの模式図である。上映中の映画を撮影する場合、通常、スクリーン部分は有効画素の範囲292内に収まる様に撮影すると考えられる。有効画素の範囲292の外はスクリーンの周辺を撮影することになる。スクリーン部は映写機からの投光(映画の映像)を反射するため比較的明るいのに対し、その外部はスクリーンを際だたせるためスクリーン部と比較して一般には極めて暗い。よって、有効画素範囲の内外で撮像素子が検出する明るさに大きな違いが生じる。その差異を用いて撮影対象がスクリーンであるかどうかを検出することができる。
さらに、撮像素子の横縦比(アスペクト比、4対3など)と、撮影時の有効画素範囲のアスペクト比(横縦が4対3、または16対9など)、更に以下のような映画のアスペクト比を踏まえることで、撮像素子に入射する光の明暗部分を判別することが可能であり、さらに精度良く検出することが可能である。すなわちスタンダードサイズは1.33対1、ヨーロッパ規格のビスタサイズは1.66対1、アメリカ規格のビスタサイズは1.85対1、シネスコサイズは1.85対1である。
このような手法で、撮影された映像の内容を解析することにより、撮影映像が映画等の映像であるか否かを判別することができる。また、毎秒のピクチャ数が24枚であるかどうかの検出と合わせて判断すると、より精度よく撮影対象を確定する事ができる。
本発明の実施の形態では、DVD−RAM等の光ディスクに記録するものとして説明を行ったが、半導体メモリ等の不揮発性記憶素子、ハードディスク等の磁気記録媒体等に記録してもよい。また、記録するデータストリームとしてMPEG2映像ストリームを例に挙げて説明したが、他にMPEG4映像ストリームをはじめ、他の映像ストリームを利用することもできる。
ビデオカメラに代表されるデータ処理装置の記録機能および再生機能は、そのような機能を実現するコンピュータプログラムに基づいて動作する。コンピュータプログラムは、CD−ROM等の記録媒体に記録して市場に流通させ、または、インターネット等の電気通信回線を通じて伝送することにより、例えば、コンピュータシステムを記録装置および/または再生装置として動作させることができる。