以下に、本発明又は関連する参考例を、添付図面を参照しながら詳細に説明する。なお、以下の説明においては、動画像符号化方式として、主に、MPEG−4を採用した場合を説明する。
実施の形態1.
一般に、MPEG−4に代表される動画像符号化方式は、入力される映像信号に対して空間的・時間的相関関係を利用してデータの圧縮を行う。そして、この空間的・時間的圧縮により得られるデータをもとに、所定の順序に従ってさらに可変長符号化を行い、ビットストリームを生成する。
MPEG−4では、表示される画像全体(合成画像)は、複数の画像系列の画像(物体)により構成されることから、各画像系列の、各表示時刻における画面をビデオ・オブジェクト・プレーン(Video Object Plane)(以下「VOP」と記す。)と呼ぶ。また、表示画像の全体が1つの画像系列の画像により構成される場合には、VOPは、MPEG−1,2におけるフレーム(MPEG−2ではピクチャー)に相当する。以下の説明においては、説明を簡単にするために、表示画像の全体が1つの画像系列の画像により構成されるものとして説明する。この場合、VOPは「フレーム」と等価である。
フレームは、輝度信号と色差信号をもち、複数のマクロブロックから構成される。マクロブロックは、輝度信号に対して縦横それぞれ16画素から成り、MPEG−4における画像符号化では、このマクロブロック単位で空間的・時間的圧縮等の手法により情報量の圧縮が行われる。
空間的圧縮は、直交変換の一種である離散コサイン変換(Discrete Cosine Transform)(以下「DCT」と記す。)により時間領域から周波数領域に変換した後の信号を量子化することにより行われる。また、時間的圧縮には、動き補償が用いられる。
また、フレーム単位のデータ圧縮方法には、同一画面内の空間的圧縮のみで符号化される空間的画面内符号化(以下「フレーム内符号化」又は「ピクチャー内符号化」とも記す。)と、画面間の相関から時間的圧縮を用いて符号化される画面間符号化(以下「フレーム間符号化」又は「ピクチャー間符号化」とも記す。)とがある。
動画像符号化装置では、所定の符号化パラメータに従って、指定された符号量のビットストリームを出力しなければならない。また、ビットストリームを受け取る復号化装置側のバッファ(仮想バッファ検証器)(以下「VBVバッファ」と記す。)がオーバーフロー又はアンダーフローしないように、動画像符号化装置側でVBVバッファの占有量を想定して発生符号量を制御しなければならない。動画像符号化装置における発生符号量は、フレームを構成するマクロブロック毎に設定され、発生符号量の制御は、DCT係数を量子化するための量子化パラメータにより、フレーム単位で行われる。一般に、量子化パラメータを大きくすると発生符号量は小さくなり、量子化パラメータを小さくすると発生符号量は大きくなる。即ち、発生符号量と量子化パラメータとは反比例の関係にある。この性質を用いて、発生符号量を調整することが可能である。
図1は、実施の形態1に係る動画像符号化装置101の構成を概略的に示すブロック図である。図1に示されるように、動画像符号化装置101は、コマーシャル境界検出部(CM境界検出部)1と、メモリ2と、符号化器3と、符号化制御部4と、入力端子5及び6と、出力端子7とを備えている。入力端子5には、テレビジョン放送の映像信号Spが入力され、入力端子6には、テレビジョン放送の音声信号Saが入力される。CM境界検出部1は、入力端子5及び6のそれぞれを介して入力されるテレビジョン放送の映像信号Spと音声信号Saから、テレビ番組期間(番組本編期間)からコマーシャル期間に切り替わる境界及びコマーシャル期間からテレビ番組期間に切り替わる境界(本出願において「番組・コマーシャル境界(番組・CM境界)」と言う。)、並びに、コマーシャル期間内において放送される複数のコマーシャル部分の間の境界(本出願において「コマーシャル・コマーシャル境界(CM・CM境界)」と言う。)を検出して出力する。なお、本出願においては、番組・CM境界とCM・CM境界の両方を含む用語(総称)として、「コマーシャル境界(CM境界)」を用いる。メモリ2は、入力端子5を介して入力されるテレビジョン放送の映像信号Spを取り込み、一時的に記憶する。符号化器3は、MPEG−2、MPEG−4、又は、ITU−T勧告H.263等の符号化方式でメモリ2から出力された映像信号Spの符号化を行う。符号化器3で作成された符号化データ(ストリームデータ)は、出力端子7から出力され、例えば、図示しない記録部へ送られる。符号化制御部4は、CM境界検出部1から出力されるCM境界情報から符号化方式を決定し、符号化器3を制御する。
図2は、図1に示されるCM境界検出部1の構成を概略的に示すブロック図である。図2に示されるように、CM境界検出部1は、シーンチェンジ検出部11と、無音期間検出部12と、コマーシャル期間判定部(CM期間判定部)13と、入力端子14,15,16と、出力端子17とを備えている。入力端子14には、テレビジョン放送の現フレーム映像信号Sp(0)が入力される。入力端子15には、テレビジョン放送の現フレーム画像のN(Nは正の整数)フレーム前映像信号Sp(−N)が入力される。入力端子16には、テレビジョン放送の音声信号Saが入力される。シーンチェンジ検出部11は、入力端子14を介して入力されたテレビジョン放送の映像信号の現フレーム画像と入力端子15を介して入力されたNフレーム前画像から画面の切り替わり(以下「シーンチェンジ」と記す。)を検出する。無音期間検出部12は、入力端子16を介して入力された音声信号Saから無音期間tnoを検出する。CM期間判定部13は、シーンチェンジ検出部11から出力されるシーンチェンジ情報と、無音期間検出部12から出力される無音期間情報から、CM境界、及び、CM期間を判定し、CM境界情報を出力する。出力端子17からは、符号化制御部4に対して、CM期間判定部13から出力されるCM境界情報が出力される。
図3は、図1に示される符号化器3の構成を概略的に示すブロック図である。図3に示されるように、符号化器3は、入力端子31と、減算器32と、DCT回路33と、量子化回路34と、DC/AC予測器35と、可変長符号化回路36と、逆量子化回路37と、逆DCT回路38と、加算器39と、復号画像メモリ40と、予測画像作成回路41と、動き検出回路42と、動きベクトル予測回路43と、出力端子44とを備えている。入力端子31には、メモリ2(図1)から読み出されたマクロブロック単位の映像信号が入力される。減算器32は、入力端子31から入力される映像信号と予測画像作成回路41から出力される予測画像との差分を出力する。DCT回路33は、減算器32の出力にDCT変換を行うことによりDCT係数を出力する。量子化回路34は、DCT回路33から出力されたDCT係数を量子化する。DC/AC予測器35は、現在のブロックに隣接するブロックのDC/AC係数に基づいて、DC係数及びAC係数の予測を行う。逆量子化回路37は、量子化回路34から出力された量子化されたDCT係数を逆量子化する。逆DCT回路38は、逆量子化回路37の出力を逆DCT変換する。加算器39は、逆DCT回路38の出力と予測画像作成回路41の出力を加算して復号画像を得る。復号画像メモリ40は、加算器39で得られた復号画像を格納する。動き検出回路42は、復号画像メモリ40から出力される復号画像及びメモリ2(図1)から入力端子31を介してマクロブロック単位で入力される映像信号に基づいて動きベクトルの検出を行う。予測画像作成回路41は、動き検出回路42から出力される動きベクトルに基づいて、復号画像メモリ40から入力される復号画像から現在の映像信号に対応する予測画像を作成し、減算器32及び加算器39に出力する。動きベクトル予測回路43は、動きベクトルの予測を行い、予測ベクトルを可変長符号化回路36に出力する。可変長符号化回路36は、DC/AC予測器35から出力された予測係数と、動きベクトル予測回路43から出力された動きベクトルを、量子化パラメータ等の付加情報と共に可変長符号化してビットストリームとして出力する。
以下に、図1から図3までを用いて、実施の形態1に係る動画像符号化装置101の動作を説明する。図1に示されるように、テレビジョン放送の映像信号は動画像符号化装置101の入力端子5を介して、メモリ2とCM境界検出部1に入力される。テレビジョン放送の映像信号の方式には、インターレース方式とノンインターレース方式があり、また、モードとして、フィールドモードとフレームモードがある。本発明はいずれの方式及びモードにも適用可能であるが、以下の説明においては、ノンインターレース方式でフレームモードとして、映像信号がフレーム単位で入力されるものとして説明する。メモリ2に入力された映像信号は、フレーム単位で遅延されてCM境界検出部1に、また、マクロブロック単位に並び替えられて符号化器3に出力される。また、映像信号と同様に、テレビジョン放送の音声信号はCM境界検出部1に入力される。
図2に示されるように、CM境界検出部1においては、入力端子14から入力されたテレビジョン放送の現フレーム映像信号(以下「現フレーム画像」とも記す。)Sp(0)と、入力端子15から入力されたNフレーム前映像信号(以下「Nフレーム前画像」とも記す。)Sp(−N)とが、シーンチェンジ検出部11に入力される。シーンチェンジ検出部11は、例えば、現フレーム画像Sp(0)とNフレーム前画像Sp(−N)の輝度信号を画素毎に差の絶対値和をとり、予め設定された設定値と比較を行う。計算された差の絶対値和が前記設定値を上回った場合に、シーンチェンジが発生したと判定し、シーンチェンジが発生したフレームを示す情報をシーンチェンジ情報としてCM期間判定部13に出力する。なお、シーンチェンジ検出部11におけるシーンチェンジ検出方法は、上記した方法に限定されるものではなく、信号レベルの時間変化に基づく他の判定方法を採用してもよい。
また、図2に示されるように、テレビジョン放送の音声信号Saは無音期間検出部12に入力される。無音期間検出部12は、テレビジョン放送の無音期間tnoを検出する。一般に、テレビジョン放送のCMの前後(即ち、CM期間の前後、及び、CM期間内に含まれる複数のCM部分の前後)には、数10ms程度の無音期間tnoが存在する。このため、CM境界を検出する際に、テレビジョン放送の無音期間tnoを検出する。実施の形態1においては、シーンチェンジ検出部11から出力されたシーンチェンジ情報と、無音期間検出部12から出力された無音期間情報に基づいて、CM境界、及び、CM期間を判定する。例えば、テレビジョン放送では、一般に、CM期間内に含まれるCM部分は15秒又は30秒といった一定の長さであることが多く(したがって、15秒又は30秒ごとにシーンチェンジ及び無音期間tnoが現れる場合にはCM部分と次のCM部分の境界である可能性が高い)、また、複数のCM部分が連続して放送される傾向が高い(したがって、シーンチェンジ及び無音期間tnoが繰り返される場合にはCM部分と次のCM部分の境界である可能性が高い)という性質を使って、よりCM判定の信頼性を向上させてもよい。また、無音期間検出部12の代わりに、音声信号のモノラル、ステレオ、又は、2ヶ国語等のモードの切り替わり、音の大小(一般に、CMの音量が大きいという性質を利用する)を使ってCM境界を検出する、又は、CM境界の検出の信頼性を向上させるように構成してもよい。CM期間判定部13で判定したCM境界情報は、出力端子17を介して、符号化制御部4に出力される。
メモリ2に入力された映像信号Spは、マクロブロック単位で読み出され、符号化器3に入力される。符号化器3に入力された映像信号は、入力端子31を介して、減算器32と動き検出回路42に入力される。減算器32は、入力端子31から入力される映像信号と予測画像生成回路41から出力される予測画像との減算処理を行い、その差分(減算結果)をDCT回路33に出力する。DCT回路33は、入力された減算回路32の差分をDCT変換し、そのDCT係数を出力する。DCT回路33から出力されたDCT係数は、量子化回路34に入力され、量子化される。量子化回路34で量子化されたDCT係数(「量子化DCT係数」と記す。)は、DC/AC予測器35と逆量子化回路37に入力される。DC/AC予測器35は、入力された量子化DCT係数から、現在のブロックに隣接するブロックのDC/AC係数に基づいて、DC係数及びAC係数の予測を行い、可変長符号化回路36に出力する。また、逆量子化回路37は、量子化回路34から出力された量子化DCT係数を逆量子化し、逆DCT回路38に出力する。逆DCT回路38は、逆量子化回路37の出力を逆DCT変換し、加算器39に出力する。加算器39は、逆DCT回路38の出力と予測画像作成回路41から出力する予測画像を加算し、復号画像を作成し、復号画像メモリ40に出力する。復号画像メモリ40に格納された復号画像は、動き検出回路42と予測画像作成回路41に出力される。動き検出回路42は、復号画像メモリ40より出力される復号画像と、メモリ2から入力端子31を介して入力されるマクロブロック単位で入力される映像信号から、動きベクトルの検出を行い、予測画像作成回路41と、動きベクトル予測回路43に出力する。予測画像作成回路41は、動き検出回路42から出力される動きベクトルに基づいて、復号画像メモリ40から読み出される復号画像から現在の映像信号に対応する予測画像を作成する。動きベクトル予測回路43は、動き検出回路42から出力される動きベクトルから、動きベクトルの予測を行い、その予測ベクトルを可変長符号化回路36に出力する。可変長符号化回路36は、DC/AC予測器35から出力された予測係数と、動きベクトル予測回路43から出力された動きベクトルを、量子化パラメータ等の付加情報と共に可変長符号化して、ビットストリームとして出力端子7から出力する。
符号化制御部4は、CM境界検出部1で検出したCM境界情報に基づいて、符号化器3における符号化(画面内符号化及び画面間符号化)を制御する。MPEG−4の場合を例にして、画面内符号化及び画面間符号化について簡単に説明する。
画面内符号化とは、イントラ(Intra)符号化とも呼ばれる符号化であり、入力された画像をブロック単位に分割し、ブロック毎にDCT変換を施して量子化し、可変長符号化する符号化である。このように符号化したVOPが、I−VOPである。本出願においては、「画面内符号化フレーム」とも記す。
これに対して、I−VOP以降のVOPは、動き検出により符号化したVOPの中で、対象マクロブロックに対して誤差が最も小さい予測マクロブロックを検出する。対象マクロブロックと誤差の最も小さい予測マクロブロックへの動き量を示す信号を「動きベクトル」と呼ぶ。画面間符号化は、インター(Inter)符号化とも呼ばれる符号化であり、予測マクロブロックと符号化対象となるマクロブロックとの差分信号を求め、差分信号に対してDCTを施して量子化し、量子化したDCT係数を動きベクトルや量子化幅と共に可変長符号化する符号化である。本出願においては、画面間符号化を行ったフレームを「画面間符号化フレーム」とも記す。
なお、上述の画面内符号化及び画面間符号化は、VOP(ピクチャー、フレーム)単位だけではなく、マクロブロック単位毎にも制御可能である。以下の説明において区別の必要がある場合には、VOP(ピクチャー、フレーム)単位の符号化については「ピクチャータイプ」、マクロブロック単位の符号化については「マクロブロックタイプ」という説明を付記する。
次に、画面内符号化及び画面間符号化を行う符号化器3の動作について説明する。符号化器3により画面内符号化を行う場合、予測画像の作成は行われないので、DCT回路33には、メモリ2より出力された映像信号がマクロブロック単位で入力される。DCT回路33は映像信号の各マクロブロックに対してDCT変換を行って得られる映像信号のDCT係数を出力する。DCT回路33によって出力される映像信号のDCT係数は、量子化回路34により量子化された後、DC/AC予測器35によりDC/AC予測され、可変長符号化回路36により量子化パラメータ等の付加情報と共に可変長符号化されビットストリームとして出力される。
一方、符号化器3により画面間符号化を行う場合、減算器32からは、予測画像作成回路41より出力される予測画像と、メモリ2より出力される映像信号との差分がマクロブロック単位で出力される。DCT回路33は予測画像と映像信号の差信号に対して、DCT変換を行って得られるDCT係数を出力する。差信号のDCT係数は、量子化回路34により量子化された後、DC/AC予測器35によりDC/AC予測され、可変長符号化回路36により動きベクトル、及び量子化パラメータ等の付加情報と共に可変長符号化されビットストリームとして出力される。
次に、符号化制御部4による符号化器3に対する制御について説明する。符号化制御部4は、一定周期毎に画面内符号化を符号化器3に対して要求する。周期的に画面内符号化を行って作成したビットストリームは、再生時に、早送り及び巻き戻しを容易に実現することができる。具体的には、早送り時又は巻き戻し時に、画面内符号化されたフレームを、ビットストリーム中、あるいはMP4等のシステム化された動画ファイル(その内部テーブル)から検索し、その画面内符号化されたフレームまでスキップしながら、次々と再生処理(即ち、復号処理)を行うことにより実現可能である。
図4(A),(B1)〜(B3),(C)、図5(A),(B1)〜(B3),(C)、及び、図6(A),(B1)〜(B3),(C)を用いて、テレビジョン放送がCM期間を含む場合の符号化処理について具体的に説明する。
図4(A)に示されるように、符号化制御部4からの制御により、符号化器3は、通常動作として一定周期Ta毎に画面内符号化(画面内符号化ピクチャー(図4(A)における斜線箇所)に「Ia」を付す。)を行い、画面内符号化ピクチャーIa以外のピクチャーについて画面間符号化(図4(A)における斜線箇所以外の白色箇所)を行う。
また、図4(B3)に示されるように、シーンチェンジ検出部11によって、シーンチェンジが起こったフレーム(「シーンチェンジフレーム(又はピクチャー)」と記す。)Fscを検出する。また、図4(B2)に示されるように、無音期間検出部12によって、無音期間tnoを検出する。シーンチェンジ検出部11から出力されるシーンチェンジフレームが、無音期間検出部12から出力される無音期間tnoと重なる場合には、CM境界の特徴である、シーンチェンジと無音期間tnoの両方が同時に発生したことを意味するので、このときのシーンチェンジの生じたフレーム(又はピクチャー)FscをCM境界とみなしてCM境界位置を検出する。ここで、無音期間検出部12の代わりに、音声信号のモノラル、ステレオ、2ヶ国語等のモードの切り替わり、音の大小(即ち、音量の大きな変化)等を用いてCM境界を検出してもよい。
実施の形態1においては、図4(B1)に示されるように、テレビ番組期間からCM期間への切り替わり位置のフレーム、CM期間からテレビ番組期間への切り替わり位置のフレーム、CM期間内においてあるCM部分から次のCM部分への切り替わり位置のフレーム(これらを「CM境界位置フレーム(又はピクチャー)」と記す。)を画面間符号化フレームから画面内符号化フレーム(又はピクチャー)に変更する。その結果、符号化データは、図4(C)に示されるように、一定周期フレーム毎の画面内符号化に加え(一定周期フレーム毎の画面内符号化ピクチャーIaに加え)、CM境界位置フレームに対しても画面内符号化がなされたものにすることができる(CM境界位置フレームとしての画面内符号化フレームを「Ib」で示す。)。符号化データから、一定周期の画面内符号化フレームIa以外の画面内符号化フレームIbを検出することは可能であるので、再生時に、CM境界を検索して、例えば、CM期間に対してスキップ又は早送り等の動作をして、再生することが可能である。
図5(A),(B1)〜(B3),(C)は、シーンチェンジ検出部11から出力されるシーンチェンジフレームと、無音期間検出部12から出力される無音期間tnoから検出したCM境界位置フレームが、通常動作の一定周期毎の画面内符号化を行うフレームと重なった場合を示した図である。このとき、図5(C)に示されるように、図5(B1)〜(B3)で作成したCM境界位置フレームに対する画面内符号化を行うフレームを1フレーム遅らせて画面内符号化を行う(図5(C)のIb1´)。ここで、必ずしも、遅らせるフレームは1フレームに限るものではなく、数フレームを遅延させてもよい。本出願においては、このように、本来の「境界位置フレーム(又はピクチャー)」から1又は複数フレーム遅らせて画面内符号化がなされたフレーム(又はピクチャー)を「擬似境界位置フレーム(又はピクチャー)」とも言う。ただし、このとき、テレビ番組期間からCM期間への切り替わり等、CM期間の先頭の数フレームを符号化データとして残すことになるので、「Not−Coded(DCT係数のコードをもたないマクロブロック)タイプ」等の処置をとる等して、その期間のフレームをエンコードしないことも可能である。また、CM期間からテレビ番組期間への切り替わりでは、再生時に、テレビ番組期間の先頭の数フレームをスキップ、あるいは削除してしまうことになる。
図6(A),(B1)〜(B3),(C)は、図5(A),(B1)〜(B3),(C)と同様に、シーンチェンジ検出部11から出力されるシーンチェンジフレームと、無音期間検出部12から出力される無音期間tnoから検出したCM境界位置フレームが、通常動作の一定周期毎の画面内符号化を行うフレームと重なった場合を示した図である。ただし、このとき、図6(C)に示されるように、図6(B1)〜(B3)において作成されたCM境界位置フレームに対する画面内符号化を行うフレーム(図6(B1)のIb1)を1フレーム遅らせて画面内符号化を行う(図6(C)のIb1´)が、重なった一定周期毎の画面内符号化を行うフレーム(図6(C)のIc)を、画面間符号化によって符号化する。画面内符号化を行ったフレームは、再生時の早送り、巻き戻しの再生(停止)単位となるため、図6(C)に示すような近接したフレームに対する不要な画面内符号化を避けることは符号量の有効利用につながり、結果的に、必要なフレームに符号量を割り当てることに繋がるため、有効である。ここでも、遅らせるフレーム(図6(C)のIb1´)の遅延フレーム数は1フレームに限るものではなく、2フレーム以上の所定数フレームを遅延させてもよい。
以上説明したように、実施の形態1に係る動画像符号化装置101は、符号化制御部4において、CM境界検出部1からの出力であるCM境界情報によって、符号化器3の符号化方式を制御する。CM境界検出部1は、再生時の早送り及び巻き戻しのために、一定周期毎に画面内符号化を行うのに加え、CM境界位置フレームについても、画面内符号化を行うように制御する。このとき、CM境界位置フレームが一定周期に行う画面内符号化のフレームと重なってしまう場合には、ずらして画面内符号化を行う。このように、CM境界に一定周期と異なる画面内符号化を行うことにより、符号化データ内に、CM境界情報を埋め込むことができ、再生時に、CM期間を考慮した再生が可能である。
また、CM期間の切り出しも可能である。具体的に言えば、再生時において、符号化データから、CM境界位置フレームを検索することが可能であり、また、符号化データ内に、CM境界情報を埋め込むことができるため、動画像符号化装置101に内蔵された記憶手段(例えば、内蔵メモリや内蔵のハードディスク)にCM境界情報を記録する必要がない。
さらに、実施の形態1に係る動画像符号化装置101により符号化データを記録した記録媒体(光ディスク、磁気ディスク、可搬性のハードディスク装置、メモリ装置等)を、動画像符号化装置101とは異なる装置によって再生する場合であっても、CM境界を考慮した再生が可能である。また、実施の形態1に係る動画像符号化装置101により符号化データを記録した記録媒体を、CM境界情報を考慮しない動画像再生装置によって再生する際には、通常通りの再生が可能である。
さらにまた、CM境界と判定されたフレームが一定周期毎の画面内符号化フレームと重なった場合に、次フレーム以降のフレームに対して画面内符号化処理を行うようにしているので、CM境界を要因として挿入した画面内符号化を、一定周期毎の画面内符号化フレームと区別することができる。
さらに、CM境界と判定されたフレームが一定周期毎の画面内符号化フレームと重なった場合に、次フレーム以降のフレームに対して画面内符号化処理を行うようにすると共に、ピクチャーに対する画面内符号化を画面間符号化とするように制御することにより、CM境界を要因として挿入した画面内符号化フレームを一定周期毎の画面内符号化フレームと区別することができると共に、近接した画面内符号化フレームを避けることができるため、再生時の早送り及び巻き戻しの効率低下を抑えることができる。
実施の形態2.
図7は、実施の形態2に係る動画像記録装置102の構成を概略的に示すブロック図である。図7において、図1の構成と同一又は対応する構成には同じ符号を付す。
図7に示されるように、実施の形態2に係る動画像記録装置102は、実施の形態1に係る動画像符号化装置101の構成であるCM境界検出部1、メモリ2、符号化器3、及び符号化制御部4に加え、記録部80、確認操作部81、復号部82、及び復号メモリ83を有する。
図7に示されるように、記録部80は、符号化器3から出力された符号化データ(ビットストリーム)を記録し、保存する。確認操作部81は、利用者が動画像記録装置102を操作する際に使用する操作部と、利用者に動画像記録装置102に関する情報を提供する表示部とを有する。なお、この表示部は、動画像記録装置102自体に装備された表示モニター部には限らず、動画像記録装置102とは別の装置である画像表示用のモニター装置であってもよい。符号化制御部4と確認操作部81との間では、相互に制御信号が授受される。復号部82は、記録部80から読み出された符号化データを復号する。復号メモリ83は、復号部82により復号処理された復号画像データを格納する。復号メモリ83から出力された復号画像データは、確認操作部81及び符号化器3へ送られる。
次に、図7を用いて、実施の形態2に係る動画像記録装置102の動作を説明する。符号化制御部4からCM境界位置フレーム(一定周期でない画面内符号化を行ったフレーム番号)を確認操作部81に出力する。確認操作部81は、その表示部に、符号化制御部4から出力されたCM境界位置フレームを表示する。このように、CM境界前後の画像を確認することができるので、そのCM境界が、本当にテレビ番組期間とCM期間との間にあるのかどうか、画像を見て確認することができる。また、画面内符号化を行ったピクチャーに対して復号するので、余分な復号処理を行う必要がなく、高速に復号画像を得ることができる。
具体的には、確認操作部81は、その表示部に、例えば、図8(A)に示されるように、横方向を時間軸として、テレビ番組期間(白色部分)tPRとCM期間(斜線部分)tCMを区別可能に(例えば、色、明るさ、模様、形状等を変えることによって視覚的に区別可能に)表示する。CMの連続性から、CM境界位置フレーム(図8(C)のクロスハッチング部分<i>〜<v>)が一定間隔(15秒、30秒等のCM部分として想定される時間)で、複数回連続する場合に、CM境界位置フレーム<i>と<v>の間の期間を、CM期間として表示させる。確認操作部81を通じて、利用者は、CM境界検出部1で検出したCM期間が妥当であることを確認することができる。
図8(B)は、図8(A)を別の形式で表現したもので、CM期間の先頭と、テレビ番組期間の先頭のCM境界位置フレームを図示(図8(B)のクロスハッチング部分)したものである。
図8(C)は、図8(A),(B)中の期間Paの拡大図である。CM期間と判断された期間内には、一定周期の画面内符号化フレームと、CM境界として判断されたCM境界位置フレームによる画面内符号化フレームが存在する。図8(C)では、1つのCM期間内に、CM1、CM2、CM3、CM4で示される4つのCM部分があり、それぞれのCM部分CM1、CM2、CM3、CM4の先頭フレーム(図8(C)においてクロスハッチング部分<i>〜<iv>)はCM境界位置フレームFCMと判定されている。なお、CM期間直後のテレビ番組先頭フレーム(図8(C)においてクロスハッチング部分<v>)もCM境界位置フレームである。
また、確認操作部81は、利用者によって、CM境界位置フレームとその前後の画面内符号化したフレームを記録部80に格納された符号化データ中から検索を行う。記録部80から読み出された画面内符号化フレームの符号化データは、復号部82に入力され、復号処理がなされる。復号部82から出力された復号画像は、復号メモリ83に格納される。確認操作部81からの操作により復号メモリ83から読み出された復号画像は、確認操作部81に入力され、利用者はCM前後の画像を確認することにより、本当にCM期間であるかどうかの確認を行うことができる。
次に、CM境界の判定に際して、誤判定があった場合の具体例を、図9(A),(B),(C)及び図10(A),(B),(C)に基づいて説明する。図9(A),(B),(C)は、実際にはCM期間でありながら、CM期間であると判定されなかった場合を示している。この場合、確認操作部81において、図9(A)のように表示される。利用者は、テレビジョン放送がドラマ等の場合には、概ね10分から15分に1回の割合で、CM期間が発生することになるが、図9(A)の期間Pbに示すように、本来、CM期間として表示されるべき時間に、CM期間が表示されていないことを、確認操作部81の表示内容から知ることができる。
図9(B)は、図9(A)を別の形式で表現したものであり、CM期間の先頭と、テレビ番組期間の先頭のCM境界位置フレームFCMを図示したものである。期間Pbにおいては、CM期間の終り(テレビ番組期間の先頭フレームに相当するCM境界位置フレーム)が検出されなかったことを表している。
図9(C)は、図9(A),(B)中の期間Pbの拡大図である。期間Pbには、一定周期の画面内符号化されたフレームと、CM境界として判断されたCM境界位置フレームFCMによる画面内符号化されたフレームが存在する。この期間内には、CM1、CM2、CM3、CM4で示された4つのCM部分が存在するが、CM部分CM4とテレビ番組期間tPRとの間で、CM境界位置フレームと判定されなかった。CM期間判定として、例えば、CM部分が4個連続しなければ、CM期間と判定しないというように構成していた場合等、図9(A)のように、期間PbにはCM期間tCMが無いと判定されることになる。
また、CM部分CM2と、次のCM部分CM3との間のフレームが、CM境界位置フレームと判定されなかった場合には、CM部分CM2と次のCM部分CM3の組み合わせが一つの大きなCM部分と見なされて、結果的に、3つのCM部分であると判断される。上述のように、例えば、CM部分が4個連続しなければ、CM期間と判定しないというように構成した場合等には、期間PbはCM期間と判定されないことになる。また、別の場合には、CM部分CM2の期間とCM部分CM3の期間とを合わせた全体の期間が、1つのCM部分として妥当な期間(例えば、15秒又は30秒等の予め設定された期間)を超えてしまった結果、CM期間としてではなく、テレビ番組期間tPRと判断される場合も同様に、期間PbはCM期間とは判定されない。
このような場合、利用者は、確認操作部81を通じて、CM期間の妥当性を判断することが可能である。その上で、本来あるべき時間にCM期間がないと判断した場合には、確認操作部81からの操作により、復号部82でCM境界前後の画面内符号化を行ったフレームの復号画像を作成し、復号画像を復号メモリ83経由で、確認操作部81に表示させることにより、CM期間を確認することができる。また、後述するように、確認後、符号化器3で符号化方式を変更して符号化処理をやり直すことにより、CM期間の訂正を行うことが可能である。このように、CM境界と誤判定があった場合にも、確認後、修正が可能であり、符号化の際に誤ってデータを消してしまうことがない。
図10(A),(B),(C)は、図9(A),(B),(C)とは逆に、実際にはCM期間でないにもかかわらず、CM期間(又はCM境界)と判定された場合の具体例である。図10(A)の期間Pcが、それに相当する。図10(B)の期間Pcで、誤判定の結果、CM境界と見なされている。図10(C)は、図10(A),(B)中の期間Pcの拡大図である。一定周期の画面内符号化されたフレームと、誤判定の結果、CM境界として判断されたフレームによる画面内符号化されたフレームが存在する。利用者は、確認操作部81を通して、例えば、図10(A)又は図10(B)からそのCM期間(又はCM境界)の妥当性を判断することができる。また、確認操作部81からの操作により、復号部82でCM境界前後の画面内符号化されたフレームの復号画像を作成し、復号画像を復号メモリ83経由で、確認操作部81に表示させることにより、本当にCM境界であるのかどうかを確認することができる。この場合にも、後述するように、符号化器3で符号化方式を変更して符号化処理をやり直すことにより、CM境界の訂正を行うことが可能である。
次に、図9(A),(B),(C)のように、CM期間であるにもかかわらず、CM期間でないと判断された場合の動作について説明する。利用者は、確認操作部81を使って、符号化した符号化データ中のCM期間情報を確認することができる。このCM期間情報は、符号化制御部4において、一定周期でない画面内符号化フレーム位置から作成する。一定周期でない画面内符号化を行うのは、CM境界検出部1において、テレビ番組期間tPRからCM期間への切り替え、CM期間内のCM部分から次のCM部分への切り替え、CM期間からテレビ番組への切り替え等のCM境界と判断した映像及び音声の不連続面の直後のフレーム(CM境界位置フレーム)である。
利用者は、本来、CM期間が存在すべきはずのところに(図9(A),(B),(C)における期間Pb)に、CM期間が存在しない場合には、次の動作により、復号画像確認を行い、本当にCM期間でないかどうかを確認することができる。確認に際しては、確認操作部81の操作によって、図9(A),(B),(C)に示される期間Pb内の画面内符号化フレーム(例えば、図9(C)のフレームF1、F2、F3、・・・)を順番に選択し、選択されたフレームに相当する符号化データを記録部80で検索する。記録部80から読み出された該当フレームの符号化データは、復号部82に入力され、復号処理がなされる。復号部82で得られた復号画像データは、復号メモリ83に格納される。利用者は、確認操作部81により復号画像データを復号メモリ83から読み出して、画像の内容確認を行う。確認の結果、フレームF1及びF2は、CM部分CM4内に存在し、フレームF3は、テレビ番組期間tPR内に存在することがわかる。実施の形態2に係る動画像記録装置102の場合、CM期間とテレビ番組期間tPRの間には、CM境界位置フレームに相当する画面内符号化のフレーム(図9(B)及び(C)のF4)が存在するはずであるが、誤判定により存在しない。このとき、確認操作部81を使って、フレームF4について画面内符号化で符号化するように制御する。まず、確認操作部81を使って、記録部80からフレームF2に相当する符号化データを検索する。検索して見つけたフレームF2の符号化データを記録部80から読み出し、復号器82に入力する。復号器82は、復号処理を行って得た復号画像を復号メモリ83に出力する。確認操作部81は、復号画像を復号メモリ83から読み出して表示する。次に、フレームF2に相当する符号化データに続く符号化データを記録部80から読み出し、復号器82に入力する。復号器82は、復号処理を行って得た復号画像を復号メモリ83に出力する。ここで得られた復号画像は、フレームF2の次のフレームに相当する画像である。復号画像は、確認操作部81に入力され表示される。
以上の復号動作を繰り返し、フレームF2、・・・、フレームF4、・・・、フレームF5まで復号処理を行う。復号メモリ83に格納されたフレームF4に相当する復号画像は、確認操作部81を通じて、利用者にテレビ番組期間tPRの先頭フレームであることが認識される。その上で、確認操作部81からCM境界位置フレームとして認識させるために、画面間符号化から画面内符号化への変更処理を選択する。この画面間符号化から画面内符号化への変更処理命令は、確認操作部81から符号化制御部4に入力される。同時に、変更処理が選択されると、復号メモリ83からフレームF4に相当する復号画像が符号化器3に入力される。符号化器3は、符号化制御部4からの画面内符号化による符号化を指示されることにより、復号メモリ83から入力されたフレームF4に相当する復号画像を画面内符号化によって符号化する。符号化された符号化データは記録部80に出力される。フレームF4以降フレームF5に相当する復号画像も、フレームF4に続いて、復号メモリ83から読み出され、符号化制御部4の制御のもと、符号化器3において符号化(画面間符号化)がなされ、記録部80に出力される。記録部80に入力されたフレームF4からフレームF5に相当する新しい符号化データは、もともと記録部80に格納されていたフレームF4からフレームF5に相当する符号化データを置き換える。確認操作部81は新しくなったCM境界位置フレームを符号化制御部4から受け取り、表示する。誤判定が解消されたため、図9(A),(B),(C)に示されるCM境界情報は、図8(A),(B),(C)に示されるCM境界情報のようになる。
次に、図10(A),(B),(C)のように、CM境界でないにもかかわらず、CM境界として判断された場合の動作について説明する。利用者は、確認操作部81を使って、符号化した符号化データ中のCM期間情報を確認することができる。このCM期間情報は、符号化制御部4において、一定周期でない画面内符号化フレーム位置から作成する。一定周期でない画面内符号化を行うのは、CM境界検出部1において、テレビ番組期間tPRからCM期間への切り替わり、CM期間内におけるCM部分から次のCM部分への切り替わり、CM期間からテレビ番組期間tPRへの切り替わりであるCM境界と判断した映像及び音声の不連続面直後のフレーム(CM境界位置フレーム)である。
利用者は、CM期間でないところ(図10(A),(B),(C)では期間Pc)にCM境界があると判断された場合には、次の動作により、復号画像確認を行い、本当にCM境界でないのかどうかを確認することができる。確認操作部81で、図10(A),(B),(C)の期間Pc内の画面内符号化フレーム(例えば、フレームF11、F12、F13、・・・)を選択する。選択されたフレームに相当する符号化データを記録部80から検索する。記録部80から読み出された該当フレームの符号化データは、復号部82に入力され、復号処理がなされる。復号部82で得られた復号画像データは、復号メモリ83に格納される。利用者は、確認操作部81の操作により、復号画像データを復号メモリ83から読み出して確認操作部81に表示させ、画像の内容確認を行う。確認の結果、フレームF11、・・・、F14はすべてテレビ番組期間tPR内のフレームであることがわかるが、テレビ番組期間tPR内には、CM境界位置フレームに挿入すべき一定周期にない画面内符号化フレーム(図10(B)及び(C)におけるフレームF13)が存在しないはずであるが、誤判定により、存在している。このとき、確認操作部81を使って、フレームF13を画面間符号化で符号化するように制御する。まず、確認操作部81を使って、記録部80からフレームF12に相当する符号化データを検索する。検索して見つけたフレームF12の符号化データを記録部80から読み出し、復号器82に入力する。復号器82は、復号処理を行って得た復号画像を復号メモリ83に出力する。確認操作部81は、復号画像を復号メモリ83から読み出して表示する。次に、フレームF12に相当する符号化データに続く符号化データを記録部80から読み出し、復号器82に入力する。復号器82は、復号処理を行って得た復号画像を復号メモリ83に出力する。ここで得られた復号画像は、フレームF12の次のフレームに相当する画像である。復号画像は、確認操作部81に入力され表示される。
以上の復号動作を繰り返し、フレームF12、・・・、フレームF14まで復号処理を行う。復号メモリ83に格納されたフレームF13に相当する復号画像は、確認操作部81を通じて、まだ、テレビ番組期間tPRのフレームであることが認識される。その上で、確認操作部81からCM境界位置フレームでないものとして認識させるために、画面内符号化から画面間符号化への変更処理が選択される。この画面内符号化から画面間符号化への変更処理命令は、確認操作部81から符号化制御部4に入力される。同時に、変更処理が選択されると、復号メモリから前の画面内符号化を行ったフレームF12に相当する復号画像が、符号化器3に入力される。符号化器3は、符号化制御部4からの画面内符号化による符号化を指示されることにより、復号メモリ83から入力されたフレームF12に相当する復号画像を画面内符号化によって符号化する。符号化された符号化データは記録部80に出力される。フレームF12以降フレームF14に相当する復号画像も、フレームF12に続いて、復号メモリ83から読み出され、符号化制御部4の制御のもと、符号化器3において符号化(画面間符号化)がなされ、記録部80に出力される。記録部80に入力されたフレームF12からフレームF14に相当する新しい符号化データは、もともと記録部80に格納されていたフレームF12からフレームF14に相当する符号化データを置き換える。ただし、実際に、符号化データが新しくなるのは、フレームF13からフレームF14までである。確認操作部81は、新しくなったCM境界位置フレームを符号化制御部4から受け取り、表示する。誤判定が解消されたため、図10(A),(B),(C)に示されるCM境界情報は、図8(A),(B),(C)に示されるCM境界情報のようになる。
次に、画面内符号化フレーム(図10(C)におけるフレームF13)を、符号化器3で画面間符号化する別の方法を説明する。まず、確認操作部81を使って、記録部80からフレームF13に相当する符号化データを検索する。検索して見つけたフレームF13の符号化データを記録部80から読み出し、復号器82に入力する。復号器82は、復号処理を行って得た復号画像を復号メモリ83に出力する。確認操作部81は、復号画像を復号メモリ83から読み出して表示する。同時に、復号メモリからフレームF13に相当する復号画像が、符号化器3に入力される。符号化器3は、符号化制御部4からの符号化方式の制御(ピクチャータイプとして画面間符号化、マクロブロックタイプとして画面内符号化)により、復号メモリ83から入力されたフレームF13に相当する復号画像をピクチャータイプとして画面間符号化、マクロブロックタイプとして画面内符号化する。符号化された符号化データは記録部80に出力される。この場合、フレームF13から、フレームF13以降フレームF14への符号化データの連続性は保たれるので、フレームF13以降フレームF14の復号処理、符号化処理は不要である。したがって、更新される符号化データは、フレームF13に相当する符号化データだけである。確認操作部81は新しくなったCM境界位置フレームを符号化制御部4から受け取り、表示する。誤判定が解消されたため、図10(A),(B),(C)に示されるCM境界情報は、図8(A),(B),(C)に示されるCM境界情報のようになる。
以上に説明したように、実施の形態2に係る動画像記録装置102は、CM境界検出部1からの出力であるCM境界情報によって、符号化器3での符号化方式を制御する。再生時の早送り及び巻き戻しのために、一定周期毎に画面内符号化を行うのに加え、CM境界位置フレームについても、画面内符号化を行うように制御する。確認操作部81は、CM境界位置フレームを表示することにより、利用者にCM期間を伝達することが可能であり、利用者は確認操作部81を通じて表示されたCM期間が妥当であるかどうかを判断することができる。
また、誤判定があると判断した場合にも、最低限(通常動作時、一定周期で行う画面内符号化の一周期程度)の復号処理と符号化処理を行うことにより、CM境界情報を符号化データ内に埋め込むことができる。
さらに、CM境界と誤判定があった場合にも、確認後、修正が可能であり、符号化の際に誤って消してしまうことがない。
さらにまた、余計な画面内符号化を避けることができるため、再生時の早送り、巻き戻しの効率低下を抑えることができる。
実施の形態3.
図11は、実施の形態3に係る動画像記録装置103の構成を概略的に示すブロック図である。図11において、図1(実施の形態1)と同一又は対応する構成には同じ符号を付す。図11に示されるように、実施の形態3に係る動画像記録装置103は、実施の形態1に係る動画像符号化装置101の構成であるCM境界検出部1、メモリ2、符号化器3、及び符号化制御部4に加え、記録部80、確認操作部81、及びデータ編集部84を有する。
図11に示されるように、記録部80は、符号化器3から出力された符号化データ(ビットストリーム)を記録し、保存する。確認操作部81は、利用者が動画像記録装置103を操作する際に使用する操作部と、利用者に動画像記録装置103に関する情報を提供する表示部とを有する。なお、この表示部は、動画像記録装置102自体に装備された表示モニター部には限らず、動画像記録装置102とは別の装置である画像表示用のモニター装置であってもよい。符号化制御部4と確認操作部81との間では、相互に制御信号が授受される。データ編集部84は、記録部80に蓄えられた符号化データを確認操作部81からの操作により編集する。編集された符号化データは、記録部80に記録される。
次に、図11を用いて、実施の形態3に係る動画像記録装置103の動作を説明する。符号化制御部4からCM境界位置フレーム(一定周期でない画面内符号化フレーム番号)を確認操作部81に出力する。確認操作部81は、その表示部に、符号化制御部4から出力されたCM境界位置フレームを表示する。
具体的には、確認操作部81は、その表示部に、例えば、図8(A)に示されるように、横方向を時間軸として、テレビ番組期間(白色部分)とCM期間(斜線部分)を表示する。CMの連続性から、CM境界位置フレーム(図8(C)のクロスハッチング部分<i>〜<v>)が一定間隔(15秒、30秒等CMとして想定される時間)で、複数回連続する場合に、その期間をCM期間として表示させる。確認操作部81を通じて、利用者は、CM境界検出部1で検出したCM期間が妥当であることを確認することができる。
図8(B)は、図8(A)を別の形式で表現したもので、CM期間の先頭と、テレビ番組の先頭のCM境界位置フレームを図示(図8(B)のクロスハッチング部分)したものである。
図8(C)は、図8(A),(B)中の期間Paの拡大図である。CM期間と判断された期間内には、一定周期の画面内符号化フレームと、CM境界として判断されたCM境界位置フレームによる画面内符号化フレームが存在する。図8(C)では、1つのCM期間内に、CM1、CM2、CM3、CM4で示される4つのCM部分があり、それぞれのCM部分CM1、CM2、CM3、CM4の先頭フレーム(図8(C)においてクロスハッチング部分<i>〜<iv>)がCM境界位置フレームと判定される。なお、CM期間直後のテレビ番組先頭フレーム(図8(C)においてクロスハッチング部分<v>)もCM境界位置フレームである。
利用者は、確認操作部81でCM期間の妥当性を確認した後、テレビ番組期間を繋ぐ編集を行うことが可能である。具体的には、図12(A)に示されるように、実際の符号化データの中からテレビ番組以外tPRの期間に相当する符号化データ(斜線部分)を削除する。
図12(A)の場合の動作を説明する。確認操作部81では、一定周期でない画面内符号化フレームからCM期間を判別し、図12(A)のようにCM期間を表示する。利用者は、CM期間を確認操作部81で確認した後、テレビ番組期間を繋げる編集をしたい場合には、確認操作部81を使ってテレビ番組期間結合要求をデータ編集部84に出力する。データ編集部84は、テレビ番組期間結合要求を確認操作部81から受けると、記録単位となっている符号化データを記録部80から読み出し、テレビ番組期間だけを記録部80に記録する。CM期間直後のフレーム(テレビ番組期間の先頭フレーム)は、画面内符号化で符号化されているため、再エンコードすることなく、符号化データを結合することが可能である。確認操作部81は、図12(B)のように、テレビ番組期間が繋げられた(結合された)形で表示する。この場合には、テレビ番組期間を結合した動画像の符号化データを作成することが可能であり、再符号化の必要がないので、画質劣化も発生しない。
また、利用者は、確認操作部81でCM期間の妥当性を確認した後、CMマスク(隠蔽)を行うことが可能である。具体的には、図13(B)のように記録部80に格納された画像符号化データを、別途、不図示の制御部から記録部80に格納された音声符号化データと一緒に多重化して、例えば、MP4形式等のシステムファイル(ファイルフォーマット)として保存し、その際に、CM期間を表すFLAG(フラグ)を新しく用意して、システムファイル内に埋め込み、再生時にそのFLAGを確認し、FLAGによって再生とスキップを制御する。確認操作部81で、利用者によってテレビ番組期間tPRの結合を指示された場合に、データ編集部84で、CM期間に相当するピクチャーの符号化データに対してスキップ動作をさせるようにフラグを付加する。フラグ情報により、CM期間のスキップを行うことが可能で、記録した動画像を削除することがないので、大切な動画像の一部を誤って消す危険性がない。
図13(A),(B)の場合の動作を説明する。確認操作部81は、一定周期でない画面内符号化フレームからCM期間を判別し、図13(A)に示されるように、CM期間を表示する。利用者は、CM期間を確認操作部81で確認した後、CM期間を再生時にスキップさせる旨をCM期間隠蔽要求としてデータ編集部84に出力する。データ編集部84は、CM期間隠蔽要求をデータ編集部84から受けると、記録単位になっている符号化データを記録部80から読み出し、CM期間に相当する符号化データに対しては、CM期間を表すFLAGを設け、FLAGを付加した形で多重化する。図13(B)の場合には、FLAG=‘1’のときCM期間、FLAG=‘0’のときテレビ番組期間tPRであるとしているが、これに限るものではない。なお、記録部80に格納された符号化データがすでに多重化されている場合、システムファイルとしてFLAGパラメータがあれば、CM期間に相当する符号化データについてFLAGを‘0’から‘1’に変更し、FLAGパラメータがなければ、新たに付加する。確認操作部81では、図13(B)のように、CM期間がFLAG=‘1’と変更されていることを表示する。
以上に説明したように、実施の形態3に係る動画像記録装置103によれば、確認操作部81により表示されたCM期間を確認した上で、テレビ番組期間を繋げる編集及び再生を行うことが可能である。
実施の形態4.
実施の形態3においては、確認操作部81により表示されたCM期間を確認した上で、テレビ番組期間を繋げる編集操作を行ったが、実施の形態3と同じく図11に示した動画像記録装置103を用い、同様の操作で、テレビ番組期間を除去等し、CM期間を繋げる操作も可能である。図11の動画像記録装置103を用い、確認操作部81でCM期間の妥当性を確認するまでの動作は、実施の形態3と同様のため省略する。
利用者は、確認操作部81でCM期間の妥当性を確認した後、テレビ番組期間の削除を行うことが可能である。具体的には、図12(C)に示されるように、実際の符号化データの中からテレビ番組期間tPRに相当する符号化データ(斜線のない部分)を削除する。
図12(C)の場合の動作を説明する。確認操作部81では、一定周期でない画面内符号化フレームからCM期間を判別し、図12(C)のようにCM期間を表示する。利用者は、CM期間を確認操作部81で確認した後、テレビ番組期間を実際に符号化データから削除したい場合には、確認操作部81を使ってテレビ番組期間の削除要求をデータ編集部84に出力する。データ編集部84は、テレビ番組期間の削除要求を確認操作部81から受けると、記録単位となっている符号化データを記録部80から読み出し、CM期間以外の期間に相当する符号化データを削除して、記録部80に記録する。記録された各CM期間の先頭フレームは、画面内符号化で符号化されているため、再エンコードすることなく、符号化データを結合することが可能である。確認操作部81は、図12(D)のように、CM期間が繋げられた(結合された)形で表示する。この場合には、CM期間が結合された動画像の符号化データを作成することが可能であり、再符号化の必要がないので、画質劣化も発生しない。
また、利用者は、確認操作部81でCM期間の妥当性を確認した後、テレビ番組期間のマスク(隠蔽)を行うことが可能である。動作は実施の形態3において、図13(A)及び(B)を用いて説明した動作と同様である。ただし、再生時にFLAG=‘0’の期間(テレビ番組期間)をスキップする点がことなる。このように、フラグ情報により、テレビ番組期間のスキップを行うことが可能で、記録した動画像を削除することがないので、大切なCM画像の一部を誤って消す危険性がない。
以上に説明したように、実施の形態4に係る動画像記録装置103によれば、確認操作部81により表示されたCM期間を確認した上で、CMだけをつなげる編集及び再生が可能である。
実施の形態5.
図14は、本発明の実施の形態5に係る動画像再生装置104の構成を概略的に示すブロック図である。図14に示されるように、実施の形態5に係る動画像再生装置104は、符号化データ(ビットストリーム)を格納する記録部80と、記録部80から読み出された符号化データからCM境界を判別するCM境界判別部85と、CM境界判別部85から出力される判別結果を使って復号部82を制御する復号処理制御部86と、復号処理制御部86から出力される制御信号により記録部80から読み出した符号化データを復号する復号部82と、復号部82により復号処理された復号画像を格納する復号メモリ83と、動画像再生装置104を操作する利用者に操作系と表示系を提供する確認操作部81とを備えている。
次に、図14を用いて、実施の形態5に係る動画像再生装置104の動作を説明する。符号化データは不図示の制御手段によって予め記録部80に格納される。確認操作部81で動画像再生が指示されると、CM境界判別部85は、記録部80から符号化データを読み出し、CM境界を判別する。CM境界判別部85の判別結果は、復号処理制御部86に入力される。復号処理制御部86は、CM境界判別部85から入力される判別結果を使って、復号部82を制御する。復号部82は、記録部80から読み出された符号化データを復号処理制御部86から出力された制御信号に従って、復号処理を行う。復号部82で復号処理されて得た復号画像データは、復号メモリ83に格納される。復号画像データは、復号メモリ83から読み出されて確認操作部81に入力され、表示される。
次に、CM境界の判別について説明する。実施の形態1及び実施の形態2において既に説明したように、動画像符号化に際して、一定周期毎に画面内符号化により動画像を符号化し、同時に、CM境界と判定したフレームに対しても、画面内符号化を行う。したがって、一定周期でない画面内符号化フレームは、CM境界であると判別することができる。符号化データは、例えば、図8(A),(B),(C)のようになる。動画再生途中に、CM境界判別部85で再生フレームがCM境界位置フレームであると判別した場合(図8(C)において<i>で示されるフレーム)、復号処理制御部86では、CM境界判別部85からの判別結果を受けて、このCM境界位置フレームに対する復号処理終了後、復号部82の復号処理を一旦停止するように制御する。このCM境界位置フレームの復号画像は、復号メモリ83に格納された後、読み出されて、確認操作部81に表示される。利用者は、テレビ番組期間からCMへの切り替わりを認識することができ、切り替わり後のフレーム<i>の内容を確認することが可能である。利用者は、確認操作部81を確認後、フレーム<i>がCM期間であると判断した場合には、次のCM境界位置フレーム<ii>まで復号処理を行わずスキップするように確認操作部81を操作する。確認操作部81からの操作を受けて、CM境界判別部85は、記録部80に格納された符号化データを検索し、CM境界位置フレーム<ii>を判別する。CM境界検索部85からの判別結果で、復号処理制御部86は、記録部80からCM境界位置フレーム<ii>に相当する画面内符号化データを読み出し、復号部82ではその符号化データを復号し、復号メモリ83に格納する。復号メモリ83に格納された復号画像は、確認操作部81に表示される。以降、画面内符号化を行ったCM境界位置フレーム<ii>、<iii>、<iv>、<v>についても同様の処理を行い、復号画像を確認操作部81に出力する。利用者は、確認操作部81でそのCM境界がテレビ番組期間にあるのか(図8(C)におけるフレーム<v>)なのか、CM期間(図8(C)におけるフレーム<ii>、<iii>、<iv>)なのかを確認することができ、CM期間であれば、次のCM境界まで画面内符号化フレームのみの再生を行い、テレビ番組期間であれば通常再生を行うことにより、テレビ番組期間を確実に繋げて再生処理を行うことができる。
また、上記において、確認操作部81でテレビ番組期間と確認した場合は、復号処理を行わずスキップするように確認操作部81を操作し、CM期間と判断した場合には、通常再生動作を行うようにすれば、同様の動作により、CM期間を繋げて再生することも可能である。
また、実施の形態3及び4において説明したように、CM期間を、記録部80に格納されたシステムファイルから、CM境界判別部85で判別することも可能である。図13(A),(B)の場合には、FLAG=‘1’のときをCM期間として判別し、復号処理制御部86に判別結果を出力する。復号処理制御部86は、CM境界判別部85から出力されたCM期間の判別結果で、CM期間であると判別されたフレームに対しては、復号部82における復号処理をスキップするように制御する。したがって、復号部82は、記録部80から、テレビ番組期間(FLAG=‘0’の期間)に相当する符号化データを読み出し、復号処理を行う。CM期間に相当する符号化データをスキップした場合にも、CM期間直後の先頭フレームは、画面内符号化で符号化されているため、そのフレームからの復号処理は可能である。
他方、テレビ番組期間をスキップし、CM期間を繋げる場合について説明する。FLAG=‘1’のときをCM期間として判別し、復号処理制御部86に判別結果を出力する。復号処理制御部86は、CM境界判別部85から出力されたCM期間の判別結果で、CM期間であると判別された以外のフレームに対しては、復号部82における復号処理をスキップするように制御する。したがって、復号部82は、記録部80から、CM期間(FLAG=‘1’の期間)に相当する符号化データを読み出し、復号処理を行う。CM期間以外の期間に相当する符号化データをスキップした場合にも、CM期間直後の先頭フレームは、画面内符号化で符号化されているため、そのフレームからの復号処理は可能である。
以上に説明したように、実施の形態5に係る動画像再生装置104は、一定周期である画面内符号化フレーム以外の画面内符号化フレームを検出してCM境界として再生することができる。また、実施の形態5に係る動画像再生装置104によれば、簡単に符号化データからCM境界を検索することができ、確実に、CM期間を結合させ、あるいはスキップ再生することができる。
なお、上記実施の形態1から実施の形態5までの装置において、「フレーム」と称しているものの概念には、テレビジョン放送信号における「フィールド」も含まれる。
また、上記実施の形態1から実施の形態5までの装置において、「テレビジョン放送番組」と称しているものには、直接テレビから入力されるテレビジョン放送の他に、ビデオレコーダや、ハードディスクレコーダに一旦録画された後に出力されるテレビジョン放送番組も含まれる。
さらに、以上に説明した動画像符号化装置、動画像記録装置、及び動画像再生装置の活用例としては、DVD(Digital Versatile Disk)レコーダ、DVDプレーヤ、HDD(Hard Disk Drive)記録再生装置、ハイブリッドレコーダ(DVD記録再生装置とHDD記録再生装置の複合機)等に適用できる。
さらにまた、以上に説明した動画像符号化装置によって実施される動画像符号化方法、動画像記録装置によって実施される動画像記録方法、及び動画像再生装置によって実施される動画像再生方法を、パーソナルコンピュータ(PC)のような電子情報処理装置によって、インストールされたソフトウェアプログラムに従って、実行させることも可能である。プログラムのインストールに際しては、インストール用のプログラムを記録したCD−ROMやDVD―ROMのような情報記録媒体からのインストール方法、又は、インターネット等の通信回線を用いたダウンロードによるインストール方法がある。
1 CM境界検出部、 2 メモリ、 3 符号化器、 4 符号化制御部、 11 シーンチェンジ検出部、 12 無音期間検出部、 13 CM期間判定部、 32 減算器、 33 DCT回路、 34 量子化回路、 35 DC/AC予測器、 36 可変長符号化回路、 37 逆量子化回路、 38 逆DCT回路、 39 加算器、 40 復号画像メモリ、 41 予測画像作成回路、 42 動き検出回路、 43 動きベクトル予測回路、 80 記録部、 81 確認操作部、 82 復号部、 83 復号メモリ、 84 データ編集部、 85 CM境界判別部、 86 復号処理制御部、 101 動画像符号化装置、 102,103 動画像記録装置、 104 動画像再生装置、 Ia 一定周期毎の画面内符号化フレーム(ピクチャー)、 Ib,Ib1,Ib2 CM境界に位置する画面内符号化フレーム(ピクチャー)、 Ib1´ 一定周期毎の画面内符号化フレーム(ピクチャー)に重なり、所定フレーム(ピクチャー)数ずらして画面内符号化されたCM境界に対する画面内符号化フレーム(ピクチャー)、 Ic CM境界に対する画面内符号化フレーム(ピクチャー)が一定周期毎の画面内符号化フレーム(ピクチャー)に重なった結果、画面内符号化ではなく画面間符号化された一定周期位置の画面間符号化フレーム(ピクチャー)、 CM1〜CM4 CM期間内に連続的に存在するCM部分。