JP4229149B2

JP4229149B2 - ビデオ信号処理装置およびビデオ信号処理方法、ビデオ信号符号化装置およびビデオ信号符号化方法、並びにプログラム

Info

Publication number: JP4229149B2
Application number: JP2006193126A
Authority: JP
Inventors: 浩司鹿島; 智隈; 公志江島; 卓也北村
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2006-07-13
Filing date: 2006-07-13
Publication date: 2009-02-25
Anticipated expiration: 2026-07-13
Also published as: JP2008022361A; CN101841716A; CN101485200A; CN101485200B; KR20090039710A; CN101841716B; WO2008007756A1; US20090202219A1; US8320744B2

Description

本発明は、ビデオ信号処理装置およびビデオ信号処理方法、ビデオ信号符号化装置およびビデオ信号符号化方法、並びにプログラムに関し、特に、符号化ビデオ信号を完全に復号することなくフレーム単位で編集できるようにするビデオ信号処理装置およびビデオ信号処理方法、ビデオ信号符号化装置およびビデオ信号符号化方法、並びにプログラムに関する。

例えばMPEG2方式などによって圧縮符号化されているビデオ信号（以下、符号化ビデオ信号と称する）から所定の区間を抽出するような編集を行う場合、GOP（Group of Pictures）単位で抽出するときには、符号化ビデオ信号を復号することなく比較的少ない演算量で当該編集を行うことができる。

これに対して、GOP単位よりも細かくフレーム単位で抽出するときには、各ピクチャ間で参照関係があるので復号処理は必須である。最も容易な方法は、符号化データを全て復号した後に所定の区間を抽出することである。

しかしながら、符号化データを全て復号しても、抽出後に再び符号化する必要があるので、無駄な演算を行っていることがあり、一連の処理を終えるのに時間を要してしまう。

そこで、符号化ビデオ信号からフレーム単位の所定の区間を抽出するような編集をできる限り速やかに実行する方法として、スマートレンダリング編集と称する技法が存在する（例えば、特許文献１参照）。

スマートレンダリング編集においては、例えば図１Ａに示すような連続した符号化ビデオ信号から任意の区間を抽出する編集を行う場合、抽出区間のうち、先端と終端をそれぞれ含むGOPだけをそれぞれ復号して所望のフレームを抽出し、再度符号化する。

また抽出区間のうち、先端のGOPと終端のGOP以外の中間部分については、符号化ビデオ信号そのままで復号することなく抽出する。

したがって、スマートレンダリング編集後の抽出区間の符号化ビデオ信号は、図１Ｂに示すように、再符号化された部分（再符号化部分）と、再符号化部分に挟まれた再符号化されていない部分（中間部分）が存在することになる。なお、再符号化部分および中間部分の双方において符号化ビデオ信号内の所定のパラメータの書き換えが生じている。

ところで、現状においては、ビデオ信号の圧縮符号化方式としてMPEG２方式が標準的に使用されるが、今後においては、MPEG２方式よりも画質を劣化させることなくより高い圧縮率を実現できるH.264/AVC方式の普及が見込まれている。

H.264/AVC方式では、ビデオ信号を符号化した符号化列中に、図２Ａに示すような所定のデータ配列（0x00，0x00，0xXX(XXは00,01,02または03)）が含まれている場合、H.264/AVC方式で規定されているスタートコード（0x00，0x00，0x01）が擬似的に出現してしまうことを抑止するため、図２Ｂに示すように、0x00，0x00と0xXXの間に、EPB(Emulation Prevention Byte)と称する0x03を挿入する規定がある。したがって、H.264/AVC方式の符号化ビデオ信号においては、所定のデータ配列に対してEPBが挿入されている。

特開２００４−１０４３６１号公報

上述したように、符号化ビデオ信号をスマートレンダリング編集すると、パラメータの書き換えが生じる。したがって、H.264/AVC方式の符号化ビデオ信号をスマートレンダリング編集した場合にもパラメータの書き換えが生じ、このパラメータの書き換えによって所定のデータ配列が変更されて、挿入されていたEPBが不要になって消滅したり、反対に所定のデータ配列が出現してEPBが挿入されたりすることが発生し得る。このように、スマートレンダリング編集によって、EPBが消滅したりEPBが挿入されたりすることを、以下、EPB問題と称する。

EPB問題が生じた場合、符号化ビデオ信号のデータ長が変化するので、スマートレンダリング編集後の符号化ビデオ信号が、予め定められた規格に違反してしまい、仮想参照デコーダ(HRD;Hypothetical Reference Decoder)の条件を満たさない可能性がある。

したがって、符号化ビデオ信号をスマートレンダリング編集した際にEPB問題を生じさせない方法、発生したEPB問題の解決方法の出現が望まれている。

本発明はこのような状況に鑑みてなされたものであり、符号化ビデオ信号をスマートレンダリング編集した際、EPB問題を生じさせない、あるいは発生したEPB問題の解決するようにするものである。

本発明の第１の側面であるビデオ信号処理装置は、符号化ビデオ信号のフレーム単位で指定された区間をスマートレンダリング編集するビデオ信号処理装置において、入力された前記符号化ビデオ信号に対してEPB問題発生防止対策が施されているか否かを、前記符号化ビデオ信号に含まれる、前記EPB問題発生防止対策が施されているか否かを示す情報に基づいて判定する判定手段と、入力された前記符号化ビデオ信号のフレーム単位で指定された区間の先端部分および終端部分をデコードして再エンコードし、前記区間のうちの前記先端部分および前記終端部分に含まれない中間部分をデコードすることなくそのまま出力するスマートレンダリング編集手段と、前記再エンコードに伴う前記符号化ビデオ信号中の所定のパラメータの書き換えによって編集後の符号化ビデオ信号に、EPBが新たに挿入される第１の事象、または編集前に存在していたEPBが消滅する第２の事象を指すEPB問題の発生を検出し、前記第１の事象が発生したときには、前記符号化ビデオ信号に予め挿入されているフィラーまたは所定のデータを挿入されたEPBの分だけ削除し、前記第２の事象が発生したときには、消滅したEPBの分だけ前記符号化ビデオ信号にフィラーを挿入するEPB問題対応手段とを含み、前記判定手段によって、入力された前記符号化ビデオ信号にEPB問題発生防止対策が施されていると判定された場合、前記EPB問題対応手段の処理は省略される。

本発明の第１の側面であるビデオ信号処理方法は、符号化ビデオ信号のフレーム単位で指定された区間をスマートレンダリング編集するビデオ信号処理装置のビデオ信号処理方法において、入力された前記符号化ビデオ信号に対してEPB問題発生防止対策が施されているか否かを、前記符号化ビデオ信号に含まれる、前記EPB問題発生防止対策が施されているか否かを示す情報に基づいて判定し、前記EPB問題発生防止対策が施されているか否かに拘わらず、入力された前記符号化ビデオ信号のフレーム単位で指定された区間の先端部分および終端部分をデコードして再エンコードし、前記区間のうちの前記先端部分および前記終端部分に含まれない中間部分をデコードすることなくそのまま出力するスマートレンダリング編集を行い、前記EPB問題発生防止対策が施されていないと判定された場合のみ、前記再エンコードに伴う前記符号化ビデオ信号中の所定のパラメータの書き換えによって編集後の符号化ビデオ信号に、EPBが新たに挿入される第１の事象、または編集前に存在していたEPBが消滅する第２の事象を指すEPB問題の発生を検出し、前記第１の事象が発生したときには、前記符号化ビデオ信号に予め挿入されているフィラーまたは所定のデータを挿入されたEPBの分だけ削除し、前記第２の事象が発生したときには、消滅したEPBの分だけ前記符号化ビデオ信号にフィラーを挿入するEPB問題対応処理を実行する。

本発明の第１の側面であるプログラムは、符号化ビデオ信号のフレーム単位で指定された区間をスマートレンダリング編集するビデオ信号処理装置の制御用のプログラムであって、入力された前記符号化ビデオ信号に対してEPB問題発生防止対策が施されているか否かを、前記符号化ビデオ信号に含まれる、前記EPB問題発生防止対策が施されているか否かを示す情報に基づいて判定し、前記EPB問題発生防止対策が施されているか否かに拘わらず、入力された前記符号化ビデオ信号のフレーム単位で指定された区間の先端部分および終端部分をデコードして再エンコードし、前記区間のうちの前記先端部分および前記終端部分に含まれない中間部分をデコードすることなくそのまま出力するスマートレンダリング編集を行い、前記EPB問題発生防止対策が施されていないと判定された場合のみ、前記再エンコードに伴う前記符号化ビデオ信号中の所定のパラメータの書き換えによって編集後の符号化ビデオ信号に、EPBが新たに挿入される第１の事象、または編集前に存在していたEPBが消滅する第２の事象を指すEPB問題の発生を検出し、前記第１の事象が発生したときには、前記符号化ビデオ信号に予め挿入されているフィラーまたは所定のデータを挿入されたEPBの分だけ削除し、前記第２の事象が発生したときには、消滅したEPBの分だけ前記符号化ビデオ信号にフィラーを挿入するEPB問題対応処理を実行するステップを含む処理をコンピュータに実行させる。

本発明の第１の側面においては、入力された符号化ビデオ信号に対してEPB問題発生防止対策が施されているか否が、符号化ビデオ信号に含まれる、EPB問題発生防止対策が施されているか否かを示す情報に基づいて判定され、EPB問題発生防止対策が施されていないと判定された場合のみ、再エンコードに伴う符号化ビデオ信号中の所定のパラメータの書き換えによって編集後の符号化ビデオ信号に、EPBが新たに挿入される第１の事象、または編集前に存在していたEPBが消滅する第２の事象を指すEPB問題の発生が検出され、第１の事象が発生したときには、符号化ビデオ信号に予め挿入されているフィラーまたは所定のデータが挿入されたEPBの分だけ削除される。また、第２の事象が発生したときには、消滅したEPBの分だけ符号化ビデオ信号にフィラーが挿入されるEPB問題対応処理が実行される。

本発明の第２の側面であるビデオ信号符号化装置は、所定の符号化方式に従ってビデオ信号を符号化するビデオ信号符号化装置において、スマートレンダリング編集におけるEPB問題発生防止対策として、符号化結果の符号化ビデオ信号に含まれる所定のパラメータのビット長を、前記所定の符号化方式で許容されているビット長の範囲よりも狭く制限する決定手段と、決定結果に従って前記ビデオ信号を符号化し、その結果得られる前記符号化ビデオ信号に前記所定のパラメータのビット長が制限されていることを示す情報を含める符号化手段とを含む。

前記決定手段は、符号化ビデオ信号中における前記所定のパラメータの直前のデータ配列をシミュレートし、前記所定のパラメータがいかなる値になってもEPBを挿入すべきデータ配列が発生しないように、前記所定のパラメータのビット長を決定するようにすることができる。

本発明の第２の側面であるビデオ信号符号化方法は、所定の符号化方式に従ってビデオ信号を符号化するビデオ信号符号化装置のビデオ信号符号化方法において、スマートレンダリング編集におけるEPB問題発生防止対策として、符号化結果の符号化ビデオ信号に含まれる所定のパラメータのビット長を、前記所定の符号化方式で許容されているビット長の範囲よりも狭く制限し、決定結果に従って前記ビデオ信号を符号化し、その結果得られる前記符号化ビデオ信号に前記所定のパラメータのビット長が制限されていることを示す情報を含めるステップを含む。

本発明の第２の側面であるプログラムは、所定の符号化方式に従ってビデオ信号を符号化するビデオ信号符号化装置の制御用のプログラムであって、スマートレンダリング編集におけるEPB問題発生防止対策として、符号化結果の符号化ビデオ信号に含まれる所定のパラメータのビット長を、前記所定の符号化方式で許容されているビット長の範囲よりも狭く制限し、決定結果に従って前記ビデオ信号を符号化し、その結果得られる前記符号化ビデオ信号に前記所定のパラメータのビット長が制限されていることを示す情報を含めるステップを含む処理をコンピュータに実行させる。

本発明の第２の側面においては、スマートレンダリング編集におけるEPB問題発生防止対策として、符号化結果の符号化ビデオ信号に含まれる所定のパラメータのビット長が、所定の符号化方式で許容されているビット長の範囲よりも狭く制限され、決定結果に従ってビデオ信号が符号化され、その結果得られる符号化ビデオ信号に所定のパラメータのビット長が制限されていることを示す情報が含められる。

本発明の第１の側面によれば、符号化ビデオ信号をスマートレンダリング編集した際に発生したEPB問題を解決することができる。

本発明の第２の側面によれば、スマートレンダリング編集した際にEPB問題が生じないように、ビデオ信号を符号化することができる。

以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。

図３は、本発明の一実施の形態である編集装置の構成例を示している。この編集装置１０は、前段から入力されるH.264/AVC方式で符号化されている符号化ビデオ信号（H.264/AVCストリームとも記述する）から、フレーム単位で指定された任意の区間を、スマートレンダリング編集によって抽出するものである。

編集装置１０は、抽出区間を指定するユーザの操作を入力する操作入力部１１、編集装置１０の各部を制御する制御部１２、H.264/AVCストリームのうち、抽出区間の先端のフレームを含むGOPと、抽出区間の終端のフレームを含むGOPをリレンダリングパスに出力し、抽出区間のうちの再符号化しない中間部分をスマートレンダリングパスに出力する切換部１３、リレンダリングパスを介して入力されるH.264/AVCストリームを復号するデコーダ１４、復号結果のビデオ信号のうち、抽出区間に含まれるピクチャを再び符号化するエンコーダ１５、および、スマートレンダリング編集に伴って再符号化部分および中間部分の所定のパラメータを書き換えて後段に出力する書換部１６から構成される。

なお、編集装置１０に対する入力は、スマートレンダリング編集を実行した際にEPB問題が生じないための対策（以下、EPB問題発生防止対策と称し、詳細は後述する）が講じられているH.264/AVCストリームと、EPB問題発生防止対策が講じられていないH.264/AVCストリームを想定する。EPB問題発生防止対策が講じられているH.264/AVCストリームには、その旨を示すスマートレンダリングインジケータが埋め込まれているものとする。

書換部１６において書き換えの必要があるパラメータとしては、少なくとも以下の３つが挙げられる。
cpb_removal_delay @ Picture timing SEI（以下、パラメータP1と称する）
frame_num @ Slice header （以下、パラメータP2と称する）
pic_order_cnt_lsb @ Slice header （以下、パラメータP3と称する）

上述したパラメータP1乃至P3それぞれのビット長は、それぞれ以下のパラメータP1'乃至P3'によって規定される。
パラメータP1'：cpb_removal_delay_length_minus1 @ HRD parameters
パラメータP2'：log2_max_frame_num_minus4 @ Sequence parameter set
パラメータP3'：log2_max_pic_order_cnt_lsb_minus4 @ Sequence parameter set

そこで、EPB問題発生防止対策としては、パラメータP1乃至P3がいかなる値に書き換えられた場合においてもEPB問題が発生し得ないように、パラメータP1乃至P3それぞれのビット長を、H.264/AVC方式において許容されているビット長の範囲よりも狭く制限するようになされている。

なお、EPB問題発生防止対策として、上述したパラメータP1乃至P3のビット長を制限する加えて、以下の１乃至３を追加するようにしてもよい。
１ LP、SP、HQなどの各モードで、書き換え無しでスマートレンダリング編集が可能になるように、CpbSize、TraceBitRateを統一する。
２ SEIを入れる。
Buffering Period SEI /毎GOP
Recovery Point SEI /毎GOP
Picture Timing SEI / 毎Picture
３ HRD parameterを入れる。

なお、パラメータP1乃至P3それぞれに対して制限されるビット長の決定方法については図５および図６を参照して後述する。

次に、編集装置１０による、H.264/AVCストリームからフレーム単位で指定された任意の区間を抽出する処理（以下、単に抽出処理と称する）について、図４のフローチャートを参照して説明する。

なお、この処理の前提として、すでにユーザが操作入力部１１を用いて一連のH.264/AVCストリームから抽出する区間を指定しており、この操作情報が制御部１２に通知されているものとする。

ステップＳ１において、切換部１３は、制御部１２の制御に従い、前段から入力されたH.264/AVCストリームに埋め込まれたスマートレンダリングインジケータを検出し、EPB問題発生防止対策が講じられているか否かを判定する。EPB問題発生防止対策が講じられていると判定された場合、処理はステップＳ２に進められて、スマートレンダリング編集が行われ、ステップＳ３において、編集終了と判定されるまでスマートレンダリング編集が続けられる。

具体的には、切換部１３により、前段から入力されているH.264/AVCストリームのうち、抽出区間の先端のフレームを含むGOPがリレンダリングパスを介してデコーダ１４に出力され、デコーダ１４により復号されてその結果得られたビデオ信号がエンコーダ１５に出力され、エンコーダ１５により、復号結果のビデオ信号のうち、抽出区間に含まれるピクチャが抽出されて再び符号化され、書換部１６に出力され、書換部１６により、所定のパラメータが書き換えられて後段に出力される。なお、書き換えられるパラメータのビット長は、EPB問題発生防止対策により制限されているので、EPB問題は発生し得ない。

そして、前段から入力されているH.264/AVCストリームのうち、リレンダリングパスに出力したGOPの後の中間部分についてはスマートレンダリングパスを介して書換部１６に出力される。書換部１６では、再符号化部分と同様に所定のパラメータの書換が行われるが、書き換えられるパラメータのビット長は、EPB問題発生防止対策により制限されているので、EPB問題は発生し得ない。

これに次いで、スマートレンダリングパスを介して出力された中間部分の後のGOPがリレンダリングパスを介してデコーダ１４に出力され、デコーダ１４により復号されてその結果得られたビデオ信号がエンコーダ１５に出力され、エンコーダ１５により、復号結果のビデオ信号のうち、抽出区間に含まれるフレームが抽出されて再び符号化され、書換部１６に出力され、書換部１６により、所定のパラメータが書き換えられる。なお、書き換えられるパラメータのビット長は、EPB問題発生防止対策により制限されているので、EPB問題は発生し得ない。以上のようにしてEPB問題が発生することなくスマートレンダリング編集が行われる。

反対に、ステップＳ１において、前段から入力されたH.264/AVCストリームにEPB問題発生防止対策が講じられていないと判定された場合、処理はステップＳ４に進められる。EPB問題発生防止対策が講じられていなくてもEPB問題が発生しないことが起こり得るので、ステップＳ４において、スマートレンダリング編集が行われる。そして、ステップＳ５において、スマートレンダリング編集終了と判定されるまで、処理はステップＳ６に進められる。

ステップＳ６において、書換部１６は、スマートレンダリング編集の過程におけるパラメータの書き換えによってEPB問題が発生したか否かを判定し、EPB問題が発生していないと判定した場合、ステップＳ４に戻ってそれ以降の処理を繰り返す。ステップＳ６において、EPB問題が発生したと判定された場合、処理はステップＳ７に進められる。

ステップＳ７において、書換部１６は、発生したEPB問題はEPBの挿入であるのか、削減であるのかを判定する。EPBの挿入であると判定された場合、処理はステップＳ８に進められる。ステップＳ８において、書換部１６は、少なくとも挿入されたEPBの分だけH.264/AVCストリーム中に削除可能なフィラーが存在するか否かを判定し、存在すると判定した場合、ステップＳ９に進み、H.264/AVCストリームから、挿入されたEPBの分だけフィラーを削除する。以上のようにして、EPBの挿入発生というEPB問題が解決され、スマートレンダリング編集が終了される。

一方、ステップＳ７において、発生したEPB問題はEPBの削除であると判定された場合、処理はステップＳ１０に進められる。ステップＳ１０において、書換部１６は、削除されたEPBの分だけH.264/AVCストリーム中にフィラーを挿入できるか否か判定し、挿入できると判定した場合、ステップＳ１１に進み、H.264/AVCストリームに、削除されたEPBの分だけフィラーを挿入する。以上のようにして、EPBの消滅というEPB問題が解決され、スマートレンダリング編集が終了される。

なお、ステップＳ８において、少なくとも挿入されたEPBの分だけH.264/AVCストリーム中に削除可能なフィラーが存在しないと判定された場合、あるいは、ステップＳ１０において、削除されたEPBの分だけH.264/AVCストリーム中にフィラーを挿入できないと判定された場合、発生したEPB問題を解決することができないので、現在実行中のスマートレンダリング編集が断念され、処理はステップＳ１２に進められる。ステップＳ１２において、現在実行中のスマートレンダリング編集が中止され、切換部１３から全抽出区間がリレンダリングパスに出力され、全抽出区間に対して復号と再符号化が行われる。以上のようにして、リレンダリング編集が終了される。

ただし、ステップＳ８において、少なくとも挿入されたEPBの分だけH.264/AVCストリーム中に削除可能なフィラーが存在しないと判定された場合においても、規格違反にならない範囲で、冗長なパラメータなどを挿入されたEPBの分だけ削除して、スマートレンダリング編集を実現するようにしてもよい。

ここで、削除する冗長なパラメータとしては、例えば、そのパラメータの存在を示すフラグ情報があるものを挙げることができる。そのパラメータの存在を示すフラグ情報を１（存在する）から０（存在しない）に変更すれば、そのパラメータは存在しないことになり、そのパラメータのビット長分はフィラーと同様に削除することが可能となる。

また例えば、そのパラメータのビット長を示すビット長情報があるものを挙げることができる。あるパラメータのビット長情報を短い値に変更すれば、変更されたビット長の差分だけフィラーと同様に削除することが可能となる。

以上説明したように、編集装置１０の挿入処理によれば、符号化ビデオ信号をスマートレンダリング編集した際に発生したEPB問題を解決することができ、解決できないときにはリレンダリング編集に切り換えることができる。

次に、EPB問題発生防止対策として制限される、パラメータP1乃至P3のビット長を決定する処理について図５および図６を参照して説明する。

パラメータP1乃至P3のビット長を決定する処理は、例えば図５に示すように構成される汎用パーソナルコンピュータがプログラムを実行することによって実現される。

このパーソナルコンピュータ５０は、CPU(Central Processing Unit)５１を内蔵している。CPU５１にはバス５４を介して、入出力インタフェース５５が接続されている。バス５４には、ROM(Read Only Memory)５２およびRAM(Random Access Memory)５３が接続されている。

入出力インタフェース５５には、ユーザが操作コマンドを入力するキーボード、マウス等の入力デバイスよりなる入力部５６、操作画面などを表示するCRT(Cathode Ray Tube)またはLCD(Liquid Crystal Display)等のディスプレイよりなる出力部５７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部５８、およびモデム、LAN（Local Area Network）アダプタなどよりなりインタネットに代表されるネットワークを介した通信処理を実行する通信部５９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどの記録媒体６１に対してデータを読み書きするドライブ６０が接続されている。

このパーソナルコンピュータ５０にパラメータP1乃至P3のビット長の決定する処理を実行させるプログラムは、記録媒体６１に格納された状態でパーソナルコンピュータ５０に供給され、ドライブ６０によって読み出されて記憶部５８に内蔵されるハードディスクドライブにインストールされている。記憶部５８にインストールされているプログラムは、入力部５６に入力されるユーザからのコマンドに対応するCPU５１の指令によって、記憶部５８からRAM５３にロードされて実行される。

なお、パーソナルコンピュータ５０は、パラメータP1乃至P3のビット長の決定する処理を実行する他、ビデオ信号をH.264/AVC方式に従って符号化することも可能である。

次に、パーソナルコンピュータ５０が当該プログラムを実行することによって動作する、パラメータP1乃至P3のビット長の決定する処理について、図６のフローチャートを参照して説明する。なお、当該処理は、スマートレンダリング編集において書き換えの必要があるパラメータP1乃至P3それぞれに対して実行される。また、スマートレンダリング編集において書き換えの必要があるパラメータは、上述したパラメータP1乃至P3に限定されるものではない。以下、パラメータP1（cpb_removal_delay @ Picture timing SEI）を例にして説明する。

ステップＳ２１において、CPU５１によって実行された当該プログラムは、H.264/AVC方式の符号化ビデオ信号のデータ列におけるパラメータP1に着目し、パラメータP1の直前のバイトアラインが確定している箇所を特定する。

ステップＳ２２において、当該プログラムは、H.264/AVC方式の符号化ビデオ信号のデータ列における特定されたバイトアラインの箇所の直前で、0x00が連続して並ぶパターンを生成し、考慮すべきパターンとして挙げる。また、H.264/AVC方式の符号化ビデオ信号のデータ列における特定されたバイトアラインの箇所の直前で、EPBが挿入されるパターンを生成し、考慮すべきパターンとして挙げる。

ステップＳ２３において、当該プログラムは、H.264/AVC方式の符号化ビデオ信号のデータ列における特定されたバイトアラインの箇所の直後であって、着目しているパラメータP1の直前までで、0x00が連続して並ぶパターンを生成し、考慮すべきパターンとして挙げる。また、H.264/AVC方式の符号化ビデオ信号のデータ列における特定されたバイトアラインの箇所の直後であって、着目しているパラメータP1の直前までで、EPBが挿入されるパターンを生成し、考慮すべきパターンとして挙げる。

ステップＳ２４において、当該プログラムは、ステップＳ２２の処理で挙げられたパターンと、ステップＳ２３の処理で挙げられたパターンとの全組み合わせのそれぞれについて、H.264/AVC方式で許容されているビット長の範囲でパラメータP1の値を順次変化させ、所定のデータ配列（0x00，0x00，0xXX）が出現してしまい、それに対応してEPBが挿入されることがあるか否かを確認する。なお、パラメータP1を変化させるビット長の範囲は、最短ビット長やパラメータP1の値のラップアラウンドの可否も考慮して、H.264/AVC方式の規定よりも制限するようにしてもよい。

ステップＳ２５において、当該プログラムは、ステップ２４の処理に基づき、ステップＳ２２の処理で挙げられたパターンと、ステップＳ２３の処理で挙げられたパターンとのいかなる組み合わせに対しても、所定のデータ配列の出現に対応するEPBの挿入が発生しないパラメータP1のビット長が存在するか否かを判定する。EPBの挿入が発生しないパラメータP1のビット長が存在すると判定された場合、処理はステップＳ２６に進められ、当該ビット長が、EPB問題発生防止対策としてのパラメータP1のビット長に決定される。そして、符号化のとき、パラメータP1のビット長を示すパラメータP1'に反映される。

なお、ステップＳ２５において、EPBの挿入が発生しないパラメータP1のビット長が存在しないと判定された場合、ステップＳ２６はスキップされ、EPB問題発生防止対策としてのパラメータP1のビット長は決定されずに、当該処理は終了される。

この後、上述した説明と同様にして、パラメータP2，P3のビット長が決定される（決定できないこともある）。

そして、パラメータP1乃至P3のビット長が全て決定された場合、決定されたビット長が符号化ビデオ信号中のパラメータP1'乃至P3'に反映され、さらに、符号化ビデオ信号に、EPB問題発生防止対策が講じられていることを示すスマートレンダリングインジケータが埋め込まれる。

なお、パラメータP1乃至P3それぞれのビット長を示すパラメータP1'乃至P3'は、例えば以下の値となる。
パラメータP1'：cpb_removal_deley_length_minus1 = 15
：dpb_output_delay_length_minus1 = 5
パラメータP2'：log2_max_frame_num_minus4 = 0
パラメータP3'：log2_max_pic_order_cnt_lsb_minus4 = 0

上述したパラメータP1'の具体例については、cpb_removal_deley_length_minus1の直後に続くdpb_output_delay_length_minus1に書かれた値を加算した値が、２０以下である必要があるため、それぞれ１５と５という２つの制限になっている。

以上説明したように、パラメータのビット長決定処理によれば、いかなる値に変化してもEPB問題が発生し得ない、パラメータP1乃至P3のビット長を決定することができる。

なお、パラメータP1乃至P3のビット長の決定する処理は、上述述したようにパーソナルコンピュータ５０がプログラムを実行することによって実現する他、H.264/AVC方式のエンコーダを内蔵したデジタルビデオカメラ、ビデオレコーダなどによりハードウェアまたはソフトウェアとして実行するようにしてもよい。

本明細書において、プログラムに基づいて実行されるステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

スマートレンダリング編集について説明するための図である。 EPB問題を説明するための図である。本発明を適用した編集装置の構成例を示すブロック図である。編集装置による抽出処理を説明するフローチャートである。汎用パーソナルコンピュータの構成例を示すブロック図である。 EPB問題発生防止対策としてのパラメータのビット長決定処理を説明するフローチャートである。

符号の説明

１０編集装置，１１操作入力部，１２制御部，１３切換部，１４デコーダ，１５エンコーダ，１６書換部，５０パーソナルコンピュータ，５１ CPU

Claims

符号化ビデオ信号のフレーム単位で指定された区間をスマートレンダリング編集するビデオ信号処理装置において、
入力された前記符号化ビデオ信号に対してEPB(Emulation Prevention Byte)問題発生防止対策が施されているか否かを、前記符号化ビデオ信号に含まれる、前記EPB問題発生防止対策が施されているか否かを示す情報に基づいて判定する判定手段と、
入力された前記符号化ビデオ信号のフレーム単位で指定された区間の先端部分および終端部分をデコードして再エンコードし、前記区間のうちの前記先端部分および前記終端部分に含まれない中間部分をデコードすることなくそのまま出力するスマートレンダリング編集手段と、
前記再エンコードに伴う前記符号化ビデオ信号中の所定のパラメータの書き換えによって編集後の符号化ビデオ信号に、EPBが新たに挿入される第１の事象、または編集前に存在していたEPBが消滅する第２の事象を指すEPB問題の発生を検出し、前記第１の事象が発生したときには、前記符号化ビデオ信号に予め挿入されているフィラーまたは所定のデータを挿入されたEPBの分だけ削除し、前記第２の事象が発生したときには、消滅したEPBの分だけ前記符号化ビデオ信号にフィラーを挿入するEPB問題対応手段とを含み、
前記判定手段によって、入力された前記符号化ビデオ信号にEPB問題発生防止対策が施されていると判定された場合、前記EPB問題対応手段の処理は省略される
ビデオ信号処理装置。
符号化ビデオ信号のフレーム単位で指定された区間をスマートレンダリング編集するビデオ信号処理装置のビデオ信号処理方法において、
入力された前記符号化ビデオ信号に対してEPB(Emulation Prevention Byte)問題発生防止対策が施されているか否かを、前記符号化ビデオ信号に含まれる、前記EPB問題発生防止対策が施されているか否かを示す情報に基づいて判定し、
前記EPB問題発生防止対策が施されているか否かに拘わらず、入力された前記符号化ビデオ信号のフレーム単位で指定された区間の先端部分および終端部分をデコードして再エンコードし、前記区間のうちの前記先端部分および前記終端部分に含まれない中間部分をデコードすることなくそのまま出力するスマートレンダリング編集を行い、
前記EPB問題発生防止対策が施されていないと判定された場合のみ、前記再エンコードに伴う前記符号化ビデオ信号中の所定のパラメータの書き換えによって編集後の符号化ビデオ信号に、EPBが新たに挿入される第１の事象、または編集前に存在していたEPBが消滅する第２の事象を指すEPB問題の発生を検出し、前記第１の事象が発生したときには、前記符号化ビデオ信号に予め挿入されているフィラーまたは所定のデータを挿入されたEPBの分だけ削除し、前記第２の事象が発生したときには、消滅したEPBの分だけ前記符号化ビデオ信号にフィラーを挿入するEPB問題対応処理を実行する
ステップを含むビデオ信号処理方法。
符号化ビデオ信号のフレーム単位で指定された区間をスマートレンダリング編集するビデオ信号処理装置の制御用のプログラムであって、
入力された前記符号化ビデオ信号に対してEPB(Emulation Prevention Byte)問題発生防止対策が施されているか否かを、前記符号化ビデオ信号に含まれる、前記EPB問題発生防止対策が施されているか否かを示す情報に基づいて判定し、
前記EPB問題発生防止対策が施されているか否かに拘わらず、入力された前記符号化ビデオ信号のフレーム単位で指定された区間の先端部分および終端部分をデコードして再エンコードし、前記区間のうちの前記先端部分および前記終端部分に含まれない中間部分をデコードすることなくそのまま出力するスマートレンダリング編集を行い、
前記EPB問題発生防止対策が施されていないと判定された場合のみ、前記再エンコードに伴う前記符号化ビデオ信号中の所定のパラメータの書き換えによって編集後の符号化ビデオ信号に、EPBが新たに挿入される第１の事象、または編集前に存在していたEPBが消滅する第２の事象を指すEPB問題の発生を検出し、前記第１の事象が発生したときには、前記符号化ビデオ信号に予め挿入されているフィラーまたは所定のデータを挿入されたEPBの分だけ削除し、前記第２の事象が発生したときには、消滅したEPBの分だけ前記符号化ビデオ信号にフィラーを挿入するEPB問題対応処理を実行する
ステップを含む処理をコンピュータに実行させるプログラム。
所定の符号化方式に従ってビデオ信号を符号化するビデオ信号符号化装置において、
スマートレンダリング編集におけるEPB(Emulation Prevention Byte)問題発生防止対策として、符号化結果の符号化ビデオ信号に含まれる所定のパラメータのビット長を、前記所定の符号化方式で許容されているビット長の範囲よりも狭く制限する決定手段と、
決定結果に従って前記ビデオ信号を符号化し、その結果得られる前記符号化ビデオ信号に前記所定のパラメータのビット長が制限されていることを示す情報を含める符号化手段と
を含むビデオ信号符号化装置。
前記決定手段は、符号化ビデオ信号中における前記所定のパラメータの直前のデータ配列をシミュレートし、前記所定のパラメータがいかなる値になってもEPBを挿入すべきデータ配列が発生しないように、前記所定のパラメータのビット長を決定する
請求項４に記載のビデオ信号符号化装置。
所定の符号化方式に従ってビデオ信号を符号化するビデオ信号符号化装置のビデオ信号符号化方法において、
スマートレンダリング編集におけるEPB(Emulation Prevention Byte)問題発生防止対策として、符号化結果の符号化ビデオ信号に含まれる所定のパラメータのビット長を、前記所定の符号化方式で許容されているビット長の範囲よりも狭く制限し、
決定結果に従って前記ビデオ信号を符号化し、その結果得られる前記符号化ビデオ信号に前記所定のパラメータのビット長が制限されていることを示す情報を含める
ステップを含むビデオ信号符号化方法。
所定の符号化方式に従ってビデオ信号を符号化するビデオ信号符号化装置の制御用のプログラムであって、
スマートレンダリング編集におけるEPB(Emulation Prevention Byte)問題発生防止対策として、符号化結果の符号化ビデオ信号に含まれる所定のパラメータのビット長を、前記所定の符号化方式で許容されているビット長の範囲よりも狭く制限し、
決定結果に従って前記ビデオ信号を符号化し、その結果得られる前記符号化ビデオ信号に前記所定のパラメータのビット長が制限されていることを示す情報を含める
ステップを含む処理をコンピュータに実行させるプログラム。