JP2023091509A - 符号化装置、制御方法および制御プログラム - Google Patents

符号化装置、制御方法および制御プログラム Download PDF

Info

Publication number
JP2023091509A
JP2023091509A JP2021206289A JP2021206289A JP2023091509A JP 2023091509 A JP2023091509 A JP 2023091509A JP 2021206289 A JP2021206289 A JP 2021206289A JP 2021206289 A JP2021206289 A JP 2021206289A JP 2023091509 A JP2023091509 A JP 2023091509A
Authority
JP
Japan
Prior art keywords
frame
video
signal
encoded
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021206289A
Other languages
English (en)
Inventor
英尊 木村
Hidetaka Kimura
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Electronics Corp
Original Assignee
NTT Electronics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Electronics Corp filed Critical NTT Electronics Corp
Priority to JP2021206289A priority Critical patent/JP2023091509A/ja
Publication of JP2023091509A publication Critical patent/JP2023091509A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

Figure 2023091509000001
【課題】符号化された映像信号の一部を、復号することなく他の映像信号に切り替えて、画質の劣化を回避する。
【解決手段】符号化装置100であって、映像信号の一部を他の映像信号へ切り替える切り替え位置を、フレーム単位で指定する第1制御信号を検出する検出部140と、前記映像信号の映像を、フレームグループ単位に符号化して符号化フレームを生成する映像符号化部120と、前記第1制御信号を用いて、前記切り替え位置の直後の符号化フレームのタイムスタンプを算出し、前記タイムスタンプを含む第2制御信号を生成する制御部160と、を備え、前記制御部160は、前記切り替え位置の直前の符号化フレームで、フレームグループを閉じるクローズ指示を前記映像符号化部に出力し、前記映像符号化部に前記直前の符号化フレームでフレームグループを完成させる。
【選択図】図10

Description

本発明は、映像信号を符号化する技術に関する。
生放送のテレビ番組において、地方の放送局では、キー局で作成したテレビ番組のCM部分を、当該地方のCMに差し替えて放送する場合がある。日本では、このようなCMの差し替えには、日本放送規格のARIB STD-B39で規定されている放送局間制御信号が用いられている(非特許文献1)。
北米では、SCTE(Society of Cable Telecommunications Engineers)が定めたSCTE-35信号を用いてCMを差し替えている(非特許文献2)。
ARIB STD-B39、一般社団法人、電波産業会 ANSI/SCTE 35 2019r1, Digital Program Insertion Cueing Message for Cable
キー局から地方の放送局に配信されるテレビ番組は、MPEG等の符号化方式で符号化・圧縮化された状態で配信される。MPEG等の符号化方式は、15または30フレームのグループ単位で符号化されている。
CMは、テレビ番組の決まった位置に差し替える必要がある。ARIB方式では、CMの差し替え位置はフレーム単位で指定される。このため、キー局のCMを地方局のCMに差し替えるには、符号化されたフレームのグループを一旦フレーム単位に復号し、CMを差し替えた後に再びグループ単位に符号化する必要がある。しかしながら、復号および符号化を行う度に画質が劣化し、また復号および符号化の処理が増加する。
北米のSCTE方式では、符号化されたフレームのグループ単位でCMを差し替えるため、CMの差し替えのために復号および符号化を行う必要はない。しかしながら、日本では、テレビ番組などの既存の映像信号(コンテンツ)はARIB方式に準拠しており、広告などの他の映像信号への切り替えはフレーム単位で指定されている。このため、ARIB方式に準拠した映像信号に対して、符号化されたフレームのグループ単位でCMを差し替えるSCTE方式を適用することは難しい。
本発明は上記の課題に鑑みてなされたものであって、本発明は、符号化された映像信号の一部を、復号することなく他の映像信号に切り替えて、画質の劣化を回避することを目的とする。
上記目的を達成するため、本発明の一態様の符号化装置は、映像信号の一部を他の映像信号へ切り替える切り替え位置を、フレーム単位で指定する第1制御信号を検出する検出部と、前記映像信号の映像を、フレームグループ単位に符号化して符号化フレームを生成する映像符号化部と、前記第1制御信号を用いて、前記切り替え位置の直後の符号化フレームのタイムスタンプを算出し、前記タイムスタンプを含む第2制御信号を生成する制御部と、を備え、前記制御部は、前記切り替え位置の直前の符号化フレームで、フレームグループを閉じるクローズ指示を前記映像符号化部に出力し、前記映像符号化部に前記直前の符号化フレームでフレームグループを完成させる。
本発明の一態様は、符号化装置が行う制御方法であって、映像信号の一部を他の映像信号へ切り替える切り替え位置を、フレーム単位で指定する第1制御信号を検出するステップと、前記映像信号の映像を、フレームグループ単位に符号化して符号化フレームを生成するステップと、前記第1制御信号を用いて、前記切り替え位置の直後の符号化フレームのタイムスタンプを算出し、前記タイムスタンプを含む第2制御信号を生成するステップと、前記切り替え位置の直前の符号化フレームで、フレームグループを閉じるステップと、を行う。
本発明の一態様は、上記符号化装置として、コンピュータを機能させる制御プログラムである。
本発明によれば、符号化された映像信号の一部を、復号することなく他の映像信号に切り替えて、画質の劣化を回避することができる。
図1は、ARIB方式のCM差し替えの流れを示す図である。 図2は、B39切換え信号を説明するための模式図である。 図3は、番組本編の一部がCMに置き換わる様子を示す図である。 図4は、TSを説明するための模式図である。 図5は、SCTE方式のCM差し替えの流れを示す図である。 図6は、SCTE-35信号を説明するための模式図である。 図7は、MPEG-2の符号化フレームを説明するための模式図である。 図8は、番組本編の一部がCMに置き換わる様子を示すである。 図9は、実施形態の放送システムの全体構成例を示す。 図10は、実施形態の符号化装置の機能構成例を示すブロック図である。 図11は、PTS2の算出処理を説明するための模式図である。 図12は、オープンGOPとクローズドGOPを説明するための模式図である。 図13は、符号化装置の制御方法を示すフローチャートである。 図14は、図13の処理とフレームの位置関係を示す図である。 図15は、変形例の符号化装置の機能構成例を示すブロック図である。 図16は、符号化前の映像・音声と、符号化後の映像・音声を示す図である。 図17は、切り替え位置の直前の音声を無音化する例を示す図である。
以下、本発明の実施形態を、図面を用いて説明する。複数の図面中同一のものには同じ参照符号を付し、説明は繰り返さない。
まず、ARIB方式の広告差し替えと、SCTE方式の広告差替えについて説明し、その後、本実施形態の放送システムについて説明する。
1.ARIB方式の広告差し替え
生中継のテレビ番組において、地方の放送局で、キー局で作成したテレビ番組の広告(例えばCM:Commercial Messageなど)の部分を、当該地方の広告に差替えて放送する場合がある。以下、広告を「CM」と記載する。
図1にARIB方式のCM差し替えの流れを示す。キー局において、例えばカメラ11で撮影された映像は、SDI信号としてB39設定装置12に出力される。B39設定装置12は、SDI信号にARIBのB39切換え信号を設定し、スイッチ13に出力する。B39切換え信号は、ARIB STD-B39で規定された放送局間制御信号である。
図2を用いてB39切換え信号について説明する。B39切換え信号は、何フレーム後にCMを開始すべきか、または、何フレーム後に番組本編を再開すべきかをカウントダウンにより指定する信号である。B39切換え信号は、SDI信号のフレーム列200において、カウントダウンを開始するフレーム201から、広告または番組本編に切り替わるフレーム202の直前の各フレームに設定される。B39切換え信号は、SDI信号のフレームの補助データパケット領域203に格納される。
図2は、カウントダウンを開始するフレーム201のデータ配置を模式的に示す。ここでは、フレーム201の補助データパケット領域203には、カウントダウンフレーム数として5フレーム後にCMを開始することを指示するB39切換え信号が格納されている。
図1に戻り、スイッチ13は、B39切換え信号が付与されたSDI信号を受信し、B39切換え信号に従って、指定されたフレームから番組本編をCMに置き換えてエンコーダ14に出力する。スイッチ13は、CMサーバ15からキー局のCMを読み出し番組本編をCMに置き換える。その後、スイッチ13は、B39切換え信号に従って、指定されたフレームから番組本編を再開してエンコーダ14に出力する。
図3に番組本編の一部がCMに置き換わる様子を示す。図3(a)は、キー局のB39設定装置12が出力する番組本編のSDI信号のフレーム(以下、「SDIフレーム」)を示す。SDIフレームの一部には、CMを開始するためのB39切換え信号、または、番組本編を開始するためのB39切換え信号が設定されている。
図3(b)は、キー局のスイッチ13が出力するSDIフレームを示す。図3(b)のSDIフレームでは、B39切換え信号にしたがって、番組本編のm個のSDIフレームがキー局のCM1のSDIフレームに差し替えられている。スイッチ13は、CM1のSDIフレームに差し替える際に、番組本編のSDIフレームに設定されているB39切換え信号を対応するCM1のSDIフレームにそのまま設定する。
図3(c)は、地方局のスイッチ22が出力するSDIフレームを示す。図3(c)のSDIフレームでは、B39切換え信号にしたがって、キー局のCM1のm個のSDIフレームが地方局のCM2のSDIフレームに差し替えられている。スイッチ22は、キー局のスイッチ13と同様に、B39切換え信号にしたがって、指定されたSDIフレームからキー局のCM1を地方局のCM2に置き換えてエンコーダ23に出力する。その後、スイッチ22は、B39切換え信号にしたがって、指定されたSDIフレームから番組本編を再開してエンコーダ23に出力する。
図1に戻り、キー局のエンコーダ14は、スイッチ13が出力したSDI信号(SDIフレーム)の映像を、MPEG-2規格で符号化し、符号化した映像を映像TSパケットに格納する。エンコーダ14は、SDI信号の音声を、AAC規格で符号化し、符号化した音声を音声TSパケットに格納する。そして、エンコーダ14は、映像TSパケットおよび音声TSパケットを多重化して出力する。これにより、キー局のCMが挿入された番組が放送される。
また、エンコーダ14は、SDI信号を地方局へ配信する場合、B39切換え信号を含む補助データを補助データTSパケットに格納し、補助データTSパケットと、映像TSパケットと、音声TSパケットとを多重化して地方局へ配信する。
図4は、TSを説明するための模式図である。TSは、MPEG-2 Transport Streamを意味する。エンコーダ14は、符号化した映像(符号化映像データ)、符号化した音声(符号化音声データ)および補助データのそれぞれを、最大184バイト単位で分割し、4バイトのヘッダを付加してTSパケットを生成し、これらのTSパケットを多重化したTSパケットを生成する。エンコーダ14は、映像、音声および補助データの同期をとりながら混在させて1つのTS(送信ストリーム)にまとめる。TSは、SDI信号を配信または放送するために用いられる。
地方局では、デコーダ21が、キー局から配信された多重化TSパケットを復号してSDI信号を再構成し、当該SDI信号をスイッチ22に出力する。このとき、デコーダ21は、補助データTSパケットに含まれるB39切換え信号を、元通りSDI信号の中に格納する。
地方局のスイッチ22は、図3(c)に示すように、B39切換え信号にしたがって、指定されたフレームからキー局のCM1を地方局のCM2に置き換え、指定されたフレームから番組本編を再開してエンコーダ23に出力する。
地方局のエンコーダ23は、地方局のスイッチ22が出力するSDI信号の映像を、MPEG-2規格で符号化し、符号化した映像を映像TSパケットに格納する。また、エンコーダ23は、SDI信号の音声をAAC規格で符号化し、符号化した音声を音声TSパケットに格納する。そして、エンコーダ23は、映像TSパケットおよび音声TSパケットを多重化して出力する。これにより、キー局のCM1が地方局のCM2に置き換わった番組が放送される。
2.SCTE方式の広告差し替え
北米のデジタルCATVでは、SCTE規格を用いて、前述のARIB方式とは異なる方式でCM(広告)を差し替える。
図5に、SCTE方式によるCM差し替えの流れを示す。キー局において、例えばカメラ11で撮影した映像は、SDI信号としてエンコーダ16に出力される。
エンコーダ16は、カメラ11が出力したSDI信号の映像を、MPEG-2規格で符号化し、符号化した映像を映像TSパケットに格納する。エンコーダ16は、SDI信号の音声を、所定の音声符号化規格で符号化し、符号化した音声を音声TSパケットに格納する。符号化の際に、エンコーダ16は、補助データとしてSCTE-35信号を生成し、補助データTSパケットに格納する。そして、エンコーダ16は、映像TSパケット、音声TSパケットおよび補助データTSパケットを多重化して編集装置17に出力する。
図6を用いてSCTE-35信号について説明する。SCTE-35信号は、符号化された符号化フレームのPTS(Presentation Time Stamp)を用いて、どの符号化フレームからCMを開始すべきか、またどの符号化フレームから番組本編を再開すべきかを指示する。PTSは、図示しないデコーダにおいて復号されたフレームを出力すべきタイミング(90kHzクロックのカウント値)を指示するものである。エンコーダ16は、符号化した符号化フレームにPTSを付与する。
図6に示すSCTE-35信号601は、PTS1の符号化フレーム602でCMを開始し、PTS4の符号化フレーム603で番組本編を再開することを指示している。
図7は、MPEG-2で符号化される符号化フレーム(MPEGフレーム)を説明するための図である。MPEG-2規格では、映像のSDIフレームは、Iフレーム、PフレームおよびBフレームのいずれかのMPEGフレームに符号化される。1つのIフレームを含むフレームグループを、GOP(Group of Pictures)と呼ぶ。Pフレームの復号にはIフレームが必要で、Bフレームの復号にはIフレームとPフレームの両方またはいずれかが必要である。このため、GOPを分断するような位置で番組本編を終了またはCMを開始すると、映像が正しく再生できなくなる。
そこで、エンコーダ16は、番組本編からCMへの切り替え(またはその逆)の切り換え位置が、必ずGOPの境界となるようにSCTE-35信号を生成する必要がある。
前述のARIB方式のB39切換え信号では、CM開始位置として、SDI信号の任意のSDIフレームを指定できるが、SCTE-35信号では、上述のとおり任意の符号化フレームをCM開始位置として指定することはできない。
図5に戻り、編集装置17は、SCTE-35信号を含む補助データTSパケットを受信すると、SCTE-35信号にしたがって、CM開始位置のフレームから本編再開位置の直前のフレームまでの間のGOPを、CMサーバ15に格納されたCMのGOPに置き換える。編集装置17は、音声についても同様に、SCTE-35信号にしたがって、番組本編の符号化された音声を、キー局のCMの符号化された音声に置き換える。CMサーバ15には、キー局のCMの符号化済みの映像および音声が格納されている。
そして、編集装置17は、映像TSパケット、音声TSパケットおよび補助データTSパケットを多重化したTSパケットを生成し、図示しないキー局の送信装置に出力する。これにより、キー局のCMが挿入された番組が放送される。また、編集装置17は、多重化したTSパケットを、そのまま地方局の編集装置31へ配信する。
地方局の編集装置31は、多重化されたTSパケットを受信し、キー局の編集装置17と同様に、補助データTSパケットに含まれるSCTE-35信号にしたがって、CM開始位置のフレームから本編再開位置の直前のフレームまでの間のGOPを、CMサーバ32に格納された地方局のCMのGOPに置き換える。編集装置31は、音声についても同様に、SCTE-35信号にしたがって、キー局のCMの符号化された音声を、地方局のCMの符号化された音声に置き換える。CMサーバ32には、地方局のCMの符号化済みの映像および音声が格納されている。
そして、編集装置31は、置き換えた映像TSパケットおよび音声TSパケットを多重化したTSパケットを、図示しない地方局の送信装置に出力する。これにより、地方局のCMが挿入された番組が放送される。
図8に、番組本編の一部がCMに置き換わる様子を示す。図8(a)は、キー局のエンコーダ16が出力する番組本編のGOPを示す。図示する例では、エンコーダ16が生成したSCTE-35信号により、切り替え位置(CM開始)の直後のGOP801からCMに切り替わり、切り替え位置(本編再開)の直後のGOP802から番組本編に切り替えることを示している。
図8(b)は、キー局の編集装置17が出力するGOPを示す。図示する例では、編集装置17が、SCTE-35信号にしたがって、図8(a)のGOP801から切り替え位置の直前のGOP803までを、キー局のCM1のGOPに置き換えたことを示している。
図8(c)は、地方局の編集装置31が出力するGOPを示す。図示する例では、編集装置31が、SCTE-35信号にしたがって、図8(a)のGOP801から切り替え位置の直前のGOP803までを、地方局のCM2のGOPに置き換えたことを示している。
3.実施形態
<放送システムの全体構成>
図9は、本実施形態の放送システムの全体構成例を示す。図示する放送システムは、キー局1と、SCTE-35信号を処理できない地方局2と、SCTE-35信号を処理可能な地方局3とを有する。
本実施形態では、テレビ番組の一部を広告に切り替える場合を例として以下に説明するが、本発明はこれに限定されない。テレビ番組以外の映像信号(コンテンツ)を、広告以外の他の映像信号(コンテンツ)に切り替える場合であっても、本発明を用いることができる。
キー局1では、テレビ番組の一部を、キー局のCM1に切り替える。キー局1は、カメラ11と、B39設定装置12と、スイッチ13と、CMサーバ15と、符号化装置100とを備える。本実施形態のカメラ11、B39設定装置12、スイッチ13およびCMサーバ15は、図1で説明した装置11、12、13、15と同様である。
カメラ11は、映像を撮影し、SDI信号(映像信号)としてB39設定装置12に出力する。B39設定装置12は、SDI信号にARIB規格のB39切換え信号を設定する。B39設定装置12から出力されるSDIフレームは、図3(a)と同様である。
スイッチ13は、B39切換え信号が付与されたSDI信号を受信すると、B39切換え信号にしたがって、CM開始位置から番組本編再開位置までのSDIフレームを、CMサーバ15に格納されたCM1のSDIフレームに置き換えて、符号化装置100に出力する。スイッチ13から出力されるSDIフレームは図3(b)と同様である。
符号化装置100は、スイッチ13が出力するSDI信号を、映像と、音声と、B39切換え信号を含む補助データとに分離する。符号化装置100は、映像をMPEG-2規格で符号化し、符号化した映像を映像TSパケットに格納する。符号化装置100は、音声をAAC規格で符号化し、符号化した音声を音声TSパケットに格納する。また、符号化装置100は、補助データを補助データTSパケットに格納する。
また、本実施形態の符号化装置100は、B39切換え信号に基づいてSCTE-35信号を生成し、SCTE-35TSパケットに格納する。また、符号化装置100は、差し替えるCM1が複数のGOPから構成されるように映像を符号化する。これについては、後述する。
そして、符号化装置100は、映像TSパケット、音声TSパケット、補助データTSパケットおよびSCTE-35TSパケットを多重化して、図示しない送信装置に出力する。これにより、キー局のCM1が挿入された番組が放送される。また、符号化装置100は、多重化されたTSパケットを、地方局2、3へそれぞれ配信する。
地方局2は、SCTE-35信号が処理できないで地方局であって、B39切換え信号を用いてキー局のCM1を地方局2のCM2に置き換える。地方局2が備えるデコーダ21、スイッチ22、エンコーダ23およびCMサーバ24は、図1に示す地方局の装置21、22、23、24と同様である。
デコーダ21は、キー局1の符号化装置100から配信された、多重化されたTSパケットを復号し、SDI信号に復元してスイッチ22に出力する。このとき、デコーダ21は、補助データTSパケットに含まれるB39切換え信号を、SDI信号の中に元通り格納する。
地方局2のスイッチ22は、B39切換え信号にしたがって、CM開始位置から番組本編再開位置までのSDIフレームを、CMサーバ24に格納された地方局のCM2に置き換えて、エンコーダ23に出力する。すなわち、スイッチ22は、SDI信号のキー局のCM1の部分を、CMサーバ24の地方局のCM2に置き換えて出力する(図3(c)参照)。
地方局2のエンコーダ23は、スイッチ22が出力するSDI信号の映像を、MPEG-2規格で符号化し、符号化した映像を映像TSパケットに格納する。エンコーダ23は、SDI信号の音声をAAC規格で符号化し、符号化した音声を音声TSパケットに格納する。そして、エンコーダ23は、映像TSパケットおよび音声TSパケットを多重化して出力する。これにより、キー局のCM1が地方局2のCM2に置き換わった番組が放送される。
地方局3は、SCTE-35信号を処理可能な地方局であって、SCTE-35信号を用いて、キー局のCM1を地方局3のCM3に置き換える。地方局3が備える編集装置31およびCMサーバ32は、図5の地方局の装置31、32と同様である。CMサーバ32には、地方局3のCM3の符号化済みの映像および音声が格納されている。
編集装置31は、多重化されたTSパケットを受信し、SCTE-35TSパケットに含まれるSCTE-35信号にしたがって、CM開始位置から本編再開位置までのGOPを、CMサーバ32に格納されたCM3のGOPに置き換えて出力する。これについては、後述する。
<符号化装置の構成>
図10は、本実施形態の符号化装置100の機能構成例を示すブロック図である。図示する符号化装置100は、SDI信号(映像信号)を符号化してTSパケットを生成するとともに、B39切換え信号(第1制御信号)に基づいてSCTE-35信号(第2制御信号)を生成する。
符号化装置100は、メディア分離部110と、映像符号化部120と、音声符号化部130と、検出部140と、制御部160と、パケット化部170と、多重化部180とを備える。パケット化部170は、補助データパケット化部174と、SCTE-35パケット化部171と、映像パケット化部172と、音声パケット化部173とを備える。
メディア分離部110は、SDI信号を、補助データ(アンシラリデータ)と、映像(映像データ)と、音声(音声データ)との3つに分離する。補助データには、B39切換え信号が含まれる。そして、メディア分離部110は、補助データを検出部140に出力し、映像を映像符号化部120に出力し、音声を音声符号化部130に出力する。
検出部140は、入力された補助データを、補助データパケット化部174に出力する。補助データパケット化部174は、補助データをTSパケットにパケット化する。メディア分離部110は、検出部140を経由せずに、補助データを直接補助データパケット化部174に出力してもよい。この場合、メディア分離部110は、補助データを、検出部140と補助データパケット化部174の両方に出力する。
本実施形態の検出部140は、補助データからB39切換え信号を検出する。B39切換え信号は、SDI信号の一部を他のSDI信号へ切り替える切り替え位置を、フレーム単位で指定するものである。例えば、B39切換え信号は、前記切り替え位置を、切り替えまでのカウントダウンフレーム数を用いて指示してもよい。本実施形態では、B39切換え信号は、番組本編の一部を、CMに切り替えるためのものである。検出部140は、検出したB39切換え信号、またはB39切換え信号に含まれるカウントダウンフレーム数を、制御部160へ出力する。
映像符号化部120は、SDI信号の映像をGOP単位に符号化して符号化フレームを生成する。映像符号化部120は、符号化フレームを映像パケット化部172に出力する。本実施形態では、映像符号化部120は、映像をMPEG-2に従って符号化し、符号化した各MPEGフレーム(符号化フレーム)に、PTS(Presentartion Time Stamp)を付与する。PTSは、図示しないデコーダによる復号後に当該MPEGフレームを再生すべきタイミング(90kHzクロックのカウント値)を示すタイムススタンプである。映像パケット化部172は、映像の符号化フレームをTSパケットにパケット化する。
音声符号化部30は、SDI信号の音声を符号化して、音声パケット化部173に出力する。音声パケット化部173は、符号化された音声をTSパケットにパケット化する。
制御部160は、B39切換え信号を用いて、番組本編からCMへの切り替え位置の直後の符号化フレームのPTSを算出し、当該PTSを含むSCTE-35信号を生成する。このPTSを、以下「PTS2」とする。制御部160は、生成したSCTE-35信号をSCTE-35パケット化部171に出力する。SCTE-35パケット化部171は、SCTE-35信号をTSパケットにパケット化する。
具体的には、制御部160は、検出部140が検出したB39切換え信号のカウントダウンフレーム数を取得する。そして、制御部160は、B39切換え信号が検出された時点で符号化済みの最新の符号化フレームのPTSを映像符号化部120から取得する。このPTSを、以下「PTS1」(他のタイムスタンプ)とする。制御部160は、PTS1と、映像符号化部120による符号化処理時間と、B39切換え信号に含まれるカウントダウンフレーム数とを用いて、切り替え位置の直後の符号化フレームのPTS2を算出する。詳細については後述する
また、制御部160は、切り替え位置の直前の符号化フレームで、GOPを閉じるGOP制御指示(クローズ指示)を映像符号化部120に出力し、映像符号化部120に前記直前の符号化フレームでGOPを完成させる。映像符号化部120は、GOP制御指示にしたがって、CMが開始される直前の符号化フレーム(または番組本編が再開される直前の符号化フレーム)で、GOPが完結するように符号化を実施する。
パケット化部170は、前述のとおり、B39切換え信号を補助データTSパケットにパケット化し、SCTE-35信号をSCTE-35TSパケットにパケット化し、映像符号化部120が符号化した符号化フレームを映像TSパケットにパケット化し、音声符号化部130が符号化した音声符号化フレームを音声TSパケットにパケット化する。
多重化部180は、補助データTSパケットと、SCTE-35TSパケットと、映像TSパケットと、音声TSパケットとを多重化して出力する。すなわち、多重化部180は、パケット化部170が出力する、これらのTSパケットに、PID(Program Identifier)を付与して多重化したTSパケットを出力する。
具体的には、多重化部180は、映像信号の一部を他の映像信号へ切り替える切り替え位置を、フレーム単位で指定するB39切換え信号と、前記映像信号のフレームを符号化した符号化フレームと、B39切換え信号が指定するフレームに対応する符号化フレームを、前記切り替え位置として指定するSCTE-35信号と、がTSパケットに格納されたTransport Streamを出力する。
<PTS2の算出>
図11を用いて、制御部160が行うPTS2の算出処理について説明する。
MPEG-2のPTSは、90kHzクロックのカウント値であり、1秒は90,000カウントに相当する。例えば、60fps(frames per second)のフレーム間隔のカウント値は次のようになる。
フレーム間隔のカウント値=90,000/60=1,500
映像符号化部120に入力されたSDIフレームの映像は、所定の符号化処理時間を経てMPEGフレーム(符号化フレーム)として出力される。図11では、2フレーム分の2/60=約0.03秒の時間を、映像符号化処理時間として示す。また、図11に示すSDIフレーム列61の「SDIn」(SDIフレーム)が符号化されたものが、符号化フレーム列62の「MPEGn」(MPEGフレーム)に対応する。
図11では、「SDI3」でB39切換え信号が検出され、CM開始までのカウントダウンフレーム数は60とする。「SDI3」でB39切換え信号が検出された時点で、最新のMPEGフレームは「MPEG1」であり、この「MPEG1」のPTSをPTS1とする。この場合、CMを開始させるべきMPEGフレーム(すなわち、PTS2を有するフレーム)は、「MPEG1」から2フレーム分の符号化処理時間後の「MPEG3」を起点として、カウントダウンフレーム数(60フレーム)の後の「MPEG63」となる。
したがって、図11に示すPTS2の算出式は、次の通りとなる。
PTS2=PTS1+(符号化処理時間の換算値)+(カウントダウン時間の換算値)
(符号化処理時間の換算値)
=符号化処理時間(秒)×90,000
=符号化処理時間相当のフレーム数/フレーム周波数×90,000
(カウントダウン時間の換算値)
=カウントダウンフレーム数相当の時間×90,000
=カウントダウンフレーム数/フレーム周波数×90,000
図示する例では、PTS2は以下の通りとなる。
PTS2=PTS1+(2/60×90,000)+(60/60×90,000)
ここでは、番組本編からCMに切り替わる場合について説明したが、制御部160は、CMから番組本編に切り替わる場合も、同様にPTS2を算出する。
<GOPクローズ処理>
図12を参照して、オープンGOPとクローズドGOPについて説明する。GOPにはGOP間でフレーム参照するオープンGOPと、GOP間でフレーム参照がないクローズドGOPがある。
オープンGOPは、直前のGOPの最後のPフレームを参照する、1つまたは複数のBフレームから開始されるGOPである。クローズドGOPは、直前のGOP内のフレームを参照しないIフレームから開始されるGOPである。オープンGOPとクローズドGOPでは、サイズが同じ場合、オープンGOPで符号化・圧縮する方がやや効率的であり、通常はオープンGOPで映像が符号化される。
しかし、SCTE-35信号でSDIフレームの映像を切換える場合、例えば番組本編とCMとの間ではフレーム間参照符号化は行われない。このため、番組本編の最後のGOPとCMの最初のGOPは、クローズドGOPとする必要がある。制御部160は、映像符号化部120にGOP制御指示を出力することで、所定のGOPをクローズドGOPにする。
<符号化装置の制御方法>
図13は、符号化装置100の制御方法を示すフローチャートである。図14は、図13の処理と、フレームの位置関係を示したものである。図13および図14を参照して符号化装置100の制御方法について詳しく説明する。
検出部140は、メディア分離部110で分離された補助データの中からB39切換え信号を検出し(ステップS1)、B39切換え信号に含まれるカウントダウンフレーム数を取得する(ステップS2)。検出部140は、取得したカウントダウンフレーム数を制御部160に出力する。
なお、検出部140が検出するB39切換え信号は、カウントダウンフレーム数に初期値が設定された最初のB39切換え信号を意味する。図14に示す例では、検出部140は、「SDI16」のB39切換え信号(カウントダウンフレーム数:60)を検出する。前述の通り、B39切換え信号は、当該信号が属するSDIフレームから何フレーム後にCMを開始(または番組本編を再開)すべきかをカウントダウンフレーム数により指示する制御信号である。
制御部160は、検出部140からカウントダウンフレーム数を取得すると、映像符号化部120から最新の符号化済みMPEGフレームのPTS1を取得する(ステップS3)。すなわち、制御部160は、現時点における最新のMPEGフレームのPTS1を取得する。図14では、制御部160は、「MPEG14」のPTS1を取得する。
制御部160は、PTS1と、カウントダウンフレーム数と、SDIフレームをMPEGフレームに符号化する符号化処理時間とを用いて、CMが開始されるMPEGフレームのPTS2を算出する(ステップS4)。PTS2の算出方法は前述の通りである。具体的には、制御部160は、PTS1に、符号化処理時間の換算値と、カウントダウン時間の換算値とを加算して、PTS2を算出する。図14の例では、制御部160は、「MPEG76」のPTS2を算出する。
制御部160は、PTS2の算出後、CMへの切り替え位置直前のGOPの符号化処理を開始する前に、前記直前のGOPをクローズドGOPにするGOP制御指示を、映像符号化部120に出力する(ステップS5)。GOP制御指示は、切り替え位置直前のMPEGフレームでGOPを閉じて、当該GOPをクローズドGOPにする指示である。映像符号化部20は、GOP制御指示にしたがって、CMが開始(または番組本編が再開)される切り替え位置の直前のフレームでGOPが完成されるように符号化を実施する。GOP制御指示には、切り替え位置の直後のフレームを含むGOPも、クローズドGOPにする指示が含まれる。
図14の例では、制御部160は、CMが開始される「MPEG76」の直前のGOP72をクローズドGOPとするGOP制御指示を映像符号化部120に出力する。また、制御部160は、このGOP72の符号化が開始される前に、GOP制御指示を映像符号化部120に出力する。ここでは、映像符号化部120がGOP71を符号化している間に、制御部160はGOP制御指示を出力する。また、GOP制御指示には、CM開始後の最初のGOP73もクローズドGOPにする指示が含まれる。
なお、図14では、クローズドGOP72のフレーム数を、通常の15フレームとしているが、「MPEG75」でGOPを強制的に閉じるため、クローズドGOP72は、15フレームより少ないフレーム数となる場合がある。
制御部160は、算出したPTS2含むSCTE-35信号を生成し、当該SCTE-35信号を、SCTE-35パケット化部171に出力する(ステップS6)。ステップS6は、ステップS5の前に行ってもよい。
以上、図13、図14を用いて番組本編からCMに切り替わる場合について説明したが、CMから番組本編に切り替わる場合も、同様である。
<変形例>
図15は、本実施形態の変形例の符号化装置100Aの機能構成例を示すブロック図である。変形例の符号化装置100Aは、制御部160Aおよび音声符号化部130Aが、図10に示す実施形態の制御部160および音声符号化部130と異なり、それ以外は、実施形態の符号化装置100と同様である。
変形例の制御部160Aおよび音声符号化部130Aは、実施形態の制御部160および音声符号化部130の機能に加え、以下の機能をさらに有する。すなわち、制御部160Aは、切り替え位置の直前の所定時間の音声を無音とするミュート指示を、音声符号化部130Aに出力し、音声符号化部130Aは、ミュート指示にしたがって無音化した音声を符号化する。
図16を参照し、符号化前の映像および音声と、符号化後の映像および音声について説明する。符号化前のSDI信号では、SDI映像信号と、対応するSDI音声信号とは、同じSDIフレームに格納される。
一方、SDI映像信号を符号化したMPEGフレーム(30fpsの場合、約33ms)と、SDI音声信号を符号化したAACフレーム(1フレームのサンプル数1,024の場合、約21ms)は、長さが異なる。このため、MPEGフレームの境目とAACフレームとの境目は、一般に一致しない。したがって、番組本編とCMの境目では、番組本編の音声とCMの音声の両方を含んだAACフレームが生成されることになる。番組本編の音声とCMの音声は、一般に、異なる音声の波であるため、これを連続する一つの波としてつなぎ合わせて符号化されると、雑音が発生する可能性がある。
そこで、変形例の制御部160Aは、番組本編とCMの切り替え位置の直前の所定時間のSDI音声信号を、無音とするミュート指示を音声符号化部130に出力する。音声符号化部130は、ミュート指示にしたがって、切り替え位置直前の所定時間のSDI音声信号を無音とし、無音としたSDI音声信号をAACで符号化する。これにより、変形例では、番組本編の音声とCMの音声の両方を含むAACフレームの生成を回避し、切替え時に雑音が発生しないようにすることができる。
図17に、番組本編とCMとの切り替え位置直前の500msを、無音化し符号化する例を示す。制御部160Aは、算出したPTS2(切り替え位置)の500ms前(PTSに換算すると45,000前)の位置で音声符号化部130にミュート開始を指示し、PTS2でミュート停止を指示する。あるいは、制御部160Aは、(PTS2-45,000)から500ms間、SDI信号をミュートさせるミュート指示を、音声符号化部130に出力してもよい。
音声符号化部130は、メディア分離部110から入力されたSDI音声信号を、ミュート指示にしたがって無音化し、無音化したSDI音声信号をAACで符号化する。これにより、番組本編の音声とCMの音声の両方を含むAACフレームが生成されてしまうことを回避し、切替え時に発生する雑音を抑制することができる。
<本実施形態の効果>
以上説明したように、本実施形態の符号化装置100は、映像信号の一部を他の映像信号へ切り替える切り替え位置を、フレーム単位で指定するB39切換え信号(第1制御信号)を検出する検出部140と、前記映像信号の映像を、GOP(フレームグループ)単位に符号化して符号化フレームを生成する映像符号化部120と、B39切換え信号を用いて、前記切り替え位置の直後の符号化フレームのPTS2(タイムスタンプ)を算出し、前記PTS2を含むSCTE-35信号(第2制御信号)を生成する制御部160と、を備え、前記制御部160は、前記切り替え位置の直前の符号化フレームで、GOPを閉じるGOP制御指示(クローズ指示)を前記映像符号化部120に出力し、前記映像符号化部120に前記直前の符号化フレームでGOPを完成させる。
このように、本実施形態では、符号化された映像信号の一部を、復号することなく他の映像信号に切り替えて、画質の劣化を回避することができる。具体的には、映像信号の切り替え位置をフレーム単位で指定するB39切換え信号から、SCTE-35信号を生成することで、ARIB方式に準拠した既存の映像信号に対して、GOP単位で映像信号を切り替えるSCTE方式を容易に適用することができる。例えば、キー局で符号化された番組を、復号することなく地方局のCMに差し替えることができ、復号および符号化を繰り返すことによる画質の劣化を防ぐことができる。
また、本実施形態では、映像信号の切り替え位置の直前の符号化フレームでGOPを閉じる。具体的には、番組本編とCMとの境界がGOPの境界となるように、SDIフレームをMPEGフレームに符号化する。このため、切り替え時で映像が乱れることなく適切な映像を再生することができる。
また、本実施形態では、SCTE-35信号含むTSパケットと、B39切換え信号を含むTSパケットの両方を出力する。これにより、SCTE-35信号を処理できる地方局では、符号化された映像を復号することなくCMの差し替えが可能となり、画質の劣化を回避することができる。一方、SCTE-35信号が処理できない地方局では、今まで通りB39切換え信号を用いてCMの差し替えを実施することができる。すなわち、本実施形態の符号化装置100は、SCTE-35信号を処理可能な地方局およびSCTE-35信号を処理できない地方局の両方に対応することができる。
また、変形例の符号化装置100Aでは、映像信号の切り替え位置の直前の所定時間の音声を無音とし、無音化した音声を符号化する。これにより、切り替え前の映像信号(番組本編)の音声と、切り替え後の映像信号(CM)の音声の両方を含む音声符号化フレーム(AACフレーム)の生成を回避し、切り替え時に発生する雑音を抑制することができる。
<ハードウェア構成>
上記説明した符号化装置100、100Aには、汎用的なコンピュータシステムを用いることができる。コンピュータシステムは、例えば、CPU(Central Processing Unit、プロセッサ)と、メモリと、ストレージ(HDD:Hard Disk Drive、SSD:Solid State Drive)と、通信装置と、入力装置と、出力装置とを備える。メモリおよびストレージは、記憶装置である。このコンピュータシステムにおいて、CPUがメモリ上にロードされた所定のプログラムを実行することにより、符号化装置100、100Aの各機能が実現される。
また、符号化装置100、100Aは、1つのコンピュータで実装されてもよく、あるいは複数のコンピュータで実装されても良い。また、符号化装置100、100Aは、コンピュータに実装される仮想マシンであっても良い。符号化装置100、100A用のプログラムは、HDD、SSD、USB(Universal Serial Bus)メモリ、CD (Compact Disc)、DVD (Digital Versatile Disc)などのコンピュータ読取り可能な記録媒体に記憶することも、ネットワークを介して配信することもできる。
なお、本発明は上記実施形態および変形例に限定されるものではなく、その要旨の範囲内で数々の変形が可能である。
例えば、上記の実施形態では、番組本編の一部をキー局のCMに置き換え、さらに当該CMを地方局の別のCMに置き換える例で説明したが、置き換えるコンテンツはCM以外のコンテンツでもよい。また、置き換えられるコンテンツは、テレビ番組以外のコンテンツであってもよい。
また、上記の実施形態では、B39切換え信号にカウントダウンフレーム数が含まれる場合を例として説明したが、本発明はこれに限定されない。B39切換え信号にカウントダウンフレーム数が含まれない場合は、予め設定されたプリロール値(一定の時間)を用いてコンテンツの切り替えの位置(切り替えタイミング)を示すようにしても良い。すなわち、制御部160は、検出部140によるB39切換え信号の検出から一定時間の経過後をPTS2として算出し、当該PTS2を含むSCTE-35信号を生成してもよい。
また、上記の実施形態では、SDI信号の映像はMPEG-2で、音声はAACで符号化する例で説明したが、本発明はこれに限定されない。PTSを利用する映像符号化方法であればAVC、HEVC等の符号化を用いてもよい。音声符号化も任意の符号化方法を用いてもよい。
また、上記の実施形態では、SCTE-35信号を含むTSを地方局へ配信し、当該SCTE-35信号を地方局でCMを差し替えるのに利用したが、本発明はこれに限定されない。例えば、SCTE-35信号を含むTSを、ネット配信で利用することもできる。この場合、SCTE-35信号を用いることで、コンテンツプロバイダ毎にCMを差し替えることができる。TSは、ネット配信用にアダプティブ・ビットレートにトランスコードしておいても良い。
また、上記の実施形態では、B39切換え信号に基づいて生成したSCTE-35信号はSCTE-35パケット化部171でSCTE-35信号のTSパケットに格納した。しかし、SCTE-35信号は補助データの一部として、補助データパケット化部174でTSパケットに格納しても良い。
すなわち、補助データパケット化部174は、B39切換え信号とSCTE-35信号とを、TSパケットにパケット化しても良い。
100、100A:符号化装置
110:メディア分離部
120:映像符号化部
130:音声符号化部
140:検出部
160:制御部
170:パケット化部
171:SCTE-35パケット化部
172:映像パケット化部
173:音声パケット化部
174:補助データパケット化部
180:多重化部
11 :カメラ
12 :B39設定装置
13、22:スイッチ
15、24、32:キー局CMサーバ
21 :デコーダ
23 :エンコーダ
31 :編集装置

Claims (9)

  1. 映像信号の一部を他の映像信号へ切り替える切り替え位置を、フレーム単位で指定する第1制御信号を検出する検出部と、
    前記映像信号の映像を、フレームグループ単位に符号化して符号化フレームを生成する映像符号化部と、
    前記第1制御信号を用いて、前記切り替え位置の直後の符号化フレームのタイムスタンプを算出し、前記タイムスタンプを含む第2制御信号を生成する制御部と、を備え、
    前記制御部は、前記切り替え位置の直前の符号化フレームで、フレームグループを閉じるクローズ指示を前記映像符号化部に出力し、前記映像符号化部に前記直前の符号化フレームでフレームグループを完成させること
    を特徴とする符号化装置。
  2. 前記制御部は、
    前記第1制御信号が検出された時点で最新の符号化フレームの他のタイムスタンプを前記映像符号化部から取得し、
    前記他のタイムスタンプと、前記映像符号化部による符号化処理時間と、前記第1制御信号に含まれる切り替えまでのフレーム数とを用いて、前記切り替え位置の直後の符号化フレームのタイムスタンプを算出すること
    を特徴とする請求項1に記載の符号化装置。
  3. 前記映像信号の音声を符号化する音声符号化部を備え、
    前記制御部は、前記切り替え位置の直前の所定時間の音声を無音とするミュート指示を、前記音声符号化部に出力し、
    前記音声符号化部は、前記ミュート指示にしたがって無音化した音声を符号化すること
    を特徴とする請求項1または2に記載の符号化装置。
  4. 前記第1制御信号を第1TS(Transport Stream)パケットにパケット化し、前記第2制御信号を第2TSパケットにパケット化し、前記映像符号化部が符号化した符号化フレームを第3TSパケットにパケット化するパケット化部と、
    前記第1TSパケットと、前記第2TSパケットと、前記第3TSパケットとを多重化して出力する多重化部を備えること
    を特徴とする請求項1から3のいずれか1項に記載の符号化装置。
  5. 前記第1制御信号と第2制御信号とを第1TS(Transport Stream)パケットにパケット化し、前記映像符号化部が符号化した符号化フレームを第2TSパケットにパケット化するパケット化部と、
    前記第1TSパケットと、前記第2TSパケットとを多重化して出力する多重化部を備えること
    を特徴とする請求項1から3のいずれか1項に記載の符号化装置。
  6. 前記映像信号はテレビ番組であって、前記他の映像信号は広告であること
    を特徴とする請求項1から5のいずれか1項に記載の符号化装置。
  7. 映像信号の一部を他の映像信号へ切り替える切り替え位置を、フレーム単位で指定する第1制御信号と、
    前記映像信号のフレームを符号化した符号化フレームと、
    前記第1制御信号が指定するフレームに対応する符号化フレームを、前記切り替え位置として指定する第2制御信号と、
    がTSパケットに格納されたTransport Streamを出力する多重化部を備える
    ことを特徴とする符号化装置。
  8. 符号化装置が行う制御方法であって、
    映像信号の一部を他の映像信号へ切り替える切り替え位置を、フレーム単位で指定する第1制御信号を検出するステップと、
    前記映像信号の映像を、フレームグループ単位に符号化して符号化フレームを生成するステップと、
    前記第1制御信号を用いて、前記切り替え位置の直後の符号化フレームのタイムスタンプを算出し、前記タイムスタンプを含む第2制御信号を生成するステップと、
    前記切り替え位置の直前の符号化フレームで、フレームグループを閉じるステップと、を行うこと
    を特徴とする制御方法。
  9. 請求項1から7のいずれか1項に記載の符号化装置として、コンピュータを機能させる制御プログラム。
JP2021206289A 2021-12-20 2021-12-20 符号化装置、制御方法および制御プログラム Pending JP2023091509A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021206289A JP2023091509A (ja) 2021-12-20 2021-12-20 符号化装置、制御方法および制御プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021206289A JP2023091509A (ja) 2021-12-20 2021-12-20 符号化装置、制御方法および制御プログラム

Publications (1)

Publication Number Publication Date
JP2023091509A true JP2023091509A (ja) 2023-06-30

Family

ID=86941962

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021206289A Pending JP2023091509A (ja) 2021-12-20 2021-12-20 符号化装置、制御方法および制御プログラム

Country Status (1)

Country Link
JP (1) JP2023091509A (ja)

Similar Documents

Publication Publication Date Title
US9426335B2 (en) Preserving synchronized playout of auxiliary audio transmission
KR101350754B1 (ko) 채널 변경 시간을 감소시키고 채널 변경 동안 오디오/비디오 콘텐츠를 동기화하는 방법
US8300667B2 (en) Buffer expansion and contraction over successive intervals for network devices
EP2227910B1 (en) Reducing media stream delay through independent decoder clocks
CN112369042B (zh) 用于自适应流传输对齐的帧转换
JP4983923B2 (ja) デコーダ装置、およびデコード方法
CA2792106C (en) Method and system for inhibiting audio-video synchronization delay
JP2009521163A (ja) データストリームを処理する装置及び方法
US7693398B2 (en) Digital information reproducing apparatus and method
US8331763B2 (en) Apparatus and method for synchronizing reproduction time of time-shifted content with reproduction time of real-time content
KR101142379B1 (ko) 디지털 방송 재생 방법 및 장치, 디지털 방송 녹화 방법
JP5881219B2 (ja) 単一の復号器でチャンネル変更を可能にする受信機および該受信機での方法
JP2023091509A (ja) 符号化装置、制御方法および制御プログラム
EP3360334B1 (en) Digital media splicing system and method
JP3792770B2 (ja) 記録再生装置
TWI819580B (zh) 基於預解析操作以改善播放響應的媒體播放方法與相關媒體播放裝置
CN117061813A (zh) 媒体回放方法与相关媒体回放装置
JP2005252515A (ja) データ配信方法
JP2011078068A (ja) 映像伝送方式
JP2010172003A (ja) 復号再生方法及び復号再生装置
JP2008010997A (ja) 情報処理装置、情報処理方法及び半導体集積回路
KR20070064750A (ko) 디지털 방송 수신기 및 수신방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240627