JP7026450B2 - 送信装置、送信方法、受信装置および受信方法 - Google Patents

送信装置、送信方法、受信装置および受信方法 Download PDF

Info

Publication number
JP7026450B2
JP7026450B2 JP2017085730A JP2017085730A JP7026450B2 JP 7026450 B2 JP7026450 B2 JP 7026450B2 JP 2017085730 A JP2017085730 A JP 2017085730A JP 2017085730 A JP2017085730 A JP 2017085730A JP 7026450 B2 JP7026450 B2 JP 7026450B2
Authority
JP
Japan
Prior art keywords
image data
frame
frame rate
moving image
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017085730A
Other languages
English (en)
Other versions
JP2018186357A (ja
JP2018186357A5 (ja
Inventor
郁夫 塚越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2017085730A priority Critical patent/JP7026450B2/ja
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Priority to KR1020197029520A priority patent/KR102561506B1/ko
Priority to US16/490,715 priority patent/US11533522B2/en
Priority to CA3056751A priority patent/CA3056751A1/en
Priority to MX2019012406A priority patent/MX2019012406A/es
Priority to EP18722748.3A priority patent/EP3616408A1/en
Priority to PCT/JP2018/016063 priority patent/WO2018198914A1/en
Priority to CN201880025674.3A priority patent/CN110546959A/zh
Publication of JP2018186357A publication Critical patent/JP2018186357A/ja
Publication of JP2018186357A5 publication Critical patent/JP2018186357A5/ja
Application granted granted Critical
Publication of JP7026450B2 publication Critical patent/JP7026450B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2355—Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving reformatting operations of additional data, e.g. HTML pages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605—Creation or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本技術は、送信装置、送信方法、受信装置および受信方法に関し、詳しくは、ハイフレームレート（High Frame Rate）の動画像データを送信する送信装置等に関する。
近年、高速フレームシャッターでハイフレームレート撮影を行うカメラが知られている。例えば、ノーマルフレームレートが６０Ｈｚ、５０Ｈｚなどであるのに対して、ハイフレームレートはその数倍あるいは数十倍、さらには数百倍のフレームレートとなる。
ハイフレームレートのサービスを行う場合、高速フレームシャッターでカメラ撮りされた動画像データを、それよりも低周波数の動画像シーケンスに変換して送信することが考えられる。しかし、高速フレームシャッターの画像は、動きボケを改善し、先鋭度の高い画質を実現する効果がある一方で、配信されるハイフレームレートに対してより低いフレームレートの動画像シーケンスを表示する受信再生側において、従来のフレーム補間技術に画質的な問題を引き起こす要素をもつ。
高速フレームシャッターで撮影された先鋭度の高い画像を用いたフレーム補間は、動きベクトル探索が適合する場合と適合しない場合との差が大きくなる。そのため、両者の差が顕著な画質劣化となって表示されるためである。フレーム補間時に、動きベクトル探索の精度を向上させるためには高負荷演算が要求されるが、受信機コストに影響及ぼす。
本出願人は、先に、高速フレームシャッターで撮影された画像による素材を変換して、ノーマルフレームレートのデコードを行う従来の受信機で一定以上の画品質で表示させる技術を提案した（特許文献１参照）。
国際公開第２０１５/０７６２７７号
本技術の目的は、ノーマルフレームレートおよびハイフレームレートの動画像データを良好に伝送することにある。
本技術の概念は、
第１のフレームレートの第１の動画像データの各フレームの画像データにフレーム毎に独立した混合割合で周辺のフレームの画像データを混合する処理を施して上記第１のフレームレートの第２の動画像データを得る処理部を備え、
上記第２の動画像データを構成する各フレームの画像データのうち少なくとも上記第１のフレームレートより低い第２のフレームレートに対応したフレームの画像データは周辺フレームの画像データと混合された状態とされ、
上記第２のフレームレートに対応したフレームの画像データを符号化して基本ストリームを得ると共に、残りのフレームの画像データを符号化して拡張ストリームを得る符号化部と、
上記基本ストリームおよび上記拡張ストリームにそれぞれのフレームの画像データに関連付けて対応するフレームの上記混合割合の情報を挿入する挿入部と、
上記混合割合の情報が挿入された上記基本ストリームおよび上記拡張ストリームを含むコンテナを送信する送信部をさらに備える
送信装置にある。
本技術において、第１のフレームレートの第１の動画像データの各フレームの画像データにフレーム毎に独立した混合割合で周辺のフレームの画像データを混合する処理が施されて第１のフレームレートの第２の動画像データが得られる。ここで、第２の動画像データを構成する各フレームの画像データのうち少なくとも第１のフレームレートより低い第２のフレームレートに対応したフレームの画像データは周辺フレームの画像データと混合された状態とされる。例えば、第１のフレームレートは、いわゆるハイフレームレートで、１２０Ｈｚ、２４０Ｈｚなどであり、第２のフレームレートは、いわゆるノーマルフレームレートで、６０Ｈｚである。
符号化部により、第２のフレームレートに対応したフレームの画像データが符号化されて基本ストリームが得られると共に、残りのフレームの画像データが符号化されて拡張ストリームが得られる。挿入部により、基本ストリームおよび拡張ストリームにそれぞれのフレームの画像データに関連付けられて対応するフレームの混合割合の情報が挿入される。そして、送信部により、混合割合の情報が挿入された基本ストリームおよび拡張ストリームを含むコンテナが送信される。
例えば、基本ストリームおよび拡張ストリームはＮＡＬ（Network Abstraction Layer）ユニット構造を有し、挿入部は、混合割合の情報を持つＳＥＩ（Supplemental Enhancement Information）ＮＡＬユニットを、基本ストリームおよび拡張ストリームに挿入する、ようにされてもよい。
例えば、混合割合の情報には、混合処理を行ったフィルタの構成情報が付加されている、ようにされてもよい。また、例えば、混合割合の情報には、時間的に前のフレームの画像データは用いない混合リフレッシュまでのフレーム数を示す混合リフレッシュ情報が付加されている、ようにされてもよい。この場合、例えば、混合割合を示す情報には、混合リフレッシュをするフレームであるか否かを示すリフレッシュフラグ情報が付加されている、ようにされてもよい。また、例えば、混合割合の情報には、第２のフレームレートに対応したフレームであるか否かを示す先頭フラグ情報が付加されている、ようにされてもよい。
このように本技術においては、第１のフレームレート（ハイフレームレート）の第２の動画像データを構成する各フレームの画像データのうち少なくとも第２のフレームレート（ノーマルフレームレート）に対応したフレームの画像データは周辺フレームの画像データと混合されて開口率が高められた状態とされており、この第２のフレームレート（ノーマルフレームレート）に対応したフレームの画像データが符号化されて得られた基本ストリームが送信される。
そのため、第２のフレームレート（ノーマルフレームレート）の動画像データを処理可能なデコード能力がある受信機の場合、基本ストリームを処理して第２のフレームレートの画像データを得ることで、動画像として滑らかな画像を表示でき、また、表示処理において低負荷演算によるフレーム補間処理で画質的な問題を引き起こすことが回避可能となる。
また、本技術においては、基本ストリームと共に、残りのフレームの画像データが符号化されて得られた拡張ストリームが得られ、これらの基本ストリームおよび拡張ストリームにそれぞれのフレームの画像データに関連付けられて対応するフレームの混合割合の情報が挿入されて送信される。そのため、第１のフレームレート（ハイフレームレート）の動画像データを処理可能なデコード能力がある受信機の場合、各フレームの混合割合の情報に基づいて混合解除された第１のフレームレートの動画像データを容易に得ることができ、第１のフレームレートの動画像表示を良好に行うことができる。
また、本技術の他の概念は、
基本ストリームおよび拡張ストリームを含むコンテナを受信する受信部を備え、
上記基本ストリームは、第１のフレームレートの第１の動画像データの各フレームの画像データにフレーム毎に独立した混合割合で周辺のフレームの画像データを混合する処理を施して得られた上記第１のフレームレートの第２の動画像データを構成する各画像データのうち上記第１のフレームレートより低い第２のフレームレートに対応したフレームの画像データであって少なくとも周辺フレームの画像データと混合された状態にある画像データを符号化して得られたものであり、上記拡張ストリームは、残りのフレームの画像データを符号化して得られたものであり、
上記基本ストリームおよび上記拡張ストリームにそれぞれのフレームの画像データに関連付けて対応するフレームの上記混合割合の情報が挿入されており、
上記基本ストリームを復号化して上記第２のフレームレートの動画像データを得るか、あるいは上記基本ストリームおよび上記拡張フレームを復号化して上記第２の動画像データを得、該第２の動画像データに上記混合割合の情報に基づいて逆混合処理を施して混合解除された上記第１のフレームレートの動画像データを得る処理部をさらに備える
受信装置にある。
本技術において、受信部により、基本ストリームおよび拡張ストリームを含むコンテナが受信される。基本ストリームは、第１のフレームレートの第１の動画像データの各フレームの画像データにフレーム毎に独立した混合割合で周辺のフレームの画像データを混合する処理を施して得られた第１のフレームレートの第２の動画像データを構成する各画像データのうち第１のフレームレートより低い第２のフレームレートに対応したフレームの画像データであって少なくとも周辺フレームの画像データと混合された状態にある画像データを符号化して得られたものである。拡張ストリームは、残りのフレームの画像データを符号化して得られたものである。
基本ストリームのレイヤおよび拡張ストリームにそれぞれのフレームの画像データに関連付けて対応するフレームの混合割合の情報が挿入されている。処理部により、基本ストリームのみが処理されて第２のフレームレート（ノーマルフレームレート）の動画像データが得られるか、あるいは基本ストリームおよび拡張ストリームの双方が処理されて、混合解除された第１のフレームレート（ハイフレームレート）の動画像データが得られる。
このように本技術においては、第２のフレームレート（ノーマルフレームレート）の動画像データを処理可能なデコード能力がある場合、基本ストリームのみが処理されて第２のフレームレート（ノーマルフレームレート）の動画像データが得られる。この第２のフレームレート（ノーマルフレームレート）の動画像データを構成する各フレームの画像データは、周辺フレームの画像データと混合されてシャッタ開口率が高められているので、動画像として滑らかな画像を表示でき、また、表示処理において低負荷演算によるフレーム補間処理で画質的な問題を引き起こすことが回避可能となる。
また、本技術においては、第１のフレームレート（ハイフレームレート）の動画像データを処理可能なデコード能力がある場合、基本ストリームおよび拡張ストリームの双方が処理されて混合処理後の第１のフレームレート（ハイフレームレート）の動画像データが得られ、さらに各フレームの混合割合の情報に基づいて逆混合処理が施されて、混合解除された第１のフレームレート（ノーマルフレームレート）の動画像データが得られる。従って、第１のフレームレート（ハイフレームレート）の動画像表示を良好に行うことができる。
また、本技術の他の概念は、
第１の動画像データの各フレームの画像データにフレーム毎に独立した混合割合で周辺のフレームの画像データを混合する処理を施して得られた第２の動画像データを取得する取得部と、
上記第２の動画像データと、各フレームの混合割合の情報を、伝送路を介して、外部機器に送信する送信部を備える
送信装置にある。
本技術において、取得部により、第１の動画像データの各フレームの画像データにフレーム毎に独立した混合割合で周辺のフレームの画像データを混合する処理を施して得られた第２の動画像データが取得される。送信部により、第２の動画像データと、各フレームの混合割合の情報が、伝送路を介して、外部機器に送信される。例えば、送信部は、各フレームの混合割合の情報をそれぞれ第２の動画像データの各フレームの画像データのブランキング期間に挿入して送信する、ようにされてもよい。また、例えば、混合割合の情報には、表示機器において、混合割合の情報を用いた処理が次のビデオフレームと同期して行うことを必須とするか否かを示す同期フレーム情報が付加されている、ようにされてもよい。
このように本技術においては、第１の動画像データの各フレームの画像データにフレーム毎に独立した混合割合で周辺のフレームの画像データを混合する処理を施して得られた第２の動画像データが、各フレームの混合割合の情報と共に、伝送路を介して、外部機器に送信される。そのため、外部機器では、第２の動画像データに各フレームの混合割合の情報に基づいて逆混合処理を施して、混合解除されたハイフレームレートの動画像データを容易に得ることができ、良好な動画像表示を行うことができる。
なお、本技術において、例えば、第２の動画像データの各フレームの画像データに混合割合の情報に基づいて逆混合処理を施して第３の動画像データを得る処理部をさらに備え、送信部は、外部機器が逆混合処理の機能を持っていないとき、第２の動画像データの代わりに、第３の動画像データを送信する、ようにされてもよい。
また、本技術において、例えば、第２の動画像データは第１のフレームレートの動画像データであり、第２の動画像データを構成する各フレームの画像データのうち少なくとも第１のフレームレートより低い第２のフレームレートに対応したフレームの画像データは周辺フレームの画像データと混合された状態にあり、送信部は、外部機器の表示可能なフレームレートが第２のフレームレートであるとき、第２の動画像データの代わりに、第２のフレームレートに対応したフレームの画像データからなる第４の動画像データを送信する、ようにされてもよい。
また、本技術の他の概念は、
外部機器から、伝送路を介して、第１の動画像データの各フレームの画像データにフレーム毎に独立した混合割合で周辺のフレームの画像データを混合する処理を施して得られた第２の動画像データと、各フレームの混合割合の情報を受信する受信部と、
上記第２の動画像データの各フレームの画像データに上記混合割合の情報に基づいて逆混合処理を施して混合解除された動画像データを得る処理部を備える
受信装置にある。
本技術において、受信部により、外部機器から、伝送路を介して、第１の動画像データの各フレームの画像データにフレーム毎に独立した混合割合で周辺のフレームの画像データを混合する処理を施して得られた第２の動画像データと、各フレームの混合割合の情報が受信される。処理部により、第２の動画像データの各フレームの画像データに混合割合の情報に基づいて逆混合処理が施されて混合解除された動画像データ（混合処理前の動画像データ）が得られる。
このように本技術においては、外部機器から混合処理後の第２の画像データと共に各フレームの混合割合の情報が受信され、第２の動画像データの各フレームの画像データに混合割合の情報に基づいて逆混合処理が施されて混合解除された動画像データが得られる。そのため、混合処理前と同様の動画像データを適切に精度よく得ることができ、良好な動画像表示を行うことができる。
本技術によれば、ノーマルフレームレートおよびハイフレームレートの動画像データを良好に伝送することが可能となる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
実施の形態としての送受信システムの構成例を示すブロック図である。 １２０Ｈｚの動画像データに混合処理が施されて得られた６０Ｈｚの基本ストリームと、＋６０Ｈｚの拡張ストリームの一例を示す図である。 ２４０Ｈｚの動画像データに混合処理が施されて得られた６０Ｈｚの基本ストリームと、それに追加する拡張ストリームの一例を示す図である。 送信装置およびテレビ受信機の処理の概要を示す図である。 送信側における混合と、受信側における逆混合の一例を模式的に示す図である。 送信側における混合と、受信側における逆混合の他の一例を模式的に示す図である。 送信装置の構成例を示すブロック図である。 送信側で混合処理を行うプリプロセッサの構成例を示すブロック図である。 送信側で混合処理を行うプリプロセッサの他の構成例を示すブロック図である。 受信側で逆混合処理を行うポストプロセッサの構成例を示すブロック図である。 受信側で逆混合処理を行うポストプロセッサの他の構成例を示すブロック図である。 「Blending_information SEI message」の構造例を示す図である。 「Blending_information()」の構造例を示す図である。 「Blending_information()」の構造例における主要な内容を示す図である。 混合処理されたハイフレームレートの動画像データＱにおいて、各フレーム（ピクチャフレーム）に挿入される「Blending_information()」の情報の変化の一例を示す図である。 プリプロセッサにおける混合処理とポストプロセッサにおける逆混合処理の関係の一例を示す図である。 送信側における混合と、受信側における逆混合の一例を模式的に示す図である。 トランスポートストリームＴＳの構成例を示す図である。 ハイフレームレートの動画像データを処理可能なデコード能力があるテレビ受信機の構成例を示すブロック図である。 ノーマルフレームレートの動画像データを処理可能なデコード能力があるテレビ受信機の構成例を示すブロック図である。 送受信システムの他の構成例を示す図である。 セットトップボックスの制御部（ＣＰＵ）における制御処理手順の一例を示すフローチャートである。 送信装置、セットトップボックスおよびディスプレイの処理の概要を示す図である。 ディスプレイが逆混合処理（混合解除処理）の機能を持つ場合と持たない場合とを比較して示す図である。 ＨＦＲ・ブレンディング・インフォフレームの構造例を示す図である。 ＨＦＲ・ブレンディング・インフォフレームの構造例における主要な情報の内容を示す図である。 ＨＦＲ・ブレンディング・インフォフレームの構造例における主要な情報の内容を示す図である。 セットトップボックスの構成例を示すブロック図である。 ハイフレームレートの動画像データを取り扱うディスプレイの構成例を示すブロック図である。 ノーマルフレームレートの動画像データを取り扱うディスプレイの構成例を示すブロック図である。
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
１．実施の形態
２．変形例
＜１．実施の形態＞
［送受信システム］
図１は、実施の形態としての送受信システム１０の構成例を示している。この送受信システム１０は、送信装置１００と、テレビ受信機２００を有する構成となっている。
送信装置１００は、コンテナとしてのトランスポートストリームＴＳを放送波に載せて送信する。このトランスポートストリームＴＳには、ハイフレームレート、この実施の形態においては１２０Ｈｚあるいは２４０Ｈｚの動画像データが処理されて得られた基本ストリーム（基本ビデオストリーム）および拡張ストリーム（拡張ビデオストリーム）が含まれる。この実施の形態において、基本ストリームおよび拡張ストリームは、ＮＡＬユニット構造を有するものとされる。
ここで、基本ストリームは、以下のようにして得られたものである。すなわち、混合前のハイフレームレートの動画像データの各フレームの画像データにフレーム毎に独立した混合割合で周辺のフレームの画像データを混合する処理を施して混合処理後のハイフレームレートの動画像データが得られる。
この混合処理後のハイフレームレートの動画像データを構成する各フレームの画像データのうち、少なくとも、ノーマルフレームレート、この実施の形態では６０Ｈｚに対応したフレームの画像データは周辺フレームの画像データと混合された状態とされる。基本ストリームは、このノーマルフレームレートに対応したフレーム（基本フレーム）の画像データが符号化されて得られたものである。また、拡張ストリームは、残りのフレーム（拡張フレーム）の画像データが符号化されて得られたものである。
基本ストリームには、ノーマルフレームレートの各フレームの符号化画像データがアクセスユニットとして含まれる。また、拡張ストリームには、ハイフレームレートの各拡張フレームの符号化画像データがアクセスユニットとして含まれる。
図２（ａ），（ｂ）は、１２０Ｈｚの動画像データに混合処理が施されて得られた６０Ｈｚの基本ストリームと、＋６０Ｈｚの拡張ストリームの一例を示している。基本ストリームを構成する一つのフレームと、それに続く拡張フレームの１つのフレームからなる２フレームによりフレームペア（Frame-pair）が構成されている。
図２（ａ）においては、各フレームペアにおいて、最初のフレームである基本ストリームのフレームの画像データは周辺フレームの画像データと混合された状態（混合状態）にあるが、それに続く拡張ストリームのフレームの画像データは周辺フレームの画像データと混合されていない状態（非混合状態）にある。また、図２（ｂ）においては、各フレームペアにおいて、最初のフレームである基本ストリームのフレームの画像データは周辺フレームの画像データと混合された状態（混合状態）にあるが、それに続く拡張ストリームのフレームの画像データも周辺フレームの画像データと混合された状態（混合状態）にある。
図３（ａ），（ｂ），（ｃ），（ｄ）は、２４０Ｈｚの動画像データに混合処理が施されて得られた６０Ｈｚの基本ストリームと、それに追加する拡張ストリームの一例を示している。基本ストリームを構成する一つのフレームと、それに続く拡張フレームの３つのフレームからなる４フレームによりフレームペア（Frame-pair）が構成されている。
図３（ａ）においては、各フレームペアにおいて、最初のフレームである基本ストリームのフレームの画像データは周辺フレームの画像データと混合された状態（混合状態）にあるが、それに続く拡張ストリームの３つのフレームの全ての画像データは周辺フレームの画像データと混合されていない状態（非混合状態）にある。
図３（ｂ）においては、各フレームペアにおいて、最初のフレームである基本ストリームのフレームの画像データは周辺フレームの画像データと混合された状態（混合状態）にある。そして、それに続く拡張ストリームの第１のフレームの画像データは周辺フレームの画像データと混合されていない状態（非混合状態）にあり、また第２のフレームの画像データは周辺フレームの画像データと混合された状態（混合状態）にあり、第３のフレームの画像データは周辺フレームの画像データと混合されていない状態（非混合状態）にある。
図３（ｃ）においては、各フレームペアにおいて、最初のフレームである基本ストリームのフレームの画像データは周辺フレームの画像データと混合された状態（混合状態）にある。そして、それに続く拡張ストリームの第１のフレームの画像データは周辺フレームの画像データと混合された状態（混合状態）にあり、また第２のフレームの画像データは周辺フレームの画像データと混合されていない状態（非混合状態）にあり、また第３のフレームの画像データは周辺フレームの画像データと混合された状態（混合状態）にある。
図３（ｄ）においては、各フレームペアにおいて、最初のフレームである基本ストリームのフレームの画像データは周辺フレームの画像データと混合された状態（混合状態）にあるが、それに続く拡張ストリームの３つのフレームの全ての画像データも周辺フレームの画像データと混合された状態（混合状態）にある。
基本ストリームおよび拡張ストリームに、それぞれのフレームの画像データに関連付けて対応するフレームの混合割合の情報が挿入される。ここで、各フレームの混合割合の情報は、それぞれ、混合処理に使用されるフィルタのタップ数分の係数のセットからなっている。例えば、ｍフレームの混合を行い得るｍタップのフィルタが用いられる場合、各フレームの係数セットにはｍ個の係数が含まれる。この実施の形態において、混合割合の情報（係数セット）を持つＳＥＩ ＮＡＬユニットが、基本ストリームおよび拡張ストリームに挿入される。受信側では、この混合割合の情報に基づいて、基本ストリームおよび拡張ストリームの各フレームの画像データがいかなる割合で周辺の画像データと混合されて得られたものであるかが把握可能となる。
図１に戻って、テレビ受信機２００は、送信装置１００から放送波に載せて送られてくる上述のトランスポートストリームＴＳを受信する。受信装置２００は、ノーマルフレームレート（６０Ｈｚ）の動画像データを処理可能なデコード能力がある場合、トランスポートストリームＴＳに含まれる基本ストリームのみを処理して、ノーマルフレームレートの動画像データを得て、画像再生をする。この場合、テレビ受信機２００は、基本ストリームに復号化処理を施してノーマルフレームレートの各フレームの画像データを得る。
一方、テレビ受信機２００は、ハイフレームレート（１２０Ｈｚあるいは２４０Ｈｚ）の動画像データを処理可能なデコード能力がある場合、トランスポートストリームＴＳに含まれる基本ストリームおよび拡張ストリームの双方を処理して、ハイフレームレートの動画像データを得て、画像再生をする。
この場合、テレビ受信機２００は、基本ストリームに復号化処理を施してノーマルフレームレートの各フレームの画像データを得ると共に、拡張ストリームに復号化処理を施してハイフレームレートの各拡張フレームの画像データを得た後、ノーマルフレームレートの各フレームの画像データとハイフレームレートの各拡張フレームの画像データを用い、各フレームの混合割合の情報（係数セット）に基づいて、逆混合処理を行って、混合処理前と同様のハイフレームレートの動画像データを得る。
図４は、送信装置１００およびテレビ受信機２００の処理の概要を示している。なお、送信装置１００のプリプロセッサ１０２の出力の画像シーケンスＱとテレビ受信機２００Ａのデコーダ２０４の出力の画像シーケンスＱとは、時系列的には同じものであるが、コーデックを通しているので両者の画質が異なる場合も含む。カメラ（撮像装置）８１から出力されるより高いフレームレートの動画像データＶａがＨＦＲプロセッサ８２に送られてハイフレームレート（１２０Ｈｚあるいは２４０Ｈｚ）の動画像データＶｂが得られる。この動画像データＶｂが送信装置１００に動画像データＰとして入力される。
送信装置１００では、プリプロセッサ１０２において、動画像データＰを構成する各フレームの画像データに混合処理が施されて、ノーマルフレームレートの各フレームの画像データＱｂと、ハイフレームレートの各拡張フレームの画像データＱｅとからなる混合処理後の動画像データＱが得られる。送信装置１００では、エンコーダ１０３において、画像データＱｂ、Ｑｅに符号化処理が施されて、基本ストリームＳＴｂと、拡張ストリームＳＴｅが得られる。送信装置１００からテレビ受信機２００には、これらのストリームＳＴｂ，ＳＴｅが送信される。なお、これらのストリームＳＴｂ，ＳＴｅには、それぞれのフレームの画像データに関連付けて、対応するフレームの混合割合の情報が挿入される。
ハイフレームレートの動画像データを処理可能なデコード能力があるテレビ受信機２００Ａでは、デコーダ２０４において、２つのストリームＳＴｂ，ＳＴｅに復号化処理が施されて、ノーマルフレームレートの各フレームの画像データＱｂと、ハイフレームレートの各拡張フレームの画像データＱｅとからなる混合処理がされている動画像データＱが得られる。そして、受信装置２００Ａでは、ポストプロセッサ２０５において、各フレームの混合割合の情報に基づいて、動画像データＱの各フレームの画像データに逆混合処理（混合解除処理）が施されて、送信側における動画像データＰと同様のハイフレームレート（１２０Ｈｚあるいは２４０Ｈｚ）の動画像データＲが得られる。この動画像データＲが、そのまま、あるいはＭＣＦＩ（Motion Compensated Frame Insertion）部２０６でフレーム補間がされてフレームレートが高められて表示用動画像データとなる。
一方、ノーマルフレームレートの画像データを処理可能なデコード能力があるテレビ受信機２００Ｂでは、デコーダ２０４Ｂにおいて、ストリームＳＴｂに復号化処理が施されて、ノーマルフレームレートの各フレームの画像データＱｂが得られる。そして、受信装置２００Ｂでは、このノーマルフレームレートの各フレームの画像データＱｂからなる動画像データが、そのまま、あるいはＭＣＦＩ（Motion Compensated Frame Insertion）部２０６Ｂでフレーム補間がされてフレームレートが高められて表示用動画像データとなる。
図５は、送信側における混合（blending）と、受信側における逆混合（unblending）の一例を模式的に示している。この例は、図２（ａ）の例に対応し、フレーム「ｎ」とフレーム「ｎ＋１」がフレームペアを構成しており、フレーム「ｎ＋２」とフレーム「ｎ＋３」がフレームペアを構成している。なお、図示の例において、オブジェクトＯａ，Ｏｂは動きのないオブジェクトであり、オブジェクトＯｃは動きのあるオブジェクトである。
送信側の混合処理により、各フレームペアにおいて、最初のフレームである基本ストリームのフレームの画像データは周辺フレームの画像データと混合された状態（混合状態）とされ、それに続く拡張ストリームのフレームの画像データは周辺フレームの画像データと混合されていない状態（非混合状態）とされる。また、受信側の逆混合処理により、混合状態が解除される。
図６は、送信側における混合（blending）と、受信側における逆混合（unblending）の他の一例を模式的に示している。この例は、図３（ａ）の例に対応し、フレーム「ｎ」とフレーム「ｎ＋１」～「ｎ＋３」がフレームペアを構成している。なお、図示の例において、オブジェクトＯａ，Ｏｂは動きのないオブジェクトであり、オブジェクトＯｃは動きのあるオブジェクトである。
送信側の混合処理により、各フレームペアにおいて、最初のフレームである基本ストリームのフレームの画像データは周辺フレームの画像データと混合された状態（混合状態）とされ、それに続く拡張ストリームの３つのフレームの画像データは周辺フレームの画像データと混合されていない状態（非混合状態）とされる。また、受信側の逆混合処理により、混合状態が解除される。
「送信装置の構成」
図７は、送信装置１００の構成例を示している。この送信装置１００は、制御部１０１と、プリプロセッサ１０２と、エンコーダ１０３と、マルチプレクサ１０４と、送信部１０５を有している。制御部１０１は、送信装置１００の各部の動作を制御する。
プリプロセッサ１０２は、ハイフレームレート（１２０Ｈｚあるいは２４０Ｈｚ）の動画像データＰを入力して、ノーマルフレームレート（６０Ｈｚ）の各フレームの画像データＱｂと、ハイフレームレートの各拡張フレームの画像データＱｅを出力する。
ここで、プリプロセッサ１０２は、混合処理前のハイフレームレートの動画像データＰの各フレームの画像データにフレーム毎に独立した混合割合で周辺のフレームの画像データを混合する処理を施して混合処理後のハイフレームレートの動画像データＱを得る。この動画像データＱのうち、ノーマルフレームレート（６０Ｈｚ）に対応した各フレームの画像データが画像データＱｂとなり、残りの各フレームの画像データが画像データＱｅとなる。この場合、少なくとも、画像データＱｂは周辺フレームの画像データと混合された状態とされる。
プリプロセッサ１０２は、例えば、２以上のタップを持つ時間方向のフィルタで構成され、フレーム毎に各タップの係数を変更することで、フレーム毎に独立した混合割合で周辺のフレームの画像データを混合する処理が可能とされる。
図８は、プリプロセッサ１０２の構成例を示している。このプリプロセッサ１０２は、３タップを持つ時間方向のフィルタで構成されている。このプリプロセッサ１０２は、１フレーム期間の遅延時間を持つ遅延素子１０２ａ，１０２ｂと、係数器１０２ｃ，１０２ｄ，１０２ｅと、加算器１０２ｆとを有している。
混合処理前の動画像データＰは、遅延素子１０２ａ，１０２ｂの直列回路に入力される。この場合、動画像データＰは、遅延素子１０２ｂ、遅延素子１０２ａの順に送られていく。遅延素子１０２ａの出力側、遅延素子１０２ａの入力側（遅延素子１０２ｂの出力側）、遅延素子１０２ｂの入力側に３つのタップ出力として３フレームの画像データＰ１，Ｐ２，Ｐ３が得られる。これらの画像データＰ１，Ｐ２，Ｐ３に、それぞれ、係数器１０２ｃ，１０２ｄ，１０２ｅで係数ａ，ｂ，ｃが掛け算される。係数セット（ａ，ｂ，ｃ）は、フレーム毎に、切り替えられる。各係数器１０２ｃ，１０２ｄ，１０２ｅの出力が加算器１０２ｆで加算され、この加算器１０２ｆから混合処理後の動画像データＱの各フレームの画像データＱ１，Ｑ２，Ｑ３が順次得られる。
図９は、プリプロセッサ１０２の他の構成例を示している。このプリプロセッサ１０２は、３タップを持つ時間方向のフィルタで構成されている。このプリプロセッサ１０２は、第１系統、第２系統、第３系統の係数セットを順次フレーム毎に繰り返していく例である。
このプリプロセッサ１０２は、１フレーム期間の遅延時間を持つ遅延素子１０２ａ，１０２ｂと、第１系統の係数器１０２c1，１０２d1，１０２e1と、第２系統の係数器１０２c2，１０２d2，１０２e2と、第２系統の係数器１０２c3，１０２d3，１０２e3と、第１系統の加算器１０２f1、第２系統の加算器１０２f2、第３系統の加算器１０２f3と、フレーム出力切り替え器（ＳＷ）１０２ｇを有している。
混合処理前の動画像データＰは、遅延素子１０２ａ，１０２ｂの直列回路に入力される。この場合、動画像データＰは、遅延素子１０２ｂ、遅延素子１０２ａの順に送られていく。遅延素子１０２ａの出力側、遅延素子１０２ａの入力側（遅延素子１０２ｂの出力側）、遅延素子１０２ｂの入力側に３つのタップ出力として３フレームの画像データＰ１，Ｐ２，Ｐ３が得られる。
画像データＰ１，Ｐ２，Ｐ３に、係数器１０２c1，１０２d1，１０２e1でそれぞれ係数ａ１，ｂ１，ｃ１が掛け算された後に加算器１０２f1で加算されて第１の系統の出力とされる。また、画像データＰ１，Ｐ２，Ｐ３に、係数器１０２c2，１０２d2，１０２e2でそれぞれ係数ａ２，ｂ２，ｃ２が掛け算された後に加算器１０２f2で加算されて第２の系統の出力とされる。画像データＰ１，Ｐ２，Ｐ３に、係数器１０２c3，１０２d3，１０２e3でそれぞれ係数ａ３，ｂ３，ｃ３が掛け算された後に加算器１０２f３で加算されて第３の系統の出力とされる。
加算器１０２f1，１０２f2，１０２f3で得られる各系統の出力がフレーム出力切り替え器１０２ｇでフレームごとに選択的に抽出され、このフレーム出力切り替え器１０２ｇから混合処理後の動画像データＱの各フレームの画像データＱ１，Ｑ２，Ｑ３が順次得られる。
ここで、フレーム「ｎ」がＰ２の位置にあるとき、フレーム出力切り替え器１０２ｇは、「P1*a1 + P2*b1 + P3*c1」の演算結果を選択する。また、フレーム「ｎ＋１」がＰ２の位置にあるとき、フレーム出力切り替え器１０２ｇは、「P1*a2 + P2*b2 + P3*c2」の演算結果を選択する。また、フレーム「ｎ＋２」がＰ２の位置にあるとき、フレーム出力切り替え器１０２ｇは、「P1*a3 + P2*b3 + P3*c3」の演算結果を選択する。
プリプロセッサ１０２は、以上を順次繰返す。なお、係数セットと該当するフレームとの同期関係が崩れないように、プリプロセッサ１０２は、遅延管理の機能を含んでいる。
図１０は、受信側で逆混合処理を行うポストプロセッサ２０５の構成例を示している。この例は、図８に示すプリプロセッサ１０２の構成例に対応したものである。このポストプロセッサ２０５は、３タップを持つフィルタで構成されている。このポストプロセッサ２０５は、１フレーム期間の遅延時間を持つ遅延素子２０５ａ，２０５ｂと、係数器２０５ｃ，２０５ｄ，２０５ｅと、加算器２０５ｆとを有している。
逆混合処理前の動画像データＱは、遅延素子２０５ａ，２０５ｂの直列回路に入力される。この場合、動画像データＱは、遅延素子２０５ｂ、遅延素子２０５ａの順に送られていく。遅延素子２０５ａの出力側、遅延素子２０５ａの入力側（遅延素子２０５ｂの出力側）、遅延素子２０５ｂの入力側に３つのタップ出力として３フレームの画像データＱ１，Ｑ２，Ｑ３が得られる。
これらの画像データＱ１，Ｑ２，Ｑ３に、それぞれ、係数器２０５ｃ，２０５ｄ，２０５ｅで係数ａ´，ｂ´，ｃ´が掛け算される。この係数セット（ａ´，ｂ´，ｃ´）は、送信側から与えられる混合処理時の係数セット（ａ，ｂ，ｃ）（図８参照）から逆混合処理（混合解除処理）を行うように求められたものであり、フレーム毎に、切り替えられる。各係数器２０５ｃ，２０５ｄ，２０５ｅの出力が加算器２０５ｆで加算され、この加算器２０５ｆから逆混合処理後の動画像データＲの各フレームの画像データＲ１，Ｒ２，Ｒ３が順次得られる。
図１１は、受信側で逆混合処理を行うポストプロセッサ２０５の他の構成例を示している。この例は、図９に示すプリプロセッサ１０２の構成例に対応したものである。このポストプロセッサ２０５は、３タップを持つフィルタで構成されている。このポストプロセッサ２０５は、第１系統、第２系統、第３系統の係数セットを順次フレーム毎に繰り返していく例である。
このポストプロセッサ２０５は、１フレーム期間の遅延時間を持つ遅延素子２０５ａ，２０５ｂと、第１系統の係数器２０５c1，２０５d1，２０５e1と、第２系統の係数器２０５c2，２０５d2，２０５e2と、第２系統の係数器２０５c3，２０５d3，２０５e3と、第１系統の加算器２０５f1、第２系統の加算器２０５f2、第３系統の加算器２０５f3と、フレーム出力切り替え器（ＳＷ）２０５ｇを有している。
逆混合処理前の動画像データＱは、遅延素子２０５ａ，２０５ｂの直列回路に入力される。この場合、動画像データＰは、遅延素子２０５ｂ、遅延素子２０５ａの順に送られていく。遅延素子２０５ａの出力側、遅延素子２０５ａの入力側（遅延素子２０５ｂの出力側）、遅延素子２０５ｂの入力側に３つのタップ出力として３フレームの画像データＱ１，Ｑ２，Ｑ３が得られる。
画像データＱ１，Ｑ２，Ｑ３に、係数器２０５c1，２０５d1，２０５e1でそれぞれ係数ａ１´，ｂ１´，ｃ１´が掛け算された後に加算器２０５f1で加算されて第１の系統の出力とされる。また、画像データＱ１，Ｑ２，Ｑ３に、係数器２０５c2，２０５d2，２０５e2でそれぞれ係数ａ２´，ｂ２´，ｃ２´が掛け算された後に加算器２０５f2で加算されて第２の系統の出力とされる。また、画像データＱ１，Ｑ２，Ｑ３に、係数器２０５c3，２０５d3，２０５e3でそれぞれ係数ａ３´，ｂ３´，ｃ３´が掛け算された後に加算器２０５f３で加算されて第３の系統の出力とされる。
係数セット（ａ１´，ｂ１´，ｃ１´）、（ａ２´，ｂ２´，ｃ２´）、（ａ３´，ｂ３´，ｃ３´）は、送信側から与えられる混合処理時の係数セット（ａ１，ｂ１，ｃ１）、（ａ２，ｂ２，ｃ２）、（ａ３，ｂ３，ｃ３）（図９参照）から逆混合処理（混合解除処理）を行うように求められたものである。
加算器２０５f1，２０５f2，２０５f3で得られる各系統の出力がフレーム出力切り替え器２０５ｇでフレームごとに選択的に抽出され、このフレーム出力切り替え器２０５ｇから逆混合処理後の動画像データＲの各フレームの画像データＲ１，Ｒ２，Ｒ３が順次得られる。
ここで、フレーム「ｎ」がＱ２の位置にあるとき、フレーム出力切り替え器２０５ｇは、「Q1*a1’ + Q2*b1’ + Q3*c1’」の演算結果を選択する。また、フレーム「ｎ＋１」がＱ２の位置にあるとき、フレーム出力切り替え器２０５ｇは、「Q1*a2’ + Q2*b2’ + Q3*c2’」の演算結果を選択する。また、フレーム「ｎ＋２」がＱ２の位置にあるとき、フレーム出力切り替え器２０５ｇは、「Q1*a3’ + Q2*b3’ + Q3*c3’」の演算結果を選択する。
ポストプロセッサ２０５は、以上を順次フレームごとに繰返す。なお、係数セットと該当するフレームとの同期関係が崩れないように、ポストプロセッサ２０５は、遅延管理の機能を含んでいる。
図７に戻って、エンコーダ１０３は、プリプロセッサ１０２で得られる画像データＱｂ，Ｑｅに対して符号化処理を施して、基本ストリームＳＴｂおよび拡張ストリームＳＴｅを生成する。この場合、画像データＱｂ，Ｑｅに対して、例えば、Ｈ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどの予測符号化処理が施される。
エンコーダ１０２は、基本ストリームＳＴｂおよび拡張ストリームＳＴｅにそれぞれのフレームの画像データに関連付けて対応するフレームの混合割合の情報を挿入する。受信側では、この混合割合の情報に基づいて、基本ストリームおよび拡張ストリームの各フレームの画像データがいかなる割合で周辺の画像データと混合されて得られたものであるかが把握でき、逆混合処理（混合解除処理）を適切に行うことが可能となる。
この実施の形態においては、基本ストリームＳＴｂおよび拡張ストリームＳＴｅの各アクセスユニットに混合割合の情報を持つＳＥＩ ＮＡＬユニットが挿入される。この場合、エンコーダ１０３は、アクセスユニット（ＡＵ）の“ＳＥＩｓ”の部分に、新規定義する、ブレンディング・インフォメーション・ＳＥＩメッセージ（Blending_information SEI message）を挿入する。
図１２（ａ）は、「Blending_information SEI message」の構造例(Syntax)を示している。「uuid_iso_iec_11578」は、“ISO/IEC 11578:1996 AnnexA.”で示されるＵＵＩＤ値を持つ。「user_data_payload_byte」のフィールドに、「」が挿入される。図１２（ｂ）は、「Blending_information_SEI()」の構造例(Syntax)を示しており、この中に、混合割合の情報を含む「Blending_information()」が挿入される。「userdata_id」は、符号なし１６ビットで示される識別子である。「Blending_information_SEI_length」の８ビットフィールドは、このフィールド以後の「Blending_information()」のバイトサイズを示す。
図１３は、「Blending_information()」の構造例（Syntax）を示し、図１４は、その構造例における主要な情報の内容（Semantics）を示している。「frame_rate」の３ビットフィールドは、フレームレートを示す。例えば、“３”は１２０Ｈｚを示し、“５”は２４０Ｈｚを示す。
「blending_flag」の１ビットフィールドは、周辺画像データとの混合処理の適用があるか否かを示す。例えば、“０”は適用なしを示し、“１”は適用ありを示す。「temporal_filter_taps」の２ビットフィールドは、混合処理を行うフィルタの構成情報であり、使用フレーム数（タップ数）を示す。例えば、“０”は２フレーム（２タップ）を示し、“１”は３フレーム（３タップ）を示す。
「first_frame_in_frame-pair_flag」の１ビットフィールドは、フレームペア（frame-pair）の最初のフレームであるか、つまりノーマルフレームレートの時間的表示位置に対応するフレームであるか否かを示す。例えば、“０”は最初のフレーム以外であることを示し、“１”は最初のフレームであることを示す。なお、フレームペアは、上述したように、基本ストリームを構成する一つのフレームと、それに続く所定数の拡張フレームからなっている（図２、図３参照）。
「blending_refresh_distance (BR distance)」の３ビットフィールドは、時間的に前のフレームの画像データは用いないで、混合処理の時間的連鎖をリフレッシュするまでのフレーム数（時間的距離）を示す。例えば、“０”は１フレームを示し、“１”は２フレームを示し、“２”は３フレームを示す。「refresh_flag」の１ビットフィールドは、上記の混合処理の時間的連鎖のリフレッシュをするフレームであるか否かを示す。例えば、“０”は混合リフレッシュをしないフレームであることを示し、“１”は混合リフレッシュするフレームであることを示す。
上述の「temporal_filter_taps」のフィールドで示されるフレーム数（タップ数）だけ、「blend_coefficient」の８ビットフィールドが繰り返し存在する。このフィールドは、各フレームの画像データに乗算する係数（ブレンド比）を示す。例えば、“０ｘ０”は「０」を示し、“０ｘ１”は「１/５」を示し、“０ｘ２”は「１/４」を示し、“０ｘ３”は「１/３」を示し、“０ｘ４”は「１/２」を示し、“０ｘ５”は「２/３」を示し、“０ｘ６”は「３/４」を示し、“０ｘ７”は「４/５」を示し、“０ｘ８”は「１」を示す。
図１５は、混合処理されたハイフレームレートの動画像データＱにおいて、各フレーム（ピクチャフレーム）に挿入される「Blending_information()」の情報の変化の一例を示している。図示の例は、「temporal_filter_taps」が“１”であって、フレーム数（タップ数）が「３」である場合を示している。
例えば、基本ストリームに含まれるフレーム「ｎ」では、「refresh_flag」が“１”であって混合リフレッシュをするフレームであることが示され、また、「blending_refresh_distance (BR distance)」が“３”であって次の混合リフレッシュをするフレームまでのフレーム数が４フレームであることが示されている。また、３フレーム（３タップ）の係数が真ん中のフレームを現フレームとして古い方から「０(=0)，６(=3/4)，２(=1/4)」であることが示されている。
また、例えば、拡張フレームに含まれるフレーム「ｎ＋１」では、「refresh_flag」が“０”であって混合リフレッシュをするフレームでないことが示され、また、「blending_refresh_distance (BR distance)」が“２”であって次の混合リフレッシュをするフレームまでのフレーム数が３フレームであることが示されている。また、３フレーム（３タップ）の係数が真ん中のフレームを現フレームとして古い方から「０(=0)，８(=1)，０(=0)」であることが示されている。
また、例えば、基本フレームに含まれるフレーム「ｎ＋２」では、「refresh_flag」が“０”であって混合リフレッシュをするフレームでないことが示され、また、「blending_refresh_distance (BR distance)」が“１”であって次の混合リフレッシュをするフレームまでのフレーム数が２フレームであることが示されている。また、３フレーム（３タップ）の係数が真ん中のフレームを現フレームとして古い方から「２(=1/4)，４(=1/2)，２(=1/4)」であることが示されている。
また、例えば、拡張フレームに含まれるフレーム「ｎ＋３」では、「refresh_flag」が“０”であって混合リフレッシュをするフレームでないことが示され、また、「blending_refresh_distance (BR distance)」が“０”であって次の混合リフレッシュをするフレームまでのフレーム数が１フレームであることが示されている。また、３フレーム（３タップ）の係数が真ん中のフレームを現フレームとして古い方から「０(=0)，８(=1)，０(=0)」であることが示されている。
また、例えば、基本ストリームに含まれるフレーム「ｎ＋４」では、「refresh_flag」が“１”であって混合リフレッシュをするフレームであることが示され、また、「blending_refresh_distance (BR distance)」が“３”であって次の混合リフレッシュをするフレームまでのフレーム数が４フレームであることが示されている。また、３フレーム（３タップ）の係数が真ん中のフレームを現フレームとして古い方から「０(=0)，６(=3/4)，２(=1/4)」であることが示されている。
図１６は、図１５の例に対応しており、プリプロセッサ１０２における混合処理とポストプロセッサ２０５における逆混合処理の関係の一例を示している。ポストプロセッサ２０５における逆混合処理で用いる係数（混合比）は、近行処理時に使用された係数（混合比）に基づいて求められる。
なお、上述の図５に示す例の場合、「temporal_filter_taps」を“１（３フレーム）”に設定し、フレーム「ｎ」において３フレーム（３タップ）の係数を「０(=0)，４(=1/2)，４(=1/2)」とし、フレーム「ｎ＋１」において３フレーム（３タップ）の係数を「０(=0)，８(=1)，０(=0)」とし、フレーム「ｎ＋２」において３フレーム（３タップ）の係数を「０(=0)，４(=1/2)，４(=1/2)」とし、フレーム「ｎ＋３」において３フレーム（３タップ）の係数を「０(=0)，８(=1)，０(=0)」とし、以下これを繰り返すことで実現できる。
また、プログレッシブ（Progressive）に次のフレームとの間で混合をする場合、すなわち、２フレームを越えるフレームにわたり混合処理のフレーム間の係数の連鎖が継続する場合、「refresh_flag」が“１”であるフレームのみが「first_frame_in_frame-pair_flag」が“１”となるように設定する。ポストプロセッサ２０５では、「refresh_flag」が“１”となるフレームから逆混合処理を行うことになる。「refresh_flag」が“１”であるフレームの一つ前のフレームから、すなわち、図１６では、フレーム「ｎ＋３」から遡ってフレーム「ｎ＋２」、フレーム「ｎ＋１」、フレーム「ｎ」へと逆混合処理を行うことになる。その際、対象となる最大フレーム数が「blending_refresh_distance (BR distance)」で示され、図１６の例では、フレーム「ｎ」に対してその値は４フレームになる。図１７は、送信側における混合（blending）と、受信側における逆混合（unblending）の一例を模式的に示している。
図７に戻って、マルチプレクサ１０４は、エンコーダ１０３で生成された基本ストリームＳＴｂおよび拡張ストリームＳＴｅを、ＰＥＳ（Packetized Elementary Stream）パケット化し、さらにトランスポートパケット化して多重し、多重化ストリームとしてのトランスポートストリームＴＳを得る。
図１８は、トランスポートストリームＴＳの構成例を示している。このトランスポートストリームＴＳには、基本ストリーム（ベースストリーム）ＳＴｂと拡張ストリーム（エンハンスストリーム）ＳＴｅの２つのビデオストリームが含まれている。すなわち、この構成例では、基本ストリームＳＴｂのＰＥＳパケット「video PES1」が存在すると共に、拡張ストリームＳＴｅのＰＥＳパケット「video PES2」が存在する。
ＰＥＳパケット「video PES1」およびＰＥＳパケット「video PES2」でコンテナされる各ピクチャの符号化画像データには、ブレンディング・インフォメーション・ＳＥＩメッセージ（図１３参照）が挿入される。
また、トランスポートストリームＴＳには、ＰＳＩ（Program Specific Information）の一つとして、ＰＭＴ（Program Map Table）が含まれている。このＰＳＩは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。
ＰＭＴには、プログラム全体に関連する情報を記述するプログラム・ループ（Program loop）が存在する。また、ＰＭＴには、各ビデオストリームに関連した情報を持つエレメンタリストリーム・ループが存在する。この構成例では、基本ストリームに対応したビデオエレメンタリストリームループ「video ES1 loop」が存在すると共に、拡張ストリームに対応したビデオエレメンタリストリームループ「video ES2 loop」が存在する。
「video ES1 loop」には、基本ストリーム（video PES1）に対応して、ストリームタイプ、パケット識別子（PID）等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。このストリームタイプは、ＨＥＶＣ符号化の場合、基本ストリームを示す“０ｘ２４”とされる。
また、「video ES2 loop」には、拡張ストリーム（video PES2）に対応して、ストリームタイプ、パケット識別子（PID）等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。このストリームタイプは、拡張ストリームを示す“０ｘ２５”とされる。
なお、図示の例は、ＨＥＶＣの符号化が行われる場合について示しているが、ブレンディング・インフォメーション・ＳＥＩメッセージによるシグナリング情報の伝達は他のコーデックにも同様に適用可能である。他のコーデックの場合は、ＰＭＴに挿入するデスクリプタは別のものとなる。
図７に戻って、送信部１０５は、トランスポートストリームＴＳを、例えば、ＱＰＳＫ／ＯＦＤＭ等の放送に適した変調方式で変調し、ＲＦ変調信号を送信アンテナから送信する。
図７に示す送信装置１００の動作を簡単に説明する。ハイフレームレート（１２０Ｈｚあるいは２４０Ｈｚ）の動画像データＰがプリプロセッサ１０２に入力される。このプリプロセッサ１０２では、この動画像データＰに混合処理が施されて、ノーマルフレームレート（６０Ｈｚ）の各フレームの画像データＱｂと、ハイフレームレートの各拡張フレームの画像データＱｅが得られる。
この場合、プリプロセッサ１０２では、混合処理前のハイフレームレートの動画像データＰの各フレームの画像データにフレーム毎に独立した混合割合で周辺のフレームの画像データを混合する処理が施されて混合処理後のハイフレームレートの動画像データＱが得られる。この動画像データＱのうち、ノーマルフレームレート（６０Ｈｚ）に対応した各フレームの画像データが画像データＱｂとされ、残りの各フレームの画像データが画像データＱｅとされる。この場合、少なくとも、画像データＱｂは周辺フレームの画像データと混合された状態とされる。
プリプロセッサ１０２で得られた画像データＱｂ，Ｑｅは、エンコーダ１０３に供給される。エンコーダ１０３では、画像データＱｂ，Ｑｅに対して符号化処理が施されて、基本ストリームＳＴｂおよび拡張ストリームＳＴｅが生成される。このエンコーダ１０３では、基本ストリームＳＴｂおよび拡張ストリームＳＴｅに、混合処理における混合比情報が挿入される。
エンコーダ１０３では、基本ストリームＳＴｂおよび拡張ストリームＳＴｅにそれぞれのフレームの画像データに関連付けて対応するフレームの混合割合の情報が挿入される。受信側では、この混合割合の情報に基づいて、基本ストリームおよび拡張ストリームの各フレームの画像データがいかなる割合で周辺の画像データと混合されて得られたものであるかが把握でき、逆混合処理（混合解除処理）を適切に行うことが可能となる。
エンコーダ１０３で生成された基本ストリームＳＴｂおよび拡張ストリームＳＴｅは、マルチプレクサ１０４に供給される。マルチプレクサ１０４は、基本ストリームＳＴｂおよび拡張ストリームＳＴｅが、ＰＥＳパケット化され、さらにトランスポートパケット化されて多重され、多重化ストリームとしてのトランスポートストリームＴＳが得られる。
マルチプレクサ１０４で生成されたトランスポートストリームＴＳは、送信部１０５に送られる。送信部１０５は、このトランスポートストリームＴＳが、例えば、ＱＰＳＫ／ＯＦＤＭ等の放送に適した変調方式で変調され、ＲＦ変調信号が送信アンテナから送信される。
「テレビ受信機の構成」
図１９は、ハイフレームレート（１２０Ｈｚあるいは２４０Ｈｚ）の動画像データを処理可能なデコード能力があるテレビ受信機２００Ａの構成例を示している。このテレビ受信機２００Ａは、制御部２０１と、受信部２０２と、デマルチプレクサ２０３と、デコーダ２０４と、ポストプロセッサ２０５と、ＭＣＦＩ（Motion Compensated Frame Insertion）部２０６と、パネル表示部２０７を有している。
制御部２０１は、テレビ受信機２００Ａの各部の動作を制御する。受信部２０２は、受信アンテナで受信されたＲＦ変調信号を復調し、トランスポートストリームＴＳを取得する。デマルチプレクサ２０３は、トランスポートストリームＴＳから、ＰＩＤのフィルタリングによって、基本ストリームＳＴｂおよび拡張ストリームＳＴｅを取り出し、デコーダ２０４に供給する。
デコーダ２０４は、基本ストリームＳＴｂに復号化処理を施してノーマルフレームレートの各フレームの画像データＱｂを得ると共に、拡張ストリームＳＴｅに復号化処理を施してハイフレームレートの各拡張フレームの画像データＱｅを得る。これにより、画像データＱｂと画像データＱｅとからなる混合処理がされているハイフレームレートの動画像データＱが得られる。
また、デコーダ２０４は、基本ストリームＳＴｂ、拡張ストリームＳＴｅを構成する各アクセスユニットに挿入されているパラメータセットやＳＥＩを抽出し、制御部２０１に送る。この場合、混合割合の情報を持つブレンディング・インフォメーション・ＳＥＩ（図１３参照）も抽出される。これにより、制御部２０１は、混合処理後のハイフレームレートの動画像データＱの各フレームの画像データがいかなる割合で周辺の画像データと混合されて得られたものであるかを把握して、逆混合処理のための係数を求めることができ、後述するポストプロセッサ２０５の制御を良好に行うことが可能となる。
ポストプロセッサ２０５は、制御部２０１の制御のもと、デコーダ２０４で得られたハイフレームレートの動画像データＱに、逆混合処理（混合解除処理）を施して、混合解除されたハイフレームレートの動画像データＲを得る。ポストプロセッサ２０５は、例えば、２以上のタップを持つフィルタで構成され、フレーム毎に各タップの係数を変更し、フレーム毎に独立した混合割合で周辺のフレームの画像データを混合することで混合解除が可能となる（図１０、図１１、図１６参照）。この場合、フレーム毎の係数セットは、上述したように制御部２０１において、動画像データＱの各フレームに挿入されている混合処理時の係数セットに基づいて算出されて用いられる。
ＭＣＦＩ部２０６は、ポストプロセッサ２０５で得られたハイフレームレートの動画像データＲに、動き補償のフレーム補間処理を施して、フレームレートをさらに高めた動画像データを得る。なお、このＭＣＦＩ部２０６を有していない場合もある。パネル表示部２０７は、ポストプロセッサ２０５で得られたハイフレームレートの動画像データＲまたはＭＣＦＩ部２０６でフレームレートが高められた動画像データによる画像表示をする。
図１９に示すテレビ受信機２００Ａの動作を簡単に説明する。受信部２０２では、受信アンテナで受信されたＲＦ変調信号が復調され、トランスポートストリームＴＳが取得される。このトランスポートストリームＴＳは、デマルチプレクサ２０３に送られる。デマルチプレクサ２０３では、トランスポートストリームＴＳから、ＰＩＤのフィルタリングによって、基本ストリームＳＴｂおよび拡張ストリームＳＴｅが取り出され、デコーダ２０４に供給される。
デコーダ２０４では、基本ストリームＳＴｂと拡張ストリームＳＴｅに復号化処理が施されて、ノーマルフレームレートの各フレームの画像データＱｂおよびハイフレームレートの各拡張フレームの画像データＱｅからなる混合処理後のハイフレームレートの動画像データＱが得られる。この動画像データＱは、ポストプロセッサ２０５に供給される。
また、デコーダ２０４では、基本ストリームＳＴｂ、拡張ストリームＳＴｅを構成する各アクセスユニットに挿入されているパラメータセットやＳＥＩが抽出され、制御部２０１に送られる。この場合、混合割合の情報を持つブレンディング・インフォメーション・ＳＥＩ（図１３参照）も抽出される。制御部２０１では、各フレームにおける混合割合の情報（係数セット）の情報に基づいて、逆混合処理のための係数が演算される。
ポストプロセッサ２０５では、制御部２０１の制御のもと、ハイフレームレートの動画像データＱに逆混合処理（混合解除処理）が施され、混合解除されたハイフレームレートの動画像データＲが得られる。この場合、制御部２０１からポストプロセッサ２０５に、逆混合処理のための係数が与えられる。
ホストプロセッサ２０５で得られた混合解除されたハイフレームレートの動画像データＲ、あるいはさらにＭＣＦＩ部２０６でフレームレートが高められた動画像データはパネル表示部２０７に供給され、パネル表示部２０７には当該動画像データによる画像表示がされる。
図２０は、ノーマルフレームレート（６０Ｈｚ）の動画像データを処理可能なデコード能力があるテレビ受信機２００Ｂの構成例を示している。このテレビ受信機２００Ｂは、制御部２０１Ｂと、受信部２０２Ｂと、デマルチプレクサ２０３Ｂと、デコーダ２０４Ｂと、ＭＣＦＩ部２０６Ｂと、パネル表示部２０７Ｂを有している。
制御部２０１Ｂは、テレビ受信機２００Ｂの各部の動作を制御する。受信部２０２Ｂは、受信アンテナで受信されたＲＦ変調信号を復調し、トランスポートストリームＴＳを取得する。デマルチプレクサ２０３Ｂは、トランスポートストリームＴＳから、ＰＩＤのフィルタリングによって、基本ストリームＳＴｂを取り出し、デコーダ２０４Ｂに供給する。デコーダ２０４Ｂは、基本ストリームＳＴｂに復号化処理を施して、ノーマルフレームレートの各フレームの画像データＱｂからなるノーマルフレームレートの動画像データを得る。
ＭＣＦＩ部２０６Ｂは、このノーマルフレームレートの動画像データに、動き補償のフレーム補間処理を施して、フレームレートをさらに高めた動画像データを得る。なお、このＭＣＦＩ部２０６Ｂを有していない場合もある。パネル表示部２０７Ｂは、ポストプロセッサ２０５で得られたノーマルフレームレートの動画像データＲまたはＭＣＦＩ部２０６Ｂでフレームレートが高められた動画像データによる画像表示をする。
図２０に示すテレビ受信機２００Ｂの動作を簡単に説明する。受信部２０２Ｂでは、受信アンテナで受信されたＲＦ変調信号が復調され、トランスポートストリームＴＳが取得される。このトランスポートストリームＴＳは、デマルチプレクサ２０３Ｂに送られる。デマルチプレクサ２０３Ｂでは、トランスポートストリームＴＳから、ＰＩＤのフィルタリングによって、基本ストリームＳＴｂが取り出され、デコーダ２０４Ｂに供給される。
デコーダ２０４Ｂでは、基本ストリームＳＴｂに復号化処理が施されて、ノーマルフレームレートの各フレームの画像データＱｂからなるノーマルフレームレートの動画像データが得られる。デコーダ２０４Ｂで得られたノーマルフレームレートの動画像データ、あるいはさらにＭＣＦＩ部２０６Ｂでフレームレートが高められた動画像データはパネル表示部２０７Ｂに供給され、パネル表示部２０７Ｂには当該動画像データによる画像表示がされる。
以上説明したように、図１に示す送受信システム１０においては、ハイフレームレートの動画像データを構成する各フレームの画像データのうち少なくともノーマルフレームレートに対応したフレームの画像データは周辺フレームの画像データと混合されてシャッタ開口率が高められた状態とされており、このノーマルフレームレートに対応したフレームの画像データが符号化されて得られた基本ストリームＳＴｂが送信される。
そのため、ノーマルフレームレートの動画像データを処理可能なデコード能力があるテレビ受信機２００Ｂの場合、基本ストリームを処理してノーマルフレームレートの動画像データを得ることで、動画像として滑らかな画像を表示でき、また、表示処理において低負荷演算によるフレーム補間処理で画質的な問題を引き起こすことが回避可能となる。
また、図１に示す送受信システム１０においては、基本ストリームＳＴｂと共に、残りのフレームの画像データが符号化されて得られた拡張ストリームＳＴｅが得られ。これらの基本ストリームＳＴｂおよび拡張ストリームＳＴｅにそれぞれのフレームの画像データに関連付けられて対応するフレームの混合割合の情報（係数セット）が挿入されて送信される。そのため、ハイフレームレートの動画像データを処理可能なデコード能力がある受信機の場合、各フレームの混合割合の情報に基づいて混合解除されたハイフレームレートの動画像データを容易に得ることができ、ハイフレームレートの動画像表示を良好に行うことができる。
＜２．変形例＞
なお、上述実施の形態においては、送信装置１００とテレビ受信機２００からなる送受信システム１０の例を示したが、本技術を適用し得る送受信システムの構成は、これに限定されるものではない。テレビ受信機２００の部分が、例えばＨＤＭＩ（High-Definition Multimedia Interface）などのデジタルインタフェースで接続されたセットトップボックスおよびディスプレイとされる場合も考えられる。なお、「ＨＤＭＩ」は登録商標である。
図２１は、送受信システム１０Ａの構成例を示している。この送受信システム１０Ａは、送信装置１００と、セットトップボックス（ＳＴＢ）２００-1と、ディスプレイ２００-2を有する構成となっている。セットトップボックス（ＳＴＢ）２００-1とディスプレイ２００-2はＨＤＭＩで接続されている。
送信装置１００は、図１に示す送受信システム１０における送信装置１００と同じであるので、その説明は省略する。セットトップボックス２００-1は、送信装置１００から放送波に載せて送られてくるトランスポートストリームＴＳを受信する。
セットトップボックス２００-1は、ディスプレイ２００-2がハイフレームレート（１２０Ｈｚあるいは２４０Ｈｚ）の動画像データの取り扱いが可能である場合、トランスポートストリームＴＳに含まれる基本ストリームＳＴｂおよび拡張ストリームＳＴｅの双方を処理して、混合処理されているハイフレームレートの動画像データＱを得る。
セットトップボックス２００-1は、ディスプレイ２００-2が逆混合処理（混合解除処理）の機能を持つ場合には、混合処理されているハイフレームレートの動画像データＱと、各フレームの混合割合の情報（係数セット）を、ＨＤＭＩ伝送路を介して、ディスプレイ２００-2に送る。
また、セットトップボックス２００-1は、ディスプレイ２００-2が逆混合処理（混合解除処理）の機能を持たない場合には、混合処理されているハイフレームレートの動画像データＱに対して各フレームの混合割合の情報（係数セット）に基づいて逆混合処理（混合解除処理）を行って、混合解除されたハイフレームレートの動画像データＲを得る。そして、セットトップボックス２００-1は、このハイフレームレートの動画像データＲを、ＨＤＭＩ伝送路を介して、ディスプレイ２００-2に送る。
一方、セットトップボックス２００-1は、ディスプレイ２００-2がノーマルフレームレート（６０Ｈｚ）の動画像データの取り扱いが可能である場合、トランスポートストリームＴＳに含まれる基本ストリームＳＴｂのみを処理して、ノーマルフレームレートの各フレームの画像データＱｂからなるノーマルフレームレートの動画像データを得る。そして、セットトップボックス２００-1は、このノーマルフレームレートの動画像データを、ＨＤＭＩ伝送路を介して、ディスプレイ２００-2に送る。
ソース機器であるセットトップボックス２００-1は、シンク機器であるディスプレイ２００-2からＥＤＩＤを取得し、ディスプレイ２００-2がハイフレームレート（１２０Ｈｚあるいは２４０Ｈｚ）の動画像データの取り扱いが可能か否かの判断、さらにはディスプレイ２００-2が逆混合処理（混合解除処理）の機能を持つか否かを判断する。
図２２のフローチャートは、セットトップボックス２００-1の制御部（ＣＰＵ）における制御処理手順の一例を示している。まず、制御部は、ステップＳＴ１において、制御処理を開始する。次に、制御部は、ステップＳＴ２において、ディスプレイ２００-2からＥＤＩＤを読み出してチェックする。そして、制御部は、ステップＳＴ３において、ディスプレイ２００-2がハイフレームレート（１２０Ｈｚあるいは２４０Ｈｚ）の動画像データの取り扱いが可能か否かを判断する。
取扱いが可能でないとき、制御部は、ステップＳＴ４において、基本ストリームＳＴｂのみをデコードし、ノーマルフレームレートの各フレームの画像データＱｂからなるノーマルフレームレートの動画像データをセットトップボックス２００-1に送信する。制御部は、このステップＳＴ４の処理の後、ステップＳＴ５において、制御処理を終了する。
また、ステップＳＴ３でディスプレイ２００-2がハイフレームレートの動画像データの取り扱いが可能であるとき、制御部は、ステップＳＴ６において、基本ストリームＳＴｂおよび拡張ストリームＳＴｅをデコードする。
次に、制御部は、ステップＳＴ７において、ディスプレイ２００-2が逆混合処理（混合解除処理）の機能を持つか否かを判断する。逆混合処理の機能を持たないとき、制御部は、ステップＳＴ８において、セットトップボックス２００-1側で逆混合処理をすることに決定し、混合解除されたハイフレームレートの動画像データＲをセットトップボックス２００-1に送信する。制御部は、このステップＳＴ８の処理の後、ステップＳＴ５において、制御処理を終了する。
また、ステップＳＴ７でディスプレイ２００-2が逆混合処理の機能を持つとき、制御部は、ステップＳＴ９において、ディスプレイ２００-2側で逆混合処理をすることに決定し、混合処理されているハイフレームレートの動画像データＱと、各フレームの混合割合の情報（係数セット）を、ＨＤＭＩ伝送路を介して、ディスプレイ２００-2に送る。制御部は、このステップＳＴ９の処理の後、ステップＳＴ５において、制御処理を終了する。
図２３は、送信装置１００、セットトップボックス２００-1およびディスプレイ２００-2の処理の概要を示している。なお、送信装置１００のプリプロセッサ１０２の出力の画像シーケンスＱとセットトップボックス２００-1のデコーダ２０４の出力の画像シーケンスＱとは、時系列的には同じものであるが、コーデックを通しているので両者の画質が異なる場合も含む。送信装置１００については、図４で説明したと同様であるので、ここではその説明を省略する。セットトップボックス２００-1では、ハイフレームレート（１２０Ｈｚあるいは２４０Ｈｚ）の動画像データの取り扱いが可能なディスプレイ２００-2Aが接続されている場合、デコーダ２０４において、２つのストリームＳＴｂ，ＳＴｅに復号化処理が施されて、ノーマルフレームレートの各フレームの画像データＱｂと、ハイフレームレートの各拡張フレームの画像データＱｅとからなる混合処理がされている動画像データＱが得られる。
また、セットトップボックス２００-1では、ディスプレイ２００-2Aが逆混合処理（混合解除処理）の機能を持つ場合、動画像データＱと、各フレームの混合割合の情報（係数セット）が、ＨＤＭＩ伝送路を介して、ディスプレイ２００-2Aに送信される。図示の例は、ディスプレイ２００-2Aがポストプロセッサ２０５を備えており、ディスプレイ２００-2Aが逆混合処理（混合解除処理）の機能を持つ場合を示している。また、図２４（ａ）は、この場合の状態を示している。
また、セットトップボックス２００-1では、ディスプレイ２００-2Aが逆混合処理（混合解除処理）の機能を持たない場合、自身が持つポストプロセッサ２０５により、動画像データＱに逆混合処理（混合解除処理）が施され、混合解除されたハイフレームレートの動画像データＲが得られる。そして、セットトップボックス２００-1では、この動画像データＲが、ＨＤＭＩ伝送路を介して、ディスプレイ２００-2Aに送信される。図２４（ｂ）は、この場合の状態を示している。
また、セットトップボックス２００-1では、ノーマルフレームレート（６０Ｈｚ）の動画像データの取り扱いが可能なディスプレイ２００-2Bが接続されている場合、デコーダ２０４において、ストリームＳＴｂに復号化処理が施されて、ノーマルフレームレートの各フレームの画像データＱｂからなるノーマルフレームレートの動画像データが得られる。そして、セットトップボックス２００-1では、この動画像データが、ＨＤＭＩ伝送路を介して、ディスプレイ２００-2Bに送信される。
セットトップボックス２００-1は、上述したように、ハイフレームレート（１２０Ｈｚあるいは２４０Ｈｚ）の動画像データの取り扱いが可能であって逆混合処理（混合解除処理）の機能を持つディスプレイ２００-2Aに、混合処理がされている動画像データＱと、各フレームの混合割合の情報（係数セット）を、ＨＤＭＩ伝送路を介して、送信する。
この場合、混合割合の情報（係数セット）は、例えば、動画像データＱのブランキング期間に挿入して送信する。ここでは、新規定義するＨＦＲ・ブレンディング・インフォフレーム（HFR Blending InfoFrame）を使用する。
図２５は、ＨＦＲ・ブレンディング・インフォフレームの構造例（Syntax）を示し、図２６、図２７は、その構造例における主要な情報の内容（Semantics）を示している。このインフォフレームの最初の３バイトはヘッダ部分であり、インフォフレームタイプ、バージョンナンバー、データバイトのバイト長の情報が配置されている。
データバイト１（Data Byte 1）の第７ビットから第５ビットに「frame_rate」の３ビット情報が配置されている。この３ビット情報は、フレームレートを示す。例えば、“３”は１２０Ｈｚを示し、“５”は２４０Ｈｚを示す。また、データバイト１（Data Byte 1）の第４ビットに、「blending_flag」の１ビット情報が配置されている。この１ビット情報は、周辺画像データとの混合処理の適用があるか否かを示す。例えば、“０”は適用なしを示し、“１”は適用ありを示す。
また、データバイト１（Data Byte 1）の第３ビットから第２ビットに「temporal_filter_taps」の２ビット情報が配置されている。この２ビット情報は、混合処理を行うフィルタの構成情報であり、使用フレーム数（タップ数）を示す。例えば、“０”は２フレーム（２タップ）を示し、“１”は３フレーム（３タップ）を示す。
また、データバイト１（Data Byte 1）の第１ビットに「first_frame_in_frame-pair_flag（ＦＦ）」の１ビット情報が配置されている。この１ビット情報は、フレームペア（frame-pair）の最初のフレームであるか、つまりノーマルフレームレートに対応したフレームであるか否かを示す。例えば、“０”は最初のフレーム以外であることを示し、“１”は最初のフレームであることを示す。
また、データバイト１（Data Byte 1）の第０ビットに「Synchronized Frame (SF)」の１ビット情報が配置されている。この１ビット情報は、次のビデオフレームとの同期処理が必須であるか否かを示す。例えば、“０”は次のビデオフレームとの同期処理が必須でないことを示し、“１”は次のビデオフレームとの同期処理が必須であることを示す。
また、データバイト２（Data Byte 2）の第７ビットから第５ビットに「blending_refresh_distance (BR distance)」の３ビット情報が配置されている。この３ビット情報は、時間的に前のフレームの画像データは用いないで、混合処理の時間的連鎖をリフレッシュするまでのフレーム数（時間的距離）を示す。例えば、“０”は１フレームを示し、“１”は２フレームを示し、“２”は３フレームを示す。
また、データバイト２（Data Byte 2）の第４ビットに「refresh_flag」の１ビット情報が配置されている。この１ビット情報は、上記の混合処理の時間的連鎖のリフレッシュをするフレームであるか否かを示す。例えば、“０”は混合リフレッシュをしないフレームであることを示し、“１”は混合リフレッシュするフレームであることを示す。
また、データバイト３（Data Byte 3）からデータバイト７（Data Byte 7）に、１番目から５番目のピクチャフレームに対するブレンド比（係数）が配置される。ここで、何番目まで配置するかは、「temporal_filter_taps」のフィールドで示されるフレーム数（タップ数）に対応する。例えば、“０ｘ０”は「０」を示し、“０ｘ１”は「１/５」を示し、“０ｘ２”は「１/４」を示し、“０ｘ３”は「１/３」を示し、“０ｘ４”は「１/２」を示し、“０ｘ５”は「２/３」を示し、“０ｘ６”は「３/４」を示し、“０ｘ７”は「４/５」を示し、“０ｘ８”は「１」を示す。
セットトップボックス２００-1では、Synchronized Frame以外の情報、すなわちＨＦＲ・ブレンディング・インフォフレームに含める「frame_rate」、「blending_flag」、「temporal_filter_taps」、「first_frame_in_frame-pair_flag」、「blending_refresh_distance (BR distance)」、「refresh_flag」の情報として、ブレンディング・インフォメーション・ＳＥＩメッセージ（図１３参照）に含まれている情報がそのまま使用される。
図２８は、セットトップボックス２００-1の構成例を示している。この図２８において、図１９と対応する部分には同一符号を付して示している。このセットトップボックス２００-1は、制御部２０１-1と、受信部２０２と、デマルチプレクサ２０３と、デコーダ２０４と、ポストプロセッサ２０５と、ＨＤＭＩ送信部２０８を有している。
制御部２０１-1は、セットトップボックス２００-1の各部の動作を制御する。受信部２０２は、受信アンテナで受信されたＲＦ変調信号を復調し、トランスポートストリームＴＳを取得し、デマルチプレクサ２０３に送る。
デマルチプレクサ２０３は、ディスプレイ２００-2がハイフレームレート（１２０Ｈｚあるいは２４０Ｈｚ）の動画像データの取り扱いが可能であるか否かにより、ＰＩＤのフィルタリングによって、基本ストリームＳＴｂおよび拡張ストリームＳＴｅの双方を取り出すか、基本ストリームＳＴｂを取り出す。
デコーダ２０４は、デマルチプレクサ２０３で基本ストリームＳＴｂおよび拡張ストリームＳＴｅが取り出されるとき、基本ストリームＳＴｂに復号化処理を施してノーマルフレームレートの各フレームの画像データＱｂを得ると共に、拡張ストリームＳＴｅに復号化処理を施してハイフレームレートの各拡張フレームの画像データＱｅを得る。つまり、画像データＱｂと画像データＱｅとからなる混合処理がされているハイフレームレートの動画像データＱを得る。
また、このとき、デコーダ２０４は、基本ストリームＳＴｂ、拡張ストリームＳＴｅを構成する各アクセスユニットに挿入されているパラメータセットやＳＥＩを抽出し、制御部２０１-1に送る。この場合、混合割合の情報を持つブレンディング・インフォメーション・ＳＥＩ（図１３参照）も抽出される。
これにより、制御部２０１-1は、混合処理後のハイフレームレートの動画像データＱの各フレームの画像データがいかなる割合で周辺の画像データと混合されて得られたものであるかを把握して、逆混合処理のための係数を求めることができ、後述するポストプロセッサ２０５の制御を良好に行うことが可能となる。また、制御部２０１-1は、ディスプレイ２００-2にＨＦＲ・ブレンディング・インフォフレームを送信するとき、それに配置する各種情報を、ブレンディング・インフォメーション・ＳＥＩから得ることが可能となる。
また、デマルチプレクサ２０３で基本ストリームＳＴｂのみが取り出されるとき、基本ストリームＳＴｂに復号化処理を施して、ノーマルフレームレートの各フレームの画像データＱｂからなるノーマルフレームレートの動画像データを得る。
ポストプロセッサ２０５は、ディスプレイ２００-2がハイフレームレートの動画像データの取り扱いが可能であって、逆混合処理の機能を持っていない場合に、デコーダ２０４で得られたハイフレームレートの動画像データＱに、逆混合処理（混合解除処理）を施して、混合解除されたハイフレームレートの動画像データＲを得る。
ＨＤＭＩ送信部２０８は、ＨＤＭＩに準拠した通信により、ＨＤＭＩ伝送路を介して、ディスプレイ２００-2に非圧縮の動画像データを送信する。ここで、ディスプレイ２００-2がハイフレームレートの動画像データの取り扱いが可能であって、逆混合処理の機能を持っていない場合には、ポストプロセッサ２０５で得られた混合解除されたハイフレームレートの動画像データＲを、ＨＤＭＩ伝送路を介して、ディスプレイ２００-2に送信する。
また、ディスプレイ２００-2がハイフレームレートの動画像データの取り扱いが可能であって、逆混合処理の機能を持っている場合には、デコーダ２０４で得られた混合処理されてハイフレームレートの動画像データＱを、ＨＤＭＩ伝送路を介して、ディスプレイ２００-2に送信する。この場合、ディスプレイ２００-2側で逆混合処理をすることになるので、混合割合の情報を含むＨＦＲ・ブレンディング・インフォフレーム（図２５参照）を、動画像データＱを構成する各フレームの画像データのブランキング期間に挿入して送信する。
また、ディスプレイ２００-2がノーマルフレームレートの動画像データの取り扱いが可能である場合には、デコーダ２０４で得られたノーマルフレームレートの各フレームの画像データＱｂからなるノーマルフレームレートの動画像データを、ＨＤＭＩ伝送路を介して、ディスプレイ２００-2に送信する。
図２９は、ハイフレームレートの動画像データを取り扱うディスプレイ２００-2Aの構成例を示している。この図２９において、図１９と対応する部分には同一符号を付して示している。このディスプレイ２００-2Aは、制御部２０１-2Aと、ＨＤＭＩ受信部２０９と、ポストプロセッサ２０５と、ＭＣＦＩ部２０６と、パネル表示部２０７を有している。なお、ポストプロセッサ２０５を有しない場合もある
制御部２０１-2Aは、ディスプレイ２００-2Aの各部の動作を制御する。ＨＤＭＩ受信部２０９は、ＨＤＭＩに準拠した通信により、セットトップボックス２００-1から、ＨＤＭＩ伝送路を介して、非圧縮のハイフレームレートの動画像データを受信する。ここで、ポストプロセッサ２０５が存在しない場合には、混合解除されハイフレームレートの動画像データＲを受信する。
一方、ポストプロセッサ２０５が存在する場合には、混合処理がされているハイフレームレートの動画像データＱを受信する。この場合、動画像データＱのブランキング期間に挿入されているＨＦＲ・ブレンディング・インフォフレーム（図２５参照）が抽出され、制御部２０１-2Aに送られる。これにより、制御部２０１-2Aは、混合処理後のハイフレームレートの動画像データＱの各フレームの画像データがいかなる割合で周辺の画像データと混合されて得られたものであるかを把握して、逆混合処理のための係数を求めることができ、後述するポストプロセッサ２０５の制御を良好に行うことが可能となる。
ポストプロセッサ２０５は、制御部２０１-2Aの制御のもと、ＨＤＭＩ受信部２０８で受信されたハイフレームレートの動画像データＱに、逆混合処理（混合解除処理）を施して、混合解除されたハイフレームレートの動画像データＲを得る。
ＭＣＦＩ部２０６は、ＨＤＭＩ受信部２０９で受信された、あるいはポストプロセッサ２０５で得られたハイフレームレートの動画像データＲに、動き補償のフレーム補間処理を施して、フレームレートをさらに高めた動画像データを得る。なお、このＭＣＦＩ部２０６を有していない場合もある。パネル表示部２０７は、ポストプロセッサ２０５で得られたハイフレームレートの動画像データＲまたはＭＣＦＩ部２０６でフレームレートが高められた動画像データによる画像表示をする。
図３０は、ノーマルフレームレートの動画像データを取り扱うディスプレイ２００-2Bの構成例を示している。この図３０において、図１９と対応する部分には同一符号を付して示している。このディスプレイ２００-2Bは、制御部２０１-2Bと、ＨＤＭＩ受信部２０９Ｂと、ＭＣＦＩ部２０６Ｂと、パネル表示部２０７Ｂを有している。
制御部２０１-2Bは、ディスプレイ２００-2Bの各部の動作を制御する。ＨＤＭＩ受信部２０９Ｂは、ＨＤＭＩに準拠した通信により、セットトップボックス２００-1から、ＨＤＭＩ伝送路を介して、非圧縮のノーマルフレームレートの動画像データを受信する。
ＭＣＦＩ部２０６Ｂは、ＨＤＭＩ受信部２０９Ｂで受信されたノーマルフレームレートの動画像データに、動き補償のフレーム補間処理を施して、フレームレートを高めた動画像データを得る。なお、このＭＣＦＩ部２０６Ｂを有していない場合もある。パネル表示部２０７Ｂは、ＨＤＭＩ受信部２０９Ｂで受信されたノーマルフレームレートの動画像データまたはＭＣＦＩ部２０６Ｂでフレームレートが高められた動画像データによる画像表示をする。
このように図２１に示す送受信システム１０Ａにおいては、ディスプレイ２００-2に混合処理されているハイフレームレートの動画像データＱを送信する場合、各フレームの混合割合の情報を含むＨＦＲ・ブレンディング・インフォフレームを同時に送信する。そのため、ディスプレイ２００-2では、各フレームの混合割合の情報に基づいてハイフレームレートの動画像データＱに逆混合処理を施して、混合解除された動画像データを容易に得ることができ、良好な動画像表示を行うことができる。
また、上述実施の形態においては、ハイフレームレートが１２０Ｈｚあるいは２４０Ｈｚでノーマルフレームレートが６０Ｈｚの例を示したが、フレームレートの組み合わせは、これに限定されるものではない。例えば、１００Ｈｚあるいは２００Ｈｚと５０ｆｐｓの組み合わせでも同様である。
また、上述実施の形態においては、送信装置１００およびテレビ受信機２００からなる送受信システム１０、さらには送信装置１００、セットトップボックス２００-1およびディスプレイ２００-2からなる送受信システム１０Ａを示したが、本技術を適用し得る送受信システムの構成は、これに限定されるものではない。
また、上述実施の形態においては、コンテナがトランスポートストリーム（ＭＰＥＧ－２ ＴＳ）である例を示した。しかし、本技術は、インターネット等のネットワークを利用して受信端末に配信される構成のシステムにも同様に適用できる。インターネットの配信では、ＭＰ４やそれ以外のフォーマットのコンテナで配信されることが多い。つまり、コンテナとしては、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ－２ ＴＳ）あるいはＭＭＴ（MPEG Media Transport）、インターネット配信で使用されているＩＳＯＢＭＦＦ（ＭＰ４）などの種々のフォーマットのコンテナが該当する。
また、本技術は、以下のような構成を取ることもできる。
（１）第１のフレームレートの第１の動画像データの各フレームの画像データにフレーム毎に独立した混合割合で周辺のフレームの画像データを混合する処理を施して上記第１のフレームレートの第２の動画像データを得る処理部を備え、
上記第２の動画像データを構成する各フレームの画像データのうち少なくとも上記第１のフレームレートより低い第２のフレームレートに対応したフレームの画像データは周辺フレームの画像データと混合された状態とされ、
上記第２のフレームレートに対応したフレームの画像データを符号化して基本ストリームを得ると共に、残りのフレームの画像データを符号化して拡張ストリームを得る符号化部と、
上記基本ストリームおよび上記拡張ストリームにそれぞれのフレームの画像データに関連付けて対応するフレームの上記混合割合の情報を挿入する挿入部と、
上記混合割合の情報が挿入された上記基本ストリームおよび上記拡張ストリームを含むコンテナを送信する送信部をさらに備える
送信装置。
（２）上記基本ストリームおよび上記拡張ストリームはＮＡＬユニット構造を有し、
上記挿入部は、
上記混合割合の情報を持つＳＥＩ ＮＡＬユニットを、上記基本ストリームおよび上記拡張ストリームに挿入する
前記（１）に記載の送信装置。
（３）上記第１のフレームレートは１２０Ｈｚまたは２４０Ｈｚであり、上記第２のフレームレートは６０Ｈｚである
前記（１）または（２）に記載の送信装置。
（４）上記混合割合の情報には、混合処理を行ったフィルタの構成情報が付加されている
前記（１）から（３）のいずれかに記載の送信装置。
（５）上記混合割合の情報には、時間的に前のフレームの画像データは用いない混合リフレッシュまでのフレーム数を示す混合リフレッシュ情報が付加されている
前記（１）から（４）のいずれかに記載の送信装置。
（６）上記混合割合を示す情報には、上記混合リフレッシュをするフレームであるか否かを示すリフレッシュフラグ情報が付加されている
前記（１）から（５）のいずれかに記載の送信装置。
（７）上記混合割合の情報には、上記第２のフレームレートに対応したフレームであるか否かを示す先頭フラグ情報が付加されている
前記（１）から（６）のいずれかに記載の送信装置。
（８）処理部が、第１のフレームレートの第１の動画像データの各フレームの画像データにフレーム毎に独立した混合割合で周辺のフレームの画像データを混合する処理を施して上記第１のフレームレートの第２の動画像データを得る処理ステップを有し、
上記第２の動画像データを構成する各フレームの画像データのうち少なくとも上記第１のフレームレートより低い第２のフレームレートに対応したフレームの画像データは周辺フレームの画像データと混合された状態とされ、
符号化部が、上記第２のフレームレートに対応したフレームの画像データを符号化して基本ストリームを得ると共に、残りのフレームの画像データを符号化して拡張ストリームを得る符号化ステップと、
挿入部が、上記基本ストリームおよび上記拡張ストリームにそれぞれのフレームの画像データに関連付けて対応するフレームの上記混合割合の情報を挿入する挿入ステップと、
送信部が、上記混合割合の情報が挿入された上記基本ストリームおよび上記拡張ストリームを含むコンテナを送信する送信ステップをさらに有する
送信方法。
（９）基本ストリームおよび拡張ストリームを含むコンテナを受信する受信部を備え、
上記基本ストリームは、第１のフレームレートの第１の動画像データの各フレームの画像データにフレーム毎に独立した混合割合で周辺のフレームの画像データを混合する処理を施して得られた上記第１のフレームレートの第２の動画像データを構成する各画像データのうち上記第１のフレームレートより低い第２のフレームレートに対応したフレームの画像データであって少なくとも周辺フレームの画像データと混合された状態にある画像データを符号化して得られたものであり、上記拡張ストリームは、残りのフレームの画像データを符号化して得られたものであり、
上記基本ストリームおよび上記拡張ストリームにそれぞれのフレームの画像データに関連付けて対応するフレームの上記混合割合の情報が挿入されており、
表示能力に応じて、上記基本ストリームを復号化して上記第２のフレームレートの動画像データを得るか、あるいは上記基本ストリームおよび上記拡張ストリームを復号化して上記第２の動画像データを得、該第２の動画像データに上記混合割合の情報に基づいて逆混合処理を施して混合解除された第１のフレームレートの動画像データを得る処理部をさらに備える
受信装置。
（１０）受信部が、基本ストリームおよび拡張ストリームを含むコンテナを受信する受信ステップを有し、
上記基本ストリームは、第１のフレームレートの第１の動画像データの各フレームの画像データにフレーム毎に独立した混合割合で周辺のフレームの画像データを混合する処理を施して得られた上記第１のフレームレートの第２の動画像データを構成する各画像データのうち少なくとも上記第１のフレームレートより低い第２のフレームレートに対応したフレームの画像データであって周辺フレームの画像データと混合された状態とされたにある画像データを符号化して得られたものであり、上記拡張ストリームは、残りのフレームの画像データを符号化して得られたものであり、
上記基本ストリームおよび上記拡張ストリームにそれぞれのフレームの画像データに関連付けて対応するフレームの上記混合割合の情報が挿入されており、
処理部が、表示能力に応じて、上記基本ストリームを復号化して上記第２のフレームレートの動画像データを得るか、あるいは上記基本ストリームおよび上記拡張ストリームを復号化して上記第２の動画像データを得、該第２の動画像データに上記混合割合の情報に基づいて逆混合処理を施して混合解除された第１のフレームレートの動画像データを得る処理ステップをさらに有する
受信方法。
（１１）第１の動画像データの各フレームの画像データにフレーム毎に独立した混合割合で周辺のフレームの画像データを混合する処理を施して得られた第２の動画像データを取得する取得部と、
上記第２の動画像データと、各フレームの混合割合の情報を、伝送路を介して、外部機器に送信する送信部を備える
送信装置。
（１２）上記混合割合の情報には、次のビデオフレームとの同期が必須であるか否かを示す同期フレーム情報が付加されている
前記（１１）に記載の送信装置。
（１３）上記送信部は、上記各フレームの混合割合の情報をそれぞれ上記第２の動画像データの各フレームの画像データのブランキング期間に挿入して送信する
前記（１１）または（１２）に記載の送信装置。
（１４）上記第２の動画像データの各フレームの画像データに上記混合割合の情報に基づいて逆混合処理を施して第３の動画像データを得る処理部をさらに備え、
上記送信部は、上記外部機器が上記逆混合処理の機能を持っていないとき、上記第２の動画像データの代わりに、上記第３の動画像データを送信する
前記（１１）から（１３）のいずれかに記載の送信装置。
（１５）上記第２の動画像データは第１のフレームレートの動画像データであり、
上記第２の動画像データを構成する各フレームの画像データのうち少なくとも上記第１のフレームレートより低い第２のフレームレートに対応したフレームの画像データは周辺フレームの画像データと混合された状態にあり、
上記送信部は、上記外部機器の表示可能なフレームレートが上記第２のフレームレートであるとき、上記第２の動画像データの代わりに、上記第２のフレームレートに対応したフレームの画像データからなる第４の動画像データを送信する
前記（１１）から（１４）のいずれかに記載の送信装置。
（１６）取得部が、第１の動画像データの各フレームの画像データにフレーム毎に独立した混合割合で周辺のフレームの画像データを混合する処理を施して得られた第２の動画像データを取得する取得ステップと、
送信部が、上記第２の動画像データと、各フレームの混合割合の情報を、伝送路を介して、外部機器に送信する送信ステップを有する
送信方法。
（１７）外部機器から、伝送路を介して、第１の動画像データの各フレームの画像データにフレーム毎に独立した混合割合で周辺のフレームの画像データを混合する処理を施して得られた第２の動画像データと、各フレームの混合割合の情報を受信する受信部と、
上記第２の動画像データの各フレームの画像データに上記混合割合の情報に基づいて逆混合処理を施して混合解除された動画像データを得る処理部を備える
受信装置。
（１８）受信部が、外部機器から、伝送路を介して、第１の動画像データの各フレームの画像データにフレーム毎に独立した混合割合で周辺のフレームの画像データを混合する処理を施して得られた第２の動画像データと、各フレームの混合割合の情報を受信する受信ステップと、
処理部が、上記第２の動画像データの各フレームの画像データに上記混合割合の情報に基づいて逆混合処理を施して混合解除された動画像データを得る処理ステップを有する
受信方法。
本技術の主な特徴は、ハイフレームレートの動画像データを構成する各フレームの画像データのうち少なくともノーマルフレームレートに対応したフレームの画像データを周辺フレームの画像データと混合して開口率が高めた状態とし、ノーマルフレームレートに対応したフレームの画像データを符号化して得られた基本ストリームＳＴｂを送信することで、受信側において、基本ストリームを処理してノーマルフレームレートの動画像データを得て滑らかな画像表示を容易に実現可能としたことである（図４参照）。また、基本ストリームＳＴｂと共に、残りのフレームの画像データが符号化されて得られた拡張ストリームＳＴｅを得て、これらにフレームの混合割合の情報（係数セット）を挿入して送信することで、受信側において、混合解除されたハイフレームレートの動画像データを容易に得ることができ、ハイフレームレートの動画像表示を良好に行い得るようにしたことである（図４参照）。
１０，１０Ａ・・・送受信システム
８１・・・カメラ
８２・・・ＨＦＲプロセッサ
１００・・・送信装置
１０１・・・制御部
１０２・・・プリプロセッサ
１０２ａ，１０２ｂ・・・遅延素子
１０２ｃ，１０２ｃ，１０２ｄ・・・係数器
１０２ｆ・・・加算器
１０２ｇ・・・フレーム出力切り替え器
１０３・・・エンコーダ
１０４・・・マルチプレクサ
１０５・・・送信部
２００，２００Ａ，２００Ｂ・・・テレビ受信機
２００-1・・・セットトップボックス
２００-2，２００-2A，２００-2B・・・ディスプレイ
２０１，２０１-1，２０１-2A，２０１-2B・・・制御部
２０２，２０２Ｂ・・・受信部
２０３，２０３Ｂ・・・デマルチプレクサ
２０４，２０４Ｂ・・・デコーダ
２０５・・・ポストプロセッサ
２０５ａ，２０５ｂ・・・遅延素子
２０５ｃ，２０５ｃ，２０５ｄ・・・係数器
２０５ｆ・・・加算器
２０５ｇ・・・フレーム出力切り替え器
２０６，２０６Ｂ・・・ＭＣＦＩ部
２０７，２０７Ｂ・・・パネル表示部
２０８，２０８Ｂ・・・ＨＤＭＩ送信部
２０９・・・ＨＤＭＩ受信部

Claims (9)

  1. 第１のフレームレートの第１の動画像データの各フレームの画像データにフレーム毎に独立した混合割合で周辺のフレームの画像データを混合する混合処理を施して上記第１のフレームレートの第２の動画像データを得る処理部を備え、
    上記第２の動画像データを構成する各フレームの画像データのうち少なくとも上記第１のフレームレートより低い第２のフレームレートに対応したフレームの画像データは周辺フレームの画像データと混合された状態とされ、
    上記第２のフレームレートに対応したフレームの画像データを符号化して基本ストリームを得ると共に、残りのフレームの画像データを符号化して拡張ストリームを得る符号化部と、
    上記基本ストリームおよび上記拡張ストリームにそれぞれのフレームの画像データに関連付けて混合情報を挿入する挿入部と、
    上記混合情報が挿入された上記基本ストリームおよび上記拡張ストリームを含むコンテナを送信する送信部をさらに備え、
    上記混合情報は、上記混合処理を行ったフィルタの使用フレーム数の情報と各使用フレームの画像データに乗算した係数の情報を含む
    送信装置。
  2. 上記基本ストリームおよび上記拡張ストリームはＮＡＬユニット構造を有し、
    上記挿入部は、
    上記混合情報を持つＳＥＩ ＮＡＬユニットを、上記基本ストリームおよび上記拡張ストリームに挿入する
    請求項１に記載の送信装置。
  3. 上記第１のフレームレートは１２０Ｈｚまたは２４０Ｈｚであり、上記第２のフレームレートは６０Ｈｚである
    請求項１または２に記載の送信装置。
  4. 上記混合情報は、時間的に前のフレームの画像データは用いない混合リフレッシュまでのフレーム数を示す混合リフレッシュ情報を含む
    請求項１から３のいずれかに記載の送信装置。
  5. 上記混合情報には、上記混合リフレッシュをするフレームであるか否かを示すリフレッシュフラグ情報が付加されている
    請求項４に記載の送信装置。
  6. 上記混合情報には、上記第２のフレームレートに対応したフレームであるか否かを示す先頭フラグ情報が付加されている
    請求項１から５のいずれかに記載の送信装置。
  7. 処理部が、第１のフレームレートの第１の動画像データの各フレームの画像データにフレーム毎に独立した混合割合で周辺のフレームの画像データを混合する混合処理を施して上記第１のフレームレートの第２の動画像データを得る処理ステップを有し、
    上記第２の動画像データを構成する各フレームの画像データのうち少なくとも上記第１のフレームレートより低い第２のフレームレートに対応したフレームの画像データは周辺フレームの画像データと混合された状態とされ、
    符号化部が、上記第２のフレームレートに対応したフレームの画像データを符号化して基本ストリームを得ると共に、残りのフレームの画像データを符号化して拡張ストリームを得る符号化ステップと、
    挿入部が、上記基本ストリームおよび上記拡張ストリームにそれぞれのフレームの画像データに関連付けて混合情報を挿入する挿入ステップと、
    送信部が、上記混合情報が挿入された上記基本ストリームおよび上記拡張ストリームを含むコンテナを送信する送信ステップをさらに有し、
    上記混合情報は、上記混合処理を行ったフィルタの使用フレーム数の情報と各使用フレームの画像データに乗算した係数の情報を含む
    送信方法。
  8. 基本ストリームおよび拡張ストリームを含むコンテナを受信する受信部を備え、
    上記基本ストリームは、第１のフレームレートの第１の動画像データの各フレームの画像データにフレーム毎に独立した混合割合で周辺のフレームの画像データを混合する混合処理を施して得られた上記第１のフレームレートの第２の動画像データを構成する各画像データのうち上記第１のフレームレートより低い第２のフレームレートに対応したフレームの画像データであって少なくとも周辺フレームの画像データと混合された状態にある画像データを符号化して得られたものであり、上記拡張ストリームは、残りのフレームの画像データを符号化して得られたものであり、
    上記基本ストリームおよび上記拡張ストリームにそれぞれのフレームの画像データに関連付けて混合情報が挿入されており、
    上記混合情報は、上記混合処理を行ったフィルタの使用フレーム数の情報と各使用フレームの画像データに乗算した係数の情報を含み、
    ディスプレイが取り扱う動画像データのフレームレートに応じて、上記基本ストリームを復号化して上記第２のフレームレートの動画像データを得るか、あるいは上記基本ストリームおよび上記拡張ストリームを復号化して上記第２の動画像データを得、該第２の動画像データに上記混合情報に基づいて逆混合処理を施して混合解除された第１のフレームレートの動画像データを得る処理部をさらに備える
    受信装置。
  9. 受信部が、基本ストリームおよび拡張ストリームを含むコンテナを受信する受信ステップを有し、
    上記基本ストリームは、第１のフレームレートの第１の動画像データの各フレームの画像データにフレーム毎に独立した混合割合で周辺のフレームの画像データを混合する混合処理を施して得られた上記第１のフレームレートの第２の動画像データを構成する各画像データのうち上記第１のフレームレートより低い第２のフレームレートに対応したフレームの画像データであって少なくとも周辺フレームの画像データと混合された状態にある画像データを符号化して得られたものであり、上記拡張ストリームは、残りのフレームの画像データを符号化して得られたものであり、
    上記基本ストリームおよび上記拡張ストリームにそれぞれのフレームの画像データに関連付けて混合情報が挿入されており、
    上記混合情報は、上記混合処理を行ったフィルタの使用フレーム数の情報と各使用フレームの画像データに乗算した係数の情報を含み、
    処理部が、ディスプレイが取り扱う動画像データのフレームレートに応じて、上記基本ストリームを復号化して上記第２のフレームレートの動画像データを得るか、あるいは上記基本ストリームおよび上記拡張ストリームを復号化して上記第２の動画像データを得、該第２の動画像データに上記混合情報に基づいて逆混合処理を施して混合解除された第１のフレームレートの動画像データを得る処理ステップをさらに有する
    受信方法。
JP2017085730A 2017-04-24 2017-04-24 送信装置、送信方法、受信装置および受信方法 Active JP7026450B2 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
JP2017085730A JP7026450B2 (ja) 2017-04-24 2017-04-24 送信装置、送信方法、受信装置および受信方法
US16/490,715 US11533522B2 (en) 2017-04-24 2018-04-19 Transmission apparatus, transmission method, reception apparatus, and reception method
CA3056751A CA3056751A1 (en) 2017-04-24 2018-04-19 Transmission apparatus, transmission method, reception apparatus, and reception method
MX2019012406A MX2019012406A (es) 2017-04-24 2018-04-19 Aparato de transmision, metodo de transmision, aparato de recepcion y metodo de recepcion.
KR1020197029520A KR102561506B1 (ko) 2017-04-24 2018-04-19 송신 장치, 송신 방법, 수신 장치 및 수신 방법
EP18722748.3A EP3616408A1 (en) 2017-04-24 2018-04-19 Transmission apparatus, transmission method, reception apparatus, and reception method
PCT/JP2018/016063 WO2018198914A1 (en) 2017-04-24 2018-04-19 Transmission apparatus, transmission method, reception apparatus, and reception method
CN201880025674.3A CN110546959A (zh) 2017-04-24 2018-04-19 发送设备、发送方法、接收设备和接收方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017085730A JP7026450B2 (ja) 2017-04-24 2017-04-24 送信装置、送信方法、受信装置および受信方法

Publications (3)

Publication Number Publication Date
JP2018186357A JP2018186357A (ja) 2018-11-22
JP2018186357A5 JP2018186357A5 (ja) 2020-04-30
JP7026450B2 true JP7026450B2 (ja) 2022-02-28

Family

ID=62116523

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017085730A Active JP7026450B2 (ja) 2017-04-24 2017-04-24 送信装置、送信方法、受信装置および受信方法

Country Status (8)

Country Link
US (1) US11533522B2 (ja)
EP (1) EP3616408A1 (ja)
JP (1) JP7026450B2 (ja)
KR (1) KR102561506B1 (ja)
CN (1) CN110546959A (ja)
CA (1) CA3056751A1 (ja)
MX (1) MX2019012406A (ja)
WO (1) WO2018198914A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6871147B2 (ja) * 2017-12-14 2021-05-12 日本電信電話株式会社 画像生成装置、画像生成方法及び画像生成プログラム
US11418838B2 (en) 2018-05-30 2022-08-16 Saturn Licensing Llc Reception device, reception method, transmission device, and transmission method
US11234044B2 (en) * 2018-12-28 2022-01-25 Sony Group Corporation Transmission apparatus, transmission method, encoding apparatus, encoding method, reception apparatus, and reception method
US11265580B2 (en) * 2019-03-22 2022-03-01 Tencent America LLC Supplemental enhancement information messages for neural network based video post processing
US11323730B2 (en) * 2019-09-05 2022-05-03 Apple Inc. Temporally-overlapped video encoding, video decoding and video rendering techniques therefor

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015076277A1 (ja) 2013-11-22 2015-05-28 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
WO2017043504A1 (ja) 2015-09-10 2017-03-16 ソニー株式会社 送信装置、送信方法、受信装置および受信方法

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5797041A (en) * 1992-06-30 1998-08-18 Hitachi, Ltd. Communication control system utilizing a shared buffer composed of first and second descriptors which are managed by high and low level protocols
US6198505B1 (en) * 1999-07-19 2001-03-06 Lockheed Martin Corp. High resolution, high speed digital camera
JP4187425B2 (ja) * 2000-09-11 2008-11-26 富士フイルム株式会社 画像制御装置およびディジタルカメラ
US20040240543A1 (en) 2001-09-04 2004-12-02 Faroudja Yves C. Low bandwidth video compression
US7430335B2 (en) 2003-08-13 2008-09-30 Apple Inc Pre-processing method and system for data reduction of video sequences and bit rate reduction of compressed video sequences using spatial filtering
JP4334533B2 (ja) 2005-11-24 2009-09-30 株式会社東芝 動画像符号化／復号化方法および装置
JP2008164758A (ja) * 2006-12-27 2008-07-17 Eastman Kodak Co 画像復元装置
US8160149B2 (en) * 2007-04-03 2012-04-17 Gary Demos Flowfield motion compensation for video compression
US8045836B2 (en) 2008-01-11 2011-10-25 Texas Instruments Incorporated System and method for recording high frame rate video, replaying slow-motion and replaying normal speed with audio-video synchronization
GB2459684A (en) * 2008-04-30 2009-11-04 British Broadcasting Corp Television Signal having high frame rate
JP2010226258A (ja) * 2009-03-19 2010-10-07 Fujitsu Ltd 情報取得システム、送信装置、データ捕捉装置、送信方法及びデータ捕捉方法
JP2010268441A (ja) * 2009-04-16 2010-11-25 Sanyo Electric Co Ltd 画像処理装置、撮像装置及び画像再生装置
KR101682147B1 (ko) * 2010-04-05 2016-12-05 삼성전자주식회사 변환 및 역변환에 기초한 보간 방법 및 장치
US20120030682A1 (en) * 2010-07-28 2012-02-02 Cisco Technology, Inc. Dynamic Priority Assessment of Multimedia for Allocation of Recording and Delivery Resources
CN103597839B (zh) 2011-05-31 2017-10-20 杜比实验室特许公司 视频压缩方法、视频重构方法和***、及编码器
KR20130037194A (ko) 2011-10-05 2013-04-15 한국전자통신연구원 비디오 부호화/복호화 방법 및 그 장치
US20130187962A1 (en) * 2012-01-23 2013-07-25 Pixel Qi Corporation Mixed Transmissive-Reflective-Transflective Liquid Crystal Display
US9451234B2 (en) 2012-03-01 2016-09-20 Sony Corporation Transmitting apparatus, transmitting method, and receiving apparatus
MX341101B (es) * 2012-08-10 2016-08-08 Lg Electronics Inc Aparato transceptor de señales y metodo para transmitir y recibr señales.
US9479782B2 (en) * 2012-09-28 2016-10-25 Qualcomm Incorporated Supplemental enhancement information message coding
US9438849B2 (en) 2012-10-17 2016-09-06 Dolby Laboratories Licensing Corporation Systems and methods for transmitting video frames
JP6605789B2 (ja) * 2013-06-18 2019-11-13 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 送信方法、受信方法、送信装置、および、受信装置
JP6141741B2 (ja) 2013-10-09 2017-06-07 株式会社キャタラー 燃料電池用電極触媒及びその製造方法
EP3070934A4 (en) 2013-11-13 2017-03-29 LG Electronics Inc. Broadcast signal transmission method and apparatus for providing hdr broadcast service
US9915939B2 (en) * 2013-12-13 2018-03-13 General Electric Company Systems and methods for providing multiple frame rates on a common physical network
US9414100B2 (en) * 2014-03-31 2016-08-09 Arris Enterprises, Inc. Adaptive streaming transcoder synchronization
CN113613009B (zh) 2015-02-27 2024-06-25 索尼公司 发送装置、发送方法、接收装置和接收方法
US9955191B2 (en) * 2015-07-01 2018-04-24 At&T Intellectual Property I, L.P. Method and apparatus for managing bandwidth in providing communication services
MX2018002265A (es) 2015-08-25 2018-03-23 Sony Corp Aparato de transmision, metodo de transmision, aparato de recepcion, y metodo de recepcion.
MY186845A (en) 2015-09-01 2021-08-26 Sony Corp Transmission device, transmission method, reception device and reception method
JP5961317B2 (ja) 2015-11-30 2016-08-02 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
US9639935B1 (en) * 2016-05-25 2017-05-02 Gopro, Inc. Apparatus and methods for camera alignment model calibration
US10341658B2 (en) 2017-01-30 2019-07-02 Intel Corporation Motion, coding, and application aware temporal and spatial filtering for video pre-processing

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015076277A1 (ja) 2013-11-22 2015-05-28 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
WO2017043504A1 (ja) 2015-09-10 2017-03-16 ソニー株式会社 送信装置、送信方法、受信装置および受信方法

Also Published As

Publication number Publication date
KR20190142326A (ko) 2019-12-26
WO2018198914A1 (en) 2018-11-01
MX2019012406A (es) 2020-01-13
US20200021869A1 (en) 2020-01-16
EP3616408A1 (en) 2020-03-04
KR102561506B1 (ko) 2023-08-01
JP2018186357A (ja) 2018-11-22
CN110546959A (zh) 2019-12-06
US11533522B2 (en) 2022-12-20
CA3056751A1 (en) 2018-11-01

Similar Documents

Publication Publication Date Title
US11700388B2 (en) Transmission device, transmitting method, reception device, and receiving method
JP7026450B2 (ja) 送信装置、送信方法、受信装置および受信方法
JP6809471B2 (ja) 送信装置、送信方法、受信装置および受信方法
JP6930419B2 (ja) 画像処理装置、画像処理方法、受信装置および送信装置
US11843822B2 (en) Transmission apparatus, transmission method, encoding apparatus, encoding method, reception apparatus, and reception method
JP6801662B2 (ja) 送信装置、送信方法、受信装置および受信方法
WO2019087789A1 (ja) 送信装置、送信方法、受信装置および受信方法
JP6982990B2 (ja) 送信装置、送信方法、受信装置および受信方法
WO2020031782A1 (ja) 受信装置、受信方法、送信装置および送信方法
US11956496B2 (en) Reception device, reception method, transmission device, and transmission method

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200318

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200318

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200929

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201029

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210330

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210527

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210622

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210818

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211006

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220118

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220215

R150 Certificate of patent or registration of utility model

Ref document number: 7026450

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150