JP7300985B2 - 情報処理装置および情報処理方法 - Google Patents

情報処理装置および情報処理方法 Download PDF

Info

Publication number
JP7300985B2
JP7300985B2 JP2019513638A JP2019513638A JP7300985B2 JP 7300985 B2 JP7300985 B2 JP 7300985B2 JP 2019513638 A JP2019513638 A JP 2019513638A JP 2019513638 A JP2019513638 A JP 2019513638A JP 7300985 B2 JP7300985 B2 JP 7300985B2
Authority
JP
Japan
Prior art keywords
image data
control information
blur control
blur
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019513638A
Other languages
English (en)
Other versions
JPWO2018194040A1 (ja
Inventor
博昭 江藤
敏之 小倉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2018194040A1 publication Critical patent/JPWO2018194040A1/ja
Application granted granted Critical
Publication of JP7300985B2 publication Critical patent/JP7300985B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2355—Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving reformatting operations of additional data, e.g. HTML pages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/112—Selection of coding mode or of prediction mode according to a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605—Creation or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H04N21/4355—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream involving reformatting operations of additional data, e.g. HTML pages on a television screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440227—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by decomposing into layers, e.g. base layer and one or more enhancement layers

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Systems (AREA)

Description

本技術は、情報処理装置および情報処理方法に関する。
近年、高速フレームシャッターでハイフレームレート撮影を行って、ハイフレームレートの動画像データを出力するカメラが知られている（例えば、特許文献１参照）。例えば、ノーマルフレームレートが６０Ｈｚであるのに対して、ハイフレームレートは１２０Ｈｚ、２４０Ｈｚ、４８０Ｈｚなどである。
そして、近年、このハイフレームレートの動画像データを符号化して得られたビデオストリームを含むコンテナを生成し、このコンテナを放送波あるいはネットのパケットに載せて送信することが考えられている。例えば、コンテナとしては、ＭＰＥＧ－２ ＴＳ（MPEG-2 Transport Stream）あるいはＭＭＴ（MPEG Media Transport）などが知られている。
特開２０１０-１７８１２４号公報
ハイフレームレートの動画像データを受信する受信機において、表示部がハイフレームレートに対応していなければ、例えばハイフレームレートの動画像データに間引き処理あるは加算処理を行ってノーマルフレームレートの動画像データを得て、画像表示を行うことになる。しかし、単に間引き処理あるは加算処理を行って得られたノーマルフレームレートの動画像データによる表示画像は観察者にとって満足のいくものとはならないことが想定される。
本技術の目的は、ハイフレームレートの動画像データを受信する受信側において、適切な画質の画像を容易に提示可能とすることにある。
本技術の概念は、
ハイフレームレートの動画像データを符号化して得られたビデオストリームを生成する符号化部と、
上記ビデオストリームを含むコンテナを送信する送信部と、
上記コンテナのレイヤおよび/または上記ビデオストリームのレイヤに、ブラーをコントロールするためのブラーコントロール情報を挿入する情報挿入部を備える
送信装置にある。
本技術において、符号化部により、ハイフレームレートの動画像データを符号化して得られたビデオストリームが生成される。例えば、ハイフレームレートの動画像データは、１２０Ｈｚ、２４０Ｈｚあるいは４８０Ｈｚのフレームレートの動画像データである、ようにされてもよい。送信部により、ビデオストリームを含むコンテナが送信される。
情報挿入部により、コンテナのレイヤおよび/またはビデオストリームのレイヤに、ブラーをコントロールするためのブラーコントロール情報が挿入される。例えば、周辺フレームの重み付け係数には負の係数が含まれる、ようにされてもよい。
また、例えば、ブラーコントロール情報は、現在フレームの画像データに周辺フレームの画像データを加算するブラー付与処理における各フレームの重み付け係数を与える、ようにされてもよい。この場合、例えば、周辺フレームには、過去および未来のフレームが含まれる、ようにされてもよい。また、この場合、例えば、周辺フレームには、過去のフレームだけが含まれる、ようにされてもよい。
また、例えば、情報挿入部は、ブラーコントロール情報を含むＳＥＩメッセージをビデオストリームのレイヤに挿入する、ようにされてもよい。また、例えば、情報挿入部は、ビデオストリームのレイヤにブラーコントロール情報を挿入するとき、該挿入があることを示す識別情報をコンテナのレイヤにさらに挿入する、ようにされてもよい。このようにコンテナのレイヤに識別情報が挿入されることで、受信側では、ビデオストリームをデコードしなくても、ビデオストリームのレイヤにブラーコントロール情報の挿入があることを容易に認識可能となる。
また、例えば、情報挿入部は、ブラーコントロール情報を含むデスクリプタをコンテナのレイヤに挿入する、ようにされてもよい。この場合、例えば、コンテナは、ＭＰＥＧ２トランスポートストリームであり、デスクリプタは、プログラム・マップ・テーブル、あるいはイベント・インフォメーション・テーブルに挿入される、ようにされてもよい。
また、例えば、情報挿入部は、コンテナのレイヤおよび/またはビデオストリームのレイヤに、複数種類のブラーコントロール情報を挿入する、ようにされてもよい。このように複数種類のブラーコントロール情報が挿入されることで、受信側では、例えば、表示フレームレートに応じた、あるいは所望画質に応じた種類のブラーコントロール情報を選択して用いることができる。
このように本技術においては、コンテナのレイヤおよび/またはビデオストリームのレイヤに、ブラーをコントロールするためのブラーコントロール情報を挿入するものである。そのため、受信側では、このブラーコントロール情報に基づいてブラーをコントロールでき、適切な画質の画像を容易に提示できる。
また、本技術の他の概念は、
ハイフレームレートの動画像データを符号化して得られたビデオストリームを含むコンテナを受信する受信部を備え、
上記ビデオストリームを復号化して上記ハイフレームレートの動画像データを得る復号化部と、
上記得られたハイフレームレートの動画像データにブラーコントロール情報を用いたブラー付与処理を行う処理部をさらに備える
受信装置にある。
本技術において、受信部により、ハイフレームレートの動画像データを符号化して得られたビデオストリームを含むコンテナが受信される。復号化部により、ビデオストリームが復号化されてハイフレームレートの動画像データが得られる。そして、処理部により、このハイフレームレートの動画像データにブラーコントロール情報を用いたブラー付与処理が行われる。
例えば、コンテナのレイヤおよび/またはビデオストリームのレイヤに、ブラーコントロール情報が挿入されており、処理部は、挿入されているブラーコントロール情報を用いるか、あるいはこのブラーコントロール情報を修正して用いる、ようにされてもよい。また、例えば、ブラ―コントロール情報を保持する保持部をさらに備え、処理部は、保持部からブラーコントロール情報を取得して用いる、ようにされてもよい。
また、例えば、コンテナのレイヤおよび/またはビデオストリームのレイヤに、複数種類のブラーコントロール情報が挿入されており、処理部は、複数種類のブラーコントロール情報から表示フレームレートに応じた、あるいは所望画質に応じた種類のブラーコントロール情報を選択して用いる、ようにされてもよい。また、例えば、処理部は、ハイフレームレートの動画像データからフレームレートを落とした表示画像データを得る際に、ブラー付与処理を行う、ようにされてもよい。
このように本技術においては、受信されたハイフレームレートの動画像データにブラーコントロール情報に基づいてブラー付与処理を行うものである。そのため、適切な画質の画像を容易に提示できる。
また、本技術の他の概念は、
ハイフレームレートの動画像データを符号化して得られたビデオストリームを生成する符号化部と、
上記ハイフレームレートの動画像データのブラーをコントロールするためのブラーコントロール情報を生成する生成部と、
上記ビデオストリームのレイヤおよび/または上記ビデオストリームを含むコンテナのレイヤに挿入された上記ブラーコントロール情報および上記ビデオストリームを記録する記録部を備える
記録装置にある。
本技術において、符号化部により、ハイフレームレートの動画像データを符号化して得られたビデオストリームが生成される。生成部により、ハイフレームレートの動画像データのブラーをコントロールするためのブラーコントロール情報が生成される。そして、記録部により、ビデオストリームのレイヤおよび/またはビデオストリームを含むコンテナのレイヤに挿入されたブラーコントロール情報およびビデオストリームが記録される。
このように本技術においては、ビデオストリームを含むコンテナのレイヤおよび/またはビデオストリームのレイヤにブラーをコントロールするためのブラーコントロール情報が挿入されて記録されるものである。そのため、再生時おいて、ハイフレームレートの動画像データのブラーをブラーコントロール情報に基づいてコントロールでき、適切な画質の画像を容易に提示できる。
本技術によれば、ハイフレームレートの動画像データを受信する受信側において、適切な画質の画像を容易に提示できる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
実施の形態としての送受信システムの構成例を示すブロック図である。 ハイフレームレートの動画像データに対する間引き処理を説明するための図である。 光刺激（左）と視覚反応（右）の対応関係を説明するための図である。 光刺激（左）と視覚反応（右）の対応関係から、見かけの明るさは以前の光刺激の影響を受けることを説明するための図である。 ブラーコントロール情報を与える関数のタイプを説明するための図である。 ブラーコントロール情報として送信される各フレームの重み付け係数の一例を示す図である。 送信装置の構成例を示すブロック図である。 符号化方式がＨＥＶＣである場合におけるＧＯＰの先頭のアクセスユニットを示す図である。 符号化方式がＨＥＶＣである場合におけるＧＯＰの先頭以外のアクセスユニットを示す図である。 ＨＦＲ・ブラーコントロール・ＳＥＩメッセージの構造例を示す図である。 ＨＦＲ・ブラーコントロール・ＳＥＩメッセージの構造例における主要な情報の内容を示す図である。 ＨＦＲ・インフォメーション・デスクリプタの構造例と、その構造例における主要な情報の内容を示す図である。 ＨＦＲ・ブラーコントロール・デスクリプタの構造例を示す図である。 トランスポートストリームＴＳの構成例を示す図である。 受信装置の構成例を示すブロック図である。 表示画像データＶＤｄのあるフレームとしてのフレーム「０」の信号を得るための処理の一例を示す図である。 表示画像データＶＤｄのあるフレームとしてのフレーム「０」の信号を得るための処理の一例を示す図である。 表示画像データＶＤｄのあるフレームとしてのフレーム「０」の信号を得るための処理の一例を示す図である。 表示画像データＶＤｄのあるフレームとしてのフレーム「０」の信号を得るための処理の一例を示す図である。 送受信システムの他の構成例を示すブロック図である。 送受信システムの他の構成例を示すブロック図である。 ＨＭＤ装置の構成例を示すブロック図である。
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
１．実施の形態
２．変形例
＜１．実施の形態＞
［送受信システム］
図１は、実施の形態としての送受信システム１０の構成例を示している。この送受信システム１０は、送信装置１００と、受信装置２００とを有する構成となっている。
送信装置１００は、コンテナとしてのトランスポートストリームＴＳを生成し、このトランスポートストリームＴＳを放送波、あるいはネットのパケットに載せて送信する。このトランスポートストリームＴＳには、例えば１２０Ｈｚ，２４０Ｈｚあるいは４８０Ｈｚ等のハイフレームレートの動画像データを符号化して得られたビデオストリームが含まれる。この場合、例えば、Ｈ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどの符号化が施される。
トランスポートストリームＴＳのレイヤおよび/またはビデオストリームのレイヤに、ブラーをコントロールするためのブラーコントロール情報が１つまたは複数の種類挿入される。受信側においては、コンテナのレイヤあるいはビデオストリームのレイヤから、ブラーコントロール情報を容易に取得可能となる。
この実施の形態において、送信装置１００は、ブラーコントロール情報を含むデスクリプタをトランスポートストリームＴＳのレイヤに挿入する。また、この実施の形態において、送信装置１００は、ブラーコントロール情報を含むＳＥＩメッセージをビデオストリームのレイヤに挿入する。また、この実施の形態において、送信装置１００は、ブラーコントロール情報を含むＳＥＩメッセージがビデオストリームのレイヤに挿入されていることを示す識別情報を含むスクリプタをトランスポートストリームＴＳのレイヤに挿入する。
受信装置２００は、送信装置１００から放送波、あるいはネットのパケットに載せて送られてくるトランスポートストリームＴＳを受信する。このトランスポートストリームＴＳには、ハイフレームレートの動画像データが符号化されて得られたデオストリームが含まれている。トランスポートストリームＴＳのレイヤおよび/またはビデオストリームのレイヤに、ブラーをコントロールするためのブラーコントロール情報が挿入されている。
受信装置２００は、ビデオストリームを復号化してハイフレームレートの動画像データを得、この動画像データにブラーコントロール情報を用いたブラ―付与処理をする。この場合、受信装置２００は、複数種類のブラーコントロール情報から表示フレームレートに応じた、あるいは所望画質に応じた種類のブラーコントロール情報を選択して用いる。
例えば、ハイフレームレートの動画像データをそのまま表示画像データとする場合に、ユーザの選択操作に応じて、所望画質に応じた種類のブラーコントロール情報が選択されて用いられる。また、例えば、ハイフレームレートの動画像データからフレームレートを落とした表示画像データを得る際に、適切な画質を得るために、それに対応した種類のブラーコントロール情報が選択されて用いられる。
［ブラーコントロール情報］
ブラーコントロール情報の詳細について説明する。ブラーコントロール情報は、上述したように、ハイフレームレートの動画像データが送られてくる受信側において、所望画質を得るための、あるいはフレームレートを落とした場合に適切な画質を得るためのブラー付与処理において用いられる。
図２（ａ）は、ハイフレームレート、例えば１２０Ｈｚのフレームレートの動画像データにおいて、フレーム進行に伴う所定ピクセルの信号レベルの変化を示している。横軸はフレームであり、「０」は現在フレームを示し、「－ｎ」はｎフレーム前のフレームを示し、「ｎ」はｎフレーム後のフレームを示している。なお、信号レベルは、最大値を１として示している。
従来、表示フレームレートが６０Ｈｚである場合、例えば、図２（ｂ）に示すように、間引き処理が行われて、６０Ｈｚのフレームレートの動画像データとされる。この場合、６０Ｈｚのフレームレートの動画像データにおいて、現在フレーム「０」の信号は、図２（ｃ）に示すように、１２０Ｈｚのフレームレートの動画像データにおける現在フレーム「０」の信号そのものであり、周辺のフレームの信号成分を含んではいない。そのため、このように単なる間引き処理で生成された６０Ｈｚのフレームレートの動画像データで提示される画像は滑らかさに欠けるものとなる。
図３（ａ）～（ｄ）は、それぞれ、光刺激（左）と視覚反応（右）の対応関係を示している。図３（ａ）に示すように、光刺激が一定時間呈示されると、見かけの明るさは数１０ｍｓの時間遅れを伴う。また、図３（ｂ）に示すように、光刺激が一定間隔で呈示されると、見かけの明るさは同一の周期で変化する。
また、図３（ｃ）に示すように、連続する光刺激が呈示されると、見かけの明るさも連続する。また、図３（ｄ）に示すように、図３（ｂ）と同じ周期でも、連続する光刺激が呈示されると、見かけの明るさは連続する。
図４（ａ），（ｂ）も、それぞれ、光刺激（左）と視覚反応（右）の対応関係を示している。図４（ａ）において、ハッチングを付して示すように、見かけの明るさは、以前の光刺激の影響を受ける。また、図４（ｂ）において、ハッチングを付して示すように、光刺激の呈示時間が長くなると、見かけの明るさの刺激の影響も長くなる。
この光刺激の影響は画像（映像）の重なり（ブラー）として見える。この重なり量をコントロールすることで、画像観察者が知覚する画質を積極的に変化させることが可能となる。この実施の形態においては、ブラーコントロール情報は、フレームをパラメータとする関数情報とされ、現在フレームの画像データに周辺フレームの画像データを加算するブラー付与処理における各フレームの重み付け係数を与える。
図５（ａ）～（ｄ）は、関数のタイプを示している。図５（ａ）は、過去と未来のフレームを利用し、かつ各フレームの重み付け係数の一部として負の係数が含まれる例である。図５（ｂ）は、過去と未来のフレームを利用し、かつ各フレームの重み付け係数として負の係数が含まれない例である。図５（ｃ）は、過去のフレームだけを利用し、かつ各フレームの重み付け係数の一部として負の係数が含まれる例である。図５（ｄ）は、過去のフレームだけを利用し、かつ各フレームの重み付け係数として負の係数が含まれない例である。
関数のタイプを変化させ、あるいは関数の係数を変化させることで、複数種類のブラーコントロール情報（各フレームの重み付け係数）を得ることが可能となる。例えば、ハイフレームレートの動画像データをそのまま表示画像データとする場合、あるいはそのフレームレートを落とした表示用動画像データを得る場合に、画像観察者に所定の画質を知覚させるためのブラーコントロール情報を得ることができる。また、例えば、ハイフレームレートの動画像データからフレームレートを落とした表示用動画像データを得る際に、画像観察者に適切な画質を知覚させるための、ブラーコントロール情報を得ることができる。
なお、送信装置１００から受信装置２００にブラーコントロール情報を送信する場合、関数情報そのものを送ることも考えられるが、この実施の形態においては、その関数情報で与えられる、受信側のブラー付与処理で使用される各フレームの重み付け係数が送られる。
図６（ａ）～（ｄ）は、ブラーコントロール情報として送信される各フレームの重み付け係数の一例を示している。図６（ａ）の例は、図５（ａ）に示す関数タイプに対応しており、「－３」～「３」のフレームにおける関数ｆ(x)の値である重み付け係数ｆ(-3)～ｆ(3)がブラーコントロール情報として送信される。なお、「－３」～「３」のフレーム範囲は一例であってこれに限定されない。過去と未来の使用フレームが３でなくてもよく、また過去と未来の使用フレームが同数でなくてもよい。これらの点については、図６（ｂ）～（ｄ）の例においても同様である。
図６（ｂ）の例は、図５（ｂ）に示す関数タイプに対応しており、「－３」～「３」のフレームにおける関数ｆ(x)の値である重み付け係数ｆ(-3)～ｆ(3)がブラーコントロール情報として送信される。図６（ｃ）の例は、図５（ｃ）に示す関数タイプに対応しており、「－３」～「０」のフレームにおける関数ｆ(x)の値である重み付け係数ｆ(-3)～ｆ(0)がブラーコントロール情報として送信される。図６（ｄ）の例は、図５（ｄ）に示す関数タイプに対応しており、「－３」～「０」のフレームにおける関数ｆ(x)の値である重み付け係数ｆ(-3)～ｆ(0)がブラーコントロール情報として送信される。
「送信装置の構成」
図７は、送信装置１００の構成例を示している。この送信装置１００は、ＣＰＵ（Central Processing Unit）１０１と、エンコーダ１０２と、マルチプレクサ１０３と、送信部１０４を有している。ＣＰＵ１０１は、制御部を構成し、送信装置１００の各部の動作を制御する。
エンコーダ１０２は、例えば１２０Ｈｚ，２４０Ｈｚあるいは４８０Ｈｚ等のハイフレームレートの動画像データＶＤを入力する。このハイフレームレートの動画像データＶＤは、例えば、図示しない撮像装置（カメラ）で撮像されて得られたものであり、ブラ―が付与されていない状態にある。エンコーダ１０２は、この動画像データＶＤに、例えば、Ｈ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどの符号化処理を施し、ビデオストリームを生成する。
この際、エンコーダ１０２は、ビデオストリームのレイヤに、上述のブラーコントロール情報を挿入する。例えば、ピクチャ単位、ＧＯＰ（Group Of Pictures）単位、あるいはシーン単位などの単位で挿入される。
エンコーダ１０２は、アクセスユニット（ＡＵ）の“ＳＥＩｓ”の部分に、新規定義する、ＨＦＲ・ブラーコントロール・ＳＥＩメッセージ（HFR_blur_control SEI message）を挿入する。
図８は、符号化方式がＨＥＶＣである場合におけるＧＯＰ（Group Of Pictures）の先頭のアクセスユニットを示している。また、図９は、符号化方式がＨＥＶＣである場合におけるＧＯＰの先頭以外のアクセスユニットを示している。
ＨＥＶＣの符号化方式の場合、画素データが符号化されているスライス（slices）の前にデコード用のＳＥＩメッセージ群「Prefix_SEIs」が配置され、このスライス（slices）の後に表示用のＳＥＩメッセージ群「Suffix_SEIs」が配置される。図８、図９に示すように、ＨＦＲ・ブラーコントロール・ＳＥＩメッセージは、例えば、ＳＥＩメッセージ群「Suffix_SEIs」として配置される。
図１０は、ＨＦＲ・ブラーコントロール・ＳＥＩメッセージの構造例(Syntax)を示している。図１１は、その構造例における主要な情報の内容（Semantics）を示している。「source_frame_rate」のフィールドは、送信するハイフレームレートの動画像データのフレームレートを示す。例えば、“０ｘ０１”は１２０Ｈｚを示し、“０ｘ０２”は２４０Ｈｚを示し、“０ｘ０３”は４８０Ｈｚを示す。
「number_of_blur_control_info」のフィールドは、送信するブラーコントロール情報の数（種類数）を示す。この数の分だけ、以下の情報が繰り返し存在する。「display_frame_rate」のフィールドは、表示画像データのフレームレートを示す。例えば、“０ｘ０１”は６０Ｈｚを示し、“０ｘ０２”は１２０Ｈｚを示し、“０ｘ０３”は２４０Ｈｚを示し、“０ｘ０４”は４８０Ｈｚを示す。
「function_type」のフィールドは、関数タイプを示す。例えば、“０ｘ０１”は現在とその前のフレームを使用し、かつ重み付け係数の一部に負の係数があるタイプ（図５（ａ）、図６（ａ）参照）であることを示す。また、“０ｘ０２”は現在とその前のフレームを使用し、かつ重み付け係数に負の係数がないタイプ（図５（ｂ）、図６（ｂ）参照）であることを示す。
また、“０ｘ０３”は現在とその前後のフレームを使用し、かつ重み付け係数の一部に負の係数があるタイプ（図５（ｃ）、図６（ｃ）参照）であることを示す。さらに、“０ｘ０４”は現在とその前後のフレームを使用し、かつ重み付け係数に負の係数がないタイプ（図５（ｄ）、図６（ｄ）参照）であることを示す。
「start_frame」のフィールドは、使用する最初のフレームを示す。「end_frame」のフィールドは、使用する最後のフレームを示す。例えば、図６（ａ），（ｂ）の例の場合、最初のフレームは「－３」で、最後のフレームは「３」である。また、例えば、図６（ｃ），（ｄ）の例の場合、最初のフレームは「－３」で、最後のフレームは「０」となる。
「number_of_frame」のフィールドは、使用フレームの数を示す。例えば、図６（ａ），（ｂ）の例の場合、「７」となる。また、例えば、図６（ｃ），（ｄ）の例の場合、「４」となる。この数の分だけ、以下の情報が繰り返し存在する。「frame_coef(i)」のフィールドは、各フレームで用いる重み付け係数（関数値）を示す。
図７に戻って、マルチプレクサ１０３は、エンコーダ１０２で生成されたビデオストリームを、ＰＥＳ（Packetized Elementary Stream）パケット化し、さらにトランスポートパケット化して多重し、多重化ストリームとしてのトランスポートストリームＴＳを得る。
この際、マルチプレクサ１０３は、コンテナとしてのトランスポートストリームＴＳのレイヤに、ビデオストリームのレイヤにブラーコントロール情報の挿入があることを示す識別情報を挿入する。この実施の形態において、マルチプレクサ１０３は、新規定義するＨＦＲ・インフォメーション・デスクリプタ（HFR_information descriptor）を、トランスポートストリームＴＳに含まれるプログラム・マップ・テーブル（ＰＭＴ：Program Map Table）のビデオエレメンタリ・ループ（Video ES loop）の配下に挿入する。
図１２（ａ）は、ＨＦＲ・インフォメーション・デスクリプタの構造例（Syntax）を示している。また、図１２（ｂ）は、その構造例における主要な情報の内容（Semantics）を示している。
「HFR_information descriptor tag」の８ビットフィールドは、デスクリプタタイプを示し、ここでは、ＨＦＲ・インフォメーション・デスクリプタであることを示す。「HFR_ information descriptor length」の８ビットフィールドは、デスクリプタの長さ（サイズ）を示し、デスクリプタの長さとして以降のバイト数を示す。
「HFR_blur_control_SEI_existed」の１ビットフィールドは、ビデオレイヤ（ビデオストリームのレイヤ）に、ＨＦＲ・ブラーコントロール・ＳＥＩメッセージが存在するか否かを示すフラグ情報である。例えば、“１”は存在することを示し、“０”は存在しないことを示す。
図７に戻って、送信部１０４は、マルチプレクサ１０３で得られたトランスポートストリームＴＳを、放送波、あるいはネットのパケットに載せて、受信装置２００に送信する。
図７に示す送信装置１００の動作を簡単に説明する。エンコーダ１０２には、例えば１２０Ｈｚ、２４０Ｈｚあるいは４８０Ｈｚ等のハイフレームレートの動画像データＶＤが入力される。エンコーダ１０２では、この動画像データＶＤに、例えば、Ｈ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどの符号化処理が施され、ビデオストリームが生成される。
また、エンコーダ１０２では、ビデオストリームのレイヤに、ブラーコントロール情報が挿入される。すなわち、エンコーダ１０２では、アクセスユニット（ＡＵ）の“ＳＥＩｓ”の部分に、新規定義する、ＨＦＲ・ブラーコントロール・ＳＥＩメッセージ（図１０参照）が挿入される。
エンコーダ１０２で生成されたビデオストリームは、マルチプレクサ１０３に供給される。マルチプレクサ１０３では、ビデオストリームのＰＥＳパケット化、さらにトランスポートパケット化が行われて多重され、多重化ストリームとしてのトランスポートストリームＴＳが得られる。
また、マルチプレクサ１０３では、コンテナとしてのトランスポートストリームＴＳのレイヤに、ビデオストリームのレイヤにブラーコントロール情報の挿入があることを示す識別情報が挿入される。すなわち、マルチプレクサ１０３では、ＨＦＲ・インフォメーション・デスクリプタ（図１２（ａ）参照）が、プログラム・マップ・テーブル（ＰＭＴ：Program Map Table）のビデオエレメンタリ・ループ（Video ES loop）の配下に挿入される。
マルチプレクサ１０３で生成されたトランスポートストリームＴＳは、送信部１０４に送られる。送信部１０４では、このトランスポートストリームＴＳが、放送波、あるいはネットのパケットに載せられて受信装置２００に送信される。
なお、上述では、ブラーコントロール情報をビデオストリームのレイヤに挿入する例を示した。ＨＦＲ・ブラーコントロール・ＳＥＩメッセージは最も頻繁にはピクチャ毎に送ることができるので、ブラーコントロール情報をピクチャ毎に変更することも可能となる。あるいは、ＨＦＲ・ブラーコントロール・ＳＥＩメッセージを例えばＧＯＰあるいはシーンに１回とか、あるいはもっと粗い単位で送ることもできる。あるいは、ＨＦＲ・ブラーコントロール・ＳＥＩメッセージをピクチャ毎に送っても、メタ情報の値が変わらなければスタティックな運用も可能となる。
ブラーコントロール情報をビデオストリームのレイヤに挿入する代わりに、あるいはビデオストリームのレイヤに挿入すると共に、コンテナのレイヤに挿入することも考えられる。例えば、マルチプレクサ１０３は、プログラム・マップ・テーブル（ＰＭＴ）の配下に、新規定義する、ＨＦＲ・ブラーコントロール・デスクリプタ（HFR_blur_control descriptor）を挿入する。静的な運用で十分な場合には、これで充分である。
あるいは、番組単位でブラーコントロール情報がわかれば充分な場合、ＨＦＲ・ブラーコントロール・デスクリプタを、イベント・インフォメーション・テーブル（ＥＩＴ）の配下に挿入することも考えられる。
図１３は、ＨＦＲ・ブラーコントロール・デスクリプタの構造例(Syntax)を示している。「descriptor_tag」の８ビットフィールドは、デスクリプタタイプを示す。ここでは、ＨＦＲ・ブラーコントロール・デスクリプタであることを示す。「descriptor_length」の８ビットフィールドは、デスクリプタの長さ（サイズ）を示し、デスクリプタの長さとして、以降のバイト数を示す。なお、詳細説明は省略するが、このＨＦＲ・ブラーコントロール・デスクリプタの内容は、上述のＨＦＲ・ブラーコントロール・ＳＥＩメッセージ（図１０参照）の内容と同じである。
[トランスポートストリームＴＳの構成]
図１４は、トランスポートストリームＴＳの構成例を示している。この構成例では、ＰＩＤ１で識別されるビデオストリームのＰＥＳパケット「video PES1」が存在する。アクセスユニットに、ＨＦＲ・ブラーコントロール・ＳＥＩメッセージ（HFR_blur_control SEI message）が挿入されている。
また、トランスポートストリームＴＳには、ＰＳＩ（Program Specific Information）として、ＰＭＴ（Program Map Table）が含まれている。ＰＳＩは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。
ＰＭＴには、各エレメンタリストリームに関連した情報を持つエレメンタリ・ループが存在する。この構成例では、ビデオエレメンタリ・ループ（Video ES loop）が存在する。このビデオエレメンタリ・ループには、上述の１つのビデオエレメンタリストリームに対応して、ストリームタイプ、パケット識別子（PID）等の情報が配置されると共に、そのビデオエレメンタリストリームに関連する情報を記述するデスクリプタも配置される。
デスクリプタの一つとして、ＨＦＲ・インフォメーション・デスクリプタ（HFR_information descriptor）が配置される。このデスクリプタは、上述したように、ビデオストリームに、ＨＦＲ・ブラーコントロール・ＳＥＩメッセージの挿入があることを示すものである。
また、デスクリプタの一つとして、ＨＦＲ・ブラーコントロール・デスクリプタ（HFR_blur_control_ descriptor）が挿入されることもある。このデスクリプタは、ＨＦＲ・ブラーコントロール・ＳＥＩメッセージの代わりに、あるいはＨＦＲ・ブラーコントロール・ＳＥＩメッセージと共に、挿入される。
また、トランスポートストリームＴＳには、イベント（番組）単位の管理を行うＳＩ（Serviced Information）としてのＥＩＴ(Event Information Table)が含まれている。このＥＩＴに、ＨＦＲ・ブラーコントロール・デスクリプタ（HFR_blur_control_ descriptor）が挿入されることもある。このデスクリプタは、ＨＦＲ・ブラーコントロール・ＳＥＩメッセージの代わりに、あるいはＨＦＲ・ブラーコントロール・ＳＥＩメッセージと共に、挿入される。
「受信装置の構成」
図１５は、受信装置２００の構成例を示している。この受信装置２００は、ＣＰＵ（Central Processing Unit）２０１と、ユーザ操作部２０１ａと、受信部２０２と、デマルチプレクサ２０３と、デコーダ２０４と、表示処理部２０５と、表示部２０６を有している。ＣＰＵ２０１は、制御部を構成し、受信装置２００の各部の動作を制御する。
受信部２０２は、送信装置１００から放送波、あるいはネットのパケットに載せて送られてくるトランスポートストリームＴＳを受信する。このトランスポートストリームＴＳには、例えば１２０Ｈｚ、２４０Ｈｚあるいは４８０Ｈｚ等のハイフレームレートの動画像データＶＤに符号化処理が施されて得られたビデオストリームが含まれている。
デマルチプレクサ２０３は、トランスポートストリームＴＳから、ＰＩＤのフィルタリングによってビデオストリームを取り出し、デコーダ２０４に供給する。また、デマルチプレクサ２０３は、トランスポートストリームＴＳのレイヤに含まれるセクション情報を抽出し、ＣＰＵ２０１に送る。この場合、ＨＦＲ・インフォメーション・デスクリプタ（図１２（ａ）参照）、ＨＦＲ・ブラーコントロール・デスクリプタ（図１３参照）も抽出される。
デコーダ２０４は、デマルチプレクサ２０３から供給されるビデオストリームに復号化処理を施して、ハイフレームレートの動画像データＶＤを出力する。また、デコーダ２０４は、ビデオストリームを構成する各アクセスユニットに挿入されているパラメータセットやＳＥＩメッセージを抽出し、ＣＰＵ２０１に送る。この場合、ＨＦＲ・ブラーコントロール・ＳＥＩメッセージ（図１０参照）も抽出される。
表示処理部２０５は、表示部２０６の表示能力に応じて、デコーダ２０４で得られた動画像データに対して適宜フレームレートの変換などの処理を行って表示画像データＶＤｄを得る。例えば、動画像データＤＶのフレームレートが１２０Ｈｚであって、表示部２０６で１２０Ｈｚ表示を行う場合には、フレームレート変換をしない。また、例えば、動画像データＤＶのフレームレートが１２０Ｈｚであって、表示部２０６で６０Ｈｚ表示を行う場合には、フレームレート変換をする。
表示処理部２０５は、表示画像データＶＤｄの各フレームの画像データを得る際に、現在のフレームの画像データの他に周辺のフレームの画像データを使用し、ＨＦＲ・ブラーコントロール・ＳＥＩメッセージやＨＦＲ・ブラーコントロール・デスクリプタに含まれるブラーコントロール情報（各フレームの重み付け係数）に基づいて、ブラー付与処理をする。
ここで、送信側から複数のブラーコントロール情報が送られてきている場合、どのブラーコントロール情報を使用するかは、動画像データＤＶのフレームレートや表示フレームレート等に基づいてＣＰＵ２０１が自動的に選択し、あるいはユーザが任意に選択する。なお、ＣＰＵ２０１は、ユーザの選択の便宜のために、複数のブラーコントロール情報に係る情報を示すＵＩ画面を表示部２０６に表示してもよい。複数のブラーコントロール情報に係る情報としては、動画像データＤＶのフレームレートや表示フレームレートがどのような場合に適するものであるとか。観察者にどのような画質を知覚させるものであるか等の選択に参考となる情報が考えられる。
表示画像データＶＤｄのあるフレームの信号（画像データ）は、動画像データＤＶの当該フレームおよびその周辺のフレームの信号を用いて算出され、ブラーが付与されたものとなる。この場合、動画像データＤＶのあるフレームおよびその周辺のフレームの信号にそれぞれ対応する重み付け係数が掛け算されて積算され、その積算結果が重み付け係数の積算結果で除算されて表示画像データＶＤｄのあるフレームの信号が得られる。
図１６は、表示画像データＶＤｄのあるフレームとしてのフレーム「０」の信号を得るための処理の一例を示している。図１６（ａ）は、ハイフレームレート、例えば１２０Ｈｚのフレームレートの動画像データＤＶにおいて、フレーム進行に伴う所定ピクセルの信号レベルの変化を示している。なお、信号レベルは、最大値を１として示している。
図１６（ｂ）は、上述の図６（ａ）に示した、「－３」～「３」の各フレームを使用するブラーコントロール情報（各フレームの重み付け係数）を示している。図１６（ｃ）は、動画像データＤＶの「－３」～「３」の各フレームの信号Ｓ(-3)～Ｓ(3)にそれぞれ対応する重み付け係数ｆ(-3)～ｆ(3)を掛け算した結果を示している。表示画像データＶＤｄの「０」のフレームの信号は、図１６（ｄ）に示すように、「－３」～「３」の各フレームの掛け算結果の積算値が「－３」～「３」の各フレームの重み付け係数の積算値で割ったものとなる。
図１７は、表示画像データＶＤｄのあるフレームとしてのフレーム「０」の信号を得るための処理の一例を示している。図１７（ａ）は、図１６（ａ）で示したものと同じである。図１７（ｂ）は、上述の図６（ｂ）に示した、「－３」～「３」の各フレームを使用するブラーコントロール情報（各フレームの重み付け係数）を示している。
図１７（ｃ）は、動画像データＤＶの「－３」～「３」の各フレームの信号Ｓ(-3)～Ｓ(3)にそれぞれ対応する重み付け係数ｆ(-3)～ｆ(3)を掛け算した結果を示している。表示画像データＶＤｄの「０」のフレームの信号は、図１７（ｄ）に示すように、「－３」～「３」の各フレームの掛け算結果の積算値が「－３」～「３」の各フレームの重み付け係数の積算値で割ったものとなる。
図１８は、表示画像データＶＤｄのあるフレームとしてのフレーム「０」の信号を得るための処理の一例を示している。図１８（ａ）は、図１６（ａ）で示したものと同じである。図１８（ｂ）は、上述の図６（ｃ）に示した、「－３」～「０」の各フレームを使用するブラーコントロール情報（各フレームの重み付け係数）を示している。
図１８（ｃ）は、動画像データＤＶの「－３」～「０」の各フレームの信号Ｓ(-3)～Ｓ(0)にそれぞれ対応する重み付け係数ｆ(-3)～ｆ(0)を掛け算した結果を示している。表示画像データＶＤｄの「０」のフレームの信号は、図１８（ｄ）に示すように、「－３」～「０」の各フレームの掛け算結果の積算値が「－３」～「０」の各フレームの重み付け係数の積算値で割ったものとなる。
図１９は、表示画像データＶＤｄのあるフレームとしてのフレーム「０」の信号を得るための処理の一例を示している。図１９（ａ）は、図１６（ａ）で示したものと同じである。図１９（ｂ）は、上述の図６（ｄ）に示した、「－３」～「０」の各フレームを使用するブラーコントロール情報（各フレームの重み付け係数）を示している。
図１９（ｃ）は、動画像データＤＶの「－３」～「０」の各フレームの信号Ｓ(-3)～Ｓ(0)にそれぞれ対応する重み付け係数ｆ(-3)～ｆ(0)を掛け算した結果を示している。表示画像データＶＤｄの「０」のフレームの信号は、図１９（ｄ）に示すように、「－３」～「０」の各フレームの掛け算結果の積算値が「－３」～「０」の各フレームの重み付け係数の積算値で割ったものとなる。
図１５に戻って、表示部２０６は、表示処理部２０５で得られた表示画像データによる動画像を表示する。この表示部２０６は、例えば、ＬＣＤ(Liquid Crystal Display)、有機ＥＬ（Organic Electro-Luminescence）パネル等で構成されている。なお、この表示部２０６は、受信装置２００に接続される外部機器であってもよい。
図１５に示す受信装置２００の動作を簡単に説明する。受信部２０２では、送信装置１００から放送波、あるいはネットのパケットに載せて送られてくるトランスポートストリームＴＳを受信される。このトランスポートストリームＴＳは、デマルチプレクサ２０３に送られる。デマルチプレクサ２０３では、トランスポートストリームＴＳから、ＰＩＤのフィルタリングによって、復号化処理をすべきビデオストリームが取り出される。
また、デマルチプレクサ２０３では、トランスポートストリームＴＳのレイヤに含まれるセクション情報が抽出されて、ＣＰＵ２０１に送られる。この場合、ＨＦＲ・インフォメーション・デスクリプタ（図１２（ａ）参照）、さらには、存在する場合には、ＨＦＲ・ブラーコントロール・デスクリプタ（図１３参照）も抽出される。
ＣＰＵ２０１では、ＨＦＲ・インフォメーション・デスクリプタから、ビデオストリーム
にブラーコントロール情報の挿入があることが認識される。また、ＣＰＵ２０１では、ＨＦＲ・ブラーコントロール・デスクリプタからブラーコントロール情報が取得される。
デマルチプレクサ２０３で取り出されたビデオストリームは、デコーダ２０４に供給される。デコーダ２０４では、ビデオストリームに復号化処理が施されて、ハイフレームレートの動画像データＶＤが得られる。
また、デコーダ２０４では、ビデオストリームを構成する各アクセスユニットに挿入されているパラメータセットやＳＥＩメッセージが抽出され、ＣＰＵ２０１に送られる。この場合、ＨＦＲ・ブラーコントロール・ＳＥＩメッセージ（図１０参照）も抽出される。ＣＰＵ２０１では、ＨＦＲ・ブラーコントロール・ＳＥＩメッセージからブラーコントロール情報が取得される。
デコーダ２０４で得られたハイフレームレートの動画像データＤＶは、表示処理部２０５に供給される。表示処理部２０５では、表示部２０６の表示能力に応じて、デコーダ２０４で得られた動画像データＤＶに対して適宜フレームレート変換などの処理が行われて、表示画像データＶＤｄが得られる。
そして、表示処理部２０５では、表示画像データＶＤｄの各フレームの画像データを得る際に、現在のフレームの画像データの他に周辺のフレームの画像データが使用され、ブラーコントロール情報（各フレームの重み付け係数）に基づいて、ブラー付与処理がされる（図１６～図１９参照）。
ここで、送信側から複数のブラーコントロール情報が送られてきている場合、どのブラーコントロール情報を使用するかは、動画像データＤＶのフレームレートや表示フレームレート等に基づいてＣＰＵ２０１により自動的に選択される、あるいはユーザ操作により選択される。このユーザ操作のために、例えば、複数のブラーコントロール情報を示すＵＩ画面が表示部２０６に表示される。
表示処理部２０５から出力された表示画像データＤＶｄは、表示部２０６に供給される。そして、表示部２０６に、表示画像データＤＶｄによる動画像が表示される。
以上説明したように、図１に示す送受信システム１０において、送信装置１００では、コンテナ（トランスポートストリームＴＳ）のレイヤおよび/またはビデオストリームのレイヤに、ブラーをコントロールするためのブラーコントロール情報が挿入される。そのため、受信側では、このブラーコントロール情報に基づいてブラーをコントロールでき、適切な画質の画像を容易に提示できる。
図１に示す送受信システム１０において、受信装置１００では、コンテナ（トランスポートストリームＴＳ）のレイヤおよび/またはビデオストリームのレイヤに挿入されているブラーコントロール情報に基づいてブラー付与処理が行われる。そのため、適切な画質の画像を容易に提示できる。
＜２．変形例＞
なお、上述実施の形態においては、ハイフレームレートの動画像データからフレームレートを下げた（落とした）表示画像データを得る際にブラーコントロール情報を用いたブラ―付与処理を行って適切な画質を得る例を示したが、ハイフレームレートの動画像データからフレームレートを上げた表示画像データを得る際にブラーコントロール情報を用いたブラ―付与処理を行って適切な画質を得ることも同様に考えられる。
また、上述実施の形態においては、送信側でブラ―コントロール情報の付加がある例を示したが、送信側でブラ―コントロール情報の付加がない場合に、受信側において予めメモリ等で構成される保持部に保持されているブラ―コントロール情報を用いることも考えられる。この場合、例えば、ネットからブラ―コントロール情報を取得して保持部に保持しておくか、あるいはリムーバブルな記録媒体から取得して保持部に保持しておくことが考えられる。そして、この場合、このリムーバブルな記録媒体が直接保持部を構成することも考えられる。
また、送信側でブラ―コントロール情報の付加がある場合に、受信側においてそのブラ―コントロール情報のアップデート（修正）を可能とすることも考えられる。この場合に、アップデートするブラ―コントロール情報をネットから取得すること、あるいはリムーバブルな記録媒体から取得することも考えられる。
また、上述実施の形態においては、受信装置２００が、ブラーコントロール情報が付加されたハイフレームレートの動画像データを放送あるいはネットから得る例を示した。しかし、受信装置２００の部分では、ブラーコントロール情報が付加されたハイフレームレートの動画像データをＵＳＢメモリなどのリムーバブルな記録媒体から得るようにすることも考えられる。
また、上述実施例においては、送信側から送られてくるハイフレームレートの動画像データに対して、それに付加されて送信側から送られてくるブラ―コントロール情報を用いてブラ―付与処理を行う例を示した。しかし、送信側から送られてくるハイフレームレートの動画像データをコンテンツとして半導体メモリ等で構成される記録部に記録して、適宜なタイミングで再生して利用する記録装置も考えられる。例えば、受信装置２００が、当該記録部を備えていてもよい。
その場合、送信側からブラ―コントロール情報が送られてくる場合には、ハイフレームレートの動画像データと共にそれに関連付けされてブラ―コントロール情報も記録される。そして、このブラ―コントロール情報については、適宜修正も可能とされる。また、送信側からブラ―コントロール情報が送られてこない場合、コンテンツ編集時に、ブラ―コントロール情報を生成し、あるいはネットから取得して、ハイフレームレートの動画像データと共にそれに関連付けされて記録部に記録することも考えられる。
また、上述実施の形態においては、ハイフレームレートの動画像データを符号化して得られたビデオストリームを含むコンテナを送信する際に、コンテナのレイヤおよび/またはビデオストリームのレイヤに、ブラーをコントロールするためのブラーコントロール情報を挿入する例を示した。しかし、ハイフレームレートの動画像データを符号化して得られたビデオストリームを半導体メモリ等の所定の記録媒体にコンテンツとして記録して利用することも考えられる。その際には、ハイフレームレートの動画像データのブラーをコントロールするブラーコントロール情報を生成し、当該ブラーコントロール情報を、ビデオストリームのレイヤに挿入するか、あるいはこのビデオストリームを含むコンテナの状態で記録媒体に記録しておく場合にはコンテナのレイヤに挿入して記録することも考えられる。
また、上述では、送信装置１００および受信装置２００により構成される送受信システム１０を示したが、本技術を適用し得る送受信システムの構成は、これに限定されるものではない。例えば、図２０に示す送受信システム１０Ａのように、受信装置２００の部分がデジタルインタフェース、例えば、ＨＤＭＩ（High-Definition Multimedia Interface）のデジタルインタフェースで接続されたセットトップボックス（ＳＴＢ）２００Ａおよびモニタ２００Ｂからなる構成であってもよい。なお、「ＨＤＭＩ」は、登録商標である。
この場合、セットトップボックス２００Ａには、表示処理部２０５まで含まれる場合、あるいはデコーダ２０４まで含まれる場合などが考えられる。表示処理部２０５以降がモニタ２００Ｂに含まれる場合、セットトップボックス２００Ａからモニタ２００Ｂには、非圧縮の動画像データＤＶと共にブラーコントロール情報が送信される。セットトップボックス２００Ａは、例えば、ブラーコントロール情報を、動画像データＤＶのブランキング期間に挿入することで送信する。例えば、“Video displaying InfoFrame”のパケットを用いて、ブラーコントロール情報を、モニタ２００Ｂに送る。
また、図２１に示すように、図２０におけるモニタ２００Ｂの部分をＨＭＤ（ヘッドマウントディスプレイ）装置２００Ｃに置き換えた送受信システム１０Ｂも考えられる。図２２は、ＨＭＤ装置２００Ｃの構成例を示している。
ＨＭＤ装置２００Ｃは、ＣＰＵ２５１と、ユーザ操作部２５２と、ＨＤＭＩ受信部２５３と、画像処理部２５４と、表示処理部２５５と、左眼用表示部２５６と、右眼用表示部２５７を有している。ＣＰＵ２５１は、制御部を構成し、ＨＭＤ装置２００Ｃの各部の動作を制御する。ユーザ操作部２５２は、ユーザが種々の操作を行うためのキー、ボタン、タッチパネル、リモコンなどである。
ＨＤＭＩ受信部２５３は、ＨＤＭＩ規格に準拠したＨＤＭＩ受信部の構成とされており、セットトップボックス２００Ａから表示画像データＤＶｄを受信する。画像処理部２５４は、ＨＤＭＩ受信部２５３から入力された表示画像データＤＶｄに対し、スケーリング、ノイズ・リダクションなどの信号処理をする。
表示制御部２５５は、画像処理部２５４で得られた画像データを左眼用表示部２５６および右眼用表示部２５７に表示出力する。左眼用表示部２５６および右眼用表示部２５７には、それぞれ映像を拡大するレンズ・ブロック（図２２には図示しない）が装備されている。左右のレンズ・ブロックは、それぞれ複数の光学レンズの組み合わせからなり、表示パネルに表示された画像を光学処理する。
左眼用表示部２５６および右眼用表示部２５７の表示パネルに表示された画像は、レンズ・ブロックを通過する際に拡大され、ユーザの網膜に大きな虚像を結像する。そして、観察するユーザの脳内では左眼用画像と右眼用画像が融像される。左眼用表示部２５６および右眼用表示部２５７は、例えば液晶ディスプレイや、有機ＥＬ素子で構成されている。
なお、上述では、ＨＤＭＩ受信部２５３でセットトップボックス２００Ａから表示画像データＤＶｄを受信するように説明したが、このＨＤＭＩ受信部２５３でセットトップボックス２００Ａからハイフレームレートの動画像データＤＶとブラーコントロール情報を受信することも考えられる。
この場合には、画像処理部２５４において、左眼用表示部２５６および右眼用表示部２５７の表示パネルの表示能力に応じて、動画像データＤＶに対して適宜フレームレート変換などの処理が行われて、表示画像データＶＤｄが得られる。
また、この画像処理部２５４において、図１５に示す受信装置２００の表示処理部２０５と同様に、表示画像データＶＤｄの各フレームの画像データを得る際に、現在のフレームの画像データの他に周辺のフレームの画像データが使用され、ブラーコントロール情報（各フレームの重み付け係数）に基づいて、ブラー付与処理がされる（図１６～図１９参照）。
このように、ＨＭＤ装置２００Ｃにおいても、ブラーコントロール情報に基づいてブラー付与処理が施された表示画像データＶＤｄによる画像表示がなされるので、適切な画質の画像を容易に提示できる。
なお、セットトップボックス２００Ａからモニタ２００ＢやＨＭＤ装置２００Ｃへのブラーコントロール情報の送信を、“Video displaying InfoFrame”のパケットを用いる代わりに、その他の”InfoFrame”のパケット、例えば“Vender Specific InfoFrame”のパケットなどを用いることも考えられる。また、ブラーコントロール情報の送信を、ＣＥＣラインやＨＥＣの通信ラインを介して送信することも考えられる。
また、上述実施の形態においては、コンテナがトランスポートストリーム（ＭＰＥＧ－２ ＴＳ）である例を示した。しかし、本技術は、インターネット等のネットワークを利用して受信端末に配信される構成のシステムにも同様に適用できる。インターネットの配信では、ＭＰ４やそれ以外のフォーマットのコンテナで配信されることが多い。つまり、コンテナとしては、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ－２ ＴＳ）あるいはＭＭＴ（MPEG Media Transport）、インターネット配信で使用されているＭＰ４などの種々のフォーマットのコンテナが該当する。
また、本技術は、以下のような構成を取ることもできる。
（１）ハイフレームレートの動画像データを符号化して得られたビデオストリームを生成する符号化部と、
上記ビデオストリームを含むコンテナを送信する送信部と、
上記コンテナのレイヤおよび/または上記ビデオストリームのレイヤに、ブラーをコントロールするためのブラーコントロール情報を挿入する情報挿入部を備える
送信装置。
（２）上記ブラーコントロール情報は、現在フレームの画像データに周辺フレームの画像データを加算するブラー付与処理における各フレームの重み付け係数を与える
前記（１）に記載の送信装置。
（３）上記周辺フレームには、過去および未来のフレームが含まれる
前記（２）に記載の送信装置。
（４）上記周辺フレームには、過去のフレームだけが含まれる
前記（２）に記載の送信装置。
（５）上記周辺フレームの重み付け係数には負の係数が含まれる
前記（２）から（４）のいずれかに記載の送信装置。
（６）上記ハイフレームレートの動画像データは、１２０Ｈｚ、２４０Ｈｚあるいは４８０Ｈｚのフレームレートの動画像データである
前記（１）から（５）のいずれかに記載の送信装置。
（７）上記情報挿入部は、上記ブラーコントロール情報を含むＳＥＩメッセージを上記ビデオストリームのレイヤに挿入する
前記（１）から（６）のいずれかに記載の送信装置。
（８）上記情報挿入部は、上記ビデオストリームのレイヤに上記ブラーコントロール情報を挿入するとき、該挿入があることを示す識別情報を上記コンテナのレイヤにさらに挿入する
前記（１）から（７）のいずれかに記載の送信装置。
（９）上記情報挿入部は、上記ブラーコントロール情報を含むデスクリプタを上記コンテナのレイヤに挿入する
前記（１）から（８）のいずれかに記載の送信装置。
（１０）上記コンテナは、ＭＰＥＧ２トランスポートストリームであり、
上記デスクリプタは、プログラム・マップ・テーブル、あるいはイベント・インフォメーション・テーブルに挿入される
前記（９）に記載の送信装置。
（１１）上記情報挿入部は、上記コンテナのレイヤおよび/または上記ビデオストリームのレイヤに、複数種類の上記ブラーコントロール情報を挿入する
前記（１）から（１０）のいずれかに記載の送信装置。
（１２）画像符号化部が、ハイフレームレートの動画像データを符号化して得られたビデオストリームを生成する画像符号化ステップと、
送信部が、上記ビデオストリームを含むコンテナを送信する送信ステップと、
情報挿入部が、上記コンテナのレイヤおよび/または上記ビデオストリームのレイヤに、ブラーをコントロールするためのブラーコントロール情報を挿入する情報挿入ステップを有する
送信方法。
（１３）ハイフレームレートの動画像データを符号化して得られたビデオストリームを含むコンテナを受信する受信部を備え、
上記ビデオストリームを復号化して上記ハイフレームレートの動画像データを得る復号化部と、
上記得られたハイフレームレートの動画像データにブラーコントロール情報を用いたブラー付与処理を行う処理部をさらに備える
受信装置。
（１４）上記コンテナのレイヤおよび/または上記ビデオストリームのレイヤに、上記ブラーコントロール情報が挿入されており、
上記処理部は、上記挿入されているブラーコントロール情報を用いるか、あるいは該ブラーコントロール情報を修正して用いる
前記（１３）に記載の受信装置。
（１５）上記ブラ―コントロール情報を保持する保持部をさらに備え、
上記処理部は、上記保持部から上記ブラーコントロール情報を取得して用いる
前記（１３）に記載の受信装置。
（１６）上記コンテナのレイヤおよび/または上記ビデオストリームのレイヤに、複数種類の上記ブラーコントロール情報が挿入されており、
上記処理部は、上記複数種類のブラーコントロール情報から表示フレームレートに応じた、あるいは所望画質に応じた種類のブラーコントロール情報を選択して用いる
前記（１３）に記載の受信装置。
（１７）上記処理部は、上記ハイフレームレートの動画像データからフレームレートを落とした表示画像データを得る際に、ブラー付与処理を行う
前記（１３）から（１６）のいずれかに記載の受信装置。
（１８）受信部が、ハイフレームレートの動画像データを符号化して得られたビデオストリームを含むコンテナを受信する受信ステップを有し、
上記コンテナのレイヤおよび/または上記ビデオストリームのレイヤに、ブラーをコントロールするためのブラーコントロール情報が挿入されており、
復号化部が、上記ビデオストリームを復号化して上記ハイフレームレートの動画像データを得る復号化ステップと、
処理部が、上記得られたハイフレームレートの動画像データに上記ブラーコントロール情報を用いたブラー付与処理を行う処理ステップをさらに有する
受信方法。
（１９）ハイフレームレートの動画像データを符号化して得られたビデオストリームを生成する符号化部と、
上記ハイフレームレートの動画像データのブラーをコントロールするためのブラーコントロール情報を生成する生成部と、
上記ビデオストリームのレイヤおよび/または上記ビデオストリームを含むコンテナのレイヤに挿入された上記ブラーコントロール情報および上記ビデオストリームを記録する記録部を備える
記録装置。
（２０）符号化部が、ハイフレームレートの動画像データを符号化して得られたビデオストリームを生成する符号化ステップと、
生成部が、上記ハイフレームレートの動画像データのブラーをコントロールするためのブラーコントロール情報を生成する生成ステップと、
記録部が、上記ビデオストリームのレイヤおよび/または上記ビデオストリームを含むコンテナのレイヤに挿入された上記ブラーコントロール情報および上記ビデオストリームを記録する記録ステップを有する
記録方法。
１０，１０Ａ，１０Ｂ・・・送受信システム
１００・・・送信装置
１０１・・・ＣＰＵ
１０２・・・エンコーダ
１０３・・・マルチプレクサ
１０４・・・送信部
２００・・・受信装置
２００Ａ・・・セットトップボックス
２００Ｂ・・・モニタ
２００Ｃ・・・ＨＭＤ装置
２０１・・・ＣＰＵ
２０１ａ・・・ユーザ操作部
２０２・・・受信部
２０３・・・デマルチプレクサ
２０４・・・デコーダ
２０５・・・表示処理部
２０６・・・表示部
２５１・・・ＣＰＵ
２５２・・・ユーザ操作部
２５３・・・ＨＤＭＩ受信部
２５４・・・画像処理部
２５５・・・表示処理部
２５６・・・左眼用表示部
２５７・・・右眼用表示部

Claims (11)

  1. 動画像データにブラー付与処理を行って表示画像データを得る処理部を備え、
    上記処理部は、
    複数種類のブラーコントロール情報から表示フレームレートに応じた、あるいは所望画質に応じた種類のブラーコントロール情報を選択し、該選択されたブラーコントロール情報に含まれるフレームをパラメータとする関数情報を用いて、現在フレームの画像データに周辺フレームの画像データを重み付け加算する上記ブラー付与処理を行って上記表示画像データを得る
    情報処理装置。
  2. ビデオストリームおよび上記複数種類のブラーコントロール情報を受信する受信部と、
    上記受信部で受信されたビデオストリームを復号化して上記動画像データを得る復号化部をさらに備え、
    上記処理部は、上記受信部で受信された上記複数種類のブラーコントロール情報を用いる
    請求項１に記載の情報処理装置。
  3. ビデオストリームを受信する受信部と、
    上記受信部で受信されたビデオストリームを復号化して上記動画像データを得る復号化部と、
    上記複数種類のブラーコントロール情報を保持する保持部をさらに備え、
    上記処理部は、上記保持部から上記複数種類のブラーコントロール情報を取得して用いる
    請求項１に記載の情報処理装置。
  4. ビデオストリームおよび上記複数種類のブラーコントロール情報を記録する記録部と、
    上記記録部に記録されているビデオストリームを復号化して上記動画像データを得る復号化部をさらに備え、
    上記処理部は、上記記録部から上記複数種類のブラーコントロール情報を取得して用いる
    請求項１に記載の情報処理装置。
  5. 上記複数種類のブラーコントロール情報は、それぞれ、関数のタイプ情報を含む
    請求項１に記載の情報処理装置。
  6. 上記複数種類のブラーコントロール情報は、それぞれ、動画像データのフレームレート情報を含む
    請求項１に記載の情報処理装置。
  7. 上記複数種類のブラーコントロール情報は、それぞれ、表示画像データのフレームレート情報を含む
    請求項１に記載の情報処理装置。
  8. 上記動画像データは、６０Ｈｚのノーマルフレームレートより大きなフレームレートであるハイフレームレートの動画像データである
    請求項１に記載の情報処理装置。
  9. 上記動画像データは、１２０Ｈｚ、２４０Ｈｚあるいは４８０Ｈｚのフレームレートの動画像データである
    請求項１に記載の情報処理装置。
  10. 上記複数種類のブラーコントロール情報に係る情報を示すユーザーインターフェース画面を表示する表示部をさらに備える
    請求項１に記載の情報処理装置。
  11. 動画像データにブラー付与処理を行って表示画像データを得る処理ステップを有し、
    上記処理ステップでは、
    複数種類のブラーコントロール情報から表示フレームレートに応じた、あるいは所望画質に応じた種類のブラーコントロール情報を選択し、該選択されたブラーコントロール情報に含まれるフレームをパラメータとする関数情報を用いて、現在フレームの画像データに周辺フレームの画像データを重み付け加算する上記ブラー付与処理を行って上記表示画像データを得る
    情報処理方法。
JP2019513638A 2017-04-17 2018-04-16 情報処理装置および情報処理方法 Active JP7300985B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017081604 2017-04-17
JP2017081604 2017-04-17
PCT/JP2018/015778 WO2018194040A1 (ja) 2017-04-17 2018-04-16 送信装置、送信方法、受信装置、受信方法、記録装置および記録方法

Publications (2)

Publication Number Publication Date
JPWO2018194040A1 JPWO2018194040A1 (ja) 2020-02-27
JP7300985B2 true JP7300985B2 (ja) 2023-06-30

Family

ID=63855867

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019513638A Active JP7300985B2 (ja) 2017-04-17 2018-04-16 情報処理装置および情報処理方法

Country Status (6)

Country Link
US (1) US11523120B2 (ja)
EP (1) EP3614680B1 (ja)
JP (1) JP7300985B2 (ja)
KR (1) KR102551759B1 (ja)
CN (1) CN110521211B (ja)
WO (1) WO2018194040A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007063819A1 (ja) 2005-11-29 2007-06-07 Pioneer Corporation 記録装置、再生装置、記録方法、記録プログラムおよびコンピュータに読み取り可能な記録媒体
JP2007274299A (ja) 2006-03-31 2007-10-18 Sony Corp 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
JP2010103654A (ja) 2008-10-22 2010-05-06 Nippon Telegr & Teleph Corp <Ntt> フレームレート変換方法、フレームレート変換装置、フレームレート変換プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
WO2010116731A1 (ja) 2009-04-08 2010-10-14 パナソニック株式会社 撮像装置、再生装置、撮像方法及び再生方法
WO2016190089A1 (ja) 2015-05-22 2016-12-01 ソニー株式会社 送信装置、送信方法、画像処理装置、画像処理方法、受信装置および受信方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5454051A (en) * 1991-08-05 1995-09-26 Eastman Kodak Company Method of reducing block artifacts created by block transform compression algorithms
US7373013B2 (en) * 2003-12-23 2008-05-13 General Instrument Corporation Directional video filters for locally adaptive spatial noise reduction
WO2006040722A2 (en) * 2004-10-13 2006-04-20 Koninklijke Philips Electronics N.V. Display time control for moving images
JP4868236B2 (ja) * 2004-12-21 2012-02-01 ソニー株式会社 画像処理装置と画像処理方法および画像処理プログラム
US7570309B2 (en) * 2005-09-27 2009-08-04 Samsung Electronics Co., Ltd. Methods for adaptive noise reduction based on global motion estimation
GB2432068B (en) * 2005-11-02 2010-10-06 Imagination Tech Ltd Motion estimation
US8208563B2 (en) * 2008-04-23 2012-06-26 Qualcomm Incorporated Boundary artifact correction within video units
JP4666012B2 (ja) * 2008-06-20 2011-04-06 ソニー株式会社 画像処理装置、画像処理方法、プログラム
JP2010178124A (ja) 2009-01-30 2010-08-12 Victor Co Of Japan Ltd 記録装置及び記録方法
WO2010109900A1 (ja) * 2009-03-26 2010-09-30 パナソニック株式会社 映像加工装置、映像加工方法、映像加工集積回路、映像再生装置
US8520736B2 (en) * 2009-04-14 2013-08-27 Fastvdo, Llc Real-time superresolution and video transmission
US8378799B2 (en) * 2009-06-30 2013-02-19 Mitsubishi Electric Research Laboratories, Inc. Method and system for coding information on a roadway surface subject to motion blur
US8503801B2 (en) * 2010-09-21 2013-08-06 Adobe Systems Incorporated System and method for classifying the blur state of digital image pixels
JP6003992B2 (ja) * 2012-08-27 2016-10-05 ソニー株式会社 受信装置および受信方法
JP6172535B2 (ja) * 2012-09-26 2017-08-02 サン パテント トラスト 画像復号方法および画像復号装置
WO2014094313A1 (en) * 2012-12-21 2014-06-26 Thomson Licensing Video quality model, method for training a video quality model, and method for determining video quality using a video quality model
US20140177706A1 (en) * 2012-12-21 2014-06-26 Samsung Electronics Co., Ltd Method and system for providing super-resolution of quantized images and video
US9542736B2 (en) * 2013-06-04 2017-01-10 Paypal, Inc. Evaluating image sharpness
US10708491B2 (en) * 2014-01-07 2020-07-07 Ml Netherlands C.V. Adaptive camera control for reducing motion blur during real-time image capture
CN106464889A (zh) * 2014-03-06 2017-02-22 三星电子株式会社 执行基于子块的预测的层间视频解码方法和层间视频编码方法及其设备
WO2016145591A1 (en) * 2015-03-16 2016-09-22 Nokia Technologies Oy Moving object detection based on motion blur
KR102142938B1 (ko) * 2015-09-25 2020-08-10 후아웨이 테크놀러지 컴퍼니 리미티드 비디오 모션 보상을 위한 장치 및 방법
JP6621798B2 (ja) * 2016-12-08 2019-12-18 株式会社モルフォ 画像処理装置、画像処理方法及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007063819A1 (ja) 2005-11-29 2007-06-07 Pioneer Corporation 記録装置、再生装置、記録方法、記録プログラムおよびコンピュータに読み取り可能な記録媒体
JP2007274299A (ja) 2006-03-31 2007-10-18 Sony Corp 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
JP2010103654A (ja) 2008-10-22 2010-05-06 Nippon Telegr & Teleph Corp <Ntt> フレームレート変換方法、フレームレート変換装置、フレームレート変換プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
WO2010116731A1 (ja) 2009-04-08 2010-10-14 パナソニック株式会社 撮像装置、再生装置、撮像方法及び再生方法
WO2016190089A1 (ja) 2015-05-22 2016-12-01 ソニー株式会社 送信装置、送信方法、画像処理装置、画像処理方法、受信装置および受信方法

Also Published As

Publication number Publication date
US20200322614A1 (en) 2020-10-08
CN110521211A (zh) 2019-11-29
JPWO2018194040A1 (ja) 2020-02-27
EP3614680A4 (en) 2020-04-29
EP3614680B1 (en) 2024-05-01
US11523120B2 (en) 2022-12-06
CN110521211B (zh) 2023-06-16
KR102551759B1 (ko) 2023-07-06
WO2018194040A1 (ja) 2018-10-25
KR20190137802A (ko) 2019-12-11
EP3614680A1 (en) 2020-02-26

Similar Documents

Publication Publication Date Title
CA2936318C (en) Transmission device, transmission method, reception device, reception method, display device, and display method
JP6355521B2 (ja) デジタル放送受信装置及び方法
JP6614156B2 (ja) 送信装置、送信方法、受信装置および受信方法
US8860782B2 (en) Stereo image data transmitting apparatus and stereo image data receiving apparatus
US8937642B2 (en) Stereo image data transmitting apparatus and stereo image data receiving apparatus
US20110141233A1 (en) Three-dimensional image data transmission device, three-dimensional image data transmission method, three-dimensional image data reception device, and three-dimensional image data reception method
US20110141232A1 (en) Image data transmitting apparatus, control method, and program
US20110234755A1 (en) Digital broadcasting reception method capable of displaying stereoscopic image, and digital broadcasting reception apparatus using the same
TW201116043A (en) Stereoscopic image data transmitter, method for transmitting stereoscopic image data, and stereoscopic image data receiver
JP6930419B2 (ja) 画像処理装置、画像処理方法、受信装置および送信装置
WO2012060198A1 (ja) 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
WO2011155418A1 (ja) 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
JP7300985B2 (ja) 情報処理装置および情報処理方法
KR20130132240A (ko) 입체 화상 데이터 송신 장치, 입체 화상 데이터 송신 방법 및 입체 화상 데이터 수신 장치
JP6930420B2 (ja) 送信装置、送信方法、画像処理装置、画像処理方法、受信装置および受信方法
JP7205590B2 (ja) 送信装置、送信方法、受信装置および受信方法
JP5684415B2 (ja) デジタル放送信号受信装置およびデジタル放送信号受信方法
JP2012182589A (ja) ３ｄコンテンツを２ｄでプレビュー表示する装置および方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210414

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220510

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220705

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221101

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20221226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230217

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230523

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230620

R150 Certificate of patent or registration of utility model

Ref document number: 7300985

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150