JP5882547B2 - シーンの変化に伴うピクチャ内の符号化及び送信パラメータの好適化 - Google Patents

シーンの変化に伴うピクチャ内の符号化及び送信パラメータの好適化 Download PDF

Info

Publication number
JP5882547B2
JP5882547B2 JP2015531113A JP2015531113A JP5882547B2 JP 5882547 B2 JP5882547 B2 JP 5882547B2 JP 2015531113 A JP2015531113 A JP 2015531113A JP 2015531113 A JP2015531113 A JP 2015531113A JP 5882547 B2 JP5882547 B2 JP 5882547B2
Authority
JP
Japan
Prior art keywords
picture
encoded representation
scene change
occurred
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2015531113A
Other languages
English (en)
Other versions
JP2015531558A (ja
Inventor
ラビー、コースロ・エム.
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2015531558A publication Critical patent/JP2015531558A/ja
Application granted granted Critical
Publication of JP5882547B2 publication Critical patent/JP5882547B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • H04L65/762Media network packet handling at the source 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/127Prioritisation of hardware or computational resources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142Detection of scene cut or scene change
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/87Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440254Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering signal-to-noise parameters, e.g. requantization
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/147Scene change detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W28/00Network traffic management; Network resource management
    • H04W28/16Central resource management; Negotiation of resources or communication parameters, e.g. negotiating bandwidth or QoS [Quality of Service]
    • H04W28/18Negotiating wireless communication parameters
    • H04W28/22Negotiating communication rate
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/18Information format or content conversion, e.g. adaptation by the network of the transmitted or received information for the purpose of wireless delivery to users or terminals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

[0001]本開示は、メディアデータの転送及び再生に関するものである。
[0002]無線表示(WD)システムは、ソースデバイスと、1つ以上のシンクデバイスと、を含む。ソースデバイスは、無線ローカルエリアネットワーク内においてメディアコンテンツを送信することが可能なデバイスであることができる。シンクデバイスは、メディアコンテンツを受信及び提供することが可能なデバイスであることができる。幾つかの例では、デバイスは、ソースデバイス及びシンクデバイスの両方であることができる。ソースデバイス及びシンクデバイスは、モバイルデバイス又は有線デバイスのいずれかであることができる。例えば、モバイルデバイスとしては、ソースデバイス及びシンクデバイスは、携帯電話、無線通信カードを有するポータブルコンピュータ、パーソナルデジタルアシスタント(PDA)、ポータブルメディアプレーヤー、デジタル画像キャプチャリングデバイス、例えば、カメラ又はカムコーダ、又は、無線通信能力を有するその他のデバイス、例えば、いわゆる“スマート”フォン及び“スマートパッド”又はタブレット、又はその他のタイプの無線通信デバイスを備えることができる。例えば、有線デバイスとしては、ソースデバイス及びシンクデバイスは、テレビ、デスクトップコンピュータ、モニタ、プロジェクタ、プリンタ、セットトップボックス、ゲームプレイコンソール、ルータ、及びデジタルビデオディスク(DVD)プレーヤー、及びメディアサーバを備えることができる。
[0003]ソースデバイスは、特定のメディア共有セッションに参加している1つ以上のシンクデバイスにメディアデータ、例えば、オーディオビデオ(AV)データ、を送信することができる。メディアデータは、ソースデバイスのローカルディスプレイ及びシンクデバイスの各々のディスプレイの両方において再生することができる。より具体的には、参加している各シンクデバイスは、関連付けられたスクリーン及びオーディオ装置上での提示のために受信されたメディアデータを提供することができる。幾つかの事例においては、シンクデバイスのユーザは、シンクデバイスで表示されているコンテンツを制御するために、ユーザによる入力、例えば、タッチ入力及び遠隔操作入力、をシンクデバイスに適用することができる。
[0004]無線表示システムのソースデバイスは、ピクチャ間でのシーンの変化を検出したことに応答してピクチャと関連付けられた符号化パラメータ及び送信パラメータを好適化することができる。例えば、ソースデバイスは、第2のピクチャの符号化された表現(representation)をシンクデバイスに送信する前に第1のピクチャと第2のピクチャとの間でシーンの変化が生じているかどうかを決定することができる。シーンの変化は、第1のピクチャ及び第2のピクチャが十分に異なるときに生じる。ソースデバイスは、シーンの変化が生じていると決定したことに応答して、第2のピクチャの符号化された表現内のコーディングビット数を減少させることができる。さらに、シーンの変化が生じていると決定したことに応答して、ソースデバイスは、無線チャネルのスループットを増大させることができる。第2のピクチャの符号化された表現内のコーディングビット数を減少させ及び無線チャネルのスループットを増大させた後は、ソースデバイスは、無線チャネルを介して第2のピクチャの符号化された表現をシンクデバイスに送信することができる。
[0005]一態様においては、本開示は、映像データを送信するための方法について説明する。方法は、映像データ内の第2のピクチャの符号化された表現を送信する前に映像データ内の第1のピクチャと第2のピクチャとの間でシーンの変化が生じていると決定することを備えることができる。方法は、シーンの変化が生じていると決定したことに応答して、第2のピクチャの符号化された表現内のコーディングビット数を減少させることを備えることもできる。さらに、方法は、シーンの変化が生じていると決定したことに応答して、第2のピクチャの符号化された表現を送信するために使用される無線チャネルのスループットを増大させることを備えることができる。方法は、第2のピクチャの符号化された表現内のコーディングビット数を減少させ及び無線チャネルのスループットを増大させた後に、無線チャネルを介して第2のピクチャの符号化された表現を送信することも備える。
[0006]他の態様においては、本開示は、1つ以上の送信機と、映像データ内の第2のピクチャの符号化された表現を送信する前に映像データ内の第1のピクチャと第2のピクチャとの間でシーンの変化が生じていると決定するように構成される1つ以上のプロセッサと、を備えるコンピューティングデバイスについて説明する。1つ以上のプロセッサは、シーンの変化が生じていると決定したことに応答して、第2のピクチャの符号化された表現内のコーディングビット数を減少させるようにも構成される。さらに、1つ以上のプロセッサは、シーンの変化が生じていると決定したことに応答して、第2のピクチャの符号化された表現を送信するために使用される無線チャネルのスループットを増大させるように構成される。さらに、1つ以上のプロセッサは、第2のピクチャの符号化された表現内のコーディングビット数を減少させ及び無線チャネルのスループットを増大させた後に、無線チャネルを介して第2のピクチャの符号化された表現を送信するために1つ以上の送信機を使用するように構成される。
[0007]他の態様においては、本開示は、映像データ内の第2のピクチャの符号化された表現を送信する前に映像データ内の第1のピクチャと第2のピクチャとの間でシーンの変化が生じていると決定するための手段を備えるコンピューティングデバイスについて説明する。コンピューティングデバイスは、シーンの変化が生じていると決定したことに応答して、第2のピクチャの符号化された表現内のコーディングビット数を減少させるための手段も備える。さらに、コンピューティングデバイスは、シーンの変化が生じていると決定したことに応答して、第2のピクチャの符号化された表現を送信するために使用される無線チャネルのスループットを増大させるための手段を備える。コンピューティングデバイスは、第2のピクチャの符号化された表現内のコーディングビット数を減少させ及び無線チャネルのスループットを増大させた後に、無線チャネルを介して第2のピクチャの符号化された表現を送信するための手段も備える。
[0008]他の態様においては、本開示は、コンピューティングデバイスの1つ以上のプロセッサによって実行されたときに、映像データ内の第2のピクチャの符号化された表現を送信する前に映像データ内の第1のピクチャと第2のピクチャとの間でシーンの変化が生じていると決定することをコンピューティングデバイスに行わせる命令を格納する1つ以上のコンピュータによって読み取り可能な記憶媒体を備えるコンピュータプログラム製品について説明する。命令は、シーンの変化が生じていると決定したことに応答して、第2のピクチャの符号化された表現内のコーディングビット数を減少させることも1つ以上のプロセッサに行わせる。さらに、命令は、シーンの変化が生じていると決定したことに応答して、第2のピクチャの符号化された表現を送信するために使用される無線チャネルのスループットを増大させることを1つ以上のプロセッサに行わせる。さらに、命令は、第2のピクチャの符号化された表現内のコーディングビット数を減少させ及び無線チャネルのスループットを増大させた後に、無線チャネルを介して第2のピクチャの符号化された表現をシンクデバイスに送信するために1つ以上の送信機を使用することを1つ以上のプロセッサに行わせる。
[0009]本開示の1つ以上の例の詳細が、添付図及び以下の説明において示される。それらの説明、図面、及び請求項から、その他の特徴、目的、及び利点が明らかになるであろう。
[0010]ソースデバイスとシンクデバイスとを含む無線通信システムを例示したブロック図である。 [0011]本開示の1つ以上の技法を実装するように構成される映像符号器例を示したブロック図である。 [0012]本開示の1つ以上の技法を実装するように構成される映像復号器例を示したブロック図である。 [0013]本開示の1つ以上の技法による、ソースデバイスによって行われる動作例を示したフローチャートである。 [0014]図4の動作例の続きを示したフローチャートである。 [0015]図4の動作例のさらなる続きを示したフローチャートである。 [0016]本開示の1つ以上の技法による映像データを符号化するための動作例を示したフローチャートである。
[0017]概して、本開示は、無線表示(WD)システムにおいて映像データを送信するための技法に関するものである。WDシステムにおいては、ソースデバイスは、映像データを符号化し、無線チャネルを通じて符号化された映像データをシンクデバイスに送信する。シンクデバイスは、符号化された映像データを復号し、復号された映像データを表示画面上に表示することができる。
[0018]典型的なWDシステムにおいては、ソースデバイスがいずれかの所定の時点で無線チャネルを通じてシンクデバイスに無線送信することができるデータの量には上限が存在する。この上限は、無線チャネルの現在の帯域幅と呼ぶことができる。無線チャネルの現在の帯域幅は、経時で変化することができる。換言すると、無線チャネルの現在の帯域幅は、動的であることができる。無線チャネルの帯域幅の変化は、予測不能である。無線チャネルの現在の帯域幅は、様々な理由で変化する可能性がある。例えば、無線チャネルの現在の帯域幅は、近傍のコンピューティングデバイスがデータを送信するために無線チャネルと同じ周波数を使用し始め、無線チャネルがコンピューティングデバイスと他の近傍のコンピューティングデバイスとの間で共有される場合に低下することがある。その他の例では、無線チャネルの現在の帯域幅は、その他の要因、例えば、近傍の電気デバイス及び電気機器によって生成される雑音、に応答して低下することがある。
[0019]ソースデバイスによって無線送信されている映像データの量も経時で変化することがある。例えば、映像データを符号化時にインターピクチャ予測を使用することによって、概して、ソースデバイスは、イントラピクチャ予測と比較して、類似のコンテンツを有するピクチャを表現するために要求されるコーディングビット数を減少させることができる。従って、映像データが一連の類似の又は同一のピクチャ予測を含む場合は、インターコーディングを用いてこの一連のピクチャを表現するために要求されるコーディングビット数は、イントラコーディングされたピクチャと比較して相対的に少ないことができる。
[0020]しかしながら、映像データでは、連続してコーディングされたピクチャ間でほとんど類似していないポイントが存在する可能性がある。例えば、映像データが映画である場合は、シーンの変化は、連続するピクチャ間でほとんど類似していないポイントを導入することがある。他の例では、映像データは、ソースデバイスの仮想デスクトップを表現することができ、ソースデバイスのユーザは、フルスクリーンアプリケーションを開くことができる。この例では、ユーザがフルスクリーンアプリケーションを開く前に連続するピクチャのうちの1つが発生し、ユーザがフルスクリーンアプリケーションを開いた後に連続するピクチャのうちの1つが発生した場合は連続するピクチャ間では類似性がほとんど存在することができない。他の例では、映像データがカメラによってキャプチャされた映像を含み、そのカメラが素早くパンされるか又は傾けられた場合は類似性がほとんど存在することができない。他の例では、映像が早送り又は巻き戻しモードで提示される場合又はソースデバイスがスキップして特定のシーンに進む又は戻るための入力を受信した場合は、連続するピクチャ間には類似性がほとんど存在することができない。他の例では、映像が最初は第1のチャネルのテレビ番組であり、次に、ユーザによる入力に応答して第2のチャネルのテレビ番組に切り換わる場合には連続するピクチャ間には類似性がほとんど存在することができない。他の例では、ピクチャがシーン間のスプライス(例えば、ワイプ又はフェード)中に発生した場合は連続するピクチャ間の類似性は小さい可能性がある。説明を容易にすることを目的として、本開示は、連続するピクチャ間に類似性がほとんど存在しない状況を意味するために用語“シーンの変化”を使用することができる。
[0021]シーンの変化が存在するときには、インター予測は、ピクチャを表現するために要求されるコーディングビット数を大幅に減少させない。むしろ、該ピクチャの実質的なイントラ予測が要求されることがある。従って、ソースデバイスによって無線送信する必要がある映像データの量は、シーンの変化が存在するときには劇的に増大する可能性がある。無線チャネルを通じて送信する必要がある映像データの量は、シーンの変化が存在するときには劇的に増大する可能性があるため、及び、無線チャネルの現在の帯域幅は制限されており、予測不能な形で変化することがあるため、ソースデバイスは、シーンの変化が存在するときに無線チャネルを通じてすべての映像データを無線送信することができないことがある。その結果、シンクデバイスは、シーンの変化の直後にピクチャを表現するすべての映像データを受信できないことがある。シンクデバイスが、シーンの変化直後にピクチャを表現するすべての映像データを受信しない場合は、シーンの変化直後の1つ以上のピクチャがブロッキー(blocky)又は壊れているようにみえることがある。
[0022]該影響を軽減するために、映像ソースは、本開示の1つ以上の技法により、映像データのピクチャのうちの1つの符号化された表現をシンクデバイスに送信する前にピクチャ間でのシーンの変化を検出することができる。
ピクチャの符号化された表現は、ピクチャを復号することができるデータを含むことができる。シーンの変化は、ピクチャが十分に異なるときに生じることができる。シーンの変化を検出することに応答して、映像ソースは、シーンの変化に後続してピクチャの符号化された表現内のコーディングビット数を減少させることができ及び無線チャネルのスループットを増大させることができる。ピクチャの符号化された表現内のコーディングビット数を減少させ及び無線チャネルのスループットを増大させた後は、映像ソースは、無線チャネルを介してピクチャの符号化された表現をシンクデバイスに送信することができる。
[0023]図1は、本開示の技法を実装することができる無線表示(WD)システム10の例を示したブロック図である。図1及び以下の図は、説明を目的として提供されており、本開示において広範囲にわたって例示及び説明される技法を限定するものであるとはみなされるべきでない。
[0024]図1の例において示されるように、WDシステム10は、ソースデバイス20と、シンクデバイス60と、を含むことができる。ソースデバイス20は、無線チャネル50を介してシンクデバイス60と通信することができる。ソースデバイス20は、メモリ22と、ディスプレイ24と、スピーカー26と、メディア符号器28と、メディア制御モジュール30と、送信機/受信機(TX/RX)ユニット32と、を含むことができる。シンクデバイス60は、送信機/受信機ユニット(TX/RX)62と、メディア復号器64と、ディスプレイ66と、スピーカー68と、ユーザ入力(UI)デバイス70と、ユーザ入力処理モジュール(UIMP)72と、を含むことができる。例示されるコンポーネントは、WDシステム10に関する1つの構成を成すにすぎない。その他の構成は、例示されるコンポーネントよりも少ないそれらを含むことができ又は例示されるコンポーネントに加えてのそれらを含むことができる。
[0025]図1の例では、ソースデバイス20は、メディアデータの映像部分をディスプレイ24に表示することができ及びスピーカー26を用いてメディアデータの音声部分を出力することができる。メディアデータは、メモリ22にローカルで格納し、外部記憶媒体、例えば、ファイルサーバ、ハードドライブ、外部メモリ、ブルーレイディスク(登録商標)、DVD、又はその他の物理的な記憶媒体、からアクセスすることができ、又は、インターネット、等のネットワーク接続を介してソースデバイス20にストリーミングすることができる。幾つかの例では、メディアデータは、ソースデバイス20のカメラ及びマイクを介してリアルタイムでキャプチャすることができる。メディアデータは、マルチメディアコンテンツ、例えば、映画、テレビのショー、又は音楽、を含むことができ、及び、ソースデバイス20によって生成されたリアルタイムコンテンツも含むことができる。該リアルタイムコンテンツは、例えば、ソースデバイス20で走っているアプリケーションによって生成すること、又は例えば映像テレフォニーセッションの一部としてキャプチャすることができる。該リアルタイムコンテンツは、幾つかの例では、ユーザが選択するために利用可能なユーザ入力オプションのピクチャを含むことができる。幾つかの例では、メディアデータは、異なるタイプのコンテンツの組み合わせであるピクチャ、例えば、ユーザ入力オプションがピクチャ上にオーバーレイされている映画又はTV番組のピクチャ、を含むことができる。
[0026]ディスプレイ24及びスピーカー26を介してローカルでメディアデータを提供することに加えて、ソースデバイス20のメディア符号器28は、メディアデータを符号化することができ、TX/RXユニット32は、無線チャネル50を通じてシンクデバイス60に符号化されたメディアデータを送信することができる。幾つかの例では、メディア符号器28は、既に符号化されているメディアデータを再符号化することができる。換言すると、メディア符号器は、メディアデータをトランスコーディングすることができる。シンクデバイス60のTX/RXユニット62は、符号化されたメディアデータを受信することができ、及びメディア復号器64は、符号化されたメディアデータを復号すること及びディスプレイ66及びスピーカー26での提示のために復号されたメディアデータを出力することができる。このようにして、ディスプレイ24及びスピーカー26によって提供中の音声及び映像データをディスプレイ66及びスピーカー68によって同時に提供することができる。音声データ及び映像データは、フレーム内に配備することができ、及び、音声フレームは、提供されるときに映像フレーム(すなわち、ピクチャ)と時間的に同期させることができる。
[0027]メディア符号器28及びメディア復号器64は、様々な音声及び映像圧縮規格、例えば、代替でMPEG−4、Part10、Advanced Video Coding(AVC)と呼ばれる、ITU−T H.2644規格、又は、新進の高効率映像コーディング(HEVC)規格、を実装する符号器/復号器(CODEC)ユニットを含むことができる。数多くのその他のタイプの独占的な又は標準化された圧縮技法も使用することができる。概して、メディア復号器64は、メディア符号器28の相互的なコーディング動作を行うように構成される。図1には示されていないが、幾つかの態様においては、メディア符号器28及びメディア復号器64は、各々、音声符号器及び復号器と統合することができ、及び、共通のデータストリーム又は別個のデータストリーム内の音声及び映像の両方の符号化を取り扱うために、該当するMUX−DEMUXユニット、又はその他のハードウェア及びソフトウェアを含むことができる。
[0028]メディア符号器28は、上述される映像圧縮規格を実装することに加えてその他の符号化動作を行うこともできる。例えば、メディア符号器28は、メディアデータがシンクデバイス60に送信される前に様々なタイプのメタデータをメディアデータに加えることができる。幾つかの例では、メディアデータは、符号化された形態でソースデバイス20に格納すること又はソースデバイス20において受信することができ、従って、メディア符号器28によるさらなる圧縮を要求しない。
[0029]図1は、音声ペイロードデータ及び映像ペイロードデータを別々に搬送する無線チャネル50を示すが、幾つかの例では、映像ペイロードデータ及び音声ペイロードデータは、共通のデータストリームの一部であることができること、及び、互いに多重化するか又はその他の方法でインターリービングすることができることが理解されるべきである。該当する場合は、MUX−DEMUXユニットは、ITU H.223マルチプレクサプロトコル、又はその他のプロトコル、例えば、ユーザデータグラムプロトコル(UDP)に準拠することができる。メディア符号器28及びメディア復号器64は、各々、1つ以上のマイクロプロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、ディスクリートロジック、ソフトウェア、ハードウェア、ファームウェア又はそれらのあらゆる組み合わせとして実装することができる。1つ以上の態様がソフトウェア内に実装される例では、基礎になるハードウェア(例えば、プログラマブルプロセッサの形態)がソフトウェアを実行することができる。メディア符号器28及びメディア復号器64の各々は、1つ以上の符号器又は復号器内に含めることができ、それらのいずれかを結合された符号器/復号器(CODEC)の一部として一体化することができる。従って、ソースデバイス20及びシンクデバイス60の各々は、本開示の技法のうちの1つ以上を実行するように構成された専用マシンを備えることができる。
[0030]ディスプレイ24及びディスプレイ66は、様々な映像出力デバイス、例えば、陰極線管(CRT)ディスプレイ、液晶ディスプレイ(LCD)、プラズマディスプレイ、発光ダイオード(LED)ディスプレイ、有機発光ダイオード(OLED)ディスプレイ、又は他のタイプの表示装置、のうちのいずれかを備えることができる。これらの又はその他の例では、ディスプレイ24及びディスプレイ66は、各々、発光型ディスプレイ又は透過型ディスプレイであることができる。ディスプレイ24及びディスプレイ66は、タッチ式ディスプレイであることもでき、従って、それらは、同時に入力デバイス及び表示装置の両方であることができる。該タッチ式ディスプレイは、ユーザが各々のデバイスにユーザによる入力を提供するのを可能にする容量性、抵抗性、又はその他のタイプのタッチパネルであることができる。
[0031]スピーカー26及びスピーカー68は、様々な音声出力デバイス、例えば、ヘッドフォン、シングルスピーカーシステム、マルチスピーカーシステム、又はサラウンドサウンドシステム、のうちのいずれかを備えることができる。さらに、ディスプレイ24及びスピーカー26は、ソースデバイス20の一部として示され、ディスプレイ66及びスピーカー68は、シンクデバイス60の一部として示されているが、ソースデバイス20及びシンクデバイス60は、デバイスのシステムであることができる。一例として、ディスプレイ66は、テレビであることができ、スピーカー68は、サラウンドサウンドシステムであることができ、メディア復号器64は、ディスプレイ66及びスピーカー68に有線又は無線で接続された外部ボックスの一部であることができる。その他の例では、シンクデバイス60は、単一のデバイス、例えば、タブレットコンピュータ又はスマートフォン、であることができる。さらにその他の事例では、ソースデバイス20及びシンクデバイス60は、類似のデバイスであり、例えば、両方とも、スマートフォン、タブレットコンピュータ、等である。この事例では、1方のデバイスは、ソースとして動作することができ、他方のデバイスは、シンクとして動作することができる。これらの役割は、後続する通信セッションでは逆にすることができる。さらにその他の事例では、ソースデバイス20は、モバイルデバイス、例えば、スマートフォン、ラップトップ又はタブレットコンピュータを備えることができ、シンクデバイス60は、(例えば、AC電源コードを有する)静止性がより高いデバイスを備えることができ、その場合は、ソースデバイス20は、シンクデバイス60を介して1人以上の観る人に提示するために音声及び映像データを提供することができる。
[0032]TX/RXユニット32及びTX/RXユニット62は、信号変調用に設計された様々なミキサ、フィルタ、増幅器及びその他のコンポーネント、及び、データを送信及び受信するために設計された1つ以上のアンテナ及びその他のコンポーネントを含むことができる。無線チャネル50は、概して、ソースデバイス20とシンクデバイス60との間でメディアデータ、制御データ及びフィードバックを送信するためのあらゆる適切な通信媒体、又は異なる通信媒体の集合の代表である。無線チャネル50は、通常は、相対的に短距離の通信チャネルであり、Wi−Fi、Bluetooth(登録商標)、等と同様の物理的チャネル構造を実装することができ、例えば、定義された2.4GHz、3.6GHz、5GHz、60GHz又は超広帯域(UWB)周波数帯域構造、を実装することができる。しかしながら、この点で必ずしも無線チャネル50に限定されるものではなく、無線通信媒体、例えば、無線周波数(RF)スペクトル又は1つ以上の物理的送信ライン、又は無線媒体と有線媒体の組み合わせを備えることができる。その他の例では、無線チャネル50は、パケットに基づくネットワーク、例えば、有線又は無線のローカルエリアネットワーク、ワイドエリアネットワーク、又はインターネット、等のグローバルネットワーク、の一部を形成することさえできる。さらに、無線チャネル50は、ピア・ツー・ピアリンクを構築するためにソースデバイス20及びシンクデバイス60によって使用することができる。
[0033]ソースデバイス20及びシンクデバイス60は、例えば、リアルタイムストリーミングプロトコル(RTSP)制御メッセージを用いて能力交渉に従って通信セッションを確立することができる。一例では、通信セッションを確立することの要求をソースデバイス20によってシンクデバイス60に送信することができる。通信セッションが確立された時点で、ソースデバイス20は、メディアデータ、例えば、オーディオビデオ(AV)データ、をシンクデバイス60に送信することができる。ソースデバイス20は、例えば、リアルタイムトランスポートプロトコル(RTP)を用いて、メディアデータをシンクデバイス60に送信することができる。シンクデバイス60は、受信されたメディアデータをディスプレイ66及びスピーカー68において提供することができる。
[0034]ソースデバイス20及びシンクデバイス60は、通信プロトコル、例えば、IEEE802.11規格系統からの規格、を用いて無線チャネル50を通じて通信することができる。一例では、無線チャネル50は、ネットワーク通信チャネルであることができる。この例では、通信サービスプロバイダは、中央において、基地局をネットワークハブとして用いてネットワークを運営及び管理することができる。ソースデバイス20及びシンクデバイス60は、例えば、Wi−Fi Direct又はWi−Fi Display(WFD)規格により通信することができ、従って、ソースデバイス20及びシンクデバイス60は、無線アクセスポイント又はいわゆるホットスポット、等の仲介物を使用せずに互いに直接通信することができる。この文脈での相対的に短い距離は、例えば、約70メートルを意味することができるが、雑音の多い又は障害物のある環境では、デバイス間の距離はさらに短くなり、例えば、約35メートル未満、又は約20メートル未満、である。
[0035]本開示の技法は、WFDに関して時々説明されるが、これらの技法の態様はその他の通信プロトコルと互換性があることも企図される。一例として及び制限することなしに、ソースデバイス20とシンクデバイス60との間の無線通信は、直交周波数分割多重(OFDM)技法を利用することができる。非常に様々なその他の無線通信技法も使用することができ、時分割多元接続(TDMA)、周波数分割多元接続(FDMA)、符号分割多元接続(CDMA)、又は、OFDM、FDMA、TDMA及び/又はCDMAのあらゆる組み合わせを含み、ただしこれらに限定されない。
[0036]ソースデバイス20から受信されたメディアデータを復号して提供することに加えて、シンクデバイス60は、ユーザ入力デバイス70からユーザによる入力を受信することもできる。ユーザ入力デバイス70は、例えば、キーボード、マウス、電子ペン、トラックボール、トラックパッド、タッチ式画面、音声コマンド認識モジュール、又はあらゆるその他の該ユーザ入力デバイスを含むことができる。UIPM72は、ユーザ入力デバイス70によって受信されたユーザ入力コマンドを、ソースデバイス20が処理可能なデータパケット構造にフォーマット化することができる。該データパケットは、TX/RXユニット62によって無線チャネル50を通じてソースデバイス20に送信することができる。
[0037]TX/RXユニット32は、データパケットを受信することができ、メディア制御モジュール30は、ユーザ入力デバイス70によって受信されたユーザ入力コマンドを解釈するためにデータパケットを構文解釈することができる。データパケットで受信されたユーザ入力コマンドに基づき、メディア制御モジュール30は、符号化されて送信中のメディアコンテンツを変更することができる。このようにして、シンクデバイス60のユーザは、遠隔で及びソースデバイス20と直接対話せずにソースデバイス20によって送信中のメディアデータを制御することができる。
[0038]さらに、シンクデバイス60のユーザは、ソースデバイス20でアプリケーションを始動及び制御することができる。一例として、シンクデバイス60のユーザは、ソースデバイス20に格納された写真編集アプリケーションを始動させ、ソースデバイス20においてローカルで格納される写真を編集するためにそのアプリケーションを使用することができる。シンクデバイス60は、実際にはソースデバイス20で写真を編集中である間にシンクデバイス60においてローカルで写真が編集されているように見え及び感じるユーザ経験をユーザに提示することができる。該構成を使用することによって、ユーザは、幾つかのデバイスとともに使用するために1つのデバイスの能力を利用することができる。例えば、ソースデバイス20は、大量のメモリ及びハイエンドの処理能力を有するスマートフォンを備えることができる。しかしながら、映画を観るときには、ユーザは、より大きい表示画面を有するデバイスで映画を観ることを希望することができ、その場合は、シンクデバイス60は、タブレットコンピュータ又はさらに大きい表示装置又はテレビであることができる。電子メールを送信すること又は電子メールに応答することを希望するときには、ユーザは、物理的キーボードを有するデバイスを使用することを希望することができ、その場合は、シンクデバイス60は、ラップトップであることができる。両例において、ユーザはシンクデバイス60と対話中であるにもかかわらず処理の大部分は依然としてソースデバイス20によって行うことができる。ソースデバイス20及びシンクデバイス60は、制御データ、例えば、所定のセッションでデバイスの能力を交渉する/識別するために使用されるデータ、を無線チャネル50を通じて送信することによって2方向での対話を容易にすることができる。
[0039]幾つかの構成においては、メディア制御モジュール30は、ソースデバイス20のオペレーティングシステムの1つ以上のプロセッサによってオペレーティングシステムプロセスが実行されることを備えることができる。その他の構成では、メディア制御モジュール30は、ソースデバイス20で実行するアプリケーションのソフトウェアプロセスを備えることができる。該構成では、ユーザ入力コマンドは、ソフトウェアプロセスによって解釈することができ、従って、シンクデバイス60のユーザは、ソースデバイス20で実行するオペレーティングシステムと正反対に、ソースデバイス20で実行するアプリケーションと直接対話している。オペレーティングシステムと正反対にアプリケーションと直接対話することによって、シンクデバイス60のユーザは、ソースデバイス20のオペレーティングシステムにとってネイティブでないコマンドのライブラリへのアクセスを有することができる。さらに、アプリケーションと直接対話することは、コマンドをより簡単に送信して異なるプラットフォームで動作するデバイスによって処理するのを可能にすることができる。
[0040]シンクデバイス60において適用されるユーザによる入力は、無線チャネル50を通じてソースデバイス20に送り戻すことができる。一例では、逆チャネルアーキテクチャは、ユーザインタフェースバックチャネル(UIBC)とも呼ばれ、シンクデバイス60がシンクデバイス60で適用されたユーザによる入力をソースデバイス20に送信するのを可能にするために実装することができる。UIBCアーキテクチャは、ユーザによる入力を転送するための上位層メッセージと、シンクデバイス60及びソースデバイス20におけるユーザインタフェース能力を交渉するための下位層メッセージと、を含むことができる。UIBCは、シンクデバイス60とソースデバイス20との間のインターネットプロトコル(IP)トランスポート層の上方に常駐することができる。このようにして、UIBCは、オープンシステム相互接続(OSI)通信モデル内のトランスポート層の上方に存在することができる。ユーザ入力データが入ったデータパケットの信頼できる送信及びシーケンス内引き渡しを促進するために、UIBCは、その他のパケットに基づく通信プロトコル、例えば、送信制御プロトコル/インターネットプロトコル(TCP)/IP)又はユーザデータグラムプロトコル(UDP)、の最上部で実行するように構成することができる。UDP及びTCPは、OSI層アーキテクチャにおいて並行して動作することができる。TCP/IPは、シンクデバイス60及びソースデバイス20がパケット喪失の場合に再送信技法を実装するのを可能にすることができる。
[0041]ソースデバイス20によって送信される映像データは、一連のピクチャを含むことができる。ピクチャは、代替として、映像フレームと呼ぶことができる。メディア符号器28がピクチャを符号化するときに、メディア符号器28は、一組のオーバーラッピングしない映像ブロックにピクチャを分割することができる。例えば、メディア符号器28がH.264コーディングプロセスを用いてピクチャを符号化している場合は、メディア符号器28は、ピクチャを一組のマクロブロックに分割することができる。メディア符号器28がHEVCを用いてピクチャを符号化している場合は、メディア符号器28は、ピクチャを一組のコーディングユニット(CU)に分割することができる。映像ブロックの各々は、ピクチャ内のサンプル(例えば、ピクセル値)の方形(例えば、正方形)のブロックであることができる。メディア符号器28は、ピクチャ内の映像ブロックの各々に関してイントラ予測又はインター予測を行うことができる。
[0042]メディア符号器28がピクチャ内の映像ブロック(例えば、現在のピクチャ内の現在の映像ブロック)に関してイントラ予測を行うときには、メディア符号器28は、現在のピクチャ内のその他のサンプルに基づいて、現在の映像ブロックと関連付けられた予測映像ブロックを生成することができる。予測映像ブロックは、現在の映像ブロックと同じサイズである(例えば、同じ高さ及び幅を有する)ことができる。メディア符号器28は、イントラ予測モードによって示されるパターンで予測映像ブロックにわたって現在の映像ブロックに空間的に近接する映像ブロックのサンプルを拡大させることによって予測映像ブロックを生成することができる。さらに、メディア符号器28が現在の映像ブロックに関してイントラ予測を行うときには、メディア符号器28は、イントラ予測モードを示すデータを出力することができる。
[0043]メディア符号器28は、現在の映像ブロックに関する単一方向性インター予測又は2方向性インター予測を行うことができる。メディア符号器28が現在の映像ブロックに関する単一方向性インター予測を行う場合は、メディア符号器28は、現在の映像ブロックと関連付けられた予測映像ブロックを生成することができる。現在の映像ブロックに関する予測映像ブロックは、基準ブロックとマッチすることができる。基準ブロックは、基準ピクチャ内のサンプルのブロックであることができ又は基準ブロックは、基準ピクチャ内のサンプルから内挿されたサンプルのブロックであることができる。基準ピクチャは、コーディング順序において現在のピクチャの前に生じるピクチャであることができるが、再生順序では現在のピクチャの前後に生じることができる。さらに、メディア符号器28は、基準ピクチャを識別する基準ピクチャインデックス及び現在の映像ブロックと基準ブロックとの間の空間変位を示す動きベクトルを生成することができる。
[0044]メディア符号器28が現在の映像ブロックに関する単一方向性インターピクチャ予測を行う場合は、メディア符号器28は、2つの基準ブロックから現在の映像ブロックと関連付けられた予測映像ブロックを内挿することができる。基準ブロックの各々は、基準ピクチャ内のサンプルのブロック又は基準ピクチャ内のサンプルのブロックから内挿されたサンプルのブロックであることができる。さらに、メディア符号器28は、基準ピクチャを識別する基準ピクチャインデックスを生成することができ及び現在の映像ブロックと基準ブロックとの間の空間変位を示す動きベクトルを生成することができる。
[0045]メディア符号器28が現在の映像ブロックに関する予測映像ブロックを生成した後は、メディア符号器28は、現在の映像ブロックに関する残差サンプルのブロックを生成することができる。残差サンプルのブロックは、現在の映像ブロックと現在の映像ブロックに関する予測映像ブロックとの間の差分を示すことができる。メディア符号器28は、変換係数のブロックを生成するために残差サンプルのブロックに変換を適用することができる。例えば、メディア符号器28は、変換係数のブロックを生成するために離散コサイン変換(DCT)を残差サンプルのブロックに適用することができる。
[0046]変換係数のブロックを生成後は、メディア符号器28は、変換係数を量子化することができる。変換係数を量子化することは、変換係数のビット深度を低減させ、それにより、変換係数を表現するために要求されるビット数を減少させることができる。しかしながら、変換係数を量子化することは、映像データの視覚品質を低下させることがある。量子化パラメータ(QP)は、メディアモジュール128が量子化中に変換係数のビット深度を低減させる程度を制御することができる。概して、より高いQP値は、変換係数のビット深度のより大きい低減と関連付けることができる。より低いQP値は、変換係数のビット深度のより小さい低減と関連付けることができる。
[0047]変換係数を量子化した後は、メディア符号器28は、変換係数をエントロピー符号化し、符号化された変換係数を出力することができる。例えば、メディア符号器28は、変換係数を表現する少なくとも幾つかの構文要素をエントロピー符号化するためにコンテキスト適応型バイナリ算術コーディング(CABAC)を使用することができる。TX/RXユニット32は、メディア符号器28によって生成された符号化された映像データを無線送信することができる。
[0048]シーンの変化の直後のピクチャの符号化された表現におけるコーディングビット数は、シーンの変化の直前のピクチャの符号化された表現におけるコーディングビット数よりもはるかに多いことができる。換言すると、シーンの変化に後続するピクチャに関するビットレートは、シーンの変化に先行するピクチャに関するビットレートよりも大きいことができる。ピクチャのビットレートは、ピクチャの符号化された表現内のコーディングビット数を、ピクチャが表示のために提示される時間の量で割った値であることができる。ビットレートの差は、少なくとも部分的には、これらの2つのピクチャ間には時間的冗長性がほとんどないという事実に起因することができる。これらの2つのピクチャ間には時間的冗長性がほとんどないため、インター予測の使用は、シーンの変化に後続するピクチャの符号化された表現におけるコーディングビット数を大幅に低減させることができない。
[0049]ソースデバイス20がいずれかの所定の時点で無線チャネル50を通じてシンクデバイス60に無線送信することができるデータの量には上限が存在することができる。この上限は、無線チャネル50の現在の帯域幅と呼ぶことができる。無線チャネル50の現在の帯域幅は、経時で変化することができる。例えば、無線チャネル50の現在の帯域幅は、ソースデバイス20とシンクデバイス60の間の距離が増大した場合は小さくなる。他の例では、無線チャネル50の現在の帯域幅は、無線干渉のソースが導入された場合は小さくなることがある。他の例では、無線チャネル50の現在の帯域幅は、ソースデバイス20とシンクデバイス60との間に障害物が生じた場合は小さくなる。
[0050]さらに、無線チャネル50を通じて送信されるデータの一部は、オーバーヘッドデータであり、符号化された映像データでないことがある。オーバーヘッドデータのタイプ例は、パケットヘッダ、前方誤り訂正ビット、チェックサム、等を含むことができる。さらに、ソースデバイス20は、送信中にデータが失われるか壊れた場合は無線チャネル50を通じて該データを再送信することができる。オーバーヘッドデータ及びデータの再送信に起因して、ソースデバイス20が無線チャネル50を通じてシンクデバイス60に符号化された映像データを実際に送信することができるレートは、無線チャネル50の現在の帯域幅よりも低いことができる。換言すると、無線チャネル50の“スループット”は、無線チャネル50の現在の帯域幅よりも低い。
[0051]シーンの変化に後続するピクチャの符号化された表現内のコーディングビット数は、非常に多いことができるため及び無線チャネル50のスループットは制限することができるため、ソースデバイス20は、シンクデバイス60がピクチャを表示することになっている時間までに無線チャネル50を通じてピクチャの符号化された表現のすべてのコーディングビットを送信することができないことがある。その結果、シンクデバイス60がピクチャを表示することを試みるときに様々な望ましくない視覚上のアーティファクトが発生することがある。例えば、シンクデバイス60がピクチャの一部分しか復号することができないときにはテアリングアーティファクト(tearing artifact)が発生することがある。
[0052]本開示の技法により、ソースデバイス20は、第2のピクチャの符号化された表現を送信する前に第1のピクチャと第2のピクチャとの間でシーンの変化が生じたかどうか決定することができる。シーンの変化は、第1のピクチャと第2のピクチャとの間の非類似性がスレショルドを超えるときに生じることができる。シーンの変化は、様々な理由で生じることができる。例えば、映像データが映画又はテレビ番組を含む場合は、映画又はテレビ番組が1つの視覚フィールド(例えば、シーン)を表示することを停止し、異なる視覚フィールド(例えば、異なるシーン)の表示を開始したときに生じることができる。他の例では、映像データがグラフィックスフックなユーザインタフェースを含む場合は、ユーザが新しいウィンドウも又はフルスクリーンアプリケーションを開いたときにシーンの変化が生じることができる。
[0053]シーンの変化が生じていると決定したことに応答して、ソースデバイス20は、第2のピクチャの符号化された表現内のコーディングビット数を減少させることができる。さらに、ソースデバイス20は、シーンの変化を検出したことに応答して、無線チャネル50のスループットを増大させることができる。第2のピクチャの符号化された表現内のコーディングビット数を減少させ及び無線チャネルのスループットを増大させた後は、ソースデバイス20は、無線チャネル50を介して第2のピクチャの符号化された表現を送信することができる。このようにして、ソースデバイス20は、視覚品質の低下及び電力消費量の増大を犠牲にして、第2のピクチャ内の望まれない視覚アーティファクトを減少させることができる。第2のピクチャが視覚品質を低下させている場合でも、ユーザは、第2のピクチャの符号化された表現のすべてのコーディングビットを受信しない状況と関連付けられた視覚上のアーティファクトよりも魅力的であることがわかるであろう。
[0054]ソースデバイス20は、シーンの変化が生じていることを様々な方法で決定することができる。例えば、ソースデバイス20は、ピクチャの空間的及び時間的な複雑さに少なくとも部分的に基づいて、ピクチャと前に符号化されたピクチャとの間でシーンの変化が生じているかどうかを決定することができる。この例では、ピクチャは、ピクチャ内のインター予測された及びスキップモード映像ブロックと比較してピクチャ内にイントラ予測された映像ブロック数が非常に数多く存在する場合に高い空間的複雑さを有することができる。同様に、ピクチャは、ピクチャ内のイントラ予測された映像ブロックと比較してインター予測された映像ブロック数が非常に数多く存在する場合に高い時間的複雑さを有することができる。従って、ピクチャの空間的複雑さが高い(及びピクチャの時間的複雑さが低い)場合は、ピクチャは、映像データ内の前にコーディングされたピクチャと非常に異なることができる。従って、ソースデバイス20は、ピクチャの空間的複雑さが高く、ピクチャの時間的複雑さが低い場合にシーンの変化が生じていると決定することができる。従って、この例では、ソースデバイス20は、現在のピクチャの符号化された表現内のインター予測された映像ブロックの数、現在のピクチャの符号化された表現内のスキップモード映像ブロックの数、及び、現在のピクチャの符号化された表現内イントラ予測された映像ブロックの数に少なくとも部分的に基づいて、シーンの変化が生じていると決定することができる。例えば、インター予測されたブロック数と比較して、より多くの数のイントラ予測されたブロックがシーンの変化を示すことができる。
[0055]ソースデバイス20は、現在のピクチャの符号化された表現内のコーディングビット数を様々な方法で減少させることができる。例えば、ソースデバイス20は、より大きいQP値、例えば、最大QP値、を用いて現在のピクチャを再符号化することができる。この例では、より大きいQP値を用いて現在のピクチャを再符号化することは、現在のピクチャ内の映像ブロックの変換係数のビット深度を最低の許容されたビット深度まで低減させることができる。その他の例では、低いQP値は、より高い量子化度に対応することができる。該例では、ソースデバイス20は、より小さいQP値、例えば、最小QP値、を用いて現在のピクチャを再符号化することができる。いずれの場合も、ソースデバイス20は、増大された量子化度で現在のピクチャを再符号化することができる。説明を容易にすることを目的として、本開示の残りの部分は、より高いQP値が増大された量子化度と関連付けられると仮定する。しかしながら、本開示の技法は、より小さいQP値が増大された量子化度と関連付けられる場合に実装することができる。
[0056]他の例では、ソースデバイス20は、現在のピクチャを瞬間的復号リフレッシュ(IDR)ピクチャとして再符号化することによって現在のピクチャの符号化された表現内のコーディングビット数を減少させることができる。IDRピクチャは、イントラ予測された映像ブロックしか含むことができず、インター予測された映像ブロックは含むことができない。現在のピクチャをIDRピクチャとして再符号化することは、現在のピクチャのすべての映像ブロックがイントラ予測されると映像復号器が仮定することができるため、現在のピクチャの符号化された表現内のコーディングビット数を減少させることができる。従って、現在のピクチャの再符号化された表現は、現在のピクチャのいずれの映像ブロックがインター予測され、現在のピクチャのいずれの映像ブロックがイントラ予測されるかを指定するためのデータを含める必要がない。
[0057]他の例では、ソースデバイス20は、ピクチャのグループ(GOP)の第1のピクチャとして現在のピクチャを再符号化することによって現在のピクチャの符号化された表現内のコーディングビット数を減少させることができる。GOPは、インター予測依存性を通じて互いに関連するピクチャのシーケンスであることができる。GOPの第1のピクチャとして現在のピクチャを再符号化することによって、ソースデバイス20は、現在のピクチャとシーンの変化前に発生するピクチャとの間の依存性を壊すことができる。幾つかの例では、ソースデバイス20は、シーンの変化が生じていると決定したことに応答して、現在のピクチャを再符号化し、現在のピクチャ内の各スライスがイントラ予測されたスライスであり、現在のピクチャ内の各スライスが瞬間的復号器リフレッシュスライスであり、及び、現在のピクチャがピクチャのグループの開始ピクチャであるようにすることができる。
[0058]ソースデバイス20は、シーンの変化後に1つ以上のピクチャを符号化及び送信する過程にわたって、コーディング順序(すなわち、ソースデバイス20及びシンクデバイス60がピクチャをそれぞれ符号化及び復号する順序)で現在のピクチャに後続するピクチャを符号化するときに現在のピクチャの符号化された表現内のコーディングビット数を減少させるために講じられた措置を逆転させることができる。例えば、第1のピクチャは、コーディング順序で第2のピクチャの前に生じることができ、第2のピクチャは、コーディング順序で第3のピクチャの前に生じることができる。この例では、ソースデバイス20は、第1のピクチャがシーンの変化に後続する場合はより大きいQP値(例えば、最大QP値)を用いて第1のピクチャを再符号化することができる。この例では、ソースデバイス20は、第1のピクチャを符号化するために使用されるQP値よりも小さいQP値を用いて第2のピクチャを符号化することができる。この例では、ソースデバイス20は、第2のピクチャを符号化するために使用されるQP値よりも小さいQP値を用いて第3のピクチャを符号化することができ、以下同様である。このようにして、ソースデバイス20は、量子化量を徐々に低減させるためにシーンの変化に後続するピクチャ内のQP値を徐々に小さくすることができ、それにより、連続するフレームをコーディングするために使用されるコーディングビット数を増加させることができる。
[0059]上記されるように、ソースデバイス20は、現在のピクチャの符号化された表現内のコーディングビット数を減少させることに加えて無線チャネル50のスループットを増大させることができる。ソースデバイス20は、無線チャネル50のスループットを様々な方法で増大させることができる。例えば、ソースデバイス20は、一連の1つ以上のパケットで現在のピクチャの符号化された表現を送信することができる。これらのパケットは、シンクデバイス60が無線チャネル50を通じての送信中に破壊されたビットを訂正するために使用することができる誤り訂正ビットを含むことができる。例えば、パケットは、シンクデバイス60が壊れたビットを訂正するために使用することができる前方誤り訂正(FEC)ビットを含むことができる。この例では、ソースデバイス20は、現在のピクチャの符号化された表現が入ったパケットにおいてより少ない誤り訂正ビットを含むことができる。このようにして、ソースデバイス20は、シーンの変化が生じていると決定したことに応答して前方誤り訂正データを減少させることができる。その結果、シンクデバイス60は、現在のピクチャの符号化された表現内においてより少ない誤りを訂正することができるが、パケットは、現在のピクチャの符号化された表現のより多くのコーディングビットを入れることができる。従って、パケット内の誤り訂正ビット数を減少させることは、その結果として、ソースデバイス20が無線チャネル50を通じて符号化された映像データのコーディングビットをシンクデバイス60に送信することができるレートを増大させることができる。換言すると、パケット内の誤り訂正ビット数を減少させることは、無線チャネル50のスループットを増大させることができる。
[0060]他の例では、ソースデバイス20は、失われたパケットの再送信を制限することによって無線チャネル50のスループットを増大させることができる。この例では、現在のピクチャの符号化された表現が入った1つ以上のパケットが無線チャネル50を通じての送信中に失われることがある。送信中にパケットが失われているとシンクデバイス60が決定した場合は、シンクデバイス60は、失われたパケットの再送信要求をソースデバイス20に送信することができる。失われたパケットの再送信がイネーブルにされたときに、ソースデバイス20は、失われたパケットの再送信要求に応答して無線チャネル50を通じて失われたパケットを再送信することができる。ソースデバイス20は、失われたパケットを再送信中は無線チャネル50を通じてその他のパケットを送信することができない。従って、失われたパケットを再送信することは、ソースデバイス20が無線チャネル50を通じて新しい符号化された映像データをシンクデバイス60に送信することができるレートを低下させることがある。失われたパケットの再送信が制限されるときには、ソースデバイス20は、ソースデバイス20がパケットを再送信するレートを低下させることができる。例えば、ソースデバイス20が失われたパケットの再送信を制限するときには、ソースデバイス20は、失われたパケットの再送信を遅延させること又は失われたパケットの再送信の優先順位を取り消すことができる。幾つかの例では、ソースデバイス20が失われたパケットの再送信を制限するときには、ソースデバイス20は、失われたパケットの再送信をディスエーブルにすることができる。失われたパケットの再送信がディスエーブルにされたときには、ソースデバイス20は、失われたパケットの再送信要求に応答して無線チャネル50を通じて失われたパケットを再送信しない。その結果、失われたパケットの再送信を制限することは、ソースデバイス20が無線チャネル50を通じて新しい符号化された映像データをシンクデバイス60に送信することができるレートを増大させることができる。しかしながら、失われたパケットの再送信を制限することは、シンクデバイス60が1つ以上のピクチャのうちの幾つかの部分を復号するのを妨げるおそれがある。
[0061]その他の例では、多入力多出力(MIMO)のためにTX/RXユニット32を装備することができる。MIMOのためにTX/RXユニット32が装備される例では、TX/RXユニット32は、データを同時並行して送信することができる複数のアンテナを含むことができる。ソースデバイス20が無線チャネル50を通じてデータを送信することができるレートは、ソースデバイス20がデータを送信するために複数のアンテナを同時並行して使用する場合に増大することができる。しかしながら、ソースデバイス20は、データを送信するために使用される各々の追加のアンテナに関して追加の電気エネルギーを消費することがある。従って、ソースデバイス20は、データを送信するためにアンテナの一部を使用するだけでバッテリ電力を節約することができる。幾つかの該例では、ソースデバイス20は、現在のピクチャの符号化された表現を送信するために使用されるアンテナ数を増加させることによってシーンの変化を検出したことに応答して無線チャネル50のスループットを増大させることができる。例えば、ソースデバイス20は、現在のピクチャの符号化された表現を送信するためにTX/RXユニット32のすべての送信アンテナを使用することができる。
[0062]幾つかの例では、ソースデバイス20は、シーンの変化に後続するピクチャの符号化された表現が入ったパケットを送信するときに使用される送信電力を増大させることによって無線チャネル50のスループットを増大させることができる。ソースデバイス20がより高い電力を用いてパケットを送信するときには、パケットは、無線チャネル50を通じての送信中に失われる又は破壊される可能性が低くなる。失われる又は壊れたパケットの数を減少させることによって、シンクデバイス60が無線チャネル50を通じて符号化された映像データを受信するレートを増大させることができる。しかしながら、より高い電力を用いてパケットを送信することは、追加の電力を消費することがある。
[0063]幾つかの例では、ソースデバイス20は、現在のピクチャの符号化された表現が入ったパケットの最大のサービスデータユニット(SDU)サイズを増大させることによって無線チャネル50のスループットを増大させることができる。最大のSDUサイズを増大させることによって、各々のパケットは、より多くの符号化された映像データを入れることができる。同時に、パケットのオーバーヘッドデータ(例えば、パケットヘッダ、等)は、最大のSDUサイズが増大したときに一定のままであることができる。従って、各々のパケットは、パケット内のオーバーヘッドデータの量と比較してより多くの符号化された映像データを含むことができる。さらに、ソースデバイス20は、各々のパケットにおいてより多くの符号化された映像データを送信するため、ソースデバイス20は、より少ないオーバーヘッドデータを送信することができる。従って、ソースデバイス20が無線チャネル50を通じて符号化された映像データ内のコーディングビットを送信することができる。しかしながら、パケットの喪失は、その結果として、最大のSDUサイズが相対的に小さいときよりも最大のSDUサイズが大きいときにより多くの符号化された映像データが失われる可能性がある。
[0064]幾つかの例では、ソースデバイス20は、現在のピクチャの符号化された表現が入ったパケットをアグリゲーション(aggregation)することによって無線チャネル50のスループットを増大することができる。ソースデバイス20がパケットをアグリゲーションするときには、ソースデバイス20は、複数のパケットのペイロードデータを含むが、単一のヘッダしか含まない単一のパケットを生成することができる。従って、ペイロードデータとヘッダデータの比は、増大することができる。従って、ソースデバイス20が無線チャネル50を通じて符号化された映像データを送信することができるレートは、ソースデバイス20がパケットをアグリゲーションしたときには増大することができる。しかしながら、アグリゲーションされたパケットの喪失は、その結果として、単一のアグリゲーションされないパケットの喪失よりも多くの符号化された映像データを喪失することになる可能性がある。
[0065]幾つかの例では、ソースデバイス20は、無線チャネル50のスループットを増大させるために上記の例のうちの2つ以上の組み合わせを行うことができる。例えば、ソースデバイス20は、パケットをアグリゲーションする、失われたパケットの再送信を制限する又はディスエーブルにする、送信電力を増大させる、アンテナ数を増加させる、等によって無線チャネル50のスループットを増大させることができる。
[0066]ソースデバイス20は、シーンの変化後に1つ以上のピクチャを符号化及び送信する過程にわたって、コーディング順序でシーンの変化に後続するピクチャの符号化された表現を送信するときに無線チャネル50のスループットを増大するために講じられた措置を逆転させることができる。換言すると、ソースデバイス20は、現在のピクチャに後続するピクチャに関する無線チャネル50のスループットを低下させることができる。例えば、第1のピクチャは、コーディング順序で第2のピクチャの前に生じることができ、第2のピクチャは、コーディング順序で第3のピクチャの前に生じることができる。この例では、ソースデバイス20は、第1のピクチャの符号化された表現を送信するために8本のアンテナを使用し、第2のピクチャの符号化された表現を送信するために7本のアンテナを使用し、第3のピクチャの符号化された表現を送信するために6本のアンテナを使用することができ、以下同様である。他の例では、ソースデバイス20は、第1のピクチャの符号化された表現が入ったパケットを送信するために高い電力レベルを使用し、第2のピクチャの符号化された表現が入ったパケットを送信するためにより低い電力レベルを使用し、第3のピクチャの符号化された表現が入ったパケットを送信するためにさらにより低い電力レベルを使用することができ、以下同様である。他の例では、ソースデバイス20は、第1のピクチャの符号化された表現が入ったパケットにおいて最大のSDUサイズを使用し、第2のピクチャの符号化された表現が入ったパケットにおいてより小さいSDUサイズを使用し、第3のピクチャの符号化された表現が入ったパケットにおいてさらにより小さいSDUサイズを使用することができ、以下同様である。無線チャネル50のスループットを増大させるために講じられた措置を徐々に逆にすることによって、ソースデバイス20は、エネルギー消費量を低減させ、復号された映像データの品質を向上させることができる。
[0067]図2は、本開示の1つ以上の技法を実装するように構成される映像符号器例98を示すブロック図である。ソースデバイス20のメディア符号器28は、映像符号器98を含むことができる。図2の例では、映像符号器98は、複数の機能上のコンポーネントを含む。映像符号器98の機能上のコンポーネントは、予測モジュール100と、残差生成モジュール102と、変換モジュール104と、量子化モジュール106と、逆量子化モジュール108と、逆変換モジュール110と、再構築モジュール112と、復号ピクチャバッファ114と、エントロピー符号化モジュール116と、を含む。予測モジュール100は、動き推定モジュール122と、動き補償モジュール124と、イントラ予測モジュール126と、を含む。その他の例では、映像符号器98は、より多い、より少ない、又は異なる機能上のコンポーネントを含むことができる。さらに、動き推定モジュール122及び動き補償モジュール124は、高度に一体化することができるが、図2の例では説明を目的として別々に表されている。
[0068]映像符号器98は、映像データを受信することができる。映像データは、一連のピクチャを表現することができる。映像データを符号化するためには、映像符号器98は、各々のピクチャに関する符号化動作を行うことができる。ピクチャに関する符号化動作を行う一部として、映像符号器98は、ピクチャの各スライスに関する符号化動作を行うことができる。スライスに関する符号化動作を行う一部として、映像符号器98は、スライス内の映像ブロックに関する符号化動作を行うことができる。例えば、映像符号器98がH.264を用いて映像データを符号化している場合は、映像符号器98は、マクロブロックに関する符号化動作を行うことができる。映像符号器98がHEVCを用いて映像データを符号化中である例では、映像符号器98は、コーディングユニットに関する符号化動作を行うことができる。
[0069]動き推定モジュール122及び動き補償モジュール124は、現在の映像ブロック(又は、HEVCの場合は、現在の映像ブロック内の予測ユニット)に関するインター予測を行うことができる。現在の映像ブロックは、映像符号器98が現在符号化中である映像ブロックであることができる。動き推定モジュール122及び動き補償モジュール124は、現在の映像ブロックがIスライス、Pスライス、又はBスライス内のいずれにあるかに依存して現在の映像ブロックに関して異なるインター予測動作を行うことができる。Iスライスでは、すべての映像ブロックがイントラ予測される。従って、現在の映像ブロックがIスライス内にある場合は、動き推定モジュール122及び動き補償モジュール124は、現在の映像ブロックに関するインター予測を行わない。
[0070]現在の映像ブロックがPスライス内にある場合は、動き推定モジュール122は、現在の映像ブロックに最も密接に対応するサンプルのブロックを求めて第1の基準ピクチャリスト(例えば、リスト0)内の基準ピクチャを探索することができる。幾つかの例では、動き推定モジュール122は、基準ピクチャ内の実際のサンプルからサンプルの識別されたブロックを内挿することができる。サンプルのブロックを識別した後は、動き推定モジュール122は、サンプルの識別されたブロックが入ったリスト0内の基準ピクチャを示す基準ピクチャインデックス及び現在の映像ブロックとサンプルの識別されたブロックとの間の空間的変位を示す動きベクトルを生成することができる。動き推定モジュール122は、基準ピクチャインデックス及び動きベクトルを現在の映像ブロックの動き情報として出力することができる。動き補償モジュール124は、サンプルの識別されたブロックに基づいて現在の映像ブロックと関連付けられた予測映像ブロックを生成することができる。例えば、動き補償モジュール124は、予測映像ブロックがサンプルの識別されたブロックに一致するような形で現在の映像ブロックと関連付けられた予測映像ブロックを生成することができる。
[0071]現在の映像ブロックがBスライス内にある場合は、動き推定モジュール122は、現在の映像ブロックに関して単一方向性インター予測又は2方向性インター予測を行うことができる。動き推定モジュール122が現在の映像ブロックに関して単一方向性インター予測を行うときには、動き推定モジュール122は、現在の映像ブロックに対応するサンプルのブロックを求めてリスト0又は第2の基準ピクチャリスト(例えば、リスト1)の基準ピクチャを探索することができる。動き推定モジュール122は、サンプルの識別されたブロックが入ったリスト0又はリスト1内の基準ピクチャを示す基準ピクチャインデックス及びサンプルの識別されたブロックと現在の映像ブロックとの間の空間的変位を示す動きベクトルを生成することができる。動き推定モジュール122は、基準ピクチャインデックス、予測方向インジケータ、及び動きベクトルを現在の映像ブロックの動き情報として出力することができる。予測方向インジケータは、基準ピクチャインデックスがリスト0又はリスト1のいずれの基準ピクチャを示すかを示すことができる。動き補償モジュール124は、現在の映像ブロックの動き情報によって示されるサンプルの識別されたブロックに基づいて現在の映像ブロックと関連付けられた予測映像ブロックを生成することができる。
[0072]動き推定モジュール122が現在の映像ブロックに関する単一方向性インター予測を行うときには、動き推定モジュール122は、現在の映像ブロックに対応するサンプルのブロックを求めてリスト0内の基準ピクチャ及びリスト1内の基準ピクチャを探索することができる。次に、動き推定モジュール122は、サンプルの識別されたブロックが入ったリスト0及びリスト1内の基準ピクチャを示す基準ピクチャインデックス及びサンプルの識別されたブロックと現在の映像ブロックとの間の空間的変位を示す動きベクトルを生成することができる。動き推定モジュール122は、現在の映像ブロックが、リスト0内の基準ピクチャに基づいて単一方向性インター予測されるか、リスト1内の基準ピクチャに基づいて単一方向性インター予測されるか、又は2方向性インター予測されるかを示す予測方向インジケータを生成することもできる。動き推定モジュール122は、基準ピクチャインデックス、動きベクトル、及び予測方向インジケータを現在の映像ブロックの動き情報として出力することができる。動き補償モジュール124は、サンプルの識別されたブロックに基づいて現在の映像ブロックと関連付けられた予測映像ブロックを生成することができる。
[0073]イントラ予測モジュール126は、現在の映像ブロックに関するイントラ予測を行うことができる。イントラ予測モジュール126は、Iスライス、Pスライス、及びBスライス内の映像ブロックに関するイントラ予測を行うことができる。イントラ予測モジュール126が現在の映像ブロックに関するイントラ予測を行うときには、イントラ予測モジュール126は、現在の映像ブロックと関連付けられた複数の予測映像ブロックを生成するために複数のイントラ予測モードを使用することができる。次に、イントラ予測モジュール126は、例えば、レート/歪み解析に基づいて、予測映像ブロックのうちの1つを選択することができる。イントラ予測モジュール126が現在の映像ブロックと関連付けられた予測映像ブロックを生成するためにイントラ予測モードを使用するときには、イントラ予測モジュール126は、現在の映像ブロックの近隣の映像ブロックからのサンプルを、現在の映像ブロックを横切って、イントラ予測モードと関連付けられた方向に及び/又は勾配で延長することができる。イントラ予測モジュール126は、現在の映像ブロックのサイズに依存して、様々な数のイントラ予測モード、例えば、33の方向性イントラ予測モード、を使用することができる。
[0074]予測モジュール100は、現在の映像ブロックに関する予測モードを選択することができる。例えば、現在の映像ブロックと関連付けられた予測映像ブロックのレート/歪みメトリック及び動き推定モジュール122、動き補償モジュール124、及びイントラ予測モジュール126によって生成されたその他のデータに基づいて、インター予測モード又はイントラ予測モードを選択することができる。幾つかの例では、予測モジュール100は、現在の映像ブロックに関してスキップモードを選択することができる。予測モジュール100が現在の映像ブロックに関してスキップモードを選択した場合は、現在の映像ブロックと関連付けられた予測映像ブロックは、前にコーディングされたピクチャ内の共配置された映像ブロックと同じであることができる。
[0075]予測モジュール100が現在の映像ブロックに関する予測モードを選択した後は、残差生成モジュール102は、選択された予測モードを用いて現在の映像ブロックに関して生成された予測映像ブロックから現在の映像ブロックを減じることによって現在の映像ブロックと関連付けられた残差映像ブロックを生成することができる。次に、変換モジュール104は、1つ以上の変換を残差映像ブロックに適用することによって1つ以上の変換係数ブロックを生成することができる。変換係数ブロックは、変換係数の2D行列であることができる。変換モジュール104は、様々な変換を残差映像ブロックに適用することができる。例えば、変換モジュール104は、離散コサイン変換(DCT)、方向性変換、又は概念的に類似する変換を残差映像ブロックに適用することができる。
[0076]変換モジュール104が変換係数ブロックを生成した後は、量子化モジュール106は、変換係数ブロックの変換係数を量子化することができる。量子化モジュール106は、QP値に基づいて変換係数ブロックを量子化することができる。シーンの変化が生じているとソースデバイス20が決定した場合は、ソースデバイス20は、変換係数ブロック内の変換係数のビット深度を最小にするためにQP値をより大きい(例えば、最大の)レベルに引き上げることができる。後続するピクチャでは、ソースデバイス20は、それらの後続するピクチャの変換係数ブロック内の変換係数のビット深度を徐々に増大させるためにQP値を大きくすることができる。
[0077]逆量子化モジュール108及び逆変換モジュール110は、変換係数ブロックから残差映像ブロックを再構築するために、逆量子化及び逆変換を変換係数ブロックにそれぞれ適用することができる。再構築モジュール112は、現在の映像ブロックを再構築するために、現在の映像ブロックと関連付けられた1つ以上の再構築された残差映像ブロックを現在の映像ブロックと関連付けられた1つ以上の予測された映像ブロックからの対応するサンプルに加えることができる。再構築モジュール112が現在の映像ブロックを再構築した後は、復号ピクチャバッファ114は、現在の映像ブロックを格納することができる。動き推定モジュール122及び動き補償モジュール124は、その他のピクチャの映像ブロックに関するインター予測を行うために再構築された映像ブロックが入った基準ピクチャを使用することができる。さらに、イントラ予測モジュール126は、同じピクチャ内のその他の映像ブロックに関するイントラ予測を行うために復号ピクチャバッファ114内の再構築された映像ブロックを使用することができる。
[0078]エントロピー符号化モジュール116は、映像符号器98のその他の機能上のコンポーネントからデータを受信することができる。例えば、エントロピー符号化モジュール116は、量子化モジュール106から変換係数ブロックを受信することができ及び予測モジュール100から構文要素を受信することができる。エントロピー符号化モジュール116がデータを受信したときには、エントロピー符号化モジュール116は、エントロピー符号化されたデータを生成するために1つ以上のエントロピー符号化動作を行うことができる。例えば、映像符号器98は、コンテキスト適応型可変長コーディング(CAVLC)動作、CABAC動作、変数−変数(V2V)長コーディング動作、構文に基づくコンテキスト適応型バイナリ算術コーディング(SBAC)動作、確率間隔分割エントロピー(PIPE)コーディング動作、又は他のタイプのエントロピー符号化動作をデータに関して行うことができる。エントロピー符号化モジュール116は、エントロピー符号化されたデータを含むビットストリームを出力することができる。
[0079]図3は、本開示の1つ以上の技法を実装するように構成される映像復号器例148を示すブロック図である。シンクデバイス60のメディア復号器64は、映像復号器148を含むことができる。図3の例では、映像復号器148は、複数の機能上のコンポーネントを含む。映像復号器148の機能上のコンポーネントは、エントロピー復号モジュール150と、予測モジュール152と、逆量子化モジュール154と、逆変換モジュール156と、再構築モジュール158と、復号ピクチャバッファ160と、を含む。予測モジュール152は、動き補償モジュール162と、イントラ予測モジュール164と、を含む。幾つかの例では、映像復号器148は、図2の映像符号器98に関して説明される符号化パス(encoding pass)と概して相互的である復号パスを行うことができる。その他の例では、映像復号器148は、より多い、より少ない、又は異なる機能上のコンポーネントを含むことができる。
[0080]映像復号器148は、符号化された映像データを備えるビットストリームを受信することができる。ビットストリームは、複数の構文要素を含むことができる。映像復号器148がビットストリームを受信したときには、エントロピー復号モジュール150は、ビットストリームから構文要素を抽出するためにビットストリームに関する構文解析動作を行うことができる。構文解析動作を行う一部として、エントロピー復号モジュール150は、ビットストリーム内の構文要素をエントロピー復号することができる。予測モジュール152、逆量子化モジュール154、逆変換モジュール156、及び再構築モジュール158は、ビットストリームから抽出された構文要素に基づいて復号された映像データを生成する再構築動作を行うことができる。
[0081]再構築動作を行う一部として、逆量子化モジュール154は、現在の映像ブロックと関連付けられた変換係数ブロックを逆量子化する、すなわち、量子化を解除する、ことができる。現在の映像ブロックは、映像復号器148が現在復号中である映像ブロックであることができる。逆量子化モジュール154は、HEVC又はH.264に関して提案される方法で変換係数ブロックを逆量子化することができる。逆量子化モジュール154は、量子化度、そして同様に逆量子化モジュール154が適用するための逆量子化度、を決定するために映像符号器98によって計算されたQPを使用することができる。
[0082]逆量子化モジュール154が変換係数ブロックを逆量子化した後は、逆変換モジュール156は、現在の映像ブロックと関連付けられた残差映像ブロックを生成するために変換係数ブロックに逆変換を適用することができる。例えば、逆変換モジュール156は、逆DCT、逆整数変換、逆Karhunen−Loeve変換(KLT)、逆回転変換、逆方向性変換、又は他の逆変換を変換係数ブロックに適用することができる。
[0083]現在の映像ブロックがイントラ予測を用いて符号化される場合は、イントラ予測モジュール164は、近隣の映像ブロックからのサンプル及びビットストリームにおいて指定されたイントラ予測モードに少なくとも部分的に基づいて、現在の映像ブロックと関連付けられた予測映像ブロックを生成するためにイントラ予測を行うことができる。現在の映像ブロックがインター予測を用いて符号化される場合は、動き補償モジュール162は、現在の映像ブロックと関連付けられた予測映像ブロックを生成するための動き補償を行うことができる。動き補償モジュール162は、1つ以上の基準ブロックを識別又は合成するために現在の映像ブロックに関して動き情報を使用することができる。基準ブロックは、現在の映像ブロックと異なる時間的ピクチャ内に存在することができる。現在の映像ブロックのための動き情報は、1つ以上の動きベクトル、1つ以上の基準ピクチャインデックス、及び、リスト0内、リスト1内、又はリスト0とリスト1の両方内のいずれの基準ピクチャが使用されるかを示す構文要素を含むことができる。動き補償モジュール162は、現在の映像ブロックと関連付けられた予測映像ブロックを生成するために1つ以上の基準ブロックを使用することができる。
[0084]再構築モジュール158は、現在の映像ブロックを再構築するために1つ以上の残差映像ブロック及び1つ以上の予測映像ブロックを使用することができる。例えば、再構築モジュール158は、残差映像ブロック及び予測映像ブロック内の対応するサンプルを合計することによって現在の映像ブロックを再構築することができる。再構築モジュール158が現在の映像ブロックを再構築した後は、映像復号器148は、現在の映像ブロックを復号ピクチャバッファ160に格納することができる。復号ピクチャバッファ160は、後続する動き補償、イントラ予測、及び表示装置、例えば、図1のディスプレイ、での提示のために基準ピクチャを提供することができる。
[0085]図4は、本開示の1つ以上の技法による、ソースデバイス20によって行われる動作例350を示すフローチャートである。図4及び引き続く図は、図1を参照して示されるが、これらの図に関する説明は、図1の例には限定されない。ソースデバイス20は、映像データを符号化及び送信するときに動作350を行うことができる。以下において説明されるように、ソースデバイス20が動作350を行うときには、ソースデバイス20は、シーンの変化が生じているかどうかを決定すること、シーンの変化に応答してピクチャの符号化された表現内のコーディングビット数を減少させること、シーンの変化に応答して無線チャネル50の帯域幅を増大させること、及びピクチャの符号化された表現を送信することができる。
[0086]ソースデバイス20が動作350を開始した後は、ソースデバイス20は、ユーザによるインタフェース行動が生じているかどうかを決定することができる(352)。ユーザによるインタフェース行動は、ソースデバイス20及び/又はシンクデバイス60によって表示されたユーザによるインタフェースを変更するためのユーザによる入力をソースデバイス20が受信したときに生じることができる。ユーザによるインタフェース行動は、その結果として、映像データが突然変化することがある。換言すると、ユーザによるインタフェース行動の前後にはピクチャ間の類似性がほとんどない。従って、ソースデバイス20は、ユーザによるインタフェース行動が生じている場合はシーンの変化が生じていると決定することができる。例えば、ソースデバイス20は、ソースデバイス20又はシンクデバイス60がフルスクリーンアプリケーションを開くためのユーザによる入力を受信している場合はユーザによるインタフェース行動が生じていると決定することができる。他の例では、ソースデバイス20は、ソースデバイス20又はシンクデバイス60がフルスクリーンアプリケーション間で切り換えるためのユーザによる入力を受信している場合にユーザによるインタフェース行動が生じていると決定することができる。
[0087]ユーザによるインタフェース行動が生じている場合は(352の“はい”)、ソースデバイス20は、現在のピクチャの符号化された表現内のコーディングビット数を減少させるために1つ以上の符号化パラメータを変更することができる(354)。例えば、ソースデバイス20は、QPパラメータを大きくされた(例えば、最大の)値に設定すること、現在のピクチャにおけるGOPピクチャを再始動させること、現在のピクチャ内のスライスのスライスモードをIDRスライスに設定すること、及び現在のピクチャ内のスライスのスライスタイプをIスライスに設定することができる。さらに、ユーザによるインタフェース行動が生じている場合は、ソースデバイス20は、シーンの変化が生じていると宣言することができる(355)。シーンの変化が生じているとソースデバイス20が宣言したときには、ソースデバイス20は、シーンの変化が生じていることを将来の処理のために示すためのデータを格納することができる。ソースデバイス20は、典型的な例では、シーンの変化が生じていることをソースデバイス20が宣言したときには出力を生成しない。
[0088]シーンの変化が生じていると宣言した後、又はユーザのインタフェース行動が生じてないと決定した後は(352の“いいえ”)、ソースデバイス20は、現在のピクチャに関する動きモードが“すべてスキップ”に設定されるべきかどうかを決定することができる。ソースデバイス20は、様々な理由で現在のピクチャに関する動きモードが“すべてスキップ”に設定されるべきかどうかを決定することができる。例えば、ソースデバイス20は、ソースデバイス20又はシンクデバイス60が現在のピクチャをシンクデバイス60において表示すべきでないことを示すユーザによる入力を受信した場合に現在のピクチャに関する動きモードが“すべてスキップ”に設定されるべきであると決定することができる。
[0089]現在のピクチャに関する動きモードが“すべてスキップ”に設定されるべきでない場合は(356の“いいえ”)、ソースデバイス20は、動き推定及びモード決定動作を行うことができる(360)。ソースデバイス20が動き推定及びモード決定動作を行うときには、ソースデバイス20は、現在のピクチャを複数の映像ブロックに分割することができる。現在のピクチャのP又はBスライス内の各々の映像ブロックに関して、ソースデバイス20は、イントラ予測動作及びインター予測動作を行うことができる。ソースデバイス20がイントラ予測動作を行うときには、ソースデバイス20は、映像ブロックの第1の符号化された表現を生成することができる。ソースデバイス20がインター予測動作を行うときには、ソースデバイス20は、動き推定動作を行うことができ及び映像ブロックの第2の符号化された表現を生成することができる。次に、ソースデバイス20は、映像ブロックの第1及び第2の符号化された表現内のコーディングビット数に少なくとも部分的に基づいて、現在のピクチャの符号化されたバージョンにおいて映像ブロックの第1又は第2の符号化された表現を使用すべきかどうかを決定することができる。
[0090]現在のピクチャに関する動きモードが“すべてスキップ”に設定されるべきでない場合は(356の“はい”)、ソースデバイス20は、現在のピクチャを符号化するときにスキップモードを選択することにソースデバイス20を制限するパラメータを設定することができる(358)。次に、ソースデバイス20は、動き推定及びモード決定動作を行うことができる(360)。しかしながら、ソースデバイス20が、現在のピクチャに関する動きモードが“すべてスキップ”に設定されていると決定した後に動き推定及びモード決定動作を行うときには、ソースデバイス20は、現在のピクチャのすべての映像ブロックがスキップモードにあると決定することができる。ピクチャが表示されることをユーザが希望しないときにすべての映像ブロックに関してスキップモードを使用することは、その結果として、現在のピクチャが前にコーディングされたピクチャと同じ外見を有することができる。ソースデバイス20が現在のピクチャのすべての映像ブロックに関してスキップモードを使用するときには、現在のピクチャの符号化された表現は、前にコーディングされたピクチャの符号化された表現よりも小さくなることができる。従って、シンクデバイス60が現在のピクチャの代わりに前にコーディングされたピクチャを表示し続けることをユーザが希望する場合は、現在のピクチャのすべての映像ブロックに関してスキップモードを使用するほうがエネルギー及び帯域幅の点でより効率的であることができる。
[0091]ソースデバイス20が動き推定及びモード決定動作を行った後は、ソースデバイス20は、図5に示される動作350の部分を行うことができる。図5は、図4の動作例350の続きを例示するフローチャートである。ソースデバイス20が図5に示される動作350の部分を開始した後は、ソースデバイス20は、現在のピクチャ内のインター予測された映像ブロックの数プラス現在のピクチャ内のスキップ映像ブロックの数が現在のピクチャ内のイントラ予測された映像ブロックの数よりも大きいかどうかを決定することができる(380)。幾つかの例では、ソースデバイス20は、現在のピクチャ内のインター予測された映像ブロックの数プラス現在のピクチャ内のスキップ映像ブロックの数が現在のピクチャ内のイントラ予測された映像ブロックの数よりも特定のスレショルド量だけ大きいかどうかを決定することができる。
[0092]現在のピクチャ内のインター予測された映像ブロックの数プラス現在のピクチャ内のスキップ映像ブロックの数が現在のピクチャ内のイントラ予測された映像ブロックの数よりも大きくない場合は(380の“いいえ”)、ソースデバイス20は、シーンの変化が生じているかどうかを決定する他の方法として、現在のピクチャの符号化された表現内の4×4映像ブロックの数が現在のピクチャの符号化された表現内の16×16映像ブロックの数よりも大きいかどうかを決定することができる(382)。例えば、ソースデバイス20は、現在のピクチャの符号化された表現内の4×4マクロブロックの数が現在のピクチャの符号化された表現内の16×16マクロブロックの数よりも大きいかどうかを決定することができる。16×16映像ブロックは、16の幅及び16の高さを有する映像ブロックであることができる。同様に、4×4映像ブロックは、4の幅及び4の高さを有する映像ブロックであることができる。
[0093]現在のピクチャの符号化された表現内の4×4映像ブロックの数が現在のピクチャの符号化された表現内の16×16映像ブロックの数よりも大きい場合は(382の“はい”)、ソースデバイス20は、現在のピクチャの符号化された表現内のコーディングビット数を減少させるために1つ以上の符号化パラメータを変更することができる(384)。例えば、ソースデバイス20は、QPパラメータを大きくされた(例えば、最大の)値に設定すること、現在のピクチャにおけるGOPピクチャを再始動させること、現在のピクチャ内のスライスのスライスモードをIDRスライスに設定すること、及び現在のピクチャ内のスライスのスライスタイプをIスライスに設定することができる。
[0094]さらに、ソースデバイス20は、シーンの変化が生じていると宣言することができる(385)。従って、この例では、ソースデバイス20は、現在のピクチャの符号化された表現内の映像ブロックのサイズに少なくとも部分的に基づいて、シーンの変化が生じていると決定することができる。具体的には、図5の例では、ソースデバイス20は、現在のピクチャの符号化された表現内の4×4映像ブロックの数が現在のピクチャの符号化された表現内の16×16映像ブロックの数よりも大きい場合にシーンの変化が生じていると決定することができる。幾つかの例では、ソースデバイス20は、現在のピクチャの符号化された表現内の4×4映像ブロックの数と現在のピクチャの符号化された表現内の16×16映像ブロックの数の間の差分が特定のスレショルドよりも大きい場合にシーンの変化が生じていると決定することができる。
[0095]シーンの変化が生じているとソースデバイス20が決定した後は、動作350は、図6に示される動作350の部分を行うことができる。現在のピクチャの符号化された表現は、大きい映像ブロックと比較して小さい映像ブロックの数が相対的に多い場合は相対的に多数のビットを含む可能性があるため、ソースデバイス20は、これらの状況下においてシーンの変化が生じていると決定することができる。例えば、現在のピクチャがPピクチャ又はBピクチャである場合は、ソースデバイス20は、現在のピクチャと前に符号化されたピクチャとの間の冗長性が相対的にほとんど存在しない場合に多数の小さい映像ブロックを有する現在のピクチャを符号化することができる。このようにして、ソースデバイス20は、シーンの変化が生じているかどうかを決定するために空間的複雑性試験を行うことができる。Pピクチャは、Pスライスを含むピクチャであることができる。Bピクチャは、Bスライスを含むピクチャであることができる。
[0096]現在のピクチャの符号化された表現内の4×4映像ブロックの数が現在のピクチャの符号化された表現内の16×16映像ブロックの数よりも大きくない場合は(382の“いいえ”)、ソースデバイス20は、現在のピクチャに関する絶対差分和(SAD)を決定することができる。ソースデバイス20は、現在の映像ブロックの符号化された表現内のすべてのインター予測された映像ブロックに関する変換係数を合計することによって現在のピクチャに関する絶対差分和を決定することができる。
[0097]ソースデバイス20は、現在のピクチャに関する絶対差分和と前にコーディングされたピクチャに関する絶対差分和との間の差分がスレショルドよりも大きいかどうかを決定することができる。すなわち、ソースデバイス20は、SAD[n]−SAD[n−1]>スレショルドであるかどうかを決定することができ、ここで、SAD[n]は、現在のピクチャに関する絶対差分和を表し、SAD[n−1]は、前にコーディングされたピクチャに関する絶対差分和を表す。スレショルドは、様々な要因に依存することができる。例えば、スレショルドは、映像データのソース、映像データの空間的解像度、及びメディア符号器28のデータパス解像度に依存することができる。幾つかの例では、メディア符号器28は、12ビットのデータパス解像度を有することができる。ピクチャに関するSAD値の差分を測定することによって、ソースデバイス20は、ピクチャと関連付けられた動き推定決定にかかわらず、ピクチャ間の変化を検出することができる。これは、貴重であることができ、その理由は、ピクチャと関連付けられた動き推定決定はその他の優先度を優先してゆがめられるおそれがあるためである。幾つかの例では、SAD差分スレショルドは、約2^20であることができる。
[0098]現在のピクチャに関する絶対差分和と前にコーディングされたピクチャに関する絶対差分和との間の差分がスレショルドよりも大きい場合は(388の“はい”)、ソースデバイス20は、現在のピクチャの符号化された表現内のコーディングビット数を減少させるために1つ以上のパラメータを変更すること(384)、シーンの変化が生じていると宣言すること(385)、及び、図6に示される動作350の部分を行うことができる。従って、ソースデバイス20は、前にコーディングされたピクチャに関する絶対差分和と現在のピクチャに関する絶対差分和との間の差分に少なくとも部分的に基づいて、シーンの変化が生じていると決定することができ、前にコーディングされたピクチャに関する絶対差分和は、前にコーディングされたピクチャの符号化された表現内のインター予測された映像ブロックと関連付けられた変換係数の絶対値の和を示し、現在のピクチャに関する絶対差分和は、現在の映像ブロックの符号化された表現内のインター予測された映像ブロックと関連付けられた変換係数の絶対値の和を示す。
[0099]他方、現在のピクチャに関する絶対差分和と前にコーディングされたピクチャに関する絶対差分和との間の差分がスレショルドよりも大きくない場合は(388の“いいえ”)、ソースデバイス20は、シーンの変化が生じていることを宣言せずに図6に示される動作350の部分を行うことができる。
[0100]現在のピクチャの符号化された表現内のインター予測された映像ブロックの数プラス現在のピクチャの符号化された表現内のスキップ映像ブロックの数が、現在のピクチャの符号化された表現内のイントラ予測された映像ブロックの数よりも大きい場合は(380の“はい”)、ソースデバイス20は、現在のピクチャに関する動きモードが“すべてスキップ”であるかどうかを決定することができる(390)。ソースデバイス20は、行動360の動き推定及びモード決定動作中に現在のピクチャに関する動きモードを設定することができる。現在のピクチャに関する動きモードが“すべてスキップ”である場合は(390の“はい”)、ソースデバイス20は、現在のビットレートが無線チャネル50の現在のスループットよりも低いかどうかを決定することができる(392)。現在のビットレートは、現在のピクチャ内のコーディングビット数の平均を1秒当たりのフレーム数によって割った値であることができる。無線チャネル50の現在のスループットは、1秒当たりの無線チャネル50を通じて転送可能なビット数の推定値であることができる。この推定値は、再送信レート及びその他の要因に関するより積極的な又はより積極的でない仮定に基づいて設定することができる。ビットストリームの現在のビットレートが無線チャネル50の現在のスループットよりも低くない場合は(392の“いいえ”)、ソースデバイス20は、シーンの変化が生じていると決定せずに図6に示される動作350の部分を行うことができる。
[0101]しかしながら、現在のピクチャの現在のビットレートが無線チャネル50の現在のスループットよりも低い場合(392の“はい”)又は現在のピクチャに関する動きモードが“すべてスキップ”である場合(390の“はい”)は、ソースデバイス20は、QP値を下げることができる(394)。ソースデバイス20が下げられたQP値を有する現在のピクチャを再符号化するときには、ソースデバイス20は、低下された量子化度を適用することができ、その結果、現在のピクチャの符号化された表現内のコーディングビット数は、増加することができる。ソースデバイス20は、QP値を様々な方法で下げることができる。例えば、ソースデバイス20は、前のピクチャを符号化するときに使用されるQP値、現在のピクチャ内のスキップモード映像ブロックの数、現在のピクチャ内のインター予測された映像ブロックの数、及び現在のピクチャ内のイントラ予測された映像ブロックの数の関数としてQP値を下げることができる。このようにして、ソースデバイス20は、現在のピクチャの変換係数ブロック内の変換係数のビット深度を増大させるためにQP値を好適化することができる。
[0102]QP値を下げた後は、ソースデバイス20は、現在のピクチャ内のPスライス映像ブロックの数がスレショルドよりも大きいかどうかを決定することができる(396)。現在のピクチャ内のPスライス映像ブロックの数は、現在のピクチャのPスライス内の映像ブロックの数と等しいことができる。Pスライス映像ブロックの数がスレショルドよりも大きい場合は(396の“はい”)、ソースデバイス20は、現在のピクチャの符号化された表現内のコーディングビット数を減少させるために1つ以上のパラメータを変更すること(384)、シーンの変化が生じていると宣言すること(385)、及び、図6に示される動作350の部分を行うことができる。他方、Pフレーム映像ブロックの数がスレショルドよりも大きくない場合は(396の“いいえ”)、ソースデバイス20は、シーンの変化が生じていると決定せずに図6に示される動作350の部分を行うことができる。
[0103]現在のピクチャが変化していない一連のピクチャ内に存在する場合は、現在のピクチャ内のすべての映像ブロックをスキップモードで符号化することができる。該一連の不変のピクチャは、合成的映像データ、例えば、図形によるユーザインタフェース、メニュー、等において共通であることができる。従って、現在のピクチャの映像ブロックの小さい割合でさえもPスライス内に存在するときは、シーンの変化を宣言するのが有利であることができる。例えば、ソースデバイス20は、現在のピクチャ内のPスライス映像ブロックの数が現在のピクチャ内の映像ブロックの10%超である場合にシーンの変化を宣言することができる。
[0104]図6は、動作350のさらなる続きを示すフローチャートである。ソースデバイス20が、図6の例において示される動作350の部分を開始した後は、ソースデバイス20は、現在のピクチャと前に符号化されたピクチャとの間でシーンの変化が生じていることをソースデバイス20が動作350において宣言済みであるかどうかを決定することができる(420)。シーンの変化が生じている場合は(420の“はい”)、ソースデバイス20は、動作350において以前に変更された符号化パラメータを用いて現在のピクチャを再符号化することができる(422)。ソースデバイス20は、上述される行動354、384、及び394において符号化パラメータを変更することができる。このようにして、ソースデバイス20は、現在のピクチャの符号化された表現内のコーディングビット数を減少させることができる。
[0105]さらに、シーンの変化が生じているとソースデバイス20が決定した場合は、ソースデバイス20は、無線チャネル50のスループットを最大化するために無線チャネル50の1つ以上のパラメータを変更することができる(424)。例えば、ソースデバイス20は、より多くの(例えば、最大の)数の送信機を起動させること、送信電力を増大させること、FECビットのレートをより低い(例えば、最低の)FECレートに低下させること、メディアアクセス層(MAC)SDUサイズをより大きい(例えば、最大の)MAC SDUサイズに大きくすること、パケットアグリゲーションをイネーブルにすること、再送信を制限又はディスエーブルにすること、等を行うことができる。最低FECレートは、無線チャネル50で送信されるデータ内のFECビットの最低許容レートであることができる。
[0106]無線チャネル50のパラメータを変更した後又はシーンの変化が生じていない場合は(420の“いいえ”)、ソースデバイス20は、無線チャネル50での送信のための待ち行列の先頭に新しいアクセスユニットが存在するかどうかを決定することができる(426)。アクセスユニットは、復号されたときに完全な復号されたピクチャが得られることになるデータが入ったユニット(例えば、パケット又はネットワーク抽象化層(NAL)ユニット)の組であることができる。無線チャネル50での送信のための待ち行列の先頭に新しいアクセスユニットがまだ存在しない場合は(426の“いいえ”)、ソースデバイス20は、図6に示される動作350の部分の開始にループして戻ることができる。
[0107]他方、無線チャネル50での送信のための待ち行列の先頭に新しいアクセスユニットが存在する場合は(426の“はい”)、ソースデバイス20は、現在のピクチャのピクチャサイズを決定することができる(428)。現在のピクチャのピクチャサイズは、どれだけの数のコーディングビットが現在のピクチャの符号化された表現内に存在するかを示すことができる。幾つかの例では、ソースデバイス20は、現在のピクチャの符号化された表現の最後のバイトのメモリ記憶場所を示すポインタを前にコーディングされたピクチャの符号化された表現の最後のバイトのメモリ記憶場所を示すポインタから減じることによって現在のピクチャのピクチャサイズを決定することができる。現在のピクチャの符号化された表現は、現在のピクチャを得るために復号可能である一連のコーディングビット(例えば、エントロピーコーディングされたビット)を含むことができる。次に、ソースデバイス20は、現在のピクチャのピクチャサイズが最大送信サイズよりも大きいかどうかを決定することができる(430)。最大送信サイズは、ソースデバイス20がピクチャに関して無線チャネル50を通じて送信するのを試みることができるピクチャの符号化された表現のコーディングビット数の上限となる予め決定されたスレショルドであることができる。
[0108]現在のピクチャのピクチャサイズが最大送信サイズよりも大きい場合は(430の“はい”)、ソースデバイス20は、現在のピクチャの符号化された表現をクロップ(crop)することができる(432)。ソースデバイス20が現在のピクチャの符号化された表現をクロップするときには、ソースデバイス20は、現在のピクチャの符号化された表現内の幾つかのコーディングビットを廃棄して送信しないことができる。例えば、ソースデバイス20は、現在のピクチャの符号化された表現内の後半の半分を廃棄して送信しないことができる。この例では、ソースデバイス20は、現在のピクチャの符号化された表現を打ち切ることによって現在のピクチャの符号化された表現をクロップすることができる。
[0109]現在のピクチャ符号化された表現をクロップした後又は現在のピクチャの符号化された表現のサイズが最大送信サイズよりも小さいと決定した後は(430の“いいえ”)、ソースデバイス20は、無線チャネル50の現在のパラメータに従って現在のピクチャの符号化された表現を送信することができる(434)。例えば、FECビットのレートが最低のFECレートに設定されていることを無線チャネル50の現在のパラメータが示す場合は、ソースデバイス20は、より低い(例えば、最低の)FECレートで現在のピクチャの符号化された表現をFECビットとともに送信することができる。
[0110]図7は、本開示の1つ以上の技法による映像データを符号化するための動作例450を示すフローチャートである。図4乃至6は、動作450の具体例である。
[0111]動作450が開始後は、ソースデバイス20は、映像データの現在のピクチャを符号化することができる(452)。現在のピクチャを符号化した後は、ソースデバイス20は、前にコーディングされたピクチャ(例えば、第1のピクチャ)と現在のピクチャ(例えば、第2のピクチャ)との間でシーンの変化が生じているかどうかを決定することができる(454)。本開示において説明されるように、ソースデバイス20は、様々なメトリック、例えば、現在のフレームの符号化された表現内の映像ブロックのサイズ、現在のフレームの符号化された表現内のイントラ予測、インター予測、及びスキップ予測された映像ブロックの数、等、に基づいてシーンの変化が生じているかどうかを決定することができる。
[0112]シーンの変化が生じていない場合は(454の“いいえ”)、ソースデバイス20は、現在のピクチャの符号化された表現を送信することができる(456)。他方、シーンの変化が生じている場合は(454の“はい”)、ソースデバイス20は、現在のピクチャの符号化された表現内のコーディングビット数を減少させるために現在のピクチャを再符号化することができる(458)。本開示の別の場所において説明されるように、ソースデバイス20は、様々な方法で現在のピクチャの符号化された表現内のコーディングビット数を減少させるために現在のピクチャを再符号化することができる。例えば、ソースデバイス20は、増大されたQP値を用いて現在のピクチャを再符号化することができる。
[0113]さらに、ソースデバイス20は、無線チャネル50のスループットを増大させるために無線チャネル50のパラメータを変更することができる(460)。本開示において説明されるように、ソースデバイス20は、無線チャネル50のスループットを増大させるために無線チャネル50の様々なパラメータを変更することができる。例えば、ソースデバイス20は、サービスデータユニットサイズを増大させること、追加の無線送信機をイネーブルにすること、前方誤り訂正データを低減すること、パケットをアグリゲーションすること、失われたパケットの再送信を制限又はディスエーブルにすること、又は無線チャネル50のスループットを増大させるために無線チャネル50のパラメータをその他の方法で変更することができる。
[0114]現在のフレームを再符号化し及び無線チャネル50のパラメータを変更した後は、ソースデバイス20は、現在のピクチャの符号化された表現を送信することができる(456)。ソースデバイス20は、現在のピクチャの再符号化された表現を送信するときに無線チャネル50の変更されたパラメータを使用することができる。
[0115]1つ以上の例において、説明される機能は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの組み合わせにおいて実装することができる。ソフトウェアにおいて実装される場合は、それらの機能は、コンピュータによって読み取り可能な媒体において1つ以上の命令又はコードとして格納又は送信することができる。コンピュータによって読み取り可能な媒体は、コンピュータデータ記憶媒体又は1つの場所から他へのコンピュータプログラムの転送を容易にするあらゆる媒体を含む通信媒体を含むことができる。幾つかの例では、コンピュータによって読み取り可能な媒体は、非一時的なコンピュータによって読み取り可能な媒体を備えることができる。データ記憶媒体は、本開示において説明される技法の実装のために命令、コード及び/又はデータ構造を取り出すために1つ以上のコンピュータ又は1つ以上のプロセッサによってアクセスすることができるあらゆる利用可能な媒体であることができる。
[0116]一例により、及び制限することなしに、該コンピュータによって読み取り可能な媒体は、希望されるプログラムコードを命令又はデータ構造の形態で搬送又は格納するために使用することができ及びコンピュータによってアクセス可能である非一時的な媒体、例えば、RAM、ROM、EEPROM、CD−ROM又はその他の光学ディスク記憶装置、磁気ディスク記憶装置、又はその他の磁気記憶デバイス、フラッシュメモリ、又はその他のいずれかの媒体、を備えることができる。さらに、どのような接続も、コンピュータによって読み取り可能な媒体であると適切に呼ばれる。ここにおいて用いられるときのディスク(disk及びdisc)は、コンパクトディスク(CD)(disc)と、レーザディスク(登録商標)(disc)と、光ディスク(disc)と、デジタルバーサタイルディスク(DVD)(disc)と、フロッピー(登録商標)ディスク(disk)と、ブルーレイディスク(disc)と、を含み、ここで、diskは、通常は磁気的にデータを複製し、discは、レーザを用いて光学的にデータを複製する。上記の組み合わせも、コンピュータによって読み取り可能な媒体の適用範囲内に含められるべきである。
[0117]コードは、1つ以上のプロセッサ、例えば、デジタル信号プロセッサ(DSP)、汎用マイクロプロセッサ、特定用途向け集積回路(ASIC)、(フィールド制御ブログラマブルロジックアレイ(FPGA)、又はその他の同等の集積又はディスクリート論理回路によって実行することができる。従って、ここにおいて用いられる場合の用語“プロセッサ”は、上記の構造又はここにおいて説明される技法の実装に適するあらゆるその他の構造のうちのいずれかを意味することができる。さらに、幾つかの態様では、ここにおいて説明される機能は、符号化および復号のために構成された専用のハードウェア及び/又はソフトウェアモジュール内において提供されること、又は組み合わされたコーデック内に組み入れることができる。さらに、技法は、1つ以上の回路又は論理素子内に完全に実装することが可能である。
[0118]本開示の技法は、無線ハンドセット、集積回路(IC)、又は一組のIC(例えば、チップセット)を含む非常に様々なデバイス又は装置内に実装することができる。本開示では、開示される技法を実施するように構成されたデバイスの機能上の態様を強調するために様々なコンポーネント、モジュール、又はユニットが説明されるが、異なるハードウェアユニットによる実現は必ずしも要求しない。むしろ、上述されるように、様々なユニットは、適切なソフトウェア及び/又はファームウェアと関係させて、コーデックハードウェアユニット内において結合させること又は上述されるように1つ以上のプロセッサを含む相互運用的なハードウェアユニットの集合によって提供することができる。
[0119]本発明の様々な実施形態が説明されている。これらの及びその他の実施形態は、以下の請求項の範囲内である。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
[C1]
映像データを送信するための方法であって、
前記映像データ内の第2のピクチャの符号化された表現を送信する前に前記映像データ内の第1のピクチャと前記第2のピクチャとの間でシーンの変化が生じていると決定することと、
前記シーンの変化が生じていると決定したことに応答して、前記第2のピクチャの前記符号化された表現内のコーディングビット数を減少させることと、
前記シーンの変化が生じていると決定したことに応答して、前記第2のピクチャの前記符号化された表現を送信するために使用されるべき無線チャネルのスループットを増大させることと、
前記第2のピクチャの前記符号化された表現内の前記コーディングビット数を減少させ及び前記無線チャネルの前記スループットを増大させた後に、前記無線チャネルを介して前記第2のピクチャの前記符号化された表現を送信することと、を備える、方法。
[C2]
前記シーンの変化が生じていると決定することは、前記第2のピクチャの前記符号化された表現内の映像ブロックのサイズに少なくとも部分的に基づいて、前記シーンの変化が生じていると決定することを備えるC1に記載の方法。
[C3]
前記シーンの変化が生じていると決定することは、前記第2のピクチャの前記符号化された表現内の4×4映像ブロックの数が前記第2のピクチャの前記符号化された表現内の16×16映像ブロックの数よりも大きい場合に前記シーンの変化が生じていると決定することを備えるC2に記載の方法。
[C4]
前記シーンの変化が生じていると決定することは、前記第2のピクチャの前記符号化された表現内のインター予測された映像ブロックの数、前記第2のピクチャの前記符号化された表現内のスキップモード映像ブロックの数、及び前記第2のピクチャの前記符号化された表現内のイントラ予測された映像ブロックの数に少なくとも部分的に基づいて前記シーンの変化が生じていると決定することを備えるC1に記載の方法。
[C5]
前記シーンの変化が生じていると決定することは、前記第1のピクチャに関する絶対差分和と前記第2のピクチャに関する絶対差分和との間の差分に少なくとも部分的に基づいて、前記シーンの変化が生じていると決定することを備え、前記第1のピクチャに関する前記絶対差分和は、前記第1のピクチャの符号化された表現内のインター予測された映像ブロックと関連付けられた変換係数の絶対値の和を示し、前記第2のピクチャに関する前記絶対差分和は、前記第2の映像ブロックの符号化された前記表現内のインター予測された映像ブロックと関連付けられた変換係数の絶対値の和を示すC1に記載の方法。
[C6]
前記第2のピクチャの前記符号化された表現内の前記コーディングビット数を減少させることは、増大された量子化度で前記第2のピクチャを再符号化することを備えるC1に記載の方法。
[C7]
前記シーンの変化が生じていると決定したことに応答して、前記第2のピクチャ内の各スライスはイントラ予測されたスライスであり、前記第2のピクチャ内の各スライスは、瞬間的復号器リフレッシュスライスであり、及び前記第2のピクチャは、ピクチャのグループの開始ピクチャであるような形で前記第2のピクチャを再符号化することをさらに備えるC1に記載の方法。
[C8]
前記無線チャネルの前記スループットを増大させることは、前記シーンの変化が生じていると決定したことに応答して前記無線チャネルのサービスデータユニットサイズを増大させることを備えるC1に記載の方法。
[C9]
前記無線チャネルの前記スループットを増大させることは、前記第2のピクチャの前記符号化された表現を送信するために使用されるアンテナの数を増加させることを備えるC1に記載の方法。
[C10]
前記無線チャネルの前記スループットを増大させることは、前記シーンの変化が生じていると決定したことに応答して、前記第2のピクチャの前記符号化された表現が入ったパケット内の前方誤り訂正データを減少させることを備えるC1に記載の方法。
[C11]
前記無線チャネルの前記スループットを増大させることは、前記シーンの変化が生じていると決定したことに応答して、前記第2のピクチャの前記符号化された表現が入ったパケットをアグリゲーションすることを備えるC1に記載の方法。
[C12]
前記無線チャネルの前記スループットを増大させることは、前記シーンの変化が生じていると決定したことに応答して、前記無線チャネルでのパケットの再送信を制限することを備えるC1に記載の方法。
[C13]
前記第2のピクチャに後続する前記映像データのピクチャと関連付けられた量子化度を低下させることと、
前記第2のピクチャに後続する前記ピクチャに関する前記無線チャネルの前記スループットを低下させることと、をさらに備えるC1に記載の方法。
[C14]
コンピューティングデバイスであって、
1つ以上の無線送信機と、
前記映像データ内の第2のピクチャの符号化された表現を送信する前に前記映像データの第1のピクチャと前記第2のピクチャとの間でシーンの変化が生じていると決定し、
前記シーンの変化が生じていると決定したことに応答して、前記第2のピクチャの前記符号化された表現内のコーディングビット数を減少させ、
前記シーンの変化が生じていると決定したことに応答して、前記第2のピクチャの前記符号化された表現を送信するために使用されるべき無線チャネルのスループットを増大させ、及び
前記第2のピクチャの前記符号化された表現内の前記コーディングビット数を減少させ及び前記無線チャネルの前記スループットを増大させた後に、前記無線チャネルを介して前記第2のピクチャの前記符号化された表現を送信するために前記1つ以上の無線送信機を使用するように構成される1つ以上のプロセッサと、を備える、コンピューティングデバイス。
[C15]
前記1つ以上のプロセッサは、前記第2のピクチャの前記符号化された表現内の映像ブロックのサイズに少なくとも部分的に基づいて、前記シーンの変化が生じていると決定するように構成されるC14に記載のコンピューティングデバイス。
[C16]
前記1つ以上のプロセッサは、前記第2のピクチャの前記符号化された表現内の4×4映像ブロックの数が前記第2のピクチャの前記符号化された表現内の16×16映像ブロックの数よりも大きい場合に前記シーンの変化が生じていると決定するように構成されるC15に記載のコンピューティングデバイス。
[C17]
前記1つ以上のプロセッサは、前記第2のピクチャの前記符号化された表現内のインター予測された映像ブロックの数、前記第2のピクチャの前記符号化された表現内のスキップモード映像ブロックの数、及び前記第2のピクチャの前記符号化された表現内のイントラ予測された映像ブロックの数に少なくとも部分的に基づいて前記シーンの変化が生じていると決定するように構成されるC14に記載のコンピューティングデバイス。
[C18]
前記1つ以上のプロセッサは、前記第1のピクチャに関する絶対差分和と前記第2のピクチャに関する絶対差分和との間の差分に少なくとも部分的に基づいて、前記シーンの変化が生じていると決定するように構成され、前記第1のピクチャに関する前記絶対差分和は、前記第1のピクチャの符号化された表現内のインター予測された映像ブロックと関連付けられた変換係数の絶対値の和を示し、前記第2のピクチャに関する前記絶対差分和は、前記第2の映像ブロックの符号化された前記表現内のインター予測された映像ブロックと関連付けられた変換係数の絶対値の和を示すC14に記載のコンピューティングデバイス。
[C19]
前記1つ以上のプロセッサは、少なくとも部分的に、増大された量子化度で前記第2のピクチャを再符号化することによって、前記第2のピクチャの前記符号化された表現内のコーディングビット数を減少させるように構成されるC14に記載のコンピューティングデバイス。
[C20]
前記1つ以上のプロセッサは、前記シーンの変化が生じていると決定したことに応答して、前記第2のピクチャ内の各スライスはイントラ予測されたスライスであり、前記第2のピクチャ内の各スライスは、瞬間的復号器リフレッシュスライスであり、及び前記第2のピクチャは、ピクチャのグループの開始ピクチャであるような形で前記第2のピクチャを再符号化するように構成されるC14に記載のコンピューティングデバイス。
[C21]
前記1つ以上のプロセッサは、少なくとも部分的に、前記シーンの変化が生じていると決定したことに応答して前記無線チャネルのサービスデータユニットサイズを増大させることによって、前記無線チャネルの前記スループットを増大させるように構成されるC14に記載のコンピューティングデバイス。
[C22]
前記1つ以上のプロセッサは、少なくとも部分的に、前記第2のピクチャの前記符号化された表現を送信するために使用されるアンテナの数を増加させることによって、前記無線チャネルの前記スループットを増大させるように構成されるC14に記載のコンピューティングデバイス。
[C23]
前記1つ以上のプロセッサは、少なくとも部分的に、前記シーンの変化が生じていると決定したことに応答して、前記第2のピクチャの前記符号化された表現が入ったパケット内の前方誤り訂正データを減少させることによって、前記無線チャネルの前記スループットを増大させるように構成されるC14に記載のコンピューティングデバイス。
[C24]
前記1つ以上のプロセッサは、少なくとも部分的に、前記シーンの変化が生じていると決定したことに応答して、前記第2のピクチャの前記符号化された表現が入ったパケットをアグリゲーションすることによって、前記無線チャネルの前記スループットを増大させるように構成されるC14に記載のコンピューティングデバイス。
[C25]
前記1つ以上のプロセッサは、少なくとも部分的に、前記シーンの変化が生じていると決定したことに応答して、前記無線チャネルでのパケットの再送信を制限することによって、前記無線チャネルの前記スループットを増大させるように構成されるC14に記載のコンピューティングデバイス。
[C26]
前記1つ以上のプロセッサは、
前記第2のピクチャに後続する前記映像データのピクチャと関連付けられた量子化度を低下させ、及び
前記第2のピクチャに後続する前記ピクチャに関する前記無線チャネルの前記スループットを低下させるように構成されるC14に記載のコンピューティングデバイス。
[C27]
コンピューティングデバイスであって、
映像データ内の第2のピクチャの符号化された表現を送信する前に前記映像データ内の第1のピクチャと前記第2のピクチャとの間でシーンの変化が生じていると決定するための手段と、
前記シーンの変化が生じていると決定したことに応答して、前記第2のピクチャの前記符号化された表現内のコーディングビット数を減少させるための手段と、
前記シーンの変化が生じていると決定したことに応答して、前記第2のピクチャの前記符号化された表現を送信するために使用されるべき無線チャネルのスループットを増大させるための手段と、
前記第2のピクチャの前記符号化された表現内の前記コーディングビット数を減少させ及び前記無線チャネルの前記スループットを増大させた後に、前記無線チャネルを介して前記第2のピクチャの前記符号化された表現を送信するための手段と、を備える、コンピューティングデバイス。
[C28]
コンピュータプログラム製品であって、
コンピューティングデバイスの1つ以上のプロセッサによって行われたときに、
前記映像データ内の第2のピクチャの符号化された表現を送信する前に前記映像データ内の第1のピクチャと前記第2のピクチャとの間でシーンの変化が生じていると決定し、
前記シーンの変化が生じていると決定したことに応答して、前記第2のピクチャの前記符号化された表現内のコーディングビット数を減少させ、
前記シーンの変化が生じていると決定したことに応答して、前記第2のピクチャの前記符号化された表現を送信するために使用されるべき無線チャネルのスループットを増大させ、及び
前記第2のピクチャの前記符号化された表現内の前記コーディングビット数を減少させ及び前記無線チャネルの前記スループットを増大させた後に、前記無線チャネルを介して前記第2のピクチャの前記符号化された表現を送信するために前記1つ以上の無線送信機を使用することを前記コンピューティングデバイスに行わせる命令を格納する1つ以上のコンピュータによって読み取り可能な記憶媒体を備える、コンピュータプログラム製品。

Claims (28)

  1. 映像データを送信するための方法であって、
    前記映像データ内の第2のピクチャの符号化された表現を送信する前に前記映像データ内の第1のピクチャと前記第2のピクチャとの間でシーンの変化が生じていると決定することと、
    前記シーンの変化が生じていると決定したことに応答して、前記第2のピクチャの前記符号化された表現内のコーディングビット数を減少させることと、
    前記シーンの変化が生じていると決定したことに応答して、前記第2のピクチャの前記符号化された表現を送信するために使用されるべき無線チャネルのスループットを増大させることと、
    前記第2のピクチャの前記符号化された表現内の前記コーディングビット数を減少させ及び前記無線チャネルの前記スループットを増大させた後に、前記無線チャネルを介して前記第2のピクチャの前記符号化された表現を送信することと、を備える、方法。
  2. 前記シーンの変化が生じていると決定することは、前記第2のピクチャの前記符号化された表現内の映像ブロックのサイズに少なくとも部分的に基づいて、前記シーンの変化が生じていると決定することを備える請求項1に記載の方法。
  3. 前記シーンの変化が生じていると決定することは、前記第2のピクチャの前記符号化された表現内の4×4映像ブロックの数が前記第2のピクチャの前記符号化された表現内の16×16映像ブロックの数よりも大きい場合に前記シーンの変化が生じていると決定することを備える請求項2に記載の方法。
  4. 前記シーンの変化が生じていると決定することは、前記第2のピクチャの前記符号化された表現内のインター予測された映像ブロックの数、前記第2のピクチャの前記符号化された表現内のスキップモード映像ブロックの数、及び前記第2のピクチャの前記符号化された表現内のイントラ予測された映像ブロックの数に少なくとも部分的に基づいて前記シーンの変化が生じていると決定することを備える請求項1に記載の方法。
  5. 前記シーンの変化が生じていると決定することは、前記第1のピクチャに関する絶対差分和と前記第2のピクチャに関する絶対差分和との間の差分に少なくとも部分的に基づいて、前記シーンの変化が生じていると決定することを備え、前記第1のピクチャに関する前記絶対差分和は、前記第1のピクチャの符号化された表現内のインター予測された映像ブロックと関連付けられた変換係数の絶対値の和を示し、前記第2のピクチャに関する前記絶対差分和は、前記第2のピクチャの符号化された前記表現内のインター予測された映像ブロックと関連付けられた変換係数の絶対値の和を示す請求項1に記載の方法。
  6. 前記第2のピクチャの前記符号化された表現内の前記コーディングビット数を減少させることは、増大された量子化度で前記第2のピクチャを再符号化することを備える請求項1に記載の方法。
  7. 前記シーンの変化が生じていると決定したことに応答して、前記第2のピクチャ内の各スライスはイントラ予測されたスライスであり、前記第2のピクチャ内の各スライスは、瞬間的復号器リフレッシュスライスであり、及び前記第2のピクチャは、ピクチャのグループの開始ピクチャであるような形で前記第2のピクチャを再符号化することをさらに備える請求項1に記載の方法。
  8. 前記無線チャネルの前記スループットを増大させることは、前記シーンの変化が生じていると決定したことに応答して前記無線チャネルのサービスデータユニットサイズを増大させることを備える請求項1に記載の方法。
  9. 前記無線チャネルの前記スループットを増大させることは、前記第2のピクチャの前記符号化された表現を送信するために使用されるアンテナの数を増加させることを備える請求項1に記載の方法。
  10. 前記無線チャネルの前記スループットを増大させることは、前記シーンの変化が生じていると決定したことに応答して、前記第2のピクチャの前記符号化された表現が入ったパケット内の前方誤り訂正データを減少させることを備える請求項1に記載の方法。
  11. 前記無線チャネルの前記スループットを増大させることは、前記シーンの変化が生じていると決定したことに応答して、前記第2のピクチャの前記符号化された表現が入ったパケットをアグリゲーションすることを備える請求項1に記載の方法。
  12. 前記無線チャネルの前記スループットを増大させることは、前記シーンの変化が生じていると決定したことに応答して、前記無線チャネルでのパケットの再送信を制限することを備える請求項1に記載の方法。
  13. 前記第2のピクチャに後続する前記映像データのピクチャと関連付けられた量子化度を低下させることと、
    前記第2のピクチャに後続する前記ピクチャに関する前記無線チャネルの前記スループットを低下させることと、をさらに備える請求項1に記載の方法。
  14. コンピューティングデバイスであって、
    1つ以上の無線送信機と、
    像データ内の第2のピクチャの符号化された表現を送信する前に前記映像データの第1のピクチャと前記第2のピクチャとの間でシーンの変化が生じていると決定し、
    前記シーンの変化が生じていると決定したことに応答して、前記第2のピクチャの前記符号化された表現内のコーディングビット数を減少させ、
    前記シーンの変化が生じていると決定したことに応答して、前記第2のピクチャの前記符号化された表現を送信するために使用されるべき無線チャネルのスループットを増大させ、及び
    前記第2のピクチャの前記符号化された表現内の前記コーディングビット数を減少させ及び前記無線チャネルの前記スループットを増大させた後に、前記無線チャネルを介して前記第2のピクチャの前記符号化された表現を送信するために前記1つ以上の無線送信機を使用するように構成される1つ以上のプロセッサと、を備える、コンピューティングデバイス。
  15. 前記1つ以上のプロセッサは、前記第2のピクチャの前記符号化された表現内の映像ブロックのサイズに少なくとも部分的に基づいて、前記シーンの変化が生じていると決定するように構成される請求項14に記載のコンピューティングデバイス。
  16. 前記1つ以上のプロセッサは、前記第2のピクチャの前記符号化された表現内の4×4映像ブロックの数が前記第2のピクチャの前記符号化された表現内の16×16映像ブロックの数よりも大きい場合に前記シーンの変化が生じていると決定するように構成される請求項15に記載のコンピューティングデバイス。
  17. 前記1つ以上のプロセッサは、前記第2のピクチャの前記符号化された表現内のインター予測された映像ブロックの数、前記第2のピクチャの前記符号化された表現内のスキップモード映像ブロックの数、及び前記第2のピクチャの前記符号化された表現内のイントラ予測された映像ブロックの数に少なくとも部分的に基づいて前記シーンの変化が生じていると決定するように構成される請求項14に記載のコンピューティングデバイス。
  18. 前記1つ以上のプロセッサは、前記第1のピクチャに関する絶対差分和と前記第2のピクチャに関する絶対差分和との間の差分に少なくとも部分的に基づいて、前記シーンの変化が生じていると決定するように構成され、前記第1のピクチャに関する前記絶対差分和は、前記第1のピクチャの符号化された表現内のインター予測された映像ブロックと関連付けられた変換係数の絶対値の和を示し、前記第2のピクチャに関する前記絶対差分和は、前記第2のピクチャの符号化された前記表現内のインター予測された映像ブロックと関連付けられた変換係数の絶対値の和を示す請求項14に記載のコンピューティングデバイス。
  19. 前記1つ以上のプロセッサは、少なくとも部分的に、増大された量子化度で前記第2のピクチャを再符号化することによって、前記第2のピクチャの前記符号化された表現内のコーディングビット数を減少させるように構成される請求項14に記載のコンピューティングデバイス。
  20. 前記1つ以上のプロセッサは、前記シーンの変化が生じていると決定したことに応答して、前記第2のピクチャ内の各スライスはイントラ予測されたスライスであり、前記第2のピクチャ内の各スライスは、瞬間的復号器リフレッシュスライスであり、及び前記第2のピクチャは、ピクチャのグループの開始ピクチャであるような形で前記第2のピクチャを再符号化するように構成される請求項14に記載のコンピューティングデバイス。
  21. 前記1つ以上のプロセッサは、少なくとも部分的に、前記シーンの変化が生じていると決定したことに応答して前記無線チャネルのサービスデータユニットサイズを増大させることによって、前記無線チャネルの前記スループットを増大させるように構成される請求項14に記載のコンピューティングデバイス。
  22. 前記1つ以上のプロセッサは、少なくとも部分的に、前記第2のピクチャの前記符号化された表現を送信するために使用されるアンテナの数を増加させることによって、前記無線チャネルの前記スループットを増大させるように構成される請求項14に記載のコンピューティングデバイス。
  23. 前記1つ以上のプロセッサは、少なくとも部分的に、前記シーンの変化が生じていると決定したことに応答して、前記第2のピクチャの前記符号化された表現が入ったパケット内の前方誤り訂正データを減少させることによって、前記無線チャネルの前記スループットを増大させるように構成される請求項14に記載のコンピューティングデバイス。
  24. 前記1つ以上のプロセッサは、少なくとも部分的に、前記シーンの変化が生じていると決定したことに応答して、前記第2のピクチャの前記符号化された表現が入ったパケットをアグリゲーションすることによって、前記無線チャネルの前記スループットを増大させるように構成される請求項14に記載のコンピューティングデバイス。
  25. 前記1つ以上のプロセッサは、少なくとも部分的に、前記シーンの変化が生じていると決定したことに応答して、前記無線チャネルでのパケットの再送信を制限することによって、前記無線チャネルの前記スループットを増大させるように構成される請求項14に記載のコンピューティングデバイス。
  26. 前記1つ以上のプロセッサは、
    前記第2のピクチャに後続する像データのピクチャと関連付けられた量子化度を低下させ、及び
    前記第2のピクチャに後続する前記ピクチャに関する前記無線チャネルの前記スループットを低下させるように構成される請求項14に記載のコンピューティングデバイス。
  27. コンピューティングデバイスであって、
    映像データ内の第2のピクチャの符号化された表現を送信する前に前記映像データ内の第1のピクチャと前記第2のピクチャとの間でシーンの変化が生じていると決定するための手段と、
    前記シーンの変化が生じていると決定したことに応答して、前記第2のピクチャの前記符号化された表現内のコーディングビット数を減少させるための手段と、
    前記シーンの変化が生じていると決定したことに応答して、前記第2のピクチャの前記符号化された表現を送信するために使用されるべき無線チャネルのスループットを増大させるための手段と、
    前記第2のピクチャの前記符号化された表現内の前記コーディングビット数を減少させ及び前記無線チャネルの前記スループットを増大させた後に、前記無線チャネルを介して前記第2のピクチャの前記符号化された表現を送信するための手段と、を備える、コンピューティングデバイス。
  28. コンピュータプログラであって、
    コンピューティングデバイスの1つ以上のプロセッサによって行われたときに、
    像データ内の第2のピクチャの符号化された表現を送信する前に前記映像データ内の第1のピクチャと前記第2のピクチャとの間でシーンの変化が生じていると決定し、
    前記シーンの変化が生じていると決定したことに応答して、前記第2のピクチャの前記符号化された表現内のコーディングビット数を減少させ、
    前記シーンの変化が生じていると決定したことに応答して、前記第2のピクチャの前記符号化された表現を送信するために使用されるべき無線チャネルのスループットを増大させ、及び
    前記第2のピクチャの前記符号化された表現内の前記コーディングビット数を減少させ及び前記無線チャネルの前記スループットを増大させた後に、前記無線チャネルを介して前記第2のピクチャの前記符号化された表現を送信するために前記1つ以上の無線送信機を使用することを前記コンピューティングデバイスに行わせる命令を備える、コンピュータプログラム。
JP2015531113A 2012-09-10 2013-08-23 シーンの変化に伴うピクチャ内の符号化及び送信パラメータの好適化 Expired - Fee Related JP5882547B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/608,493 2012-09-10
US13/608,493 US9014277B2 (en) 2012-09-10 2012-09-10 Adaptation of encoding and transmission parameters in pictures that follow scene changes
PCT/US2013/056519 WO2014039294A1 (en) 2012-09-10 2013-08-23 Adaptation of encoding and transmission parameters in pictures that follow scene changes

Publications (2)

Publication Number Publication Date
JP2015531558A JP2015531558A (ja) 2015-11-02
JP5882547B2 true JP5882547B2 (ja) 2016-03-09

Family

ID=49123917

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015531113A Expired - Fee Related JP5882547B2 (ja) 2012-09-10 2013-08-23 シーンの変化に伴うピクチャ内の符号化及び送信パラメータの好適化

Country Status (4)

Country Link
US (1) US9014277B2 (ja)
JP (1) JP5882547B2 (ja)
CN (1) CN104604203B (ja)
WO (1) WO2014039294A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160345260A1 (en) * 2005-05-30 2016-11-24 Invent.ly LLC Self Powered Device and Methods Conserving Energy in Communication
US20130195119A1 (en) * 2011-10-14 2013-08-01 Qualcomm Incorporated Feedback channel for wireless display devices
US9490850B1 (en) 2011-11-28 2016-11-08 Google Inc. Method and apparatus for decoding packetized data
JP6116240B2 (ja) * 2012-12-28 2017-04-19 キヤノン株式会社 送信装置、送信方法、及びプログラム
US9197680B2 (en) * 2013-05-23 2015-11-24 Qualcomm Incorporated Establishing and controlling audio and voice back channels of a Wi-Fi display connection
JP6332275B2 (ja) * 2013-09-09 2018-05-30 日本電気株式会社 映像符号化装置、映像符号化方法及びプログラム
US9635424B2 (en) * 2014-07-18 2017-04-25 Sony Interactive Entertainment America Llc Virtual high definition video player
JP6588745B2 (ja) * 2015-06-24 2019-10-09 日本放送協会 シーンチェンジ検出装置、及びそのプログラム
KR20170007665A (ko) * 2015-07-10 2017-01-19 삼성전자주식회사 스킵 모드 정보를 이용한 레이트 조절 인코딩 방법 및 그에 따른 인코딩 장치
US10805643B2 (en) * 2016-03-30 2020-10-13 Advanced Micro Devices, Inc. Adaptive error-controlled dynamic voltage and frequency scaling for low power video codecs
WO2017170159A1 (ja) * 2016-03-31 2017-10-05 京セラ株式会社 無線端末及び基地局
WO2018074291A1 (ja) * 2016-10-18 2018-04-26 パナソニックIpマネジメント株式会社 画像符号化方法、伝送方法および画像符号化装置
CN109428696B (zh) * 2017-08-24 2020-11-03 电信科学技术研究院 一种重复传输的激活/去激活方法、基站、终端及装置
CN110139113B (zh) * 2019-04-30 2021-05-14 腾讯科技(深圳)有限公司 视频资源的传输参数分发方法及装置
EP4102836A1 (en) * 2021-06-11 2022-12-14 Comcast Cable Communications LLC Processing video using masking windows
CN117014622A (zh) * 2022-04-29 2023-11-07 华为技术有限公司 一种视频帧处理方法、设备、视频***、介质及芯片

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5583869A (en) 1994-09-30 1996-12-10 Motorola, Inc. Method for dynamically allocating wireless communication resources
US6075768A (en) * 1995-11-09 2000-06-13 At&T Corporation Fair bandwidth sharing for video traffic sources using distributed feedback control
JP3908789B2 (ja) * 1996-08-30 2007-04-25 コーニンクレッカ、フィリップス、エレクトロニクス、エヌ.ヴィ. ビデオ伝送システム
US6016311A (en) * 1997-11-19 2000-01-18 Ensemble Communications, Inc. Adaptive time division duplexing method and apparatus for dynamic bandwidth allocation within a wireless communication system
JP3748717B2 (ja) * 1998-08-31 2006-02-22 シャープ株式会社 動画像符号化装置
US6925068B1 (en) * 1999-05-21 2005-08-02 Wi-Lan, Inc. Method and apparatus for allocating bandwidth in a wireless communication system
JP2001008215A (ja) * 1999-06-24 2001-01-12 Victor Co Of Japan Ltd 動画像符号化装置及びその方法
EP1244311A3 (en) 2001-03-22 2004-10-06 Sony Corporation Picture encoding
KR100491530B1 (ko) * 2002-05-03 2005-05-27 엘지전자 주식회사 모션 벡터 결정 방법
US20050286629A1 (en) 2004-06-25 2005-12-29 Adriana Dumitras Coding of scene cuts in video sequences using non-reference frames
US7944470B2 (en) 2005-03-04 2011-05-17 Armida Technologies Corporation Wireless integrated security controller
US20060239347A1 (en) 2005-04-25 2006-10-26 Ashish Koul Method and system for scene change detection in a video encoder
US20070274385A1 (en) 2006-05-26 2007-11-29 Zhongli He Method of increasing coding efficiency and reducing power consumption by on-line scene change detection while encoding inter-frame
US8179961B2 (en) 2006-07-17 2012-05-15 Thomson Licensing Method and apparatus for adapting a default encoding of a digital video signal during a scene change period
CN101146030B (zh) * 2006-09-14 2010-04-14 联想(北京)有限公司 一种信道资源的动态分配方法及装置
JP5221562B2 (ja) * 2007-01-10 2013-06-26 クゥアルコム・インコーポレイテッド マルチメディア電話のためのコンテンツ依存およびリンク依存のコード化適応
GB2459671A (en) * 2008-04-29 2009-11-04 Imagination Tech Ltd Scene Change Detection For Use With Bit-Rate Control Of A Video Compression System
US8787447B2 (en) * 2008-10-30 2014-07-22 Vixs Systems, Inc Video transcoding system with drastic scene change detection and method for use therewith
US8737475B2 (en) 2009-02-02 2014-05-27 Freescale Semiconductor, Inc. Video scene change detection and encoding complexity reduction in a video encoder system having multiple processing devices

Also Published As

Publication number Publication date
CN104604203B (zh) 2016-09-14
US20140072035A1 (en) 2014-03-13
US9014277B2 (en) 2015-04-21
JP2015531558A (ja) 2015-11-02
CN104604203A (zh) 2015-05-06
WO2014039294A1 (en) 2014-03-13

Similar Documents

Publication Publication Date Title
JP5882547B2 (ja) シーンの変化に伴うピクチャ内の符号化及び送信パラメータの好適化
EP2452481B1 (en) System and method of transmitting content from a mobile device to a wireless display
US9716737B2 (en) Video streaming in a wireless communication system
TW201347516A (zh) 利用來自視頻源的靜態內容訊息的視頻傳輸
US8675731B2 (en) Encoder and method
US20160234522A1 (en) Video Decoding
US20150373075A1 (en) Multiple network transport sessions to provide context adaptive video streaming
TWI510097B (zh) 視頻編碼方法和系統
JP6337114B2 (ja) ワイヤレスディスプレイのためのソースデバイスにおけるリソース利用のための方法および装置
US20110274180A1 (en) Method and apparatus for transmitting and receiving layered coded video
US20220166814A1 (en) Methods and apparatus for adaptive streaming of point clouds
RU2665284C2 (ru) Устройство кодирования изображения и способ, и устройство декодирования изображения и способ
US10999599B2 (en) System and method for non-uniform video coding
JP2017515378A (ja) ディスプレイストリーム圧縮(dsc)において量子化パラメータ(qp)を選択するためのシステムおよび方法
JP2022141586A (ja) 低遅延のために統合nicと共有フレームバッファアクセスとを有するクラウドゲーミングgpu
JP2017528969A (ja) ディスプレイストリーム圧縮のためにバッファ満杯を決定するためのシステムおよび方法
US10432946B2 (en) De-juddering techniques for coded video
US10085029B2 (en) Switching display devices in video telephony
WO2021056575A1 (zh) 一种低延迟信源信道联合编码方法及相关设备
CN116195255A (zh) 支持基于观看方向的比特流随机访问
RU2795052C2 (ru) Способы и устройство для адаптивной потоковой передачи облаков точек
KR101467418B1 (ko) 비디오 소스로부터의 정적 콘텐츠 정보를 사용한 비디오의 송신

Legal Events

Date Code Title Description
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20150821

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150908

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151208

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160203

R150 Certificate of patent or registration of utility model

Ref document number: 5882547

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees