JP5178311B2 - 送信装置、送信装置の制御方法、及びプログラム - Google Patents

送信装置、送信装置の制御方法、及びプログラム Download PDF

Info

Publication number
JP5178311B2
JP5178311B2 JP2008125132A JP2008125132A JP5178311B2 JP 5178311 B2 JP5178311 B2 JP 5178311B2 JP 2008125132 A JP2008125132 A JP 2008125132A JP 2008125132 A JP2008125132 A JP 2008125132A JP 5178311 B2 JP5178311 B2 JP 5178311B2
Authority
JP
Japan
Prior art keywords
moving image
frame
packet
image frame
intra
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008125132A
Other languages
English (en)
Other versions
JP2009278188A (ja
JP2009278188A5 (ja
Inventor
章佳 浜中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2008125132A priority Critical patent/JP5178311B2/ja
Priority to US12/463,420 priority patent/US8964855B2/en
Publication of JP2009278188A publication Critical patent/JP2009278188A/ja
Publication of JP2009278188A5 publication Critical patent/JP2009278188A5/ja
Application granted granted Critical
Publication of JP5178311B2 publication Critical patent/JP5178311B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/12—Arrangements for detecting or preventing errors in the information received by using return channel
    • H04L1/16—Arrangements for detecting or preventing errors in the information received by using return channel in which the return channel carries supervisory signals, e.g. repetition request signals
    • H04L1/18—Automatic repetition systems, e.g. Van Duuren systems
    • H04L1/1809—Selective-repeat protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2383—Channel coding or modulation of digital bit-stream, e.g. QPSK modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H04N19/166—Feedback from the receiver or from the transmission channel concerning the amount of transmission errors, e.g. bit error rate [BER]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/4425—Monitoring of client processing errors or hardware failure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6375—Control signals issued by the client directed to the server or network components for requesting retransmission, e.g. of data packets lost or corrupted during transmission from server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6377—Control signals issued by the client directed to the server or network components directed to server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)

Description

本発明は、送信装置、送信装置の制御方法、及びプログラムに関し、詳しくは符号化された動画像コンテンツに係るデータ送信技術に関する。
従来、符号化された動画像コンテンツに係るデータを送受信する場合に、受信側からのエラー情報に基づいて、符号化モード（符号化方式）を強制的にイントラ符号化モード（画面内符号化モード）に変更する手法が提唱されていた。
これは、エラーが伝搬するフレームの数を低減することを目的としたものであり、例えば次のように処理が行われる（例えば、特許文献１参照。）。受信側にて正常に受信されなかったデータ（伝送途中で欠落し、受信側へ達しなかったものも含む）が検出された場合、受信側装置は、その受信されなかったデータを特定する情報（エラー情報）を送信側装置へ送信する（フィードバックする）。受信側装置からエラー情報を通知された送信側装置は、次に符号化するフレームの符号化モードを強制的にイントラ符号化モードに変更して符号化する。なお、次に送信すべきフレームが符号化済みであり、かつその符号化モードがイントラ符号化モードでない場合には、復号化して、符号化モードをイントラ符号化モードに変更して再符号化を実施する。
また、符号化された動画像コンテンツに係るデータの送受信では、受信側において所望のフレームレートで再生が可能となることを目的として符号量制御を行う場合もある。この符号量制御は、受信側で実際に再生されたフレームレートに関するフレームレート情報を送信側へ送信し、それが通知された送信側では、フレームレート情報に基づいて、発生符号量を最適に調整する。
特開２００３−２３６３９号公報
しかしながら、上述した従来の方法では、エラーが発生した場合にエラー情報に従って、次に符号化するフレームの符号化モードをイントラ符号化モードに強制変更する。これにより、エラーの伝搬を完全に止めることは可能であるが、符号量を急激に増加させてしまうために、通信回線を逼迫させ、かえって、伝送遅延やデータ欠落を増長させてしまう可能性がある。
また、通信路容量（回線容量）が限られている場合には、符号化モードを強制的にイントラ符号化モードに変更することによって符号量が急激に増加するため、それ以降のフレームに分配すべき符号量が削減され、大幅に画質を劣化させるおそれがある。また、受信側で実フレームレート情報から現状の回線容量を推定することにより、フレームレートを増減することで送信ビットレート制御を行う方式である場合には、フレーム単位での微妙な符号量制御ができないという問題点があった。
本発明は、このような事情に鑑みてなされたものであり、動画像コンテンツに係るデータの送受信にてエラーが発生した場合に、符号量を大幅に変動させずに、エラーが伝搬するフレームの数を低減できるようにすることを目的とする。
本発明の送信装置は、動画データを符号化してパケットを生成する生成手段と、前記生成されたパケットを受信装置へ送信する送信手段と、前記送信されたパケットのうち、前記受信装置が正常に受信しなかったパケットを前記受信装置からの通知に基づいて特定する特定手段と、前記特定されたパケットに対応する第１の動画フレームと前記第１の動画フレームの次に他の動画フレームを参照せずに復号可能な画面内符号化方式で符号化される画面内符号化フレームとの間のフレーム数が閾値以上であるか判定する判定手段と、前記特定手段により特定されたパケットを再送信する再送手段と、前記判定手段が前記第１の動画フレームと前記第１の動画フレームの次の前記画面内符号化フレームとの間のフレーム数が閾値以上であると判定し、前記特定された前記第１の動画フレームのパケットを再送信しない場合、前記第１の動画フレームと前記第１の動画フレームの次の前記画面内符号化フレームとの間の第２の動画フレームの動画データのうち、前記特定されたパケットの動画データの表示領域に対応する前記第２の動画フレームの表示領域の動画データの符号化方式及び該表示領域に隣接する隣接領域の動画データの符号化方式を前記画面内符号化方式に決定する決定手段とを有し、前記決定手段は、前記判定手段が前記第１の動画フレームと前記第１の動画フレームの次の前記画面内符号化フレームとの間のフレーム数が閾値未満であると判定した場合、及び、前記特定された前記第１の動画フレームのパケットを再送信する場合、前記第２の動画フレームの動画データのうち、前記特定されたパケットの動画データの表示領域に対応する前記第２の動画フレームの表示領域の動画データの符号化方式及び該表示領域に隣接する隣接領域の動画データの符号化方式を前記画面内符号化方式に限定しないことを特徴とする。
本発明の送信装置の制御方法は、動画データを符号化してパケットを生成する生成工程と、前記生成されたパケットを受信装置へ送信する送信工程と、前記送信されたパケットのうち、前記受信装置が正常に受信しなかったパケットを前記受信装置からの通知に基づいて特定する特定工程と、前記特定されたパケットに対応する第１の動画フレームと前記第１の動画フレームの次に他の動画フレームを参照せずに復号可能な画面内符号化方式で符号化される画面内符号化フレームとの間のフレーム数が閾値以上であるか判定する判定工程と、前記特定工程において特定されたパケットを再送信する再送工程と、前記判定工程において前記第１の動画フレームと前記第１の動画フレームの次の前記画面内符号化フレームとの間のフレーム数が閾値以上であると判定し、前記特定された前記第１の動画フレームのパケットを再送信しない場合、前記第１の動画フレームと前記第１の動画フレームの次の前記画面内符号化フレームとの間の第２の動画フレームの動画データのうち、前記特定されたパケットの動画データの表示領域に対応する前記第２の動画フレームの表示領域の動画データの符号化方式及び該表示領域に隣接する隣接領域の動画データの符号化方式を前記画面内符号化方式に決定する決定工程とを有し、前記決定工程において、前記判定工程において前記第１の動画フレームと前記第１の動画フレームの次の前記画面内符号化フレームとの間のフレーム数が閾値未満であると判定した場合、及び、前記特定された前記第１の動画フレームのパケットを再送信する場合、前記第２の動画フレームの動画データのうち、前記特定されたパケットの動画データの表示領域に対応する前記第２の動画フレームの表示領域の動画データの符号化方式及び該表示領域に隣接する隣接領域の動画データの符号化方式を前記画面内符号化方式に限定しないことを特徴とする。
本発明のプログラムは、動画データを符号化してパケットを生成する生成手順と、前記生成されたパケットを受信装置へ送信する送信手順と、前記送信されたパケットのうち、前記受信装置が正常に受信しなかったパケットを前記受信装置からの通知に基づいて特定する特定手順と、前記特定されたパケットに対応する第１の動画フレームと前記第１の動画フレームの次に他の動画フレームを参照せずに復号可能な画面内符号化方式で符号化される画面内符号化フレームとの間のフレーム数が閾値以上であるか判定する判定手順と、前記特定手順において特定されたパケットを再送信する再送手順と、前記判定手順において前記第１の動画フレームと前記第１の動画フレームの次の前記画面内符号化フレームとの間のフレーム数が閾値以上であると判定し、前記特定された前記第１の動画フレームのパケットを再送信しない場合、前記第１の動画フレームと前記第１の動画フレームの次の前記画面内符号化フレームとの間の第２の動画フレームの動画データのうち、前記特定されたパケットの動画データの表示領域に対応する前記第２の動画フレームの表示領域の動画データの符号化方式及び該表示領域に隣接する隣接領域の動画データの符号化方式を前記画面内符号化方式に決定し、前記判定手順において前記第１の動画フレームと前記第１の動画フレームの次の前記画面内符号化フレームとの間のフレーム数が閾値未満であると判定した場合、及び、前記特定された前記第１の動画フレームのパケットを再送信する場合、前記第２の動画フレームの動画データのうち、前記特定されたパケットの動画データの表示領域に対応する前記第２の動画フレームの表示領域の動画データの符号化方式及び該表示領域に隣接する隣接領域の動画データの符号化方式を前記画面内符号化方式に限定しない決定手順とをコンピュータに実行させることを特徴とする。
本発明によれば、動画データを符号化し生成されたパケットのうち、受信装置で正常に受信されなかったパケットが特定され、特定されたパケットに対応する動画フレームよりも後の動画フレームの動画データのうち、画面内符号化方式で符号化する動画データと予測符号化方式で符号化する動画データとを特定されたパケットに応じて決定される。これにより、動画データに係るパケットの送受信でエラーが発生した場合に、符号量を大幅に変動させずにエラーが伝搬するフレームの数を低減することができる。
以下、本発明の実施形態を図面に基づいて説明する。
（第１の実施形態）
図１及び図２は、本発明の一実施形態に係る送信装置及び受信装置の構成例を示すブロック図である。
図１において、１１はストレージ部、１２はデータ処理部、１３は送信バッファ、１４は送信部、１５は受信部、１６は受信状態情報抽出部、１７は符号量制御部、１８は判定部、１９は符号化モード指定部である。また、図２において、２１は受信バッファ、２２は受信部、２３は復号処理部、２４は画像処理部、２５は表示部、２６はエラー検出部、２７は送信部、２８はジッター管理部である。
ストレージ部１１には、動画像コンテンツに係るデータが格納されている。データ処理部１２は、ストレージ部１１から動画像コンテンツに係るデータを読み出し、読み出したデータを符号化モードに応じて符号化する。符号化モードには、イントラ符号化モード（画面内符号化モード）、順方向予測符号化モード、双方向予測符号化モードがある。また、データ処理部１２は、符号化したデータを所定のパケット・フォーマットに従ってパケット化する。
データ処理部１２でパケット化された符号化データは、送信バッファ１３を介して送信部１４に入力される。送信部１４は、入力されたパケット（符号化データ）を任意のプロトコルに従って再度パケット化した後、任意の通信路を経由して図２に示すような受信装置（クライアント）へ送信する。
受信装置にて受信されたパケットは、受信バッファ２１に一時蓄積された後、受信部２２の制御により読み出され、エラー検出部２６によりエラー検出処理が施される。エラー検出部２６によるエラー検出処理の結果、エラー無しであった場合には、読み出された受信パケットは、復号処理部２３へ入力されて復号化処理が施され、さらに画像処理部２４で任意の画像処理が実施された後、表示部２５に表示される。
一方、エラー検出部２６によりエラーが検出されるか又はパケットの消失が検出された場合には、エラー検出部２６は、エラー又は消失したパケットの前後で正常に受信されたパケットを基に、エラー又は消失したパケットを特定する。なお、以下では、「エラー又は消失したパケット」を「エラーパケット」と称す。例えば、正常に受信された前後のパケットのシーケンス番号と、パケットに含まれる符号化データが属するフレームのフレーム番号等の情報を参照することにより、エラーパケットのシーケンス番号及びフレーム番号を推定する。本実施形態では、エラーパケットを特定するパラメータとして、シーケンス番号及びフレーム番号を受信状態情報のパラメータとする。
ジッター管理部２８は、パケットの受信間隔を監視して、任意に設定された時間における前記受信間隔の平均値、前記受信間隔の変動幅を算出する。
送信部２７は、受信状態情報（エラー情報）を図１に示したような送信装置（サーバー）へ送信する。受信状態情報（エラー情報）には、エラー検出部２６により得られたエラーパケットを特定するパラメータ（シーケンス番号及びフレーム番号）を含む。また、受信状態情報（エラー情報）には、ジッター管理部２８で算出された前記受信間隔の平均値や変動幅も、必要に応じて含まれる。
受信装置から送信された受信状態情報は、送信装置の受信部１５で受信された後、受信状態情報抽出部１６に入力される。
受信状態情報抽出部１６は、受信状態情報を構成する各パラメータに分離する。受信状態情報抽出部１６において各パラメータに分離されたパラメータの内、エラーパケットのシーケンス番号及びフレーム番号は、判定部１８に入力される。また、分離されたパラメータの内、受信パケットに関するジッターの時間的変化に係るジッター情報（受信間隔の平均値や変動幅）は、符号量制御部１７に入力される。
判定部１８は、受信状態情報（エラー情報）に基づいて送信したパケットにエラーが発生したことを確認したとき、エラーパケットに対する処理を実施するか否かの判定を行う。具体的には、判定部１８は、符号化順序又は送信順序で、次に送信予定のフレームから起算して次の画面内符号化フレームまでの距離（フレームの数）Ｒを算出し、算出した値Ｒを任意に設定された閾値ＴＨＲと比較する。比較した結果がＲ＜ＴＨＲ（フレームの数が閾値未満）となった場合には、判定部１８は、エラーパケットに対する処理は実施しないと判定する。一方、比較した結果がＲ≧ＴＨＲ（フレームの数が閾値以上）となった場合には、判定部１８は、エラーパケットに含まれる符号化データのフレーム上での影響範囲を算出し特定する。
また、判定部１８は、入力されたエラーパケット（送信済みパケット）のシーケンス番号に該当するパケットが送信バッファ１３に残存しているか否かを判定する。その結果、残存していると判定した場合には、さらに判定部１８は、エラーパケットと同一のパケットを受信装置に対して再送した場合に、受信装置で有効データとして扱われるか否かの再送可否判定を行う。この再送可否判定は、例えば以下のようにして行われる。判定部１８は、送受信装置間のデータ往復所要時間、いわゆるラウンド・トリップ・タイム（Round Trip Time）を測定することにより、再送データの受信装置への到達時刻を推定する。それをエラーパケットに含まれる符号化データの復号化処理開始時刻（ＤＴＳ：Decoding Time Stamp）又は復号済みデータの表示開始時刻（ＰＴＳ：Presentation Time Stamp）等と比較する。この比較結果に基づき、再送したパケットがＤＴＳ又はＰＴＳに間に合うか否かを判定する。なお、この判定方法は一例であり、これに限定されるものではない。
判定部１８にて再送データが受信装置で有効データとして扱われると判定された場合には、受信状態情報によって通知されたエラーパケットと同一のパケットが送信バッファ１３から読み出されて送信部１４より受信装置へ送信される。一方、判定部１８にて再送データが受信装置で無効になると判定された場合には、判定結果及びエラーパケットに含まれる符号化データを特定する情報（エラーパケットの影響を受けるフレーム上の範囲を特定する情報）が、符号化モード指定部１９へ入力される。
符号化モード指定部１９は、判定結果及び符号化データを特定する情報を受けて、エラーパケットに含まれる符号化データと隣接する領域を指定する情報と、符号化モード指定情報（この場合は画面内符号化モード）を符号量制御部１７に出力する。
符号量制御部１７は、データ処理部１２に対して、ストレージ部１１から読み出して符号化する際の符号化モードを制御する。具体的には、符号化モード指定部１９により指定された領域（エラーパケットによる影響を受ける領域）については予め決定されている符号化モードではなくイントラ符号化モードに強制的に符号化モードを変更して符号化するよう制御する。また、それ以外の領域は予め決定されている符号化モードで符号化を行うよう制御する。なお、エラーパケットに係る部分領域とその隣接領域を符号化モードを強制的にイントラ符号化モードに変更して符号化する処理は、次のイントラ符号化フレーム（画面内符号化フレーム）の直前のフレームまで継続される。
以下、第１の実施形態に係るエラー修復及びエラー伝搬の抑止方法について、図３〜図６を参照して説明する。
図５に示すように、符号化された動画像コンテンツに係るデータのパケット伝送において、任意のパケットが通信路上で欠落するか、又はエラー発生により復号不能パケットとして受信された場合、エラーパケットに含まれる符号化データは復号化できない。そのため、直前に表示されたフレームの画像がそのまま表示されるか、又は異常な画像（例えば、エラー領域が黒や白くなる等）が表示されるのが一般的である。
図５においては、Ｆｒａｍｅ１は画面内符号化モードでデータが符号化された画面内符号化フレーム（Ｉフレーム）とする。また、Ｆｒａｍｅ２、Ｆｒａｍｅ３、Ｆｒａｍｅ４は順方向予測符号化モードでデータが符号化された順方向予測符号化フレーム（Ｐフレーム）とする。また、画面内符号化フレームＦｒａｍｅ１の部分領域ａ１がエラー領域であるとする。すなわち、図５に示す画面内符号化フレームＦｒａｍｅ１を構成する符号化データを含むパケットにエラーが発生し、そのエラーパケットに該当するフレームの部分領域ａ１の画像が乱れたと仮定する。
領域ａ１は、次のフレーム（図５に示したフレームＦｒａｍｅ２）で領域ｂ１から参照されるため、画像が乱れる範囲はフレームＦｒａｍｅ２では領域ｂ１に拡大する。同様に、図５に示したフレームＦｒａｍｅ３では、画像が乱れる領域はフレームＦｒａｍｅ２の領域ｂ１を参照画像とする領域ｃ１に拡大する。
ここで、時刻Ｔ＝ｔにおいて送信側から領域ａ１の符号化データを含むパケットが送信され、時刻Ｔ＝ｔ＋１において前記パケットが受信側に受信されたと仮定すると、このパケットは通信路上でエラーが発生しているので受信側で廃棄される。同時にそのエラーパケットを特定するための情報を含む受信状態情報（エラー情報）が、時刻Ｔ＝ｔ＋２において受信側から送信側へ送信される。
時刻Ｔ＝ｔ＋２において受信側から送信側された受信状態情報は、時刻Ｔ＝ｔ＋３において送信側で受信される（図３に示すＳ１０１のＲｅｃｅｉｖｅｄ）。これにより、送信側では、図５に示したフレームＦｒａｍｅ１の領域ａ１の符号化データを含むパケットにエラーが発生し、受信側で正常に復号化されなかったことを検知する。
次に、受信状態情報抽出部１６が、受信した受信状態情報からエラーパケットを特定するパラメータ（シーケンス番号及びフレーム番号）を抽出する。これにより、エラーパケット、及びエラーパケットに含まれる符号化データが属するフレームが特定される（Ｓ１０２）。
次に、判定部１８は、受信状態情報抽出部１６より供給されるエラーパケットを特定するパラメータを基に、符号化順序又は送信順序で、特定されたフレームから起算して次の画面内符号化フレームまでの距離Ｒを算出する（Ｓ１０３）。そして、判定部１８は、算出したＲと任意に定義した閾値ＴＨＲとを比較し、エラーパケットに対する処理を実施するか否かを判定する（Ｓ１０４）。
ステップＳ１０４において比較した結果、距離が閾値未満である場合（Ｒ＜ＴＨＲ）には、判定部１８は、エラーパケットに対する処理を実施しないと判定する。したがって、エラーパケットに対する処理は一切実施しない（Ｓ１０９）。一方、距離が閾値以上である場合（Ｒ≧ＴＨＲ）には、判定部１８は、エラーパケットに含まれる符号化データのフレーム上での影響範囲（図５の領域ａ１、及びそれに隣接する領域）を算出し特定する（Ｓ１０５）。
次に、判定部１８は、エラーパケット（エラー又は消失した送信済みパケット）の再送が可能かどうか判定する（Ｓ１０６）。具体的には、エラーパケットのシーケンス番号に該当するパケットが送信バッファ１３に残っているか、さらにエラーパケットと同一のパケットの再送を実施した場合に、受信側で時間的に有効データとして取り扱われるか否かを判定する。受信側で有効データとして取り扱われるか否かの判定は、例えば現在時刻と予測した送信所要時間とを加算し、エラーパケットに該当するパケットに含まれる符号化データの受信側での処理開始時刻と比較することにより行う。現在時刻と予測した送信所要時間との加算値が受信側での処理開始時刻以前であれば再送可能と判定し、加算値が受信側での処理開始時刻を超過していれば再送不可と判定する。なお、送信バッファ１３に再送対象であるパケットが存在しない場合には、自動的に再送不可と判定する。なお、これは一例であり、本発明はこれに限定されるものではない。
ステップＳ１０６での判定の結果、エラーパケットと同一のパケットの再送が可能と判定された場合には、エラーパケットと同一パケットが送信バッファ１３から読み出され送信部１４より再送信される（Ｓ１０７）。
一方、ステップＳ１０６での判定の結果、エラーパケットと同一のパケットの再送が不可と判定された場合には、次のように処理を行う。次の符号化対象フレーム又は次に送信予定のフレームから次に画面内符号化フレームが出現するまでの間に存在する全フレームに対して、エラーフレームの符号化モードにかかわらず、符号化モードを強制的に画面内符号化モードに変更して符号化する（Ｓ１０８）。符号化モードの強制的な変更は、特定されたエラー領域とエラー領域に隣接する任意の領域に存在する全符号化ブロック（又マクロブロック、又はスライス）のみに対してのみ行う。
上述したようにして処理が実行された後、動画像コンテンツに係るデータの送信が終了したか否かが判断される（Ｓ１１０）。その結果、動画像コンテンツに係るデータの送信が終了した場合には動作を終了し、そうでない場合には次のパケットを送信して（Ｓ１１１）上述した処理を繰り返し行う。
図５において、エラーパケットが含まれるフレームＦｒａｍｅ１に対して、強制的な画面内符号化モードへの変更が実施されたのが、フレームＦｒａｍｅ４に該当する。フレームＦｒａｍｅ４においては、領域ｄ１のみが符号化モードを強制的に画面内符号化モードに変更して符号化される。
本実施形態によれば、図５に一例を示すようにフレームＦｒａｍｅ４でエラー領域とその隣接領域を画面内符号化モードに変更することにより、エラー領域とその隣接領域は、フレームＦｒａｍｅ３のエラー領域とその隣接領域を参照しない。したがって、エラーの伝搬はフレームＦｒａｍｅ３までで抑止され、フレームＦｒａｍｅ４以降へは伝搬しない。また、フレーム全体ではなく、エラー領域とその隣接領域のみについて画面内符号化モードに変更して符号化するので符号量の増大も抑制することができ、符号量が大幅に変動することも防止できる。
また、図４に示すように、符号化モードを強制的に画面内符号化モードに変更する前に、判定部１８若しくは符号化モード指定部１９がエラーパケットに含まれる符号化データが属するフレームの符号化モードを判定するようにしても良い（Ｓ２０８）。このようにした場合には、エラーパケットに含まれる符号化データが属するフレームに応じて適切な処理を行うことが可能となる。
すなわち、ステップＳ２０８での判定の結果、エラーパケットに含まれる符号化データが属するフレームの符号化モードが、双方向予測符号化モード（Ｂフレーム）と判定された場合には、それ自身が被参照フレームとなることはない。したがって、エラーパケットに対する処理は一切実施しない（Ｓ２１０）。一方、エラーパケットに含まれる符号化データが属するフレームの符号化モードが、画面内符号化モード（Ｉフレーム）又は順方向予測符号化モード（Ｐフレーム）と判定された場合には、図１に示したステップＳ１０８と同様の処理を行う。
図４に示すステップＳ２０１〜Ｓ２０７、Ｓ２０９〜Ｓ２１２に係る各々の処理は、図３に示したステップＳ１０１〜Ｓ１０７、Ｓ１０８〜Ｓ１１１と同様であるので、説明は省略する。
なお、エラー領域に隣接する任意の領域は、本発明において特に限定されるものではない。例えば、符号量が限られているか、又は符号量の増加を極力避けたい場合には、エラー領域とそのエラー領域に直接隣接する領域に限定して符号化モードを強制的に画面内符号化モードに変更するようにすれば良い。また、例えば、符号量に余裕がある場合は図６に一例を示すように、エラー発生フレームＦｒａｍｅ１からの距離（フレーム数）に応じて、符号化モードを強制的に画面内符号化モードに変更する領域ａ２、ｂ２、ｃ２、ｄ２を拡大するように構成しても良い。
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。
上述した第１の実施形態では、動画像コンテンツに係るデータをリアルタイム符号化することを前提としている。それに対して、第２の実施形態では、コンテンツ毎に、すべてのフレームの符号化モードが画面内符号化モードであるファイルを含む、相互に異なる複数の符号化ビットレートで符号化した複数のファイルを設けておく。これにより、エラーパケットによる影響を受ける領域（エラーパケットに係る領域とその隣接領域）は、符号化モードが画面内符号化モードであるファイルのデータを用いることで、符号量を大幅に変動させることなくエラーが伝搬するフレームの数を低減できる。
第２の実施形態に係る送信装置及び受信装置の構成は、第１の実施形態に係る送信装置及び受信装置と同様であるので、説明は省略する。ただし、第２の実施形態に係る送信装置のストレージ部１１には、１つの動画像コンテンツに対して、複数種類の符号化ビットレートで符号化されたファイルが格納されている。また、データ処理部１２は、符号量制御部１７の制御により、随時ストレージ部１１から所定の単位（例えば、ブロック、マクロブロック、スライス、フレームの単位）でデータを検索して読み出し可能な構成になっている。なお、第２の実施形態においては、符号化済みのものがストレージ部１１に格納されるので、データ処理部１２は符号化処理を行う機能を備えていなくとも良い。
以下の説明では、送信装置のストレージ部１１に、図７に示すようなコンテンツ１に対して、７種類の符号化ビットレートで符号化されたファイルが格納されているものとする。コンテンツ１は、ファイル番号１〜５が、符号化モードが画面内符号化モードであるフレームの周期Ｎ＝１５、順方向予測符号化フレーム又は画面内符号化フレームの周期Ｍ＝３である符号化パターンで符号化されたファイルである。また、ファイル番号６，７は、全フレームが画面内符号化モード（Ｍ＝１、Ｎ＝１）で符号化されたファイルである。ファイル番号１〜５及び６、７は、同一コンテンツに対して、同一の符号化フォーマットを用いて、異なる符号化ビットレート（単位時間あたりの発生符号量）で符号化されたものである。
第２の実施形態に係る送信装置及び受信装置の動作について説明する。
現在、コンテンツ１のファイル番号３が、ストレージ部１１から符号化の順序で読み出され、データ処理部１２へ入力されていると仮定する。データ処理部１２へ入力された符号化データは、所定のパケット・フォーマットに従ってパケット化され、送信バッファ１３を介して送信部１４へ入力される。送信部１４へ入力されたパケットは、任意の通信路を経由して受信装置（クライアント）へ送信される。
受信装置では、図８に示すようにパケットＰａｃｋｅｔ１、Ｐａｃｋｅｔ２、Ｐａｃｋｅｔ３、Ｐａｃｋｅｔ５の順序で受信し、４番目（シーケンス番号が４）のパケットが受信されなかった（何らかの理由により、前記通信路上で消失した）と仮定する。
受信装置で受信されたパケットは、受信バッファ２１に一時蓄積された後、受信部２２の制御により読み出され、エラー検出部２６によりエラー検出処理が施される。その結果、エラーがない場合は、復号処理部２３での復号化処理、及び画像処理部２４での任意の画像処理が実施された後、表示部２５に表示される。一方、エラーが検出されるか又はパケットの消失が検出された場合（本実施形態では図８に示すように４番目のパケットが消失）には、エラーパケットの前後で正常に受信されたパケットを基に、第１の実施形態と同様にしてエラーパケットが特定される。
そして、エラー検出部２６により得られたエラーパケットを特定するパラメータやジッター管理部２８で算出された受信間隔の平均値や変動幅を含む受信状態情報が、送信部２７より送信装置（サーバー）へ送信される。
受信装置から送信された受信状態情報は、送信装置の受信部１５で受信された後、受信状態情報抽出部１６へ入力され、受信状態情報を構成する各パラメータに分離される。分離されたパラメータの内、エラーパケットのシーケンス番号及びフレーム番号は、判定部１８へ入力され、受信パケットに関するジッターの時間的変化に係るジッター情報（平均値、変動幅）は、符号量制御部１７へ入力される。
判定部１８では、受信状態情報に基づいて送信済みパケットにエラーが発生したことが確認されたとき、受信状態情報抽出部１６で抽出されたエラーパケットのシーケンス番号及びフレーム番号を基に、第１の実施形態と同様にして各種判定が行われる。すなわち、エラーパケットに対する処理を実施するか否か、エラーパケットと同一のパケットが送信バッファに残存しているか否か、またそのパケットを受信装置に対して再送信した場合に受信装置で有効データとして扱われるか否かの判定を行う。
判定部１８での判定の結果、再送データが受信装置で無効になると判定された場合には、判定結果及びエラーパケットに含まれる符号化データを特定する情報が、符号化モード指定部１９へ入力される。
符号化モード指定部１９は、判定結果及び符号化データを特定する情報を受けて、エラーパケットに含まれる符号化データと隣接する領域を指定する情報と、符号化モード指定情報（この場合は画面内符号化モード）を符号量制御部１７に出力する。
ここで、図７に示したコンテンツ１、ファイル番号３のファイルをストリーミング中であると仮定する。このとき、符号量制御部１７は、データ処理部１２に対して、符号化モード指定部１９により指定された領域に限定して全フレームが画面内符号化モードで符号化されたファイル番号６又は７を指定し、その他の領域はファイル番号３から読み出すよう命令を出す。このエラー領域とその隣接領域を画面内符号化データで置換する処理は、次の画面内符号化フレームの直前のフレームまで継続される。
本実施形態のように、全フレームが画面内符号化モードで符号化されたファイルが複数存在する場合には、現在ストリーミング中のファイルのビットレートや画質等の諸事情に応じて適宜選択することができる。上述した例では、ストリーミング中のファイルのビットレートが３Ｍｂｐｓであることから、ファイル番号６（ビットレート：１２Ｍｂｐｓ）を選択するのが望ましい。
本実施形態によれば、エラー領域とその隣接領域のデータについては、全フレームが画面内符号化モードで符号化されたファイルから検索して読み出し、受信装置に送信される。これにより、エラーが伝搬するフレームの数を低減することができる。また、フレーム全体ではなく、エラー領域とその隣接領域のみについて画面内符号化モードで符号化されたファイルから読み出すので符号量の増大も抑制することができ、符号量が大幅に変動することも防止できる。
なお、判定部１８にて再送データが受信装置で無効になると判定された場合に、第１の実施形態と同様に、エラーパケットに含まれるデータが属するフレームの符号化モードを判定し、判定結果に応じて処理を行うようにしても良い。
次に、本実施形態における符号量制御方法について説明する。
図９に示すように、受信状態情報に含まれるジッター情報を入力された符号量制御部１７は、パケットサイズとパケット受信間隔の平均値Ｊｍと変動幅Ｊｂに基づいて、安定して通信可能なレートＬを算出する（Ｓ３０１〜Ｓ３０３）。安定して通信可能なレートＬの算出方法としては、表１及び式１による方法が一例として考えられる。
Figure 0005178311
Figure 0005178311
受信装置におけるパケットの受信間隔の平均値Ｊｍとその変動幅Ｊｂを表１に適用して、回線容量の増減係数Ｄを導出する。例えば、パケットの受信間隔の平均値Ｊｍ＝ａａ、変動幅Ｊｂ＝ｗｗと仮定すると、回線容量の増減係数Ｄ＝γとなる。送信部１４から現在送信されているパケットのサイズと送信間隔から送信ビットレートＣを算出し、導出された回線容量の増減係数Ｄ＝γと共に式１に代入すると、安定して通信可能なレートＬ＝Ｃ−（Ａ×γ）となる。
符号量制御部１７は、算出された安定して通信可能なレートＬに従って、安定して通信可能なレートＬを上回らない範囲で最もビットレートの近いファイルを選択する（Ｓ３０４）。これにより、データ処理部１２は、符号量制御部１７より指示されたファイルをストレージ部１１から読み出して送信する（Ｓ３０５）。そして、次の受信状態情報を受信して、算出された安定して通信可能なレートＬの値が更新されるまで選択されたファイルの符号化データを送信データとして使用する。例えば、レートＬ＝１．５Ｍｂｐｓとなった場合には、現状選択されているファイルはファイル番号３、ビットレート３Ｍｂｐｓであるから、ビットレートが１．５Ｍｂｐｓ以下を満たすにはファイル番号２、ビットレート１Ｍｂｐｓが選択される。
上述したようにして処理を実行した後、動画像コンテンツに係るデータの送信が終了したか否かが判断される（Ｓ３０６）。その結果、動画像コンテンツに係るデータの送信が終了した場合には動作を終了し、そうでない場合にはＳ３０１に戻る。
（本発明の他の実施形態）
上述した実施形態の機能を実現するべく各種のデバイスを動作させるように、該各種デバイスと接続された装置又はシステム内のコンピュータ（ＣＰＵ又はＭＰＵ）に対し、前記実施形態の機能を実現するためのソフトウェアのプログラムを供給する。そして、そのシステム又は装置のコンピュータに格納されたプログラムに従って前記各種デバイスを動作させることによって実施したものも、本発明の範疇に含まれる。
また、この場合、前記ソフトウェアのプログラム自体が上述した実施形態の機能を実現することになり、そのプログラム自体は本発明を構成する。また、そのプログラムをコンピュータに供給するための手段、例えばかかるプログラムを格納した記録媒体は本発明を構成する。かかるプログラムを記憶する記録媒体としては、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
また、供給されたプログラムがコンピュータにて稼働しているオペレーティングシステム又は他のアプリケーションソフト等と共同して上述の実施形態の機能が実現される場合にもかかるプログラムは本発明の実施形態に含まれることは言うまでもない。
さらに、供給されたプログラムがコンピュータに係る機能拡張ボードや機能拡張ユニットに備わるメモリに格納された後、そのプログラムの指示に基づいてその機能拡張ボード等に備わるＣＰＵ等が実際の処理の一部又は全部を行う。その処理によって上述した実施形態の機能が実現される場合にも本発明に含まれることは言うまでもない。
なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
本発明の実施形態に係る送信装置の構成例を示す図である。 本発明の実施形態に係る受信装置の構成例を示す図である。 第１の実施形態に係る送信装置の動作例を示すフローチャートである。 第１の実施形態に係る送信装置の他の動作例を示すフローチャートである。 第１の実施形態に係る符号化処理の一例を説明するための図である。 第１の実施形態に係る符号化処理の他の例を説明するための図である。 第２の実施形態におけるストレージ部に格納されるファイル構成を説明するための図である。 第２の実施形態における動作を説明するための図である。 第２の実施形態に係る送信装置の動作（符号量制御）の例を示すフローチャートである。
符号の説明
１１ ストレージ部
１２ データ処理部
１３ 送信バッファ
１４ 送信部
１５ 受信部
１６ 受信状態情報抽出部
１７ 符号量制御部
１８ 判定部
１９ 符号化モード指定部

Claims (11)

  1. 動画データを符号化してパケットを生成する生成手段と、
    前記生成されたパケットを受信装置へ送信する送信手段と、
    前記送信されたパケットのうち、前記受信装置が正常に受信しなかったパケットを前記受信装置からの通知に基づいて特定する特定手段と、
    前記特定されたパケットに対応する第１の動画フレームと前記第１の動画フレームの次に他の動画フレームを参照せずに復号可能な画面内符号化方式で符号化される画面内符号化フレームとの間のフレーム数が閾値以上であるか判定する判定手段と、
    前記特定手段により特定されたパケットを再送信する再送手段と、
    前記判定手段が前記第１の動画フレームと前記第１の動画フレームの次の前記画面内符号化フレームとの間のフレーム数が閾値以上であると判定し、前記特定された前記第１の動画フレームのパケットを再送信しない場合、前記第１の動画フレームと前記第１の動画フレームの次の前記画面内符号化フレームとの間の第２の動画フレームの動画データのうち、前記特定されたパケットの動画データの表示領域に対応する前記第２の動画フレームの表示領域の動画データの符号化方式及び該表示領域に隣接する隣接領域の動画データの符号化方式を前記画面内符号化方式に決定する決定手段とを有し、
    前記決定手段は、前記判定手段が前記第１の動画フレームと前記第１の動画フレームの次の前記画面内符号化フレームとの間のフレーム数が閾値未満であると判定した場合、及び、前記特定された前記第１の動画フレームのパケットを再送信する場合、前記第２の動画フレームの動画データのうち、前記特定されたパケットの動画データの表示領域に対応する前記第２の動画フレームの表示領域の動画データの符号化方式及び該表示領域に隣接する隣接領域の動画データの符号化方式を前記画面内符号化方式に限定しないことを特徴とする送信装置。
  2. 前記再送手段は、前記第１の動画フレームと前記第１の動画フレームの次の前記画面内符号化フレームとの間のフレーム数が閾値未満の場合、前記特定手段により特定されたパケットの再送信を行わないことを特徴とする請求項１記載の送信装置。
  3. 前記決定手段は、前記第１の動画フレームと前記第２の動画フレームとの間のフレーム数に応じて、前記第２の動画フレームの動画データのうち前記画面内符号化方式により符号化する動画データを決定することを特徴とする請求項１記載の送信装置。
  4. 前記決定手段は、前記第１の動画フレームが、前記第１の動画フレームよりも前の動画フレームと後の動画フレームとを参照することで復号可能な双方向予測符号化フレームである場合、前記第２の動画フレームの前記隣接領域の動画データの符号化方式を、前記画面内符号化方式に限定しないことを特徴とする請求項１記載の送信装置。
  5. 前記動画データの各動画フレームを前記画面内符号化方式で符号化した画面内符号化ファイルを記憶する記憶手段を有し、
    前記送信手段は、前記決定手段により符号化方式が前記画面内符号化方式に決定された動画データを、前記記憶手段から読み出して送信することを特徴とする請求項１記載の送信装置。
  6. 前記記憶手段は、各動画フレームを第１のビットレートで画面内符号化方式により符号化した第１の画面内符号化ファイルと、各動画フレームを前記第１のビットレートよりも高い第２のビットレートで画面内符号化方式により符号化した第２の画面内符号化ファイルとを記憶し、
    前記送信手段は、前記第１及び第２の画面内符号化ファイルのうち、送信すべき動画データの読み出し先とする画面内符号化ファイルを、前記第１の動画フレームに対応するビットレートに基づいて決定することを特徴とする請求項５記載の送信装置。
  7. 送信装置の制御方法であって、
    動画データを符号化してパケットを生成する生成工程と、
    前記生成されたパケットを受信装置へ送信する送信工程と、
    前記送信されたパケットのうち、前記受信装置が正常に受信しなかったパケットを前記受信装置からの通知に基づいて特定する特定工程と、
    前記特定されたパケットに対応する第１の動画フレームと前記第１の動画フレームの次に他の動画フレームを参照せずに復号可能な画面内符号化方式で符号化される画面内符号化フレームとの間のフレーム数が閾値以上であるか判定する判定工程と、
    前記特定工程において特定されたパケットを再送信する再送工程と、
    前記判定工程において前記第１の動画フレームと前記第１の動画フレームの次の前記画面内符号化フレームとの間のフレーム数が閾値以上であると判定し、前記特定された前記第１の動画フレームのパケットを再送信しない場合、前記第１の動画フレームと前記第１の動画フレームの次の前記画面内符号化フレームとの間の第２の動画フレームの動画データのうち、前記特定されたパケットの動画データの表示領域に対応する前記第２の動画フレームの表示領域の動画データの符号化方式及び該表示領域に隣接する隣接領域の動画データの符号化方式を前記画面内符号化方式に決定する決定工程とを有し、
    前記決定工程において、前記判定工程において前記第１の動画フレームと前記第１の動画フレームの次の前記画面内符号化フレームとの間のフレーム数が閾値未満であると判定した場合、及び、前記特定された前記第１の動画フレームのパケットを再送信する場合、前記第２の動画フレームの動画データのうち、前記特定されたパケットの動画データの表示領域に対応する前記第２の動画フレームの表示領域の動画データの符号化方式及び該表示領域に隣接する隣接領域の動画データの符号化方式を前記画面内符号化方式に限定しないことを特徴とする制御方法。
  8. 前記第１の動画フレームと前記第１の動画フレームの次の画面内符号化フレームとの間のフレーム数が閾値未満の場合、前記再送工程において前記特定されたパケットの再送信を行わないことを特徴とする請求項７記載の制御方法。
  9. 前記決定工程において、前記第１の動画フレームと前記第２の動画フレームとの間のフレーム数に応じて、前記第２の動画フレームの動画データのうち前記画面内符号化方式により符号化する動画データを決定することを特徴とする請求項７記載の制御方法。
  10. 動画データを符号化してパケットを生成する生成手順と、
    前記生成されたパケットを受信装置へ送信する送信手順と、
    前記送信されたパケットのうち、前記受信装置が正常に受信しなかったパケットを前記受信装置からの通知に基づいて特定する特定手順と、
    前記特定されたパケットに対応する第１の動画フレームと前記第１の動画フレームの次に他の動画フレームを参照せずに復号可能な画面内符号化方式で符号化される画面内符号化フレームとの間のフレーム数が閾値以上であるか判定する判定手順と、
    前記特定手順において特定されたパケットを再送信する再送手順と、
    前記判定手順において前記第１の動画フレームと前記第１の動画フレームの次の前記画面内符号化フレームとの間のフレーム数が閾値以上であると判定し、前記特定された前記第１の動画フレームのパケットを再送信しない場合、前記第１の動画フレームと前記第１の動画フレームの次の前記画面内符号化フレームとの間の第２の動画フレームの動画データのうち、前記特定されたパケットの動画データの表示領域に対応する前記第２の動画フレームの表示領域の動画データの符号化方式及び該表示領域に隣接する隣接領域の動画データの符号化方式を前記画面内符号化方式に決定し、前記判定手順において前記第１の動画フレームと前記第１の動画フレームの次の前記画面内符号化フレームとの間のフレーム数が閾値未満であると判定した場合、及び、前記特定された前記第１の動画フレームのパケットを再送信する場合、前記第２の動画フレームの動画データのうち、前記特定されたパケットの動画データの表示領域に対応する前記第２の動画フレームの表示領域の動画データの符号化方式及び該表示領域に隣接する隣接領域の動画データの符号化方式を前記画面内符号化方式に限定しない決定手順とをコンピュータに実行させるためのプログラム。
  11. 前記決定手順において、前記第１の動画フレームと前記第２の動画フレームとの間のフレーム数に応じて、前記第２の動画フレームの動画データのうち前記画面内符号化方式により符号化する動画データを決定する処理を前記コンピュータに実行させることを特徴とする請求項１０記載のプログラム。
JP2008125132A 2008-05-12 2008-05-12 送信装置、送信装置の制御方法、及びプログラム Active JP5178311B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008125132A JP5178311B2 (ja) 2008-05-12 2008-05-12 送信装置、送信装置の制御方法、及びプログラム
US12/463,420 US8964855B2 (en) 2008-05-12 2009-05-10 Data transmission apparatus, data transmission method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008125132A JP5178311B2 (ja) 2008-05-12 2008-05-12 送信装置、送信装置の制御方法、及びプログラム

Publications (3)

Publication Number Publication Date
JP2009278188A JP2009278188A (ja) 2009-11-26
JP2009278188A5 JP2009278188A5 (ja) 2011-06-30
JP5178311B2 true JP5178311B2 (ja) 2013-04-10

Family

ID=41266850

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008125132A Active JP5178311B2 (ja) 2008-05-12 2008-05-12 送信装置、送信装置の制御方法、及びプログラム

Country Status (2)

Country Link
US (1) US8964855B2 (ja)
JP (1) JP5178311B2 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8904027B2 (en) * 2010-06-30 2014-12-02 Cable Television Laboratories, Inc. Adaptive bit rate for data transmission
US20120099432A1 (en) * 2010-10-20 2012-04-26 Ceragon Networks Ltd. Decreasing jitter in packetized communication systems
JP2012156650A (ja) * 2011-01-24 2012-08-16 Panasonic Corp 動画伝送システム
JP2013225761A (ja) * 2012-04-20 2013-10-31 Hitachi Ltd 符号化装置、復号装置、通信システム及び通信制御方法
JP2013247651A (ja) * 2012-05-29 2013-12-09 Canon Inc 符号化装置、符号化方法およびプログラム
US9008159B2 (en) 2013-01-10 2015-04-14 Qualcomm Incorporated Rate adaptation for data communication
US9071390B2 (en) 2013-01-10 2015-06-30 Qualcomm Incorporated Adjusting physical layer transmission properties
US9166853B2 (en) 2013-01-10 2015-10-20 Qualcomm Incorporated Rate adaptation for data communication
CN112655189A (zh) * 2020-05-25 2021-04-13 深圳市大疆创新科技有限公司 传输数据的方法、装置、发送端和接收端

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6233283B1 (en) * 1998-06-23 2001-05-15 Lucent Technologies Inc. Layered video coding using perceptual coding criteria for error resilience in packet networks
DE69938094T2 (de) * 1998-11-30 2009-02-05 Matsushita Electric Industries Co. Ltd., Kadoma Paketwiederübertragungskontrolle mit Prioritätsinformationen
JP2003023639A (ja) 2001-07-10 2003-01-24 Sony Corp データ伝送装置及び方法、データ伝送プログラム、並びに記録媒体
US7606305B1 (en) * 2003-02-24 2009-10-20 Vixs Systems, Inc. Method and system for transcoding video data
US20050089232A1 (en) * 2003-10-23 2005-04-28 Chun-Ming Hsu Method of video compression that accommodates scene changes
JP4488958B2 (ja) * 2005-05-30 2010-06-23 株式会社東芝 映像伝送システム及び映像伝送方法
US8031777B2 (en) * 2005-11-18 2011-10-04 Apple Inc. Multipass video encoding and rate control using subsampling of frames
JP2007288604A (ja) * 2006-04-18 2007-11-01 Toshiba Corp 映像伝送システム及び映像伝送方法
US8767839B2 (en) * 2007-01-22 2014-07-01 Qualcomm Incorporated Error filter to differentiate between reverse link and forward link video data errors

Also Published As

Publication number Publication date
JP2009278188A (ja) 2009-11-26
US20090279616A1 (en) 2009-11-12
US8964855B2 (en) 2015-02-24

Similar Documents

Publication Publication Date Title
JP5178311B2 (ja) 送信装置、送信装置の制御方法、及びプログラム
JP5100311B2 (ja) 動画像データ送信方法、通信装置、及びプログラム
US9438924B2 (en) Video encoding apparatus, video decoding apparatus, video encoding method, and video decoding method
JP5084362B2 (ja) データ送信装置、及びデータ送受信システム
JP4936542B2 (ja) 通信制御装置、通信制御方法、及びコンピュータプログラム
US20200177907A1 (en) Video encoding apparatus, video decoding apparatus, video encoding method, and video decoding method
US8630178B2 (en) Transmitting apparatus and transmission method
CN111093083B (zh) 数据传输方法及装置
JP2010028378A (ja) 通信装置及び通信方法
US9467639B2 (en) Video transmission apparatus and control method for video transmission apparatus
JP2007013419A (ja) 画像処理装置、画像処理方法
TWI568238B (zh) 用於在一視訊編碼器產生旁側資訊以區分封包資料之方法及系統
JP2004254195A (ja) 動画像符号化装置及び動画像符号化方法並びに動画像伝送システム及び動画像符号化プログラム
JP5141656B2 (ja) 通信制御装置、通信制御方法、および通信制御プログラム
JP5522987B2 (ja) 送信装置、送信方法、及びコンピュータプログラム
JP2002374535A (ja) 画像処理装置、画像処理方法、記録媒体及びプログラム
JP5550751B2 (ja) 映像送信装置、その制御方法、および制御方法を実行するプログラム
JP2007150486A (ja) 画像伝送装置
JP2009194454A (ja) 送信装置、データ送信方法及びプログラム
JP2008301396A (ja) 動画像通信装置、動画像通信用の半導体集積回路および動画像通信方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110512

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110512

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120425

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121211

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130108

R151 Written notification of patent or utility model registration

Ref document number: 5178311

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160118

Year of fee payment: 3