JP5054015B2 - スケーラブルビデオコーディング方法及びそのコーディング方法を利用するコーデック - Google Patents

スケーラブルビデオコーディング方法及びそのコーディング方法を利用するコーデック Download PDF

Info

Publication number
JP5054015B2
JP5054015B2 JP2008535444A JP2008535444A JP5054015B2 JP 5054015 B2 JP5054015 B2 JP 5054015B2 JP 2008535444 A JP2008535444 A JP 2008535444A JP 2008535444 A JP2008535444 A JP 2008535444A JP 5054015 B2 JP5054015 B2 JP 5054015B2
Authority
JP
Japan
Prior art keywords
key picture
picture
key
current
scalable video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008535444A
Other languages
English (en)
Other versions
JP2009512317A (ja
Inventor
グァン−ホン パク
ミン−ウ パク
セ−ヨン チョン
キュ−ホン キム
チン−ウ ホン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electronics and Telecommunications Research Institute ETRI
Original Assignee
Electronics and Telecommunications Research Institute ETRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electronics and Telecommunications Research Institute ETRI filed Critical Electronics and Telecommunications Research Institute ETRI
Publication of JP2009512317A publication Critical patent/JP2009512317A/ja
Application granted granted Critical
Publication of JP5054015B2 publication Critical patent/JP5054015B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2383—Channel coding or modulation of digital bit-stream, e.g. QPSK modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/29—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding involving scalability at the object level, e.g. video object layer [VOL]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2404—Monitoring of server processing errors or hardware failure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、スケーラブルビデオコーディング（Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ：ＳＶＣ）方法に係り、さらに詳細には、キーピクチャーに番号を付与してデコーディング時にキーピクチャーの損失を検出することによってエラーを隠せるスケーラブルビデオコーディング方法及びそのコーディング方法を利用したコーデックに関する。
図１は、ＪＳＶＣ（Ｊｏｉｎｔ Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）におけるＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ）構造とキーピクチャーとを示す図面であり、図２は、Ｐピクチャーが失われたとき、エラーの伝播を示す図面である。図２の（ａ）は、エラー伝播途中にＩピクチャーがある場合であり、（ｂ）は、エラー伝播途中にＩピクチャーがない場合を表す。
図１を参照すれば、ＪＳＶＣでＧＯＰ単位を区分する最後の位置のピクチャーをキーピクチャーという。前記キーピクチャーの間隔、すなわち、ＧＯＰサイズは、固定的か可変的であるが、時間的スケーラビリティが使われれば、前記キーピクチャーの間隔は、可変的である。
ＪＳＶＣでは、キーピクチャーがＩやＰピクチャーでコーディングされるが、キーピクチャーがＰピクチャーでコーディングされる場合には、キーピクチャー間に閉ループコーディングを行う。閉ループは、図２の例のように、Ｐピクチャーが連続的に以前Ｐピクチャーを参照して予測しつつ、コーディングがなされる構造を意味する。このように、Ｐピクチャーが閉ループでコーディングされている場合、伝送線路上にエラーによってＰピクチャーが損失される。
図２の（ａ）は、Ｐ１ピクチャーとＰ１１ピクチャーとが伝送過程で損失された場合に、エラーが伝播される様相を示す。損失したＰ１ピクチャーを参照して、予測デコーディングを行うＰ２ピクチャーは、損失したＰ１ピクチャーの代わりに、Ｐ１ピクチャー以前にデコーディングされたＩ０ピクチャーを参照して予測デコーディングを行うので、Ｐ２ピクチャーは、エラーを含み、その後にＰピクチャーにＩ８ピクチャーが伝送されるまで続けてエラーが伝播される。そして、Ｐ１１ピクチャーを参照して予測デコーディングを行うＰ１２ピクチャーは、損失したＰ１１ピクチャーの代わりに、Ｐ１１ピクチャー以前にデコーディングされたＰ１０ピクチャーを参照して予測デコーディングを行うので、Ｐ１２ピクチャーは、エラーを含み、その後にＰピクチャーにＩ１６ピクチャーが伝送されるまで続けてエラーが伝播される。
図２の（ｂ）は、図２の（ａ）とは異なり、途中にＩピクチャーがなく、続けてＰピクチャーのみでエンコーディングされている場合に、Ｐ１ピクチャーの損失時にエラーが伝播される様相を示す。損失したＰ１ピクチャーを参照して予測デコーディングを行うＰ２ピクチャーは、損失したＰ１ピクチャーの代わりに、Ｐ１ピクチャー以前にデコーディングされたＩ０ピクチャーを参照して予測デコーディングを行うので、エラーを含み、その後にＰピクチャーは、持続的にエラーを含む。
図３は、２個の階層構造を有する典型的なＪＳＶＣのコーディングの例を示す。下位階層（ｋ−１ ｌａｙｅｒ）は、１５Ｈｚのフレーム率を有し、ＧＯＰサイズが２である画像であり、上位階層（ｋ ｌａｙｅｒ）は、３０Ｈｚのフレーム率を有し、ＧＯＰサイズが４である画像を示す。
図３の下位階層では、Ｂ１ピクチャーをドロップさせることによって７.５Ｈｚのフレーム率を支援し、上位階層では、Ｂ２ピクチャーをドロップさせることによって１５Ｈｚのフレーム率を支援し、Ｂ２ピクチャーとＢ１ピクチャーとをドロップさせることによって７.５Ｈｚのフレーム率を支援しうる。
図４は、図３の全階層で７.５Ｈｚのフレーム率を支援する構造を示す図面であって、図３の下位階層でＢ１ピクチャーがドロップされ、上位階層でＢ２、Ｂ１ピクチャーがドロップされて、全階層で７.５Ｈｚのフレーム率を支援する。この場合、全階層でキーピクチャーのみが余り、キーピクチャー間の閉ループでコーディングされていることを確認しうる。
図５は、図４の上位階層で一つのＰピクチャーが伝送過程で損失された場合、エラー伝播を示す図面である。
図２の例と同様に、次のＰピクチャーをデコーディングするとき、損失される直前のＰピクチャーを参照してエラーが発生し、このエラーは、Ｉピクチャーが出るまで伝播される。もし、最後のピクチャーもＰピクチャーである場合、エラーは、続けて伝播される。
したがって、前記のような例でエラーが発生したことを認識し、効果的な措置を行わねばならない（もし、下位階層が基本階層である場合には、ＪＳＶＣでは、既存の動画コーディング国際標準であるＨ.２６４を利用してコーディングするため、特別の措置を行われない。）。しかし、現在ＪＳＶＣでは、ピクチャーバッファにリスト資料構造を利用してデコーディングされたピクチャーを保存する。したがって、一つのＰピクチャーをデコーディングする時には、リスト資料構造内でピクチャーがＰＯＣ（Ｐｉｃｔｕｒｅ Ｏｆ Ｃｏｕｎｔｅｒ）情報を利用してデコーディングするＰピクチャーのＰＯＣを中心に整列され、リスト資料構造内での位置情報を利用して、特定のデコーディングされたピクチャーを参照してデコーディングを行う。このような構造は、前の例のように、一つのピクチャーが損失された場合、次のＰピクチャーがデコーディングされるとき、ピクチャーリスト内に存在する他のピクチャーを参照するので、デコーディングは可能になるが、誤った参照から予測を行ってエラーが発生し、このようなエラーは、続けて伝播されるという問題点がある。
図６は、図３のＢピクチャーを含む上位階層で一つのＰピクチャーが伝送過程で損失された場合、Ｐピクチャーでのエラー発生及び伝播を示す。
この場合には、損失されたＰピクチャーが属しているＧＯＰ内で、Ｂピクチャーは、デコーディングされたピクチャーバッファに時間的に先行するｌｉｓｔ０リストと時間的に後行するｌｉｓｔ１を有するが、ｌｉｓｔ１に存在せねばならないＰピクチャーが損失されたので、リストが空いていてデコーディング時にエラーが発生する。もし、かかるエラーを無視し、次のＧＯＰに超えた場合、図５のように、Ｐピクチャーは、誤った参照を有し、また同じＧＯＰ内のＢピクチャーも、誤った参照を有しつつ、エラーが発生したＰピクチャーの影響を受けるため、エラーが伝播され、次の連続しているＧＯＰでも、エラーが伝播される。したがって、エラーが発生したことを認識し、効果的な措置を行わねばならない。
しかし、ＪＳＶＣは、全ピクチャーに対してディスプレイ順序によって番号を付与するシステムを使用しているため、キーピクチャーのドロップ（または損失）を検出し難くて、キーピクチャーの損失によるエラーに効果的に対処できない。
本発明は、前記問題点を解決するために提案されたものであって、Ｐピクチャーが閉ループ構造を有するＪＳＶＣでキーピクチャーをナンバリングすることによって、キーピクチャーの損失有無を見つけ出し、損失した場合に、エラーに効果的に対処可能にするコーディング方法及びその方法を利用したコーデックを提供することを目的とする。
本発明の他の目的及び長所は、下記の説明によって理解され、本発明の実施例によってさらに明確に分かる。また、本発明の目的及び長所は、特許請求の範囲に表した手段及びその組合わせによって実現されるということが容易に分かる。
前記目的を達成するための本発明の望ましい一実施例は、ＧＯＰ単位を区分するキーピクチャー間に連続的な予測による閉ループエンコーディングを行うスケーラブルビデオエンコーディング方法であって、入力されるピクチャーがキーピクチャーであるか否かを確認するステップと、前記ピクチャーがキーピクチャーである場合、前記キーピクチャーに順次に番号を付与するステップと、を含むことを特徴とする。
本発明の他の望ましい一実施例は、ＧＯＰ単位を区分するキーピクチャー間に連続的な予測による閉ループデコーディングを行うスケーラブルビデオデコーディング方法であって、入力される現在ピクチャーがキーピクチャーであるか否かを判断するステップと、前記現在ピクチャーがキーピクチャーである場合、前記現在キーピクチャーからキーピクチャー番号を読み込むステップと、前記現在キーピクチャーのピクチャー番号と前記現在キーピクチャー以前に入力された過去キーピクチャーのピクチャー番号との差分値から、前記現在キーピクチャーと前記過去キーピクチャーとの間のキーピクチャー損失有無を検出するステップと、を含むことを特徴とする。
本発明の他の望ましい一実施例は、ＧＯＰ単位を区分するキーピクチャー間に連続的な予測による閉ループデコーディングを行うスケーラブルビデオデコーディング方法であって、上位階層の入力される現在キーピクチャーと前記現在キーピクチャー以前に入力された過去キーピクチャーとの間にキーピクチャー損失が検出されれば、前記上位階層の現在キーピクチャーをマクロブロック単位でモード類型を判断するステップと、前記マクロブロックがインターモードである場合、前記上位階層の現在キーピクチャーと時間的に対応する下位階層のピクチャーのデコーディングされた画像から前記上位階層の現在キーピクチャーのマクロブロックに該当する領域を探索するステップと、前記探索された領域のデータをコピーして前記現在キーピクチャーのマクロブロックに付加してデータを復旧するステップと、を含むことを特徴とする。
本発明の他の望ましい一実施例は、ＧＯＰ単位を区分するキーピクチャー間に連続的な予測による閉ループコーディングを行うスケーラブルビデオコーディング方法であって、キーピクチャーに順次に番号を付与しつつ、エンコーディングするステップと、前記番号エンコーディングされて入力される現在キーピクチャーと前記現在キーピクチャー以前に番号エンコーディングされて入力された過去キーピクチャーとのキーピクチャー番号の差分値から、前記現在キーピクチャーと前記過去キーピクチャーとの間のキーピクチャー損失を検出するステップと、を含むことを特徴とする。
本発明の他の望ましい一実施例は、ＧＯＰ単位を区分するキーピクチャー間に連続的な予測による閉ループコーディングを行うスケーラブルビデオコーディング方法であって、上位階層のキーピクチャーに順次に番号を付与しつつ、エンコーディングするステップと、前記番号エンコーディングされて入力される上位階層の現在キーピクチャーと前記現在キーピクチャー以前に番号エンコーディングされて入力された過去キーピクチャーとの間にキーピクチャー損失が検出されれば、前記上位階層の現在キーピクチャーと時間的に対応する下位階層のピクチャーのデコーディングされた画像のデータを利用して、前記上位階層の現在キーピクチャーをデコーディングするステップと、を含むことを特徴とする。
本発明の他の望ましい一実施例は、ＧＯＰ単位を区分するキーピクチャー間に連続的な予測による閉ループエンコーディングを行うスケーラブルビデオエンコーダであって、入力されるピクチャーがキーピクチャーであるか否かを確認するキーピクチャー確認部と、前記ピクチャーがキーピクチャーである場合、前記キーピクチャーに順次に番号を付与するキーピクチャー番号付与部と、を備えることを特徴とする。
本発明の他の望ましい一実施例は、ＧＯＰ単位を区分するキーピクチャー間に連続的な予測による閉ループデコーディングを行うスケーラブルビデオデコーダであって、入力される現在ピクチャーがキーピクチャーであるか否かを判断するキーピクチャー判断部と、前記現在ピクチャーがキーピクチャーである場合、前記現在キーピクチャーからキーピクチャーの番号を読み込むキーピクチャー番号検索部と、前記現在キーピクチャーのピクチャー番号と前記現在キーピクチャー以前に入力された過去キーピクチャーのピクチャー番号との差分値から、前記現在キーピクチャーと前記過去キーピクチャーとの間のキーピクチャー損失有無を検出するエラー検出部と、を備えることを特徴とする。
本発明の他の望ましい一実施例は、ＧＯＰ単位を区分するキーピクチャー間に連続的な予測による閉ループデコーディングを行うスケーラブルビデオデコーダであって、上位階層の現在入力されるキーピクチャーと過去キーピクチャーとの間にキーピクチャー損失が検出されれば、前記上位階層の現在キーピクチャーのマクロブロック単位でモード類型を判断するモード判断部と、前記マクロブロックがインターモードである場合、前記上位階層の現在キーピクチャーと時間的に対応する下位階層のピクチャーのデコーディングされた画像から前記上位階層の現在キーピクチャーのマクロブロックに該当する領域を探索する領域探索部と、前記探索された領域のデータをコピーして前記現在キーピクチャーのマクロブロックに付加してデータを復旧するデータ復旧部と、を備えることを特徴とする。
本発明の他の望ましい一実施例は、ＧＯＰ単位を区分するキーピクチャー間に連続的な予測による閉ループコーディングを行うスケーラブルビデオコーデックであって、キーピクチャーに順次に番号を付与しつつ、エンコーディングするエンコーダと、前記番号エンコーディングされて入力される現在キーピクチャーと前記現在キーピクチャー以前に番号エンコーディングされて入力された過去キーピクチャーのキーピクチャー番号との差分値から、前記現在キーピクチャーと前記過去キーピクチャーとの間のキーピクチャー損失を検出するデコーダと、を備えることを特徴とする。
本発明の他の望ましい一実施例は、ＧＯＰ単位を区分するキーピクチャー間に連続的な予測による閉ループコーディングを行うスケーラブルビデオコーデックであって、上位階層のキーピクチャーに順次に番号を付与しつつ、エンコーディングするエンコーダと、前記番号エンコーディングされて入力される上位階層の現在キーピクチャーと前記現在キーピクチャー以前に番号エンコーディングされて入力された過去キーピクチャーとの間にキーピクチャー損失が検出されれば、前記上位階層の現在キーピクチャーと時間的に対応する下位階層のピクチャーのデコーディングされた画像のデータを利用して、前記上位階層の現在キーピクチャーをデコーディングするデコーダと、を備えることを特徴とする。
本発明の他の望ましい一実施例は、ＧＯＰ単位を区分するキーピクチャー間に連続的な予測による閉ループコーディングを行うスケーラブルビデオコーディング方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供することを特徴とする。
本発明は、ＧＯＰ単位を区分するキーピクチャー間に連続的な予測による閉ループエンコーディングを行うＪＳＶＣで、キーピクチャーに順次に番号を付与するエンコーディングによって、デコーディング時にキーピクチャーの損失有無を見つけ出して損失によるエラーに効果的に対処可能にする。
本発明は、多階層構造のビデオストリームであって、下位基本階層の伝送が保証される場合、上位階層のキーピクチャーの損失時に、下位階層の対応ピクチャーのデコーディングされた画像情報を利用することによって、誤った参照によって発生するエラーを隠すことによって、画像品質の低下を最小化しうる。
そして、本発明は、システム特性上エラー発生が稀薄な場合、エラー検出及びエラー隠匿のためのキーピクチャー番号付与のための追加ビットの使用如何を選択することによってビット量を低減することもある。
また、本発明のキーピクチャーナンバリングによるコーディング方法は、ＡＧＳ使用の場合、７.５Ｈｚ以下のフレーム率を支援せねばならないことによって、キーピクチャーのドロップが発生する場合に適用しうるので、エラー検出及びエラー隠匿を効果的に行える。
以下、本発明の望ましい実施例が、添付された図面を参照して説明される。図面のうち、同じ構成要素については、たとえ他の図面上に表示されたとしても、可能な限り同じ参照番号及び符号で表しているのに留意せねばならない。下記の本発明に関する説明において、関連した公知の機能または構成についての具体的な説明は、本発明の要旨を必要以上にあいまいにすると判断される場合には、その詳細な説明を省略する。
図７は、本発明の一実施例によるピクチャーエンコーディング時キーピクチャーをナンバリングしてエンコーディングする方法を示すフローチャートである。
ピクチャーが入力されれば、入力されるピクチャーがＧＯＰ単位を区分する最後のピクチャーであるキーピクチャーであるか否かを確認する（Ｓ７１０）。もし、キーピクチャーであれば、キーピクチャーに順次にｎビットを使用して循環し、番号を付与する（Ｓ７２０）。前記番号付与は、ｎビットに対して２ｎモジュールで演算によって０から（２ｎ−１）まで循環し、順次に増加する番号をキーピクチャーに付与しうる。多層構造でエンコーディングされる場合には、上位階層のキーピクチャーにのみキーピクチャー番号を付与する。エンコーディングを完了する（Ｓ７３０）。
もし、キーピクチャーではなければ、ピクチャーモード類型によって番号を付与せずにエンコーディングを行う（Ｓ７３０）。
実際キーピクチャーのナンバリングをＪＳＶＣに適用しうる一例として、“ｓｌｉｃｅ ｈｅａｄｅｒ ｉｎ ｓｃａｌａｂｌｅ ｅｘｔｅｎｓｉｏｎ”構文にキーピクチャーのナンバリングをエンコーディングする３ビットの‘ｋｅｙ＿ｐｉｃｔｕｒｅ＿ｎｕｍ’構文を追加して変更しうる。構文は、次の通りである。
Figure 0005054015
Figure 0005054015
‘ｋｅｙ＿ｐｉｃｔｕｒｅ＿ｎｕｍ’は、スライスタイプが上位階層のＰピクチャーやＩピクチャーである時にコーディングされる。それで、キーピクチャーが損失されたとき、後述するように、下位階層の情報を利用してエラーを隠せるようにする。ＪＳＶＣで基本階層は、既存の動画国際標準であるＨ.２６４を利用するので、上位階層のスライスヘッダである“ｓｌｉｃｅ ｈｅａｄｅｒ ｉｎ ｓｃａｌａｂｌｅ ｅｘｔｅｎｓｉｏｎ”構文に‘ｋｅｙ＿ｐｉｃｔｕｒｅ＿ｎｕｍ’構文を追加する。
図８は、本発明の一実施例によるキーピクチャーのナンバリングを通じたＰピクチャーの損失有無を見つけ出す方法の概念図である。３番Ｐピクチャーが損失された場合に、４番Ｐピクチャーは、前のＰピクチャーの番号が２であることが分かり、３番Ｐピクチャーが損失されたことを認知しうる。すなわち、現在入力される現在キーピクチャーのキーピクチャー番号と以前に入力された過去キーピクチャーのキーピクチャー番号との差分値が１または−（２ｎ−１）でなければ、キーピクチャー損失と判断する。前記差分値は、エンコーディング時にｎビットで０から２ｎ−１まで順次に番号が付与されたので、現在キーピクチャーと過去キーピクチャーとのキーピクチャー間にキーピクチャーの損失がなければ、０から２ｎ−１の範囲内では、キーピクチャー番号の差分値は１となり、２ｎ−１の番号を有するキーピクチャーに続く次のキーピクチャーの番号は、０となるので、０番のキーピクチャーでの差分値は、−（２ｎ−１）となる。
図９は、前記のように、キーピクチャーに順次にｎビットを使用して循環し、順次にナンバリングした場合、本発明の一実施例によるデコーディング方法を説明するフローチャートである。
エンコーダにピクチャー（またはスライス）が入力されれば、前記入力される現在ピクチャーがＧＯＰを区分する最後のピクチャーであるキーピクチャーであるか否かを判断する（Ｓ９１０）。
もし、キーピクチャーであれば、キーピクチャーにｎビットでエンコーディングされたキーピクチャー番号を読み込む（Ｓ９２０）。もし、キーピクチャーではなければ、前記現在ピクチャーのモードによってデコーディングを行う（Ｓ９５０）。
前記現在キーピクチャーのキーピクチャー番号と直前に入力された過去キーピクチャーのキーピクチャー番号とを差分し（ｋｅｙ＿ｐｉｃｔｕｒｅ＿ｎｕｍ−ｐｒｅｖ＿ｋｅｙ＿ｐｉｃｔｕｒｅ＿ｎｕｍ）、その差分値が１または−（２ｎ−１）であるか否かを判断する（Ｓ９３０）。一例として、キーピクチャー番号が３ビットを利用してエンコーディングされた場合には、現在キーピクチャーのキーピクチャー番号と過去キーピクチャーのキーピクチャー番号との差分値が１または−７であるか否かを判断する。
もし、前記差分値が１または−（２ｎ−１）であれば、前記現在ピクチャーのマクロブロック別にモードによってデコーディングを行って完了する（Ｓ９５０）。
もし、前記差分値が１または−（２ｎ−１）ではなければ、前記現在キーピクチャーと前記過去キーピクチャーとの間にキーピクチャーが損失されたと認知し、キーピクチャーの損失情報をエラー処理部（エラー隠匿部）に伝達してエラーを処理する（Ｓ９４０）。デコーディングを完了する（Ｓ９５０）。
図１０は、図５の上位階層がキーピクチャーナンバリングされたとき、一つのＰピクチャーが伝送過程で損失された場合、エラー伝播の例を示す図面である。
上位階層でキーピクチャーがナンバリングされており、伝送過程で３番Ｐピクチャーが損失された場合、次の４番Ｐピクチャーは、以前のキーピクチャーのナンバーが２番であるので、キーピクチャーの差分値が２となるため、Ｐピクチャーが損失されたということを認知する。
以下では、前述したように、キーピクチャーのナンバリングを利用してエラーを認知した場合に、発生したエラーに対処するための効果的な具現例として、ＳＶＣのためのエラー隠匿方法を説明する。
図１１は、図１０のように、キーピクチャーのナンバリングを通じてＰピクチャーの損失が分かった場合に、下位階層の情報を利用してエラーが伝播されることを遮断する方法を示す概念図である。
多層構造を有するスケーラブルビデオコーディングで、上位階層のＰピクチャー損失時に下位階層の情報を利用しうる場合、下位階層の情報を利用してＰピクチャー損失によるエラーを処理しうる。上位階層のマクロブロックがインターモード（ピクチャー間の相関関係を利用して予測エンコーディングを行ったモード）でエンコーディングされたブロックに対しては、参照が損失されたため、下位階層のデコーディングされた画像をそのまま使用し、イントラモード（ピクチャー内の相関関係を利用してコーディングを行ったモード）でエンコーディングされたブロックに対しては、既存のデコーディング方法でコーディングする。これにより、現在Ｐピクチャー以後のＰピクチャーにエラー伝播を最小化しうる。
図１２は、上位階層で以前Ｐピクチャーの損失が分かった場合に、下位階層の情報を利用する方法を説明する本発明の一実施例のフローチャートである。
キーピクチャーが入力されれば、入力される現在キーピクチャーと前記現在キーピクチャー以前に入力された過去キーピクチャーとのキーピクチャー番号差分値を通じて、前記現在キーピクチャーと前記過去キーピクチャーとの間にＰピクチャーが損失されたか否かを確認する（Ｓ１２１０）。
キーピクチャーが損失されなかったならば、前記現在キーピクチャーのマクロブロック別にモード類型によってデコーディングを行う（Ｓ１２７０）。キーピクチャーが損失されたならば、前記現在キーピクチャーをマクロブロック単位でインターモードかイントラモードかモード類型を判断する（Ｓ１２２０）。
前記現在キーピクチャーのマクロブロックがインターモードではなければ、現在モードによってデコーディングを行う（Ｓ１２７０）。前記現在キーピクチャーのマクロブロックがインターモードである場合、前記現在キーピクチャーと時間的に対応する下位階層のピクチャーのデコーディングされた画像から前記現在キーピクチャーのマクロブロックに該当する領域を探索する（Ｓ１２３０）。
領域探索後、前記上位階層と前記下位階層との空間的解像度を比較して同一であるか否かを判断する（Ｓ１２４０）。
前記上位階層と前記下位階層との空間的解像度が同一であれば、前記下位階層の探索された領域の画像データをそのままコピーして、現在デコーディングする上位階層ピクチャーのマクロブロックに付加してデータを復旧する（Ｓ１２６０）。
もし、前記上位階層と前記下位階層との空間的解像度が同一でなければ、前記下位階層の探索された領域を上位階層と同じサイズにアップサンプリングする（Ｓ１２５０）。
次いで、前記アップサンプリングされた領域の画像データをコピーして現在デコーディングする上位階層キーピクチャーのマクロブロックに付加してデータを復旧する（Ｓ１２６０）。
一方、ネットワーク特性上キーピクチャー損失によるエラーの発生確率が低い場合には、エラー隠匿方法の使用が不必要であることもある。この場合には、キーピクチャーナンバリングを選択的に使用して特定ビット量を減らすことが望ましい。すなわち、キーピクチャーの損失を予想してエラー隠匿を処理する必要性がある場合にのみ、キーピクチャーナンバリング時に“ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ”に‘ｅｒｒｏｒ＿ｃｏｎｃｅａｌｍｅｎｔ＿ｆｌａｇ’を追加して具現しうる。“ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ”の構文は、次の通りである。
Figure 0005054015
Figure 0005054015
Figure 0005054015
また、“ｓｌｉｃｅ ｈｅａｄｅｒ ｉｎ ｓｃａｌａｂｌｅ ｅｘｔｅｎｓｉｏｎ”構文でキーピクチャーのナンバリングを‘ｅｒｒｏｒ＿ｃｏｎｃｅａｌｍｅｎｔ＿ｆｌａｇ’が１である場合にのみ行えるように、次のように変更しうる。
Figure 0005054015
Figure 0005054015
図１３は、“ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ”に‘ｅｒｒｏｒ＿ｃｏｎｃｅａｌｍｅｎｔ＿ｆｌａｇ’を追加して、‘ｅｒｒｏｒ＿ｃｏｎｃｅａｌｍｅｎｔ＿ｆｌａｇ’値が‘１’である場合にのみキーピクチャーナンバリングが行われた場合、本発明の一実施例によるデコーディング方法を説明するフローチャートである。
前記実施例は、‘ｅｒｒｏｒ＿ｃｏｎｃｅａｌｍｅｎｔ＿ｆｌａｇ’と‘ｋｅｙ＿ｐｉｃｔｕｒｅ＿ｎｕｍ’とを３ビットを利用してコーディングした場合である。
ピクチャーが入力されれば、ピクチャー（またはスライス）のタイプがキーピクチャーであり、‘ｅｒｒｏｒ＿ｃｏｎｃｅａｌｍｅｎｔ＿ｆｌａｇ’が１であるか否かを判断する（Ｓ１３１０）。
前記‘ｅｒｒｏｒ＿ｃｏｎｃｅａｌｍｅｎｔ＿ｆｌａｇ’が０であるか、またはピクチャータイプがキーピクチャーではなければ、所定のモードによってデコーディングを行い、デコーディングを終了する（Ｓ１３５０）。
もし、‘ｅｒｒｏｒ＿ｃｏｎｃｅａｌｍｅｎｔ＿ｆｌａｇ’が１であり、またピクチャータイプがキーピクチャーであれば、キーピクチャーにｎビットでコーディングされたキーピクチャー番号（ｋｅｙ＿ｐｉｃｔｕｒｅ＿ｎｕｍ）を読み込む（Ｓ１３２０）。
次いで、現在キーピクチャーのキーピクチャー番号（ｋｅｙ＿ｐｉｃｔｕｒｅ＿ｎｕｍ）と前記現在キーピクチャー以前に入力された過去キーピクチャーのキーピクチャー番号（ｐｒｅｖ＿ｋｅｙ＿ｐｉｃｔｕｒｅ＿ｎｕｍ）との差分値が１または−７であるか否かを判断する（Ｓ１３３０）。
前記差分値が１または−７であれば、所定のモードによってデコーディングを行い、デコーディングを終了する（Ｓ１３５０）。
もし、前記差分値が１または−７ではなければ、前記現在キーピクチャーと過去キーピクチャーとの間にキーピクチャー損失によるエラーを認知し、エラー情報を伝達してエラーを処理する（Ｓ１３４０）。デコーディングを終了する（Ｓ１３５０）。
以下では、キーピクチャーナンバリングを利用してエラーに対処するための効果的な具現の一例であって、本発明のコーディング方法をＡＧＳ（Ａｄａｐｔｉｖｅ ＧＯＰ Ｓｔｒｕｃｔｕｒｅ）に使用する方法を説明する。現在ＭＰＥＧ−４ ＪＳＶＣ ＪＳＶＭ ３.０のエンコーダイシュとして採用されたＡＧＳコーディング方法は、時間軸上に７.５Ｈｚ未満の時間的スケーラビリティを支援しない。
図１４は、ＡＧＳコーディングの一例であって、基本階層は、１５Ｈｚのフレーム率を有し、１６サイズのＧＯＰを単位でＡＧＳコーディングしてｓｕｂ−ＧＯＰモードが［８,２,２,２,２］と選択され、上位強化階層では、基本階層のｓｕｂ−ＧＯＰモードによって［１６,４,４,４］にコーディングされた状況と時間的スケーラビリティを提供するための情報である‘ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ’のコーディングされた値を示している。
前記例は、時間的スケーラビリティは、高い‘ｔｅｍｐｏｒａ＿ｌｅｖｅｌ’値を有するピクチャーエキストラクターで順次に除去し、それぞれ１／２の時間的解像度を有するように設計されている。参考として、基本階層では、既存の動画国際標準であるＨ.２６４であるため、‘ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ’を有することができず、ＮＡＬユニットヘッダの‘ｎａｌ＿ｒｅｆ＿ｉｄｃ’情報を利用して、いかなる画像にも参照されないピクチャーをエキストラクターでドロップさせることによって、１／２の時間的解像度まで有させうる。
図１５は、図１４の上位階層で‘ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ’値が５であるピクチャーをエキストラクターでドロップさせて１５Ｈｚのフレーム率を有する画像の一実施例を示す。
図１６は、図１５の上位階層で‘ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ’値が４以上であるピクチャーをエキストラクターでドロップさせて７.５Ｈｚのフレーム率を有する画像の一実施例を示す。
図１７は、伝送線路上の制約によって、予想外に７.５Ｈｚ未満（３.７５Ｈｚまたは１.８７５Ｈｚなど）の時間的スケーラビリティが要求された場合に、一例として３.７５Ｈｚのフレーム率を提供するために、図１６の上位階層で‘ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ’値が３以上である２番目及び４番目のＧＯＰのキーピクチャーを共にドロップさせた一実施例を示す。すなわち、図１７は、図１３で‘ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ’が３以上であるピクチャーをドロップさせて３.７５Ｈｚのフレーム率を有しようとするとき、キーピクチャーのドロップによるエラーの様子を示す一実施例の図面である。
エキストラクターは、ｖｉｓｕａｌ ｂｉｔｓｔｒｅａｍの内部構文に関係なく、ＮＡＬユニットヘッダの情報のみを有して処理するため、キーピクチャーも共にドロップされる。また、キーピクチャーがドロップされたが、デコーダでは、キーピクチャーのドロップ事実を分からなくて誤った参照を利用してデコーディングするので、エラーの発生を防止できない。
図１８は、実際フットボールＣＩＦ ３.７５Ｈｚの画像で誤った参照による割れたデコーディング結果（０〜７ピクチャー）を示す一実施例の図面である。
図１９は、図１７でキーピクチャーのナンバリングによって上位階層のキーピクチャー損失を見つけ出した時に、下位基本階層の情報を利用してエラーに対処する様子を示す一実施例の図面である。
すなわち、ＡＧＳ使用の場合にも、前記のように要求されるフレーム率によってキーピクチャーのドロップが発生することによって、発生するエラーをキーピクチャーのナンバリングを使用して解決しうる。図１９を参照すれば、キーピクチャー番号（ｋｅｙ＿ｐｉｃｔｕｒｅ＿ｎｕｍ）が２であるキーピクチャーが損失された場合、キーピクチャー番号が３であるキーピクチャーは、以前のキーピクチャーのキーピクチャー番号が１であるため、参照せねばならないキーピクチャーが損失されたという事実を認識し、エラー隠匿の一方法であって、インターマクロブロックに対して下位基本階層の、デコーディングされて再構成された画像から前記上位階層のインターマクロブロックのような領域に該当する部分のデータをそのまま持ち込んで、現在デコーディングする前記上位階層のインターマクロブロックに満たす。
このような方法を通じて、図１８に対応するフットボールＣＩＦ ３.７５Ｈｚのシーケンスをデコーディングした結果が、図２０に示されている。図２０で、基本階層からデータを持ち込んでエラーを隠匿した結果を確認しうる。
前記方法を利用してＪＳＶＣの一実施例として“ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ”構文と“ｓｌｉｃｅ ｈｅａｄｅｒ ｉｎ ｓｃａｌａｂｌｅ ｅｘｔｅｎｓｉｏｎ”構文とを変更しうる。ＡＧＳで低い時間的スケーラビリティを支援するとき（７.５Ｈｚ未満）、キーピクチャーの損失があるので、ＡＧＳをコーディングする時には、ＡＧＳ使用有無についての情報である‘ｕｓｅ＿ａｇｓ＿ｆｌａｇ’を“ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ”に追加して具現しうる。“ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ”の構文は、次の通りである。
Figure 0005054015
Figure 0005054015
Figure 0005054015
“ｓｌｉｃｅ ｈｅａｄｅｒ ｉｎ ｓｃａｌａｂｌｅ ｅｘｔｅｎｓｉｏｎ”構文で、キーピクチャーのナンバリングを‘ｕｓｅ＿ａｇｓ＿ｆｌａｇが１である場合にのみ行えるように、次のように変更しうる。
Figure 0005054015
Figure 0005054015
図２１は、‘ｕｓｅ＿ａｇｓ＿ｆｌａｇ’と‘ｋｅｙ＿ｐｉｃｔｕｒｅ＿ｎｕｍ’とを３ビットを利用してコーディングした場合に、本発明の一実施例によってデコーディングする方法を示すフローチャートである。
ピクチャーが入力されれば、‘ｕｓｅ＿ａｇｓ＿ｆｌａｇ’が１であり、ピクチャー（またはスライス）のタイプがキーピクチャーであるか否かを判断する（Ｓ２１１０）。
‘ｕｓｅ＿ａｇｓ＿ｆｌａｇ’が０であるか、またはピクチャータイプがキーピクチャーではなければ、ピクチャーのマクロブロックモードによってデコーディングを行って完了する（Ｓ２１６０）。
‘ｕｓｅ＿ａｇｓ＿ｆｌａｇ’が１であるか、またはピクチャータイプがキーピクチャーであれば、キーピクチャーにｎビットにコーディングされたキーピクチャー番号（ｋｅｙ＿ｐｉｃｔｕｒｅ＿ｎｕｍ）を読み込む（Ｓ２１２０）。
直前キーピクチャーのキーピクチャー番号（ｐｒｅｖ＿ｋｅｙ＿ｐｉｃｔｕｒｅ＿ｎｕｍ）と現在キーピクチャーのキーピクチャー番号（ｋｅｙ＿ｐｉｃｔｕｒｅ＿ｎｕｍ）との差分値（ｋｅｙ＿ｐｉｃｔｕｒｅ＿ｎｕｍ−ｐｒｅｖ＿ｋｅｙ＿ｐｉｃｔｕｒｅ＿ｎｕｍ）が１または−７であるか否かを判断する（Ｓ２１３０）。
前記差分値が１または−７ではなければ、前記現在キーピクチャーと直前の過去キーピクチャーとの間にキーピクチャーの損失があることを認知し、エラーに対する処理を行う（Ｓ２１４０）。
エラー隠匿と共に、現在キーピクチャーのデコーディングを終了する（Ｓ２１５０）。
キーピクチャーナンバリングを利用してエラーを認知した場合、発生したエラーを対処するための効果的な具現の一実施例として、エラー隠匿方法とＡＧＳとを共に処理するために、構文を次のようにＪＳＶＣ“ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ”でエラー隠匿ビットとＡＧＳ使用ビットとを共有して使用しうる。方法は、構文にエラー隠匿情報ビットである‘ｅｒｒｏｒ＿ｃｏｎｃｅａｌｍｅｎｔ＿ｆｌａｇ’を追加し、ＡＧＳを使用する場合には、無条件１に設定して、低いフレーム率（７.５Ｈｚ未満）を支援するように具現しうる。“ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ”の構文は、次の通りである。
Figure 0005054015
Figure 0005054015
Figure 0005054015
“ｓｌｉｃｅ ｈｅａｄｅｒ ｉｎ ｓｃａｌａｂｌｅ ｅｘｔｅｎｓｉｏｎ”構文でキーピクチャーのナンバリングを‘ｅｒｒｏｒ＿ｃｏｎｃｅａｌｍｅｎｔ＿ｆｌａｇ’が１である場合にのみ行えるように、次のように変更しうる。
Figure 0005054015
Figure 0005054015
‘ｅｒｒｏｒ＿ｃｏｎｃｅａｌｍｅｎｔ＿ｆｌａｇ’と‘ｋｅｙ＿ｐｉｃｔｕｒｅ＿ｎｕｍ’とを３ビットを利用してコーディングした場合に、本発明の一実施例によるデコーディング方法は、図１３の通りである。
図２２は、本発明の一実施例によるキーピクチャーナンバリングを含むエンコーディング方法が具現されるエンコーダの概略図を示す。
図２２を参照すれば、キーピクチャーナンバリングを含むエンコーディングを行うエンコーダ２２００は、キーピクチャー確認部２２１０及びキーピクチャー番号付与部２２５０を備える。
キーピクチャー確認部２２１０は、入力される現在ピクチャーが以前ピクチャーを参照するＧＯＰを区分する最後のピクチャーであるキーピクチャーであるか否かを確認する。
キーピクチャー番号付与部２２５０は、入力される現在ピクチャーがキーピクチャーと確認されれば、ｎビットを使用して２ｎモジュールで演算によって０から２ｎ−１まで順次にキーピクチャー番号を付与する。前記キーピクチャー番号付与部２２５０は、エラー隠匿を要求しつつ、キーピクチャーの場合にのみまたはＡＧＳを使用しつつキーピクチャーの場合にのみ、ｎビットで順次にキーピクチャー番号を付与することもある。
キーピクチャーに番号を付与してエンコーディングを行うことによって、デコーディング時にキーピクチャー間に連続的に参照しつつデコーディングを行う場合、キーピクチャー間の番号差分値からキーピクチャーの損失を把握して、エラー隠匿などのエラー処理を行える。これにより、誤った参照によるエラー伝播による画像品質の低下を最小化しうる。
図２３は、本発明の一実施例によるキーピクチャーナンバリングを含むエンコーディングされたビデオのデコーディング方法が具現されるデコーダの概略図を示す。
図２３を参照すれば、キーピクチャーナンバリングされたビデオをデコーディングするデコーダ２３００は、キーピクチャー判断部２３１０、キーピクチャー番号検索部２３３０、エラー検出部２３５０及びエラー隠匿部２３７０を備える。
キーピクチャー判断部２３１０は、現在入力されるピクチャーが以前ピクチャーを参照するＧＯＰを区分する最後のピクチャーであるキーピクチャーであるか否かを判断する。
キーピクチャー番号検索部２３３０は、前記キーピクチャー判断部２３１０で現在ピクチャーがキーピクチャーと判断された場合、現在キーピクチャーにエンコーディングされたキーピクチャー番号を読み込む。
エラー検出部２３５０は、差分値比較部２３５１及びエラー情報伝達部２３５２を備える。前記エラー検出部２３５０は、現在キーピクチャーのキーピクチャー番号（ｋｅｙ＿ｐｉｃｔｕｒｅ＿ｎｕｍ）と以前に入力された過去キーピクチャーのキーピクチャー番号（ｐｒｅｖ＿ｋｅｙ＿ｐｉｃｔｕｒｅ＿ｎｕｍ）との差分値を前記差分値比較部２３５１で比較して、その値が１または−（２ｎ−１）であるか否かを判断する。前記差分値が１または−（２ｎ−１）ではない場合、前記エラー情報伝達部２３５２は、現在キーピクチャーと過去キーピクチャーとの間にキーピクチャー損失があることを認知し、このようなエラー情報をエラー処理及び／またはエラー隠匿部に伝達する。エラー処理及び／またはエラー隠匿部は、前記エラー情報を受信して、設定された方法によってエラーを処理してエラー伝播を最小化する。
エラー隠匿部２３７０は、多階層構造を有するスケーラブルビデオコーディングが行われて、上位階層が下位階層の情報を利用できる場合に適用される本発明の一実施例によるエラー隠匿方法を行う。
前記エラー隠匿部２３７０は、モード判断部２３７１、領域探索部２３７２、解像度比較部２３７３、アップサンプリング部２３７４及びデータ復旧部２３７５を備える。
エラー検出部によって上位階層の現在キーピクチャーと過去キーピクチャーとの間にキーピクチャー損失があると認知された場合、現在キーピクチャーの参照キーピクチャーが損失されたので、過去キーピクチャーを参照してデコーディングを行うことによって、エラーが伝播されることを防止せねばならない。
モード判断部２３７１は、前記のように上位階層のキーピクチャー損失によるエラーが検出された場合、現在キーピクチャーをマクロブロック別にインターモードかイントラモードかモードを判断する。
領域探索部２３７２は、判断対象マクロブロックがインターモードと判断された場合、現在キーピクチャーと時間的に対応する下位階層のピクチャーを選択し、前記対応する下位階層ピクチャーのデコーディングされた画像で前記上位階層の現在キーピクチャーのマクロブロックに該当する領域を探索する。
解像度比較部２３７３は、前記下位階層ピクチャーで現在キーピクチャーのマクロブロックに該当する領域が探索された後、前記上位階層と下位階層との空間的解像度が同一であるか否かを比較する。
データ復旧部２３７５は、二階層の空間的解像度が同一である場合、下位階層ピクチャーの探索された領域のデコーディングされた画像データをコピーして、上位階層の現在キーピクチャーの該当マクロブロック領域に付加することによってデコーディングを行う。もし、二階層の空間的解像度が同一ではない場合、アップサンプリング部２３７４で前記下位階層ピクチャーの探索された領域を上位階層の解像度と同じサイズにアップサンプリングし、アップサンプリングされた領域のデコーディングされた画像データをコピーして、上位階層の現在キーピクチャーの該当マクロブロック領域に付加することによってデコーディングを行う。
前記のように下位階層の時間的に対応するピクチャーの画像情報を上位階層のデコーディングに適用するエラー隠匿方法によってデコーディングを行うことによって、損失されたキーピクチャーの代わりに、損失されたキーピクチャー以前のキーピクチャーを参照することによって、発生するエラーを隠匿しうる。
図２４は、本発明の一実施例によるコーディングを行うコーデックの概略図を示す。
図２４を参照すれば、前記コーデック２４００は、エンコーダ２４１０とデコーダ２４５０とに大別される。
エンコーダ２４１０は、ＧＯＰ単位を区分するキーピクチャーに順次に番号を付与してエンコーディングした後、デコーダに伝送する。
デコーダ２４５０は、キーピクチャーを伝送されてキーピクチャー間にキーピクチャー損失有無を検出し、キーピクチャーが損失された上位階層に対して下位階層が存在して下位階層の画像情報を利用できる場合、これにより、エラーを隠してピクチャーを復号化するデコーディングを行う。
前記エンコーダ２４１０は、キーピクチャー確認部２４１１及びキーピクチャー番号付与部２４１２を備える。
キーピクチャー確認部２４１０は、入力される現在ピクチャーがキーピクチャーであるか否かを確認する。キーピクチャー番号付与部２２５０は、入力される現在ピクチャーがキーピクチャーと確認されれば、ｎビットを使用して２ｎモジュールで演算によって０から２ｎ−１まで順次にキーピクチャー番号を付与する。前記キーピクチャー番号付与部２２５０は、エラー隠匿を要求しつつキーピクチャーである場合にのみまたはＡＧＳを使用しつつキーピクチャーである場合にのみ、ｎビットで順次にキーピクチャー番号を付与することもある。
前記デコーダ２４５０は、キーピクチャー判断部２４５１、キーピクチャー番号検索部２４５２、エラー検出部２４５３及びエラー隠匿部２４５５を備える。
キーピクチャー判断部２４５１は、現在入力されるピクチャーがキーピクチャーであるか否かを判断する。キーピクチャー番号検索部２４５２は、前記キーピクチャー判断部２４５１で現在ピクチャーがキーピクチャーと判断された場合、現在キーピクチャーにエンコーディングされたキーピクチャー番号を読み込む。
エラー検出部２４５３は、現在キーピクチャーのキーピクチャー番号（ｋｅｙ＿ｐｉｃｔｕｒｅ＿ｎｕｍ）と以前に入力された過去キーピクチャーのキーピクチャー番号（ｐｒｅｖ＿ｋｅｙ＿ｐｉｃｔｕｒｅ＿ｎｕｍ）との差分値を差分値比較部（図示せず）で比較して、その値が１または−（２ｎ−１）であるか否かを判断する。前記差分値が１または−（２ｎ−１）ではない場合、エラー情報伝達部（図示せず）は、現在キーピクチャーと過去キーピクチャーとの間にキーピクチャー損失があることを認知し、このようなエラー情報をエラー処理及び／またはエラー隠匿部に伝達する。エラー処理及び／またはエラー隠匿部は、前記エラー情報を受信して設定された方法によって、エラーを処理してエラー伝播を最小化する。
エラー隠匿部２４５４は、多階層構造を有するスケーラブルビデオコーディングが行われて上位階層が下位階層の情報を利用できる場合、適用される本発明の一実施例によるエラー隠匿方法を行い、モード判断部２４５５、領域探索部２４５６、解像度比較部２４５７、アップサンプリング部２４５８及びデータ復旧部２４５９を備える。
モード判断部２４５５は、上位階層のキーピクチャー損失によるエラーが検出された場合、現在キーピクチャーをマクロブロック別にインターモードかイントラモードかモードを判断する。
領域探索部２４５６は、対象マクロブロックがインターモードと判断された場合、現在キーピクチャーと時間的に対応する下位階層のピクチャーを選択し、前記対応する下位階層ピクチャーのデコーディングされた画像で前記上位階層の現在キーピクチャーのマクロブロックに該当する領域を探索する。
解像度比較部２４５７は、前記下位階層ピクチャーで現在キーピクチャーのマクロブロックに該当する領域が探索された後、前記上位階層と下位階層との空間的解像度が同一であるか否かを比較する。
データ復旧部２４５９は、二階層の空間的解像度が同じである場合、下位階層ピクチャーの探索された領域のデコーディングされた画像データをコピーして、上位階層の現在キーピクチャーの該当マクロブロック領域に付加することによってデコーディングを行う。もし、二階層の空間的解像度が同一ではない場合、アップサンプリング部２４５８で前記下位階層ピクチャーの探索された領域を上位階層の解像度と同じサイズにアップサンプリングし、アップサンプリングされた領域のデコーディングされた画像データをコピーして上位階層の現在キーピクチャーの該当マクロブロック領域に付加することによってデコーディングを行う。
本発明はまた、コンピュータで読み取り可能な記録媒体にコンピュータ可読コードとして具現することが可能である。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取られるデータが保存される全ての種類の記録装置を含む。コンピュータで読み取り可能な記録媒体の例としては、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置があり、またキャリアウェーブ（例えば、インターネットを通じた伝送）の形態で具現されるものも含む。また、コンピュータで読み取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散され、分散方式でコンピュータ可読コードが保存され、かつ実行される。そして、本発明を具現するための機能的なプログラム、コード及びコードセグメントは、本発明が属する技術分野のプログラマーによって容易に推論される。
以上、本発明について望ましい実施例を中心に説明した。ここで、特定の用語が使われたが、これは、単に本発明を説明するための目的で使われたものであり、意味限定や特許請求の範囲に記載された本発明の範囲を制限するために使われたものではない。
したがって、当業者は、本発明が本発明の本質的な特性から逸脱しない範囲で変形された形態で具現されるということが分かる。したがって、開示された実施例は、限定的な観点ではなく、説明的な観点で考慮されねばならない。本発明の範囲は、前述した説明ではなく、特許請求の範囲に現れており、それと同等な範囲内にある全ての差異点は、本発明に含まれていると解釈されねばならない。
ＪＳＶＣにおけるＧＯＰ構造及びキーピクチャーを示す図面である。 Ｐピクチャーが喪失された時にエラーの伝播を示す図面である。 ２個の階層構造を有するＪＳＶＣコーディングの一例を示す図面である。 図３の全階層で７.５Ｈｚのフレーム率を支援する構造を示す図面である。 図４の上位階層で一つのＰピクチャーが伝送過程で損失された場合、エラー伝播を示す図面である。 図３の上位階層で一つのＰピクチャーが伝送過程で損失された場合、エラー伝播を示す図面である。 本発明の一実施例によるキーピクチャーのナンバリングを有するエンコーディング方法を説明するフローチャートである。 本発明の一実施例によるキーピクチャーにナンバリングした場合、Ｐピクチャー損失有無を見つけ出す方法の概念図である。 本発明の一実施例によるキーピクチャーにナンバリングした場合、デコーディングする方法を説明するフローチャートである。 図５の上位階層がキーピクチャーにナンバリングされたとき、一つのＰピクチャーが伝送過程で損失された場合、本発明の一実施例によるエラー伝播の例を示す図面である。 図１０のように、キーピクチャーのナンバリングを通じてＰピクチャーの損失を見つけ出した場合、本発明の一実施例による下位階層の情報を利用してエラーが伝播されることを遮断する方法を示す概念図である。 本発明の一実施例による上位階層で以前のＰピクチャーの損失を見つけ出した場合に、下位階層の情報を利用する方法を説明するフローチャートである。 “ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ”に‘ｅｒｒｏｒ＿ｃｏｎｃｅａｌｍｅｎｔ＿ｆｌａｇ’を追加して、‘ｅｒｒｏｒ＿ｃｏｎｃｅａｌｍｅｎｔ＿ｆｌａｇ’値が‘１’である場合にのみキーピクチャーナンバリングが行われる場合、本発明の一実施例によるデコーディング方法を説明するフローチャートである。 ＡＧＳコーディング結果、サブＧＯＰモードが基本階層で［８,２,２，２］と選択されてコーディングされた状況及び‘ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ’コーディングの一例を示す図面である。 図１４の上位階層で‘ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ’が５であるピクチャーをドロップさせて１５Ｈｚのフレーム率を有する様子を示す一実施例の図面図である。 図１４の上位階層で‘ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ’が４以上であるピクチャーをドロップさせて７.５Ｈｚのフレーム率を有する様子を示す一実施例の図面である。 図１４の上位階層で‘ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ’が３以上であるピクチャーをドロップさせて３.７５Ｈｚのフレーム率を支援せねばならないとき、キーピクチャーのドロップによるエラーの様子を示す一実施例の図面である。 実際フットボールＣＩＦ ３.７５Ｈｚ画像で誤った参照によって割れたデコーディング結果（０〜７ピクチャー）を示す一実施例の図面である。 図１７の上位階層のキーピクチャーにナンバリングされた場合、キーピクチャーの損失を見つけ出した時に、本発明の一実施例による基本階層の情報を利用する様子を示す図面である。 実際フットボールＣＩＦ ３.７５Ｈｚの画像でエラーを隠してデコーディングした結果を示す一実施例の図面である。 本発明の一実施例による‘ｕｓｅ＿ａｇｓ＿ｆｌａｇ’と‘ｋｅｙ＿ｐｉｃｔｕｒｅ＿ｎｕｍ’とを３ビットを利用してコーディングした場合に、キーピクチャーナンバリングされたビデオのデコーディング方法を説明するフローチャートである。 本発明の一実施例によるキーピクチャーナンバリングを適用してエンコーディングを行うエンコーダを示す概略図である。 本発明の一実施例によるキーピクチャーの番号からキーピクチャーの損失を検出してエラーを隠してデコーディングを行うデコーダを示す概略図である。 本発明の一実施例によるキーピクチャーナンバリングとエラーを隠すコーデックとを表す概略図である。

Claims (33)

  1. ＧＯＰを区分する少なくとも一部のキーピクチャーに対して以前のキーピクチャーを参照して同一レイヤーに属する他のピクチャーに対する予測を行うスケーラブルビデオデコーディング方法において、
    各キーピクチャーにキーピクチャー番号が付与されてエンコーディングされたビットストリームを受信するステップと、
    前記受信したビットストリームの現在ピクチャーがキーピクチャーであるか否かを判断するステップと、
    前記現在ピクチャーがキーピクチャーである場合、前記キーピクチャー番号に基づいてキーピクチャー損失有無を検出するステップと、を含むスケーラブルビデオデコーディング方法。
  2. 前記キーピクチャー損失検出ステップは、
    前記現在キーピクチャーのキーピクチャー番号と直前の過去キーピクチャーのキーピクチャー番号とに基づいてキーピクチャー損失有無を検出するステップを含むことを特徴とする請求項１に記載のスケーラブルビデオデコーディング方法。
  3. 前記キーピクチャー番号は、順次に付与されることを特徴とする請求項１に記載のスケーラブルビデオデコーディング方法。
  4. 前記キーピクチャー損失検出ステップは、
    キーピクチャー番号の順次的な連続性を確認してキーピクチャー損失有無を検出するステップを含むことを特徴とする請求項３に記載のスケーラブルビデオデコーディング方法。
  5. 前記キーピクチャー損失検出ステップは、
    前記現在キーピクチャーと前記過去キーピクチャーとの間のキーピクチャー番号の差分値に基づいて前記キーピクチャー損失有無を検出するステップを含むことを特徴とする請求項２に記載のスケーラブルビデオデコーディング方法。
  6. 前記キーピクチャー損失検出ステップは、
    前記差分値が１または−（２n−１）であるか否かを判断するステップと、
    前記差分値が１または−（２n−１）ではない場合、キーピクチャー損失のエラー情報を伝達するステップと、を含み、前記ｎは、前記キーピクチャー番号付与のために使われたビット数であることを特徴とする請求項５に記載のスケーラブルビデオデコーディング方法。
  7. 前記現在キーピクチャーと前記過去キーピクチャーとの間にキーピクチャー損失が検出される場合、前記現在キーピクチャーと時間的に対応する下位階層のキーピクチャーデータを利用して、前記現在キーピクチャーを復旧するステップをさらに含むことを特徴とする請求項１に記載のスケーラブルビデオデコーディング方法。
  8. デコーディングされる現在キーピクチャーが参照する過去キーピクチャーの損失がある場合、前記現在キーピクチャーのマクロブロックごとにインターモードであるか否かを判断するステップと、
    前記マクロブロックがインターモードである場合、前記現在キーピクチャーに対応する下位階層のキーピクチャーのデコーディングされた画像で前記現在キーピクチャーのマクロブロックに該当する領域を探索するステップと、
    前記探索された領域のデータに基づいて前記現在キーピクチャーのマクロブロックデータを復旧するステップと、を含むことを特徴とする請求項１に記載のスケーラブルビデオデコーディング方法。
  9. 前記領域探索ステップは、
    前記現在キーピクチャーと時間的に対応する下位階層のキーピクチャーのデコーディングされた画像で前記現在キーピクチャーのマクロブロックに該当する領域を探索するステップを含むことを特徴とする請求項８に記載のスケーラブルビデオデコーディング方法。
  10. 前記データ復旧ステップは、
    前記現在キーピクチャーと前記下位階層の対応キーピクチャーとの間の空間的解像度を比較するステップと、
    前記二キーピクチャーの空間的解像度が同じである場合、前記探索された領域のデータをそのままコピーして前記現在キーピクチャーのマクロブロックデータを復旧するステップと、
    前記二キーピクチャーの空間的解像度が同一でない場合、前記探索された領域を前記現在キーピクチャーと同じサイズにアップサンプリングし、前記アップサンプリングされた領域のデータをコピーして前記現在キーピクチャーのマクロブロックデータを復旧するステップと、を含むことを特徴とする請求項８に記載のスケーラブルビデオデコーディング方法。
  11. ＧＯＰを区分する少なくとも一部のキーピクチャーに対して以前キーピクチャーを参照して同一レイヤーに属する他のピクチャーに対する予測を行うスケーラブルビデオコーディング方法において、
    キーピクチャーに順次に番号を付与してエンコーディングするステップと、
    デコーディングされる現在キーピクチャーのキーピクチャー番号と直前の過去キーピクチャーのキーピクチャー番号との差分に基づいて、前記現在キーピクチャーと前記過去キーピクチャーとの間のキーピクチャー損失を検出して現在キーピクチャーを復旧するステップと、
    を含むスケーラブルビデオコーディング方法。
  12. 前記キーピクチャー損失検出ステップは、
    前記差分値が１または−（２n−１）であるか否かを判断するステップと、
    前記差分値が１または−（２n−１）ではない場合、キーピクチャー損失エラー情報を伝達するステップと、を含み、前記ｎは、前記キーピクチャー番号付与のために使われたビット数であることを特徴とする請求項１１に記載のスケーラブルビデオコーディング方法。
  13. 前記現在キーピクチャーと前記過去キーピクチャーとの間のキーピクチャー損失が検出されれば、前記現在キーピクチャーと時間的に対応する下位階層のキーピクチャーデータを利用して、前記現在キーピクチャーを復旧するステップをさらに含むことを特徴とする請求項１１に記載のスケーラブルビデオコーディング方法。
  14. 前記キーピクチャー復旧ステップは、
    前記現在キーピクチャーのマクロブロックごとにインターモード如何を判断するステップと、
    前記マクロブロックがインターモードである場合、前記下位階層の対応キーピクチャーのデコーディングされた画像で前記マクロブロックに該当する領域を探索するステップと、
    前記探索された領域のデータをコピーして前記現在キーピクチャーのマクロブロックデータを復旧するステップと、を含むことを特徴とする請求項１３に記載のスケーラブルビデオコーディング方法。
  15. 前記データ復旧ステップは、
    前記現在キーピクチャーと前記下位階層の対応キーピクチャーとの空間的解像度を比較するステップと、
    前記二つのキーピクチャーの空間的解像度が同じである場合、前記探索された領域のデータをそのままコピーして、前記現在キーピクチャーのマクロブロックデータを復旧するステップと、
    前記二つのキーピクチャーの空間的解像度が同一ではない場合、前記探索された領域を前記現在キーピクチャーと同じサイズにアップサンプリングし、前記アップサンプリングされた領域のデータをコピーして、前記現在キーピクチャーのマクロブロックデータを復旧するステップと、を含むことを特徴とする請求項１４に記載のスケーラブルビデオコーディング方法。
  16. ＧＯＰを区分するキーピクチャーを参照して同一レイヤーに属する他のピクチャーに対する予測を行うスケーラブルビデオデコーディング方法において、
    複数のキーピクチャーにキーピクチャー番号が順次に付与されてエンコーディングされたビットストリームを受信するステップと、
    前記受信されたビットストリームから抽出された複数のキーピクチャーに対するキーピクチャー番号の連続性を確認して、損失されたキーピクチャーが存在するか否かを検出するステップと、を含むスケーラブルビデオデコーディング方法。
  17. ＧＯＰを区分する少なくとも一部のキーピクチャーに対して以前キーピクチャーを参照して同一レイヤーに属する他のピクチャーに対する予測を行うスケーラブルビデオデコーダにおいて、
    前記キーピクチャーにキーピクチャー番号が付与されてエンコーディングされたビットストリームを受信する受信部と、
    前記受信したビットストリームの現在ピクチャーがキーピクチャーであるか否かを判断するキーピクチャー判断部と、
    前記現在ピクチャーがキーピクチャーである場合、前記キーピクチャー番号に基づいてキーピクチャー損失有無を検出するエラー検出部と、を備えるスケーラブルビデオデコーダ。
  18. 前記エラー検出部は、
    前記現在キーピクチャーのキーピクチャー番号と直前の過去キーピクチャーのキーピクチャー番号とに基づいて、前記現在キーピクチャーのキーピクチャー損失有無を検出することを特徴とする請求項１７に記載のスケーラブルビデオデコーダ。
  19. 前記キーピクチャー番号は、順次に付与されることを特徴とする請求項１７に記載のスケーラブルビデオデコーダ。
  20. 前記エラー検出部は、
    キーピクチャー番号の順次的な連続性を確認してキーピクチャー損失有無を検出することを特徴とする請求項１９に記載のスケーラブルビデオデコーダ。
  21. 前記エラー検出部は、
    前記現在キーピクチャーと前記過去キーピクチャーとの間のキーピクチャー番号の差分値に基づいて前記キーピクチャー損失有無を検出することを特徴とする請求項１８に記載のスケーラブルビデオデコーダ。
  22. 前記エラー検出部は、
    前記差分値が１または−（２n−１）であるか否かを判断する差分値比較部と、
    前記差分値が１または−（２n−１）ではない場合、キーピクチャー損失のエラー情報を伝達するエラー情報伝達部と、を備え、前記ｎは、前記キーピクチャー番号付与のために使われたビット数であることを特徴とする請求項２１に記載のスケーラブルビデオデコーダ。
  23. 前記現在キーピクチャーと前記過去キーピクチャーとの間にキーピクチャー損失が検出される場合、前記現在キーピクチャーと時間的に対応する下位階層のキーピクチャーデータを利用して、前記現在キーピクチャーを復旧する復旧部をさらに備えることを特徴とする請求項１７に記載のスケーラブルビデオデコーダ。
  24. デコーディングされる現在キーピクチャーが参照する過去キーピクチャーの損失がある場合、前記現在キーピクチャーのマクロブロックごとにインターモードであるか否かを判断するモード判断部と、
    前記マクロブロックがインターモードである場合、前記現在キーピクチャーに対応する下位階層のキーピクチャーのデコーディングされた画像で前記現在キーピクチャーのマクロブロックに該当する領域を探索する領域探索部と、
    前記探索された領域のデータに基づいて前記現在キーピクチャーのマクロブロックデータを復旧するデータ復旧部と、を備えることを特徴とする請求項１７に記載のスケーラブルビデオデコーダ。
  25. 前記領域探索部は、
    前記現在キーピクチャーと時間的に対応する下位階層のキーピクチャーのデコーディングされた画像で前記現在キーピクチャーのマクロブロックに該当する領域を探索することを特徴とする請求項２４に記載のスケーラブルビデオデコーダ。
  26. 前記領域探索後、前記現在キーピクチャーと前記下位階層の対応キーピクチャーとの間の空間的解像度を比較する解像度比較部と、
    前記二つのキーピクチャーの空間的解像度が同一ではない場合、前記探索された領域を前記現在キーピクチャーと同じサイズにアップサンプリングするアップサンプリング部と、をさらに備え、
    前記データ復旧部は、前記二つのキーピクチャーの空間的解像度が同じである場合、前記探索された領域のデータをそのままコピーして前記現在キーピクチャーのマクロブロックデータを復旧して、前記二つのキーピクチャーの空間的解像度が同一でない場合、前記アップサンプリングされた領域のデータをコピーして前記現在キーピクチャーのマクロブロックデータを復旧することを特徴とする請求項２４に記載のスケーラブルビデオデコーダ。
  27. ＧＯＰを区分する少なくとも一部のキーピクチャーに対して以前キーピクチャーを参照して同一レイヤーに属する他のピクチャーに対する予測を行うスケーラブルビデオコーデックにおいて、
    キーピクチャーに順次に番号を付与してエンコーディングするエンコーダと、
    デコーディングされる現在キーピクチャーのキーピクチャー番号と直前の過去キーピクチャーのキーピクチャー番号との差分に基づいて、前記現在キーピクチャーと前記過去キーピクチャーとの間のキーピクチャー損失を検出するデコーダと、を備えるスケーラブルビデオコーデック。
  28. 前記デコーダは、
    前記差分値が１または−（２n−１）であるか否かを判断する差分値比較部と、
    前記差分値が１または−（２n−１）ではない場合、キーピクチャー損失のエラー情報を伝達するエラー情報伝達部と、を備え、前記ｎは、前記キーピクチャー番号付与のために使われたビット数であることを特徴とする請求項２７に記載のスケーラブルビデオコーデック。
  29. 前記デコーダは、
    前記現在キーピクチャーと前記過去キーピクチャーとの間のキーピクチャー損失が検出されれば、前記現在キーピクチャーと時間的に対応する下位階層のキーピクチャーデータを利用して、前記現在キーピクチャーをデコーディングする復元部をさらに備えることを特徴とする請求項２７に記載のスケーラブルビデオコーデック。
  30. 前記復元部は、
    前記現在キーピクチャーと前記過去キーピクチャーとの間にキーピクチャー損失が検出されれば、前記現在キーピクチャーのマクロブロックごとにインターモードであるか否かを判断するモード判断部と、
    前記マクロブロックがインターモードである場合、前記下位階層の対応キーピクチャーのデコーディングされた画像で前記マクロブロックに該当する領域を探索する領域探索部と、
    前記探索された領域のデータをコピーして、前記現在キーピクチャーのマクロブロックデータを復旧するデータ復旧部と、を備えることを特徴とする請求項２９に記載のスケーラブルビデオコーデック。
  31. 前記現在キーピクチャーと前記下位階層の対応キーピクチャーとの空間的解像度を比較する解像度比較部と、
    前記二つのキーピクチャーの空間的解像度が同一ではない場合、前記探索された領域を前記現在キーピクチャーと同じサイズにアップサンプリングするアップサンプリング部と、をさらに備え、
    前記データ復旧部は、前記二つのキーピクチャーの空間的解像度が同じである場合、前記探索された領域のデータをそのままコピーして前記現在キーピクチャーのマクロブロックデータを復旧し、前記二つのキーピクチャーの空間的解像度が同一でない場合、前記アップサンプリングされた領域のデータをコピーして前記現在キーピクチャーのマクロブロックデータを復旧することを特徴とする請求項２９に記載のスケーラブルビデオコーデック。
  32. ＧＯＰを区分するキーピクチャーを参照して同一レイヤーに属する他のピクチャーに対する予測を行うスケーラブルビデオデコーディング装置において、
    複数のキーピクチャーにキーピクチャー番号が順次に付与されてエンコーディングされたビットストリームを受信する受信部と、
    前記受信されたビットストリームから抽出された複数のキーピクチャーに対するキーピクチャー番号の連続性を確認して、損失されたキーピクチャーが存在するか否かを検出するエラー検出部と、を備えるスケーラブルビデオデコーディング装置。
  33. 請求項１ないし１３のうち何れか１項に記載の方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体。
JP2008535444A 2005-10-11 2006-10-10 スケーラブルビデオコーディング方法及びそのコーディング方法を利用するコーデック Active JP5054015B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR10-2005-0095222 2005-10-11
KR20050095222 2005-10-11
KR10-2006-0098098 2006-10-09
KR20060098098A KR100825737B1 (ko) 2005-10-11 2006-10-09 스케일러블 비디오 코딩 방법 및 그 코딩 방법을 이용하는코덱
PCT/KR2006/004073 WO2007043793A1 (en) 2005-10-11 2006-10-10 Method of scalable video coding and the codec using the same

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2012101524A Division JP2012182819A (ja) 2005-10-11 2012-04-26 スケーラブルビデオコーディング方法及びそのコーディング方法を利用するコーデック

Publications (2)

Publication Number Publication Date
JP2009512317A JP2009512317A (ja) 2009-03-19
JP5054015B2 true JP5054015B2 (ja) 2012-10-24

Family

ID=37942990

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2008535444A Active JP5054015B2 (ja) 2005-10-11 2006-10-10 スケーラブルビデオコーディング方法及びそのコーディング方法を利用するコーデック
JP2012101524A Pending JP2012182819A (ja) 2005-10-11 2012-04-26 スケーラブルビデオコーディング方法及びそのコーディング方法を利用するコーデック
JP2012169947A Active JP5497855B2 (ja) 2005-10-11 2012-07-31 スケーラブルビデオコーディング方法及びそのコーディング方法を利用するコーデック

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2012101524A Pending JP2012182819A (ja) 2005-10-11 2012-04-26 スケーラブルビデオコーディング方法及びそのコーディング方法を利用するコーデック
JP2012169947A Active JP5497855B2 (ja) 2005-10-11 2012-07-31 スケーラブルビデオコーディング方法及びそのコーディング方法を利用するコーデック

Country Status (6)

Country Link
US (1) US20080232470A1 (ja)
EP (2) EP2410751A1 (ja)
JP (3) JP5054015B2 (ja)
KR (1) KR100825737B1 (ja)
CN (2) CN101964909B (ja)
WO (1) WO2007043793A1 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9560367B2 (en) * 2004-09-03 2017-01-31 Nokia Technologies Oy Parameter set and picture header in video coding
KR100825737B1 (ko) 2005-10-11 2008-04-29 한국전자통신연구원 스케일러블 비디오 코딩 방법 및 그 코딩 방법을 이용하는코덱
CN102036070A (zh) * 2005-12-08 2011-04-27 维德约股份有限公司 用于视频通信***中的差错弹性和随机接入的***和方法
FR2895172A1 (fr) * 2005-12-20 2007-06-22 Canon Kk Procede et dispositif de codage d'un flux video code suivant un codage hierarchique, flux de donnees, procede et dispositif de decodage associes
FR2932050B1 (fr) * 2008-06-03 2010-05-21 Canon Kk Procede et dispositif de transmission de donnees video
JP5357255B2 (ja) * 2008-07-22 2013-12-04 トムソン ライセンシング スケーラブルビデオ符号化（ｓｖｃ）復号化におけるエンハンスメントレイヤパケットの消失によるエラー隠蔽方法
US11496760B2 (en) 2011-07-22 2022-11-08 Qualcomm Incorporated Slice header prediction for depth maps in three-dimensional video codecs
US9521418B2 (en) 2011-07-22 2016-12-13 Qualcomm Incorporated Slice header three-dimensional video extension for slice header prediction
MX2014001617A (es) 2011-08-09 2014-05-28 Samsung Electronics Co Ltd Metodo de codificacion de prediccion de video de multiples vistas y aparato para el mismo, y metodo de decodificacion de prediccion de video de multiples vistas y aparato para el mismo.
US9288505B2 (en) 2011-08-11 2016-03-15 Qualcomm Incorporated Three-dimensional video with asymmetric spatial resolution
US9485503B2 (en) 2011-11-18 2016-11-01 Qualcomm Incorporated Inside view motion prediction among texture and depth view components
US10536726B2 (en) 2012-02-24 2020-01-14 Apple Inc. Pixel patch collection for prediction in video coding system
US20130223524A1 (en) * 2012-02-29 2013-08-29 Microsoft Corporation Dynamic insertion of synchronization predicted video frames
US9451288B2 (en) * 2012-06-08 2016-09-20 Apple Inc. Inferred key frames for fast initiation of video coding sessions
KR20140092198A (ko) * 2013-01-07 2014-07-23 한국전자통신연구원 계층적 비디오 부호화에서의 스케일러빌리티 정보 표현방식
EP2983363A4 (en) * 2013-04-05 2016-10-19 Samsung Electronics Co Ltd MULTI-LAYER VIDEO ENCODING METHOD FOR RANDOM ACCESS AND DEVICE THEREFOR, AND MULTI-LAYER VIDEO DECODING METHOD FOR RANDOM ACCESS AND DEVICE THEREOF
US11438609B2 (en) 2013-04-08 2022-09-06 Qualcomm Incorporated Inter-layer picture signaling and related processes
CN116309913B (zh) * 2023-03-16 2024-01-26 沈阳工业大学 一种基于生成对抗网络asg-gan文本描述生成图像方法
CN118037549B (zh) * 2024-04-11 2024-06-28 华南理工大学 一种基于视频内容理解的视频增强方法及***

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2343321B (en) * 1998-11-02 2003-03-26 Nokia Mobile Phones Ltd Error concealment in a video signal
JP2003519971A (ja) * 1999-12-30 2003-06-24 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ カット検出におけるフォールスポジティブを低減するための方法及び装置
GB2362531A (en) * 2000-05-15 2001-11-21 Nokia Mobile Phones Ltd Indicating the temporal order of reference frames in a video sequence
JP2001359103A (ja) * 2000-06-12 2001-12-26 Ntt Docomo Inc 動画像データ符号化装置、動画像データ伝送方法および動画像データ復号装置
US7136394B2 (en) * 2001-03-12 2006-11-14 Polycom, Inc. Low-delay video encoding method for concealing the effects of packet loss in multi-channel packet switched networks
FR2828979A1 (fr) * 2001-08-23 2003-02-28 Cit Alcatel Compresseur, decompresseur, bloc de donnees et procede de gestion de ressources
US20030118097A1 (en) * 2001-12-21 2003-06-26 Koninklijke Philips Electronics N.V. System for realization of complexity scalability in a layered video coding framework
CN1444398A (zh) * 2002-03-12 2003-09-24 中国科学院计算技术研究所 基于关键帧的视频流索引播放***
EP1359722A1 (en) * 2002-03-27 2003-11-05 BRITISH TELECOMMUNICATIONS public limited company Data streaming system and method
KR20050075578A (ko) * 2004-01-16 2005-07-21 삼성전자주식회사 폐루프 최적화를 지원하는 스케일러블 비디오 엔코딩 방법및 장치
KR20050078099A (ko) * 2004-01-30 2005-08-04 삼성전자주식회사 적응적으로 키 프레임을 삽입하는 비디오 코딩 장치 및 방법
KR100825737B1 (ko) 2005-10-11 2008-04-29 한국전자통신연구원 스케일러블 비디오 코딩 방법 및 그 코딩 방법을 이용하는코덱

Also Published As

Publication number Publication date
JP2009512317A (ja) 2009-03-19
JP2012182819A (ja) 2012-09-20
JP5497855B2 (ja) 2014-05-21
CN101964909B (zh) 2012-07-04
WO2007043793A1 (en) 2007-04-19
US20080232470A1 (en) 2008-09-25
EP1935180A1 (en) 2008-06-25
EP1935180A4 (en) 2011-05-11
CN101326828B (zh) 2011-06-08
CN101326828A (zh) 2008-12-17
KR20070040303A (ko) 2007-04-16
KR100825737B1 (ko) 2008-04-29
CN101964909A (zh) 2011-02-02
EP2410751A1 (en) 2012-01-25
JP2012231537A (ja) 2012-11-22

Similar Documents

Publication Publication Date Title
JP5054015B2 (ja) スケーラブルビデオコーディング方法及びそのコーディング方法を利用するコーデック
KR101352978B1 (ko) 향상된 계층간 참조 영상 지정, 복호 방법 및 그 장치
JP5227193B2 (ja) Ｓｖｃデコーダにおけるパケットロス検出および仮想パケット生成のための方法および装置
US20090161762A1 (en) Method of scalable video coding for varying spatial scalability of bitstream in real time and a codec using the same
EP2285122B1 (en) A method and device for reconstructing a sequence of video data after transmission over a network
EP1469681A1 (en) Image coding method and apparatus and image decoding method and apparatus
US9264658B2 (en) Implementing channel start and file seek for decoder
EP1972142A1 (en) Method and apparatus for constructing reference picture lists for scalable video
JP2008543160A (ja) 階層間予測を通じてエンコードされた映像信号をデコーディングする方法
JP2010506530A (ja) 多視点映像の符号化、復号化方法及び装置
JP2008035294A (ja) 画像データ記録装置及び画像データ符号化装置
US20130230108A1 (en) Method and device for decoding a bitstream
KR101366244B1 (ko) 레지듀얼 데이터를 이용한 영상의 에러 은닉 방법 및 장치
US10104384B2 (en) Arrangements and methods thereof for processing video
JP4302094B2 (ja) 動画像復号化装置及び動画像復号化方法
JP3756902B2 (ja) 動画像復号化装置及び動画像復号化方法
JP3756901B2 (ja) 動画像復号化装置及び動画像復号化方法
JP3474861B2 (ja) 動画像復号化装置及び動画像復号化方法
JP3474860B2 (ja) 動画像符号化装置及び動画像符号化方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110215

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110516

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110523

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110615

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110823

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111124

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20111227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120426

RD13 Notification of appointment of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7433

Effective date: 20120516

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20120516

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20120605

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120626

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120726

R150 Certificate of patent or registration of utility model

Ref document number: 5054015

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150803

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250