JP4354959B2 - エラー隠匿装置及び方法 - Google Patents

エラー隠匿装置及び方法 Download PDF

Info

Publication number
JP4354959B2
JP4354959B2 JP2006018031A JP2006018031A JP4354959B2 JP 4354959 B2 JP4354959 B2 JP 4354959B2 JP 2006018031 A JP2006018031 A JP 2006018031A JP 2006018031 A JP2006018031 A JP 2006018031A JP 4354959 B2 JP4354959 B2 JP 4354959B2
Authority
JP
Japan
Prior art keywords
error
video frame
error concealment
technique
macroblock
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006018031A
Other languages
English (en)
Other versions
JP2006217595A (ja
Inventor
寧圭 權
光烈 柳
民奎 朴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2006217595A publication Critical patent/JP2006217595A/ja
Application granted granted Critical
Publication of JP4354959B2 publication Critical patent/JP4354959B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01KANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
    • A01K51/00Appliances for treating beehives or parts thereof, e.g. for cleaning or disinfecting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164Feedback from the receiver or from the transmission channel
    • H04N19/166Feedback from the receiver or from the transmission channel concerning the amount of transmission errors, e.g. bit error rate [BER]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/577Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Environmental Sciences (AREA)
  • Animal Husbandry (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Picture Signal Circuits (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)

Description

本発明は、エラー隠匿装置及び方法に係り、より詳細には、エラー発生率によってエラー隠匿技法を選択的に使用できるエラー隠匿装置及び方法に関する。
最近デジタル信号処理技術の発達につれて、制限された帯域幅の伝送チャンネルを通じてさらに多量の動画情報を圧縮、伝送する技術が開発されている。
このうち、MPEG、H.261、H.263などのような動画標準化規格では、チャンネルエラーによる再同期単位として、スライス単位を採択している。
前記スライスは、複数のマクロブロックから形成されており、前記マクロブロックは、16×16サイズのブロックで動き補償符号化の単位をなす。通常的に、普通画像のサイズによって、一つのフレームは複数のスライスを含むために、一つのスライスエラーが発生すれば、他のスライスの情報までを失ってしまう。
この時、動画符号化方式は可変長符号化技法と動き補償符号化技法とを共に利用するが、それは、ビット列のうちいずれか一つのビットでもエラーが発生すれば、相当な部分の画像情報を失うだけでなく、そのような損傷した部分が、以後に続く複数枚のフレームにかけて影響を与え続けるので、デコーダで前記のような符号化過程を経て伝送されたビットストリームを復号化する場合、深刻な画質低下を引き起こす。
このような問題点を解決するために、正常に復元された周辺の情報から失った情報を補完して原画像に近く復旧する多様なエラー隠匿技法が提示されている。
現在多く使われているエラー隠匿技法は、エラーが発生したフレーム内でエラー隠匿を行う空間的エラー隠匿技法と、複数のフレームにかける画像情報を利用して現在フレームに発生したエラーを隠匿する時間的エラー隠匿技法とに大別される。
一般的なデジタルTV受信機は、図1に示すように、受信されるチャンネルからRF復調及びチャンネルデコーディングを行ってデジタルデータを復元するチャンネルデコーダ部10と、チャンネルデコーダ部10で復元されたデジタルデータを逆多重化してビデオ信号及びオーディオ信号と電子プログラムガイドなどのプログラム情報を抽出する逆多重化部20と、ビデオ信号及びオーディオ信号をデコーディングするビデオデコーダ部30及びオーディオデコーダ部40と、プログラム情報をパージングするパーザ50と、デコーディングされたビデオ信号に発生したエラーを検出し、検出されたエラーを隠匿するエラー隠匿部60と、エラーが隠匿されたビデオ信号及び前記パージングされたプログラム情報を出力させるビデオ出力部70と、デコーディングされたオーディオ信号を出力させるオーディオ出力部80と、を備える。
このとき、エラー隠匿部60は、図2に示すように、ビデオデコーダ部30でデコーディングされたビデオ信号からエラーを検出するエラー検出部61と、検出されたエラーを、デコーディングされたビデオ信号の種類によって空間的エラー隠匿技法及び時間的エラー隠匿技法を通じて隠匿する空間的エラー隠匿部62及び時間的エラー隠匿部63とを備える。
ここで、エラー検出部61は、ビデオデコーダ部30でデコーディングされたビットストリームのsyntaxの真偽を判断してエラーを検出するか、または、チャンネルデコーダ部10に受信されたRF信号をデコーディングしつつ発生したデコーディングエラーを通じて検出するか、ビデオデコーダ部30にデコーディングした画像フレーム内の所定マクロブロックと周辺マクロブロックとの違和感程度を通じて検出する。
空間的エラー隠匿部62は、図3Aに示すように、現在画像フレーム91内でエラーが発生したマクロブロック91aに対して、その周辺マクロブロック91b、91c、91dを利用して空間的エラー隠匿を行う。このような空間的エラー隠匿は、主に静止イメージやイントラブロック(Intracoded Block)に適用される。例えば、空間的エラー隠匿部62は、周辺マクロブロック91b、91c、91dのうち正常マクロブロックを前記エラーが発生したマクロブロック91aにコピーしてエラーを隠匿する。
一方、時間的エラー隠匿部63は、現在フレーム以前のフレームでモーションベクトルを利用してエラーを隠匿する。時間的エラー隠匿部63は、図3Bに示すように、現在フレーム92でエラーが発生したマクロブロック92aと同じ位置にある以前フレーム93のマクロブロック93aをコピーしてエラー隠匿を行える。
このような空間的エラー隠匿部62及び時間的エラー隠匿部63は、エラーが発生したマクロブロックを備えるビデオフレーム内に正常マクロブロックが存在するか、エラーが発生したマクロブロックを備えるビデオフレームの以前のビデオフレームに正常マクロブロックが存在していなければならない。
したがって、空間的エラー隠匿部62でエラーを隠匿しようとする時、現在のビデオフレームが深刻に損傷して正常マクロブロックが存在していないか、または、時間的エラー隠匿部63でエラーを隠匿しようとする時、以前のビデオフレームに正常マクロブロックが存在していない場合には、空間的エラー隠匿部62や時間的エラー隠匿部63を通じてエラーを隠匿した場合にも、ビデオフレームにエラーが残留するために、ユーザに最上の画質を提供し難いという問題点がある。
特許文献1は、隣接したブロックとの標準偏差の差が臨界値を超過しているかどうかを判断し、臨界値を超過すればエラー隠匿処理を行い、臨界値を超過していなければエラー隠匿処理をスキップすることを特徴とするビデオデータのエラー発生ブロック処理方法を開示しているが、これは、ビデオデータのエラー隠匿処理のために必要な正常マクロブロックが存在していない場合にエラー隠匿処理を行い難いという問題点がある。
韓国特許出願公開第2004−0089997号公報
本発明は、エラー発生率が非常に高くて正常マクロブロックが存在していないために、空間的エラー隠匿技法及び時間的エラー隠匿技法を通じてビデオフレームに発生したエラーを隠匿し難い場合にも、ビデオフレームに発生したエラーを隠匿できるエラー隠匿装置及び方法を提供するところにその目的がある。
本発明の目的は、以上で言及した目的に制限されず、言及されていない他の目的は以下の記載から当業者に明確に理解されうる。
前記目的を達成するために、本発明の実施形態によるエラー隠匿装置は、ビデオフレームに発生したエラーを検出するエラー検出部と、前記検出されたエラーを隠匿する第1エラー隠匿部及び第2エラー隠匿部と、前記エラー検出結果によって、前記第1エラー隠匿部及び第2エラー隠匿部からエラーが隠匿されたビデオフレームを選択的に出力するビデオ出力部と、を備える。
前記目的を達成するために、本発明の実施形態によるエラー隠匿方法は、ビデオフレームに発生したエラーを検出するステップと、前記検出されたエラーを少なくとも一つ以上のエラー隠匿技法を使用して隠匿するステップと、前記エラー検出結果によって、該当するエラー隠匿技法でエラーが隠匿されたビデオフレームを出力させるステップと、を含む。
その他の実施形態の具体的な事項は詳細な説明及び図面に含まれている。
本発明のエラー隠匿装置及び方法によれば、空間的エラー隠匿技法または時間的エラー隠匿技法を使用してエラーを隠匿し難いほどにエラー発生率が高いビデオフレームに対するエラー隠匿を行える。
本発明の利点及び特徴、そしてこれを達成する方法は添付された図面に基づいて詳細に後述されている実施形態を参照すれば明確になる。しかし、本発明は以下で開示される実施形態に限定されるものではなく、この実施形態から外れて多様な形に具現でき、本明細書で説明する実施形態は本発明の開示を完全にし、本発明が属する技術分野で当業者に発明の範ちゅうを完全に報せるために提供されるものであり、本発明は請求項及び発明の詳細な説明により定義されるだけである。一方、明細書全体にわたって同一な参照符号は同一な構成要素を示す。
以下、添付した図面を参照して本発明の望ましい実施形態について詳細に説明する。
一般的に、ビデオフレームのマクロブロックにエラーが発生した場合、それを検出して発生したエラーを隠匿するための技法として、大きく、空間的エラー隠匿技法と時間的エラー隠匿技法とが使われている。
空間的エラー隠匿技法は、ビデオフレーム内でエラーが発生したマクロブロックの上下または左右に位置したマクロブロックのうち少なくとも一つが正常である場合、エラーが発生したマクロブロックの上下または左右に隣接したマクロブロックをコピーするか、隣接したマクロブロックからピクセル間距離によって双線形補間を行える。
また、時間的エラー隠匿技法は、エラーが発生したマクロブロックと隣接したマクロブロックに対するモーションベクトルが存在している場合、モーションベクトルをエラーが発生したマクロブロックに適用して補間を行える。
参考までに、モーションベクトルは、複数のビデオフレーム間に類似したマクロブロック間の変位量(水平及び垂直変位量)を意味するものであり、時間的エラー隠匿技法で、以前のビデオフレームのどのマクロブロックを、現在のビデオフレームでエラーが発生したマクロブロックにコピーせねばならないかを示す重要な指標となる。このようなモーションベクトルは、一般的に輝度成分を通じて得られ、得られたモーションベクトルを2つに分けて色差信号マクロブロックのモーションベクトルとして使用する。
このような空間的エラー隠匿技法及び時間的エラー隠匿技法は、エラーが発生したマクロブロックに対する補間を行える正常マクロブロックが存在している場合に行われる。したがって、ビデオフレームがひどく損傷して正常マクロブロックを利用した補間を行い難い場合には、空間的エラー隠匿技法及び時間的エラー隠匿技法を通じた補間が行われた以後にも正常なビデオフレームを得られなくなる。
したがって、本発明は、空間的エラー隠匿技法及び時間的エラー隠匿技法を利用した補間を行って正常なビデオフレームを得られない状況でもエラーを隠匿できるエラー隠匿装置に係り、図4は、本発明の実施形態によるエラー隠匿装置を図示している。
図示されたように、本発明の実施形態によるエラー隠匿装置100は、ビデオフレームに発生したエラーを検出するエラー検出部110と、エラー検出結果によってエラー隠匿を行う第1エラー隠匿部120及び第2エラー隠匿部130と、検出されたエラーによって第1エラー隠匿部120及び第2エラー隠匿部130からエラーが隠匿されたビデオフレームを選択的に出力するビデオ出力部140と、を備えられる。
ビデオフレームは複数のマクロブロックから形成されており、エラー検出部110は、所定マクロブロックに対する周辺マクロブロックとの違和感程度を通じてエラーの発生如何を検出できる。例えば、所定マクロブロックと周辺マクロブロックとの輝度、明暗及び色相などの差が急激に変化された場合に違和感が発生したと判断し、該当マクロブロックにエラーが発生したと判断できる。
また、エラー検出部110は、ビデオフレームでエラーが発生したマクロブロックをカウントし、カウントされた値と事前指定されたカウント値とを比較する。
以下、事前指定されたカウント値を’第1カウント値’と称し、エラー検出部110によりカウントされた値を’第2カウント値’と称する。このとき、第1カウント値と第2カウント値との比較結果は、後述するビデオ出力部140から出力するビデオフレームを選択する基準として使われうる。
第1エラー隠匿部120は、既存のエラー隠匿技法を通じてビデオフレームに発生したエラーを隠匿できる。例えば、第1エラー隠匿部120は、前述した空間的エラー隠匿技法または時間的エラー隠匿技法を通じて、ビデオフレームに発生したエラーを隠匿する。
第2エラー隠匿部130は、エラーが発生したビデオフレームを除去し、除去されたビデオフレームの前後のビデオフレームを通じて、エラーが発生したビデオフレームを再構成してエラーを隠匿できる。例えば、第2エラー隠匿部130は、所定の連続した2つのビデオフレームにエラーが発生した場合、エラーが発生した2つのビデオフレームを除去し、除去されたビデオフレームの前後のビデオフレーム間のモーションベクトルを通じて除去された2つのビデオフレームを再構成する。このような第2エラー隠匿部130は、前述した空間的エラー隠匿技法または時間的エラー隠匿技法を通じてエラーを隠匿した場合にも、ビデオフレームにエラーが存在している場合、エラーが発生したビデオフレームを除去して再構成することによって、既存のエラー隠匿技法で隠匿し難いエラーが存在しているビデオフレームのエラーも隠匿できるようになる。
ビデオ出力部140は、前述したエラー検出部110の比較結果によって、第1エラー隠匿部120及び第2エラー隠匿部130からエラーが隠匿されたビデオフレームを選択的に出力できる。言い換えれば、前述したエラー検出部110でカウントした第2カウント値が第1カウント値より小さな場合には、第1エラー隠匿部120からエラーが隠匿されたビデオフレームを出力し、そうでない場合には、第2エラー隠匿部130からエラーが隠匿されたビデオフレームを出力させる。
具体的に、第2カウント値が第1カウント値より大きい場合には、ビデオフレームにエラーが発生したマクロブロックの数が基準値となる第1カウント値を超過したことであり、既存の空間的エラー隠匿技法または時間的エラー隠匿技法を通じたエラー隠匿により正常なビデオフレームを得難いということを意味する。一方、第2カウント値が第1カウント値より小さな場合には、ビデオフレームにエラーが発生したマクロブロックの数が第1カウント値より小さなことであり、既存の空間的エラー隠匿技法または時間的エラー隠匿技法でも十分にエラーが隠匿できるということを意味する。
前記のように構成される本発明の実施形態によるエラー隠匿装置の動作を説明すれば、次の通りである。
図5は、本発明の実施形態によるエラー隠匿方法が図示された図面である。
図示されたように、まず、エラー検出部110でビデオフレームからエラーが検出されれば(S110)、エラー検出部110は、エラーが発生したマクロブロックの数をカウントする(S120)。このとき、カウントされたマクロブロックの数は前述した第2カウント値から分かる。
また、エラーが検出されれば、第1エラー隠匿部120及び第2エラー隠匿部130は、該当するエラー隠匿技法を使用して検出されたエラーに対する隠匿を行う(S130)。言い換えれば、エラーが検出されれば、第1エラー隠匿部120は、空間的エラー隠匿技法または時間的エラー隠匿技法を通じてエラー隠匿を行い、第2エラー隠匿部130は、エラーが発生したビデオフレームを除去し、除去されたビデオフレームを再構成するエラー隠匿を行う。
このとき、第2エラー隠匿部130により再構成されるビデオフレームの各ピクセルIは、式(1)の通りである。
Figure 0004354959
式(1)で、I(p,t)は、t時間にp位置にあるピクセル、mvは、除去されたビデオフレームの前後のビデオフレームから計算されたモーションベクトル、τは、第2エラー隠匿部130により再構成されたビデオフレームのスケール範囲、wは、除去されたビデオフレームの再構成時参照する前後のビデオフレームに対する加重値である。
具体的に、第2エラー隠匿部130により現在再構成されるビデオフレームのピクセルは、I(p,t+τ)と表され、τは、0ないし1間の値を持つことができる。このとき、τとしてそれぞれ0及び1を持つビデオフレームは、第2エラー隠匿部130により除去されたビデオフレームの前後のビデオフレームに所定の順序によって割り当てられうる。例えば、4つのビデオフレームのうち2番目及び3番目のビデオフレームにエラーが発生して除去された場合、最初のビデオフレームのτは、0が割り当てられ、最後のビデオフレームのτは、1が割り当てられる。このとき、2番目のビデオフレームと3番目のビデオフレームとのτは、それぞれ1/3と2/3とが割り当てられる。一方、逆に最後のフレームのτは0が割り当てられ、最初のビデオフレームのτは1が割り当てられる。このとき、3番目のビデオフレームと2番目のフレームとのτは、それぞれ1/3と2/3とが割り当てられることもある。言い換えれば、τは、除去されたビデオフレームと、除去されたビデオフレームの再構成時に参照されるビデオフレームとの間に時間的に離れた割合で理解される。
本発明の実施形態では、最初ビデオフレームのτが0であり、最後のビデオフレームのτが1であり、2番目のビデオフレームと3番目のビデオフレームとのτは、それぞれ1/3と2/3とが割り当てられた場合を例として説明する。
具体的に、図6に示すように、2番目のビデオフレーム220にエラーが発生して再構成する場合、前述した式(1)は、I(p,t+1/3)=w*I(p−1/3)*mv,t)+(1−w)*I(p+2/3*mv,t+1)となりうる。ここで、wは、2番目のビデオフレーム220を再構成する時に最初のビデオフレーム210と最後のビデオフレーム240とにそれぞれ付与される加重値であり、2番目のビデオフレーム220の再構成時にどのビデオフレームの成分が多く含まれるように構成するかを決定できる。例えば、wが1/2である場合、最初のビデオフレーム210及び最後のビデオフレーム240の成分が均等に含まれ、w=τの場合には、再構成するビデオフレームと参照されるビデオフレームとの時間的な差によって加重値が可変するので、再構成されるビデオフレームのグラデーション効果が発生する。3番目のビデオフレーム230も、前述した2番目のビデオフレーム220を再構成する過程と類似した過程を通じて再構成されうる。具体的に、3番目のビデオフレーム230にエラーが発生して再構成される場合、前述した式(1)は、I(p,t+2/3)=w*I(p−2/3)*mv,t)+(1−w)*I(p+1/3*mv,t+1)になりうる。
次いで、エラー検出部110は、エラーが発生したマクロブロックの数と事前指定された第1カウント値とを比較する(S140)。言い換えれば、エラー検出部110は、ビデオ出力部140で出力するビデオフレームを選択できるように第1カウント値と第2カウント値とを比較して、相互間の大小関係を判断する。
エラー検出部110の比較結果によって、第2カウント値が第1カウント値より大きい場合、ビデオ出力部140は、第2エラー隠匿部130からエラーが隠匿されたビデオフレームを出力させる(S150)。
もし、エラー検出部110の比較結果によって、第2カウント値が第1カウント値より小さな場合、ビデオ出力部140は、第1エラー隠匿部120からエラーが隠匿されたビデオフレームを出力させる(S160)。
したがって、ビデオ出力部140は、ビデオフレームにエラーが発生したマクロブロックの数によってエラーを隠匿した技法を選択的に使用するために、ビデオフレームにエラーがひどく発生して既存の空間的エラー隠匿技法または時間的エラー隠匿技法を通じてエラーの隠匿が困難である場合、第2エラー隠匿部130から隠匿されたビデオフレームを選択して出力するためにユーザに最上の画質を提供できる。
このようなエラー隠匿方法によりエラーが隠匿される過程を、図7ないし図9を通じてさらに詳細に説明する。このとき、本発明の実施形態では連続的な4つのビデオフレームでエラーが発生した場合を例として説明する。
正常なビデオフレームの場合、図7に示すように、第1ないし第4ビデオフレーム210、220、230、240から形成される。本発明の実施形態によるエラー隠匿方法では、4個のビデオフレームのうち2つのビデオフレームでエラーが発生した場合を例として説明しているが、これに限定されるものではない。
前述した図7で、第2及び第3ビデオフレーム220、230でエラーが発生した場合、本発明の実施形態によるエラー隠匿装置110のエラー検出部110は発生したエラーを検出し、エラーが発生したマクロブロックをカウントした第2カウント値を事前指定された第1カウント値と比較する。
以後、第1エラー隠匿部120及び第2エラー隠匿部130では、エラーが発生した第2及び第3ビデオフレーム220、230に対してエラー隠匿を行う。本発明の実施形態によるエラー隠匿方法では、第2カウント値が第1カウント値より大きい場合、言い換えれば、既存の空間的エラー隠匿技法または時間的エラー隠匿技法でエラーを隠匿し難い場合を例として説明する。
このように、第2カウント値が第1カウント値より大きい場合、既存の空間的エラー隠匿技法または時間的エラー隠匿技法を使用してエラーを隠匿するにはビデオフレームのエラー発生率が非常に高く、第1エラー隠匿部120を通じてエラーを隠匿する場合には、図8に示すように、エラーを隠匿した場合にも、第2及び第3ビデオフレーム220、230に発生したエラーが完全に隠匿されず、正常なビデオフレームが現れない。
一方、第2エラー隠匿部130では、エラーが発生した第2及び第3ビデオフレーム220、230を除去し、第1ビデオフレーム210と第4ビデオフレーム240との間のモーションベクトルを参照して第2及び第3ビデオフレーム220、230を再構成するので、図9に示すように、前述した図6の正常なビデオフレームで発生したエラーを隠匿してユーザに最上の画質を提供できる。
また、本発明の実施形態による第1エラー隠匿部120及び第2エラー隠匿部130は、前述したように、エラー検出部110でエラーが検出されれば、同時にエラー隠匿を行ってもよく、エラー検出部110の比較結果によって選択的に動作してもよい。
以上、本発明によるエラー隠匿装置及び方法を例示された図面を参照して説明したが、本発明は前記実施形態に限定されず、本発明の技術的要旨を外れない範囲内で当業者により多様に変形実施されることができる。
本発明は、エラー隠匿装置の関連技術分野に好適に用いられる。
一般的なデジタルTV受信機を示す図面である。 図1のエラー隠匿部を示す図面である。 一般的な空間的エラー隠匿技法を示す図面である。 一般的な時間的エラー隠匿技法を示す図面である。 本発明の実施形態によるエラー隠匿装置を示す図面である。 本発明の実施形態によるエラー隠匿方法を示す図面である。 本発明の実施形態による第2エラー隠匿部にエラーが隠匿される過程を示す図面である。 本発明の実施形態による正常なビデオフレームを示す図面である。 本発明の実施形態による第1エラー隠匿部でエラーが隠匿されたビデオフレームを示す図面である。 本発明の実施形態による第2エラー隠匿部でエラーが隠匿されたビデオフレームを示す図面である。
符号の説明
110 エラー検出部
120 第1エラー隠匿部
130 第2エラー隠匿部
140 ビデオ出力部

Claims (4)

  1. マクロブロック単位でフレーム間動き補償符号化を施された符号化ストリームを入力し、ビデオフレーム内でエラーが発生したマクロブロックカウントし、カウントされた第2カウント値と事前指定された第1カウント値とを比較し、比較結果を出力するエラー検出部と、
    第1エラー隠匿技法を使用して前記ビデオフレームのエラーを隠匿する第1エラー隠匿部と、
    第2エラー隠匿技法を使用して前記ビデオフレームのエラーを隠匿する第2エラー隠匿部と、
    前記比較結果によって、前記第2カウント値が前記第1カウント値より小さい場合には、前記第1エラー隠匿部によってエラーが隠匿されたビデオフレームを出力し、そうでない場合には、前記第2エラー隠匿部によってエラーが隠匿されたビデオフレームを出力するビデオ出力部と、を備え、
    記第1エラー隠匿技法は、エラーが発生したマクロブロックの周辺のマクロブロックのうち正常なマクロブロックをコピーしてエラーを隠匿する空間的エラー隠匿技法またはエラーが発生したマクロブロックと同じ位置にある前のビデオフレームのマクロブロックをコピーしてエラーを隠匿する時間的エラー隠匿技法であり
    前記第2エラー隠匿技法は、エラーが発生したビデオフレームを除去し、前記除去されたビデオフレームの前後のビデオフレーム間のモーションベクトルを時間軸方向に外挿して前記除去されたビデオフレームを再構成する技法であるエラー隠匿装置。
  2. 前記第2エラー隠匿部により再構成されるビデオフレームのピクセル値Iは、I(p,t+τ)=w*I(p−τ*mv,t)+(1−w)*I(p+(1−τ)*mv,t+1)により求められ、前記I(p,t)は、t時間にp位置にあるピクセル値、mvは、除去されたビデオフレームの前後のビデオフレームから計算されたモーションベクトル、τは、前記第2エラー隠匿部により再構成されたビデオフレームのスケール範囲、wは、除去されたビデオフレームの再構成時に参照する前後のビデオフレームに対する加重値である請求項1に記載のエラー隠匿装置。
  3. マクロブロック単位でフレーム間動き補償符号化を施された符号化ストリームを入力し、ビデオフレーム内でエラーが発生したマクロブロックカウントし、カウントされた第2カウント値と事前指定された第1カウント値とを比較し、比較結果を出力するステップと、
    第1エラー隠匿技法を使用して前記ビデオフレームのエラーを隠するとともに、第2エラー隠匿技法を使用して前記ビデオフレームのエラーを隠匿するステップと、
    前記比較結果によって、前記第2カウント値が前記第1カウント値より小さい場合には、前記第1エラー隠匿技法によってエラーが隠匿されたビデオフレームを出力し、そうでない場合には、前記第2エラー隠匿技法によってエラーが隠匿されたビデオフレームを出力るステップと、を含み、
    第1エラー隠匿技法は、エラーが発生したマクロブロックの周辺のマクロブロックのうち正常なマクロブロックをコピーしてエラーを隠匿する空間的エラー隠匿技法またはエラーが発生したマクロブロックと同じ位置にある前のビデオフレームのマクロブロックをコピーしてエラーを隠匿する時間的エラー隠匿技法であり
    前記第2エラー隠匿技法は、エラーが発生したビデオフレームを除去し、前記除去されたビデオフレームの前後のビデオフレーム間のモーションベクトルを時間軸方向に外挿して前記除去されたビデオフレームを再構成する技法であるエラー隠匿方法。
  4. 前記再構成されるビデオフレームのピクセル値Iは、I(p,t+τ)=w*I(p−τ*mv,t)+(1−w)*I(p+(1−τ)*mv,t+1)により求められ、前記I(p,t)は、t時間にp位置にあるピクセル値、mvは、除去されたビデオフレームの前後のビデオフレームから計算されたモーションベクトル、τは、前記第2エラー隠匿部により再構成されたビデオフレームのスケール範囲、wは、除去されたビデオフレームの再構成時に参照する前後のビデオフレームに対する加重値である請求項3に記載のエラー隠匿方法。
JP2006018031A 2005-02-02 2006-01-26 エラー隠匿装置及び方法 Expired - Fee Related JP4354959B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20050009597A KR100755688B1 (ko) 2005-02-02 2005-02-02 에러 은닉 장치 및 방법

Publications (2)

Publication Number Publication Date
JP2006217595A JP2006217595A (ja) 2006-08-17
JP4354959B2 true JP4354959B2 (ja) 2009-10-28

Family

ID=36406666

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006018031A Expired - Fee Related JP4354959B2 (ja) 2005-02-02 2006-01-26 エラー隠匿装置及び方法

Country Status (6)

Country Link
US (1) US8135076B2 (ja)
EP (1) EP1689196B1 (ja)
JP (1) JP4354959B2 (ja)
KR (1) KR100755688B1 (ja)
CN (1) CN100471282C (ja)
DE (1) DE602006003238D1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2898459B1 (fr) * 2006-03-08 2008-09-05 Canon Kk Procede et dispositif de reception d'images ayant subi des pertes en cours de transmission
CN101155311B (zh) * 2006-09-27 2012-09-05 中兴通讯股份有限公司 一种视频通信中的视频码流错误检测和处理方法
KR100827152B1 (ko) * 2006-10-20 2008-05-02 삼성전자주식회사 Nal 유닛 에러 검출을 위한 효율적인 h.264 복호 방법및 장치
KR20090000501A (ko) * 2007-06-28 2009-01-07 삼성전자주식회사 Gop의 재구성을 통한 화질 개선 방법 및 장치
US8265171B2 (en) * 2008-02-26 2012-09-11 Richwave Technology Corp. Error resilient video transmission using instantaneous receiver feedback and channel quality adaptive packet retransmission
FR2934453B1 (fr) 2008-07-22 2010-10-15 Canon Kk Procede et dispositif de masquage d'erreurs
US20100080305A1 (en) * 2008-09-26 2010-04-01 Shaori Guo Devices and Methods of Digital Video and/or Audio Reception and/or Output having Error Detection and/or Concealment Circuitry and Techniques
TWI386868B (zh) * 2009-01-17 2013-02-21 Himax Tech Ltd 使用內容調適懲罰函數的移動偵測方法
TWI403977B (zh) * 2009-02-10 2013-08-01 Himax Tech Ltd 使用鄰近像素移動資訊的移動偵測方法
KR101507243B1 (ko) * 2013-10-28 2015-03-30 조선대학교산학협력단 오류 은닉 기법의 선택적 적용을 이용하는 svc의 복호화 방법 및 이를 이용한 svc의 복호화 시스템

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE441643B (sv) * 1983-02-08 1985-10-28 Innova Ab Suturinstrument
GB2163619A (en) 1984-08-21 1986-02-26 Sony Corp Error concealment in digital television signals
EP0232417B1 (de) 1985-10-02 1991-11-06 Deutsche Thomson-Brandt GmbH Verfahren zur korrektur von übertragungsfehlern
US4899746A (en) * 1988-04-28 1990-02-13 Brunk Industries, Inc. Suturing apparatus
KR0125581B1 (ko) 1991-07-24 1998-07-01 구자홍 디지탈 영상신호의 에러수정 시스템
US5306281A (en) * 1992-08-31 1994-04-26 Merrimac Industries, Inc. Suturing cassette device
JP4083265B2 (ja) 1997-10-07 2008-04-30 株式会社日立製作所 画像信号の方式変換方法および装置
GB2343321B (en) 1998-11-02 2003-03-26 Nokia Mobile Phones Ltd Error concealment in a video signal
KR100587280B1 (ko) * 1999-01-12 2006-06-08 엘지전자 주식회사 오류 은폐방법
WO2002071640A1 (en) * 2001-03-05 2002-09-12 Intervideo, Inc. Systems and methods for encoding and decoding redundant motion vectors in compressed video bitstreams
US7428684B2 (en) * 2002-04-29 2008-09-23 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Device and method for concealing an error
EP1361759A1 (en) 2002-05-10 2003-11-12 Canal+ Technologies Société Anonyme System and method of providing media content
US20060222330A1 (en) 2003-03-11 2006-10-05 Lankford Douglas E Content protection for digital recording
KR100574862B1 (ko) 2003-04-16 2006-04-27 엘지전자 주식회사 영상 데이터의 에러 발생 블럭 처리 방법 및 장치
JP3793171B2 (ja) 2003-04-25 2006-07-05 株式会社東芝 受信装置、受信システム、受信方法
KR100640498B1 (ko) 2003-09-06 2006-10-30 삼성전자주식회사 프레임의 오류 은닉 장치 및 방법
US7738561B2 (en) * 2004-11-16 2010-06-15 Industrial Technology Research Institute MPEG-4 streaming system with adaptive error concealment
US7885339B2 (en) * 2004-11-17 2011-02-08 Microsoft Corporation Bi-directional temporal error concealment

Also Published As

Publication number Publication date
KR20060088675A (ko) 2006-08-07
JP2006217595A (ja) 2006-08-17
US20060171475A1 (en) 2006-08-03
DE602006003238D1 (de) 2008-12-04
EP1689196B1 (en) 2008-10-22
US8135076B2 (en) 2012-03-13
EP1689196A2 (en) 2006-08-09
CN1816159A (zh) 2006-08-09
EP1689196A3 (en) 2006-10-11
CN100471282C (zh) 2009-03-18
KR100755688B1 (ko) 2007-09-05

Similar Documents

Publication Publication Date Title
JP4354959B2 (ja) エラー隠匿装置及び方法
US5724369A (en) Method and device for concealment and containment of errors in a macroblock-based video codec
KR100927967B1 (ko) 공간 샤프니스 향상 기술들을 사용하는 공간 스케일가능압축 체계
US20030012286A1 (en) Method and device for suspecting errors and recovering macroblock data in video coding
Apostolopoulos Error-resilient video compression via multiple state streams
JP2004533143A (ja) 画像の時空間チャネル
EP1987492A2 (en) Reduction of compression artefacts in displayed images, analysis of encoding parameters
JP2008219876A (ja) 動画像符号化装置、動画像符号化方法、及び、動画像復号化装置
KR100720841B1 (ko) 블록 효과 감소를 위해 필터링 단계를 사용한 비디오 복호화 장치 및 방법
KR100556450B1 (ko) 움직임 벡터 추정에 의한 오류 복원 방법
EP1396154B1 (en) Error concealment method and device
KR20050076155A (ko) 영상 프레임의 에러 은닉 장치 및 방법
US20060133472A1 (en) Spatial scalable compression
US6489995B1 (en) Method and apparatus for motion vector concealment
KR100994947B1 (ko) 비디오 코딩
JPH11275590A (ja) 画像間圧縮符号化装置および符号化方法
JP2005109918A (ja) 画像データへの秘匿データ挿入方式、秘匿データ検出方式および秘匿データが挿入された画像データの表示方式
JPH06233266A (ja) 映像符号化装置および映像復号化装置
Frater et al. Error concealment in video coding of arbitrarily shaped objects
JP4794711B2 (ja) エラー隠蔽制御方法及び符号化装置及び画像信号伝送システム
KR20030033123A (ko) 주변 화소의 표본들을 이용한 에러 은닉 장치 및 방법
KR20000002778A (ko) 영상 신호 복호시의 움직임 정보를 이용한 3차원 신호처리장치
JP2011129979A (ja) 画像処理装置
US20050259750A1 (en) Method and encoder for encoding a digital video signal
EP1387587A1 (en) Image encoder and decoder with error concealment of motion vector losses

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080520

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080820

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090310

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090604

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090630

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090730

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120807

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130807

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees