JP4815107B2 - カラー平面間予測を利用した無損失映像符号化/復号化方法及び装置 - Google Patents

カラー平面間予測を利用した無損失映像符号化/復号化方法及び装置 Download PDF

Info

Publication number
JP4815107B2
JP4815107B2 JP2004210206A JP2004210206A JP4815107B2 JP 4815107 B2 JP4815107 B2 JP 4815107B2 JP 2004210206 A JP2004210206 A JP 2004210206A JP 2004210206 A JP2004210206 A JP 2004210206A JP 4815107 B2 JP4815107 B2 JP 4815107B2
Authority
JP
Japan
Prior art keywords
residue
prediction
component
color
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004210206A
Other languages
English (en)
Other versions
JP2005039841A (ja
Inventor
祐 ▲是▼ 金
大 星 趙
鉉 文 金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority claimed from KR1020040055370A external-priority patent/KR100718122B1/ko
Publication of JP2005039841A publication Critical patent/JP2005039841A/ja
Application granted granted Critical
Publication of JP4815107B2 publication Critical patent/JP4815107B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N11/00Colour television systems
    • H04N11/04Colour television systems using pulse code modulation
    • H04N11/042Codec means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/109Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/147Data rate or code amount at the encoder output according to rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Color Television Systems (AREA)

Description

本発明は無損失映像符号化/復号化方法及び装置に係り、さらに詳細にはカラー平面成分間で重複される情報を効果的に除去して符号化し、これを復号化するためのカラー平面間予測を利用した無損失映像符号化/復号化方法及び装置に関する。
カラー座標系には多種があるが、その中で基本になる座標系としてRGB座標系が挙げられる。既存のカラー映像圧縮では、ある映像内で各カラー成分を独立的に考慮して各平面内部で予測符号化を行って圧縮した。それぞれの成分を独立的に符号化すれば、カラー成分相互間に残っている相関関係を利用できないので符号化効率が落ちる。代表的なものとして最近標準化が進行中であるISO/IEC MPEG及びITU−T VCEGのJoint Video Team(JVT)のH.264/MPEG−4 pt.10 AVC標準化技術(例えば、非特許文献1を参照)が挙げられる。この標準技術では、動映像を圧縮する時に各カラー成分を独立的に考慮して空間上の予測または動き上の予測を行う。
「Text of ISO/IEC FDIS 14496−10:Information Technology−Coding of audio−visual objects−Part 10:Advanced Video Coding」,ISO/IEC JTC 1/SC 29/WG 11,N5555,March,2003
本発明がなそうとする技術的課題は、動きまたは空間予測符号化を行った後、再びそれぞれのカラー映像成分のレジデュ間予測符号化を行って圧縮効率を高め、また変換及び量子化過程を行わずに無損失に圧縮できるカラー平面間予測を利用した無損失映像符号化/復号化方法及び装置を提供することである。
前記技術的課題を達成するための本発明による一実施例としての無損失映像符号化装置は、相異なるカラー間のレジデュ予測を使用してカラー映像を無損失に符号化する装置において、以前映像と現在映像間に所定サイズのブロック単位で動きを推定し、該当する予測映像を出力する動き予測映像生成部と、前記カラー映像の相異なるそれぞれの成分に対し、前記動き予測映像生成部の予測映像と現在映像の該当ブロックとの差に該当する時間レジデュを生成するレジデュ生成部と、前記レジデュ生成部から出力される前記カラー映像成分の相異なるそれぞれの成分のうち1つのレジデュを線形変換した値を予測子に決め、他の成分のレジデュと前記予測子との差を利用して予測レジデュを生成する予測レジデュ生成部と、前記カラー映像のうち前記予測子を形成するレジデュを前記レジデュ生成部から受信し、前記予測レジデュを前記予測レジデュ生成部から受信してエントロピ符号化してビットストリームを生成するエントロピ符号化部とを含むことを特徴とする。
前記技術的課題を達成するための本発明による他の一実施例としての無損失映像符号化装置は、相異なるカラー間のレジデュ予測を使用してカラー映像を無損失に符号化する装置において、現在映像の画素ブロックと空間的に近接した画素から予測方向を推定し、該当する予測映像を空間予測映像生成部と、前記カラー映像の相異なるそれぞれの成分に対し、前記空間予測映像生成部の予測映像と現在映像の該当ブロックとの差に該当する空間レジデュを生成するレジデュ生成部と、前記レジデュ生成部から出力される前記カラー成分の相異なるそれぞれの成分のうち1つのレジデュを線形変換した値を予測子に決め、他の成分のレジデュと前記予測子との差を利用して予測レジデュを生成する予測レジデュ生成部と、前記カラー映像のうち前記予測子を形成するレジデュを前記レジデュ生成部から受信し、前記予測レジデュを前記予測レジデュ生成部から受信してエントロピ符号化してビットストリームを生成するエントロピ符号化部とを含むことを特徴とする。
前記技術的課題を達成するための本発明によるさらに他の一実施例としての無損失映像符号化装置は、相異なるカラー間のレジデュ予測を使用してカラー映像を無損失に符号化する装置において、以前映像と現在映像間に所定サイズのブロック単位で動きを推定し、該当する予測映像を出力する動き予測映像生成部と、現在映像の画素ブロックと空間的に近接した画素から予測方向を推定し、該当する予測映像を空間予測映像生成部と、インターモードならば前記動き予測映像生成部の映像と共に現在映像の該当ブロックとの差に該当する時間レジデュを生成し、イントラモードならば前記空間予測映像生成部の映像と現在映像の該当ブロックとの差に該当する空間レジデュを生成するレジデュ生成部と、前記レジデュ生成部からインターモードならば前記時間レジデュを、イントラモードならば前記空間レジデュを入力され、前記カラー成分の相異なるそれぞれの成分のうち1つのレジデュを線形変換した値を予測子に決め、他の成分のレジデュと前記予測子との差を利用して予測レジデュを生成する予測レジデュ生成部と、前記カラー映像のうち前記予測子を形成するレジデュを前記レジデュ生成部から受信し、前記予測レジデュを前記予測レジデュ生成部から受信してエントロピ符号化してビットストリームを生成するエントロピ符号化部とを含むことを特徴とする。
前記技術的課題を達成するための本発明による一実施例としての無損失映像符号化方法は、相異なるカラー間のレジデュ予測を使用してカラー映像を無損失に符号化する方法において、(a)以前映像と現在映像間に所定サイズのブロック単位で動きを推定し、該当する予測映像を出力する動きを予測する段階と、(b)前記カラー映像の相異なるそれぞれの成分に対し、前記動き予測段階で出力される予測映像と現在映像の該当ブロックとの差に該当する時間レジデュを生成する段階と、(c)前記時間レジデュを求める段階で出力される前記カラー成分の相異なるそれぞれの成分のうち1つのレジデュを線形変換した値を予測子に決め、他の成分の時間レジデュと前記予測子との差を利用して予測レジデュを生成する段階と、(d)前記カラー映像のうち前記予測子を形成するレジデュを前記時間レジデュを求める段階から受信し、他の成分の前記予測レジデュを前記予測レジデュ生成部から受信してエントロピ符号化してビットストリームを生成する段階とを含むことを特徴とする。
前記技術的課題を達成するための本発明による他の一実施例としての無損失映像符号化方法は、相異なるカラー間のレジデュ予測を使用してカラー映像を無損失に符号化する方法において、(a)前記現在映像の画素ブロックと空間的に近接した画素から予測方向を推定し、該当する予測映像を出力する空間を予測する段階と、(b)前記カラー映像の相異なるそれぞれの成分に対し、前記空間を予測する段階で出力される予測映像と現在映像の該当ブロックとの差に該当する空間レジデュを生成する段階と、(c)前記空間レジデュを生成する段階で出力される前記カラー成分の相異なるそれぞれの成分のうち1つのレジデュを線形変換した値を予測子に決め、他の成分のレジデュと前記予測子との差を利用して予測レジデュを生成する段階と、(d)前記空間レジデュを生成する段階から前記カラー映像のうち前記予測子を形成する空間レジデュを受信し、他の成分の前記予測レジデュを前記予測レジデュ生成部から受信してエントロピ符号化してビットストリームを生成するエントロピ符号化段階とを含むことを特徴とする。
前記技術的課題を達成するための本発明による、さらに他の一実施例としての無損失映像符号化方法は、相異なるカラー間のレジデュ予測を使用してカラー映像を無損失に符号化する方法において、(a)インターモードであるかイントラモードであるかを判断するモード判断段階と、(b)前記モード判断段階でインターモードであると判断されれば、以前映像と現在映像間に所定サイズのブロック単位で動きを推定し、該当する予測映像を出力する動きを予測する段階と、(c)前記カラー映像の相異なるそれぞれの成分に対し、前記動き予測段階で出力される予測映像と現在映像の該当ブロックとの差に該当する時間レジデュを生成する段階と、(d)前記時間レジデュを求める段階で出力される前記カラー成分の相異なるそれぞれの成分のうち1つのレジデュを線形変換した値を予測子に決め、他の成分の時間レジデュと前記予測子との差を利用して予測レジデュを生成する段階と、(e)前記カラー映像のうち前記予測子を形成するレジデュを前記時間レジデュを求める段階から受信し、他の成分の前記予測レジデュを前記予測レジデュ生成部から受信してエントロピ符号化してビットストリームを生成する段階と、(b’)前記モード判断段階でイントラモードであると判断されれば、前記現在映像の画素ブロックと空間的に近接した画素から予測方向を推定し、該当する予測映像を出力する空間を予測する段階と、(c’)前記カラー映像の相異なるそれぞれの成分に対し、前記空間を予測する段階で出力される予測映像と現在映像の該当ブロックとの差に該当する空間レジデュを生成する段階と、(d’)前記空間レジデュを生成する段階で出力される前記カラー成分の相異なるそれぞれの成分のうち1つのレジデュを線形変換した値を予測子に決め、他の成分のレジデュと前記予測子との差を利用して予測レジデュを生成する段階と、(e’)前記空間レジデュを生成する段階から前記カラー映像のうち前記予測子を形成する空間レジデュを受信し、他の成分の前記予測レジデュを前記予測レジデュ生成部から受信してエントロピ符号化してビットストリームを生成するエントロピ符号化段階とを含むことを特徴とする。
前記技術的課題を達成するための本発明による一実施例としての無損失映像復号化装置は、無損失に符号化されたカラー映像を復号化する装置において、時間的に動き補償した予測映像を生成する動き補償部と、前記無損失に符号化されたカラー映像のビットストリームを復号化する場合に、前記カラー映像成分のビットストリームが無損失映像符号化装置から予測子に決まったカラー映像成分である場合には復元された予測子成分レジデュを生成し、前記無損失映像符号化装置から予測子に決まっていないカラー映像成分である場合には復元された予測レジデュを生成するエントロピ復号化部と、前記エントロピ復号化部で生成された復元された予測子成分レジデュを線形変換し、前記線形変換した値と前記エントロピ復号化部で生成された復元された予測レジデュとを加えて復元されたレジデュを生成する予測レジデュ補償部と、前記予測レジデュ補償部で生成された復元された予測子成分レジデュそれぞれに対して前記予測映像を加えて原映像を生成する原映像生成部とを含むことを特徴とする。
前記技術的課題を達成するための本発明による他の一実施例としての無損失映像復号化装置は、無損失に符号化されたカラー映像を復号化する装置において、空間的に近接した画素から予測方向を推定して得た予測映像を生成する空間予測部と、前記無損失に符号化されたカラー映像のビットストリームを復号化する場合に前記カラー映像成分のビットストリームが無損失映像符号化装置から予測子に決まったカラー映像成分である場合には復元された予測子成分レジデュを生成し、前記無損失映像符号化装置から予測子に決まっていないカラー映像成分である場合には復元された予測レジデュを生成するエントロピ復号化部と、前記エントロピ復号化部で生成された復元された予測子成分レジデュを線形変換し、前記線形変換した値と前記エントロピ復号化部で生成された復元された予測レジデュとを加えて復元されたレジデュを生成する予測レジデュ補償部と、前記予測レジデュ補償部で生成された復元されたレジデュと前記エントロピ復号化部で生成された復元された成分のレジデュそれぞれに前記予測映像を加えて原映像を生成する原映像生成部とを含むことを特徴とする。
前記技術的課題を達成するための本発明による、さらに他の一実施例としての無損失映像復号化装置は、無損失に符号化されたカラー映像を復号化する装置において、空間的に近接した画素から予測方向を推定して得た予測映像を生成する空間予測部と、前記無損失に符号化されたカラー映像のビットストリームを復号化する場合に前記カラー映像成分のビットストリームが無損失映像符号化装置から予測子に決まったカラー映像成分である場合には復元された予測子成分レジデュを生成し、前記無損失映像符号化装置から予測子に決まっていないカラー映像成分である場合には復元された予測レジデュを生成するエントロピ復号化部と、前記エントロピ復号化部で生成された復元された予測子成分レジデュを線形変換し、前記線形変換した値と前記エントロピ復号化部で生成された復元された予測レジデュとを加えて復元されたレジデュを生成する予測レジデュ補償部と、前記予測レジデュ補償部で生成された復元されたレジデュと前記エントロピ復号化部で生成された復元された成分のレジデュそれぞれに前記予測映像を加えて原映像を生成する原映像生成部とを含むことを特徴とする。
前記技術的課題を達成するための本発明による他の一実施例としての無損失映像復号化方法は、無損失に符号化されたカラー映像を復号化する方法において、(a)時間的に動き補償した予測映像を生成する段階と、(b)前記無損失に符号化されたカラー映像のビットストリームを復号化して前記カラー映像のそれぞれの成分のうち1つの復元された成分のレジデュと前記カラー映像の他の成分が復元された予測レジデュとを生成するエントロピ復号化段階と、(c)前記エントロピ復号化段階で復元された成分のレジデュを線形変換する段階と、(d)前記(c)段階で線形変換された値と前記復元された予測レジデュとを加えて変換されていない成分の復元されたレジデュを生成する予測レジデュ補償段階と、
(e)前記予測レジデュ補償段階で生成された前記復元されたレジデュと前記エントロピ復号化段階で生成された復元された成分のレジデュそれぞれに前記予測映像を加えて原映像を復元する段階とを含むことを特徴とする。
前記技術的課題を達成するための本発明による他の一実施例としての無損失映像復号化方法は、無損失に符号化されたカラー映像を復号化する方法において、(a)空間的に近接した画素から予測方向を推定して得た予測映像を生成する段階と、(b)前記無損失に符号化されたカラー映像のビットストリームを復号化して前記カラー映像のそれぞれの成分のうち1つの復元された成分のレジデュと前記カラー映像の他の成分が復元された予測レジデュとを生成するエントロピ復号化段階と、(c)前記エントロピ復号化段階で復元された成分のレジデュを線形変換する段階と、(d)前記(c)段階で線形変換された値と前記復元された予測レジデュとを加えて変換されていない成分の復元されたレジデュを生成する予測レジデュ補償段階と、(e)前記予測レジデュ補償段階で生成された前記復元されたレジデュと前記エントロピ復号化段階で生成された復元された成分のレジデュそれぞれに前記予測映像を加えて原映像を復元する段階とを含むことを特徴とする。
前記技術的課題を達成するための本発明によるさらに他の一実施例としての無損失映像復号化方法は、無損失に符号化されたカラー映像を復号化する方法において、(a)インターモードであるかイントラモードであるかを判断するモード判断段階と、(b)前記モード判断段階でインターモードであると判断されれば、時間的に動き補償した予測映像を生成する段階と、(c)前記無損失に符号化されたカラー映像のビットストリームを復号化して前記カラー映像のそれぞれの成分のうち1つの復元された成分のレジデュと前記カラー映像の他の成分が復元された予測レジデュとを生成するエントロピ復号化段階と、(d)前記エントロピ復号化段階で復元された成分のレジデュを線形変換する段階と、(e)前記(d)段階で線形変換された値と前記復元された予測レジデュとを加えて変換されていない成分の復元されたレジデュを生成する予測レジデュ補償段階と、(f)前記予測レジデュ補償段階で生成された前記復元されたレジデュと前記エントロピ復号化段階で生成された復元された成分のレジデュそれぞれに前記予測映像を加えて原映像を復元する段階と、(b’)前記モード判断段階でイントラモードであると判断されれば、空間的に近接した画素から予測方向を推定して得た予測映像を生成する段階と、(c’)前記無損失に符号化されたカラー映像のビットストリームを復号化して前記カラー映像のそれぞれの成分のうち1つの復元された成分のレジデュと前記カラー映像の他の成分が復元された予測レジデュとを生成するエントロピ復号化段階と、(d’)前記エントロピ復号化段階で復元された成分のレジデュを線形変換する段階と、(e’)前記(d’)段階で線形変換された値と前記復元された予測レジデュとを加えて変換されていない成分の復元されたレジデュを生成する予測レジデュ補償段階と、(f’)前記予測レジデュ補償段階で生成された前記復元されたレジデュと前記エントロピ復号化段階で生成された復元された成分のレジデュそれぞれに前記予測映像を加えて原映像を復元する段階とを含むことを特徴とする。
本発明はカラー平面間予測を利用した無損失映像符号化/復号化方法及び装置に関わり、カラー映像を圧縮する時にカラー映像成分それぞれに対してカラー平面内で空間上または動き上の予測符号化を行った後、その結果として出てきた値(レジデュ)を再びカラー平面成分のうち1つのレジデュを使用して他の2レジデュを予測符号化し、カラー平面成分内部の重複情報を除去するだけではなくカラー平面成分相互間の重複される情報を除去して圧縮効率を向上させられる。このように、カラー映像を無損失圧縮して高画質映像を原本のまま保存できるので、デジタルフィルム所蔵及び医療映像または衛星地理情報映像など精密な映像処理が必要な応用分野に有用に使われうる。
また、RGB領域で直接符号化すれば、YCbr領域に変換する時に生じる映像品質損失がないので、高品質の映像情報を得られる。
以下、添付された図面を参照して本発明を詳細に説明する。
[無損失映像符号化装置]
図1は本発明の一実施例による無損失映像符号化装置のブロック図である。この図1に示す無損失映像符号化装置では、R(赤)、G(緑)、B(青)成分(以下、RGB成分ともいう)からなるカラー映像が符号化される。
図1を参照して、本発明の一実施例による無損失映像符号化装置は、現在映像保存部(Fn)100、以前映像保存部(Fn-1)110、動き予測映像生成部120、空間予測映像生成部130、レジデュ生成部140、予測レジデュ生成部150、及びエントロピ符号化部160を含んで構成される。
この無損失映像符号化装置は、符号化をインターモードで行うかイントラモードで行うかを決定するモード決定部(図示せず)をさらに含むことも可能である。
現在映像保存部100は、RGB成分から構成される現在のカラー映像(現在映像)を受容して保存するものである。
以前映像保存部110は、現在のカラー映像のRGB成分を含む以前のカラー映像(以前映像)を受容して保存するものである。
動き予測映像生成部120は、動き推定部(ME部)122と動き予測部(MP部)124とを含んで構成される。
この動き予測映像生成部120は、以前映像と現在映像との間の動きをブロック単位に推定し、該当ブロック(動きのあるブロック)を出力する。
ここで、ブロックは、図5に図示すように、縦横が16×16サイズの基本的なマクロブロックであり、このマクロブロックは、動き予測映像生成部120により様々なサイズ、例えば、16×16サイズ、16×8サイズ、8×16サイズ、そして8×8サイズに分割されて設定される。そして、動き予測映像生成部120は、各ブロックごとに動きベクトルを求めて時間上で映像値を予測する。
特に、精密な動きは、8×8サイズのブロックを、8×8、8×4、4×8、そして4×4のサイズに分けることで感知できるようになる。
動き推定部122は、以前映像と現在映像との間の動きを、ブロック単位で推定するものである。
動き予測部124は、動き推定部122により生成された動きベクトルに該当するブロックを出力するものである。
空間予測映像生成部130は、空間推定部132と空間予測部134とを含んで構成される。
この空間予測映像生成部130は、現在映像の画素ブロックと空間的に近接した画素から予測方向を推定し、該当ブロックを出力するものである。
空間推定部132は、現在映像の画素ブロックと空間的に近接した画素から予測方向を推定する。
空間予測部134は、空間推定部132により推定された方向に該当するブロックを出力する。
この空間推定と空間予測とに関しては、図6に示されており、これに関わる詳細な説明は後述する。
レジデュ生成部140は、符号化をインターモードで行う場合、動き予測映像生成部120から出力されたブロックと、現在映像のこれに該当するブロックとの差に該当する時間的レジデュを生成する。
一方、符号化をイントラモードで行う場合、レジデュ生成部140は、空間予測映像生成部130から出力されたブロックと、現在映像のこれに該当するブロックとの差に該当する空間的レジデュを生成する。
予測レジデュ生成部150は、R成分の予測レジデュ△2nと、B成分の予測レジデュ△2nを生成するものである。
具体的には、予測レジデュ生成部150は、G成分のレジデュ△Gnの変換により得られた値と、レジデュ生成部140において生成されたR成分のレジデュ△Rnとの差から、R成分の予測レジデュ△2nを生成すると共に、G成分のレジデュ△Gnの変換により得られた値と、レジデュ生成部140において生成されたB成分のレジデュ△Bnとの差から、B成分の予測レジデュ△2nを生成する。
予測レジデュ生成部150は、さらに、G成分のレジデュ△Gnを線形変換するものである。ここで、線形変換された値にはG成分のレジデュ値が含まれる。
G成分のレジデュ△Gnの線形変換は、原映像を構成する各成分(本実施の形態では、RGB成分)の相関を用いて行われる。
具体的に説明すると、線形変換は、G成分のレジデュ△Gnに、一定の値a,cを乗算し、得られた値に、オフセットb,dを加算することで行われる。
ここで、a,b,c,dの各値は、後記する数式(4)乃至数式(9)により決定されるものである。
レジデュ生成部140及び予測レジデュ生成部150から出力される信号は、エントロピ符号化部160において無損失符号化(entropy endode:エントロピ符号化)されたのち、ビットストリームとしてエントロピ符号化部160から出力される。
前記された本発明に係る無損失映像符号化装置の一実施例を、さらに具体的に説明する。
無損失映像符号化装置の現在映像保存部100は、RGB映像を使用する。このRGB映像は、符号化装置でブロック単位で処理される。
符号化装置は、符号化効率を高めるためにインターモードとイントラモードとを使用して、映像を予測する。
インターモードの場合、動き推定部(ME:Motion Estimation)122と動き予測部(MP:Motion Prediction)124とからなる動き予測映像生成部120が使用される。この予測映像生成部120は、以前映像からの動きを推定して映像を予測するものである。
イントラモードの場合、空間推定部(SE:Spatial Estimation)132と空間予測部(SP:Spatial Prediction)134とからなる空間予測映像生成部130が使用される。この空間予測映像生成部130は、空間的に隣接しているブロックで映像を予測するものである。
まず、レジデュ生成部(Rn)140において、入力映像と、動き予測映像生成部120または空間予測映像生成部130において予測された映像との間のレジデュが生成される。
そして、レジデュ生成部(Rn)140において、レジデュのRGB3成分のレジデュが求められる。
RGB成分の各成分の間の相関を利用するために、予測レジデュ生成部150が使用される。
3成分のうちG成分のレジデュ△Gnは、エントロピ符号化部160でエントロピ符号化されたのち、ビットストリームとして出力される。
残りの2成分のレジデュ、すなわちR成分のレジデュ△Rn及びB成分のレジデュ△Bnは、直ちに符号化せずに、G成分のレジデュ△Gnを使用して符号化される。
具体的には、R成分の予測レジデュ△2nと、B成分の予測レジデュ△2nとが、予測レジデュ生成部150において生成される。
ここで、R成分の予測レジデュ△2nは、レジデュ生成部140で生成されたR成分のレジデュ△Rnから、G成分のレジデュ△Gnの線形変換により得られた値を減算することで求められる。また、B成分の予測レジデュ△2nは、レジデュ生成部140で生成されたB成分のレジデュ△Bnから、G成分のレジデュ△Gnの線形変換により得られた値を減算することで求められる。
なお、G成分のレジデュ△Gnの線形変換により得られた値には、G成分のレジデュ△Gnそれ自体も含まれている。
このようにして生成されたR成分の予測レジデュ△2nと、B成分の予測レジデュ△2nとは、エントロピ符号化部150においてエントロピ符号化されたのち、ビットストリームとして出力される。
前記した本発明に係るカラー平面間予測を利用した無損失映像符号化方法及び装置では、映像の各成分が、G成分、R成分、そしてB成分の順序で入力される。
そして、G成分のレジデュをはじめに求め、これに続いてB成分の予測レジデュとR成分の予測レジデュを求めたのちに、映像が符号化される。
しかしながら、この手法は、G成分が符号化する映像情報を最も多く有している時に効果的である。
よって、R成分が、符号化される映像の映像情報を最も多く有している場合、すなわちR成分が主要な成分である場合には、R成分のレジデュをはじめに求め、これに続いてG成分の予測レジデュとB成分の予測レジデュとを、はじめに求めたR成分のレジデュを利用して求めれば良いことなる。
同様に、B成分が主要な成分である場合には、B成分のレジデュをはじめに求め、これに続いて、Gの予測レジデュとR成分の予測レジデュとを、はじめに求めたB成分のレジデュを利用して求めれば良いことになる。
前記した実施例においては、RGB成分からなるカラー映像の場合を例に挙げて説明したが、本発明は、これに限定されるものではなく、たとえば、Y−Cr−Cb形式の映像や、X−Y−Z形式の映像の場合にも適用可能である。
[無損失映像復号化装置]
図2は本発明の一実施例による無損失映像復号化装置のブロック図である。
無損失映像復号化装置は、図1の無損失映像符号化装置における符号化過程と反対の過程をたどり、ビットストリームから映像を復元するものである。
図2を参照して、この無損失映像復号化装置は、符号化されたRGB成分からなるカラー映像を復号化するものである。
無損失映像復号化装置は、エントロピ復号化部200、予測レジデュ補償部210、原映像生成部220、以前映像保存部(Fn-1)230、動き補償部240、空間予測部250、復元された現在映像保存部(Fn)260を含んで構成される。
この無損失映像復号化装置は、復号化をインターモードで行うかイントラモードで行うかを決定するモード決定部(図示せず)をさらに含むことも可能である。
エントロピ復号化部200は、図1の無損失映像符号化装置における無損失符号化により生成されたビットストリームを、エントロピ復号化するものである。
エントロピ復号化部200は、RGBカラー成分のうち、前記した無損失映像符号化装置において、「予測子(Predictor)」である、すなわち主要な成分であるとして定義された成分から、復元レジデュを生成する。
前記した実施形態では、予測子として、RGBカラー成分のうちのG成分が選ばれていたので、ここでは、G成分のレジデュ△Gnが復元されることになる。なお、以下の説明において復元されたG成分のレジデュ△Gnを「復元レジデュ△Gn」とも表記する。
また、エントロピ復号化部200は、RGBカラー成分のうち、前記した無損失映像符号化装置において、主要な成分でないとされた成分から、復元予測レジデュを生成する。
前記した実施形態では、予測子として、RGBカラー成分のうちのG成分が選ばれていたので、ここでは、R成分の予測レジデュ△2nとB成分の予測レジデュ△2nとが、復元されることになる。なお、以下の説明において復元されたR成分の予測レジデュ△2nを「復元予測レジデュ△2n」と、復元されたB成分の予測レジデュ△2nを「復元予測レジデュ△2n」とも表記する。
予測レジデュ補償部210は、R成分の復元レジデュ△RnとB成分の復元レジデュ△Rnとを生成するものである。
具体的には、予測レジデュ補償部210は、エントロピ復号化部200で復元されたR成分の予測レジデュ△2nに、エントロピ復号化部200で復元されたG成分のレジデュ△Gnの変換により得られたレジデュ値を加算して、R成分のレジデュ(復元レジデュ)△Rnを生成すると共に、エントロピ復号化部200で復元されたB成分の予測レジデュ△2nに、エントロピ復号化部200で復元されたG成分の復元レジデュ△Gnの変換により得られたレジデュ値を加算して、B成分のレジデュ(復元レジデュ)△Rnを生成する。
動き補償部240は、以前映像保存部230から入力された以前映像の時間的に動き補償(temporary motion compensating)により予測映像を生成するものである。
空間予測部250は、空間的に近接した画素から予測方向を推定して、予測映像を生成するものである。
原映像生成部220は、ブロック効果が存在する原映像を生成するものである。
具体的には、原映像生成部220は、復号化をインターモードで行う場合、予測レジデュ補償部210で復元されたR成分のレジデュ△Rn及びB成分のレジデュ△Bnと、エントロピ復号化部200で生成された復元されたG成分のレジデュ△Gnとを、動き補償部240で生成された予測映像に加算して原映像を生成する。
一方、原映像生成部220は、復号化をイントラモードで行う場合、予測レジデュ補償部210で復元されたR成分のレジデュ△Rn及びB成分のレジデュ△Bnと、エントロピ復号化部200で生成された復元されたG成分のレジデュ△Gnとを、空間予測部250で生成された予測映像に加算して原映像を生成する。
復元現在映像保存部260は、原映像生成部220から入力されたブロック効果が存在する原映像を、復元された現在映像として保存するものである。
無損失映像復号化装置の動作をさらに具体的に説明する。
無損失符号化されたビットストリームがエントロピ復号化部200を通過すると、復元されたG成分のレジデュ△Gnが取得される。
復号化がインターモードで行われる場合には、動き補償部240は、G成分の復元レジデュ△Gnを、以前映像保存部(Fn-1)230に保存された以前映像を予測した値に加算して、G成分の復元値を求める。
復号化がイントラモードで行われる場合には、G成分の復元レジデュ△Gnを、空間予測部250により予測された空間的に隣接するブロックの予測値に加算して、G成分の復元値を得る。このように復元されたG成分の値は復元現在映像保存部260に保存される。
R成分とB成分とを復元するために、エントロピ復号化部200は、無損失符号化されたビットストリームのエントロピ復号化を行って、R成分の復元予測レジデュ△2nとB成分の復元予測レジデュ△2nとを生成する。
復元予測レジデュ△2nおよび△2nは、予測レジデュ補償部210において、G成分の復元レジデュ△Gnが変換された値とそれぞれ加算され、復元されたR成分レジデュ(R成分の復元レジデュ)△Rnと、復元されたB成分のレジデュ(B成分の復元レジデュ)△Bnとが取得される。
イントラモードの場合、R成分の復元レジデュ△RnとB成分の復元レジデュ△Bnとを、動き補償部240により予測されたブロック値に加算して、R成分の復元値とB成分の復元値とが得られる。
一方、インターモードの場合、R成分の復元レジデュ△RnとB成分の復元レジデュ△Bnとを、空間予測部250により予測されたブロック値に加算して、R成分の復元値とB成分の復元値とが得られる。
そして、得られたR成分の復元値とB成分の復元値とは、復元現在映像保存部260に保存される。
前記した本発明に係るカラー平面間予測を利用した無損失映像復号化方法及び装置では、G成分、R成分、そしてB成分の順序で入力される。
そして、G成分のレジデュをはじめに復号化し、これに続いてB成分の予測レジデュとR成分の予測レジデュとを復号化したのち、G成分のレジデュを利用してR成分レジデュ及びB成分のレジデュを求めて原映像が復元される。
しかしながら、この手法は、G成分が映像情報を最も多く有している時に効果的である。
よって、R成分が、符号化する映像情報を最も多く有している場合、すなわちR成分が主要な成分である場合には、R成分のレジデュをはじめに求め、はじめに求めたR成分のレジデュを利用して、G成分のレジデュとB成分のレジデュとを求めればよいことになる。
同様に、B成分が主要な成分である場合には、B成分のレジデュをはじめに求め、はじめに求めたB成分のレジデュを利用して、G成分のレジデュとR成分のレジデュとを求めればよいことになる。
前記した実施例においては、RGB成分からなるカラー映像の場合を例に挙げて説明したが、本発明は、これに限定されるものではなく、たとえば、Y−Cr−Cb形式の映像や、X−Y−Z形式の映像の場合にも適用可能である。
[無損失映像符号化方法]
図3は本発明の一実施例による無損失映像符号化方法を示したフローチャートである。
図3を参照して、既存の符号化機における場合のように、G成分から各カラー平面内で空間的に隣接した映像または時間的に隣接した映像から予測した値を差し引いてG成分のレジデュを取得する(S300)。
このG成分のレジデュ値は、次の数式1のように表すことができる。
ここで、Gpは、イントラモードである場合には、現在映像保存部(Fn)100により、インターモードである場合には、以前映像保存部(Fn-1)110により得られるものである。
このG成分のレジデュ値△Gがエントロピ符号化される。
ここで、インターモードであるかイントラモードであるかを判断すステップを、このステップ300の前に設けることも可能である。
そして、G成分場合と同様にして、各カラー平面内におけるR成分及びB成分の時間的/空間的予想が、動き予測生成部120および空間予測映像生成部130において行われる。
これにより求められた、R成分のレジデュ値、およびB成分のレジデュ値は、それぞれ下記の数式2および数式3により、表すことができる。
ここで、RpはR成分の予測値を、BpはB成分の予測値であり、これらの値は、イントラモードの場合には、現在映像保存部100に記憶された空間的に隣接した映像から、インターモードの場合には、以前映像保存部110に記憶された時間的に隣接した映像から予測された値であり、いずれも同じカラー平面内で決定される。
そして、R成分の予測レジデュ△2nと、B成分の△2nを、次の数式4及び数式5から求める(S320)。
ここで、R成分の予測レジデュ△2nは、前記した数式2から求めたR成分のレジデュ△Rnを、G成分のレジデュ△Gnの線形変換により得られた値を用いて、もう一度予測した値であり、B成分の△2nとは、前記した数式3から求めたB成分のレジデュ△Bnを、G成分のレジデュ△Gnの線形変換により得られた値を用いて、もう一度予測した値である。
言いかえると、R成分の予測レジデュ△2nと、B成分の△2nは、異なるカラー平面の間でもう一度予測した値である。
これは、△G、△R、△Bの間の相関性が高いので、△Gと△R及び△Gと△B間の関係を線形関数で表現して、△Rと△Bとを△Gの関数で近似化したものである。
ここでa及びbは、R成分のレジデュをG成分のレジデュを用いて予測した際の近似化された線形関数の傾きと偏差を示す。そして、c及びdは、B成分のレジデュをG成分のレジデュを用いて予測した際の近似化された線形関数の傾きと偏差を示す。
これらa、b、c、dの値は、△G、△R、そして△Bの値から、次の数式6乃至数式9を用いて求めることができる。
ここで、cov(・)は共分散を示し、E(・)は値の平均、そしてσは分散を示す。
このような予測過程により、△G、△R、そして△Bの間で重複する情報を効果的に除去できる。
ここで、予測方法は、映像や装置に応じて、異なるものを適用可能である。一般的に、RGB映像ではG成分が最も多くの情報を有するので、前記した説明においては、△Gを1次式に変換して予測子を生成し、△R及び△Bを予測符号化したが、映像の特性によってR成分またはB成分のレジデュを予測子に使用することもできる。
例えば、各成分のうち輝度に最も大きく影響を与える成分を予測子に使用するとか、各成分のうち平均値が最も大きい成分を予測子に使用するとか、人の視覚的な特性を考慮して最も影響を多く与える成分を予測子に使用するなどの方法が考えられる。
RGB映像を例に説明すれば、輝度を計算する時に、SMPTE 274M標準では、Luminance=0.2126R+0.7152G+0.0722Bのように計算するので、各R、G、B成分が輝度に及ぼす影響を計算できる。そして、一般的にはG成分が最も多く輝度に影響を与えるので、G成分を予測子に設定できる。
そして、RGB以外の映像にも同様に、いずれか1成分のレジデュを予測子に決めて他の成分のレジデュを予測して符号化できる。例えば、YCbr映像でY成分のレジデュを予測子に使用してCb及びCr成分を予測符号化したり、またはCbとCr映像の統計的特性が似ているので2成分のうち一つを予測子に使用して他の残りの成分を予測符号化する方法を考えられる。
同様に、XYZ映像の場合にもRGBまたはYCbr映像と同じ方法を使用してレジデュ予測符号化が可能である。すなわち、X成分はR成分、Y成分はG成分、Z成分はB成分としてRGB映像のような方法を使用でき、X成分はCr成分、Y成分はY成分、Z成分はCb成分としてYCbr映像のような方法を使用できる。
このように、本発明に係る方法では、カラー映像の各カラー平面内で動き/空間上の予測実行後に生成されたレジデュのうちのいずれか1成分のレジデュを予測子として決定した後に、決定した予測子を用いて他の成分のレジデュを予測して符号化する。この際、予測モデルは、前記した1次回帰式を使用して決定することができる。
この1次回帰モデルは、映像によって異なる結果をもたらし得るので、a,b,c,dを、映像ごとに異なる値に設定して使用することができる。または、a,b,c,dの値を、種々の映像に適した値にを設定して使用できる。
そして、計算を簡単にするために1次式モデルで整数だけを使用できる。このような方法は、特に実数演算を支援しないプロセッサで有用に使われうる。そして、乗算または除算演算が使われないようにa及びcを2の指数乗値に設定し、乗算または除算演算の代わりに簡単にシフト演算を使用して具現できる。
そして、a=c=1、b=d=0と設定することで、予測モデルを、次の数式10及び数式11で表すことができる。
特に、実際映像で△G、△R及び△B成分の相互間には、強い線形の正の相関関係があり、そして、aとcの値はそれぞれ1に近いため、数式10及び11の式に示す予測モデルを使用すると、計算が簡単であり、そして1次回帰モデルを使用した場合とほぼ同様の性能が得られるという長所がある。
このような過程を経て得られた予測レジデュ(△2R、△2B)は、エントロピ符号化部160でビットストリームとされる(S340)。
[無損失映像復号化方法]
図4は本発明の一実施例に係る無損失映像復号化方法を示したフローチャートである。
図4での無損失映像復号化方法は、前記した無損失映像符号化方法とは逆の順序で進められる。
図4を参照して、無損失符号化されたビットストリームをエントロピ復号化する(S400)。このエントロピ復号化により、G成分のレジデュ△Gと、R成分の予測レジデュ△2Rと、B成分の予測レジデュ△2Bとが得られる。
次に、R成分の予測レジデュ△2Rと、B成分の予測レジデュ△2Bのレジデュ予測補償により、R成分のレジデュ△Rと、B成分のレジデュ△Bとを生成する(S420)。
次に、G成分のレジデュ△Gと、R成分のレジデュ△Rと、B成分のレジデュ△Bとの動き/空間予測補償により、G映像、R映像、及びB映像が復元される(S440)。
図4と関連し、本発明が属する技術分野で当業者が容易に類推できる範囲内で図3で説明したことを参照する。
図5は、経時的な予測(動き予測)(temporal prediction)のためのマクロブロック分割方法を説明するための説明図である。
すなわち、図5は、図1における映像の経時的な予測をするために、映像を一定サイズのブロックに分割する方法の一例を示す図面である。
この方法はISO/IEC 14496−102002及びITU−T Rec H.264標準技術で使用する方法である。
他の方法とは異なり、この方法では、多様なサイズのブロック分割を許容している。基本的に、横縦が16画素サイズのマクロブロックを、16×16サイズ、16×8サイズ、8×16サイズ、8×8サイズというように様々な大きさのブロックに分けて、各ブロックごとに動きベクトルを求めて、経時的に映像値を予測する。
特に、8×8サイズのブロックを、8×8、8×4、4×8、4×4のサイズに分けることで、精密な動きも正確に感知させることができる。
図6Aは、空間上の予測のための隣接画素の位置と、予測される現在ブロックの画素の位置とを図示したものである。
すなわち、図6Aは、図1の空間上の予測のための隣接画素の位置と予測される現在ブロックの画素の位置とを図示したものである。
この方法は、ISO/IEC 14496−102002及びITU−T Rec H.264標準技術で使用する方法と同じである。
図6Aでは、4×4サイズのブロックデータPa,Pb, ..., Pqを予測するために、以前に符号化され,復元された空間上の隣接したデータP0,P1、..., P12を利用する。
図6Bは、空間上で隣接した画素から投影し、現在ブロックを予測するための0から8までの9種の予測方向を示す。
例えば、符号“0”で示される方向の場合、隣接した画素値P1,P2,P3及びP4を垂直方向に投影し、Pa,Pe,Pi,及びPmをP1値と、Pb,Pf,Pj及びPnをP2値と、Pc,Pg,Pk及びPoをP3値と、そしてPd,Ph,Pl及びPqをP4値と予測する。
同様にして、他の方向の場合も投影により予測する。
このような動き/空間予測方法は既存の標準技術を一例に挙げて説明したものであり、他の方法を使用することも可能である。
図7は、乗員のR−G−B(1280*720)映像と、経時的な予測によるレジデュ映像とを示す。
図7を参照して、R−G−B映像値自体は類似性が落ちるが、レジデュ映像間にはほとんどの領域で類似性がかなり高いことが確認できる。
図1の装置における空間上の予測により生成されるレジデュに関し、R、G、B成分間で類似性がかなり高い。
図8Aは、R−G映像の、動き/空間予測におけるレジデュ間の相関度を示したグラフである。図8Aについて述べれば、G成分のレジデュを横軸、R成分のレジデュを縦軸としてレジデュ間の相関度を示したグラフである。
図8Bは、G−B映像の、動き/空間予測によるレジデュ間の相関度を示したグラフである。図8Bについて述べれば、G成分のレジデュを横軸、B成分のレジデュを縦軸としてレジデュ間の相関度を示したグラフである。
図8Aと図8Bとで示されたように、R成分とレジデュ値とG成分のレジデュ値との相関度、及びB成分のレジデュ値とG成分のレジデュ値との相関度が高く、G成分のレジデュを予測子に使用した1次回帰式により、R成分のレジデュ値とB成分のレジデュ値の予測が可能であることが分かる。
本発明によるカラー平面間予測を利用した無損失映像圧縮方法を使用する場合、カラー映像を無損失圧縮する時に50%以上圧縮できる。特に、カラー平面間予測をする場合としない場合とを比較すると、カラー平面間予測をした場合の方が予測をしない場合に比べて約20%圧縮効率が良い。
表1は、圧縮効率に関する実験データを示したものである。

一方、前述の実施例ではインターモードとイントラモードとがいずれも使われる場合を説明したが、状況によってはインターモードまたはイントラモードのうちの一つだけを使うことも可能である。
これに関わる説明は前述の本発明の実施例についてて説明でインターモードまたはイントラモードのうち一つだけを考慮すれば同一に適用でき、これは当業者には明確に自明なことであると言える。
本発明はまた、コンピュータでの読み取りが可能な記録媒体に、コンピュータでの読取が可能なコードとして具現化可能である。
コンピュータでの読取が可能な記録媒体には、コンピュータシステムによって読取が可能なデータが保存されるあらゆる種類の記録媒体が含まれるものとする。
コンピュータでの読取が可能な記録媒体の例としては、ROM(Read−Only Memory)、RAM(Random Access Memory)、CD−ROM、磁気テープ、フロッピディスク及び光データ保存装置などがあり、またキャリアウェーブ(例えばインターネットを介した伝送)の形で具現されるものも含む。また、コンピュータでの読み取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散されて記憶されていて、分散方式のコンピュータでの読取が可能なコードとして保存されて実行されうる。
以上のように図面と明細書とで最適実施例が開示された。ここで、特定の用語が使われたが、それは単に本発明を説明するための目的で使われたものであって意味限定や特許請求の範囲に記載された本発明の範囲を制限するために使われたものではない。従って、本技術分野の当業者ならばこれから多様な変形及び均等な他実施例が可能であるという点が理解されるであろう。従って、本発明の真の技術的保護範囲は特許請求の範囲の技術的思想により決まるものである。
本発明のカラー平面間予測を利用した無損失映像符号化/復号化方法及び装置はカラー映像を無損失圧縮して高画質映像を所望通り保存できるので、例えばデジタルフィルムの所蔵及び医療映像または衛星地理情報映像など精密な映像処理が必要な応用分野に効果的に適用可能である。
本発明の一実施例による無損失映像符号化装置のブロック図である。 本発明の一実施例による無損失映像復号化装置のブロック図である。 本発明の一実施例による無損失映像符号化方法を示したフローチャートである。 本発明の一実施例による無損失映像復号化方法を示したフローチャートである。 経時的予測のためのマクロブロックの分割方法を示した図面である。 空間上の予測部のための隣接画素の位置と予測する現在ブロックの画素の位置とを示す図である。 空間上で隣接した画素から投影して現在ブロックを予測するための0から8までの9種の予測方向を図示する図面である。 R−G−B Crew(1280*720)映像と経時的な予測によるレジデュ映像とを示す図面である。 R−G映像の動き/空間予測によるレジデュ間の相関度を示すグラフである。 G−B映像の動き/空間予測によるレジデュ間の相関度を示したグラフである。
符号の説明
100 現在映像保存部
110 以前映像保存部
120 動き予測映像生成部
122 動き推定部
124 動き予測部
130 空間予測映像生成部
132 空間推定部
134 空間予測部
140 レジデュ生成部
150 予測レジデュ生成部
160 エントロピ符号化部

Claims (48)

  1. 相異なるカラー間のレジデュ予測を使用してカラー映像を無損失に符号化する装置であって、
    以前映像と現在映像との間の動きを、所定サイズのブロック単位で推定し、該当する予測映像を出力する動き予測映像生成部と、
    前記カラー映像の相異なるそれぞれの成分に対し、前記動き予測映像生成部の予測映像と現在映像の該当ブロックとの差に該当する時間レジデュを生成するレジデュ生成部と、
    前記レジデュ生成部から出力される前記カラー映像成分の相異なるそれぞれの成分のうち1つのレジデュを線形変換した値を予測子として決定し、他の成分のレジデュと前記予測子との差を利用して予測レジデュを生成する予測レジデュ生成部と、
    前記カラー映像のうち前記予測子を形成するレジデュを前記レジデュ生成部から受信し、前記予測レジデュを前記予測レジデュ生成部から受信してエントロピー符号化してビットストリームを生成するエントロピー符号化部とを含み、
    前記予測レジデュ生成部は、前記相異なるそれぞれの成分のうち1つのレジデュに、前記他の成分のそれぞれに応じた異なる一定の値をそれぞれ乗じて、得られたそれぞれの値に、前記他の成分のそれぞれに応じた異なる一定の値をそれぞれ加える線形関数を利用して前記予測レジデュを生成する、
    ことを特徴とするカラー平面間予測を利用した無損失映像符号化装置。
  2. 前記動き予測映像生成部は、
    前記以前映像と前記現在映像との間の動きを、所定サイズのブロック単位で推定する動き推定部と、
    前記動き推定部において生成された動きベクトルに該当するブロックを出力する動き予測部と、
    からなることを特徴とする請求項1記載のカラー平面間予測を利用した無損失映像符号化装置。
  3. 前記予測レジデュ生成部は、前記カラー映像の成分のうち、輝度に最も大きく影響を与えるカラー成分のレジデュを線形変換した値を前記予測子とし、他の成分のレジデュと前記予測子との差を利用して予測レジデュを生成する、
    ことを特徴とする請求項1記載のカラー平面間予測を利用した無損失映像符号化装置。
  4. 前記カラー映像がRGB映像である場合に、前記予測レジデュ生成部は、G成分のレジデュを線形変換した値を前記予測子とし、R成分のレジデュと前記予測子との差を利用して、前記R成分の予測レジデュを生成すると共に、B成分のレジデュと前記予測子との差を利用して、前記B成分の予測レジデュを生成する、
    ことを特徴とする請求項1記載のカラー平面間予測を利用した無損失映像符号化装置。
  5. 前記予測レジデュ生成部は、G成分のレジデュでR成分レジデュとB成分のレジデュとを予測するために、G成分のレジデュに、R成分とB成分のそれぞれに応じた異なる一定の値をそれぞれ乗じて、得られたそれぞれの値に、R成分とB成分のそれぞれに応じた異なる一定の値をそれぞれ加える線形関数を利用して前記予測レジデュを生成する、
    ことを特徴とする請求項4記載のカラー平面間予測を利用した無損失映像符号化装置。
  6. 前記カラー映像がXYZ映像である場合に、前記予測レジデュ生成部は、X、Y及びZそれぞれの成分をRGB映像に対応させる、
    ことを特徴とする請求項4記載のカラー平面間予測を利用した無損失映像符号化装置。
  7. 前記カラー映像がYCbr映像である場合に、前記予測レジデュ生成部は、Y成分のレジデュを線形変換した値を前記予測子とし、Cb成分のレジデュと前記予測子との差を利用して、前記Cb成分の予測レジデュを生成すると共に、Cr成分のレジデュと前記予測子との差を利用して、前記Cr成分の予測レジデュを生成する、
    ことを特徴とする請求項1記載のカラー平面間予測を利用した無損失映像符号化装置。
  8. 前記予測レジデュ生成部は、Y成分のレジデュでCb成分レジデュとCr成分レジデュとを予測するために、前記Y成分レジデュに、Cb成分レジデュとCr成分のそれぞれに応じた異なる一定の値をそれぞれを乗じて、得られたそれぞれの値に、Cb成分とCr成分のそれぞれに応じた異なる一定の値をそれぞれ加える線形関数を利用して前記予測レジデュを生成する、
    ことを特徴とする請求項7記載のカラー平面間予測を利用した無損失映像符号化装置。
  9. 前記カラー映像がXYZ映像である場合に、前記予測レジデュ生成部は、X、Y及びZ各成分をYCbr映像に対応させる、
    ことを特徴とする請求項7記載のカラー平面間予測を利用した無損失映像符号化装置。
  10. 相異なるカラー間のレジデュ予測を使用してカラー映像を無損失に符号化する装置であって、
    現在映像の画素ブロックと空間的に近接した画素から予測方向を推定し、該当する予測映像を出力する空間予測映像生成部と、
    前記カラー映像の相異なるそれぞれの成分に対し、前記空間予測映像生成部の予測映像と現在映像の該当ブロックとの差に該当する空間レジデュを生成するレジデュ生成部と、
    前記レジデュ生成部から出力される前記カラー成分の相異なるそれぞれの成分のうち1つのレジデュを線形変換した値を予測子に決め、他の成分のレジデュと前記予測子との差を利用して予測レジデュを生成する予測レジデュ生成部と、
    前記カラー映像のうち前記予測子を形成するレジデュを前記レジデュ生成部から受信し、前記予測レジデュを前記予測レジデュ生成部から受信してエントロピー符号化してビットストリームを生成するエントロピー符号化部とを含み、
    前記予測レジデュ生成部は、前記相異なるそれぞれの成分のうち1つのレジデュに、前記他の成分のそれぞれに応じた異なる一定の値をそれぞれ乗じて、得られたそれぞれの値に、前記他の成分のそれぞれに応じた異なる一定の値をそれぞれ加える線形関数を利用して前記予測レジデュを生成する、
    むことを特徴とするカラー平面間予測を利用した無損失映像符号化装置。
  11. 前記空間予測映像生成部は、
    現在映像の画素ブロックと空間的に近接した画素から予測方向を推定する空間推定部と、
    前記空間推定部から推定された方向に該当するブロックを出力する空間予測部と、
    からなることを特徴とする請求項10記載のカラー平面間予測を利用した無損失映像符号化装置。
  12. 前記予測レジデュ生成部は、前記カラー成分のうち輝度に最も大きく影響を与える成分のレジデュを線形変換した値を前記予測子とし、他の成分のレジデュと前記予測子との差を利用して予測レジデュを生成する、
    ことを特徴とする請求項10記載のカラー平面間予測を利用した無損失映像符号化装置。
  13. 前記カラー映像がRGB映像である場合に、前記予測レジデュ生成部は、G成分のレジデュを線形変換した値を前記予測子とし、R成分のレジデュと前記予測子との差を利用して、前記R成分の予測レジデュを生成すると共に、B成分のレジデュと前記予測子との差を利用して、前記B成分の予測レジデュを生成する、
    ことを特徴とする請求項10記載のカラー平面間予測を利用した無損失映像符号化装置。
  14. 前記予測レジデュ生成部は、G成分のレジデュでR成分レジデュとB成分のレジデュとを予測するために、G成分のレジデュに、R成分とB成分のそれぞれに応じた異なる一定の値をそれぞれ乗じて、得られたそれぞれの値に、R成分とB成分のれぞれに応じた異なる一定の値をそれぞれ加える線形関数を利用して前記予測レジデュを生成する、
    ことを特徴とする請求項13記載のカラー平面間予測を利用した無損失映像符号化装置。
  15. 前記カラー映像がXYZ映像である場合、前記予測レジデュ生成部は、X、Y及びZそれぞれの成分をRGB映像に対応させる、
    ことを特徴とする請求項13記載のカラー平面間予測を利用した無損失映像符号化装置。
  16. 前記カラー映像がYCbr映像である場合に、前記予測レジデュ生成部は、Y成分のレジデュを線形変換した値を前記予測子とし、Cb成分のレジデュと前記予測子との差を利用して、前記Cb成分の予測レジデュを生成すると共に、Cr成分のレジデュと前記予測子との差を利用して、前記Cr成分の予測レジデュを生成する、
    ことを特徴とする請求項10記載のカラー平面間予測を利用した無損失映像符号化装置。
  17. 前記予測レジデュ生成部は、Y成分のレジデュでCb成分レジデュとCr成分レジデュとを予測するために、前記Y成分レジデュに、Cb成分レジデュとCr成分のそれぞれに応じた異なる一定の値をそれぞれ乗じて、得られたそれぞれの値に、Cb成分レジデュとCr成分のれぞれに応じた異なる一定の値をそれぞれ加える線形関数を利用して前記予測レジデュを生成する、
    ことを特徴とする請求項16記載のカラー平面間予測を利用した無損失映像符号化装置。
  18. 前記カラー映像がXYZ映像である場合、前記予測レジデュ生成部は、X、Y及びZ各成分をYCbr映像に対応させる、
    ことを特徴とする請求項16記載のカラー平面間予測を利用した無損失映像符号化装置。
  19. 相異なるカラー間のレジデュ予測を使用してカラー映像を無損失に符号化する装置であって、
    以前映像と現在映像間に所定サイズのブロック単位で動きを推定し、該当する予測映像を出力する動き予測映像生成部と、
    現在映像の画素ブロックと空間的に近接した画素から予測方向を推定し、該当する予測映像を出力する空間予測映像生成部と、
    インターモードならば、前記動き予測映像生成部の映像と共に現在映像の該当ブロックとの差に該当する時間レジデュを生成し、イントラモードならば前記空間予測映像生成部の映像と現在映像の該当ブロックとの差に該当する空間レジデュを生成するレジデュ生成部と、
    前記レジデュ生成部からインターモードならば前記時間レジデュを、イントラモードならば前記空間レジデュを入力し、前記カラー成分の相異なるそれぞれの成分のうち1つのレジデュを線形変換した値を予測子に決め、他の成分のレジデュと前記予測子との差を利用して予測レジデュを生成する予測レジデュ生成部と、
    前記カラー映像のうち前記予測子を形成するレジデュを前記レジデュ生成部から受信し、前記予測レジデュを前記予測レジデュ生成部から受信してエントロピー符号化してビットストリームを生成するエントロピー符号化部とを含み、
    前記予測レジデュ生成部は、前記相異なるそれぞれの成分のうち1つのレジデュに、前記他の成分のそれぞれに応じた異なる一定の値をそれぞれ乗じて、得られたそれぞれの値に、前記他の成分のそれぞれに応じた異なる一定の値をそれぞれ加える線形関数を利用して前記予測レジデュを生成する、
    ことを特徴とするカラー平面間予測を利用した無損失映像符号化装置。
  20. 相異なるカラー間のレジデュ予測を使用してカラー映像を無損失に符号化する方法であって、
    (a)以前映像と現在映像間に所定サイズのブロック単位で動きを推定し、該当する予測映像を出力する動きを予測する段階と、
    (b)前記カラー映像の相異なるそれぞれの成分に対し、前記動き予測段階で出力される予測映像と現在映像の該当ブロックとの差に該当する時間レジデュを生成する段階と、
    (c)前記時間レジデュを求める段階で出力される前記カラー成分の相異なるそれぞれの成分のうち1つのレジデュを線形変換した値を予測子に決め、他の成分の時間レジデュと前記予測子との差を利用して予測レジデュを生成する段階と、
    (d)前記カラー映像のうち前記予測子を形成するレジデュを前記時間レジデュを求める段階から受信し、他の成分の前記予測レジデュを前記予測レジデュ生成部から受信してエントロピー符号化してビットストリームを生成する段階とを含み、
    前記(c)段階において、前記予測レジデュを生成する段階は、前記相異なるそれぞれの成分のうち1つのレジデュに、前記他の成分のそれぞれに応じた異なる一定の値をそれぞれ乗じて、得られたそれぞれの値に、前記他の成分のそれぞれに応じた異なる一定の値をそれぞれ加える線形関数を利用して前記予測レジデュを生成する、
    ことを特徴とするカラー平面間予測を利用した無損失映像符号化方法。
  21. 前記(c)段階は、前記カラー成分のうち輝度に最も大きく影響を与える成分の時間レジデュを線形変換した値を前記予測子とし、他の成分の時間レジデュを予測して予測レジデュを生成する、
    ことを特徴とする請求項20記載のカラー平面間予測を利用した無損失映像符号化方法。
  22. 前記カラー映像がRGB映像である場合に、前記(c)段階において、前記予測レジデュ生成段階は、G成分のレジデュを線形変換した値を前記予測子とし、R成分のレジデュと前記予測子との差を利用して、前記R成分の予測レジデュを生成すると共に、B成分のレジデュと前記予測子との差を利用して、前記B成分の予測レジデュを生成する、
    ことを特徴とする請求項20記載のカラー平面間予測を利用した無損失映像符号化方法。
  23. 前記カラー映像がXYZ映像である場合、前記(c)段階において、前記予測レジデュ生成段階は、X、Y及びZそれぞれの成分をRGB映像に対応させる、
    ことを特徴とする請求項22記載のカラー平面間予測を利用した無損失映像符号化方法。
  24. 前記カラー映像がYCbr映像である場合に、前記(c)段階において、前記予測レジデュ生成段階は、Y成分のレジデュを線形変換した値を前記予測子とし、Cb成分のレジデュと前記予測子との差を利用して、前記Cb成分の予測レジデュを生成すると共に、Cr成分のレジデュと前記予測子との差を利用して、前記Cr成分の予測レジデュを生成する、
    ことを特徴とする請求項20記載のカラー平面間予測を利用した無損失映像符号化方法。
  25. 前記カラー映像がXYZ映像である場合、前記(c)段階において、前記予測レジデュ生成段階は、X、Y及びZそれぞれの成分をYCbr映像に対応させる、
    ことを特徴とする請求項24記載のカラー平面間予測を利用した無損失映像符号化方法。
  26. 相異なるカラー間のレジデュ予測を使用してカラー映像を無損失に符号化する方法であって、
    (a)前記現在映像の画素ブロックと空間的に近接した画素から予測方向を推定し、該当する予測映像を出力する空間を予測する段階と、
    (b)前記カラー映像の相異なるそれぞれの成分に対し、前記空間を予測する段階で出力される予測映像と現在映像の該当ブロックとの差に該当する空間レジデュを生成する段階と、
    (c)前記空間レジデュを生成する段階で出力される前記カラー成分の相異なるそれぞれの成分のうち1つのレジデュを線形変換した値を予測子に決め、他の成分のレジデュと前記予測子との差を利用して予測レジデュを生成する段階と、
    (d)前記空間レジデュを生成する段階から前記カラー映像のうち前記予測子を形成する空間レジデュを受信し、他の成分の前記予測レジデュを前記予測レジデュ生成部から受信してエントロピー符号化してビットストリームを生成するエントロピー符号化段階とを含み、
    前記(c)段階において、前記予測レジデュを生成する段階は、前記相異なるそれぞれの成分のうち1つのレジデュに、前記他の成分のそれぞれに応じた異なる一定の値をそれぞれ乗じて、得られたそれぞれの値に、前記他の成分のそれぞれに応じた異なる一定の値をそれぞれ加える線形関数を利用して前記予測レジデュを生成する、
    ことを特徴とするカラー平面間予測を利用した無損失映像符号化方法。
  27. 前記(c)段階は、前記カラー成分のうち輝度に最も大きく影響を与える成分の空間レジデュを線形変換した値を前記予測子とし、他の成分の空間レジデュを予測して予測レジデュを生成する、
    ことを特徴とする請求項26記載のカラー平面間予測を利用した無損失映像符号化方法。
  28. 前記カラー映像がRGB映像である場合に、前記(c)段階において、前記予測レジデュ生成段階は、G成分のレジデュを線形変換した値を前記予測子とし、R成分のレジデュと前記予測子との差を利用して、前記R成分の予測レジデュを生成すると共に、B成分のレジデュと前記予測子との差を利用して、前記B成分の予測レジデュを生成する、
    ことを特徴とする請求項26記載のカラー平面間予測を利用した無損失映像符号化方法。
  29. 前記カラー映像がXYZ映像である場合、前記(c)段階において、前記予測レジデュ生成段階は、X、Y及びZそれぞれの成分をRGB映像に対応させる、
    ことを特徴とする請求項28記載のカラー平面間予測を利用した無損失映像符号化方法。
  30. 前記カラー映像がYCbr映像である場合に、前記(c)段階において、前記予測レジデュ生成段階は、Y成分のレジデュを線形変換した値を前記予測子とし、Cb成分のレジデュと前記予測子との差を利用して、前記Cb成分の予測レジデュを生成すると共に、Cr成分のレジデュと前記予測子との差を利用して、前記Cr成分の予測レジデュを生成する、
    ことを特徴とする請求項26記載のカラー平面間予測を利用した無損失映像符号化方法。
  31. 前記カラー映像がXYZ映像である場合、前記(c)段階において、前記予測レジデュ生成段階は、X、Y及びZそれぞれの成分をYCbr映像に対応させる、
    ことを特徴とする請求項30記載のカラー平面間予測を利用した無損失映像符号化方法。
  32. 相異なるカラー間のレジデュ予測を使用してカラー映像を無損失に符号化する方法であって、
    (a)インターモードであるかイントラモードであるかを判断するモード判断段階と、
    (b)前記モード判断段階でインターモードであると判断されれば、以前映像と現在映像間に所定サイズのブロック単位で動きを推定し、該当する予測映像を出力する動きを予測する段階と、
    (c)前記カラー映像の相異なるそれぞれの成分に対し、前記動き予測段階で出力される予測映像と現在映像の該当ブロックとの差に該当する時間レジデュを生成する段階と、
    (d)前記時間レジデュを求める段階で出力される前記カラー成分の相異なるそれぞれの成分のうち1つのレジデュを線形変換した値を予測子に決め、他の成分の時間レジデュと前記予測子との差を利用して予測レジデュを生成する段階と、
    (e)前記カラー映像のうち前記予測子を形成するレジデュを前記時間レジデュを求める段階から受信し、他の成分の前記予測レジデュを前記予測レジデュ生成部から受信してエントロピー符号化してビットストリームを生成する段階と、
    (b’)前記モード判断段階でイントラモードであると判断されれば、前記現在映像の画素ブロックと空間的に近接した画素から予測方向を推定し、該当する予測映像を出力する空間を予測する段階と、
    (c’)前記カラー映像の相異なるそれぞれの成分に対し、前記空間を予測する段階で出力される予測映像と現在映像の該当ブロックとの差に該当する空間レジデュを生成する段階と、
    (d’)前記空間レジデュを生成する段階で出力される前記カラー成分の相異なるそれぞれの成分のうち1つのレジデュを線形変換した値を予測子に決め、他の成分のレジデュと前記予測子との差を利用して予測レジデュを生成する段階と、
    (e’)前記空間レジデュを生成する段階から前記カラー映像のうち前記予測子を形成する空間レジデュを受信し、他の成分の前記予測レジデュを前記予測レジデュ生成部から受信してエントロピー符号化してビットストリームを生成するエントロピー符号化段階とを含み、
    前記(d)段階又は(d’)段階において、前記予測レジデュを生成する段階は、前記相異なるそれぞれの成分のうち1つのレジデュに、前記他の成分のそれぞれに応じた異なる一定の値をそれぞれ乗じて、得られたそれぞれの値に、前記他の成分のそれぞれに応じた異なる一定の値をそれぞれ加える線形関数を利用して前記予測レジデュを生成する、
    ことを特徴とするカラー平面間予測を利用した無損失映像符号化方法。
  33. 無損失に符号化されたカラー映像を復号化する装置であって、
    時間的に動き補償した予測映像を生成する動き補償部と、
    前記無損失に符号化されたカラー映像のビットストリームを復号化する場合に、前記カラー映像成分のビットストリームが無損失映像符号化装置において予測子とされたカラー映像成分である場合には復元された予測子成分レジデュを生成し、前記無損失映像符号化装置において予測子とされないカラー映像成分である場合には復元された予測レジデュを生成するエントロピー復号化部と、
    前記エントロピー復号化部で生成された復元された予測子成分レジデュを線形変換し、前記線形変換した値と前記エントロピー復号化部で生成された復元された予測レジデュとを加えて復元されたレジデュを生成する予測レジデュ補償部と、
    前記予測レジデュ補償部で生成された復元された予測子成分レジデュそれぞれに対して前記予測映像を加えて原映像を生成する原映像生成部とを含み、
    前記線形変換は、前記予測子とされたカラー映像成分の前記復元された予測子成分レジデュに、前記予測子とされない成分のそれぞれに応じた異なる一定の値をそれぞれ乗じて、得られたそれぞれの値に、前記予測子とされない成分のそれぞれに応じた異なる一定の値をそれぞれ加える線形関数を利用した変換である、
    ことを特徴とするカラー平面間予測を利用した無損失映像復号化装置。
  34. 前記線形変換は、前記カラー映像の成分間の相関関係を利用した変換である、
    ことを特徴とする請求項33記載のカラー平面間予測を利用した無損失映像復号化装置。
  35. 前記カラー映像は、R−G−B型式、Y−Cb−Cr形式、X−Y−Z形式の映像のうちいずれか一つである、
    ことを特徴とする請求項33記載のカラー平面間予測を利用した無損失映像復号化装置。
  36. 無損失に符号化されたカラー映像を復号化する装置であって、
    空間的に近接した画素から予測方向を推定して得た予測映像を生成する空間予測部と、
    前記無損失に符号化されたカラー映像のビットストリームを復号化する場合に前記カラー映像成分のビットストリームが無損失映像符号化装置において予測子とされたカラー映像成分である場合には復元された予測子成分レジデュを生成し、前記無損失映像符号化装置において予測子とされないカラー映像成分である場合には復元された予測レジデュを生成するエントロピー復号化部と、
    前記エントロピー復号化部で生成された復元された予測子成分レジデュを線形変換し、前記線形変換した値と前記エントロピー復号化部で生成された復元された予測レジデュとを加えて復元されたレジデュを生成する予測レジデュ補償部と、
    前記予測レジデュ補償部で生成された復元されたレジデュと前記エントロピー復号化部で生成された復元された成分のレジデュそれぞれに前記予測映像を加えて原映像を生成する原映像生成部とを含み、
    前記線形変換は、前記予測子とされたカラー映像成分の前記復元された予測子成分レジデュに、前記予測子とされない成分のそれぞれに応じた異なる一定の値をそれぞれ乗じて、得られたそれぞれの値に、前記予測子とされない成分のそれぞれに応じた異なる一定の値をそれぞれ加える線形関数を利用した変換である、
    ことを特徴とするカラー平面間予測を利用した無損失映像復号化装置。
  37. 前記線形変換は、前記カラー映像の成分間の相関関係を利用した変換である、
    ことを特徴とする請求項36記載のカラー平面間予測を利用した無損失映像復号化装置。
  38. 前記カラー映像は、R−G−B型式、Y−Cb−Cr形式及びX−Y−Z形式の映像のうちいずれか一つである、
    ことを特徴とする請求項36記載のカラー平面間予測を利用した無損失映像復号化装置。
  39. 無損失に符号化されたカラー映像を復号化する装置であって、
    空間的に近接した画素から予測方向を推定して得た予測映像を生成する空間予測部と、
    時間的に動き補償した予測映像を生成する動き補償部と、
    前記無損失に符号化されたカラー映像のビットストリームを復号化する場合に、前記カラー映像成分のビットストリームが無損失映像符号化装置において予測子とされたカラー映像成分である場合には復元された予測子成分レジデュを生成し、前記無損失映像符号化装置において予測子とされないカラー映像成分である場合には復元された予測レジデュを生成するエントロピー復号化部と、
    前記エントロピー復号化部で生成された復元された予測子成分レジデュを線形変換し、前記線形変換した値と前記エントロピー復号化部で生成された復元された予測レジデュとを加えて復元されたレジデュを生成する予測レジデュ補償部と、
    前記予測レジデュ補償部で生成された復元されたレジデュと前記エントロピー復号化部で生成された復元された成分のレジデュそれぞれに対してインターモードならば前記動き補償部で生成された予測映像を、イントラモードならば前記空間予測部で生成された予測映像を加えて原映像を生成する原映像生成部とを含み、
    前記線形変換は、前記予測子とされたカラー映像成分の前記復元された予測子成分レジデュに、前記予測子とされない成分のそれぞれに応じた異なる一定の値をそれぞれ乗じて、得られたそれぞれの値に、前記予測子とされない成分のそれぞれに応じた異なる一定の値をそれぞれ加える線形関数を利用した変換である、
    ことを特徴とするカラー平面間予測を利用した無損失映像復号化装置。
  40. 無損失に符号化されたカラー映像を復号化する方法であって、
    (a)時間的に動き補償した予測映像を生成する段階と、
    (b)前記無損失に符号化されたカラー映像のビットストリームを復号化して前記カラー映像のそれぞれの成分のうち1つの復元された成分のレジデュと前記カラー映像の他の成分が復元された予測レジデュとを生成するエントロピー復号化段階と、
    (c)前記エントロピー復号化段階で復元された成分のレジデュを線形変換する段階と、
    (d)前記(c)段階で線形変換された値と前記復元された予測レジデュとを加えて変換されていない成分の復元されたレジデュを生成する予測レジデュ補償段階と、
    (e)前記予測レジデュ補償段階で生成された前記復元されたレジデュと前記エントロピー復号化段階で生成された復元された成分のレジデュそれぞれに前記予測映像を加えて原映像を復元する段階とを含み、
    前記線形変換は、前記カラー映像のそれぞれの成分のうち1つの前記復元された成分のレジデュに、前記カラー映像の他の成分のそれぞれに応じた異なる一定の値をそれぞれ乗じて、得られたそれぞれの値に、前記カラー映像の他の成分のそれぞれに応じた異なる一定の値をそれぞれ加える線形関数を利用した変換である、
    ことを特徴とするカラー平面間予測を利用した無損失映像復号化方法。
  41. 前記線形変換は、前記カラー映像の成分間の相関関係を利用した変換である、
    ことを特徴とする請求項40記載のカラー平面間予測を利用した無損失映像復号化方法。
  42. 前記カラー映像は、R−G−B型式、Y−Cb−Cr形式及びX−Y−Z形式の映像のうちいずれか一つである、
    ことを特徴とする請求項40記載のカラー平面間予測を利用した無損失映像復号化方法。
  43. 無損失に符号化されたカラー映像を復号化する方法であって、
    (a)空間的に近接した画素から予測方向を推定して得た予測映像を生成する段階と、
    (b)前記無損失に符号化されたカラー映像のビットストリームを復号化して前記カラー映像のそれぞれの成分のうち1つの復元された成分のレジデュと前記カラー映像の他の成分が復元された予測レジデュとを生成するエントロピー復号化段階と、
    (c)前記エントロピー復号化段階で復元された成分のレジデュを線形変換する段階と、
    (d)前記(c)段階で線形変換された値と前記復元された予測レジデュとを加えて変換されていない成分の復元されたレジデュを生成する予測レジデュ補償段階と、
    (e)前記予測レジデュ補償段階で生成された前記復元されたレジデュと前記エントロピー復号化段階で生成された復元された成分のレジデュそれぞれに前記予測映像を加えて原映像を復元する段階とを含み、
    前記線形変換は、前記カラー映像のそれぞれの成分のうち1つの前記復元された成分のレジデュに、前記カラー映像の他の成分のそれぞれに応じた異なる一定の値をそれぞれ乗じて、得られたそれぞれの値に、前記カラー映像の他の成分のそれぞれに応じた異なる一定の値をそれぞれ加える線形関数を利用した変換である、
    ことを特徴とするカラー平面間予測を利用した無損失映像復号化方法。
  44. 前記線形変換は、前記カラー映像の成分間の相関関係を利用した変換である、
    ことを特徴とする請求項43記載のカラー平面間予測を利用した無損失映像復号化方法。
  45. 前記カラー映像は、R−G−B型式、Y−Cb−Cr形式及びX−Y−Z形式の映像のうちいずれか一つである、
    ことを特徴とする請求項43記載のカラー平面間予測を利用した無損失映像復号化方法。
  46. 無損失に符号化されたカラー映像を復号化する方法であって、
    (a)インターモードであるかイントラモードであるかを判断するモード判断段階と、
    (b)前記モード判断段階でインターモードであると判断されれば、時間的に動き補償した予測映像を生成する段階と、
    (c)前記無損失に符号化されたカラー映像のビットストリームを復号化して前記カラー映像のそれぞれの成分のうち1つの復元された成分のレジデュと前記カラー映像の他の成分が復元された予測レジデュとを生成するエントロピー復号化段階と、
    (d)前記エントロピ復号化段階で復元された成分のレジデュを線形変換する段階と、
    (e)前記(d)段階で線形変換された値と前記復元された予測レジデュとを加えて変換されていない成分の復元されたレジデュを生成する予測レジデュ補償段階と、
    (f)前記予測レジデュ補償段階で生成された前記復元されたレジデュと前記エントロピー復号化段階で生成された復元された成分のレジデュそれぞれに前記予測映像を加えて原映像を復元する段階と、
    (b’)前記モード判断段階でイントラモードであると判断されれば、空間的に近接した画素から予測方向を推定して得た予測映像を生成する段階と、
    (c’)前記無損失に符号化されたカラー映像のビットストリームを復号化して前記カラー映像のそれぞれの成分のうち1つの復元された成分のレジデュと前記カラー映像の他の成分が復元された予測レジデュとを生成するエントロピー復号化段階と、
    (d’)前記エントロピー復号化段階で復元された成分のレジデュを線形変換する段階と、
    (e’)前記(d’)段階で線形変換された値と前記復元された予測レジデュとを加えて変換されていない成分の復元されたレジデュを生成する予測レジデュ補償段階と、
    (f’)前記予測レジデュ補償段階で生成された前記復元されたレジデュと前記エントロピー復号化段階で生成された復元された成分のレジデュそれぞれに前記予測映像を加えて原映像を復元する段階とを含み、
    前記線形変換は、前記カラー映像のそれぞれの成分のうち1つの前記復元された成分のレジデュに、前記カラー映像の他の成分のそれぞれに応じた異なる一定の値をそれぞれ乗じて、得られたそれぞれの値に、前記カラー映像の他の成分のそれぞれに応じた異なる一定の値をそれぞれ加える線形関数を利用した変換である、
    ことを特徴とするカラー平面間予測を利用した無損失映像復号化方法。
  47. 請求項20乃至32のうちいずれか1項に記載された発明をコンピュータで実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
  48. 請求項40乃至46のうちいずれか1項に記載された発明をコンピュータで実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2004210206A 2003-07-16 2004-07-16 カラー平面間予測を利用した無損失映像符号化/復号化方法及び装置 Expired - Fee Related JP4815107B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR2003-048667 2003-07-16
KR20030048667 2003-07-16
KR2004-055370 2004-07-16
KR1020040055370A KR100718122B1 (ko) 2003-07-16 2004-07-16 컬러 평면 간 예측을 이용한 무손실 영상 부호화/복호화방법 및 장치

Publications (2)

Publication Number Publication Date
JP2005039841A JP2005039841A (ja) 2005-02-10
JP4815107B2 true JP4815107B2 (ja) 2011-11-16

Family

ID=34067479

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004210206A Expired - Fee Related JP4815107B2 (ja) 2003-07-16 2004-07-16 カラー平面間予測を利用した無損失映像符号化/復号化方法及び装置

Country Status (3)

Country Link
US (1) US7333544B2 (ja)
EP (1) EP1509045A3 (ja)
JP (1) JP4815107B2 (ja)

Families Citing this family (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1538844A3 (en) * 2003-11-26 2006-05-31 Samsung Electronics Co., Ltd. Color image residue transformation and encoding method
KR100987775B1 (ko) * 2004-01-20 2010-10-13 삼성전자주식회사 영상의 3차원 부호화 방법
US7689051B2 (en) * 2004-04-15 2010-03-30 Microsoft Corporation Predictive lossless coding of images and video
WO2006009400A1 (en) * 2004-07-22 2006-01-26 Samsung Electronics Co., Ltd. Method and apparatus to transform/inverse transform and quantize/dequantize color image, and method and apparatus to encode/decode color image using it
KR100723408B1 (ko) * 2004-07-22 2007-05-30 삼성전자주식회사 컬러영상의 변환/역변환 및 양자화/역양자화 방법 및장치와, 이를 이용한 컬러영상의 부호화/복호화 방법 및장치
KR100627329B1 (ko) * 2004-08-19 2006-09-25 전자부품연구원 H.264 비디오 코덱을 위한 적응형 움직임 예측 및 모드결정 장치 및 그 방법
US20060061822A1 (en) * 2004-09-22 2006-03-23 Sung Chih-Ta S Method and device for temporarily storing image data
KR100647294B1 (ko) 2004-11-09 2006-11-23 삼성전자주식회사 화상 데이터 부호화 및 복호화 방법 및 장치
EP1872587B1 (en) 2005-04-13 2021-05-05 InterDigital VC Holdings, Inc. Luma and chroma encoding using separate predictors
JP4726047B2 (ja) * 2005-04-26 2011-07-20 Kddi株式会社 画像符号化装置
US7747096B2 (en) * 2005-07-15 2010-06-29 Samsung Electronics Co., Ltd. Method, medium, and system encoding/decoding image data
WO2007010690A1 (ja) * 2005-07-22 2007-01-25 Mitsubishi Electric Corporation 画像符号化装置、画像復号装置、および画像符号化方法、画像復号方法、画像符号化プログラム、画像復号プログラム、ならびに画像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体、画像復号プログラムを記録したコンピュータ読み取り可能な記録媒体
US8488889B2 (en) * 2005-07-22 2013-07-16 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US20080137744A1 (en) * 2005-07-22 2008-06-12 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US20080123947A1 (en) * 2005-07-22 2008-05-29 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method, image decoding method, image encoding program, image decoding program, computer readable recording medium having image encoding program recorded therein
US20080130988A1 (en) * 2005-07-22 2008-06-05 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US20090123066A1 (en) * 2005-07-22 2009-05-14 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method, image decoding method, image encoding program, image decoding program, computer readable recording medium having image encoding program recorded therein,
US20090034857A1 (en) * 2005-07-22 2009-02-05 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US20080123977A1 (en) * 2005-07-22 2008-05-29 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US20080165849A1 (en) * 2005-07-22 2008-07-10 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US8509551B2 (en) * 2005-07-22 2013-08-13 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recording with image encoding program and computer readable recording medium recorded with image decoding program
US20080130990A1 (en) * 2005-07-22 2008-06-05 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
KR100813963B1 (ko) * 2005-09-16 2008-03-14 세종대학교산학협력단 동영상의 무손실 부호화, 복호화 방법 및 장치
KR100873636B1 (ko) 2005-11-14 2008-12-12 삼성전자주식회사 단일 부호화 모드를 이용하는 영상 부호화/복호화 방법 및장치
WO2007079781A1 (en) * 2006-01-13 2007-07-19 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Picture coding using adaptive colour space transformation
KR101330630B1 (ko) * 2006-03-13 2013-11-22 삼성전자주식회사 최적인 예측 모드를 적응적으로 적용하여 동영상을부호화하는 방법 및 장치, 동영상을 복호화하는 방법 및장치
KR101200865B1 (ko) * 2006-03-23 2012-11-13 삼성전자주식회사 영상의 부호화 방법 및 장치, 복호화 방법 및 장치
KR101266168B1 (ko) * 2006-08-16 2013-05-21 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
US20080143875A1 (en) * 2006-08-17 2008-06-19 Scott Stacey L Method and system for synchronous video capture and output
KR101362757B1 (ko) * 2007-06-11 2014-02-14 삼성전자주식회사 인터 컬러 보상을 이용한 영상의 부호화 방법 및 장치,복호화 방법 및 장치
US8422803B2 (en) * 2007-06-28 2013-04-16 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method and image decoding method
JP2011505756A (ja) 2007-11-30 2011-02-24 ドルビー・ラボラトリーズ・ライセンシング・コーポレーション 時間的画像検出
KR20090097688A (ko) * 2008-03-12 2009-09-16 삼성전자주식회사 영상의 인트라 예측 부호화/복호화 방법 및 장치
US20090268096A1 (en) * 2008-04-28 2009-10-29 Siou-Shen Lin Video processing method for determining target motion vector according to chrominance data and film mode detection method according to chrominance data
KR20100018810A (ko) * 2008-08-07 2010-02-18 전자부품연구원 초고화질 영상 부호화, 복호화 방법 및 장치 및 컴퓨터로판독가능한 기록매체
EP2200326A1 (en) * 2008-12-18 2010-06-23 Thomson Licensing Method and device for encoding a block of an image using a reference block of a further image, data carrier carrying an encoded block of an image and method for decoding a block of an image
KR101646085B1 (ko) 2010-01-25 2016-08-05 톰슨 라이센싱 비디오 인코더, 비디오 디코더, 각각의 컬러 면에 대해 별개로 비디오 인코딩하기 위한 방법 및 비디오 디코딩하기 위한 방법
KR20110111853A (ko) 2010-04-05 2011-10-12 삼성전자주식회사 복수의 부분에 기초한 영상 부호화, 복호화 방법 및 장치
HUE057597T2 (hu) 2010-04-13 2022-05-28 Ge Video Compression Llc Videó kódolás képek többes fa struktúrájú alosztásainak használatával
TWI666882B (zh) 2010-04-13 2019-07-21 美商Ge影像壓縮有限公司 在樣本陣列多元樹細分中之繼承技術
KR102481529B1 (ko) 2010-04-13 2022-12-23 지이 비디오 컴프레션, 엘엘씨 평면 간 예측
KR101549644B1 (ko) 2010-04-13 2015-09-03 지이 비디오 컴프레션, 엘엘씨 샘플 영역 병합
US8798131B1 (en) 2010-05-18 2014-08-05 Google Inc. Apparatus and method for encoding video using assumed values with intra-prediction
US8767817B1 (en) 2011-04-07 2014-07-01 Google Inc. Apparatus and method for coding using parameterized equation
JP6094973B2 (ja) 2011-05-20 2017-03-15 サン パテント トラスト 色平面内予測を用いて映像を符号化および復号する方法および装置
EP2777250B1 (en) * 2011-11-07 2017-05-31 Intel Corporation Cross-channel residual prediction
JP5753062B2 (ja) * 2011-11-16 2015-07-22 Kddi株式会社 色コンポーネント間予測型画像符号化装置および復号装置
JP5872929B2 (ja) * 2012-03-06 2016-03-01 Kddi株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム
GB2501535A (en) * 2012-04-26 2013-10-30 Sony Corp Chrominance Processing in High Efficiency Video Codecs
US9781447B1 (en) 2012-06-21 2017-10-03 Google Inc. Correlation based inter-plane prediction encoding and decoding
EP2865185A4 (en) * 2012-06-26 2016-08-03 Intel Corp LAYER AND CHANNEL SURVEY SAMPLING
WO2014000168A1 (en) * 2012-06-27 2014-01-03 Intel Corporation Cross-layer cross-channel residual prediction
US9167268B1 (en) 2012-08-09 2015-10-20 Google Inc. Second-order orthogonal spatial intra prediction
US9344742B2 (en) 2012-08-10 2016-05-17 Google Inc. Transform-domain intra prediction
US9380298B1 (en) 2012-08-10 2016-06-28 Google Inc. Object-based intra-prediction
CN104769950B (zh) * 2012-09-28 2018-11-13 Vid拓展公司 用于视频编码中的色度信号增强的交叉平面滤波
US9369732B2 (en) 2012-10-08 2016-06-14 Google Inc. Lossless intra-prediction video coding
US9210432B2 (en) 2012-10-08 2015-12-08 Google Inc. Lossless inter-frame video coding
US9407915B2 (en) 2012-10-08 2016-08-02 Google Inc. Lossless video coding with sub-frame level optimal quantization values
US9756346B2 (en) 2012-10-08 2017-09-05 Google Inc. Edge-selective intra coding
US9628790B1 (en) 2013-01-03 2017-04-18 Google Inc. Adaptive composite intra prediction for image and video compression
US9225988B2 (en) 2013-05-30 2015-12-29 Apple Inc. Adaptive color space transform coding
US9225991B2 (en) 2013-05-30 2015-12-29 Apple Inc. Adaptive color space transform coding
US9247251B1 (en) 2013-07-26 2016-01-26 Google Inc. Right-edge extension for quad-tree intra-prediction
JP6154753B2 (ja) * 2014-01-08 2017-06-28 Kddi株式会社 動画像復号装置、動画像復号方法、およびプログラム
US9215469B2 (en) 2014-01-10 2015-12-15 Sony Corporation Intra-plane and inter-plane predictive method for RGB image coding
JP5755781B2 (ja) * 2014-05-07 2015-07-29 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 平面間予測
WO2016115733A1 (en) * 2015-01-23 2016-07-28 Mediatek Singapore Pte. Ltd. Improvements for inter-component residual prediction
EP3284259A1 (en) 2015-04-17 2018-02-21 VID SCALE, Inc. Chroma enhancement filtering for high dynamic range video coding
WO2016208748A1 (ja) * 2015-06-25 2016-12-29 Hoya株式会社 内視鏡システム及び評価値計算装置
EP4404572A2 (en) 2015-07-08 2024-07-24 InterDigital Madison Patent Holdings, SAS Enhanced chroma coding using cross plane filtering
JP6177966B2 (ja) * 2016-06-15 2017-08-09 インテル コーポレイション クロスチャネル残差予測
CN110337003B (zh) * 2019-04-29 2020-07-07 青岛农业大学 一种利用北斗***传输图像的方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000078411A (ja) * 1998-08-28 2000-03-14 Matsushita Electric Ind Co Ltd 可逆符号化装置及び可逆符号化方法
US6498111B1 (en) * 2000-08-23 2002-12-24 Cree Lighting Company Fabrication of semiconductor materials and devices with controlled electrical conductivity
US6510177B1 (en) * 2000-03-24 2003-01-21 Microsoft Corporation System and method for layered video coding enhancement
AUPR222500A0 (en) * 2000-12-21 2001-01-25 Unisearch Limited Method for efficient scalable compression of video

Also Published As

Publication number Publication date
JP2005039841A (ja) 2005-02-10
EP1509045A2 (en) 2005-02-23
US20050013370A1 (en) 2005-01-20
EP1509045A3 (en) 2006-08-09
US7333544B2 (en) 2008-02-19

Similar Documents

Publication Publication Date Title
JP4815107B2 (ja) カラー平面間予測を利用した無損失映像符号化/復号化方法及び装置
US8019001B2 (en) Prediction image generating method and apparatus using single coding mode for all color components, and image and video encoding/decoding method and apparatus using the same
JP5133135B2 (ja) インターカラー補償を利用した映像の符号化方法及び装置、復号化方法及び装置
JP4898111B2 (ja) カラー映像の剰余変換/逆変換方法と装置及びそれを利用したカラー映像符号化/復号化方法及び装置
JP2004343774A (ja) 映像のレジデュー予測を利用した映像符号化/復号化方法および装置
CA2452632C (en) Method for sub-pixel value interpolation
US8553768B2 (en) Image encoding/decoding method and apparatus
JP2014195323A (ja) 残差生成方法及び装置、並びに復元画面生成方法及び装置
JP2014158305A (ja) 予測映像の生成方法、装置及び記録媒体
US8761246B2 (en) Encoding/decoding device, encoding/decoding method and storage medium
JP2008507190A (ja) 動き補償方法
KR20070009337A (ko) 주파수 공간에서 컬러 성분간 예측을 이용한 컬러영상부호화/복호화 방법 및 장치
KR100718122B1 (ko) 컬러 평면 간 예측을 이용한 무손실 영상 부호화/복호화방법 및 장치
KR100718121B1 (ko) 영상의 레지듀 예측을 이용한 영상 부호화/복호화 방법 및장치
JP3348612B2 (ja) ブロック間予測符号化装置、ブロック間予測復号化装置、ブロック間予測符号化方法、ブロック間予測復号化方法、及びブロック間予測符号化復号化装置
JP5909149B2 (ja) 色変換装置、符号化器および復号器ならびにそれらのプログラム
JP5227989B2 (ja) 符号化装置、復号装置及びプログラム
US20070297517A1 (en) Entropy encoding and decoding apparatuses, and entropy encoding and decoding methods
JP2007266861A (ja) 画像符号化装置
JP2005184525A (ja) 画像処理装置
JPH10150665A (ja) 予測画像の作成方法及び画像符号化方法及び画像符号化装置

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20061026

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20061027

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070412

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100720

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20101020

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20101025

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110531

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110628

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110802

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110829

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140902

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees