JP4764706B2 - 動画像変換装置 - Google Patents
動画像変換装置 Download PDFInfo
- Publication number
- JP4764706B2 JP4764706B2 JP2005341009A JP2005341009A JP4764706B2 JP 4764706 B2 JP4764706 B2 JP 4764706B2 JP 2005341009 A JP2005341009 A JP 2005341009A JP 2005341009 A JP2005341009 A JP 2005341009A JP 4764706 B2 JP4764706 B2 JP 4764706B2
- Authority
- JP
- Japan
- Prior art keywords
- motion
- motion vector
- picture
- block
- moving image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
これら動画像の色、精細さ、動きの滑らかさ等の要求を満たす為に、そのデータ量は増大しており、通信回線が高速化し蓄積媒体も大容量化してはいるものの、動画像データの圧縮技術が求められた。
これらは、それぞれの特徴に応じた用途を有するが、利用者にとっては、相互に動画像を変換できることが望まれる。例えば、MPEG−2規格で録画したテレビ番組をMPEG−4規格のデータに変換して携帯再生装置で見ること等が可能となるからである。
しかし、この変換方法は、従来からある符号化装置と復号装置とをつなげることで実現できるという利点はあるものの、基本的に動画像の再生時間分の時間がかかってしまうため、HDD(Hard Disk Drive)からDVD(Digital Versatile Disk)などへの高速ダビングに慣れているユーザにとっては利便性が大幅に劣ることになる。
この変換方法は、変換前後の符号化処理が基本的に同じであることが前提となり、例えば、MPEG−2から、その上位規格のMPEG−4へのデータ変換では動きベクトルの再利用がなされ、動きベクトル探索処理にかかる処理時間のカットにより、変換時間の大幅な短縮化が図られた。
というのは、MPEG−2では、その上位規格のMPEG−4がサポートしているブロックサイズや動きベクトル等に関する仕様の全てをサポートしているわけではないからである。具体的には、MPEG−2でサポートしているブロックサイズは16画素×16画素のみであるが、MPEG−4では、加えて8画素×8画素のブロックをサポートしている。さらに、MPEG−2では、動きベクトルが1/2画素精度までしか認められていないが、MPEG−4では1/4画素精度まで認められている。
このMPEG−4/AVC規格は、MPEG−2が対象とするテレビジョン放送などからMPEG−4が対象とするモバイルやインターネットでも適用でき、QCIF(Quarter CIF:180画素×144ライン)〜HD(High Definition:1920画素×1080ライン)サイズの画像までを取り扱うことが可能なスケーラブルな規格であり、加えて、他の規格に比べて極めて高い圧縮率を実現する規格である。
そこで、本発明は、MPEG−4/AVC規格からMPEG−2規格、MPEG−4/AVC規格からMPEG−4規格等といった異なる符号化方式間でのデータ変換を短時間で行うことが出来る動画像変換装置の提供を目的とする。
これにより、動き探索をまったく行わずに、変換前の動きベクトルをそのまま用いる事ができるので、変換処理にかかる時間を大幅に短縮する事が出来るようになる。
また、前記選出手段が選出する動きベクトルが満たすべき条件は、ブロックの参照画像の符号化タイプを制限するものであり、前記選出手段は、前記条件を満たす動きベクトルを選出することとしてもよい。
これにより、変換前の動きベクトルをそのまま用いて、変換後の符号化方式において参照が許される参照画像にある参照ブロックを予測信号として用いる、また、変換後の符号化方式において参照が許される別の参照画像にある参照ブロックを予測信号として用いるので、動きベクトル探索のための計算が不要となり、処理時間を短縮することができるようになる。
また、前記選出手段が選出する動きベクトルが満たすべき条件は、ブロックの動きベクトルが1つである場合は、その動きベクトルの参照画像は当該ブロックの含まれる画像より前に表示される画像であることであり、前記選出手段は、第1動画像データに含まれるブロックの動きベクトルの1つが前記条件を満たす場合には、その動きベクトルを選出することとしてもよい。
また、前記選出手段は、選出されなかった動きベクトルのうち、その動きベクトルを補正することによって補正後の動きベクトルの参照ブロックが参照画像内に存在することとなる場合には、当該補正後の動きベクトルを選出することとしてもよい。
また、第1の動き補償予測方式は、MPEG4−AVC規格に則ったものであることとしてもよい。
これにより、MPEG−4/AVC規格で符号化したデータを、他の規格で符号化したデータの形式と同じ形式に変換することができる。
これにより、MPEG−4/AVC規格などの規格で符号化したデータを、MPEG−2規格で符号化したデータの形式と同じ形式に変換することができる。
また、第1の動き補償予測方式に従って符号化された第1動画像データを第2の動き補償予測方式に従って符号化されたデータと同形式の第2動画像データに変換する動画像変換方法は、第1動画像データに含まれるブロックの1以上の動きベクトルの中から、そのブロックの第2の動き補償予測方式における動きベクトルとなるべき条件を満たす動きベクトルを選出する選出ステップと、第2の動き補償予測方式に従った符号化を行う符号化ステップであって、前記選出ステップにより選出された各動きベクトルを用いてブロックの符号化を行う符号化ステップとを含むことを特徴とする。
<概要>
本発明にかかる動画像変換装置は、MPEG−4/AVC規格で符号化されたデータを、MPEG−2規格で符号化したデータの形式に変換する装置であり、この変換の際に動きベクトルを再利用することを特徴としている。これらの符号化方式は、動き補償予測方式であるという点で符号化の基本を同じくすることから、符号化データの共通の構成要素である動きベクトルの再利用を行う。
まず、ここで、MPEG−4/AVC規格とMPEG−2規格の動きベクトルの相違について図23〜図26を用いて説明しておく。
MPEG−4/AVCとMPEG−2のビデオストリームについて、図を用いて簡単に説明する。これらのビデオストリームは、基本的に同じ形をしている。
<ビデオストリーム>
図23は、ビデオストリームのデータ構造を示す図である。
このマクロブロックは、例えば、縦16画素×横16画素からなり、復号時にも1個単位で復号処理がなされる。
ビデオストリームは、複数のGOP(Group of Picture)で、構成され(1段目の図参照)、GOPは、Iピクチャ、Bピクチャ、Pピクチャという3つのタイプのピクチャデータ(図中のI,P,B)を1以上含み、先頭には必ずIピクチャが存在する(2段目の図参照)。
さらに、各ピクチャデータは、ピクチャヘッダと、複数のスライスから構成され(3段目の図参照)、ピクチャヘッダにはピクチャタイプが含まれる。このピクチャタイプは、ピクチャデータがIピクチャであるか、Bピクチャ、Pピクチャであるかを示す。
スライスは、スライスヘッダと、複数のマクロブロックとを有し(4段目の図参照)、スライスヘッダにはスライスタイプが含まれる。このスライスタイプは、スライスデータがIスライスであるか、Bスライス、Pスライスであるかを示す。
次に、マクロブロック2300は、マクロブロックタイプ2310、動き情報2320および画面間予測誤差2330とで構成される。
動き情報は、参照するピクチャを特定する参照ピクチャ2321と、動きベクトル2322とで構成される。
ただし、この動き情報の例はMPEG−4/AVC規格におけるものであり、MPEG−2規格では、参照ピクチャを示す番号であるところの「ref.idx0」等は存在しない。MPEG−2では、参照可能なピクチャが決まっている為、データとして持っておく必要が無いからである。
画面間予測誤差2330は、参照画像と対象画像の差分を表す。
<I/P/Bピクチャ>
ここで、Iピクチャとは、自画面内の情報のみを用いた符号化により得られる画面であり、Pピクチャとは1画面との1方向予測符号化によって得られる画面であり、Bピクチャとは2画面との2方向予測符号化によって得られる画面をいう。
また、MPEG−4/AVCでは、I/P/Bの各スライスも上述したピクチャと同じタイプのマクロブロックで構成され、IピクチャはIスライスのみ、PピクチャはIスライスとPスライスとで構成され、BピクチャはIスライスとPスライスとBスライスとで構成される。従って、MPEG−4/AVCのピクチャもMPEG−2のピクチャもそれぞれ同じタイプのマクロブロックを含む事となるため、本実施形態では、ピクチャで説明することとする。
<動きベクトルの相違>
MPEG−4/AVCとMPEG−2との動きベクトルの相違は、参照画像選択の自由度の違いである。MPEG−4/AVCでは圧縮率を上げるために参照画像の選択の幅を広げている。
ただし、MPEG−2のIピクチャを構成するマクロブロックは、すべて自マクロブロックのみで符号化が可能である(非参照)が、MPEG−4/AVCのIピクチャを構成するマクロブロックは、この非参照のマクロブロックのほかに、自画面内の他のマクロブロック(左上、上、右上、左)を参照して対象ブロックを符号化するマクロブロックがある(画面内予測)。
次に、Pピクチャ及びBピクチャに関しては、規格間で大きく3つの相違点がある。
1つは、参照画像とすることができるピクチャの種類が異なることであり、2つは、参照画像とできるピクチャの時間的距離であり、3つは、時間的方向である。
また、参照画像とできるピクチャの時間的距離としては、MPEG−2では、時間的に直近のピクチャに限られる。例えば、MPEG−2のPピクチャは、「最も近い過去のIピクチャあるいはPピクチャ」を参照画像とする必要がある(図25(a)参照)。
さらに、時間的方向の制約としては、MPEG−2のBピクチャでは、前方向及び後方に一枚ずつ参照画像を選択する必要がある。例えば、Bピクチャのブロックに対する動きベクトル2本のうち、1本は「時間順で最も近い過去のPピクチャあるいはIピクチャ」を参照画像とし、他の1本を「時間順で最も近い将来のPピクチャあるいはIピクチャ」を参照画像とする必要があった(図25(b)参照)。
これらの違いをマクロブロックタイプを基にまとめると、次のようになる。
尚、この表での「前方」とは、時間的に前方のピクチャを参照する前方参照を意味し、「後方」とは、時間的に後方のピクチャを参照する後方参照を意味するものとする。
<機能>
図1は、動画像変換装置の構成を示すブロック図である。
同図において動画像変換装置100は、外部から入力されるMPEG−4/AVC形式の動画像をMPEG−2形式の動画像に変換して出力する装置であって、復号部10、符号化部20及び動きベクトル構成部30から構成される。
ここでの復号部10は、各機能部は従来の復号装置と基本的に同じである。但し、本発明に特有の処理を行う為のデータの流れがあり(太線矢印)、これらについては、後述する動きベクトル構成部30の説明において述べる。
その代わりに、動きベクトル構成部30が新たに設けられている。
動きベクトル構成部30は、MPEG−4/AVC形式の動画像に含まれる動きベクトル等が再利用できるかどうかを判定し、判定結果に応じて動き補償予測部28に再利用のためのデータや指示を送る。
<復号部10>
復号部10は、可変長復号部11、逆量子化部12、逆直交変換部13、加算部14、フレームメモリ15及び動き補償部16から構成される。
逆量子化部12及び逆直交変換部13は、分離されたブロック毎の量子化係数に対して逆量子化及び逆直交変換を行ってブロック毎の画素データを得る。
フレームメモリ15は、加算部14からの出力のうち、参照画像として用いるための画面に相当する画素データを蓄積する。
動き補償部16は、動き補償予測されたブロックについて、可変長復号部11から得られる動き情報とフレームメモリ15に蓄積された参照画像とから当該ブロックの予測信号を求め、その予測信号を加算部14に出力する。
<符号化部20>
符号化部20は、減算部21、直交変換部22、量子化部23、逆量子化部24、逆直交変換部25、加算部26、フレームメモリ27、動き補償予測部28及び可変長符号化部29から構成される。
直交変換部22及び量子化部23は、減算部21からのブロックデータを直交変換及び量子化して出力する。
逆量子化部24、逆直交変換部25及び加算部27は、逆直交変換及び逆量子化及び予測信号の加算によりブロックの画素データを復元してフレームメモリ27に出力する。
動き補償予測部28は、動き補償予測の対象のブロックについて、予測信号及び動きベクトルを求め、予測信号を減算部21と加算部26とに出力し、動きベクトルを可変長符号化部29へ出力する。
しかし、本発明では、その他に、動きベクトル構成部30により出力される動きベクトルをそのまま、あるいはその動きベクトルを基準とする周辺の画像を参照画像上から探索して求める方法によっても動きベクトルを求める。
<復号部10のフレームメモリ15の内容>
次に、復号部10のフレームメモリ15に記憶されている参照画像について、図27と図28とを用いて説明する。
図27は、フレームメモリ15に格納される画像の関係を示す図である。
図27(a)は、GOPに含まれる複数のピクチャを表す図であり、図27(b)は、ピクチャの表示順を表す図であり、図27(c)は、フレームメモリを表す図である。
このGOP内のピクチャ順で復号されて、所定数のピクチャがフレームメモリに格納される。
フレームメモリに格納されたピクチャは、後続のピクチャから参照されるピクチャである「参照ピクチャ」と、後続のピクチャでは参照されないが表示されるべき順序に並べ替えて表示されるタイミングまで一時的に格納される「非参照ピクチャ」とに分類される。例えば、B5は非参照ピクチャで、「I1」と「B3」は参照ピクチャである(図27(c)参照)。
ここでのピクチャは、図24に示すような、復号された複数のマクロブロックで構成されており、これらの画像データのほか、管理用のデータも格納している。
図28は、フレームメモリに格納されている参照ピクチャの管理用データの例を示す図である。
この参照ピクチャリスト2800は、フレームメモリに格納されている参照ピクチャを管理するもので、フレームメモリに格納されているものとする。また、この参照ピクチャリスト2800の内容は、ピクチャが表示されたり、新しいピクチャが格納された時点で、更新される。
表示順序2801は、対象ブロックが参照ピクチャ2321を特定するための識別番号である。例えば、図27(b)においては、「B5」に含まれるマクロブロックの参照ピクチャ2321は、「ref.idx0」が「1」、「ref.idx1」が「4」となる(図23参照)。
ピクチャタイプ2802は、このピクチャの符号化タイプを表し、ピクチャデータのピクチャタイプ(図23第3段目参照)が格納される。
図28(b)は、マクロブロックアドレスリスト2820の例を示す図である。
マクロブロックを特定するマクロブロック位置2821と、そのブロックの画像データが格納されているフレームメモリ15内のアドレス2822とで構成される。通常、ピクチャの画像データは連続領域に格納されることから、格納アドレス2803があれば各マクロブロックのアドレスは求めることが可能であるが、本実施形態では、説明の便宜上、マクロブロックアドレスリスト2820を持っているものとする。
<動きベクトル構成部30>
動きベクトル構成部30は、判定部31、プログラム記憶部32及び予測制御部33から構成される。
判定部31は、プログラム記憶部32に記憶されているプログラムを実行することにより、動き補償予測部28に行わせるべき処理方法を決定し、決定した処理方法に応じた指示を予測制御部33に行わせる。予測制御部33は、決定された処理方法に応じて動き補償予測部28に指示を与える。
ピクチャタイプ2802は、可変長復号部11から送られてフレームメモリ15に一旦格納されていたものから、該当するピクチャのピクチャタイプを取得する。
図2〜4は、プログラム記憶部32に記憶されるプログラムの手順を示すフローチャートである。各図中のA〜Eの記号は、結合子であり、図面間の同じ記号の結合子どうしが結合して1つのフローチャートを表している。
プログラムの内容は、簡単には、ステップ(1):MPEG−4/AVC形式の動画像におけるマクロブロックと、それに対応する参照画像との組み合わせの関係を特定し、ステップ(2):その関係がMPEG−2形式で規定されている関係についての条件に適合するかどうかを判定し、ステップ(3):判定結果に応じて動き補償予測部28に行わせるべき処理方法を決定する、というものである。図面との対応は、上記(1)が図2全体に対応し、上記(2)が図3のステップS301〜S304及び図4のステップS401〜S404に対応し、上記(3)が図3のステップS305〜S312及び図4のステップS405〜S410に対応する。
まず、対象ブロックがPピクチャであるか否か(ステップS201)、Bピクチャであるか否か(ステップS204)を判断し、対象ブロックが含まれるピクチャのピクチャタイプ「I/P/B」を振り分ける。
Pピクチャである場合(ステップS201:YES)には、予測モードが画面間予測であるか否か(ステップS202)を判断し、画面間予測であれば(ステップS202:YES)、フレームメモリ15から動きベクトルの参照画像の取得を行う(ステップS203)。
画面内予測か非参照であれば(ステップS202:NO)、再利用する動きベクトルは存在しないため、動きベクトルを利用しない処理に移る(D)。
以下、ピクチャタイプごとに説明する。
まず、Pピクチャの場合(A)について説明する(図3参照)。
ステップS301において判定部31は、Pピクチャの対象ブロックと参照画像との関係がMPEG−2形式の規定に適合するかどうかを判定する。
ここにおいて、Pピクチャのブロックと参照画像についてのMPEG−2の規定は、「参照画像が、対象ブロックのピクチャから時間順で最も近い過去のPピクチャあるいはIピクチャであること」である。
また、該当する参照画像の表示順序2801より小さい番号のピクチャタイプ2802がすべて「B」であれば、時間的に最も近いと判断する。例えば、図27(b)において、参照画像の参照ピクチャ番号が「1」の場合、参照ピクチャ番号「0」のピクチャタイプ、すなわち、表示順序2801が「3」のピクチャタイプ2802が「B」であれば、時間的に最も近いと判断される。
判定の結果、適合する場合は、参照可能であると判断し(ステップS302:YES)、動きベクトル等をMPEG−2の符号化に利用するために、ステップS305に進む。
(Bピクチャ:1方向参照)
次に、Bピクチャで、1方向参照の場合(B)について説明する(図3参照)。
ステップS303において判定部31は、Bピクチャの対象ブロックと1方向参照の参照画像との関係について、MPEG−2の条件に適合するかどうかを判定する。ここにおいて、Bピクチャのマクロブロックと1枚の参照画像についてのMPEG−2の規定は、「参照画像が、対象ブロックのピクチャから時間順で最も近い過去のPピクチャ又はIピクチャであること」である。
適合せずに参照不可能と判断した場合は(ステップS304:NO)、動きベクトルを利用しない処理(ステップ309)に進む。
(Bピクチャ:2方向参照)
次に、Bピクチャで、2方向参照の場合(C)について説明する(図4参照)。
まず1つ目は、1つ参照画像のみが、最も近い過去または将来のI/Pピクチャである。
2つ目は、2つの参照画像ともに、最も近い過去または将来のI/またはPピクチャである。
4つ目は、その他、すなわち、2つの参照画像ともに適合しない場合である。
ステップS402において、2枚の参照画像のうち1枚がMPEG−2の規定に適合すると判定した場合、ステップS405に処理を進める。
ステップS404において、2枚の参照画像のどちらもMPEG−2の規定に適合し、かつ、一方の参照画像が前方参照で他方の参照画像が後方参照である場合、判定部31は、ステップS409に処理を進める。
(ステップ(3))
最後に、判定部は、ステップ(2)における判定結果に応じて、動き補償予測部28に行わせるべき処理方法を決定し、決定に応じて予測制御部33が動き補償予測部28に処理方法を指示する。
(Pピクチャ)
MPEG−4/AVCにおけるPピクチャの対象ブロックに対する参照画像が、対象ブロックのピクチャから時間順で最も近い過去のPピクチャあるいはIピクチャである場合には、判定部31は、動き補償予測部28に、その動きベクトルを再利用させることを決定する(ステップS305)。再利用とはつまり、動き補償予測部28が、参照画像から動き探索によって動きベクトルを探索する代わりに、MPEG−4/AVCの動きベクトルをMPEG−2の動きベクトルとしてそのまま利用して符号化することを意味する。
(Bピクチャ:1方向参照)
また、MPEG−4/AVCにおけるBピクチャのブロックに対する1枚の参照画像が、対象ブロックのピクチャから時間順で最も近い過去又は将来のPピクチャ又はIピクチャである場合には、判定部31は、動き補償予測部28に、その動きベクトルを再利用させることを決定する(ステップS307)。
(Bピクチャ:2方向参照)
また、MPEG−4/AVCにおけるBピクチャのブロックに対する2枚の参照画像のうちの1枚のみが、対象ブロックのピクチャから時間順で最も近い過去又は未来のPピクチャあるいはIピクチャである場合には、判定部31は、動き補償予測部28に、その動きベクトルを再利用させることを決定する(ステップS405)。
また、MPEG−4/AVCにおけるBピクチャのブロックに対する2枚の参照画像がいずれも、対象ブロックのピクチャから時間順で最も近い過去又は未来のPピクチャあるいはIピクチャである場合であって、参照方向がどちらも前方参照か又はどちらも後方参照である場合には、判定部31は、どちらか1つの動きベクトルを選択し、それを再利用させることを決定する(ステップS407)。
この場合、判定部31は、MPEG−2におけるマクロブロックタイプを1方向参照にすることを決定する(ステップS408、図10参照)。
また、MPEG−4/AVCにおけるBピクチャのブロックに対する2枚の参照画像がいずれも、対象ブロックのピクチャから時間順で最も近い過去又は未来のPピクチャあるいはIピクチャである場合であって、一方が前方参照で他方が後方参照である場合には、判定部31は、2つの動きベクトルを再利用させることを決定する(ステップS409)。
なお、Bピクチャの対象ブロックに対する参照画像が、MPEG−2の規定に適合しない場合には、判定部31は、対象ブロックの動きベクトルを利用しないことを決定し、MPEG−2におけるマクロブロックタイプを画面間参照なしにする(ステップS309、S310、図6および図8参照)。
Iピクチャの対象ブロック、及び、P/Bピクチャにおける非参照、画面内予測の対象ブロックについては、判定部31は、動きベクトルを利用しないことを決定(ステップS311)し、またMPEG−4/AVCのマクロブロックタイプ(画面間参照なし)をMPEG−2でも維持することを決定する(ステップS312)。
具体的には、動きベクトルを再使用できる場合には、動き情報2320を、動き補償予測部28に送信し、再使用できない場合は、その旨を通知することになる。
(動作例)
次に、マクロブロックと参照画像との関係を示す例の図をあげて、動作を説明する。
図(a)、図(b)ともに、同じ動画像が左から右へ表示順に並ぶものとする。図(a)は、対象ブロックについての、MPEG−4/AVC形式における参照ブロックとの関係を示しており、図(b)は、図(a)と同じ対象ブロックについての変換後のMPEG−2形式における参照画像との関係を示している。図5〜図22まで、同様である。
図5は、1方向参照の場合の、動きベクトル利用のケースである。
このケースは、Pピクチャの場合と、Bピクチャの1方向参照の場合が該当する。
図5(a)において、右方のPピクチャの対象ブロックは(ステップS201;YES)、前方参照の画面間予測により(ステップS202;YES)、左方のIピクチャを参照画像として、その参照ブロックを参照しており、この参照関係は、MPEG−2の規定に適合する(ステップS302;YES)。このときの動きベクトルはMV1である。
図6は、マクロブロックタイプの変更を伴う、動きベクトル利用不可のケースである。
図7は、2方向参照の場合の、動きベクトル利用のケースである。
このケースは、Bピクチャの2方向参照の場合が該当する。
図7(a)においては、対象ブロックのピクチャがBピクチャであって(ステップS204;YES)、両方向参照の画面間予測をし(ステップS205;YES、ステップS206;NO)、どちらの参照画像もMPEG−2の規定において参照可能である(ステップS404;YES)。よって図7(b)に示すように2つの動きベクトルMV1、MV2を利用し(ステップS409)、マクロブロックタイプを両方向参照とする(ステップS410)。
このケースは、Bピクチャの2方向参照の場合が該当する。
図8(a)においては、Bピクチャにある対象ブロックは、2つのBピクチャを参照するが、MPEG−2ではBピクチャを参照画像とすることはできない(ステップS204→S205→S206→S208→S401→S402→S403→S404;NO)。
図9は、マクロブロックタイプの変更を伴う、動きベクトル利用のケースである。
このケースは、Bピクチャの2方向参照の場合が該当する。
よって動き補償予測部28は、同図(b)に示すように、Iピクチャを参照する動きベクトルMV1を利用し、マクロブロックタイプを1方向の画面間参照とする(ステップS305、S306)。
このケースは、Bピクチャの2方向参照の場合が該当する。
図10(a)においては、Bピクチャにある対象ブロックは、前方のIピクチャにある2つの参照ブロック1及び2を参照する。MPEG−2においては、前方の2つの画像を参照すること、あるいは、後方の2つの画像を参照することは許されていない(ステップS204→S205→S206→S208→S401→S402→S403;YES)。
<変形例1>
実施形態1では、動きベクトルの再利用に関して、典型的なパターンを説明したが、動きベクトルの再利用が可能な場合であっても、まったくそのままでは利用できない場合や、そのまま利用しない方がよい場合がある。
まず、そのまま利用できない場合としては、画素精度の問題があげられる。
すなわち、MPEG−4/AVCでは、画素精度が1/4であり、MPEG−2では1/2であるからである。
ここでMPEG−4/AVCでは動きベクトルの画素精度が1/4であり、MPEG−2では画素精度が1/2である。よって、動き補償予測部28は、図11(b)に示すように、図11(a)の動きベクトルMV1が1/4画素単位で指定されていたら、動きベクトルMV1を1/2精度に丸める補正を行い、その結果得られる動きベクトルMV3を利用して符号化する。この処理は、動きベクトル構成部30で行い、新しい動きベクトルを動き補償予測部28に送信する。または、動き補償予測部28で、行うこととしてもよい。
図12(a)は図9(a)と同じ状況であり、Bピクチャの2つのベクトルのうち、1つのみを再利用するケースであり、マクロブロックタイプが変更となるケースである。
2方向参照の場合、2つの参照ブロック(参照ブロック1および参照ブロック2)の平均をとることで最適な予測画像を得るようになっている。すなわち、少ないデータ量である画面間予測誤差2330(図23参照)を得ることができる。
誤差が大きくなる可能性がある場合には、動きベクトルを再度探索し最適な新しい動きベクトルを得る方がよいが、動きベクトル探索の処理量が多いという欠点がある。
そこで、再利用しようとする動きベクトル(MV1)の参照ブロックの近傍のみを再探索範囲とすることで、最適な新しい動きベクトルを得るとともに、処理時間を大幅に短縮することができるようになる。
より詳しくは、動き補償予測部28は、参照ブロック1の座標位置を中心としてx及びy方向に例えば±30画素の探索範囲を広げ、その探索範囲の中から動き探索により予測誤差がより小さいブロックを検出し、そのブロックを指す動きベクトルをMV3とする。
動きベクトルの探索範囲に含まれる参照ブロックのデータの求め方として、例えば、動きベクトル構成部30で、次のように求めることも可能である。
図29は、対象ブロックと、その近傍のマクロブロックを表す図である。ここで、例えば、探索範囲1に含まれるマクロブロックのデータは、(2,2)、(2,3)等の8つと対象ブロック(3,3)である。
同様に、探索範囲2の場合も、その範囲が含まれるマクロブロック(1,1)等を読込む。
ここでは、実施形態1で動きベクトルの再利用が不可と判断される場合であっても、その動きベクトルの参照ブロックを変えることで、再利用を可能とする場合を説明する。
参照ブロックを変えることで、予測誤差が増えることが考えられるが、動きベクトルの再探索処理を行う必要がないという利点がある。
図9(b)では、動きベクトル「MV2」を捨てて、動きベクトル「MV1」だけを利用して符号化している。
これに対し、図13(b)に示すように、動きベクトル「MV2」の代わりに動きベクトル「MV3」を利用して符号化してもよい。
時間的に近い画像は、画像の画素値が類似している可能性が高いからである。
動き補償予測部28は、参照画像3を、対象ブロックとの関係がMPEG−2の規定に適合する画像の中から選択する。この処理は、動きベクトル構成部30で行うこととしてもよい。
<実施形態2>
実施形態1では、フレームの例を扱ってきたが、図14〜16のようにフィールド構造に適用してもよい。
例えば、通常のテレビでは、TopフィールドとBottomフィールドを交互に表示する方式が採用されており、インターレース方式と呼ばれている。
すなわち、フィールドをフレームに置き換えて、実施形態1で説明したようなデータ形式の変換、すなわち、高圧縮の符号化方式で作成された動画像データをMPEG−2のデータに変換することが可能になる。
詳細には、MPEG−2のフィールド構造において、参照画像として認められるのは、符号化対象のピクチャがIピクチャの場合は、Topフィールドは参照不可、Bottomフィールドに限りトップフィールドを参照可能であり、Pピクチャの場合は、Topフィールド、Bottomフィールドとも時間順で最も近い過去のPピクチャあるいはIピクチャの両フィールドを参照可能であり、Bピクチャの場合は、Topフィールド、Bottomフィールドとも、1つは時間順で最も近い過去のPピクチャあるいはIピクチャの両フィールドを参照可能、1つは時間順で最も近い将来のPピクチャあるいはIピクチャの両フィールドを参照可能である。この制約は、MPEG−4でも同様である。
例えば、図14の例では、参照画像が「Iピクチャのボトムフィールド」と「Bピクチャのトップフィールド」であり、MPEG−2の参照画像としては、前者だけが参照可能である。よって、マクロブロックタイプを1方向参照に変更することで前者を参照画像として動きベクトルを再利用することが可能となる。
というのは、MPEG−2、MPEG−4以降に登場する動画像符号化方式では、MPEG−4/AVCのように、圧縮率を上げるために参照画像の自由度が上がる傾向になることが予想されるからである。
すなわち、この方式は、MPEG−2の参照画像の制約よりは自由度を高くし、MPEG−4/AVCの制約よりは自由度の低い、動画像符号化方式といえるものである。
MPEG−4/AVCから、このような参照画像の制約を持つ動画像符号化方式への変換の方法について図15に示す。
MPEG−2のような制約を持つ符号化方式Aでは、対象画面がBピクチャであるので、いずれの動きベクトルも再利用はできないが、「BピクチャのBottomフィールドは同フレームのTopフィールドを参照できる」という制約を持つ符号化方式Bでは、同一フレーム内のフィールド参照の動きベクトルは再利用が可能となる。
例えば、上述した予想される符号化形式の1つ(符号化方式B)で符号化された動画像から、MPEG−2に変換する際にも同様のことが考えられる。この場合の例として、図16に示すように2つの動きベクトルのうち、1つの動きベクトルだけが再利用可能となる。MPEG−2では、Bピクチャの同フレーム内参照はできないためである。図16(a)は、上記符号化方式Bでの動きベクトルを表し、図16(b)は、MPEG−2での動きベクトルを表す。
<実施形態3>
実施形態1では、MPEG−4/AVC形式のデータ内に存在する動きベクトルの再利用について説明したが、本実施形態では、データ内に存在しないが、マクロブロックを復号する際に動的に求められる動きベクトルを再利用する場合について説明する。
ダイレクトモードは、圧縮効率を上げる為に設けられたものであり、動き情報を他のブロックの動き情報から予測生成する符号化モードである。すなわち、動き情報に関するデータの量を減らすことができる。
本実施形態は、MPEG−4/AVCの復号時に算出した仮想的な動きベクトルをMPEG−2の動きベクトルとして利用するものである。すなわち、MPEG−4/AVCでは存在していなかった動きベクトルを算出してMPEG−2で付加することとなる。
図17を用いて、1つ目のダイレクトモードの動き情報生成について説明する。
1つ目のダイレクトモードは、周辺位置のマクロブロックの動きベクトル情報を利用して、対象となるマクロブロックの動きベクトルを仮想的に求めるスペーシャルダイレクトモードである。
予測の方法は、これら3つのマクロブロック(1701、1702、1703)の動きベクトルの中で、時間的に最も近い過去の参照画像を指す動きベクトルと、時間的に最も近い将来の動きベクトルとを選択し、対象ブロックの仮想動きベクトルとして予測する。対象ブロックは、2方向参照となる。
その中で、時間的に最も近い過去の参照画像を指す動きベクトル「MV1」と、時間的に最も近い将来の動きベクトル「MV2」とを選択し、そのまま対象ブロックの動きベクトルとする。
「MV3」はベクトルとしての値は「MV1」と同じで、「MV4」も「MV2」と同じである。また、参照画像は「MV1」「MV2」と同じ参照画像1と参照画像2である。参照画像と動きベクトルから、参照ブロック1と参照ブロック2が定まることになる。
2つ目のダイレクトモードは、周辺時間のマクロブロックの動き情報を利用して、対象ブロックの動きベクトルを仮想的に求めるテンポラルダイレクトモードである。
テンポラルダイレクトモードは、基本的に、時間的に最も近い将来の参照画像(参照画像2)において、対象ブロックと同じ位置のマクロブロック1801を指す動きベクトルから、対象のマクロブロックに対する動きベクトルを推測して、対象ブロックの仮想動きベクトルを求める。対象ブロックは、2方向参照となる。
この求めた「MV2」と「MV3」を、対象ブロックの動きベクトルとする。この場合、「MV2」の参照ブロックは、マクロブロック1802と同じ参照画像1の参照ブロック1となり、「MV3」の参照ブロックは、マクロブロック1801と同じ参照画像2の参照ブロック2となる。
<実施形態4>
本実施形態では、動きベクトルを再利用する場合、動きベクトルの参照画像のタイプ「I/P」と、時間方向の要件は満たしているが、参照ブロックの画面での位置の要件が満たされていない場合について、図19と図20を用いて説明する。
画面外の領域は、画面外が一番端の画素で埋められていることを想定して参照する。
一方、MPEG−2では、動きベクトルが常に画面内だけを参照している必要がある。
また、すべての動きベクトルが、画面外を参照している場合も、再利用することが出来ない。
この場合、MPEG−2では、当初想定していた参照ブロック(参照ブロック1)と異なる参照ブロック(参照ブロック2)を利用することになるので、予測画像からの誤差が発生する可能性がある。
<補足>
以上、本発明の実施形態について説明したが、本発明は上記形態に限らず、以下のようにしてもよい。
(1)実施形態では、基本的に、参照ブロックの含まれる参照画像は、変えないで動きベクトルの再利用を行うこととしているが、参照画像を変えることで、動きベクトルの再利用を行うこととしてもよい。ここで説明するケースは、図13で説明した場合の、発展形といえる。
図21(a)では、参照画像(参照画像1)がBピクチャであるので、再利用することは出来ない。しかし、Pピクチャを参照画像(参照画像2)とすることで、この動きベクトル「MV1」の再利用が可能となる場合がある。
しかし、この場合、予測画像との誤差が大きくなる場合があるので、Pピクチャの参照ブロックの近傍を探索範囲として再探索し、新しい参照ブロック(参照ブロック2)と新しい動きベクトル「MV2」を求めることとしてもよい(図21(b)参照)。
その例を図22に示す。
図22(b)では、参照画像をPピクチャ(参照画像2)に変更し、さらに、動きベクトル「MV1」を参照画像1〜参照画像2の時間間隔と参照画像1〜対象画像の時間間隔との比から、参照ブロックを移動する位置を決めて、新しい参照ブロック(参照ブロック2)を求める。
(2)実施形態では、MPEG−4/AVCからMPEG−2への変換を想定して説明を行ったが、本発明は、これらの符号化方式に限定されるものではなく、動きベクトルに関する制約が異なる符号化方式間の変換であれば、どのような符号化方式でもよい。
(3)実施形態では、MPEG−4/AVCからMPEG−2への変換を説明したが、例えば、MPEG−2からMPEG−4/AVCへの変換を行う場合もあり得る。
MPEG−2とMPEG−4/AVCの相違として、動きベクトルの探索範囲の違いがある。MPEG−4/AVCに規定される動きベクトルの最大探索範囲の方がMPEG−2の最大探索範囲よりも小さい。
またこのとき、動きベクトルが、MPEG−4/AVCに規定される最大探索範囲内に入らない動きベクトルについては、最大探索範囲内に収まるように動きベクトルをずらすことによって、動きベクトルを再利用するよう構成してもよい。
(4)動画像変換装置100は、図1の各構成要素の全部又は一部を、1チップ又は複数チップの集積回路で実現してもよいし、コンピュータのプログラムで実現してもよいし、その他どのような形態で実施してもよい。
(5)またコンピュータプログラムの場合、メモリカード、CD−ROMなどいかなる記録媒体に書き込まれたものをコンピュータに読み込ませて実行させる形にしてもよいし、ネットワークを経由してプログラムをダウンロードして実行させる形にしてもよい。
(6)上記実施形態では、スライス単位の動画像データをピクチャ単位の動画像データに変換する例を記載しているが、スライス単位からスライス単位、ピクチャ単位からピクチャ単位の変換においても、本発明の概念を適用することができる。
(7)動画像変換装置100は、図1の各構成要素の全部又は一部をLSIで構成してもよい。
11 可変長復号部
12 逆量子化部
13 逆直交変換部
14 加算部
15 フレームメモリ
16 動き補償部
20 符号化部
21 減算部
22 直交変換部
23 量子化部
24 逆量子化部
25 逆直交変換部
26 加算部
27 フレームメモリ
28 動き補償部
30 動きベクトル構成部
31 判定部
32 プログラム記憶部
33 予測制御部
100 動画像変換装置
Claims (6)
- 第1の動き補償予測方式に従って符号化された第1動画像データを第2の動き補償予測方式に従って符号化されたデータと同形式の第2動画像データに変換する動画像変換装置であって、
第2の動き補償予測方式の規格上の規定で、参照画像とすることができる画像には符号化したときの符号化タイプに制限があり、
第1動画像データに含まれるブロックの1以上の動きベクトルの中から、前記制限を満たす参照画像を指し示す動きベクトルを選出する選出手段と、
前記選出手段により選出された各動きベクトルを前記第2の動き補償予測方式における動きベクトルとしてそのまま用いてブロックの符号化を行う符号化手段と
を備え、
第1動画像データに含まれるブロックの動きベクトルの数が2つであり、
前記選出手段で、前記条件を満たす動きベクトルを1つだけ選出した場合、
前記符号化手段は、当該1つの動きベクトルをそのまま用いてブロックの符号化を行うとともに、当該ブロックの動き予測のタイプを示す情報を、2つの動きベクトルを用いる動き予測のタイプから1つの動きベクトルを用いる動き予測のタイプに変更することを特徴とする動画像変換装置。 - 前記選出手段は、第1動画データに含まれるブロックの2つの動きベクトルのいずれもが前方参照であるか、またはいずれもが後方参照である場合に、前記2つの動きベクトルのうちいずれか一方を選出することを特徴とする請求項1に記載の動画像変換装置。
- 第1の動き補償予測方式に従って符号化された第1動画像データを第2の動き補償予測方式に従って符号化されたデータと同形式の第2動画像データに変換する動画像変換方法であって、
第2の動き補償予測方式の規格上の規定で、参照画像とすることができる画像には符号化したときの符号化タイプに制限があり、
第1動画像データに含まれるブロックの1以上の動きベクトルの中から、前記制限を満たす参照画像を指し示す動きベクトルを選出する選出ステップと、
前記選出ステップにより選出された各動きベクトルを前記第2の動き補償予測方式における動きベクトルとしてそのまま用いてブロックの符号化を行う符号化ステップと
を含み、
第1動画像データに含まれるブロックの動きベクトルの数が2つであり、
前記選出ステップで、前記条件を満たす動きベクトルを1つだけ選出した場合、
前記符号化ステップは、当該1つの動きベクトルをそのまま用いてブロックの符号化を行うとともに、当該ブロックの動き予測のタイプを示す情報を、2つの動きベクトルを用いる動き予測のタイプから1つの動きベクトルを用いる動き予測のタイプに変更することを特徴とする動画像変換方法。 - コンピュータプログラムを実行可能な装置に、第1の動き補償予測方式に従って符号化された第1動画像データを第2の動き補償予測方式に従って符号化されたデータと同形式の第2動画像データに変換する動画変換処理を行わせるためのコンピュータプログラムであって、
第2の動き補償予測方式の規格上の規定で、参照画像とすることができる画像には符号化したときの符号化タイプに制限があり、
第1動画像データに含まれるブロックの1以上の動きベクトルの中から、前記制限を満たす参照画像を指し示す動きベクトルを選出する選出ステップと、
前記選出ステップにより選出された各動きベクトルを前記第2の動き補償予測方式における動きベクトルとしてそのまま用いてブロックの符号化を行う符号化ステップと
を含み、
第1動画像データに含まれるブロックの動きベクトルの数が2つであり、
前記選出ステップで、前記条件を満たす動きベクトルを1つだけ選出した場合、
前記符号化ステップは、当該1つの動きベクトルをそのまま用いてブロックの符号化を行うとともに、当該ブロックの動き予測のタイプを示す情報を、2つの動きベクトルを用いる動き予測のタイプから1つの動きベクトルを用いる動き予測のタイプに変更することを特徴とするコンピュータプログラム。 - コンピュータプログラムを記録したコンピュータ読取可能な記録媒体であって、前記コンピュータプログラムは、
コンピュータプログラムを実行可能な装置に、第1の動き補償予測方式に従って符号化された第1動画像データを第2の動き補償予測方式に従って符号化されたデータと同形式の第2動画像データに変換する動画変換処理を行わせるためのコンピュータプログラムであって、
第2の動き補償予測方式の規格上の規定で、参照画像とすることができる画像には符号化したときの符号化タイプに制限があり、
第1動画像データに含まれるブロックの1以上の動きベクトルの中から、前記制限を満たす参照画像を指し示す動きベクトルを選出する選出ステップと、
前記選出ステップにより選出された各動きベクトルを前記第2の動き補償予測方式における動きベクトルとしてそのまま用いてブロックの符号化を行う符号化ステップと
を含み、
第1動画像データに含まれるブロックの動きベクトルの数が2つであり、
前記選出ステップで、前記条件を満たす動きベクトルを1つだけ選出した場合、
前記符号化ステップは、当該1つの動きベクトルをそのまま用いてブロックの符号化を行うとともに、当該ブロックの動き予測のタイプを示す情報を、2つの動きベクトルを用いる動き予測のタイプから1つの動きベクトルを用いる動き予測のタイプに変更することを特徴とする。 - 第1の動き補償予測方式に従って符号化された第1動画像データを第2の動き補償予測方式に従って符号化されたデータと同形式の第2動画像データに変換する動画像変換装置
の集積回路であって、
第2の動き補償予測方式の規格上の規定で、参照画像とすることができる画像には符号化したときの符号化タイプに制限があり、
第1動画像データに含まれるブロックの1以上の動きベクトルの中から、前記制限を満たす参照画像を指し示す動きベクトルを選出する選出手段と、
前記選出手段により選出された各動きベクトルを前記第2の動き補償予測方式における動きベクトルとしてそのまま用いてブロックの符号化を行う符号化手段と
を備え、
第1動画像データに含まれるブロックの動きベクトルの数が2つであり、
前記選出手段で、前記条件を満たす動きベクトルを1つだけ選出した場合、
前記符号化手段は、当該1つの動きベクトルをそのまま用いてブロックの符号化を行うとともに、当該ブロックの動き予測のタイプを示す情報を、2つの動きベクトルを用いる動き予測のタイプから1つの動きベクトルを用いる動き予測のタイプに変更することを特徴とする集積回路。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005341009A JP4764706B2 (ja) | 2004-11-30 | 2005-11-25 | 動画像変換装置 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004347429 | 2004-11-30 | ||
JP2004347429 | 2004-11-30 | ||
JP2005341009A JP4764706B2 (ja) | 2004-11-30 | 2005-11-25 | 動画像変換装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006186979A JP2006186979A (ja) | 2006-07-13 |
JP4764706B2 true JP4764706B2 (ja) | 2011-09-07 |
Family
ID=36739687
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005341009A Expired - Fee Related JP4764706B2 (ja) | 2004-11-30 | 2005-11-25 | 動画像変換装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4764706B2 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008244993A (ja) * | 2007-03-28 | 2008-10-09 | Renesas Technology Corp | トランスコーディングのための装置および方法 |
JP5207693B2 (ja) * | 2007-09-18 | 2013-06-12 | キヤノン株式会社 | 画像符号化装置及び画像符号化方法 |
JP4892450B2 (ja) * | 2007-10-17 | 2012-03-07 | パナソニック株式会社 | 画像符号化装置および画像符号化方法 |
WO2010052838A1 (ja) * | 2008-11-07 | 2010-05-14 | 三菱電機株式会社 | 動画像符号化装置及び動画像復号装置 |
US9319699B2 (en) | 2009-01-08 | 2016-04-19 | Nec Corporation | Apparatus, method and program for image conversion |
JP5709492B2 (ja) * | 2010-12-01 | 2015-04-30 | 三菱電機株式会社 | 画像符号化方式変換装置および画像符号化方式変換プログラム |
JP5853757B2 (ja) * | 2012-02-21 | 2016-02-09 | 富士通株式会社 | 動画像符号化装置及び動画像符号化方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11275592A (ja) * | 1998-01-22 | 1999-10-08 | Victor Co Of Japan Ltd | 動画像符号列変換装置及びその方法 |
GB2369952B (en) * | 2001-03-10 | 2002-12-04 | Ericsson Telefon Ab L M | Transcoding of video signals |
US20040057521A1 (en) * | 2002-07-17 | 2004-03-25 | Macchina Pty Ltd. | Method and apparatus for transcoding between hybrid video CODEC bitstreams |
JP2006524000A (ja) * | 2003-04-17 | 2006-10-19 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ビデオトランスコーディング |
-
2005
- 2005-11-25 JP JP2005341009A patent/JP4764706B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2006186979A (ja) | 2006-07-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220321907A1 (en) | Method and device for video image processing | |
US9693075B2 (en) | Picture encoding device, picture encoding method, picture encoding program, picture decoding device, picture decoding method, and picture decoding program | |
RU2310231C2 (ru) | Пространственно-временное прогнозирование для двунаправлено прогнозируемых (в) изображений и прогнозирование вектора движения для компенсации движения множественных изображений с помощью эталона | |
JP4542447B2 (ja) | 画像の符号化/復号化装置、符号化/復号化プログラム及び符号化/復号化方法 | |
JP5368631B2 (ja) | 画像符号化方法、装置、及びプログラム | |
US9277220B2 (en) | Image coding apparatus including a geometric-transformation motion compensation prediction unit utilizing at least two prediction modes out of four prediction modes | |
US9197903B2 (en) | Method and system for determining a macroblock partition for data transcoding | |
US7933335B2 (en) | Moving picture conversion apparatus | |
CN101325710B (zh) | 视频编码中具有多种成本计算方法的运动细化引擎及方法 | |
JP4764706B2 (ja) | 動画像変換装置 | |
TWI647949B (zh) | Image prediction decoding method | |
JP2007067731A (ja) | 符号化方法 | |
JP5983430B2 (ja) | 動画像符号化装置、動画像符号化方法及び動画像復号装置ならびに動画像復号方法 | |
TWI790662B (zh) | 一種編解碼方法、裝置及其設備 | |
WO2012098845A1 (ja) | 画像符号化方法、画像符号化装置、画像復号方法及び画像復号装置 | |
JP2024019406A (ja) | アフィンコーディングされたブロックに対するオプティカルフローを用いた予測洗練化のための方法および装置 | |
US8594192B2 (en) | Image processing apparatus | |
KR20230145097A (ko) | 공간 국소 조명 보상 | |
JPWO2013014693A1 (ja) | 動画像復号化方法及び動画像符号化方法 | |
US20160134888A1 (en) | Video encoding apparatus, video encoding method, video decoding apparatus, and video decoding method | |
JP2007329528A (ja) | 動きベクトル復号化方法および復号化装置 | |
JP4708821B2 (ja) | 動画像符号化装置及びその制御方法、コンピュータプログラム及び記憶媒体 | |
JP5322956B2 (ja) | 画像符号化装置および画像符号化方法 | |
JP2013110517A (ja) | 動きベクトル符号化装置、動きベクトル符号化方法及びプログラム、動きベクトル復号装置、動きベクトル復号方法及びプログラム | |
JP2017038377A (ja) | 復号化方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080520 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100223 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100413 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100614 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110111 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110307 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110517 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110613 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140617 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |