JP2010041358A - トランスコーダ - Google Patents

トランスコーダ Download PDF

Info

Publication number
JP2010041358A
JP2010041358A JP2008201468A JP2008201468A JP2010041358A JP 2010041358 A JP2010041358 A JP 2010041358A JP 2008201468 A JP2008201468 A JP 2008201468A JP 2008201468 A JP2008201468 A JP 2008201468A JP 2010041358 A JP2010041358 A JP 2010041358A
Authority
JP
Japan
Prior art keywords
bit rate
function
stream
quantization step
rate ratio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008201468A
Other languages
English (en)
Other versions
JP5550032B2 (ja
Inventor
Nobumasa Narimatsu
伸将 成松
Hiroshi Hasegawa
弘 長谷川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MegaChips Corp
Original Assignee
MegaChips Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MegaChips Corp filed Critical MegaChips Corp
Priority to JP2008201468A priority Critical patent/JP5550032B2/ja
Priority to PCT/JP2009/054273 priority patent/WO2010016290A1/ja
Priority to US13/057,111 priority patent/US8615040B2/en
Publication of JP2010041358A publication Critical patent/JP2010041358A/ja
Application granted granted Critical
Publication of JP5550032B2 publication Critical patent/JP5550032B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/149Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162User input
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】そこで、本発明は前記問題点に鑑み、量子化ステップ値の急激な変動を抑え、安定したレート制御を可能とする技術を提供することを目的とする。
【解決手段】ビットレート比から量子化ステップ変換係数を算出する関数fは、関数fと基準点(R,f(R))で交わる傾き−1の直線である。関数fは、単調減少の指数関数である。基準ビットレート比Rは、第1ストリームの全体ビットレートS、第2のストリームの全体目標ビットレートTを用いてR=T/Sで表される。関数fは、符号変換においてビットレート比と量子化ステップ変換係数の関係を適切に表現するが、ビットレート比が0.5程度の領域で変動率が大きい。関数fは変動率が小さく、量子化ステップ変換値の急激な変動を抑制することができる。
【選択図】図3

Description

本発明は、入力ストリームをデコードして異なる出力ストリームに変換するトランスコーダに関し、詳しくは、出力ストリームの発生符号量を目標ビットレートに向けて適正に制御する技術に関する。
デジタル放送で配信される画像や、DVD、ハードディスクなどに格納される画像などは、各種の符号化方式に従って圧縮される。これは、伝送帯域を圧迫しないため、伝送速度を上げるため、あるいは、記憶サイズを小さくするなどの目的のためである。
画像の符号化方式には、MPEG2やH.264など様々な規格が存在する。そして、入力した符号化画像の符号量を削減するなどの目的で符号化方式の変換が行われる場合がある。トランスコーダは、入力した符号化画像を一旦デコードする。そして、トランスコーダは、デコードした画像を、再び異なる符号化方式(あるいは同じ符号化方式)で符号化する。このようにして、トランスコーダは、出力ストリームのビットレートを制御するのである。
下記特許文献1では、トランスコーダにおいて出力ストリームの量子化ステップ値を算出すための技術が開示されている。特許文献1では、デコードされた画像のマクロブロック内の画素のばらつき度合いや、動き評価値を加味して量子化ステップ値を調整するようにしている。
特開2008−42426号公報
ビットレートを一定に保つため、あるいはビットレートを削減することを目的として出力ストリームの量子化ステップ値を制御する場合、入力ストリームの状況、演算条件によっては量子化ステップの変動が大きくなるケースが発生する。量子化ステップの変動が大きくなると、レート制御が不安定になり、画質の劣化を招くことになる。
そこで、本発明は前記問題点に鑑み、量子化ステップ値の急激な変動を抑え、安定したレート制御を可能とする技術を提供することを目的とする。
上記課題を解決するため、請求項1記載の発明は、第1のストリームを第2のストリームに変換するトランスコーダであって、第1のストリームと第2のストリームのビットレート比から第1のストリームと第2のストリームの量子化ステップ変換値を算出する変換値算出部と、第1のストリームの量子化ステップ値に前記量子化ステップ変換値を乗算することで第2のストリームの量子化ステップ値を算出する量子化ステップ値算出部と、
を備え、前記変換値算出部は、前記ビットレート比と前記量子化ステップ変換値との関係が属する領域を指定する領域指定関数と、前記領域内において前記ビットレート比と前記量子化ステップ変換値との具体的な関係を決定する関係決定関数とを用いて、前記ビットレート比から前記量子化ステップ変換値を算出することを特徴とする。
請求項2記載の発明は、請求項1に記載のトランスコーダにおいて、第1のストリームの全体ビットレートと第2のストリームの全体目標ビットレートとの比を基準ビットレート比とすると、前記領域指定関数と前記関係決定関数とは、前記基準ビットレート比に対して同じ前記量子化ステップ変換値が対応付けられていることを特徴とする。
請求項3記載の発明は、請求項2に記載のトランスコーダにおいて、変換済みの過去の期間の第1のストリームのビットレートと第2のストリームの目標ビットレートとの比を現在ビットレート比とすると、前記領域指定関数を用いて前記現在ビットレート比に対して算出した前記量子化ステップ変換値と、前記関係決定関数を用いて前記現在ビットレート比に対して算出した前記量子化ステップ変換値との差が所定の閾値を越えた場合、前記現在ビットレート比により前記基準ビットレート比を更新することを特徴とする。
請求項4記載の発明は、請求項2または請求項3に記載のトランスコーダにおいて、前記基準ビットレート比の近傍においては、前記関係決定関数の変化率は、前記領域指定関数の変化率よりも小さいことを特徴とする。
請求項5記載の発明は、請求項4に記載のトランスコーダにおいて、前記領域指定関数は、単調減少の指数関数、を含むことを特徴とする。
請求項6記載の発明は、請求項4または請求項5に記載のトランスコーダにおいて、前記関係決定関数は、前記基準ビットレート比において前記領域指定関数と交わる負の傾きを有する直線であることを特徴とする。
請求項7記載の発明は、請求項4または請求項5に記載のトランスコーダにおいて、前記関係決定関数は、前記基準ビットレート比において前記領域指定関数と交わり、前記基準ビットレート比において負の傾きを有する接線を持つ双曲線であることを特徴とする。
請求項8記載の発明は、請求項4または請求項5に記載のトランスコーダにおいて、前記関係決定関数は、前記基準ビットレート比において前記領域指定関数と接する直線であることを特徴とする。
本発明のトランスコーダは、ビットレート比と量子化ステップ変換値との関係が属する領域を指定する領域指定関数と、領域内においてビットレート比と量子化ステップ変換値との具体的な関係を決定する関係決定関数とを用いて、ビットレート比から量子化ステップ変換値を算出する。領域指定関数により、符号変換に最適な特性を維持しつつ、関係決定関数により、量子化ステップ変換値の変動を調整することができる。
また、領域指定関数および関係決定関数を用いて現在ビットレート比に対して算出した量子化ステップ変換値の差が所定の閾値を越えた場合、現在ビットレート比により基準ビットレート比を更新する。これにより、関係決定関数の特性が、領域指定関数の特性から大きく乖離することを回避できる。
そして、基準ビットレート比の近傍においては、関係決定関数の変化率は、領域指定関数の変化率よりも小さいので、領域指定関数の特性により符号変換に適した関係を維持しつつ、関係決定関数により量子化ステップ変換値の急激な変動を抑制することができる。
{第1の実施の形態}
<1.トランスコーダの構成>
以下、図面を参照しつつ本発明の実施の形態について説明する。図1は、本実施の形態に係るトランスコーダ1のブロック図である。このトランスコーダ1は、CPU11、デコーダ12、画像メモリ13、ステップ値算出部14、エンコーダ15、バッファメモリ16を備えている。
デコーダ12は、第1ストリームを入力する。第1ストリームは、符号化画像のストリームである。デコーダ12は、第1ストリームをデコードし、非圧縮の画像データを画像メモリ13に出力する。エンコーダ15は、画像メモリ13に格納されたデコード後の非圧縮の画像データを再び符号化し、第2ストリームを出力する。
たとえば、トランスコーダ1は、MPEG2で符号化された第1ストリームを入力し、H.264で符号化された第2ストリームを出力するなど、ストリームの符号化方式を変換する処理を行う。あるいは、トランスコーダ1は、MPEG2で符号化された第1ストリームを入力し、再びMPEG2で符号化された第2ストリームを出力するなど、同じ符号化方式のストリームを出力する。
なお、デコーダ12、ステップ値算出部14、エンコーダ15における各演算処理は、ハードウェアにより実現されてもよいし、ソフトウェア処理により実現されていてもよい。つまり、これら演算処理部は、ハードウェア回路として構成されていてもよいし、CPUとメモリに格納されたプログラムとで構成されていてもよい。あるいは、一部の処理がハードウェアで処理され、一部の処理がソフトウェアで処理される形態であってもよい。
<2.制御単位期間と期間内の情報>
図2は、トランスコーダ1が入出力するストリームの制御単位期間ごとの情報を表した図である。トランスコーダ1は、処理時間軸を制御単位期間L(n=1,2・・・)に区分し、この制御単位期間Lを処理単位としてレート制御を行う。以下の説明において、適宜、制御単位期間Lを第n期間と呼ぶことにする。制御単位期間Lとしては、1フレーム、連続する複数フレーム、1GOP、連続する複数GOPなどを1単位期間として設定することが可能である。
第1ストリームの入力全体ビットレートSは、シーケンスヘッダなどから取得される。入力平均ビットレートSは、第n期間における第1ストリームの平均ビットレートである。トランスコーダ1は、M期間分の入力平均ビットレートSに関する情報をバッファメモリ16に格納可能としている。つまり、バッファメモリ16は、第(n−M+1)期間から第n期間までの入力平均ビットレートSに関する情報を格納可能としている。期間平均ビットレートASは、第(n−M+1)期間から第n期間における入力平均ビットレートSを平均した値である。期間平均ビットレートASは、数(1)式で表される。
Figure 2010041358
第2ストリームの全体目標ビットレートTは、ユーザにより設定される。たとえば、ユーザが、トランスコーダ1に設けられた図示せぬ操作部を用いて全体目標ビットレートTを設定する。
目標設定ビットレートTは、第n期間における第2ストリームの目標ビットレートである。出力平均ビットレートCは、第n期間における変換済みの第2ストリームの平均ビットレートである。トランスコーダ1は、M期間分の出力平均ビットレートCに関する情報をバッファメモリ16に格納可能としている。つまり、バッファメモリ16は、第(n−M+1)期間から第n期間までの出力平均ビットレートCに関する情報を格納可能としている。期間平均ビットレートACは、第(n−M+1)から第n期間における出力平均ビットレートCを平均した値である。期間平均ビットレートACは、数(2)式で表される。
Figure 2010041358
なお、この実施の形態では、期間平均ビットレートAS、ACを計算する場合に利用するバッファ期間を、制御単位期間Lと連動させたが、バッファ期間の設定方法は、これに限るものではない。たとえば、符号化が終わった時点の過去1フレーム、連続する過去複数フレーム、過去1GOP、連続する過去複数GOPなどをバッファ期間として設定することが可能である。
量子化ステップ変換係数αは、第(n−1)期間の終了時に算出される係数である。第1ストリームの量子化ステップ値そのもの、あるいは第1ストリームの量子化ステップ値から計算される値Pに、量子化ステップ変換係数αを乗算することで、第2ストリームの量子化ステップ値Qが決定される。この関係を数(3)式に示す。
Figure 2010041358
再び、図1を参照する。CPU11は、デコーダ12から第1ストリームのピクチャごとのビットレートs_bを取得し、バッファメモリ16に格納する。CPU11は、バッファメモリ16に格納されたビットレートs_bに基づき、第n期間の入力平均ビットレートSや期間平均ビットレートASを算出する。
デコーダ12は、第1ストリームのマクロブロックごとの量子化ステップ値Pをステップ値算出部14に出力する。
CPU11は、エンコーダ15から変換済みの第2ストリームのピクチャごとのビットレートc_bを取得し、バッファメモリ16に格納する。CPU11は、バッファメモリ16に格納されたビットレートc_bに基づき、第n期間の出力平均ビットレートCや期間平均ビットレートACを算出する。
CPU11は、また、ユーザにより設定された全体目標ビットレートTを取得する。
CPU11は、全体目標ビットレートT、出力平均ビットレートC、期間平均ビットレートAC、入力平均ビットレートS、期間平均ビットレートASなどの情報を利用し、第(n+1)期間の第2ストリームの目標設定ビットレートTn+1を決定する。目標設定ビットレートTn+1の算出方法は、次の項<3.目標ビットレートの算出例>において説明する。
CPU11は、さらに、第(n+1)期間の第2ストリームの目標設定ビットレートTn+1から本発明の特徴的な処理である関数fを利用することで、量子化ステップ変換係数αn+1を算出し、ステップ値算出部14に出力する。関数fについては、後の<4.変換係数の算出>において説明する。
ステップ値算出部14は、量子化ステップ値Pと量子化ステップ変換係数αn+1を入力し、数(3)式に示す演算を実行することで、第2ストリームの量子化ステップ値Qを算出する。ステップ値算出部14は、算出した量子化ステップ値Qをエンコーダ15に与える。
エンコーダ15は、ステップ値算出部14から入力した量子化ステップ値Qに基づいて非圧縮の画像データを符号化し、第2ストリームを生成する。
<3.目標ビットレートの算出例>
次に、第(n+1)期間における第2ストリームの目標設定ビットレートTn+1の算出例について説明する。トランスコーダ1は、第n期間経過時において、第(n+1)期間における第2ストリームの目標設定ビットレートTn+1を決定する。
数(4)式は、第(n+1)期間の目標設定ビットレートTn+1を算出する式である。具体的には、第n期間の変換済みの第2ストリームの出力平均ビットレートCを第n期間の目標設定ビットレートTで除算した値を目標比と考えると、第(n+1)期間の目標設定ビットレートTn+1は、第2ストリームの全体目標ビットレートTを目標比で除算することで算出される。
Figure 2010041358
数(4)式中、kは正の係数であり、目標設定ビットレートTn+1を調整するための係数である。このように、C/Tにより第n期間における目標との比を算出し、全体目標ビットレートTを目標比で除算することで第(n+1)期間の目標設定ビットレートTn+1を調整し、全体として目標ビットレートに近づくよう制御するのである。
数(4)式では、第n期間の第2ストリームの出力平均ビットレートCを目標設定ビットレートTで除算した値を目標比として利用しているが、この目標比をさらに調整するようにしたのが、数(5)式である。
Figure 2010041358
数(5)式において、目標比にSn−1/Sが乗算されている。Sn−1/Sは、第(n−1)期間の第1ストリームの入力平均ビットレートSn−1を、第n期間の第1ストリームの入力平均ビットレートSで除算した値であり、入力平均ビットレートの期間比と呼ぶことができる。つまり、目標比に期間比を乗算することで、目標比を調整しているのである。
このように目標比に期間比を乗算することで、局所的な目標比の変化を補正することができる。たとえば、入力平均ビットレートSが局所的に小さく変化した場合には、それに伴い、目標比C/Tも小さく変動する場合がある。このような場合にも、期間比Sn−1/S(この場合、期間比が1より大きな値となる。)を乗算することで、目標比を調整し、目標設定ビットレートTn+1が大きく変動することを回避できるのである。逆に、入力平均ビットレートSが局所的に大きく変化した場合には、期間比Sn−1/Sが1より小さい値となり、目標比が急激に大きくなることを抑制することができる。
数(5)式では、第(n−1)期間の第1ストリームの入力平均ビットレートSn−1を、第n期間の第1ストリームの入力平均ビットレートSで除算した値を期間比とした。これに対して、第1ストリームの第(n+1)期間の入力平均ビットレートSn+1を先読みできる場合には、入力平均ビットレートSn+1を利用してもよい。入力平均ビットレートSn+1を先読みできる場合とは、入力平均ビットレートSn+1に関する情報をバッファリングした上で、第(n+1)期間の目標設定ビットレートTn+1を算出できる時間的余裕がある場合である。つまり、ある程度の処理遅延が許されるような場合である。数(6)式に、入力平均ビットレートSn+1を用いて目標設定ビットレートTn+1を算出する式を示す。
Figure 2010041358
数(6)式に示すように、期間比として、S/Sn+1、つまり、第n期間の第1ストリームの入力平均ビットレートSを、第(n+1)期間の第1ストリームの入力平均ビットレートSn+1で除算した値を用いている。このように、第(n+1)期間の第1ストリームの入力平均ビットレートSn+1を利用することで、目標設定ビットレートTn+1をより高い精度で制御することが可能となる。つまり、より最新の入力情報を用いることで、目標ビットレートに対する最適制御を行うことができるのである。
また、数(5)式では、期間比としてSn−1/Sを利用した。これに代えて、第(n−1)期間を含む過去M期間の期間平均ビットレートASn−1と、第n期間を含む過去M期間の期間平均ビットレートASの比を期間比として用いてもよい。つまり、数(5)式において、期間比として、Sn−1/Sに代えて、ASn−1/ASを用いてもよい。これにより、局所的な変動の影響を小さくし、目標設定ビットレートTn+1を最適制御することが可能である。
あるいは、第1ストリームの第(n+1)期間の入力平均ビットレートSn+1を先読みできる場合には、第n期間を含む過去M期間の期間平均ビットレートASと、第(n+1)期間を含む過去M期間の期間平均ビットレートASn+1の比を期間比として用いてもよい。つまり、数(5)式において、期間比として、Sn−1/Sに代えて、AS/ASn+1を用いてもよい。これにより、局所的な変動の影響を小さくするとともに、最新の入力ビットレートを利用することで、より精度高く目標設定ビットレートTn+1を制御することが可能である。
また、第n期間の出力平均ビットレートCに代えて、第(n−M+1)期間から第n期間までの期間平均ビットレートACを用いても良い。つまり、数(4)式〜数(6)式等、上述した算出例において、Cに代えてACを用いるのである。これにより、目標設定ビットレートTn+1を、より緩やかに制御することが可能である。
第(n+1)期間の目標設定ビットレートTn+1を算出する別の算出例を数(7)式に示す。第n期間の目標設定ビットレートTから第n期間の変換済みの第2ストリームの出力平均ビットレートCを減算した値を目標差と考えると、第(n+1)期間の目標設定ビットレートTn+1は、第2ストリームの全体目標ビットレートTに目標差を加算することで算出されるのである。
Figure 2010041358
数(7)式中、kは正の係数であり、目標設定ビットレートTn+1を調整するための係数である。このように、(T−C)により、第n期間における目標との差を算出し、全体目標ビットレートTに目標差を加算することで、出力ストリームが目標ビットレートに近づくような制御を行うのである。
また、目標差(T−C)に、期間比Sn−1/Sや、期間比ASn−1/ASを乗算するようにしてもよい。あるいは、入力平均ビットレートSn+1を先読みできる場合には、目標差(T−C)に、期間比S/Sn+1、や期間比AS/ASn+1を乗算するようにしてもよい。また、Cに代えてACを用いても良い。
<4.変換係数の算出>
第(n+1)期間の目標設定ビットレートTn+1が算出されると、数(8)式に示す演算を行うことにより、量子化ステップ変換係数αn+1を算出する。つまり、現在ビットレート比=Tn+1/S(=R)を関数fに代入することで、第(n+1)期間の量子化ステップ変換係数αn+1を算出する。
Figure 2010041358
数(8)式中、関数fは、“ビットレートの比”から“量子化ステップ値の比”(量子化ステップ変換係数)を求める関数である。“ビットレートの比”とは、第1ストリームのビットレートに対する第2ストリームのビットレートの比である。第1ストリームのビットレートとしては、S、Sなどを用いる。第2ストリームのビットレートとしてはT、Tなどを用いる。“量子化ステップ値の比”とは、第1ストリームの量子化ステップ値に対する第2ストリームの量子化ステップ値の比である。“ビットレートの比”をR、“量子化ステップ値の比”をRとすると、関数fは、一般的に、数(9)式で表される。
Figure 2010041358
量子化ステップ変換係数αの初期値αは、数(10)式で与えられる。つまり、第2ストリームの全体目標ビットレートTを第1ストリームの入力全体ビットレートSで除算した値、つまりビットレートの比を関数fに入力することによって、量子化ステップ変換係数の初期値αを求めている。
Figure 2010041358
第2ストリームの全体目標ビットレートTを第1ストリームの入力全体ビットレートSで除算した値を、数(11)式に示すように、基準ビットレート比Rと呼ぶことにする。
Figure 2010041358
関数fについて詳しく説明する。上述したように、関数fは、“ビットレートの比”から量子化ステップ変換係数αを算出する関数である。数(12)式は、第1の実施の形態に係る関数fとして関数fを示す。
Figure 2010041358
関数fは、点(R,f(R))を通る傾き−1の直線である。ここで、関数fは、数(13)式で表される。関数fをそのまま関数fとして利用することも可能であるが、本実施の形態においては、関数fを領域指定関数として利用し、この領域指定関数fの局所的な傾きを調整した関係決定関数fを利用して量子化ステップ変換係数を算出することとしている。
Figure 2010041358
数(13)式においては、MPEG2からH.264へストリーム変換する場合のε、δの値として、実験等に基づいて算出された具体的数値を例示した。つまり、実験の結果、ε=2.1、δ=1.1とすることで、良好な特性が得られた。本実施の形態においては、全ピクチャに共通の関数fを利用しているが、ピクチャタイプ(Iピクチャ、Pピクチャ、Bピクチャ)でそれぞれに異なる特性の関数を利用してもよい。
図3は、関数fと関数fを示す図である。図中、x軸はビットレートの比を示し、y軸は量子化ステップ変換係数を示している。関数f、関数fとして具体的にε=2.1、δ=1.1の値を用いている。関数fは、指数関数であり、ビットレートの比が小さい領域については、その傾きが大きくなっている。ビットレートの比が、おおよそ0.4〜0.6程度で推移することを想定すると、関数fはこの領域において大きく量子化ステップ変換係数が変動することになる。したがって、関数fをそのまま関数fとして用いた場合には、ビットレートの比が小さい領域において、量子化ステップ変換係数の変動が大きくなる。そこで、基準ビットレート比Rの近傍領域において関数fよりも変動の小さい関数fを用いて量子化ステップ変換係数を算出することとしている。なお、図3においては、基準ビットレート比R=0.5の場合を例に図示している。
つまり、領域指定関数fは、ビットレートの比と量子化ステップ変換係数との関係を決めるおおよそのエリアを規定する役割を有し、そのエリアの中で、関数fは、ビットレートの比と量子化ステップ変換係数との関係を具体的に決定する役割を有する。上述したように、関数fは、実験等に基づいて求められた関数であり、MPEG2からH.264へストリーム変換する場合におけるビットレートの比と量子化ステップ変換係数の関係を良好に保つことができる。しかし、上述したように、ビットレートの比が0.4〜0.6程度において、量子化ステップ変換係数の変動が大きくならないように、関数fを利用するのである。
関数fは、点(R,f(R))において、関数fと交わっている。つまり、基準ビットレート比Rの近傍においては、関数fと比較的近い特性を維持している。しかし、関数fが、点(R,f(R))から離れるにつれて、関数fは関数fと特性が乖離する。関数fが関数fから特性が大きくずれると、関数fの特性を維持できなくなり、関数fを使用し続けるのは不適切となる。そこで、数(14)式の関係を満たす限りにおいて、関数fを利用するのである。
Figure 2010041358
数(14)式において、Rは、現在ビットレート比であり、数(15)式で示される。
そして、数(14)式の関係を満たさなくなった場合には、数(15)式に示す現在ビットレート比Rにより、基準ビットレート比Rを更新するのである。
Figure 2010041358
これにより、図4に示すように、基準点(R,f(R))が更新され、あわせて関数fも更新される。つまり、関数fで指定されるエリアに沿って、関数fを移動させながら、関数fを用いて量子化ステップ変換係数を算出するのである。これにより、関数fと関数fの両方の特性を利用して、最適なレート制御を行うことが可能である。
上記の実施の形態においては、数(8)式に示したように、ビットレートの比としてTn+1/Sを用いたが、数(16)式で示すように、第n期間における入力平均ビットレートSに代えて、第(n−M+1)期間から第n期間までの期間平均ビットレートASを用いて量子化ステップ変換係数αn+1を算出してもよい。
Figure 2010041358
また、目標設定ビットレートTn+1を算出する演算過程において、数(6)式で示した場合のように、期間比として第(n+1)期間の第1ストリームの入力平均ビットレートSn+1を利用した場合には、数(8)式に代えて、数(17)式で示すように、第(n+1)期間の目標設定ビットレートTn+1と、第(n+1)期間の入力平均ビットレートSn+1の比を関数f(関数f)に入力することで、第(n+1)期間の量子化ステップ変換係数αn+1を算出するようにすればよい。
Figure 2010041358
また、目標設定ビットレートTn+1を算出する演算過程において、期間比として、第(n+1)期間を含む過去M期間の期間平均ビットレートASn+1を利用した場合には、数(16)式に代えて、数(18)式で示すように、第(n+1)期間の目標設定ビットレートTn+1と、第(n+1)期間を含む過去M期間の期間平均ビットレートASn+1の比を関数f(関数f)に入力することで、第(n+1)期間の量子化ステップ変換係数αn+1を算出するようにすればよい。
Figure 2010041358
なお、第1の実施の形態において、関数fの傾きを−1としたが、これは一例である。関数fよりも変動の小さい負の傾きで最適なものを選択すればよい。また、数(14)式において、閾値を0.5に設定したが、これも一例である。この閾値を自由に設定することで基準ビットレート比R(同様に更新された基準ビットレート比R)の近傍領域を自由に設定可能である。
{第2の実施の形態}
次に、本発明の第2の実施の形態について説明する。第2の実施の形態と第1の実施の形態とでは関数fが異なる。数(19)式は、第2の実施の形態において関数fとして利用される関数fを示す。
Figure 2010041358
関数fは、点(R,f(R))を通り、かつ、点(R,f(R))において傾き−1の接線p(x)を有する直交双曲線(直角双曲線)である。関数fは、数(13)式で表したものと同じである。
図5は、関数fと関数fを示す図である。図中、x軸はビットレートの比を示し、y軸は量子化ステップ変換係数を示している。関数f、関数fとして具体的にε=2.1、δ=1.1の値を用いている。上述したように、関数fは、指数関数であり、ビットレートの比が小さい領域については、その傾きが大きくなっている。そこで、基準ビットレート比Rの近傍において、関数fよりも変動の小さい関数fを用いて量子化ステップ変換係数を算出することとしている。
第1の実施の形態と同様、関数fは、ビットレートの比と量子化ステップ変換係数との関係を決めるおおよそのエリアを規定する領域指定関数としての役割を有し、そのエリアの中で、関数fは、ビットレートの比と量子化ステップ変換係数との関係を具体的に決定する関係決定関数としての役割を有する。
関数fは、点(R,f(R))において、関数fと交わっている。つまり、基準ビットレート比Rの近傍においては、関数fと比較的近い特性を維持している。しかし、関数fが、点(R,f(R))から離れるにつれて、関数fは関数fと特性が乖離する。関数fが関数fから特性が大きくずれると、関数fの特性を維持できなくなり、関数fを使用し続けるのは不適切となる。そこで、数(20)式の関係を満たす限りにおいて、関数fを利用するのである。
Figure 2010041358
そして、数(20)式の関係を満たさなくなった場合には、数(15)式に示す現在ビットレート比Rにより、基準ビットレート比Rを更新するのである。これにより、基準点(R,f(R))が更新され、あわせて関数fも更新される。つまり、関数fのエリアに沿って、関数fを移動させながら、関数fを用いて量子化ステップ変換係数を算出するのである。これにより、関数fと関数fの両方の特性を利用して、最適なレート制御を行うことが可能である。
なお、第2の実施の形態において、接線p(x)の傾きを−1としたが、これは一例である。関数fの変動が関数fよりも小さくなるような負の傾きで最適なものを選択すればよい。また、数(20)式において、閾値を0.5に設定したが、これも一例である。この閾値を自由に設定することで基準ビットレート比R(同様に更新された基準ビットレート比R)の近傍領域を自由に設定可能である。
{第3の実施の形態}
次に、本発明の第3の実施の形態について説明する。第3の実施の形態と第1の実施の形態とでは関数fが異なる。数(21)式は、第3の実施の形態において関数fとして利用される関数fを示す。
Figure 2010041358
関数fは、点(R,f(R))を通り、かつ、点(R,f(R))において関数fと接する直線である。関数fは、数(13)式で表したものと同じである。
図6は、関数fと関数fを示す図である。図中、x軸はビットレートの比を示し、y軸は量子化ステップ変換係数を示している。関数f、関数fとして具体的にε=2.1、δ=1.1の値を用いている。
ここで、関数fは、関数fや関数fとは異なる特性を有する。つまり、点(R,f(R))よりビットレート比が小さい領域については、量子化ステップ変換係数の変動を小さくするよう作用するが、点(R,f(R))よりビットレート比が大きい領域については、逆に変動が大きくなる。
第1、第2の実施の形態と同様、関数fは、ビットレートの比と量子化ステップ変換係数との関係を決めるおおよそのエリアを規定する領域指定関数としての役割を有し、そのエリアの中で、関数fは、ビットレートの比と量子化ステップ変換係数との関係を具体的に決定する関係決定関数としての役割を有する。
また、関数fを利用する条件も第1、第2の実施の形態と同様である。数(22)式の関係を満たす限りにおいて、関数fを利用するのである。
Figure 2010041358
ただし、第3の実施の形態においては、関数fの利用条件を限定的にする方が好ましい。上述したように、点(R,f(R))よりビットレート比が大きい領域については、量子化ステップ変換係数の変動幅が大きくなるが、この現象は、ビットレートの比が点(R,f(R))より離れるにつれて顕著になる。したがって、数(22)式において、閾値の値を0.5より小さい値、0.2や0.3などを設定し、より点(R,f(R))の近傍でのみ関数を利用するようにした方が好ましい。
数(22)式の関係を満たさなくなった場合には、数(15)式に示す現在ビットレート比Rにより、基準ビットレート比Rを更新する点も同様である。
{変形例}
上記第1〜第3の実施の形態においては、数(14)、(20)、(22)式で示したように、関数f、f、fの利用条件を設けた。数(14)、(20)、(22)式では、点(R,f(R))よりビットレート比の大きい領域、小さい領域で同じ条件としているが、異なる条件としてもよい。たとえば、関数fについて、点(R,f(R))よりビットレート比の小さい領域では、数(14)式をそのまま用い、点(R,f(R))よりビットレート比の大きい領域では、数(14)式において閾値0.5を0.3などに置き換え、利用条件を厳しくするなどの方法が考えられる。
関数fについては、点(R,f(R))よりビットレート比が大きい領域については、量子化ステップ変換係数の変動幅が大きくなることを述べた。そして、この現象は、ビットレート比が点(R,f(R))より離れるにつれて顕著になる。そこで、関数fについては、点(R,f(R))よりビットレート比の小さい領域では、数(22)式をそのまま用い、点(R,f(R))よりビットレート比の大きい領域では、数(22)式において閾値0.5を0.2などに置き換え、利用条件を厳しくすればよい。関数fは、関数fの接線であるので、ビットレート比の小さい領域では、比較的関数fに近い特性を有し、関数fよりも緩やかな変動特性を持たせることができ、ビットレート比の大きい領域では、点(R,f(R))のごく近傍でのみ関数fを利用することで、関数fの特性から大きく乖離することを防止できる。
点(R,f(R))を境界として利用する関数fを異ならせることもできる。たとえば、点(R,f(R))よりもビットレート比の小さい領域では、関数fを利用し、点(R,f(R))よりもビットレート比の大きい領域では、関数fを利用するのである。これにより、ビットレート比の小さい領域では、関数fを利用することで、比較的関数fに近い特性を有し、関数fよりも緩やかな変動特性を持たせることができ、ビットレート比の大きい領域では、関数fを利用することで、関数fの特性から大きく乖離することなく、緩やかな変動特性を持たせることができる。
あるいは、点(R,f(R))よりもビットレート比の小さい領域では、関数fや関数f利用し、点(R,f(R))よりもビットレート比の大きい領域では、関数fをそのまま利用することもできる。
トランスコーダのブロック図である。 入力ストリーム(第1ストリーム)と出力ストリーム(第2ストリーム)の情報を制御単位期間ごとに示した図である。 関数fと関数fの特性を示す図である。 基準ビットレート比Rの更新と関数fの更新を示す図である。 関数fと関数fの特性を示す図である。 関数fと関数fの特性を示す図である。
符号の説明
1 トランスコーダ
11 CPU
12 デコーダ
14 ステップ値算出部
15 エンコーダ

Claims (8)

  1. 第1のストリームを第2のストリームに変換するトランスコーダであって、
    第1のストリームと第2のストリームのビットレート比から第1のストリームと第2のストリームの量子化ステップ変換値を算出する変換値算出部と、
    第1のストリームの量子化ステップ値に前記量子化ステップ変換値を乗算することで第2のストリームの量子化ステップ値を算出する量子化ステップ値算出部と、
    を備え、
    前記変換値算出部は、前記ビットレート比と前記量子化ステップ変換値との関係が属する領域を指定する領域指定関数と、前記領域内において前記ビットレート比と前記量子化ステップ変換値との具体的な関係を決定する関係決定関数とを用いて、前記ビットレート比から前記量子化ステップ変換値を算出することを特徴とするトランスコーダ。
  2. 請求項1に記載のトランスコーダにおいて、
    第1のストリームの全体ビットレートと第2のストリームの全体目標ビットレートとの比を基準ビットレート比とすると、前記領域指定関数と前記関係決定関数とは、前記基準ビットレート比に対して同じ前記量子化ステップ変換値が対応付けられていることを特徴とするトランスコーダ。
  3. 請求項2に記載のトランスコーダにおいて、
    変換済みの過去の期間の第1のストリームのビットレートと第2のストリームの目標ビットレートとの比を現在ビットレート比とすると、前記領域指定関数を用いて前記現在ビットレート比に対して算出した前記量子化ステップ変換値と、前記関係決定関数を用いて前記現在ビットレート比に対して算出した前記量子化ステップ変換値との差が所定の閾値を越えた場合、前記現在ビットレート比により前記基準ビットレート比を更新することを特徴とするトランスコーダ。
  4. 請求項2または請求項3に記載のトランスコーダにおいて、
    前記基準ビットレート比の近傍においては、前記関係決定関数の変化率は、前記領域指定関数の変化率よりも小さいことを特徴とするトランスコーダ。
  5. 請求項4に記載のトランスコーダにおいて、
    前記領域指定関数は、
    単調減少の指数関数、
    を含むことを特徴とするトランスコーダ。
  6. 請求項4または請求項5に記載のトランスコーダにおいて、
    前記関係決定関数は、
    前記基準ビットレート比において前記領域指定関数と交わる負の傾きを有する直線であることを特徴とするトランスコーダ。
  7. 請求項4または請求項5に記載のトランスコーダにおいて、
    前記関係決定関数は、
    前記基準ビットレート比において前記領域指定関数と交わり、前記基準ビットレート比において負の傾きを有する接線を持つ双曲線であることを特徴とするトランスコーダ。
  8. 請求項4または請求項5に記載のトランスコーダにおいて、
    前記関係決定関数は、
    前記基準ビットレート比において前記領域指定関数と接する直線であることを特徴とするトランスコーダ。
JP2008201468A 2008-08-05 2008-08-05 トランスコーダ Expired - Fee Related JP5550032B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2008201468A JP5550032B2 (ja) 2008-08-05 2008-08-05 トランスコーダ
PCT/JP2009/054273 WO2010016290A1 (ja) 2008-08-05 2009-03-06 トランスコーダ
US13/057,111 US8615040B2 (en) 2008-08-05 2009-03-06 Transcoder for converting a first stream into a second stream using an area specification and a relation determining function

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008201468A JP5550032B2 (ja) 2008-08-05 2008-08-05 トランスコーダ

Publications (2)

Publication Number Publication Date
JP2010041358A true JP2010041358A (ja) 2010-02-18
JP5550032B2 JP5550032B2 (ja) 2014-07-16

Family

ID=41663516

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008201468A Expired - Fee Related JP5550032B2 (ja) 2008-08-05 2008-08-05 トランスコーダ

Country Status (3)

Country Link
US (1) US8615040B2 (ja)
JP (1) JP5550032B2 (ja)
WO (1) WO2010016290A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012195701A (ja) * 2011-03-15 2012-10-11 Fujitsu Ltd 画像処理装置及び画像処理方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5076083B2 (ja) 2008-02-25 2012-11-21 株式会社メガチップス トランスコーダ
US20110268180A1 (en) * 2010-04-29 2011-11-03 Naveen Srinivasamurthy Method and System for Low Complexity Adaptive Quantization
WO2016065275A1 (en) * 2014-10-24 2016-04-28 Moog Inc. Position sensor assembly
US9807336B2 (en) * 2014-11-12 2017-10-31 Mediatek Inc. Dynamic adjustment of video frame sampling rate

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001078193A (ja) * 1999-06-30 2001-03-23 Media Glue Corp 動画像圧縮符号化信号変換方法および装置
JP2001136530A (ja) * 1999-09-27 2001-05-18 Xsys Interactive Research Gmbh ディジタルトランスコーダシステム
JP2005510980A (ja) * 2001-11-21 2005-04-21 ビクシズ システムズ インコーポレイティド ビデオトランスコーディングにおけるレート制御方法およびシステム
JP2006295449A (ja) * 2005-04-08 2006-10-26 Matsushita Electric Ind Co Ltd レート変換方法及びレート変換装置
JP2008042426A (ja) * 2006-08-04 2008-02-21 Megachips Lsi Solutions Inc トランスコーダおよび符号化画像変換方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5231484A (en) * 1991-11-08 1993-07-27 International Business Machines Corporation Motion video compression system with adaptive bit allocation and quantization
US6266374B1 (en) * 1994-10-28 2001-07-24 Lg Electronics Inc. Low level digital video decoder for HDTV having backward compatibility
EP1067798A3 (en) * 1999-06-30 2005-11-30 Media Glue Corporation Apparatus, method and computer program product for transcoding a coded moving picture sequence
US6847656B1 (en) * 2000-09-25 2005-01-25 General Instrument Corporation Statistical remultiplexing with bandwidth allocation among different transcoding channels
US7650277B2 (en) * 2003-01-23 2010-01-19 Ittiam Systems (P) Ltd. System, method, and apparatus for fast quantization in perceptual audio coders
US7263126B2 (en) * 2003-09-15 2007-08-28 Sharp Laboratories Of America, Inc. System and method for transcoding with adaptive bit rate control
US7409097B2 (en) * 2003-11-14 2008-08-05 Vweb Corporation Video encoding using variable bit rates
US7397855B2 (en) * 2004-04-14 2008-07-08 Corel Tw Corp. Rate controlling method and apparatus for use in a transcoder
US8019167B2 (en) * 2007-01-03 2011-09-13 Human Monitoring Ltd. Compressing high resolution images in a low resolution video

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001078193A (ja) * 1999-06-30 2001-03-23 Media Glue Corp 動画像圧縮符号化信号変換方法および装置
JP2001136530A (ja) * 1999-09-27 2001-05-18 Xsys Interactive Research Gmbh ディジタルトランスコーダシステム
JP2005510980A (ja) * 2001-11-21 2005-04-21 ビクシズ システムズ インコーポレイティド ビデオトランスコーディングにおけるレート制御方法およびシステム
JP2006295449A (ja) * 2005-04-08 2006-10-26 Matsushita Electric Ind Co Ltd レート変換方法及びレート変換装置
JP2008042426A (ja) * 2006-08-04 2008-02-21 Megachips Lsi Solutions Inc トランスコーダおよび符号化画像変換方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012195701A (ja) * 2011-03-15 2012-10-11 Fujitsu Ltd 画像処理装置及び画像処理方法

Also Published As

Publication number Publication date
US20110134997A1 (en) 2011-06-09
JP5550032B2 (ja) 2014-07-16
US8615040B2 (en) 2013-12-24
WO2010016290A1 (ja) 2010-02-11

Similar Documents

Publication Publication Date Title
JP4790669B2 (ja) トランスコーダ
JP5550032B2 (ja) トランスコーダ
JP5076083B2 (ja) トランスコーダ
JP5900163B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP4784650B2 (ja) 符号化装置、目標符号量調整方法及び記録媒体
JP5098043B2 (ja) トランスコーダ
JP5050158B2 (ja) トランスコーダ
JP6259273B2 (ja) 動画像符号化装置、符号化量制御方法およびプログラム
JP5879555B2 (ja) 動画像符号化装置
JP5039976B2 (ja) トランスコーダ
JP2008252562A (ja) 動画像符号化制御方法および動画像符号化装置
JP5232898B2 (ja) トランスコーダ
JP5391294B2 (ja) トランスコーダ
JP2009231905A (ja) トランスコーダ
JP5412588B2 (ja) トランスコーダ
JP2008252225A (ja) 動画像符号化装置及び方法
JP5076085B2 (ja) トランスコーダ
JP2005045736A (ja) 画像信号符号化方法及び装置、符号化制御装置並びにプログラム
JP2003069997A (ja) 動画像符号化装置
JP2009212917A (ja) エンコーダ
JP5495156B2 (ja) トランスコーダ
JP2004166088A (ja) 符号量制御装置、プログラム及び記録媒体
JP2004297696A (ja) 映像信号符号化装置
JP4621415B2 (ja) 動画符号化方法および動画符号化装置ならびに動画符号化処理プログラム
JP2005045515A (ja) 符号化装置、および、符号化方法、並びに、プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110801

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130507

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130701

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140204

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140403

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140422

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140513

R150 Certificate of patent or registration of utility model

Ref document number: 5550032

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees