JP3593929B2 - 動画像符号化方法及び動画像符号化装置 - Google Patents
動画像符号化方法及び動画像符号化装置 Download PDFInfo
- Publication number
- JP3593929B2 JP3593929B2 JP24972299A JP24972299A JP3593929B2 JP 3593929 B2 JP3593929 B2 JP 3593929B2 JP 24972299 A JP24972299 A JP 24972299A JP 24972299 A JP24972299 A JP 24972299A JP 3593929 B2 JP3593929 B2 JP 3593929B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- average value
- scene
- value
- difference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/142—Detection of scene cut or scene change
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/147—Scene change detection
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Color Television Systems (AREA)
Description
【発明の属する技術分野】
本発明は、動画像を圧縮符号化する動画像符号化方法及び動画像符号化装置に関し、特にシーンの変わるフレームを検出して符号化効率のよい圧縮を行う動画像符号化方法及び動画像符号化装置に関するものである。
【0002】
【従来の技術】
近年、ディジタル技術の進展に伴い、動画像を記録・再生したり、通信網を用いて動画像を伝送したりすることが可能になってきた。動画像のディジタル信号は、音声信号に比べて非常に情報量が多いため、これを効率よく記録および伝送するために動画像の高能率符号化技術が不可欠となっている。
【0003】
例えば、MPEG(Moving Picture Experts Group)方式の動画像符号化装置は、Iフレーム、Pフレーム又はBフレームの何れかの予測モードで各フレームの画像を予測し、予測誤差を符号化して伝送するようにしている。基本的に予測誤差のみが伝送されるため、各フレームの画像データをそのまま伝送する場合に比べて、データ量を圧縮することができる。
【0004】
【発明が解決しようとする課題】
ところで、従来の動画像符号化装置では、複数のシーンからなるシーケンスを圧縮する際に、不連続なシーンを跨いで予測符号化を行わないようにする必要がある。シーンチェンジを跨いで予測符号化を行うと、相関性の低いフレーム間で予測を行うことになるので、符号化効率が悪くなり、画質が劣化する。
このような問題を解決するには、シーンの切り替わる場所を正確に検出して、相関性の低いフレーム間では予測符号化を行わないようにすればよい。
【0005】
シーンチェンジを検出する方法としては、例えば特開平07−111631号公報に開示されたように、連続する2フレーム間で画素データ毎に差分を求め、その絶対値の総和が所定のしきい値を超えたときシーンチェンジが発生したと判定する方法が一般的である。
この検出方法では、静止状態あるいは僅かな動きしかない第1のシーンと第1のシーンに比べるとやや動きの大きい第2のシーンが交互に発生したとき、シーンチェンジが発生したと検出する。しかし、このような場合には、フレーム間にある程度の相関性があるので、フレーム間予測符号化を行った方が符号化効率が高い場合がある。しかし、従来の方法では、シーンチェンジを検出すると、フレーム間予測符号化を行わないようにするので、符号化効率が悪化するという問題点があった。
また、従来の方法では、前フレームとの相関性からシーンチェンジを検出しているため、同一のフレームが連続して入力されるフレーム補間が行われると、誤検出が発生するという問題点があった。
【0006】
また、特開平07−193818号公報に開示された検出方法では、入力画像の動き予測を行い、その予測誤差の絶対値の和を求めて、各フレーム毎の予測誤差の絶対値和を複数フレームにわたって平均化した平均値と、個々の予測誤差の絶対値和を比較することにより、シーンチェンジを検出している。しかし、この検出方法でも、フレーム補間された入力に対応できないという問題点があった。本発明は、上記課題を解決するためになされたもので、シーンチェンジを適切に検出し、符号化効率の良い圧縮を行うことができる動画像符号化方法及び動画像符号化装置を提供することを目的とする。
【0007】
【課題を解決するための手段】
本発明の動画像符号化方法は、連続する2フレーム間で対応する画素データ毎に差分の絶対値を算出した後に、この差分絶対値の1フレーム当たりの平均値であるフレーム平均値を算出し、上記差分絶対値の1シーン当たりの平均値であるシーン平均値を算出し、上記フレーム平均値が0の場合は、このフレーム平均値を直前に算出したフレーム平均値に更新した値により上記シーン平均値を算出する処理と、上記フレーム平均値とシーン平均値とを比較して、動画像のシーンチェンジを検出する処理とを有し、上記シーンチェンジを検出した場合、上記シーン平均値とフレーム平均値を0に初期化し、処理済みのフレーム数が一定のフレーム数しきい値に達するまでは上記シーンチェンジの検出処理を行わないようにするようにしたものである。このように、フレーム平均値が0の場合には直前に算出したフレーム平均値を使用することにより、フレーム平均値が0の場合を除外してシーン平均値が狂うのを防ぐので、入力フレームレートが出力フレームレートより低く、フレーム補間が必要なために、同一のフレームが連続して入力されるような場合でも、誤検出を回避し、シーンチェンジを正確に検出することができる。
また、上述の動画像符号化方法の1構成例は、上記フレーム平均値が所定の下限値より小さい場合は、このフレーム平均値を下限値に更新した値により上記シーン平均値を算出するようにしたものである。このように、フレーム平均値を算出するときに下限値を設定することにより、画面の僅かな変化を誤検出しないようにでき、シーンチェンジを正確に検出することができる。
また、上述の動画像符号化方法の1構成例は、上記差分絶対値が所定の上限値より大きい場合は、この差分絶対値を上限値に更新した後に、上記フレーム平均値及びシーン平均値を算出するようにしたものである。このように、画素データ毎の差分絶対値を算出するときに上限値を設定することにより、画面の一部に局所的に大きな変化があるようなシーンでもフレーム全体の平均値が大きくなるのを防ぐので、誤検出を回避し、シーンチェンジを正確に検出することができる。
【0008】
また、上述の動画像符号化方法の1構成例は、フレーム内処理で符号化するフレーム内符号化と、時間的に前又は後の参照フレームを用いたフレーム間予測符号化とを組合わせて動画像を圧縮する際に、上記シーンチェンジを検出した場合は、フレーム間予測符号化を行わないようにしたものである。このように、動画像を圧縮する際に、シーンチェンジを検出した場合は、相関性の低いフレーム間で予測符号化を行わずにフレーム内符号化を行うようフレームタイプを変更することにより、不連続なシーンを跨いで予測符号化を行うことがなくなるので、符号化効率の良い圧縮を行うことができる。
また、上述の動画像符号化方法の1構成例は、上記フレーム平均値がシーン平均値の所定数倍以上のとき、上記シーンチェンジが発生したと判断するようにしたものである。
また、上述の動画像符号化方法の1構成例は、輝度成分と色差成分のそれぞれについて差分絶対値を算出するようにしたものである。
【0009】
また、本発明の動画像符号化装置は、連続する2フレーム間で対応する画素データ毎に差分の絶対値を算出した後に、この差分絶対値の1フレーム当たりの平均値であるフレーム平均値を算出し、上記差分絶対値の1シーン当たりの平均値であるシーン平均値を算出し、上記フレーム平均値が0の場合は、このフレーム平均値を直前に算出したフレーム平均値に更新した値により上記シーン平均値を算出する算出手段(13)と、上記フレーム平均値とシーン平均値とを比較して、動画像のシーンチェンジを検出する判定手段(14)とを有し、上記算出手段は、上記シーンチェンジが検出された場合、上記シーン平均値とフレーム平均値を0に初期化し、処理済みのフレーム数が一定のフレーム数しきい値に達するまでは上記判定手段によるシーンチェンジ検出処理を行わないようにしたものである。
また、上述の動画像符号化装置の1構成例として、上記算出手段は、上記フレーム平均値が所定の下限値より小さい場合、このフレーム平均値を下限値に更新した値により上記シーン平均値を算出するようにしたものである。
また、上述の動画像符号化装置の1構成例として、上記算出手段は、上記差分絶対値が所定の上限値より大きい場合、この差分絶対値を上限値に更新した後に、上記フレーム平均値及びシーン平均値を算出するものである。
【0010】
また、上述の動画像符号化装置の1構成例として、フレーム内処理で符号化するフレーム内符号化と、時間的に前又は後の参照フレームを用いたフレーム間予測符号化とを組合わせて動画像を圧縮する際に、上記判定手段によってシーンチェンジが検出された場合は、フレーム間予測符号化を行わないようにする手段(15)を有するものである。
また、上述の動画像符号化装置の1構成例として、上記判定手段は、上記フレーム平均値がシーン平均値の所定数倍以上のとき、上記シーンチェンジが発生したと判断するものである。
また、上述の動画像符号化装置の1構成例として、上記算出手段は、輝度成分と色差成分のそれぞれについて差分絶対値を算出するものである。
【0011】
【発明の実施の形態】
[実施の形態の1]
次に、本発明の実施の形態について図面を参照して詳細に説明する。図1は、本発明の第1の実施の形態となる動画像符号化装置の構成を示すブロック図である。本発明は、シーンの変わるフレームを検出して符号化効率のよい圧縮を行う構成を提供するものである。
本発明の動画像符号化装置の一実施例は、画像入力手段11と、入力バッファ12と、フレーム間差分算出手段13と、シーンチェンジ判定手段14と、フレームタイプ変更手段15と、動き検索手段16と、周波数変換手段17と、量子化手段18と、逆量子化手段19と、逆周波数変換手段20と、動き補償手段21と、可変長符号化手段22と、出力手段23とから構成されている。
【0012】
これらの手段は、それぞれ概略つぎのように動作する。画像入力手段11は、カメラ等から1フレーム単位で画像を取り込む。取り込んだ画像は、一定のフレーム数が溜まるまで入力バッファ12に蓄積される。
フレーム間差分算出手段13は、連続する2フレーム間で対応する画素データ毎に差分の絶対値を算出した後に、この差分絶対値の1フレーム当たりの平均値及び1シーン当たりの平均値を算出する。
【0013】
シーンチェンジ判定手段14は、差分絶対値の1フレーム当たりの平均値と1シーン当たりの平均値を比較してシーンの相関性を求め、シーンチェンジが発生したかどうかを判定する。
フレームタイプ変更手段15は、シーンチェンジ判定手段14によりシーンチェンジが発生したと判定されると、相関性の低いフレーム間で予測符号化が行われないように最適なフレーム構成に変更し、フレーム内符号化が行われるようにする。
【0014】
動き検索手段16は、フレーム間予測符号化を行う際、参照フレームとして記憶しているフレームと現在の処理対象フレームとの相関性を求め、処理対象フレームのマクロブロックとこれと相関性の高い参照フレームのマクロブロックとの間で差分データを求める。
【0015】
周波数変換手段17は、フレーム内符号化を行う場合、画像データをDCT(Discreat Cosine Transform )演算等により周波数成分に変換し、フレーム間予測符号化を行う場合、動き検索手段16から入力された差分データを周波数成分に変換する。
量子化手段18は、周波数変換手段17の出力を量子化する。
【0016】
可変長符号化手段22は、量子化手段18の出力を可変長符号化する。可変長符号化によって得られた圧縮符号は、出力手段23から出力される。
また、次のフレーム圧縮用の参照フレーム作成のため、逆量子化手段19は、量子化手段18の出力を逆量子化し、逆周波数変換手段20は、逆量子化手段19の出力を逆周波数変換する。
そして、動き補償手段21は、逆周波数変換手段20から入力されたデータに対して動き補償を行い、参照フレームのデータを作成する。
【0017】
次に、図2を参照して図1の動画像符号化装置の動作をより詳細に説明する。図2は、図1の動画像符号化装置の動作を説明するためのフローチャート図である。本実施の形態では、フレーム内処理で符号化するフレーム内符号化と、時間的に前又は後の参照フレームを用いたフレーム間予測符号化とを組合わせて動画像を圧縮符号化する動画像符号化方法の1例として、MPEG1を例にとって説明する。
【0018】
まず、画像入力手段11と入力バッファ12を介して画像データが入力されると、フレーム間差分算出手段13は、連続する2フレーム間、すなわち現在の処理対象フレームと1つ前に入力されたフレームとの間で同じ位置にある対応画素データ毎に差分絶対値を算出した後に、この差分絶対値の1フレーム当たりの平均値及び1シーン当たりの平均値を算出する。
【0019】
シーンチェンジ判定手段14は、フレーム間差分算出手段13で得られた差分絶対値の1フレーム当たりの平均値と1シーン当たりの平均値を比較してフレーム間の相関性を求め、シーンチェンジが発生したかどうかを判定する(図2ステップS11)。
【0020】
圧縮に必要な最小フレーム数を読み込むまでにシーンチェンジが発生したと判定された場合(ステップS12においてYES)、フレームタイプ変更手段15は、入力バッファ12に格納されたPフレームをIフレームに変更する(ステップS13)。
【0021】
ここで、MPEG1のフレーム構成について説明する。図3は、MPEG1のフレーム構成を示す図、図4は、従来の動画像符号化装置による各フレームの参照関係を示す図、図5は、本実施の形態の動画像符号化装置による各フレームの参照関係を示す図である。
なお、図3〜図5における矢印は、終点のフレームを符号化する際に、始点のフレームを参照することを示している。
【0022】
MPEG1のフレームタイプには、予測を行わずにフレーム内処理で符号化されるIフレーム、時間的に前に位置する参照フレームから予測されるPフレーム、時間的に前後に位置する参照フレームから予測されるBフレームの3種類がある。
【0023】
図3の例において、圧縮に必要な最小フレーム数は、参照フレームとなるフレームから次の参照フレームまでの4フレームであり、最小フレームは、I,B,B,Pフレーム若しくはP,B,B,Pフレームから構成される。
【0024】
Iフレーム、Pフレームは予測のための参照フレームになるため、図1の逆量子化手段19、逆周波数変換手段20及び動き補償手段21による処理で参照フレームを作成しなくてはならない。予測は「連続したフレーム間では相関性が高い」という原理を基にしているため、シーンチェンジを跨いで時間的に前あるいは後のフレームを参照すると、フレーム間の相関性が低くなり、符号化効率が低下する。よって、不連続なシーンを跨いでの参照が行われないようにフレーム構成を変更することで符号化効率を改善することができる。
【0025】
従来の動画像符号化装置において、図4に示す位置でシーンチェンジが発生したとすると、シーンチェンジ直後のPフレームは、時間的に前の異なるシーンのPフレームを参照して予測符号化を行うことにより生成される。このため、符号化効率が悪化し、予期しない符号量が発生することになる。
【0026】
そこで、本発明では、図5のようにシーンチェンジ直後のPフレームをIフレームに変更することにより、シーンチェンジを跨いで時間的に前あるいは後のフレームが参照されることをなくす。これにより、発生符号量はフレーム内符号化の予想発生量となるので、符号化効率の悪化による画質の劣化を抑えることができる。
【0027】
このように、シーンチェンジが発生したときには符号化効率が良くなるようにフレームタイプが変更され(ステップS13)、処理対象フレームのフレームタイプ毎に圧縮が行われる(ステップS14)。
【0028】
現在の処理対象フレームがIフレームの場合、後述する動き検索手段16による動き予測は行われない。このため、入力バッファ12に格納されたIフレームの画像データがそのまま周波数変換手段17に入力される。
周波数変換手段17は、Iフレームの画像データを8×8画素のブロック毎に周波数成分に変換し(ステップS15)、量子化手段18は、周波数変換手段17の出力(変換係数)を量子化する(ステップS16)。
【0029】
また、参照フレーム作成のため、逆量子化手段19は、量子化手段18の出力を逆量子化し(ステップS17)、逆周波数変換手段20は、逆量子化手段19の出力を逆周波数変換する(ステップS18)。
こうして、復号されたIフレームのデータは、動き検索手段16に送られ、以降の処理において参照フレームとして参照される。
【0030】
可変長符号化手段22は、量子化手段18の出力を可変長符号化する(ステップS19)。可変長符号化によって得られた圧縮符号は、出力手段23から出力される。
【0031】
現在の処理対象フレームがPフレームの場合、動き検索手段16は、記憶している参照フレームと入力バッファ12に格納された処理対象フレームとの間でマクロブロック(16×16画素)毎に動きベクトルを検出する。そして、動き検索手段16は、動きベクトルに応じて参照フレームのマクロブロックを動き補償、すなわち動きベクトルに応じて参照フレームのマクロブロックの位置をずらし、処理対象フレームのマクロブロックとこれと相関性の高い動き補償された参照フレームのマクロブロックとの間で差分データを求める(ステップS20)。
【0032】
周波数変換手段17は、動き検索手段16から入力された差分データを8×8画素のブロック毎に周波数成分に変換し(ステップS21)、量子化手段18は、周波数変換手段17の出力を量子化する(ステップS22)。
また、参照フレーム作成のため、逆量子化手段19は、量子化手段18の出力を逆量子化し(ステップS23)、逆周波数変換手段20は、逆量子化手段19の出力を逆周波数変換する(ステップS24)。
【0033】
処理対象フレームがPフレームの場合、逆周波数変換手段20によって得られるのは、差分データである。このため、動き補償手段21は、逆周波数変換手段20から入力された差分データと上記動き補償された参照フレームとを加算する(ステップS25)。これにより、元のPフレームが復号される。このPフレームのデータは、動き検索手段16に送られ、以降の処理において参照フレームとして参照される。
【0034】
可変長符号化手段22は、量子化手段18の出力を可変長符号化する(ステップS19)。可変長符号化によって得られた圧縮符号は、出力手段23から出力される。
【0035】
現在の処理対象フレームがBフレームの場合、動き検索手段16は、記憶している参照フレームと入力バッファ12に格納された処理対象フレームとの間でマクロブロック毎に動きベクトルを検出する。そして、動き検索手段16は、動きベクトルに応じて参照フレームのマクロブロックを動き補償し、処理対象フレームのマクロブロックとこれと相関性の高い動き補償された参照フレームのマクロブロックとの間で差分データを求める(ステップS26)。
【0036】
周波数変換手段17は、動き検索手段16から入力された差分データを8×8画素のブロック毎に周波数成分に変換し(ステップS27)、量子化手段18は、周波数変換手段17の出力を量子化する(ステップS28)。
可変長符号化手段22は、量子化手段18の出力を可変長符号化する(ステップS19)。可変長符号化によって得られた圧縮符号は、出力手段23から出力される。
なお、Bフレームは参照フレームとはならないので、逆量子化手段19、逆周波数変換手段20および動き補償手段21による参照フレームの作成は行われない。
【0037】
次に、具体例を用いて説明する。図6は、シーンチェンジ検出の処理フローを説明した図である。図6は、図2のステップS11に示すシーンチェンジ検出処理を説明するためのフローチャート図である。この図6の処理は、処理対象フレームごとに繰り返される。
【0038】
最初に、フレーム間差分算出手段13は、現在の処理対象フレームと1つ前に入力されたフレームとの間で同じ位置にある対応画素データ毎に、輝度、色差のそれぞれについて差分値を求め、これら差分値を絶対値に変換する。続いて、フレーム間差分算出手段13は、1フレーム分の差分絶対値の総和を求め、この差分絶対値和から、画像サイズに依存しないような1マクロブロック当たりの平均値を求める(図6ステップS31)。
ここで、マクロブロックとは、16×16画素の輝度成分と8×8画素の二種類の色差成分とからなる領域をさす。
【0039】
処理対象フレームの画像サイズが720×480画素で、処理対象フレームの差分絶対値和が8200だとすると、このフレームにおける1マクロブロック当たりの差分絶対値平均は、8200×(16×16/(720×480))=6となる。
【0040】
フレーム間差分算出手段13は、処理対象フレームの1マクロブロック当たりの差分絶対値平均(以下、フレーム平均値と呼ぶ)が0である場合(ステップS32においてYES)、直前のフレームと同じフレームが入力されたものと判断して、0の代わりに直前のフレームで得られたフレーム平均値を現フレームのフレーム平均値とする(ステップS33)。
【0041】
続いて、フレーム間差分算出手段13は、算出したフレーム平均値を所定のしきい値Aと比較する(ステップS34)。
予め定められた固定値であるしきい値Aは、フレーム平均値の下限値を表している。このしきい値Aは、例えばカメラが緩やかにパーニング(Panning)したときのフレーム平均値を求めることにより決定される。
【0042】
フレーム間差分算出手段13は、フレーム平均値がしきい値Aより小さい場合、フレーム平均値をしきい値Aに更新する(ステップS35)。
また、フレーム間差分算出手段13は、後述する処理により、シーン毎に各フレーム平均値の平均を求め、同一の1シーン当たりの差分絶対値平均(以下、シーン平均値と呼ぶ)を算出する。
【0043】
後述のようにシーンチェンジを検出した直後にシーン平均値を0にするので、フレーム間差分算出手段13は、シーン平均値が0である場合(ステップS36においてYES)、算出したフレーム平均値をシーン平均値とすると共に、現在のフレーム平均値を保存しておく(ステップS37)。
【0044】
次に、シーンチェンジが発生した直後は、シーン平均値が安定しない。そこで、フレーム間差分算出手段13は、いったんシーンチェンジを検出した後にフレームカウンタが一定のフレーム数しきい値B(例えばB=5)に達するまでは、次のシーンチェンジ検出を行わない。
【0045】
つまり、フレーム間差分算出手段13は、フレームカウンタの値がフレーム数しきい値Bより小さい場合(ステップS38においてYES)、現在のシーン平均値とフレーム平均値の平均を求め、これを新たなシーン平均値とすると共に、処理済みのフレーム数を示すフレームカウンタの値を1カウントアップする(ステップS39)。
【0046】
以上のような処理を処理対象フレーム毎に繰り返し、ステップS38においてフレームカウンタの値がフレーム数しきい値B以上となった場合、フレーム間差分算出手段13は、シーンチェンジ検出処理の実行をシーンチェンジ判定手段14に指示する。この指示に応じて、シーンチェンジ判定手段14は、シーン平均値とフレーム平均値とを比較する(ステップS40)。
【0047】
シーンの切り替わりでフレーム平均値を求めると、相関性のないフレーム間で差分絶対値平均を求めることになるため、フレーム平均値が急激に大きくなる。シーンチェンジ判定手段14は、フレーム平均値がシーン平均値のN(例えばN=2)倍より小さい場合、シーンチェンジ無しと判定する。
【0048】
シーンチェンジ判定手段14によってシーンチェンジ無しと判定された場合、フレーム間差分算出手段13は、現在のシーン平均値とフレーム平均値の平均を求め、これを新たなシーン平均値とする(ステップS41)。
【0049】
一方、フレーム平均値がシーン平均値のN倍以上の場合、シーンチェンジ判定手段14は、シーンチェンジが発生したと判定する。
シーンチェンジ判定手段14によってシーンチェンジが発生したと判定された場合、フレーム間差分算出手段13は、現在のシーン平均値とフレーム平均値を0に初期化し、さらにフレームカウンタの値を0に初期化する(ステップS42)。以上のようにして、シーンチェンジを検出することができる。
【0050】
図7〜図11は、フレーム平均値及びシーン平均値の1例を示す図である。図7〜図11において、横軸はフレーム番号を示し、縦軸はフレーム平均値を示す。また、下線付きの数値は、直前(図7〜図11では左隣)のフレーム平均値を含めて算出されたシーン平均値である。
【0051】
図7の例では、10フレーム目からのフレーム平均値とシーン平均値を図示している。10フレーム目の処理が終了した時点でのシーン平均値が40だとすると、11フレーム目のフレーム平均値が42なので、11フレーム目の処理においてフレーム平均値がシーン平均値のN(ここではN=2)倍より小さくなり、シーンチェンジ判定手段14は、シーンチェンジ無しと判定する。
11フレーム目の処理が終了した時点でのシーン平均値は、図6のステップS41の処理により、(40+42)/2=41に更新される。
【0052】
次に、14フレーム目の処理が終了した時点でのシーン平均値が36で、15フレーム目のフレーム平均値が80なので、15フレーム目の処理においてフレーム平均値がシーン平均値のN(N=2)倍以上となり、シーンチェンジ判定手段14は、シーンチェンジが発生したと判定する。
【0053】
この場合、15フレーム目の処理が終了した時点でのシーン平均値(図7において15フレーム目のフレーム平均値80の右隣に記載したシーン平均値)は、図6のステップS42の処理により、いったん0に初期化された後、次の16フレーム目の処理においてステップS37の処理により、16フレーム目のフレーム平均値42に更新される。
【0054】
図8、図9は、全面が黒の画像から徐々に明るい画像が浮き出てくるフェードイン時のフレーム平均値及びシーン平均値を示している。
そして、図8は、本実施の形態の動画像符号化装置において、フレーム平均値に下限値を設定しない場合を示している。
【0055】
図8の30,31フレームで示すように、黒画像の部分では、フレーム平均値が0になる。これに対して、32フレーム目以降のように明るい画像が現れてくると、フレーム平均値が急激に大きくなる。したがって、32フレーム目や33フレーム目などでシーンチェンジが発生したと誤検出する恐れがある。
【0056】
そこで、本実施の形態の動画像符号化装置では、フェード効果などで画面全体が緩やかに変化するときの誤検出を防止するために、図6のステップS34,S35で説明した処理を行っている。
【0057】
これにより、フレーム平均値がしきい値A(ここでは20)を下回る30〜32,37〜39フレームでは、図9に示すようにフレーム平均値がしきい値Aに更新されるので、32フレーム目や33フレーム目などでシーンチェンジが発生したと誤検出することがなくなり、35フレーム目の処理においてシーンチェンジを正しく検出することができる。
【0058】
図10、図11は、フレーム補間された画像データが入力されたときのフレーム平均値及びシーン平均値を示している。図10、図11は、1秒間当たりのフレーム数が15枚の画像データを30枚に変換して圧縮するときの動作を示している。
【0059】
単位時間あたりのフレーム数がMPEGの規格より少ない場合は同じフレームをコピーして補間する手法が一般的である。動画編集用のアプリケーションでも同じで、補間された画像データが入力されると、同一のフレーム間で差分絶対値平均を求めることになるため、フレーム平均値が0となり、シーンチェンジが発生したと誤検出する恐れがある。
【0060】
図10は、本実施の形態の動画像符号化装置において、図6のステップS32,S33で説明した処理を行わない場合を示している。
図10では、1フレーム毎に画像データが補間されているので、1フレームおきにフレーム平均値が0となる。このため、シーン平均値が小さな値となり、64フレーム目でシーンチェンジが発生したと誤検出する。
【0061】
これに対して、本実施の形態の動画像符号化装置のように、ステップS32,S33の処理を行うと、フレーム平均値が0の場合、直前のフレームで得られたフレーム平均値を現フレームのフレーム平均値とする。
例えば、60フレーム目のフレーム平均値が24なので、61フレーム目の処理においてフレーム平均値が0になった時点で、61フレーム目のフレーム平均値は、図11のように60フレーム目のフレーム平均値24に更新される。
こうして、シーン平均値が不正な値になることを防ぐので、シーンチェンジの誤検出を回避することができる。
【0062】
[実施の形態の2]
図12は、本発明の第2の実施の形態となるフレーム間差分算出手段の動作を示すフローチャート図である。
本実施の形態のフレーム間差分算出手段13は、局所的な激しい動きをシーンチェンジと誤検出しないために、図6のステップS31の処理に図12に示すような処理を加えたものである。
【0063】
まず、フレーム間差分算出手段13は、フレーム間の差分絶対値を累積する変数sumを0にリセットする(図12ステップS51)。
続いて、フレーム間差分算出手段13は、現在の処理対象フレームと1つ前に入力されたフレームにおいて同じ位置にある対応画素データ間で差分値を求め(ステップS52)、この差分値を絶対値に変換する(ステップS53)。
【0064】
フレーム間差分算出手段13は、算出した差分絶対値を所定のしきい値Xと比較する(ステップS54)。そして、フレーム間差分算出手段13は、差分絶対値がしきい値Xより大きい場合(ステップS54においてYES)、差分絶対値をしきい値Xに更新する(ステップS55)。ここで、しきい値Xは、あらかじめ定められる上限値であり、差分絶対値がとり得る最大値の例えば70%に設定される。
【0065】
差分絶対値がしきい値X以下の場合、フレーム間差分算出手段13は、差分絶対値を所定のしきい値Yと比較する(ステップS56)。そして、フレーム間差分算出手段13は、差分絶対値がしきい値Y以下の場合(ステップS56においてNO)、差分絶対値をしきい値Yに更新する(ステップS57)。ここで、しきい値Yは、あらかじめ定められる下限値であり、差分絶対値がとり得る最大値の例えば5%に設定される。
【0066】
次に、フレーム間差分算出手段13は、しきい値Yとしきい値Xの間の値に補正した差分絶対値を変数sumに加算する(ステップS58)。
そして、フレーム間差分算出手段13は、ステップS52〜S58の処理を処理対象フレームの全画素について終えるまで(ステップS59)、画素毎に繰り返す。
【0067】
図12の処理終了後、フレーム間差分算出手段13は、ステップS31で説明したように、1フレーム分の差分絶対値の総和を求め、フレーム平均値を算出する。
以上のように、本実施の形態によれば、入力画像に局所的に変化量の大きい部分があったときにフレーム平均値に与える影響を抑えることができ、シーンチェンジの誤検出を抑えることができる。
【0068】
【発明の効果】
本発明によれば、連続する2フレーム間で対応する画素データ毎に差分の絶対値を算出した後に、この差分絶対値の1フレーム当たりの平均値及び1シーン当たりの平均値を算出し、フレーム平均値とシーン平均値とを比較して、動画像のシーンチェンジを検出する。本発明では、シーンチェンジの検出にシーン平均値を用いることにより、静止状態あるいは僅かな動きしかない第1のシーンと第1のシーンに比べるとやや動きの大きい第2のシーンが交互に発生したとき、シーンチェンジが発生したと判断しない。これにより、フレーム間予測符号化を行うことができるので、シーンチェンジの検出にフレーム間の差分のみを用いる従来の方法と比べて、符号化効率の良い圧縮を行うことができる。
【0069】
また、フレーム平均値が所定の下限値より小さい場合は、このフレーム平均値を下限値に更新することにより、フレーム平均値に下限値を設定するので、画面の僅かな変化を誤検出しないようにでき、シーンチェンジを正確に検出することができる。その結果、入力画像データにフェード処理が入っても誤検出を回避することができる。
【0070】
また、差分絶対値が所定の上限値より大きい場合は、この差分絶対値を上限値に更新することにより、差分絶対値に上限値を設定するので、画面の一部に局所的に大きな変化があるようなシーンでもフレーム全体の平均値が大きくなるのを防ぐので、誤検出を回避し、シーンチェンジを正確に検出することができる。
【0071】
また、フレーム平均値が0の場合には直前に算出したフレーム平均値を使用することにより、フレーム平均値が0の場合を除外してシーン平均値が狂うのを防ぐので、入力フレームレートが出力フレームレートより低く、フレーム補間が必要なために、同一のフレームが連続して入力されるような場合でも、誤検出を回避し、シーンチェンジを正確に検出することができる。
【0072】
また、動画像を圧縮する際に、シーンチェンジを検出した場合は、相関性の低いフレーム間で予測符号化を行わずにフレーム内符号化を行うようフレームタイプを変更することにより、シーンの変わり目毎に最適なフレーム構成に変更するので、不連続なシーンを跨いで予測符号化を行うことがなくなり、符号化効率の良い圧縮を行うことができる。
【0073】
また、フレーム平均値がシーン平均値の所定数倍以上のとき、シーンチェンジが発生したと判断することにより、シーンチェンジの発生を正確、かつ容易に検出することができる。
【0074】
また、輝度成分と色差成分のそれぞれについて差分絶対値を算出することにより、全体的に明るさが変わるようなシーンでも誤検出を回避することができ、明るさがあまり変わらずに色成分だけが大きく変わるようなシーンでもシーンチェンジを正確に検出することができる。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態となる動画像符号化装置の構成を示すブロック図である。
【図2】図1の動画像符号化装置の動作を説明するためのフローチャート図である。
【図3】MPEG1のフレーム構成を示す図である。
【図4】従来の動画像符号化装置による各フレームの参照関係を示す図である。
【図5】図1の動画像符号化装置による各フレームの参照関係を示す図である。
【図6】シーンチェンジ検出処理を説明するためのフローチャート図である。
【図7】シーンチェンジ検出時のフレーム平均値及びシーン平均値の1例を示す図である。
【図8】フェードイン時のフレーム平均値及びシーン平均値の1例を示す図である。
【図9】フェードイン時のフレーム平均値及びシーン平均値の1例を示す図である。
【図10】フレーム補間された画像データが入力されたときのフレーム平均値及びシーン平均値の1例を示す図である。
【図11】フレーム補間された画像データが入力されたときのフレーム平均値及びシーン平均値の1例を示す図である。
【図12】本発明の第2の実施の形態となるフレーム間差分算出手段の動作を示すフローチャート図である。
【符号の説明】
11…画像入力手段、12…入力バッファ、13…フレーム間差分算出手段、14…シーンチェンジ判定手段、15…フレームタイプ変更手段、16…動き検索手段、17…周波数変換手段、18…量子化手段、19…逆量子化手段、20…逆周波数変換手段、21…動き補償手段、22…可変長符号化手段、23…出力手段。
Claims (12)
- 連続する2フレーム間で対応する画素データ毎に差分の絶対値を算出した後に、この差分絶対値の1フレーム当たりの平均値であるフレーム平均値を算出し、前記差分絶対値の1シーン当たりの平均値であるシーン平均値を算出し、前記フレーム平均値が0の場合は、このフレーム平均値を直前に算出したフレーム平均値に更新した値により前記シーン平均値を算出する処理と、
前記フレーム平均値とシーン平均値とを比較して、動画像のシーンチェンジを検出する処理とを有し、
前記シーンチェンジを検出した場合、前記シーン平均値とフレーム平均値を0に初期化し、処理済みのフレーム数が一定のフレーム数しきい値に達するまでは前記シーンチェンジの検出処理を行わないようにすることを特徴とする動画像符号化方法。 - 請求項1記載の動画像符号化方法において、
前記フレーム平均値が所定の下限値より小さい場合は、このフレーム平均値を下限値に更新した値により前記シーン平均値を算出することを特徴とする動画像符号化方法。 - 請求項1記載の動画像符号化方法において、
前記差分絶対値が所定の上限値より大きい場合は、この差分絶対値を上限値に更新した後に、前記フレーム平均値及びシーン平均値を算出することを特徴とする動画像符号化方法。 - 請求項1記載の動画像符号化方法において、
フレーム内処理で符号化するフレーム内符号化と、時間的に前又は後の参照フレームを用いたフレーム間予測符号化とを組合わせて動画像を圧縮する際に、前記シーンチェンジを検出した場合は、フレーム間予測符号化を行わないようにすることを特徴とする動画像符号化方法。 - 請求項1記載の動画像符号化方法において、
前記フレーム平均値がシーン平均値の所定数倍以上のとき、前記シーンチェンジが発生したと判断することを特徴とする動画像符号化方法。 - 請求項1記載の動画像符号化方法において、
輝度成分と色差成分のそれぞれについて前記差分絶対値を算出することを特徴とする動画像符号化方法。 - 連続する2フレーム間で対応する画素データ毎に差分の絶対値を算出した後に、この差分絶対値の1フレーム当たりの平均値であるフレーム平均値を算出し、前記差分絶対値の1シーン当たりの平均値であるシーン平均値を算出し、前記フレーム平均値が0の場合は、このフレーム平均値を直前に算出したフレーム平均値に更新した値により前記シーン平均値を算出する算出手段と、
前記フレーム平均値とシーン平均値とを比較して、動画像のシーンチェンジを検出する判定手段とを有し、
前記算出手段は、前記シーンチェンジが検出された場合、前記シーン平均値とフレーム平均値を0に初期化し、処理済みのフレーム数が一定のフレーム数しきい値に達するまでは前記判定手段によるシーンチェンジ検出処理を行わないようにすることを特徴とする動画像符号化装置。 - 請求項7記載の動画像符号化装置において、
前記算出手段は、前記フレーム平均値が所定の下限値より小さい場合、このフレーム平均値を下限値に更新した値により前記シーン平均値を算出することを特徴とする動画像符号化装置。 - 請求項7記載の動画像符号化装置において、
前記算出手段は、前記差分絶対値が所定の上限値より大きい場合、この差分絶対値を上限値に更新した後に、前記フレーム平均値及びシーン平均値を算出することを特徴とする動画像符号化装置。 - 請求項7記載の動画像符号化装置において、
フレーム内処理で符号化するフレーム内符号化と、時間的に前又は後の参照フレームを用いたフレーム間予測符号化とを組合わせて動画像を圧縮する際に、前記判定手段によってシーンチェンジが検出された場合は、フレーム間予測符号化を行わないようにする手段を有することを特徴とする動画像符号化装置。 - 請求項7記載の動画像符号化装置において、
前記判定手段は、前記フレーム平均値がシーン平均値の所定数倍以上のとき、前記シーンチェンジが発生したと判断することを特徴とする動画像符号化装置。 - 請求項7記載の動画像符号化装置において、
前記算出手段は、輝度成分と色差成分のそれぞれについて前記差分絶対値を算出することを特徴とする動画像符号化装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP24972299A JP3593929B2 (ja) | 1999-09-03 | 1999-09-03 | 動画像符号化方法及び動画像符号化装置 |
US09/653,892 US6748114B1 (en) | 1999-09-03 | 2000-09-01 | Moving picture encoding method and moving picture encoding apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP24972299A JP3593929B2 (ja) | 1999-09-03 | 1999-09-03 | 動画像符号化方法及び動画像符号化装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001078196A JP2001078196A (ja) | 2001-03-23 |
JP3593929B2 true JP3593929B2 (ja) | 2004-11-24 |
Family
ID=17197235
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP24972299A Expired - Fee Related JP3593929B2 (ja) | 1999-09-03 | 1999-09-03 | 動画像符号化方法及び動画像符号化装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US6748114B1 (ja) |
JP (1) | JP3593929B2 (ja) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20010087552A (ko) * | 2000-03-07 | 2001-09-21 | 구자홍 | 엠펙(mpeg)압축 비디오 환경에서 매크로 블록의시공간상의 분포를 이용한 디졸브/페이드 검출 방법 |
US7116374B2 (en) * | 2003-08-26 | 2006-10-03 | Koplar Interactive Systems International, L.L.C. | Method and system for enhanced modulation of video signals |
US7664175B1 (en) | 2004-06-16 | 2010-02-16 | Koplar Interactive Systems International, L.L.C. | Mark-based content modulation and detection |
US9253493B2 (en) | 2004-08-31 | 2016-02-02 | Thomson Licensing | Fast motion estimation for multiple reference pictures |
US20100070409A1 (en) * | 2004-11-19 | 2010-03-18 | Harrison Sarah E | Healthcare Card Incentive Program for Multiple Users |
GB2436654A (en) * | 2006-02-03 | 2007-10-03 | Snell & Wilcox Ltd | Detection of a cross-fade in a video sequence |
JP4700557B2 (ja) * | 2006-05-10 | 2011-06-15 | オリンパスイメージング株式会社 | 撮像装置 |
JP2009010831A (ja) * | 2007-06-29 | 2009-01-15 | Toshiba Corp | 画像解析装置および画像解析方法 |
US8798133B2 (en) * | 2007-11-29 | 2014-08-05 | Koplar Interactive Systems International L.L.C. | Dual channel encoding and detection |
JP5881136B2 (ja) * | 2010-09-27 | 2016-03-09 | ソニー株式会社 | 情報処理装置及び方法、並びにプログラム |
KR101187530B1 (ko) * | 2011-03-02 | 2012-10-02 | 한국과학기술원 | 모노스코픽, 스테레오 스코픽 및 멀티뷰를 위한 렌더링 방법, 시스템 및 이를 위한 기록매체 |
US9300871B2 (en) * | 2012-06-08 | 2016-03-29 | Apple Inc. | Stationary camera detection and virtual tripod transition for video stabilization |
KR102264591B1 (ko) * | 2015-02-27 | 2021-06-15 | 삼성전자주식회사 | 영상 처리 방법 및 이를 지원하는 전자 장치 |
JP6822493B2 (ja) * | 2017-02-10 | 2021-01-27 | 日産自動車株式会社 | インバータ制御装置及び車両駆動システム |
US11188756B2 (en) * | 2019-10-16 | 2021-11-30 | Realtek Singapore Private Limited | Object localization and classification system and method thereof |
JP7451152B2 (ja) | 2019-11-26 | 2024-03-18 | キヤノン株式会社 | 撮像装置、制御方法及びコンピュータプログラム |
CN112351278B (zh) * | 2020-11-04 | 2023-07-07 | 北京金山云网络技术有限公司 | 一种视频的编码方法和装置,视频的解码方法和装置 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4677466A (en) * | 1985-07-29 | 1987-06-30 | A. C. Nielsen Company | Broadcast program identification method and apparatus |
JP3315766B2 (ja) * | 1992-09-07 | 2002-08-19 | 富士通株式会社 | 画像データ符号化方法、その方法を用いた画像データ符号化装置、画像データ復元方法、その方法を用いた画像データ復元装置、シーン変化検出方法、その方法を用いたシーン変化検出装置、シーン変化記録装置、及び画像データのシーン変化記録・再生装置 |
JP3440512B2 (ja) | 1993-10-08 | 2003-08-25 | ソニー株式会社 | ビデオ信号処理装置および方法 |
JP3240024B2 (ja) | 1993-12-27 | 2001-12-17 | ソニー株式会社 | 画像処理方法 |
US5617149A (en) * | 1994-11-22 | 1997-04-01 | Electronics And Telecommunications Research Institute | Apparatus and method for detecting scene changes using the difference of mad between image frames |
JP3353604B2 (ja) * | 1995-08-09 | 2002-12-03 | ソニー株式会社 | 動画像符号化方法及び装置、並びに信号記録媒体 |
US6115420A (en) * | 1997-03-14 | 2000-09-05 | Microsoft Corporation | Digital video signal encoder and encoding method |
US6181382B1 (en) * | 1998-04-03 | 2001-01-30 | Miranda Technologies Inc. | HDTV up converter |
US6449392B1 (en) * | 1999-01-14 | 2002-09-10 | Mitsubishi Electric Research Laboratories, Inc. | Methods of scene change detection and fade detection for indexing of video sequences |
-
1999
- 1999-09-03 JP JP24972299A patent/JP3593929B2/ja not_active Expired - Fee Related
-
2000
- 2000-09-01 US US09/653,892 patent/US6748114B1/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
US6748114B1 (en) | 2004-06-08 |
JP2001078196A (ja) | 2001-03-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6603815B2 (en) | Video data processing apparatus, video data encoding apparatus, and methods thereof | |
JP3593929B2 (ja) | 動画像符号化方法及び動画像符号化装置 | |
JP4014263B2 (ja) | 映像信号変換装置及び映像信号変換方法 | |
JP3933718B2 (ja) | 画像を表す信号を処理するシステム | |
KR20040069210A (ko) | 코딩 정보 및 로컬 공간 특징을 이용한 디지털 비디오신호들의 후처리에서의 선명도 향상 | |
KR20040069208A (ko) | 비디오 선명도 강화의 시간적인 일관성 개선 | |
JPH10257366A (ja) | 画像処理装置及び方法 | |
JP3895414B2 (ja) | 映像復号化装置 | |
JP3599942B2 (ja) | 動画像符号化方法、及び動画像符号化装置 | |
JP2005295215A (ja) | 動画像符号化装置 | |
JPH0832969A (ja) | 動きベクトル検出装置 | |
JP2001309384A (ja) | 画像圧縮装置 | |
JP2008005183A (ja) | 映画素材に適した映像符号化方法および符号化装置 | |
JP3888533B2 (ja) | 画像特徴に応じた画像符号化装置 | |
JPH08275049A (ja) | 撮像装置 | |
JPH09130748A (ja) | 画像信号処理装置および記録/再生装置 | |
JP2947103B2 (ja) | 動画像符号化装置及び動画像符号化方法 | |
JP2004180345A (ja) | 撮影画像記録装置 | |
JPH09261530A (ja) | 映像記録装置 | |
JP3690259B2 (ja) | 動画像高速符号化装置及び動画像高速符号化方法 | |
JPH1013836A (ja) | 動きベクトル検出装置 | |
KR100584537B1 (ko) | Mpeg4를 이용한 감시용 카메라 정보 저장 방법 | |
JP2003032685A (ja) | ノイズ低減方法および映像処理装置 | |
JPH0646411A (ja) | 画像符号化装置 | |
JP3507042B2 (ja) | 動画像圧縮装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040810 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040823 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080910 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080910 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090910 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090910 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100910 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110910 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120910 Year of fee payment: 8 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120910 Year of fee payment: 8 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120910 Year of fee payment: 8 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120910 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120910 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120910 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130910 Year of fee payment: 9 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |