JPH11341521A - ステレオ動画像用符号化装置 - Google Patents
ステレオ動画像用符号化装置Info
- Publication number
- JPH11341521A JPH11341521A JP16434898A JP16434898A JPH11341521A JP H11341521 A JPH11341521 A JP H11341521A JP 16434898 A JP16434898 A JP 16434898A JP 16434898 A JP16434898 A JP 16434898A JP H11341521 A JPH11341521 A JP H11341521A
- Authority
- JP
- Japan
- Prior art keywords
- motion compensation
- frame
- area
- channel
- coding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
(57)【要約】
【課題】 時間的な画質変動を抑えながら、フレーム全
体のエラー伝搬を低減できるステレオ動画像用符号化装
置を提供することにある。 【解決手段】 基本および拡張チャンネルにおいて、動
き補償非適用で符号化される領域Ｎ、Ｎ´が、連続する
各フレームに一定の面積で割当てられ、かつ該領域の割
当て位置を、ｔ（時間）＝１，２，３，…の各フレーム
毎に隣接領域に移動させるようにする。この結果、各フ
レームに、常に一定面積の動き補償非適用領域が存在す
ることになり、各フレーム間の画質が平均化され、画質
差が低減されると共に、一時的な回線障害等で生じたエ
ラーからの回復がエラー受信直後のフレームから段階的
にできるようになる。
体のエラー伝搬を低減できるステレオ動画像用符号化装
置を提供することにある。 【解決手段】 基本および拡張チャンネルにおいて、動
き補償非適用で符号化される領域Ｎ、Ｎ´が、連続する
各フレームに一定の面積で割当てられ、かつ該領域の割
当て位置を、ｔ（時間）＝１，２，３，…の各フレーム
毎に隣接領域に移動させるようにする。この結果、各フ
レームに、常に一定面積の動き補償非適用領域が存在す
ることになり、各フレーム間の画質が平均化され、画質
差が低減されると共に、一時的な回線障害等で生じたエ
ラーからの回復がエラー受信直後のフレームから段階的
にできるようになる。
Description
【０００１】
【発明の属する技術分野】この発明はステレオ動画像用
符号化装置に関し、特に、一方のチャンネルに動き補償
を施して動きベクトルおよび予測誤差を伝送し、他方の
チャンネルに動き補償と視差補償を施し、動きベクト
ル、視差ベクトルおよび予測誤差を伝送するステレオ動
画像用符号化装置に関する。
符号化装置に関し、特に、一方のチャンネルに動き補償
を施して動きベクトルおよび予測誤差を伝送し、他方の
チャンネルに動き補償と視差補償を施し、動きベクト
ル、視差ベクトルおよび予測誤差を伝送するステレオ動
画像用符号化装置に関する。
【０００２】
【従来の技術】従来のステレオ動画像の符号化装置の一
例を、図９のブロック図を参照して説明する。ステレオ
動画像符号化装置は左右のチャンネルの動画像を符号化
する二つの符号化装置から構成されている。
例を、図９のブロック図を参照して説明する。ステレオ
動画像符号化装置は左右のチャンネルの動画像を符号化
する二つの符号化装置から構成されている。
【０００３】左チャンネル（または、基本チャンネル）
の符号化装置は、原画を記憶する原画フレームメモリ１
１と、予測誤差信号を生成する減算器１２と、該減算器
１２から出力された予測誤差信号を直交変換、例えばＤ
ＣＴ変換する直交変換部１３と、直交変換されたデータ
を量子化する量子化部１４と、該量子化されたデータを
可変長符号化する可変長符号化部１５を備えている。ま
た、さらに、前記量子化部１４で量子化されたデータを
逆量子化する逆量子化部１６と、逆直交変換部１７と、
加算器１８と、再生画を一時的に記憶する再生画フレー
ムメモリ１９と、前記原画フレームメモリ１１からの原
画と前記再生画とで動き補償を行う動き補償部２０と、
予測画フレームメモリ２１とを具備している。
の符号化装置は、原画を記憶する原画フレームメモリ１
１と、予測誤差信号を生成する減算器１２と、該減算器
１２から出力された予測誤差信号を直交変換、例えばＤ
ＣＴ変換する直交変換部１３と、直交変換されたデータ
を量子化する量子化部１４と、該量子化されたデータを
可変長符号化する可変長符号化部１５を備えている。ま
た、さらに、前記量子化部１４で量子化されたデータを
逆量子化する逆量子化部１６と、逆直交変換部１７と、
加算器１８と、再生画を一時的に記憶する再生画フレー
ムメモリ１９と、前記原画フレームメモリ１１からの原
画と前記再生画とで動き補償を行う動き補償部２０と、
予測画フレームメモリ２１とを具備している。
【０００４】一方、右チャンネル（または、拡張チャン
ネル）の符号化装置は、予測モード選択部４１および視
差補償部４３を除いて、前記左チャンネルの符号化装置
の構成と同様の構成３１〜４０および４２を具備してい
る。なお、前記再生画フレームメモリ１９からの再生画
は視差補償部４３に入力されるように構成されている。
上記の構成において、左チャンネルでは、通常の（動
き補償＋ＤＣＴ）に基づく符号化が行われる。一方、右
チャンネルでは、（動き補償または視差補償＋ＤＣＴ）
に基づく符号化が行われる。すなわち、前記予測モード
選択部４１は動き補償部４０と視差補償部４３の両方の
うちの予測誤差の小さい方を選択し、予測画フレームメ
モリ４２に接続する。この動作以外は、左チャンネルと
同様の動作が行われる。
ネル）の符号化装置は、予測モード選択部４１および視
差補償部４３を除いて、前記左チャンネルの符号化装置
の構成と同様の構成３１〜４０および４２を具備してい
る。なお、前記再生画フレームメモリ１９からの再生画
は視差補償部４３に入力されるように構成されている。
上記の構成において、左チャンネルでは、通常の（動
き補償＋ＤＣＴ）に基づく符号化が行われる。一方、右
チャンネルでは、（動き補償または視差補償＋ＤＣＴ）
に基づく符号化が行われる。すなわち、前記予測モード
選択部４１は動き補償部４０と視差補償部４３の両方の
うちの予測誤差の小さい方を選択し、予測画フレームメ
モリ４２に接続する。この動作以外は、左チャンネルと
同様の動作が行われる。
【０００５】さて、上記した構成の従来のステレオ動画
像用符号化装置においては、基本チャンネルにおいて、
フレーム全体が動き補償非適用で符号化されるフレーム
を定期的に挿入することで、符号化されたフレームを復
調する際のエラーの伝搬の防止が図られていた。例え
ば、図１０に示されているように、基本チャンネルで
は、動き補償適用で符号化される１４枚のＰフレーム
（順方向予測符号化フレーム）に対して動き補償非適用
で符号化される１枚のＩフレーム（イントラ符号化フレ
ーム）を挿入するようにしていた。一方、拡張チャンネ
ルでは、基本チャンネルのＩフレームから１枚のＰフレ
ームを作成し、これに続くフレームでは、基本チャンネ
ルのＰフレームと拡張チャンネルの１枚前のフレームと
を参照する１４枚のＢフレーム（双方向予測符号化フレ
ーム）を作成するようにしていた。
像用符号化装置においては、基本チャンネルにおいて、
フレーム全体が動き補償非適用で符号化されるフレーム
を定期的に挿入することで、符号化されたフレームを復
調する際のエラーの伝搬の防止が図られていた。例え
ば、図１０に示されているように、基本チャンネルで
は、動き補償適用で符号化される１４枚のＰフレーム
（順方向予測符号化フレーム）に対して動き補償非適用
で符号化される１枚のＩフレーム（イントラ符号化フレ
ーム）を挿入するようにしていた。一方、拡張チャンネ
ルでは、基本チャンネルのＩフレームから１枚のＰフレ
ームを作成し、これに続くフレームでは、基本チャンネ
ルのＰフレームと拡張チャンネルの１枚前のフレームと
を参照する１４枚のＢフレーム（双方向予測符号化フレ
ーム）を作成するようにしていた。
【０００６】
【発明が解決しようとする課題】しかしながら、前記し
た従来技術においては、動き補償非適用で符号化される
フレームと、これに後続する動き補償適用で符号化され
るフレームの画質を均等に保つのは困難であり、時間的
に画質が大きく変動するという問題があった。すなわ
ち、基本チャンネルでは、ＩフレームとＰフレームでは
画質に差があり、全フレームの画質を均等に保つことが
できないという問題があった。
た従来技術においては、動き補償非適用で符号化される
フレームと、これに後続する動き補償適用で符号化され
るフレームの画質を均等に保つのは困難であり、時間的
に画質が大きく変動するという問題があった。すなわ
ち、基本チャンネルでは、ＩフレームとＰフレームでは
画質に差があり、全フレームの画質を均等に保つことが
できないという問題があった。
【０００７】また、前記した基本チャンネルのＩフレー
ムを除く、基本および拡張チャンネルの各フレームは、
前フレームあるいは同時刻の対応フレームを参照して符
号化および復号化がされるので、回線異常等の原因で、
基本チャンネルの一つのフレームが受信側で正常に受信
されないと、受信側はそれ以降に受信した画像データを
基本チャンネルの次のＩフレームが受信されるまで正常
な画像に復調することができず、基本および拡張チャン
ネルの画像が質の劣化した画像になってしまうという問
題があった。すなわち、フレーム全体のエラー伝搬が継
続してしまうという問題があった。
ムを除く、基本および拡張チャンネルの各フレームは、
前フレームあるいは同時刻の対応フレームを参照して符
号化および復号化がされるので、回線異常等の原因で、
基本チャンネルの一つのフレームが受信側で正常に受信
されないと、受信側はそれ以降に受信した画像データを
基本チャンネルの次のＩフレームが受信されるまで正常
な画像に復調することができず、基本および拡張チャン
ネルの画像が質の劣化した画像になってしまうという問
題があった。すなわち、フレーム全体のエラー伝搬が継
続してしまうという問題があった。
【０００８】本発明の目的は、前記した従来技術の問題
点を除去し、時間的な画質変動を抑えながら、フレーム
全体のエラー伝搬を低減できるステレオ動画像用符号化
装置を提供することにある。
点を除去し、時間的な画質変動を抑えながら、フレーム
全体のエラー伝搬を低減できるステレオ動画像用符号化
装置を提供することにある。
【０００９】
【課題を解決するための手段】前記した目的を達成する
ために、この発明は、一方のチャンネルを基本チャンネ
ルとして動き補償符号化を適用し、他方のチャンネルを
拡張チャンネルとして動き補償符号化および視差補償符
号化を併用するステレオ動画像用符号化装置において、
前記基本および拡張の両チャンネルに対し、画像のフレ
ーム毎に、符号化時に過去の画像を参照しない動き補償
非適用領域を一定の面積で割当て、該領域の割当て位置
を前記フレーム毎に隣接領域に移動させる手段を具備し
た点に特徴がある。
ために、この発明は、一方のチャンネルを基本チャンネ
ルとして動き補償符号化を適用し、他方のチャンネルを
拡張チャンネルとして動き補償符号化および視差補償符
号化を併用するステレオ動画像用符号化装置において、
前記基本および拡張の両チャンネルに対し、画像のフレ
ーム毎に、符号化時に過去の画像を参照しない動き補償
非適用領域を一定の面積で割当て、該領域の割当て位置
を前記フレーム毎に隣接領域に移動させる手段を具備し
た点に特徴がある。
【００１０】この特徴によれば、各フレームに、常に一
定面積の動き補償非適用領域が存在することになり、各
フレーム間の画質が平均化され、画質差が低減されると
共に、一時的な回線障害等で生じたエラーからの回復が
エラー受信直後のフレームから段階的にできるようにな
る。
定面積の動き補償非適用領域が存在することになり、各
フレーム間の画質が平均化され、画質差が低減されると
共に、一時的な回線障害等で生じたエラーからの回復が
エラー受信直後のフレームから段階的にできるようにな
る。
【００１１】
【発明の実施の形態】以下に、図面を参照して、本発明
を詳細に説明する。図１は本発明の一実施形態の基本チ
ャンネルの概略の構成を示すブロック図であり、図２は
拡張チャンネルの概略の構成を示すブロック図である。
なお、図において、図９と同じ符号は同一または同等物
を示し、説明を省略する。
を詳細に説明する。図１は本発明の一実施形態の基本チ
ャンネルの概略の構成を示すブロック図であり、図２は
拡張チャンネルの概略の構成を示すブロック図である。
なお、図において、図９と同じ符号は同一または同等物
を示し、説明を省略する。
【００１２】図１の特徴は、マクロブロックデータ読出
部２２とリフレッシュ判定器２３とからなる動き補償非
適用・適用制御部２４を設けた点にある。また、図２の
特徴は、マクロブロックデータ読出部４４とリフレッシ
ュ判定器４５とからなる動き補償非適用・適用制御部４
６を設けた点にある。
部２２とリフレッシュ判定器２３とからなる動き補償非
適用・適用制御部２４を設けた点にある。また、図２の
特徴は、マクロブロックデータ読出部４４とリフレッシ
ュ判定器４５とからなる動き補償非適用・適用制御部４
６を設けた点にある。
【００１３】次に、本実施形態の動作を、図３および図
４を参照して説明する。図３の横方向は時間ｔ（＝０，
１，２，…）を示し、縦方向は画像（フレーム）の垂直
方向（ｖ）のマクロブロック（ＭＢ）ラインを示す。図
中の○は動き補償を適用した基本チャンネルの１ＭＢラ
イン領域、●は動き補償を適用しない基本チャンネルの
１ＭＢライン領域、△は動き補償を適用した拡張チャン
ネルの１ＭＢライン領域、△の塗りつぶしは動き補償を
適用しない拡張チャンネルの１ＭＢライン領域を示し、
また斜線領域は拡張チャンネルから基本チャンネルに向
う視差検出エリアを示す。また、図４の横方向は時間ｔ
（＝０，１，２，…）を示し、基本および拡張の各チャ
ンネルにおいて、各時間に対応するフレームが参照する
領域を説明するものである。
４を参照して説明する。図３の横方向は時間ｔ（＝０，
１，２，…）を示し、縦方向は画像（フレーム）の垂直
方向（ｖ）のマクロブロック（ＭＢ）ラインを示す。図
中の○は動き補償を適用した基本チャンネルの１ＭＢラ
イン領域、●は動き補償を適用しない基本チャンネルの
１ＭＢライン領域、△は動き補償を適用した拡張チャン
ネルの１ＭＢライン領域、△の塗りつぶしは動き補償を
適用しない拡張チャンネルの１ＭＢライン領域を示し、
また斜線領域は拡張チャンネルから基本チャンネルに向
う視差検出エリアを示す。また、図４の横方向は時間ｔ
（＝０，１，２，…）を示し、基本および拡張の各チャ
ンネルにおいて、各時間に対応するフレームが参照する
領域を説明するものである。
【００１４】図１において、基本チャンネルの入力画像
（左）が原画フレームメモリ１１に格納されると、マク
ロブロックデータ読出部２２はＭＢデータをフレームの
左上から水平方向に順次読み出すと共に、ＭＢの垂直位
置のデータｖをリフレッシュ判定器２３に提供する。リ
フレッシュ判定器２３は該読み出されたＭＢデータを動
き補償部２０に送ると共に、該ＭＢが動き補償非適用領
域上にあるか否かを判断する。リフレッシュ判定器２３
は、例えば、図４のｔ＝０では、１フレーム全部に対し
て動き補償非適用領域上にあると判断し、予測画フレー
ムメモリ２１に輝度および色差レベルの中央値ａ（一般
に輝度および色差レベルは０〜２５５であるので、１２
８）を強制的に設定する。これにより、図１の符号化器
はイントラ符号化（Ｉ）を行う。
（左）が原画フレームメモリ１１に格納されると、マク
ロブロックデータ読出部２２はＭＢデータをフレームの
左上から水平方向に順次読み出すと共に、ＭＢの垂直位
置のデータｖをリフレッシュ判定器２３に提供する。リ
フレッシュ判定器２３は該読み出されたＭＢデータを動
き補償部２０に送ると共に、該ＭＢが動き補償非適用領
域上にあるか否かを判断する。リフレッシュ判定器２３
は、例えば、図４のｔ＝０では、１フレーム全部に対し
て動き補償非適用領域上にあると判断し、予測画フレー
ムメモリ２１に輝度および色差レベルの中央値ａ（一般
に輝度および色差レベルは０〜２５５であるので、１２
８）を強制的に設定する。これにより、図１の符号化器
はイントラ符号化（Ｉ）を行う。
【００１５】次に、ｔ＝１になると、リフレッシュ判定
器２３は、図３、図４に示されているように、前記ＭＢ
の垂直位置のデータｖに基づいて、フレームの一番上の
２本のＭＢラインが動き補償非適用領域上にあると判断
し、また残りのＭＢラインに対しては動き補償適用領域
上にあると判断する。そして、該２本のＭＢラインに対
しては動き補償を適用せずに符号化し、一方、前記残り
のＭＢラインに対しては動き補償を適用して符号化す
る。便宜的に、動き補償を適用しない符号化をＮ符号化
と呼び、動き補償を適用する符号化をＭ符号化と呼び、
また図４中のＮおよびＭは前記と同じことを意味するも
のとする。
器２３は、図３、図４に示されているように、前記ＭＢ
の垂直位置のデータｖに基づいて、フレームの一番上の
２本のＭＢラインが動き補償非適用領域上にあると判断
し、また残りのＭＢラインに対しては動き補償適用領域
上にあると判断する。そして、該２本のＭＢラインに対
しては動き補償を適用せずに符号化し、一方、前記残り
のＭＢラインに対しては動き補償を適用して符号化す
る。便宜的に、動き補償を適用しない符号化をＮ符号化
と呼び、動き補償を適用する符号化をＭ符号化と呼び、
また図４中のＮおよびＭは前記と同じことを意味するも
のとする。
【００１６】次に、ｔ＝２になると、リフレッシュ判定
器２３は、次の２本のＭＢラインが動き補償非適用領域
上にあると判断してこれらに対してＮ符号化を行い、残
りのＭＢラインに対しては動き補償適用領域上にあると
判断してＭ符号化を行う。以下、順次前記と同様の判断
をし、該判断により決定される符号化をする。
器２３は、次の２本のＭＢラインが動き補償非適用領域
上にあると判断してこれらに対してＮ符号化を行い、残
りのＭＢラインに対しては動き補償適用領域上にあると
判断してＭ符号化を行う。以下、順次前記と同様の判断
をし、該判断により決定される符号化をする。
【００１７】上記の動作が進み、フレームの一番下の２
本のＭＢラインが動き補償非適用領域上にあると判断さ
れ、残りのＭＢラインに対しては動き補償適用領域上に
あると判断されて、前記フレームの一番下の２本のＭＢ
ラインに対してはＮ符号化が行われ、前記残りのＭＢラ
インに対してはＭ符号化が行われると、１サイクルの処
理が終り、再度図４のｔ＝１に戻り、前記した動作が繰
返される。
本のＭＢラインが動き補償非適用領域上にあると判断さ
れ、残りのＭＢラインに対しては動き補償適用領域上に
あると判断されて、前記フレームの一番下の２本のＭＢ
ラインに対してはＮ符号化が行われ、前記残りのＭＢラ
インに対してはＭ符号化が行われると、１サイクルの処
理が終り、再度図４のｔ＝１に戻り、前記した動作が繰
返される。
【００１８】基本チャンネルの１個のフレームの符号化
動作の詳細を、図５のフローチャートにより説明する。
ステップＳ１では、ある置数ｉが０と置かれる。ステッ
プＳ２では、前記原画フレームメモリ１１に記憶された
フレームデータの中の、左上からｉ番目のＭＢデータが
読み出される。ステップＳ３では、該ｉ番目のＭＢが動
き補償非適用領域上か否かの判断がなされる。この判断
が否定の時にはステップＳ４に進んで、当該ＭＢについ
て動きベクトルが検出される。ステップＳ５では、符号
化モードが決定される。ステップＳ６では、前記予測画
フレームメモリ２１に該符号化モードに対応するデータ
が格納される。
動作の詳細を、図５のフローチャートにより説明する。
ステップＳ１では、ある置数ｉが０と置かれる。ステッ
プＳ２では、前記原画フレームメモリ１１に記憶された
フレームデータの中の、左上からｉ番目のＭＢデータが
読み出される。ステップＳ３では、該ｉ番目のＭＢが動
き補償非適用領域上か否かの判断がなされる。この判断
が否定の時にはステップＳ４に進んで、当該ＭＢについ
て動きベクトルが検出される。ステップＳ５では、符号
化モードが決定される。ステップＳ６では、前記予測画
フレームメモリ２１に該符号化モードに対応するデータ
が格納される。
【００１９】一方、前記ステップＳ３の判断が肯定であ
ると判断された時には、ステップＳ４、Ｓ５をスキップ
して、ステップＳ６に進む。この時、本実施形態では、
前記輝度および色差レベルの中央値ａが予測画フレーム
メモリ２１に書き込まれる。ステップＳ７に進むと、ｉ
＝Ｘ−１になったか否かの判断がなされる。ここに、Ｘ
は１フレームのＭＢの個数である。該ステップＳ７の判
断が否定の時にはステップＳ８に進んで、ｉに１が加算
される。そして、ステップＳ２に戻って、前記したのと
同様の動作が繰返される。この動作の結果、ステップＳ
７の判断が肯定になると、基本チャンネルの１フレーム
の符号化の動作は終了する。
ると判断された時には、ステップＳ４、Ｓ５をスキップ
して、ステップＳ６に進む。この時、本実施形態では、
前記輝度および色差レベルの中央値ａが予測画フレーム
メモリ２１に書き込まれる。ステップＳ７に進むと、ｉ
＝Ｘ−１になったか否かの判断がなされる。ここに、Ｘ
は１フレームのＭＢの個数である。該ステップＳ７の判
断が否定の時にはステップＳ８に進んで、ｉに１が加算
される。そして、ステップＳ２に戻って、前記したのと
同様の動作が繰返される。この動作の結果、ステップＳ
７の判断が肯定になると、基本チャンネルの１フレーム
の符号化の動作は終了する。
【００２０】次に、図２の拡張チャンネルの動作を、図
３、図４を参照して説明する。拡張チャンネルの入力画
像（右）が図２の原画フレームメモリ３１に格納される
と、マクロブロックデータ読出部４４はＭＢデータをフ
レームの左上から水平方向に順次読み出し、視差補償部
４３とリフレッシュ判定器４５に供給すると共に、ＭＢ
の垂直位置のデータｖをリフレッシュ判定器４５に提供
する。
３、図４を参照して説明する。拡張チャンネルの入力画
像（右）が図２の原画フレームメモリ３１に格納される
と、マクロブロックデータ読出部４４はＭＢデータをフ
レームの左上から水平方向に順次読み出し、視差補償部
４３とリフレッシュ判定器４５に供給すると共に、ＭＢ
の垂直位置のデータｖをリフレッシュ判定器４５に提供
する。
【００２１】拡張チャンネルのｔ＝０のフレームは、同
時刻の対応する基本チャンネルのフレームがＩ符号化さ
れているので、これを参照して片方向符号化（Ｐ）を行
う。次に、ｔ＝１になると、リフレッシュ判定器４５は
該提供されたデータｖに基づいて、ＭＢが動き補償非適
用領域上にあるか否かの判断をする。そして、この判断
が肯定になると、視差補償部４３のみを用いて符号化す
る。以下、該視差補償部４３のみを用いてする符号化を
Ｎ´符号化と呼ぶ。一方、前記判断が否定になると、前
記マクロブロックデータ読出部４４から読み出されたＭ
Ｂデータは動き補償部４０に送られ、（動き補償または
視差補償）の符号化が行われる。以下、該（動き補償ま
たは視差補償）を適用する符号化を、Ｍ´符号化と呼
ぶ。したがって、図３、図４から明らかなように、フレ
ームの一番上から２本のＭＢラインはＮ´符号化が行わ
れ、他の残りのＭＢラインはＭ´符号化が行われる。
時刻の対応する基本チャンネルのフレームがＩ符号化さ
れているので、これを参照して片方向符号化（Ｐ）を行
う。次に、ｔ＝１になると、リフレッシュ判定器４５は
該提供されたデータｖに基づいて、ＭＢが動き補償非適
用領域上にあるか否かの判断をする。そして、この判断
が肯定になると、視差補償部４３のみを用いて符号化す
る。以下、該視差補償部４３のみを用いてする符号化を
Ｎ´符号化と呼ぶ。一方、前記判断が否定になると、前
記マクロブロックデータ読出部４４から読み出されたＭ
Ｂデータは動き補償部４０に送られ、（動き補償または
視差補償）の符号化が行われる。以下、該（動き補償ま
たは視差補償）を適用する符号化を、Ｍ´符号化と呼
ぶ。したがって、図３、図４から明らかなように、フレ
ームの一番上から２本のＭＢラインはＮ´符号化が行わ
れ、他の残りのＭＢラインはＭ´符号化が行われる。
【００２２】次に、ｔ＝２になると、拡張チャンネルの
フレームの上から第３、４番目のＭＢラインに対してＮ
´符号化がなされ、前記第１、２番目のＭＢラインおよ
び第５番目以降のＭＢラインについては、Ｍ´符号化が
なされる。なお、本実施形態では、前記第３、４番目の
ＭＢラインに対するＮ´符号化は、その視差検出エリア
が図３に斜線領域で示されているように、基本チャンネ
ル内の対応する動き補償非適用領域と、該領域の直上の
１ＭＢラインとされている。
フレームの上から第３、４番目のＭＢラインに対してＮ
´符号化がなされ、前記第１、２番目のＭＢラインおよ
び第５番目以降のＭＢラインについては、Ｍ´符号化が
なされる。なお、本実施形態では、前記第３、４番目の
ＭＢラインに対するＮ´符号化は、その視差検出エリア
が図３に斜線領域で示されているように、基本チャンネ
ル内の対応する動き補償非適用領域と、該領域の直上の
１ＭＢラインとされている。
【００２３】以下同様に、ｔ＝３、４、…については、
Ｎ´符号化されるＭＢラインが２ＭＢライン毎に下方に
移行され、該２本以外のＭＢラインはＭ´符号化され
る。また、この時の視差検出エリアは、図示されている
ように基本チャンネル内の対応する動き補償非適用領域
と、該領域の直上の１ＭＢラインとされる。
Ｎ´符号化されるＭＢラインが２ＭＢライン毎に下方に
移行され、該２本以外のＭＢラインはＭ´符号化され
る。また、この時の視差検出エリアは、図示されている
ように基本チャンネル内の対応する動き補償非適用領域
と、該領域の直上の１ＭＢラインとされる。
【００２４】このようにして、フレームの一番下のＭＢ
ラインがＮ´符号化されると、符号化の１サイクルが終
り、再度前記ｔ＝１の時と同様のＰ符号化が行われるこ
とになる。なお、本実施形態では、Ｎ´符号化のための
視差検出エリアを図３の斜線領域としたが、本発明はこ
れに限定されず、該視差検出エリア、すなわち視差検出
のための参照領域を、基本チャンネル内の対応する動き
補償非適用領域と、その直前のフレームにおいて動き補
償非適用とされた領域の合併領域を超えない範囲にして
も良い。
ラインがＮ´符号化されると、符号化の１サイクルが終
り、再度前記ｔ＝１の時と同様のＰ符号化が行われるこ
とになる。なお、本実施形態では、Ｎ´符号化のための
視差検出エリアを図３の斜線領域としたが、本発明はこ
れに限定されず、該視差検出エリア、すなわち視差検出
のための参照領域を、基本チャンネル内の対応する動き
補償非適用領域と、その直前のフレームにおいて動き補
償非適用とされた領域の合併領域を超えない範囲にして
も良い。
【００２５】また、前記の説明では、基本および拡張チ
ャンネルに対して、２本のＭＢライン毎にＮおよびＮ´
符号化を施すようにしたが、本発明はこれに限定され
ず、１本または３本以上であっても良い。また、ＭＢラ
イン毎ではなく、１個または複数個のＭＢ毎にＮおよび
Ｎ´符号化を施すようにしても良い。
ャンネルに対して、２本のＭＢライン毎にＮおよびＮ´
符号化を施すようにしたが、本発明はこれに限定され
ず、１本または３本以上であっても良い。また、ＭＢラ
イン毎ではなく、１個または複数個のＭＢ毎にＮおよび
Ｎ´符号化を施すようにしても良い。
【００２６】図６は、拡張チャンネルの前記した動作
を、１フレームの画像データの符号化に関して、より詳
細に説明するフローチャートである。ステップＳ１１で
は、ある置数ｉが０と置かれる。ステップＳ１２に進む
と、前記原画フレームメモリ３１に記憶されたフレーム
画像の左上からｉ番目のＭＢデータが読み出される。ス
テップＳ１３に進むと、該ｉ番目のＭＢデータが動き補
償非適用領域上にあるか否かの判断がなされる。そし
て、この判断が否定の時には、ステップＳ１４に進ん
で、該ＭＢについて、動きベクトルが検出される。次い
で、ステップＳ１５に進んで、該ＭＢについて、視差ベ
クトルが検出される。なお、該視差ベクトルの検出範囲
は、従来と同様に決定される。一方、前記ステップＳ１
３の判断が肯定の時にはステップＳ１６に進んで、該Ｍ
Ｂについて、視差ベクトルの検出がなされる。この場合
の視差ベクトルの検出範囲は、図３、図４で説明したよ
うに、垂直方向には、基本チャンネル内の対応する動き
補償非適用領域と、該領域の直上の１ＭＢラインと制限
されている。
を、１フレームの画像データの符号化に関して、より詳
細に説明するフローチャートである。ステップＳ１１で
は、ある置数ｉが０と置かれる。ステップＳ１２に進む
と、前記原画フレームメモリ３１に記憶されたフレーム
画像の左上からｉ番目のＭＢデータが読み出される。ス
テップＳ１３に進むと、該ｉ番目のＭＢデータが動き補
償非適用領域上にあるか否かの判断がなされる。そし
て、この判断が否定の時には、ステップＳ１４に進ん
で、該ＭＢについて、動きベクトルが検出される。次い
で、ステップＳ１５に進んで、該ＭＢについて、視差ベ
クトルが検出される。なお、該視差ベクトルの検出範囲
は、従来と同様に決定される。一方、前記ステップＳ１
３の判断が肯定の時にはステップＳ１６に進んで、該Ｍ
Ｂについて、視差ベクトルの検出がなされる。この場合
の視差ベクトルの検出範囲は、図３、図４で説明したよ
うに、垂直方向には、基本チャンネル内の対応する動き
補償非適用領域と、該領域の直上の１ＭＢラインと制限
されている。
【００２７】ステップＳ１７では、符号化モードが前記
符号化モード判定部４１により決定される。ステップＳ
１８では、該符号化モード判定部４１によって決定され
た予測画像が予測画フレームメモリ４２に書き込まれ
る。ステップＳ１９では、ｉ＝Ｘ−１になったか否かの
判断がなされる。この判断が否定になると、ステップＳ
２０に進んで、ｉに１が加算され、ステップＳ１２に戻
る。以下、前記と同様の動作がなされ、前記ステップＳ
１９の判断が肯定になると、一連の処理が終了する。
符号化モード判定部４１により決定される。ステップＳ
１８では、該符号化モード判定部４１によって決定され
た予測画像が予測画フレームメモリ４２に書き込まれ
る。ステップＳ１９では、ｉ＝Ｘ−１になったか否かの
判断がなされる。この判断が否定になると、ステップＳ
２０に進んで、ｉに１が加算され、ステップＳ１２に戻
る。以下、前記と同様の動作がなされ、前記ステップＳ
１９の判断が肯定になると、一連の処理が終了する。
【００２８】以上のように、本実施形態によれば、基本
および拡張チャンネルの各フレームに対して、１個また
は複数個のＭＢ毎、あるいは１本または複数本のＭＢラ
イン毎にＮおよびＮ´符号化を施すようにしたので、回
線の瞬間的な異常などで、受信側で基本チャンネルの一
つのフレームが正常に受信されずこれに起因する画質劣
化領域が生じても、該フレーム以後のフレームにて動き
補償非適用領域単位でＮおよびＮ´符号化が施されるこ
とで段階的に完全なデータを受信できるようになり、従
来装置とは異なり、エラー受信直後のフレームから徐々
に回復するようになる。また、基本チャンネルにおいて
ＩまたはＮ符号化をした場合には、これらの符号化領域
の画質がＭ符号化領域の画質に比べて良好になり、両符
号化領域の間に画質差が生ずるが、本実施形態では、Ｎ
符号化領域が各フレームの領域の小さい部分を占めるだ
けであるので、一連のフレームの画質差を低減し、該画
質がフレーム間でほぼ均一になるようにすることができ
る。
および拡張チャンネルの各フレームに対して、１個また
は複数個のＭＢ毎、あるいは１本または複数本のＭＢラ
イン毎にＮおよびＮ´符号化を施すようにしたので、回
線の瞬間的な異常などで、受信側で基本チャンネルの一
つのフレームが正常に受信されずこれに起因する画質劣
化領域が生じても、該フレーム以後のフレームにて動き
補償非適用領域単位でＮおよびＮ´符号化が施されるこ
とで段階的に完全なデータを受信できるようになり、従
来装置とは異なり、エラー受信直後のフレームから徐々
に回復するようになる。また、基本チャンネルにおいて
ＩまたはＮ符号化をした場合には、これらの符号化領域
の画質がＭ符号化領域の画質に比べて良好になり、両符
号化領域の間に画質差が生ずるが、本実施形態では、Ｎ
符号化領域が各フレームの領域の小さい部分を占めるだ
けであるので、一連のフレームの画質差を低減し、該画
質がフレーム間でほぼ均一になるようにすることができ
る。
【００２９】次に、図７、図８は、拡張チャンネルの符
号化の他の実施例を示すフローチャートおよび説明図で
ある。ステップＳ２１では、ｉ＝０と置かれ、ステップ
Ｓ２２では原画フレームメモリ３１の左上からｉ番目の
ＭＢデータが読み出される。ステップＳ２３では、該ｉ
番目のＭＢが動き補償非適用領域上か否かの判断がなさ
れる。そして、この判断が否定の時にはステップＳ２４
に進んで、該ＭＢについて、動きベクトルが検出され
る。次いで、ステップＳ２５に進んで、該ＭＢについ
て、視差ベクトルが検出される。一方、前記ステップＳ
２３の判断が肯定の時には、ステップＳ２４をスキップ
して前記ステップＳ２５の処理がなされる。ステップＳ
２６では、符号化モードが決定される。ステップＳ２７
では、該決定された符号化モードによって得られた予測
画像が、前記予測画フレームメモリ４２に記憶される。
ステップＳ２８では、ｉ＝Ｘ−１が成立するか否かの判
断がなされ、この判断が否定の時にはステップＳ２９に
進んで、ｉに１が加算される。以上の動作が繰返しなさ
れた結果、ステップＳ２８の判断が肯定になると、画像
１フレーム分の動作を終了する。
号化の他の実施例を示すフローチャートおよび説明図で
ある。ステップＳ２１では、ｉ＝０と置かれ、ステップ
Ｓ２２では原画フレームメモリ３１の左上からｉ番目の
ＭＢデータが読み出される。ステップＳ２３では、該ｉ
番目のＭＢが動き補償非適用領域上か否かの判断がなさ
れる。そして、この判断が否定の時にはステップＳ２４
に進んで、該ＭＢについて、動きベクトルが検出され
る。次いで、ステップＳ２５に進んで、該ＭＢについ
て、視差ベクトルが検出される。一方、前記ステップＳ
２３の判断が肯定の時には、ステップＳ２４をスキップ
して前記ステップＳ２５の処理がなされる。ステップＳ
２６では、符号化モードが決定される。ステップＳ２７
では、該決定された符号化モードによって得られた予測
画像が、前記予測画フレームメモリ４２に記憶される。
ステップＳ２８では、ｉ＝Ｘ−１が成立するか否かの判
断がなされ、この判断が否定の時にはステップＳ２９に
進んで、ｉに１が加算される。以上の動作が繰返しなさ
れた結果、ステップＳ２８の判断が肯定になると、画像
１フレーム分の動作を終了する。
【００３０】図８は、前記の符号化動作を分かりやすく
示したものである。この実施例では、基本チャンネルの
符号化を拡張チャンネルの符号化に対して少なくとも１
ＭＢライン先行させ、拡張フレームのＮ´符号化におけ
る視差検出エリア、すなわち前記ステップＳ２５におけ
る視差検出エリアを、基本チャンネル内の対応する動き
補償非適用領域と、その直上の２ＭＢライン、すなわち
その直前のフレームにおいて動き補償非適用とされた領
域との合併領域としている。
示したものである。この実施例では、基本チャンネルの
符号化を拡張チャンネルの符号化に対して少なくとも１
ＭＢライン先行させ、拡張フレームのＮ´符号化におけ
る視差検出エリア、すなわち前記ステップＳ２５におけ
る視差検出エリアを、基本チャンネル内の対応する動き
補償非適用領域と、その直上の２ＭＢライン、すなわち
その直前のフレームにおいて動き補償非適用とされた領
域との合併領域としている。
【００３１】なお、本発明における、拡張フレームのＮ
´符号化における視差検出エリアは、上記の例に限定さ
れるものではない。
´符号化における視差検出エリアは、上記の例に限定さ
れるものではない。
【００３２】
【発明の効果】以上のように、本発明によれば、基本お
よび拡張チャンネルにおいて、動き補償非適用で符号化
される領域が、連続する各フレームに一定の面積で割当
てられ、かつ該領域の割当て位置をフレーム毎に隣接領
域に移動させるようにしているので、各フレーム間の画
質が平均化され、画質差が低減されると共に、一時的な
回線障害等で生じたエラーからの回復がエラー受信直後
のフレームから段階的にできるようになる。
よび拡張チャンネルにおいて、動き補償非適用で符号化
される領域が、連続する各フレームに一定の面積で割当
てられ、かつ該領域の割当て位置をフレーム毎に隣接領
域に移動させるようにしているので、各フレーム間の画
質が平均化され、画質差が低減されると共に、一時的な
回線障害等で生じたエラーからの回復がエラー受信直後
のフレームから段階的にできるようになる。
【図１】 本発明の一実施形態の基本チャンネルの要部
の構成を示すブロック図である。
の構成を示すブロック図である。
【図２】 本発明の一実施形態の拡張チャンネルの要部
の構成を示すブロック図である。
の構成を示すブロック図である。
【図３】 本実施形態の基本チャンネルの符号化動作を
説明するための説明図である。
説明するための説明図である。
【図４】 本実施形態の拡張チャンネルの符号化動作を
説明するための説明図である。
説明するための説明図である。
【図５】 本実施形態の基本チャンネルの符号化動作を
説明するためのフローチャートである。
説明するためのフローチャートである。
【図６】 本実施形態の拡張チャンネルの符号化動作を
説明するためのフローチャートである。
説明するためのフローチャートである。
【図７】 本発明の変形例の動作を説明するためのフロ
ーチャートである。
ーチャートである。
【図８】 本発明の変形例の動作を説明するための説明
図である。
図である。
【図９】 従来のステレオ動画像用符号化装置の構成を
示すブロック図である。
示すブロック図である。
【図１０】 従来装置の動作を説明するための図であ
る。
る。
１１、３１…原画フレームメモリ、１２、３２…減算
器、１３、３３…直交変換部、１４、３４…量子化部、
１５、３５…可変長符号化部、１６、３６…逆量子化
部、１７、３７…逆直交変換部、１９、３９…再生画フ
レームメモリ、２０、４０…動き補償部、２１、４２…
予測画フレームメモリ、２２、４４…マクロブロックデ
ータ読出部、２３、４５…リフレッシュ判定器、２４…
基本制御部、４３…視差補償部、４６…拡張制御部。
器、１３、３３…直交変換部、１４、３４…量子化部、
１５、３５…可変長符号化部、１６、３６…逆量子化
部、１７、３７…逆直交変換部、１９、３９…再生画フ
レームメモリ、２０、４０…動き補償部、２１、４２…
予測画フレームメモリ、２２、４４…マクロブロックデ
ータ読出部、２３、４５…リフレッシュ判定器、２４…
基本制御部、４３…視差補償部、４６…拡張制御部。
Claims (4)
- 【請求項１】 一方のチャンネルを基本チャンネルとし
て動き補償符号化を適用し、他方のチャンネルを拡張チ
ャンネルとして動き補償符号化および視差補償符号化を
併用するステレオ動画像用符号化装置において、 前記基本および拡張の両チャンネルに対し、画像のフレ
ーム毎に、符号化時に過去の画像を参照しない動き補償
非適用領域を一定の面積で割当て、該領域の割当て位置
を前記フレーム毎に隣接領域に移動させる手段を具備し
たことを特徴とするステレオ動画像用符号化装置。 - 【請求項２】 請求項１に記載のステレオ動画像用符号
化装置において、 前記拡張チャンネルのフレームに割当てられた動き補償
非適用領域においては、予測単位であるマクロブロック
毎に、視差補償符号化およびフレーム内符号化のうちの
いずれかを適用するようにしたことを特徴とするステレ
オ動画像用符号化装置。 - 【請求項３】 請求項１または２に記載のステレオ動画
像用符号化装置において、 前記基本および拡張の両チャンネルに割当てられる動き
補償非適用領域の位置関係が、該拡張チャンネル内の前
記動き補償非適用領域の視差検出範囲に関して、視差検
出参照領域が基本チャンネル内の対応する動き補償非適
用領域と、直前のフレームにおいて動き補償非適用とさ
れた領域の合併領域を超えないように制限することを特
徴とするステレオ動画像用符号化装置。 - 【請求項４】 請求項１ないし３のいずれかに記載のス
テレオ動画像用符号化装置において、 前記基本および拡張の両チャンネルに割当てられる動き
補償非適用領域の面積を同一としたことを特徴とするス
テレオ動画像用符号化装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP16434898A JP3617925B2 (ja) | 1998-05-28 | 1998-05-28 | ステレオ動画像用符号化装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP16434898A JP3617925B2 (ja) | 1998-05-28 | 1998-05-28 | ステレオ動画像用符号化装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11341521A true JPH11341521A (ja) | 1999-12-10 |
| JP3617925B2 JP3617925B2 (ja) | 2005-02-09 |
Family
ID=15791468
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP16434898A Expired - Fee Related JP3617925B2 (ja) | 1998-05-28 | 1998-05-28 | ステレオ動画像用符号化装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3617925B2 (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002335494A (ja) * | 2001-05-08 | 2002-11-22 | Mega Chips Corp | 動画像の逆再生方法、早送り再生方法、早送り検索方法及びそれらのプログラム |
| WO2009001791A1 (ja) * | 2007-06-25 | 2008-12-31 | Nippon Telegraph And Telephone Corporation | 映像符号化方法及び復号方法、それらの装置、それらのプログラム並びにプログラムを記録した記録媒体 |
| JP2013518465A (ja) * | 2010-01-27 | 2013-05-20 | ドルビー ラボラトリーズ ライセンシング コーポレイション | 画像及び映像コーデックにおける参照処理のための方法及びシステム |
| JP2016184891A (ja) * | 2015-03-26 | 2016-10-20 | 富士通株式会社 | 動画像符号化装置、動画像符号化方法および動画像符号化プログラム |
-
1998
- 1998-05-28 JP JP16434898A patent/JP3617925B2/ja not_active Expired - Fee Related
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002335494A (ja) * | 2001-05-08 | 2002-11-22 | Mega Chips Corp | 動画像の逆再生方法、早送り再生方法、早送り検索方法及びそれらのプログラム |
| JP4736233B2 (ja) * | 2001-05-08 | 2011-07-27 | 株式会社メガチップス | 動画像の逆再生方法、早送り再生方法、早送り検索方法及びそれらのプログラム |
| WO2009001791A1 (ja) * | 2007-06-25 | 2008-12-31 | Nippon Telegraph And Telephone Corporation | 映像符号化方法及び復号方法、それらの装置、それらのプログラム並びにプログラムを記録した記録媒体 |
| US8204118B2 (en) | 2007-06-25 | 2012-06-19 | Nippon Telegraph And Telephone Corporation | Video encoding method and decoding method, apparatuses therefor, programs therefor, and storage media which store the programs |
| JP5197591B2 (ja) * | 2007-06-25 | 2013-05-15 | 日本電信電話株式会社 | 映像符号化方法及び復号方法、それらの装置、それらのプログラム並びにプログラムを記録した記録媒体 |
| JP2013518465A (ja) * | 2010-01-27 | 2013-05-20 | ドルビー ラボラトリーズ ライセンシング コーポレイション | 画像及び映像コーデックにおける参照処理のための方法及びシステム |
| US8938011B2 (en) | 2010-01-27 | 2015-01-20 | Dolby Laboratories Licensing Corporation | Methods and systems for reference processing in image and video codecs |
| JP2016184891A (ja) * | 2015-03-26 | 2016-10-20 | 富士通株式会社 | 動画像符号化装置、動画像符号化方法および動画像符号化プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3617925B2 (ja) | 2005-02-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8964846B2 (en) | Moving picture encoding apparatus, moving picture decoding apparatus, moving picture encoding method, moving picture decoding method, moving picture encoding program, and moving picture decoding program | |
| US8428136B2 (en) | Dynamic image encoding method and device and program using the same | |
| US8428131B2 (en) | Video encoder and decoder using region based coding and decoding techniques with sequential refresh | |
| CN101715138B (zh) | 对具有多个图像的图像序列进行编码的方法及设备 | |
| JPH05137130A (ja) | 動画像符号化装置及びその復号装置 | |
| JPH08223577A (ja) | 動画像符号化方法及び装置、並びに動画像復号方法及び装置 | |
| JP3426668B2 (ja) | 動画像符号化方法 | |
| JPH09294262A (ja) | 画像符号化装置 | |
| US8818180B2 (en) | Video reproducing apparatus, video reproducing method, and program | |
| JP3617925B2 (ja) | ステレオ動画像用符号化装置 | |
| JPH07240944A (ja) | ステレオ画像符号化装置 | |
| JP4073541B2 (ja) | 動画像再符号化装置 | |
| JPH0828876B2 (ja) | 動画像信号のリフレッシュ方法 | |
| JPH08140047A (ja) | 画像データ記録装置 | |
| JP3976975B2 (ja) | 画像処理装置及びその方法と記憶媒体 | |
| JPH0993537A (ja) | ディジタル映像信号記録再生装置及びディジタル映像信号符号化方法 | |
| JPH09130807A (ja) | 動画像符号化装置および動画像復号化装置 | |
| JPH10145793A (ja) | 画像符号化装置とその方法、および、画像復号化装置とその方法 | |
| JPH1042297A (ja) | 動画像復号化装置及び動画像復号化方法 | |
| JPH10304373A (ja) | 動画像復号方法及び動画像復号装置 | |
| JP4851270B2 (ja) | 動画像復号装置、および復号方法。 | |
| JPH11298902A (ja) | 画像符号化装置および方法 | |
| JP3590976B2 (ja) | 動画像圧縮装置 | |
| JP3381167B2 (ja) | 画像信号の高能率復号化装置及びその方法 | |
| JP4642055B2 (ja) | 動画符号化装置、及び動画記録再生装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040413 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040609 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040727 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040826 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20041001 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041104 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041105 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081119 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081119 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101119 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101119 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111119 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121119 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131119 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |