JP4593060B2 - 画像符号化装置 - Google Patents
画像符号化装置 Download PDFInfo
- Publication number
- JP4593060B2 JP4593060B2 JP2002163322A JP2002163322A JP4593060B2 JP 4593060 B2 JP4593060 B2 JP 4593060B2 JP 2002163322 A JP2002163322 A JP 2002163322A JP 2002163322 A JP2002163322 A JP 2002163322A JP 4593060 B2 JP4593060 B2 JP 4593060B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- image
- difference
- gradations
- difference image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【発明の属する技術分野】
この発明は、画像データを符号化して送信し、また符号化された画像データを受信して復号化する画像符号化装置及び画像復号化装置に関するものである。
【0002】
【従来の技術】
近年、画像データの伝送や蓄積保存に用いられる符号化及び復号化技術が著しく発達し、MPEG−2やJPEGなどの規格が提唱されている。画像データの符号化及び復号化は前述のような規格に即して行われ、原画像データを符号化手段に入力して圧縮画像データ、即ち符号化データを生成して蓄積や伝送が行われる。これらの符号化データは、前記規格に則した処理を行う復号化手段によって伸長され、原画像データに復号化されて表示手段により再生画像の表示が行われる。
【0003】
また、スキャナやカメラ等の各種画像入力装置の発達に伴い、精細かつ高階調の原画像データ生成が可能になり、一画素当り各色の階調数が10ビット〜16ビットの原画像データが生成できるようになった。その一方で、原画像データの符号化または復号化などを行う画像符号化装置または画像復号化装置は、一画素当たり各色の階調数が8ビットの画像データを扱うものが一般に使用されている。
【0004】
【発明が解決しようとする課題】
従来の画像符号化装置及び画像復号化装置は、以上のように構成されているので、高階調数の原画像データが画像符号化装置に入力された場合、当該画像符号化装置の符号化手段が処理できる階調数に原画像データの階調数を縮減しなければならなかった。例えば、階調数8ビットの画像データを処理する符号化手段は、階調数10ビットの原画像データが入力されると、10ビット階調のデータ値を8ビット階調のデータ値に変換してから符号化を行っているので、原画像データに損失部分が生じて、画像復号化装置において画像データを復号化すると画質が低下してしまうという課題があった。また、高階調数の原画像データが処理できるように画像符号化装置及び画像復号化装置を構成すると、一般に普及しているプロセッサ等のデバイスが使用できず、独自の処理能力を有するものが必要になることから生産コストが増大するという課題があった。
【0005】
この発明は、上記のような課題を解決するためになされたもので、簡単な構成で、高階調数を有する画像データを処理する画像符号化装置及び画像復号化装置を得ることを目的とする。
【0006】
【課題を解決するための手段】
この発明に係る画像符号化装置は、差分画像算出手段により生成された差分画像データの値が所定の範囲外にある該差分画像データの値を該所定の範囲内の最近値に置き換えるとともに、この値を置き換えた差分画像データおよび値が該所定の範囲内にある差分画像データを所定の階調数で表された値へ変換する画像階調制限手段を設けるようにしたものである。
【0009】
この発明に係る画像符号化装置は、基本画像符号化手段のビットレートと差分画像符号化手段のビットレートとを制御するビットレート制御手段を備え、基本画像符号化手段のビットレートが差分画像符号化手段よりも速くなるように制御するようにしたものである。
【0010】
この発明に係る画像符号化装置は、送出手段が符号化基本画像データ及び符号化差分画像データに同じ同期信号を埋め込んで画像復号化装置へ送出するようにしたものである。
【0011】
この発明に係る画像符号化装置は、第一の差分画像算出手段により生成された第一の差分画像データの階調数を縮減し、階調数縮減後の第一の差分画像データの値が所定の範囲外にある該差分画像データの値を該所定の範囲内の最近値に置き換えるとともに、この値を置き換えた差分画像データおよび値が該所定の範囲内にある差分画像データを所定の階調数で表された値へ変換する第一の画像階調制限手段と、第二の差分画像算出手段により生成された第二の差分画像データの値が所定の範囲外にある該差分画像データの値を該所定の範囲内の最近値に置き換えるとともに、この値を置き換えた差分画像データおよび値が該所定の範囲内にある差分画像データを所定の階調数で表された値へ変換する第二の画像階調制限手段とを設けるようにしたものである。
【0012】
この発明に係る画像符号化装置は、第一の差分画像符号化手段と第一の差分画像復号化手段と第一の画像階調制限手段と第二の差分画像算出手段とを各々複数備え、三つ以上の符号化差分画像データを生成するようにしたものである。
【0016】
【発明の実施の形態】
以下、この発明の実施の一形態を説明する。
実施の形態1.
図1は、この発明の実施の形態1による画像符号化装置及び画像復号化装置の構成を示すブロック図である。図において、1は入力された原画像データ2を符号化する画像符号化装置、2は画像符号化装置1へ入力する原画像データ(入力画像データ)、3は原画像データ2の符号化を行う基本画像符号化手段、4は基本画像符号化手段3によって符号化された符号化基本画像データ、5は符号化基本画像データ4を復号化する基本画像復号化手段、6は基本画像復号化手段5によって復号化された復号化基本画像データである。7は原画像データ2と復号化基本画像データ6とを入力し、当該両画像データにおいて同一位置に相当する画素を比較して差分を求め、差分画像データを算出する差分画像算出手段である。8は差分画像算出手段7によって求められた差分画像データの各画素値を、所定の制限特性に基づいて階調数の変更に伴って変換し、所望の階調数で表された差分画像データを生成する差分画像階調制限手段(画像階調制限手段)である。9は差分画像階調制限手段8から出力された差分画像データを符号化する差分画像符号化手段、10は差分画像符号化手段9から出力された符号化差分画像データ、11は符号化基本画像データ4と符号化差分画像データ10とを画像復号化装置12へ送出する送出手段である。
【0017】
12は画像符号化装置1から送出された符号化基本画像データ4及び符号化差分画像データ10を復号化する画像復号化装置である。13は画像符号化装置1から送出された符号化基本画像データ4及び符号化差分画像データ10を受信する受信手段、14は受信手段13によって受信された符号化基本画像データ4を復号化する第一の復号化手段(基本画像復号化手段)、15は受信手段13によって受信された符号化差分画像データ10を復号化する第二の復号化手段(差分画像復号化手段)、16は第一の復号化手段14及び第二の復号化手段15で復号化された各画像データを合成し、図示されない外部の表示手段等へ出力する画像合成手段である。
【0018】
次に、動作について説明する。
例えば、階調数10ビットの原画像データ2を入力し、階調数8ビットのデータ処理を行う構成の基本画像符号化手段3及び差分画像符号化手段9を備えた画像符号化装置1の動作を説明する。画像符号化装置1に入力された原画像データ2は、基本画像符号化手段3によって符号化がなされる。
【0019】
基本画像符号化手段3は、8ビットのデータを符号化するものなので、まず原画像データ2の階調数を10ビットから8ビットに縮減する。具体的には、各画素値を表す10ビット階調のデータを右シフト演算や四捨五入によって8ビット階調のデータに縮減する。
【0020】
図2は、実施の形態1による画像符号化装置1の基本画像符号化手段3によるビット操作を示す説明図である。図2に例示したビット操作は、10ビット階調の原画像データ2に2ビット右シフト演算を行い、一画素を成すRed・Green・Blue(以下、R・G・Bと記載する)の各階調を10ビットから8ビットのデータに縮減するもので、下位2ビットのデータが削除される。
【0021】
基本画像符号化手段3は、前述のように原画像データ2の階調数を縮減して符号化し、8ビット階調の符号化基本画像データ4を生成し、送出手段11に蓄積させる。送出手段11に蓄積された符号化基本画像データ4は、後述するように符号化差分画像データ10と共に画像復号化装置12へ送出される。基本画像復号化手段5は、基本画像符号化手段3から入力した符号化基本画像データ4を復号化して復号化基本画像データ6を生成し、差分画像算出手段7へ入力する。
【0022】
図3は、実施の形態1による画像符号化装置1の差分画像算出手段7の動作を示すフローチャートである。差分画像算出手段7の動作を、図3のフローチャートを用いて説明する。差分画像算出手段7は、画像符号化装置1に入力された10ビット階調の原画像データ2と、基本画像復号化手段5から出力された8ビット階調の復号化基本画像データ6とを取得する(ステップST301)。基本画像復号化手段5から出力された復号化基本画像データ6の階調数は8ビットなので、当該復号化基本画像データ6の階調数を原画像データ2の階調数に揃える。復号化基本画像データ6の階調数の調整は、ビットシフト演算等によって原画像データ2の階調数に揃える(ステップST302)。このようにして両画像データの階調数を揃えてから、原画像データ2と復号化基本画像データ6の差分を求める(ステップST303)。
【0023】
図4は、実施の形態1による画像符号化装置の差分画像算出手段7によるビット操作を示す説明図である。図4に示したビット操作の一例は、図3に示したステップST302において行われるビットシフト演算を示したもので、基本画像復号化手段5において生成された復号化基本画像データが、例えばR・G・Bの各画素の階調を8ビットで表したデータであるとき、この8ビットで表された階調値のビットパターンを左へ2ビットシフトし、R・G・Bの各階調値を表すビットストリームの下位2ビットに“0”の内容を付加して、10ビットで階調値を表した復号化基本画像データ6を生成する。
【0024】
差分画像算出手段7は、このようにして10ビット階調に復号化基本画像データ6を伸長し、10ビット階調の原画像データ2と10ビット階調の復号化基本画像データ6との差分演算を行い、原画像データ2と復号化基本画像データ6の画素毎の差分を求める。なお、差分画像算出手段7によって算出された差分値は正負の値をとるので、演算結果の差分値に±符号を付加した11ビットデータが差分画像算出手段7から出力される。
【0025】
差分画像階調制限手段8は、差分画像算出手段7によって求められた10ビット階調の二つの画像データの差分値、即ち11ビットのデータが差分画像符号化手段9において符号化できるように、例えば、所定の制限特性に基づいて11ビットで表現される差分値を8ビットで表現される差分値に変換する。
【0026】
図5は、実施の形態1による画像符号化装置1が備える差分画像階調制限手段8の制限特性を示す説明図である。この差分画像階調制限手段8は、11ビットのデータを8ビットのデータに変換するものである。図において、横軸は差分画像階調制限手段8に入力される差分値、縦軸は差分画像階調制限手段8から出力される差分値である。入力差分値は正負の符号を含めて11ビットで表現されるデータなので、−1023〜+1023の範囲内の値となる。差分画像階調制限手段8は、入力した11ビットの差分値を8ビットで表現できる値、即ち、0〜255の範囲内で対応させて差分画像データを生成して出力する。
【0027】
差分画像符号化手段9は、差分画像階調制限手段8から入力した8ビット階調の差分画像データを符号化して符号化差分画像データ10を生成する。このようにして生成された符号化基本画像データ4と符号化差分画像データ10は、送出手段11から画像復号化装置12へ送出される。以上の説明が画像符号化装置1の動作である。なお、送出手段11か送出される符号化基本画像データ4及び符号化差分画像データ10は、いずれも8ビット階調の画像データである。
【0028】
次に、画像復号化装置12の動作を説明する。受信手段13は、8ビット階調の符号化基本画像データ4と符号化差分画像データ10を受信すると、符号化基本画像データ4を第一の復号化手段14に入力し、符号化差分画像データ10を第二の復号化手段15に入力する。第一の復号化手段14は符号化基本画像データ4を復号化し、第二の復号化手段15は符号化差分画像データ10を復号化する。復号化されたそれぞれの画像データは画像合成手段16に入力され、合成処理が行われて復号化された最終画像データが出力される。
【0029】
図6は、実施の形態1による画像復号化装置12が備える画像合成手段16の動作を示すフローチャートである。画像合成手段16の動作を図示したフローチャートを用いて説明する。画像合成手段16は、第一の復号化手段14で復号化された基本画像データの階調数を変換する(ステップST601)。これは、第一の復号化手段14から入力した8ビット階調の基本画像データを10ビット階調の基本画像データに変換するもので、ビットシフト演算等によって行われる。このビットシフト演算は、例えば、図4に示したように、2ビット左シフト演算を行って下位2ビットを付加し、階調数8ビットの画像データを階調数10ビットの画像データに変換する。
【0030】
同様に、第二の復号化手段15で復号化された差分画像データの階調数を8ビットから10ビットへ変換する。第二の復号化手段15から出力される差分画像データは階調数が8ビットなので、図5に示した制限特性により0〜+255の範囲内の値が表現可能である。8ビット階調の差分画像データと基本画像データとを画素毎に加算できるように、例えば、各差分画像データから“128”を減算して、各画素の値を−128〜+127の範囲内で表現する(ステップST602)。次に階調数を10ビットに伸長して、例えば図5の制限特性を用いて8ビットで表現された値を10ビットで表現される値に逆変換した差分画像データの各値と、階調数10ビットの基本画像データの値とを各画素ごとに加算し、最終的に階調数10ビットの高画質の合成画像データを生成して画像復号化装置12から出力する(ステップST603)。
【0031】
なお、この実施の形態1による画像符号化装置の符号化方法及び画像復号化装置の復号化方法は、動画データを扱う場合にはMPEG−2やMPEG−4に則した方法を用い、静止画データを扱う場合にはJPEG等の既知の符号化・復号化方法を用いることが可能で、後述する画像符号化装置及び画像復号化装置を含め、本発明の画像符号化装置及び画像復号化装置には可逆符号化・不可逆符号化を問わず画像データを処理する任意の符号化・復号化手段を用いることができる。
【0032】
また、基本画像符号化手段3で用いられる符号化方法と、差分画像符号化手段9で用いられる符号化方法が異なるように構成してもよい。例えば、MPEG−2を基本画像符号化手段3において使用し、ハフマン符号化等の可逆符号化方法を差分画像符号化手段9において使用するようにしてもよい。
【0033】
以上のように、実施の形態1によれば、画像符号化装置1が原画像データ2の階調数を変更して符号化を行い、また当該階調数の変更によって欠落するデータを補う差分画像データを生成して符号化を行い、画像復号化装置12が符号化された原画像データと差分画像データとを復号化して合成するようにしたので、高階調数を有する原画像データ2の品質を損なうことなく符号化及び復号化ができる低コストの画像符号化装置1及び画像復号化装置12が得られるという効果がある。また、簡単な処理動作によって高階調数を有する原画像データ2の符号化及び復号化ができるという効果がある。
【0034】
実施の形態2.
図7は、この発明の実施の形態2による画像符号化装置1の構成を示すブロック図である。図1に示す画像符号化装置1と同一、あるいは相当する部分に同じ符号を付し、その説明を省略する。図において、7a〜7cは図1に示した差分画像算出手段7に相当する差分画像算出手段、9a〜9cは図1に示した差分画像符号化手段9に相当する差分画像符号化手段、20は差分画像算出手段7aによって生成された差分画像データ、21は差分画像算出手段7bによって生成された差分画像データ、22は差分画像算出手段7cによって生成された差分画像データ、30aは符号化差分画像データ101を復号化する差分画像復号化手段、30bは符号化差分画像データ102を復号化する差分画像復号化手段、81は差分画像データ20の階調数を変更し表現する値を変換する差分画像階調制限手段、82は差分画像データ21の階調数を変更し表現する値を変換する差分画像階調制限手段、83は差分画像データ22の階調数を変更し表現する値を変換する差分画像階調制限手段、101は差分画像符号化手段9aによって符号化された符号化差分画像データ、102は差分画像符号化手段9bによって符号化された符号化差分画像データ、103は差分画像符号化手段9cによって符号化された符号化差分画像データである。
【0035】
図8は、この発明の実施の形態2による画像復号化装置12の構成を示すブロック図である。図において、14は第一の復号化手段、131は画像符号化装置1から送出された各画像データを受信する受信手段、151は差分画像復号化手段、152は第一差分画像復号化手段、153は第二差分画像復号化手段、154は第三差分画像復号化手段、155は第N差分画像復号化手段、161は第一の復号化手段14で復号化された画像データと差分画像復号化手段151で復号化された複数の差分画像データとを合成して出力する画像合成手段である。なお、差分画像復号化手段151は、第一差分画像復号化手段152、第二差分画像復号化手段153、第三差分画像復号化手段154、及び第N差分画像復号化手段155など複数の差分画像復号手段を備えたものである。
【0036】
次に、動作について説明する。
初めに、図7に示した実施の形態2による画像符号化装置1の動作について説明する。
【0037】
実施の形態2による画像符号化装置1は、例えば階調数14ビットの原画像データ2を入力するものである。ただし、当該画像符号化装置1が備える基本画像符号化手段3、基本画像復号化手段5、差分画像符号化手段9a〜9c、及び差分画像復号化手段30a,30bは階調数が8ビットの画像データを取り扱うものである。
【0038】
実施の形態2による画像符号化装置1に、階調数14ビットの原画像データ2が入力されると、基本画像符号化手段3は、階調数14ビットの原画像データ2を階調数8ビットの基本画像データに変換して符号化した符号化基本画像データ4を生成する。この階調数の変更に伴う画像データ値の変換処理は、例えば図2を用いて説明したビットシフト演算によって行われる。具体的には、原画像データ2の14ビットストリームを右へ6ビットシフトさせて下位6ビットを切り捨て、残り8ビットの階調数で表された値を基本画像データとし、これを符号化して符号化基本画像データ4を生成する。
【0039】
基本画像復号化手段5は、8ビット階調の符号化基本画像データ4を復号化して復号化基本画像データ6を生成する。
【0040】
次に、差分画像算出手段7aは、原画像データ2と復号化基本画像データ6とを比較し、差分画像データ20を生成する。原画像データ2の階調数は14ビットなので、階調数が8ビットの復号化基本画像データにビットシフト演算等を行い、例えば実施の形態1で説明した図3のステップST302に相当する処理を行って、復号化基本画像データ6の階調数を14ビットに伸長して、原画像データ2と復号化基本画像データ6の各画素値の差分を求め、図3のステップST303に相当する処理を行って差分画像データ20を生成する。この差分画像データ20は原画像データ2と復号化基本画像データ6との差分値なので正負の値を有し、階調数は正負を示す1ビットが加えられた15ビットとなる。
【0041】
次に、差分画像階調制限手段81は、差分画像データ20の階調数15ビットで表現される値に制限を課す。この制限は、例えば図5に示した制限特性を用いて行うもので、まず15ビットストリームのうち下位4ビットを削除した後、残りの11ビットの値について、図5に示す11ビット表現の入力差分値に対応する8ビット表現の出力差分値を求める。このようにして、8ビットで表現された値を求め、当該8ビットで表現した値を差分画像符号化手段9aに入力して符号化し、符号化差分画像データ101を生成する。
【0042】
差分画像復号化手段30aは、8ビット階調の符号化差分画像データ101に、実施の形態1で説明した図3のステップST302に相当するビットシフト演算等の処理を行い、符号化差分画像データ101を階調数14ビットで表現したものに変換する。
【0043】
差分画像算出手段7bは、差分画像復号化手段30aから出力された14ビット階調の符号化差分画像データ101と、同じく14ビット階調の差分画像データ20とを入力し、当該二つの画像データの差分値を計算する。この計算は、図3のステップST303に相当する処理を行い、各画素値を14ビット階調で表現した差分画像データ21を生成する。この差分画像データ21は原画像データ2と符号化差分画像データ101との差分値なので正負の値を有し、正負の符号を示す1ビットを加えた15ビットで表現される。
【0044】
差分画像階調制限手段82は、15ビット階調の差分画像データ21を入力し、15ビット階調で表現された値のうち、下位2ビットの値を削除した後、残りの13ビットの値に対して所定の条件で制限を課し、8ビット階調数で表現された値に変換する。
【0045】
図9は、実施の形態2による画像符号化装置1が備える差分画像階調制限手段82の制限特性を示す説明図である。差分画像階調制限手段82は、前記説明のように階調数を13ビットに削減した値を図9に示す入力差分値として、図示した制限特性に則り対応する8ビット階調で表現される出力差分値を求め、8ビット階調で各画素の差分値を表現した差分画像データ21を生成する。
【0046】
差分画像符号化手段9bは、階調数が8ビットの差分画像データ21を入力して符号化し、符号化差分画像データ102を生成する。
【0047】
差分画像復号化手段30bは、階調数が8ビットの符号化差分画像データ102を入力して復号化する。
【0048】
差分画像算出手段7cは、例えば階調数が14ビットの差分画像データ21と共に差分画像復号化手段30bにおいて復号化された差分画像データを入力する。差分画像復号化手段30bにおいて復号化された差分画像データは階調数が8ビットで構成されたデータなので、差分画像復号化手段30bから出力された差分画像データの階調数を8ビットから14ビットへ伸長させ、14ビット階調の差分画像データ21との差分画像を算出し、差分画像データ22を生成する。なお、この差分画像データ22も、差分画像データ20、及び差分画像データ21と同様に正負の値を有することから、正負の符号を示す1ビットが加えられた15ビットデータとして生成される。
【0049】
差分画像階調制限手段83は、階調数が正負の符号を含んだ15ビットの差分画像データ22を入力し、この15ビットのデータに所定の制限を加え8ビット階調の差分画像データに変換する。
【0050】
図10は、実施の形態2による画像符号化装置1が備える差分画像階調制限手段83の制限特性を示す説明図である。負の符号を含めて15ビット階調の差分画像データ22を図10に示した入力差分値とし、この入力差分値を8ビット階調としたとき対応する出力差分値を求める。このようにして差分画像階調制限手段83は、図10に例示したような制限特性に基づいて14ビットデータを8ビットデータに変換し、8ビット階調の差分画像データ22を生成する。
【0051】
差分画像符号化手段9cは、差分画像算出手段7cから8ビット階調の差分画像データ22を入力して符号化を行い、符号化差分画像データ103を生成する。
【0052】
このようにして求めた符号化基本画像データ4、符号化差分画像データ101、符号化差分画像データ102、及び符号化差分画像データ103は送出手段11へ入力され、画像復号化装置12へ送出される。なお、送出手段11から送出される各画像データは階調数が全て8ビットである。
【0053】
なお、実施の形態2による画像符号化装置1として、差分画像データを求める際に階調数を2ビットずつ増加させて処理を進め、三段階の差分画像データ20,21,22を生成するように構成したものを、図7に例示して動作を説明したが、この発明は各差分画像データを求める際に階調数を2ビット単位で変化させて複数の差分画像データを求める処理動作に限定されるものではない。また、再帰的に前記説明の差分画像データを複数求める処理動作を繰り返すことによって、さらに大きな階調数を有する原画像データ2に対応させて符号化を行うように構成してもよい。
【0054】
次に、実施の形態2による画像復号化装置12の動作について説明する。
【0055】
受信手段131は、画像符号化装置1から符号化基本画像データ4、符号化差分画像データ101、符号化差分画像データ102、及び符号化差分画像データ103を受信し、符号化基本画像データ4を第一の復号化手段14へ、また例えば符号化差分画像データ101を第一差分画像復号化手段152へ、符号化差分画像データ102を第二差分画像復号化手段153へ、また符号化画像データ103を第三差分画像復号化手段154へ、即ち画像符号化装置1から送出されたN個の各符号化差分画像データを、当該符号化差分画像データと同数備えた第一〜第N差分画像復号化手段に振り分けて入力する。それぞれの復号化手段は、入力された各符号化画像データを復号化し、画像合成手段161へ出力する。
【0056】
画像合成手段161は、各復号化手段で復号化された画像データを所定の階調数に変換した上で同期を取って合成する。実施の形態2で例示した画像復号化装置12の画像合成手段161は、一つの符号化基本画像データ4と三つの符号化差分画像データ101,102,103を復号化したそれぞれの復号化画像データを入力して画像合成を行う。なお、これらの復号化された画像データは全て階調数が8ビットである。
【0057】
画像合成手段161は、それぞれの復号化画像データの階調数を画像データの種類に応じて処理を行い、所定のビット数で表現されたデータに変換した後、用途に応じて各画像データの加減算を行い、最終的な合成画像を出力する。
【0058】
図11は、実施の形態2による画像復号化装置12の画像合成手段161によって行われる画像データの合成動作を示す説明図である。
画像合成手段161は、復号化された各画像データの階調数を、次のように処理して合成する。
【0059】
まず、第一の復号化手段14によって復号化された符号化基本画像データ4を入力し、14ビット階調で表現したデータに変換する。これは、例えば、8ビット階調で示されるデータを6ビット左へシフトし、下位6ビットに例えば“0”を書き込む演算によって行われる。図11に例示した処理は、復号化した8ビット階調の符号化基本画像データ4が“226”の値の場合に、この値をビットパターンで表現すると“11100010”となる。このビットパターンが上位8ビットとなるように6ビット左シフトさせ、下位6ビットに“0”を付加して“11100010000000”という14ビット階調のデータを生成する。この14ビット階調の“11100010000000”は“14464”という値を示すものである。これは8ビット階調の“226”という値を、14ビット階調で表すと“14464”という値になることを示している。
【0060】
また、画像合成手段161は、第一差分画像復号化手段152によって復号化された符号化差分画像データ101を入力して14ビット階調で表現されたデータに伸長する。画像合成手段161に入力された8ビット階調の符号化差分画像データ101は、14ビット階調の原画像データ2の下位4ビットが削除され、残り10ビットで表現された画素値を図5の制限特性に基づいて8ビット階調の画素値に変換されたものなので、8ビットで表現された画素値を図5の制限特性に基づいて10ビットで表現された画素値に逆変換する。図11に例示した処理動作は、8ビット階調の画素値95を10ビット階調で表現した画素値を求める変換を示したものである。この画素値変換は当該8ビット階調の画素値から“−128”の値を差し引くもので、8ビット階調の画素値“95”は10ビット階調の画素値“−33”に変換される。即ち、95−128= −33の単純な計算により求められ、この画素値“33”を10ビットパターンで表現すると“0000100001”となる。この画素値“33”を示す10ビットパターンを4ビット左シフト演算により14ビット化すると“00001000010000”となり、これは14ビット階調の画素値“528”を示したものである。なお、説明を簡単にするために正負の符号を示すビットの図示説明を省略したが、階調数を変換する前の画素値は“−33”なので変換後の画素値も“−528”となる。
【0061】
また、画像合成手段161は、第二差分画像復号化手段153によって復号化された符号化差分画像データ102を入力して14ビット階調で表現されたデータに伸長する。画像合成手段161に入力された8ビット階調の復号化された符号化差分画像データ102は、14ビット階調の差分画像データ21の上位12ビットで表現された値を図9に示した制限特性に基づいて8ビットで表現された値に変換されたものである。画像合成手段161は、入力した8ビット階調の復号化された符号化差分画像データ102の値を、図9の制限特性に基づいて12ビットで表現された値に逆変換する。8ビット階調で表現された値が、例えば図11に示した“230”の場合には、230−128=102の簡単な計算により12ビット階調の値“102”に変換される。“102”を12ビットで表現すると“000001100110”となり、このビットパターンに2ビット左シフト演算を行い“00000110011000”とする。この“00000110011000”は“408”の画素値を示すものである。
【0062】
また、画像合成手段161は、第三差分画像復号化手段154によって復号化された符号化差分画像データ103を入力して14ビット階調で表現されたデータに伸長する。画像合成手段161に入力された8ビット階調の復号化された符号化差分画像データ103は、14ビット階調の差分画像データ22の値を図10に示した制限特性に基づいて8ビット階調の値に変換されたものである。画像合成手段161は、入力した8ビット階調の復号化された符号化差分画像データ103の値を、図10の制限特性に基づいて14ビット階調の値に逆変換する。8ビット階調の値が、例えば図11に示した“171”の場合には、171−128=43の簡単な計算により14ビット階調の画素値“43”に変換される。
【0063】
画像合成手段161は、第N差分画像復号化手段155によって復号化された符号化差分画像データを入力して、これまで説明した各差分画像復号化手段と同様、あるいは相当する動作処理を行い、14ビット階調で表現されたデータを生成する。
【0064】
画像合成手段161は、入力した8ビット階調の各画像データの変換、または演算処理を行い、14ビット階調の画素値へ変換し、各画素値を合成する。図11に例示したものでは、画素値14464、画素値−528、画素値408、及び画素値43を加算し、14ビット階調で表現される合成画素値14387を得ている。
【0065】
以上のように、実施の形態2によれば、画像符号化装置は階調数の高い画像データをビットシフト処理によって、複数の低い階調数で表現された画像データに分割して符号化し、画像復号化装置は複数の低い階調数で表現された画像データを所定のビットシフト処理を行いながら合成して、高い階調数の画像データを生成するようにしたので、画像符号化装置は、高階調の画像データを複数の低階調の画像データとして符号化し、画像復号化装置は、複数の低階調の画像データを復号化して合成することで高階調の画像データを得ることができ、低コストの画像符号化装置及び画像復号化装置で高い階調の画像データの符号化・復号化を行うことができるという効果がある。また、画像符号化装置1が備える各符号化手段、及び画像復号化装置12が備える各復号化手段が処理可能な階調数を大幅に上回る高階調の画像データの符号化及び復号化を行うことができるという効果がある。
【0066】
実施の形態3.
図12は、この発明の実施の形態3による画像符号化装置及び画像復号化装置の構成を示すブロック図である。図1に示した画像符号化装置及び画像復号化装置と同様あるいは相当する部分に同じ符号を付し、その説明を省略する。図において、1201は基本画像符号化手段3及び差分画像符号化手段9において行われる当該画像データの符号化ビットレートを制御するビットレート制御手段である。
【0067】
次に、動作について説明する。
ここでは図1に示した画像符号化装置1及び画像復号化装置12と同様な動作について説明を省略し、実施の形態3による画像符号化装置1の特徴的な動作について説明する。
【0068】
ビットレート制御手段1201は、原画像データ2を符号化する符号化方法に制約が存在し、最大ビットレートが設定されている場合に、そのビットレートを超えないように基本画像符号化手段3と差分画像符号化手段9の動作を制御する。例えば、当該基本画像符号化手段3及び差分画像符号化手段9においてMPEG−2を符号化方法として使用したときに、最大ビットレートとして40Mbit/sec.が符号化動作の制約条件として与えられた場合には、ビットレート制御手段1201は、基本画像符号化手段3のビットレートを30Mbit/sec.に設定し、差分画像符号化手段9のビットレートを10Mbit/sec.に設定する。基本画像符号化手段3及び差分画像符号化手段9は、ビットレート制御手段1201によって設定されたビットレートで各々に入力された画像データの符号化を行う。
【0069】
以上のように、実施の形態3によれば、画像データの符号化方法に最大ビットレートの制約がある場合、最大ビットレートを超えないように基本画像符号化手段3及び差分画像符号化手段9とを制御するビットレート制御手段1201を備えたので、確実に画像データの符号化が行えると共に、基本画像符号化手段3のビットレートを差分画像符号化手段9のビットレートより高速となるように制御することで、画像符号化装置1の動作効率を高めることができるという効果がある。
【0070】
実施の形態4.
図13は、この発明の実施の形態4による画像符号化装置1及び画像復号化装置12の構成を示すブロック図である。図1に示した画像符号化装置及び画像復号化装置と同様あるいは相当する部分に同じ符号を付し、その説明を省略する。図において、111は実施の形態4による画像符号化装置1が備える送出手段、131は実施の形態4による画像復号化装置12が備える受信手段である。また、実施の形態4による画像符号化装置1及び画像復号化装置12が取り扱う原画像データ2は動画像データで、当該装置を構成する各手段も動画像データを取り扱うように構成されたものである。
【0071】
次に動作について説明する。
ここでは図1に示した画像符号化装置1及び画像復号化装置12と同様な動作について説明を省略し、実施の形態4による画像符号化装置1の特徴的な動作について説明する。
【0072】
図13に示した画像符号化装置1は、動画像の原画像データ2を入力した基本画像符号化手段3が階調数を縮減した符号化基本画像データ4を生成し、基本画像復号手段5が符号化基本画像データ4から復号化基本画像データ6を生成する。次に、復号化基本画像データ6と原画像データ2を差分画像算出手段7へ入力し、差分画像階調制御手段8が段階的に処理条件に適合させて当該二つの画像データの階調数を変更して各画素の差分値を求め、差分画像符号化手段9によって符号化差分画像データ10を生成する。これら符号化基本画像データ4と符号化差分画像データ10とを送出手段111から画像復号化装置12へ送出させる。このとき、送出手段111は、符号化基本画像データ4と符号化差分画像データ10に同じ同期信号を埋め込んで多重化する。このような転送方法はMPEG−2規格に基づくタイムスタンプを付加した多重化方法など既知の方法を利用する。
【0073】
図13に示した画像復号化装置12は、受信手段131が画像符号化装置1の送出手段111によって多重化された符号化基本画像データ4と符号化差分画像データ10とを受信し、多重化された画像データをそれぞれの符号化画像データに分離して、埋め込まれている同期信号に従って同期をとり、符号化基本画像データ4を第1の復号化手段14へ入力し、符号化差分画像データ10を第2の復号化手段15へ入力する。第1の復号化手段14によって復号化された基本画像データ4と、第2の復号化手段15によって復号化された差分画像データ10は画像合成手段16に入力されて画像合成処理が行われ、高階調の画像データが生成される。
【0074】
実施の形態4による画像符号化装置及び画像復号化装置は、実施の形態1による画像符号化装置及び画像復号化装置と基本的に同様な動作処理を行うもので、各符号化・復号化手段の能力を大幅に超える階調数を有する動画像の原画像データ2について、その画質を維持して符号化及び復号化処理を行うものである。
【0075】
なお、実施の形態4による画像符号化装置が備える各符号化手段、及び画像復号化装置が備える各復号化手段は、取り扱う画像データが動画であれば、MPEG−2やMPEG−4、静止画であればJPEG等の任意の符号化・復号化方法に則して動作処理を行うものであれば、どのようなものでも利用できる。
【0076】
以上のように、実施の形態4によれば、画像符号化装置1が動画の原画像データ2の階調数を縮減して符号化した符号化基本画像データを生成し、また当該階調数の変更によって欠落するデータを補う符号化差分画像データを生成して画像復号化装置12へ送出し、画像復号化装置12が符号化された基本画像データと差分画像データとを復号化して合成し高階調数の画像データを生成するようにしたので、高階調数を有する動画像データの品質を損なうことなく符号化及び復号化が可能な低コストの画像符号化装置1及び画像復号化装置12が得られるという効果がある。また、簡単な処理動作によって高階調数を有する動画像データの符号化及び復号化ができるという効果がある。
【0077】
実施の形態1ないし実施の形態4では、説明を簡単にするため画像符号化装置と画像復号化装置とを別途構成したものを例示して説明したが、一台あるいは一箇所に同様な作用効果を有する画像符号化・復号化装置を構成し、これを各地に設置することで高階調画像データの通信が可能となるように構成してもよい。
【0078】
以上のように、実施の形態1ないし実施の形態4によれば、符号化処理及び復号処理の内部のアルゴリズムに依存することなく、MPEG−2、MPEG−4、JPEGなど、既存の符号化方法を用いた符号化手段、及び既存の復号化方法を用いた復号化手段を利用して、高階調数の画像データの符号化及び復号化が可能になるという効果がある。
【0079】
【発明の効果】
以上のように、この発明によれば、高階調数を有する原画像データの品質を損なうことなく簡単な処理動作によって符号化できる低コストの画像符号化装置が得られるという効果がある。
【0080】
この発明によれば、高階調の画像データを複数の低階調の画像データとして符号化し、符号化手段が符号化できる階調数を大幅に上回る高階調の画像データを符号化することができるという効果がある。
【0081】
この発明によれば、簡単な処理動作により高階調数を有する原画像データの品質を損なうことなく復号化する低コストの画像復号化装置が得られるという効果がある。
【0082】
この発明によれば、複数の低階調の画像データを復号化して合成することで、復号化手段が復号化できる階調数を大幅に上回る高階調の画像データを生成することができるという効果がある。
【図面の簡単な説明】
【図1】 この発明の実施の形態1による画像符号化装置及び画像復号化装置の構成を示すブロック図である。
【図2】 実施の形態1による画像符号化装置の基本画像符号化手段によるビット操作を示す説明図である。
【図3】 実施の形態1による画像符号化装置の差分画像算出手段の動作を示すフローチャートである。
【図4】 実施の形態1による画像符号化装置の差分画像算出手段によるビット操作を示す説明図である。
【図5】 実施の形態1による画像符号化装置が備える差分画像階調制限手段の制限特性を示す説明図である。
【図6】 実施の形態1による画像復号化装置が備える画像合成手段の動作を示すフローチャートである。
【図7】 この発明の実施の形態2による画像符号化装置の構成を示すブロック図である。
【図8】 この発明の実施の形態2による画像復号化装置の構成を示すブロック図である。
【図9】 実施の形態2による画像符号化装置が備える差分画像階調制限手段の制限特性を示す説明図である。
【図10】 実施の形態2による画像符号化装置が備える差分画像階調制限手段の制限特性を示す説明図である。
【図11】 実施の形態2による画像復号化装置の画像合成手段によって行われる画像データの合成を示す説明図である。
【図12】 この発明の実施の形態3による画像符号化装置及び画像復号化装置の構成を示すブロック図である。
【図13】 この発明の実施の形態4による画像符号化装置及び画像復号化装置の構成を示すブロック図である。
【符号の説明】
1 画像符号化装置、2 原画像データ、3 基本画像符号化手段、4 符号化基本画像データ、5 基本画像復号化手段、6 復号化基本画像データ、7 差分画像算出手段、8 差分画像階調制限手段、9 差分画像符号化手段、10 符号化差分画像データ、11 送出手段、12 画像復号化装置、13 受信手段、14 第一の復号化手段、15 第二の復号化手段、16 画像合成手段、20,21,22 差分画像データ、30a,30b 差分画像復号化手段、81,82,83 差分画像階調制限手段、101,102,103 符号化差分画像データ、111 送出手段、131 受信手段、151 差分画像復号化手段、152 第一差分画像復号化手段、153 第二差分画像復号化手段、154 第三差分画像復号化手段、155 第N差分画像復号化手段、161 画像合成手段、1201 ビットレート制御手段。
Claims (5)
- 高階調の入力画像データの階調数を縮減し、階調数縮減後の入力画像データを符号化して符号化基本画像データを生成する基本画像符号化手段と、
前記基本画像符号化手段により生成された符号化基本画像データを復号化して復号化基本画像データを生成する基本画像復号化手段と、
前記基本画像復号化手段により生成された復号化基本画像データの階調数が前記高階調の入力画像データの階調数と一致するように、前記復号化基本画像データの階調数を調整し、階調数調整後の復号化基本画像データと前記高階調の入力画像データとの差分を算出して差分画像データを生成する差分画像算出手段と、
前記差分画像算出手段により生成された差分画像データの値が所定の範囲外にある該差分画像データの値を該所定の範囲内の最近値に置き換えるとともに、この値を置き換えた差分画像データおよび値が該所定の範囲内にある差分画像データを所定の階調数で表された値へ変換する画像階調制限手段と、
前記画像階調制限手段により所定の階調数で表された値へ変換された差分画像データを符号化して符号化差分画像データを生成する差分画像符号化手段と、
前記基本画像符号化手段により生成された符号化基本画像データと前記差分画像符号化手段により生成された符号化差分画像データとを画像復号化装置へ送出する送出手段とを備えた画像符号化装置。 - 前記基本画像符号化手段のビットレートと前記差分画像符号化手段のビットレートとを制御するビットレート制御手段を備え、
前記ビットレート制御手段は、前記基本画像符号化手段のビットレートが前記差分画像符号化手段よりも速くなるように制御することを特徴とする請求項1記載の画像符号化装置。 - 前記送出手段は、符号化基本画像データ及び符号化差分画像データに対して、同じ同期信号を埋め込んで画像復号化装置へ送出することを特徴とする請求項1記載の画像符号化装置。
- 高階調の入力画像データの階調数を縮減し、階調数縮減後の入力画像データを符号化して符号化基本画像データを生成する基本画像符号化手段と、
前記基本画像符号化手段により生成された符号化基本画像データを復号化して復号化基本画像データを生成する基本画像復号化手段と、
前記基本画像復号化手段により生成された復号化基本画像データの階調数が前記高階調の入力画像データの階調数と一致するように、前記復号化基本画像データの階調数を調整し、階調数調整後の復号化基本画像データと前記高階調の入力画像データとの差分を算出して第一の差分画像データを生成する第一の差分画像算出手段と、
前記第一の差分画像算出手段により生成された第一の差分画像データの階調数を縮減し、階調数縮減後の第一の差分画像データの値が所定の範囲外にある該差分画像データの値を該所定の範囲内の最近値に置き換えるとともに、この値を置き換えた差分画像データおよび値が該所定の範囲内にある差分画像データを所定の階調数で表された値へ変換する第一の画像階調制限手段と、
前記第一の画像階調制限手段により所定の階調数で表された値へ変換された第一の差分画像データを符号化して第一の符号化差分画像データを生成する第一の差分画像符号化手段と、
前記第一の差分画像符号化手段により生成された第一の符号化差分画像データを復号化して第一の復号化差分画像データを生成する第一の差分画像復号化手段と、
前記第一の差分画像復号化手段により生成された第一の復号化基本画像データの階調数が前記高階調の入力画像データの階調数と一致するように、前記第一の復号化基本画像データの階調数を調整し、階調数調整後の第一の復号化差分画像データと前記第一の差分画像算出手段により生成された第一の差分画像データとの差分を算出して第二の差分画像データを生成する第二の差分画像算出手段と、
前記第二の差分画像算出手段により生成された第二の差分画像データの値が所定の範囲外にある該差分画像データの値を該所定の範囲内の最近値に置き換えるとともに、この値を置き換えた差分画像データおよび値が該所定の範囲内にある差分画像データを所定の階調数で表された値へ変換する第二の画像階調制限手段と、
前記第二の画像階調制限手段により所定の階調数で表された値へ変換された第二の差分画像データを符号化して第二の符号化差分画像データを生成する第二の差分画像符号化手段と、
前記基本画像符号化手段により生成された符号化基本画像データと前記第一及び第二の差分画像符号化手段により生成された第一及び第二の符号化差分画像データとを画像復号化装置へ送出する送出手段とを備えた画像符号化装置。 - 前記第一の差分画像符号化手段と前記第一の差分画像復号化手段と前記第一の画像階調制限手段と前記第二の差分画像算出手段とを各々複数備え、三つ以上の符号化差分画像データを繰り返し生成することを特徴とする請求項4記載の画像符号化装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002163322A JP4593060B2 (ja) | 2002-06-04 | 2002-06-04 | 画像符号化装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002163322A JP4593060B2 (ja) | 2002-06-04 | 2002-06-04 | 画像符号化装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004015226A JP2004015226A (ja) | 2004-01-15 |
JP4593060B2 true JP4593060B2 (ja) | 2010-12-08 |
Family
ID=30431837
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002163322A Expired - Fee Related JP4593060B2 (ja) | 2002-06-04 | 2002-06-04 | 画像符号化装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4593060B2 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006100820A1 (ja) * | 2005-03-22 | 2006-09-28 | Mitsubishi Denki Kabushiki Kaisha | 画像符号化記録読出装置 |
FR2893806A1 (fr) * | 2005-11-21 | 2007-05-25 | Thomson Licensing Sas | Systeme de transmission d'images de dynamique elevee, unites et procedes de codage et de decodage pour ce systeme |
KR20120089561A (ko) * | 2009-09-22 | 2012-08-13 | 파나소닉 주식회사 | 이미지 부호화 장치, 이미지 복호화 장치, 이미지 부호화 방법, 및 이미지 복호화 방법 |
JP5891389B2 (ja) * | 2010-12-16 | 2016-03-23 | パナソニックIpマネジメント株式会社 | 制作装置及びコンテンツ配信システム |
CN103503070B (zh) * | 2011-04-28 | 2016-11-16 | 松下知识产权经营株式会社 | 与高画质有关的记录介质、再现装置、记录装置、编码方法、及解码方法 |
JP2013055615A (ja) * | 2011-09-06 | 2013-03-21 | Toshiba Corp | 動画像符号化装置およびその方法、ならびに動画像復号装置およびその方法 |
EP2819403B1 (en) * | 2012-02-21 | 2018-08-01 | Panasonic Corporation | Video output device |
JP2017050592A (ja) | 2015-08-31 | 2017-03-09 | ルネサスエレクトロニクス株式会社 | 画像符号化装置、画像復号化装置および画像伝送装置 |
JP6675202B2 (ja) * | 2016-01-15 | 2020-04-01 | ソニー・オリンパスメディカルソリューションズ株式会社 | 医療用信号処理装置、及び医療用観察システム |
US10304155B2 (en) * | 2017-02-24 | 2019-05-28 | Advanced Micro Devices, Inc. | Delta color compression application to video |
CN118283348A (zh) * | 2024-06-04 | 2024-07-02 | 陕西秦创原路演中心有限公司 | 一种基于物联网技术的路演活动直播及数据传输平台 |
-
2002
- 2002-06-04 JP JP2002163322A patent/JP4593060B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2004015226A (ja) | 2004-01-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100880039B1 (ko) | 웨이블릿 기반 이미지 코덱에서의 부호화 이득을 달성하는방법 및 시스템 | |
US8107742B2 (en) | Encoder and decoder for encoding and decoding pixel data with low amount of transmitting data, encoding method, and decoding method thereof | |
US6307971B1 (en) | Method and apparatus for digital data compression | |
US7158681B2 (en) | Feedback scheme for video compression system | |
JP4593060B2 (ja) | 画像符号化装置 | |
JP2009010954A (ja) | 高速な画像処理方法およびシステム | |
KR20090052849A (ko) | 비디오 색 인핸스먼트 데이터를 인코딩하기 위한 방법 및 장치, 그리고 비디오 색 인핸스먼트 데이터를 디코딩하기 위한 방법 및 장치 | |
EP2193660A2 (en) | Method and system for processing of images | |
JP2006311474A (ja) | 画像処理、圧縮、伸長、伝送、送信、受信装置及び方法並びにそのプログラム、及び表示装置 | |
JP2000307371A (ja) | 3次元カラー超音波映像の符号化及び復号化システム | |
CN109413445B (zh) | 一种视频传输方法及装置 | |
US20090169123A1 (en) | Method and apparatus to encode and decode halftone image | |
KR102543449B1 (ko) | 이미지 처리 장치 및 이미지 처리 장치의 동작 방법 | |
JP4011580B2 (ja) | 画像データ伝送システム | |
JP2849385B2 (ja) | カラー画像の圧縮符号化装置 | |
JPH0797829B2 (ja) | カラ−画像入出力装置 | |
JP2940913B2 (ja) | カラー画像データ符号化装置 | |
JP2002290744A (ja) | 画像圧縮方式 | |
JP2005086226A (ja) | 撮像装置 | |
KR100820019B1 (ko) | 모스트 통신에서 화상 압축 장치 및 제어 방법 | |
TWI535274B (zh) | 影像資料處理方法及裝置 | |
JP2833649B2 (ja) | 画像処理装置 | |
JPH06216783A (ja) | ディジタル信号の量子化器 | |
KR20190091181A (ko) | 이미지 처리 장치 | |
JPS60227582A (ja) | 静止画伝送方式 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050518 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070705 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070904 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071029 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20071101 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20071101 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20071101 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080603 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080729 |
|
A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20080819 |
|
A912 | Removal of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20080912 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100915 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130924 Year of fee payment: 3 |
|
R150 | Certificate of patent (=grant) or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |