JP4196085B2 - 映像信号符号化装置およびそれを用いたテレビ会議システム - Google Patents
映像信号符号化装置およびそれを用いたテレビ会議システム Download PDFInfo
- Publication number
- JP4196085B2 JP4196085B2 JP2003183477A JP2003183477A JP4196085B2 JP 4196085 B2 JP4196085 B2 JP 4196085B2 JP 2003183477 A JP2003183477 A JP 2003183477A JP 2003183477 A JP2003183477 A JP 2003183477A JP 4196085 B2 JP4196085 B2 JP 4196085B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- data
- encoding
- video signal
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【発明の属する技術分野】
本発明は、多地点間の端末同士で通信回線を介して双方向の映像伝送を行うテレビ会議システムおよびそれに用いられる映像信号符号化装置に関するものである。
【0002】
【従来の技術】
従来より、インターネットやLANを使用したマルチメディアアプリケーションの需要が高まっている。特に近年はインターネットで使用される回線の高速化、広帯域化が進んでおり、映像や音声を高速インターネット回線を通して双方向通信を行うテレビ会議などのシステムが現実的に利用可能になってきている。
【0003】
一般的なテレビ会議システムとして、ここでは最大5人まで参加可能なテレビ会議システムの構成例を図4に示す。図4において、端末41〜45は通信回線を通じて多地点制御装置46につながっており、相互に通信が可能なシステムとなっている。多地点制御装置46は各端末から送信される映像や音声データを適切に切替えながら、会議に参加している相手の映像や音声をそれぞれの端末に振り分けて送信する。各端末は多地点制御装置46から受信した映像データを処理してテレビ画面に表示したり、音声データをスピーカーから出力したりして相手との対話が可能なように適切なユーザインタフェースを備えている。これらのシステムでは映像信号をデジタルデータに変換した後、それぞれの使用する通信回線の帯域に適合した速度で映像データを送受信できるように、データ量の削減を目的として圧縮符号化が行われるのが通常である。ここで用いられる圧縮符号化の方式としては例えばMPEG(Moving Picture Experts Group)規格やH.263規格などの国際標準規格がよく知られている。これらの圧縮符号化方式を用いることにより映像データを通信回線を通して効率良く伝送を行うことが可能となっている。
【0004】
このような構成のテレビ会議システムにおいては、複数の相手の映像をテレビ画面に表示する場合、画面を小画面に分割して表示することにより全員の映像を表示する手法が一般的である。そのような手法で表示される画面の一例を図5に示す。図5はユーザ1が操作している端末41側のテレビ画面に表示される映像を表しており、会議の他の参加者ユーザ2〜ユーザ5の映像が小画面に分割されて表示される様子である。このように受信した複数の映像データを小画面に分割して表示する手法としては、従来では各々の相手から受信した映像データを複数のデコーダ(復号化装置)で並列処理でデコードを行い、その結果の映像を受信側の端末で合成して表示する手法が多く用いられていた。
【0005】
そのような手法を用いたシステムでの端末構成の例を図6に示す。図6において、端末61に入力された映像信号は入力処理手段601でデジタル変換された後に符号化手段602に出力される。符号化手段602はデジタル化された映像信号を圧縮符号化を行いデータストリーム形式にして送信手段603に出力する。送信手段603は映像データストリームを通信回線を通して多地点制御装置63に向けて送信を行う。ここまでが端末の送信処理の様子である。次に端末の受信処理としては、多地点制御装置63から受信した複数の参加者の映像データを端末62の受信手段604が受信した後、それらを複数の復号化手段605にて並列に復号化を行ってそれぞれのデジタル映像信号に変換して出力する。それらのデジタル映像信号は合成表示手段606にてひとつの映像として合成され、図5のような表示形式にてテレビ画面に表示される。しかしこのような手法では、端末の受信処理の中で複数の復号化装置を備えたり、合成表示装置を備える必要があり、複雑な回路構成になって規模が大きくなるという問題点があった。そのような問題を解決するため、特許文献1に記載されているように、端末側で合成するのではなく、多地点制御装置側で合成を行うようにする手法がある。本手法の動作を図7を用いて簡単に説明する。端末71における入力処理手段701および符号化手段702の動作は図6における入力処理手段601および符号化手段602と同様である。図7において、送信手段703は符号化手段702から入力される映像データストリームの内、映像の1/4の領域部分だけ取り出した映像データストリームを通信回線に送信する。多地点制御装置73では、各端末から送信された1/4領域部分の映像データストリームを合成して4画面分でひとつの映像データストリームを再構成して各端末に送信する。端末72では多地点制御装置73からの映像データを受信手段704が受信した後、復号化手段705にて復号化を行ってデジタル映像信号に変換して出力する。多地点制御装置73からのデジタル映像信号は端末の受信側では4画面を意識することなくひとつの映像データストリームとして復号化を行い表示するだけで、図5に示すような4画面分の映像を表示することができる。
【0006】
このような手法によれば、端末の受信側の回路構成を簡素化することができる。
【0007】
【特許文献1】
特開平4−72887号公報
【0008】
【発明が解決しようとする課題】
しかしながら、上記のような従来手法ではMPEG規格のような圧縮符号化方式を用いた場合、符号化出力のデータストリーム上では画面内及び画面間での相関があるために、符号化データから単純に1/4領域部分のデータだけ取り出しても正しい映像として合成することはできない。また、これらの圧縮符号化方式では可変長符号化を行っており、画像ごとのデータ量は一般に変動しているため、多地点制御装置側で合成を行うとデータ量の変動が原因となって合成遅延が発生するという問題がある。
【0009】
本発明は上記従来の問題点を解決するもので、MPEG規格のような圧縮符号化方式を用いた場合でも多地点制御装置側で合成が可能となり、端末の回路構成の簡素化を実現できるようになる。また可変長符号化によるデータ量変動を考慮した符号化制御を行うことにより、より映像品質の高いテレビ会議システムを提供することを目的とする。
【0010】
【課題を解決するための手段】
本発明の請求項1に記載の発明は、通信回線を介して双方向の映像伝送を行うテレビ会議システムに用いられる映像信号符号化装置であって、入力された映像信号をデジタル処理して変換しデジタル映像として出力する入力処理手段と、前記入力処理手段から出力されたデジタル映像を蓄積するフレームメモリと、前記フレームメモリからデジタル映像を取り出し圧縮符号化して出力する符号化手段と、前記符号化手段から出力されたデータを一時的に蓄積しておくバッファと、前記バッファから出力されたデータを通信路を介して送信する送信手段と、前記バッファに蓄積されるデータのデータ量を監視して、前記データ量が所定のしきい値を越えると入力フレーム制御手段と符号化制御手段とにデータ量が閾値を超えたことを通知するための制御情報を出力するデータ量監視手段と、前記データ量監視手段から出力される制御情報に基づいて次のデジタル映像データを現在符号化処理に使用しているひとつ前のデジタル映像データで書き換えるよう前記フレームメモリに蓄積されているデジタル映像の配置を制御する入力フレーム制御手段と、前記データ量監視手段から出力される制御情報に基づいて符号化処理を打ち切って残りの画像領域はnot_codedデータとして出力するよう前記符号化手段を制御する符号化制御手段を有することを特徴とする映像信号符号化装置である。
【0011】
このように構成することにより、多地点制御装置は、それぞれの端末から送信されるデータをフレーム毎にビデオパケット単位で組み替えるだけで、一つのデータストリームとして受信端末側に送信することができる。受信端末側では受信した一つのデータストリームとして単にデコードするだけで、複数画面が合成された映像を表示することができ、かつ合成による遅延の少ない高品質な映像が得られる。
【0012】
本発明の請求項2に記載の発明は、前記入力処理手段は入力された映像信号をデジタル変換する際に、あらかじめ符号化すべき映像の大きさに変換してデジタル映像を生成して出力することを特徴とする請求項1記載の映像信号符号化装置である。
【0013】
このように構成することにより、縮小処理を入力段階で行うことによって符号化処理やデータ処理の負荷が軽減する。
【0014】
本発明の請求項3に記載の発明は、前記符号化手段はMPEG4規格に基づいて符号化することを特徴とする請求項1記載の映像信号符号化装置である。
【0015】
このように構成することにより、MPEG規格のような圧縮符号化方式を用いた場合でも、多地点制御装置は、それぞれの端末から送信されるデータをフレーム毎にビデオパケット単位で組み替えるだけで、一つのデータストリームとして受信端末側に送信することができる。受信端末側では受信した一つのデータストリームとして単にデコードするだけで、複数画面が合成された映像を表示することができ、かつ合成による遅延の少ない高品質な映像が得られる。
【0016】
本発明の請求項4に記載の発明は、前記符号化手段はMPEG4規格のビデオパケットをひとつのマクロブロックラインごとに構成し、動きベクトルは必ず画面内を指すよう符号化することを特徴とする請求項3記載の映像信号符号化装置である。
【0017】
このように構成することにより、多地点制御装置は、それぞれの端末から送信されるデータをフレーム毎にビデオパケット単位で組み替えるだけで、一つのデータストリームとして受信端末側に送信することができる。受信端末側では受信した一つのデータストリームとして単にデコードするだけで、複数画面が合成された映像を表示することができ、かつ合成による遅延の少ない高品質な映像が得られる。
【0018】
本発明の請求項5に記載の発明は、前記符号化手段はH.263規格に基づいて符号化することを特徴とする請求項1記載の映像信号符号化装置である。
【0019】
このように構成することにより、H.263規格のような圧縮符号化方式を用いた場合でも、多地点制御装置は、それぞれの端末から送信されるデータをフレーム毎にGOB単位で組み替えるだけで、一つのデータストリームとして受信端末側に送信することができる。受信端末側では受信した一つのデータストリームとして単にデコードするだけで、複数画面が合成された映像を表示することができ、かつ合成による遅延の少ない高品質な映像が得られる。
【0020】
本発明の請求項6に記載の発明は、請求項1〜5のいずれかに記載の映像信号符号化装置を備えたテレビ会議システムである。
【0021】
このように構成することにより、多地点制御装置は、それぞれの端末から送信されるデータをフレーム毎にビデオパケット単位またはGOB単位で組み替えるだけで、一つのデータストリームとして受信側に送信することができる。受信側では受信した一つのデータストリームとして単にデコードするだけで、複数画面が合成された映像を表示することができ、かつ合成による遅延の少ない高品質な映像が得られる。
【0022】
【発明の実施の形態】
以下、本発明の実施の形態について、図1から図3を用いて説明する。
【0023】
(実施の形態1)
図1は本発明の一実施の形態である映像信号符号化装置の構成を示すブロック図である。図1において、映像信号符号化装置は、テレビ会議を行うために自分の映像を映すカメラなどからの映像信号を入力とする。入力された映像信号は入力処理手段101においてデジタル映像信号に変換される。このとき、入力処理手段101は入力された映像信号をデジタル変換する際に、あらかじめ符号化すべき映像の大きさに変換してデジタル映像を生成して出力するようにする。すなわち、例えば入力映像信号を水平垂直方向ともに1/2にして全体の1/4の大きさになるよう縮小してデジタル映像として出力する。このように縮小処理を入力段階で行うことによって符号化処理やデータ処理の負荷が軽減するという効果も期待できる。1/4に縮小化されたデジタル映像データはフレームメモリ102にて一時的に蓄積される。通常はここで一時的に蓄積されたデジタル映像データはそのまま符号化手段103に入力され、例えばMPEG4規格にて圧縮符号化処理が行われる。
【0024】
ここで符号化手段103の処理について図2を用いて詳細に説明する。MPEG4規格においては1枚の映像フレームを複数の領域に分割したビデオパケットという符号化単位がある。またビデオパケットをさらに16画素×16画素単位で分割したマクロブロックという符号化単位がある。符号化手段103では、図2(a)に示すように水平方向に一列分のマクロブロックラインでひとつのビデオパケットとなるように構成して符号化処理を行う。またフレーム間符号化を行う際に用いられる動きベクトルの探索範囲を必ず画像の内側を指すように符号化処理を行う。このような条件で符号化することにより、図2(b)に示すように多地点制御装置では複数の端末から送信された映像データをビデオパケットごとに組み替えて合成することで、映像の乱れのない正しい合成映像を生成することが可能となる。なお、H.263規格においてはGOB(Group Of Block)という符号化単位がある。GOBも1枚の映像フレームを複数の領域に分割する一要素であり、複数のマクロブロックから構成される。前記MPEG4規格においてビデオパケット単位で処理を行う場合と同様に、H.263規格ではGOB単位で処理を行うことにより、同様の効果が得られる。
【0025】
このようにして符号化処理された結果のデータストリームは、ビデオパケット単位でバッファ104に出力され一時的に蓄積される。ここで一時的に蓄積されるビデオパケット単位のデータストリームのデータ量は、データ量監視手段107によって監視されており、1画像フレーム分のデータが蓄積されるまでにある一定の閾値(VOPmax)以内にデータ量がおさまっているかどうかが常にチェックされる。1画像フレーム分のデータ量が閾値(VOPmax)以内におさまっているときはそのまま送信手段108によって通信回線を介して多地点制御装置に向けて送信される。
【0026】
一方、1画像フレーム分のデータが蓄積されるまでにデータ量が閾値(VOPmax)を超えるとき、データ量監視手段107は、入力フレーム制御手段105と符号化制御手段106に対して、データ量が閾値を超えたことを通知するための制御情報を出力する。このとき、制御情報を受けた符号化制御手段106は符号化手段103に対して、現在の画像フレームの符号化処理をその時点のビデオパケットで打ち切って残りの画像領域のビデオパケットはnot_codedデータとして出力するよう制御を行う。not_codedデータとは、MPEG規格においてフレーム間符号化の際に、時間軸上でひとつ前の画像フレームとまったく同じ画像であることを示す符号である。not_codedデータ自身のデータ量は著しく小さいため、データ量を増加させることなく1画像フレーム分のデータとして完結させることができる。このような打ち切り処理を行った場合、その該当画像フレームを復号化すると、途中のビデオパケット以降の領域はひとつ前の画像データとして復号される。残りの領域の画像データを次の画像フレームで復号化処理時に再構成可能とするため、入力フレーム制御手段105は、フレームメモリ102に蓄積されている次のデジタル映像データを現在符号化処理に使用しているひとつ前のデジタル映像データで書き換えるよう制御する。このような書き換え処理を行うことにより、符号化手段103は次の画像フレームの符号化処理の際に、打ち切り処理を行った一つ前の画像フレームの残りの領域を符号化することになり、復号化処理時にはここで完結した画像フレームを再構成することが可能となる。このような打ち切り処理を行うことにより、符号化結果のデータストリームのデータ量の変動を最小限に抑えることができ、通信路を介して送信される映像データを均一化することができ、多地点制御装置での合成処理による遅延を抑えることが可能となる。この作用については次にさらに詳細な説明を行う。
【0027】
ここで本実施の形態の映像信号符号化装置が処理を行う打ち切り処理について、図3を用いて説明する。
【0028】
一般的にMPEG規格やH.263規格などの映像信号に対する圧縮符号化方式では映像の特徴によって、また可変長符号化を行うため符号化結果のデータ量が変動する。
【0029】
図3(a)はその様子を模式的に表したものである。P1〜P4は時間順に並べた映像フレームを表している。矩形の高さがそれぞれの映像フレームに対するデータ量を表している。図3(a)の場合では、映像フレームP2の符号化結果のデータ量が多くなっている。このようなとき、このデータを通信路を介して送信すると、データ量が多い映像フレームP2の映像データの送信には他よりも時間がかかり、多地点制御装置への到着も遅延することになる。すると、多地点制御装置ではこの映像フレームP2の映像データが到着しないために他の端末から受信した映像データとの合成処理に支障をきたすことになる。もしも映像フレームP2の映像データが到着するまで合成処理を待つとその分の遅延が発生し、その後の映像フレームP3、P4の合成処理にも遅延が影響するという問題がある。一方、映像フレームP2の映像データの到着を待たず、映像フレームP2の映像を捨てて合成処理を行うと次の映像フレームP3以降の映像データと整合が取れず、復号化処理で映像の乱れが発生するという問題がある。そこで本発明では、映像フレームP2の符号化時にデータ量が閾値(VOPmax)を超えるときには符号化をその時点のビデオパケットで打ち切って、それ以上データ量が増加するのを防ぐ。その様子を表したのが図3(b)である。映像フレームP2の符号化時には途中で打ち切っているため、映像フレームP2の映像データを完結させるために次の映像フレームP3の符号化を行う前に映像フレームP2の映像で書き換える。そうすることにより、映像フレームP2の映像の残りの領域の符号化が行われて、この時点で映像フレームP2の映像データが完結する。
【0030】
このような処理を行うことにより、MPEG規格などの圧縮符号化方式においてもデータ量の変動を抑えて均一化されたデータストリームを生成することができる。その結果、そのデータストリームを通信回線を介して多地点制御装置に送信した際に、均一なデータ受信が可能となり、多地点制御装置での映像合成処理が正しく行われ、ユーザにとっても違和感の少ない高品質な合成映像を提供することが可能となる。
【0031】
【発明の効果】
以上のように本発明によれば、MPEG規格のような圧縮符号化方式を用いた場合でも多地点制御装置側で合成が可能となり、端末の回路構成の簡素化を実現できるようになる。また可変長符号化によるデータ量変動を考慮した符号化制御を行うことにより、遅延が少なくより映像品質の高い映像信号符号化装置およびテレビ会議システムを提供することができる。
【図面の簡単な説明】
【図1】本発明の一実施の形態である映像信号符号化装置の構成を示すブロック図
【図2】本発明の映像信号符号化装置の符号化処理のデータ構成を示す説明図
【図3】本発明の映像信号符号化装置の符号化処理の詳細を示す説明図
【図4】多地点間のテレビ会議システムの装置構成を示すブロック図
【図5】端末側のテレビ画面で表示される合成映像を示す模式図
【図6】従来のテレビ会議システムの構成を示すブロック図
【図7】従来のテレビ会議システムの構成を示すブロック図
【符号の説明】
101 入力処理手段
102 フレームメモリ
103 符号化手段
104 バッファ
105 入力フレーム制御手段
106 符号化制御手段
107 データ量監視手段
108 送信手段
Claims (6)
- 通信回線を介して映像伝送を行うテレビ会議システムに用いられる映像信号符号化装置であって、
入力された映像信号をデジタル処理して変換しデジタル映像として出力する入力処理手段と、
前記入力処理手段から出力されたデジタル映像を蓄積するフレームメモリと、
前記フレームメモリからデジタル映像を取り出し圧縮符号化して出力する符号化手段と、
前記符号化手段から出力されたデータを一時的に蓄積しておくバッファと、
前記バッファから出力されたデータを通信回線を介して送信する送信手段と、
前記バッファに蓄積されるデータのデータ量を監視して、前記データ量が所定のしきい値を越えると入力フレーム制御手段と符号化制御手段とにデータ量が閾値を超えたことを通知するための制御情報を出力するデータ量監視手段と、
前記データ量監視手段から出力される制御情報に基づいて次のデジタル映像データを現在符号化処理に使用しているひとつ前のデジタル映像データで書き換えるよう前記フレームメモリに蓄積されているデジタル映像の配置を制御する入力フレーム制御手段と、
前記データ量監視手段から出力される制御情報に基づいて符号化処理を打ち切って残りの画像領域はnot_codedデータとして出力するよう前記符号化手段を制御する符号化制御手段とを有することを特徴とする映像信号符号化装置。 - 前記入力処理手段は入力された映像信号をデジタル変換する際に、あらかじめ符号化すべき映像の大きさに変換してデジタル映像を生成して出力することを特徴とする請求項1記載の映像信号符号化装置。
- 前記符号化手段はMPEG4規格に基づいて符号化することを特徴とする請求項1記載の映像信号符号化装置。
- 前記符号化手段はMPEG4規格のビデオパケットをひとつのマクロブロックラインごとに構成し、動きベクトルは必ず画面内を指すよう符号化することを特徴とする請求項3記載の映像信号符号化装置。
- 前記符号化手段はH.263規格に基づいて符号化することを特徴とする請求項1記載の映像信号符号化装置。
- 請求項1〜5のいずれかに記載の映像信号符号化装置を備えたテレビ会議システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003183477A JP4196085B2 (ja) | 2003-06-26 | 2003-06-26 | 映像信号符号化装置およびそれを用いたテレビ会議システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003183477A JP4196085B2 (ja) | 2003-06-26 | 2003-06-26 | 映像信号符号化装置およびそれを用いたテレビ会議システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005020466A JP2005020466A (ja) | 2005-01-20 |
JP4196085B2 true JP4196085B2 (ja) | 2008-12-17 |
Family
ID=34183572
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003183477A Expired - Fee Related JP4196085B2 (ja) | 2003-06-26 | 2003-06-26 | 映像信号符号化装置およびそれを用いたテレビ会議システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4196085B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4795141B2 (ja) * | 2006-06-29 | 2011-10-19 | パナソニック株式会社 | 映像符号化合成装置、映像符号化合成方法及び映像伝送システム |
-
2003
- 2003-06-26 JP JP2003183477A patent/JP4196085B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2005020466A (ja) | 2005-01-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4712238B2 (ja) | 映像信号符号化装置、映像信号送信装置、および映像信号符号化方法 | |
US8687114B2 (en) | Video quality adaptation based upon scenery | |
US8184636B2 (en) | Information processing device and method, and computer readable medium for packetizing and depacketizing data | |
US8760492B2 (en) | Method and system for switching between video streams in a continuous presence conference | |
US8649426B2 (en) | Low latency high resolution video encoding | |
WO2016126749A1 (en) | Video decoding | |
US20110274180A1 (en) | Method and apparatus for transmitting and receiving layered coded video | |
US20070195878A1 (en) | Device and method for receiving video data | |
JP2004529553A (ja) | 固定帯域幅ネットワークにおける複数の圧縮ビデオストリームのための適応帯域幅フットプリントマッチング | |
JP2005260935A (ja) | 圧縮ビデオ・ビットストリームにおいて平均イメージ・リフレッシュ・レートを増加させる方法及び装置 | |
KR100878809B1 (ko) | 비디오 신호의 디코딩 방법 및 이의 장치 | |
JP4244394B2 (ja) | 多地点会議システム | |
JP2006197321A (ja) | 画像処理方法および装置、並びにプログラム | |
JP2000224584A (ja) | 画像符号化装置および動画像伝送システム | |
US20080008241A1 (en) | Method and apparatus for encoding/decoding a first frame sequence layer based on a second frame sequence layer | |
US6560280B1 (en) | Video transmission system | |
US20070242747A1 (en) | Method and apparatus for encoding/decoding a first frame sequence layer based on a second frame sequence layer | |
JP4196085B2 (ja) | 映像信号符号化装置およびそれを用いたテレビ会議システム | |
US20100037281A1 (en) | Missing frame generation with time shifting and tonal adjustments | |
JP3913726B2 (ja) | 多地点テレビ会議制御装置及び多地点テレビ会議システム | |
JP3655363B2 (ja) | 情報通信システムおよびセンター局 | |
JPH10262228A (ja) | 通信システム、多地点制御装置、映像情報表示方法 | |
JP3554999B2 (ja) | 多地点テレビ会議システム | |
JP2001346207A (ja) | 画像情報変換装置及び方法 | |
JP3359143B2 (ja) | 画像処理装置及び方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060223 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20060314 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070925 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071002 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071130 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080902 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080915 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111010 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111010 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121010 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131010 Year of fee payment: 5 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |