JP4753493B2 - 記録再生装置 - Google Patents
記録再生装置 Download PDFInfo
- Publication number
- JP4753493B2 JP4753493B2 JP2001184226A JP2001184226A JP4753493B2 JP 4753493 B2 JP4753493 B2 JP 4753493B2 JP 2001184226 A JP2001184226 A JP 2001184226A JP 2001184226 A JP2001184226 A JP 2001184226A JP 4753493 B2 JP4753493 B2 JP 4753493B2
- Authority
- JP
- Japan
- Prior art keywords
- packet
- data
- recording
- compression
- control circuit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Systems (AREA)
- Studio Devices (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Time-Division Multiplex Systems (AREA)
- Closed-Circuit Television Systems (AREA)
Description
【発明の属する技術分野】
本発明は、主に監視カメラシステムで使用される画像撮像装置、および記録再生装置に関するものである。
【0002】
【従来の技術】
ネットワークに接続されたカメラの情報をコントロールし、蓄積サーバ部に接続した蓄積メディアに撮影時の映像・音声を保管することを目的とする監視カメラシステムが、特開平7−212748号公報や特開2000−83241号公報に開示されている。一般に、監視カメラシステムでは保守を簡素化するために、蓄積メディアに映像音声データを長時間記録を行う必要がある。このため、ある一定時間ごとに記録を行うタイムラプスVTRを用いることが多い。
【0003】
監視カメラシステム作動中には、ディスプレイ、スピーカを通じて撮影中の映像、音声を監視者がモニタリングできるようなシステムが一般的である。監視員は、モニタリング情報を監視しながら監視領域に異常がないか確認する。また、カメラ部などに組み込まれたセンサなどにより自動的に異常を判別し、システムに知らせる方法もある。
【0004】
このような方法により異常事態を検出した場合、蓄積メディアに記録された映像音声情報は、適宜再生することにより監視員によってその内容を確認、検証される。そのため、後の検証に有利なように、異常状態が発生した場合は記録映像音声のタイムラプス処理を止め、記録画像を通常の記録方式で蓄積メディアに記録することが望ましい。監視カメラシステムでは、以上のような機能をもつシステムを高い信頼性でしかも高品質な記録を行うことが要求されている。
【0005】
【発明が解決しようとする課題】
上に述べたように、監視システムでは一台もしくは複数台のカメラからの長時間データを蓄積サーバに記録する必要があり、大量のデータを処理する必要がある。このため、必要とされるネットワークの回線スピードが上がり、またシステム構成が複雑化することによりシステムコストが高くなる課題があった。また、記録時には長時間記録を実現し、非常事には記録画像情報量を重視するという2つの相反する動作を適応制御する必要があり、これもシステムコストを増大させる要因となっていた。本発明の目的は、これらの課題を解決し、録画再生映像音声の高い品質を維持しつつ、安価な監視カメラシステムを提供することである。
【0006】
【課題を解決するための手段】
上記目的を実現するために、本願発明にかかる映像信号および音声信号をディジタル圧縮符号化して出力する画像撮像装置は、
前記ディジタル圧縮符号化した映像信号および音声信号を、第一のパケット形式でパケット化し、
前記第一のパケット形式のパケットは、ヘッダ部と、データ部とで構成され、
前記ヘッダ部は、少なくとも、前記データ部の種類を示すデータ識別情報と、前記パケットの長さを示すパケット長情報とで構成され、
前記データ部は、ディジタル圧縮音声データと、ディジタル圧縮映像データのいずれか、あるいは両方とで構成され、
さらに前記第一のパケット形式のパケットを、第二のパケット形式でパケット化して出力することを特徴とする。
【0007】
第二のパケット形式のパケットを入力して、ディジタル圧縮符号化された映像データおよび音声データを格納する第一のパケット形式のパケットにパケット化して記録再生する記録再生装置において、前記第一のパケット形式のパケットは、ヘッダ部と、データ部とで構成され、前記ヘッダ部は、少なくとも、前記データ部の種類を示すデータ識別情報と、前記パケットの長さを示すパケット長情報とで構成され、前記データ部は、少なくとも、ディジタル圧縮音声データと、ディジタル圧縮映像データのいずれか、あるいは両方とで構成され、前記第一のパケット形式のパケットを、記録再生する記録再生装置であって、入力された前記第二のパケット形式のパケット中のデータ誤りを検出し、データ誤りを検出した場合は、再度、前記第二のパケット形式のパケットの入力を要求し、第一のパケット形式のパケットの前記ヘッダ部に、再入力したか否かを識別するための情報を付加することを特徴とする。
【0008】
【発明の実施の形態】
本発明の実施形態にかかる監視カメラシステムについて説明する。
図1は、本発明の実施形態にかかる監視カメラシステムのブロック構成図である。図1において、1から3はカメラ、4はLAN(LocalAreaNetwork)、5はコントロール部、6はモニタリング用ディスプレイ、7はスピーカを示す。LAN4に接続されたカメラ群1〜3では、各設置場所から撮影した映像と音声をディジタル符号化して、LAN4を介してコントロール部5に情報を伝送する。
【0009】
図2にカメラ1の詳細ブロック図を示す。図2において、100はレンズ、101は映像信号アナログ/ディジタルコンバータ、102は映像圧縮回路、103はマイク、104は音声信号アナログ/ディジタルコンバータ、105は音声圧縮回路、106はシステムエンコーダ、107はLANインタフェース回路、108は制御回路である。
【0010】
レンズ100から入った映像信号は、映像信号アナログ/ディジタルコンバータ101においてディジタル信号に変換され、映像圧縮回路102入力される。映像圧縮回路102では、例えば、映像圧縮符号化方式としてISO/IEC13818−2(通称MPEG2Video)MP@ML(Main Profile@Main Level)規格に準拠した圧縮符号化データを生成する。その他、映像圧縮符号化方式として、JPEG規格方式でもよい。また、双方を選択して切り換えてもよい。生成した圧縮符号化映像データは、システムエンコーダ106に入力される。
【0011】
また、マイク103から入力された音声信号は、音声信号アナログ/ディジタルコンバータ104において、所定のサンプリングレートによりアナログ/ディジタル変換が行われる。ディジタル信号に変換された音声信号は、音声圧縮回路105に入力される。音声圧縮回路105では、例えば、音声圧縮符号化方式としてISO/IEC13818−1(通称MPEG2Audio)規格に準拠したビットストリームを生成する。生成した圧縮符号化音声データは、システムエンコーダ106に入力される。尚、音声圧縮符号化方式を上記方式に限定するものではなく、他の方式であってもよい。
システムエンコーダ106に入力された、圧縮符号化映像データおよび圧縮符号化音声データは、多重化された後、パケット化される。
【0012】
図3は、システムエンコーダ106により生成されるパケットを示す図である。図3において、30はパケット、301はパケットヘッダ、302は圧縮符号化音声データ領域、303は圧縮符号化映像データ領域である。ここで、システムエンコーダ106は、圧縮符号化映像データ領域303の長さが、後述する記録媒体の一記録単位で増減するようにパケット化を行う。例えば、記録媒体がハードディスクの場合、その記録単位である512バイト単位になるように圧縮符号化映像データ201を格納する長さを決定する。また、パケットヘッダ301と圧縮符号化音声データ領域302の長さの合計が、記録媒体の一記録単位で増減するように、圧縮符号化音声データ202を格納する長さを決定する。従って、パケット30のパケット長は、記録媒体の一記録単位で増減することになる。
【0013】
図4は、システムエンコーダ106に入力された圧縮符号化映像データおよび圧縮符号化音声データの多重化およびパケット化の説明図である。図4において、201は圧縮符号化映像データ、202は圧縮符号化音声データである。
【0014】
映像圧縮符号化方式として例えばMPEG2Videoの場合、圧縮符号化映像データ201は、Iフレーム(Intra Coded)、Pフレーム(Predictive Coded)、Bフレーム(Bidirectionally predictive Coded)の3種類に分類される。ここで、Iフレームとは、他のフレームの情報を用いずにフレーム内情報のみを基にして符号化することができるフレームである。Pフレームは、該当するフレームより以前のIもしくはPフレームのうち、最新の情報を参照用データとして用い、フレーム情報を符号化するフレームである。また、Bフレームは、該当するフレームより以前と、以後の直近のIフレームもしくはPフレームの情報を参照用データとして用い、フレーム情報を符号化するものである。
【0015】
図4において、圧縮符号化映像データ201の各矩形は、ビデオ信号のフレームを表し、I、P、BはそれぞれIフレーム、Pフレーム、およびBフレームのフレーム種別を表す。Iフレームから、次のIフレームの前のフレームまでを一つのGOP(Group of picture)単位とし、それが繰り返される。また、この例では、GOPの先頭にIフレームが符号化される。
【0016】
システムエンコーダ106は、GOPの先頭、すなわちIフレームの先頭が、パケット30の圧縮符号化映像データ領域303の先頭となるよう格納していく。この際、圧縮符号化映像データ303領域の長さが、記録媒体の一記録単位の整数倍となるようにパケット化を行う。GOPの最後にあるBフレームを格納するパケット30の圧縮符号化映像データ3031領域が記録媒体の一記録単位の整数倍にならない場合、例えばすべて“0”のパディングデータ3032を追加して記録媒体の一記録単位の整数倍になるよう調整する。
【0017】
同様に、パケットヘッダ301と圧縮符号化音声データ領域302の長さの合計が記録媒体の一記録単位の整数倍となるように、圧縮符号化音声データ202を格納する長さを決定する。格納する圧縮符号化音声データ202が無い場合は、例えばすべて“0”のパディングデータ3033を追加して記録媒体の一記録単位の整数倍になるよう調整する。
【0018】
図5は、パケットヘッダ301の構成例を示す図である。図5の例では、パケットヘッダ301の長さを8バイトとしている。3011はデータ識別情報、3012はパケット長情報、3013はカメラ識別番号情報、3014は、GOP先頭フラグ、3015はIフレーム格納フラグ、3016は日付情報、3017は時間情報、3018はフレーム番号、3019はパケット番号、3022は画質/画素数情報、3023はアラーム情報である。
【0019】
データ識別情報3011には、圧縮符号化音声データ202の有無、圧縮符号化映像データ201の有無、圧縮符号化音声データ202あるいは圧縮符号化映像データ201の圧縮符号化方式の種類を示す情報が格納される。パケット長情報3012には、パケット30全体の長さが、例えば記録媒体の一記録単位の倍数を値として格納される。カメラ識別番号情報3013には、図1で示したように複数のカメラがLANに接続される場合の各カメラを識別するための識別番号が格納される。GOP先頭フラグ3014は、そのパケットに格納されている圧縮符号化映像データ201が、GOPの先頭である場合にセットされる。
【0020】
Iフレーム格納フラグ3015は、そのパケットに格納されている圧縮符号化映像データ201が、Iフレームを含む場合セットされる。日付情報3016、時間情報3017には、圧縮符号化した日付および時間が格納されるとともに、日付設定や時刻設定が変更されたことを示す情報も格納される。フレーム番号3018には、圧縮符号化したフレームの連続番号が、パケット番号3019には、生成したパケットの連続番号が格納される。また、画質/画素数情報3022には、画質および画素数設定と、その設定が変更されたことを示す情報が格納される。アラーム情報3023には、異常状態を示すアラーム等があったか否かを示す情報が格納される。
【0021】
以上説明したように、図2のシステムエンコーダ106によって、圧縮符号化映像データおよび圧縮符号化音声データは、多重化された後にパケット化される。システムエンコーダ106によって生成されたパケット列は、LANインタフェース回路107に入力される。LANインタフェース回路107では、入力されたパケット列を、例えばIEEE802.3規格に準拠したLANパケットにパケット化して出力する。
【0022】
図6は、システムエンコーダ106によって生成されたパケット列のLANパケット化の説明図である。システムエンコーダ106によって生成されたパケット30は、LANパケットデータ402に細分化され、LANパケットヘッダ401、およびデータ誤り検出符号が付加されてLANパケット40としてLANに出力される。
【0023】
図7は、コントロール部5の内部ブロック構成を示す図である。501はLANインタフェース回路、502は第一の制御回路、503は操作ボタン等の制御インタフェース、504はバッファ、505はバッファ制御回路、506は蓄積媒体、507はシステムデコーダ、508は第二の制御回路、509は映像伸張回路、510は音声伸張回路、511はOSD回路、512は映像信号ディジタル/アナログコンバータ、513は、音声信号ディジタル/アナログコンバータである。
【0024】
カメラ1〜3で生成されたLANパケット40は、LAN4を経由し、LANインタフェース回路501へ入力される。入力されたLANパケット40は、LANインタフェース回路501において、LANパケットヘッダ401が取り除かれ、LANパケットデータ402が結合され、パケット30が生成される。生成されたパケット30は、バッファ制御回路505に入力され、バッファ504に一旦格納される。
【0025】
なお、LANインタフェース回路501がLAN4上でのデータ誤りを検出した場合、LANインタフェース回路501は、データ誤りを含みながら生成したパケット30をバッファ制御回路505を介してバッファ504に格納するとともに、パケットの送信側であるカメラに対し、データ誤りがあったLANパケット40の再送信を要求する。その際、バッファ制御回路505に出力するパケット30のパケットヘッダに、データ誤りがあることを示す情報を付加する。また、LANインタフェース回路501では、パケット30を構成するすべてのLANパケット40を保存しておく。
【0026】
再送信の要求を受け、再び入力されたLANパケット40にデータ誤りがない場合、LANインタフェース回路501は、先だって受信し保存していたパケット30のデータ誤り部分を正しいデータに入れ換え、再度バッファ制御回路505を介してバッファ504に格納する。その際、バッファ制御回路505に出力するパケット30のパケットヘッダに再受信しデータを入れ換えたことを示す情報を付加する。図8は、データ誤り識別フラグ3020、再入力識別フラグ3021が付加されたパケットヘッダ301の構成例を示している。
【0027】
図7に示した実施形態では、バッファ制御回路505は、バッファ504に格納されているパケット30を蓄積媒体506に記録する。その際、パケット30のパケットヘッダ301のデータ誤り識別フラグが設定されている場合は、そのパケット30は記録せず、再入力識別フラグ3021が設定されているパケット30の方を選択して記録する。これにより、蓄積媒体506の記憶容量を無駄に消費することなく、再生時のパケット30のデータ信頼性を向上させることが可能になる。
なお、記録時にはデータ誤りの有無に関わらずパケット30を蓄積媒体506に記録し、再生の際に、再入力識別フラグ3021が設定されているパケット30の方を選択して再生するようにしても良い。この場合には、記録時のパケット選択処理が不要となる。データ誤りの有無にかかわらずパケット30を蓄積媒体506に記録することにより、データの再入力が失敗した場合であっても、誤りを含んでいても最低限のデータを保持することができる。選択に際しては、カメラ識別番号情報3013、日付情報3016、時間情報3017、フレーム番号3018、パケット番号3019を参照することにより、どのパケットとの交換を行うかを検出できる。
【0028】
尚、本実施形態では、カメラで生成されるパケット30の長さを、蓄積媒体506の記録単位の長さの整数倍としているため、蓄積媒体606の記憶容量を無駄に消費することがない。蓄積媒体506を例えばハードディスクとした場合、通常ハードディスクの記録単位の長さは512バイトであるため、カメラで生成されるパケット30の長さは512バイトの整数倍とする。
【0029】
さらに、長時間にわたっての記録を可能とするため、パケット30列の内、Iフレームのみを選択して蓄積媒体506に記録する場合がある。この場合は、パケット30のパケットヘッダ301のGOP先頭フラグの設定されているパケット30から、Iフレーム格納フラグの設定されているパケットを記録していけばよい。ただし、圧縮符号化音声データ302は間引くことができないので、Iフレーム格納フラグの設定されていないパケット30については、パケットヘッダ301から圧縮符号化音声データ302までを蓄積媒体506に記録する。この場合にも、パケットヘッダ301から圧縮符号化音声データ302までの長さを512バイトの整数倍としているため、蓄積媒体506の記憶容量を無駄に消費することがない。この際、データ識別情報3011には、圧縮符号化音声データ302無しの情報に書き換えておくことで、再生時のパケット30の実体とパケットヘッダ301の整合性をとることが可能になる。
【0030】
再生の際には、バッファ制御回路505により、パケット30が蓄積媒体506からシステムデコーダ507に供給される。システムデコーダ507は、圧縮符号化映像データ201と圧縮符号化音声データ202に分離し、それぞれ映像伸張回路509、音声伸張回路510に供給する。伸張処理が施された後、映像信号は、OSD回路511にて、文字情報等と重ね合わされ、映像信号ディジタル/アナログコンバータ512に供給され、アナログ映像信号として外部へ出力される。また、音声信号は、音声信号ディジタル/アナログコンバータ513供給され、アナログ音声信号が出力される。
【0031】
その他、第一の制御回路502と第二の制御回路508が、コントロール部5の制御のための通信、例えば記録、再生、停止等のコマンド発行と返信をパケット30のパケット形式にすることで、LANインタフェース回路501、バッファ制御回路505を経由して行うことが可能となり、回路が共通化できる。
【0032】
以上のように、本発明の実施形態によれば、複数のカメラからの複数種類の映像信号や音声信号を記録した場合であっても、データ識別情報や画質/画素数情報などの様々な情報をパケットヘッダに記録することにより、記録された信号の種類を容易に判別することができる。これにより、それぞれの信号に適した方法で、再生することができる。
【0033】
【発明の効果】
以上説明したように、本発明によれば、録画再生映像音声の高い品質を維持しつつ、安価な監視カメラシステムを提供することが可能になる。
【図面の簡単な説明】
【図1】本発明の実施形態にかかる監視カメラシステムの構成を示すブロック図である。
【図2】本発明の実施形態にかかるカメラの内部構成を示すブロック図である。
【図3】システムエンコーダ106により生成されるパケットを示す図である。
【図4】システムエンコーダ106に入力された圧縮符号化映像データおよび圧縮符号化音声データの多重化およびパケット化の説明図である。
【図5】パケットヘッダ301の構成例を示す図である。
【図6】システムエンコーダ106によって生成されたパケット列のLANパケット化の説明図である。
【図7】コントロール部5の内部構成を示すブロック図である。
【図8】パケットヘッダ301の構成例を示す図である。
【符号の説明】
1〜3…カメラ、4…LAN、5…コントロール部、6…ディスプレイ、7…スピーカ、10…蓄積メディア、102…映像圧縮回路、105…音声圧縮回路、106…システムエンコーダ、30…パケット、301…パケットヘッダ、504…バッファ、505…バッファ制御回路、506…蓄積媒体、507…システムデコーダ、509…映像伸張回路、510…音声伸張回路
Claims (2)
- 第二のパケット形式のパケットを入力して、ディジタル圧縮符号化された映像データおよび音声データを格納する第一のパケット形式のパケットにパケット化して記録再生する記録再生装置において、
前記第一のパケット形式のパケットは、ヘッダ部と、データ部とで構成され、前記ヘッダ部は、少なくとも、前記データ部の種類を示すデータ識別情報と、前記パケットの長さを示すパケット長情報とで構成され、前記データ部は、少なくとも、ディジタル圧縮音声データと、ディジタル圧縮映像データのいずれか、あるいは両方とで構成され、前記第一のパケット形式のパケットを、記録再生する記録再生装置であって、
入力された前記第二のパケット形式のパケット中のデータ誤りを検出し、データ誤りを検出した場合は、再度、前記第二のパケット形式のパケットの入力を要求し、第一のパケット形式のパケットの前記ヘッダ部に、再入力したか否かを識別するための情報を付加することを特徴とする記録再生装置。 - 請求項1に記載の記録再生装置において、前記記録再生装置は、第一の制御回路と、第二の制御回路により制御され、前記データ部は、前記第一の制御回路と前記第二の制御回路との間の制御データで構成され、前記第一のパケット形式のパケットで、前記第一の制御回路と、前記第二の制御回路とが、互いに前記記録再生装置の制御のための通信を行うことを特徴とする記録再生装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001184226A JP4753493B2 (ja) | 2001-06-19 | 2001-06-19 | 記録再生装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001184226A JP4753493B2 (ja) | 2001-06-19 | 2001-06-19 | 記録再生装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003009097A JP2003009097A (ja) | 2003-01-10 |
JP4753493B2 true JP4753493B2 (ja) | 2011-08-24 |
Family
ID=19024021
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001184226A Expired - Fee Related JP4753493B2 (ja) | 2001-06-19 | 2001-06-19 | 記録再生装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4753493B2 (ja) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2814819B2 (ja) * | 1992-02-19 | 1998-10-27 | 三菱電機株式会社 | マルチメディア多重方式 |
JPH10294927A (ja) * | 1997-04-18 | 1998-11-04 | Hitachi Ltd | 動画像データの通信方法および動画像データの記録再生方法ならびに記憶媒体 |
JP3770448B2 (ja) * | 1998-11-25 | 2006-04-26 | 日本ビクター株式会社 | 画像監視装置 |
JP2001148853A (ja) * | 1999-03-12 | 2001-05-29 | Toshiba Corp | 動画像符号化装置および復号化装置 |
JP3593921B2 (ja) * | 1999-06-01 | 2004-11-24 | 日本電気株式会社 | パケット転送方法および装置 |
-
2001
- 2001-06-19 JP JP2001184226A patent/JP4753493B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2003009097A (ja) | 2003-01-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3330797B2 (ja) | 動画像データ格納方式および動画像データ復号方式 | |
JP2848326B2 (ja) | Mpeg符号化画像復号装置 | |
US8055783B2 (en) | Systems and methods for media stream processing | |
JP2007511992A (ja) | 動画撮影装置および動画撮影方法、動画撮影装置により映像信号が記録された記録媒体、記録媒体に記録された映像信号を再生する動画再生装置および動画再生方法 | |
US9350935B2 (en) | Moving image data recording apparatus | |
JP4474063B2 (ja) | ディジタル監視カメラシステムおよび制御装置 | |
JP4038355B2 (ja) | 監視システム及び記録装置 | |
US20060045493A1 (en) | Reproducing apparatus and reproducing method | |
JP2004349993A (ja) | 画像記録装置 | |
JP4753493B2 (ja) | 記録再生装置 | |
JP3087826B2 (ja) | Mpeg符号化画像データ復号装置 | |
JP4078645B2 (ja) | 撮像装置 | |
WO2006129546A1 (ja) | 記録再生装置、記録媒体、及び集積回路 | |
US6157770A (en) | Moving picture data reproduction controlling system and method for reproducing moving picture data having block elements and minimum elements each with headers | |
KR100920697B1 (ko) | 트랜지션 포인트 검출용 장치와 방법, 레코딩 장치 및레코드 재생 장치 | |
JP2005198350A (ja) | アフレコ信号再生方法 | |
JP4350638B2 (ja) | 映像記録装置 | |
JP2006180315A (ja) | 動画撮影装置、動画再生装置および動画撮影方法、動画再生方法 | |
US20070030897A1 (en) | Encoding apparatus and method, recording apparatus and method, and decoding apparatus and method | |
JP2001160963A (ja) | 監視システム | |
JP2003219362A (ja) | 映像記録再生装置、映像記録再生方法および監視システム | |
JP2007068214A (ja) | ディジタル監視カメラシステムおよび制御装置 | |
JP4867872B2 (ja) | 画像処理装置、この画像処理装置の制御方法、及び、プログラム | |
JP2003101944A (ja) | 記録装置、出力装置およびデジタル監視カメラシステム | |
EP1120978A1 (en) | Apparatus capable of encoding audio/video data with decreased buffer capacity |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20060623 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060623 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20060623 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20080514 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20080515 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080520 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080514 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110301 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110315 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110502 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110524 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110524 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140603 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4753493 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |