JP4464719B2 - 画像データ送信システム - Google Patents

画像データ送信システム Download PDF

Info

Publication number
JP4464719B2
JP4464719B2 JP2004069044A JP2004069044A JP4464719B2 JP 4464719 B2 JP4464719 B2 JP 4464719B2 JP 2004069044 A JP2004069044 A JP 2004069044A JP 2004069044 A JP2004069044 A JP 2004069044A JP 4464719 B2 JP4464719 B2 JP 4464719B2
Authority
JP
Japan
Prior art keywords
image data
image
data transmission
signal
compression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2004069044A
Other languages
English (en)
Other versions
JP2005260565A (ja
Inventor
寛知 齋
憲彦 中野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2004069044A priority Critical patent/JP4464719B2/ja
Publication of JP2005260565A publication Critical patent/JP2005260565A/ja
Application granted granted Critical
Publication of JP4464719B2 publication Critical patent/JP4464719B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は監視カメラシステムなどの画像データ送信システムに係り、特に、複数の映像データを圧縮符号化し通信ネットワークを介して伝送する画像データ送信システムに関する。
近年、画像データを圧縮符号化し、通信ネットワーク等を経由して遠隔地にある再生端末でモニタリングする監視カメラシステムが実用化されている。このようなシステムでは、MPEG(Moving Picture Experts Group)等の圧縮符号化方式を用いることで、少ない伝送帯域で画質の良い画像データの伝送を可能としている。
一方、複数のカメラの画像を用いて、平面投影ステレオ法による変化部分の画像を検出して、監視を行うシステムが提案されている(例えば、特許文献1参照)。また、ステレオカメラで撮影された2つの画像間で、点や線の対応付けを行い、実際のシーン空間(三次元空間)における点や線の位置を推定する物体認識機能技術を用いて、物体の奥行きを認識することで、監視を行うシステムも提案されている(例えば、特許文献2参照)。
特開2002−145072号公報
特開平10−42273号公報
上記のように、ステレオカメラを用いて精度よく物体を認識する場合、高い演算処理能力が必要となる。カメラと物体認識機能などの画像処理を対で構成すると、処理能力の高いCPU(Central Processing Unit)の使用もしくはASIC(Application Specific Integrated Circuit)の開発が必要となり、コスト的な問題が発生する。
そこで、カメラの画像を通信ネットワークを介して、パソコン、ワークステーション等の演算処理能力の高い機器に送信し物体認識機能などの画像処理を行うことで、コストを低減でき、物体認識機能などの画像処理部の変更も容易に可能となる。
一方、通信ネットワークで画像を送信する場合、複数のピクチャを一つのGOP(Group of Picture)とするMPEG等の圧縮符号化方法を用いているため、同一時間に撮像された画像でも片方がIピクチャ(フレーム内符号化画像)で片方がBピクチャ(双方向予測符号化画像)であるというように画像情報量が異なる。そのため、画像情報量の異なる符号化画像を復調して平面投影ステレオ法や点や線の対応付けなどを行う場合、精度良く物体認識機能などの画像処理を行うことができない。
本発明の目的は、複数の映像データを圧縮符号化し通信ネットワークを介して伝送する画像データ送信システムであって、精度よく物体認識機能などの画像処理を行うことができる画像データ送信システムを提供することにある。
上記課題を解決するため、本発明は、光学系によって結像された光信号を電気信号に変換し画像信号として出力する撮像手段と、該撮像手段を駆動する駆動手段と、前記撮像手段から出力される前記画像信号に画像処理を施し画像データとして出力する画像信号処理手段と、該画像信号処理手段から出力される前記画像データを圧縮符号化し圧縮符号化画像データとして出力する画像信号圧縮手段と、該画像信号圧縮手段から出力される前記圧縮符号化画像データを通信ネットワークを介して他の装置へ送信する通信手段とで、各々が構成される複数の画像データ送信装置と、所望のタイミングで同期信号を発生する同期信号発生手段とを有する画像データ送信システムであって、前記複数の画像データ送信装置のそれぞれの前記画像信号圧縮手段は、前記同期信号発生手段からの前記同期信号に合わせて同一の時刻で同一のGOP構造を有するように圧縮符号化を行うことを特徴とする。
また本発明は、光学系によって結像された光信号を電気信号に変換し画像信号として出力する撮像手段と、該撮像素子を駆動する駆動手段と、前記撮像素子から出力される前記画像信号に画像処理を施し画像データとして出力する画像信号処理手段と、該画像信号処理手段から出力される前記画像データを圧縮符号化し圧縮符号化画像データとして出力する画像信号圧縮手段と、該画像信号圧縮手段から出力される前記圧縮符号化画像データを通信ネットワークを介して他の装置へ送信する通信手段とで、各々が構成される複数の画像データ送信装置と、所望のタイミングで同期信号を発生する同期信号発生手段とを有する画像データ送信システムであって、前記複数の画像データ送信装置のそれぞれの前記画像信号圧縮手段は、GOPのピクチャ数がn(正の整数)の公倍数となるGOP構造で且つ前記同期信号発生手段からの前記同期信号に合わせて同一の時刻でIピクチャの圧縮符号化を行うことを特徴とする。
本発明によれば、複数の映像データを圧縮符号化し通信ネットワークを介して伝送する画像データ送信システムであって、精度よく物体認識機能などの画像処理を行うことができる画像データ送信システムを得ることができる。
本発明の実施の形態を図面により説明する。図1は本発明による画像データ送信システムの実施の形態の構成を示すブロック図である。図1において、101はCCD(Charge Coupled Devices)などの撮像素子、102は駆動部、103は画像信号処理部、104は画像信号圧縮部、105は通信部である。101,102,103,104,105で構成される点線で囲まれた106は、カメラである。107はカメラ106と同様の構成を有するカメラ、108は同期信号発生部、109は通信ネットワーク、110は物体認識処理部である。
撮像素子101は、被写体画像が光学系によって結像された光信号を電気信号に変換し、画像信号として出力する。ここで、撮像素子101の各フォトダイオードに蓄積する時間は駆動部102で生成するパルスによって制御され、同様に駆動部102で生成するパルスによって所望のタイミングで画像信号が読み出されて出力する。画像信号処理部103は、撮像素子101から出力された画像信号に、色信号、輝度信号を生成するなどの画像処理を施し、画像データとして出力する。
画像信号圧縮部104は、画像信号処理部103から出力される画像データをMPEG等の圧縮符号化方法を用いて圧縮符号化を行い、圧縮符号化画像データとして出力する。画像信号圧縮部104から出力される圧縮符号化画像データは、通信部105に入力され、通信ネットワーク109を経由して遠隔地の物体認識処理部110に送信される。ここで、カメラ107は、カメラ106と同様に構成され、同様の動作を行う。通信ネットワーク109に接続されるカメラは、図示の2台に限らず3台以上の複数台でもよい。
物体認識処理部110は、所望の送信された圧縮符号化画像データを復調し、平面投影ステレオ法による変化部分の画像を検出したり、ステレオカメラで撮影された2つの画像間で、点や線の対応付けを行い、実際のシーン空間(三次元空間)における点や線の位置を推定する技術を用いて、物体の奥行きを算出したりすることで、物体認識を行う。
図1において、同期信号発生部108は、カメラ106、107のそれぞれの画像信号圧縮部の動作を制御するための同期信号であるGOP同期合わせ基準信号を発生する発生部である。
図1において、この同期信号発生部108は、通信ネットワーク109に対してカメラ106、107側に配置されているが、物体認識処理部110側に配置して、同期信号を通信ネットワーク109を介してカメラ106、107のそれぞれの画像信号圧縮部に送信するようにしても良い。
次に、カメラ106、カメラ107、同期信号発生部108の動作について、GOPの切換りを同期させる第一の方法を図2より説明する。図2において、201はカメラ106で圧縮符号化された画像データ、202はカメラ107で圧縮符号化された画像データ、203は同期信号発生部108から出力されるGOP同期合わせ基準信号である。ここでは、各カメラ106,107とも一つのGOPはI、B、B、P、B、B、P、B、B、P、B、B、P、B、Bからなる15個のピクチャで構成されたGOP構造を有しているものとする。また図2に示すように、画像データ202と画像データ203のGOPの同期はずれているものとする。
画像データ201において、時刻t0のGOP切換時刻から時間T1経過後の時刻t2において、同期信号発生部108からGOP同期合わせ基準信号203が出力されたとする。時刻t2において時間T1の間に圧縮符号化されたピクチャ数をP1とすると、カメラ106の画像信号圧縮部104は、GOP同期合わせ基準信号203が入力された次のGOPのピクチャ数がP1個となるように圧縮符号化を行う。その後時刻t3において、カメラ106の画像信号圧縮部104は、その次のGOPのピクチャ数が15個となるように圧縮符号化を行う。
画像データ202において、時刻t1のGOP切換時刻から時間T2経過後の時刻t2において、同期信号発生部108からGOP同期合わせ基準信号203が出力されたとする。時刻t2において時間T2の間に圧縮符号化されたピクチャ数をP2とすると、カメラ107の画像信号圧縮部は、GOP同期合わせ基準信号203が入力された次のGOPのピクチャ数がP2個となるように圧縮符号化を行う。その後時刻t3において、カメラ107の画像信号圧縮部は、その次のGOPのピクチャ数が15個となるように圧縮符号化を行う。
上記動作によって、画像データ201と画像データ202は、同一の時刻t3以降において同一のGOP構造を有するようになり、同期してGOPが切換るようになる。このとき、GOP同期合わせ基準信号203が入力された直後の1つのGOPは、カメラ106、107それぞれの画像信号圧縮部において、P1、P2個のIピクチャのみを符号化してもよい。
この動作により、複数のカメラで同一時刻に撮像された画像データは、同等の画像符号量で圧縮符号化することができる。
次に、カメラ106、カメラ107、同期信号発生部108の動作について、GOPの切換りを同期させる第二の方法を図3より説明する。図3において、301はカメラ106で圧縮符号化された画像データ、302はカメラ107で圧縮符号化された画像データ、303は同期信号発生部108から出力されるGOP同期合わせ基準信号である。ここでは、カメラ106のGOPは15個のピクチャで構成されており、カメラ107のGOPは30個のピクチャで構成されているものとする。また図3に示すように、画像データ202と画像データ203のGOPの同期はずれているものとする。
画像データ301において、時刻t0のGOP切換時刻から時間T1経過後の時刻t2において、同期信号発生部108からGOP同期合わせ基準信号303が出力されたとする。時刻t2において時間T1の間に圧縮符号化されたピクチャ数をP1とすると、カメラ106の画像信号圧縮部104は、GOP同期合わせ基準信号303が入力された次のGOPのピクチャ数がP1個となるように圧縮符号化を行う。その後時刻t3において、カメラ106の画像信号圧縮部104は、その次のGOPのピクチャ数が15個となるように圧縮符号化を行う。
画像データ302において、時刻t1のGOP切換時刻から時間T2経過後の時刻t2において、同期信号発生部108からGOP同期合わせ基準信号303が出力されたとする。時刻t2において時間T2の間に圧縮符号化されたピクチャ数をP2とすると、カメラ107の画像信号圧縮部は、GOP同期合わせ基準信号303が入力された次のGOPのピクチャ数がP2個となるように圧縮符号化を行う。その後時刻t3において、カメラ107の画像信号圧縮部は、その次のピクチャ数が30個となるように圧縮符号化を行う。
上記動作によって、画像データ201と画像データ202は、同一の時刻t3以降において、同期してGOPが切換るようになる。このとき、GOP同期合わせ基準信号303が入力された直後の1つのGOPは、カメラ106、107それぞれの画像信号圧縮部において、P1、P2個のIピクチャのみを符号化してもよい。
このような動作を行うことで、複数のカメラ106、107において、GOPのピクチャ数はある数n(正の整数)の公倍数となるGOP構造となるように符号化を行うことで、GOPピクチャ数の最大数の周期で全てのカメラで同一時刻にIピクチャの符号化を行うことになる。すなわち、複数のカメラにおいて、GOPピクチャ数の最大数の周期で同一時刻に撮像された画像データを、同等の画像符号量で圧縮符号化を行うことができる。
次に、カメラ106、カメラ107、同期信号発生部108の動作について、GOPの切換りを同期させる第三の方法を図4より説明する。図4において、401はカメラ106で圧縮符号化された画像データ、402はカメラ107で圧縮符号化された静止画像データ、403は同期信号発生部108から出力されるGOP同期合わせ基準信号、404はカメラ107でカウントされるフレームカウント数である。ここでは、カメラ106のGOPは15個のピクチャで構成されているものとする。また、カメラ107は15フレームずつカウントを繰り返し、カウント数1で静止画を撮像するものとする。また図4において、カウント数15から1への切換とカメラ106のGOPの切換はずれているものとする。
画像データ401において、時刻t0のGOP切換時刻から時間T1経過後の時刻t2において、同期信号発生部108からGOP同期合わせ基準信号403が出力されたとする。時刻t2において時間T1の間に圧縮符号化されたピクチャ数をP1とすると、カメラ106は、GOP同期合わせ基準信号403が入力された次のGOPのピクチャ数がP1個となるように圧縮符号化を行う。その後時刻t3において、カメラ106は、その次のGOPのピクチャ数が15個となるように圧縮符号化を行う。
画像データ402において、時刻t1のカウント数切換時刻から時間T2経過後の時刻t2において、同期信号発生部108からGOP同期合わせ基準信号403が出力されたとする。時刻t2において時間T2の間にカウントされたカウント数をP2とすると、カメラ107は、GOP同期合わせ基準信号403が入力された次のカウント数がP2までとなるようにカウントを行う。その後時刻t3以降において、カメラ107は、カウント数15を繰り返す。
上記動作によって、画像データ401のIピクチャ生成時に、画像データ402の静止画が生成されるようになる。このとき、画像データ401においてGOP同期合わせ基準信号403が入力された直後の1つのGOPは、P1個のIピクチャのみを符号化してもよい。すなわち、動画像と静止画像の混在する複数のカメラにおいて、動画像のGOPピクチャ数の最大数の周期で同一時刻に撮像された画像データを、同等の画像符号量で圧縮符号化を行うことができる。
次に、カメラ106、カメラ107、同期信号発生部108の動作について図5より説明する。501はカメラ106における撮像素子101からの画像信号垂直読出しタイミング信号、502はカメラ107における撮像素子からの画像信号垂直読出しタイミング信号、503は同期信号発生部108から出力される垂直同期合わせ基準信号である。図5に示すように、画像信号垂直読出しタイミング信号501と画像信号垂直読出しタイミング信号502では、画像信号垂直読出しタイミングとフレーム単位でずれているものとする。
図5に示すように、垂直同期合わせ基準信号503に合わせて、カメラ106とカメラ107はそれぞれの駆動部により、それぞれの画像信号垂直読出しタイミング信号がフレーム単位で同期するように動作する。
このような動作を行うことで、複数のカメラ106、107において、それぞれのカメラから同期した画像信号を出力させることができる。
このように、本発明の実施の形態によれば、複数のカメラで撮像され圧縮された画像データは、同一撮像時刻において同等の画像情報量を持つことができるので、物体認識処理部などで圧縮画像データを復調して平面投影ステレオ法や点や線の対応付けなどの処理をしても、精度良く物体認識機能などの画像処理を行うことができる。
本発明による画像データ送信システムの実施形態の構成を示すブロック図である。 本発明におけるGOP切換りを同期させる第一の方法を示すタイミングチャートである。 本発明におけるGOP切換りを同期させる第二の方法を示すタイミングチャートである。 本発明におけるGOP切換りを同期させる第三の方法を示すタイミングチャートである。 本発明における撮像素子からの画像信号垂直読出しタイミングを同期させる動作を示すタイミングチャートである。
符号の説明
101…撮像素子、102…駆動部、103…画像信号処理部、104…画像信号圧縮部、105…通信部、106,107…カメラ、108…同期信号発生部、109…通信ネットワーク、110…物体認識処理部、201…カメラ106で圧縮符号化された画像データ、202…カメラ107で圧縮符号化された画像データ、203…同期信号発生部108から出力されるGOP同期合わせ基準信号、301…カメラ106で圧縮符号化された画像データ、302…カメラ107で圧縮符号化された画像データ、303…同期信号発生部108から出力されるGOP同期合わせ基準信号、401…カメラ106で圧縮符号化された画像データ、402…カメラ107で圧縮符号化された静止画像データ、403…同期信号発生部108から出力されるGOP同期合わせ基準信号、404…カメラ107でカウントされるフレームカウント数、501…カメラ106における撮像素子からの画像信号垂直読出しタイミング信号、502…カメラ107における撮像素子からの画像信号垂直読出しタイミング信号、503…同期信号発生部108から出力される垂直同期合わせ基準信号。

Claims (7)

  1. 光学系によって結像された光信号を電気信号に変換し画像信号として出力する撮像手段と、該撮像手段を駆動する駆動手段と、前記撮像手段から出力される前記画像信号に画像処理を施し画像データとして出力する画像信号処理手段と、該画像信号処理手段から出力される前記画像データを圧縮符号化し圧縮符号化画像データとして出力する画像信号圧縮手段と、該画像信号圧縮手段から出力される前記圧縮符号化画像データを通信ネットワークを介して他の装置へ送信する通信手段とで、各々が構成される複数の画像データ送信装置と、所望のタイミングで同期信号を発生する同期信号発生手段とを有する画像データ送信システムであって、前記複数の画像データ送信装置のそれぞれの前記画像信号圧縮手段は、前記同期信号発生手段からの前記同期信号に合わせて同一の時刻で同一のGOP構造を有するように圧縮符号化を行うことを特徴とする画像データ送信システム。
  2. 請求項1記載の画像データ送信システムにおいて、前記同期信号発生手段は、前記同期信号を前記通信ネットワークを介して前記複数の画像データ送信装置のそれぞれの前記画像信号圧縮手段に送信することを特徴とする画像データ送信システム。
  3. 請求項1または2記載の画像データ送信システムにおいて、前記複数の画像データ送信装置のそれぞれの前記駆動手段は、前記同期信号発生手段からの前記同期信号に合わせて前記複数の画像データ送信装置のそれぞれの前記撮像手段から同一の撮像タイミングの画像信号を出力させることを特徴とする画像データ送信システム。
  4. 光学系によって結像された光信号を電気信号に変換し画像信号として出力する撮像手段と、該撮像手段を駆動する駆動手段と、前記撮像手段から出力される前記画像信号に画像処理を施し画像データとして出力する画像信号処理手段と、該画像信号処理手段から出力される前記画像データを圧縮符号化し圧縮符号化画像データとして出力する画像信号圧縮手段と、該画像信号圧縮手段から出力される前記圧縮符号化画像データを通信ネットワークを介して他の装置へ送信する通信手段とで、各々が構成される複数の画像データ送信装置と、所望のタイミングで同期信号を発生する同期信号発生手段とを有する画像データ送信システムであって、前記複数の画像データ送信装置のそれぞれの前記画像信号圧縮手段は、GOPのピクチャ数がn(正の整数)の公倍数となるGOP構造で且つ前記同期信号発生手段からの前記同期信号に合わせて同一の時刻でIピクチャの圧縮符号化を行うことを特徴とする画像データ送信システム。
  5. 請求項4記載の画像データ送信システムにおいて、前記同期信号発生手段は、前記同期信号を前記通信ネットワークを介して前記複数の画像データ送信装置のそれぞれの前記画像信号圧縮手段に送信することを特徴とする画像データ送信システム。
  6. 請求項4または5記載の画像データ送信システムにおいて、前記複数の画像データ送信装置のそれぞれの前記駆動手段は、前記同期信号発生手段からの前記同期信号に合わせて前記複数の画像データ送信装置のそれぞれの前記撮像手段から同一の撮像タイミングの画像信号を出力させることを特徴とする画像データシステム。
  7. 請求項1から6のうちいずれかに記載の画像データ送信システムにおいて、前記同期信号発生手段からの信号に合わせて同一の時刻で、前記複数の画像データ送信装置のうち少なくとも1つの前記画像信号圧縮手段は静止画像の圧縮符号化を行い、他の前記画像データ送信装置はIピクチャの圧縮符号化を行うことを特徴とする画像データ送信システム。
JP2004069044A 2004-03-11 2004-03-11 画像データ送信システム Expired - Lifetime JP4464719B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004069044A JP4464719B2 (ja) 2004-03-11 2004-03-11 画像データ送信システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004069044A JP4464719B2 (ja) 2004-03-11 2004-03-11 画像データ送信システム

Publications (2)

Publication Number Publication Date
JP2005260565A JP2005260565A (ja) 2005-09-22
JP4464719B2 true JP4464719B2 (ja) 2010-05-19

Family

ID=35085872

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004069044A Expired - Lifetime JP4464719B2 (ja) 2004-03-11 2004-03-11 画像データ送信システム

Country Status (1)

Country Link
JP (1) JP4464719B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5282692B2 (ja) * 2009-07-27 2013-09-04 ソニー株式会社 画像符号化装置と画像符号化方法

Also Published As

Publication number Publication date
JP2005260565A (ja) 2005-09-22

Similar Documents

Publication Publication Date Title
US7697036B2 (en) Digital camera for capturing both still images and moving pictures
KR101960006B1 (ko) 비디오 인코딩 방법 및 비디오 인코더 시스템
CN101099240A (zh) 监控摄像机装置、使用此监控摄像机装置的监控***以及监控图像传送方法
CN104935818A (zh) 在照相机或照相机的遥控器中提供图像的方法和装置
JPH1098642A (ja) ディジタルカメラ
JP4856712B2 (ja) 監視映像蓄積システム
JP2007053717A (ja) 静止画像を共に出力する保安監視システム
KR20040047524A (ko) 영상 신호 기록 및 송신 장치
US20050226327A1 (en) MPEG coding method, moving picture transmitting system and method using the same
US9779099B2 (en) Method of processing data, and photographing apparatus using the method
EP2963929A1 (en) A method for configuration of video stream output from a digital video camera
JP4464719B2 (ja) 画像データ送信システム
JP2007096412A (ja) 動画撮影装置及び動画送受信システム
WO2011074189A1 (ja) 画像符号化方法及び画像符号化装置
JP5061925B2 (ja) 画像圧縮配信装置、及び画像圧縮配信方法
JP3085003U (ja) 動体検出装置および動体検出システム
JP2003111061A (ja) 動体検出装置、動体検出システムおよび動体検出方法
JP5906430B2 (ja) 動画伝送端末及び動画伝送システム
JPH1070727A (ja) 動画像伝送方法および動画像伝送装置
WO2010041389A1 (ja) 映像信号符号化装置および撮像装置
JP3658016B2 (ja) ディジタル画像の通信・記録装置、送信装置、受信装置
Hirokawa et al. Distributed video coding based on compressive sensing and intra-predictive coding
KR20100067147A (ko) 고해상도 카메라 시스템
JP2007329946A (ja) カプセル内視鏡システム
JP2007060498A (ja) Jpeg圧縮装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070222

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20070222

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081028

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081104

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100202

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100219

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130226

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4464719

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130226

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140226

Year of fee payment: 4

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250