JP2012033142A - 人数計測装置、人数計測方法、プログラム - Google Patents
人数計測装置、人数計測方法、プログラム Download PDFInfo
- Publication number
- JP2012033142A JP2012033142A JP2011003958A JP2011003958A JP2012033142A JP 2012033142 A JP2012033142 A JP 2012033142A JP 2011003958 A JP2011003958 A JP 2011003958A JP 2011003958 A JP2011003958 A JP 2011003958A JP 2012033142 A JP2012033142 A JP 2012033142A
- Authority
- JP
- Japan
- Prior art keywords
- image
- real space
- person
- foreground
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
Abstract
【解決手段】映像に含まれる画像中の各画素の動きベクトルと、前記画像中の前景領域とを入力し、移動人物を計測する通過人数計測装置であって、前記前景領域内の動きベクトルを1次元に射影して射影画像を生成する射影手段と、前記射影手段によって生成された射影画像に含まれる画素のうち極値点を抽出して移動人物を検出する極値点抽出手段と、を有することを特徴とする人数計測装置である。
【選択図】図1
Description
以下、本発明の第1の実施形態による通過人数計測装置について図面を参照して説明する。図1は、この発明の一実施形態による通過人数計測装置の構成を示す概略ブロック図である。通過人数計測装置1は、外部に撮像装置であるカメラ2と、液晶表示装置等の表示装置3が接続され、入力装置11、ROM(read-only memory)12、CPU(central processing unit)13、RAM(random access memory)14、I/F(インタフェース)15、外部記憶装置16、記録媒体駆動装置17、記録媒体18を有し、カメラ2によって撮像された映像に映っている領域を通過する人の数を測定するコンピュータである。
非特許文献5:Kedar A. Patwardhan, Guillermo Sapiro, Vassilios Morellas, “Robust Foreground Detection in Video Using Pixel Layers”, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 30, No. 4, April 2008
(2)絶対値の閾値は、人物あるいは通過を把握したい物体の動き以外によって検出される動きの影響を切り捨てることができる最小値に設定する。
まず、累積画像にθ−ρハフ変換を施し、画素値(投票数)がある閾値以上であるθ−ρ空間上の点を抽出する(ステップS6−1−1)。閾値の決定に際しては、ここではその方法を限定しないが、例えば、累積画像上で極値点がある直線上にいくつ以上並んでいたときにその直線を極値点の軌跡とみなすか、に応じて決定する。図6(d)の累積画像(例えば、縦60ピクセル×横80ピクセル)においてθの刻み幅を1度、ρの刻み幅を1ピクセルとしてハフ変換する場合、画素値の閾値は10〜15程度が好ましい。これは、極値点の軌跡に対応する直線候補の検出漏れと、極値点の軌跡に対応しない直線候補の誤検出との両方が少ないという観点から、実験的に決定した値である。なお、極値点の軌跡ではない直線候補の誤検出の防止や計算時間短縮のために、ハフ変換においてθの範囲を限定してもよい。例えば、人物の移動速度が3[pixel/frame]以下であると前提を置く場合、右向きの動きの観測であれば90°≦θ≦109°とすることができる。
まず、ステップS6−1−1と同様に、画素値がある閾値以上であるθ−ρ空間上の点を抽出する(ステップS6−2−1)。次に、ステップS6−2−1で抽出された点を1、そのほかの点を0とする2値画像(θ,ρ)において座標軸ρに対する射影処理を施し(例えばステップS3、図3を参照)、極値点軌跡の角度分布を生成する(ステップS6−2−2)。
まず、累積画像にθ−ρハフ変換を施すことで得られるθ−ρ画像の各画素値を、投票が多い点を強調するために2乗する(ステップS6−3−1)。次に、2乗したθ−ρ画像において座標軸ρに対する射影処理を施し(ステップS3、図3を参照)、極値点軌跡の角度分布を生成する(ステップS6−3−2)。なお、ステップS3の場合とは異なり、ここでの射影処理対象であるθ−ρ画像は多値画像である。次に、ステップS6−2−3と同様に、代表角度から代表移動速度を算出する(ステップS6−3−3)。
図7は、第2の実施形態における通過人数計測装置1の構成を示す機能ブロック図である。ここでは、図2の各部に対応する部分については、同一の符号を付し、その相違点を説明する。射影処理部103は、カメラ2から出力される画像データと、各画素の動きベクトル、画像の前景画像を入力する。これらの画像データ、動きベクトル、前景画像は、例えば、記憶装置に記憶しておき、射影処理部103が読み出すようにしてもよい。通過人数算出部108は、累積画像生成部105が生成した累積画像から、通過人数を算出する。例えば、累積画像に含まれる射影画像の極大値から移動人物の人数を算出する。
図8は、第3の実施形態における通過人数計測装置1の構成を示す機能ブロック図である。ここでは、図2の各部に対応する部分については、同一の符号を付し、その相違点を説明する。射影処理部103は、カメラ2から出力される画像データと、各画素の動きベクトル、画像の前景画像を入力する。これらの画像データ、動きベクトル、前景画像は、例えば、記憶装置に記憶しておき、射影処理部103が読み出すようにしてもよい。ここでは、例えば、画像データ、動きベクトル、前景画像を既知とし、これに基づいて、代表移動速度を求めることにより、移動人物の速度を算出する。
図9は、第4の実施形態における通過人数計測装置1の構成を示す機能ブロック図である。ここでは、図2の各部に対応する部分については、同一の符号を付し、その相違点を説明する。射影処理部103は、カメラ2から出力される画像データと、各画素の動きベクトル、画像の前景画像を入力する。これらの画像データ、動きベクトル、前景画像は、例えば、記憶装置に記憶しておき、射影処理部103が読み出すようにしてもよい。ここでは、例えば、画像データ、動きベクトル、前景画像を既知とし、これに基づいて、一定時間内に画像に映し出されている領域の距離(画像長の距離)を移動する人数の累積値(累積通過人数)を算出する。
次に、第5の実施形態における通過人数計測装置1について説明する。図10は、この発明の一実施形態による通過人数計測装置の構成を示す概略ブロック図である。動きベクトル抽出部300は、カメラ2からの画像を入力し、動きベクトルを出力する。前景検出部301は、カメラ2からの画像を入力し、前景画像を出力する。実空間マッピング部302は、動きベクトル抽出部300から出力される動きベクトルと前景検出部301から出力される前景画像とを入力し、実空間画像と画面に映っている人物の数を出力する。射影処理部303は、実空間マッピング部302から出力される実空間画像を入力し、射影された動きベクトルを生成して出力する。極値点抽出部304は、射影処理部303から出力される射影された動き情報を入力し、動き情報の極値点を算出して出力する。
まず、累積画像にθ−ρハフ変換を施し、画素値(投票数)がある閾値以上であるθ−ρ空間上の点を抽出する(ステップS30−1−1)。このとき、極値点の軌跡ではない直線候補の誤検出の防止や計算時間短縮のために、ハフ変換においてθの範囲を限定してもよい。例えば、人物の移動速度が3[pixel/frame]以下であると前提を置く場合、右向きの動きの観測であれば90°≦θ≦109°とすることができる。閾値の決定に際しては、ここではその方法を限定しないが、例えば、累積画像上で極値点がある直線上にいくつ以上並んでいたときにその直線を極値点の軌跡とみなすか、に応じて決定する方法や、極値点の軌跡に対応する直線候補の検出漏れと、極値点の軌跡に対応しない直線候補の誤検出との両方が少ないという観点から、実験的に決定する、といった方法がある。
直線の傾きは、対応する極値点が1フレーム当たり何ピクセルu方向に移動するか、を表す。
まず、ステップS30−1−1と同様に、画素値がある閾値以上であるθ−ρ空間上の点を抽出する(ステップS30−2−1)。次に、ステップS30−2−1で抽出された点を1、そのほかの点を0とする2値画像(θ,ρ)において座標軸ρに対する射影処理を施し(ステップS27、図17を参照)、極値点軌跡の角度分布を生成する(ステップS30−2−2)。
まず、累積画像にθ−ρハフ変換を施すことで得られるθ−ρ画像の各画素値を、投票が多い点を強調するために2乗する(ステップS30−3−1)。次に、2乗したθ−ρ画像において座標軸ρに対する射影処理を施し(ステップS27、図17を参照)、極値点軌跡の角度分布を生成する(ステップS30−3−2)。なお、ステップS27の場合とは異なり、ここでの射影処理対象であるθ−ρ画像は多値画像である。次に、ステップS30−2−3と同様に、代表角度から代表移動速度を算出する(ステップS30−3−3)。
図19は、第6の実施形態における通過人数計測装置1の構成を示す機能ブロック図である。ここでは、図10の各部に対応する部分については、同一の符号を付し、その相違点を説明する。実空間マッピング部302は、動きベクトル、前景画像を入力し、実空間画像と、画面に映っている人物の数を生成して出力する。これらの動きベクトル、前景画像は、例えば、記憶装置に記憶しておき、実空間マッピング部303が読み出すようにしてもよい。射影処理部303は、実空間マッピング部302から出力される実空間画像を入力する。通過人数算出部307は、累積画像生成部305が生成した累積画像から、通過人数を算出する。例えば、累積画像に含まれる射影画像の極大値から移動人物の人数を算出する。
図20は、第7の実施形態における通過人数計測装置1の構成を示す機能ブロック図である。ここでは、図10の各部に対応する部分については、同一の符号を付し、その相違点を説明する。実空間マッピング部302は、動きベクトル、前景画像を入力し、実空間画像と、画面に映っている人物の数を生成して出力する。射影処理部303は、実空間マッピング部302から出力される実空間画像を入力する。ここでは、例えば、画像データ、動きベクトル、前景画像を既知とし、これに基づいて、代表移動速度を求めることにより、移動人物の速度を算出する。
図21は、第8の実施形態における通過人数計測装置1の構成を示す機能ブロック図である。ここでは、図10の各部に対応する部分については、同一の符号を付し、その相違点を説明する。実空間マッピング部302は、動きベクトル、前景画像を入力し、実空間画像と、画面に映っている人物の数を生成して出力する。射影処理部303は、実空間マッピング部302によって生成された実空間画像に関して、ある方向に座標軸uをとり、u方向の位置が等しい実空間画像上の各画素における値の総和をとった1次元の射影画像を生成する。ここでは、例えば、画像データ、動きベクトル、前景画像を既知とし、これに基づいて、一定時間内に画像に映し出されている領域の距離(画像長の距離)を移動する人数の累積値(累積通過人数)を算出する。
非特許文献1では、瞬間ごとの人数を計測する領域は画像空間上で設定しており、画像空間と実空間の座標の対応は一意には定まらないため、人数を計測する領域を実空間で考えたい場合にはこの方法をそのまま用いることができない。このような問題を解決するため、画像上の前景部分を実空間にマッピングすることで、実空間上で人数を計測する方法が考えられる。しかし、マッピングのテーブルをあらかじめ作成する場合、実空間への写像関数を画素ごとに用意する必要があるため、写像関数のデータサイズが(撮像画像の画素数)×(実空間上の点数)オーダーとなり、このデータを計算機のメモリ上に確保するのは極めて困難である。第9の実施形態は、画像座標から実空間座標へのマッピングを、少ないメモリ使用量で実現し、実空間上で解析を行うことによって、映像に映っている任意の実空間領域内に存在する人物の数を推定するものであり、前述した第5の実施形態を変形したものである。
次に、第10の実施形態について説明する。第10の実施形態は、前述した第5の実施形態における実空間マッピング302及び第9の実施形態における実空間マッピング部402において実行する処理(ステップS25、S42)を以下で説明する処理動作に置き換えたものである。
Claims (12)
- 映像に含まれる画像中の各画素の動きベクトルと、前記画像中の前景領域とを入力し、移動人物を計測する人数計測装置であって、
前記前景領域内の動きベクトルを1次元に射影して射影画像を生成する射影手段と、
前記射影手段によって生成された射影画像に含まれる画素のうち極値点を抽出して移動人物を検出する極値点抽出手段と、
を有することを特徴とする人数計測装置。 - 極値点抽出手段は、前記射影手段によって生成された射影画像に含まれる画素のうち極値点を抽出して移動人物の射影軸上における位置を検出する
ことを特徴とする請求項1記載の人数計測装置。 - 前記画像中に含まれる人物に対応する画像に基づいて、前記画像中の座標から当該人物の実空間上での位置を示す実空間座標上の画素にマッピングすることにより、実空間画像を生成する実空間マッピング手段を有し、
前記射影処理手段は、前記実空間マッピング手段によって生成された実空間画像から射影画像を生成する
ことを特徴とする請求項1または請求項2に記載の人数計測装置。 - 前記実空間マッピング手段は、前記射影画像上の対象画素を含む人物像の立ち位置としてあり得ある2次元空間上の範囲に該当する画素に所定の値を加算して前記マッピングを行うことにより、前記実空間画像を生成することを特徴とする請求項3に記載の人数計測装置。
- 前記実空間マッピング手段は、前記射影画像上の対象画素を含む人物像の立ち位置としてあり得ある対数空間上の範囲に該当する画素に所定の値を加算して第1のマッピング処理を行い、該第1のマッピング処理結果から2次元空間上にマッピングすることにより、前記実空間画像を生成することを特徴とする請求項3に記載の人数計測装置。
- 前記極値点抽出手段によって抽出された極値画像を経過時間毎に蓄積して累積画像を生成する累積画像生成手段と、
前記累積画像生成手段により生成された累積画像に基づいて、移動人物の人数を計測する人数算出手段
を有することを特徴とする請求項1〜請求項5のうちいずれか1項に記載の人数計測装置。 - 前記極値点抽出手段によって抽出された極値画像を経過時間毎に蓄積して累積画像を生成する累積画像生成手段と、
前記累積画像生成手段により生成された累積画像に基づいて、各極値点の移動速度から、移動人物の代表移動速度を算出する代表速度算出手段と、
を有することを特徴とする請求項1〜請求項5のうちいずれか1項に記載の人数計測装置。 - 前記画像に含まれる人数を検出する人数算出手段と、
前記人数算出手段が検出した人数と、前記代表速度算出手段が算出した代表速度とに基づいて、一定時間内に画像内の領域を通過する人数を算出する通過人数算出手段と、
を有することを特徴とする請求項1〜請求項5のうちいずれか1項に記載の人数計測装置。 - 入力した映像から前景部分を検出し、前景画像を生成する前景画像生成手段と、
前記前景画像上の対象画素を含む人物像の立ち位置としてあり得ある2次元空間上の範囲に該当する画素に所定の値を加算して前記マッピングを行うことにより、前記実空間画像を生成する実空間画像生成手段と、
前記実空間画像の画素値の和を取ることにより、実空間領域に存在する人物の人数を算出する領域内人数算出手段と
を備えたことを特徴とする人数計測装置。 - 入力した映像から前景部分を検出し、前景画像を生成する前景画像生成手段と、
前記前景画像上の対象画素を含む人物像の立ち位置としてあり得ある対数空間上の範囲に該当する画素に所定の値を加算して第1のマッピング処理を行い、該第1のマッピング処理結果から2次元空間上に第2のマッピング処理を行うことにより、前記実空間画像を生成する実空間画像生成手段と、
前記実空間画像の画素値の和を取ることにより、実空間領域に存在する人物の人数を算出する領域内人数算出手段と
を備えたことを特徴とする人数計測装置。 - 映像に含まれる画像中の各画素の動きベクトルと、前記画像中の前景領域とを入力し、移動人物を計測する人数計測装置であるコンピュータを用いて、
前記コンピュータの射影手段が、前記前景領域内の動きベクトルを1次元に射影して射影画像を生成するステップと、
前記コンピュータの極値点抽出手段が、
前記射影手段によって生成された射影画像に含まれる画素のうち極値点を抽出して移動人物を検出するステップと、
を実行することを特徴とする人数計測方法。 - 請求項1〜10のうちいずれか1項に記載された人数計測装置の各手段をコンピュータに機能させることを特徴とするコンピュータプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011003958A JP5478520B2 (ja) | 2010-02-18 | 2011-01-12 | 人数計測装置、人数計測方法、プログラム |
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010033742 | 2010-02-18 | ||
JP2010033742 | 2010-02-18 | ||
JP2010149957 | 2010-06-30 | ||
JP2010149957 | 2010-06-30 | ||
JP2011003958A JP5478520B2 (ja) | 2010-02-18 | 2011-01-12 | 人数計測装置、人数計測方法、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012033142A true JP2012033142A (ja) | 2012-02-16 |
JP5478520B2 JP5478520B2 (ja) | 2014-04-23 |
Family
ID=45846431
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011003958A Expired - Fee Related JP5478520B2 (ja) | 2010-02-18 | 2011-01-12 | 人数計測装置、人数計測方法、プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5478520B2 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013002249A1 (ja) | 2011-06-27 | 2013-01-03 | ローム株式会社 | 半導体モジュール |
JP2014006655A (ja) * | 2012-06-22 | 2014-01-16 | Nippon Telegr & Teleph Corp <Ntt> | 通過人数推定方法及びコンピュータプログラム |
CN105339912A (zh) * | 2013-07-23 | 2016-02-17 | 英特尔公司 | 测量安全区域 |
WO2017159060A1 (ja) * | 2016-03-18 | 2017-09-21 | 日本電気株式会社 | 情報処理装置、制御方法、及びプログラム |
CN107801421A (zh) * | 2016-06-30 | 2018-03-13 | 三菱电机信息***株式会社 | 人数推测装置、人数推测程序以及通过数推测装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04112289A (ja) * | 1990-09-03 | 1992-04-14 | Nippon Telegr & Teleph Corp <Ntt> | 物体計数方法 |
JPH04182791A (ja) * | 1990-11-19 | 1992-06-30 | Nippon Telegr & Teleph Corp <Ntt> | 物体計数方法 |
JPH07141484A (ja) * | 1993-11-17 | 1995-06-02 | Matsushita Electric Ind Co Ltd | データ処理装置とそれを用いた人数計数装置 |
JPH08202847A (ja) * | 1995-01-31 | 1996-08-09 | Matsushita Electric Ind Co Ltd | 移動体計数装置 |
JP2010079419A (ja) * | 2008-09-24 | 2010-04-08 | Mitsubishi Electric Corp | 人数計数装置及び人数計数方法 |
-
2011
- 2011-01-12 JP JP2011003958A patent/JP5478520B2/ja not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04112289A (ja) * | 1990-09-03 | 1992-04-14 | Nippon Telegr & Teleph Corp <Ntt> | 物体計数方法 |
JPH04182791A (ja) * | 1990-11-19 | 1992-06-30 | Nippon Telegr & Teleph Corp <Ntt> | 物体計数方法 |
JPH07141484A (ja) * | 1993-11-17 | 1995-06-02 | Matsushita Electric Ind Co Ltd | データ処理装置とそれを用いた人数計数装置 |
JPH08202847A (ja) * | 1995-01-31 | 1996-08-09 | Matsushita Electric Ind Co Ltd | 移動体計数装置 |
JP2010079419A (ja) * | 2008-09-24 | 2010-04-08 | Mitsubishi Electric Corp | 人数計数装置及び人数計数方法 |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013002249A1 (ja) | 2011-06-27 | 2013-01-03 | ローム株式会社 | 半導体モジュール |
EP3573096A1 (en) | 2011-06-27 | 2019-11-27 | Rohm Co., Ltd. | Semiconductor module |
EP4036967A1 (en) | 2011-06-27 | 2022-08-03 | Rohm Co., Ltd. | Semiconductor module |
JP2014006655A (ja) * | 2012-06-22 | 2014-01-16 | Nippon Telegr & Teleph Corp <Ntt> | 通過人数推定方法及びコンピュータプログラム |
CN105339912A (zh) * | 2013-07-23 | 2016-02-17 | 英特尔公司 | 测量安全区域 |
WO2017159060A1 (ja) * | 2016-03-18 | 2017-09-21 | 日本電気株式会社 | 情報処理装置、制御方法、及びプログラム |
JPWO2017159060A1 (ja) * | 2016-03-18 | 2019-01-17 | 日本電気株式会社 | 情報処理装置、制御方法、及びプログラム |
US10699422B2 (en) | 2016-03-18 | 2020-06-30 | Nec Corporation | Information processing apparatus, control method, and program |
US11158068B2 (en) | 2016-03-18 | 2021-10-26 | Nec Corporation | Information processing apparatus, control method, and program |
US11205275B2 (en) | 2016-03-18 | 2021-12-21 | Nec Corporation | Information processing apparatus, control method, and program |
US11361452B2 (en) | 2016-03-18 | 2022-06-14 | Nec Corporation | Information processing apparatus, control method, and program |
CN107801421A (zh) * | 2016-06-30 | 2018-03-13 | 三菱电机信息***株式会社 | 人数推测装置、人数推测程序以及通过数推测装置 |
Also Published As
Publication number | Publication date |
---|---|
JP5478520B2 (ja) | 2014-04-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6942488B2 (ja) | 画像処理装置、画像処理システム、画像処理方法、及びプログラム | |
JP6700752B2 (ja) | 位置検出装置、位置検出方法及びプログラム | |
US10810438B2 (en) | Setting apparatus, output method, and non-transitory computer-readable storage medium | |
Ye et al. | A depth camera motion analysis framework for tele-rehabilitation: Motion capture and person-centric kinematics analysis | |
US7221779B2 (en) | Object measuring apparatus, object measuring method, and program product | |
CN109211277B (zh) | 视觉惯性里程计的状态确定方法、装置和电子设备 | |
JP6744747B2 (ja) | 情報処理装置およびその制御方法 | |
JP2021514512A (ja) | 動作の識別および動作情報を用いた規範的な分析の生成 | |
JP5478520B2 (ja) | 人数計測装置、人数計測方法、プログラム | |
KR101051389B1 (ko) | 적응적 배경 기반의 객체 검출 및 추적 장치 및 방법 | |
Zhu et al. | A computer vision-based system for stride length estimation using a mobile phone camera | |
KR20160049897A (ko) | 연속적인 의료 영상을 이용한 컴퓨터 보조 진단 장치 및 방법 | |
WO2020170299A1 (ja) | 疲労判定装置、疲労判定方法、および疲労判定プログラム | |
CN104101305A (zh) | 柔性显示器的弯曲运动的光学检测 | |
JP7266599B2 (ja) | 患者の身体運動を検知するためのデバイス、システム及び方法 | |
CN110211021B (zh) | 图像处理装置、图像处理方法和存储介质 | |
JP6583923B2 (ja) | カメラのキャリブレーション装置、方法及びプログラム | |
TW201006527A (en) | Measuring object contour method and measuring object contour apparatus | |
JP2004046464A (ja) | 移動物体3次元位置推定装置及びその方法、プログラム並びにその記録媒体 | |
JP2011090708A (ja) | 対象個数検出装置および対象個数検出方法 | |
JP5419925B2 (ja) | 通過物体数計測方法、通過物体数計測装置、及びプログラム | |
JP2001167283A (ja) | 顔面運動解析装置および顔面運動解析のためのプログラムを記憶した記憶媒体 | |
Munn et al. | FixTag: An algorithm for identifying and tagging fixations to simplify the analysis of data collected by portable eye trackers | |
CN111047635B (zh) | 基于深度图像的平面触摸方法、装置与触摸*** | |
JP2020201674A (ja) | 映像解析装置及びその制御方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130123 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20130605 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20130726 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131015 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131202 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140204 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140210 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5478520 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |