JP5665580B2 - 映像監視装置 - Google Patents
映像監視装置 Download PDFInfo
- Publication number
- JP5665580B2 JP5665580B2 JP2011021709A JP2011021709A JP5665580B2 JP 5665580 B2 JP5665580 B2 JP 5665580B2 JP 2011021709 A JP2011021709 A JP 2011021709A JP 2011021709 A JP2011021709 A JP 2011021709A JP 5665580 B2 JP5665580 B2 JP 5665580B2
- Authority
- JP
- Japan
- Prior art keywords
- contour
- camera
- video
- unit
- night
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
Description
例えば、以下の特許文献1に開示されている映像監視装置では、固定の情報を示す映像を背景映像として、複数の可変な情報を指定の順番で背景映像に合成することで監視映像を生成するようにしている。
また、以下の特許文献2に開示されている映像監視装置では、カメラユニットにより撮影される広域の被写体に対応している地図情報や写真情報を格納しているデータベースを備え、カメラユニットにより撮影された映像を表示しているとき、その映像上の所定位置が指定されると、データベースから指定位置に対応する地図情報や写真情報を取得して、その地図情報や写真情報を表示するようにしている。
カメラの画角を変更することでカメラの撮影範囲が切り替わるが、監視者が、どこの場所が撮影されているのかを把握する際には、カメラの映像内の背景を確認することで識別することが想定される。
図1はこの発明の実施の形態1による映像監視装置を含む映像監視システムを示す構成図である。
図1において、映像監視装置1は旋回可能なカメラ11が広範囲な監視領域(例えば、河川、道路など)を撮影し、その監視領域の映像を出力する装置である。
表示装置2は例えばGPU(Graphics Processing Unit)やディスプレイなどから構成されており、映像監視装置1から出力された映像を表示する処理を実施する。
図1の例では、表示装置2が映像監視装置1の外部に設置されているが、表示装置2が映像監視装置1の内部に設置されていてもよい。
図1の例では、操作入力装置3が映像監視装置1の外部に設置されているが、操作入力装置3が映像監視装置1の内部に設置されていてもよい。
なお、操作入力装置3は重畳要求受付手段を構成している。
即ち、カメラ11は撮影可能な監視領域の全範囲からパン・チルト・ズーム動作(旋回・ズーム動作)による画角に応じた範囲(撮影範囲)を撮影し、その撮影範囲の映像を示す映像信号(垂直同期信号、水平同期信号を含む)を出力する。
ここで、画角制御部12は、カメラ11の旋回・ズームを実現するアクチュエータなどから構成されているものが想定されるが、例えば、カメラ11の画角を制御するモータ等が、カメラ11と一体化されているような場合には、画角制御部12は、当該モータを制御するためのPTZ値を当該モータに送信すれば足りるため、アクチュエータなどではなく、例えば、CPUを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されていてもよい。
また、ここでは、画角制御部12が、操作入力装置3から出力された操作信号にしたがってカメラ11のパン・チルト・ズームを制御している例を示しているが、監視者が図示せぬグラフィカルユーザインタフェースを操作することで入力された操作信号にしたがってカメラ11のパン・チルト・ズームを制御するようにしてもよい。
座標特定部14aは操作入力装置3から輪郭の抽出要求を示す操作信号を受けると、画角制御部12からカメラ11の撮影範囲を示すPTZ値を取得し、そのPTZ値を参照して、映像輪郭抽出部13から出力された輪郭データが示す輪郭のカメラ11の映像内の表示座標を特定する処理を実施する。
また、座標特定部14aは映像輪郭抽出部13から出力された輪郭データ及び上記表示座標をカメラ11のPTZ値と関連付けてデータベース15に格納する処理を実施する。
なお、座標特定部14aは座標特定手段を構成している。
データベース15は例えばRAMやハードディスクなどの記録装置から構成されており、カメラ11のPTZ値と関連付けられている輪郭データ及び表示座標を格納する。
また、図6はこの発明の実施の形態1による映像監視装置の画角制御部12の処理内容(PTZ値の取得処理)を示すフローチャートである。
また、図7はこの発明の実施の形態1による映像監視装置の座標特定部14aの処理内容を示すフローチャートであり、図8はこの発明の実施の形態1による映像監視装置のデータ取得部14bの処理内容を示すフローチャートである。
また、図9はこの発明の実施の形態1による映像監視装置の映像出力部18の処理内容を示すフローチャートである。
図2において、切替器4は複数台の映像監視装置1の中から、操作入力装置3から出力された操作信号(所望の映像監視装置1の選択結果を示す操作信号)にしたがって、数台(例えば、4台)の映像監視装置1を選択し、その映像監視装置1から出力された映像を表示装置2に出力する処理を実施する。
なお、図2の映像監視システムは、例えば、20台〜100台以上のカメラを複数の地点に設置し、河川や道路等を広範囲に亘って監視する際に適用される。
図2の映像監視システムのように複数台の映像監視装置1が用いられる場合、複数台の表示装置2が映像監視システムに実装される場合もあるが、図3に示すように、1台の表示装置2の画面を分割して、数台の映像監視装置1から出力された映像を同時に表示する場合がある。また、複数台の表示装置2のディスプレイを分割して使用することもある。
また、表示するカメラ11の映像についても、複数の映像監視装置1を時分割で切り替え、映像監視装置1の台数が多くなっても、表示装置2の増加を抑える等の構成となっている。
カメラ番号(1−1)のカメラ映像→カメラ番号(1−2)のカメラ映像
→カメラ番号(1−3)のカメラ映像→カメラ番号(1−4)のカメラ映像
→カメラ番号(1−1)のカメラ映像・・・
なお、表示装置2の表示画面上には、カメラ映像のほかに、当該映像に対応するカメラのカメラ番号や、カメラ番号に対応するカメラの設置位置などの文字を表示させることも可能である。
監視者は、カメラ11の撮影範囲を切り替えることを希望する場合、操作入力装置3を用いて、カメラ11の撮影範囲の切替操作を行う。
切替操作方法は特に問わないが、例えば、キーボードの旋回ボタンやズームボタンなどを押すことで切り替える方法などが考えられる。
操作入力装置3は、切替操作後の撮影範囲に対応するカメラ11のPTZ値を示す操作信号を画角制御部12に出力する。
ここでは、操作入力装置3が、切替操作後の撮影範囲に対応するカメラ11のPTZ値を示す操作信号を画角制御部12に出力する例を示しているが、これに限るものではなく、例えば、カメラ11の撮影範囲の切替操作に伴うPTZ値の変更量を示す操作信号を画角制御部12に出力するようにしてもよい。
画角制御部12は、操作入力装置3から出力された操作信号が示すPTZ値を取得すると、その操作信号が示すPTZ値と、カメラ11のPTZ値とが一致するようにカメラ11のパン・チルト・ズームを制御することで、カメラ11の画角(撮影範囲)を制御する(ステップST2)。
即ち、画角制御部12は、操作入力装置3から出力された操作信号が示すPTZ値を取得すると、そのPTZ値をカメラ11に送信する。
カメラ11は、画角制御部12から送信されたPTZ値を受信すると、そのPTZ値にしたがって図示しないモータを駆動することで、パン・チルト・ズームを変化させる。
操作入力装置3は、監視者が輪郭の抽出要求を入力すると、輪郭の抽出要求を示す操作信号を映像輪郭抽出部13及び座標特定部14aに出力する。
即ち、映像輪郭抽出部13は、操作入力装置3から輪郭の抽出要求を示す操作信号を受けると、カメラ11から垂直/水平同期信号を含むアナログの映像信号を入力し、その垂直/水平同期信号に基づいて、アナログの映像信号を映像フレーム毎にA/D(アナログ/デジタル)変換する。
映像輪郭抽出部13は、アナログの映像信号を映像フレーム毎にA/D変換すると、デジタルの映像信号に含まれている輝度値と色信号値を用いて、画像のエッジを検出することで、輪郭を抽出する。
・非特許文献1
「神奈川工科大学 情報学部 情報工学科 “木村誠聡の研究室” デジタル信号処理、画像エッジ検出(http://www.f-kmr.com/index.html)。」
画像(2次元)の微分によるエッジ検出は以下のようになる。
[各方向の微分量の算出]
fx = s(i+1,j) - s(i,j)
fy = s(i,j+1) - s(i,j)
[画像のエッジの強さ]
y(i,j) = (fx2 + fy2)1/2
または
y(i,j) = |fx| + |fy|
[画像のエッジの方向]
θ = tan-1 (fy/fx)
このようにして、映像の変化点を輪郭として抽出する。
映像輪郭抽出部13は、次の垂直同期信号が入力されるまで待機し(ステップST15)、カメラ11から出力される映像の入力が終了したか否かを判定し(ステップST16)、映像の入力が終了していなければ、ステップST11の処理に戻り、ステップST11〜ST15の処理を繰り返し実施する。
一方、映像の入力が終了していれば、輪郭の抽出処理を終了する。
画角制御部12は、情報表示制御部14の座標特定部14aからPTZ値の取得要求を受けると、PTZ値の問い合わせ信号をカメラ11に送信する(図6のステップST21)。
カメラ11は、画角制御部12から送信されたPTZ値の問い合わせ信号を受信すると、その問い合わせ信号の応答信号として、現在のPTZ値を画角制御部12に返信する。
画角制御部12は、カメラ11から返信されたPTZ値を受信し(ステップST22)、そのPTZ値を図示せぬメモリに格納する(ステップST23)。
即ち、座標特定部14aは、画角制御部12がカメラ11から返信されたPTZ値を図示せぬメモリに格納すると、そのメモリからPTZ値の読み出しを行う(図7のステップST31)。
また、座標特定部14aは、映像輪郭抽出部13によって輪郭データが格納されている図示せぬメモリから輪郭データの読み出しを行う(ステップST32)。
PTZ値はカメラ11のパン値、チルト値及びズーム値を示すものであるため、PTZ値が分かれば、カメラ11により撮影された映像の範囲が一義的に決定される。カメラ11により撮影された映像の範囲が分かれば、その映像と映像輪郭抽出部13により抽出された輪郭の対応付けが可能であるため、その輪郭のカメラ映像内の表示座標を特定することができる。
なお、輪郭のカメラ映像内の表示座標は、公知の技術で特定することができるため詳細な説明を省略する。
関連付けの形式は、輪郭を表す線を映像に重畳する際に、カメラ11のPTZ値を指定すれば、そのPTZ値に対応する輪郭データ及び表示座標を特定することが可能な形式であれば、どのような形式でもかまわない。
操作入力装置3は、監視者が輪郭の重畳要求を入力すると、輪郭の重畳要求を示す操作信号をデータ取得部14b及び映像出力部16に出力する。
画角制御部12は、情報表示制御部14の座標特定部14aからPTZ値の取得要求を受けると、PTZ値の問い合わせ信号をカメラ11に送信する(図6のステップST21)。
カメラ11は、画角制御部12から送信されたPTZ値の問い合わせ信号を受信すると、その問い合わせ信号の応答信号として、現在のPTZ値を画角制御部12に返信する。
画角制御部12は、カメラ11から返信されたPTZ値を受信し(ステップST22)、そのPTZ値を図示せぬメモリに格納する(ステップST23)。
データ取得部14bは、メモリからPTZ値を読み出すと、データベース15から当該PTZ値に関連付けられている輪郭データ及び表示座標の読み出しを行う(ステップST42)。
データ取得部14bは、データベース15から輪郭データ及び表示座標を読み出すと、その輪郭データ及び表示座標を映像出力部16に出力する(ステップST43)。
映像出力部16は、映像、輪郭データ及び表示座標を入力すると、その映像内の当該表示座標に、その輪郭データが示す輪郭を表す線を重畳し、輪郭重畳後の映像を監視映像として表示装置2に出力する(ステップST53)。
ただし、監視者が、変更受付手段を構成している操作入力装置3を操作して、輪郭を表す線の色及び線種の変更要求を入力している場合には、その変更要求に沿う表示色・線種で輪郭を表す線が表示されるように映像内に重畳する。
図10の映像は、昼間に撮影された全体が鮮明な映像である。監視対象は手前の河川であり、監視項目は例えば水位である。
図11の映像は、図10と同じ場所が撮影された映像であるが、夜間に撮影されているため、全体が不鮮明な映像になっている。このため、監視対象の河川だけでなく、河川の背景に見える川岸、森、遠景の山並みの確認が困難になっている。
図12の映像は、図10と同じ場所が撮影された映像であり、図11と同様に夜間に撮影されている映像である。
しかし、映像内に輪郭を表す線が重畳されているため、夜間の映像であっても、背景の確認が容易であり、カメラ11により撮影されている場所を容易に把握することができる。
図14の映像は、図10と同じ場所が撮影された映像であり、図13と同様に霧発生時に撮影されている映像である。
しかし、映像内に輪郭を表す線が重畳されているため、霧発生時の映像であっても、背景の確認が容易であり、カメラ11により撮影されている場所を容易に把握することができる。
上記実施の形態1では、監視者が操作入力装置3を操作して、輪郭の重畳要求を入力すると、データベース15に格納されている輪郭データが示す輪郭を表す線をカメラ11の映像内に重畳するものを示したが、昼夜を判定して、夜間である場合には、自動的にデータベース15に格納されている輪郭データが示す輪郭を表す線をカメラ11の映像内に重畳するようにしてもよい。
昼夜判定部17はCPUを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、カメラ11から出力された映像の振幅値又は現在の時刻から昼夜を判定する処理を実施する。なお、昼夜判定部17は昼夜判定手段を構成している。
図16はこの発明の実施の形態2による映像監視装置の昼夜判定部17の処理内容を示すフローチャートである。
ただし、昼夜判定部17及び情報表示制御部14のデータ取得部14c以外は、上記実施の形態1と同様であるため詳細な説明を省略する。
この実施の形態2では、上記実施の形態1と同様の方法で、映像の輪郭が抽出され、その輪郭を示す輪郭データ及び表示座標がPTZ値と関連付けられてデータベース15に格納されているものとして説明する。
即ち、昼夜判定部17は、最初に、カウンタNを“0”に初期化する(図16のステップST61)。
カウンタNは、昼夜判定部17の保護段数をカウントする変数であり、昼夜判定部17が夜である旨の判定を行う毎に、1つずつインクリメントされるものである。
昼夜判定部17は、その映像の振幅値が昼夜検出閾値より小さければ、夜である旨の判定を行い(ステップST64)、カウンタNの値を1だけインクリメントする(ステップST65)。
一方、その映像の振幅値が昼夜検出閾値より大きければ、昼である旨の判定を行い(ステップST64)、カウンタNの値をクリア(N=0)する(ステップST66)。
昼夜判定部17は、カウンタNの値が閾値Mより大きい場合(N>M)、カウンタNの値を閾値Mに置き換える(ステップST68)。
ここで、閾値Mは、ステップST63,ST64の昼夜判定での誤検出を防止する目的で設定された設定値である。
昼夜判定部17は、夜である旨を示す判定結果を出力すると、次の垂直同期信号が入力されるまで待機する(ステップST71)。
カウンタNの値が閾値Mと一致しない場合や(ステップST69)、カウンタNの値がクリア(N=0)された場合も(ステップST66)、次の垂直同期信号が入力されるまで待機する(ステップST71)。
その後、カメラ11の映像の入力が終了したか否かを判定し(ステップST72)、その映像の入力が終了していなければ、ステップST62の処理に戻り、ステップST62〜ST71の処理を繰り返し実施する。一方、その映像の入力が終了していれば、昼夜判定処理を終了する。
画角制御部12は、情報表示制御部14の座標特定部14aからPTZ値の取得要求を受けると、PTZ値の問い合わせ信号をカメラ11に送信する(図6のステップST21)。
カメラ11は、画角制御部12から送信されたPTZ値の問い合わせ信号を受信すると、その問い合わせ信号の応答信号として、現在のPTZ値を画角制御部12に返信する。
画角制御部12は、カメラ11から返信されたPTZ値を受信し(ステップST22)、そのPTZ値を図示せぬメモリに格納する(ステップST23)。
データ取得部14cは、メモリからPTZ値を読み出すと、図1のデータ取得部14bと同様に、データベース15から当該PTZ値に関連付けられている輪郭データ及び表示座標の読み出しを行う。
データ取得部14cは、データベース15から輪郭データ及び表示座標を読み出すと、図1のデータ取得部14bと同様に、その輪郭データ及び表示座標を映像出力部16に出力する。
なお、監視者が、変更受付手段を構成している操作入力装置3を操作して、昼夜検出閾値や閾値Mの変更を要求している場合には、変更後の昼夜検出閾値や閾値Mを用いて、昼夜を判定するようにする。
また、監視者が、変更受付手段を構成している操作入力装置3を操作して、その設定時刻の変更を要求している場合には、変更後の設定時刻を用いて、昼夜を判定するようにする。
Claims (6)
- 監視領域を撮影して、上記監視領域の映像を出力する旋回制御可能なカメラと、
上記カメラの旋回を制御する撮影範囲制御手段と、
上記カメラから出力された映像の輪郭を抽出する輪郭抽出手段と、
上記カメラの撮影範囲を参照して、上記輪郭抽出手段により抽出された輪郭の上記映像内の表示座標を特定する座標特定手段と、
上記輪郭抽出手段により抽出された輪郭を示す輪郭データ及び上記座標特定手段により特定された表示座標を上記カメラの撮影範囲と関連付けて格納するデータベースと、
上記撮影範囲制御手段からカメラの撮影範囲を取得して、上記データベースから上記撮影範囲に関連付けられている輪郭データ及び表示座標を取得するデータ取得手段と、
上記カメラから出力された映像内の上記データ取得手段により取得された上記表示座標に、上記データ取得手段により取得された輪郭データが示す輪郭を表す線を重畳し、輪郭重畳後の映像を出力する映像出力手段とを備えた映像監視装置。 - 監視領域を撮影して、上記監視領域の映像を出力する旋回制御可能なカメラと、
上記カメラの旋回を制御する撮影範囲制御手段と、
上記カメラから出力された映像の輪郭を抽出する輪郭抽出手段と、
上記カメラの撮影範囲を参照して、上記輪郭抽出手段により抽出された輪郭の上記映像内の表示座標を特定する座標特定手段と、
上記輪郭抽出手段により抽出された輪郭を示す輪郭データ及び上記座標特定手段により特定された表示座標を上記カメラの撮影範囲と関連付けて格納するデータベースと、
上記カメラから出力された映像の振幅値又は現在の時刻から昼夜を判定する昼夜判定手段と、
上記昼夜判定手段の判定結果が夜である旨を示す場合、上記撮影範囲制御手段からカメラの撮影範囲を取得して、上記データベースから上記撮影範囲に関連付けられている輪郭データ及び表示座標を取得するデータ取得手段と、
上記カメラから出力された映像内の上記データ取得手段により取得された上記表示座標に、上記データ取得手段により取得された輪郭データが示す輪郭を表す線を重畳し、輪郭重畳後の映像を出力する映像出力手段とを備えた映像監視装置。 - 輪郭の重畳要求を受け付ける重畳要求受付手段を備え、
データ取得手段は、上記重畳要求受付手段により上記輪郭の重畳要求が受け付けられると、撮影範囲制御手段からカメラの撮影範囲を取得して、データベースから上記撮影範囲に関連付けられている輪郭データ及び表示座標を取得する
ことを特徴とする請求項1または請求項2に記載の映像監視装置。 - 映像の振幅値と所定の閾値を比較することで、昼夜判定手段が昼夜を判定する場合、上記閾値の変更を受け付ける変更受付手段を備えていることを特徴とする請求項2記載の映像監視装置。
- 現在の時刻と設定時刻を比較することで、昼夜判定手段が昼夜を判定する場合、上記設定時刻の変更を受け付ける変更受付手段を備えていることを特徴とする請求項2記載の映像監視装置。
- 映像出力手段により重畳される輪郭を表す線の色及び線種の変更を受け付ける変更受付手段を備えていることを特徴とする請求項1から請求項5のうちのいずれか1項記載の映像監視装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011021709A JP5665580B2 (ja) | 2011-02-03 | 2011-02-03 | 映像監視装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011021709A JP5665580B2 (ja) | 2011-02-03 | 2011-02-03 | 映像監視装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012165051A JP2012165051A (ja) | 2012-08-30 |
JP5665580B2 true JP5665580B2 (ja) | 2015-02-04 |
Family
ID=46844053
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011021709A Expired - Fee Related JP5665580B2 (ja) | 2011-02-03 | 2011-02-03 | 映像監視装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5665580B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6284408B2 (ja) | 2014-04-03 | 2018-02-28 | オリンパス株式会社 | 画像処理装置、撮像装置、判定方法、駆動方法、撮像方法およびプログラム |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11243538A (ja) * | 1998-02-25 | 1999-09-07 | Nissan Motor Co Ltd | 車両用視認装置 |
CA2367915A1 (en) * | 1999-03-16 | 2000-09-21 | Jia Hong Yin | Closed circuit television (cctv) camera and system |
JP3980304B2 (ja) * | 2001-08-24 | 2007-09-26 | 松下電器産業株式会社 | 駐車支援装置 |
JP2006173835A (ja) * | 2004-12-14 | 2006-06-29 | Fujitsu Ten Ltd | 運転支援装置、及び運転支援システム |
JP4611911B2 (ja) * | 2006-02-24 | 2011-01-12 | セコム株式会社 | 画像センサ |
-
2011
- 2011-02-03 JP JP2011021709A patent/JP5665580B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2012165051A (ja) | 2012-08-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6587113B2 (ja) | 画像処理装置及び画像処理方法 | |
JP6924079B2 (ja) | 情報処理装置及び方法及びプログラム | |
JP6631619B2 (ja) | 映像監視システム及び映像監視方法 | |
JP6403687B2 (ja) | 監視システム | |
KR101695249B1 (ko) | 감시 영상 표시 방법 및 시스템 | |
JP6622650B2 (ja) | 情報処理装置及びその制御方法、撮影システム | |
US20160155009A1 (en) | Display apparatus and image processing method thereby | |
GB2485036A (en) | Preventing subject occlusion in a dual lens camera PIP display | |
CN107846623B (zh) | 一种视频联动方法和*** | |
JP2016127571A (ja) | カメラシステム、表示制御装置、表示制御方法、及びプログラム | |
KR101700651B1 (ko) | 위치정보 기반의 공유 경로데이터를 이용한 객체 트래킹 장치 | |
JP5665580B2 (ja) | 映像監視装置 | |
KR101619956B1 (ko) | 감시카메라용 자동 다중 추적 영상처리장치 | |
US20220309682A1 (en) | Object tracking apparatus, object tracking method, and program | |
US20200167948A1 (en) | Control system, method of performing analysis and storage medium | |
JP2018139052A (ja) | 通信端末、画像通信システム、表示方法、及びプログラム | |
JP2008244946A (ja) | 画像表示装置、画像表示制御方法、プログラムおよび監視カメラシステム | |
KR101572800B1 (ko) | 3차원 공간 모델에 대한 카메라 제어 시스템 | |
EP2831702B1 (en) | Information processing device, information processing method and program | |
WO2022172270A1 (en) | System and method for removing obstructing objects in a head mounted display | |
KR101559739B1 (ko) | 가상 모델과 카메라 영상의 융합시스템 | |
JP3858018B2 (ja) | 映像監視システム | |
JP2005260753A (ja) | カメラ選択装置、及びカメラ選択方法 | |
JP2019139697A (ja) | 表示装置、映像表示システム、及び映像表示方法 | |
US9449364B2 (en) | Information processing apparatus, information processing method, and program to recognize circumstances of a subject from a moving image |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130724 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140416 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140422 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140523 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141111 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141209 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5665580 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |