JP6696422B2 - 異常検知装置及び異常検知方法 - Google Patents
異常検知装置及び異常検知方法 Download PDFInfo
- Publication number
- JP6696422B2 JP6696422B2 JP2016529191A JP2016529191A JP6696422B2 JP 6696422 B2 JP6696422 B2 JP 6696422B2 JP 2016529191 A JP2016529191 A JP 2016529191A JP 2016529191 A JP2016529191 A JP 2016529191A JP 6696422 B2 JP6696422 B2 JP 6696422B2
- Authority
- JP
- Japan
- Prior art keywords
- state
- persons
- image
- person
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/60—Static or dynamic means for assisting the user to position a body part for biometric acquisition
- G06V40/63—Static or dynamic means for assisting the user to position a body part for biometric acquisition by static guides
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
- G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Alarm Systems (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Description
前記所定の変化後の状態にある人物が複数人検出された場合に、異常状態であると判定する判定手段と、を有し、
前記判定手段は、前記複数人で生じたことが検出された前記所定の変化後の状態の発生時期のずれを異常状態の判定のために更に用い、
前記判定手段は、前記複数人で生じたことが検出された前記所定の変化後の状態の発生時期のずれに応じて、異常状態の程度を推測する。
〔装置構成〕
図1は、第一実施形態における画像処理装置(以降、単に処理装置と表記する場合もある)1のハードウェア構成例を概念的に示す図である。処理装置1は、いわゆるコンピュータであり、例えば、バスで相互に接続される、CPU(Central Processing Unit)2、メモリ3、通信ユニット4、入出力インタフェース(I/F)5等を有する。メモリ3は、RAM(Random Access Memory)、ROM(Read Only Memory)、ハードディスク等である。通信ユニット4は、他のコンピュータや機器と信号のやりとりを行う。第一実施形態では、通信ユニット4には監視カメラ7が接続される。通信ユニット4は、監視カメラ7から映像信号を取得する。また、通信ユニット4には、可搬型記録媒体等も接続され得る。
図2は、第一実施形態における画像処理装置1の処理構成例を概念的に示す図である。図2に示されるように、処理装置1は、取得部11、人物検出部12、変化検出部13、保持部14、判定部15、出力処理部16等を有する。これら各処理部は、例えば、CPU2によりメモリ3に格納されるプログラムが実行されることにより実現される。また、当該プログラムは、例えば、CD(Compact Disc)、メモリカード等のような可搬型記録媒体やネットワーク上の他のコンピュータから通信ユニット4又は入出力I/F5を介してインストールされ、メモリ3に格納されてもよい。
判定部15は、複数人での対象の状態変化の発生時期のずれを異常状態の判定のために更に用いることもできる。この場合、判定部15は、対象の状態変化が所定人数以上で生じていることを検知すると、その状態変化の発生時期の集合の時間幅を計算する。判定部15は、その時間幅が所定時間幅内か否かを判定する。即ち、判定部15は、所定時間内で対象の状態変化が複数人で生じたことを検出し、この検出結果に応じて異常状態を判定する。複数人での対象の状態変化の発生時期のずれが小さい程、何らかの異常状態が発生している可能性が高い。ほぼ同じタイミングで複数人が対象の状態変化を生じさせることは、異常状態の発生に起因する可能性が高いからである。このように、「所定時間内」という条件を更に設けて異常状態を判定することで、異常状態の判定精度を向上させることができる。
判定部15は、変化後の状態が同一の上記対象の状態変化が複数人で生じたことを検出し、この検出に応じて異常状態を判定することもできる。この場合、判定部15は、保持部14に保持される状態変化情報の中で、状態変化の内容が同一の人物の数をカウントし、この人数が所定人数以上となる状態変化が存在した場合に、異常状態有りと判定する。複数人が同じ状態変化を起こした場合には、何かしらの異常状態が生じている可能性が高い。よって、このように「変化後の状態が同一」という条件を異常状態判定に更に加えることで、異常状態の判定精度を高めることができる。
判定部15は、対象の状態変化が距離的に近い複数人で生じたことを検出し、この検出に応じて異常状態を判定することもできる。この場合、判定部15は、保持部14に保持される状態変化情報の位置情報を用いて、対象の状態変化を起こした各人の相対的距離(画像内距離)を算出する。判定部15は、算出された相対距離が所定距離以内となる人数をカウントし、その人数が所定人数以上となる場合に、異常状態有りと判定する。距離的に近い複数人が対象の状態変化を起こした場合には、何かしらの異常状態が生じている可能性が高い。よって、このように「対象の状態変化を起こした各人の相対距離が近い」という条件を異常状態判定に更に加えることで、異常状態の判定精度を高めることができる。
出力処理部16は、入力画像中の、状態変化の検出が異常状態判定の根拠とされた人物群又は当該人物群の各人に、描画要素が付された画像を出力装置6に出力させる。描画要素を付す位置は、例えば、保持部14に保持される状態変化情報の位置情報により決定される。以降、状態変化の検出が異常状態判定の根拠とされた人物群を「根拠となる人物群」と表記する場合もある。出力処理部16は、保持部14に保持される入力画像に対して当該描画要素を付して得られる画像を出力装置6に出力させる。当該描画要素は、例えば、根拠となる人物群を囲む線、その人物群又はその人物群の各人に付される何らかのマーク(点、星、感嘆符、矢印、吹き出し等)である。根拠となる人物群又はその各人が特定できるように付されていれば、当該描画要素自体及び当該描画要素を付す位置及びその付し方は、制限されない。
出力処理部16は、入力画像中の、状態変化の検出が異常状態判定の根拠とされた人物群に対して、当該人物群の人数及び当該人物群の各人の相対距離のいずれか一方又は両方が更に付された画像を出力装置6に出力させることもできる。人数及び相対距離は、対象の人物群を特定可能な位置に付される。ここで、根拠となる人物群の人数及び当該人物群の各人の相対距離は、異常状態の判定精度を表すと考えられる。対象の状態変化を起こした人数が多い場合、及び、対象の状態変化を起こした各人の距離が近い場合には、異常状態が存在している可能性が高いからである。よって、このような出力画像により、その画像を見た者が、異常状態の判定精度を容易に推測できるようになる。
出力処理部16は、上記描画要素として又は上記描画要素と共に、状態変化の検出が異常状態判定の根拠とされた人物群の各人に、状態変化の順番又は状態変化の時間差が付された画像を出力装置6に出力させることもできる。各人物の状態変化の時間としては、その状態変化が検出された各入力画像に対応する時間が用いられる。ここで、状態変化の時間差とは、最先の状態変化が生じた時間から、各人が起こした状態変化の時間までの間の時間差である。例えば、最先の状態変化を起こした人の周囲に「±0」が付され、その他の各人の周囲にその人が起こした状態変化の時間までの時間差「+5秒」、「+8秒」が付される。異常状態に伴う状態変化は、その異常状態に近い者から起こす可能性が高い。よって、状態変化の順番又は状態変化の時間差を付した画像を出力することにより、その画像を見た者が、異常状態の存在場所を容易に推測できるようになる。
出力処理部16は、異常状態判定の根拠とされた複数人の状態変化における変化後の状態に対応する方向を表す描画要素が付された画像を出力装置6に出力させることもできる。この方向を表す描画要素は、根拠とされた人物群又は当該人物群の各人に付される。出力処理部16は、変化後の状態と対応する方向情報との関連付けを予め保持する。例えば、変化後の状態が「しゃがむ」の場合、異常状態は、その人の上方又は下方に存在する可能性が高いため、変化後の状態「しゃがむ」に対して「上方向」及び「下方向」が対応付けられる。また、状態変化が「駆け出す」の場合、異常状態は、その駆け出した方向とは逆方向に存在する可能性が高いため、「駆け出す」に対応する変化後の状態に対して「駆け出す方向とは逆方向」が対応付けられる。出力処理部16は、このような関連付け情報を用いて、変化後の状態に対応する方向情報を特定し、この特定された方向情報に対応する描画要素を選択する。方向を表す描画要素には、例えば、矢印等が挙げられる。
出力処理部16は、根拠となる人物群の入力画像上での代表位置を中心とする円状又は楕円状に、入力画像がその代表位置からの距離に対応する色で着色された画像を出力装置6に出力させることもできる。この場合、処理装置1は、次のような処理構成を有すればよい。
以下、第一実施形態における異常検知方法について図11を用いて説明する。図11は、第一実施形態における処理装置1の動作例を示すフローチャートである。図11に示されるように、第一実施形態における異常検知方法は、処理装置1のような少なくとも1つのコンピュータにより実行される。例えば、図示される各工程は、処理装置1が有する各処理部により実行される。各工程は、処理装置1が有する上述の各処理部の処理内容と同様であるため、各工程の詳細は、適宜省略される。
上述のように、第一実施形態では、入力画像に基づいて、人物における対象の状態変化が検出され、対象の状態変化が所定人数以上で生じた場合に、異常状態有りと判定される。人物の不審な状態のような人物の異常状態、放置物、汚物等のような物体の異常状態、火災や事故のような場の異常状態が発生した場合、その発生場所の周囲に人が存在している場合には、その人々は、その監視対象場所において通常時には起こさない姿勢、行動、表情等の見た目の変化を起こす。そこで、第一実施形態では、人物、物体、場等における様々な異常状態がその周囲の人々の状態変化により捉えられる。
第二実施形態における処理装置1は、異常状態の判定結果を用いて、監視カメラ7を制御する。以下、第二実施形態における処理装置1について、第一実施形態と異なる内容を中心に説明する。以下の説明では、第一実施形態と同様の内容については適宜省略する。
制御部18は、状態変化の検出が異常状態判定の根拠とされた人物群の入力画像上での代表位置に基づいて、監視カメラ7の撮像方向を制御することができる。この場合、図10に示されるように、処理装置1は、決定部17を更に有する。決定部17は、上述のとおり、状態変化の検出が異常状態判定の根拠とされた人物群の入力画像上での代表位置を決定する。
制御部18は、状態変化の検出が異常状態判定の根拠とされた人物群の入力画像上での大きさに基づいて、監視カメラ7の画角を制御することができる。例えば、制御部18は、根拠となる人物群が入力画像内の一部の所定範囲に収まり、その人物群の周辺が入力画像に映るように、監視カメラ7の画角を変更する指示を監視カメラ7に送る。この指示に応じて、監視カメラ7は、ズームイン又はズームアウトする。人物群の入力画像上の大きさは、例えば、人物検出部12により検出された人物の画像領域を足し合わせることで決めることができる。制御部18は、当該人物群の大きさが当該所定範囲内に収まるまで、ズームイン又はズームアウトする指示を監視カメラ7に送り続けてもよい。
制御部18は、状態変化の検出が異常状態判定の根拠とされた人物群の全体又は一部が入力画像に含まれる範囲で、監視カメラ7の撮像方向を連続的に変化させることができる。具体的には、制御部18は、保持部14に保持される状態変化情報に基づいて、根拠となる人物群の入力画像上の位置を認識する。制御部18は、この認識された位置に基づいて、当該人物群の少なくとも一部が入力画像に収まる範囲に対応する、撮像方向の変更範囲を算出することができる。制御部18は、この変更範囲内で、当該人物群の入力画像上の位置が変わるように、撮像方向を変更する指示を連続的に監視カメラ7又は撮像方向を調整する機構に送る。制御部18は、例えば、撮像方向の変更指示に、変更すべき方向(上下左右等)及び変更すべき角度を含める。
制御部18は、異常状態判定の根拠とされた複数人の状態変化における変化後の状態に対応する方向に監視カメラ7の撮像方向を変更させることもできる。変化後の状態に対応する方向、及び、その方向情報の取得手法については、《出力例4》で説明したとおりである。制御部18は、変化後の状態に対応する方向情報を取得し、その方向情報を含む撮像方向変更指示を監視カメラ7又は撮像方向を調整する機構に送る。
以下、第二実施形態における異常検知方法について図13を用いて説明する。図13は、第二実施形態における処理装置1の動作例を示すフローチャートである。図13では、図11と同じ処理内容の工程には、図11と同じ符号が付されている。第二実施形態における異常検知方法の実行主体は、第一実施形態と同様である。
上述のとおり、第二実施形態では、異常状態有りと判定された場合に、根拠となる人物群の位置やその人物群の各人の変化後の状態等に基づいて、監視カメラ7の撮像方向や画角が制御される。結果として、異常状態が存在している可能性の高い、根拠となる人物群の周囲の状況が視認可能となるため、異常状態を確認し易くすることができる。
処理装置1は、複数の監視カメラ7に接続されており、当該複数の監視カメラ7を制御することもできる。この変形例では、各監視カメラ7は、異なる監視対象場所が撮影範囲となるように、それぞれ設置される。この変形例では、処理装置1は、或る監視カメラ7で撮像された入力画像に基づいて異常状態が検知された場合に、その異常状態判定の根拠とされた人物群の位置に対応する他の監視カメラ7を選択し、その監視カメラ7の撮像方向及び画角を変更させてもよい。このようにすれば、1台の監視カメラ7の撮像方向や画角を上述のように変更しても、その監視カメラ7では映すことができない位置に異常状態が存在する場合でも、周囲の他の監視カメラ7を制御することで、その位置を撮像することができる。
処理装置1には監視カメラ7が接続されず、処理装置1が他のコンピュータに接続される監視カメラ7を用いてもよい。この場合、取得部11は、可搬型記録媒体、又は、他のコンピュータから通信ユニット4を介して、入力画像又は映像信号を取得すればよい。当該他のコンピュータとしては、例えば、カメラで撮影した画像を一旦蓄積して配信する、画像蓄積配信装置や、画像を蓄積し、再生する画像録画器等があり得る。この場合、出力処理部16は、その画像を他のコンピュータに対して通信ユニット4を介して出力してもよい。また、制御部18は、当該他のコンピュータに監視カメラ7を制御するための指示情報を送信する。
以下、第三実施形態における画像処理装置及び異常検知方法について図14及び図15を用いて説明する。
前記対象の状態変化が複数人で生じたことを検出し、該検出に応じて異常状態を判定する判定手段と、
を備える画像処理装置。
2. 前記判定手段は、変化後の状態が同一の前記対象の状態変化が複数人で生じたことを検出する、
1.に記載の画像処理装置。
3. 前記判定手段は、前記対象の状態変化が距離的に近い複数人で生じたことを検出する、
1.又は2.に記載の画像処理装置。
4. 前記判定手段は、前記複数人での前記対象の状態変化の発生時期のずれを異常状態の判定のために更に用いる、
1.から3.のいずれか1つに記載の画像処理装置。
5. 前記判定手段は、前記複数人での前記対象の状態変化の発生時期のずれに応じて、異常状態の程度を推測する、
4.に記載の画像処理装置。
6. 入力画像中の、状態変化の検出が異常状態判定の根拠とされた人物群又は該人物群の各人に、描画要素が付された画像を出力装置に出力させる出力処理手段
を更に備える1.から5.のいずれか1つに記載の画像処理装置。
7. 前記出力処理手段は、入力画像中の、状態変化の検出が異常状態判定の根拠とされた人物群に対して、該人物群の人数及び該人物群の各人の相対距離のいずれか一方又は両方が更に付された前記画像を前記出力装置に出力させる、
6.に記載の画像処理装置。
8. 前記出力処理手段は、前記描画要素として又は前記描画要素と共に、状態変化の検出が異常状態判定の根拠とされた人物群の各人に、状態変化の順番又は状態変化の時間差が付された前記画像を前記出力装置に出力させる、
6.又は7.に記載の画像処理装置。
9. 前記出力処理手段は、異常状態判定の根拠とされた複数人の状態変化における変化後の状態に対応する方向を表す前記描画要素が付された前記画像を前記出力装置に出力させる、
6.から8.のいずれか1つに記載の画像処理装置。
10. 状態変化の検出が異常状態判定の根拠とされた人物群の入力画像上での代表位置を決定する決定手段と、
前記代表位置を中心とする円状又は楕円状に、入力画像が前記代表位置からの距離に対応する色で着色された画像を出力装置に出力させる出力処理手段と、
を更に備える1.から9.のいずれか1つに記載の画像処理装置。
11. 前記出力処理手段は、状態変化の検出が異常状態判定の根拠とされた人物群の人数に対応する継続時間で、前記画像の出力を継続させる、
6.から10.のいずれか1つに記載の画像処理装置。
12. 状態変化の検出が異常状態判定の根拠とされた人物群の入力画像上での代表位置を決定する決定手段と、
前記代表位置に基づいて、撮像装置の撮像方向を制御する制御手段と、
を更に備える1.から11.のいずれか1つに記載の画像処理装置。
13. 状態変化の検出が異常状態判定の根拠とされた人物群の入力画像上での大きさに基づいて、撮像装置の画角を制御する制御手段、
を更に備える1.から12.のいずれか1つに記載の画像処理装置。
14. 状態変化の検出が異常状態判定の根拠とされた人物群の全体又は一部が入力画像に含まれる範囲で、撮像装置の撮像方向を連続的に変化させる制御手段、
を更に備える1.から13.のいずれか1つに記載の画像処理装置。
15. 異常状態判定の根拠とされた複数人の状態変化における変化後の状態に対応する方向に撮像装置の撮像方向を変更させる制御手段、
を更に備える1.から14.のいずれか1つに記載の画像処理装置。
16. 前記制御手段は、状態変化の検出が異常状態判定の根拠とされた人物群の人数に対応する継続時間で、前記撮像装置の制御を継続する、
12.から15.のいずれか1つに記載の画像処理装置。
入力画像に基づいて人物における対象の状態変化を検出し、
前記対象の状態変化が複数人で生じたことを検出し、
前記検出に応じて異常状態を判定する、
ことを含む異常検知方法。
18. 前記対象の状態変化が複数人で生じたことの検出は、変化後の状態が同一の前記対象の状態変化が複数人で生じたことを検出する、
17.に記載の異常検知方法。
19. 前記対象の状態変化が複数人で生じたことの検出は、前記対象の状態変化が距離的に近い複数人で生じたことを検出する、
17.又は18.に記載の異常検知方法。
20. 前記対象の状態変化が複数人で生じたことの検出は、前記複数人での前記対象の状態変化の発生時期のずれが所定時間内であることを更に判断する、
17.から19.のいずれか1つに記載の異常検知方法。
21. 前記複数人での前記対象の状態変化の発生時期のずれに応じて、異常状態の程度を推測する、
ことを更に含む20.に記載の異常検知方法。
22. 入力画像中の、状態変化の検出が異常状態判定の根拠とされた人物群又は該人物群の各人に、描画要素が付された画像を出力装置に出力させる
ことを更に含む17.から21.のいずれか1つに記載の異常検知方法。
23. 前記出力は、入力画像中の、状態変化の検出が異常状態判定の根拠とされた人物群に対して、該人物群の人数及び該人物群の各人の相対距離のいずれか一方又は両方が更に付された前記画像を前記出力装置に出力させる、
22.に記載の異常検知方法。
24. 前記出力は、前記描画要素として又は前記描画要素と共に、状態変化の検出が異常状態判定の根拠とされた人物群の各人に、状態変化の順番又は状態変化の時間差が付された前記画像を前記出力装置に出力させる、
22.又は23.に記載の異常検知方法。
25. 前記出力は、異常状態判定の根拠とされた複数人の状態変化における変化後の状態に対応する方向を表す前記描画要素が付された前記画像を前記出力装置に出力させる、
22.から24.のいずれか1つに記載の異常検知方法。
26. 状態変化の検出が異常状態判定の根拠とされた人物群の入力画像上での代表位置を決定し、
前記代表位置を中心とする円状又は楕円状に、入力画像が前記代表位置からの距離に対応する色で着色された画像を出力装置に出力させる、
ことを更に含む17.から25.のいずれか1つに記載の異常検知方法。
27. 状態変化の検出が異常状態判定の根拠とされた人物群の人数に対応する継続時間で、前記画像の出力を継続させる、
ことを更に含む22.から26.のいずれか1つに記載の異常検知方法。
28. 状態変化の検出が異常状態判定の根拠とされた人物群の入力画像上での代表位置を決定し、
前記代表位置に基づいて、撮像装置の撮像方向を制御する、
ことを更に含む17.から27.のいずれか1つに記載の異常検知方法。
29. 状態変化の検出が異常状態判定の根拠とされた人物群の入力画像上での大きさに基づいて、撮像装置の画角を制御する、
ことを更に含む17.から28.のいずれか1つに記載の異常検知方法。
30. 状態変化の検出が異常状態判定の根拠とされた人物群の全体又は一部が入力画像に含まれる範囲で、撮像装置の撮像方向を連続的に変化させる、
ことを更に含む17.から29.のいずれか1つに記載の異常検知方法。
31. 異常状態判定の根拠とされた複数人の状態変化における変化後の状態に対応する方向に撮像装置の撮像方向を変更させる、
ことを更に含む17.から30.のいずれか1つに記載の異常検知方法。
32. 状態変化の検出が異常状態判定の根拠とされた人物群の人数に対応する継続時間で、前記撮像装置の制御を継続する、
ことを更に含む28.から31.のいずれか1つに記載の異常検知方法。
34. 33.に記載のプログラムをコンピュータに読み取り可能に記録する記録媒体。
Claims (14)
- 入力画像に含まれている人物の中から、所定の変化後の状態にある人物を検出する検出手段と、
前記所定の変化後の状態にある人物が複数人検出された場合に、異常状態であると判定する判定手段と、
を備え、
前記判定手段は、前記複数人で生じたことが検出された前記所定の変化後の状態の発生時期のずれを異常状態の判定のために更に用い、
前記判定手段は、前記複数人で生じたことが検出された前記所定の変化後の状態の発生時期のずれに応じて、異常状態の程度を推測する、画像処理装置。 - 前記所定の変化後の状態は、異常状態の発生に起因して生じる人物における感情により表出する所定の表情である、
請求項1に記載の画像処理装置。 - 前記判定手段は、前記検出手段により検出された前記人物のうち同一の前記所定の変化後の状態にある人物が所定人数以上である場合に、前記異常状態であると判定する、
請求項1又は2に記載の画像処理装置。 - 前記判定手段は、前記検出手段により検出された前記人物毎の相対距離が所定の距離以内である人数が所定人数以上である場合に、前記異常状態であると判定する、
請求項1から3のいずれか1項に記載の画像処理装置。 - 入力画像に含まれている人物の中から、所定の変化後の状態にある人物を検出する検出手段と、
前記所定の変化後の状態にある人物が複数人検出された場合に、異常状態であると判定する判定手段と、
前記入力画像中の人物のうち、前記異常状態の判定の根拠とされた人物群又は該人物群の各人に、描画要素が付された画像を出力装置に出力させる出力処理手段と、
を備え、
前記出力処理手段は、前記入力画像中の前記人物のうち、前記異常状態の判定の根拠とされた人物群に対して、該人物群の各人の相対距離が更に付された前記画像を前記出力装置に出力させる、画像処理装置。 - 入力画像に含まれている人物の中から、所定の変化後の状態にある人物を検出する検出手段と、
前記所定の変化後の状態にある人物が複数人検出された場合に、異常状態であると判定する判定手段と、
前記入力画像中の人物のうち、前記異常状態の判定の根拠とされた人物群又は該人物群の各人に、描画要素が付された画像を出力装置に出力させる出力処理手段と、
を備え、
前記出力処理手段は、前記描画要素として又は前記描画要素と共に、前記異常状態の判定の根拠とされた前記人物群の各人に、状態変化の順番又は状態変化の時間差が付された前記画像を前記出力装置に出力させる、画像処理装置。 - 前記出力処理手段は、前記異常状態の判定の根拠とされた複数人の前記所定の変化後の状態に予め対応付けられている所定の方向を表す前記描画要素が付された前記画像を前記出力装置に出力させる、
請求項5又は6に記載の画像処理装置。 - 入力画像に含まれている人物の中から、所定の変化後の状態にある人物を検出する検出手段と、
前記所定の変化後の状態にある人物が複数人検出された場合に、異常状態であると判定する判定手段と、
前記入力画像中の人物のうち、前記異常状態の判定の根拠とされた人物群又は該人物群の各人に、描画要素が付された画像を出力装置に出力させる出力処理手段と、
を備え、
前記出力処理手段は、前記異常状態の判定の根拠とされた人物群の人数に対応する継続時間で、前記画像の出力を継続させる、画像処理装置。 - 前記出力処理手段は、前記異常状態の判定の根拠とされた人物のうち、同一の前記所定の変化後の状態にある人物群ごとに方形の描画要素が付された前記画像を前記出力装置に出力させる、
請求項8に記載の画像処理装置。 - 入力画像に含まれている人物の中から、所定の変化後の状態にある人物を検出する検出手段と、
前記所定の変化後の状態にある人物が複数人検出された場合に、異常状態であると判定する判定手段と、
前記異常状態の判定の根拠とされた人物群の入力画像上での代表位置を決定する決定手段と、
前記代表位置に基づいて、撮像装置の撮像方向を制御する制御手段と、
を備え、
前記制御手段は、前記異常状態の判定の根拠とされた人物群の人数に対応する継続時間で、前記撮像装置の制御を継続する、画像処理装置。 - 前記異常状態の判定の根拠とされた人物群の入力画像上での代表位置を決定する決定手段と、
前記代表位置を中心とする円状又は楕円状に、入力画像が前記代表位置からの距離に対応する色で着色された画像を出力装置に出力させる出力処理手段と、
を更に備える請求項1から10のいずれか1項に記載の画像処理装置。 - 前記異常状態の判定の根拠とされた人物群の入力画像上での大きさに基づいて、撮像装置の画角を制御する制御手段、
を更に備える請求項1から11のいずれか1項に記載の画像処理装置。 - 前記異常状態の判定の根拠とされた人物群の全体又は一部が入力画像に含まれる範囲で、撮像装置の撮像方向を連続的に変化させる制御手段、
を更に備える請求項1から12のいずれか1項に記載の画像処理装置。 - 前記異常状態の判定の根拠とされた複数人の前記所定の変化後の状態に予め対応付けられている所定の方向に撮像装置の撮像方向を変更させる制御手段、
を更に備える請求項1から13のいずれか1項に記載の画像処理装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014132304 | 2014-06-27 | ||
JP2014132304 | 2014-06-27 | ||
PCT/JP2015/064866 WO2015198767A1 (ja) | 2014-06-27 | 2015-05-25 | 異常検知装置及び異常検知方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020005225A Division JP6863488B2 (ja) | 2014-06-27 | 2020-01-16 | 画像処理装置、異常検知方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2015198767A1 JPWO2015198767A1 (ja) | 2017-04-20 |
JP6696422B2 true JP6696422B2 (ja) | 2020-05-20 |
Family
ID=54937864
Family Applications (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016529191A Active JP6696422B2 (ja) | 2014-06-27 | 2015-05-25 | 異常検知装置及び異常検知方法 |
JP2020005225A Active JP6863488B2 (ja) | 2014-06-27 | 2020-01-16 | 画像処理装置、異常検知方法、及びプログラム |
JP2021051030A Active JP7173196B2 (ja) | 2014-06-27 | 2021-03-25 | 画像処理装置、画像処理方法、及びプログラム |
JP2022175989A Active JP7396436B2 (ja) | 2014-06-27 | 2022-11-02 | 画像処理装置、画像処理方法、及びプログラム |
Family Applications After (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020005225A Active JP6863488B2 (ja) | 2014-06-27 | 2020-01-16 | 画像処理装置、異常検知方法、及びプログラム |
JP2021051030A Active JP7173196B2 (ja) | 2014-06-27 | 2021-03-25 | 画像処理装置、画像処理方法、及びプログラム |
JP2022175989A Active JP7396436B2 (ja) | 2014-06-27 | 2022-11-02 | 画像処理装置、画像処理方法、及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (5) | US10846536B2 (ja) |
JP (4) | JP6696422B2 (ja) |
WO (1) | WO2015198767A1 (ja) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9875431B2 (en) | 2013-06-28 | 2018-01-23 | Nec Corporation | Training data generating device, method, and program, and crowd state recognition device, method, and program |
WO2015198767A1 (ja) * | 2014-06-27 | 2015-12-30 | 日本電気株式会社 | 異常検知装置及び異常検知方法 |
US10244175B2 (en) * | 2015-03-09 | 2019-03-26 | Apple Inc. | Automatic cropping of video content |
WO2017159060A1 (ja) | 2016-03-18 | 2017-09-21 | 日本電気株式会社 | 情報処理装置、制御方法、及びプログラム |
WO2018025831A1 (ja) * | 2016-08-04 | 2018-02-08 | 日本電気株式会社 | 人流推定装置、表示制御装置、人流推定方法および記録媒体 |
JP6817792B2 (ja) * | 2016-11-15 | 2021-01-20 | キヤノン株式会社 | 情報処理装置、制御方法およびプログラム |
EP3566175A4 (en) * | 2017-01-06 | 2020-07-29 | Sportlogiq Inc. | SYSTEMS AND METHODS FOR UNDERSTANDING BEHAVIOR FROM TRAJECTORIES |
JP6469139B2 (ja) * | 2017-01-17 | 2019-02-13 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP6247786B1 (ja) * | 2017-04-06 | 2017-12-13 | イセット株式会社 | 自動通報装置 |
US20190138967A1 (en) * | 2017-11-03 | 2019-05-09 | Drishti Technologies, Inc. | Workspace actor coordination systems and methods |
JP7104523B2 (ja) * | 2018-02-05 | 2022-07-21 | キヤノン株式会社 | 情報処理装置、システム、情報処理装置の制御方法、及び、プログラム |
CN109359510B (zh) * | 2018-08-27 | 2022-03-22 | 广州大学 | 一种对异常行为的视觉分析处理方法 |
SG10201807628XA (en) * | 2018-09-05 | 2020-04-29 | Nec Asia Pacific Pte Ltd | An Apparatus And A Method For Adaptively Managing Event-Related Data In A Control Room |
US10824868B2 (en) * | 2018-09-27 | 2020-11-03 | Ncr Corporation | Image processing for determining relationships between tracked objects |
US11055539B2 (en) * | 2018-09-27 | 2021-07-06 | Ncr Corporation | Image processing for distinguishing individuals in groups |
JP2020072457A (ja) * | 2018-11-02 | 2020-05-07 | ソニー株式会社 | 映像処理装置、映像処理方法、およびプログラム |
US20220189264A1 (en) * | 2019-03-27 | 2022-06-16 | Nec Corporation | Monitoring device, suspicious object detecting method, and recording medium |
US11151858B2 (en) * | 2020-06-24 | 2021-10-19 | Paul Edward Moshe Modiano | Crowd management in an enclosed premises |
Family Cites Families (50)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06266840A (ja) | 1993-03-11 | 1994-09-22 | Hitachi Ltd | 移動物体の状態検出装置 |
US5831669A (en) * | 1996-07-09 | 1998-11-03 | Ericsson Inc | Facility monitoring system with image memory and correlation |
US5747719A (en) | 1997-01-21 | 1998-05-05 | Bottesch; H. Werner | Armed terrorist immobilization (ATI) system |
JPH10285586A (ja) | 1997-04-02 | 1998-10-23 | Omron Corp | 画像処理装置、監視画像表示システム、画像処理方法、および、監視画像表示方法 |
US6147601A (en) | 1999-01-09 | 2000-11-14 | Heat - Timer Corp. | Electronic message delivery system utilizable in the monitoring of remote equipment and method of same |
EP1403817A4 (en) * | 2000-09-06 | 2007-06-06 | Hitachi Ltd | DETECTOR FOR ABNORMES BEHAVIOR |
US6678413B1 (en) * | 2000-11-24 | 2004-01-13 | Yiqing Liang | System and method for object identification and behavior characterization using video analysis |
JP2002344946A (ja) | 2001-05-16 | 2002-11-29 | Oki Electric Ind Co Ltd | 監視装置 |
US6975346B2 (en) | 2002-06-27 | 2005-12-13 | International Business Machines Corporation | Method for suspect identification using scanning of surveillance media |
US7999857B2 (en) * | 2003-07-25 | 2011-08-16 | Stresscam Operations and Systems Ltd. | Voice, lip-reading, face and emotion stress analysis, fuzzy logic intelligent camera system |
JP4368767B2 (ja) * | 2004-09-08 | 2009-11-18 | 独立行政法人産業技術総合研究所 | 異常動作検出装置および異常動作検出方法 |
US7606425B2 (en) * | 2004-09-09 | 2009-10-20 | Honeywell International Inc. | Unsupervised learning of events in a video sequence |
JP4934018B2 (ja) | 2005-01-28 | 2012-05-16 | オリンパス株式会社 | 粒子群運動解析システム、粒子群運動解析方法及びプログラム |
US20060190419A1 (en) * | 2005-02-22 | 2006-08-24 | Bunn Frank E | Video surveillance data analysis algorithms, with local and network-shared communications for facial, physical condition, and intoxication recognition, fuzzy logic intelligent camera system |
JP4622702B2 (ja) | 2005-05-27 | 2011-02-02 | 株式会社日立製作所 | 映像監視装置 |
DE602006009191D1 (de) | 2005-07-26 | 2009-10-29 | Canon Kk | Bildaufnahmegerät und -verfahren |
JP2007243342A (ja) * | 2006-03-06 | 2007-09-20 | Yokogawa Electric Corp | 画像監視装置及び画像監視システム |
JP2007264950A (ja) | 2006-03-28 | 2007-10-11 | Toyota Motor Corp | 自律移動型ロボット |
JP2007272488A (ja) | 2006-03-31 | 2007-10-18 | Yokogawa Electric Corp | 画像処理装置、監視カメラ及び画像監視システム |
US8269834B2 (en) | 2007-01-12 | 2012-09-18 | International Business Machines Corporation | Warning a user about adverse behaviors of others within an environment based on a 3D captured image stream |
US20080252722A1 (en) | 2007-04-11 | 2008-10-16 | Yuan-Kai Wang | System And Method Of Intelligent Surveillance And Analysis |
US7965866B2 (en) * | 2007-07-03 | 2011-06-21 | Shoppertrak Rct Corporation | System and process for detecting, tracking and counting human objects of interest |
CN101681555B (zh) * | 2007-10-26 | 2012-11-28 | 松下电器产业株式会社 | 状况判定装置、状况判定方法、异常判定装置、异常判定方法 |
JP5091095B2 (ja) * | 2008-11-25 | 2012-12-05 | 綜合警備保障株式会社 | 動作検出装置および動作検出方法 |
JPWO2011114770A1 (ja) | 2010-03-15 | 2013-06-27 | オムロン株式会社 | 監視カメラ端末 |
JP2011198161A (ja) | 2010-03-22 | 2011-10-06 | Hiromitsu Hama | 対象物認識システム及び該システムを利用する監視システム、見守りシステム |
JP5473801B2 (ja) | 2010-06-30 | 2014-04-16 | 株式会社日立製作所 | 監視装置 |
JP5400718B2 (ja) | 2010-07-12 | 2014-01-29 | 株式会社日立国際電気 | 監視システムおよび監視方法 |
JP5435740B2 (ja) | 2010-11-12 | 2014-03-05 | オムロン株式会社 | 監視システム、および監視サーバ |
JP5743646B2 (ja) * | 2011-03-30 | 2015-07-01 | セコム株式会社 | 異常検知装置 |
JP5810296B2 (ja) * | 2011-06-07 | 2015-11-11 | パナソニックIpマネジメント株式会社 | 画像表示装置及び画像表示方法 |
KR101179276B1 (ko) | 2011-06-13 | 2012-09-03 | 고려대학교 산학협력단 | 비정상 집단 행동 탐지 방법 및 장치 |
JP5560397B2 (ja) | 2011-12-22 | 2014-07-23 | 株式会社ウェルソック | 自律型防犯警戒システム及び自律型防犯警戒方法 |
US8798318B2 (en) | 2012-01-18 | 2014-08-05 | Xerox Corporation | System and method for video episode viewing and mining |
TWI582707B (zh) * | 2012-01-19 | 2017-05-11 | Utechzone Co Ltd | 車內眼控的方法 |
KR101346773B1 (ko) | 2012-03-09 | 2013-12-31 | 고려대학교 산학협력단 | H.264 압축영역에서의 비정상 군중행동 탐지 및 분석 방법 |
US10368010B2 (en) * | 2012-07-31 | 2019-07-30 | Nec Corporation | Image processing system, image processing method, and program |
US20140267736A1 (en) * | 2013-03-15 | 2014-09-18 | Bruno Delean | Vision based system for detecting a breach of security in a monitored location |
US20140362213A1 (en) | 2013-06-05 | 2014-12-11 | Vincent Tseng | Residence fall and inactivity monitoring system |
JP5632512B1 (ja) | 2013-07-02 | 2014-11-26 | パナソニック株式会社 | 人物行動分析装置、人物行動分析システムおよび人物行動分析方法、ならびに監視装置 |
US9159218B2 (en) * | 2013-09-17 | 2015-10-13 | Microchip Technology Incorporated | Initiation of carbon monoxide and/or smoke detector alarm test using image recognition and/or facial gesturing |
JP6297822B2 (ja) * | 2013-11-19 | 2018-03-20 | ルネサスエレクトロニクス株式会社 | 検知装置、検知システム及び検知方法 |
WO2015198767A1 (ja) * | 2014-06-27 | 2015-12-30 | 日本電気株式会社 | 異常検知装置及び異常検知方法 |
US9449218B2 (en) | 2014-10-16 | 2016-09-20 | Software Ag Usa, Inc. | Large venue surveillance and reaction systems and methods using dynamically analyzed emotional input |
CN107848488A (zh) * | 2015-08-03 | 2018-03-27 | 深圳市好航科技有限公司 | 多用途车辆智能监控***及方法 |
US9615066B1 (en) | 2016-05-03 | 2017-04-04 | Bao Tran | Smart lighting and city sensor |
KR20180060784A (ko) | 2016-11-29 | 2018-06-07 | 삼성전자주식회사 | 비정상 객체 판단 방법 및 장치 |
US10186124B1 (en) * | 2017-10-26 | 2019-01-22 | Scott Charles Mullins | Behavioral intrusion detection system |
US10043360B1 (en) * | 2017-10-26 | 2018-08-07 | Scott Charles Mullins | Behavioral theft detection and notification system |
CN114494768A (zh) * | 2018-10-29 | 2022-05-13 | 赫克斯冈技术中心 | 对设施进行监视的监视***和方法、计算机程序产品 |
-
2015
- 2015-05-25 WO PCT/JP2015/064866 patent/WO2015198767A1/ja active Application Filing
- 2015-05-25 JP JP2016529191A patent/JP6696422B2/ja active Active
- 2015-05-25 US US15/321,640 patent/US10846536B2/en active Active
-
2019
- 2019-03-11 US US16/298,698 patent/US11250268B2/en active Active
- 2019-03-11 US US16/298,746 patent/US11106918B2/en active Active
-
2020
- 2020-01-16 JP JP2020005225A patent/JP6863488B2/ja active Active
- 2020-04-29 US US16/862,382 patent/US20200257905A1/en active Pending
-
2021
- 2021-03-25 JP JP2021051030A patent/JP7173196B2/ja active Active
-
2022
- 2022-11-02 JP JP2022175989A patent/JP7396436B2/ja active Active
-
2023
- 2023-08-03 US US18/229,945 patent/US20230410513A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
JP7396436B2 (ja) | 2023-12-12 |
JP6863488B2 (ja) | 2021-04-21 |
US20190205657A1 (en) | 2019-07-04 |
JP2020098606A (ja) | 2020-06-25 |
US11106918B2 (en) | 2021-08-31 |
US20170220871A1 (en) | 2017-08-03 |
WO2015198767A1 (ja) | 2015-12-30 |
US20200257905A1 (en) | 2020-08-13 |
US10846536B2 (en) | 2020-11-24 |
JP2023022015A (ja) | 2023-02-14 |
JPWO2015198767A1 (ja) | 2017-04-20 |
US20190205658A1 (en) | 2019-07-04 |
JP7173196B2 (ja) | 2022-11-16 |
US20230410513A1 (en) | 2023-12-21 |
JP2021106019A (ja) | 2021-07-26 |
US11250268B2 (en) | 2022-02-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7396436B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP6631619B2 (ja) | 映像監視システム及び映像監視方法 | |
JP5866564B1 (ja) | モニタリング装置、モニタリングシステムおよびモニタリング方法 | |
JP4991595B2 (ja) | パーティクルフィルタを使用する追跡システム | |
US20160171332A1 (en) | Image processing apparatus, image processing method, and storage medium | |
WO2014155979A1 (ja) | 追尾処理装置及びこれを備えた追尾処理システム並びに追尾処理方法 | |
WO2014125882A1 (ja) | 情報処理システム、情報処理方法及びプログラム | |
JP5277805B2 (ja) | 物体抽出装置、物体抽出方法および物体抽出プログラム | |
US11842513B2 (en) | Image processing apparatus, image processing method, and storage medium | |
JP6221292B2 (ja) | 集中度判定プログラム、集中度判定装置、および集中度判定方法 | |
JP2023126352A (ja) | プログラム、映像監視方法及び映像監視システム | |
JP5111934B2 (ja) | 監視装置 | |
JP2010199865A (ja) | 異常検知システム、異常検知方法及び異常検知プログラム | |
CN110945867B (zh) | 监视装置、监视方法和存储介质 | |
JP6819689B2 (ja) | 画像処理装置、滞留物体追跡システム、画像処理方法および記録媒体 | |
JP2020071717A (ja) | 情報処理装置、情報処理方法及びプログラム | |
US10482641B2 (en) | Virtual reality display | |
Bian et al. | Human computer interface for quadriplegic people based on face position/gesture detection | |
JP2014142696A (ja) | 解析処理制御システム | |
JP2021027399A (ja) | 情報処理装置、情報処理方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180409 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190625 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190826 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20191024 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200116 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20200128 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200324 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200406 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6696422 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |