JP7115277B2 - 行動監視装置、行動監視システム、及び行動監視プログラム - Google Patents
行動監視装置、行動監視システム、及び行動監視プログラム Download PDFInfo
- Publication number
- JP7115277B2 JP7115277B2 JP2018231199A JP2018231199A JP7115277B2 JP 7115277 B2 JP7115277 B2 JP 7115277B2 JP 2018231199 A JP2018231199 A JP 2018231199A JP 2018231199 A JP2018231199 A JP 2018231199A JP 7115277 B2 JP7115277 B2 JP 7115277B2
- Authority
- JP
- Japan
- Prior art keywords
- person
- behavior
- monitoring device
- behavior monitoring
- persons
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Alarm Systems (AREA)
- Traffic Control Systems (AREA)
- Emergency Alarm Devices (AREA)
- Image Analysis (AREA)
Description
車載カメラ画像に含まれている人物の行動を検出する制御部を備え、
前記制御部は、
前記車載カメラ画像から複数の人物を検出し、
検出した各人物の属性情報と、検出した複数の人物の間の関連性を表す相関情報とを検出し、
前記検出した各人物の行動を、前記属性情報と前記相関情報とに基づいて評価し、評価結果を出力し、
前記相関情報は、前記複数の人物のうちの少なくとも1人の人物の視線に基づいて前記複数の人物それぞれの関係を表す情報を含む。
車両と、行動監視装置とを備える行動監視システムであって、
前記行動監視装置は、前記車両の車載カメラ画像に含まれている人物の行動を検出する制御部を備え、
前記制御部は、
前記車載カメラ画像から複数の人物を検出し、
検出した各人物の属性情報と、検出した複数の人物の間の関連性を表す相関情報とを検出し、
前記検出した各人物の行動を、前記属性情報と前記相関情報とに基づいて評価し、評価結果を出力し、
前記相関情報は、前記複数の人物のうちの少なくとも1人の人物の視線に基づいて前記複数の人物それぞれの関係を表す情報を含む。
プロセッサに、
車載カメラ画像から複数の人物を検出するステップと、
検出した各人物の属性情報と、検出した複数の人物の間の関連性を表す相関情報とを検出するステップと、
前記検出した各人物の行動を、前記属性情報と前記相関情報とに基づいて評価するステップと、
評価結果を出力するステップと
を実行させ、
前記相関情報は、前記複数の人物のうちの少なくとも1人の人物の視線に基づいて前記複数の人物それぞれの関係を表す情報を含む。
図1及び図2に示されるように、一実施形態に係る行動監視システム100は、車両1を備える。車両1は、例えば自動車であるが、これに限られず任意の車両であってもよい。行動監視システム100は、複数の車両1を備えてもよい。行動監視システム100が複数の車両1を備える場合、各車両1は、互いに通信可能であるとする。各車両1は、ネットワーク60を介して他の車両1と通信してもよいし、ネットワーク60を介さずに直接、他の車両1と通信してもよい。行動監視システム100は、サーバ50をさらに備えてもよい。車両1は、サーバ50と通信可能であるとする。車両1は、ネットワーク60を介してサーバ50と通信してもよい。
行動監視装置10は、図4に例示されるフローチャートの手順を含む行動監視方法を実行してよい。行動監視方法は、プロセッサに実行させる行動監視プログラムとして実現されてもよい。
図5に示されるように、行動監視装置10は、車両1に搭載されていてよい。行動監視装置10は、車両1に搭載されている場合、車両1のECU(Electronic Control Unit)の機能の一部として実現されてもよい。行動監視装置10を搭載している車両1は、車両1aと称されるとする。車両1aは、行動監視装置10と、車載カメラ20と、位置情報取得装置25と、通信装置30と、画像解析部40とを搭載しているとする。行動監視装置10は、制御部11を備えてよい。制御部11は、1つ以上のプロセッサによって実現されてよい。行動監視装置10を搭載していない車両1は、車両1bと称されるとする。車両1bは、車載カメラ20と、位置情報取得装置25と、通信装置30と、画像解析部40とを搭載しているとする。
図1において、行動監視システム100は、人物2aと人物2bとを含むグループ3を監視対象としている。一例として、さらに人物2a及び2bと異なる人物2がグループ3に含まれると仮定する。人物2a及び2bと異なる人物2は、本構成例において第三者と称されるとする。行動監視装置10は、第三者がグループ3に含まれていない場合に、人物2aと人物2bとを含むグループ3の相関情報に基づいて、人物2bの行動危険度を高い値で算出しているとする。
行動監視装置10は、複数の時刻それぞれで撮影された監視対象画像を取得してよい。行動監視装置10は、例えば、第1時刻に撮影された第1時刻画像と、第2時刻に撮影された第2時刻画像とを取得すると仮定する。行動監視装置10は、第1時刻画像及び第2時刻画像それぞれに含まれる人物2を検出し、第1時刻画像及び第2時刻画像に共通に含まれる人物2を特定してよい。このようにすることで、行動監視装置10は、第1時刻画像及び第2時刻画像に共通に含まれる人物2の行動を、時系列に沿って監視できる。
行動監視装置10は、複数の人物2を含むグループ3の相関情報として種々の情報を検出し、人物2の行動を評価してよい。
車両1と、行動監視装置10として機能するサーバ50とを備える行動監視システム100は、図6に例示されるフローチャートの手順を含む行動監視方法を実行してもよい。車両1に搭載されている、車載カメラ20と、位置情報取得装置25と、通信装置30と、画像解析部40とは、まとめて車載機と称されるとする。
行動監視システム100は、予め登録されている人物2を監視対象としてよい。例えば、徘徊する可能性がある老人を保護している、老人の家族又は施設の職員は、その老人を監視対象となる人物2として、行動監視システム100に登録しておいてよい。例えば、どのような行動をするかわからない幼児又は小学生等の子どもの親等の保護者は、その子どもを監視対象となる人物2として、行動監視システム100に登録しておいてよい。例えば、行動監視システム100に登録されている人物2は、登録人物と称される。登録人物を行動監視システム100に登録する、老人の家族若しくは施設の職員、又は、子どもの保護者等は、監視依頼者と称される。
2(2a、2b)、5 人物
3 グループ
10 行動監視装置
11 制御部
20 車載カメラ
21 前方カメラ
22 側方カメラ
23 後方カメラ
24 車内カメラ
25 位置情報取得装置
30 通信装置
40 画像解析部
41 前方画像解析部
42 側方画像解析部
43 後方画像解析部
50 サーバ
51 サーバ制御部
52 サーバ通信部
53 サーバ記憶部
60 ネットワーク
70 端末
100 行動監視システム
Claims (11)
- 車載カメラ画像に含まれている人物の行動を検出する制御部を備え、
前記制御部は、
前記車載カメラ画像から複数の人物を検出し、
検出した各人物の属性情報と、検出した複数の人物の間の関連性を表す相関情報とを検出し、
前記検出した各人物の行動を、前記属性情報と前記相関情報とに基づいて評価し、評価結果を出力し、
前記相関情報は、前記複数の人物のうちの少なくとも1人の人物の視線に基づいて前記複数の人物それぞれの関係を表す情報を含む、
行動監視装置。 - 前記相関情報は、前記複数の人物のうちの少なくとも1人の人物の視線に基づいて前記複数の人物の中で注目されている人物を表す情報を含む、請求項1に記載の行動監視装置。
- 前記相関情報は、前記複数の人物のうちの第1の人物の視線に基づいて前記第1の人物が関心を持っている人物を表す情報を含む、請求項1又は2に記載の行動監視装置。
- 請求項1から3までのいずれか一項に記載の行動監視装置であって、
前記各人物を検出した車載カメラ画像の撮影時刻及び撮影位置の少なくとも一方をさらに特定し、
前記検出した各人物の行動を、前記撮影時刻及び前記撮影位置の少なくとも一方にさらに基づいて評価する、行動監視装置。 - 請求項1から4までのいずれか一項に記載の行動監視装置であって、
前記制御部は、前記評価結果として、検出した人物がさらされているリスクの大きさを出力する、行動監視装置。 - 請求項1から5のいずれか一項に記載の行動監視装置であって、
前記制御部は、
前記車載カメラ画像から、第1時刻に撮影された第1時刻画像と、第2時刻に撮影された第2時刻画像とを取得し、
前記第1時刻画像及び前記第2時刻画像の両方の画像から検出される第1の人物を特定する、行動監視装置。 - 請求項6に記載の行動監視装置であって、
前記制御部は、前記第1時刻における前記第1の人物の属性情報と、前記第2時刻における前記第1の人物の属性情報との差に基づいて、前記第1の人物がさらされているリスクの大きさを検出する、行動監視装置。 - 請求項6又は7に記載の行動監視装置であって、
前記制御部は、前記第1時刻における前記第1の人物を含む複数の人物の相関情報と、前記第2時刻における前記第1の人物を含む複数の人物の相関情報との差に基づいて、前記第1の人物がさらされているリスクの大きさを検出する、行動監視装置。 - 請求項1から8のいずれか一項に記載の行動監視装置であって、
前記制御部は、
前記検出した各人物の行動に関する行動評価値を算出し、
前記行動評価値に基づいて、前記各人物の行動を、周囲の人物のリスクを増大させる異常行動、周囲の人物のリスクを減少させる安全行動、及び、周囲の人物のリスクの大きさを増大も減少もさせない通常行動のいずれかの行動であると判定する、行動監視装置。 - 車両と、行動監視装置とを備える行動監視システムであって、
前記行動監視装置は、前記車両の車載カメラ画像に含まれている人物の行動を検出する制御部を備え、
前記制御部は、
前記車載カメラ画像から複数の人物を検出し、
検出した各人物の属性情報と、検出した複数の人物の間の関連性を表す相関情報とを検出し、
前記検出した各人物の行動を、前記属性情報と前記相関情報とに基づいて評価し、評価結果を出力し、
前記相関情報は、前記複数の人物のうちの少なくとも1人の人物の視線に基づいて前記複数の人物それぞれの関係を表す情報を含む、
行動監視システム。 - プロセッサに、
車載カメラ画像から複数の人物を検出するステップと、
検出した各人物の属性情報と、検出した複数の人物の間の関連性を表す相関情報とを検出するステップと、
前記検出した各人物の行動を、前記属性情報と前記相関情報とに基づいて評価するステップと、
評価結果を出力するステップと
を実行させ、
前記相関情報は、前記複数の人物のうちの少なくとも1人の人物の視線に基づいて前記複数の人物それぞれの関係を表す情報を含む、
行動監視プログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018231199A JP7115277B2 (ja) | 2018-12-10 | 2018-12-10 | 行動監視装置、行動監視システム、及び行動監視プログラム |
US16/664,349 US11195001B2 (en) | 2018-12-10 | 2019-10-25 | Behavior monitoring device, behavior monitoring system, and behavior monitoring program |
CN201911194124.7A CN111294554B (zh) | 2018-12-10 | 2019-11-28 | 行为监视装置、行为监视***和非暂时性可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018231199A JP7115277B2 (ja) | 2018-12-10 | 2018-12-10 | 行動監視装置、行動監視システム、及び行動監視プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020095357A JP2020095357A (ja) | 2020-06-18 |
JP7115277B2 true JP7115277B2 (ja) | 2022-08-09 |
Family
ID=70971942
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018231199A Active JP7115277B2 (ja) | 2018-12-10 | 2018-12-10 | 行動監視装置、行動監視システム、及び行動監視プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US11195001B2 (ja) |
JP (1) | JP7115277B2 (ja) |
CN (1) | CN111294554B (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7439694B2 (ja) * | 2020-08-11 | 2024-02-28 | トヨタ自動車株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JP2022035379A (ja) * | 2020-08-20 | 2022-03-04 | トヨタ自動車株式会社 | 情報処理装置、情報処理システム、及び情報処理方法 |
CN116523319B (zh) * | 2023-06-30 | 2023-09-08 | 中国市政工程西南设计研究总院有限公司 | 智慧公园综合管理方法和*** |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006092396A (ja) | 2004-09-27 | 2006-04-06 | Oki Electric Ind Co Ltd | 単独行動者及びグループ行動者検知装置 |
JP2010128594A (ja) | 2008-11-25 | 2010-06-10 | Sogo Keibi Hosho Co Ltd | 動作検出装置および動作検出方法 |
JP2010250775A (ja) | 2009-04-20 | 2010-11-04 | Takenaka Komuten Co Ltd | 犯罪防止装置およびプログラム |
WO2016002408A1 (ja) | 2014-06-30 | 2016-01-07 | 日本電気株式会社 | 画像処理装置、監視システム、画像処理方法、及びプログラム |
JP2016170725A (ja) | 2015-03-13 | 2016-09-23 | 三菱電機株式会社 | 車載装置及び情報処理方法及び情報処理プログラム |
JP2017068598A (ja) | 2015-09-30 | 2017-04-06 | セコム株式会社 | 群衆解析装置 |
JP2018124972A (ja) | 2016-12-06 | 2018-08-09 | ゼネラル・エレクトリック・カンパニイ | ワンショット学習を通じた群衆解析 |
JP2018151693A (ja) | 2017-03-09 | 2018-09-27 | 株式会社デンソーテン | 運転支援装置および運転支援方法 |
JP2018195194A (ja) | 2017-05-19 | 2018-12-06 | シャープ株式会社 | 情報処理システム、情報処理装置、情報処理方法およびプログラム |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100712959B1 (ko) * | 2005-09-16 | 2007-04-30 | (주)서광시스템 | 지역방범 추적시스템 및 그 방법 |
JP5141048B2 (ja) * | 2007-03-05 | 2013-02-13 | オムロン株式会社 | リスク監視装置、リスク監視システム、リスク監視方法 |
US20120033123A1 (en) * | 2010-08-06 | 2012-02-09 | Nikon Corporation | Information control apparatus, data analyzing apparatus, signal, server, information control system, signal control apparatus, and program |
CN102724482B (zh) * | 2012-06-18 | 2015-08-26 | 西安电子科技大学 | 基于gps和gis的智能视觉传感网络运动目标接力跟踪*** |
JP2014067383A (ja) | 2012-09-24 | 2014-04-17 | Ramrock Co Ltd | 行動監視通報システム |
DE102014201159A1 (de) * | 2014-01-23 | 2015-07-23 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Klassifizieren eines Verhaltens eines Fußgängers beim Überqueren einer Fahrbahn eines Fahrzeugs sowie Personenschutzsystem eines Fahrzeugs |
CN105096406A (zh) * | 2014-04-30 | 2015-11-25 | 开利公司 | 用于建筑能耗设备的视频分析***和智能楼宇管理*** |
US20160189323A1 (en) * | 2014-12-26 | 2016-06-30 | Panasonic Intellectual Property Corporation Of America | Risk determination method, risk determination device, risk determination system, and risk output device |
JP2016218766A (ja) * | 2015-05-21 | 2016-12-22 | 富士ゼロックス株式会社 | 情報処理装置及び情報処理プログラム |
CN105184815B (zh) * | 2015-07-31 | 2018-04-10 | 江苏诚创信息技术研发有限公司 | 聚众事件检测方法及*** |
CN105426820B (zh) * | 2015-11-03 | 2018-09-21 | 中原智慧城市设计研究院有限公司 | 基于安防监控视频数据的多人异常行为检测方法 |
WO2017079341A2 (en) * | 2015-11-04 | 2017-05-11 | Zoox, Inc. | Automated extraction of semantic information to enhance incremental mapping modifications for robotic vehicles |
CN105825198A (zh) * | 2016-03-29 | 2016-08-03 | 深圳市佳信捷技术股份有限公司 | 行人检测方法及装置 |
CN108062349B (zh) * | 2017-10-31 | 2022-03-08 | 深圳大学 | 基于视频结构化数据及深度学习的视频监控方法和*** |
CN108717521A (zh) * | 2018-04-17 | 2018-10-30 | 智慧互通科技有限公司 | 一种基于图像的停车场秩序管理方法及*** |
-
2018
- 2018-12-10 JP JP2018231199A patent/JP7115277B2/ja active Active
-
2019
- 2019-10-25 US US16/664,349 patent/US11195001B2/en active Active
- 2019-11-28 CN CN201911194124.7A patent/CN111294554B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006092396A (ja) | 2004-09-27 | 2006-04-06 | Oki Electric Ind Co Ltd | 単独行動者及びグループ行動者検知装置 |
JP2010128594A (ja) | 2008-11-25 | 2010-06-10 | Sogo Keibi Hosho Co Ltd | 動作検出装置および動作検出方法 |
JP2010250775A (ja) | 2009-04-20 | 2010-11-04 | Takenaka Komuten Co Ltd | 犯罪防止装置およびプログラム |
WO2016002408A1 (ja) | 2014-06-30 | 2016-01-07 | 日本電気株式会社 | 画像処理装置、監視システム、画像処理方法、及びプログラム |
JP2016170725A (ja) | 2015-03-13 | 2016-09-23 | 三菱電機株式会社 | 車載装置及び情報処理方法及び情報処理プログラム |
JP2017068598A (ja) | 2015-09-30 | 2017-04-06 | セコム株式会社 | 群衆解析装置 |
JP2018124972A (ja) | 2016-12-06 | 2018-08-09 | ゼネラル・エレクトリック・カンパニイ | ワンショット学習を通じた群衆解析 |
JP2018151693A (ja) | 2017-03-09 | 2018-09-27 | 株式会社デンソーテン | 運転支援装置および運転支援方法 |
JP2018195194A (ja) | 2017-05-19 | 2018-12-06 | シャープ株式会社 | 情報処理システム、情報処理装置、情報処理方法およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
US11195001B2 (en) | 2021-12-07 |
CN111294554B (zh) | 2022-03-08 |
JP2020095357A (ja) | 2020-06-18 |
US20200184202A1 (en) | 2020-06-11 |
CN111294554A (zh) | 2020-06-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Kashevnik et al. | Methodology and mobile application for driver behavior analysis and accident prevention | |
US10848913B2 (en) | Method for smartphone-based accident detection | |
US10155445B2 (en) | Direct observation event triggering of drowsiness | |
US11623647B2 (en) | Driver and vehicle monitoring feedback system for an autonomous vehicle | |
EP3316231B1 (en) | Alert generation correlating between head mounted imaging data and external device | |
US20210197849A1 (en) | Warning device and driving tendency analysis method | |
EP2758879B1 (en) | A computing platform for development and deployment of sensor-driven vehicle telemetry applications and services | |
JP7115277B2 (ja) | 行動監視装置、行動監視システム、及び行動監視プログラム | |
JP6954420B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
US10713861B2 (en) | Vehicle tracker for monitoring operation of a vehicle and method thereof | |
US11285963B2 (en) | Driver-based prediction of dangerous events | |
Shubham et al. | A survey on IoT based automatic road accident detection | |
Ijjina et al. | Accident detection from dashboard camera video | |
Kannimuthu et al. | Certain investigation on significance of internet of things (IoT) and big data in vehicle tracking system | |
Vasudevan et al. | An AI approach for real-time driver drowsiness detection—A novel attempt with high accuracy | |
Areef et al. | A Study on Cloud and IoT based Accident Detection & Prevention Systems | |
Montanaro et al. | A Survey on the combined use of IoT and Edge AI to improve Driver Monitoring systems | |
TWI640446B (zh) | 基於模糊優化集合架構的駕駛輔助方法及其裝置與系統 | |
Chaturvedi et al. | Driver Safety and Assistance System using Machine Learning & IoT | |
Batra et al. | DDSS: an AI powered system for driver safety | |
Tushaar et al. | UDDSUI: An Unsafe Driving Detection System Using IoT | |
US12046128B2 (en) | Monitoring device, monitoring method, and recording medium | |
Bhargava et al. | Design and Implementation of Driver Assistance System using Machine Learning | |
Reddy et al. | Cloud-Based Road Safety for Real-Time Vehicle Rash Driving Alerts with Random Forest Algorithm | |
Kaur et al. | Intelligent impaired driving detection and road emergency services system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210325 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220224 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220308 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220330 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220628 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220711 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7115277 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |