JP6202283B2 - 事件映像処理装置、事件映像処理システム、事件映像処理方法、及びプログラム - Google Patents
事件映像処理装置、事件映像処理システム、事件映像処理方法、及びプログラム Download PDFInfo
- Publication number
- JP6202283B2 JP6202283B2 JP2015084487A JP2015084487A JP6202283B2 JP 6202283 B2 JP6202283 B2 JP 6202283B2 JP 2015084487 A JP2015084487 A JP 2015084487A JP 2015084487 A JP2015084487 A JP 2015084487A JP 6202283 B2 JP6202283 B2 JP 6202283B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- mask
- face area
- area
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 251
- 238000003672 processing method Methods 0.000 title claims description 11
- 238000000034 method Methods 0.000 claims description 78
- 230000008569 process Effects 0.000 claims description 68
- 238000001514 detection method Methods 0.000 claims description 35
- 238000010586 diagram Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 11
- 238000006243 chemical reaction Methods 0.000 description 9
- 230000000873 masking effect Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 5
- 230000001815 facial effect Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 230000007717 exclusion Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
- G11B27/036—Insert-editing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
- G06V10/235—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
- G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/34—Indicating arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Television Signal Processing For Recording (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
Description
先ず、本実施形態の事件映像処理装置を含む事件映像処理システムの構成について、図1を参照して説明する。図1は、本実施形態に係る事件映像処理システム全体の概略構成を示す図である。以下の説明では、本実施形態に係る事件映像処理装置及び事件映像処理システムを警察署において用いる場合の構成、動作の一例について示す。なお、事件映像処理システムは、警察署に限らず、他の行政機関、事業体などにおいて用いることも可能である。
図4は、事件映像処理装置の内部構成の一例を示すブロック図である。事件映像処理装置(事件映像ログデータ生成装置)100は、事件映像データに関する各種データ処理、及びこれらの処理の制御を行うパーソナルコンピュータ(PC)等のコンピュータにより構成され、コンピュータにおいて所定のソフトウェアプログラムを実行することによって機能が実現される。事件映像処理装置100は、プロセッサとしてのCPU(Central Processing Unit)101、主記憶装置としてのメモリ102、外部装置と通信を行う通信部103、データの入出力を制御するI/O制御部104を有する。また、事件映像処理装置100は、アプリケーションの実行画面及び映像データの再生画面を表示する液晶表示装置等による表示デバイス105、ユーザの指示操作を入力するキーボード、マウス、タッチパネル等による入力デバイス106を有する。通信部103は、有線ネットワーク又は無線ネットワーク等の通信経路を介して事件映像管理システム200のサーバ250との間で有線又は無線による通信を行い、事件映像データ、ログデータを含む映像管理データを送受信する。事件映像管理システム200のサーバ250は、事件映像データ及び映像管理データを記録するデータ記録デバイスであるストレージを含む。
図7は、本実施形態に係る事件映像編集処理の一例を説明する図である。事件映像処理装置100は、事件映像処理システムのアプリケーションとして、事件映像管理システム200のクライアントアプリケーションである事件映像管理アプリケーションをCPU101及びメモリ102によって実行し、事件映像データのリストを表示デバイス105に表示する。次に、事件映像処理装置100は、編集担当の警察官等のユーザからの選択操作を入力デバイス106より入力し、事件映像データのリストから編集処理を施す処理対象の事件映像データをユーザ指示に従って選択する。そして、事件映像処理装置100は、事件映像処理システムのアプリケーションとして、映像編集アプリケーションをCPU101及びメモリ102によって起動し、事件映像編集処理として以下のようなマスク処理を映像データに対して実行する。
事件映像処理装置100は、事件映像管理システム200又はメディア資産管理システム300から処理対象の事件映像データを入力し、入力した映像データをデコードしてマスク処理を行うフレームの静止画の画像データを生成し、表示デバイス105に処理対象の画像を表示する。
事件映像処理装置100は、画像データに含まれる人物の顔領域を検出し、顔領域に対応するマスク対象枠121を生成して処理対象の画像中に表示する。また、事件映像処理装置100は、検出した顔領域をマスク対象として登録する。マスク対象枠121は、人物の顔を検出したことをユーザが容易に認識できるようにするものであり、顔の付近に枠又はマークを付加して表示する。マスク対象枠121は、四角形枠、楕円枠、矢印のようなマークで表示してもよく、或いは、映像から検出した顔の部分だけを切り取り、映像と並行して別個に一覧表示するようにしてもよい。
なお、顔検出処理としては、顔検出する際に、下記の参考特許文献1、2に記載された人物検出技術を使用し、画像内の対象を人物として検出した上で、さらに人物の顔領域を検出する構成でもよい。
[参考特許文献1]特開2013−30104号公報(米国特許出願公開第2014/0164413号明細書)
[参考特許文献2]国際公開第2013/132836号(米国特許出願公開第2015/0016684号明細書)
事件映像処理装置100は、ユーザからのマスク対象外指定操作を入力デバイス106より入力し、指定領域(容疑者の顔領域)に対応するマスク対象外枠122を生成して処理対象の画像中に表示する。また、事件映像処理装置100は、ユーザにより指定された顔領域をマスク対象外としてマスク対象から除外し、マスク対象外の顔特性を顔照合データとして登録する。
事件映像処理装置100は、マスク対象の顔領域(マスク対象枠121)のマスク処理を行う。本実施形態では、基本的に、画像中の検出した顔領域を全てマスク対象としてマスク処理を行う。例外として、ユーザ指示により指定された容疑者の顔領域をマスク対象外としてマスク処理を行わないようにする。なお、マスク処理としては、人物の顔などの対象領域において、塗りつぶし、ぼかし、網掛け、変形、モザイク処理など、種々の画像加工処理が含まれる。
事件映像処理装置100は、ユーザからのマスク対象の追加指定操作を入力デバイス106より入力し、指定領域(追加のマスク対象顔領域)に対応するマスク対象枠123を生成して処理対象の画像中に表示する。また、事件映像処理装置100は、追加指定された領域をマスク対象として登録する。その後、事件映像処理装置100は、追加指定されたマスク対象の顔領域(マスク対象枠123)のマスク処理を行う。
次に、本実施形態の事件映像処理装置100による事件映像編集処理の具体例を詳細に説明する。図8は、本実施形態に係る事件映像編集処理の手順の一例を示すフローチャートである。
次に、事件映像処理装置100のログ生成部160によるログデータ生成処理について、具体例を挙げて説明する。図13は、事件映像編集処理に関するログデータの一例を示す図である。
22、32 映像管理データ
50 編集映像データ
60 ログデータ
100 事件映像処理装置(事件映像ログデータ生成装置)
101 CPU
102 メモリ
103 通信部
104 I/O制御部
105 表示デバイス
106 入力デバイス
151 映像入力部
152 デコーダ部
153 画像処理部
154 対象管理部
155 対象追跡部
156 顔検出部
157 顔照合部
158 対象外検出部
159 操作入力部
160 ログ生成部
161 エンコーダ部
162 映像出力部
200 事件映像管理システム
250 サーバ
300 メディア資産管理システム
Claims (5)
- プロセッサとメモリとを含み、事件に関連する映像データの画像処理を行う事件映像処理装置であって、
前記プロセッサは、前記メモリと協働して、
事件映像管理システムのストレージに記録された処理対象の映像データを入力し、
前記映像データの画像内に含まれる人物の顔領域を検出し、検出された前記顔領域をマスク対象領域としてマスク対象枠を生成して前記顔領域に対応付けて表示し、
表示された前記マスク対象枠が示す前記顔領域について、マスク対象外を選択するユーザ指示が入力されたかを判定し、
前記ユーザ指示により選択された前記顔領域をマスク対象から除外してマスク対象外の領域として前記メモリに登録するとともに、前記マスク対象外とした前記顔領域内の顔の特性データを前記メモリに登録し、
前記ユーザ指示により選択されなかった前記顔領域に対してのみマスク処理を実行し、
前記マスク処理を含む画像処理を施した映像データを出力する、
事件映像処理装置。 - 請求項1に記載の事件映像処理装置であって、
前記プロセッサは、
前記顔領域の検出において、前記映像データのフレームごとに画像内に含まれる人物の顔領域を検出し、
以前のフレームにおいて登録された前記マスク対象の領域を探索してマスク対象を追従し、
前記検出された顔領域内の顔の特性データが前記メモリに登録された前記顔の特性データと一致するか照合し、一致する場合は前記検出された顔領域をマスク対象外の領域としてマスク対象から除外する、
事件映像処理装置。 - 事件に関連する映像データの画像処理を行う事件映像管理装置における事件映像処理方法であって、
事件映像管理システムのストレージに記録された処理対象の映像データを入力し、
前記映像データの画像内に含まれる人物の顔領域を検出し、検出された前記顔領域をマスク対象領域としてマスク対象枠を生成して前記顔領域に対応付けて表示し、
表示された前記マスク対象枠が示す前記顔領域について、マスク対象外を選択するユーザ指示が入力されたかを判定し、
前記ユーザ指示により選択された前記顔領域をマスク対象から除外してマスク対象外の領域としてメモリに登録するとともに、マスク対象外とした前記顔領域内の顔の特性データを前記メモリに登録し、
前記ユーザ指示により選択されなかった前記顔領域に対してのみマスク処理を実行し、
前記マスク処理を含む画像処理を施した映像データを出力する、
事件映像処理方法。 - 前記顔領域の検出において、前記映像データのフレームごとに画像内に含まれる人物の顔領域を検出し、
以前のフレームにおいて登録された前記マスク対象の領域を探索してマスク対象を追従し、
前記検出された顔領域内の顔の特性データが前記メモリに登録された前記顔の特性データと一致するか照合し、一致する場合は前記検出された顔領域をマスク対象外の領域としてマスク対象から除外する、
請求項3に記載の事件映像処理方法。 - 事件に関連する映像データの画像処理を行うコンピュータである事件映像管理装置に、
事件映像管理システムのストレージに記録された処理対象の映像データを入力し、
前記映像データの画像内に含まれる人物の顔領域を検出し、検出された前記顔領域をマスク対象領域としてマスク対象枠を生成して前記顔領域に対応付けて表示し、
表示された前記マスク対象枠が示す前記顔領域について、マスク対象外を選択するユーザ指示が入力されたかを判定し、
前記ユーザ指示により選択された前記顔領域をマスク対象から除外してマスク対象外の領域としてメモリに登録するとともに、マスク対象外とした前記顔領域内の顔の特性データを前記メモリに登録し、
前記ユーザ指示により選択されなかった前記顔領域に対してのみマスク処理を実行し、
前記マスク処理を含む画像処理を施した映像データを出力する、
それぞれの処理を実現させるための、プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015084487A JP6202283B2 (ja) | 2015-04-16 | 2015-04-16 | 事件映像処理装置、事件映像処理システム、事件映像処理方法、及びプログラム |
US15/017,180 US10008240B2 (en) | 2015-04-16 | 2016-02-05 | Case video processing apparatus, case video processing system, and case video processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015084487A JP6202283B2 (ja) | 2015-04-16 | 2015-04-16 | 事件映像処理装置、事件映像処理システム、事件映像処理方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016208127A JP2016208127A (ja) | 2016-12-08 |
JP6202283B2 true JP6202283B2 (ja) | 2017-09-27 |
Family
ID=57128545
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015084487A Active JP6202283B2 (ja) | 2015-04-16 | 2015-04-16 | 事件映像処理装置、事件映像処理システム、事件映像処理方法、及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US10008240B2 (ja) |
JP (1) | JP6202283B2 (ja) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017129804A1 (en) * | 2016-01-29 | 2017-08-03 | Kiwisecurity Software Gmbh | Methods and apparatus for using video analytics to detect regions for privacy protection within images from moving cameras |
US10991397B2 (en) * | 2016-10-14 | 2021-04-27 | Genetec Inc. | Masking in video stream |
WO2018179555A1 (ja) * | 2017-03-31 | 2018-10-04 | パナソニックIpマネジメント株式会社 | 撮像装置 |
JP6996883B2 (ja) | 2017-07-05 | 2022-01-17 | ソニー・オリンパスメディカルソリューションズ株式会社 | 医療用観察装置 |
JP7122815B2 (ja) * | 2017-11-15 | 2022-08-22 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
US11057667B2 (en) | 2017-11-17 | 2021-07-06 | Gfycat, Inc. | Selection of a prerecorded media file for superimposing into a video |
US11057601B2 (en) | 2017-11-17 | 2021-07-06 | Gfycat, Inc. | Superimposing a prerecorded media file into a video |
JP6887132B2 (ja) * | 2018-04-12 | 2021-06-16 | パナソニックIpマネジメント株式会社 | 映像処理装置、映像処理システム及び映像処理方法 |
JP2020005014A (ja) | 2018-06-25 | 2020-01-09 | パナソニック株式会社 | 情報処理装置、映像テキスト変換方法、および映像データ生成方法 |
US11527265B2 (en) | 2018-11-02 | 2022-12-13 | BriefCam Ltd. | Method and system for automatic object-aware video or audio redaction |
CN109672909A (zh) * | 2018-11-08 | 2019-04-23 | 北京奇虎科技有限公司 | 数据处理方法、装置、电子设备及可读存储介质 |
US10945042B2 (en) * | 2018-11-19 | 2021-03-09 | Gfycat, Inc. | Generating an interactive digital video content item |
KR102314941B1 (ko) | 2019-10-08 | 2021-10-21 | 한국전자통신연구원 | 사생활 보호를 위한 카메라 보조 장치 및 이를 이용한 사생활 보호 방법 |
JP7331610B2 (ja) * | 2019-10-11 | 2023-08-23 | オムロン株式会社 | 画像匿名化装置、画像匿名化方法、及びプログラム |
US11094042B1 (en) * | 2021-03-12 | 2021-08-17 | Flyreel, Inc. | Face detection and blurring methods and systems |
US11854580B2 (en) * | 2021-11-24 | 2023-12-26 | Rovi Guides, Inc. | Methods and systems for enhancing user-generated content |
US11769233B1 (en) * | 2022-07-05 | 2023-09-26 | Motorola Solutions, Inc. | Random image substitution used for video redaction |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003346149A (ja) * | 2002-05-24 | 2003-12-05 | Omron Corp | 顔照合装置および生体情報照合装置 |
JP4036051B2 (ja) * | 2002-07-30 | 2008-01-23 | オムロン株式会社 | 顔照合装置および顔照合方法 |
JP4671133B2 (ja) * | 2007-02-09 | 2011-04-13 | 富士フイルム株式会社 | 画像処理装置 |
JP2009278325A (ja) | 2008-05-14 | 2009-11-26 | Seiko Epson Corp | 画像処理装置、画像処理方法、およびプログラム |
US9153031B2 (en) * | 2011-06-22 | 2015-10-06 | Microsoft Technology Licensing, Llc | Modifying video regions using mobile device input |
JP6123975B2 (ja) | 2011-07-29 | 2017-05-10 | パナソニックIpマネジメント株式会社 | 特徴量抽出装置及び特徴量抽出方法 |
JP5712898B2 (ja) * | 2011-10-31 | 2015-05-07 | 株式会社Jvcケンウッド | 画像処理装置、画像処理方法、画像処理プログラム |
JP2013157675A (ja) * | 2012-01-26 | 2013-08-15 | Canon Inc | 撮像装置及びその制御方法、プログラム、並びに記憶媒体 |
WO2013132836A1 (ja) | 2012-03-05 | 2013-09-12 | パナソニック株式会社 | 物体検出装置、物体検出方法、及び物体検出プログラム |
JP6209962B2 (ja) * | 2013-12-11 | 2017-10-11 | 富士ゼロックス株式会社 | 情報処理装置及び情報処理プログラム |
-
2015
- 2015-04-16 JP JP2015084487A patent/JP6202283B2/ja active Active
-
2016
- 2016-02-05 US US15/017,180 patent/US10008240B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US10008240B2 (en) | 2018-06-26 |
US20160307600A1 (en) | 2016-10-20 |
JP2016208127A (ja) | 2016-12-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6202283B2 (ja) | 事件映像処理装置、事件映像処理システム、事件映像処理方法、及びプログラム | |
JP6124223B2 (ja) | 事件映像ログデータ生成装置、事件映像処理システム、事件映像ログデータ生成方法、及びプログラム | |
US11210504B2 (en) | Emotion detection enabled video redaction | |
US20180068173A1 (en) | Identity verification via validated facial recognition and graph database | |
CN102542249B (zh) | 视频内容中的脸部识别 | |
US20180069937A1 (en) | Event correlation and association using a graph database | |
US11715241B2 (en) | Privacy protection in vision systems | |
JP6440327B2 (ja) | 防犯システム、防犯方法、及びロボット | |
US11348367B2 (en) | System and method of biometric identification and storing and retrieving suspect information | |
JPWO2009142098A1 (ja) | 画像処理装置、カメラ、画像処理方法およびプログラム | |
US20200311962A1 (en) | Deep learning based tattoo detection system with optimized data labeling for offline and real-time processing | |
US20200250401A1 (en) | Computer system and computer-readable storage medium | |
WO2023014506A1 (en) | System and method for audio tagging of an object of interest | |
JP7307887B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP6405606B2 (ja) | 画像処理装置、画像処理方法、および画像処理プログラム | |
JP2020135580A (ja) | 検索装置、検索方法、およびプログラム | |
US11495024B2 (en) | Systems and methods for collecting video clip evidence from a plurality of video streams of a video surveillance system | |
Grosselfinger et al. | An architecture for automatic multimodal video data anonymization to ensure data protection | |
JP2022086627A (ja) | 異常検知装置、異常検知方法 | |
JP5618628B2 (ja) | 人物情報自動収集システム及び人物情報自動収集方法並びにそのプログラム | |
US20200143843A1 (en) | Device, system and method for determining incident objects in secondary video | |
JP6773144B2 (ja) | コンテンツ選択装置、コンテンツ選択方法、コンテンツ選択システム及びプログラム | |
CN114255444A (zh) | 一种报警方法、装置、电子设备及存储介质 | |
JP5167188B2 (ja) | 動作状態検出装置および動作状態検出方法 | |
CN117314425A (zh) | 一种基于区块链的ar藏品鉴定***及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170404 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170517 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170725 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170815 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6202283 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
SZ03 | Written request for cancellation of trust registration |
Free format text: JAPANESE INTERMEDIATE CODE: R313Z03 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |