JP2019139570A - 判別装置、判別方法およびプログラム - Google Patents
判別装置、判別方法およびプログラム Download PDFInfo
- Publication number
- JP2019139570A JP2019139570A JP2018023266A JP2018023266A JP2019139570A JP 2019139570 A JP2019139570 A JP 2019139570A JP 2018023266 A JP2018023266 A JP 2018023266A JP 2018023266 A JP2018023266 A JP 2018023266A JP 2019139570 A JP2019139570 A JP 2019139570A
- Authority
- JP
- Japan
- Prior art keywords
- work
- worker
- unit
- area
- type
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 15
- 230000033001 locomotion Effects 0.000 claims abstract description 67
- 238000012545 processing Methods 0.000 claims abstract description 31
- 230000010365 information processing Effects 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 9
- 230000009471 action Effects 0.000 claims description 5
- 238000012549 training Methods 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 11
- 230000001133 acceleration Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000007664 blowing Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
- G06V40/25—Recognition of walking or running movements, e.g. gait recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- General Factory Administration (AREA)
- Image Analysis (AREA)
Abstract
Description
図1は、実施形態に係る認識システム10を示す図である。
つぎに、第2実施形態に係る判別装置30について説明する。第2実施形態に係る判別装置30は、第1実施形態と同一の認識システム10に適用される。また、第3実施形態以降も同様である。また、第2実施形態に係る判別装置30は、第1実施形態と略同一の構成および機能を有するので、共通の要素には同一の符号を付けて、相違点を除き詳細な説明を省略する。
つぎに、第3実施形態に係る判別装置30について説明する。第3実施形態に係る判別装置30は、第2実施形態と略同一の構成および機能を有するので、共通の要素には同一の符号を付けて、相違点を除き詳細な説明を省略する。
つぎに、第4実施形態に係る判別装置30について説明する。第4実施形態に係る判別装置30は、第2実施形態と略同一の構成および機能を有するので、共通の要素には同一の符号を付けて、相違点を除き詳細な説明を省略する。
図15は、判別装置30のハードウェア構成を示す図である。判別装置30は、一例として、一般のコンピュータ(情報処理装置)と同様のハードウェア構成により実現される。判別装置30は、所定プログラムを実行することにより機能することができる。
20 製造ライン
22 位置センサ
24 動作センサ
30 判別装置
36 対象範囲
38 部分領域
40 領域受付部
42 領域情報記憶部
44 位置特定部
46 領域特定部
48 判別器記憶部
50 選択部
52 動作情報生成部
54 判別処理部
56 結果記憶部
58 表示制御部
60 対象範囲画像
62 作業者マーク
64 製造装置画像
66 搬送装置画像
70 部分領域画像
72 判別結果画像
74 候補画像
80 領域再構築部
82 動作記憶部
84 入力受付部
86 学習部
90 種別画像
Claims (15)
- 作業者位置を特定する位置特定部と、
前記作業者位置を含む作業領域を特定する領域特定部と、
人間の動作を表す動作情報から人間の作業内容を判別するための複数の判別器のうち、前記作業領域に対応付けられた少なくとも1つの判別器を選択する選択部と、
作業者の動作を表す作業者動作情報を生成する動作情報生成部と、
選択された前記少なくとも1つの判別器を用いて、前記作業者動作情報に基づき、前記作業者の作業内容を表す作業種別を判別する判別処理部と、
を備える判別装置。 - 前記領域特定部は、予め設定された複数の部分領域のうち、前記作業者位置を含む1つの部分領域を前記作業領域として特定する
請求項1に記載の判別装置。 - 前記判別処理部は、前記作業者の作業内容の候補である複数の候補種別と、前記複数の候補種別のそれぞれの信頼度とを算出し、前記信頼度が最も高い1つの候補種別を前記作業種別として出力する
請求項1または2に記載の判別装置。 - 所定時間毎に、
前記位置特定部は、前記作業者位置を特定し、
前記領域特定部は、前記作業領域を特定し、
前記選択部は、前記少なくとも1つの判別器を選択し、
前記動作情報生成部は、前記作業者動作情報を生成し、
前記判別処理部は、前記作業種別を判別する
請求項1から3の何れか1項に記載の判別装置。 - 所定時間毎に判別された前記作業種別、および、前記所定時間毎に特定された前記作業領域を、前記作業者が動作した時刻に対応させて記憶する結果記憶部をさらに備える
請求項2に記載の判別装置。 - 前記作業者の作業内容を判別する対象範囲を表す対象範囲画像、前記対象範囲における前記作業者位置を示す作業者マーク、および、判別した前記作業種別を表す判別結果画像を、表示装置に表示させる表示制御部をさらに備える
請求項1から5の何れか1項に記載の判別装置。 - 前記信頼度が高い順に前記複数の候補種別が並べられた候補画像を表示装置に表示させる表示制御部をさらに備える
請求項3に記載の判別装置。 - 前記作業者の作業内容を判別する対象範囲を表す対象範囲画像、および、前記対象範囲における前記複数の部分領域のそれぞれを表す複数の部分領域画像を、表示装置に表示させる表示制御部をさらに備え、
前記表示制御部は、前記複数の部分領域のそれぞれ毎に、所定作業期間において前記作業者が作業をした作業時間を算出し、算出した作業時間をさらに表す前記複数の部分領域画像を表示させる
請求項5に記載の判別装置。 - 前記作業者の作業内容を判別する対象範囲を表す対象範囲画像、および、前記対象範囲における前記複数の部分領域のそれぞれを表す複数の部分領域画像を、表示装置に表示させる表示制御部をさらに備え、
前記表示制御部は、所定作業期間において、隣接する2つの部分領域における前記作業種別の一致割合が予め定められた値以上である場合、前記2つの部分領域を統合して1つの部分領域として表示する
請求項5に記載の判別装置。 - 所定作業期間において、隣接する2つの部分領域における前記作業種別の一致割合が予め定められた値以上である場合、前記2つの部分領域を統合して1つの部分領域とするように、前記複数の部分領域を再構築する領域再構築部をさらに備える
請求項2に記載の判別装置。 - 生成された前記作業者動作情報および判別された前記作業種別を対応付けて記憶する動作記憶部と、
前記動作記憶部により記憶された前記作業者動作情報および前記作業領域に基づき、前記複数の判別器を訓練する学習部と、
をさらに備える請求項1に記載の判別装置。 - 前記動作記憶部は、特定された前記作業領域を、前記作業種別に対応付けてさらに記憶し、
前記学習部は、前記作業領域に対応付けられた少なくとも1つの判別器を訓練する
請求項11に記載の判別装置。 - 判別された前記作業種別と、前記作業者の作業内容の候補である複数の候補種別とをユーザに提示する表示制御部と、
前記複数の候補種別の中から1つの候補種別の選択を受け付ける入力受付部と、
をさらに備え、
前記判別処理部は、前記入力受付部が前記ユーザに提示した前記作業種別とは異なる候補種別の選択を受け付けた場合、選択された候補種別を新たな作業種別として出力し、
前記学習部は、提示した前記作業種別とは異なる候補種別の選択を受け付けた場合、判別に用いた前記判別器を、前記新たな作業種別を用いて訓練する
請求項12に記載の判別装置。 - 作業者の作業内容を表す作業種別を情報処理装置により判別する判別方法であって、
前記情報処理装置が、作業者位置を特定し、
前記情報処理装置が、前記作業者位置を含む作業領域を特定し、
前記情報処理装置が、人間の動作を表す動作情報から人間の作業内容を判別するための複数の判別器のうち、前記作業領域に対応付けられた少なくとも1つの判別器を選択し、
前記情報処理装置が、前記作業者の動作を表す作業者動作情報を生成し、
前記情報処理装置が、選択された前記少なくとも1つの判別器を用いて、前記作業者動作情報に基づき、前記作業者の作業内容を表す作業種別を判別する
判別方法。 - 作業者の作業内容を表す作業種別を判別する判別装置として情報処理装置を機能させるためのプログラムであって、
前記情報処理装置を、
作業者位置を特定する位置特定部と、
前記作業者位置を含む作業領域を特定する領域特定部と、
人間の動作を表す動作情報から人間の作業内容を判別するための複数の判別器のうち、前記作業領域に対応付けられた少なくとも1つの判別器を選択する選択部と、
前記作業者の動作を表す作業者動作情報を生成する動作情報生成部と、
選択された前記少なくとも1つの判別器を用いて、前記作業者動作情報に基づき、前記作業者の作業内容を表す作業種別を判別する判別処理部として
機能させるプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018023266A JP2019139570A (ja) | 2018-02-13 | 2018-02-13 | 判別装置、判別方法およびプログラム |
US16/102,795 US10902246B2 (en) | 2018-02-13 | 2018-08-14 | Device and method for determining job types based on worker movements |
JP2021168171A JP7423584B2 (ja) | 2018-02-13 | 2021-10-13 | 判別装置、判別方法およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018023266A JP2019139570A (ja) | 2018-02-13 | 2018-02-13 | 判別装置、判別方法およびプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021168171A Division JP7423584B2 (ja) | 2018-02-13 | 2021-10-13 | 判別装置、判別方法およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019139570A true JP2019139570A (ja) | 2019-08-22 |
Family
ID=67541672
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018023266A Pending JP2019139570A (ja) | 2018-02-13 | 2018-02-13 | 判別装置、判別方法およびプログラム |
JP2021168171A Active JP7423584B2 (ja) | 2018-02-13 | 2021-10-13 | 判別装置、判別方法およびプログラム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021168171A Active JP7423584B2 (ja) | 2018-02-13 | 2021-10-13 | 判別装置、判別方法およびプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US10902246B2 (ja) |
JP (2) | JP2019139570A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220092496A1 (en) * | 2019-11-26 | 2022-03-24 | Ncr Corporation | Frictionless and autonomous control processing |
JP2022048014A (ja) * | 2020-09-14 | 2022-03-25 | 株式会社東芝 | 負荷推定装置、方法およびプログラム |
US20220198804A1 (en) * | 2019-09-27 | 2022-06-23 | Ncr Corporation | Frictionless Authentication and Monitoring |
JP7456616B2 (ja) | 2020-08-04 | 2024-03-27 | 公立大学法人岩手県立大学 | 学習データ生成システム、推定システム、学習データ生成方法、推定方法、プログラム |
JP7493390B2 (ja) | 2020-06-15 | 2024-05-31 | 株式会社日立ハイテク | 監視システム |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7339167B2 (ja) * | 2020-01-17 | 2023-09-05 | 株式会社日立製作所 | 作業支援システム及び作業支援方法 |
JP7299187B2 (ja) * | 2020-03-23 | 2023-06-27 | 株式会社日立製作所 | 作業支援システムおよび作業支援方法 |
CN113838133A (zh) * | 2021-09-23 | 2021-12-24 | 上海商汤科技开发有限公司 | 一种状态检测方法、装置、计算机设备和存储介质 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0644203A (ja) * | 1992-05-12 | 1994-02-18 | Matsushita Electric Ind Co Ltd | 統合型学習システム |
JP2006178583A (ja) * | 2004-12-21 | 2006-07-06 | Yokogawa Electric Corp | 作業者行動記録システム |
JP2007021652A (ja) * | 2005-07-15 | 2007-02-01 | Mikuni Corp | 製品の生産装置および製品の生産方法 |
JP2009122302A (ja) * | 2007-11-14 | 2009-06-04 | Hitachi Ltd | 作業情報処理装置、プログラム及び作業情報処理方法 |
JP2010161991A (ja) * | 2009-01-16 | 2010-07-29 | Fujitsu Ltd | 作業記録装置、作業記録システムおよび作業記録プログラム |
JP2013151063A (ja) * | 2009-05-22 | 2013-08-08 | Toyota Motor East Japan Inc | 作業ロボット支援システム |
JP2014199514A (ja) * | 2013-03-29 | 2014-10-23 | 株式会社クボタ | 作業管理支援装置 |
WO2015098577A1 (ja) * | 2013-12-27 | 2015-07-02 | 日本郵船株式会社 | 作業管理システム |
JP2017010186A (ja) * | 2015-06-19 | 2017-01-12 | 三菱電機株式会社 | 物流作業分析システム |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0816986B1 (en) * | 1996-07-03 | 2006-09-06 | Hitachi, Ltd. | System for recognizing motions |
US7421491B2 (en) * | 2002-04-23 | 2008-09-02 | Seer Insight Security K.K. | Method and system for monitoring individual devices in networked environments |
WO2005006138A2 (en) * | 2003-06-30 | 2005-01-20 | Idocuments, Llc | Worker and document management system |
JP4460528B2 (ja) * | 2004-12-14 | 2010-05-12 | 本田技研工業株式会社 | 識別対象識別装置およびそれを備えたロボット |
US20060259472A1 (en) * | 2005-05-13 | 2006-11-16 | Macclellan Mary | Automated factory work analyzer |
JP2007328435A (ja) | 2006-06-06 | 2007-12-20 | Mitsubishi Electric Corp | 移動体行動分析装置 |
TWI413923B (zh) | 2009-06-30 | 2013-11-01 | E Pin Optical Industry Co Ltd | 微機電掃描之座標偵測方法及其觸控螢幕 |
US8983124B2 (en) * | 2009-12-03 | 2015-03-17 | National Institute Of Advanced Industrial Science And Technology | Moving body positioning device |
US8554605B2 (en) * | 2011-06-29 | 2013-10-08 | CrowdFlower, Inc. | Evaluating a worker in performing crowd sourced tasks and providing in-task training through programmatically generated test tasks |
US20140244209A1 (en) * | 2013-02-22 | 2014-08-28 | InvenSense, Incorporated | Systems and Methods for Activity Recognition Training |
US8948783B2 (en) * | 2013-06-28 | 2015-02-03 | Facebook, Inc. | User activity tracking system |
JP5506989B1 (ja) * | 2013-07-11 | 2014-05-28 | パナソニック株式会社 | 追跡支援装置、追跡支援システムおよび追跡支援方法 |
JP2016015026A (ja) | 2014-07-02 | 2016-01-28 | 富士通株式会社 | 作業対象確定プログラム、作業対象確定装置及び作業対象確定方法 |
JP6786862B2 (ja) | 2016-04-26 | 2020-11-18 | 株式会社ジェイテクト | 工程計画作成装置 |
-
2018
- 2018-02-13 JP JP2018023266A patent/JP2019139570A/ja active Pending
- 2018-08-14 US US16/102,795 patent/US10902246B2/en active Active
-
2021
- 2021-10-13 JP JP2021168171A patent/JP7423584B2/ja active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0644203A (ja) * | 1992-05-12 | 1994-02-18 | Matsushita Electric Ind Co Ltd | 統合型学習システム |
JP2006178583A (ja) * | 2004-12-21 | 2006-07-06 | Yokogawa Electric Corp | 作業者行動記録システム |
JP2007021652A (ja) * | 2005-07-15 | 2007-02-01 | Mikuni Corp | 製品の生産装置および製品の生産方法 |
JP2009122302A (ja) * | 2007-11-14 | 2009-06-04 | Hitachi Ltd | 作業情報処理装置、プログラム及び作業情報処理方法 |
JP2010161991A (ja) * | 2009-01-16 | 2010-07-29 | Fujitsu Ltd | 作業記録装置、作業記録システムおよび作業記録プログラム |
JP2013151063A (ja) * | 2009-05-22 | 2013-08-08 | Toyota Motor East Japan Inc | 作業ロボット支援システム |
JP2014199514A (ja) * | 2013-03-29 | 2014-10-23 | 株式会社クボタ | 作業管理支援装置 |
WO2015098577A1 (ja) * | 2013-12-27 | 2015-07-02 | 日本郵船株式会社 | 作業管理システム |
JP2017010186A (ja) * | 2015-06-19 | 2017-01-12 | 三菱電機株式会社 | 物流作業分析システム |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220198804A1 (en) * | 2019-09-27 | 2022-06-23 | Ncr Corporation | Frictionless Authentication and Monitoring |
US11948365B2 (en) * | 2019-09-27 | 2024-04-02 | Ncr Voyix Corporation | Frictionless authentication and monitoring |
US20220092496A1 (en) * | 2019-11-26 | 2022-03-24 | Ncr Corporation | Frictionless and autonomous control processing |
JP7493390B2 (ja) | 2020-06-15 | 2024-05-31 | 株式会社日立ハイテク | 監視システム |
JP7456616B2 (ja) | 2020-08-04 | 2024-03-27 | 公立大学法人岩手県立大学 | 学習データ生成システム、推定システム、学習データ生成方法、推定方法、プログラム |
JP2022048014A (ja) * | 2020-09-14 | 2022-03-25 | 株式会社東芝 | 負荷推定装置、方法およびプログラム |
JP7414676B2 (ja) | 2020-09-14 | 2024-01-16 | 株式会社東芝 | 負荷推定装置、方法およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2022009097A (ja) | 2022-01-14 |
US10902246B2 (en) | 2021-01-26 |
US20190251338A1 (en) | 2019-08-15 |
JP7423584B2 (ja) | 2024-01-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7423584B2 (ja) | 判別装置、判別方法およびプログラム | |
US9036018B2 (en) | Facial expression recognition systems and methods and computer program products thereof | |
US10964057B2 (en) | Information processing apparatus, method for controlling information processing apparatus, and storage medium | |
US20190347285A1 (en) | Electronic device for determining emotion of user and method for controlling same | |
JP2018116599A (ja) | 情報処理装置、情報処理方法およびプログラム | |
KR102579904B1 (ko) | 비전 검사 관리 방법 및 비전 검사 시스템 | |
CN109117893A (zh) | 一种基于人体姿态的动作识别方法及装置 | |
JPWO2018154709A1 (ja) | 動作学習装置、技能判別装置および技能判別システム | |
JP2022103189A (ja) | 作業現場監視装置、作業現場監視システム、作業現場監視方法およびプログラム | |
US20190251355A1 (en) | Method and electronic device for generating text comment about content | |
JP2020091801A (ja) | 作業分析システムおよび作業分析方法 | |
CN111837094A (zh) | 信息处理装置、信息处理方法和程序 | |
JP6733995B2 (ja) | 作業分析装置、作業分析方法、及びプログラム | |
JP2017174212A (ja) | 行動解析装置、行動解析方法及びプログラム | |
KR102263695B1 (ko) | 복수개의 카메라를 이용한 휴대 장치 및 제어방법 | |
US11210566B2 (en) | Training apparatus, training method and recording medium | |
US11887331B2 (en) | Information processing apparatus, control method, and non-transitory storage medium | |
JP2018055151A (ja) | 炎検出装置及びプログラム | |
JP6981553B2 (ja) | 識別システム、モデル提供方法およびモデル提供プログラム | |
US20210027481A1 (en) | System, method, and computer-readable medium for managing position of target | |
CN113642374A (zh) | 动作评价***、动作评价装置及动作评价方法 | |
JP2021056922A (ja) | 人動作支援システム及びその方法 | |
JP2019146087A (ja) | 情報処理装置、撮像装置の制御方法、コンピュータプログラム、及び記憶媒体 | |
US20230137094A1 (en) | Measurement device, measurement system, measurement method, and computer program product | |
JP2021077230A (ja) | 動作認識装置、動作認識方法、動作認識プログラム及び動作認識システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190814 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200731 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201013 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201214 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210302 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210426 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20210713 |