JP6640876B2 - 作業支援装置、作業支援方法、作業支援プログラム、及び記録媒体 - Google Patents
作業支援装置、作業支援方法、作業支援プログラム、及び記録媒体 Download PDFInfo
- Publication number
- JP6640876B2 JP6640876B2 JP2017558072A JP2017558072A JP6640876B2 JP 6640876 B2 JP6640876 B2 JP 6640876B2 JP 2017558072 A JP2017558072 A JP 2017558072A JP 2017558072 A JP2017558072 A JP 2017558072A JP 6640876 B2 JP6640876 B2 JP 6640876B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- work support
- terminal
- image
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 101
- 239000003550 marker Substances 0.000 claims description 137
- 238000012937 correction Methods 0.000 claims description 35
- 238000003384 imaging method Methods 0.000 claims description 22
- 230000008859 change Effects 0.000 claims description 3
- 238000004891 communication Methods 0.000 description 59
- 238000012545 processing Methods 0.000 description 49
- 230000008569 process Effects 0.000 description 40
- 230000006870 function Effects 0.000 description 28
- 238000010586 diagram Methods 0.000 description 24
- 230000001133 acceleration Effects 0.000 description 20
- 230000005540 biological transmission Effects 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 9
- 230000002194 synthesizing effect Effects 0.000 description 9
- 230000015572 biosynthetic process Effects 0.000 description 8
- 238000003786 synthesis reaction Methods 0.000 description 8
- 238000003672 processing method Methods 0.000 description 6
- 238000003702 image correction Methods 0.000 description 5
- 239000004973 liquid crystal related substance Substances 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 239000002131 composite material Substances 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000012015 optical character recognition Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 239000008186 active pharmaceutical agent Substances 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000007429 general method Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/243—Aligning, centring, orientation detection or correction of the image by compensating for image skew or non-uniform image deformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
- H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Computing Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Studio Devices (AREA)
- Controls And Circuits For Display Device (AREA)
Description
本実施形態においては、本発明の一態様における基本的な構成について説明する。
図1は、作業者側の作業者が映像を撮像する作業端末の傾きと、指示者側の映像表示装置に表示される映像の傾きとを合わせることができる本発明の実施形態1の遠隔支援の様子を模式的に示した図である。
図2は、本実施形態に係る遠隔通信システムの構成の一例を示す図である。作業端末103と、指示装置108は、公衆通信網(例えば、インターネット)NTによって、お互いに接続されており、TCP/IPやUDP等のプロトコルに従い、通信することができる。
図3は、本実施形態における作業端末103の一構成例を示す機能ブロック図である。
引き続いて、図4は、本実施形態における指示装置108の一構成例を示す機能ブロック図である。
本実施形態における、マーカー情報について、図5を用いて説明する。
本実施形態における、通信に用いる各種信号の生成方法について、図6を用いて説明する。
本実施の形態における、映像合成の方法について、図7を用いて説明する。
本実施形態における、作業端末の傾き情報の取得方法について、図8を用いて説明する。
図9は、本実施形態における管理サーバー200の一構成例を示す機能ブロック図である。
Processing Unit)によって構成され、現フレームの映像データと1フレーム前の映像データとを用いて、管理しているマーカーの位置情報の更新を行う。マーカーの追跡処理については、後述する。
Processing Unit)によって構成され、作業端末103の傾き情報に基づいて、入力された映像を補正する処理を行う。映像補正処理の内容については後述する。
本実施形態における、マーカー追跡処理について、図10と図11とを用いて説明する。
本実施形態における、作業端末103の傾き情報に基づく映像補正処理方法について、図12を用いて説明する。
続いて、本実施形態における処理の手順について、図13〜図16を用いて説明する。
本発明の他の実施形態について、図17〜図20に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
図17は、本実施形態における補正映像生成処理の手順である。
本実施形態における、文字検出については、映像内に文字領域が存在するか否かの判定で十分であり、文字が何であるかの認識は不要である。このような、文字領域の存在の有無を判断するAPIは様々存在しており、例えば、OCR(Optical Character Recognition/Reader)による文字認識モジュールや、コンピュータビジョンの汎用APIであるOpenCV(Open Source Computer Vision Librar、オープンソースのコンピュータビジョン向けのライブラリ)の関数を用いて実現することができ、Scene Text Detection(http://docs.opencv.org/3.0−beta/modules/text/doc/erfilter.html)を使うことも可能である。
本実施形態における、正面補正処理について、図18〜図20を用いて説明する。
本発明の他の実施形態について、図21〜図22に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
本実施形態におけるマーカー情報について、図21を用いて説明する。
続いて、傾き情報を用いて、マーカー情報を回転させる方法、言い換えると指示映像との表示傾き角の変更方法について、図22を用いて説明する。
本発明の他の実施形態について、図23〜図25に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
本実施形態における作業端末103のブロック構成について、図24を用いて説明する。
本実施形態における、作業端末103の傾き情報の取得方法について、図25を用いて説明する。作業者傾き取得部2401では、映像取得部301で取得した作業者の顔画像2501から、右目2502と、左目2503と、を検出し、右目2502から左目2503を結ぶ直線を用いて顔の傾きθwを算出する。
本実施形態における、傾き情報に基づく映像処理方法について説明する。実施形態1、実施形態2、実施形態3では、作業端末103の傾き情報のみを用いて映像を処理していた。本実施形態では、作業端末103の傾き情報と、作業者の傾き情報と、の差分を用いて作業端末103と作業者の為す傾きを算出し、映像を処理する(式12、式13、式14、式15)。
上記実施形態では、指示装置108に表示される映像を傾けることを説明しているが、それに限定されず、映像表示部307の背面に表示部回転調整部(図示していない)を備え傾き取得部で取得した傾き情報に基づいて表示部を回転させる等、映像表示部307を物理的に傾ける構成としてもよい。
表示部回転調整部としては、モーターや四節回転機構等種々の既存の回転機構を利用できる。
上記の各実施形態において、添付図面に図示されている構成等については、あくまで一例であり、これらに限定されるものではなく、本発明の一態様の効果を発揮する範囲内で適宜変更することが可能である。その他、本発明の一態様の目的の範囲を逸脱しない限りにおいて適宜変更して実施することが可能である。
本発明の態様1に係る作業支援装置(管理サーバー200)は、作業端末103において撮像された対象物(作業対象物102)の撮像映像を受信する受信部(通信部902)と、前記作業端末103の撮像時の傾きを取得する傾き取得部(通信部902)と、前記傾き取得部(通信部902)で取得された前記作業端末103の傾きに応じて、受信した前記対象物(作業対象物102)の撮像映像の表示傾き角を変更する補正映像生成部905と、前記表示傾き角が変更された撮像映像を外部に出力する出力部(通信部902)と、を有する。
本出願は、2015年12月22日に出願された日本国特許出願:特願2015-250547に対して優先権の利益を主張するものであり、それを参照することにより、その内容の全てが本書に含まれる。
103 作業端末(端末)
108 指示装置
109 映像表示装置(映像表示部)
200 管理サーバー(作業支援装置)
902 通信部(受信部、傾き取得部、出力部)
905 補正映像生成部
Claims (12)
- 作業者が端末を用いて撮像した撮像映像を、前記作業者とは異なる指示者が確認するための作業支援装置であって、
前記撮像映像を受信する受信部と、
前記撮像映像を撮像した前記端末の撮像傾きと、前記端末を保持する前記作業者の頭部の傾きとの差分に基づいて、受信した前記撮像映像の表示傾き角を変更する補正映像生成部と、
前記表示傾き角が変更された撮像映像を表示する映像表示部と、
を有することを特徴とする作業支援装置。 - 前記作業支援装置は、前記指示者の入力に応じてマーカー情報を設定し、当該マーカー情報を前記端末に送信することを特徴とする請求項1に記載の作業支援装置。
- 前記撮像映像は、前記端末において撮像された対象物の撮像映像であり、
前記撮像傾きは、前記端末の撮像時の傾きであることを特徴とする請求項1または2に記載の作業支援装置。 - 前記補正映像生成部は、前記作業者の頭部の傾きと、前記撮像映像の傾きと、を略一致させることを特徴とする請求項1〜3の何れか一項に記載の作業支援装置。
- 請求項1〜4のいずれか1項に記載の作業支援装置と、
前記端末と、を備えた作業支援システムであって、
前記端末は、前記作業者の顔を検出し、
前記作業者の頭部の傾きは、前記作業者の顔に基づいて算出されることを特徴とする作業支援システム。 - 請求項1〜4のいずれか1項に記載の作業支援装置と、
前記端末と、を備えた作業支援システムであって、
前記作業支援装置の前記映像表示部が表示する撮像映像には、マーカー情報が付与されており、
前記端末は、前記撮像傾きに基づいて、前記マーカー情報を回転し、前記端末の表示部に表示することを特徴とする作業支援システム。 - 前記端末は、前記作業者の顔を撮像する撮像部を備え、
前記作業者の頭部の傾きは、前記撮像部の撮像した画像に基づいて算出されることを特徴とする請求項5または6に記載の作業支援システム。 - 前記端末は、スマートフォン又はタブレットである
ことを特徴とする請求項5〜7のいずれか1項に記載の作業支援システム。 - 前記端末の表示部は、
前記撮像傾きに基づいて回転する
ことを特徴とする請求項5〜8のいずれか1項に記載の作業支援システム。 - 作業者が端末を用いて撮像した撮像映像を、前記作業者とは異なる指示者が確認するための作業支援装置が実行する作業支援方法であって、
前記撮像映像を受信する受信ステップと、
前記撮像映像を撮像した前記端末の撮像傾きと、前記端末を保持する前記作業者の頭部の傾きとの差分に基づいて、受信した前記撮像映像の表示傾き角を変更する補正映像生成ステップと、
前記表示傾き角が変更された撮像映像を表示する映像表示部ステップと、
を有することを特徴とする作業支援方法。 - 請求項1〜4の何れか1項に記載の作業支援装置としてコンピュータを機能させるための作業支援プログラムであって、前記補正映像生成部としてコンピュータを機能させるための作業支援プログラム。
- 請求項11に記載の作業支援プログラムを記録したコンピュータ読み取り可能な記録媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015250547 | 2015-12-22 | ||
JP2015250547 | 2015-12-22 | ||
PCT/JP2016/087359 WO2017110645A1 (ja) | 2015-12-22 | 2016-12-15 | 作業支援装置、作業支援方法、作業支援プログラム、及び記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2017110645A1 JPWO2017110645A1 (ja) | 2018-11-08 |
JP6640876B2 true JP6640876B2 (ja) | 2020-02-05 |
Family
ID=59090233
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017558072A Expired - Fee Related JP6640876B2 (ja) | 2015-12-22 | 2016-12-15 | 作業支援装置、作業支援方法、作業支援プログラム、及び記録媒体 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20210168292A1 (ja) |
JP (1) | JP6640876B2 (ja) |
WO (1) | WO2017110645A1 (ja) |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000152069A (ja) * | 1998-11-09 | 2000-05-30 | Toshiba Corp | 撮影装置、映像伝送システム、映像受信装置、映像送信装置、映像符号化装置および映像再生装置 |
JP4324271B2 (ja) * | 1999-04-16 | 2009-09-02 | 株式会社リコー | 画像処理装置およびその方法 |
JP5093968B2 (ja) * | 2003-10-15 | 2012-12-12 | オリンパス株式会社 | カメラ |
JP4810295B2 (ja) * | 2006-05-02 | 2011-11-09 | キヤノン株式会社 | 情報処理装置及びその制御方法、画像処理装置、プログラム、記憶媒体 |
JP2008177819A (ja) * | 2007-01-18 | 2008-07-31 | Mitsubishi Electric Corp | 携帯端末装置 |
JP2012160898A (ja) * | 2011-01-31 | 2012-08-23 | Brother Ind Ltd | 画像処理装置 |
JP5797069B2 (ja) * | 2011-09-16 | 2015-10-21 | キヤノン株式会社 | 撮影装置、その制御方法、および制御プログラム |
JP2015033056A (ja) * | 2013-08-05 | 2015-02-16 | 三星電子株式会社Samsung Electronics Co.,Ltd. | 撮像装置、表示装置、撮像方法及び撮像プログラム |
JP6327832B2 (ja) * | 2013-10-29 | 2018-05-23 | キヤノン株式会社 | 撮影装置、撮影方法及びプログラム |
-
2016
- 2016-12-15 US US16/065,237 patent/US20210168292A1/en not_active Abandoned
- 2016-12-15 JP JP2017558072A patent/JP6640876B2/ja not_active Expired - Fee Related
- 2016-12-15 WO PCT/JP2016/087359 patent/WO2017110645A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
US20210168292A1 (en) | 2021-06-03 |
JPWO2017110645A1 (ja) | 2018-11-08 |
WO2017110645A1 (ja) | 2017-06-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108932051B (zh) | 增强现实图像处理方法、装置及存储介质 | |
US10595004B2 (en) | Electronic device for generating 360-degree three-dimensional image and method therefor | |
CN106803884B (zh) | 图像处理装置 | |
CN106462937B (zh) | 图像处理装置以及图像显示装置 | |
US9161027B2 (en) | Method and apparatus for providing camera calibration | |
JP6677098B2 (ja) | 全天球動画の撮影システム、及びプログラム | |
JPWO2018235163A1 (ja) | キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法 | |
US10855916B2 (en) | Image processing apparatus, image capturing system, image processing method, and recording medium | |
JPWO2011121741A1 (ja) | 画像生成装置、画像生成プログラム、合成テーブル生成装置および合成テーブル生成プログラム | |
CN112085775B (zh) | 图像处理的方法、装置、终端和存储介质 | |
US20190289206A1 (en) | Image processing apparatus, image capturing system, image processing method, and recording medium | |
CN111226255A (zh) | 图像处理设备,图像捕获***,图像处理方法和记录介质 | |
US8160394B2 (en) | Real-time capture and transformation of hemispherical video images to images in rectilinear coordinates | |
TWI615808B (zh) | 全景即時影像處理方法 | |
JP2010217984A (ja) | 像検出装置及び像検出方法 | |
CN114390186B (zh) | 视频拍摄方法及电子设备 | |
WO2024055531A1 (zh) | 照度计数值识别方法、电子设备及存储介质 | |
WO2018167971A1 (ja) | 画像処理装置、制御方法及び制御プログラム | |
WO2023125353A1 (zh) | 全景视频的传输方法、装置及存储介质 | |
JP6640876B2 (ja) | 作業支援装置、作業支援方法、作業支援プログラム、及び記録媒体 | |
JP2018014572A (ja) | 情報処理装置、画像処理システム、プログラム | |
JP7223072B2 (ja) | 路側感知方法、路側感知装置、電子デバイス、記憶媒体、路側設備、及びプログラム | |
WO2018195973A1 (zh) | 利用手持终端进行光标定位的方法、手持终端和电子设备 | |
CN110786017B (zh) | 分发图像生成方法 | |
JP2018032991A (ja) | 画像表示装置、画像表示方法及び画像表示用コンピュータプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180620 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180620 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190820 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191021 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191217 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191226 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6640876 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |