JP2023096653A - 物体追跡の方法、プログラム、システムおよび記録媒体 - Google Patents
物体追跡の方法、プログラム、システムおよび記録媒体 Download PDFInfo
- Publication number
- JP2023096653A JP2023096653A JP2021212552A JP2021212552A JP2023096653A JP 2023096653 A JP2023096653 A JP 2023096653A JP 2021212552 A JP2021212552 A JP 2021212552A JP 2021212552 A JP2021212552 A JP 2021212552A JP 2023096653 A JP2023096653 A JP 2023096653A
- Authority
- JP
- Japan
- Prior art keywords
- information
- tracked
- tracking
- tracked object
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 94
- 238000003384 imaging method Methods 0.000 claims abstract description 18
- 238000012545 processing Methods 0.000 claims description 147
- 238000001514 detection method Methods 0.000 claims description 28
- 230000001815 facial effect Effects 0.000 claims description 5
- 230000008569 process Effects 0.000 abstract description 48
- 230000000295 complement effect Effects 0.000 abstract description 3
- 238000005728 strengthening Methods 0.000 abstract 1
- 230000006870 function Effects 0.000 description 29
- 238000010586 diagram Methods 0.000 description 20
- 230000010365 information processing Effects 0.000 description 15
- 230000000694 effects Effects 0.000 description 5
- 239000002131 composite material Substances 0.000 description 4
- 210000003128 head Anatomy 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000004040 coloring Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 239000002245 particle Substances 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 150000001875 compounds Chemical class 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Abstract
Description
(1) 追跡対象から取得した二次元の画像情報と、深度情報を用いて三次元の位置情報を取得するので、この位置情報により人などの追跡対象の認識率および認識精度を向上させることができ、追跡対象の高精度かつ高速での同定ができ、追跡の信頼性を高め、追跡機能を強化することができる。
図1は、第一の実施の形態に係る物体追跡システムを示している。図1に示す構成は一例であり、本開示が斯かる構成に限定されるものではない。
処理部4には追跡制御部12、画像情報取得部14、深度情報取得部16、バウンディングボックス処理部18、追跡情報データベース生成部20、位置情報処理部22、特徴情報処理部24、状態情報処理部26、同定処理部28、同定情報提示部30、連係処理部32などの機能部が含まれている。
図2のAは、デバイス38の背面部を示している。このデバイス38は、本開示の物体追跡装置の一例である。
図3は、デバイス38のハードウェアの一例を示している。デバイス38には処理部4、カメラ6、光検出・測距部8、ディスプレイ45、タッチパネル48などが含まれる。
図4は、物体追跡システム2に用いる追跡情報を格納する追跡情報DB66を示している。この追跡情報DB66には検出した追跡対象ごとに生成する追跡対象ファイル67-1、67-2、・・・、67-nが含まれる。
図5は、デバイス38を用いた物体追跡の処理手順を示している。この処理手順は、本開示の物体追跡システムを用いた物体追跡方法または物体追跡プログラムの一例である。図5において、Sは機能または処理の工程を示し、Sに付した番号は工程順を示している(図6、図7、図10、図12または図16に示すフローチャートにおいても同様である)。
図6は、位置情報の取得の処理手順を示している。この処理手順は追跡対象の位置情報の取得および保存(図5のS103)のサブルーチンである。
図7は、バウンディングボックスBの処理を示している。この処理手順には、追跡対象に表示されるバウンディングボックスBの分割および追跡対象の位置情報の取得の処理が含まれており、位置情報の取得処理(図6)のS202のサブルーチンである。
yStep=h/8 (式2)
Mid X and Mid Y is the midpoint of the X and Y edges of screen bounds
Mid X = screenBoundsd. Mid X
Mid Y = screenBoundsd. Mid Y
Center =(Mid X, Mid Y+ yStep)
からバウンディングボックスBの中心Bnの値が求められる。
図9のAは、二次元の画像情報を示している。追跡対象Pをカメラ6で撮像すると、図9のAに示すように、追跡対象Pを表す画像情報Ifが得られる。この画像情報Ifは追跡制御部12の制御により、追跡情報DB66に記録される。
この二次元の画像情報から三次元の座標値への変換を座標値変換と称する。この座標値変換には、
A)グリッド点gのスクリーン座標(二次元)の最小値および最大値の取得
B)ワールド座標(三次元)の取得
C)有効なグリッド点gを頂点とするバウンディングボックスBの幅wと高さhの取得
D)スクリーン座標(sx,sy)からワールド座標(wx,wy,wz)の取得
などの処理が含まれる。以下、これらの処理について説明する。
screen.min=グリッド点gの最小値(X,Y)
screen.max=グリッド点gの最大値(X,Y)
world.min=グリッド点の最小値(X,Y,Z)
world.max=グリッド点の最大値(X,Y,Z)
screen.w=screen.max.x-screen.min.x
screen.h=screen.max.y-screen.min.y
world.w=world.max.x-world.min.x
world.h=world.max.y-world.min.y
wx=sx*(world.w/screen.w)
wy=sy*(world.h/screen.h)
wz=DepthBuffer[sx+sy*screen width]
追跡対象Pの画像情報から特徴情報を取得することができる。この特徴情報は、追跡対象が人であれば、顔情報から特徴情報を取得し、この特徴情報に含まれる特徴量を以て追跡対象を同定することができる。
図10は、顔の向き判断ロジックおよび特徴情報のカテゴライズ処理を示している。この処理手順は、S104(図5)のサブルーチンを示している。この処理手順には、顔情報の取得に基づき、特徴情報および部位情報を取得し、向きの判断とともに特徴情報の分類の処理が含まれる。
図11は、取得部位および向き情報を示す向き情報テーブル100を示している。
左耳および右耳の各位置情報が取得できれば、追跡対象Pの向きは「正面」と判断する。同様に、左目および右目の各位置情報が取得できれば、左耳または右耳の位置情報が取得できない場合であっても、追跡対象Pの向きは「正面」と判断する。
左目および右目の各位置情報が取得でき、左耳の位置情報が取得できれば、追跡対象Pの向きは「左向き」と判断する。同様に、左目および右目の各位置情報が取得できない場合であっても、左耳の位置情報が取得できれば、追跡対象Pの向きは「左向き」と判断する。
左目および右目の各位置情報が取得でき、右耳の位置情報が取得できれば、追跡対象Pの向きは「右向き」と判断する。同様に、左目および右目の各位置情報が取得できない場合であっても、右耳の位置情報が取得できれば、追跡対象Pの向きは「右向き」と判断する。
左目、右目、左耳および右耳の何れの位置情報も取得できなければ、追跡対象Pの向きは「不明」と判断する。
追跡対象Pの追跡には移動する追跡対象Pの同定処理が必要である。この同定処理には、追跡対象Pから取得した位置情報を用いる同定処理Iと、追跡対象Pから取得した特徴情報を用いる同定処理IIが含まれる。
図12は、位置情報による同定処理Iを示している。この処理手順は図5に示す処理手順のS105のサブルーチンである。
図13のAは追跡中の画像情報を示している。この画像情報内には3人の追跡対象P-1、P-2、P-3が存在し、追跡対象P-1にはバウンディングボックスB-1、追跡表示T-1、追跡対象P-2にはバウンディングボックスB-2、追跡表示T-2が存在している。
図14のAは、バウンディングボックスBの移動距離Mが閾値Mthより短い場合(M≦Mth)を示している。
図15のAは、追跡中の画像情報を示している。この画像情報には、フレームF1において、1人の追跡対象P-1の移動を示している。
図16は、特徴情報による同定処理IIを示している。この処理手順は図5に示す処理手順のS105のサブルーチンである。
この第一の実施の形態によれば、次の何れかの効果が得られる。
(1) 追跡対象Pから取得した二次元の画像情報と深度情報とを以て座標値を含む位置情報を用いて追跡対象Pの同定を行うので、高精度に同定できる。
図17は、第二の実施の形態に係る物体追跡システム2を示している。図17において図3と同一部分には同一符号を付してある。
この第二の実施の形態によれば、次の何れかの効果が得られる。
(1) 追跡範囲の拡大を図ることができる。
図19は、4台のデバイス38-1、38-2、38-3、38-4による追跡範囲の広域化および複合追跡を示している。この場合、病院の待合室などの追跡エリア106では多数の追跡対象としてたとえば、追跡対象P-11、P-12、・・・、P-14、P-21、P-22、・・・、P-24、・・・、P-51、P-52、・・・、P-54が滞在している。
(1) 上記実施の形態では、同定処理Iおよび同定処理IIを含み、同定処理Iで追跡対象を同定できない場合に同定処理IIを実行し、同定処理IIで同定処理Iを補完している。これに対し、同定処理Iおよび同定処理IIを同時に実行させ、何れか一方で同定できれば、同定処理IIを先行させてもよい。また、同定処理Iおよび同定処理IIを同時に実行させ、双方の同定を以て追跡対象を同定してもよい。
B バウンディングボックス
T 追跡表示
2 物体追跡システム
4 処理部
6 カメラ
8 光検出・測距部
10 情報提示部
12 追跡制御部
14 画像情報取得部
16 深度情報取得部
18 バウンディングボックス処理部
20 追跡情報データベース生成部
22 位置情報処理部
24 特徴情報処理部
26 状態情報処理部
28 同定処理部
30 同定情報提示部
32 連係処理部
34 ネットワーク
36 サーバー
38 デバイス
40 装置本体
41 情報取得部
45 ディスプレイ
46 表示画面部
48 タッチパネル
56 操作入力部
58 プロセッサ
60 記憶部
62 入出力部(I/O)
64 通信部
66 追跡情報データベース
67-1、67-2、・・・、67-n 追跡対象フアイル
68 画像情報部
70 深度情報部
72 バウンディングボックス部
74 グリッド点部
76 位置情報部
78 特徴情報部
80 分類情報部
82 向き情報部
82-1 正面部
82-2 左向き部
82-3 右向き部
82-4 不定部
84 状態情報部
84-1 移動距離情報部
84-2 重なり情報部
86 同定情報部
88 履歴情報部
100 向き情報テーブル
102 取得部位情報部
102-1 左目部
102-2 右目部
102-3 左耳部
102-4 右耳部
104 向き情報部
106 追跡エリア
この物体追跡方法において、さらに、バウンディングボックスを分割して複数行、複数列のグリッドを形成し、該グリッドの座標値で特定される前記部位情報を取得する工程を含んでもよい。
このプログラムにおいて、さらに、バウンディングボックスを分割して複数行、複数列のグリッドを形成し、該グリッドの座標値で特定される前記部位情報を取得する機能を前記コンピュータによって実行させてもよい。
Claims (16)
- 追跡対象から撮像により画像情報と深度情報を時系列で取得し、前記画像情報および前記深度情報により三次元の座標値を含む位置情報を時系列で取得する工程と、
前記位置情報を用いて前記追跡対象を同定する工程と、
を含む、物体追跡方法。 - さらに、追跡中、前記追跡対象の現時点の位置情報と直近の位置情報を時系列で比較して前記追跡対象の移動距離を算出する工程と、
前記移動距離が閾値以内であれば、前記追跡対象を同定する工程と、
を含む、請求項1に記載の物体追跡方法。 - さらに、前記画像情報から前記追跡対象の特徴情報を時系列で取得する工程と、
前記追跡対象を前記位置情報によって同定できない場合、前記特徴情報を用いて同定する工程と、
を含む、請求項1または請求項2に記載の物体追跡方法。 - さらに、追跡中の追跡対象と他の追跡対象の画像間に重なりを生じ、または追跡対象のバウンディングボックスと他の追跡対象のバウンディングボックスとの間に重なりを生じた場合、該重なりの直前の特徴情報と、前記重なりの解消時点の特徴情報とを対比して追跡対象を同定する工程を含む、請求項1ないし請求項3の何れかに記載の物体追跡方法。
- さらに、前記画像情報から顔領域情報を時系列で取得し、該顔領域情報から少なくとも目または耳の部位情報を取得する工程と、
前記部位情報を用いて前記追跡対象の向き情報を取得し、該向き情報により特徴情報を分類する工程と、
前記向き情報で分類された前記特徴情報により前記追跡対象を同定する工程と、
を含む、請求項1ないし請求項4の何れかの請求項に記載の物体追跡方法。 - さらに、前記バウンディングボックスを分割して複数行、複数列のグリッドを形成し、該グリッドの座標値で特定される前記部位情報または前記位置情報を取得する工程を含む、請求項4または請求項5に記載の物体追跡方法。
- コンピュータによって実行するプログラムであって、
追跡対象から撮像により画像情報と深度情報を時系列で取得し、前記画像情報および前記深度情報により三次元の座標値を含む位置情報を時系列で取得する機能と、
前記位置情報を用いて前記追跡対象を同定する機能と、
を前記コンピュータによって実行させるためのプログラム。 - さらに、追跡中、前記追跡対象の現時点の位置情報と直近の位置情報を時系列で比較して前記追跡対象の移動距離を算出する機能と、
前記移動距離が閾値以内であれば、前記追跡対象を同定する機能と、
を前記コンピュータによって実行させるための請求項7に記載のプログラム。 - さらに、前記画像情報から前記追跡対象の特徴情報を時系列で取得する機能と、
前記追跡対象を前記位置情報によって同定できない場合、前記特徴情報を用いて同定する機能と、
を前記コンピュータによって実行させるための請求項7または請求項8に記載のプログラム。 - さらに、追跡中の追跡対象と他の追跡対象の画像間に重なりを生じ、または追跡対象のバウンディングボックスと他の追跡対象のバウンディングボックスとの間に重なりを生じた場合、該重なりの直前の特徴情報と、前記重なりの解消時点の特徴情報とを対比して追跡対象を同定する機能を前記コンピュータによって実行させるための請求項7ないし請求項9の何れかの請求項に記載のプログラム。
- さらに、前記画像情報から顔領域情報を時系列で取得し、該顔領域情報から少なくとも目または耳の部位情報を取得する機能と、
前記部位情報を用いて前記追跡対象の向き情報を取得し、該向き情報により特徴情報を分類する機能と、
前記向き情報で分類された前記特徴情報により前記追跡対象を同定する機能と、
を前記コンピュータによって実行させるための請求項7ないし請求項10に記載のプログラム。 - さらに、前記バウンディングボックスを分割して複数行、複数列のグリッドを形成し、該グリッドの座標値で特定される前記部位情報または前記位置情報を取得する機能を前記コンピュータによって実行させるための請求項10または請求項11の何れかの請求項に記載のプログラム。
- 追跡対象を表す少なくとも二次元の画像情報を時系列で取得する画像情報取得部と、
前記追跡対象の深度情報を時系列で取得する深度情報取得部と、
前記画像情報から前記追跡対象の特徴情報を取得する特徴情報取得部と、
前記画像情報と前記深度情報を用いて前記追跡対象の位置情報を取得し、該位置情報を用いて前記追跡対象を同定し、該位置情報で同定できない場合、前記特徴情報を用いて前記追跡対象を同定する同定処理部と、
前記追跡対象を表す画像情報とともに追跡情報を提示する情報提示部と、
を含む、物体追跡システム。 - 少なくとも前記画像情報取得部、前記深度情報取得部、前記特徴情報取得部および前記同定処理部を備え、追跡対象の追跡情報を出力する二以上のデバイスと、
各デバイスから前記追跡情報を取得し、前記追跡対象の追跡角度または追跡範囲を拡張させて前記追跡対象を追跡するサーバーと、
を備える、請求項13に記載の物体追跡システム。 - 少なくとも追跡対象を撮像し、画像情報を時系列で出力する撮像部と、
前記追跡対象に対して光を照射して測距し、前記追跡対象の深度情報を時系列で出力する光検出・測距部と、
前記画像情報と前記深度情報を用いて前記追跡対象の位置情報を取得し、前記画像情報を用いて前記追跡対象の特徴情報を取得し、前記位置情報を用いて前記追跡対象を同定し、前記位置情報で同定できない場合、前記特徴情報を用いて前記追跡対象を同定する処理部と、
前記追跡対象の画像を提示し、該画像に追跡表示を提示する情報提示部と、
を含む、物体追跡装置。 - 請求項1ないし請求項6に記載の物体追跡方法、請求項7ないし請求項12に記載のプログラム、請求項13または請求項14に記載の物体追跡システム、請求項15に記載の物体追跡装置の何れかで用いられる画像情報、深度情報、バウンディングボックス情報、位置情報、同定情報、追跡情報の何れかを格納し、または、該データベースを格納した、記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021212552A JP7187655B1 (ja) | 2021-12-27 | 2021-12-27 | 物体追跡の方法、プログラム、システムおよび記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021212552A JP7187655B1 (ja) | 2021-12-27 | 2021-12-27 | 物体追跡の方法、プログラム、システムおよび記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP7187655B1 JP7187655B1 (ja) | 2022-12-12 |
JP2023096653A true JP2023096653A (ja) | 2023-07-07 |
Family
ID=84418210
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021212552A Active JP7187655B1 (ja) | 2021-12-27 | 2021-12-27 | 物体追跡の方法、プログラム、システムおよび記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7187655B1 (ja) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10111946A (ja) * | 1996-10-04 | 1998-04-28 | Matsushita Electric Ind Co Ltd | 画像追跡装置 |
JP2004053278A (ja) * | 2002-07-16 | 2004-02-19 | Nissan Motor Co Ltd | 前方車両追跡システムおよび前方車両追跡方法 |
JP2007310480A (ja) * | 2006-05-16 | 2007-11-29 | Toyota Motor Corp | 認識装置および認識方法 |
JP2011039584A (ja) * | 2009-08-06 | 2011-02-24 | Secom Co Ltd | 不審物検知装置 |
JP2016071830A (ja) * | 2014-09-26 | 2016-05-09 | 日本電気株式会社 | 物体追跡装置、物体追跡システム、物体追跡方法、表示制御装置、物体検出装置、プログラムおよび記録媒体 |
JP2018205870A (ja) * | 2017-05-31 | 2018-12-27 | Kddi株式会社 | オブジェクト追跡方法および装置 |
JP2019101526A (ja) * | 2017-11-29 | 2019-06-24 | Kddi株式会社 | オブジェクト識別装置および方法 |
JP2021012657A (ja) * | 2019-07-09 | 2021-02-04 | キヤノン株式会社 | 情報処理装置、情報処理方法、カメラ |
-
2021
- 2021-12-27 JP JP2021212552A patent/JP7187655B1/ja active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10111946A (ja) * | 1996-10-04 | 1998-04-28 | Matsushita Electric Ind Co Ltd | 画像追跡装置 |
JP2004053278A (ja) * | 2002-07-16 | 2004-02-19 | Nissan Motor Co Ltd | 前方車両追跡システムおよび前方車両追跡方法 |
JP2007310480A (ja) * | 2006-05-16 | 2007-11-29 | Toyota Motor Corp | 認識装置および認識方法 |
JP2011039584A (ja) * | 2009-08-06 | 2011-02-24 | Secom Co Ltd | 不審物検知装置 |
JP2016071830A (ja) * | 2014-09-26 | 2016-05-09 | 日本電気株式会社 | 物体追跡装置、物体追跡システム、物体追跡方法、表示制御装置、物体検出装置、プログラムおよび記録媒体 |
JP2018205870A (ja) * | 2017-05-31 | 2018-12-27 | Kddi株式会社 | オブジェクト追跡方法および装置 |
JP2019101526A (ja) * | 2017-11-29 | 2019-06-24 | Kddi株式会社 | オブジェクト識別装置および方法 |
JP2021012657A (ja) * | 2019-07-09 | 2021-02-04 | キヤノン株式会社 | 情報処理装置、情報処理方法、カメラ |
Also Published As
Publication number | Publication date |
---|---|
JP7187655B1 (ja) | 2022-12-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6295645B2 (ja) | 物体検出方法及び物体検出装置 | |
JP5950296B2 (ja) | 人物追跡属性推定装置、人物追跡属性推定方法、プログラム | |
KR101184170B1 (ko) | 볼륨 인식 방법 및 시스템 | |
US8577151B2 (en) | Method, apparatus, and program for detecting object | |
US9117281B2 (en) | Surface segmentation from RGB and depth images | |
EP2879022A1 (en) | Three-dimensional user-interface device, and three-dimensional operation method | |
CA3094424A1 (en) | Safety monitoring and early-warning method for man-machine interaction behavior of underground conveyor belt operator | |
JP6352208B2 (ja) | 三次元モデル処理装置およびカメラ校正システム | |
KR20120019008A (ko) | 복수의 객체를 추적하는 객체 추적 방법 및 장치 | |
US20200107004A1 (en) | Information processing apparatus, information processing method, and storage medium | |
US20210104052A1 (en) | Information processing apparatus and method for aligning captured image and object | |
US20210348927A1 (en) | Information processing apparatus, information processing method, and recording medium | |
JP2021067469A (ja) | 距離推定装置および方法 | |
CN112185515A (zh) | 一种基于动作识别的病患辅助*** | |
US11222439B2 (en) | Image processing apparatus with learners for detecting orientation and position of feature points of a facial image | |
US20200388078A1 (en) | Apparatus for positioning processing between image in real world and image in virtual world, information processing method, and storage medium | |
JP7187655B1 (ja) | 物体追跡の方法、プログラム、システムおよび記録媒体 | |
JP2018089161A (ja) | 対象者認識方法、装置、システム、プログラム | |
JP6769859B2 (ja) | 画像処理装置及び画像処理方法 | |
JP7375806B2 (ja) | 画像処理装置、及び画像処理方法 | |
US12002162B2 (en) | Method and apparatus for providing virtual contents in virtual space based on common coordinate system | |
Ristić-Durrant et al. | Low-level sensor fusion-based human tracking for mobile robot | |
JP2010113562A (ja) | 物体検知追跡装置,物体検知追跡方法および物体検知追跡プログラム | |
JP7096176B2 (ja) | 物***置推定装置およびその方法 | |
JP7152651B2 (ja) | プログラム、情報処理装置、及び情報処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220120 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20220120 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220329 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220530 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220712 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220907 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221115 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221130 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7187655 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |