JP2021174289A - Learning device, method, and program - Google Patents
Learning device, method, and program Download PDFInfo
- Publication number
- JP2021174289A JP2021174289A JP2020078227A JP2020078227A JP2021174289A JP 2021174289 A JP2021174289 A JP 2021174289A JP 2020078227 A JP2020078227 A JP 2020078227A JP 2020078227 A JP2020078227 A JP 2020078227A JP 2021174289 A JP2021174289 A JP 2021174289A
- Authority
- JP
- Japan
- Prior art keywords
- learning
- image
- point cloud
- region
- identifier
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 20
- 238000010276 construction Methods 0.000 claims abstract description 10
- 230000006870 function Effects 0.000 claims description 2
- 238000012549 training Methods 0.000 abstract description 9
- 238000012545 processing Methods 0.000 description 27
- 238000011156 evaluation Methods 0.000 description 15
- 230000000007 visual effect Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 3
- 238000013136 deep learning model Methods 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
Description
本発明は、画像よりランドマークを自動推定するモデルを学習する学習装置、方法及びプログラムに関する。 The present invention relates to a learning device, a method and a program for learning a model for automatically estimating landmarks from images.
測位技術等の関連技術として、ランドマークに関する技術がある。 As related technology such as positioning technology, there is a technology related to landmarks.
特許文献１では、ランドマークの名称などのメタ情報に基づいて画像の分類および検索を行なうことができ、ユーザが撮影した画像の整理および検索の利便性を高める。特許文献２では、ランドマークを検索する際に、撮影条件が類似しているものから検索し処理負荷を軽減する。特許文献３では、位置分散及び輝度分散を考慮して頑健なランドマークを選定できるランドマーク選定装置が提供される。
In Patent Document 1, images can be classified and searched based on meta information such as landmark names, which enhances the convenience of organizing and searching images taken by the user. In
しかしながら、以上のような従来技術においてはランドマークを利用するために、事前にメタ情報等を手動で登録しておく手間が発生するという課題があった。 However, in the above-mentioned conventional technology, in order to use the landmark, there is a problem that it takes time and effort to manually register the meta information and the like in advance.
ランドマークを選定する際に、画像としてランドマークの優劣を判定するものはあるが、それが類似物が多かったり、ほとんど見つからないものとなる可能性があった。ランドマーク学習は、手動でアノテーションした一般的なものしかなかった。（手動アノテーションとして例えば、オックスフォードやパリなどのオープンデータがある。）例えば屋内はその施設それぞれのランドマークがあるため、このような一般的なデータでは対処できず、それぞれ手動でアノテーションして作成する手間が発生してしまう課題があった。 When selecting a landmark, there are some images that judge the superiority or inferiority of the landmark, but there is a possibility that there are many analogs or almost no landmarks can be found. Landmark learning was only common, manually annotated. (For example, there are open data such as Oxford and Paris as manual annotation.) For example, since there are landmarks of each facility indoors, such general data cannot be dealt with, and each is manually annotated and created. There was a problem that it took time and effort.
上記従来技術の課題に鑑み、本発明は、測位や地図作成において一般的に利用されている点群を利用して、手動によるアノテーション等の手間を発生させることなく、画像よりランドマークを自動推定するモデルを学習する学習装置、方法及びプログラムを提供することを目的とする。 In view of the above problems of the prior art, the present invention uses a point cloud generally used in positioning and map creation to automatically estimate a landmark from an image without incurring the trouble of manual annotation or the like. It is an object of the present invention to provide a learning device, a method and a program for learning an annotation.
上記目的を達成するため、本発明は学習装置であって、フィールドを撮影した複数の画像を取得する画像取得部と、前記画像の各々より特徴点を検出し、画像間での特徴点の対応関係を求めることにより、前記フィールドの点群を構築する点群構築部と、前記点群において、点の密度が高いと判定され、且つ、点に対応する画像の撮影方向の範囲が広いと判定される領域を、ランドマーク候補領域として設定する決定部と、各ランドマーク候補領域に識別子を付与して、前記画像において識別子が付与されたランドマーク候補領域を当該識別子で指定される物体領域であるものとしてアノテーション付与した学習データによる学習を行い、前記学習の結果において、物体領域の識別性能が高いと判定されるランドマーク候補領域についての識別モデルを得る学習部と、を備えることを特徴とする。また、前記学習装置に対応する方法及びプログラムであることを特徴とする。 In order to achieve the above object, the present invention is a learning device, which is an image acquisition unit that acquires a plurality of images of a field, detects feature points from each of the images, and corresponds the feature points between the images. By obtaining the relationship, it is determined that the point group construction unit that constructs the point group in the field and the point group have a high point density and a wide range of the shooting direction of the image corresponding to the point. A determination unit that sets the area to be designated as a landmark candidate area, and an object area that assigns an identifier to each landmark candidate area and assigns an identifier to the landmark candidate area in the image. It is characterized by including a learning unit that performs training using training data annotated as a certain object and obtains an identification model for a landmark candidate region that is determined to have high identification performance of an object region in the training result. do. Further, it is characterized in that it is a method and a program corresponding to the learning device.
本発明によれば、点群を構築してその密度が高く且つ対応する撮影方向の範囲が広いと自動判定される領域をランドマーク候補領域として設定し、画像においてランドマーク候補領域がなす物体領域の区別が付与されたものをアノテーション付与された学習データとして識別モデルの学習を行い、この結果のうち物体領域の識別性能が高いと判定されるランドマーク候補領域についての識別モデルを得ることにより、手動によるアノテーション等の手間を発生させることなく、画像よりランドマークを自動推定するモデルを学習することが可能となる。 According to the present invention, a region in which a point group is constructed and is automatically determined to have a high density and a wide range of corresponding shooting directions is set as a landmark candidate region, and an object region formed by the landmark candidate region in an image is set. The identification model is trained using the data to which the distinction is given as the annotated training data, and the identification model for the landmark candidate region judged to have high identification performance of the object region is obtained from the results. It is possible to learn a model that automatically estimates landmarks from images without incurring the trouble of manual annotation.
図１は、一実施形態に係る点群処理システムの構成図であり、点群処理システム100はインターネット等のネットワークNWを介して相互に通信可能とされる少なくとも１つの端末1及び少なくとも１つのサーバ2を備える。端末1は、スマートフォン等のモバイルデバイス又は車載装置等として構成することができる移動体であり、点群処理システム100において処理する対象となる点群を、映像として撮影する等によって端末1の周辺環境から取得するものである。一実施形態では点群処理システム100には端末1のみが含まれサーバ2が含まれない構成により、端末1が単独で点群に関する処理を行うようにしてもよい。一実施形態では点群処理システム100は端末1及びサーバ2を含み、端末1及びサーバ2で処理を分担しながら点群に関する処理を担うようにしてもよい。
FIG. 1 is a configuration diagram of a point cloud processing system according to an embodiment, in which the point cloud processing system 100 has at least one terminal 1 and at least one server capable of communicating with each other via a network NW such as the Internet. It has 2. The terminal 1 is a mobile body that can be configured as a mobile device such as a smartphone or an in-vehicle device, and the surrounding environment of the terminal 1 is taken by shooting a point cloud to be processed by the point cloud processing system 100 as an image. It is obtained from. In one embodiment, the point cloud processing system 100 may include only the terminal 1 and not the
図２は、一実施形態に係る点群処理システム100の機能ブロック図である。点群処理システム100は、学習装置10及び推定装置20を備える。学習装置10は画像取得部11、点群構築部12、決定部13、学習部14及びモデルDB（データベース）15を備え、決定部13はさらにボクセル分割部131、密度評価部132、視野評価部133及び候補決定部134を備える。推定装置20は画像撮影部21及び推定部22を備える。
FIG. 2 is a functional block diagram of the point cloud processing system 100 according to the embodiment. The point cloud processing system 100 includes a learning device 10 and an estimation device 20. The learning device 10 includes an image acquisition unit 11, a point cloud construction unit 12, a determination unit 13, a
なお、学習装置10及び推定装置20の各々に関して、図１に示される端末1（及びサーバ2）として構成することができる。学習装置10を移動体として構成する端末1と、推定装置20を移動体として構成する端末1とは別の端末であってもよい。 Each of the learning device 10 and the estimation device 20 can be configured as a terminal 1 (and a server 2) shown in FIG. The terminal 1 in which the learning device 10 is configured as a mobile body and the terminal 1 in which the estimation device 20 is configured as a mobile body may be different terminals.
学習装置10を移動体として構成する端末1には少なくとも画像取得部11が備わり、端末1自身の周辺環境の撮影を行うことにより映像を取得するが、画像取得部11以外の学習装置10の構成はサーバ2に備わることで、処理をサーバ2に委ねるようにしてもよい。推定装置20を移動体として構成する端末1には少なくとも画像撮影部21が備わり、端末1自身の周辺環境の撮影を行うことにより画像を取得するが、画像撮影部21以外の推定装置20の構成はサーバ2に備わることで、処理をサーバ2に委ねるようにしてもよい。
The terminal 1 in which the learning device 10 is configured as a moving body is provided with at least an image acquisition unit 11, and acquires an image by photographing the surrounding environment of the terminal 1 itself. However, the configuration of the learning device 10 other than the image acquisition unit 11 May be provided on the
図３は、一実施形態に係る点群処理システム100の動作のフローチャートである。点群処理システム100の全体的な動作として、図３のステップS1〜S6において学習装置10が学習によりモデル構築を行い構築されたモデル（画像からランドマークを検出するモデル）をモデルDB15に保存した後に、モデルDB15に保存されたモデルを推定装置20が参照して利用することにより、図３のステップS7において位置推定を行うことができる。 FIG. 3 is a flowchart of the operation of the point cloud processing system 100 according to the embodiment. As the overall operation of the point cloud processing system 100, the model (the model that detects landmarks from the image) constructed by the learning device 10 constructing the model by learning in steps S1 to S6 of FIG. 3 is saved in the model DB15. Later, the estimation device 20 can refer to and use the model stored in the model DB 15, so that the position can be estimated in step S7 of FIG.
図４は、学習装置10において手動の手間なくランドマーク検出モデルを生成することができる根拠となる、点群とランドマークとの関係の例を示す図である。図４の点群PGは、移動軌跡Cに沿って屋内空間を移動するカメラにより撮影された映像より、当該屋内空間の環境を表現するものとして構築されたものをフィールド内の一部分に関して示すものである。図４では例EX1にこの点群PGを、フィールドの上面視（上空側から地面側を見る視点）において示しており、例EX2においてこの点群PGをフィールドの側面視（地面に垂直に立って水平方向に見る視点）において示している。この点群PGのうち、ランドマークに好適な箇所となっている例が２つの箇所P1及びP2である。これら２つの箇所P1及びP2はいずれも、点群の点が密集しており密度が高く、且つ、点群の点が見える方向（すなわち、点群を構成する点が抽出された映像内のフレーム画像におけるカメラ方向）が広範囲に渡る、という特徴を有するものである。なお図４中にはP1,P2以外にも同様のランドマーク候補を含むが、説明のための例示として箇所P1,P2を示した。 FIG. 4 is a diagram showing an example of the relationship between the point cloud and the landmark, which is the basis for generating the landmark detection model in the learning device 10 without manual labor. The point cloud PG in FIG. 4 shows a part of the field constructed as an expression of the environment of the indoor space from the image taken by the camera moving in the indoor space along the movement locus C. be. In FIG. 4, this point cloud PG is shown in Example EX1 from the top view of the field (viewpoint from the sky side to the ground side), and in Example EX2, this point cloud PG is shown from the side view of the field (standing perpendicular to the ground). It is shown in the horizontal view). Among the point cloud PGs, two points P1 and P2 are examples of suitable points for landmarks. In both of these two points P1 and P2, the points of the point cloud are dense and dense, and the direction in which the points of the point cloud can be seen (that is, the frame in the image in which the points constituting the point cloud are extracted). It has a feature that the camera direction in the image) covers a wide range. Although similar landmark candidates are included in FIG. 4 in addition to P1 and P2, locations P1 and P2 are shown as examples for explanation.
すなわち、このような箇所P1やP2に存在する対象物は、（固定的に配置された物体等によって遮られることなく）広範囲から可視の状態にあり、且つ、点群の点の数も多い（すなわち、画像より特徴点として検出される点の数も多い）という定量的な特徴のみにより、自動で優れたランドマークであると推定することが可能となる。本実施形態の学習装置10では点群におけるこのような定量的な特徴を利用して、手動アノテーション等の手間を発生させることなく、ランドマーク検出モデルを自動で学習することが可能となる。 That is, the objects existing in such places P1 and P2 are visible from a wide range (without being obstructed by a fixedly arranged object or the like), and the number of points in the point cloud is large (). That is, it is possible to automatically presume that it is an excellent landmark only by the quantitative feature (the number of points detected as feature points is larger than that of the image). In the learning device 10 of the present embodiment, it is possible to automatically learn the landmark detection model without incurring the trouble of manual annotation or the like by utilizing such a quantitative feature in the point cloud.
以下、図３の各ステップの詳細を説明しながら、学習装置10及び推定装置20の各機能部の処理の詳細を説明する。 Hereinafter, the details of the processing of each functional unit of the learning device 10 and the estimation device 20 will be described while explaining the details of each step of FIG.
図３のフローが開始されると、ステップS1では、画像取得部11が、この学習装置10（の点群構築部12）においてフィールド内の点群を構築するための映像を取得してから、ステップS2へと進む。画像取得部11はハードウェアとしてはカメラで構成され、移動体である端末1に備わることでこの移動体と共にフィールド内を移動しながら撮影を行うことにより、ステップS1での映像が取得される。画像取得部11で取得した映像（各時刻t=1,2,3…でのフレーム画像F(t)）は点群構築部12及び学習部14へと出力される。
When the flow of FIG. 3 is started, in step S1, the image acquisition unit 11 acquires an image for constructing the point cloud in the field in the learning device 10 (point cloud construction unit 12), and then, after that, Proceed to step S2. The image acquisition unit 11 is composed of a camera as hardware, and is provided in the terminal 1 which is a moving body, so that the image in step S1 is acquired by taking a picture while moving in the field together with the moving body. The video acquired by the image acquisition unit 11 (frame image F (t) at each time t = 1, 2, 3 ...) Is output to the point cloud construction unit 12 and the
ステップS2では、ステップS1で得られた各フレーム画像F(t)(t=1,2,3,…)を利用して点群構築部12が点群PGを構築し、且つ、点群PGに属する各点（３次元世界座標における点）に対して、対応するフレーム画像F(t)の特徴点を紐付けた結果を点群PGの情報として決定部13へと出力してから、ステップS3へと進む。 In step S2, the point cloud construction unit 12 constructs the point cloud PG using each frame image F (t) (t = 1,2,3, ...) obtained in step S1, and the point cloud PG is constructed. The result of associating the feature points of the corresponding frame image F (t) with each point belonging to (points in three-dimensional world coordinates) is output to the determination unit 13 as information of the point cloud PG, and then the step Proceed to S3.
ここで、フレーム画像F(t) (t=1,2,3,…)から点群PGを構築する手法としては、SfM(Structure from Motion)等の任意の既存手法を利用してよい。SfMにおいては、例えばSIFT特徴等により各画像から特徴点及び局所特徴量を求め、画像間での特徴点の対応（局所特徴量が一致すると判定される特徴点同士の対応）を利用して三角測量等の原理により、各特徴点の３次元世界座標の情報を得ることで、点群PGを構築することができる。フレーム画像F(t)の特徴点と点群PGとの紐付けに関しては、点群PGを構成する各点（３次元世界座標の点）がいずれのフレーム画像F(t)のいずれの特徴点（２次元画像座標の点）及び局所特徴量に対応しているかの情報（点群PGを構築する際にこの情報は得られている）を与えることで、紐付けを行うことができる。 Here, as a method for constructing the point cloud PG from the frame image F (t) (t = 1,2,3, ...), any existing method such as SfM (Structure from Motion) may be used. In SfM, for example, feature points and local feature quantities are obtained from each image using SIFT features, etc., and the correspondence between feature points between images (correspondence between feature points judged to match local feature quantities) is used to create a triangle. A point cloud PG can be constructed by obtaining information on the three-dimensional world coordinates of each feature point by a principle such as surveying. Regarding the association between the feature points of the frame image F (t) and the point group PG, each point (point of the three-dimensional world coordinates) constituting the point group PG is which feature point of the frame image F (t). By giving (points of two-dimensional image coordinates) and information on whether or not they correspond to local feature quantities (this information is obtained when constructing the point group PG), the association can be performed.
ステップS3では、ステップS2で得た点群PGをボクセル分割部131がボクセルに分割してから、ステップS4へと進む。ボクセル分割部131では、点群PGが定義される３次元世界座標を予め所定のボクセル（直方体又は立方体の格子）に区切っておくことで、点群PGをボクセル分割することができる。説明のため、ボクセル分割部131により点群PGがボクセル分割された結果のうち、３次元世界座標のXYZ座標において、X,Y,Z方向にi,j,k番目（それぞれ整数）のボクセルV(i,j,k)に属する点群を点群PG(i,j,k)と表記する。 In step S3, the voxel dividing unit 131 divides the point cloud PG obtained in step S2 into voxels, and then proceeds to step S4. In the voxel dividing unit 131, the point cloud PG can be divided into voxels by dividing the three-dimensional world coordinates in which the point cloud PG is defined into predetermined boxels (rectangular parallelepiped or cubic lattice) in advance. For the sake of explanation, among the results of voxel division of the point cloud PG by the voxel division unit 131, the i, j, kth (each integer) voxel V in the X, Y, Z directions in the XYZ coordinates of the three-dimensional world coordinates. The point cloud belonging to (i, j, k) is referred to as the point cloud PG (i, j, k).
ステップS4では、各ボクセルV(i,j,k)につき、密度評価部132がその点群PG(i,j,k)の密度d(i,j,k)を評価し、且つ、視野評価部133がその点群P(i,j,k)の視野範囲r(i,j,k)を評価してから、ステップS5へと進む。
In step S4, for each voxel V (i, j, k), the
密度評価部132では、ボクセルV(i,j,k)の体積をvol(i,j,k)とし、ボクセルV(i,j,k)内に属する点群PG(i,j,k)における点の個数をnum(i,j,k)とすると、d(i,j,k)=num(i,j,k)/vol(i,j,k)として密度d(i,j,k)を求めることができる。各ボクセルV(i,j,k)のサイズが共通であり、体積vol(i,j,k)も一定値である場合は、d(i,j,k)=num(i,j,k)として、点の個数num(i,j,k)を密度d(i,j,k)の値としてそのまま用いるようにしてもよい。
In the
視野評価部133では例えば、ボクセルの点群PG(i,j,k)に属する各点p（p∈PG(i,j,k)）に対応する特徴点が取得された2つ以上(N個とする。N=N(p)である（個数Nは点pごとに一般に異なる）が、以下では単にNと書くこととする。)のフレーム画像のカメラ位置をCp1,Cp2,…,CpNとすると、点pを頂点として、対応するN個のカメラ位置Cp1,Cp2,…,CpNによって囲まれる底面B(p)を有する錐体Cone(p)を考え、ボクセルV(i,j,k)の中心位置を中心とする単位球の表面（面積1の全天周）からこの錐体Cone(p)が切り取る領域をs(p)とすると、ボクセル点群PG(i,j,k)に属する全ての点pによる領域s(p)の和集合∪s(p)の面積として、視野範囲r(i,j,k)を算出してよい。
In the visual
図５は上記のようにして算出する視野範囲r(i,j,k)の模式的な例を２次元断面として示す図であり、視野範囲を評価する対象となるボクセルVが３つの点p,q,rを有する場合に、点pが対応する少なくとも２つのカメラ位置Cp1,Cp2による錐体Cone(p)によって単位球Eから領域s(p)が切り取られ、点qが対応する少なくとも２つのカメラ位置Cq1,Cq2による錐体Cone(q)によって単位球Eから領域s(q)が切り取られ、点rが対応する少なくとも２つのカメラ位置Cr1,Cr2による錐体Cone(r)によって単位球Eから領域s(r)が切り取られることで、図５の例では相互に重複しない領域s(p),s(r),s(q)の面積の総和として視野範囲r(i,j,k)が定まる。 FIG. 5 is a diagram showing a schematic example of the visual field range r (i, j, k) calculated as described above as a two-dimensional cross section, and the boxel V to be evaluated for the visual field range has three points p. When having, q, r, the region s (p) is cut from the unit sphere E by the cone Cone (p) with at least two camera positions Cp1 and Cp2 corresponding to the point p, and the point q corresponds to at least 2 The region s (q) is cut from the unit sphere E by the cone Cone (q) with one camera position Cq1 and Cq2, and the unit sphere is cut out from the unit sphere E by the cone Cone (r) with at least two camera positions Cr1 and Cr2 corresponding to the point r. By cutting the region s (r) from E, in the example of FIG. 5, the visual field range r (i, j, k) is determined.
視野評価部133では上記の手法に限らず、ボクセルの点群PG(i,j,k)に属する各点p（p∈PG(i,j,k)）が対応するカメラ位置Cp1,Cp2,…,CpNの方向（点p又はボクセルV(i,j,k)の中心から見た際の方向）のばらつきが大きいほど点pによる視野範囲が広いものとして、点pの視野範囲を評価して、ボクセル点群PG(i,j,k)の全ての点pによるこのような視野範囲の全体が広いほど値が大きくなるように、視野範囲r(i,j,k)を算出することができる。
In the field of
例えば、単位球などは設定せずに、単純に直方体又は立方体として構成されるボクセルV(i,j,k)の各面（６つの面）について、ボクセル点群VG(i,j,k)に属する少なくとも１つの点pとカメラ位置Cp1,Cp2,…,CpNとを結ぶ直線のうち少なくとも1本が通過するか否かを判定し、６つの面のそれぞれについて1本でもこのような直線が通過すれば評価値を１とし、このような直線が通過しない場合には評価値を0として、６つの面での評価値の総和（0以上6以下）として簡易に視野範囲r(i,j,k)を算出するようにしてもよい。 For example, for each face (6 faces) of a voxel V (i, j, k) that is simply configured as a rectangular parallelepiped or a cube without setting a unit sphere, the voxel point group VG (i, j, k) It is determined whether or not at least one of the straight lines connecting the at least one point p belonging to the camera position Cp1, Cp2, ..., CpN passes through, and even one such straight line is formed for each of the six surfaces. If it passes, the evaluation value is set to 1, and if such a straight line does not pass, the evaluation value is set to 0. , K) may be calculated.
なお、点pに対応するN個のカメラ位置Cp1,Cp2,…,CpNの情報は、点群構築部12において点群PGを構築した際に既知となっている。すなわち、点群PGに属する各点pに対応するフレーム画像の特徴点が紐づいていることから、各点pに対応するN個のフレーム画像の情報が紐づいており、さらに、このN個のフレーム画像について撮影した際のカメラ位置の情報（点群PGを算出する際にこのカメラ位置の情報も算出されている）として、カメラ位置Cp1,Cp2,…,CpNの情報も、点群PGに紐づけて保持しておくことが可能である。 The information on the N camera positions Cp1, Cp2, ..., CpN corresponding to the point p is known when the point cloud construction unit 12 constructs the point cloud PG. That is, since the feature points of the frame image corresponding to each point p belonging to the point cloud PG are linked, the information of N frame images corresponding to each point p is linked, and further, these N pieces. As the information of the camera position when the frame image of is taken (the information of this camera position is also calculated when calculating the point cloud PG), the information of the camera positions Cp1, Cp2, ..., CpN is also the point cloud PG. It is possible to keep it tied to.
ステップS5では、候補決定部134が、各ボクセルV(i,j,k)につき、ステップS4で密度評価部132が算出した密度d(i,j,k)及び視野評価部133が算出した視野範囲r(i,j,k)に基づいて、当該ボクセルV(i,j,k)が候補ボクセルに該当するか否かを決定し、決定結果を学習部14へと出力してから、ステップS6へと進む。
In step S5, the candidate determination unit 134 determines the density d (i, j, k) calculated by the
候補決定部134では具体的に以下のように、密度d(i,j,k)が所定の密度閾値THdよりも大きく、且つ、視野範囲r(i,j,k)が所定の視野範囲閾値THrよりも大きいと判定されるようなボクセルV(i,j,k)を、候補ボクセルに該当するものとして決定することができる。
d(i,j,k)>THd 且つ r(i,j,k)>THr
Specifically, in the candidate determination unit 134, the density d (i, j, k) is larger than the predetermined density threshold value THd, and the visual field range r (i, j, k) is the predetermined visual field range threshold value, as shown below. A voxel V (i, j, k) that is determined to be larger than THr can be determined as a candidate voxel.
d (i, j, k)> THd and r (i, j, k)> THr
このように決定される候補ボクセルとは、対応するボクセルV(i,j,k)の点群PG(i,j,k)が、図４で箇所P1やP2として模式的に示したような特徴を有するランドマークに由来するものである候補であることを意味するものである。すなわち、当該ボクセルV(i,j,k)内にランドマークが存在する可能性があることを、候補ボクセルは意味している。 The candidate voxels determined in this way are as the point cloud PG (i, j, k) of the corresponding voxels V (i, j, k) is schematically shown as locations P1 and P2 in FIG. It means that it is a candidate derived from a landmark having a characteristic. That is, the candidate voxel means that a landmark may exist in the voxel V (i, j, k).
ステップS6では学習部14が、画像取得部11で取得した映像（各フレーム画像F(t)）及び候補決定部134で決定した候補ボクセルの情報を利用して学習を行うことにより、画像からランドマーク領域を自動検出する深層学習モデルを得て、この深層学習モデルをモデルDB15に保存してから、ステップS7へと進む。
In step S6, the
ステップS6において学習部14は具体的に以下の手順１〜手順３により、モデルを学習することができる。
In step S6, the
（手順１） 候補決定部134で決定した候補ボクセルに対して、連結領域ラベリング等を適用することにより、隣接（連結）しているボクセル（連結成分を構成しているボクセル）を１つの塊にまとめ、共通のIDを付与する。説明のため、このようにして得られた連結候補ボクセル群が合計でK個あるものとし、これらをVc1,Vc2,…,VcK(={Vck|k=1,2,…,K})と表記する。 (Procedure 1) By applying connected region labeling or the like to the candidate voxels determined by the candidate determination unit 134, adjacent (connected) voxels (voxels constituting the connected components) are combined into one mass. In summary, give a common ID. For the sake of explanation, it is assumed that there are a total of K concatenation candidate voxels obtained in this way, and these are referred to as Vc1, Vc2,…, VcK (= {Vck | k = 1,2,…, K}). write.
（手順２） 各連結候補ボクセル群Vck(k=1,2,…,K)を、フレーム画像F(t)(t=1,2,3,…)へと透視投影によりマッピングすることで、各フレーム画像F(t)内において各連結候補ボクセル群Vckの占める領域R(t,k)の情報を取得する。（なお、t,kの組み合わせによっては、そもそも投影されない場合（R(t,k)が空集合となる場合）もありうる。） (Procedure 2) By mapping each connection candidate voxel group Vck (k = 1,2, ..., K) to the frame image F (t) (t = 1,2,3, ...) by perspective projection. Information on the region R (t, k) occupied by each connection candidate voxel group Vck in each frame image F (t) is acquired. (In addition, depending on the combination of t and k, it may not be projected in the first place (R (t, k) may be an empty set).)
図６は、手順２におけるマッピングを模式的に示す図であり、３次元世界座標系内に存在する、ある連結候補ボクセル群Vckが、あるフレーム画像F(t)の２次元画像座標に透視投影された領域として領域R(t,k)が定まることが模式的に示されている。すでに説明したように、フレーム画像F(t)は点群PGを求めた際に、そのカメラの外部パラメータに相当するカメラ位置（及び向き）が３次元世界座標系におけるものとして定まっているので、この情報（及び既知のカメラの内部パラメータの情報）を用いて、図６に示すような透視投影を行うことが可能となる。
FIG. 6 is a diagram schematically showing the mapping in
（手順３） 少なくとも１つの領域R(t,k)がマッピングして投影されているフレーム画像F(t)を自動アノテーションが付与された学習データとして利用して、深層学習による物体検出やインスタンスセグメンテーションなどの学習を実施する。ここで、フレーム画像F(t)内の領域R(t,k)は、K個存在する連結候補ボクセル群Vck(k=1,2,…,K)、すなわち、K個のランドマーク候補のうちk番目のランドマークの対象物の領域に該当するものとして、自動アノテーションが付与された学習データとして利用することができる。すなわち、当該自動アノテーション付与された学習データにおいては、ランドマークの対象物が具体的に何であるか（人間により何の物体として認識されうるか）の情報は明示的には与えられないが、K個のランドマーク候補のうちいずれのk番目のランドマークであるかという、ランドマークの識別子が、アノテーションとして付与されていることとなる。 (Procedure 3) Object detection and instance segmentation by deep learning using the frame image F (t) to which at least one region R (t, k) is mapped and projected as learning data with automatic annotation. Conduct learning such as. Here, the region R (t, k) in the frame image F (t) is the concatenated candidate voxel group Vck (k = 1,2, ..., K) in which K exists, that is, K landmark candidates. It can be used as learning data with automatic annotation as it corresponds to the area of the object of the kth landmark. That is, in the automatically annotated learning data, information on what the landmark object is specifically (what object can be recognized by humans) is not explicitly given, but K pieces. The landmark identifier, which is the kth landmark of the landmark candidates, is added as an annotation.
この自動アノテーション付与された学習データを用いた学習は以下の手順３−１〜手順３−３のようにすればよい。 Learning using the learning data to which the automatic annotation is added may be performed as in steps 3-1 to 3-3 below.
（手順３−１） 学習用データ（上記のように自動アノテーション付与されたもの）から、識別子k=1,2,…,Kで区別される各ランドマーク候補（説明のためランドマーク候補L(k)とする）についての正誤及び確度の評価結果を得る。（すなわち、学習用データの一部を訓練用、残りの一部を検証用とし、訓練用データで訓練しながら定期的に検証用データで学習状況を検証して評価結果を得るようにする。）なお、確度は一般的な指標（recall, precision, F値など）で評価すればよく、指標として、IoU(Intersection over Union)により領域の重なり具合の推定の正確さを評価してもよいし、複数の物体検知をまとめて評価する指標としてmAP(mean Average Precision)を用いてもよい。 (Procedure 3-1) From the training data (automatically annotated as described above), each landmark candidate distinguished by identifiers k = 1,2, ..., K (landmark candidate L (for explanation) Obtain the evaluation results of correctness and accuracy of (k) and). (That is, a part of the learning data is used for training and the remaining part is used for verification, and while training with the training data, the learning situation is periodically verified with the verification data and the evaluation result is obtained. ) The accuracy may be evaluated by a general index (recall, precision, F value, etc.), and as an index, the accuracy of estimation of the degree of overlap of regions may be evaluated by IoU (Intersection over Union). , MAP (mean Average Precision) may be used as an index for collectively evaluating a plurality of object detections.
（手順３−２） 上記の手順３−１の評価結果において、確度が低い、及び間違った推定をした、されたランドマーク候補L(k)は、ユニーク性が低いとして、すなわち、ランドマークとして設定して用いるには不適切であるものとして、候補から除外する。 (Procedure 3-2) In the evaluation result of the above procedure 3-1, the landmark candidate L (k) with low accuracy and incorrect estimation is regarded as having low uniqueness, that is, as a landmark. Exclude from candidates as it is inappropriate to set and use.
（手順３−３） 上記の手順３−２で候補から除外されなかったランドマーク候補L(k)を、候補ではなくランドマークL(k)であるものとして確定させ、手順３−１において既に学習済みのモデルと、ランドマークの位置（元の候補ボクセル群Vckの位置として与えられる３次元世界座標における位置）とを紐づけてモデルDB15に保存する。（なお、手順３−２で候補から除外されたランドマーク候補に関しては、学習データにおいては自動アノテーション付与がなされなかったものとして学習データを更新し、再度、手順３−１と同様の学習を行って得られる学習モデル及びランドマーク位置を、モデルDB15に保存するようにしてもよい。） (Procedure 3-3) The landmark candidate L (k) that was not excluded from the candidates in the above procedure 3-2 is determined to be a landmark L (k) instead of a candidate, and has already been determined in step 3-1. The trained model and the landmark position (the position in the three-dimensional world coordinates given as the position of the original candidate voxel group Vck) are linked and saved in the model DB15. (For landmark candidates excluded from the candidates in step 3-2, the learning data is updated assuming that automatic annotation has not been added to the learning data, and the same learning as in step 3-1 is performed again. The learning model and landmark positions obtained may be saved in the model DB15.)
以上の通り、図３のステップS6を終えるとステップS7へと進む。ステップS7では推定装置10において新たな画像の撮影を行い、ステップS6で得られてモデルDB15に保存されているモデルを利用することにより、この画像を撮影したカメラ（画像撮影部21を構成するカメラ）の位置を推定して、図３のフローは終了する。
As described above, when step S6 in FIG. 3 is completed, the process proceeds to step S7. In step S7, the estimation device 10 takes a new image, and by using the model obtained in step S6 and stored in the
具体的にステップS7ではまず、画像撮影部21が画像を撮影して、この画像を推定部22へと出力する。次いで、推定部22は、この画像に対してモデルDB15に保存されている学習済みモデルによる物体認識を適用し、いずれのランドマークL(k)（候補ではない）が画像内のいずれの領域に撮影されているかの認識結果を得て、当該認識されたランドマークの位置及び大きさより、画像の位置推定結果を得る。ここで、ランドマークの位置及び大きさは、画像におけるもの（2次元画像座標での位置及び大きさ）として推定したうえで、３次元世界座標におけるものとして画像の位置を推定すればよい。具体的には例えば以下のように（１）、（２）の場合分けに従って推定すればよい。
Specifically, in step S7, the image capturing unit 21 first captures an image and outputs this image to the
（１）まず、撮影した画像にランドマークが3つ以上ある場合には、その位置関係からカメラ画像の３次元位置を計算することができる。また、その際に、検知した２次元画像座標での大きさも考慮することで、３次元位置の精度を高めるようにしてよい。（１ａ）またその３次元位置を推定した後、より精度を高めるために、推定したカメラ画像位置の近くの画像を抽出し、点群マッチングして位置推定するという手法を用いてもよい。（２）一方、撮影した画像に２つ以下のランドマークがある場合、そのランドマークが写っている画像を通常のVPSの点群のマッチング候補となる画像として利用し、通常の点群マッチングで３次元位置推定を行うようにすればよい。 (1) First, when there are three or more landmarks in the captured image, the three-dimensional position of the camera image can be calculated from the positional relationship. At that time, the accuracy of the three-dimensional position may be improved by considering the size of the detected two-dimensional image coordinates. (1a) Further, after estimating the three-dimensional position, in order to further improve the accuracy, a method of extracting an image near the estimated camera image position and matching the point cloud to estimate the position may be used. (2) On the other hand, if there are two or less landmarks in the captured image, the image showing the landmarks is used as an image that is a matching candidate for the normal VPS point cloud, and the normal point cloud matching is performed. The three-dimensional position estimation may be performed.
以上、本実施形態の学習装置によれば、測位や地図作成において一般的に利用されている点群を利用して、手動によるアノテーション等の手間を発生させることなく、画像よりランドマークを自動推定するモデルを学習することが可能となる。以下、種々の補足説明を行う。 As described above, according to the learning device of the present embodiment, landmarks are automatically estimated from images by using point clouds generally used in positioning and map creation without incurring the trouble of manual annotation and the like. It is possible to learn the model to be used. Hereinafter, various supplementary explanations will be given.
（Ａ） 図３のステップS1にて画像取得部11は、単一の移動体としての端末1においてフィールド内を移動しながら撮影した映像の各フレーム画像を取得するものとして説明したが、本実施形態を適用可能な画像群はこのように映像として取得されたものに限定されない。ステップS1にて画像取得部11は、点群構築の対象となるフィールドを、複数の移動体における各カメラによって様々な位置姿勢において撮影された画像群を取得するようにしてもよい。また、移動体のカメラに限らず、様々な位置の固定カメラから撮影された画像群を取得するようにしてもよい。このように取得する場合、画像取得部11はハードウェアとしてカメラとして構成されることに代えて、または加えて、様々なカメラで撮影された画像をネットワーク上から取得するための通信インタフェースとして構成されるものであってよい。 (A) In step S1 of FIG. 3, the image acquisition unit 11 has been described as acquiring each frame image of the image captured while moving in the field on the terminal 1 as a single moving body. The image group to which the form can be applied is not limited to those acquired as an image in this way. In step S1, the image acquisition unit 11 may acquire an image group captured in various positions and postures by each camera in a plurality of moving bodies in the field to be constructed as a point cloud. Further, the image group may be acquired not only from the moving camera but also from the fixed cameras at various positions. When acquiring in this way, the image acquisition unit 11 is configured as a communication interface for acquiring images taken by various cameras from the network instead of or in addition to being configured as a camera as hardware. It may be something.
（Ｂ） 図７は、一般的なコンピュータ装置70におけるハードウェア構成の例を示す図である。点群処理システム100における学習装置10及び推定装置20を構成する端末1及びサーバ2はそれぞれ、このような構成を有する１台以上のコンピュータ装置70として実現可能である。なお、２台以上のコンピュータ装置70で学習装置10又は推定装置20実現する場合、ネットワーク経由で処理に必要な情報の送受を行うようにしてよい。コンピュータ装置70は、所定命令を実行するCPU（中央演算装置）71、CPU71の実行命令の一部又は全部をCPU71に代わって又はCPU71と連携して実行する専用プロセッサとしてのGPU（グラフィックス演算装置）72、CPU71（及びGPU72）にワークエリアを提供する主記憶装置としてのRAM73、補助記憶装置としてのROM74、通信インタフェース75、ディスプレイ76、マウス、キーボード、タッチパネル等によりユーザ入力を受け付ける入力インタフェース77、画像取得部11及び画像撮影部21をハードウェアとして構成するカメラ78と、これらの間でデータを授受するためのバスBSと、を備える。前述の通り、画像取得部11を構成するハードウェアは、通信インタフェース75であってもよい。
(B) FIG. 7 is a diagram showing an example of a hardware configuration in a general computer device 70. The terminal 1 and the
学習装置10及び推定装置20の各機能部は、各部の機能に対応する所定のプログラムをROM74から読み込んで実行するCPU71及び／又はGPU72によって実現することができる。なお、CPU71及びGPU72は共に、演算装置（プロセッサ）の一種である。ここで、表示関連の処理が行われる場合にはさらに、ディスプレイ76が連動して動作し、データ送受信に関する通信関連の処理が行われる場合にはさらに通信インタフェース75が連動して動作する。点群処理システム100による処理結果等はディスプレイ76で表示して出力してよい。
Each functional unit of the learning device 10 and the estimation device 20 can be realized by a
100…点群処理システム、1…端末、2…サーバ
10…学習装置、11…画像取得部、12…点群構築部、13…決定部、14…学習部、15…モデルDB、131…ボクセル分割部、132…密度評価部、133…視野評価部、134…候補決定部
20…推定装置、21…画像撮影部、22…推定部
100 ... Point cloud processing system, 1 ... Terminal, 2 ... Server
10 ... Learning device, 11 ... Image acquisition unit, 12 ... Point cloud construction unit, 13 ... Decision unit, 14 ... Learning unit, 15 ... Model DB, 131 ... Voxel division unit, 132 ... Density evaluation unit, 133 ... Field of view evaluation unit , 134 ... Candidate determination department
20 ... Estimator, 21 ... Imaging unit, 22 ... Estimator
Claims (6)
前記画像の各々より特徴点を検出し、画像間での特徴点の対応関係を求めることにより、前記フィールドの点群を構築する点群構築部と、
前記点群において、点の密度が高いと判定され、且つ、点に対応する画像の撮影方向の範囲が広いと判定される領域を、ランドマーク候補領域として設定する決定部と、
各ランドマーク候補領域に識別子を付与して、前記画像において識別子が付与されたランドマーク候補領域を当該識別子で指定される物体領域であるものとしてアノテーション付与した学習データによる学習を行い、
前記学習の結果において、物体領域の識別性能が高いと判定されるランドマーク候補領域についての識別モデルを得る学習部と、を備えることを特徴とする学習装置。 An image acquisition unit that acquires multiple images of the field,
A point cloud construction unit that constructs a point cloud in the field by detecting a feature point from each of the images and obtaining a correspondence relationship between the feature points between the images.
In the point cloud, a determination unit that sets a region that is determined to have a high point density and a wide range of image shooting directions corresponding to the points as a landmark candidate region.
An identifier is assigned to each landmark candidate area, and learning is performed using the learning data in which the landmark candidate area to which the identifier is assigned in the image is annotated as an object area specified by the identifier.
A learning device including a learning unit that obtains an identification model for a landmark candidate region determined to have high identification performance of an object region in the learning result.
前記画像の各々より特徴点を検出し、画像間での特徴点の対応関係を求めることにより、前記フィールドの点群を構築する点群構築段階と、
前記点群において、点の密度が高いと判定され、且つ、点に対応する画像の撮影方向の範囲が広いと判定される領域を、ランドマーク候補領域として設定する決定段階と、
各ランドマーク候補領域に識別子を付与して、前記画像において識別子が付与されたランドマーク候補領域を当該識別子で指定される物体領域であるものとしてアノテーション付与した学習データによる学習を行い、
前記学習の結果において、物体領域の識別性能が高いと判定されるランドマーク候補領域についての識別モデルを得る学習段階と、を備えることを特徴とする学習方法。 The image acquisition stage to acquire multiple images of the field, and
A point cloud construction stage in which a point cloud in the field is constructed by detecting a feature point from each of the images and obtaining a correspondence relationship between the feature points between the images.
In the point cloud, a determination step of setting a region where it is determined that the density of points is high and the range of the image corresponding to the points in the shooting direction is wide is set as a landmark candidate region.
An identifier is assigned to each landmark candidate area, and learning is performed using the learning data in which the landmark candidate area to which the identifier is assigned in the image is annotated as an object area specified by the identifier.
A learning method comprising a learning step of obtaining an identification model for a landmark candidate region determined to have high identification performance of an object region in the learning result.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020078227A JP7290602B2 (en) | 2020-04-27 | 2020-04-27 | LEARNING DEVICE, METHOD AND PROGRAM |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020078227A JP7290602B2 (en) | 2020-04-27 | 2020-04-27 | LEARNING DEVICE, METHOD AND PROGRAM |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021174289A true JP2021174289A (en) | 2021-11-01 |
| JP7290602B2 JP7290602B2 (en) | 2023-06-13 |
Family
ID=78279708
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020078227A Active JP7290602B2 (en) | 2020-04-27 | 2020-04-27 | LEARNING DEVICE, METHOD AND PROGRAM |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7290602B2 (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019065536A1 (en) * | 2017-09-26 | 2019-04-04 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | Reconfiguration method and reconfiguration device |
| JP2019091339A (en) * | 2017-11-16 | 2019-06-13 | 日本電信電話株式会社 | Image collection device, program, and method |
| JP2019185665A (en) * | 2018-04-17 | 2019-10-24 | 日本電信電話株式会社 | Three-dimensional point cloud label learning device, three-dimensional point cloud label estimation device, three-dimensional point cloud label learning method, three-dimensional point cloud label estimation method, and program |
-
2020
- 2020-04-27 JP JP2020078227A patent/JP7290602B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019065536A1 (en) * | 2017-09-26 | 2019-04-04 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | Reconfiguration method and reconfiguration device |
| JP2019091339A (en) * | 2017-11-16 | 2019-06-13 | 日本電信電話株式会社 | Image collection device, program, and method |
| JP2019185665A (en) * | 2018-04-17 | 2019-10-24 | 日本電信電話株式会社 | Three-dimensional point cloud label learning device, three-dimensional point cloud label estimation device, three-dimensional point cloud label learning method, three-dimensional point cloud label estimation method, and program |
Non-Patent Citations (3)
| Title |
|---|
| 半澤 悠樹: "オンライン撮影に適した実用的なＳｆＭシステム", 電子情報通信学会論文誌 （Ｊ９６−Ｄ） 第８号, vol. （Ｊ９６−Ｄ） 第８号, JPN6023021402, 2013, pages 1753 - 1763, ISSN: 0005073213 * |
| 山下 浩平: "混合ガウス分布推定ネットワークを用いた単一画像からの３次元物体形状復元", 情報処理学会 研究報告 コンピュータビジョンとイメージメディア（ＣＶＩＭ）, vol. ２０１９−ＣＶＩＭ−２１, JPN6023021406, 2019, pages 1 - 8, ISSN: 0005073214 * |
| 山崎 智瑛: "主成分分析による三次元物体検出に最適な三次元点群の投影方向の推定", 電子情報通信学会技術研究報告 ＶＯＬ．１１６ ＮＯ．４６４, vol. 116, no. 464, JPN6023021405, 2017, pages 227 - 230, ISSN: 0005073215 * |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7290602B2 (en) | 2023-06-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110568447B (en) | Visual positioning method, device and computer readable medium | |
| US11443444B2 (en) | Interior photographic documentation of architectural and industrial environments using 360 panoramic videos | |
| US9420265B2 (en) | Tracking poses of 3D camera using points and planes | |
| US10086955B2 (en) | Pattern-based camera pose estimation system | |
| US20230245389A1 (en) | Generating three-dimensional geo-registered maps from image data | |
| US20170337701A1 (en) | Method and system for 3d capture based on structure from motion with simplified pose detection | |
| JP2018124985A (en) | Method and system for completing point group by using planar segment | |
| US10451403B2 (en) | Structure-based camera pose estimation system | |
| EP3274964B1 (en) | Automatic connection of images using visual features | |
| CN108537214B (en) | Automatic construction method of indoor semantic map | |
| JP7156515B2 (en) | Point cloud annotation device, method and program | |
| JP6762913B2 (en) | Information processing device, information processing method | |
| JP2017011328A (en) | Apparatus, method and program for image processing | |
| US20210201522A1 (en) | System and method of selecting a complementary image from a plurality of images for 3d geometry extraction | |
| JP2020013560A (en) | Information processing device, information processing method, and program | |
| CA3236016A1 (en) | Three-dimensional building model generation based on classification of image elements | |
| CN113034347A (en) | Oblique photographic image processing method, device, processing equipment and storage medium | |
| WO2012044308A1 (en) | Projection matrix | |
| JP2018173882A (en) | Information processing device, method, and program | |
| CN105339981B (en) | Method for using one group of primitive registration data | |
| JP7290602B2 (en) | LEARNING DEVICE, METHOD AND PROGRAM | |
| KR20240027395A (en) | Method and apparatus for visual positioning based on single image object recognition in the mobile environment | |
| CN109269477A (en) | A kind of vision positioning method, device, equipment and storage medium | |
| JP6168601B2 (en) | Image converter | |
| CN116412833A (en) | Method, device, equipment and storage medium for determining coordinates of map interest points |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220607 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230421 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230531 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230601 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7290602 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |