JP2023137841A - Three-dimensional shape restoration device, method, and program - Google Patents
Three-dimensional shape restoration device, method, and program Download PDFInfo
- Publication number
- JP2023137841A JP2023137841A JP2022044234A JP2022044234A JP2023137841A JP 2023137841 A JP2023137841 A JP 2023137841A JP 2022044234 A JP2022044234 A JP 2022044234A JP 2022044234 A JP2022044234 A JP 2022044234A JP 2023137841 A JP2023137841 A JP 2023137841A
- Authority
- JP
- Japan
- Prior art keywords
- dimensional shape
- image
- foreground
- images
- trimap
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 79
- 238000000605 extraction Methods 0.000 claims abstract description 40
- 239000000284 extract Substances 0.000 claims abstract description 13
- 230000010339 dilation Effects 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 13
- 230000008602 contraction Effects 0.000 claims description 12
- 238000010586 diagram Methods 0.000 description 15
- 238000013459 approach Methods 0.000 description 5
- 238000009877 rendering Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 2
- 238000011410 subtraction method Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
Description
本発明は、多視点画像から抽出した前景画像を用いて対象物の三次元形状を復元する三次元形状復元装置、方法及びプログラムに係り、特に、任意背景の環境下で撮影した多視点画像から抽出した前景画像を用いて三次元形状を復元する三次元形状復元装置、方法及びプログラムに関する。 The present invention relates to a three-dimensional shape restoring device, method, and program for restoring the three-dimensional shape of an object using a foreground image extracted from a multi-view image, and in particular, from a multi-view image taken under an arbitrary background environment. The present invention relates to a three-dimensional shape restoring device, method, and program for restoring a three-dimensional shape using an extracted foreground image.
画像から対象物の三次元復元を行うアプローチとして、多数の固定カメラを用いて撮影した多視点画像から三次元復元を行うアプローチと、1台の移動カメラを用いて撮影した多視点画像から三次元復元を行うアプローチとが存在する。 There are two approaches to 3D reconstruction of objects from images: 3D reconstruction from multi-view images taken using a large number of fixed cameras, and 3D reconstruction from multi-view images taken using a single moving camera. There are several approaches to performing restoration.
多数の固定カメラ(カメラ間の相対姿勢がキャリブレーションを行うなどして既知)を用いて撮影した多視点画像から三次元復元を行うアプローチで用いられる方式として、対象物の複数視点画像から対象物のシルエット(前景)を抽出し、SfS(Shape-from-Silhouette)法で三次元形状を求める方式が一般に知られている。 As a method used in an approach that performs 3D reconstruction from multi-view images taken using a large number of fixed cameras (relative postures between cameras are known through calibration, etc.), the object is reconstructed from multiple-view images of the object. A commonly known method is to extract the silhouette (foreground) of the image and obtain the three-dimensional shape using the Shape-from-Silhouette (SfS) method.
特許文献1には、シルエット抽出が不正確な場合でも高精度な三次元形状を求められるようにSfSを改良し、複数のシルエット画像を大局的に評価することで三次元復元を行う方式が開示されている。特許文献2には、一部領域が高速に動く対象物をSfS法で復元する際に、領域の速度に応じてパラメータを調整することで精度を向上する方式が開示されている。 Patent Document 1 discloses a method that improves SfS so that a highly accurate three-dimensional shape can be obtained even when silhouette extraction is inaccurate, and performs three-dimensional restoration by globally evaluating multiple silhouette images. has been done. Patent Document 2 discloses a method for improving accuracy by adjusting parameters according to the speed of the region when restoring an object in which some regions move at high speed using the SfS method.
一方、移動カメラ(あるいは、カメラ間の相対姿勢が未知の状態の固定カメラ複数台)を用いて撮影した多視点画像から三次元復元を行うアプローチで用いられる方式として、対象物の複数視点画像のそれぞれのカメラ姿勢をSfM(Structure-from-Motion)法(非特許文献1)で推定した上で、画像間のステレオマッチングによって視差画像を生成し、視差画像の合成により三次元形状を求めるMVS(Multi-View Stereo)法を用いる方式も知られている。例えば特許文献3には、ランダム探索によって対象物表面の法線方向を考慮したMVSを高速に行う、PatchMatch Stereo法(非特許文献2)を用いた三次元復元法が開示されている。 On the other hand, as a method used in an approach that performs 3D reconstruction from multi-view images taken using a moving camera (or multiple fixed cameras with unknown relative orientations between the cameras), After estimating the pose of each camera using the SfM (Structure-from-Motion) method (Non-Patent Document 1), a parallax image is generated by stereo matching between images, and a three-dimensional shape is obtained by synthesizing the parallax images. A method using the Multi-View Stereo method is also known. For example, Patent Document 3 discloses a three-dimensional reconstruction method using the PatchMatch Stereo method (Non-Patent Document 2), which performs MVS in consideration of the normal direction of the object surface by random search at high speed.
特許文献4には、移動カメラで対象物を撮影した際に発生するブラーに対する復元の頑健性を向上させるために、撮影画像中のブラー量に応じてステレオマッチングのスコアを調整することで復元精度を向上させる三次元復元法が開示されている。特許文献5には、ユーザが移動カメラで対象物を撮影する際に適切なカメラの動かし方ができるよう支援する方式が開示されている。 In Patent Document 4, in order to improve the robustness of restoration against blur that occurs when an object is photographed with a moving camera, the restoration accuracy is improved by adjusting the score of stereo matching according to the amount of blur in the photographed image. A three-dimensional reconstruction method is disclosed that improves the Patent Document 5 discloses a method for supporting a user in moving the camera appropriately when photographing an object with a moving camera.
いずれの先行技術でも、任意背景の環境下で移動カメラにより撮影された対象物の多視点画像から当該対象物の三次元形状を高精度に復元することが困難であった。 In any of the prior art techniques, it is difficult to restore the three-dimensional shape of an object with high precision from multi-view images of the object taken by a moving camera in an environment with an arbitrary background.
例えば、特許文献1,2が用いるSfS法では多視点画像から対象物のシルエットを高精度に抽出する必要がある。しかしながら、一般に任意背景の環境下で移動カメラにより撮影された画像から対象物の高精度なシルエットを抽出することは難しい。特に、特許文献1,2が想定している背景差分法は背景が不変である前提の上で前景を抽出する手法であるため、カメラが移動するとシルエット抽出の精度が劣化する。 For example, in the SfS method used in Patent Documents 1 and 2, it is necessary to extract the silhouette of a target object from multi-view images with high precision. However, it is generally difficult to extract a highly accurate silhouette of an object from an image captured by a moving camera in an environment with an arbitrary background. In particular, since the background subtraction method envisaged in Patent Documents 1 and 2 extracts the foreground on the premise that the background remains unchanged, the accuracy of silhouette extraction deteriorates when the camera moves.
一方、全自動ではなく、部分的なユーザ入力に基づいて半自動的に高精度なシルエット抽出を行うAlpha Matting方式(非特許文献3)等も存在するが、多視点画像の全てに対してユーザ入力を行うことはユーザ負荷が高く、非現実的である。 On the other hand, there are Alpha Matting methods (non-patent document 3) that semi-automatically extract silhouettes with high precision based on partial user input rather than fully automatically, but user input is required for all multi-view images. Doing so imposes a heavy burden on the user and is impractical.
また、カメラが移動しても背景が変化しないよう、グリーンバック環境等、背景に全く模様が無い環境下で撮影を行うことも考えられる。しかしながら、一般にそのような環境下で撮影された多視点画像からはSfM法でカメラ姿勢を求めることが困難であるため、カメラ姿勢の誤差が拡大し、最終的な三次元復元精度が劣化する傾向がある。 It is also conceivable to take a picture in an environment where there is no pattern at all in the background, such as a green screen environment, so that the background does not change even when the camera moves. However, it is generally difficult to determine the camera pose using the SfM method from multi-view images taken under such environments, which tends to increase errors in camera pose and degrade the final three-dimensional reconstruction accuracy. There is.
一方、特許文献3-5が開示するMVS法は対象物のシルエット情報を必要としないために上述の課題は発生しない。しかしながら、同技術は一般に、模様(テクスチャ)が複雑な対象物の復元精度には優れるものの、模様が乏しい対象物の復元精度は劣化する傾向がある。 On the other hand, the MVS method disclosed in Patent Documents 3 to 5 does not require silhouette information of the object, so the above-mentioned problem does not occur. However, although this technique generally has excellent restoration accuracy for objects with complex patterns (textures), the restoration accuracy for objects with poor patterns tends to deteriorate.
例えば、単色のプラスチック素材の家具の様に模様が全く無い対象物の場合、ステレオ画像間で対象物領域のステレオマッチングが精度よく行えないため、視差画像の精度が劣化し、最終的な三次元復元精度が劣化する傾向がある。 For example, in the case of an object that has no pattern at all, such as furniture made of monochromatic plastic material, stereo matching of the object area between stereo images cannot be performed with high accuracy, which deteriorates the accuracy of the parallax image and creates the final three-dimensional image. Restoration accuracy tends to deteriorate.
本発明の目的は、上記の技術課題を解決し、対象物の模様を選ばないSfS法をベースにしつつ、少数のシルエット画像からSfS法で対象物の粗い三次元形状を復元し、当該三次元形状から残りの多数の視点画像の高精度なシルエット画像を自動的に生成し、SfS法を繰り返し適用することで最終的な三次元形状を復元することで、ユーザの負荷を抑えながら上述の課題を解決することにある。 The purpose of the present invention is to solve the above-mentioned technical problems, to restore the rough three-dimensional shape of the object using the SfS method from a small number of silhouette images, based on the SfS method that does not select the pattern of the object, and to restore the rough three-dimensional shape of the object from a small number of silhouette images. By automatically generating high-precision silhouette images of the remaining many viewpoint images from the shape and restoring the final three-dimensional shape by repeatedly applying the SfS method, we can solve the above problems while reducing the burden on the user. The goal is to solve the problem.
上記の目的を達成するために、本発明は、視点の異なるカメラで撮影した多視点画像を用いて対象物の三次元形状を復元する三次元形状復元装置において、以下の構成を具備した点に特徴がある。 In order to achieve the above object, the present invention provides a three-dimensional shape restoring device for restoring the three-dimensional shape of an object using multi-view images captured by cameras with different viewpoints, which has the following configuration. It has characteristics.
(1) 一部の多視点画像から抽出した第1の前景画像を用いて対象物の第1の三次元形状を復元する第1の復元手段と、前記第1の三次元形状及び前記一部よりも多数の多視点画像のカメラパラメータを用いて当該多数の多視点画像ごとにTrimap画像を生成する手段と、前記一部よりも多数の多視点画像ごとに対応するTrimap画像を用いて第2の前景画像を抽出する手段と、前記第2の前景画像を用いて第2の三次元形状を復元する第2の復元手段とを具備した。 (1) a first restoring means for restoring a first three-dimensional shape of an object using a first foreground image extracted from some multi-view images; and the first three-dimensional shape and the part. means for generating a Trimap image for each of the plurality of multiview images using camera parameters of a larger number of multiview images than the part; and second restoring means for restoring a second three-dimensional shape using the second foreground image.
(2) 前記第2の復元手段は、第2の三次元形状が所定の収束条件を充足するまで当該第2の三次元形状を前記Trimap画像を生成する手段へフィードバックし、前記Trimap画像を生成する手段は前記第1の三次元形状の代わりに前記フィードバックされた第2の三次元形状を用いてTrimap画像を生成し、前記第2の三次元形状を用いて生成したTrimap画像を用いて抽出した第2の前景画像を用いて第2の三次元形状を復元することを繰り返すようにした。 (2) The second restoration means feeds back the second three-dimensional shape to the means for generating the Trimap image until the second three-dimensional shape satisfies a predetermined convergence condition, and generates the Trimap image. The means for generating a Trimap image using the fed back second three-dimensional shape instead of the first three-dimensional shape, and extracting using the Trimap image generated using the second three-dimensional shape. The process of restoring the second three-dimensional shape using the second foreground image was repeated.
(3) 前記第1の復元手段は、前記第1の前景画像及び当該第1の前景画像に対応するカメラパラメータをSfS法に適用して、SfSベースで第1の三次元形状を復元するようにした。 (3) The first restoration means applies the first foreground image and camera parameters corresponding to the first foreground image to the SfS method to restore the first three-dimensional shape on an SfS basis. I made it.
(4) 前記カメラパラメータ推定部が前記一部よりも多数の多視点画像から対象物の三次元点群データをそれぞれ取得し、前記第1の復元手段は前記三次元点群データを用いて、点群ベースで第1の三次元形状を復元するようにした。 (4) The camera parameter estimating unit obtains three-dimensional point cloud data of the object from a larger number of multi-view images than the part, and the first restoring means uses the three-dimensional point cloud data, The first three-dimensional shape was restored based on point clouds.
(5) 前記第1の復元手段は、前記(3)のSfSベース及び前記(4)の点群ベースを組み合わせて第1の三次元形状を復元するようにした。 (5) The first restoring means restores the first three-dimensional shape by combining the SfS base of (3) and the point group base of (4).
本発明によれば、任意背景の環境下で撮影された多数の多視点画像から少数の高精度な前景画像を選ぶだけで多数の多視点画像の内容が反映された三次元形状を復元できるので、対象物の三次元形状をユーザやシステムリソースの負担を抑えながら高精度に復元できるようになる。 According to the present invention, it is possible to restore a three-dimensional shape that reflects the contents of a large number of multi-view images by simply selecting a small number of highly accurate foreground images from a large number of multi-view images taken in an environment with an arbitrary background. , it becomes possible to reconstruct the three-dimensional shape of an object with high precision while reducing the burden on users and system resources.
以下、図面を参照して本発明の実施の形態について詳細に説明する。図1は本発明の第1実施形態に係る三次元形状復元装置1の構成を示した機能ブロック図であり、図2は三次元形状復元装置1が多視点画像に基づいて最終的に対象物の三次元形状を高品質に復元する手順を模式的に示した図である。 Embodiments of the present invention will be described in detail below with reference to the drawings. FIG. 1 is a functional block diagram showing the configuration of a three-dimensional shape restoring device 1 according to the first embodiment of the present invention, and FIG. FIG. 3 is a diagram schematically showing a procedure for restoring the three-dimensional shape of a 3D shape with high quality.
三次元形状復元装置1は、カメラパラメータ推定部10,2つの前景抽出部20(20a,20b)、前景抽出補助画像生成部30及び2つの三次元形状復元部40(40a,40b)を主要な構成とし、ここでは本発明の説明に不要な構成の図示は省略している。
The three-dimensional shape restoration device 1 mainly includes a camera
このような三次元形状復元装置1は、CPU,ROM,RAM,バス,インタフェース等を備えた少なくとも一台の汎用のコンピュータやサーバに各機能を実現するアプリケーション(プログラム)を実装することで構成できる。あるいはアプリケーションの一部をハードウェア化またはソフトウェア化した専用機や単能機としても構成できる。 Such a three-dimensional shape reconstruction device 1 can be configured by implementing an application (program) that realizes each function on at least one general-purpose computer or server equipped with a CPU, ROM, RAM, bus, interface, etc. . Alternatively, it can be configured as a dedicated machine or single-function machine in which part of the application is converted into hardware or software.
カメラパラメータ推定部10は複数視点のカメラ画像を多視点画像In(n=1,…,N)として取得し、各多視点画像(以下、単に画像と表現する場合もある)Inを撮影した際の各カメラの外部パラメータ(カメラの位置姿勢の情報)Wn(n=1,…,N)及び内部パラメータ(カメラの焦点距離や光軸中心位置等の情報)An(n=1,…,N)を同時に推定する。各カメラパラメータWn,Anの推定結果は第1及び第2の三次元形状復元部40a,40b並びに前景抽出補助画像生成部30へ提供される。
The camera
カメラの外部パラメータWn及び内部パラメータAnは、グローバルな三次元ユークリッド空間中の三次元座標[X, Y, Z] Tを各カメラ画像の二次元ピクセル座標 [u, v] Tに変換するパラメータであり、代表的には次式(1)で表される。 The camera's external parameters Wn and internal parameters An are parameters that convert the three-dimensional coordinates [X, Y, Z] T in the global three-dimensional Euclidean space to the two-dimensional pixel coordinates [u, v] T of each camera image. It is typically expressed by the following equation (1).
ここで、Aはカメラの内部パラメータであり、一般に焦点距離fx,fy及び光軸中心位置cx,cyの4パラメータで表される。Wはカメラの外部パラメータであり、一般に回転行列r11~r33の9パラメータ並びに相互に変換可能な回転ベクトルrx~rz(3パラメータ)及び並進ベクトルtx~tz(3パラメータ)の6パラメータで表される。 Here, A is an internal parameter of the camera, and is generally expressed by four parameters: focal length fx, fy and optical axis center position cx, cy. W is an external parameter of the camera, and is generally expressed by 9 parameters of rotation matrices r11 to r33, and 6 parameters of mutually convertible rotation vectors rx to rz (3 parameters) and translation vectors tx to tz (3 parameters) .
多視点画像からカメラの外部パラメータ及び内部パラメータ、更には多視点画像中の特徴点の三次元座標を同時に復元する手法は、例えば非特許文献1にSfM法として開示されている。前記カメラパラメータ推定部10は、任意のSfM法を用いて全てのカメラの外部パラメータ及び内部パラメータを同時に推定する。なお、同時に復元される特徴点の三次元座標は使用しない。
A method of simultaneously restoring external parameters and internal parameters of a camera from a multi-view image, as well as three-dimensional coordinates of feature points in the multi-view image is disclosed as an SfM method in, for example, Non-Patent Document 1. The camera
第1の前景抽出部20aは、図2(a),(b)に示すように多数の多視点画像から選択した一部の画像Ik(ここで、Ikは全部でK枚、K<N、k∈{1,…,K})から対象物のシルエットを抽出し、これを第1の前景画像F1kとして出力する。一般に前景画像とは画像中の前景領域のピクセルが指定された画像のことであり、前景領域の輝度を255(白)、背景領域の輝度を0(黒)等とした2値画像のことである。
The first
第1の前景抽出部20aは対象物のシルエットを任意の方法で抽出できる。例えば、ユーザが画像の各ピクセルについて前景/背景を手動で指定し、完全手作業で第1の前景画像を生成しても良い。多視点画像の全て(N枚)に対して完全手作業で前景画像を生成することはユーザ負荷の観点から非現実的だが、本実施形態では必要な作業が一部(少数のk枚)に限定されるためにユーザの負荷が大幅に軽減される。
The first
あるいは、ユーザが画像の各ピクセルを前景/背景/不明の3種のいずれかに手動で指定することでTrimap画像を生成し、非特許文献3に開示されるAlpha MattingによってTrimap画像から前景画像を自動生成するようにしても良い。Trimap画像とは、画像中の前景領域/背景領域/不明(前景背景の判別不可)のピクセルが指定された画像のことであり、前景領域の輝度を255(白)、背景領域の輝度を0(黒)、不明領域の輝度を128(灰色)等としたグレースケール画像等の形式で表現される。 Alternatively, the user can generate a Trimap image by manually specifying each pixel of the image as one of three types: foreground, background, or unknown, and convert the foreground image from the Trimap image using Alpha Matting, which is disclosed in Non-Patent Document 3. It may be automatically generated. A Trimap image is an image in which foreground area/background area/unknown (foreground/background cannot be determined) pixels are specified, and the brightness of the foreground area is set to 255 (white) and the brightness of the background area is set to 0. (black), the brightness of the unknown area is 128 (gray), etc. It is expressed in the form of a grayscale image.
Trimap画像にAlpha Mattingを適用することでTrimap画像の不明領域のピクセルを自動的に前景/背景に分類し、Trimap画像を前景画像に変換することができる。境界付近のピクセルをまとめて不明として大雑把に指定すれば良いため、完全手作業で前景画像を生成する場合と比較して、ユーザ負荷が大幅に軽減される。 By applying Alpha Matting to a Trimap image, pixels in unknown areas of the Trimap image can be automatically classified as foreground/background, and the Trimap image can be converted to a foreground image. Since all pixels near the boundary can be roughly designated as unknown, the user load is significantly reduced compared to the case where the foreground image is generated completely manually.
あるいは、入力画像から前景画像を完全自動で生成する(ただし、精度はTrimap画像を用いる方式に劣る)タイプのAlpha Matting方式(特許文献1、2が用いる背景差分法もこのタイプ)によって全ての多視点画像から前景画像を自動で生成した後、ユーザが精度良く生成できたと判断した前景画像のみを抽出して第1の前景画像F1kとしても良い。この場合、ユーザはTrimap画像を生成する必要が無いため負荷が最も低くなる。 Alternatively, the Alpha Matting method (the background subtraction method used in Patent Documents 1 and 2 is also of this type) that completely automatically generates a foreground image from an input image (however, the accuracy is inferior to the method using a Trimap image) After automatically generating the foreground image from the viewpoint image, only the foreground image that the user has determined has been generated accurately may be extracted and set as the first foreground image F 1 k. In this case, the load on the user is the lowest because there is no need to generate a Trimap image.
第1の三次元形状復元部40aは、図2(c)に示すように、第1の前景抽出部20aが一部の多視点画像から抽出した少数の第1の前景画像F1k及び少なくとも当該第1の前景画像F1kの抽出元の各多視点画像のカメラパラメータに基づいて対象物の三次元形状M1を復元する。
As shown in FIG. 2(c), the first three-dimensional
ここで、三次元形状とは対象物を包含する三次元空間中の三次元モデルのことである。三次元モデルには、一般にソリッドモデル・メッシュ(サーフェス)モデル・ワイヤフレームモデル等が存在する。本発明は特定のモデルに特化するものではないが、本実施形態では三次元形状がメッシュモデル(頂点・線分・面の情報で対象物表面を表現した三次元モデル)であるものとして説明を続ける。 Here, the three-dimensional shape refers to a three-dimensional model in a three-dimensional space that includes the object. Three-dimensional models generally include solid models, mesh (surface) models, wire frame models, and the like. Although the present invention is not specific to any particular model, this embodiment will be described assuming that the three-dimensional shape is a mesh model (a three-dimensional model that expresses the surface of an object using information about vertices, line segments, and surfaces). Continue.
前記第1の三次元形状復元部40aは少数(20枚程度)の前景画像F1kを用いて三次元形状を復元するので、その品質は不十分、低品質となる。しかしながら、本実施形態では後述する第2の前景抽出部20bが当該少数よりも多数の第2の前景画像F2nを生成し、当該第2の前景画像F2nを用いた形状復元を改めて行うため、最終的には高精度、高品質な形状復元が可能になる。
Since the first three-dimensional
前景抽出補助画像生成部30は、3Dレンダリング部301、前景画像生成部302及びTrimap画像を生成する領域分割部303を含み、図2(d)に示すように、第1の三次元形状復元部40aが復元した第1の三次元形状M1及び前記一部の多視点画像よりも多数の多視点画像の各カメラパラメータを用いて前景抽出補助画像Sを生成する。本実施形態では、全N台のカメラの外部パラメータWn及び内部パラメータAnを用いてN枚のTrimap画像を前景抽出補助画像Sn(n=1,…,N)として生成する。
The foreground extraction auxiliary
図3は、前景抽出補助画像生成部30が前景抽出補助画像Snを生成する手順を模式的に示した図であり、初めに3Dレンダリング部301が第1の三次元形状M1及びN枚の多視点画像のカメラパラメータWn,Anを用いた3Dレンダリング処理により当該三次元形状M1を各カメラパラメータで撮影した際の二次元画像データに変換する。
FIG. 3 is a diagram schematically showing the procedure for the foreground extraction auxiliary
次いで、各レンダリング結果から対象物の前景画像を取得するために、前景画像生成部302がデプスバッファから各ピクセルの奥行値を参照し、奥行値が存在するピクセルを当該三次元形状M1の前景ピクセルとして扱うことで、第1の三次元形状M1をベースとした前景画像FM1nを生成する。
Next, in order to obtain a foreground image of the object from each rendering result, the foreground
このM1ベース前景画像FM1nは粗い第1の三次元形状M1のシルエット画像であるため、そのままでは三次元形状の正確な復元に用いることができない。そこで、領域分割部303が各M1ベース前景画像FM1nを、確実に前景ピクセルであると想定される領域ZFn、確実に背景ピクセルであると想定される領域ZBn及び前景/背景の判別が不確実な領域ZUnに3分割することでTrimap化する。
Since this M1 base foreground image F M1 n is a rough silhouette image of the first three-dimensional shape M1, it cannot be used as is for accurate restoration of the three-dimensional shape. Therefore, the
本実施形態では、各M1ベース前景画像FM1nに膨張収縮処理を施すことで領域分割を実現する。初めにM1ベース前景画像FM1nに対して収縮処理を行った結果の前景領域をZFnとする。次いで、M1ベース前景画像FM1nに対して膨張処理を行った結果の背景領域をZBnとする。最後にZFnでもZBnでもない領域をZUnとする。 In this embodiment, region segmentation is achieved by performing expansion/contraction processing on each M1-based foreground image F M1 n. First, let Z F n be the foreground region resulting from contraction processing performed on the M1 base foreground image F M1 n. Next, the background region resulting from the dilation process performed on the M1 base foreground image F M1 n is defined as Z B n. Finally, let Z U n be a region that is neither Z F n nor Z B n.
第1の三次元形状M1は誤差を含むものの対象物の三次元形状をある程度表していることが想定されるため、想定される誤差を加味した膨張収縮処理により、確実に前景/背景であると想定される領域を特定することができる。 Although the first three-dimensional shape M1 includes errors, it is assumed that it represents the three-dimensional shape of the object to some extent, so by expanding and contracting the assumed errors, it can be confirmed that it is the foreground/background. Possible areas can be identified.
ここで、前景抽出補助画像生成部30は収縮処理に対して膨張処理の回数を増やしたり、カーネルサイズを大きくしたりしても良い。一般にSfS法では、復元される形状が実際の形状よりも収縮する傾向にあるため、この調整により前景抽出補助画像Snの精度を高めることができる。
Here, the foreground extraction auxiliary
また、前景抽出補助画像生成部30は、第1の形状復元に使用した少数の前景画像の枚数Nkが一定の閾値を下回った場合は収縮処理の回数を増やしたり、収縮処理のカーネルサイズを大きくしたりする一方、少数の前景画像の枚数Nkが一定の閾値を上回った場合は膨張処理の回数を増やしたり、膨張処理のカーネルサイズを大きくしたりしても良い。なお、膨張処理の回数を増やすと共に膨張処理のカーネルサイズも大きくするようにしても良い。
In addition, if the number Nk of the small number of foreground images used for the first shape restoration is less than a certain threshold, the foreground extraction auxiliary
あるいは、第1の形状復元に使用した少数の前景画像の枚数Nkが一定の閾値を下回る範囲内ではNkが少ないほど収縮処理の回数を増やしたり、収縮処理のカーネルサイズを大きくしたりする一方、前景画像の枚数Nkが一定の閾値を上回る範囲内ではNkが多いほど膨張処理の回数を増やしたり、膨張処理のカーネルサイズを大きくしたりしても良い。なお、膨張処理の回数を増やすと共に膨張処理のカーネルサイズも大きくするようにしても良い。 Alternatively, within a range where the number Nk of a small number of foreground images used for the first shape restoration is below a certain threshold, the smaller Nk is, the more the number of contraction processes is increased, or the kernel size of the contraction process is increased. Within a range where the number Nk of foreground images exceeds a certain threshold, the number of dilation processes may be increased or the kernel size of the dilation process may be increased as Nk increases. Note that the kernel size of the dilation process may be increased as well as increasing the number of times the dilation process is performed.
一般にSfS法では視点数(前景画像の枚数)が少ない場合に、復元される形状が実際の形状よりも外側に膨らむ部分が生じやすい傾向がある一方、視点数(前景画像の枚数)が多くなるほど、復元される形状が実際の形状よりも内側に萎む部分が生じやすい傾向があるため、このような調整を採用することで前景抽出補助画像(Trimap画像)の精度を更に高めることができる。 In general, in the SfS method, when the number of viewpoints (number of foreground images) is small, the reconstructed shape tends to bulge outward from the actual shape, while as the number of viewpoints (number of foreground images) increases, Since the restored shape tends to have parts that shrink inward from the actual shape, by adopting this kind of adjustment, it is possible to further improve the precision of the foreground extraction auxiliary image (Trimap image).
第2の前景抽出部20bはAlpha Matting部201を含み、前景抽出補助画像生成部30が多数(本実施形態では、N枚)の多視点画像ごとに生成した前景抽出補助画像(Trimap画像)Sn及び多数の多視点画像In(図2(e))に基づいて、図2(f)に示すように多数の第2の前景画像F2n(n=1,…N)を抽出する。
The second
図4は第2の前景抽出部20bが第2の前景画像F2nを抽出する手順を模式的に示した図であり、初めにAlpha Matting部201おいて多視点画像Inごとに対応するTrimap画像Snを用いて、Alpha Mattingによってピクセルごとに前景/背景の推定を行う。推定結果は前景と判定した確度の連続値になっているため、所定の閾値Tで前景/背景の2値データに変換することで第2の前景画像F2nを得る。
FIG. 4 is a diagram schematically showing the procedure by which the second
閾値Tは前景(255)と背景(0)の間の任意の値を取ることが可能であり、予め所定の値をユーザが指定しておくことができるが、適切な値に設定することにより第2の形状復元の精度を高めることが可能である。 The threshold T can take any value between the foreground (255) and the background (0), and the user can specify a predetermined value in advance, but by setting it to an appropriate value, It is possible to improve the accuracy of the second shape restoration.
閾値Tは、カメラパラメータの一致する第1の前景画像F1kと第2の前景画像F2n(k枚)との比較結果に基づいて自動的に設定しても良い。具体的には、第1の前景画像F1kについて第2の前景画像F2nとの類似度を計算し、その平均または合計が最も高くなるように閾値Tを設定することができる。高精度な第1の前景画像F1kを用いて閾値調整することで、第1の前景画像F1kが存在しないカメラ画像についても、第2の前景抽出を同様に高精度に行えることが期待できる。 The threshold T may be automatically set based on a comparison result between the first foreground image F 1 k and the second foreground image F 2 n (k images) whose camera parameters match. Specifically, the degree of similarity between the first foreground image F 1 k and the second foreground image F 2 n can be calculated, and the threshold T can be set so that the average or sum of the similarities is the highest. By adjusting the threshold value using the highly accurate first foreground image F 1 k, it is possible to perform the second foreground extraction with high accuracy even for camera images where the first foreground image F 1 k does not exist. You can expect it.
なお、第2の前景抽出部20bは、第1の前景抽出部20aが第1の前景画像F1kを抽出していない多視点画像、すなわち前記一部の多視点画像を除いた残り全ての多視点画像のみから第2の残りの前景画像F2n-kを抽出し、第1の前景画像F1k及び第2の残りの前景画像F2n-kを統合して第2の前景画像F2nとしても良い。
Note that the second
これにより、第2の前景抽出部20bが全ての多視点画像から前景画像を抽出する場合と比較して処理負荷の削減が可能となるのみならず、第1の前景画像F1kは少数ではあるものの高精度である可能性が高いので、第2の形状復元の精度を更に高められるようになる。
This not only makes it possible to reduce the processing load compared to the case where the second
第2の三次元形状復元部40bは、多数の第2の前景画像F2n及び対応するカメラパラメータを用いて、図2(g)に示すように、前記第1の三次元形状復元部40aと同様の手法で対象物の三次元形状M2を高品質に復元する。
The second three-dimensional
本実施形態によれば、任意背景の環境下で撮影された対象物の多視点画像から当該対象物の三次元形状を高精度に復元することができる。 According to the present embodiment, the three-dimensional shape of the object can be restored with high precision from multi-view images of the object photographed under an environment with an arbitrary background.
図5は本発明の第2実施形態の構成を示した機能ブロック図であり、前記と同一の符号は同一又は同等部分を表しているので、その説明は省略する。 FIG. 5 is a functional block diagram showing the configuration of the second embodiment of the present invention, and the same reference numerals as above represent the same or equivalent parts, so a description thereof will be omitted.
本実施形態は、第2の三次元形状復元部40bが多数の第2の前景画像F2nを用いて復元した相対的に高品質な第2の三次元形状M2を前景抽出補助画像生成部30へフィードバックするようにした点に特徴がある。
In the present embodiment, the second three-dimensional
前景抽出補助画像生成部30は、第2の三次元形状M2がフィードバックされると前記第1の三次元形状M1の代わりに当該第2の三次元形状M2を用いた3DレンダリングによりM2ベース前景画像FM2nを生成し、これを領域分割することで前景抽出補助画像Snを生成する。第2の前景抽出部20bは、各多視点画像から前景抽出補助画像Snを用いて更に高精度化された第2の前景画像F2nを改めて抽出する。
When the second three-dimensional shape M2 is fed back, the foreground extraction auxiliary
第2の三次元形状復元部40bは前記更に高精度化された第2の前景画像F2n及び対応するカメラパラメータを用いて第2の三次元形状M2(M2_2)を再復元することを、収束判定部403が前回(n番目)の第2の三次元形状M2(M2_n)と今回の第2の三次元形状M2(M2_n+1)との差分が所定の閾値を下回ったと判定するまで繰り返す。
The second three-dimensional
第2の三次元形状M2は第1の三次元形状M1よりも高精度であるため、上記のように前景抽出補助画像の生成及び第2の三次元形状M2の生成を繰り返すことで第2の三次元形状M2の品質を更に向上させることができるようになる。 Since the second three-dimensional shape M2 has higher precision than the first three-dimensional shape M1, by repeating the generation of the foreground extraction auxiliary image and the generation of the second three-dimensional shape M2 as described above, the second three-dimensional shape M2 is It becomes possible to further improve the quality of the three-dimensional shape M2.
図6は、本発明の第3実施形態の構成を示した図であり、前記と同一の符号は同一又は同等部分を表しているので、その説明は省略する。 FIG. 6 is a diagram showing the configuration of a third embodiment of the present invention, and since the same reference numerals as above represent the same or equivalent parts, the explanation thereof will be omitted.
本実施形態は、前記第1の三次元形状復元部40aがSfSベース復元部401を具備し、前記第1の前景抽出部20aが前記一部の多視点画像から抽出した第1の前景画像及び当該一部の多視点画像を撮影した各カメラのカメラパラメータを用いてSfS法により第1の三次元形状M1を復元する点に特徴がある。
In this embodiment, the first three-dimensional
一般にSfS法は、使用する前景画像の枚数(視点数)が多ければ多いほど高精度な三次元形状の復元が可能になるため、画像のサブセットのみを用いる第1の形状復元は十分な精度が得られない傾向がある。 In general, in the SfS method, the more foreground images (number of viewpoints) used, the more accurate the three-dimensional shape can be restored, so the first shape restoration using only a subset of images is not accurate enough. There is a tendency not to get it.
前記SfSベース復元部401は、第1の前景画像F1k及び対応するカメラパラメータを用いて三次元ボクセル空間にシルエットの逆投影を行うことで、対象物を包含するボクセルデータを算出する(この処理は視体積交差法又はVisual Hullとも呼ばれる)。
The SfS-based
前記SfSベース復元部401は更に、ボクセルデータをマーチングキューブ法等のアルゴリズムによってメッシュモデルに変換する。マーチングキューブ法では、隣接した8個のボクセルを頂点とする立方体を一単位として、8頂点のボクセルの値に応じて予め定義された15パターンのポリゴンに変換する処理を繰り返すことによってボクセルデータを三次元形状モデルに変換することができる。
The SfS
図7は、本発明の第4実施形態の構成を示した図であり、前記と同一の符号は同一又は同等部分を表しているので、その説明は省略する。 FIG. 7 is a diagram showing the configuration of the fourth embodiment of the present invention, and since the same reference numerals as above represent the same or equivalent parts, the explanation thereof will be omitted.
本実施形態は、前記第1の三次元形状復元部40aが点群ベース復元部402を具備し、全て(N台)のカメラ画像から抽出した点群データを用いて第1の三次元形状M1を復元する点に特徴がある。
In this embodiment, the first three-dimensional
カメラパラメータ推定部10は、各カメラが多視点画像を撮影した際の外部パラメータWn(n=1,…,N)及び内部パラメータAn(n=1,…,N)を同時に推定すると共に、SfM法で推定した多視点画像中の特徴点の三次元座標(三次元点群データP)を取得する。
The camera
第1の三次元形状復元部40aは、三次元点群データPを用いて、三次元点群データから三次元モデルを復元する一般的なアルゴリズム(Poisson Surface Reconstruction法など)を用いて対象物の第1の三次元形状M1を復元する。
The first three-dimensional
第1の形状復元は、一般的なSfM法と同様のアプローチでの形状復元になるため、模様が乏しい対象物の復元精度が劣化する傾向がある。しかしながら、本実施形態では全視点分の前景画像を用いた第2の形状復元による高精度な形状復元が期待できる。 Since the first shape restoration uses an approach similar to the general SfM method, the restoration accuracy of objects with poor patterns tends to deteriorate. However, in this embodiment, highly accurate shape restoration can be expected by the second shape restoration using foreground images for all viewpoints.
なお、上記の第3及び第4の実施形態では第1の三次元形状復元部40aがSfSベース又は点群ベースで第1の三次元形M1を復元するものとして説明したが、本発明はこれのみに限定されるものではなく、図8に示した第5実施形態のように、第1の三次元形状復元部40aにSfSベース復元部401及び点群ベース復元部402を設け、2つの復元方式を組み合わせるようにしても良い。
Note that in the third and fourth embodiments described above, the first three-dimensional
具体的には、第1の前景画像F1kからSfS法によって復元した三次元形状M1を一度三次元点群データP'に変換し、カメラパラメータ推定部10が取得した三次元点群データPと前記変換した三次元点群データP'とを統合し、統合した三次元点群を用いて三次元形状M1を復元することができる。
Specifically, the three-dimensional shape M1 restored by the SfS method from the first foreground image F 1 k is once converted into three-dimensional point group data P', and the three-dimensional point group data P obtained by the camera
そして、上記の各実施形態によれば、任意背景の環境下で撮影された対象物の多視点画像から当該対象物の三次元形状をユーザやシステムリソースの負担を抑えながら高精度に復元することが可能となるので、地理的あるいは経済的な格差を超えて多くの人々に多様な三次元形状を提供できるようになる。その結果、国連が主導する持続可能な開発目標(SDGs)の目標9「レジリエントなインフラを整備し、包括的で持続可能な産業化を推進する」や目標11「都市を包摂的、安全、レジリエントかつ持続可能にする」に貢献することが可能となる。 According to each of the above embodiments, the three-dimensional shape of an object can be restored with high precision from multi-view images of the object taken in an environment with an arbitrary background while reducing the burden on the user and system resources. This makes it possible to provide a variety of three-dimensional shapes to many people, regardless of geographic or economic disparity. As a result, Goal 9 of the Sustainable Development Goals (SDGs) led by the United Nations: ``Build resilient infrastructure and promote inclusive and sustainable industrialization'' and Goal 11: ``Make cities inclusive, safe and resilient.'' It will be possible to contribute to "making the world more sustainable and more sustainable."
1…三次元形状復元装置,10…カメラパラメータ推定部,20(20a,20b)…前景画像抽出部,30…前景抽出補助画像生成部,40(40a,40b)…三次元形状復元部,201…Alpha Matting部,301…3Dレンダリング部,302…前景画像生成部,303…領域分割部,401…SfSベース復元部,402…点群ベース復元部,403…収束判定部 1...Three-dimensional shape restoration device, 10...Camera parameter estimation section, 20 (20a, 20b)...Foreground image extraction section, 30...Foreground extraction auxiliary image generation section, 40 (40a, 40b)...Three-dimensional shape restoration section, 201 ...Alpha Matting section, 301...3D rendering section, 302...Foreground image generation section, 303...Region division section, 401...SfS-based restoration section, 402...Point cloud-based restoration section, 403...Convergence judgment section
Claims (18)
各多視点画像のカメラパラメータを推定する手段と、
一部の多視点画像から抽出した第1の前景画像を用いて対象物の第1の三次元形状を復元する第1の復元手段と、
前記第1の三次元形状及び前記一部よりも多数の多視点画像のカメラパラメータを用いて当該多数の多視点画像ごとにTrimap画像を生成する手段と、
前記一部よりも多数の多視点画像ごとに対応するTrimap画像を用いて第2の前景画像を抽出する手段と、
前記第2の前景画像を用いて第2の三次元形状を復元する第2の復元手段とを具備したことを特徴とする三次元形状復元装置。 In a three-dimensional shape restoration device that restores the three-dimensional shape of an object using multi-view images captured by cameras with different viewpoints,
means for estimating camera parameters for each multi-view image;
a first restoring means for restoring a first three-dimensional shape of the object using a first foreground image extracted from some of the multi-view images;
means for generating a Trimap image for each of the plurality of multi-view images using the first three-dimensional shape and camera parameters of a larger number of multi-view images than the part;
means for extracting a second foreground image using a Trimap image corresponding to each of the plurality of multi-view images;
A three-dimensional shape restoring device comprising: second restoring means for restoring a second three-dimensional shape using the second foreground image.
前記第1の復元手段は、前記三次元点群データを用いて第1の三次元形状を復元することを特徴とする請求項1または2に記載の三次元形状装置。 The means for estimating the camera parameters obtains three-dimensional point cloud data of the object from a larger number of multi-view images than the part, respectively;
3. The three-dimensional shape device according to claim 1, wherein the first restoring means restores the first three-dimensional shape using the three-dimensional point group data.
前記Trimap画像を生成する手段は前記第1の三次元形状の代わりに前記フィードバックされた第2の三次元形状を用いてTrimap画像を生成し、
前記第2の三次元形状を用いて生成したTrimap画像を用いて抽出した第2の前景画像を用いて第2の三次元形状を復元することを繰り返すことを特徴とする請求項1ないし3のいずれかに記載の三次元形状復元装置。 The second restoring means feeds back the second three-dimensional shape to the means for generating the Trimap image until the second three-dimensional shape satisfies a predetermined convergence condition,
The means for generating a Trimap image generates a Trimap image using the fed back second three-dimensional shape instead of the first three-dimensional shape,
4. The process of restoring the second three-dimensional shape using a second foreground image extracted using a Trimap image generated using the second three-dimensional shape is repeated. The three-dimensional shape restoring device according to any one of the above.
前記Trimap画像を生成する手段は、前記一部よりも多数の多視点画像から前記一部の多視点画像を除いた残りの多視点画像ごとにTrimap画像を生成し、
前記第2の前景画像を抽出する手段は、前記残りの多視点画像ごとに対応するTrimap画像を用いて第2の残りの前景画像を抽出し、
前記第2の復元手段は前記第1及び第2の残りの前景画像を用いて第2の三次元形状を復元することを特徴とする請求項1ないし5のいずれかに記載の三次元形状復元装置。 a larger number of multi-view images than the part include the part of the multi-view image;
The means for generating the Trimap image generates a Trimap image for each remaining multi-view image after removing the part of the multi-view image from a larger number of multi-view images than the part,
The means for extracting the second foreground image extracts a second remaining foreground image using a Trimap image corresponding to each of the remaining multi-view images,
The three-dimensional shape restoration according to any one of claims 1 to 5, wherein the second restoration means restores a second three-dimensional shape using the first and second remaining foreground images. Device.
一部の多視点画像から抽出した第1の前景画像を用いて対象物の第1の三次元形状を復元し、
前記第1の三次元形状及び前記一部よりも多数の多視点画像のカメラパラメータを用いて当該多数の多視点画像ごとにTrimap画像を生成し、
前記一部よりも多数の多視点画像ごとに対応するTrimap画像を用いて第2の前景画像を抽出し、
前記第2の前景画像を用いて第2の三次元形状を復元することを特徴とする三次元形状復元方法。 In a three-dimensional shape restoration method in which a computer restores the three-dimensional shape of an object using multi-view images taken with cameras with different viewpoints,
Restore the first three-dimensional shape of the object using the first foreground image extracted from some of the multi-view images,
Generating a Trimap image for each of the plurality of multi-view images using the first three-dimensional shape and camera parameters of a larger number of multi-view images than the part;
extracting a second foreground image using a Trimap image corresponding to each of the plurality of multi-view images;
A three-dimensional shape restoration method, comprising restoring a second three-dimensional shape using the second foreground image.
一部の多視点画像から抽出した第1の前景画像を用いて対象物の第1の三次元形状を復元する手順と、
前記第1の三次元形状及び前記一部よりも多数の多視点画像のカメラパラメータを用いて当該多数の多視点画像ごとにTrimap画像を生成する手順と、
前記一部よりも多数の多視点画像ごとに対応するTrimap画像を用いて第2の前景画像を抽出する手順と、
前記第2の前景画像を用いて第2の三次元形状を復元する手順と、をコンピュータに実行させることを特徴とする三次元形状復元プログラム。 In a 3D shape restoration program that restores the 3D shape of an object using multi-view images taken with cameras with different viewpoints,
a step of restoring a first three-dimensional shape of the object using a first foreground image extracted from some of the multi-view images;
a step of generating a Trimap image for each of the plurality of multi-view images using the first three-dimensional shape and camera parameters of a larger number of multi-view images than the part;
a step of extracting a second foreground image using a Trimap image corresponding to each of the plurality of multi-view images;
A three-dimensional shape restoration program characterized by causing a computer to execute the steps of restoring a second three-dimensional shape using the second foreground image.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022044234A JP2023137841A (en) | 2022-03-18 | 2022-03-18 | Three-dimensional shape restoration device, method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022044234A JP2023137841A (en) | 2022-03-18 | 2022-03-18 | Three-dimensional shape restoration device, method, and program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023137841A true JP2023137841A (en) | 2023-09-29 |
Family
ID=88146283
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022044234A Pending JP2023137841A (en) | 2022-03-18 | 2022-03-18 | Three-dimensional shape restoration device, method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2023137841A (en) |
-
2022
- 2022-03-18 JP JP2022044234A patent/JP2023137841A/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100721536B1 (en) | Method for restoring 3-dimension image using silhouette information in 2-dimension image | |
US11348267B2 (en) | Method and apparatus for generating a three-dimensional model | |
KR100748719B1 (en) | Apparatus and method for 3-dimensional modeling using multiple stereo cameras | |
JP2009525543A (en) | 3D face reconstruction from 2D images | |
JP2008186456A (en) | Methodology for 3d scene reconstruction from 2d image sequences | |
JP2007310707A (en) | Apparatus and method for estimating posture | |
KR101829733B1 (en) | Conversion Method For A 2D Image to 3D Graphic Models | |
JP2007000205A (en) | Image processing apparatus, image processing method, and image processing program | |
KR102455468B1 (en) | Method and apparatus for reconstructing three dimensional model of object | |
TW201436552A (en) | Method and apparatus for increasing frame rate of an image stream using at least one higher frame rate image stream | |
JP5561786B2 (en) | Three-dimensional shape model high accuracy method and program | |
KR101812664B1 (en) | Method and apparatus for extracting multi-view object with fractional boundaries | |
JP6901885B2 (en) | Foreground extractor and program | |
KR102358854B1 (en) | Apparatus and method for color synthesis of face images | |
EP3906530B1 (en) | Method for 3d reconstruction of an object | |
JP7195785B2 (en) | Apparatus, method and program for generating 3D shape data | |
JP2023137841A (en) | Three-dimensional shape restoration device, method, and program | |
KR102125750B1 (en) | Apparatus and method for 3d-image reconstruction using silluets | |
KR101533494B1 (en) | Method and apparatus for generating 3d video based on template mode | |
JP7518040B2 (en) | 3D model restoration device, method and program | |
Chen et al. | Shape from photometric stereo and contours | |
CN116194956A (en) | Generation of 3D point clouds for scenes | |
CN113034345A (en) | Face recognition method and system based on SFM reconstruction | |
JP7491830B2 (en) | Apparatus, method and program for extracting silhouette of subject | |
JP2023135010A (en) | Three-dimensional shape restoration apparatus, method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240207 |