JP6894685B2 - Information processing equipment, information processing methods and programs - Google Patents
Information processing equipment, information processing methods and programs Download PDFInfo
- Publication number
- JP6894685B2 JP6894685B2 JP2016192279A JP2016192279A JP6894685B2 JP 6894685 B2 JP6894685 B2 JP 6894685B2 JP 2016192279 A JP2016192279 A JP 2016192279A JP 2016192279 A JP2016192279 A JP 2016192279A JP 6894685 B2 JP6894685 B2 JP 6894685B2
- Authority
- JP
- Japan
- Prior art keywords
- dimensional
- similarity
- image
- input
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 51
- 238000003672 processing method Methods 0.000 title claims description 12
- 238000004364 calculation method Methods 0.000 claims description 58
- 238000000605 extraction Methods 0.000 claims description 33
- 238000011156 evaluation Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 4
- 238000004040 coloring Methods 0.000 claims description 3
- 210000004744 fore-foot Anatomy 0.000 description 36
- 210000003128 head Anatomy 0.000 description 19
- 238000004891 communication Methods 0.000 description 15
- 238000003860 storage Methods 0.000 description 15
- 210000005069 ears Anatomy 0.000 description 10
- 210000000548 hind-foot Anatomy 0.000 description 10
- 238000000034 method Methods 0.000 description 7
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 4
- 210000000746 body region Anatomy 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000012790 confirmation Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 238000011960 computer-aided design Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 210000001364 upper extremity Anatomy 0.000 description 2
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000002683 foot Anatomy 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Description
本発明は、情報処理装置、情報処理方法及びプログラムに関する。 The present invention relates to an information processing device, an information processing method and a program.
下記特許文献1には、依頼者により指定された複数の画像情報等を用いて3次元形状モデルを生成する技術が開示されている。 The following Patent Document 1 discloses a technique for generating a three-dimensional shape model using a plurality of image information or the like designated by a client.
しかし、従来の情報処理装置では、依頼者に手間をかけさせる必要があった。即ち、上記従来の構成によれば、出来上がった3次元形状モデルの品質、具体的には依頼者により指定された画像情報と3次元形状モデルとが似ていることを担保するために、事前に3次元データを依頼者に送付し、似ていない場合には修正依頼を受けるなど、依頼者と連絡のやり取りを行う必要があり、依頼者に手間をかけさせてしまっていた。 However, in the conventional information processing device, it is necessary to make the client take time and effort. That is, according to the above-mentioned conventional configuration, in order to ensure that the quality of the completed 3D shape model, specifically, the image information specified by the client and the 3D shape model are similar, in advance. It was necessary to communicate with the requester, such as sending 3D data to the requester and receiving a correction request if they were not similar, which caused the requester to take time and effort.
本開示は、上記問題点に鑑みてなされたものであり、その目的は、依頼者に手間をかけさせることなく、依頼者により指定された画像情報に対して類似度の高い3次元データを得ることである。 The present disclosure has been made in view of the above problems, and the purpose of the present disclosure is to obtain three-dimensional data having a high degree of similarity to the image information specified by the requester without causing the requester to take time and effort. That is.
(1)本開示に係る情報処理装置は、3次元モデルに関する3次元データと2次元入力画像との入力を受け付ける入力部と、前記3次元データに基づき、仮想空間に配置された前記3次元モデルを所与の視点から見た外観を示す2次元作成画像を生成する画像生成部と、前記2次元作成画像と前記2次元入力画像との類似度を出力する出力部と、を含む。 (1) The information processing apparatus according to the present disclosure includes an input unit that receives input of 3D data and a 2D input image related to the 3D model, and the 3D model arranged in a virtual space based on the 3D data. Includes an image generation unit that generates a two-dimensionally created image showing the appearance seen from a given viewpoint, and an output unit that outputs the similarity between the two-dimensionally created image and the two-dimensional input image.
(2)上記(1)の情報処理装置において、前記画像生成部は、前記仮想空間に配置された前記3次元モデルを複数の視点から見た外観を示す、複数の2次元作成画像を生成し、前記出力部は、前記複数の2次元作成画像のそれぞれと前記2次元入力画像との類似度の内、最も高い類似度を出力してもよい。 (2) In the information processing apparatus of (1) above, the image generation unit generates a plurality of two-dimensional created images showing the appearance of the three-dimensional model arranged in the virtual space as viewed from a plurality of viewpoints. The output unit may output the highest degree of similarity between each of the plurality of two-dimensional created images and the two-dimensional input image.
(3)上記(1)又は(2)の情報処理装置において、前記複数の2次元作成画像のそれぞれと前記2次元入力画像との類似度を算出し、最も類似度が高い2次元作成画像を前記複数の2次元作成画像の中から抽出する抽出部を更に備えてもよい。 (3) In the information processing apparatus of (1) or (2), the similarity between each of the plurality of two-dimensional created images and the two-dimensional input image is calculated, and the two-dimensional created image having the highest degree of similarity is obtained. An extraction unit for extracting from the plurality of two-dimensionally created images may be further provided.
(4)上記(3)の情報処理装置において、前記入力部は、複数の2次元入力画像の入力を受け付け、前記抽出部は、前記複数の2次元入力画像のそれぞれについて、前記複数の2次元作成画像の中から最も類似度が高い2次元作成画像を前記複数の2次元入力画像の数に応じて抽出し、前記抽出部により抽出された前記複数の2次元作成画像と前記複数の2次元入力画像との各類似度の平均値を算出する演算部を更に含み、前記出力部は、前記演算部が算出した前記平均値を出力してもよい。 (4) In the information processing apparatus of (3) above, the input unit receives inputs of a plurality of two-dimensional input images, and the extraction unit receives the plurality of two-dimensional inputs for each of the plurality of two-dimensional input images. The two-dimensional created image having the highest degree of similarity is extracted from the created images according to the number of the plurality of two-dimensional input images, and the plurality of two-dimensional created images extracted by the extraction unit and the plurality of two-dimensional images are extracted. The output unit may further include a calculation unit that calculates the average value of each similarity with the input image, and the output unit may output the average value calculated by the calculation unit.
(5)上記(4)の情報処理装置において、前記平均値は、前記複数の2次元入力画像の内、特徴部を含む2次元入力画像に対して重み付けされた重み付け平均値を含んでもよい。 (5) In the information processing apparatus of (4) above, the average value may include a weighted average value weighted with respect to the two-dimensional input image including the feature portion among the plurality of two-dimensional input images.
(6)上記(5)の情報処理装置において、前記入力部が入力を受け付ける前記2次元入力画像には、特徴部が含まれているか否かについての重み付け情報が付加されてもよい。 (6) In the information processing apparatus of (5) above, weighting information as to whether or not a feature portion is included may be added to the two-dimensional input image that the input unit receives an input.
(7)上記(3)〜(6)の情報処理装置において、前記抽出部により抽出された前記2次元作成画像を複数の領域に分割する分割部を更に含み、前記演算部は、前記複数の領域に対する前記2次元入力画像との類似度を算出し、前記出力部は、前記複数の領域の内、類似度が所定の値よりも低い領域の表示を、他の領域の表示と異ならせてもよい。 (7) In the information processing apparatus of (3) to (6), the two-dimensionally created image extracted by the extraction unit is further divided into a plurality of regions, and the calculation unit includes the plurality of division units. The similarity with the two-dimensional input image with respect to the region is calculated, and the output unit makes the display of the region having the similarity lower than the predetermined value different from the display of the other regions among the plurality of regions. May be good.
(8)上記(7)の情報処理装置において、前記出力部は、前記類似度が所定の値よりも低い領域に着色をして表示してもよい。 (8) In the information processing apparatus of (7) above, the output unit may display a region in which the similarity is lower than a predetermined value by coloring.
(9)上記(1)〜(8)の情報処理装置において、前記2次元入力画像は写真であってもよい。 (9) In the information processing devices (1) to (8), the two-dimensional input image may be a photograph.
(10)本開示に係る情報処理方法は、3次元モデルに関する3次元データと2次元入力画像との入力を受け付ける入力ステップと、前記3次元データに基づき、仮想空間に配置された前記3次元モデルを所与の視点から見た外観を示す2次元作成画像を生成する画像生成ステップと、前記2次元作成画像と前記2次元入力画像との類似度を出力する出力ステップと、を含む。 (10) The information processing method according to the present disclosure includes an input step for receiving input of 3D data and a 2D input image related to the 3D model, and the 3D model arranged in a virtual space based on the 3D data. Includes an image generation step of generating a two-dimensionally created image showing the appearance seen from a given viewpoint, and an output step of outputting the similarity between the two-dimensionally created image and the two-dimensional input image.
(11)本開示に係るプログラムは、コンピュータに、3次元モデルに関する3次元データと2次元入力画像との入力を受け付ける入力ステップと、前記3次元データに基づき、仮想空間に配置された前記3次元モデルを所与の視点から見た外観を示す2次元作成画像を生成する画像生成ステップと、前記2次元作成画像と前記2次元入力画像との類似度を出力する出力ステップと、を実行させる。 (11) The program according to the present disclosure includes an input step for receiving input of 3D data and a 2D input image related to a 3D model to a computer, and the 3D arranged in a virtual space based on the 3D data. An image generation step of generating a two-dimensional created image showing the appearance of the model as viewed from a given viewpoint and an output step of outputting the similarity between the two-dimensional created image and the two-dimensional input image are executed.
[第1の実施形態]
本開示の実施形態について、図面を用いて以下に説明する。
[First Embodiment]
The embodiments of the present disclosure will be described below with reference to the drawings.
図1は、本実施形態に係る情報処理装置の概略図である。 FIG. 1 is a schematic view of an information processing device according to the present embodiment.
図1に示すように、情報処理装置100はサーバー装置であり、依頼者のコンピュータ、及び3次元データを作成するモデラーのコンピュータとデータの送受信を行う通信部70と、情報処理装置100全体を制御する制御部40と、当該制御に用いられるプログラム等を記憶する記憶部50と、を含む。本開示において、3次元データとは、例えば3次元CAD(computer-aided design)データ、3次元CG(computer graphics)データ等を含む。
As shown in FIG. 1, the
(通信部70)
通信部70は、有線又は無線により、依頼者、及びモデラーのコンピュータとデータの送受信を行う。通信部70は、例えばLAN(Local Area Network)、Wi−Fi(Wireless Fidelity、登録商標)、電話回線、ブロードバンドネットワーク等を用いて、外部機器と直接又は間接的に通信する。
(Communication unit 70)
The
(制御部40)
制御部40は、記憶部50に保存された各種プログラムに従って、情報処理装置100の動作全般を制御する。制御部40は、例えばCPU(Central Processing Unit)、マイクロプロセッサ等の電子回路によって実現される。なお、制御部40は、使用するプログラムや演算パラメータ等を記憶するROM(Read Only Memory)および適宜変化するパラメータ等を一時記憶するRAM(Random Access Memory)を含んでいてもよい。
(Control unit 40)
The
制御部40は、3次元データ、及び2次元入力画像の入力を受け付ける入力部10と、3次元データに基づき、2次元作成画像を生成する画像生成部20と、類似度を出力する出力部30とを含む。更に、本実施形態においては、制御部40が、複数の2次元作成画像の中から2次元入力画像と最も類似度が高い2次元作成画像を抽出する抽出部22と、2次元作成画像を複数の領域に分割する分割部26と、複数の前記2次元作成画像と前記複数の2次元入力画像との各類似度の平均値を算出する演算部24を含む。
The
(入力部10)
入力部10は、3次元形状モデルの製造を依頼する依頼者からの2次元入力画像の入力を受け付ける。ここで、2次元入力画像とは、例えば依頼者のペットの写真などである。本実施形態においては、依頼者からペットの3次元形状モデルの製造を依頼された例を説明する。2次元入力画像の入力は、依頼者が、サーバー装置である情報処理装置100にアクセスし、上述した通信部70を経由して2次元入力画像を入力部10に入力することにより行われる。なお、情報処理装置100のユーザが、依頼者からメール、記録媒体などを介して入手した2次元入力画像を、通信部70を経由することなく、入力部10に直接入力することも可能である。入力部10に入力された2次元入力画像は、記憶部50に保存される。
(Input unit 10)
The
入力部10は、モデラーが依頼者からの2次元入力画像に基づき作成した3次元モデルを示す3次元データの入力を受け付ける。3次元データの入力は、モデラーが、サーバー装置である情報処理装置100にアクセスし、上述した通信部70を経由して3次元データを入力部10に入力することにより行われる。なお、情報処理装置100のユーザが、モデラーからメール、記録媒体などを介して入手した3次元データを、通信部70を経由することなく、入力部10に直接入力することも可能である。入力部10に入力された3次元データは、記憶部50に保存される。
The
(画像生成部20)
画像生成部20は、モデラーにより作成された3次元データに基づき、仮想空間に配置された3次元モデルを所与の視点から見た外観を示す2次元作成画像を生成する。
(Image generation unit 20)
The
第1の具体例として、依頼者により入力された2次元入力画像が1枚の写真であり、正面方向から見たペットの顔写真である場合について説明する。画像生成部20は、入力された顔写真からカメラ位置を推定する。カメラ位置を推定する方法としては、例えば、画像生成部20が、仮想空間の投影中心と3次元モデルとの間に配置された投影面において投影される3次元モデルの投影画像におけるエッジ情報を抽出することにより、依頼者により入力された2次元入力画像におけるペットの輪郭形状と、投影画像における3次元モデルの輪郭形状が最も一致する割合の高い位置をカメラ位置として推定する。次に、推定されたカメラ位置情報に基づき、仮想空間における投影中心に対する3次元モデルの位置を調整する。そして、画像生成部20は、仮想空間の投影中心と3次元モデルとの間に配置された投影面において投影される3次元モデルの投影画像を2次元作成画像として取得する。さらに、画像生成部20は、仮想空間に配置された3次元モデルを、例えば1度ずつ回転させながら、投影面において投影される複数の2次元作成画像を取得する。本具体例においては、依頼者により入力されたペットの顔写真に近い外観として、正面近傍の複数の角度からみたペットの顔の外観を示す2次元作成画像を複数生成する。
As a first specific example, a case where the two-dimensional input image input by the client is one photograph and is a face photograph of a pet seen from the front direction will be described. The
第2の具体例として、依頼者により入力された2次元入力画像が複数枚の写真であり、例えば1枚目が「正面方向から見たペットの顔写真」、2枚目が「正面方向からみたペットの全体写真」、3枚目が「側面方向から見たペットの全体写真」、4枚目が「背面方向からみたペットの全体写真」である場合は、画像生成部20は、以下のように複数の2次元作成画像群を生成する。
As a second specific example, the two-dimensional input image input by the client is a plurality of photographs, for example, the first photograph is "a photo of a pet's face seen from the front direction" and the second picture is "from the front direction". When the third image is the "overall photograph of the pet seen from the side" and the fourth image is the "overall photograph of the pet seen from the back", the
画像生成部20は、1枚目の「正面方向から見たペットの顔写真」から推定されたカメラ位置情報に基づき、仮想空間における投影中心と3次元モデルとの位置関係を調整する。例えば、仮想空間において、3次元モデルの顔領域が、投影中心であるカメラの視点に近い位置に配置される。そして、画像生成部20が当該3次元モデルを正面方向から1度ずつ回転させ、正面近傍の複数の角度からみたペットの顔の外観を示す第1の2次元作成画像群を生成する。
The
画像生成部20は、2枚目の「正面方向から見たペットの全体写真」から推定されたカメラ位置情報に基づき、仮想空間における投影中心と3次元モデルとの位置関係を調整する。例えば、仮想空間において、投影中心であるカメラの視点が、3次元モデルの正面全体を捕らえる位置に調整される。そして、画像生成部20が当該3次元モデルの正面方向から1度ずつ回転させ、正面近傍の複数の角度からみたペットの全体の外観を示す第2の2次元作成画像群を生成する。
The
画像生成部20は、3枚目の「側面方向から見たペットの全体写真」から推定されたカメラ位置情報に基づき、仮想空間における投影中心と3次元モデルとの位置関係を調整する。例えば、仮想空間において、投影中心であるカメラの視点が、3次元モデルの側面全体を捕らえる位置に調整される。そして、画像生成部20が当該3次元モデルの側面方向から1度ずつ回転させ、側面近傍の複数の角度からみたペットの全体の外観を示す第3の2次元作成画像群を生成する。
The
画像生成部20は、4枚目の「背面方向から見たペットの全体写真」から推定されたカメラ位置情報に基づき、仮想空間における投影中心と3次元モデルとの位置関係を調整する。例えば、仮想空間において、投影中心であるカメラの視点が、3次元モデルの背面全体を捕らえる位置に調整される。そして、画像生成部20が当該3次元モデルの背面方向から1度ずつ回転させ、背面近傍の複数の角度からみたペットの全体の外観を示す第4の2次元作成画像群を生成する。
The
なお、本実施形態においては、カメラ位置を推定してから、3次元モデルを回転させ、複数の2次元作成画像を取得する例を説明したが、カメラ位置を推定するステップを省略し、3次元モデルを1度ずつ360度回転させ360枚の2次元作成画像群を生成し、後述する抽出部22の処理において、360枚の2次元作成画像群から類似度が高いものを抽出する構成としても構わない。
In the present embodiment, an example in which the camera position is estimated and then the three-dimensional model is rotated to acquire a plurality of two-dimensional created images has been described, but the step of estimating the camera position is omitted and the three-dimensional model is obtained. The model is rotated 360 degrees one by one to generate 360 two-dimensional created image groups, and in the processing of the
また、本実施形態においては、カメラ位置を推定してから、3次元モデルを回転させ、複数の2次元作成画像を取得する例を説明したが、推定したカメラ位置から1枚の2次元作成画像を取得し、後述する出力部30の処理において、この1枚の2次元作成画像の類似度を出力する構成としても構わない。
Further, in the present embodiment, an example in which the camera position is estimated and then the three-dimensional model is rotated to acquire a plurality of two-dimensional created images has been described. However, one two-dimensional created image is obtained from the estimated camera position. May be configured to output the similarity of this one two-dimensionally created image in the processing of the
(抽出部22)
画像生成部20において2次元作成画像群が複数取得されている場合、抽出部22は、2次元作成画像群と2次元入力画像との類似度を算出し、最も類似度が高い2次元作成画像を前記2次元作成画像群の中から抽出する。画像生成部20において2次元作成画像群が一枚取得されている場合、抽出部22は、2次元作成画像群と2次元入力画像との類似度の算出のみ行う。
(Extractor 22)
When a plurality of two-dimensional created image groups are acquired in the
画像生成部20において2次元作成画像群が複数取得されている場合の具体例を説明する。画像生成部20が生成した第1の2次元作成画像群の全ての2次元作成画像について、1枚目の写真である「正面方向から見たペットの顔写真」との類似度を算出する。ここで、類似度は、例えば、ペットの目の大きさ、耳の長さ、鼻の長さ、両目の間隔、両目の位置と鼻の位置とを結ぶ三角形における各頂点の角度等が双方でどの程度一致しているか、などを判断項目とし、算出する。この類似度の算出方法としては、例えば、強化学習や深層学習を含む、機械学習などのクラス分類アルゴリズムなどを利用して算出することも可能であり、その他、より簡易なアルゴリズムで類似度を算出してもよい。簡易なアルゴリズムでの類似度の算出方法としては、例えば、ペットの目の大きさの類似度を算出するのであれば、2次元作成画像におけるペットの目の面積と写真におけるペットの目の面積の内、大きいものから小さいものを割った値を類似度として算出してもよい。ペットの耳、又は鼻の長さの類似度を算出するのであれば、2次元作成画像におけるペットの耳、又は鼻の長さと写真におけるペットの耳、又は鼻の長さの内、大きいものから小さいものを割った値を類似度として算出してもよい。両目の間隔の類似度を算出するのであれば、例えば、2次元作成画像におけるペットの両目の間隔と写真におけるペットの両目の間隔の内、大きいものから小さいものを割った値を類似度として算出してもよい。両目の位置と鼻の位置とを結ぶ三角形の類似度を算出するのであれば、例えば、2次元作成画像における当該三角形と写真における当該三角形を重ね合わせ、2次元作成画像における当該三角形の面積を100%とした場合における、重ね合わせられた部分の面積の割合を類似度として算出してもよい。そして、この第1の2次元作成画像群の中から、最も類似度が高い第1の2次元作成画像が抽出部22により抽出される。
A specific example will be described when a plurality of two-dimensionally created image groups are acquired in the
画像生成部20が生成した第2の2次元作成画像群の全ての2次元作成画像について、2枚目の写真である「正面方向からみたペットの全体写真」との類似度を算出する。そして、この第2の2次元作成画像群の中から、最も類似度が高い第2の2次元作成画像が抽出部22により抽出される。
For all the two-dimensionally created images of the second two-dimensionally created image group generated by the
画像生成部20が生成した第3の2次元作成画像群の全ての2次元作成画像について、3枚目の写真である「側面方向からみたペットの全体写真」との類似度を算出する。そして、この第3の2次元作成画像群の中から、最も類似度が高い第3の2次元作成画像が抽出部22により抽出される。
For all the two-dimensionally created images of the third two-dimensionally created image group generated by the
画像生成部20が生成した第4の2次元作成画像群の全ての2次元作成画像について、4枚目の写真である「背面方向からみたペットの全体写真」との類似度を算出する。そして、この第4の2次元作成画像群の中から、最も類似度が高い第4の2次元作成画像が抽出部22により抽出される。
For all the two-dimensionally created images of the fourth two-dimensionally created image group generated by the
(演算部24)
演算部24は、抽出部22により抽出された複数の2次元作成画像と複数の2次元入力画像との各類似度の平均値を算出する。
(Calculation unit 24)
The
本実施形態においては、図3に示すように、1枚目の写真と第1の2次元作成画像との類似度が75点、2枚目の写真と第2の2次元作成画像との類似度が70点、3枚目の写真と第3の2次元作成画像と類似度が90点、4枚目の写真と第4の2次元作成画像との類似度が80点であったとすると、その平均値である78.75を算出する。 In the present embodiment, as shown in FIG. 3, the similarity between the first photograph and the first two-dimensional created image is 75 points, and the similarity between the second photograph and the second two-dimensional created image is 75 points. Assuming that the degree is 70 points, the similarity between the third photograph and the third two-dimensional image is 90 points, and the similarity between the fourth photograph and the fourth two-dimensional image is 80 points. The average value of 78.75 is calculated.
なお、平均値は、複数の2次元入力画像の内、特徴部を含む2次元入力画像に対して重み付けされた重み付け平均値であってもよい。即ち、演算部24が、複数の2次元作成画像と複数の2位次元入力画像との各類似度の平均値を算出する際に、複数の2次元入力画像の内、特徴部を含むものに重み付けをして、平均値を算出する構成としてもよい。例えば、正面方向から見たペットの顔や、ペットが特有のポーズをとる際の骨格形状等、ペットにおける特徴部の形状が、最終的に作成した3次元形状モデルがペット自体に似ているか否かを判断する上で重要であるような場合がある。そのような場合、ペットの顔の正面方向の写真、及びポーズをとっているペット全体の骨格形状が認識できるような写真については、当該写真の中に重み付け情報を付加しておく。こうすることで、特徴部を含む写真の類似度の算出値が、全体の類似度の算出値に与える影響度を、他の写真の類似度の算出値が、全体の類似度の算出値に与える影響度よりも大きくすることができる。
The average value may be a weighted average value weighted with respect to the two-dimensional input image including the feature portion among the plurality of two-dimensional input images. That is, when the
なお、この特徴部が含まれているか否かについての重み付け情報は、入力部10において2次元入力画像の入力を受け付ける際に、当該2次元入力画像に対して付加してもよい。
It should be noted that the weighting information regarding whether or not the feature portion is included may be added to the two-dimensional input image when the
(出力部30)
画像生成部20において2次元作成画像群が複数取得されている場合、出力部30は、抽出部22により最も類似度が高いと判断された2次元作成画像の類似度を出力する。また、2次元入力画像が複数の2次元入力画像である場合には、演算部24により算出された平均値を出力する。モデラーは、この出力部30の出力結果を、通信部70を経由して確認することができる。画像生成部20において2次元作成画像群が一枚取得されている場合、出力部30は、抽出部22により算出された2次元作成画像の類似度を出力する。
(Output unit 30)
When a plurality of two-dimensional created image groups are acquired by the
このような構成とすることにより、仮に出力結果が所定の値を超えていないような場合には、出力結果が所定の値を超えるまで、適宜3次元データを修正することをモデラーに促すことが可能となる。その結果、依頼者に送付する3次元データの品質を担保することができ、依頼者が修正依頼をする回数を減らすことができるため、依頼者に手間を減らすことができる。 With such a configuration, if the output result does not exceed the predetermined value, the modeler can be urged to appropriately modify the three-dimensional data until the output result exceeds the predetermined value. It will be possible. As a result, the quality of the three-dimensional data sent to the requester can be guaranteed, and the number of times the requester makes a correction request can be reduced, so that the time and effort can be reduced for the requester.
(分割部26)
また、制御部40が、図1に示すように分割部26を更に含む構成としてもよい。分割部26は、抽出部22により抽出された2次元作成画像を複数の領域に分割する。たとえば、分割部26は、2次元作成画像におけるペットの両目と鼻とを結ぶ三角形領域、それ以外の顔領域、前足領域、後足領域、胴体の側面領域、胴体の背面領域などに分割する。このような構成とすることにより、後述する出力部30において、類似度が所定の値よりも低い領域の表示を、他の領域の表示と異ならせることが可能となる。
(Division 26)
Further, the
また、制御部40が分割部26を含み、演算部24が、分割部26により分割された各領域の類似度を算出し、出力部30が、類似度が所定の値よりも低い領域の表示を他の領域の表示と異ならせて出力するのであれば、モデラーが修正すべき点を認識しやすく、モデラーの作業効率を向上させることができる。なお、演算部24が類似度を算出する際のアルゴリズムは、上記抽出部22による類似度算出のアルゴリズムと同様のものを用いればよい。
Further, the
出力部30が、類似度が所定の値よりも低い領域の表示を他の領域の表示と異ならせる具体例としては、例えば類似度が所定の値よりも低い領域に赤色等の着色を行う、あるいは当該領域の境界線を赤線、太線で表示する、等である。又は、出力部30が、類似度の点数に応じて、例えば、高得点の領域には青色、所定の値には達しているが高得点には達していない領域には黄色、所定の値に達していない領域には赤色、のように複数の着色を行ってもよい。
As a specific example in which the
(記憶部50)
記憶部50は、所定の記録媒体に対してデータの記録再生を行う。記憶部50は、例えばHDD(Hard Disc Drive)として実現される。記録媒体としては、フラッシュメモリ等の固体メモリ、固体メモリを内蔵したメモリカード、光ディスク、光磁気ディスク、ホログラムメモリなど各種考えられ、記憶部50としては採用する記録媒体に応じて記録再生を実行できる構成とされればよい。記憶部50には、制御部40が使用するプログラムが保存されている。
(Memory unit 50)
The
記憶部50は、制御部40の指示に応じて、入力部10に入力された2次元入力画像、及び3次元データを保存することができ、また、制御部40の指示に応じて、2次元入力画像、及び3次元データを、制御部40に入手させることが可能である。
The
(情報処理方法)
以下、図2を用いて、情報処理方法について説明する。
(Information processing method)
Hereinafter, the information processing method will be described with reference to FIG.
図2は、本実施形態に係る価格見積もり方法の一例を示すフローチャートである。 FIG. 2 is a flowchart showing an example of the price estimation method according to the present embodiment.
(入力ステップS310)
図2に示すように、入力ステップS310においては、入力部10が、2次元入力画像の入力を受け付ける2次元入力画像入力ステップS311と、3次元データの入力を受け付ける3次元データ入力ステップS312とを含む。
(Input step S310)
As shown in FIG. 2, in the input step S310, the
(2次元入力画像入力ステップS311)
2次元入力画像入力ステップにおいては、入力部10が、3次元形状モデルの製造を依頼する依頼者からの2次元入力画像を受け付ける。2次元入力画像の入力は、例えば依頼者が、自身のコンピュータからサーバー装置である情報処理装置100にアクセスし、上述した通信部70を経由して2次元入力画像を入力部10に入力することにより行われる。又は、情報処理装置100のユーザが、依頼者からメール、記録媒体などを介して入手した2次元入力画像を、入力部10に入力することにより行われる。入力部10に入力された2次元入力画像は、記憶部50に保存される。
(Two-dimensional input image input step S311)
In the two-dimensional input image input step, the
本実施形態においては、依頼者により入力された2次元入力画像が複数枚の写真であり、1枚目が「正面方向から見たペットの顔写真」、2枚目が「正面方向からみたペットの全体写真」、3枚目が「側面方向から見たペットの全体写真」、4枚目が「背面方向からみたペットの全体写真」であったとする。これらの「ペットの全体写真」は全てお座りの姿勢をしている。また、お座り姿勢における両前足の交差角度に特徴がある旨、依頼者より連絡を受けている。両前足の交差角度は2枚目の「正面方向からみたペットの全体写真」より明らかになっている。従って、依頼者から要望のあった2枚目の「正面方向からみたペットの全体写真」には、当該写真が特徴部を含む旨の重み付け情報が付加されている。また、一般的に3次元形状モデルの類似度に大きな影響を与える1枚目の「正面方向から見たペットの顔写真」にも、同様の重み付け情報が付加されている。 In the present embodiment, the two-dimensional input images input by the client are a plurality of photographs, the first is a "frontal view of the pet's face" and the second is the "frontward view of the pet". It is assumed that the third photo is the "whole photo of the pet seen from the side" and the fourth is the "whole photo of the pet seen from the back". All of these "whole pictures of pets" are in a sitting position. In addition, the client has informed that the crossing angle of both front legs in the sitting posture is characteristic. The crossing angle of both front legs is clarified from the second "overall photograph of the pet seen from the front". Therefore, weighting information to the effect that the photograph includes a feature portion is added to the second "overall photograph of the pet seen from the front direction" requested by the client. Further, the same weighting information is added to the first "face photograph of the pet seen from the front direction", which generally has a great influence on the similarity of the three-dimensional shape model.
(3次元データ入力ステップS312)
3次元データ入力ステップにおいては、モデラーが依頼者からの2次元入力画像に基づき3次元データを作成し、モデラー又は情報処理装置100のユーザが当該3次元データを入力部10に入力する。
(3D data input step S312)
In the three-dimensional data input step, the modeler creates three-dimensional data based on the two-dimensional input image from the client, and the modeler or the user of the
モデラーは、例えば自身のコンピュータから情報処理装置100にアクセスし、通信部70を介して記憶部50に保存された2次元入力画像を確認することができる。モデラーは、この2次元入力画像に基づき3次元データを作成する。モデラーは、再度、自身のコンピュータから情報処理装置100にアクセスし、通信部70を介して記憶部50に3次元データを保存する。又は、情報処理装置100のユーザが、モデラーからメール、記録媒体などを介して入手した3次元データを入力部10に入力し、記憶部50に保存する。
The modeler can access the
(画像生成ステップS320)
図3に示すように、入力ステップS310が終了すると、画像生成ステップS320を開始することができる。画像生成ステップS320の開始タイミングは、情報処理装置100のユーザが決めてもよく、モデラーが決めてもよい。
(Image generation step S320)
As shown in FIG. 3, when the input step S310 is completed, the image generation step S320 can be started. The start timing of the image generation step S320 may be determined by the user of the
画像生成ステップS320においては、入力ステップS310で情報処理装置100に入力された3次元データに基づき、仮想空間に配置された3次元モデルを所与の視点から見た外観を示す2次元作成画像を生成する。
In the image generation step S320, a two-dimensional created image showing the appearance of the three-dimensional model arranged in the virtual space as viewed from a given viewpoint is generated based on the three-dimensional data input to the
本実施形態においては、依頼者により入力された2次元入力画像が4枚のペットの写真であり、例えば1枚目が「正面方向から見たペットの顔写真」、2枚目が「正面方向からみたペットの全体写真」、3枚目が「側面方向から見たペットの全体写真」、4枚目が「背面方向からみたペットの全体写真」であるとする。 In the present embodiment, the two-dimensional input image input by the client is a photograph of four pets, for example, the first image is a "face photograph of the pet seen from the front direction" and the second image is a "front direction". It is assumed that the third piece is the "whole picture of the pet seen from the side" and the fourth piece is the "whole picture of the pet seen from the back side".
まず、画像生成部20は、入力された顔写真からカメラ位置を推定し、推定されたカメラ位置情報に基づき、仮想空間における3次元モデルと投影中心との位置を調整する。そして、本実施形態においては、画像生成部20は、仮想空間に配置された3次元モデルを1度ずつ回転させながら、3次元モデルの投影画像を投影面に表示させ、依頼者により入力されたペットの顔写真に近い外観を示す2次元作成画像群を生成する。
First, the
なお、この画像生成ステップS320において、カメラ位置を推定するステップを省略し、例えば、画像生成部20が、3次元モデルを1度ずつ360度回転させ360枚の2次元作成画像群を生成し、後述する抽出ステップS330において、360枚の2次元作成画像群から類似度が高いものを抽出する構成としても構わない。
In this image generation step S320, the step of estimating the camera position is omitted, and for example, the
なお、この画像生成ステップS320において、画像生成部20が、複数の2次元作成画像を取得するのではなく、推定したカメラ位置から1枚の2次元作成画像を取得し、後述する抽出ステップS330において、この1枚の2次元作成画像と2次元入力画像との類似度を算出し、後述する出力ステップS360において、算出された類似度を出力する構成としても構わない。
In the image generation step S320, the
本実施形態においては、画像生成部20は、1枚目の「正面方向から見たペットの顔写真」に対して、第1の2次元作成画像群を生成し、2枚目の「正面方向から見たペットの全体写真」に対して、第2の2次元作成画像群を生成し、3枚目の「側面方向から見たペットの全体写真」に対して、第3の2次元作成画像群を生成し、4枚目の「背面方向から見たペットの全体写真」に対して、第4の2次元作成画像群を生成する。各2次元作成画像群の生成方法については、上記(画像生成部20)にて上述したとおりである。
In the present embodiment, the
(抽出ステップS330)
抽出ステップS330においては、制御部40に含まれる抽出部22が、2次元作成画像群と2次元入力画像との類似度を算出し、最も類似度が高い2次元作成画像を前記2次元作成画像群の中から抽出する。
(Extraction step S330)
In the extraction step S330, the
本実施形態においては、第1の2次元作成画像群の中から、1枚目の写真と最も類似度が高い第1の2次元作成画像が抽出され、第2の2次元作成画像群の中から、2枚目の写真と最も類似度が高い第2の2次元作成画像が抽出され、第3の2次元作成画像群の中から、3枚目の写真と最も類似度が高い第3の2次元作成画像が抽出され、第4の2次元作成画像群の中から、4枚目の写真と最も類似度が高い第4の2次元作成画像が抽出される。 In the present embodiment, the first two-dimensional created image having the highest degree of similarity to the first photograph is extracted from the first two-dimensional created image group, and the second two-dimensional created image group is included. From, the second two-dimensionally created image having the highest degree of similarity with the second photograph is extracted, and from the third two-dimensionally created image group, the third image having the highest degree of similarity with the third photograph is taken. The two-dimensionally created image is extracted, and the fourth two-dimensionally created image having the highest degree of similarity to the fourth photograph is extracted from the fourth two-dimensionally created image group.
次に、S331において、領域分割をするか否かを判断する。本実施形態においては、領域分割することを選択し、フローは、分割ステップS340に進む。 Next, in S331, it is determined whether or not to divide the area. In the present embodiment, the area division is selected, and the flow proceeds to the division step S340.
(分割ステップS340)
本実施形態においては、フローが分割ステップS340に進むため、図1に示した分割部26が、抽出部22により抽出された2次元作成画像を複数の領域に分割する。例えば、分割部26は、1枚目の「正面方向から見たペットの顔写真」と最も類似度が高いと判断された第1の2次元作成画像を、ペットの両目と口とを結ぶ三角領域である「正面三角領域」と、当該三角領域以外の顔領域である「正面その他顔領域」とに分割する。また、分割部26は、2枚目の「正面方向から見たペットの全体写真」と最も類似度が高いと判断された第2の2次元作成画像を、「正面胴体領域」と、「正面前足領域」に分割する。また、分割部26は、3枚目の「側面方向から見たペットの全体写真」と最も類似度が高いと判断された第3の2次元作成画像を、「側面頭部領域」と、「側面胴体領域」と、「側面前足領域」と、「側面後足領域」とに分割する。更に、分割部26は、4枚目の「背面方向から見たペットの全体写真」と最も類似度が高いと判断された第4の2次元作成画像を、「背面頭部領域」と、「背面胴体領域」とに分割する。
(Division step S340)
In the present embodiment, since the flow proceeds to the division step S340, the
(演算ステップS350)
演算ステップS350において、演算部24は、抽出部22により抽出された複数の2次元作成画像と複数の2次元入力画像との各類似度の平均値を算出する。
(Calculation step S350)
In the calculation step S350, the
図4は、本実施形態に係る情報処理方法における演算ステップの概念を示す図である。 FIG. 4 is a diagram showing a concept of calculation steps in the information processing method according to the present embodiment.
演算部24は、1枚目の写真である「正面方向から見たペットの顔写真」から認識されるペットの両目と口とを結ぶ三角領域と、第1の2次元作成画像における三角領域である「正面三角領域」との比較を行い、その一致度合いを点数にて表示する。本実施形態においては、演算部24は、図4に示すように、各角度の一致度が80%であり、80点の類似度があると評価した。
The
演算部24は、1枚目の写真である「正面方向から見たペットの顔写真」と、第1の2次元作成画像おける「正面その他顔領域」とを比較する。ここで、既にペットの両目と口とを結ぶ三角領域においては、既にその類似度を判断しているため、ここでは当該三角領域以外の顔領域についての類似度判断が行われる。例えば、顔全体における口や耳の配置、口の形状、耳の形状、顔における特定部位の長さと他の特定部位の長さとの比率、顔全体の色、模様の有無・形状などについての類似度判断が行われる。顔全体における口や耳の配置の類似度を算出するのであれば、例えば、第1の2次元作成画像におけるペットの顔の口と両耳を結ぶ三角形と、1枚目の写真におけるペットの顔の口と両耳を結ぶ三角形とを重ね合わせ、第1の2次元作成画像における当該三角形の面積を100%とした場合における、重ね合わせられた部分の面積の割合を類似度として算出してもよい。口(又は耳)の形状の類似度を算出するのであれば、第1の2次元作成画像におけるペットの口(又は耳)と、1枚目の写真におけるペットの口(又は耳)とを重ね合わせ、第1の2次元作成画像における口(又は耳)の面積を100%とした場合における、重ね合わせられた部分の面積の割合を類似度として算出してもよい。顔における特定部位の長さと他の特定部位の長さとの比率の類似度を算出するのであれば、第1の2次元作成画像における当該比率と1枚目の写真における当該比率の内、大きいものから小さいものを割った値を類似度として算出してもよい。本実施形態においては、演算部24は、図4に示すように70点の類似度があると評価した。
The
なお、入力ステップS310にて説明したとおり、正面方向から見た顔領域は、一般的に3次元形状モデルの類似度を決定付ける上で重要な領域であるため、1枚目の写真である「正面方向から見たペットの顔写真」には重み付け情報が付加されている。従って、この「正面方向から見たペットの顔写真」との比較を行う「正面三角領域」と「正面その他顔領域」とについては、図4に示すように、重み付けが行われる。 As described in the input step S310, the face region viewed from the front direction is generally an important region for determining the similarity of the three-dimensional shape model, and thus is the first photograph. Weighting information is added to the "photograph of the pet's face viewed from the front". Therefore, as shown in FIG. 4, weighting is performed on the "front triangular region" and the "front other face region" to be compared with the "pet face photograph viewed from the front direction".
演算部24は、2枚目の写真である「正面方向からみたペットの全体写真」から認識される胴体と、第2の2次元作成画像における「正面胴体領域」とを比較する。ここでは例えば、胴体の形状や縦横比、胴体全体の色、模様の有無・形状などについて類似度判断が行われる。胴体の形状の類似度を算出するのであれば、例えば、第2の2次元作成画像におけるペットの胴体と、2枚目の写真におけるペットの胴体とを重ね合わせ、第2の2次元作成画像における胴体の面積を100%とした場合における、重ね合わせられた部分の面積の割合を類似度として算出してもよい。本実施形態においては、演算部24は、図4に示すように80点の類似度があると評価した。
The
演算部24は、2枚目の写真である「正面方向からみたペットの全体写真」から認識される前足と、第2の2次元作成画像における「正面前足領域」とを比較する。ここでは例えば、胴体領域に対する両前足の位置、両前足の交差角度、両前足全体の色、模様の有無・形状などについて類似度判断が行われる。両前足の位置、両前足の交差角度の類似度を算出するのであれば、例えば、第2の2次元作成画像におけるペットの両前足の付け根と両足との交差点とを結ぶ三角形と、2枚目の写真におけるペットの両前足の付け根と両足との交差点とを結ぶ三角形とを重ね合わせ、第2の2次元作成画像における当該三角形の面積を100%とした場合における、重ね合わせられた部分の面積の割合を類似度として算出してもよい。本実施形態においては、演算部24は、図4に示すように60点の類似度があると評価した。
The
なお、入力ステップS310にて説明したとおり、お座り姿勢における両前足の交差角度に特徴がある旨、依頼者より連絡を受けており、当該両前足の交差角度情報を含む「正面方向からみたペットの全体写真」には重み付け情報が付加されている。この2枚目の写真と比較される「正面胴体領域」、及び「正面前足領域」の双方について、重み付けを行ってもよいが、本実施形態においては、上記依頼者からの連絡内容から、「両前足の交差角度」のみを特徴部であると見做し、「正面胴体領域」おける重み付けは行わず、「正面前足領域」における重み付けのみを行う。 As explained in the input step S310, the client has been informed that the crossing angle of both forefoot in the sitting posture is characteristic, and the "pet seen from the front direction" including the crossing angle information of the forefoot. Weighting information is added to the "whole picture of". Both the "front torso area" and the "front forefoot area" to be compared with this second photograph may be weighted, but in the present embodiment, from the content of the communication from the above client, " Only the "intersection angle of both forefoot" is regarded as a feature part, and weighting is performed only in the "front forefoot region" without weighting in the "front torso region".
演算部24は、3枚目の写真である「側面方向から見たペットの全体写真」から認識される頭部と、第3の2次元作成画像における「側面頭部領域」とを比較する。ここでは例えば、頭部の形状、頭部領域における目、耳、鼻、口の位置、胴体領域に対する頭部領域の位置、頭部全体の色、模様の有無・形状などについて類似度判断が行われる。頭部領域における目、耳、鼻、口の位置の類似度を算出するのであれば、例えば、第3の2次元作成画像におけるペットの目、耳、鼻、口を結ぶ四角形と、3枚目の写真におけるペットの目、耳、鼻、口を結ぶ四角形とを重ね合わせ、第3の2次元作成画像における当該四角形の面積を100%とした場合における、重ね合わせられた部分の面積の割合を類似度として算出してもよい。本実施形態においては、演算部24は、図4に示すように、90点の類似度があると評価した。
The
演算部24は、3枚目の写真である「側面方向から見たペットの全体写真」から認識される胴体と、第3の2次元作成画像における「側面胴体領域」とを比較する。ここでは例えば、胴体の形状、胴体全体の色、模様の有無・形状などについて類似度判断が行われる。胴体の形状の類似度を算出するのであれば、例えば、第3の2次元作成画像におけるペットの胴体と、3枚目の写真におけるペットの胴体とを重ね合わせ、第3の2次元作成画像における胴体の面積を100%とした場合における、重ね合わせられた部分の面積の割合を類似度として算出してもよい。本実施形態においては、演算部24は、図4に示すように、90点の類似度があると評価した。
The
演算部24は、3枚目の写真である「側面方向から見たペットの全体写真」から認識される前足と、第3の2次元作成画像における「側面前足領域」とを比較する。ここでは例えば、前足の形状、胴体領域に対する前足の位置、前足全体の色、模様の有無・形状などについて類似度判断が行われる。前足の形状の類似度を算出するのであれば、例えば、第3の2次元作成画像におけるペットの前足と、3枚目の写真におけるペットの前足とを重ね合わせ、第3の2次元作成画像における前足の面積を100%とした場合における、重ね合わせられた部分の面積の割合を類似度として算出してもよい。胴体領域に対する前足の位置の類似度を算出するのであれば、例えば、第3の2次元作成画像におけるペットの前足の付け根の位置と、3枚目の写真におけるペットの前足付け根の位置とが一致するよう、双方の胴体領域を重ね合わせ、第3の2次元作成画像における胴体の面積を100%とした場合における、重ね合わせられた部分の面積の割合を類似度として算出してもよい。本実施形態においては、演算部24は、図4に示すように、90点の類似度があると評価した。
The
演算部24は、3枚目の写真である「側面方向から見たペットの全体写真」から認識される後足と、第3の2次元作成画像における「側面後足領域」とを比較する。ここでは例えば、後足の形状、胴体領域に対する後足の位置、後足全体の色、模様の有無・形状などについて類似度判断が行われる。後足の形状の類似度を算出するのであれば、例えば、第3の2次元作成画像におけるペットの後足と、3枚目の写真におけるペットの後足とを重ね合わせ、第3の2次元作成画像における後足の面積を100%とした場合における、重ね合わせられた部分の面積の割合を類似度として算出してもよい。胴体領域に対する後足の位置の類似度を算出するのであれば、例えば、第3の2次元作成画像におけるペットの後足の付け根の位置と、3枚目の写真におけるペットの後足の付け根の位置とが一致するよう、第3の2次元作成画像と3枚目の写真の胴体領域を重ね合わせ、第3の2次元作成画像における胴体の面積を100%とした場合における、重ね合わせられた部分の面積の割合を類似度として算出してもよい。本実施形態においては、演算部24は、図4に示すように、90点の類似度があると評価した。
The
演算部24は、4枚目の写真である「背面方向からみたペットの全体写真」から認識される頭部と、第4の2次元作成画像における「背面頭部領域」とを比較する。ここでは例えば、頭部の形状、胴体領域に対する頭部領域の位置、頭部全体の色、模様の有無・形状などについて類似度判断が行われる。頭部の形状の類似度を算出するのであれば、例えば、第4の2次元作成画像におけるペットの頭部と、4枚目の写真におけるペットの頭部とを重ね合わせ、第4の2次元作成画像における頭部の面積を100%とした場合における、重ね合わせられた部分の面積の割合を類似度として算出してもよい。胴体領域に対する頭部の位置の類似度を算出するのであれば、例えば、第4の2次元作成画像におけるペットの首の付け根の位置と、4枚目の写真におけるペットの首の付け根の位置とが一致するよう、第4の2次元作成画像と4枚目の写真の胴体領域を重ね合わせ、第4の2次元作成画像における胴体の面積を100%とした場合における、重ね合わせられた部分の面積の割合を類似度として算出してもよい。本実施形態においては、演算部24は、図4に示すように、80点の類似度があると評価した。
The
演算部24は、4枚目の写真である「背面方向からみたペットの全体写真」から認識される胴体と、第4の2次元作成画像における「背面胴体領域」とを比較する。ここでは例えば、胴体の形状、胴体全体の色、模様の有無・形状などについて類似度判断が行われる。胴体の形状の類似度を算出するのであれば、例えば、第4の2次元作成画像におけるペットの胴体と、4枚目の写真におけるペットの胴体とを重ね合わせ、第4の2次元作成画像における胴体の面積を100%とした場合における、重ね合わせられた部分の面積の割合を類似度として算出してもよい。本実施形態においては、演算部24は、図4に示すように、80点の類似度があると評価した。
The
この演算ステップS350においては、更に各領域において算出された類似度に関する点数の平均値を算出する。ここで、重み付け情報がない場合の平均値は、単純に10か所の領域の合計を10で割った値である81点が算出結果となる。しかし、本実施形態においては、「正面三角領域」、「正面その他顔領域」、「正面前足領域」に重み付けを行っており、これらの点数に2を乗じて他の領域との合計を算出し、その合計を13で割った値である78.46154が重み付けを考慮した算出結果となる。この重み付けを考慮した算出結果が重み付け平均値である。 In this calculation step S350, the average value of the points related to the similarity calculated in each area is further calculated. Here, as the average value when there is no weighting information, 81 points, which is a value obtained by simply dividing the total of 10 regions by 10, is the calculation result. However, in the present embodiment, the "front triangular region", "front other face region", and "front forefoot region" are weighted, and these points are multiplied by 2 to calculate the total with other regions. , 78.46154, which is the value obtained by dividing the total by 13, is the calculation result in consideration of weighting. The calculation result considering this weighting is the weighted average value.
本実施形態においては、単純平均値よりも、重み付け平均値が下回っている。これは、3次元形状モデルの類似度を判断する上で重要である「正面その他顔領域」、及び依頼者より特徴部である旨の連絡があったお座り姿勢における両前足の交差角度情報を含む「正面前足領域」の点数が低かったため、この2領域について重み付けした重み付け平均値が、重み付けを考慮しなかった単純平均値よりも低くなってしまったことを意味する。 In the present embodiment, the weighted average value is lower than the simple average value. This is the "front and other face areas" that are important in determining the similarity of the 3D shape model, and the crossing angle information of both forefoot in the sitting posture that the client has informed that it is a feature part. Since the score of the included "front forefoot region" was low, it means that the weighted average value for these two regions was lower than the simple average value without considering the weighting.
(出力ステップS360)
出力ステップS360においては、出力部30が、演算ステップS350において判断された判断結果を出力する。モデラーは、自身のコンピュータから、情報処理装置100にアクセスし、この出力部30の出力結果を、通信部70を経由して確認することができる。
(Output step S360)
In the output step S360, the
本実施形態においては、上記演算ステップS350において算出されたとおり、重み付け平均値である78.46154点が出力される。 In the present embodiment, 78.46154 points, which are weighted average values, are output as calculated in the above calculation step S350.
さらに、本実施形態においては、出力部30が、類似度が所定の値よりも低い領域の表示を他の領域の表示と異ならせて出力する。ここで、3次元データを依頼者に提出することができる合格ラインが80点であるとする。本実施形態においては、図4に示すように、「正面その他顔領域」、「正面前足領域」の点数が、この合格ラインである80点を下回っているため、出力部30が、3次元データ上において、上記2つの領域に赤色の着色を行う、又は当該領域の境界線を赤線、太線で表示する。なお、出力部30が、類似度の点数に応じて、例えば、90点以上の領域には青色、80点以上で90点未満の領域には黄色、のように複数の着色を行ってもよい。
Further, in the present embodiment, the
なお、S331において領域分割を選択しなかった場合、フローはS332に進む。 If the area division is not selected in S331, the flow proceeds to S332.
S332においては、2次元入力画像入力ステップS311において入力された2次元入力画像が一枚であるか否かを判断する。本実施形態においては、上述した2次元入力画像が4枚の写真を含むため、フローは演算ステップS350に進む。 In S332, it is determined whether or not the two-dimensional input image input in the two-dimensional input image input step S311 is one. In the present embodiment, since the above-mentioned two-dimensional input image includes four photographs, the flow proceeds to the calculation step S350.
S331において領域分割を選択しなかった場合、演算ステップS350においては、各写真と、この各写真と最も類似度が高いと判断された各2次元作成画像との類似度の平均値を算出する。例えば、図3に示すように、1枚目の写真と第1の2次元作成画像との類似度が75点、2枚目の写真と第2の2次元作成画像との類似度が70点、3枚目の写真と第3の2次元作成画像と類似度が90点、4枚目の写真と第4の2次元作成画像との類似度が80点であったとすると、演算部24はその平均値である78.75を算出する。出力ステップS360においては、この78.75点が出力される。
When the area division is not selected in S331, in the calculation step S350, the average value of the similarity between each photograph and each two-dimensionally created image determined to have the highest similarity to each photograph is calculated. For example, as shown in FIG. 3, the similarity between the first photograph and the first two-dimensional created image is 75 points, and the similarity between the second photograph and the second two-dimensional created image is 70 points. Assuming that the similarity between the third photograph and the third two-dimensional created image is 90 points, and the similarity between the fourth photograph and the fourth two-dimensional created image is 80 points, the
なお、S331において領域分割を選択せず、且つ2次元入力画像入力ステップS311において入力された2次元入力画像が一枚だった場合、フローはS332からS360の出力ステップに進む。そして、S330において抽出された2次元作成画像と2次元入力画像との類似度が、そのままS360において出力される。 If the area division is not selected in S331 and the number of two-dimensional input images input in the two-dimensional input image input step S311 is one, the flow proceeds from S332 to the output step of S360. Then, the similarity between the two-dimensional created image extracted in S330 and the two-dimensional input image is output as it is in S360.
(確認ステップS370)
確認ステップS370においては、モデラーが、自身が作成した3次元データが所定の値、例えば3次元データを依頼者に提出することができる合格ラインに達しているか否かを確認する。分割ステップS340を経た本実施形態においては、3次元データを依頼者に提出することができる合格ラインが80点であるのに対し、モデラーが作成した3次元データの類似度を示す重み付け平均値が78.46154であるため、モデラーは、自身が作成した3次元データが上記要件を満たしていないことを認識する。
(Confirmation step S370)
In the confirmation step S370, the modeler confirms whether or not the three-dimensional data created by the modeler has reached a predetermined value, for example, a pass line capable of submitting the three-dimensional data to the requester. In the present embodiment that has undergone the division step S340, the pass line at which the 3D data can be submitted to the requester is 80 points, whereas the weighted average value indicating the similarity of the 3D data created by the modeler is. Since it is 78.46154, the modeler recognizes that the three-dimensional data created by the modeler does not meet the above requirements.
このような情報処理方法とすることにより、モデラーが、出力結果が所定の値を超えるまで、適宜3次元データを修正する必要があることを認識することが可能となる。 By using such an information processing method, the modeler can recognize that it is necessary to appropriately modify the three-dimensional data until the output result exceeds a predetermined value.
さらに、本実施形態においては、出力ステップS360において、出力部30が、合格ラインである80点に達していない「正面その他顔領域」、「正面前足領域」に赤色の着色を行う、又は当該領域の境界線を赤線、太線で表示するため、モデラーは、当該2つの領域が修正すべき領域であることを即座に認識することができ、モデラーの作業効率を向上させることができる。
Further, in the present embodiment, in the output step S360, the
モデラーが作成した3次元データの点数が合格ラインに達していなかった本実施形態においては、3次元データ入力ステップS312に戻り、モデラーが3次元データの修正を行い、再度3次元データを入力する。本実施形態においては、モデラーは、特に類似度の評価が低かった「正面その他顔領域」、及び「正面前足領域」を重点的に修正し、3次元データ入力ステップS312にて、修正済の3次元データを入力部10に入力する。
In the present embodiment in which the score of the three-dimensional data created by the modeler has not reached the pass line, the process returns to the three-dimensional data input step S312, the modeler corrects the three-dimensional data, and inputs the three-dimensional data again. In the present embodiment, the modeler mainly modifies the "front and other face regions" and the "front forefoot region", which have a particularly low evaluation of similarity, and has corrected 3 in the three-dimensional data input step S312. The dimensional data is input to the
その後、上述した画像生成ステップS320、抽出ステップS330、演算ステップS350等を経て、出力ステップS360において出力部30が合格ラインを超える算出値を出力すると、このフローは終了し、依頼者に3次元データが送付される。このような情報処理方法により、依頼者に送付する3次元データの品質を担保することができ、その結果、依頼者が修正依頼をする回数を減らすことができる。即ち、依頼者に手間をかけさせることなく、依頼者により指定された画像情報に対して類似度の高い3次元データを得ることができる。
After that, when the
10 入力部、20 画像生成部、22 抽出部、24 演算部、26 分割部、30 出力部、40 制御部、50 記憶部、70 通信部、100 情報処理装置、S310 入力ステップ、S311 2次元入力画像入力ステップ、S312 3次元データ入力ステップ、S320 画像生成ステップ、S330 抽出ステップ、S340 分割ステップ、S350 演算ステップ、S360 出力ステップ、S370 確認ステップ。
10 input unit, 20 image generation unit, 22 extraction unit, 24 calculation unit, 26 division unit, 30 output unit, 40 control unit, 50 storage unit, 70 communication unit, 100 information processing device, S310 input step, S311 2D input Image input step, S312 3D data input step, S320 image generation step, S330 extraction step, S340 division step, S350 calculation step, S360 output step, S370 confirmation step.
Claims (9)
前記3次元データに基づき、仮想空間に配置された前記3次元モデルを所与の視点から見た外観を示す複数の2次元作成画像を生成する画像生成部と、
前記複数の2次元入力画像のそれぞれについて、前記複数の2次元作成画像の中から最も類似度が高い2次元作成画像を前記複数の2次元入力画像の数に応じて抽出する抽出部と、
前記抽出部により抽出された前記複数の2次元作成画像と前記複数の2次元入力画像とのそれぞれの類似度から、前記3次元データの評価のための1の値を算出する演算部と
前記演算部が算出した前記1の値を出力する出力部と、を含む、
情報処理装置。 An input unit that accepts input of 3D data related to a 3D model and a plurality of 2D input images,
An image generation unit that generates a plurality of two-dimensional created images showing the appearance of the three-dimensional model arranged in the virtual space as viewed from a given viewpoint based on the three-dimensional data.
For each of the plurality of two-dimensional input images, an extraction unit that extracts the two-dimensional created image having the highest degree of similarity from the plurality of two-dimensional created images according to the number of the plurality of two-dimensional input images.
A calculation unit that calculates a value of 1 for evaluation of the three-dimensional data from the similarity between the plurality of two-dimensional created images extracted by the extraction unit and the plurality of two-dimensional input images.
Includes an output unit that outputs the value of 1 calculated by the calculation unit.
Information processing device.
前記出力部は、前記演算部が算出した前記平均値を出力する、
請求項1に記載の情報処理装置。 The calculation unit calculates the average value of the respective similarity as a value of 1 for the evaluation of the three-dimensional data.
The output unit outputs the average value calculated by the calculation unit.
The information processing device according to claim 1.
請求項2に記載の情報処理装置。 The average value includes a weighted average value weighted with respect to the two-dimensional input image including the feature portion among the plurality of two-dimensional input images.
The information processing device according to claim 2.
請求項3に記載の情報処理装置。 Weighting information as to whether or not a feature portion is included is added to the two-dimensional input image in which the input unit receives an input.
The information processing device according to claim 3.
前記複数の領域に対する前記2次元入力画像との類似度を算出する演算部とをさらに含み、
前記出力部は、前記複数の領域の内、類似度が所定の値よりも低い領域の表示を、他の領域の表示と異ならせる、
請求項1に記載の情報処理装置。 A division unit that divides the two-dimensionally created image extracted by the extraction unit into a plurality of regions, and a division unit.
Further including a calculation unit for calculating the similarity with the two-dimensional input image for the plurality of regions.
The output unit makes the display of a region having a similarity lower than a predetermined value among the plurality of regions different from the display of other regions.
The information processing device according to claim 1.
請求項5に記載の情報処理装置。 The output unit displays by coloring a region where the similarity is lower than a predetermined value.
The information processing device according to claim 5.
請求項1乃至6のいずれかに記載の情報処理装置。 The two-dimensional input image is a photograph.
The information processing device according to any one of claims 1 to 6.
前記3次元データに基づき、仮想空間に配置された前記3次元モデルを所与の視点から見た外観を示す複数の2次元作成画像を生成する画像生成ステップと、
前記複数の2次元入力画像のそれぞれについて、前記複数の2次元作成画像の中から最も類似度が高い2次元作成画像を前記複数の2次元入力画像の数に応じて抽出する抽出ステップと、
前記抽出部により抽出された前記複数の2次元作成画像と前記複数の2次元入力画像とのそれぞれの類似度から、前記3次元データの評価のための1の値を算出する演算ステップと、
前記演算部が算出した前記1の値を出力する出力ステップと、を含む、
情報処理方法。 An input step that accepts input of 3D data related to a 3D model and a plurality of 2D input images,
Based on the 3D data, an image generation step of generating a plurality of 2D created images showing the appearance of the 3D model arranged in the virtual space as viewed from a given viewpoint, and an image generation step.
For each of the plurality of two-dimensional input images, an extraction step of extracting the two-dimensional created image having the highest degree of similarity from the plurality of two-dimensional created images according to the number of the plurality of two-dimensional input images.
A calculation step for calculating a value of 1 for evaluation of the three-dimensional data from the similarity between the plurality of two-dimensional created images extracted by the extraction unit and the plurality of two-dimensional input images.
Includes an output step that outputs the value of 1 calculated by the calculation unit.
Information processing method.
3次元モデルに関する3次元データと複数の2次元入力画像との入力を受け付ける入力ステップと、
前記3次元データに基づき、仮想空間に配置された前記3次元モデルを所与の視点から見た外観を示す複数の2次元作成画像を生成する画像生成ステップと、
前記複数の2次元入力画像のそれぞれについて、前記複数の2次元作成画像の中から最も類似度が高い2次元作成画像を前記複数の2次元入力画像の数に応じて抽出する抽出ステップと、
前記抽出部により抽出された前記複数の2次元作成画像と前記複数の2次元入力画像とのそれぞれの類似度から、前記3次元データの評価のための1の値を算出する演算ステップと、
前記演算部が算出した前記1の値を出力する出力ステップと、
を実行させるためのプログラム。
On the computer
An input step that accepts input of 3D data related to a 3D model and a plurality of 2D input images,
Based on the 3D data, an image generation step of generating a plurality of 2D created images showing the appearance of the 3D model arranged in the virtual space as viewed from a given viewpoint, and an image generation step.
For each of the plurality of two-dimensional input images, an extraction step of extracting the two-dimensional created image having the highest degree of similarity from the plurality of two-dimensional created images according to the number of the plurality of two-dimensional input images.
A calculation step for calculating a value of 1 for evaluation of the three-dimensional data from the similarity between the plurality of two-dimensional created images extracted by the extraction unit and the plurality of two-dimensional input images.
An output step that outputs the value of 1 calculated by the calculation unit, and
A program to execute.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016192279A JP6894685B2 (en) | 2016-09-29 | 2016-09-29 | Information processing equipment, information processing methods and programs |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016192279A JP6894685B2 (en) | 2016-09-29 | 2016-09-29 | Information processing equipment, information processing methods and programs |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018055506A JP2018055506A (en) | 2018-04-05 |
JP6894685B2 true JP6894685B2 (en) | 2021-06-30 |
Family
ID=61835736
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016192279A Active JP6894685B2 (en) | 2016-09-29 | 2016-09-29 | Information processing equipment, information processing methods and programs |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6894685B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112509129B (en) * | 2020-12-21 | 2022-12-30 | 神思电子技术股份有限公司 | Spatial view field image generation method based on improved GAN network |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4553526B2 (en) * | 2001-08-15 | 2010-09-29 | セコム株式会社 | Personal verification device |
JP2004272357A (en) * | 2003-03-05 | 2004-09-30 | Seiko Epson Corp | Presentation device of image recognition result, display method of the result, presentation program of the result, and recording medium |
CN1950844A (en) * | 2004-03-03 | 2007-04-18 | 日本电气株式会社 | Object posture estimation/correlation system, object posture estimation/correlation method, and program for the same |
JP6044293B2 (en) * | 2012-11-19 | 2016-12-14 | 株式会社Ihi | 3D object recognition apparatus and 3D object recognition method |
JP6642968B2 (en) * | 2014-03-20 | 2020-02-12 | キヤノン株式会社 | Information processing apparatus, information processing method, and program |
-
2016
- 2016-09-29 JP JP2016192279A patent/JP6894685B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018055506A (en) | 2018-04-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11423556B2 (en) | Methods and systems to modify two dimensional facial images in a video to generate, in real-time, facial images that appear three dimensional | |
US9348950B2 (en) | Perceptually guided capture and stylization of 3D human figures | |
CN110807836B (en) | Three-dimensional face model generation method, device, equipment and medium | |
US9734628B2 (en) | Techniques for processing reconstructed three-dimensional image data | |
JP6742405B2 (en) | Head-mounted display with facial expression detection function | |
JP4950787B2 (en) | Image processing apparatus and method | |
JP3288353B2 (en) | How to create a 3D face model starting from a face image | |
US8537155B2 (en) | Image processing apparatus and method | |
CN104809638B (en) | A kind of virtual try-in method of glasses based on mobile terminal and system | |
US10467793B2 (en) | Computer implemented method and device | |
US20130127827A1 (en) | Multiview Face Content Creation | |
JP5842541B2 (en) | 3D portrait creation device | |
KR101759188B1 (en) | the automatic 3D modeliing method using 2D facial image | |
US20170118357A1 (en) | Methods and systems for automatic customization of printed surfaces with digital images | |
CN106570747A (en) | Glasses online adaption method and system combining hand gesture recognition | |
Widanagamaachchi et al. | 3D face reconstruction from 2D images | |
JP6894685B2 (en) | Information processing equipment, information processing methods and programs | |
US20140192045A1 (en) | Method and apparatus for generating three-dimensional caricature using shape and texture of face | |
JP5419777B2 (en) | Face image synthesizer | |
KR20230134832A (en) | A Method For Creating realistic shape Model | |
CN112561784A (en) | Image synthesis method, image synthesis device, electronic equipment and storage medium | |
TWI728037B (en) | Method and device for positioning key points of image | |
JP2021022185A (en) | Image processing device, image processing program, and image processing method | |
CN110998595A (en) | Method and system for head pose estimation | |
Noh et al. | Retouch transfer for 3D printed face replica with automatic alignment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190809 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200918 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201006 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201201 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210323 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210518 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210601 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210604 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6894685 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |