JP6751540B1 - Shape prediction system, shape prediction method and shape prediction program - Google Patents
Shape prediction system, shape prediction method and shape prediction program Download PDFInfo
- Publication number
- JP6751540B1 JP6751540B1 JP2019102844A JP2019102844A JP6751540B1 JP 6751540 B1 JP6751540 B1 JP 6751540B1 JP 2019102844 A JP2019102844 A JP 2019102844A JP 2019102844 A JP2019102844 A JP 2019102844A JP 6751540 B1 JP6751540 B1 JP 6751540B1
- Authority
- JP
- Japan
- Prior art keywords
- shape
- dimensional shape
- prediction
- control unit
- mesh
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 156
- 230000008569 process Effects 0.000 claims abstract description 136
- 210000003625 skull Anatomy 0.000 claims abstract description 61
- 210000000988 bone and bone Anatomy 0.000 claims abstract description 32
- 238000012549 training Methods 0.000 claims description 7
- 238000013500 data storage Methods 0.000 abstract description 18
- 238000010586 diagram Methods 0.000 abstract description 8
- 238000012545 processing Methods 0.000 description 43
- 239000013598 vector Substances 0.000 description 22
- 238000007726 management method Methods 0.000 description 18
- 238000010801 machine learning Methods 0.000 description 17
- 239000011159 matrix material Substances 0.000 description 16
- 210000003128 head Anatomy 0.000 description 15
- 230000008878 coupling Effects 0.000 description 13
- 238000010168 coupling process Methods 0.000 description 13
- 238000005859 coupling reaction Methods 0.000 description 13
- 230000001815 facial effect Effects 0.000 description 10
- 238000002945 steepest descent method Methods 0.000 description 8
- 230000032683 aging Effects 0.000 description 7
- 230000015572 biosynthetic process Effects 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 230000015654 memory Effects 0.000 description 5
- 238000010606 normalization Methods 0.000 description 5
- 230000009467 reduction Effects 0.000 description 4
- 230000037237 body shape Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000000513 principal component analysis Methods 0.000 description 3
- 230000010365 information processing Effects 0.000 description 2
- 238000000329 molecular dynamics simulation Methods 0.000 description 2
- 238000000611 regression analysis Methods 0.000 description 2
- 241000228740 Procrustes Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000011840 criminal investigation Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003928 nasal cavity Anatomy 0.000 description 1
- 210000003455 parietal bone Anatomy 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0007—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/08—Volume rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
- G06T17/205—Re-meshing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Business, Economics & Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Strategic Management (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- Development Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Game Theory and Decision Science (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Surgical Instruments (AREA)
Abstract
【課題】第１立体形状に対して相対的に配置された第２立体形状を的確に推定するための形状予測システム、形状予測方法及び形状予測プログラムを提供する。【解決手段】形状予測システム２０は、制御部２１と、頭部の頭蓋骨及び外表面のＣＴ画像を記憶したＣＴ画像データ記憶部２２とを備える。制御部２１は、頭蓋骨において特徴点を特定し、この特徴点において、頭蓋骨に対して相対的に配置される外表面の形状を、ＣＴ画像データ記憶部２２から取得し、頭蓋骨の骨形状の特徴点において、外表面形状の配置を予測するための予測モデルを生成する学習処理を実行する。制御部２１は、予測対象の頭部の頭蓋骨の特徴点を特定し、特徴点の配置に予測モデルを適用して、頭部の外表面を予測する予測処理を実行する。【選択図】図１PROBLEM TO BE SOLVED: To provide a shape prediction system, a shape prediction method and a shape prediction program for accurately estimating a second three-dimensional shape arranged relative to a first three-dimensional shape. A shape prediction system (20) includes a control unit (21) and a CT image data storage unit (22) that stores CT images of a skull of a head and an outer surface. The control unit 21 identifies a feature point in the skull, acquires the shape of the outer surface relative to the skull at this feature point from the CT image data storage unit 22, and features the bone shape of the skull. At the point, a learning process is performed to generate a prediction model for predicting the arrangement of the outer surface shape. The control unit 21 identifies the feature points of the skull of the head to be predicted, applies the prediction model to the arrangement of the feature points, and executes the prediction process of predicting the outer surface of the head. [Selection diagram] Fig. 1
Description
本発明は、第１立体形状に対して相対的に配置された第２立体形状を予測する形状予測システム、形状予測方法及び形状予測プログラムに関する。 The present invention relates to a shape prediction system, a shape prediction method, and a shape prediction program for predicting a second three-dimensional shape arranged relative to the first three-dimensional shape.
従来、解剖学的に同じ位置にある顔の特徴点を用いて形状を予測することがある。例えば、犯罪捜査や考古学の分野等では、頭蓋骨を基に生前の顔面に復元する復顔作業が行われる。この復顔を効率的に行なうための技術が検討されている（例えば、特許文献１参照。）。この文献に記載された自動復顔シミュレータは、頭蓋骨表面の立体形状を計測する計測部で得られた形状データを基に、第１のデータ記憶部に記憶された人体の身体的特徴に関するデータと、第２のデータ記憶部に記憶された人体の顔面の肉厚データとから顔面の立体形状データを算出する。 Conventionally, the shape may be predicted using facial feature points that are anatomically in the same position. For example, in the fields of criminal investigation and archeology, facial reconstruction work is performed to restore the face to its original state based on the skull. Techniques for efficiently performing this facial reconstruction have been studied (see, for example, Patent Document 1). The automatic facial recovery simulator described in this document is based on the shape data obtained by the measuring unit that measures the three-dimensional shape of the skull surface, and the data on the physical characteristics of the human body stored in the first data storage unit. , The three-dimensional shape data of the face is calculated from the wall thickness data of the face of the human body stored in the second data storage unit.
また、特徴点を用いて、加齢した顔を予測する技術がある（例えば、特許文献２参照。）。この文献に記載された加齢化予測システムは、角度予測モデル及び３次元化変換予測モデルを用いて処理対象の２次元顔画像から３次元顔データを生成する。そして、この加齢化予測システムは、形状加齢モデル、テクスチャ加齢モデルを用いて、顔画像のテクスチャについて加齢による変化と、顔形状について加齢による変化とを予測して、加齢後の顔画像を出力する。 In addition, there is a technique for predicting an aged face using feature points (see, for example, Patent Document 2). The aging prediction system described in this document uses an angle prediction model and a three-dimensional conversion prediction model to generate three-dimensional face data from a two-dimensional face image to be processed. Then, this aging prediction system uses a shape aging model and a texture aging model to predict changes in the texture of the face image due to aging and changes in the face shape due to aging, and after aging. Output the face image of.
しかしながら、第１立体形状に対する第２立体形状の相対的な配置は、形状自身の影響を受けるため、単純な関数で決まらない場合がある。例えば、顔の肉厚は、体型だけで決まるものではなく、頭蓋骨の形状の影響を受ける。更に、頭蓋骨には、眼窩等の穴があるため、復顔において、肉厚を的確に推定できない場合もある。 However, the relative arrangement of the second three-dimensional shape with respect to the first three-dimensional shape is influenced by the shape itself, and may not be determined by a simple function. For example, the wall thickness of the face is not determined only by the body shape, but is influenced by the shape of the skull. Furthermore, since the skull has holes such as orbits, it may not be possible to accurately estimate the wall thickness during facial reconstruction.
上記課題を解決する形状予測システムは、物体の第１立体形状と、前記第１立体形状に対して相対的に配置される第２立体形状とを関連付けて記憶した形状情報記憶部と、入力部、出力部に接続され、前記第２立体形状を予測する制御部とを備えた形状予測システムであって、前記制御部が、前記形状情報記憶部に記録された第１立体形状において特徴点を特定し、前記形状情報記憶部に記録された前記第１立体形状に対して相対的に配置された第２立体形状を用いて、前記第１立体形状の前記特徴点において、前記第２立体形状を予測するための予測モデルを生成する学習処理を実行し、予測対象の第１立体形状の特徴点を特定し、前記特徴点の配置に前記予測モデルを適用して、前記予測対象の第２立体形状を予測する予測処理を実行する。 The shape prediction system that solves the above problems includes a shape information storage unit and an input unit that store the first three-dimensional shape of an object and the second three-dimensional shape that is arranged relative to the first three-dimensional shape in association with each other. , A shape prediction system including a control unit connected to an output unit and predicting the second three-dimensional shape, in which the control unit stores feature points in the first three-dimensional shape recorded in the shape information storage unit. The second three-dimensional shape is specified at the feature point of the first three-dimensional shape and is arranged relative to the first three-dimensional shape recorded in the shape information storage unit. The learning process for generating a prediction model for predicting is executed, the feature points of the first three-dimensional shape of the prediction target are specified, the prediction model is applied to the arrangement of the feature points, and the second prediction target is second. Execute prediction processing to predict the three-dimensional shape.
本発明によれば、第１立体形状に対して相対的に配置された第２立体形状を的確に推定することができる。 According to the present invention, the second three-dimensional shape arranged relative to the first three-dimensional shape can be accurately estimated.
以下、図１〜図１２を用いて、形状予測システム、形状予測方法及び形状予測プログラムを具体化した一実施形態を説明する。本実施形態では、第１立体形状である頭蓋骨から、頭部の外表面（第２立体形状）までの相対位置（肉厚）をカップリング学習により学習し、学習結果を用いて頭蓋骨から顔を推定する復顔を行なう。このために、本実施形態では、図１に示す形状予測システム２０を用いる。 Hereinafter, an embodiment in which the shape prediction system, the shape prediction method, and the shape prediction program are embodied will be described with reference to FIGS. 1 to 12. In the present embodiment, the relative position (thickness) from the skull, which is the first three-dimensional shape, to the outer surface (second three-dimensional shape) of the head is learned by coupling learning, and the learning result is used to learn the face from the skull. Perform an estimated face reconstruction. Therefore, in this embodiment, the shape prediction system 20 shown in FIG. 1 is used.
（ハードウェア構成の説明）
図２を用いて、形状予測システム２０を構成する情報処理装置Ｈ１０のハードウェア構成を説明する。情報処理装置Ｈ１０は、通信装置Ｈ１１、入力装置Ｈ１２、表示装置Ｈ１３、記憶部Ｈ１４、プロセッサＨ１５を備える。なお、このハードウェア構成は一例であり、他のハードウェアにより実現することも可能である。
(Explanation of hardware configuration)
The hardware configuration of the information processing apparatus H10 constituting the shape prediction system 20 will be described with reference to FIG. The information processing device H10 includes a communication device H11, an input device H12, a display device H13, a storage unit H14, and a processor H15. This hardware configuration is an example, and can be realized by other hardware.
通信装置Ｈ１１は、他の装置との間で通信経路を確立して、データの送受信を実行するインタフェースであり、例えばネットワークインタフェースカードや無線インタフェース等である。 The communication device H11 is an interface that establishes a communication path with another device and executes data transmission / reception, such as a network interface card or a wireless interface.
入力装置Ｈ１２は、利用者等からの入力を受け付ける入力部であり、例えば、マウスやキーボード、ＣＴスキャナ等である。表示装置Ｈ１３は、各種情報を表示する出力部であり、例えばディスプレイ等である。 The input device H12 is an input unit that receives input from a user or the like, and is, for example, a mouse, a keyboard, a CT scanner, or the like. The display device H13 is an output unit that displays various types of information, such as a display.
記憶部Ｈ１４は、形状予測システム２０の各種機能を実行するためのデータや各種プログラムを格納する記憶装置である。記憶部Ｈ１４の一例としては、ＲＯＭ、ＲＡＭ、ハードディスク等がある。 The storage unit H14 is a storage device that stores data and various programs for executing various functions of the shape prediction system 20. An example of the storage unit H14 is a ROM, a RAM, a hard disk, or the like.
プロセッサＨ１５は、記憶部Ｈ１４に記憶されるプログラムやデータを用いて、形状予測システム２０における各処理を制御する。プロセッサＨ１５の一例としては、例えばＣＰＵやＭＰＵ等がある。このプロセッサＨ１５は、ＲＯＭ等に記憶されるプログラムをＲＡＭに展開して、各サービスのための各種プロセスを実行する。 The processor H15 controls each process in the shape prediction system 20 by using the programs and data stored in the storage unit H14. Examples of the processor H15 include a CPU, an MPU, and the like. The processor H15 expands a program stored in ROM or the like into RAM and executes various processes for each service.
プロセッサＨ１５は、自身が実行するすべての処理についてソフトウェア処理を行なうものに限られない。例えば、プロセッサＨ１５は、自身が実行する処理の少なくとも一部についてハードウェア処理を行なう専用のハードウェア回路（例えば、特定用途向け集積回路：ＡＳＩＣ）を備えてもよい。すなわち、プロセッサＨ１５は、（１）コンピュータプログラム（ソフトウェア）に従って動作する１つ以上のプロセッサ、（２）各種処理のうち少なくとも一部の処理を実行する１つ以上の専用のハードウェア回路、或いは（３）それらの組み合わせ、を含む回路（circuitry）として構成し得る。プロセッサは、ＣＰＵ並びに、ＲＡＭ及びＲＯＭ等のメモリを含み、メモリは、処理をＣＰＵに実行させるように構成されたプログラムコード又は指令を格納している。メモリすなわちコンピュータ可読媒体は、汎用又は専用のコンピュータでアクセスできるあらゆる利用可能な媒体を含む。 The processor H15 is not limited to one that performs software processing for all the processing executed by itself. For example, the processor H15 may include a dedicated hardware circuit (for example, an integrated circuit for a specific application: ASIC) that performs hardware processing for at least a part of the processing executed by the processor H15. That is, the processor H15 is (1) one or more processors that operate according to a computer program (software), (2) one or more dedicated hardware circuits that execute at least a part of various processes, or ( 3) It can be configured as a circuitry including a combination thereof. The processor includes a CPU and memories such as RAM and ROM, and the memory stores program code or instructions configured to cause the CPU to execute processing. Memory or computer-readable media includes any available medium accessible by a general purpose or dedicated computer.
（各機能部の説明）
図１に示すように、形状予測システム２０は、頭蓋骨から頭部（顔）の形状を復元する復顔処理を行なうためのコンピュータシステムである。この形状予測システム２０は、制御部２１、形状情報記憶部としてのＣＴ画像データ記憶部２２、特徴点データ記憶部２３、球面メッシュデータ記憶部２４及びモデル記憶部２５を備えている。
(Explanation of each functional part)
As shown in FIG. 1, the shape prediction system 20 is a computer system for performing face reconstruction processing for restoring the shape of the head (face) from the skull. The shape prediction system 20 includes a control unit 21, a CT image data storage unit 22 as a shape information storage unit, a feature point data storage unit 23, a spherical mesh data storage unit 24, and a model storage unit 25.
制御部２１は、制御手段（ＣＰＵ、ＲＡＭ、ＲＯＭ等）を備え、後述する処理（学習管理段階、基本モデル生成段階、肉厚計測段階、相同化処理段階、ゴム膜生成段階、機械学習段階、予測管理段階及び形状生成段階等の各処理）を行なう。そのための形状予測プログラムを実行することにより、制御部２１は、学習管理部２１０、基本モデル生成部２１１、肉厚計測部２１２、相同化処理部２１３、ゴム膜生成部２１４、機械学習部２１５、予測管理部２１６、形状生成部２１７として機能する。 The control unit 21 includes control means (CPU, RAM, ROM, etc.) and is described later (learning management stage, basic model generation stage, wall thickness measurement stage, homology processing stage, rubber film generation stage, machine learning stage, Each process such as the prediction management stage and the shape generation stage) is performed. By executing the shape prediction program for that purpose, the control unit 21 includes a learning management unit 210, a basic model generation unit 211, a wall thickness measurement unit 212, a homology processing unit 213, a rubber film generation unit 214, and a machine learning unit 215. It functions as a prediction management unit 216 and a shape generation unit 217.
図３に示すように、本実施形態では、頭蓋骨において復顔を行なう場合、穴が開いている部分（欠落領域）を塞ぐために、予測に用いる頭蓋骨の形状をゴム膜（メッシュ膜）で覆った形状（ゴム膜モデル）に変換する。そして、ゴム膜モデルの各部分において肉厚を予測して、外表面の形状を推定する。 As shown in FIG. 3, in the present embodiment, when performing facial reconstruction on the skull, the shape of the skull used for prediction is covered with a rubber film (mesh film) in order to close the portion having a hole (missing area). Convert to shape (rubber film model). Then, the wall thickness is predicted in each part of the rubber film model, and the shape of the outer surface is estimated.
図１の学習管理部２１０は、形状予測に用いる配置予測モデルを生成する処理を管理する。学習管理部２１０は、学習に用いる相同モデルを記録するための学習用メモリを備える。 The learning management unit 210 of FIG. 1 manages a process of generating an arrangement prediction model used for shape prediction. The learning management unit 210 includes a learning memory for recording a homology model used for learning.
基本モデル生成部２１１は、相同モデル化処理に用いる基本モデル（参照相同モデル）に関するデータを生成する処理を実行する。ここでは、学習対象の複数の頭蓋骨から算出した平均的な相同モデルを生成する。ここで、相同モデルとは、頭蓋骨についての３次元データをメッシュで表現し、各メッシュの頂点が、解剖学的に同じ位置になるように変換した３次元座標データである。 The basic model generation unit 211 executes a process of generating data related to the basic model (reference homology model) used in the homology modeling process. Here, an average homology model calculated from a plurality of skulls to be trained is generated. Here, the homology model is three-dimensional coordinate data in which three-dimensional data about the skull is represented by a mesh and the vertices of each mesh are converted so as to be anatomically the same position.
肉厚計測部２１２は、ゴム膜モデルから外表面までの距離（肉厚）を計測する処理を実行する。本実施形態では、原点とゴム膜モデルのメッシュ点とを結ぶ直線上で、ゴム膜モデルと外表面との距離を計測する。なお、原点として、予め定めた所定の特徴点から一定のオフセットを与えた点（位置）を用いる。 The wall thickness measuring unit 212 executes a process of measuring the distance (wall thickness) from the rubber film model to the outer surface. In this embodiment, the distance between the rubber film model and the outer surface is measured on a straight line connecting the origin and the mesh point of the rubber film model. As the origin, a point (position) given a certain offset from a predetermined feature point is used.
相同化処理部２１３は、学習や予測に用いる頭蓋骨についての相同モデルを生成する処理を実行する。
ゴム膜生成部２１４は、頭蓋骨をゴム膜で覆った形状を生成する処理を実行する。
機械学習部２１５は、ゴム膜で覆った形状から外表面までの距離を機械学習する処理を実行する。本実施形態では、機械学習として後述するカップリング学習を用いる。
The homology processing unit 213 executes a process of generating a homology model for the skull used for learning and prediction.
The rubber film generation unit 214 executes a process of generating a shape in which the skull is covered with the rubber film.
The machine learning unit 215 executes a process of machine learning the distance from the shape covered with the rubber film to the outer surface. In this embodiment, coupling learning, which will be described later, is used as machine learning.
予測管理部２１６は、予測対象の頭蓋骨のＣＴ画像と配置予測モデルとを用いて、頭蓋骨の各部の肉厚を予測するための管理処理を実行する。
形状生成部２１７は、予測シミュレーションにより取得した肉厚を用いて、頭蓋骨から頭部の外表面形状（顔形状）を生成する処理を実行する。
The prediction management unit 216 executes a management process for predicting the wall thickness of each part of the skull by using the CT image of the skull to be predicted and the placement prediction model.
The shape generation unit 217 executes a process of generating the outer surface shape (face shape) of the head from the skull by using the wall thickness acquired by the prediction simulation.
また、ＣＴ画像データ記憶部２２には、学習に用いるサンプルの画像データが記録されている。ここでは、頭部の外表面（顔）のＣＴ画像と、この頭部の頭蓋骨のＣＴ画像（３Ｄ）とが識別番号に関連付けて記録されている。頭部の外表面のＣＴ画像により、頭部の３次元形状を特定することができる。また、頭蓋骨のＣＴ画像により、頭蓋骨の３次元形状を特定することができる。 Further, the CT image data storage unit 22 records image data of a sample used for learning. Here, a CT image of the outer surface (face) of the head and a CT image (3D) of the skull of the head are recorded in association with the identification number. The three-dimensional shape of the head can be specified from the CT image of the outer surface of the head. In addition, the three-dimensional shape of the skull can be specified from the CT image of the skull.
特徴点データ記憶部２３には、頭蓋骨の特徴点に関するデータが記録されている。特徴点は、頭部における特徴的な部分（例えば、頭頂骨の最上方点や骨鼻腔内表面の最外側点等）である。 The feature point data storage unit 23 records data related to feature points of the skull. Characteristic points are characteristic parts of the head (for example, the most lateral point of the parietal bone and the outermost point of the inner surface of the nasal cavity).
球面メッシュデータ記憶部２４には、形状予測に用いるメッシュに関するデータが記録されている。このメッシュに関するデータは、近似的に均等なメッシュとして算出したデータであり、メッシュの頂点数が10242個、三角形数が20480個のほぼ球面を構成する各メッシュの座標データである。このメッシュデータは、正２０面体を出発点として、以下の（１）〜（３）のメッシュ分割処理を５回繰り返して形成される。メッシュ分割処理は、以下の手順で行なわれる。 Data related to the mesh used for shape prediction is recorded in the spherical mesh data storage unit 24. The data related to this mesh is data calculated as an approximately even mesh, and is coordinate data of each mesh constituting a substantially spherical surface having 10242 vertices and 20480 triangular numbers. This mesh data is formed by repeating the following mesh division processes (1) to (3) five times, starting from the regular icosahedron. The mesh division process is performed by the following procedure.
（１）すべての三角形を構成する辺の中点に新たなメッシュ点を置き、三角形を再定義する。
（２）（１）で配置した点は球面上にないので、中心（原点）と当該点を結んだ線分を延長し、球面との交点に置きなおす。
(1) Place a new mesh point at the midpoint of the sides that make up all the triangles, and redefine the triangles.
(2) Since the point arranged in (1) is not on the sphere, the line segment connecting the center (origin) and the point is extended and repositioned at the intersection with the sphere.
（３）（２）で球面上に配置した点の間隔は不均等になっているので、最急降下法（勾配法）により、以下の２つの条件を満たす中で最適な配置（エネルギーが低い配置）を計算する。
・球面上にある点を、球面上にない点よりもエネルギーを低くする。
・隣り合う点同士の距離が平均距離に近い点のエネルギーを低くする。
(3) Since the intervals of the points placed on the spherical surface in (2) are uneven, the optimum placement (placement with low energy) that satisfies the following two conditions by the steepest descent method (gradient method) is used. ) Is calculated.
-Make points on the sphere lower in energy than points not on the sphere.
-Lower the energy of points where the distance between adjacent points is close to the average distance.
モデル記憶部２５には、予測処理において肉厚を予測するために用いる配置予測モデルが記憶される。この配置予測モデルは学習処理が実行された場合に記憶される。 The model storage unit 25 stores an arrangement prediction model used for predicting the wall thickness in the prediction process. This placement prediction model is stored when the learning process is executed.
（学習処理）
まず、図４を用いて、学習処理について説明する。
形状予測システム２０の制御部２１は、骨形状及び外表面のＣＴ画像の取得処理を実行する（ステップＳ１−１）。具体的には、制御部２１の学習管理部２１０は、各識別番号に関連付けられた頭部の外表面のＣＴ画像と、頭蓋骨のＣＴ画像とを、ＣＴ画像データ記憶部２２から取得する。そして、学習管理部２１０は、頭部の外表面のＣＴ画像を用いて、外表面の３次元形状を生成し、頭蓋骨のＣＴ画像を用いて、頭蓋骨の３次元形状を生成する。
(Learning process)
First, the learning process will be described with reference to FIG.
The control unit 21 of the shape prediction system 20 executes a CT image acquisition process of the bone shape and the outer surface (step S1-1). Specifically, the learning management unit 210 of the control unit 21 acquires a CT image of the outer surface of the head and a CT image of the skull associated with each identification number from the CT image data storage unit 22. Then, the learning management unit 210 uses the CT image of the outer surface of the head to generate a three-dimensional shape of the outer surface, and uses the CT image of the skull to generate the three-dimensional shape of the skull.
次に、形状予測システム２０の制御部２１は、参照相同モデルの生成処理を実行する（ステップＳ１−２）。この処理の詳細については、図５を用いて後述する。
次に、形状予測システム２０の制御部２１は、学習個別データにおける相同モデル化処理を実行する（ステップＳ１−３）。この処理においては、ステップＳ１−１で生成した頭蓋骨の３次元形状と、Ｓ１−２において生成した参照相同モデルとを用いて、相同モデル化処理を実行する。この処理の詳細については、図６を用いて後述する。
Next, the control unit 21 of the shape prediction system 20 executes a reference homology model generation process (step S1-2). Details of this process will be described later with reference to FIG.
Next, the control unit 21 of the shape prediction system 20 executes the homology modeling process on the training individual data (steps S1-3). In this process, the homology modeling process is executed using the three-dimensional shape of the skull generated in step S1-1 and the reference homology model generated in S1-2. Details of this process will be described later with reference to FIG.
そして、形状予測システム２０の制御部２１は、骨形状を用いたゴム膜の生成処理を実行する（ステップＳ１−４）。この処理の詳細については、図７を用いて後述する。 Then, the control unit 21 of the shape prediction system 20 executes a rubber film generation process using the bone shape (step S1-4). Details of this process will be described later with reference to FIG. 7.
そして、形状予測システム２０の制御部２１は、肉厚の計測処理を実行する（ステップＳ１−５）。具体的には、制御部２１の肉厚計測部２１２は、原点と球面相同モデルの各メッシュ点とを含む直線上において、ゴム膜表面の座標と、外表面の座標とを特定する。肉厚計測部２１２は、特定した外表面の座標からゴム膜表面の座標までの距離（肉厚）を算出する。 Then, the control unit 21 of the shape prediction system 20 executes the wall thickness measurement process (step S1-5). Specifically, the wall thickness measuring unit 212 of the control unit 21 specifies the coordinates of the rubber film surface and the coordinates of the outer surface on a straight line including the origin and each mesh point of the spherical homology model. The wall thickness measuring unit 212 calculates the distance (wall thickness) from the coordinates of the specified outer surface to the coordinates of the rubber film surface.
次に、形状予測システム２０の制御部２１は、カップリング学習による配置予測モデルの生成処理を実行する（ステップＳ１−６）。この処理の詳細については、図８を用いて後述する。 Next, the control unit 21 of the shape prediction system 20 executes a process of generating a placement prediction model by coupling learning (steps S1-6). Details of this process will be described later with reference to FIG.
＜参照相同モデルの生成処理＞
次に、図５を用いて、参照相同モデルの生成処理を説明する。この処理を、ＣＴ画像データ記憶部２２に記録されたデータを用いて生成した頭部の骨形状のすべてを用いて実行する。
<Generation process of reference homology model>
Next, the generation process of the reference homology model will be described with reference to FIG. This process is executed using all of the bone shapes of the head generated using the data recorded in the CT image data storage unit 22.
図５（ａ）に示すように、制御部２１の基本モデル生成部２１１は、平均特徴点の算出処理を実行する（ステップＳ２−１）。具体的には、基本モデル生成部２１１は、各個別データの原点を一致させ、重回帰分析等を用いて、左右対称で顔が正面を向くように回転させる。更に、基本モデル生成部２１１は、頭頂から顎までのＺ軸上の長さが指定値になるようにリサイズ（拡大又は縮小）することにより、各個別データの頭蓋骨上の特徴点データを正規化する。そして、基本モデル生成部２１１は、正規化した各個別データを用いて、骨形状の各特徴点の平均の位置（平均特徴点）を算出する。 As shown in FIG. 5A, the basic model generation unit 211 of the control unit 21 executes the calculation process of the average feature points (step S2-1). Specifically, the basic model generation unit 211 matches the origins of the individual data, and uses multiple regression analysis or the like to rotate the data so that the faces are symmetrical and face the front. Further, the basic model generation unit 211 normalizes the feature point data on the skull of each individual data by resizing (enlarging or reducing) the length on the Z axis from the top of the head to the jaw to a specified value. To do. Then, the basic model generation unit 211 calculates the average position (average feature point) of each feature point of the bone shape by using each normalized individual data.
次に、制御部２１の基本モデル生成部２１１は、特徴メッシュ点の特定処理を実行する（ステップＳ２−２）。具体的には、基本モデル生成部２１１は、球面メッシュデータ記憶部２４に記憶されたメッシュデータを取得する。次に、基本モデル生成部２１１は、原点から伸ばした平均特徴点（座標）の延長線と、取得したメッシュデータ（球面）との交点を特定する。更に、基本モデル生成部２１１は、特定した交点に最も近いメッシュ点を交点まで移動させ、特徴メッシュ点とする。 Next, the basic model generation unit 211 of the control unit 21 executes the feature mesh point identification process (step S2-2). Specifically, the basic model generation unit 211 acquires the mesh data stored in the spherical mesh data storage unit 24. Next, the basic model generation unit 211 identifies the intersection of the extension line of the average feature point (coordinates) extended from the origin and the acquired mesh data (spherical surface). Further, the basic model generation unit 211 moves the mesh point closest to the specified intersection to the intersection and sets it as a feature mesh point.
次に、制御部２１の基本モデル生成部２１１は、他のメッシュ点の補間処理を実行する（ステップＳ２−３）。具体的には、基本モデル生成部２１１は、特徴メッシュ点を固定したまま、特徴メッシュ点以外の他のメッシュ点について、特徴メッシュ点からの移動量を球面上において分配して、分配した移動量に応じて、他のメッシュ点を球面上で移動させる。 Next, the basic model generation unit 211 of the control unit 21 executes the interpolation processing of other mesh points (step S2-3). Specifically, the basic model generation unit 211 distributes the amount of movement from the feature mesh points on the spherical surface with respect to the mesh points other than the feature mesh points while fixing the feature mesh points, and the distributed amount of movement. Move other mesh points on the sphere accordingly.
そして、制御部２１の基本モデル生成部２１１は、最急降下法を用いてメッシュの均等化処理を実行する（ステップＳ２−４）。具体的には、基本モデル生成部２１１は、取得したメッシュデータ（球面）上に配置したメッシュ点（特徴メッシュ点及び補間したメッシュ点）の各位置を、最急降下法を用いて均等化させる。この場合、特徴点のメッシュ頂点を動かさないように固定しておく。そして、基本モデル生成部２１１は、均等化させた各メッシュ点の位置を、学習用メモリに記憶する。
図５（ｂ）には、頭蓋骨における特徴点を黒点で示す。図５（ｃ）には、球表面で均等化した各メッシュ点を示す。また球表面上の黒点は、特徴メッシュ点を示している。
Then, the basic model generation unit 211 of the control unit 21 executes the mesh equalization process by using the steepest descent method (step S2-4). Specifically, the basic model generation unit 211 equalizes the positions of the mesh points (feature mesh points and interpolated mesh points) arranged on the acquired mesh data (spherical surface) by using the steepest descent method. In this case, the mesh vertices of the feature points are fixed so as not to move. Then, the basic model generation unit 211 stores the positions of the equalized mesh points in the learning memory.
In FIG. 5B, the feature points in the skull are shown by black dots. FIG. 5C shows each mesh point equalized on the surface of the sphere. The black dots on the surface of the sphere indicate feature mesh dots.
＜学習個別データにおける相同モデル化処理＞
次に、図６を用いて、学習個別データにおける相同モデル化処理（ステップＳ３−１）を説明する。この処理は、骨形状の各学習個別データについて、繰り返して実行される。
<Homology modeling process for individual training data>
Next, the homology modeling process (step S3-1) in the training individual data will be described with reference to FIG. This process is repeatedly executed for each learning individual data of the bone shape.
図６（ａ）に示すように、制御部２１の相同化処理部２１３は、特徴点の特定処理を実行する（ステップＳ３−１）。具体的には、相同化処理部２１３は、学習個別データの骨形状における各特徴点を特定する。 As shown in FIG. 6A, the homology processing unit 213 of the control unit 21 executes the feature point identification process (step S3-1). Specifically, the homology processing unit 213 specifies each feature point in the bone shape of the learning individual data.
次に、制御部２１の相同化処理部２１３は、特徴点の正規化処理を実行する（ステップＳ３−２）。具体的には、相同化処理部２１３は、公知のプロクラステス解析を用いて、各個別データの特徴点（座標）を、原点から平均特徴点までの方向と距離に一致させる。 Next, the homology processing unit 213 of the control unit 21 executes the normalization processing of the feature points (step S3-2). Specifically, the homology processing unit 213 uses a known procrustes analysis to match the feature points (coordinates) of each individual data with the direction and distance from the origin to the average feature point.
次に、制御部２１の相同化処理部２１３は、特徴メッシュ点の移動処理を実行する（ステップＳ３−３）。具体的には、相同化処理部２１３は、球面メッシュデータ記憶部２４に記憶されたメッシュデータを取得する。次に、相同化処理部２１３は、原点から伸ばした正規化特徴点（座標）の延長線と、取得したメッシュデータ（球面）との交点を特定する。更に、相同化処理部２１３は、特定した交点に最も近いメッシュ点を交点まで移動させ、特徴メッシュ点とする。 Next, the homology processing unit 213 of the control unit 21 executes the movement processing of the feature mesh points (step S3-3). Specifically, the homology processing unit 213 acquires the mesh data stored in the spherical mesh data storage unit 24. Next, the homology processing unit 213 specifies the intersection of the extension line of the normalized feature point (coordinates) extended from the origin and the acquired mesh data (spherical surface). Further, the homology processing unit 213 moves the mesh point closest to the specified intersection to the intersection and sets it as a feature mesh point.
次に、制御部２１の相同化処理部２１３は、ステップＳ２−３，Ｓ２−４と同様に、他のメッシュ点の補間処理（ステップＳ３−４）、最急降下法を用いてメッシュの均等化処理（ステップＳ３−５）を実行する。 Next, the homology processing unit 213 of the control unit 21 uses the interpolation processing of other mesh points (step S3-4) and the steepest descent method to equalize the mesh, as in steps S2-3 and S2-4. The process (step S3-5) is executed.
図６（ｂ）には、他のメッシュ点の補間処理（ステップＳ３−４）後における球面メッシュと、黒点による特徴メッシュ点とを示している。また、図６（ｃ）に示す球面メッシュデータは、最急降下法を用いてメッシュの均等化処理（ステップＳ３−５）により特定したメッシュ点を示している。この均等化処理により、メッシュ点が歪んだ領域（図６（ｂ）の右上の楕円領域）は、平均的な間隔で均等化される。 FIG. 6B shows the spherical mesh after the interpolation processing (step S3-4) of other mesh points and the feature mesh points due to the black points. Further, the spherical mesh data shown in FIG. 6C shows the mesh points specified by the mesh equalization process (step S3-5) using the steepest descent method. By this equalization processing, the region where the mesh points are distorted (the elliptical region on the upper right of FIG. 6B) is equalized at an average interval.
＜骨形状を用いたゴム膜の生成処理＞
次に、図７（ａ）を用いて、骨形状を用いたゴム膜の生成処理（ステップＳ１−４）を説明する。この処理は、骨形状の各学習個別データについて、繰り返して実行される。
<Rubber film formation process using bone shape>
Next, the rubber film formation process (step S1-4) using the bone shape will be described with reference to FIG. 7A. This process is repeatedly executed for each learning individual data of the bone shape.
まず、制御部２１のゴム膜生成部２１４は、球面メッシュの原点に骨形状の配置処理を実行する（ステップＳ４−１）。具体的には、ゴム膜生成部２１４は、メッシュデータ（球面）の原点に、ＣＴ画像により特定した頭蓋骨の３次元形状の中心を一致させて、頭蓋骨の表面の位置を特定する。 First, the rubber film generation unit 214 of the control unit 21 executes the bone shape arrangement process at the origin of the spherical mesh (step S4-1). Specifically, the rubber film generation unit 214 specifies the position of the surface of the skull by matching the center of the three-dimensional shape of the skull specified by the CT image with the origin of the mesh data (spherical surface).
次に、制御部２１のゴム膜生成部２１４は、ゴム膜フィッティング処理を実行する（ステップＳ４−２）。この処理の詳細については、図７（ｂ）を用いて後述する。
次に、制御部２１のゴム膜生成部２１４は、ゴム膜上でメッシュ頂点の特定処理を実行する（ステップＳ４−３）。具体的には、ゴム膜生成部２１４は、原点から伸ばした各相同メッシュ点の延長線と、ゴム膜表面との交点を特定する。そして、ゴム膜生成部２１４は、特定した交点を相同モデルのメッシュ頂点として特定する。
Next, the rubber film generation unit 214 of the control unit 21 executes the rubber film fitting process (step S4-2). Details of this process will be described later with reference to FIG. 7 (b).
Next, the rubber film generation unit 214 of the control unit 21 executes a mesh vertex identification process on the rubber film (step S4-3). Specifically, the rubber film generation unit 214 specifies the intersection of the extension line of each homologous mesh point extended from the origin and the rubber film surface. Then, the rubber film generation unit 214 specifies the specified intersection as a mesh vertex of the homology model.
＜ゴム膜フィッティング処理＞
次に、図７（ｂ）を用いて、ゴム膜フィッティング処理（ステップＳ４−２）について説明する。
<Rubber film fitting process>
Next, the rubber film fitting process (step S4-2) will be described with reference to FIG. 7B.
まず、ゴム膜生成部２１４は、球面メッシュの均等分割処理を実行する（ステップＳ５−１）。具体的には、ゴム膜生成部２１４は、頭蓋骨を内包する球面を仮定し、球面上をメッシュに分割する。 First, the rubber film generation unit 214 executes an even division process of the spherical mesh (step S5-1). Specifically, the rubber film generation unit 214 assumes a spherical surface containing the skull, and divides the spherical surface into meshes.
次に、ゴム膜生成部２１４は、メッシュの縮小移動処理を実行する（ステップＳ５−２）。具体的には、ゴム膜生成部２１４は、各メッシュ間に引力を与えて、公知の分子動力学手法により、球面を縮小する方向で各メッシュを移動させる。この場合、メッシュ点は、球の中心と初期位置を結んだ直線上のみで移動させる。 Next, the rubber film generation unit 214 executes the mesh reduction / movement process (step S5-2). Specifically, the rubber film generation unit 214 applies an attractive force between the meshes to move each mesh in the direction of reducing the spherical surface by a known molecular dynamics technique. In this case, the mesh point is moved only on the straight line connecting the center of the sphere and the initial position.
ここでは、図７（ｃ）に示すように、隣接するメッシュ点の方向に引力を与える。そして、各メッシュ点を中心方向に移動させる。
この場合、ゴム膜生成部２１４は、骨形状表面に到達した各メッシュ点については、到着した表面位置に配置を決定する。そして、これ以降、このメッシュ点については縮小移動させない。
Here, as shown in FIG. 7C, an attractive force is applied in the direction of adjacent mesh points. Then, each mesh point is moved toward the center.
In this case, the rubber film generation unit 214 determines the arrangement of each mesh point that has reached the bone-shaped surface at the arrival surface position. After that, this mesh point is not reduced or moved.
一方、ゴム膜生成部２１４は、骨形状表面に到達していない各メッシュ点については、各メッシュ間に引力を更に与えて、公知の分子動力学手法により、球面を縮小する方向で各メッシュの移動を繰り返して、配置を決定する。
図７（ｄ）に示すように、頭蓋骨の凸部ではメッシュ点がゴム膜表面に張り付き、凹部ではメッシュ点間の引力により配置が決まる。
On the other hand, the rubber film generation unit 214 further applies an attractive force between the meshes for each mesh point that has not reached the bone-shaped surface, and uses a known molecular dynamics method to reduce the spherical surface of each mesh. Repeat the movement to determine the placement.
As shown in FIG. 7D, the mesh points stick to the rubber film surface at the convex portion of the skull, and the arrangement is determined by the attractive force between the mesh points at the concave portion.
＜カップリング学習による配置予測モデルの生成処理＞
次に、図８を用いて、カップリング学習による配置予測モデルの生成処理（ステップＳ１−６）について説明する。
<Generation process of placement prediction model by coupling learning>
Next, the generation process (step S1-6) of the arrangement prediction model by the coupling learning will be described with reference to FIG.
まず、図８（ａ）に示すように、機械学習部２１５は、ゴム膜座標データと肉厚データとで行列生成処理を実行する（ステップＳ６−１）。具体的には、機械学習部２１５は、ゴム膜座標ベクトルを一行に並べる。 First, as shown in FIG. 8A, the machine learning unit 215 executes a matrix generation process using the rubber film coordinate data and the wall thickness data (step S6-1). Specifically, the machine learning unit 215 arranges the rubber film coordinate vectors in one line.
更に、図８（ｂ）に示すように、機械学習部２１５は、同じ頭蓋骨とゴム膜座標を用いて算出した肉厚ベクトルを同じ行に繋げて並べた行列（第１行列）を生成する。
次に、機械学習部２１５は、正規化・主成分分析処理を実行する（ステップＳ６−２）。具体的には、機械学習部２１５は、生成した行列の正規化を行なう。更に、機械学習部２１５は、正規化した行列の行ベクトルを用いて主成分分析を行なう。
Further, as shown in FIG. 8B, the machine learning unit 215 generates a matrix (first matrix) in which the wall thickness vectors calculated using the same skull and rubber film coordinates are connected in the same row and arranged.
Next, the machine learning unit 215 executes the normalization / principal component analysis process (step S6-2). Specifically, the machine learning unit 215 normalizes the generated matrix. Further, the machine learning unit 215 performs principal component analysis using the row vector of the normalized matrix.
これにより、図８（ｃ）に示すように、データ空間を表現する直交基底により、寄与率の高い順番に並べた行列（第２行列）を生成する。
次に、機械学習部２１５は、直交基底前半の直交化処理を実行する（ステップＳ６−３）。具体的には、機械学習部２１５は、グラムシュミットの手法を用いて、直交基底の前半部分を直交化する。これにより、前半部分の直交化に用いた直交化係数が算出される。
As a result, as shown in FIG. 8C, a matrix (second matrix) arranged in descending order of contribution rate is generated by the orthogonal basis representing the data space.
Next, the machine learning unit 215 executes the orthogonalization process of the first half of the orthogonal basis (step S6-3). Specifically, the machine learning unit 215 orthogonalizes the first half of the orthogonal basis using the Gram-Schmidt method. As a result, the orthogonalization coefficient used for the orthogonalization of the first half portion is calculated.
次に、機械学習部２１５は、直交化係数で線形結合処理を実行する（ステップＳ６−４）。具体的には、機械学習部２１５は、直交基底の後半部分についても、前半部分の直交化係数を用いた線形結合により表現する。
ここでは、図８（ｄ）に示すように、ｉ行ｊ列からなる前半部分（第３行列）と、ｉ行ｋ列からなる後半部分（第４行列）とが生成される。
そして、この第３行列及び第４行列を、モデル記憶部２５に記憶する。
Next, the machine learning unit 215 executes a linear combination process with the orthogonalization coefficient (step S6-4). Specifically, the machine learning unit 215 also expresses the latter half of the orthogonal basis by a linear combination using the orthogonalization coefficient of the first half.
Here, as shown in FIG. 8D, a first half portion (third matrix) consisting of i rows and j columns and a second half portion (fourth matrix) consisting of i rows and k columns are generated.
Then, the third matrix and the fourth matrix are stored in the model storage unit 25.
（予測処理）
次に、図９〜図１２を用いて予測処理について説明する。
図９に示すように、形状予測システム２０の制御部２１は、予測対象頭蓋骨の３Ｄスキャン処理を実行する（ステップＳ７−１）。具体的には、制御部２１の予測管理部２１６は、予測対象の頭部の頭蓋骨（骨形状）のＣＴ画像を、入力装置Ｈ１２を介して取得する。そして、予測管理部２１６は、頭蓋骨のＣＴ画像を用いて、頭蓋骨の３次元形状を生成し、この形状データ（頭蓋骨データ）を取得する。
(Prediction processing)
Next, the prediction process will be described with reference to FIGS. 9 to 12.
As shown in FIG. 9, the control unit 21 of the shape prediction system 20 executes a 3D scan process of the skull to be predicted (step S7-1). Specifically, the prediction management unit 216 of the control unit 21 acquires a CT image of the skull (bone shape) of the head to be predicted via the input device H12. Then, the prediction management unit 216 generates a three-dimensional shape of the skull using the CT image of the skull, and acquires this shape data (skull data).
次に、形状予測システム２０の制御部２１は、予測対象データにおける相同モデル化処理を実行する（ステップＳ７−２）。具体的には、制御部２１の相同化処理部２１３は、取得した予測対象の頭蓋骨データを用いて、学習個別データにおける相同モデル化処理と同様に、頭蓋骨における特徴点の特定処理、特徴点の正規化処理、特徴メッシュ点の移動処理、他のメッシュ点の補間処理及び最急降下法を用いてメッシュの均等化処理（ステップＳ３−１〜Ｓ３−５）を実行する。 Next, the control unit 21 of the shape prediction system 20 executes a homology modeling process on the prediction target data (step S7-2). Specifically, the homology processing unit 213 of the control unit 21 uses the acquired skull data of the prediction target to identify the feature points in the skull and to identify the feature points, as in the homology modeling process in the individual training data. The mesh equalization process (steps S3-1 to S3-5) is executed by using the normalization process, the feature mesh point movement process, the interpolation process of other mesh points, and the steepest descent method.
次に、形状予測システム２０の制御部２１は、骨形状を用いたゴム膜の生成処理を実行する（ステップＳ７−３）。具体的には、制御部２１のゴム膜生成部２１４は、学習処理の骨形状を用いたゴム膜の生成処理（ステップＳ１−４）と同様に、球面メッシュの原点に骨形状の配置処理、ゴム膜フィッティング処理、ゴム膜上でメッシュ頂点の特定処理を実行する（ステップＳ４−１〜ステップＳ４−３）。 Next, the control unit 21 of the shape prediction system 20 executes a rubber film generation process using the bone shape (step S7-3). Specifically, the rubber film generation unit 214 of the control unit 21 arranges the bone shape at the origin of the spherical mesh, as in the rubber film generation process (step S1-4) using the bone shape of the learning process. The rubber film fitting process and the process of specifying the mesh vertices on the rubber film are executed (steps S4-1 to S4-3).
次に、形状予測システム２０の制御部２１は、各メッシュ点の座標における肉厚の予測処理を実行する（ステップＳ７−４）。この処理の詳細については、図１０を用いて後述する。 Next, the control unit 21 of the shape prediction system 20 executes a wall thickness prediction process at the coordinates of each mesh point (step S7-4). Details of this process will be described later with reference to FIG.
そして、形状予測システム２０の制御部２１は、復顔の生成処理を実行する（ステップＳ７−５）。ここでは、予測した肉厚を用いて、ゴム膜モデルから、頭部の外表面（顔）の３次元形状を復元し、表示装置Ｈ１３に表示する。この処理の詳細については、図１１を用いて後述する。 Then, the control unit 21 of the shape prediction system 20 executes the face reconstruction generation process (step S7-5). Here, using the predicted wall thickness, the three-dimensional shape of the outer surface (face) of the head is restored from the rubber film model and displayed on the display device H13. Details of this process will be described later with reference to FIG.
＜各メッシュ点の座標における肉厚の予測処理＞
次に、図１０を用いて、各メッシュ点の座標における肉厚の予測処理（ステップＳ７−４）について説明する。
<Thickness prediction processing at the coordinates of each mesh point>
Next, the wall thickness prediction process (step S7-4) at the coordinates of each mesh point will be described with reference to FIG.
ここでは、制御部２１の予測管理部２１６は、取得した骨形状から生成したゴム膜座標を一行に並べたゴム膜座標ベクトル（説明変数ベクトル）を生成し、正規化を行なう。
次に、制御部２１の予測管理部２１６は、正規化したゴム膜座標ベクトルと第３行列との内積を計算することにより、予測係数を計算する。
Here, the prediction management unit 216 of the control unit 21 generates a rubber film coordinate vector (explanatory variable vector) in which the rubber film coordinates generated from the acquired bone shape are arranged in one line, and performs normalization.
Next, the prediction management unit 216 of the control unit 21 calculates the prediction coefficient by calculating the inner product of the normalized rubber film coordinate vector and the third matrix.
次に、制御部２１の予測管理部２１６は、算出した予測係数と第４行列との内積を計算することにより、予測ベクトル（目的変数ベクトル）を算出する。この予測ベクトルの大きさは、各メッシュ点の肉厚を示している。 Next, the prediction management unit 216 of the control unit 21 calculates the prediction vector (objective variable vector) by calculating the inner product of the calculated prediction coefficient and the fourth matrix. The magnitude of this prediction vector indicates the wall thickness of each mesh point.
＜復顔の生成処理＞
次に、図１１を用いて、復顔の生成処理について説明する。
制御部２１の形状生成部２１７は、ステップＳ７−４において算出した各メッシュ点における肉厚を、ゴム膜表面のメッシュ点の座標に加算して、顔の外表面の座標を特定する。そして、特定した各座標を含む３次元形状により顔形状を生成する。
<Forensic makeup generation process>
Next, the facial reconstruction generation process will be described with reference to FIG.
The shape generation unit 217 of the control unit 21 adds the wall thickness at each mesh point calculated in step S7-4 to the coordinates of the mesh points on the surface of the rubber film to specify the coordinates of the outer surface of the face. Then, the face shape is generated by the three-dimensional shape including each of the specified coordinates.
図１１（ａ）には、ゴム膜表面のメッシュ点を示している。このゴム膜表面の黒点は特徴点である。
図１１（ｂ）には、ゴム膜表面の各メッシュ点において予測した肉厚ベクトルを示している。この肉厚ベクトルは、原点からメッシュ点を結ぶ方向で、ゴム膜表面から予測された肉厚（距離）で構成される。
図１１（ｃ）には、肉厚ベクトルによって特定された座標点により生成された外表面形状を示している。なお、外表面上の黒点は特徴点を示している。
FIG. 11A shows mesh points on the surface of the rubber film. The black spots on the surface of this rubber film are characteristic points.
FIG. 11B shows a wall thickness vector predicted at each mesh point on the surface of the rubber film. This wall thickness vector is composed of the wall thickness (distance) predicted from the rubber film surface in the direction connecting the mesh points from the origin.
FIG. 11C shows the outer surface shape generated by the coordinate points specified by the wall thickness vector. The black dots on the outer surface indicate feature points.
（予測結果の比較）
図１２には、４０名の個別データにおいて、３９名の個別データを用いて学習処理を実行し、残りの１名の個別データを用いて予測処理を実行した結果を示す。
(Comparison of prediction results)
FIG. 12 shows the results of executing the learning process using the individual data of 39 persons and executing the prediction process using the individual data of the remaining 1 person.
図１２（ａ）は、予測処理に用いた頭蓋骨である。
図１２（ｂ）、（ｃ）は、入力した頭蓋骨から生成したゴム膜、カップリング学習により予測した復顔結果である。
FIG. 12 (a) shows the skull used in the prediction process.
12 (b) and 12 (c) are the results of facial reconstruction predicted by the rubber film generated from the input skull and the coupling learning.
図１２（ｄ）は、参考例として、顔の平均肉厚により予測した復顔結果である。
図１２（ｅ）は、正解となる外表面（顔形状）である。
図１２（ｄ）の比較例よりも、図１２（ｃ）の本発明の予測結果の方が正解に近いことがわかる。
FIG. 12D shows, as a reference example, the result of facial reconstruction predicted by the average wall thickness of the face.
FIG. 12 (e) is an outer surface (face shape) that is the correct answer.
It can be seen that the prediction result of the present invention in FIG. 12 (c) is closer to the correct answer than the comparative example in FIG. 12 (d).
本実施形態によれば、以下のような効果を得ることができる。
（１）本実施形態において、形状予測システム２０の制御部２１は、頭蓋骨の骨形状における特徴点を特定し、特徴点の配置に基づいて、骨形状から外表面までの厚みを予測する配置予測モデルを生成する学習処理を実行する。更に、制御部２１は、予測対象の頭蓋骨の特徴点を特定し、特定した特徴点の配置に配置予測モデルを適用して、外表面を予測する。これにより、実際の頭蓋骨と外表面のデータから学習して予測した肉厚を用いて外表面を生成するため、復顔を的確に行なうことができる。
According to this embodiment, the following effects can be obtained.
(1) In the present embodiment, the control unit 21 of the shape prediction system 20 identifies feature points in the bone shape of the skull and predicts the thickness from the bone shape to the outer surface based on the placement of the feature points. Execute the learning process to generate the model. Further, the control unit 21 identifies the feature points of the skull to be predicted, applies the placement prediction model to the arrangement of the specified feature points, and predicts the outer surface. As a result, the outer surface is generated using the wall thickness predicted by learning from the data of the actual skull and the outer surface, so that the facial reconstruction can be performed accurately.
（２）本実施形態において、形状予測システム２０の制御部２１は、頭蓋骨を覆ったゴム膜から外表面までの肉厚を計測し、この計測値を用いて肉厚を予測するモデルを生成する。頭蓋骨においては、眼窩等の穴（欠落領域）を有する。この場合にも、ゴム膜から外表面までの肉厚を、的確に予測することができる。 (2) In the present embodiment, the control unit 21 of the shape prediction system 20 measures the wall thickness from the rubber film covering the skull to the outer surface, and generates a model for predicting the wall thickness using this measured value. .. The skull has holes (missing areas) such as the orbit. Also in this case, the wall thickness from the rubber film to the outer surface can be accurately predicted.
（３）本実施形態において、形状予測システム２０の制御部２１は、ゴム膜フィッティング処理において、球面メッシュの均等分割処理及びメッシュの縮小移動処理を実行する（ステップＳ５−１，Ｓ５−２）。これにより、複数のメッシュ点の間で引力を作用させることにより、頭蓋骨の外形形状に合致したメッシュを生成することができる。 (3) In the present embodiment, the control unit 21 of the shape prediction system 20 executes an even division process of the spherical mesh and a reduction movement process of the mesh in the rubber film fitting process (steps S5-1 and S5-2). As a result, it is possible to generate a mesh that matches the outer shape of the skull by applying an attractive force between the plurality of mesh points.
（４）本実施形態において、形状予測システム２０の制御部２１は、計測した肉厚を用いて、カップリング学習による配置予測モデルの生成処理を実行する。これにより、中小規模のデータを用いて、的確に予測するモデルを生成することができる。 (4) In the present embodiment, the control unit 21 of the shape prediction system 20 executes an arrangement prediction model generation process by coupling learning using the measured wall thickness. As a result, it is possible to generate a model that accurately predicts using small and medium-sized data.
（５）本実施形態において、形状予測システム２０の制御部２１は、参照相同モデルの生成処理（ステップＳ１−２）及び学習個別データにおける相同モデル化処理（ステップＳ１−３）を実行する。これにより、各学習個別データを解剖学上の特徴で共通化させて、配置予測モデルを生成することができる。 (5) In the present embodiment, the control unit 21 of the shape prediction system 20 executes a reference homology model generation process (step S1-2) and a homology modeling process for learning individual data (step S1-3). As a result, it is possible to generate a placement prediction model by sharing each learning individual data with anatomical features.
（６）本実施形態において、形状予測システム２０の制御部２１は、参照相同モデルの生成処理及び相同モデル化処理において、最急降下法を用いてメッシュの均等化を実行する（ステップＳ２−４，Ｓ３−５）。これにより、メッシュを均等に配置することができるので、むらなく予測することができる。 (6) In the present embodiment, the control unit 21 of the shape prediction system 20 executes mesh equalization using the steepest descent method in the reference homology model generation process and the homology modeling process (steps S2-4). S3-5). As a result, the mesh can be evenly arranged, so that the prediction can be made evenly.
本実施形態は、以下のように変更して実施することができる。本実施形態及び以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。
・上記実施形態の形状予測システム２０の制御部２１は、ＣＴ画像データ記憶部２２に記憶されたデータを用いて配置予測モデルを生成した。この場合、立体形状の属性（例えば、人種や性別）別に配置予測モデルを生成してもよい。この場合には、制御部２１は、同じ属性のＣＴ画像データを用いて、属性別の配置予測モデルを生成する。更に、形状予測システム２０には、頭蓋骨形状の特徴量に対して、属性を特定するための属性判定情報を保持させておく。
This embodiment can be modified and implemented as follows. The present embodiment and the following modified examples can be implemented in combination with each other within a technically consistent range.
The control unit 21 of the shape prediction system 20 of the above embodiment generates an arrangement prediction model using the data stored in the CT image data storage unit 22. In this case, a placement prediction model may be generated for each three-dimensional shape attribute (for example, race or gender). In this case, the control unit 21 uses the CT image data of the same attribute to generate an arrangement prediction model for each attribute. Further, the shape prediction system 20 holds attribute determination information for specifying the attribute with respect to the feature amount of the skull shape.
そして、予測対象の頭蓋骨の３Ｄデータを取得した場合、制御部２１は、頭蓋骨形状の特徴量を算出し、属性判定情報を用いて、属性を特定する。なお、入力装置Ｈ１２を介して、属性を入力するようにしてもよい。次に、制御部２１は、特定した属性に応じた配置予測モデルを用いて肉厚を予測し、予測した肉厚を用いて外表面を生成する。これにより、人種や性別等の属性に応じた肉厚の違いを考慮して、より的確に復顔することができる。 Then, when the 3D data of the skull to be predicted is acquired, the control unit 21 calculates the feature amount of the skull shape and specifies the attribute by using the attribute determination information. The attributes may be input via the input device H12. Next, the control unit 21 predicts the wall thickness using the arrangement prediction model according to the specified attribute, and generates the outer surface using the predicted wall thickness. As a result, it is possible to return the face more accurately in consideration of the difference in wall thickness according to the attributes such as race and gender.
・上記実施形態の形状予測システム２０の制御部２１は、骨形状から、肉厚を考慮して外表面を予測した。予測する第２立体形状は、第１立体形状に対して相対的に配置された形状であればよい。例えば、外表面（第１立体形状）から骨形状（第２立体形状）を予測するようにしてもよい。 The control unit 21 of the shape prediction system 20 of the above embodiment predicts the outer surface from the bone shape in consideration of the wall thickness. The predicted second three-dimensional shape may be a shape that is arranged relative to the first three-dimensional shape. For example, the bone shape (second three-dimensional shape) may be predicted from the outer surface (first three-dimensional shape).
具体的には、図１３（ａ）に示すように、形状予測システム２０の制御部２１は、上記実施形態の学習処理と同様に、骨形状及び外表面のＣＴ画像の取得処理（ステップＳ８−１）、参照相同モデルの生成処理（ステップＳ８−２）、学習個別データにおける相同モデル化処理（ステップＳ８−３）を実行する。更に、制御部２１は、上記実施形態の学習処理と同様に、骨形状を用いたゴム膜の生成処理（ステップＳ８−４）及び肉厚の計測処理（ステップＳ８−５）を実行する。そして、形状予測システム２０の制御部２１は、カップリング学習による配置予測モデルの生成処理を実行する（ステップＳ８−６）。この処理において、制御部２１は、外表面座標ベクトルを説明変数ベクトルとし、肉厚ベクトルを目的変数ベクトルとして用いたカップリング学習を行なって、配置予測モデルを生成する。 Specifically, as shown in FIG. 13A, the control unit 21 of the shape prediction system 20 acquires a CT image of the bone shape and the outer surface in the same manner as the learning process of the above embodiment (step S8-). 1), the reference homology model generation process (step S8-2), and the homology modeling process for the individual learning data (step S8-3) are executed. Further, the control unit 21 executes a rubber film generation process (step S8-4) and a wall thickness measurement process (step S8-5) using the bone shape, as in the learning process of the above embodiment. Then, the control unit 21 of the shape prediction system 20 executes the generation processing of the arrangement prediction model by the coupling learning (step S8-6). In this process, the control unit 21 performs coupling learning using the outer surface coordinate vector as the explanatory variable vector and the wall thickness vector as the objective variable vector to generate an arrangement prediction model.
そして、図１３（ｂ）に示すように、予測処理においては、形状予測システム２０の制御部２１は、予測対象外表面の３Ｄスキャン処理を実行する（ステップＳ９−１）。具体的には、制御部２１の予測管理部２１６は、予測対象の外表面のＣＴ画像を、入力装置Ｈ１２を介して取得し、外表面の３次元形状を生成し、外表面データを取得する。 Then, as shown in FIG. 13B, in the prediction process, the control unit 21 of the shape prediction system 20 executes a 3D scan process of the surface outside the prediction target (step S9-1). Specifically, the prediction management unit 216 of the control unit 21 acquires a CT image of the outer surface to be predicted via the input device H12, generates a three-dimensional shape of the outer surface, and acquires outer surface data. ..
次に、形状予測システム２０の制御部２１は、予測対象データにおける相同モデル化処理を実行する（ステップＳ９−２）。具体的には、制御部２１の相同化処理部２１３は、取得した予測対象の外表面データを用いて、学習個別データにおける相同モデル化処理と同様に、外表面における特徴点の特定処理、特徴点の正規化処理、特徴メッシュ点の移動処理、他のメッシュ点の補間処理及び最急降下法を用いてメッシュの均等化処理（ステップＳ３−１〜Ｓ３−５）を実行する。 Next, the control unit 21 of the shape prediction system 20 executes a homology modeling process on the prediction target data (step S9-2). Specifically, the homology processing unit 213 of the control unit 21 uses the acquired outer surface data of the prediction target to identify and feature the feature points on the outer surface in the same manner as the homology modeling process in the individual learning data. The mesh equalization process (steps S3-1 to S3-5) is executed by using the point normalization process, the feature mesh point movement process, the interpolation process of other mesh points, and the steepest descent method.
次に、形状予測システム２０の制御部２１は、ステップＳ７−４と同様に、各メッシュ点の座標における肉厚の予測処理を実行する（ステップＳ９−３）。この場合、制御部２１は、予測対象の外表面の座標ベクトルを入力データとして、肉厚ベクトルを算出する。 Next, the control unit 21 of the shape prediction system 20 executes the wall thickness prediction process at the coordinates of each mesh point in the same manner as in step S7-4 (step S9-3). In this case, the control unit 21 calculates the wall thickness vector using the coordinate vector of the outer surface of the prediction target as input data.
次に、形状予測システム２０の制御部２１は、外表面から肉厚を引いてゴム膜の生成処理を実行する（ステップＳ９−４）。
これにより、外表面から、ゴム膜で覆った骨形状を予測することができる。
また、第１立体形状及び第２立体形状は、頭蓋骨及び頭部の外表面に限らず、人体の骨形状及び外表面であってもよい。この場合、やせ型や肥満型等、体型に応じた肉厚を予測する予測モデルを生成してもよい。そして、同じ人体の骨形状に、体型に応じた外表面を予測して、痩せた場合や太った場合の体型を予測してもよい。
更に、予測する第２立体形状は、第１立体形状の外側又は内側に配置される場合に限られない。例えば、川の表面の波形状（第１立体形状）から、川底の形状（第２立体形状）を予測してもよい。
Next, the control unit 21 of the shape prediction system 20 subtracts the wall thickness from the outer surface and executes the rubber film formation process (step S9-4).
Thereby, the bone shape covered with the rubber film can be predicted from the outer surface.
Further, the first three-dimensional shape and the second three-dimensional shape are not limited to the skull and the outer surface of the head, but may be the bone shape and the outer surface of the human body. In this case, a prediction model for predicting the wall thickness according to the body type, such as a thin type or an obese type, may be generated. Then, the outer surface of the same human body may be predicted according to the body shape to predict the body shape when the body is thin or fat.
Further, the predicted second three-dimensional shape is not limited to the case where it is arranged outside or inside the first three-dimensional shape. For example, the shape of the riverbed (second three-dimensional shape) may be predicted from the wave shape (first three-dimensional shape) on the surface of the river.
・上記実施形態においては、ゴム膜フィッティング処理（ステップＳ４−２）において、形状予測システム２０の制御部２１は、球面メッシュの均等分割処理及びメッシュの縮小移動処理を実行する（ステップＳ５−１，Ｓ５−２）。この場合、眼窩等の欠落領域と、頬等の窪み領域とを区別してゴム膜をフィッティングさせてもよい。例えば、メッシュの縮小移動処理（ステップＳ５−２）において、各メッシュ間の引力（第１引力）とともに、頭蓋骨（第１立体形状）とメッシュ点との間で引力（第２引力）を作用させる。この場合には、窪み領域は、第２引力により骨に近づくが、欠落領域は骨がないため、第２引力は作用せず、第１引力のみで配置が決まる。これにより、ゴム膜のフィッティングの精度を改善できる。 In the above embodiment, in the rubber film fitting process (step S4-2), the control unit 21 of the shape prediction system 20 executes an even division process of the spherical mesh and a reduction movement process of the mesh (step S5-1, 1). S5-2). In this case, the rubber film may be fitted by distinguishing the missing region such as the orbit from the recessed region such as the cheek. For example, in the mesh reduction / movement process (step S5-2), an attractive force (second attractive force) is applied between the skull (first three-dimensional shape) and the mesh points together with the attractive force (first attractive force) between the meshes. .. In this case, the recessed area approaches the bone by the second attractive force, but since the missing area has no bone, the second attractive force does not act and the arrangement is determined only by the first attractive force. As a result, the accuracy of fitting the rubber film can be improved.
・上記実施形態において、形状予測システム２０の制御部２１は、骨形状を用いたゴム膜の生成処理において、骨形状に合わせたゴム膜を生成し、外表面からゴム膜までの肉厚を計測した。制御部２１は、ゴム膜を生成する代わりに、眼窩等の欠落領域と、他の領域とを区別し、領域毎に、肉厚を予測してもよい。この場合、欠落領域の周囲を特定し、欠落領域を塞ぐ形状を設定し、この部材から外表面までの距離を肉厚として計測してもよい。 -In the above embodiment, the control unit 21 of the shape prediction system 20 generates a rubber film that matches the bone shape in the rubber film generation process using the bone shape, and measures the wall thickness from the outer surface to the rubber film. did. Instead of forming a rubber film, the control unit 21 may distinguish a missing region such as an orbit from another region and predict the wall thickness for each region. In this case, the circumference of the missing area may be specified, a shape for closing the missing area may be set, and the distance from this member to the outer surface may be measured as the wall thickness.
・上記実施形態において、形状予測システム２０の制御部２１は、カップリング学習により配置予測モデルを生成した。配置予測モデルの生成は、カップリング学習に限定されるものではない。例えば、従属変数（予測対象特徴量）を用いて説明変数（予測時に使用する特徴量）を算出する重回帰分析や、ニューラルネットワーク等の他の機械学習を用いてもよい。 -In the above embodiment, the control unit 21 of the shape prediction system 20 generated a placement prediction model by coupling learning. The generation of the placement prediction model is not limited to coupling learning. For example, multiple regression analysis that calculates an explanatory variable (feature amount used at the time of prediction) using a dependent variable (feature amount to be predicted), or other machine learning such as a neural network may be used.
２０…形状予測システム、２１…制御部、２２…ＣＴ画像データ記憶部、２３…特徴点データ記憶部、２４…球面メッシュデータ記憶部、２５…モデル記憶部、２１０…学習管理部、２１１…基本モデル生成部、２１２…肉厚計測部、２１３…相同化処理部、２１４…ゴム膜生成部、２１５…機械学習部、２１６…予測管理部、２１７…形状生成部。 20 ... shape prediction system, 21 ... control unit, 22 ... CT image data storage unit, 23 ... feature point data storage unit, 24 ... spherical mesh data storage unit, 25 ... model storage unit, 210 ... learning management unit, 211 ... basic Model generation unit, 212 ... Wall thickness measurement unit, 213 ... Assimilation processing unit, 214 ... Rubber film generation unit, 215 ... Machine learning unit, 216 ... Prediction management unit, 217 ... Shape generation unit.
Claims (11)
入力部、出力部に接続され、前記第２立体形状を予測する制御部とを備えた形状予測システムであって、
前記制御部が、
前記形状情報記憶部に記録された第１立体形状において特徴点を特定し、
前記形状情報記憶部に記録された前記第１立体形状に対して相対的に配置された第２立体形状を用いて、前記第１立体形状の前記特徴点において、前記第２立体形状を予測するための予測モデルを生成する学習処理を実行し、
予測対象の第１立体形状の特徴点を特定し、前記特徴点の配置に前記予測モデルを適用して、前記予測対象の第２立体形状を予測する予測処理を実行することを特徴とする形状予測システム。 A shape information storage unit that stores the first three-dimensional shape of an object and the second three-dimensional shape that is arranged relative to the first three-dimensional shape in association with each other.
A shape prediction system that is connected to an input unit and an output unit and includes a control unit that predicts the second three-dimensional shape.
The control unit
A feature point is specified in the first three-dimensional shape recorded in the shape information storage unit, and the feature point is specified.
Using the second three-dimensional shape arranged relative to the first three-dimensional shape recorded in the shape information storage unit, the second three-dimensional shape is predicted at the feature point of the first three-dimensional shape. Perform a training process to generate a predictive model for
A shape characterized in that a feature point of the first three-dimensional shape of a prediction target is specified, the prediction model is applied to the arrangement of the feature points, and a prediction process for predicting the second three-dimensional shape of the prediction target is executed. Prediction system.
前記第１立体形状を、複数のメッシュ点が設定されたメッシュ膜で覆い、
前記メッシュ点の間で引力を作用させて、前記欠落領域を埋めるように補間することを特徴とする請求項２に記載の形状予測システム。 The control unit
The first three-dimensional shape is covered with a mesh film in which a plurality of mesh points are set.
The shape prediction system according to claim 2, wherein an attractive force is applied between the mesh points to perform interpolation so as to fill the missing region.
前記第２立体形状は、前記骨形状の外側に肉厚を介して形成された外表面形状であることを特徴とする請求項１〜５の何れか１項に記載の形状予測システム。 The first three-dimensional shape is a bone shape and
The shape prediction system according to any one of claims 1 to 5, wherein the second three-dimensional shape is an outer surface shape formed on the outside of the bone shape via a wall thickness.
前記第２立体形状は、前記人体の内側に肉厚を介して配置された骨形状に設定されたメッシュ膜の形状であることを特徴とする請求項１〜５の何れか１項に記載の形状予測システム。 The first three-dimensional shape is the shape of the outer surface of the human body.
The second three-dimensional shape according to any one of claims 1 to 5, wherein the second three-dimensional shape is a shape of a mesh film set to a bone shape arranged inside the human body via a wall thickness. Shape prediction system.
入力部、出力部に接続された制御部とを備えた形状予測システムを用いて、前記第２立体形状を予測する方法であって、
前記制御部が、
前記形状情報記憶部に記録された第１立体形状において特徴点を特定し、
前記形状情報記憶部に記録された前記第１立体形状に対して相対的に配置された第２立体形状を用いて、前記第１立体形状の前記特徴点において、前記第２立体形状を予測するための予測モデルを生成する学習処理を実行し、
予測対象の第１立体形状の特徴点を特定し、前記特徴点の配置に前記予測モデルを適用して、前記予測対象の第２立体形状を予測する予測処理を実行することを特徴とする形状予測方法。 A shape information storage unit that stores the first three-dimensional shape of an object and the second three-dimensional shape that is arranged relative to the first three-dimensional shape in association with each other.
This is a method of predicting the second three-dimensional shape by using a shape prediction system including an input unit and a control unit connected to an output unit.
The control unit
A feature point is specified in the first three-dimensional shape recorded in the shape information storage unit, and the feature point is specified.
The second three-dimensional shape is predicted at the feature point of the first three-dimensional shape by using the second three-dimensional shape that is arranged relative to the first three-dimensional shape recorded in the shape information storage unit. Perform a training process to generate a predictive model for
A shape characterized in that a feature point of the first three-dimensional shape to be predicted is specified, the prediction model is applied to the arrangement of the feature points, and a prediction process for predicting the second three-dimensional shape of the prediction target is executed. Prediction method.
入力部、出力部に接続された制御部とを備えた形状予測システムを用いて、前記第２立体形状を予測するためのプログラムであって、
前記制御部を、
前記形状情報記憶部に記録された第１立体形状において特徴点を特定し、
前記形状情報記憶部に記録された前記第１立体形状に対して相対的に配置された第２立体形状を用いて、前記第１立体形状の前記特徴点において、前記第２立体形状を予測するための予測モデルを生成する学習処理を実行し、
予測対象の第１立体形状の特徴点を特定し、前記特徴点の配置に前記予測モデルを適用して、前記予測対象の第２立体形状を予測する予測処理を実行する手段として機能させることを特徴とする形状予測プログラム。 A shape information storage unit that stores the first three-dimensional shape of an object and the second three-dimensional shape that is arranged relative to the first three-dimensional shape in association with each other.
It is a program for predicting the second three-dimensional shape by using a shape prediction system including an input unit and a control unit connected to an output unit.
The control unit
A feature point is specified in the first three-dimensional shape recorded in the shape information storage unit, and the feature point is specified.
The second three-dimensional shape is predicted at the feature point of the first three-dimensional shape by using the second three-dimensional shape that is arranged relative to the first three-dimensional shape recorded in the shape information storage unit. Perform a training process to generate a predictive model for
To identify the feature points of the first three-dimensional shape of the prediction target, apply the prediction model to the arrangement of the feature points, and make the prediction process function as a means for predicting the second three-dimensional shape of the prediction target. Characteristic shape prediction program.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019102844A JP6751540B1 (en) | 2019-05-31 | 2019-05-31 | Shape prediction system, shape prediction method and shape prediction program |
| CN202010407977.0A CN112017096A (en) | 2019-05-31 | 2020-05-14 | Shape prediction system, shape prediction method, and computer-readable medium |
| KR1020200059225A KR102413589B1 (en) | 2019-05-31 | 2020-05-18 | Shape prediction system, shape prediction method, and computer-readable medium storing shape prediction program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019102844A JP6751540B1 (en) | 2019-05-31 | 2019-05-31 | Shape prediction system, shape prediction method and shape prediction program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP6751540B1 true JP6751540B1 (en) | 2020-09-09 |
| JP2020197845A JP2020197845A (en) | 2020-12-10 |
Family
ID=72333421
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019102844A Active JP6751540B1 (en) | 2019-05-31 | 2019-05-31 | Shape prediction system, shape prediction method and shape prediction program |
Country Status (3)
| Country | Link |
|---|---|
| JP (1) | JP6751540B1 (en) |
| KR (1) | KR102413589B1 (en) |
| CN (1) | CN112017096A (en) |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6443232A (en) * | 1987-08-10 | 1989-02-15 | Toshiba Corp | Automatic face restoration simulator |
| JPH06189126A (en) * | 1992-12-21 | 1994-07-08 | Fuji Xerox Co Ltd | Method and device for image processing |
| US7693563B2 (en) * | 2003-01-30 | 2010-04-06 | Chase Medical, LLP | Method for image processing and contour assessment of the heart |
| JP2005074136A (en) * | 2003-09-03 | 2005-03-24 | Japan Science & Technology Agency | Modeling method of face profile and program for modeling face profile |
| WO2006051607A1 (en) * | 2004-11-12 | 2006-05-18 | Omron Corporation | Face feature point detector and feature point detector |
| US8107735B2 (en) * | 2007-04-10 | 2012-01-31 | Denso Corporation | Three dimensional shape reconstitution device and estimation device |
| JP6260146B2 (en) * | 2013-08-28 | 2018-01-17 | 株式会社豊田中央研究所 | Shape state estimation device, shape model generation device, and program |
| CN103679816B (en) * | 2013-12-30 | 2018-09-25 | 北京师范大学 | A kind of area of computer aided Facial restoration method of the unknown body source skull towards criminal investigation |
| JP5937661B2 (en) * | 2014-11-13 | 2016-06-22 | みずほ情報総研株式会社 | Information prediction system, information prediction method, and information prediction program |
| JP5950486B1 (en) * | 2015-04-01 | 2016-07-13 | みずほ情報総研株式会社 | Aging prediction system, aging prediction method, and aging prediction program |
| WO2017006615A1 (en) * | 2015-07-09 | 2017-01-12 | みずほ情報総研 株式会社 | Aging prediction system, aging prediction method, and aging prediction program |
| CN106485667B (en) * | 2015-09-02 | 2019-11-08 | 北京师范大学 | A kind of cranium face restored method |
| US10496883B2 (en) * | 2017-01-27 | 2019-12-03 | Signal Processing, Inc. | Method and system for enhancing predictive accuracy of planet surface characteristics from orbit |
| CN107730519A (en) * | 2017-09-11 | 2018-02-23 | 广东技术师范学院 | A kind of method and system of face two dimensional image to face three-dimensional reconstruction |
| CN108376421B (en) * | 2018-02-28 | 2021-05-25 | 浙江神造科技有限公司 | Method for generating human face three-dimensional model based on shadow recovery shape method |
| CN109146818B (en) * | 2018-08-24 | 2022-12-09 | 青岛大学 | Craniofacial statistical restoration method based on geodesic line |
-
2019
- 2019-05-31 JP JP2019102844A patent/JP6751540B1/en active Active
-
2020
- 2020-05-14 CN CN202010407977.0A patent/CN112017096A/en active Pending
- 2020-05-18 KR KR1020200059225A patent/KR102413589B1/en active IP Right Grant
Also Published As
| Publication number | Publication date |
|---|---|
| KR20200137998A (en) | 2020-12-09 |
| KR102413589B1 (en) | 2022-06-27 |
| JP2020197845A (en) | 2020-12-10 |
| CN112017096A (en) | 2020-12-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Bertiche et al. | Pbns: Physically based neural simulator for unsupervised garment pose space deformation | |
| JP5950486B1 (en) | Aging prediction system, aging prediction method, and aging prediction program | |
| CN101751689B (en) | Three-dimensional facial reconstruction method | |
| CN109086711B (en) | Face feature analysis method and device, computer equipment and storage medium | |
| WO2013005447A1 (en) | Face impression analysis method, cosmetic counseling method, and face image generation method | |
| KR101968437B1 (en) | For example, the prediction prediction system, the prediction prediction method and the prediction prediction program | |
| CN110853119B (en) | Reference picture-based makeup transfer method with robustness | |
| JP2024501986A (en) | 3D face reconstruction method, 3D face reconstruction apparatus, device, and storage medium | |
| CN111833236B (en) | Method and device for generating three-dimensional face model for simulating user | |
| JP2020507824A (en) | Electronic device and control method thereof | |
| JP2023524252A (en) | Generative nonlinear human shape model | |
| US20040230545A1 (en) | Method and apparatus for producing three dimensional shapes | |
| Liang et al. | Coupled dictionary learning for the detail-enhanced synthesis of 3-D facial expressions | |
| US20220180607A1 (en) | Method and system for generating a new anatomy | |
| Wagner et al. | Softdeca: Computationally efficient physics-based facial animations | |
| JP6751540B1 (en) | Shape prediction system, shape prediction method and shape prediction program | |
| CN112613445A (en) | Face image generation method and device, computer equipment and storage medium | |
| KR102668161B1 (en) | Facial mesh deformation with fine wrinkles | |
| JP7164008B2 (en) | Data generation method, data generation device and program | |
| US20240221316A1 (en) | System and method for reconstruction of a three-dimensional human head model from a single image | |
| US20230169742A1 (en) | Entirely virtual process for optometric values measurements | |
| CN115972202A (en) | Method, robot, device, medium and product for controlling operation of a robot arm | |
| Burges et al. | Gait Recognition Using Hybrid LSTM-CNN Deep Neural Networks | |
| Kozlov et al. | Data-Driven Physical Face Inversion | |
| JP2023077690A (en) | Classification device configured to execute classification processing using machine learning model, method, and computer program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190531 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190703 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200706 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200714 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200812 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6751540 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |