JP2000346617A - Three-dimensional shape data processor - Google Patents
Three-dimensional shape data processorInfo
- Publication number
- JP2000346617A JP2000346617A JP11160481A JP16048199A JP2000346617A JP 2000346617 A JP2000346617 A JP 2000346617A JP 11160481 A JP11160481 A JP 11160481A JP 16048199 A JP16048199 A JP 16048199A JP 2000346617 A JP2000346617 A JP 2000346617A
- Authority
- JP
- Japan
- Prior art keywords
- image
- data
- dimensional shape
- shape data
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、物体模型を作成す
る際等に必要とされる３次元形状データを出力する３次
元形状データ処理装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a three-dimensional shape data processing device for outputting three-dimensional shape data required for producing an object model or the like.
【０００２】[0002]
【従来の技術】例えば、特開平９−１４５３１９号公報
に開示されるような可搬型の非接触式３次元計測装置
（いわゆる、３次元カメラ）が商品化され、ＣＧ（コン
ピュータグラフィック）システムやＣＡＤシステムへの
データ入力、身体計測、ロボットの視覚認識などに利用
されている。非接触の計測方法としては、スリット光投
影法（光切断法）が一般的であるが、他にもパターン光
投影法、ステレオ視法、干渉縞法などが知られている。2. Description of the Related Art For example, a portable non-contact three-dimensional measuring device (so-called three-dimensional camera) as disclosed in Japanese Patent Application Laid-Open No. 9-145319 has been commercialized, and a CG (computer graphic) system and a CAD have been developed. It is used for data input to the system, body measurement, and visual recognition of robots. As a non-contact measurement method, a slit light projection method (light cutting method) is generally used, but a pattern light projection method, a stereo vision method, an interference fringe method, and the like are also known.
【０００３】また、パーソナルコンピュータで利用可能
な３次元ＣＧソフトウェアやホビー用の小型の３次元切
削マシンが市販されている。これらを用いれば、一般家
庭でも模型や創作物を手軽に製作することができる。[0003] Also, there are commercially available three-dimensional CG software usable for personal computers and small three-dimensional cutting machines for hobbies. If these are used, models and creations can be easily manufactured even in ordinary households.
【０００４】一方、利用客の顔写真シールをその場で作
成する一種の自動販売機が人気を集めている。利用客は
料金分の硬貨を投入し、モニタ画面を見ながらカメラの
前で好みのポーズをとる。そして、所定の操作を行う
と、一定数のシールが並んだシートが作成されて取出口
に排出される。大半の機種では、顔写真の形状や写し込
み模様などについて複数の選択肢が設けられている。[0004] On the other hand, a kind of vending machine for creating a face photograph sticker of a customer on the spot is gaining in popularity. The customer inserts coins for the fee and takes a desired pose in front of the camera while watching the monitor screen. Then, when a predetermined operation is performed, a sheet on which a fixed number of seals are arranged is created and discharged to an outlet. Most models have multiple options for the shape of the facial photograph, the imprint pattern, and the like.
【０００５】[0005]
【発明が解決しようとする課題】上述の３次元計測装置
によれば、写真をとるのと同程度の手軽さで人体を含む
各種人物の形状をデータ化することができる。非接触式
であるので、人体を計測する場合であっても、計測対象
者が煩わしさを感じることはない。そこで、この３次元
計測装置を顔写真ならぬ顔面模型の作成に利用すること
が考えられる。つまり、３次元加工機と組み合わせれ
ば、人物の顔を計測してその場で適当な倍率の模型を作
成することが可能である。According to the three-dimensional measuring apparatus described above, it is possible to convert the shapes of various persons including a human body into data with the same ease as taking a photograph. Since it is a non-contact type, even when measuring a human body, the person to be measured does not feel troublesome. Therefore, it is conceivable to use this three-dimensional measuring device for creating a facial model that is not a facial photograph. That is, when combined with a three-dimensional processing machine, it is possible to measure a person's face and create a model with an appropriate magnification on the spot.
【０００６】ところが、人体頭部を光学式の３次元計測
装置により測定する際、髪などの低反射率の部分ではそ
の形状を測定できないことが多い。この場合、頭部の形
状データが欠損することになる。However, when measuring the human head with an optical three-dimensional measuring device, it is often impossible to measure the shape of a part such as hair having a low reflectance. In this case, the head shape data is lost.
【０００７】これを防止するために、３次元計測装置に
よる測定と同時にカラー画像を撮影しておき、そのカラ
ー画像から髪形状を生成し、形状データの欠損部分を補
間する方法が考えられる。In order to prevent this, a method is conceivable in which a color image is photographed simultaneously with the measurement by the three-dimensional measuring device, a hair shape is generated from the color image, and a missing portion of the shape data is interpolated.
【０００８】しかしながら、３次元計測装置は独自に測
定用光源を備えているため、人体頭部の照明条件に関わ
りなく一定精度の測定が可能であるのに対し、カラー画
像から生成される部分の形状は照明条件の変動により変
形しやすくなるという問題がある。この場合、３次元計
測装置によって測定されたデータ部分が人体頭部の形状
に即した正確な形状データであるため、照明条件の変動
によって生じた変形部分が模型に現わされると視覚的に
目立ちやすく、問題である。[0008] However, the three-dimensional measuring device has its own light source for measurement, so that it is possible to perform measurement with a constant accuracy irrespective of the lighting conditions of the human head. There is a problem that the shape is easily deformed due to a change in illumination conditions. In this case, since the data portion measured by the three-dimensional measuring device is accurate shape data according to the shape of the human head, when a deformed portion caused by a change in the lighting condition appears on the model, it is visually recognized. Prominent and problematic.
【０００９】また、毛髪の色は各人によって異なるとと
もに、毛髪の一部分に着色を施している場合もある。こ
の場合、カラー画像から生成される毛髪部分の形状は毛
髪の色による影響も受けることになり、毛髪の色の変化
によって変形しやすくなり、問題となる。[0009] The color of the hair varies from person to person, and a part of the hair may be colored. In this case, the shape of the hair portion generated from the color image is also affected by the color of the hair, and the hair is easily deformed due to a change in the color of the hair, which is a problem.
【００１０】そこで、本発明は、上記課題に鑑みてなさ
れたものであって、対象となる物体に対する照明状態の
変動による影響を受けず、また、物体が人体頭部である
場合にはさらに毛髪の色の変化による影響も受けること
のない３次元形状データ処理装置を提供することを目的
とする。SUMMARY OF THE INVENTION The present invention has been made in view of the above problems, and is not affected by fluctuations in the lighting state of a target object, and further includes a hair when the object is a human head. It is an object of the present invention to provide a three-dimensional shape data processing device which is not affected by a change in the color of the data.
【００１１】[0011]
【課題を解決するための手段】上記目的を達成するため
に、請求項１に記載の発明は、物体に関する３次元形状
データを出力する３次元形状データ処理装置であって、
前記物体に関する所定の画像を取り込む際の基準照明状
態からの照明変化率を求める照明変化率算出手段と、前
記照明変化率に応じて前記画像のうち少なくとも特定領
域に含まれる画素のデータを修正する修正手段と、前記
修正手段において修正された画像の特性に基づいて、前
記３次元形状データを生成するデータ生成手段とを備え
ている。According to one aspect of the present invention, there is provided a three-dimensional shape data processing apparatus for outputting three-dimensional shape data relating to an object.
Means for calculating an illumination change rate from a reference illumination state when capturing a predetermined image of the object; and correcting data of pixels included in at least a specific region in the image according to the illumination change rate. And a data generation unit for generating the three-dimensional shape data based on the characteristics of the image corrected by the correction unit.
【００１２】請求項２に記載の発明は、物体に関する３
次元形状データを出力する３次元形状データ処理装置で
あって、前記物体に関して得られる所定の画像の特定領
域について、物体の反射率によって生じる反射成分を抽
出する反射成分抽出手段と、前記反射成分に応じて前記
画像のうちの少なくとも前記特定領域に含まれる画素の
データを修正する修正手段と、前記修正手段において修
正された画像の特性に基づいて、前記３次元形状データ
を生成するデータ生成手段とを備えている。According to the second aspect of the present invention, there is provided a method for controlling
A three-dimensional shape data processing device for outputting three-dimensional shape data, wherein, for a specific region of a predetermined image obtained with respect to the object, a reflection component extracting means for extracting a reflection component caused by a reflectance of the object; Correction means for correcting data of pixels included in at least the specific region of the image in response thereto; and data generation means for generating the three-dimensional shape data based on characteristics of the image corrected by the correction means. It has.
【００１３】請求項３に記載の発明は、請求項２に記載
の３次元形状データ処理装置において、前記画像を取り
込む際の基準照明状態からの照明変化率を求める照明変
化率算出手段をさらに備え、前記修正手段が、前記反射
成分と前記照明変化率とに応じて前記画像のうちの少な
くとも前記特定領域に含まれる画素のデータを修正する
ものであることを特徴としている。According to a third aspect of the present invention, in the three-dimensional shape data processing apparatus according to the second aspect, an illumination change rate calculating means for obtaining an illumination change rate from a reference illumination state at the time of capturing the image is further provided. The correction means corrects data of pixels included in at least the specific region of the image according to the reflection component and the illumination change rate.
【００１４】請求項４に記載の発明は、請求項１または
請求項３に記載の３次元形状データ処理装置において、
前記照明変化率算出手段が、前記物体に対する初期照明
状態を前記基準照明状態として予め記憶しておく手段
と、前記物体に関する前記所定の画像を取り込む際の照
明状態と、前記初期照明状態とに基づいて前記照明変化
率を求める演算手段とを備えている。According to a fourth aspect of the present invention, in the three-dimensional shape data processing apparatus according to the first or third aspect,
The illumination change rate calculation unit stores, in advance, an initial illumination state for the object as the reference illumination state, an illumination state when capturing the predetermined image regarding the object, and the initial illumination state. Computing means for calculating the illumination change rate.
【００１５】請求項５に記載の発明は、請求項１または
請求項３に記載の３次元形状データ処理装置において、
前記照明変化率算出手段が、前記物体に関して得られる
画像の特定領域に含まれる画素のデータから前記照明変
化率の推定値を演算により求め、当該推定値を前記照明
変化率とすることを特徴としている。According to a fifth aspect of the present invention, in the three-dimensional shape data processing apparatus according to the first or third aspect,
The illumination change rate calculating means obtains an estimated value of the illumination change rate from data of pixels included in a specific region of an image obtained with respect to the object by calculation, and sets the estimated value as the illumination change rate. I have.
【００１６】請求項６に記載の発明は、請求項１ないし
請求項５のいずれかに記載の３次元形状データ処理装置
において、計測基準点から前記物体の計測点までの距離
情報を含む３次元の距離画像データと、前記距離画像デ
ータと対応づけ可能なデータであって、前記物体の２次
元画像に関する２次元画像データとを入力し、前記デー
タ生成手段が、前記修正手段において修正された前記２
次元画像の特性に基づいて前記距離画像データをデータ
加工することにより、前記３次元形状データを生成する
ことを特徴としている。According to a sixth aspect of the present invention, in the three-dimensional shape data processing apparatus according to any one of the first to fifth aspects, the three-dimensional shape data processing apparatus includes distance information from a measurement reference point to a measurement point of the object. The distance image data and data that can be associated with the distance image data, and two-dimensional image data relating to a two-dimensional image of the object are input, and the data generation unit corrects the data by the correction unit. 2
The three-dimensional shape data is generated by processing the distance image data based on the characteristics of the three-dimensional image.
【００１７】請求項７に記載の発明は、請求項６に記載
の３次元形状データ処理装置において、前記物体が人体
頭部であり、前記特定領域が前記人体頭部についての毛
髪領域であり、前記データ加工が、前記人体頭部の毛髪
部分について得られた前記距離画像データが有する溝の
深さに関するデータの加工であることを特徴としてい
る。According to a seventh aspect of the present invention, in the three-dimensional shape data processing apparatus according to the sixth aspect, the object is a human head, and the specific area is a hair area for the human head, The data processing is processing of data relating to a depth of a groove included in the distance image data obtained for a hair portion of the human head.
【００１８】請求項８に記載の発明は、請求項７に記載
の３次元形状データ処理装置において、前記修正手段に
おいて修正された前記２次元画像に対して所定の処理を
施すことによってエッジ画像を生成するエッジ画像生成
手段をさらに備え、前記データ生成手段が、前記エッジ
画像に基づいて前記距離画像データをデータ加工するこ
とにより、前記３次元形状データを生成することを特徴
とする３次元形状データ処理装置。According to an eighth aspect of the present invention, in the three-dimensional shape data processing apparatus according to the seventh aspect, an edge image is obtained by performing a predetermined process on the two-dimensional image corrected by the correction means. Further comprising edge image generating means for generating, wherein the data generating means generates the three-dimensional shape data by processing the distance image data based on the edge image. Processing equipment.
【００１９】請求項９に記載の発明は、請求項１に記載
の３次元形状データ処理装置において、前記所定の画像
に基づいて複数の色度画像を生成する色度画像生成手段
と、前記修正手段において修正された画像に対して所定
の処理を施すことによってエッジ画像を生成するととも
に、当該エッジ画像を各色度画像に基づいて補正するエ
ッジ画像生成手段とをさらに備え、前記データ生成手段
が、前記エッジ画像生成手段において補正された前記エ
ッジ画像に基づいて、前記３次元形状データを生成する
ことを特徴としている。According to a ninth aspect of the present invention, in the three-dimensional shape data processing apparatus according to the first aspect, a chromaticity image generating means for generating a plurality of chromaticity images based on the predetermined image; An edge image is generated by performing predetermined processing on the image corrected by the means, and further comprising an edge image generating means for correcting the edge image based on each chromaticity image, wherein the data generating means, The three-dimensional shape data is generated based on the edge image corrected by the edge image generating means.
【００２０】[0020]
【発明の実施の形態】＜１．第１の実施の形態＞まず、
本発明の第１の実施の形態について図面を参照しつつ説
明する。DESCRIPTION OF THE PREFERRED EMBODIMENTS <1. First Embodiment> First,
A first embodiment of the present invention will be described with reference to the drawings.
【００２１】＜１−１．立体模型作成装置の構成＞図１
は本発明に係る立体模型作成装置１の外観図である。<1-1. Configuration of three-dimensional model making device> FIG.
1 is an external view of a three-dimensional model creation device 1 according to the present invention.
【００２２】立体模型作成装置１は、物体形状を計測
し、その計測データに基づいて素材をその場で加工する
機能を有しており、利用客の顔をかたどった小物品の自
動販売機として使用される。作成される物品は、所定形
状（例えば四角形）の板面から顔面の模型が突き出た立
体である。板面（背景部分）に特定の起伏模様を付加す
ることも可能である。このような物品に適当な金具を取
り付ければ、ペンダント、ブローチ、キーホルダなどの
アクセサリーとなる。予め素材に金具を取り付けておい
てもよい。The three-dimensional model forming apparatus 1 has a function of measuring the shape of an object and processing the material on the spot based on the measurement data, and is used as a vending machine for small articles in the shape of a customer's face. used. The created article is a three-dimensional object in which a model of the face protrudes from a plate of a predetermined shape (for example, a square). It is also possible to add a specific undulating pattern to the plate surface (background portion). If an appropriate metal fitting is attached to such an article, it becomes an accessory such as a pendant, a broach, or a key holder. A metal fitting may be attached to the material in advance.
【００２３】ほぼ等身大の筐体１０の上半部の前面に、
利用客がポーズを確認するためのディスプレイ１６とと
もに、光学式３次元計測のための投光窓１２および受光
窓１４が設けられている。受光窓１４は２次元のカラー
撮影にも用いられる。筐体１０の下半部は上半部よりも
前方側に張り出しており、その上面が操作パネル１８と
なっている。商品の取出口２０は下半部の前面に設けら
れている。On the front surface of the upper half of the substantially life-size housing 10,
A light emitting window 12 and a light receiving window 14 for optical three-dimensional measurement are provided together with a display 16 for a user to check a pose. The light receiving window 14 is also used for two-dimensional color photography. The lower half of the housing 10 projects forward from the upper half, and the upper surface thereof is an operation panel 18. The product outlet 20 is provided on the front surface of the lower half.
【００２４】図２は操作パネル１８の平面図である。FIG. 2 is a plan view of the operation panel 18.
【００２５】操作パネル１８には、スタートボタン１８
１、確認ボタン１８２、キャンセルボタン１８３、ジョ
イスティック１８４および硬貨の投入口１８５が設けら
れている。スタートボタン１８１はスタート操作手段で
あり、確認ボタン１８２は確認操作手段である。ジョイ
スティック１８４は模型の構図の変更指示に用いられ
る。左右に傾けるパン操作、上下に傾けるチルト操作、
および、ノブを回転させるロール操作に呼応して３次元
形状モデルの回転処理が行われ、処理結果が逐次表示さ
れる。また、キャンセルボタン１８３は、利用客が表示
された３次元形状モデルが気に入らないときなどに再計
測を指示するための操作手段である。ただし、キャンセ
ルボタン１８３には有効回数が設定されており、無制限
に再計測を指示することはできない。The operation panel 18 has a start button 18
1, a confirmation button 182, a cancel button 183, a joystick 184, and a coin slot 185 are provided. The start button 181 is a start operation unit, and the confirmation button 182 is a confirmation operation unit. The joystick 184 is used for changing the composition of the model. Pan operation to tilt left and right, tilt operation to tilt up and down,
In addition, the rotation processing of the three-dimensional shape model is performed in response to the roll operation of rotating the knob, and the processing results are sequentially displayed. The cancel button 183 is an operation unit for instructing re-measurement when the user does not like the displayed three-dimensional shape model. However, the number of valid times is set in the cancel button 183, and it is not possible to instruct re-measurement without any restriction.
【００２６】図３は立体模型作成装置１の使用状態の模
式図である。立体模型作成装置１の前方に例えばブルー
の背景幕２が配置されている。利用客３は背景幕２を背
にして立体模型作成装置１に向かって立ち、料金分の硬
貨を投入する。その後に利用客３がスタート操作を行う
と、立体模型作成装置１は正面の一定範囲内に存在する
物体の形状を計測して利用客３の頭部の形状データを取
得するとともに、計測結果を示す３次元形状モデル（例
えば、サーフェスモデル）を表示する。そして、利用客
３が確認操作を行うと、立体模型作成装置１は計測結果
に応じた３次元加工を開始する。数分程度の時間で商品
が完成する。利用客３は取出口２０から商品を取り出
す。FIG. 3 is a schematic diagram of the use state of the three-dimensional model forming device 1. For example, a blue background curtain 2 is arranged in front of the three-dimensional model creation device 1. The customer 3 stands toward the three-dimensional model producing device 1 with the backdrop 2 as a back, and inserts coins for a fee. Thereafter, when the customer 3 performs a start operation, the three-dimensional model creation device 1 measures the shape of an object existing within a certain range in front of the user, acquires the shape data of the head of the customer 3, and outputs the measurement result. The displayed three-dimensional shape model (for example, a surface model) is displayed. Then, when the user 3 performs the confirmation operation, the three-dimensional model creation device 1 starts three-dimensional processing according to the measurement result. The product is completed in a matter of minutes. The user 3 takes out the product from the outlet 20.
【００２７】図４は立体模型作成装置１の機能ブロック
図である。立体模型作成装置１は、模型サイズの３次元
形状モデルを生成するモデリングシステム１Ａと、３次
元形状モデルを顕在化する加工システム１Ｂとから構成
されている。FIG. 4 is a functional block diagram of the three-dimensional model creation device 1. The three-dimensional model creation device 1 includes a modeling system 1A that generates a three-dimensional shape model having a model size, and a processing system 1B that makes the three-dimensional shape model visible.
【００２８】モデリングシステム１Ａは、オリジナル物
体である利用客頭部の外観情報をデジタルデータに変換
（すなわち、データ化）する撮影システム３０を含んで
いる。撮影システム３０は、スリット光投影法で形状情
報をデータ化して、３次元の距離画像データ（いわゆ
る、３次元形状データ）ＤＳを出力する３次元計測装置
３４、色情報をデータ化して２次元画像のカラー画像デ
ータＤＣを出力するする２次元撮影装置３６、および、
コントローラ３８より構成されている。The modeling system 1A includes an imaging system 30 that converts the appearance information of the user's head, which is an original object, into digital data (ie, converts it into data). The photographing system 30 converts the shape information into data by the slit light projection method and outputs three-dimensional distance image data (so-called three-dimensional shape data) DS. The three-dimensional measuring device 34 converts the color information into a two-dimensional image. A two-dimensional photographing device 36 for outputting color image data DC of
It is composed of a controller 38.
【００２９】ここで、距離画像データＤＳはＸＹＺの直
交座標系における座標値として与えられるデータであ
り、３次元計測装置３４内の計測基準点から対象物の当
該計測点までの距離情報を与えるものである。距離画像
データＤＳには、対象物からの反射光の計測データが得
られたか否かを示す有効フラグの情報も含まれる。Here, the distance image data DS is data given as coordinate values in the XYZ orthogonal coordinate system, and gives distance information from a measurement reference point in the three-dimensional measuring device 34 to the measurement point of the object. It is. The distance image data DS also includes information on a valid flag indicating whether measurement data of reflected light from the target object has been obtained.
【００３０】他方、カラー画像データＤＣは、各画素の
３原色データ、すなわち、Ｒ（レッド）、Ｇ（グリー
ン）、Ｂ（ブルー）より成る２次元画像データである。
例えば、撮影システム３０を特開平９−１４５３１９号
公報に開示されている３次元カメラを用いて構成すると
きには、３次元計測と２次元撮影とを同一視点から行う
ことができるため、距離画像データＤＳとカラー画像デ
ータＤＣとの対応付けを極めて容易に行うことができ
る。On the other hand, the color image data DC is two-dimensional image data consisting of three primary color data of each pixel, that is, R (red), G (green), and B (blue).
For example, when the imaging system 30 is configured using the three-dimensional camera disclosed in Japanese Patent Application Laid-Open No. 9-145319, since the three-dimensional measurement and the two-dimensional imaging can be performed from the same viewpoint, the distance image data DS Can be extremely easily associated with the color image data DC.
【００３１】この実施の形態では、カラー画像データＤ
Ｃと距離画像データＤＳとは、同じ画素数の画素データ
から構成されており、同じ指数（座標値）を示す画素が
互いに対応付けされているものとする。このため、一方
の画像において領域または画素が特定されると、他方の
画像においてそれに対応する領域または画素を特定する
ことが可能になっている。In this embodiment, the color image data D
C and the distance image data DS are composed of pixel data having the same number of pixels, and pixels having the same index (coordinate value) are assumed to be associated with each other. For this reason, when a region or a pixel is specified in one image, it is possible to specify a corresponding region or pixel in the other image.
【００３２】なお、３次元計測と２次元撮影とをそれぞ
れ異なる視点で行った場合でも、距離画像データＤＳお
よびカラー画像データＤＣにはそれぞれ視点情報が付加
されており、かつ、３次元計測結果と２次元撮影結果と
の座標の相対関係は既知であるため、距離画像データＤ
Ｓおよびカラー画像データＤＣとの対応付けを支障なく
行うことができる。このような距離画像データＤＳおよ
びカラー画像データＤＣは、後述する３次元形状データ
処理装置４０に入力される。Even when the three-dimensional measurement and the two-dimensional imaging are performed from different viewpoints, the viewpoint information is added to the distance image data DS and the color image data DC, respectively. Since the relative relationship between the coordinates and the two-dimensional imaging result is known, the distance image data D
The association with S and the color image data DC can be performed without any trouble. Such distance image data DS and color image data DC are input to a three-dimensional shape data processing device 40 described later.
【００３３】なお、３次元計測法として、スリット光投
影法に代えて他の手法を用いてもよい。As the three-dimensional measurement method, another method may be used instead of the slit light projection method.
【００３４】３次元形状データ処理装置４０は後述する
画像処理に関する機能的手段を備えており、本発明の中
核部分である。３次元形状データ処理装置４０のコント
ローラ４２は、立体模型作成装置１の全体的な制御をも
担い、撮影システム３０のコントローラ３８および加工
システム１Ｂのコントローラ１７６に適切な指示を与え
る。このコントローラ４２には、ディスプレイ１６およ
び操作入力システム４４が接続されている。操作入力シ
ステム４４は、上述の操作パネル１８と料金受領機構と
からなる。The three-dimensional shape data processing device 40 is provided with functional means relating to image processing described later, and is a core part of the present invention. The controller 42 of the three-dimensional shape data processing device 40 also performs overall control of the three-dimensional model creation device 1 and gives appropriate instructions to the controller 38 of the imaging system 30 and the controller 176 of the processing system 1B. The display 16 and the operation input system 44 are connected to the controller 42. The operation input system 44 includes the above-described operation panel 18 and a fee receiving mechanism.
【００３５】一方、加工システム１Ｂは、樹脂ブロック
などの材料を切削する加工装置１７２、材料の加工位置
への供給と加工品の取出口２０への搬送を行う材料供給
装置１７４、コントローラ１７６、および、取出口セン
サ１７８を備えている。取出口センサ１７８の検出信号
はコントローラ４２に入力される。On the other hand, the processing system 1B includes a processing device 172 for cutting a material such as a resin block, a material supply device 174 for supplying a material to a processing position and transporting a processed product to the outlet 20, a controller 176, and , An outlet sensor 178. The detection signal of the outlet sensor 178 is input to the controller 42.
【００３６】なお、撮影システム３０および加工システ
ム１Ｂの制御をコントローラ４２に受け持たせ、コント
ローラ３８およびコントローラ１７６を省略した回路構
成を採用してもよい。It is also possible to adopt a circuit configuration in which the controller 42 is in charge of the control of the photographing system 30 and the processing system 1B, and the controller 38 and the controller 176 are omitted.
【００３７】以上の構成の立体模型作成装置１において
は、３次元計測装置３４が人体頭部を測定する際、髪な
どの低反射率の部分ではその形状を正常に測定できない
ことが多くなるため、３次元形状データ処理装置４０に
おいて距離画像データの欠損部分をカラー画像データを
用いて補間する。そして、その補間の際には照明光の変
動による影響を低減し、人体頭部のうちの毛髪部分の変
形を防止する。また、加工品として得られる毛髪部分に
毛髪らしさを付加するために、毛髪の流れなどの高周波
成分を付加して形状データのデータ加工を行うのであ
る。In the three-dimensional model forming apparatus 1 having the above configuration, when the three-dimensional measuring apparatus 34 measures the human head, the shape of the part having low reflectance such as hair often cannot be measured normally. In the three-dimensional shape data processing device 40, the missing part of the distance image data is interpolated using the color image data. Then, at the time of the interpolation, the influence of the fluctuation of the illumination light is reduced, and the deformation of the hair portion of the human head is prevented. Further, in order to add a hairiness to a hair portion obtained as a processed product, data processing of shape data is performed by adding a high-frequency component such as hair flow.
【００３８】＜１−２．３次元形状データ処理装置の構
成＞図５は３次元形状データ処理装置４０における本発
明の特徴的部分の一構成例を示したブロック図である。<1-2. Configuration of Three-Dimensional Shape Data Processing Apparatus> FIG. 5 is a block diagram showing a configuration example of a characteristic part of the present invention in a three-dimensional shape data processing apparatus 40.
【００３９】この３次元形状データ処理装置４０は、コ
ントローラ４２の他に画像処理に関する機能的手段とし
て、画像認識部４０１と輝度画像生成部４０２と照明変
化率算出部４０３と修正部４０４とエッジ画像生成部４
０５とデータ生成部４０６と補間部４０７とを備えてい
る。これら各機能的手段は、コントローラ４２によって
動作制御される。The three-dimensional shape data processing apparatus 40 includes image recognition unit 401, luminance image generation unit 402, illumination change rate calculation unit 403, correction unit 404, edge image Generator 4
05, a data generation unit 406, and an interpolation unit 407. The operation of each of these functional units is controlled by the controller 42.
【００４０】画像認識部４０１は、カラー画像データＤ
Ｃを入力し、カラー画像を色成分の相違による画像領域
の抽出手法等を用いて複数の画像部分に領域分割する。
そして、各領域境界を表した境界データｒを補間部４０
７に与える。また、画像認識部４０１は、領域分割によ
って得られた複数の領域のうちから人体頭部の毛髪部分
に対応する毛髪領域を特定する。The image recognizing unit 401 stores the color image data D
C is input, and the color image is region-divided into a plurality of image portions by using an image region extraction method based on a difference in color component.
Then, the boundary data r representing each region boundary is interpolated by the interpolation unit 40.
Give 7 In addition, the image recognition unit 401 specifies a hair region corresponding to a hair portion of the human head from a plurality of regions obtained by the region division.
【００４１】輝度画像生成部４０２はカラー画像データ
ＤＣから輝度画像データＤＬを生成する機能を有する。
カラー画像データＤＣは各画素ごとにＲ，Ｇ，Ｂの各色
成分データが記録された２次元画像データであり、これ
ら色成分から各画素ごとの輝度成分を求めることで輝度
画像を生成するのである。The luminance image generator 402 has a function of generating luminance image data DL from the color image data DC.
The color image data DC is two-dimensional image data in which R, G, and B color component data are recorded for each pixel, and a luminance image is generated by obtaining a luminance component for each pixel from these color components. .
【００４２】照明変化率算出部４０３は、演算部４０３
ａとメモリ４０３ｂとを備えて構成されている。メモリ
４０３ｂは予め参照用物体を撮影対象として取り込んで
求めておいた校正用輝度画像を記憶しておく。つまり、
校正用輝度画像は、装置の電源投入時等における照明の
初期状態で取り込まれた輝度画像であり、メモリ４０３
ｂはそのような照明初期状態を記憶しておく記憶手段と
して機能する。また、演算部４０３ａは、メモリ４０３
ｂに記憶されている初期照明状態（基準照明状態）と、
実際に利用客の人体頭部を撮影した際の輝度画像におけ
る照明状態とから、照明状態の変化率を求める演算手段
となる。具体的には、画像中に利用客の特徴に影響を受
けない参照領域を設定しておき、初期照明状態における
校正用輝度画像中の参照領域と、実際の撮影時における
輝度画像中の参照領域との輝度データから照明変化率を
求めるのである。このようにして求められた照明変化率
は補正係数ｋとして修正部４０４に導かれる。The illumination change rate calculation unit 403 includes a calculation unit 403
a and a memory 403b. The memory 403b stores a calibration luminance image which is obtained in advance by obtaining a reference object as an imaging target. That is,
The calibration luminance image is a luminance image captured in an initial state of illumination when the power of the apparatus is turned on or the like.
b functions as storage means for storing such an initial lighting state. Further, the calculation unit 403a includes a memory 403
b, the initial lighting state (reference lighting state) stored in
It is a calculating means for calculating the rate of change of the lighting condition from the lighting condition in the luminance image when the user's head is actually photographed. Specifically, a reference area that is not affected by the characteristics of the customer is set in the image, and a reference area in the calibration luminance image in the initial illumination state and a reference area in the luminance image during actual shooting are set. Then, the illumination change rate is obtained from the luminance data. The illumination change rate thus obtained is guided to the correction unit 404 as a correction coefficient k.
【００４３】修正部４０４は、照明変化率算出部４０３
から得られる補正係数ｋに応じて輝度画像ＤＬに含まれ
る画素のうち少なくとも毛髪領域として特定された画像
領域中に含まれる画素の輝度データを補正（修正）する
ことで修正画像データＤＫを生成する。このようにして
生成される修正画像は、利用客の撮影時に照明状態が初
期状態から変動していた場合にその変動分が補正された
画像となっており、修正画像データＤＫはエッジ画像生
成部４０５に導かれる。なお、修正部４０４においては
輝度画像に含まれる全ての画素について輝度データを補
正するようにしてもよいが、後述するデータ生成部４０
６において使用されるデータは毛髪領域についてのデー
タのみであるため、少なくとも毛髪領域について輝度デ
ータの補正が行われればよい。The correction unit 404 includes an illumination change rate calculation unit 403
The corrected image data DK is generated by correcting (correcting) the luminance data of at least the pixels included in the image region specified as the hair region among the pixels included in the luminance image DL in accordance with the correction coefficient k obtained from the above. . The corrected image generated in this way is an image in which the amount of change has been corrected when the illumination state has changed from the initial state at the time of photographing the customer, and the corrected image data DK is an edge image generation unit. 405. Note that the correction unit 404 may correct the luminance data for all the pixels included in the luminance image.
Since the data used in 6 is only the data for the hair region, it is sufficient that the luminance data is corrected at least for the hair region.
【００４４】エッジ画像生成部４０５は修正画像データ
ＤＫからエッジ画像データＤＥの生成を行う機能を有し
ている。そして生成されるエッジ画像データＤＥはデー
タ生成部４０６に導かれる。The edge image generation section 405 has a function of generating edge image data DE from the modified image data DK. The generated edge image data DE is guided to the data generation unit 406.
【００４５】補間部４０７は、領域分割によって得られ
る各領域間の境界データｒと距離画像データＤＳの有効
なデータとから距離画像データＤＳのデータ欠損部分を
補間する機能を有している。この補間部により、毛髪部
分などのデータ欠損部分の概略形状（低周波成分）が再
現され、補間距離画像データＤＨが生成されることにな
る。The interpolating section 407 has a function of interpolating the data missing portion of the distance image data DS from the boundary data r between the regions obtained by the region division and the effective data of the distance image data DS. By this interpolation unit, the approximate shape (low-frequency component) of a data-deficient portion such as a hair portion is reproduced, and interpolation distance image data DH is generated.
【００４６】データ生成部４０６は、エッジ画像データ
ＤＥにおける毛髪領域の各画素に対応するエッジ強度に
基づいて補間距離画像データＤＨのデータ加工を行うこ
とで毛髪領域についての詳細形状（高周波成分）が再現
された３次元形状データＤＭを生成する機能を有してい
る。The data generation unit 406 performs data processing of the interpolation distance image data DH based on the edge strength corresponding to each pixel of the hair region in the edge image data DE, so that the detailed shape (high-frequency component) of the hair region is obtained. It has a function of generating reproduced three-dimensional shape data DM.
【００４７】このように、この実施の形態における３次
元形状データ処理装置４０は、照明変化率算出部４０３
が利用客に対する照明状態が初期状態からどれだけ変化
しているかを示す照明変化率を求め、修正部４０４がこ
の照明変化率に応じて輝度画像を補正することにより照
明変化による影響を除去した修正画像ＤＫを生成するよ
うに構成されているため、データ生成部４０６で生成さ
れる３次元形状データＤＭには照明の変化による変形は
含まれず、利用客の頭部形状に忠実な形状データを生成
することが可能なように実現されている。As described above, the three-dimensional shape data processing device 40 according to this embodiment includes the illumination change rate calculating section 403.
Calculates the illumination change rate indicating how much the illumination state for the user has changed from the initial state, and the correction unit 404 corrects the luminance image according to the illumination change rate to remove the influence of the illumination change. Since it is configured to generate the image DK, the three-dimensional shape data DM generated by the data generation unit 406 does not include a deformation due to a change in illumination, and generates shape data that is faithful to the shape of the user's head. It is realized so that it is possible.
【００４８】なお、上記の各機能的手段はハードウェア
構成で実現される場合だけでなく、少なくとも１つのＣ
ＰＵが所定のプログラムを実行することによって実現さ
れる機能であってもよいことは言うまでもない。また、
３次元形状データ処理装置４０には、上記の各機能的手
段以外にも平滑化処理等の他の処理を行う機能的要素が
含まれるが、それらについては図示を省略している。It should be noted that each of the above-described functional means is not limited to the case where it is realized by a hardware
It goes without saying that the PU may be a function realized by executing a predetermined program. Also,
The three-dimensional shape data processing device 40 includes functional elements for performing other processing such as smoothing processing in addition to the above-described functional means, but these are not shown.
【００４９】＜１−３．立体模型作成装置の概略動作＞
次に、立体模型作成装置１の全体的な動作について簡単
に説明する。図６は立体模型作成装置１の概略の動作を
示すフローチャートである。<1-3. Schematic operation of three-dimensional model creation device>
Next, the overall operation of the three-dimensional model creation device 1 will be briefly described. FIG. 6 is a flowchart showing a schematic operation of the three-dimensional model creation device 1.
【００５０】電源が投入された後、まず、前処理を行う
（ステップＳＴ１０）。前処理は、利用客に対して立体
模型作成装置１を使用可能とする前に予め行う処理であ
って、初期照明状態におけるカラー画像の取り込みを行
う処理である。すなわち、この前処理においては、図３
に示す利用客３の代わりに参照用物体として校正用の頭
部オブジェクトを立体模型作成装置１の前方に設置し、
初期照明条件下でカラー画像の撮影を行い、３次元形状
データ処理装置４０においてその初期照明状態を記録し
たカラー画像から校正用輝度画像を生成してメモリ４０
３ｂに記憶させておく。After the power is turned on, first, preprocessing is performed (step ST10). The pre-process is a process that is performed in advance before the three-dimensional model creation device 1 is made available to a user, and is a process that captures a color image in an initial illumination state. That is, in this preprocessing, FIG.
A head object for calibration is installed in front of the three-dimensional model creation device 1 as a reference object instead of the user 3 shown in FIG.
A color image is photographed under initial illumination conditions, and a calibration luminance image is generated from the color image in which the initial illumination state is recorded in the three-dimensional shape data processing device 40, and the memory 40
3b.
【００５１】図７はこの実施の形態において撮影される
カラー画像を示す図であり、（ａ）に示すカラー画像が
前処理（ステップＳＴ１０）において校正用頭部オブジ
ェクトを設置して得られる画像である。なお、図７
（ａ）において点線で示した領域は、背景幕２が撮影さ
れた校正用輝度画像の参照領域Ｇ１を示している。一般
に、カラー画像では各画素ごとにＲ，Ｇ，Ｂの３つの色
成分データが得られる。したがって、任意の画素ｉにつ
いての色成分データをＲi，Ｇi，Ｂiとすると、FIG. 7 is a diagram showing a color image photographed in this embodiment. The color image shown in FIG. 7A is an image obtained by setting the calibration head object in the preprocessing (step ST10). is there. FIG.
The area indicated by the dotted line in (a) indicates the reference area G1 of the calibration luminance image in which the background curtain 2 is captured. Generally, in a color image, three color component data of R, G, and B are obtained for each pixel. Therefore, if the color component data for any pixel i is Ri, Gi, Bi,
【００５２】[0052]
【数１】 (Equation 1)
【００５３】の演算を行うことにより色成分データを画
素ｉについての輝度データＩiを得ることができる。そ
して、数１の演算を図７（ａ）のように得られた校正用
のカラー画像を構成する全ての画素について行うこと
で、校正用輝度画像を生成することができるのである。By performing the above operation, the luminance data Ii for the pixel i can be obtained from the color component data. Then, the calculation of Equation 1 is performed on all the pixels constituting the calibration color image obtained as shown in FIG. 7A, so that the calibration luminance image can be generated.
【００５４】前処理（ステップＳＴ１０）が終了する
と、装置前方から校正用頭部オブジェクトを撤去し、利
用客が使用可能な状態とする。そして、利用客による操
作を待つ待機期間において、２次元撮影と撮影結果の表
示とを繰り返す（ステップＳＴ１１，ＳＴ１２，ＳＴ１
４）。また、定期的に案内メッセージを表示する。料金
が投入されてスタートボタン１８１が押されると、改め
て２次元撮影を行うとともに３次元計測を行う（ステッ
プＳＴ１６，ＳＴ１８）。このとき得られるカラー画像
は図７（ｂ）に示すように利用客を撮影した画像であ
る。なお、図７（ｂ）において点線で示した領域は、背
景幕２が撮影されたカラー画像の参照領域Ｇ２を示して
おり、図７（ａ）における参照領域Ｇ１と画像位置は一
致している。そして、後述する３次元形状データ処理装
置４０におけるデータ処理を行うことで３次元形状デー
タＤＭを生成し（ステップＳＴ２０）、その３次元形状
データＤＭに基づいて３次元形状モデルを表示する（ス
テップＳＴ２２）。このとき、影を付すといった公知の
グラフィック手法を適用して見栄えを高める。そして、
指示操作を待つ。ただし、待ち時間は有限であり、時限
を過ぎれば確認操作が行われたものとみなされる。When the pre-processing (step ST10) is completed, the head object for calibration is removed from the front of the apparatus, and the user is ready to use. Then, during the waiting period for waiting for the operation by the user, the two-dimensional imaging and the display of the imaging result are repeated (steps ST11, ST12, ST1).
4). In addition, a guidance message is displayed periodically. When a fee is entered and the start button 181 is pressed, two-dimensional imaging is performed again and three-dimensional measurement is performed (steps ST16 and ST18). The color image obtained at this time is an image obtained by photographing the customer as shown in FIG. Note that the area indicated by the dotted line in FIG. 7B indicates the reference area G2 of the color image in which the background curtain 2 has been captured, and the image position matches the reference area G1 in FIG. 7A. . Then, three-dimensional shape data DM is generated by performing data processing in a three-dimensional shape data processing device 40 described later (step ST20), and a three-dimensional shape model is displayed based on the three-dimensional shape data DM (step ST22). ). At this time, the appearance is enhanced by applying a known graphic method such as adding a shadow. And
Wait for the instruction operation. However, the waiting time is finite, and it is considered that the confirmation operation has been performed after the time limit.
【００５５】ジョイスティック１８４が操作されると、
上述のように３次元形状モデルを操作に応じて回転させ
て表示する（ステップＳＴ２４，ＳＴ３８）。キャンセ
ルボタン１８３が押されると、待機期間の動作に戻る
（ステップＳＴ４０，ＳＴ１０）。ただし、この場合、
利用客が料金を改めて投入する必要はなく、スタートボ
タン１８１を押せば、再計測が行われる。When the joystick 184 is operated,
As described above, the three-dimensional shape model is rotated and displayed according to the operation (steps ST24 and ST38). When the cancel button 183 is pressed, the operation returns to the operation in the standby period (steps ST40 and ST10). However, in this case,
There is no need for the customer to re-enter the fee, and when the start button 181 is pressed, re-measurement is performed.
【００５６】確認ボタン１８２が押されると（ステップ
ＳＴ２６）、３次元形状モデルに基づいて加工条件デー
タベースを参照して加工制御用のデータを生成し（ステ
ップＳＴ２８）。材料の加工を行う（ステップＳＴ３
０）。加工が終わると、商品を排出し（ステップＳＴ３
２）、取出口センサ１７８によって商品が取り出された
のを確認して待機動作に戻る（ステップＳＴ３４，ＳＴ
１０）。When the confirm button 182 is pressed (step ST26), data for processing control is generated with reference to the processing condition database based on the three-dimensional shape model (step ST28). Processing of material (step ST3)
0). When the processing is completed, the product is discharged (step ST3).
2) After confirming that the product has been taken out by the take-out sensor 178, the process returns to the standby operation (steps ST34 and ST34).
10).
【００５７】＜１−４．３次元形状データ処理装置にお
けるデータ処理＞図８および図９は、３次元形状データ
処理装置４０におけるデータ処理の詳細を示すフローチ
ャートであり、図８のフローチャートは３次元形状デー
タ処理装置４０の全体的な処理手順を示しており、図９
は３次元形状データ処理装置４０における本発明に特有
の処理手順を示している。<1-4. Data Processing in Three-Dimensional Shape Data Processing Apparatus> FIGS. 8 and 9 are flowcharts showing details of data processing in the three-dimensional shape data processing apparatus 40. The flowchart in FIG. FIG. 9 shows an overall processing procedure of the shape data processing device 40, and FIG.
Shows a processing procedure specific to the present invention in the three-dimensional shape data processing device 40.
【００５８】図８に示すように、３次元形状データ処理
装置４０は、カラー画像データＤＣおよび距離画像デー
タＤＳを入力すると、それぞれの画像データに対して平
滑化処理を行って、ノイズによる異常データを取り除く
とともに、細かな凹凸まで過度に再現されることを避け
る（ステップＳＴ２０１）。そして、顔が斜めを向いて
いた場合などにおいて、入力データを加工方向に正対さ
せるように回転処理を行う（ステップＳＴ２０２）。こ
の処理により、例えば、人の顔の耳の下が陰になって計
測できない場合、顔を上向きにして３次元計測をした後
で、通常の正面を向いた顔を表すようにデータを変換で
きる。As shown in FIG. 8, when the three-dimensional shape data processing device 40 receives the color image data DC and the distance image data DS, the three-dimensional shape data processing device 40 performs a smoothing process on each of the image data to obtain abnormal data due to noise. And avoid excessively reproducing fine irregularities (step ST201). Then, when the face is facing obliquely, a rotation process is performed so that the input data is directly opposed to the processing direction (step ST202). By this processing, for example, when measurement cannot be performed because the lower part of the ear of a person's face is shaded, the data can be converted so as to represent a normal frontal face after performing three-dimensional measurement with the face facing upward. .
【００５９】次に、上記の各機能的手段が作用して特徴
的処理であるカラー画像データＤＣを用いて距離画像デ
ータＤＳのデータ欠損部分を再現することで３次元形状
データＤＭを生成するための合成処理が行われる（ステ
ップＳＴ２０３）。なお、この合成処理の詳細について
は後述する。Next, the three-dimensional shape data DM is generated by reproducing the data missing portion of the distance image data DS by using the color image data DC which is a characteristic process by operating the respective functional means. Is performed (step ST203). The details of the combining process will be described later.
【００６０】そして、生成された３次元形状データＤＭ
の高さ方向についての圧縮処理を行って、３次元形状モ
デルの寸法を奥行き方向に縮める処理が行われる（ステ
ップＳＴ２０４）。すなわち、奥行き方向の高低差を小
さくして加工時間を短縮する。また、ペンダントやメダ
ル等の用途では平面的な模型が好適である。圧縮には、
一様圧縮および非一様圧縮のどちらの手法も適用可能で
あり、部分ごとに使い分けることも可能である。Then, the generated three-dimensional shape data DM
Is performed in the height direction to reduce the size of the three-dimensional shape model in the depth direction (step ST204). That is, the height difference in the depth direction is reduced to shorten the processing time. A flat model is suitable for applications such as pendants and medals. For compression,
Either the uniform compression method or the non-uniform compression method can be applied, and it is also possible to use different methods for each part.
【００６１】そして、３次元形状データＤＭにおける背
景部分について他のデータに置き換える背景変換が行わ
れる（ステップＳＴ２０５）。例えば、距離情報におい
て、背景部分は人体頭部よりも極端に奥行きが深いの
で、加工時間を短縮するために奥行きの浅いデータに変
換する。置き換えるデータは、平面データであってもよ
いし、花木などの絵柄や幾何模様を立体的に表した立体
データであってもよい。Then, background conversion for replacing the background portion in the three-dimensional shape data DM with other data is performed (step ST205). For example, in the distance information, the background portion is extremely deeper than the human head, and is converted into data having a small depth in order to reduce the processing time. The data to be replaced may be plane data, or may be three-dimensional data that three-dimensionally represents a picture or a geometric pattern such as a flowering tree.
【００６２】そして、実物大の３次元形状モデルを商品
サイズに適合させるサイズ調整が行われる（ステップＳ
Ｔ２０６）。その後、加工装置１７２の精度にデータ量
を適合させる解像度変換が行われる（ステップＳＴ２０
７）。この処理は、所定格子幅のメッシュを投影して格
子点で再標本化するものであるが、投影する方向は加工
装置１７２における加工形態に応じて予め定められてい
る。解像度変換（データ数変換）の要領としては、ま
ず、加工用の形状モデルの構成点群を点間ピッチとベク
トル変化量とで定義し、ベクトル変化量に対応する点間
ピッチ範囲を予め記憶されている特性データテーブルか
ら読み出して設定する。すなわち、データを間引いてピ
ッチを大きくしたり、データを補間してピッチを小さく
したりする。計測の分解能が十分に大きい場合には、間
引きのみを行えばよい。解像度変換機能を設けておけ
ば、３次元計測装置３４の分解能が限定されないので、
用途に応じて計測手段を取り換えるといった使用形態が
許容されることになる。Then, size adjustment is performed so that the full-size three-dimensional shape model is adapted to the product size (step S).
T206). Thereafter, resolution conversion for adjusting the data amount to the accuracy of the processing device 172 is performed (step ST20).
7). In this process, a mesh having a predetermined grid width is projected and resampled at grid points. The direction of projection is predetermined according to the processing mode of the processing device 172. As a point of the resolution conversion (data number conversion), first, a constituent point group of the shape model for processing is defined by a point-to-point pitch and a vector change amount, and a point-to-point pitch range corresponding to the vector change amount is stored in advance. Read from the characteristic data table and set it. That is, the pitch is increased by thinning out the data, or the pitch is reduced by interpolating the data. When the measurement resolution is sufficiently large, only the thinning may be performed. If the resolution conversion function is provided, the resolution of the three-dimensional measuring device 34 is not limited.
A usage mode in which the measuring means is replaced depending on the application is allowed.
【００６３】そして最後に、３次元形状モデルの基準と
なる位置が加工の基準となる位置に適合するように座標
原点を平行移動させる位置合わせを行う（ステップＳＴ
２０８）。Finally, a position adjustment is performed in which the coordinate origin is translated so that the reference position of the three-dimensional shape model matches the reference position of machining (step ST).
208).
【００６４】次に、３次元形状データ処理装置４０にお
ける本発明に特有の処理手順について図９のフローチャ
ートを参照しつつ説明する。Next, a processing procedure unique to the present invention in the three-dimensional shape data processing device 40 will be described with reference to the flowchart of FIG.
【００６５】まず、３次元形状データ処理装置４０にお
いて画像認識部４０１と補間部４０７とが作用し、カラ
ー画像における異なる色ごとに領域分割を行う（ステッ
プＳＴ５１）。具体的には、画像認識部４０１がカラー
画像中の各画素の色成分を認識して同一若しくは類似の
色パターンである隣接画素を抽出することにより、カラ
ー画像を複数の領域に領域分割する。First, in the three-dimensional shape data processing device 40, the image recognizing unit 401 and the interpolating unit 407 operate to divide an area for each different color in a color image (step ST51). Specifically, the image recognition unit 401 divides the color image into a plurality of regions by recognizing a color component of each pixel in the color image and extracting adjacent pixels having the same or similar color pattern.
【００６６】なお、領域分割を行う手法は上記の手法に
限られず、他の公知の領域分割手法を適用してもよい。
例えば、ディスプレイ１６に撮影したカラー画像を表示
し、利用客がジョイスティック１８４等を操作すること
で背景部分や毛髪部分等のサンプル部分を指定し、画像
認識部４０１がそのサンプル部分と類似する画素の抽出
を行うことによって領域分割を行うようにしてもよい。Note that the method of performing area division is not limited to the above-described method, and other known area division methods may be applied.
For example, the captured color image is displayed on the display 16, and the user operates the joystick 184 or the like to specify a sample portion such as a background portion or a hair portion. Region extraction may be performed by performing extraction.
【００６７】そして、画像認識部４０１はカラー画像に
おける所定の基準位置を含む連続した等色領域の切り出
しを行い、その領域を毛髪領域として特定する（ステッ
プＳＴ５２）。例えば、図７（ｂ）の画像において利用
客の毛髪部分が存在する可能性の高い位置を予め基準位
置として設定しておき、その基準位置の画素データと同
一若しくは類似する色成分の画素であって連続分布する
ものを抽出していくことにより、毛髪領域を特定するこ
とができる。なお、利用客によっては基準位置が毛髪部
分に位置しない場合も存在するため、利用客がディスプ
レイ１６に表示されるカラー画像を視認しつつジョイス
ティック１８４等を操作することで毛髪領域の基準位置
を設定入力するように構成してもよい。Then, the image recognizing section 401 cuts out a continuous equal-color area including a predetermined reference position in the color image, and specifies the area as a hair area (step ST52). For example, in the image of FIG. 7B, a position where the hair part of the user is likely to be present is set in advance as a reference position, and pixels having the same or similar color components as the pixel data at the reference position are set. The hair region can be specified by successively extracting the hair regions. Since the reference position may not be located at the hair portion depending on the user, the user operates the joystick 184 or the like while viewing the color image displayed on the display 16 to set the reference position of the hair region. You may comprise so that it may input.
【００６８】そして、各領域間の境界データｒを用いて
距離画像データＤＳのデータ欠損部分を補間する（ステ
ップＳＴ５３）。つまり、領域分割によって生じた境界
データｒに基づいて補間部４０７が距離画像データＤＳ
のデータ欠損部分である毛髪部分の概略形状（低周波成
分）を復元するのである。補間部４０７において毛髪部
分の概略形状が復元された距離画像データは補間距離画
像データＤＨとしてデータ生成部４０６に与えられる。Then, the data missing portion of the distance image data DS is interpolated using the boundary data r between the regions (step ST53). That is, based on the boundary data r generated by the area division, the interpolation unit 407 generates the distance image data DS
In this case, the general shape (low-frequency component) of the hair portion, which is the data missing portion, is restored. The distance image data in which the approximate shape of the hair portion has been restored in the interpolation unit 407 is provided to the data generation unit 406 as interpolation distance image data DH.
【００６９】次に、輝度画像生成部４０２が作用し、入
力するカラー画像データＤＣの各画素に対応する色成分
データから輝度画像（入力輝度画像）を生成する（ステ
ップＳＴ５４）。すなわち、任意の画素ｉについての色
成分データをＲ'i，Ｇ'i，Ｂ'iとすると、Next, the luminance image generation unit 402 operates to generate a luminance image (input luminance image) from the color component data corresponding to each pixel of the input color image data DC (step ST54). That is, if the color component data for an arbitrary pixel i is R'i, G'i, B'i,
【００７０】[0070]
【数２】 (Equation 2)
【００７１】の演算を行うことにより入力輝度画像にお
ける画素ｉの輝度データＩ'iを得ることができる。そし
て数２の演算を図７（ｂ）のように得られるカラー画像
を構成する全ての画素について行うことで、入力輝度画
像を生成することができるのである。By performing the above operation, the luminance data I′i of the pixel i in the input luminance image can be obtained. The input luminance image can be generated by performing the operation of Expression 2 on all the pixels constituting the color image obtained as shown in FIG. 7B.
【００７２】そして演算部４０３ａは、入力輝度画像か
ら所定位置の画像部分を抜き出すことにより参照領域Ｇ
２（図７（ｂ）参照）を抽出する（ステップＳＴ５
５）。そして演算部４０３ａは、メモリ４０３ｂに格納
されている校正用輝度画像から参照領域Ｇ１（図７
（ａ）参照）に含まれる画素の輝度データＩを読み出
し、入力輝度画素の参照領域Ｇ２に含まれる画素の輝度
データＩ'と、校正用輝度画素における輝度データＩと
に基づいて照明変化率ｋを、The calculating section 403a extracts an image portion at a predetermined position from the input luminance image to thereby obtain the reference area G.
2 (see FIG. 7B) (step ST5).
5). Then, the calculation unit 403a reads the reference area G1 (FIG. 7) from the calibration luminance image stored in the memory 403b.
(See (a)), and reads the luminance data I of the pixel included in the reference area G2 of the input luminance pixel and the illumination change rate k based on the luminance data I of the calibration luminance pixel. To
【００７３】[0073]
【数３】 (Equation 3)
【００７４】により求める（ステップＳＴ５６）。数３
における分母は初期照明状態において撮影された際の輝
度データの総和であり、また、分子は照明状態の変化後
において撮影された際の輝度データの総和であるため、
前処理（ステップＳＴ１０）において取得した照明の初
期状態からの変化率が求められるのである。(Step ST56). Number 3
Since the denominator in is the sum of the luminance data when photographed in the initial lighting state, and the numerator is the sum of the luminance data when photographed after the change in the lighting state,
The rate of change from the initial state of the illumination acquired in the preprocessing (step ST10) is obtained.
【００７５】また、数３においては、利用客によって影
響を受けない背景幕２が撮影された部分を参照領域Ｇ
１，Ｇ２としているため、照明状態の変動成分のみを確
実に検出することができるのである。In equation (3), the part where the background curtain 2 not affected by the user is photographed is referred to as the reference area G.
Since it is 1, G2, only the fluctuation component of the illumination state can be reliably detected.
【００７６】次に、修正部４０４が作用し、照明変化率
算出部４０３から得られる照明変化率ｋを補正係数とし
て、輝度画像データＤＬに含まれる画素の輝度データを
修正（補正）することで修正画像データＤＫを生成する
（ステップＳＴ５７）。具体的には、任意の画素ｉにつ
いての修正画像の輝度データＩ"iは、Next, the correction unit 404 operates to correct (correct) the luminance data of the pixels included in the luminance image data DL using the illumination change rate k obtained from the illumination change rate calculation unit 403 as a correction coefficient. The modified image data DK is generated (step ST57). Specifically, the luminance data I ″ i of the corrected image for an arbitrary pixel i is
【００７７】[0077]
【数４】 (Equation 4)
【００７８】により求められる。なお、数４により修正
画像の輝度データＩ"iを求める際には、少なくとも毛髪
領域に含まれる画素について求めればよい。なぜなら、
毛髪部分の詳細な形状を２次元画像データで再現する際
に、その２次元画像データに含まれる照明光の状態変化
による影響を解消できればよく、毛髪部分以外の部分に
ついては３次元計測装置３４によって正確な形状データ
（距離画像データ）が得られているからである。毛髪領
域についてはステップＳＴ５２で既に特定されているた
め、その領域に含まれる画素について修正を行えばよ
い。また、数４の演算は輝度画像データＤＬを構成する
全ての画素について行ってもよいが、毛髪領域に含まれ
る画素のみについて演算を行うようにすれば、演算処理
の効率化が図られる。Is obtained by Note that, when obtaining the luminance data I ″ i of the corrected image from Expression 4, it is sufficient to obtain at least pixels included in the hair region.
When the detailed shape of the hair portion is reproduced by the two-dimensional image data, it is sufficient that the effect of the change in the state of the illumination light included in the two-dimensional image data can be eliminated. For the portion other than the hair portion, the three-dimensional measuring device 34 This is because accurate shape data (distance image data) is obtained. Since the hair region has already been specified in step ST52, the pixels included in the region may be corrected. Further, the calculation of Expression 4 may be performed on all the pixels constituting the luminance image data DL. However, if the calculation is performed only on the pixels included in the hair region, the efficiency of the calculation process can be increased.
【００７９】そしてエッジ画像生成部４０５が作用し、
修正画像データＤＫからエッジ画像の検出が行われる
（ステップＳＴ５８）。エッジ画像の生成には、一般的
なエッジ画像の生成手法を用いればよい。例えば、Ｓｏ
ｂｅｌのオペレータなどのような一次微分オペレータを
用いて輝度画像を走査することで、エッジ画像が生成さ
れる。このとき生成されるエッジ画像データＤＥにおけ
る各画素のエッジデータｅiは、画素ｉの位置における
エッジの強度を示している。Then, the edge image generation unit 405 operates,
An edge image is detected from the corrected image data DK (step ST58). An edge image may be generated by using a general edge image generation method. For example, So
The edge image is generated by scanning the luminance image using a first derivative operator such as a bel operator. The edge data ei of each pixel in the edge image data DE generated at this time indicates the intensity of the edge at the position of the pixel i.
【００８０】そしてデータ生成部４０６が作用し、補間
距離画像データＤＨに対する自然な毛髪形状の付加、す
なわち、毛髪領域への高周波成分の付加処理が行われ
る。Then, the data generator 406 operates to perform a process of adding a natural hair shape to the interpolation distance image data DH, that is, a process of adding a high-frequency component to the hair region.
【００８１】データ生成部４０６は、まず、距離画像デ
ータＤＳにおけるデータ欠損部分の形状の詳細形状を求
める（ステップＳＴ５９）。すなわち、自然な毛髪らし
さを商品に与えるために、毛髪部分の補間距離画像デー
タＤＨに付加する凹凸形状を求めるのである。この実施
の形態では、エッジ画像における毛髪領域のうちエッジ
データｅiが所定の閾値よりも大きい画素に対してエッ
ジ強度に応じた深さの凹凸形状を付加する。各画素ｉに
対応する部分に彫り込まれる溝の深さｄiは、例えば、The data generation unit 406 first obtains a detailed shape of the data missing portion in the distance image data DS (step ST59). That is, in order to provide natural hairiness to the product, the uneven shape to be added to the interpolation distance image data DH of the hair portion is determined. In this embodiment, an uneven shape having a depth corresponding to the edge strength is added to a pixel of the hair region in the edge image where the edge data ei is larger than a predetermined threshold. The depth di of the groove carved in the portion corresponding to each pixel i is, for example,
【００８２】[0082]
【数５】 (Equation 5)
【００８３】により与えられる。ここで、ｉは毛髪領域
に含まれる任意の画素であり、すなわち色差であり、ま
た、ｅiはエッジ画像における各画素のエッジ強度であ
る。関数ｆ（ｘ）は所定のエッジ強度範囲に対して単調
増加する関数であり、例えばａを任意の正数、ｂを定
数、ｔを閾値とすると、関数ｆ（ｘ）は、Is given by Here, i is an arbitrary pixel included in the hair region, that is, a color difference, and ei is an edge intensity of each pixel in the edge image. The function f (x) is a function that monotonically increases with respect to a predetermined edge intensity range. For example, if a is an arbitrary positive number, b is a constant, and t is a threshold, the function f (x) becomes
【００８４】[0084]
【数６】 (Equation 6)
【００８５】で与えられる。Is given by
【００８６】そしてデータ生成部４０６は、補間距離画
像データＤＨの毛髪領域に対して溝の深さｄiに応じた
凹凸形状のデータを付加することによってデータ加工を
行い、毛髪領域の詳細形状（高周波成分）を再現した３
次元形状データＤＭを生成する（ステップＳＴ６０）。Then, the data generation unit 406 performs data processing by adding data of an uneven shape corresponding to the depth di of the groove to the hair region of the interpolation distance image data DH, thereby obtaining a detailed shape of the hair region (high frequency). 3)
The dimensional shape data DM is generated (step ST60).
【００８７】以上で、この実施の形態における処理が終
了することになり、３次元形状データＤＭは、照明状態
の変動による影響が解消された形状データとなってい
る。With the above, the processing in this embodiment is completed, and the three-dimensional shape data DM is shape data in which the influence of the fluctuation of the illumination state has been eliminated.
【００８８】この実施の形態においては、自然な毛髪ら
しさを形状データに付加するために、２次元画像である
修正画像のエッジ特性に基づいて３次元形状データＤＭ
を生成するように構成している例について説明した。一
般に、毛髪領域における照明光強度が均一なレベルでオ
フセットした場合であっても、２次元画像から得られる
エッジ画像にはそのオフセットによる影響は取り除かれ
ている。しかしながら、照明光強度の変化が均一なレベ
ルでのオフセットだけでなく、一定のゲインで増幅作用
を受けたような変化である場合にはエッジ画像において
それを取り除くことは不可能である。そこで、この実施
の形態では、そのような照明状態の変化による影響をも
解消するために、利用客の影響を受けることのない参照
領域の輝度画像から照明変化率を求め、この照明変化率
に応じて輝度画像を補正することによって照明状態の変
化を解消した輝度画像を生成することにしているのであ
る。In this embodiment, in order to add natural hairiness to the shape data, the three-dimensional shape data DM is based on the edge characteristics of the corrected image which is a two-dimensional image.
The example in which is configured to generate is described. In general, even when the illumination light intensity in the hair region is offset at a uniform level, the influence of the offset is removed from the edge image obtained from the two-dimensional image. However, if the change in the intensity of the illumination light is not only an offset at a uniform level but also a change that has been amplified by a constant gain, it is impossible to remove it from the edge image. Therefore, in this embodiment, in order to eliminate the influence of such a change in the lighting state, the lighting change rate is obtained from the luminance image of the reference area which is not affected by the customer, and the lighting change rate is calculated. The luminance image is corrected accordingly to generate a luminance image in which the change in the lighting state is eliminated.
【００８９】つまり、この実施の形態において３次元形
状データ処理装置４０は、照明変化率算出部４０３が利
用客等の物体に関する２次元画像を取り込む際の照明変
化率を求め、修正部４０４がその照明変化率に応じて２
次元画像のうち少なくとも特定領域に含まれる画素のデ
ータを修正し、その修正された２次元画像の特性に基づ
いて、３次元形状データを生成するように構成されてい
る。したがって、対象となる物体に対する照明状態の変
動による影響を受けることなく物体の形状に忠実な３次
元形状データを生成することができるのである。That is, in this embodiment, the three-dimensional shape data processing device 40 determines the illumination change rate when the illumination change rate calculation unit 403 captures a two-dimensional image of an object such as a customer, and the correction unit 404 determines the illumination change rate. 2 depending on the lighting change rate
The configuration is such that data of at least pixels included in a specific region of the two-dimensional image is corrected, and three-dimensional shape data is generated based on the characteristics of the corrected two-dimensional image. Therefore, it is possible to generate three-dimensional shape data that is faithful to the shape of the target object without being affected by fluctuations in the lighting state of the target object.
【００９０】なお、この実施の形態においては利用客の
影響を受けることのない参照領域としてカラー画像中の
背景幕２の所定部分を用いる例について説明したが、こ
れに限定されるものではなく、２次元撮影装置３６の視
野範囲内に利用客によって遮られることのない別の部材
を配置し、その画像部分を参照領域としてもよいことは
勿論である。In this embodiment, an example has been described in which a predetermined portion of the background curtain 2 in a color image is used as a reference area which is not affected by a customer. However, the present invention is not limited to this. Needless to say, another member that is not obstructed by the user may be arranged within the visual field range of the two-dimensional imaging device 36, and the image portion may be used as the reference area.
【００９１】＜２．第２の実施の形態＞次に、本発明の
第２の実施の形態について説明する。<2. Second Embodiment> Next, a second embodiment of the present invention will be described.
【００９２】上記第１の実施の形態では、校正用輝度画
像と入力輝度画像とにおける同一画像位置に利用客の影
響を受けることのない参照領域を設定し、この参照領域
について照明変化率を求める処理を行った。この実施の
形態では、そのような参照領域を設定することなく照明
変化率を求める形態について説明する。なお、この実施
の形態における３次元形状データ処理装置４０等の構成
は第１の実施の形態と同様である。In the first embodiment, a reference area that is not affected by the user is set at the same image position in the calibration luminance image and the input luminance image, and the illumination change rate is determined for this reference area. Processing was performed. In this embodiment, an embodiment will be described in which the illumination change rate is obtained without setting such a reference area. The configuration of the three-dimensional shape data processing device 40 and the like in this embodiment is the same as that in the first embodiment.
【００９３】この実施の形態では輝度画像生成部４０２
において生成される輝度画像（校正用輝度画像と入力輝
度画像との双方を含む。）を構成する全ての画素に対し
て重み付け係数ｗを設定する。輝度画像は複数の領域に
分割され、同一の領域に含まれる画素については同一の
重み付け係数ｗが設定される。In this embodiment, the luminance image generation unit 402
A weighting coefficient w is set for all the pixels constituting the luminance image (including both the calibration luminance image and the input luminance image) generated in. The luminance image is divided into a plurality of regions, and the same weighting coefficient w is set for pixels included in the same region.
【００９４】例えば、図１０に示すように輝度画像を領
域ＲＡ，ＲＢに分割し、領域ＲＡに含まれる全ての画素
には重み付け係数ｗ＝１を設定し、領域ＲＢに含まれる
全ての画素には重み付け係数ｗ＝０を設定する。つま
り、利用客を撮影する際に、利用客の人体頭部が配置さ
れる可能性の高い画素位置では比較的小さい値の重み付
け係数ｗが設定されており、校正用画像と同一の画像を
撮影することができる可能性の高い画素位置では比較的
大きい値の重み付け係数ｗが設定されているのである。For example, as shown in FIG. 10, the luminance image is divided into areas RA and RB, and a weighting coefficient w = 1 is set for all the pixels included in the area RA, and all the pixels included in the area RB are assigned weights w = 1. Sets a weighting coefficient w = 0. In other words, when photographing the customer, a relatively small weighting coefficient w is set at a pixel position where the human head of the customer is likely to be arranged, and the same image as the calibration image is photographed. A relatively large value of the weighting coefficient w is set at the pixel position where the possibility of performing the operation is high.
【００９５】そして、照明変化率を求める際、照明変化
率算出部４０３における演算部４０３ａは、上記数３の
代わりに、When calculating the illumination change rate, the calculation unit 403a in the illumination change rate calculation unit 403 replaces
【００９６】[0096]
【数７】 (Equation 7)
【００９７】に基づいて演算するのである。なお、数７
においてＳ’は入力輝度画像の全体を示しており、Ｓは
校正用輝度画像の全体を示している。また、ｗiは任意
の画素ｉに対応づけられた重み付け係数である。The calculation is performed based on the above. Note that Equation 7
, S ′ indicates the entirety of the input luminance image, and S indicates the entirety of the calibration luminance image. Also, wi is a weighting coefficient associated with an arbitrary pixel i.
【００９８】上記数７の演算を行うことにより、輝度画
像中の利用客の位置する部分（領域ＲＢ）におけるの輝
度データの変動は照明変化率に反映されない一方、利用
客の位置しない部分（領域ＲＡ）における輝度データの
変動は照明変化率に大きく反映する。したがって、この
実施の形態においても、利用客の影響を受けずに良好に
照明変化率を求めることができるのである。By performing the operation of the above equation (7), the fluctuation of the luminance data in the portion (region RB) where the customer is located in the luminance image is not reflected in the illumination change rate, but the portion where the customer is not located (region The fluctuation of the luminance data in RA) largely reflects the illumination change rate. Therefore, also in this embodiment, the illumination change rate can be satisfactorily obtained without being affected by the user.
【００９９】なお、輝度画像における領域分割をさらに
細かく行うとともに、各領域に対して多段階の重み付け
係数を設定するようにしてもよい。It is also possible to further finely divide the area in the luminance image and to set multi-stage weighting coefficients for each area.
【０１００】この実施の形態においては、第１の実施の
形態における参照領域を輝度画像全体としたことに相当
するため、照明変化率を求めるための演算時間は第１の
実施の形態よりも長くなる。しかしながら、上記のよう
に画素ごとに重み付け係数ｗを設定することで輝度画像
全体を参照領域としても良好に照明変化率を求めること
ができるのである。そして、このようにして得られた照
明変化率に基づいて、第１の実施の形態と同様の手順を
進めていけば、対象となる物体（利用客）に対する照明
状態の変動による影響を受けることなく物体（利用客）
の形状に忠実な３次元形状データを生成することができ
るのである。In this embodiment, since the reference area in the first embodiment corresponds to the entire luminance image, the calculation time for obtaining the illumination change rate is longer than that in the first embodiment. Become. However, by setting the weighting coefficient w for each pixel as described above, the illumination change rate can be favorably obtained even when the entire luminance image is used as a reference area. Then, if the same procedure as in the first embodiment is performed based on the thus-obtained lighting change rate, the object is affected by a change in the lighting state of the object (user). No object (user)
It is possible to generate three-dimensional shape data that is faithful to the shape of.
【０１０１】＜３．第３の実施の形態＞次に、本発明の
第３の実施の形態について説明する。なお、この実施の
形態における３次元形状データ処理装置４０等の構成は
第１の実施の形態と同様である。<3. Third Embodiment> Next, a third embodiment of the present invention will be described. The configuration of the three-dimensional shape data processing device 40 and the like in this embodiment is the same as that in the first embodiment.
【０１０２】この実施の形態では、輝度画像の毛髪領域
に含まれる画素の輝度データの平均値が、利用客にかか
わらず、ほぼ一定になると仮定し、その仮定に基づいて
照明変化率の推定値を求める。In this embodiment, it is assumed that the average value of the luminance data of the pixels included in the hair region of the luminance image is substantially constant irrespective of the customer, and the estimated value of the illumination change rate is determined based on the assumption. Ask for.
【０１０３】つまり、利用客を撮影して得られたカラー
画像データＤＣを輝度画像生成部４０２において輝度画
像（入力輝度画像）に変換した後、その入力輝度画像中
の毛髪領域を参照領域とし、その毛髪領域に含まれる画
素の輝度データＩ'iから照明状態の変化率を推定するの
である。具体的には、照明変化率算出部４０３における
演算部４０３ａが、That is, after converting the color image data DC obtained by photographing the customer into a luminance image (input luminance image) in the luminance image generation unit 402, the hair region in the input luminance image is used as a reference region, The change rate of the lighting state is estimated from the luminance data I′i of the pixels included in the hair region. Specifically, the calculation unit 403a in the illumination change rate calculation unit 403 calculates
【０１０４】[0104]
【数８】 (Equation 8)
【０１０５】に基づいた演算を行うことによって照明変
化率ｋを推定するのである。なお、数８において、ｃは
定数であり、Ｎは入力輝度画像における毛髪領域の画素
数であり、Ｓ'hは入力輝度画像における毛髪領域を示し
ている。数８の分子は、毛髪領域に含まれる画素の輝度
データの平均値を示しており、これを定数ｃで除算する
ことによって正規化している。すなわち、毛髪領域にお
ける輝度データの平均値の変動分が照明状態の変動分に
対応すると仮定して照明変化率を推定するのである。By performing the calculation based on the above, the illumination change rate k is estimated. In Equation 8, c is a constant, N is the number of pixels in the hair area in the input luminance image, and S'h indicates the hair area in the input luminance image. The numerator in Equation 8 indicates the average value of the luminance data of the pixels included in the hair region, and is normalized by dividing the average value by the constant c. That is, the illumination change rate is estimated on the assumption that the variation in the average value of the luminance data in the hair region corresponds to the variation in the illumination state.
【０１０６】そして数８に基づく演算を行うことによっ
て得られた推定値を照明変化率ｋとして輝度データＩ'
を修正（補正）することで照明状態の変化分が補正され
た修正画像を生成することができるのである。つまり、
数８で得られた照明変化率の推定値に基づいて、第１の
実施の形態と同様の手順を進めていけば、対象となる物
体（利用客）に対する照明状態の変動による影響を受け
ることなく物体（利用客）の形状に忠実な３次元形状デ
ータを生成することができるのである。Then, the estimated value obtained by performing the calculation based on the equation 8 is defined as the illumination change rate k and the luminance data I ′.
Is corrected (corrected), a corrected image in which the change in the illumination state is corrected can be generated. That is,
If the procedure similar to that of the first embodiment is performed based on the estimated value of the illumination change rate obtained by Expression 8, the target object (user) may be affected by a change in the illumination state. Therefore, it is possible to generate three-dimensional shape data that is faithful to the shape of the object (customer).
【０１０７】この実施の形態においては、入力輝度画像
における毛髪領域の輝度データの平均値から照明変化率
を推定するため、第１の実施の形態のように予め前処理
を行って校正用輝度画像を保存しておく必要がなく、処
理手順の簡略化を図ることができる。In this embodiment, in order to estimate the illumination change rate from the average value of the brightness data of the hair region in the input brightness image, pre-processing is performed in advance as in the first embodiment, and the calibration brightness image is obtained. Need not be stored, and the processing procedure can be simplified.
【０１０８】＜４．第４の実施の形態＞次に、本発明の
第４の実施の形態について説明する。なお、この実施の
形態における３次元形状データ処理装置４０等の構成は
第１の実施の形態と同様である。<4. Fourth Embodiment> Next, a fourth embodiment of the present invention will be described. The configuration of the three-dimensional shape data processing device 40 and the like in this embodiment is the same as that in the first embodiment.
【０１０９】この実施の形態においては、照明変化率は
上記各実施の形態と同様の手法によって求められるもの
であるが、それに続く処理の形態が上記各実施の形態と
異なる。In this embodiment, the illumination change rate is obtained by the same method as in each of the above embodiments, but the subsequent processing is different from each of the above embodiments.
【０１１０】この実施の形態においては、図５のエッジ
画像生成部４０５が修正画像データＤＫからエッジ画像
（エッジを強調した画像）の生成を行う際、例えば、修
正画像に対してＬＯＧ（Laplacian of Gaussian）フィ
ルタ処理を施して得られた画像を元の修正画像から差し
引くことによってエッジ画像の生成を行う。ＬＯＧフィ
ルタ処理とは、ガウスオペレータによる平滑化処理と２
次微分処理とを同時に行う処理である。In this embodiment, when the edge image generation unit 405 shown in FIG. 5 generates an edge image (image with emphasized edges) from the corrected image data DK, for example, a LOG (Laplacian of Gaussian) An edge image is generated by subtracting the image obtained by performing the filter processing from the original corrected image. The LOG filter processing includes smoothing processing by a Gaussian operator and 2
This is a process for simultaneously performing the next differentiation process.
【０１１１】そして、この実施の形態においても、エッ
ジ画像中の毛髪領域のエッジ強度に応じて、補間距離画
像データＤＨの対応する部分に凹凸形状を付加するため
のデータ加工を施すのである。エッジ画像の毛髪領域に
含まれる画素ｉに対応する部分における凹凸形状の彫り
込む深さｄiは、エッジ画像の画素ｉのエッジデータｅi
が小さいほど深くなるように決定する。具体的には単調
減少する関数に基づいて深さｄiを決定するようにすれ
ばよいため、数６に基づいて深さｄiを求める場合に
は、数６におけるａは任意の負数として設定しておく。Also in this embodiment, data processing for adding a concavo-convex shape to the corresponding portion of the interpolation distance image data DH is performed according to the edge strength of the hair region in the edge image. The engraving depth di of the concavo-convex shape at the portion corresponding to the pixel i included in the hair region of the edge image is the edge data ei of the pixel i of the edge image
Is determined to be deeper as is smaller. Specifically, since the depth di may be determined based on a monotonically decreasing function, when the depth di is determined based on Equation 6, a in Equation 6 may be set as an arbitrary negative number. deep.
【０１１２】このような処理形態とすることによって
も、対象となる物体に対する照明状態の変動による影響
を受けることなく物体の形状に忠実な３次元形状データ
を生成することが可能である。With such a processing mode, it is possible to generate three-dimensional shape data that is faithful to the shape of an object without being affected by fluctuations in the illumination state of the object.
【０１１３】なお、エッジ画像を求めることなく、修正
画像における修正済みの輝度データを上記と同様の単調
減少する関するに適用して深さｄiを求めるように構成
してもほぼ同様の効果が得られる。この場合には、エッ
ジ画像生成部４０５が必要でなくなることから、３次元
形状データ処理装置４０における構成を簡単化すること
ができる。It should be noted that substantially the same effect can be obtained even when the depth di is obtained by applying the corrected luminance data in the corrected image to the same monotonous decrease as described above without obtaining the edge image. Can be In this case, the configuration in the three-dimensional shape data processing device 40 can be simplified since the edge image generation unit 405 is not required.
【０１１４】＜５．第５の実施の形態＞次に、本発明の
第５の実施の形態について説明する。上記第１の実施の
形態では、校正用輝度画像と入力輝度画像とにおける参
照領域について照明変化率を求める処理を行った。この
実施の形態では、校正用輝度画像と入力輝度画像とのそ
れぞれからエッジ画像を生成し、それぞれのエッジ画像
から照明変化率を求める形態について説明する。<5. Fifth Preferred Embodiment> Next, a fifth preferred embodiment of the present invention will be described. In the first embodiment, the process of obtaining the illumination change rate for the reference area in the calibration luminance image and the input luminance image is performed. In this embodiment, an embodiment will be described in which an edge image is generated from each of the calibration luminance image and the input luminance image, and the illumination change rate is obtained from each of the edge images.
【０１１５】図１１は、この実施の形態における３次元
形状データ処理装置４０の一構成例を示したブロック図
である。この３次元形状データ処理装置４０は、第１の
実施の形態における３次元形状データ処理装置４０と同
様の機能的手段を備えて構成されるが、エッジ画像生成
部４０５ａは輝度画像生成部４０２の後段側に配置され
ている点が異なる。FIG. 11 is a block diagram showing an example of the configuration of the three-dimensional shape data processing device 40 according to this embodiment. The three-dimensional shape data processing device 40 includes the same functional means as the three-dimensional shape data processing device 40 in the first embodiment, but the edge image generation unit 405 a The difference is that it is arranged on the subsequent stage.
【０１１６】前処理において、参照用物体として配置し
た校正用の頭部オブジェクトを撮影して得られたカラー
画像から校正用輝度画像を生成し、その校正用輝度画像
に基づいてエッジ画像生成部４０５ａが校正用エッジ画
像を生成する。このようにして生成された校正用エッジ
画像はメモリ４０３ｂに一時的に保存される。In the preprocessing, a calibration luminance image is generated from a color image obtained by photographing a calibration head object arranged as a reference object, and an edge image generation unit 405a is generated based on the calibration luminance image. Generates a calibration edge image. The calibration edge image thus generated is temporarily stored in the memory 403b.
【０１１７】そして、エッジ画像生成部４０５ａは、実
際の利用客のカラー画像を撮影した際に輝度画像生成部
４０２で生成される入力輝度画像に基づいて入力エッジ
画像を生成する。The edge image generation unit 405a generates an input edge image based on the input luminance image generated by the luminance image generation unit 402 when a color image of an actual user is captured.
【０１１８】照明変化率算出部４０３における演算部４
０３ａは、メモリ４０３ｂに格納されている校正用エッ
ジ画像の参照領域Ｇ１（図７（ａ）参照）に含まれる画
素についてのエッジデータｅiを読み出す。そして、入
力エッジ画像の参照領域Ｇ２（図７（ｂ）参照）に含ま
れる画素についてのエッジデータｅ'iと、校正用エッジ
画像から得られたエッジデータｅiとから照明変化率を
求める。具体的には、演算部４０３ａは、Calculation unit 4 in illumination change rate calculation unit 403
In step 03a, the edge data ei of the pixels included in the reference area G1 (see FIG. 7A) of the calibration edge image stored in the memory 403b is read. Then, the illumination change rate is obtained from the edge data e′i for the pixels included in the reference area G2 of the input edge image (see FIG. 7B) and the edge data ei obtained from the calibration edge image. Specifically, the calculation unit 403a
【０１１９】[0119]
【数９】 (Equation 9)
【０１２０】により照明変化率ｋを求める。なお、ｉは
参照領域に含まれる任意の画素を示している。数９にお
ける分母は初期照明状態において撮影された際のエッジ
データの総和であり、また、分子は照明状態の変化後に
おいて撮影された際のエッジデータの総和であるため、
数９の演算を行うことにより、照明の初期状態からの変
化率が求められるのである。また、数９においては、利
用客によって影響を受けない背景幕２が撮影された部分
を参照領域Ｇ１，Ｇ２としているため、照明状態の変動
成分のみを確実に検出することができるのである。Thus, the illumination change rate k is obtained. Note that i indicates an arbitrary pixel included in the reference area. Since the denominator in Equation 9 is the sum of the edge data when the image is captured in the initial illumination state, and the numerator is the sum of the edge data when the image is captured after the change in the illumination state,
By performing the calculation of Equation 9, the rate of change from the initial state of the illumination is obtained. Further, in Equation 9, since the portions where the background curtain 2 not affected by the user is photographed are set as the reference regions G1 and G2, only the fluctuation component of the lighting state can be reliably detected.
【０１２１】そして、修正部４０４においては、照明変
化率算出部４０３から得られる照明変化率ｋを補正係数
として、エッジ画像データＤＥに含まれる画素のエッジ
データｅ'を修正（補正）することで修正画像データＤ
Ｋを生成する（ステップＳＴ５７）。具体的には、任意
の画素ｉについての修正画像のエッジデータｅ"iは、The correction unit 404 corrects (corrects) the edge data e ′ of the pixels included in the edge image data DE using the illumination change rate k obtained from the illumination change rate calculation unit 403 as a correction coefficient. Corrected image data D
K is generated (step ST57). Specifically, the edge data e ″ i of the corrected image for an arbitrary pixel i is
【０１２２】[0122]
【数１０】 (Equation 10)
【０１２３】により求められる。なお、数１０により修
正画像のエッジデータｅ"iを求める際には、少なくとも
毛髪領域に含まれる画素について求めればよい。修正画
像はエッジ画像を修正して得られた画像であるため、デ
ータ生成部４０６では、この修正画像におけるエッジデ
ータに応じて補間距離画像データＤＨに凹凸形状を付加
するようなデータ加工を施せば、対象となる物体に対す
る照明状態の変動による影響を受けることなく物体の形
状に忠実な３次元形状データを生成することが可能にな
る。Is determined by It should be noted that when obtaining the edge data e ″ i of the corrected image according to Equation 10, it is sufficient to obtain at least pixels included in the hair region. Since the corrected image is an image obtained by correcting the edge image, data generation is performed. In the unit 406, if data processing is performed to add a concavo-convex shape to the interpolation distance image data DH according to the edge data in the corrected image, the shape of the object is not affected by a change in the lighting state of the target object. , It is possible to generate three-dimensional shape data that is faithful to
【０１２４】このようにこの実施の形態では、エッジ画
像に基づいて照明変化率を求める形態を例示したが、こ
のような形態であっても照明変化率を求めることは可能
であるため、照明状態の変動による影響を解消すること
が可能になる。ただし、エッジ画像を生成する場合は、
一般にノイズ成分をも強調することになるため、第１の
実施の形態に比べてノイズの影響を受ける可能性が高く
なるため、それについての対策を行うことが望ましい。As described above, in this embodiment, the form of calculating the illumination change rate based on the edge image has been described. However, the illumination change rate can be obtained even in such a form. Can be eliminated. However, when generating an edge image,
Generally, the noise component is also emphasized, so that it is more likely to be affected by noise than in the first embodiment. Therefore, it is desirable to take measures against it.
【０１２５】＜６．第６の実施の形態＞次に、本発明の
第６の実施の形態について説明する。上記各実施の形態
では、主として照明光の強度分布が変化した場合におい
て、物体に関する３次元形状データの生成において照明
状態の変化による影響を受けることのない実施形態につ
いて説明した。この実施の形態では、さらに、利用客の
毛髪の色の変化による影響も受けることなく３次元形状
データを生成することができる形態について説明する。<6. Sixth Preferred Embodiment> Next, a sixth preferred embodiment of the present invention will be described. In each of the above embodiments, an embodiment has been described in which the generation of the three-dimensional shape data on the object is not affected by the change in the illumination state, mainly when the intensity distribution of the illumination light changes. In this embodiment, a description will be given of a mode in which three-dimensional shape data can be generated without being affected by a change in the color of the hair of the user.
【０１２６】図１２は、この実施の形態における３次元
形状データ処理装置４０の一構成例を示すブロック図で
ある。この３次元形状データ処理装置４０は、第１の実
施の形態における３次元形状データ処理装置４０と同様
の機能的手段を備えて構成されるが、色変動係数算出部
４０８をさらに備える点が異なる。色変動係数算出部４
０８はその内部に反射成分抽出部４０８ａを備えてお
り、この反射成分抽出部４０８ａが物体（利用客）に関
して得られるカラー画像データＤＣから毛髪領域に含ま
れる画素ごとの補正係数を求める。FIG. 12 is a block diagram showing an example of the configuration of the three-dimensional shape data processing device 40 according to this embodiment. This three-dimensional shape data processing device 40 is configured to include the same functional means as the three-dimensional shape data processing device 40 in the first embodiment, but differs in further including a color variation coefficient calculation unit 408. . Color variation coefficient calculator 4
08 includes a reflection component extraction unit 408a therein, and the reflection component extraction unit 408a obtains a correction coefficient for each pixel included in the hair region from the color image data DC obtained for the object (customer).
【０１２７】そして、修正部４０４が画素ごとに抽出さ
れた色成分に応じて少なくとも毛髪領域に含まれる画素
のデータを修正することで、物体の色の相違に応じたデ
ータ修正を行うことが可能になるため、利用客の毛髪の
色の変化による影響を解消することができるように構成
されている。The correcting unit 404 corrects at least the data of the pixels included in the hair region according to the color components extracted for each pixel, so that the data can be corrected according to the difference in the color of the object. Therefore, the configuration is such that the influence of the change in the hair color of the user can be eliminated.
【０１２８】以下、この実施の形態における具体的処理
内容について説明する。なお、この実施の形態において
も予め前処理が行われ、校正用輝度画像についての各画
素ごとの輝度データがメモリ４０３ｂに格納されてい
る。The specific processing contents of this embodiment will be described below. In this embodiment, preprocessing is performed in advance, and luminance data for each pixel of the calibration luminance image is stored in the memory 403b.
【０１２９】図１２に示す構成において画像認識部４０
１には、予め利用客の毛髪色となる可能性のある複数の
サンプル色データが記憶されている。そして、画像認識
部４０１は、等色領域抽出手段として機能し、利用客を
撮影して得られるカラー画像データＤＣを入力すると、
全ての画素についての色成分データを検証し、サンプル
色と一致する画素を抽出する。そして１つのサンプル色
について抽出された画素が連続的に分布する画像部分を
１つの等色領域とし、各サンプル色ごとに等色領域を特
定する。その後、カラー画像において利用客の毛髪部分
が存在する可能性の高い位置に対して予め設定されてい
る基準位置を含み、この基準位置から連続的に分布する
全ての等色領域を切り出すことで毛髪領域を特定する。In the configuration shown in FIG.
1 stores in advance a plurality of sample color data that may be the hair color of the customer. Then, the image recognizing unit 401 functions as a color matching area extracting unit, and receives color image data DC obtained by photographing a customer,
The color component data of all the pixels is verified, and pixels that match the sample colors are extracted. Then, an image portion in which pixels extracted for one sample color are continuously distributed is defined as one color matching region, and a color matching region is specified for each sample color. Then, the color image includes a preset reference position for the position where the hair part of the customer is likely to be present, and all the equal-color regions continuously distributed from this reference position are cut out to obtain the hair. Identify the area.
【０１３０】この結果、毛髪領域にはＭ個（Ｍは自然
数）の等色領域が特定されることになる。サンプル色と
してあらゆる毛髪の色を予め記憶しておけば、利用客の
毛髪部分が如何なる色であっても適切に毛髪領域を特定
することができるのである。As a result, M (M is a natural number) color matching regions are specified in the hair region. If the colors of all hairs are stored in advance as sample colors, the hair region can be appropriately specified regardless of the color of the hair part of the user.
【０１３１】色変動係数算出部４０８における反射成分
抽出部４０８ａは、毛髪領域内における各等色領域ごと
の色成分に応じた代表値と、毛髪領域全体における色成
分に応じた毛髪領域代表値とを求め、各等色領域ごと
に、毛髪領域代表値に対する等色領域の代表値から補正
係数となる色変動係数を求める。具体的には、色変動係
数算出部４０８は、The reflection component extraction unit 408a in the color variation coefficient calculation unit 408 calculates a representative value corresponding to the color component of each color matching region in the hair region, and a representative value of the hair region corresponding to the color component in the entire hair region. Is calculated, and a color variation coefficient as a correction coefficient is calculated from the representative value of the hair color region with respect to the representative value of the hair region for each color matching region. Specifically, the color variation coefficient calculation unit 408
【０１３２】[0132]
【数１１】 [Equation 11]
【０１３３】により等色領域ｊにおける色変動係数ｃj
を求める。数１１において、ｓは任意の定数であり、ｊ
は毛髪領域に含まれる等色領域を示しており「１，２，
…，Ｍ」の各値をとり得るものであり、ｍｅｄ（）は指
定された領域内における輝度データの中央値（代表値）
である。また、Ｓ'jは入力輝度画像における等色領域ｊ
を示しており、Ｓｒは校正用輝度画像の毛髪領域を示し
ている。The color variation coefficient cj in the color matching area j
Ask for. In Equation 11, s is an arbitrary constant and j
Indicates an equal color area included in the hair area, and "1, 2, 2
.., M ”, and med () is the median value (representative value) of the luminance data in the designated area.
It is. S′j is a color matching area j in the input luminance image.
And Sr indicates a hair region of the calibration luminance image.
【０１３４】数１１のような演算を行うことにより、毛
髪領域に含まれる等色領域ごとに色変動係数ｃjを求め
ることができ、この色変動係数ｃjに基づいて各画素の
輝度データを修正（補正）すれば、当該等色領域におけ
る毛髪色の影響を解消することができる。By performing the operation as shown in Equation 11, the color variation coefficient cj can be obtained for each of the equal color regions included in the hair region, and the luminance data of each pixel is corrected based on the color variation coefficient cj ( Correction) can eliminate the influence of the hair color in the same color region.
【０１３５】また、この実施の形態においては、第１の
実施の形態で説明した内容と同様に、照明状態の変動に
よる影響をも解消するために、照明変化率ｋの算出も行
う。そして、色変動係数算出部４０８は色変動係数ｃj
を、照明変化率算出部４０３は照明変化率ｋをそれぞれ
修正部４０４に与える。In this embodiment, similarly to the contents described in the first embodiment, the illumination change rate k is also calculated in order to eliminate the influence of the change in the illumination state. Then, the color variation coefficient calculator 408 calculates the color variation coefficient cj.
The illumination change rate calculation unit 403 gives the illumination change rate k to the correction unit 404.
【０１３６】修正部４０４では、色変動係数ｃjと照明
変化率ｋとを補正係数として、輝度画像データＤＬに含
まれる画素の輝度データを修正（補正）することで修正
画像データＤＫを生成する。具体的には、任意の画素ｉ
についての修正画像の輝度データＩ"iは、The correction unit 404 generates corrected image data DK by correcting (correcting) the luminance data of the pixels included in the luminance image data DL using the color variation coefficient cj and the illumination change rate k as correction coefficients. Specifically, any pixel i
The modified image luminance data I "i for
【０１３７】[0137]
【数１２】 (Equation 12)
【０１３８】により求められる。なお、数１２により修
正画像の輝度データＩ"iを求める際には、毛髪領域に含
まれる画素についてのみ求めれられる。数１２において
ｃjは画素ｉが属する等色領域ｊにおける色変動係数で
ある。Is determined by Note that when calculating the luminance data I ″ i of the corrected image from Equation 12, it is obtained only for the pixels included in the hair area. In Equation 12, cj is a color variation coefficient in the equal color area j to which the pixel i belongs.
【０１３９】その後、第１の実施の形態と同様の手順を
進めていけば、利用客に対する照明状態の変動による影
響を受けることがなく、かつ、利用客の毛髪の色の変化
による影響も受けることがないため、物体（利用客）の
形状に忠実な３次元形状データを生成することができる
のである。After that, if the same procedure as that of the first embodiment is performed, the user is not affected by the change in the lighting condition and is also affected by the change in the hair color of the user. Therefore, three-dimensional shape data faithful to the shape of the object (customer) can be generated.
【０１４０】なお、この実施の形態においては、照明変
化率と色変動係数とに基づいて修正画像を生成するよう
に構成したが、色変動係数のみに基づいて修正画像を生
成するように構成すると、利用客の毛髪の色の変化によ
る影響を受けることがない３次元形状データ処理装置が
実現される。In this embodiment, the modified image is generated based on the illumination change rate and the color variation coefficient. However, the modified image is generated based only on the color variation coefficient. Thus, a three-dimensional shape data processing apparatus which is not affected by a change in the hair color of the user is realized.
【０１４１】また、色変動係数を求める際に各領域の代
表値として輝度データの中央値を求めたが、平均値を用
いるようにしてもよい。ただし、各領域中に含まれるノ
イズ成分の影響によって平均値は変動するのに対し、中
央値はノイズ成分による影響が比較的少ないため、中央
値を求める方が正確な色変動係数を求めることができ、
好ましい。Although the center value of the luminance data is obtained as a representative value of each area when calculating the color variation coefficient, an average value may be used. However, while the average value fluctuates due to the influence of the noise component included in each area, the median value is relatively less affected by the noise component. Can,
preferable.
【０１４２】また、この実施の形態のように色変動係数
を求めるのではなく、濃度の変動係数を求めるように構
成しても同様の効果が得られる。各画素ごとに色が異な
れば濃度も異なるからである。そして、色または濃度の
変動係数を求めるということは、すなわち、物体の反射
率に応じた反射成分の変動を求めるということに相当す
る。したがって、反射成分抽出部４０８ａが物体に関し
て得られる所定の画像の特定領域に含まれる各画素ごと
に、物体の反射率によって生じる反射成分を抽出し、修
正部４０４がその反射成分に応じて所定の画像のうちの
少なくとも特定領域に含まれる画素のデータを修正する
ようにすれば、色や濃度だけでなく物体の反射率の変動
による影響を解消することが可能になる。The same effect can be obtained even if the color variation coefficient is not determined as in this embodiment, but the density variation coefficient is determined. This is because different colors have different densities for each pixel. Finding the color or density variation coefficient is equivalent to finding the variation of the reflection component according to the reflectance of the object. Therefore, the reflection component extraction unit 408a extracts a reflection component generated by the reflectance of the object for each pixel included in a specific region of a predetermined image obtained for the object, and the correction unit 404 determines a predetermined component according to the reflection component. If the data of the pixels included in at least the specific area of the image is corrected, it is possible to eliminate the influence of the variation in the reflectance of the object as well as the color and density.
【０１４３】なお、この実施の形態において、特定領域
を毛髪領域以外の他の領域に設定すると、その設定され
た領域についての色の変動を補正することが可能である
ことは言うまでもない。In this embodiment, it is needless to say that, if the specific area is set to an area other than the hair area, it is possible to correct color fluctuations in the set area.
【０１４４】＜７．第７の実施の形態＞次に、本発明の
第７の実施の形態について説明する。<7. Seventh Preferred Embodiment> Next, a seventh preferred embodiment of the present invention will be described.
【０１４５】この実施の形態では、毛髪の色による影響
を除去するために、輝度画像からエッジ画像を生成し、
色度差のばらつきが大きい画素ではエッジ強度を弱める
ように補正する。すなわち、第１の実施の形態における
輝度画像生成部４０２で輝度画像を生成する際、同時に
色度の３成分（Ｒ，Ｇ，Ｂ成分を輝度で割って正規化し
たｒ，ｇ，ｂ成分）の各要素を画素データとする３つの
画像（それぞれの画像をｒ色度画像、ｇ色度画像、ｂ色
度画像と呼ぶ。）を生成しておき、図９のフローチャー
トにおいてエッジ画像の生成（ステップＳＴ５８）の後
に、以下の処理を行う。In this embodiment, an edge image is generated from a luminance image in order to remove the influence of the hair color.
Correction is performed so that the edge intensity is weakened in a pixel having a large variation in the chromaticity difference. That is, when a luminance image is generated by the luminance image generation unit 402 according to the first embodiment, three components of chromaticity (r, g, and b components obtained by dividing the R, G, and B components by the luminance at the same time). Are generated using the respective elements as pixel data (each image is called an r chromaticity image, a g chromaticity image, and a b chromaticity image), and an edge image is generated (see FIG. 9). After step ST58), the following processing is performed.
【０１４６】エッジ画像生成部４０５がｒ，ｇ，ｂの各
色度画像に対してＳｏｂｅｌのオペレータなどのような
一次微分オペレータを走査させることで、３つのエッジ
画像（それぞれのエッジ画像をｒ色度エッジ画像、ｇ色
度エッジ画像、ｂ色度エッジ画像と呼ぶ。）を生成す
る。そして、ｒ，ｇ，ｂ色度エッジ画像における同一位
置の画素に対応するエッジデータの２乗平均値を求め、
この２乗平均値を画素データとして有する平均色度エッ
ジ画像を生成する。そして平均色度エッジ画像の各画素
データを定数倍し、ステップＳＴ５８で得られたエッジ
画像における対応するエッジデータから差し引くことに
より、新たなエッジ画像を生成する。The edge image generation unit 405 scans each of the r, g, and b chromaticity images with a first-order differential operator such as a Sobel operator, so that three edge images (each of the edge images is Edge image, g chromaticity edge image, and b chromaticity edge image). Then, a mean square value of edge data corresponding to pixels at the same position in the r, g, b chromaticity edge images is obtained,
An average chromaticity edge image having the mean square value as pixel data is generated. Then, a new edge image is generated by multiplying each pixel data of the average chromaticity edge image by a constant and subtracting it from the corresponding edge data in the edge image obtained in step ST58.
【０１４７】このようにカラー画像を色度で表現した色
度画像を生成し、その色度画像のエッジ画像を生成し
て、それを元の画像から差し引く処理を行うことで、色
の変化によって発生するエッジの影響を取り除くことが
可能になる。As described above, a chromaticity image expressing a color image by chromaticity is generated, an edge image of the chromaticity image is generated, and a process of subtracting the edge image from the original image is performed. It is possible to remove the influence of the generated edge.
【０１４８】そして、ステップＳＴ５９の処理に進ん
で、第１の実施の形態と同一の処理を行えば、毛髪領域
における色の変化によって発生するエッジは凹凸形状に
影響を与えることがないため、利用客の毛髪の色による
影響を受けることなく、利用客の毛髪部分の形状に忠実
な３次元形状データを生成することが可能になる。If the processing proceeds to step ST59 and the same processing as in the first embodiment is performed, the edge generated by the color change in the hair area does not affect the uneven shape. It is possible to generate three-dimensional shape data that is faithful to the shape of the hair part of the user without being affected by the color of the customer's hair.
【０１４９】また、第１の実施の形態における処理手順
の中に上記色度画像のエッジ抽出を行う処理を追加して
いるため、照明状態の変化による影響をも解消すること
ができるのである。Further, since the processing for extracting the edge of the chromaticity image is added to the processing procedure in the first embodiment, the influence of the change in the lighting state can be eliminated.
【０１５０】この実施の形態では、輝度画像生成部４０
２がカラー画像から輝度画像を生成する際に、各色度画
像も生成する色度画像生成手段として機能し、エッジ画
像生成部４０５が修正画像から生成したエッジ画像を各
色度画像に基づいて補正するように構成されている。こ
のため、毛髪の色の変化によって生じるエッジが解消さ
れ、適切な３次元形状データを生成することが可能にな
っている。In this embodiment, the luminance image generation unit 40
2 functions as a chromaticity image generating unit that also generates each chromaticity image when generating a luminance image from a color image, and the edge image generating unit 405 corrects the edge image generated from the corrected image based on each chromaticity image It is configured as follows. For this reason, an edge generated by a change in hair color is eliminated, and appropriate three-dimensional shape data can be generated.
【０１５１】なお、この実施の形態における特有の一連
の処理は、毛髪領域のみについて行うようにしてもよ
い。この場合、処理対象となる画素数が少なくなるた
め、処理の効率化を図ることができる。A series of processes specific to this embodiment may be performed only on the hair region. In this case, the number of pixels to be processed is reduced, so that the processing can be made more efficient.
【０１５２】＜８．変形例＞以上、本発明に関するいく
つかの実施の形態について説明したが、本発明の範囲は
上記各実施の形態の内容に限定されるものではない。<8. Modifications> Several embodiments of the present invention have been described above, but the scope of the present invention is not limited to the contents of the above embodiments.
【０１５３】例えば、上記説明においては、照明変化率
を求めるために、電源投入時における初期照明状態を基
準照明状態とし、その基準照明状態からの照明光の変化
率を求めるようにしたが、照明変化率は電源投入時にお
ける初期照明状態からの照明光の変化率だけでなく、例
えば、装置組立時における照明状態や、仮想的に設定さ
れた照明状態を基準照明状態とし、その基準照明状態か
らの照明光の変化率としてもよい。For example, in the above description, in order to determine the illumination change rate, the initial illumination state at power-on is set as the reference illumination state, and the illumination light change rate from the reference illumination state is determined. The rate of change is not only the rate of change of the illumination light from the initial illumination state when the power is turned on, but also, for example, the illumination state at the time of assembling the apparatus, or a virtually set illumination state as a reference illumination state. May be the change rate of the illumination light.
【０１５４】また、上記説明においては、カラー画像デ
ータを用いて距離画像データのデータ欠損部分を再現す
る手法について説明したが、これに限定されるものでは
なく、他の２次元画像データから再現するように構成す
ることもできる。Further, in the above description, the method of reproducing the data missing portion of the distance image data using the color image data has been described. However, the present invention is not limited to this, and it is reproduced from other two-dimensional image data. It can also be configured as follows.
【０１５５】さらに、本発明において対象となる物体
は、人体頭部に限定されないため、特定領域についても
毛髪領域に限定されるものではなく、所定の画像におい
て特定の画像的性質を有する任意の領域を特定領域とす
ることができることは言うまでもない。Further, since the object to be treated in the present invention is not limited to the human head, the specific region is not limited to the hair region, but may be any region having a specific image characteristic in a predetermined image. Can be defined as a specific area.
【０１５６】[0156]
【発明の効果】以上説明したように、請求項１に記載の
発明によれば、物体に関する所定の画像を取り込む際の
基準照明状態からの照明変化率を求め、当該照明変化率
に応じて画像のうち少なくとも特定領域に含まれる画素
のデータを修正し、その修正された画像の特性に基づい
て、３次元形状データを生成するように構成されている
ため、物体に対する照明状態の変動による影響を受ける
ことなく適切な３次元形状データを生成することが可能
になる。As described above, according to the first aspect of the present invention, an illumination change rate from a reference illumination state when a predetermined image relating to an object is captured is obtained, and the image is changed in accordance with the illumination change rate. Among the pixels included in the specific region, and generate the three-dimensional shape data based on the characteristics of the corrected image. It is possible to generate appropriate three-dimensional shape data without receiving it.
【０１５７】請求項２に記載の発明によれば、物体に関
して得られる所定の画像の特定領域について、物体の反
射率によって生じる反射成分を抽出し、その反射成分に
応じて画像のうちの少なくとも特定領域に含まれる画素
のデータを修正し、その修正された画像の特性に基づい
て、３次元形状データを生成するように構成されている
ため、物体の反射率の変化による影響も受けることなく
適切な３次元形状データを生成することができる。特
に、物体が人体頭部である場合には、毛髪の色の変化に
よる影響も受けることがない。According to the second aspect of the present invention, for a specific region of a predetermined image obtained with respect to an object, a reflection component generated by the reflectance of the object is extracted, and at least a specific portion of the image is specified according to the reflection component. Since it is configured to modify the data of the pixels included in the area and generate the three-dimensional shape data based on the characteristics of the modified image, it is appropriate without being affected by the change in the reflectance of the object 3D shape data can be generated. In particular, when the object is a human head, it is not affected by a change in hair color.
【０１５８】請求項３に記載の発明によれば、反射成分
と照明変化率とに応じて画像のうちの少なくとも特定領
域に含まれる画素のデータを修正するものであるため、
物体に対する照明状態の変動による影響を受けることが
なく、かつ、物体の色の変化による影響も受けることが
ないので、より適切な３次元形状データを生成すること
が可能になる。According to the third aspect of the present invention, data of pixels included in at least a specific area of an image is corrected in accordance with a reflection component and an illumination change rate.
Since it is not affected by a change in the illumination state of the object and is not affected by a change in the color of the object, more appropriate three-dimensional shape data can be generated.
【０１５９】請求項４に記載の発明によれば、物体に対
する初期照明状態を基準照明状態として予め記憶してお
き、物体に関する所定の画像を取り込む際の照明状態
と、初期照明状態とに基づいて照明変化率を求めるよう
に構成されているため、正確に照明変化率を求めること
ができるので、物体に対する照明状態の変動による影響
を正確に取り除くことが可能になる。According to the fourth aspect of the present invention, the initial illumination state of the object is stored in advance as the reference illumination state, and the initial illumination state is determined based on the illumination state when a predetermined image of the object is captured and the initial illumination state. Since the configuration is such that the illumination change rate is obtained, the illumination change rate can be obtained accurately, so that it is possible to accurately remove the influence of the change in the illumination state on the object.
【０１６０】請求項５に記載の発明によれば、物体に関
して得られる画像の特定領域に含まれる画素のデータか
ら照明変化率の推定値を演算により求め、当該推定値を
照明変化率とするため、初期照明状態を予め取り込む等
の処理が必要でないので、処理手順の簡略化を図ること
ができる。According to the fifth aspect of the present invention, an estimated value of an illumination change rate is obtained by calculation from data of pixels included in a specific area of an image obtained for an object, and the estimated value is used as an illumination change rate. In addition, since it is not necessary to perform processing such as taking in the initial illumination state in advance, it is possible to simplify the processing procedure.
【０１６１】請求項６に記載の発明によれば、２次元画
像の特性に基づいて距離画像データのデータ加工が行わ
れるため、距離画像データにデータ欠損部分があっても
適切にその部分に対するデータ加工を行うことができ
る。また、そのデータ加工の際に、物体に対する照明状
態の変動による影響や物体の色の変化による影響を受け
ることがないので、適切なデータ加工を行うことができ
る。According to the sixth aspect of the present invention, since the data processing of the distance image data is performed based on the characteristics of the two-dimensional image, even if there is a data loss part in the distance image data, the data for the part is appropriately processed. Processing can be performed. In addition, at the time of the data processing, the data is not affected by a change in the illumination state of the object or a change in the color of the object.
【０１６２】請求項７に記載の発明によれば、データ加
工は、人体頭部の毛髪部分について得られた距離画像デ
ータが有する溝の深さに関するデータの加工であるた
め、毛髪らしさを表現するために適した凹凸形状を付加
することが可能になる。According to the seventh aspect of the present invention, since the data processing is processing of data relating to the depth of the groove included in the distance image data obtained for the hair portion of the human head, the hairiness is expressed. Therefore, it is possible to add an uneven shape suitable for this purpose.
【０１６３】請求項８に記載の発明によれば、エッジ画
像に基づいて距離画像データをデータ加工することで３
次元形状データを生成するため、毛髪領域に対して自然
な高周波成分の形状を付加することが可能になる。According to the eighth aspect of the present invention, the distance image data is processed based on the edge image to obtain a 3D image.
Since the dimensional shape data is generated, a natural high-frequency component shape can be added to the hair region.
【０１６４】請求項９に記載の発明によれば、所定の画
像に基づいて複数の色度画像を生成しておき、修正され
た画像に対して所定の処理を施すことによってエッジ画
像を生成するとともに、当該修正画像から生成したエッ
ジ画像を各色度画像に基づいて補正するように構成され
ているため、エッジ画像中に含まれる色の変化によって
発生したエッジを解消することができるので、物体の色
の変化による影響を受けることがなく、適切な３次元形
状データを生成することが可能になる。According to the ninth aspect of the present invention, a plurality of chromaticity images are generated based on a predetermined image, and an edge image is generated by performing a predetermined process on the corrected image. In addition, since the edge image generated from the corrected image is configured to be corrected based on each chromaticity image, an edge generated due to a change in color included in the edge image can be eliminated. It is possible to generate appropriate three-dimensional shape data without being affected by a change in color.
【図１】本発明に係る立体模型作成装置の外観図であ
る。FIG. 1 is an external view of a three-dimensional model forming apparatus according to the present invention.
【図２】操作パネルの平面図である。FIG. 2 is a plan view of an operation panel.
【図３】立体模型作成装置の使用状態の模式図である。FIG. 3 is a schematic diagram of a use state of the three-dimensional model creation device.
【図４】立体模型作成装置の機能ブロック図である。FIG. 4 is a functional block diagram of the three-dimensional model creation device.
【図５】第１の実施の形態における３次元形状データ処
理装置の一構成例を示すブロック図である。FIG. 5 is a block diagram illustrating a configuration example of a three-dimensional shape data processing device according to the first embodiment.
【図６】立体模型作成装置の概略の動作を示すフローチ
ャートである。FIG. 6 is a flowchart showing a schematic operation of the three-dimensional model creation device.
【図７】立体模型作成装置において撮影されるカラー画
像を示す図である。FIG. 7 is a diagram illustrating a color image captured by the three-dimensional model creation device.
【図８】３次元形状データ処理装置におけるデータ処理
の詳細を示すフローチャートである。FIG. 8 is a flowchart showing details of data processing in the three-dimensional shape data processing device.
【図９】３次元形状データ処理装置におけるデータ処理
の詳細を示すフローチャートである。FIG. 9 is a flowchart showing details of data processing in the three-dimensional shape data processing device.
【図１０】第２の実施の形態において輝度画像に設定す
る重み付け係数の領域を示す図である。FIG. 10 is a diagram illustrating an area of a weighting coefficient set for a luminance image in the second embodiment.
【図１１】第５の実施の形態における３次元形状データ
処理装置の一構成例を示したブロック図である。FIG. 11 is a block diagram illustrating a configuration example of a three-dimensional shape data processing device according to a fifth embodiment.
【図１２】第６の実施の形態における３次元形状データ
処理装置の一構成例を示したブロック図である。FIG. 12 is a block diagram illustrating a configuration example of a three-dimensional shape data processing device according to a sixth embodiment.
１ 立体模型作成装置 ３０ 撮影システム ４０ ３次元形状データ処理装置 ４０１ 画像認識部 ４０２ 輝度画像生成部（輝度画像生成手段） ４０３ 照明変化率算出部（照明変化率算出手段） ４０３ａ 演算部 ４０３ｂ メモリ ４０４ 修正部（修正手段） ４０５，４０５ａ エッジ画像生成部（エッジ画像生成
手段） ４０６ データ生成部（データ生成手段） ４０７ 補間部 ＤＣ カラー画像データ（２次元画像データ） ＤＳ 距離画像データ ＤＭ ３次元形状データREFERENCE SIGNS LIST 1 solid model creation device 30 imaging system 40 three-dimensional shape data processing device 401 image recognition unit 402 luminance image generation unit (luminance image generation means) 403 illumination change rate calculation unit (illumination change rate calculation means) 403a arithmetic unit 403b memory 404 Unit (modification unit) 405, 405a Edge image generation unit (edge image generation unit) 406 Data generation unit (data generation unit) 407 Interpolation unit DC Color image data (2D image data) DS Distance image data DM 3D shape data
───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 2F065 AA04 AA12 AA53 BB05 CC16 DD04 DD06 DD11 EE00 EE04 FF01 FF02 FF04 FF09 FF61 HH05 JJ03 JJ05 JJ09 JJ26 NN17 NN20 PP22 QQ00 QQ03 QQ13 QQ24 QQ25 QQ26 QQ27 QQ32 QQ33 QQ34 QQ41 QQ42 SS02 SS03 SS13 5B046 AA05 CA05 EA09 FA18 GA01 GA09 ──────────────────────────────────────────────────続 き Continuing on the front page F term (reference) 2F065 AA04 AA12 AA53 BB05 CC16 DD04 DD06 DD11 EE00 EE04 FF01 FF02 FF04 FF09 FF61 HH05 JJ03 JJ05 JJ09 JJ26 NN17 NN20 PP22 QQ00 QQ03 QQ13 QQ24 Q27 Q32 Q27 Q32 Q32 Q32 Q32 Q32 Q32 Q32 Q27 Q32 Q32 Q32 Q32 Q32 Q32 Q32 Q32 Q27 Q32 Q32 Q32 QQ Q SS13 5B046 AA05 CA05 EA09 FA18 GA01 GA09
Claims (9)
る３次元形状データ処理装置であって、 前記物体に関する所定の画像を取り込む際の基準照明状
態からの照明変化率を求める照明変化率算出手段と、 前記照明変化率に応じて前記画像のうち少なくとも特定
領域に含まれる画素のデータを修正する修正手段と、 前記修正手段において修正された画像の特性に基づい
て、前記３次元形状データを生成するデータ生成手段
と、を備えることを特徴とする３次元形状データ処理装
置。1. A three-dimensional shape data processing device for outputting three-dimensional shape data on an object, comprising: an illumination change rate calculation unit for obtaining an illumination change rate from a reference illumination state when a predetermined image on the object is captured. A correcting unit that corrects data of pixels included in at least a specific region of the image according to the illumination change rate; and generating the three-dimensional shape data based on characteristics of the image corrected by the correcting unit. And a data generation unit.
る３次元形状データ処理装置であって、 前記物体に関して得られる所定の画像の特定領域につい
て、物体の反射率によって生じる反射成分を抽出する反
射成分抽出手段と、 前記反射成分に応じて前記画像のうちの少なくとも前記
特定領域に含まれる画素のデータを修正する修正手段
と、 前記修正手段において修正された画像の特性に基づい
て、前記３次元形状データを生成するデータ生成手段
と、を備えることを特徴とする３次元形状データ処理装
置。2. A three-dimensional shape data processing device for outputting three-dimensional shape data relating to an object, comprising: a reflection component for extracting a reflection component caused by the reflectance of the object for a specific region of a predetermined image obtained with respect to the object. Extracting means; correcting means for correcting data of pixels included in at least the specific region of the image according to the reflection component; and the three-dimensional shape based on characteristics of the image corrected by the correcting means. And a data generating means for generating data.
装置において、 前記画像を取り込む際の基準照明状態からの照明変化率
を求める照明変化率算出手段、をさらに備え、 前記修正手段は、前記反射成分と前記照明変化率とに応
じて前記画像のうちの少なくとも前記特定領域に含まれ
る画素のデータを修正するものであることを特徴とする
３次元形状データ処理装置。3. The three-dimensional shape data processing device according to claim 2, further comprising: an illumination change rate calculation unit that calculates an illumination change rate from a reference illumination state when the image is captured. 3. The three-dimensional shape data processing device according to claim 1, wherein data of pixels included in at least the specific region of the image is corrected according to the reflection component and the illumination change rate.
形状データ処理装置において、 前記照明変化率算出手段は、 前記物体に対する初期照明状態を前記基準照明状態とし
て予め記憶しておく手段と、 前記物体に関する前記所定の画像を取り込む際の照明状
態と、前記初期照明状態とに基づいて前記照明変化率を
求める演算手段と、を備えることを特徴とする３次元形
状データ処理装置。4. The three-dimensional shape data processing device according to claim 1, wherein the illumination change rate calculation unit stores an initial illumination state for the object as the reference illumination state in advance. A three-dimensional shape data processing device, comprising: an illumination state when the predetermined image relating to the object is captured; and an arithmetic unit that calculates the illumination change rate based on the initial illumination state.
形状データ処理装置において、 前記照明変化率算出手段は、前記物体に関して得られる
画像の特定領域に含まれる画素のデータから前記照明変
化率の推定値を演算により求め、当該推定値を前記照明
変化率とすることを特徴とする３次元形状データ処理装
置。5. The three-dimensional shape data processing apparatus according to claim 1, wherein the illumination change rate calculation unit calculates the illumination change rate from pixel data included in a specific area of an image obtained for the object. A three-dimensional shape data processing apparatus, wherein an estimated value of a ratio is obtained by calculation, and the estimated value is used as the illumination change rate.
載の３次元形状データ処理装置において、 計測基準点から前記物体の計測点までの距離情報を含む
３次元の距離画像データと、前記距離画像データと対応
づけ可能なデータであって、前記物体の２次元画像に関
する２次元画像データとを入力し、 前記データ生成手段は、前記修正手段において修正され
た前記２次元画像の特性に基づいて前記距離画像データ
をデータ加工することにより、前記３次元形状データを
生成することを特徴とする３次元形状データ処理装置。6. The three-dimensional shape data processing apparatus according to claim 1, wherein three-dimensional distance image data including distance information from a measurement reference point to a measurement point of the object, Two-dimensional image data relating to a two-dimensional image of the object, which is data that can be associated with the distance image data, wherein the data generation unit is configured to perform processing based on the characteristics of the two-dimensional image corrected by the correction unit A three-dimensional shape data processing apparatus for processing the distance image data to generate the three-dimensional shape data.
装置において、 前記物体は人体頭部であり、前記特定領域は前記人体頭
部についての毛髪領域であり、 前記データ加工は、前記人体頭部の毛髪部分について得
られた前記距離画像データが有する溝の深さに関するデ
ータの加工であることを特徴とする３次元形状データ処
理装置。7. The three-dimensional shape data processing device according to claim 6, wherein the object is a human head, the specific area is a hair area of the human head, and the data processing is performed on the human body. A three-dimensional shape data processing apparatus, characterized in that it is processing of data relating to the depth of a groove included in the distance image data obtained for a hair portion of a head.
装置において、 前記修正手段において修正された前記２次元画像に対し
て所定の処理を施すことによってエッジ画像を生成する
エッジ画像生成手段、をさらに備え、 前記データ生成手段は、前記エッジ画像に基づいて前記
距離画像データをデータ加工することにより、前記３次
元形状データを生成することを特徴とする３次元形状デ
ータ処理装置。8. The three-dimensional shape data processing device according to claim 7, wherein an edge image is generated by performing predetermined processing on the two-dimensional image corrected by the correction unit. The three-dimensional shape data processing device, wherein the data generation unit generates the three-dimensional shape data by processing the distance image data based on the edge image.
装置において、 前記所定の画像に基づいて複数の色度画像を生成する色
度画像生成手段と、 前記修正手段において修正された画像に対して所定の処
理を施すことによってエッジ画像を生成するとともに、
当該エッジ画像を各色度画像に基づいて補正するエッジ
画像生成手段と、をさらに備え、 前記データ生成手段は、前記エッジ画像生成手段におい
て補正された前記エッジ画像に基づいて、前記３次元形
状データを生成することを特徴とする３次元形状データ
処理装置。9. The three-dimensional shape data processing apparatus according to claim 1, wherein a chromaticity image generating unit that generates a plurality of chromaticity images based on the predetermined image; In addition to generating an edge image by performing predetermined processing on it,
Edge image generation means for correcting the edge image based on each chromaticity image, wherein the data generation means converts the three-dimensional shape data based on the edge image corrected by the edge image generation means. A three-dimensional shape data processing device for generating.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11160481A JP2000346617A (en) | 1999-06-08 | 1999-06-08 | Three-dimensional shape data processor |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11160481A JP2000346617A (en) | 1999-06-08 | 1999-06-08 | Three-dimensional shape data processor |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2000346617A true JP2000346617A (en) | 2000-12-15 |
Family
ID=15715890
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP11160481A Pending JP2000346617A (en) | 1999-06-08 | 1999-06-08 | Three-dimensional shape data processor |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2000346617A (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002206919A (en) * | 2001-01-10 | 2002-07-26 | Fuji Xerox Co Ltd | Three-dimensional shape measuring device and method therefor |
| WO2003036568A1 (en) * | 2001-10-22 | 2003-05-01 | Sanyo Electric Co., Ltd. | Data creation method, data creation apparatus, and 3-dimensional model |
| JP2008164493A (en) * | 2006-12-28 | 2008-07-17 | Pulstec Industrial Co Ltd | Method for measuring three-dimensional shape, and calibrating body |
| WO2019198446A1 (en) * | 2018-04-10 | 2019-10-17 | 株式会社ニコン | Detection device, detection method, information processing device, and information processing program |
| CN111919086A (en) * | 2018-03-30 | 2020-11-10 | 仓敷纺绩株式会社 | Three-dimensional measuring device and three-dimensional measuring method for linear object |
-
1999
- 1999-06-08 JP JP11160481A patent/JP2000346617A/en active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002206919A (en) * | 2001-01-10 | 2002-07-26 | Fuji Xerox Co Ltd | Three-dimensional shape measuring device and method therefor |
| WO2003036568A1 (en) * | 2001-10-22 | 2003-05-01 | Sanyo Electric Co., Ltd. | Data creation method, data creation apparatus, and 3-dimensional model |
| JP2008164493A (en) * | 2006-12-28 | 2008-07-17 | Pulstec Industrial Co Ltd | Method for measuring three-dimensional shape, and calibrating body |
| CN111919086A (en) * | 2018-03-30 | 2020-11-10 | 仓敷纺绩株式会社 | Three-dimensional measuring device and three-dimensional measuring method for linear object |
| WO2019198446A1 (en) * | 2018-04-10 | 2019-10-17 | 株式会社ニコン | Detection device, detection method, information processing device, and information processing program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP0991023B1 (en) | A method of creating 3-D facial models starting from face images | |
| EP3261332B1 (en) | System and method for image processing and generating a body model | |
| US6775403B1 (en) | Device for and method of processing 3-D shape data | |
| CN108447017A (en) | Face virtual face-lifting method and device | |
| CN107484428B (en) | Method for displaying objects | |
| CN110663066A (en) | Image processing apparatus, image processing system, image processing method, and program | |
| US20100328307A1 (en) | Image processing apparatus and method | |
| CN108682050B (en) | Three-dimensional model-based beautifying method and device | |
| JP2010507854A (en) | Method and apparatus for virtual simulation of video image sequence | |
| TW200805175A (en) | Makeup simulation system, makeup simulation device, makeup simulation method and makeup simulation program | |
| CN107343148B (en) | Image completion method, apparatus and terminal | |
| KR101165017B1 (en) | 3d avatar creating system and method of controlling the same | |
| JP2006004158A (en) | Image processing program, image processing method, image processor, and recording medium | |
| JP2018195996A (en) | Image projection apparatus, image projection method, and image projection program | |
| JP2004030007A (en) | Makeup simulation apparatus, makeup simulation method, makeup simulation program and recording medium with program recorded thereon | |
| JP2000339498A (en) | Three-dimensional shape data processor | |
| JP2000346617A (en) | Three-dimensional shape data processor | |
| JP2009211148A (en) | Face image processor | |
| JP5419777B2 (en) | Face image synthesizer | |
| JP5419773B2 (en) | Face image synthesizer | |
| JP2009253324A (en) | Image processing unit, image processing method, and program | |
| JP2001012922A (en) | Three-dimensional data-processing device | |
| JP2000321050A (en) | Method and apparatus for acquiring three-dimensional data | |
| CN107343151B (en) | Image processing method, device and terminal | |
| JP2001209796A (en) | Image processor, area extracting method and recording medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20050613 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20060220 |