JP2000357007A - Three-dimensional data processor - Google Patents

Abstract

PROBLEM TO BE SOLVED: To provide a three-dimensional(3D) data processor capable of easily setting a magnification or position to a work. SOLUTION: A planar work image 19a corresponding to a work 19 as the working material of a 3D working machine is prepared. Then, this work image 19a and an object color image 21 corresponding to a distance image 21 expressing the 3D shape data of an object are two-dimensionally matched. Thus, a 3D coordinate system DR3 of the distance image 21 and a 3D coordinate system WR3 of the work 19 can be easily made geometrically correspondent. Therefore, by utilizing this geometrical correspondence, the magnification or position can be easily set to the work.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【０００１】[0001]

【発明の属する技術分野】本発明は、立体形状を有する
物体を表現した３次元データを作成するための３次元形
状データ処理装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a three-dimensional shape data processing device for creating three-dimensional data representing an object having a three-dimensional shape.

【０００２】[0002]

【従来の技術】例えば、特開平９−１４５３１９号公報
に開示されるように可搬型の非接触式３次元計測装置
（３次元カメラ）が商品化され、ＣＧ（コンピュータグ
ラフィック）システムやＣＡＤシステムへのデータ入
力、身体計測、ロボットの視覚認識などに利用されてい
る。非接触の計測方法としては、スリット光投影法（光
切断法）が一般的であるが、他にもパターン光投影法、
ステレオ視法、干渉縞法などが知られている。2. Description of the Related Art For example, as disclosed in Japanese Patent Application Laid-Open No. 9-145319, a portable non-contact type three-dimensional measuring device (three-dimensional camera) has been commercialized, and has been developed into a CG (computer graphic) system and a CAD system. It is used for data input, body measurement, and visual recognition of robots. As a non-contact measurement method, a slit light projection method (light cutting method) is generally used.
A stereoscopic method, an interference fringe method, and the like are known.

【０００３】また、パーソナルコンピュータで利用可能
な３次元ＣＧソフトウェア、及びホビー用の小型の３次
元切削マシンが市販されている。これらを用いれば、一
般家庭でも模型や創作物を手軽に製作することができ
る。[0003] Also, three-dimensional CG software that can be used in personal computers and small three-dimensional cutting machines for hobbies are commercially available. If these are used, models and creations can be easily manufactured even in ordinary households.

【０００４】[0004]

【発明が解決しようとする課題】上述の３次元計測装置
によれば、写真をとるのと同程度の手軽さで人体を含む
各種人物の形状をデータ化することができる。非接触式
であるため、人体を計測する場合であっても、計測対象
者が煩わしさを感じることはない。そこで、この３次元
計測装置を顔写真ならぬ顔面模型の作成に利用すること
が考えられる。つまり、３次元加工機と組み合わせれ
ば、人物の顔を計測して、ワークを加工し、その場で適
当な倍率の模型を作成することが可能である。According to the three-dimensional measuring apparatus described above, it is possible to convert the shapes of various persons including a human body into data with the same ease as taking a photograph. Since it is a non-contact type, even when measuring a human body, the person to be measured does not feel troublesome. Therefore, it is conceivable to use this three-dimensional measuring device for creating a facial model that is not a facial photograph. That is, when combined with a three-dimensional processing machine, it is possible to measure a person's face, process a workpiece, and create a model with an appropriate magnification on the spot.

【０００５】そして、加工に際して、ワークのどの位置
に、どのような倍率で加工するかを決定する必要があ
る。In processing, it is necessary to determine a position on the work and a magnification to be processed.

【０００６】本発明は、ワークに対する倍率、位置を容
易に設定可能な３次元形状データ処理装置の提供を目的
とする。An object of the present invention is to provide a three-dimensional shape data processing apparatus capable of easily setting a magnification and a position with respect to a work.

【０００７】[0007]

【用語の定義】上記の目的を達成するため、この発明で
は以下のような手段を採用するが、それらにおいて、
「奥行き方向」とは、「対象物の２次元画像を規定する
２次元面を貫く方向」として、「後方」とは、「基準位
置から相対的に遠い側」として、それぞれ定義される。[Definition of terms] In order to achieve the above object, the present invention employs the following means.
The “depth direction” is defined as “a direction that penetrates a two-dimensional plane that defines a two-dimensional image of a target object”, and the “backward” is defined as “a side relatively far from a reference position”.

【０００８】[0008]

【課題を解決するための手段】すなわち、請求項１の発
明は、所定の基準位置から立体的な対象物の対向表面各
部までの距離を表現した距離画像と前記対象物の２次元
画像とを含む基礎データに基づいて前記対象物を表現し
た３次元データを生成し、それによって所定のワークの
立体加工のための情報を得る３次元データ処理装置であ
って、(a)前記ワークの加工可能領域を表現したワーク
画像と前記対象物の２次元画像とを所定の画面上に重ね
て表示させ、前記ワーク画像の内部に前記対象物の２次
元画像が適合した状態を適合状態として指定する指定手
段と、(b)前記適合状態に対応する前記対象物の距離画
像に、前記ワーク画像のサイズと前記加工可能領域の実
際のサイズとの比率に応じてスケール変換を施すととも
に、スケール変換後の前記距離画像を前記加工可能領域
の実際の座標位置へと位置変換し、それによって変換済
の距離画像を得る変換手段と、(c)前記変換済の距離画
像を利用して、前記ワークの加工情報としての３次元デ
ータを生成する手段と、を備える。That is, according to the present invention, a distance image expressing a distance from a predetermined reference position to each part of a three-dimensional object facing surface and a two-dimensional image of the object are provided. A three-dimensional data processing apparatus that generates three-dimensional data representing the object based on basic data including the information, and thereby obtains information for three-dimensional processing of a predetermined work. A designation in which a work image representing an area and a two-dimensional image of the target object are displayed on a predetermined screen in a superimposed manner, and a state in which the two-dimensional image of the target object fits inside the work image is designated as a matching state. Means, and (b) performing a scale conversion according to a ratio between the size of the work image and the actual size of the workable area on the distance image of the object corresponding to the conforming state, and after the scale conversion. A conversion unit that converts the distance image into an actual coordinate position of the workable area, thereby obtaining a converted distance image; and (c) processing the work using the converted distance image. Means for generating three-dimensional data as information.

【０００９】また、請求項２の発明は、請求項１の発明
に係る３次元データ処理装置において、前記変換手段
が、前記ワーク画像を前記距離画像の座標系に変換する
手段と、変換後の前記ワーク画像の２次元的代表点の位
置を、前記ワークの実際の加工可能領域の２次元的代表
点の位置に対応させることにより、スケール変換後の前
記距離画像を前記加工可能領域の実際の位置に２次元的
に適合させる手段と、を備える。According to a second aspect of the present invention, in the three-dimensional data processing apparatus according to the first aspect of the present invention, the conversion means converts the work image into a coordinate system of the distance image, By associating the position of the two-dimensional representative point of the work image with the position of the two-dimensional representative point of the actual workable area of the work, the distance image after the scale conversion is converted to the actual position of the workable area. Means for two-dimensionally adapting the position.

【００１０】また、請求項３の発明は、請求項２の発明
に係る３次元データ処理装置において、前記ワーク画像
の２次元的代表点が、前記ワーク画像の２次元的重心点
であり、前記ワークの実際の加工可能領域の２次元的代
表点が、前記加工可能領域の２次元的重心点である。According to a third aspect of the present invention, in the three-dimensional data processing apparatus according to the second aspect, the two-dimensional representative point of the work image is a two-dimensional center of gravity of the work image. The two-dimensional representative point of the actual workable area of the work is the two-dimensional center of gravity of the workable area.

【００１１】また、請求項４の発明は、請求項１ないし
請求項３のいずれかの発明に係る３次元データ処理装置
において、前記変換手段が、スケール変換後の前記距離
画像の奥行き方向の第１代表点の位置を、前記ワークの
実際の加工可能領域の奥行き方向の第２代表点の位置に
対応させる奥行き位置調整手段、を備える。According to a fourth aspect of the present invention, in the three-dimensional data processing apparatus according to any one of the first to third aspects, the conversion means is configured to control the distance image after scale conversion in a depth direction. Depth position adjusting means for making the position of one representative point correspond to the position of the second representative point in the depth direction of the actual workable area of the work.

【００１２】また、請求項５の発明は、請求項４の発明
に係る３次元データ処理装置において、前記第１代表点
が、スケール変換後の前記距離画像の重心点であり、前
記第２代表点が、前記加工可能領域の重心点である。According to a fifth aspect of the present invention, in the three-dimensional data processing apparatus according to the fourth aspect of the present invention, the first representative point is a center of gravity of the distance image after scale conversion, and The point is the center of gravity of the workable area.

【００１３】また、請求項６の発明は、請求項４の発明
に係る３次元データ処理装置において、前記第１代表点
が、スケール変換後の前記距離画像の前端点であり、前
記第２代表点が、前記加工可能領域の前端点である。According to a sixth aspect of the present invention, in the three-dimensional data processing apparatus according to the fourth aspect of the present invention, the first representative point is a front end point of the distance image after scale conversion, and the second representative point is a second representative point. The point is the front end point of the workable area.

【００１４】また、請求項７の発明は、請求項４の発明
に係る３次元データ処理装置において、前記第１代表点
が、スケール変換後の前記距離画像の後端点であり、前
記第２代表点が、前記加工可能領域の後端点である。According to a seventh aspect of the present invention, in the three-dimensional data processing apparatus according to the fourth aspect of the present invention, the first representative point is a rear end point of the distance image after scale conversion, and the second representative point is The point is the rear end point of the workable area.

【００１５】また、請求項８の発明は、請求項４の発明
に係る３次元データ処理装置において、前記奥行き位置
調整手段が、スケール変換後の前記距離画像の後端点
を、前記ワークの実際の加工可能領域の後端点に一致さ
せた後端一致状態を規定する手段と、前記後端一致状態
において、スケール変換後の前記距離画像の一部が前記
ワークの実際の加工可能領域のうち前記基準位置側の表
面から突出しているか否かを判定し、突出している場合
には補正要求信号を発生する判定手段と、前記補正要求
信号に応答して、スケール変換後の前記距離画像の前端
点を、前記ワークの実際の加工可能領域の前端点に一致
させるように補正する奥行き補正手段と、とを備える。According to an eighth aspect of the present invention, in the three-dimensional data processing apparatus according to the fourth aspect of the present invention, the depth position adjusting means sets a rear end point of the distance image after scale conversion to an actual end point of the workpiece. Means for defining a rear end coincidence state matched with the rear end point of the workable area; and in the rear end coincidence state, a part of the distance image after scale conversion is the reference of the actual workable area of the work. Judgment means for judging whether or not it protrudes from the surface on the position side, and judging means for generating a correction request signal in the case of protruding, in response to the correction request signal, the front end point of the distance image after scale conversion Depth correction means for correcting the work so as to match the front end point of the actual workable area of the work.

【００１６】また、請求項９の発明は、請求項８の発明
に係る３次元データ処理装置において、前記奥行き位置
調整手段が、前記奥行き補正手段が能動化されたとき、
前記スケール変換後の距離画像のうち前記ワークの実際
の加工可能領域の後方に飛び出すことになる部分の画像
情報を削除する後方削除手段、をさらに備える。According to a ninth aspect of the present invention, in the three-dimensional data processing device according to the eighth aspect of the present invention, when the depth position adjusting means is activated, the depth correction means is activated.
The image processing apparatus further includes a rear deletion unit that deletes image information of a portion of the distance image after the scale conversion that protrudes behind the actual workable area of the work.

【００１７】また、請求項１０の発明は、請求項１ない
し請求項８のいずれかの発明に係る３次元データ処理装
置において、前記変換手段が、スケール変換後の前記距
離画像のうち、前記ワークの実際の加工可能領域から飛
び出すことになる部分の画像情報を削除する削除手段、
を備える。According to a tenth aspect of the present invention, in the three-dimensional data processing apparatus according to any one of the first to eighth aspects, the converting means includes a step of: Deleting means for deleting the image information of the portion that will jump out of the actual processable area of
Is provided.

【００１８】また、請求項１１の発明は、請求項１ない
し請求項８のいずれかの発明に係る３次元データ処理装
置において、前記変換手段が、スケール変換後の前記距
離画像の一部が、奥行き方向において前記ワークの実際
の加工可能領域から飛び出すことになる場合には、前記
距離画像の奥行き方向への空間倍率を縮小して、前記距
離画像を前記ワークの実際の加工可能領域内に内包させ
る縮小処理手段、を備える。According to an eleventh aspect of the present invention, in the three-dimensional data processing apparatus according to any one of the first to eighth aspects, the conversion means includes: If the work projects in the depth direction from the actual workable area of the work, the spatial magnification of the distance image in the depth direction is reduced, and the distance image is included in the workable area of the work. And a reduction processing unit.

【００１９】また、請求項１２の発明は、請求項１ない
し請求項１１のいずれかの発明に係る３次元データ処理
装置において、前記指定手段が、操作入力手段と、前記
操作入力手段の操作に応答して、前記所定の画面上にお
いて前記ワーク画像に対する前記対象物の２次元画像の
相対的な位置と倍率とを変更する手段と、を備える。According to a twelfth aspect of the present invention, in the three-dimensional data processing apparatus according to any one of the first to eleventh aspects, the designation means includes an operation input means and an operation of the operation input means. Means for changing a relative position and a magnification of the two-dimensional image of the target object with respect to the work image on the predetermined screen.

【００２０】また、請求項１３の発明は、請求項１ない
し請求項１２のいずれかの発明に係る３次元データ処理
装置において、前記対象物の２次元画像が、前記基準位
置から離れた所定の撮影位置からの撮像によって取得さ
れるものであり、(d）前記基準位置から前記対象物の位
置に向かう方向と、前記撮影位置から前記対象物に向か
う方向との視差に応じて前記２次元画像を補正する２次
元画像補正手段、をさらに備える。According to a thirteenth aspect of the present invention, in the three-dimensional data processing apparatus according to any one of the first to twelfth aspects, the two-dimensional image of the object is provided at a predetermined distance from the reference position. (D) the two-dimensional image is obtained according to a parallax between a direction from the reference position to the position of the object and a direction from the shooting position to the object. Is further provided.

【００２１】また、請求項１４の発明は、請求項１ない
し請求項１３のいずれかの発明に係る３次元データ処理
装置において、前記指定手段が、ディスプレイと、前記
ディスプレイの画面上に配置され、前記ワーク画像とし
て前記加工可能領域の外形に対応する所定の形状を表現
しており、かつ少なくとも前記所定の形状の内部につい
ては透明性を有する形状表現手段と、前記ディスプレイ
の画面のうち、前記所定の形状で表現される範囲に重な
る位置に前記対象物の２次元画像を表示させる表示制御
手段と、を備える。According to a fourteenth aspect of the present invention, in the three-dimensional data processing apparatus according to any one of the first to thirteenth aspects, the designation means is arranged on a display and a screen of the display, A shape expressing unit that expresses a predetermined shape corresponding to the outer shape of the workable area as the work image, and at least the inside of the predetermined shape has transparency; Display control means for displaying a two-dimensional image of the object at a position overlapping the range represented by the shape of the object.

【００２２】[0022]

【発明の実施の形態】＜立体模型作成装置の要部構成＞
図１は、本発明に係る３次元データ処理装置が組み込ま
れた立体模型作成装置１の外観図である。この立体模型
作成装置１の全体構成は、後述する各実施形態に共通の
例になっている。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS <Main Configuration of Solid Model Making Apparatus>
FIG. 1 is an external view of a three-dimensional model creation device 1 in which a three-dimensional data processing device according to the present invention is incorporated. The overall configuration of the three-dimensional model creation device 1 is an example common to each embodiment described later.

【００２３】立体模型作成装置１は、立体模型を作成す
るための３次元的なオリジナル物体（以下「対象物」）
の形状を計測し、その計測データに基づいて素材を、そ
の場で加工する機能を有しており、利用客の顔をかたど
った小物品の自動販売機として使用される。作成される
物品は、所定形状（例えば四角形）の板面から顔面の模
型がレリーフ状に突き出た立体である。板面（背景部
分）に特定の起伏模様を付加することも可能である。こ
のような物品に適当な金具を取り付ければ、ペンダン
ト、ブローチ、キーホルダなどのアクセサリーとなる。
予め素材に金具を取り付けておいてもよい。The three-dimensional model creating apparatus 1 is a three-dimensional original object (hereinafter, "object") for creating a three-dimensional model.
It has the function of measuring the shape of the object and processing the material on the spot based on the measurement data, and is used as a vending machine for small articles in the shape of a customer's face. The article to be created is a three-dimensional body in which a model of the face protrudes in a relief shape from a plate of a predetermined shape (for example, a square). It is also possible to add a specific undulating pattern to the plate surface (background portion). If an appropriate metal fitting is attached to such an article, it becomes an accessory such as a pendant, a broach, or a key holder.
A metal fitting may be attached to the material in advance.

【００２４】ほぼ等身大の筐体１０の上半部の前面に、
利用客がポーズを確認するためのディスプレイ１６とと
もに、光学式３次元計測のための投光窓１２および受光
窓１４が設けられている。受光窓１４は２次元のカラー
撮影にも用いられる。この受光窓１４の奥には、画像デ
ータを取得するための撮影装置３０が設けられている。
そして、筐体１０の下半部は上半部よりも前方側に張り
出しており、その上面が操作パネル１８となっている。
商品の取出口２０は下半部の前面に設けられている。ま
た、筐体１０の下半部内には、加工材料であるワーク１
９を加工する加工装置１７２が設けられている。ここ
で、加工装置１７２の加工ツールの３次元空間における
可動範囲の制約などからワーク１９に対して加工可能な
領域を加工対象としている。なお、説明の便宜上、この
ワーク１９の加工可能領域を、以下の各実施形態に関し
てはワーク１９の全領域と考える。On the front of the upper half of the substantially life-size housing 10,
A light emitting window 12 and a light receiving window 14 for optical three-dimensional measurement are provided together with a display 16 for a user to check a pose. The light receiving window 14 is also used for two-dimensional color photography. An imaging device 30 for acquiring image data is provided behind the light receiving window 14.
The lower half of the housing 10 projects forward from the upper half, and the upper surface thereof is an operation panel 18.
The product outlet 20 is provided on the front surface of the lower half. In the lower half of the housing 10, a work 1 as a processing material is provided.
9 is provided with a processing device 172 that processes the ninth. Here, an area that can be processed on the workpiece 19 is set as a processing target due to a restriction on a movable range of the processing tool of the processing apparatus 172 in a three-dimensional space. For convenience of explanation, the workable area of the work 19 is considered as the entire area of the work 19 in the following embodiments.

【００２５】図２は、操作パネル１８の平面図である。FIG. 2 is a plan view of the operation panel 18.

【００２６】操作パネル１８には、スタートボタン１８
１、確認ボタン１８２、キャンセルボタン１８３、ジョ
イスティック１８４、及び硬貨の投入口１８５が設けら
れている。ジョイスティック１８４は模型の構図の変更
指示と、後述する背景面の設定操作に用いられる。左右
に傾けるパーン操作、上下に傾けるチルト操作、及びノ
ブを回転させるロール操作に呼応して３次元形状モデル
の回転操作が行われ、処理結果が逐次表示される。ま
た、キャンセルボタン１８３は、利用客が表示された３
次元形状モデルが気に入らないときなどに再計測を指示
するためのボタンである。ただし、キャンセルボタン１
８３には有効回数が設定されており、無制限に再計測を
指示することはできない。The operation panel 18 includes a start button 18
1, a confirmation button 182, a cancel button 183, a joystick 184, and a coin slot 185 are provided. The joystick 184 is used for an instruction to change the composition of the model and a setting operation of a background surface described later. A rotation operation of the three-dimensional shape model is performed in response to a pan operation for tilting left and right, a tilt operation for tilting up and down, and a roll operation for rotating a knob, and processing results are sequentially displayed. In addition, the cancel button 183 is displayed on the 3rd where the user is displayed.
A button for instructing re-measurement when the user does not like the dimensional shape model. However, Cancel button 1
The number of valid times is set in 83, and re-measurement cannot be instructed without limitation.

【００２７】図３は、立体模型作成装置１の機能ブロッ
クである。FIG. 3 is a functional block diagram of the three-dimensional model forming apparatus 1.

【００２８】立体模型作成装置１は、模型サイズの３次
元形状モデルを生成するモデリングシステム１Ａと、３
次元形状モデルを顕在化する加工システム１Ｂとから構
成されている。The three-dimensional model forming apparatus 1 includes a modeling system 1A for generating a three-dimensional shape model having a model size,
And a processing system 1B for realizing the three-dimensional shape model.

【００２９】モデリングシステム１Ａは、オリジナル物
体である利用客の外観情報をデジタルデータに変換（デ
ータ化）する撮影装置３０を含んでいる。撮影装置３０
は、スリット光投影法で形状情報をデータ化して、３次
元の距離画像データ（３次元画像データ）ＤＳを出力す
る３次元計測装置３４、色情報をデータ化して２次元の
カラー画像データＤＣを出力する２次元撮像装置３６、
及びコントローラ３８より構成されている。The modeling system 1A includes a photographing device 30 for converting (converting) the appearance information of a user who is an original object into digital data. Photographing device 30
Is a three-dimensional measuring device 34 that converts shape information into data by slit light projection and outputs three-dimensional distance image data (three-dimensional image data) DS, and converts two-dimensional color image data DC by converting color information into data. A two-dimensional imaging device 36 for output,
And a controller 38.

【００３０】ここで、距離画像データＤＳはＸＹＺの直
交座標系における座標値として与えられるデータであ
り、３次元計測装置３４内の計測基準点から対象物の対
向表面上の各計測点までの距離の分布情報を与える距離
分布画像データである。距離画像データＤＳには、対象
物からの反射光の計測データが得られたか否かを示す有
効フラグの情報も含まれる。Here, the distance image data DS is data given as coordinate values in an XYZ rectangular coordinate system, and is a distance from a measurement reference point in the three-dimensional measuring device 34 to each measurement point on the facing surface of the object. Is distance distribution image data that gives distribution information of. The distance image data DS also includes information on a valid flag indicating whether measurement data of reflected light from the target object has been obtained.

【００３１】他方、カラー画像データＤＣは、対象物の
２次元的カラー画像の各画素を、３原色データ、即ち、
Ｒ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）のそれぞ
れの色成分の階調によって表現したデータである。ここ
では、３次元計測と２次元撮影とを同一視点（１眼レン
ズ）から行う撮影装置３０を用いているため、距離画像
データＤＳとカラー画像データＤＣとの対応付けを極め
て容易に行うことができる。これら距離画像データＤＳ
及びカラー画像データＤＣは、後述する３次元形状デー
タ処理装置４０に入力される。On the other hand, the color image data DC represents each pixel of the two-dimensional color image of the object as three primary color data, that is,
This is data expressed by the gradation of each color component of R (red), G (green), and B (blue). Here, since the photographing device 30 that performs the three-dimensional measurement and the two-dimensional photographing from the same viewpoint (single lens) is used, it is possible to extremely easily associate the distance image data DS with the color image data DC. it can. These distance image data DS
The color image data DC is input to a three-dimensional shape data processing device 40 described later.

【００３２】なお、３次元計測法として、スリット光投
影法に代えて他の手法を用いてもよい。As a three-dimensional measurement method, another method may be used instead of the slit light projection method.

【００３３】３次元形状データ処理装置４０は、本発明
の中核部分であり、データ修正を含む各種のデータ処理
を行って加工システム１Ｂで利用可能な加工データＤＭ
を生成する。３次元形状データ処理装置４０のコントロ
ーラ４２は、ＣＰＵおよびメモリを含んで構成されてお
り、周辺のハードウエア回路と協働しつつ、所定のソフ
トウエアに従って後記の画像処理を含む各種のデータ処
理を行う。また、このコントローラ４２は、立体模型作
成装置１の全体的な制御をも担い、投影システム３０の
コントローラ３８及び加工システム１Ｂのコントローラ
１７６に適切な指示を与える。このコントローラ４２に
は、ディスプレイ１６及び操作入力システム４４が接続
されている。操作入力システム４４は、上述の操作パネ
ル１８と料金受領機構とからなる。The three-dimensional shape data processing device 40 is a core part of the present invention, and performs various data processing including data correction and processes data DM that can be used in the processing system 1B.
Generate The controller 42 of the three-dimensional shape data processing device 40 includes a CPU and a memory, and performs various types of data processing including image processing described later in accordance with predetermined software while cooperating with peripheral hardware circuits. Do. The controller 42 also performs overall control of the three-dimensional model creation device 1 and gives appropriate instructions to the controller 38 of the projection system 30 and the controller 176 of the processing system 1B. The display 16 and the operation input system 44 are connected to the controller 42. The operation input system 44 includes the above-described operation panel 18 and a fee receiving mechanism.

【００３４】一方、加工システム１Ｂは、樹脂ブロック
などの材料を切削する加工装置１７２、ワーク１９の加
工位置への供給と加工品の取出口２０への搬送を行う材
料供給装置１７４、コントローラ１７６、及び取出口セ
ンサ１７８を備えている。取出口センサ１７８の検出信
号はコントローラ４２に入力される。On the other hand, the processing system 1B includes a processing device 172 for cutting a material such as a resin block, a material supply device 174 for supplying a workpiece 19 to a processing position and transporting a processed product to an outlet 20, a controller 176, And an outlet sensor 178. The detection signal of the outlet sensor 178 is input to the controller 42.

【００３５】なお、撮影装置３０及び加工システム１Ｂ
の制御をコントローラ４２に受け持たせ、コントローラ
３８及びコントローラ１７６を省略した回路構成を採用
してもよい。The photographing device 30 and the processing system 1B
May be assigned to the controller 42, and the controller 38 and the controller 176 may be omitted.

【００３６】＜立体模型作成装置１の動作の概要＞図４
は、立体模型作成装置１の動作の概要を説明するフロー
チャートである。また、立体模型作成装置１の動作の概
要は、後述する各実施形態に共通の例になっている。以
下、同図を参照して、その基本動作の処理手順を説明す
る。<Overview of Operation of Solid Model Creation Apparatus 1> FIG.
3 is a flowchart illustrating an outline of the operation of the three-dimensional model creation device 1. The outline of the operation of the three-dimensional model creation device 1 is an example common to each embodiment described later. Hereinafter, a processing procedure of the basic operation will be described with reference to FIG.

【００３７】電源が投入された後、後で詳述する利用客
に対する撮影および計測データの処理を行う（ステップ
ＳＴ１０）。After the power is turned on, photographing and measurement data processing for the customer, which will be described in detail later, is performed (step ST10).

【００３８】ステップＳＴ１０で得られた３次元形状モ
デルを表示する（ステップＳＴ２０）。このとき、影を
付すといった公知のグラフィック手法を適用して見栄え
を高める。そして、指示操作を待つ。ただし、待ち時間
は有限であり、時限を過ぎれば確認操作が行われたもの
とみなす。The three-dimensional shape model obtained in step ST10 is displayed (step ST20). At this time, the appearance is enhanced by applying a known graphic method such as adding a shadow. Then, it waits for an instruction operation. However, the waiting time is finite, and it is considered that a confirmation operation has been performed after the time limit.

【００３９】ジョイスティック１８４が操作されると、
上述のように３次元形状モデルを操作に応じて回転させ
て表示する（ステップＳＴ３０、ＳＴ３５）。キャンセ
ルボタン１８３が押される（ステップＳＴ４５）と、ス
テップＳＴ１０に戻る。ただし、この場合、利用客が料
金を改めて投入する必要はなく、スタートボタン１８１
を押せば、再計測が行われる。When the joystick 184 is operated,
As described above, the three-dimensional shape model is rotated and displayed according to the operation (steps ST30 and ST35). When the cancel button 183 is pressed (step ST45), the process returns to step ST10. However, in this case, there is no need for the customer to re-enter the fee, and the start button 181 is not required.
If you press, re-measurement is performed.

【００４０】確認ボタン１８２が押されると（ステップ
ＳＴ４０）、３次元形状モデルに基づいて加工条件デー
タベースを参照して加工制御用のデータを生成し（ステ
ップＳＴ５０）、材料の加工を行う（ステップＳＴ６
０）。加工が終わると、商品を排出し（ステップＳＴ７
０）、取出口センサ１７８によって商品が取り出された
のを確認（ステップＳＴ８０）して、ステップＳＴ１０
に戻る。When the confirm button 182 is pressed (step ST40), data for processing control is generated with reference to the processing condition database based on the three-dimensional shape model (step ST50), and the material is processed (step ST6).
0). When the processing is completed, the product is discharged (step ST7).
0), it is confirmed that the product has been taken out by the take-out port sensor 178 (step ST80), and step ST10
Return to

【００４１】以下では、本発明の特徴に対応する加工デ
ータ生成の動作（後述）が含まれる各実施形態を説明す
るが、その前に、この加工データ生成の動作で用いる距
離画像とワーク１９との整合化の原理を概念的に説明し
ておく。In the following, each embodiment including an operation of generating processed data (described later) corresponding to the feature of the present invention will be described. Before that, a distance image and a work 19 used in the operation of generating processed data are described. The principle of the matching will be explained conceptually.

【００４２】＜距離画像とワークとの整合化の原理＞ワ
ーク１９に立体加工をするには、距離画像をワーク１９
の加工装置１７２の座標系に移動させるとともに、ワー
ク１９の大きさに合わせて距離画像をスケーリングする
ことが必要になる。ところが、距離画像２１（図５
(a)）は３次元データであり、この３次元測定および３
次元データ処理には比較的時間がかかりアルタイムの表
示が困難である。<Principle of Matching Distance Image and Work> In order to perform three-dimensional processing on the work 19, the distance image is
It is necessary to move to the coordinate system of the processing device 172 and to scale the distance image according to the size of the work 19. However, the distance image 21 (FIG. 5)
(a)) is three-dimensional data, and the three-dimensional measurement
The dimensional data processing takes a relatively long time and it is difficult to display real time.

【００４３】このため、本発明の各実施形態では、距離
画像２１よりもリアルタイム処理が可能な２次元撮影装
置で得られるカラー画像２２（図５(b)）を使用して変
換パラメータを定めて行くようにしている。For this reason, in each embodiment of the present invention, conversion parameters are determined using a color image 22 (FIG. 5B) obtained by a two-dimensional photographing apparatus capable of real-time processing rather than the distance image 21. I'm going to go.

【００４４】ただし、対象物のカラー画像２２は２次元
的な情報であり、それとの間の幾何学的関係を指定する
にあたっては、ワーク１９についても２次元のワーク画
像１９ａ（図５(d)）を準備する。このカラー画像２２
およびワーク画像１９ａにより、対象物の大きさ・位置
とワークとの関係を、２次元画像の重ね合わせで表示で
きるため、その時点では３次元データに対する処理は必
要でない。したがって、比較的時間を要する３次元測定
及び３次元データ処理を省略することができ、リアリタ
イムで表示することができる。However, the color image 22 of the object is two-dimensional information, and when designating a geometrical relationship with the two-dimensional information, the two-dimensional work image 19a (FIG. 5D) Prepare). This color image 22
The relationship between the size and position of the target object and the work can be displayed by superimposing the two-dimensional images on the basis of the work image 19a. Therefore, the three-dimensional measurement and the three-dimensional data processing that require a relatively long time can be omitted, and the display can be performed in real time.

【００４５】そして、対象物のカラー画像２２とワーク
のワーク画像１９ａとの幾何学的関係を指定した後に
は、対象物のカラー画像２２と距離画像２１との座標関
係Ｒab（図５に仮想線で示す）と、ワーク１９のワーク
画像１９ａと実際のワーク１９との座標関係Ｒcd（図５
に仮想線で示す）とを利用して、距離画像２１を実際の
ワーク１９の座標系に変換することが可能である。After the geometric relationship between the color image 22 of the object and the work image 19a of the work is specified, the coordinate relationship Rab between the color image 22 of the object and the distance image 21 (the virtual line in FIG. 5). 5) and a coordinate relationship Rcd between the work image 19a of the work 19 and the actual work 19 (FIG. 5).
The distance image 21 can be converted into the coordinate system of the actual work 19 by using the virtual line shown in FIG.

【００４６】このような考え方によって、本発明の各実
施形態の装置では、 (1) ワークの２次元画像と対象物の２次元画像との幾何
学的整合化（サイズ整合化Ｓ１、位置整合化Ｓ２）を行
い、 (2) そのような幾何学的整合化を行った状態で、対象物
の２次元画像２２と距離画像２１との位置関係を利用し
て、ワーク１９のワーク画像１９ａを距離画像２１の空
間へと移し、 (3) 距離画像２１の空間におけるワーク１９のワーク画
像１９ａと、ワーク１９の実際の位置やサイズとの関係
から、距離画像２１をどのように変換すれば実際のワー
ク１９に適合するかについての座標変換パラメータを求
め、 (4) その変換パラメータを使用して距離画像２１を実際
のワーク１９の空間に座標変換する、という一連のプロ
セスを実行するように構成されている。Based on such a concept, the apparatus according to each embodiment of the present invention provides: (1) geometrical matching between a two-dimensional image of a workpiece and a two-dimensional image of an object (size matching S1, position matching; S2) is performed, and (2) the work image 19a of the work 19 is distanced using the positional relationship between the two-dimensional image 22 and the distance image 21 of the target object in a state where such geometric matching is performed. (3) From the relationship between the work image 19a of the work 19 in the space of the distance image 21 and the actual position and size of the work 19, how to convert the distance image 21 It is configured to execute a series of processes of obtaining a coordinate conversion parameter as to whether the distance image 21 matches the work 19 and (4) using the conversion parameter to convert the distance image 21 into a coordinate of the actual work 19. hand That.

【００４７】＜座標系＞そこでまず、これらのプロセス
において使用される各座標系（図５）を定義する。<Coordinate System> First, each coordinate system (FIG. 5) used in these processes is defined.

【００４８】(a)２次元のカラー画像座標系 ＣＲ2：こ
れは対象物の２次元カラー画像２２を規定する２次元直
交座標系であり、２次元撮影装置３６の撮像範囲（画
角）内に固定された原点Ｏ2と２次元直交軸Ｘ2、Ｙ2と
で定義される。後述するように、ワーク１９のワーク画
像１９ａも対象物の２次元カラー画像２２とのサイズお
よび位置合わせを行うことによって、この２次元カラー
画像座標系ＣＲ2での位置が特定される。(A) Two-dimensional color image coordinate system CR2: This is a two-dimensional orthogonal coordinate system that defines the two-dimensional color image 22 of the object, and is within the imaging range (angle of view) of the two-dimensional photographing device 36. It is defined by a fixed origin O2 and two-dimensional orthogonal axes X2 and Y2. As will be described later, the position of the work image 19a of the work 19 in the two-dimensional color image coordinate system CR2 is specified by performing size alignment with the two-dimensional color image 22 of the object.

【００４９】(b)３次元の距離画像座標系 ＤＲ3：これ
は、対象物の距離画像２１を規定する３次元直交座標系
であり、３次元計測装置３４の計測原点Ｏ3と、３次元
直交軸Ｘ3，Ｙ3，Ｚ3とで定義される。(B) Three-dimensional distance image coordinate system DR3: This is a three-dimensional orthogonal coordinate system that defines the distance image 21 of the object, and the measurement origin O3 of the three-dimensional measuring device 34 and the three-dimensional orthogonal axis X3, Y3, and Z3.

【００５０】(c)３次元のワーク座標系 ＷＲ3：これ
は、ワーク１９の加工空間を規定する３次元直交座標系
であり、加工装置１７２に対して相対的に固定された加
工原点Ｏwと、３次元直交軸Ｘw，Ｙw，Ｚwとで定義され
る。加工すべき物体はワーク１９であるため、距離画像
２１を実際のワーク１９の位置およびサイズに合わせて
このワーク座標系ＷＲ3に移すことが、一連の変換プロ
セスの主目的である。(C) Three-dimensional work coordinate system WR3: This is a three-dimensional orthogonal coordinate system that defines the processing space of the work 19, and a processing origin Ow fixed relative to the processing device 172; It is defined by three-dimensional orthogonal axes Xw, Yw, and Zw. Since the object to be processed is the work 19, moving the distance image 21 to the work coordinate system WR3 in accordance with the actual position and size of the work 19 is the main purpose of a series of conversion processes.

【００５１】＜データ間の変換プロセスの内容＞ ＜1.ワークの２次元カラ−画像の準備＞図６は、上記の
原理に応じて構成された加工データ生成の動作における
データ間の変換関係を概念的に示すデータ関連図であ
る。<Contents of Conversion Process Between Data><1. Preparation of Two-Dimensional Color Image of Work> FIG. 6 shows a conversion relationship between data in an operation of generating processed data configured according to the above principle. It is a data relation diagram shown notionally.

【００５２】そこでは、対象物の２次元カラー画像２２
（図６(a)）が使用されるほか、ワーク１９のワーク画
像１９ａが使用される（図６(b)）。以下ではこれらの
２次元カラー画像を相互に区別するために、対象物の２
次元カラー画像を「対象物カラ−画像」と呼び、ワーク
１９の２次元画像を「ワーク画像」と呼ぶ。なお、対象
物の２次元画像については、カラー画像が必須でなく、
白黒画像などでもよい。The two-dimensional color image 22 of the object is
(FIG. 6A) and a work image 19a of the work 19 are used (FIG. 6B). In the following, in order to distinguish these two-dimensional color images from each other, a two-dimensional
The two-dimensional color image is called a “target object color image”, and the two-dimensional image of the work 19 is called a “work image”. Note that a two-dimensional image of the object is not necessarily a color image,
A monochrome image may be used.

【００５３】このうち、ワーク画像１９ａは、ワーク１
９の正面像（加工装置１７２によって加工を行う側の面
の像）を表現する画像である。ワーク画像１９ａは、ワ
ーク１９を実際に撮影することによって得てもよく、ワ
ーク１９の形状やサイズのデータを参照してＣＡＤなど
によって作成していてもよい。また、実際のワーク１９
そのものではなく、ワークの形状を模した幾何学的な図
形（たとえば矩形）からなるマスクを使用してもよい。
この発明では、このような幾何学的なマスクもワーク画
像として扱う。そして、ワーク画像１９ａの各画素と対
象物カラ−画像の各画素とは互いに対応づけることが可
能となっているが、この時点ではこれらの２次元画像は
別の画像面上で定義された画像であって、それらの相対
的な位置関係は確定されていない。The work image 19a is the work 1
9 is an image expressing a front image (an image of a surface on which processing is performed by the processing device 172). The work image 19a may be obtained by actually photographing the work 19, or may be created by CAD or the like with reference to data on the shape and size of the work 19. In addition, the actual work 19
Instead of the mask itself, a mask made of a geometric figure (for example, a rectangle) imitating the shape of the work may be used.
In the present invention, such a geometric mask is also treated as a work image. Each pixel of the work image 19a and each pixel of the object color image can be associated with each other. At this point, these two-dimensional images are images defined on another image plane. However, their relative positional relationship has not been determined.

【００５４】＜2.カラー画像座標系ＣＲ2における位置
合わせ＞これらの対象物カラ−画像２２とワーク画像１
９ａとは、互いに重ねて合成された状態でディスプレイ
１６の画面上に表示される（図６(c)）。このとき、ワ
ーク画像１９ａについてはディスプレイ１６の画面の中
央に配置されるが、対象物カラ−画像２２は撮影装置３
０に対する対象物の距離（以下「対カメラ距離」）や、
撮影装置３０の画角内における対象物の左右上下方向の
位置（以下「画内位置」）によってその表示のサイズや
位置が異なる。<2. Positioning in Color Image Coordinate System CR2> These object color image 22 and work image 1
9a is displayed on the screen of the display 16 in a state of being superimposed on each other and synthesized (FIG. 6C). At this time, the work image 19a is arranged at the center of the screen of the display 16, but the object color image 22 is
The distance of the object to 0 (hereinafter referred to as “the distance to the camera”),
The size and position of the display vary depending on the position of the object within the angle of view of the photographing device 30 in the horizontal and vertical directions (hereinafter, “in-image position”).

【００５５】そこで、対象物カラ−画像２２の位置やサ
イズを相対的に変化させることによって、対象物カラ−
画像２２がワーク画像１９ａ内にほぼ収容された幾何学
的な適合状態が得られるような位置およびサイズ調整を
行う。Therefore, by changing the position and size of the object color image 22 relatively, the object color image 22 is changed.
The position and the size are adjusted so that the image 22 can be obtained in a geometrically fit state substantially accommodated in the work image 19a.

【００５６】この調整の具体的方法としては、対象物カ
ラ−画像２２として対象物のリアルタイム画像を使用し
て、対象物の対カメラ距離や画内位置を変化させ、これ
らの２次元画像が適合した状態で位置関係の確定を行う
方法や、対象物カラ−画像２２としては１枚の画像を使
用し、ディスプレイ上の表示倍率や表示位置をジョイス
ティック１８４などの操作入力手段を使用して変化させ
て、これらの２次元画像が適合した状態で位置関係の確
定を行う方法などがある。これらの実例は後述する。As a specific method of this adjustment, a real-time image of the object is used as the object color image 22 and the distance of the object to the camera and the position in the image are changed. In such a state, the positional relationship is determined, or a single image is used as the object color image 22, and the display magnification and the display position on the display are changed using operation input means such as a joystick 184. Thus, there is a method of determining a positional relationship in a state where these two-dimensional images are suitable. Examples of these will be described later.

【００５７】なお、対象物が人間の顔のような場合には
首や胸の部分も対象物カラ−画像２２および距離画像２
１に含まれる場合があるが、そのような場合には利用客
が立体加工を行なおうと意図する範囲が対象物の範囲と
なる。When the object is a human face, the neck and the chest are also displayed in the object color image 22 and the distance image 2.
1, but in such a case, the range intended for the user to perform the three-dimensional processing is the range of the object.

【００５８】ここにおいて、ディスプレイ１６の画面上
で移動させるのは対象物カラ−画像２２であってワーク
画像１９ａではないが、これらの位置関係およびサイズ
関係は相対的なものであるため、上記の工程は、カラー
画像座標系ＣＲ2上でワーク画像１９ａの位置およびサ
イズを特定していることと等価である。Here, the object color image 22 to be moved on the screen of the display 16 is not the work image 19a, but the positional relationship and the size relationship are relative. The process is equivalent to specifying the position and size of the work image 19a on the color image coordinate system CR2.

【００５９】したがって、この工程を終えた段階では、
２次元カラー画像座標系ＣＲ2上において、対象物カラ
−画像２２の位置およびサイズのほか、ワーク画像１９
ａの位置およびサイズも確定した状態になり、それらは
幾何学的に整合している。このため、以下のようにし
て、対象物カラ−画像２２を規定するカラー画像座標系
ＣＲ2上と、距離画像２１を規定する距離座標系ＣＲ3と
の座標関係を利用すれば、ワーク画像１９ａと距離画像
２１との位置およびサイズの関係を決定することが可能
となる。Therefore, at the end of this step,
On the two-dimensional color image coordinate system CR2, in addition to the position and size of the object color image 22, a work image 19 is displayed.
The position and size of a are also fixed, and they are geometrically consistent. For this reason, if the coordinate relationship between the color image coordinate system CR2 defining the target color image 22 and the distance coordinate system CR3 defining the distance image 21 is used as described below, the distance between the workpiece image 19a and the workpiece image 19a can be increased. The relationship between the position and the size of the image 21 can be determined.

【００６０】＜3.距離画像座標系ＤＲ3への変換＞上記
のようにして、ワーク画像１９ａの位置が２次元のカラ
ー画像座標系ＣＲ2で特定された後、ワークの位置およ
び形状を距離画像２１で表現される対象物の立体像と対
応づけるために、ワーク画像１９ａを距離画像座標系Ｄ
Ｒ3に移し、距離画像座標系ＤＲ3のワーク画像１９ｂを
得る（図６(d)）。その際には、対象物カラ−画像２２
を得た際のカメラパラメータ３１を使用する。<3. Conversion to Distance Image Coordinate System DR3> After the position of the work image 19a is specified in the two-dimensional color image coordinate system CR2 as described above, the position and shape of the work are changed to the distance image 21. In order to associate the work image 19a with the three-dimensional image of the object represented by
The process moves to R3 to obtain a work image 19b in the range image coordinate system DR3 (FIG. 6D). In this case, the object color image 22
The camera parameters 31 obtained at the time of obtaining are used.

【００６１】具体的には、図７に示すように、カメラパ
ラメータとして、焦点とＣＣＤの中心間距離ＦＣと焦点
と対象物の基準面間距離ＦＯとカラーＣＣＤの画素数
（ＣＣＤｘ，ＣＣＤｙ）とカラーＣＣＤの画素ピッチ
（pitchＸ，pitchＹ）を用いる。カラー画像座標系ＣＲ
２の座標値（Ｘc，Ｙc）に対して対応する距離画像座標
系ＤＲ３の座標値（Ｘr，Ｙr）とする。この時、次式の
ように対応付けることができる。More specifically, as shown in FIG. 7, the camera parameters include the distance FC between the focus and the center of the CCD, the distance FO between the focus and the reference plane of the object, and the number of pixels of the color CCD (CCDx, CCDy). The pixel pitch (pitchX, pitchY) of the color CCD is used. Color image coordinate system CR
A coordinate value (Xr, Yr) of the distance image coordinate system DR3 corresponding to the coordinate value (Xc, Yc) of No. 2 is set. At this time, they can be associated as in the following equation.

【００６２】[0062]

【数１】Ｘr ＝（Ｘc−ＣＣＤｘ／２）* ＦＯ／ＦＣ *
pitchＸ : Ｙr ＝（Ｙc−ＣＣＤｙ／２）* ＦＯ／ＦＣ * pitchＹ
: 既に図６(c)の段階で対象物カラ−画像２２とワーク画
像１９ａとの平面的な幾何学的適合処理は完了している
ため、このような並進変換後には、図６(d)に示す距離
画像座標系ＤＲ3のワーク画像１９ｂと対象物の距離画
像２１（図６(e)）とのＸＹ面内方向での座標系は一致
している。Xr = (Xc-CCDx / 2) * FO / FC *
pitchX: Yr = (Yc-CCDy / 2) * FO / FC * pitchY
: Since the planar geometrical matching process between the object color image 22 and the work image 19a has already been completed at the stage of FIG. 6C, after such a translational conversion, FIG. The coordinate system in the XY plane direction between the work image 19b of the distance image coordinate system DR3 and the distance image 21 (FIG. 6E) of the target object shown in FIG.

【００６３】ただし、図６(c)の段階におけるワーク画
像のＸＹ面内方向のサイズは座標系ＣＲ２でのサイズで
あって、ワーク１９の実際のサイズではない。また、こ
の段階では距離座標系でのワーク画像１９ｂのサイズと
は別なものとなっている。However, the size of the work image in the direction of the XY plane in the stage of FIG. 6C is the size in the coordinate system CR2, not the actual size of the work 19. At this stage, the size of the work image 19b in the distance coordinate system is different from that of the work image 19b.

【００６４】＜4.ワーク座標系ＷＲ3への変換＞そこ
で、(1) 距離画像座標系ＤＲ3におけるワーク画像１９
ｂの位置やサイズに関し、それまでの処理で求められた
第１情報と、(2) ワーク座標系ＷＲ3における実際のワ
ーク１９の位置やサイズに関し、予め定められた第２情
報と、の２つの情報の関係を利用して、距離画像２１を
実空間のワーク１９に整合させるための、距離画像座標
系ＤＲ3からワーク座標系ＷＲ3への座標変換パラメータ
（位置変換量および倍率）を算出し（図６(f))、それら
を利用して距離画像２１の座標変換を行う（図６
(g)）。<4. Conversion to Work Coordinate System WR3> Therefore, (1) Work image 19 in range image coordinate system DR3
The position and size of b, the first information obtained in the processing up to that point, and (2) the second information predetermined for the actual position and size of the actual work 19 in the work coordinate system WR3. Utilizing the information relationship, a coordinate conversion parameter (position conversion amount and magnification) from the distance image coordinate system DR3 to the work coordinate system WR3 for matching the distance image 21 to the work 19 in the real space is calculated (FIG. 6 (f)), the coordinate transformation of the distance image 21 is performed by using them (FIG. 6).
(g)).

【００６５】具体的には、距離画像座標系ＤＲ3におけ
るワーク画像１９ｂの代表点（たとえば重心）の位置ベ
クトルをＰrとし，ワーク座標系ＷＲ3における実際のワ
ーク１９の代表点の位置ベクトルをＰｒ0としたとき、
位置変換量（すなわち並進ベクトル）ΔＰは、Specifically, the position vector of the representative point (for example, the center of gravity) of the work image 19b in the distance image coordinate system DR3 is Pr, and the position vector of the actual representative point of the work 19 in the work coordinate system WR3 is Pr0. When
The position transformation amount (ie, translation vector) ΔP is

【００６６】[0066]

【数２】ΔＰ ＝ Ｐr0 − Ｐr で与えられる。## EQU2 ## It is given by ΔP = Pr0−Pr.

【００６７】また、距離画像座標系ＤＲ3におけるワー
ク画像１９ｂのサイズをＳwとし、ワーク座標系ＷＲ3に
おける実際のワーク１９のサイズをＳw0としたとき、変
換倍率Ｍxyは、When the size of the work image 19b in the distance image coordinate system DR3 is Sw and the actual size of the work 19 in the work coordinate system WR3 is Sw0, the conversion magnification Mxy is

【００６８】[0068]

【数３】Ｍxy ＝ Ｓw0 ／ Ｓw で得られる。## EQU3 ## It can be obtained by Mxy = Sw0 / Sw.

【００６９】したがって、距離画像座標系ＤＲ3におい
てワーク画像１９ｂと整合した状態での距離画像２１の
各画像点の位置ベクトルをＱ0としたとき、Therefore, when the position vector of each image point of the distance image 21 in the state of being aligned with the work image 19b in the distance image coordinate system DR3 is Q0,

【００７０】[0070]

【数４】Ｑ ＝ Ｍxy・(Ｑ0−Ｐr）＋ΔＰ という変換によって新たな位置ベクトルＱを得ることに
より、この位置ベクトルＱはワーク座標系ＷＲ3におい
て実際のワーク１９と位置およびサイズにおいて整合し
たものとなる。## EQU4 ## By obtaining a new position vector Q by the conversion of Q = Mxy. (Q0-Pr) +. DELTA.P, this position vector Q matches the actual work 19 in the work coordinate system WR3 in position and size. Become.

【００７１】しかし、ワーク画像１９ａはワーク１９の
ＸＹ面内のデータは正確に表現できるがＺ方向（奥行き
方向）の厚みは表せないため、上記のワーク画像１９ａ
の平面的な情報のみを用いる位置合わせでは、ワーク１
９の奥行き方向（Ｚ方向）に関しては大雑把なものとな
っている。そこで、奥行き方向の位置合わせでは、ワー
ク１９と距離画像２１との３次元情報を対応させること
でＺ方向の正確な位置変換量を求める。これは、３次元
情報どうしを結びつけるために１次元分低い２次元情報
を用いているため、この１次元分に対応するＺ方向の情
報を補う必要があるからである。奥行き方向の位置合わ
せでは、距離画像２１のどの位置をワーク１９のどの位
置に合わせるかによって種々の態様がある（それらは後
述する）。However, the work image 19a can accurately represent data in the XY plane of the work 19 but cannot express the thickness in the Z direction (depth direction).
In alignment using only planar information of
The depth direction (Z direction) 9 is rough. Therefore, in the positioning in the depth direction, an accurate position conversion amount in the Z direction is obtained by associating the three-dimensional information of the work 19 and the distance image 21 with each other. This is because two-dimensional information lower by one dimension is used to link the three-dimensional information, and it is necessary to supplement information in the Z direction corresponding to the one-dimensional information. In the depth direction alignment, there are various modes depending on which position of the distance image 21 is aligned with which position of the work 19 (these will be described later).

【００７２】以上により、図６(g)の状態では、ワーク
１９はワーク座標系ＷＲ3における実際の位置およびサ
イズを有しており、距離画像２１はそのワークに合わせ
てＸＹＺ方向でスケーリングされかつ位置合わせされた
状態となっている。As described above, in the state shown in FIG. 6 (g), the work 19 has the actual position and size in the work coordinate system WR3, and the distance image 21 is scaled in the XYZ directions according to the work and the position It is in the state of being matched.

【００７３】また、Ｚ方向においてワークからはみ出し
た距離画像の部分は、削除するなどの処理も必要に応じ
て行うことができる。If necessary, processing such as deleting the portion of the distance image that protrudes from the work in the Z direction can be performed.

【００７４】このようにしてＸＹ面内およびＺ方向につ
いて位置変換やサイズ変換（スケーリング）を施された
距離画像２１に基づいて加工装置１７２（図５）をワー
ク座標系ＷＲ3で駆動すれば、ワーク１９に対して適正
な位置およびサイズで立体加工することが可能になる。If the processing device 172 (FIG. 5) is driven in the work coordinate system WR3 based on the distance image 21 subjected to position conversion and size conversion (scaling) in the XY plane and the Z direction in this way, It is possible to perform three-dimensional processing at an appropriate position and size with respect to 19.

【００７５】以下では、以上の原理を具体的に実現する
各種の態様を説明する。In the following, various modes for realizing the above principle will be described.

【００７６】＜第１実施形態＞第１実施形態では、上述
した構成の立体模型作成装置１を用い、本発明の特徴が
含まれる撮影・データ処理の動作を行う。以下では、こ
の動作の詳細を説明する。<First Embodiment> In the first embodiment, an operation of photographing and data processing including the features of the present invention is performed using the three-dimensional model creating apparatus 1 having the above-described configuration. Hereinafter, details of this operation will be described.

【００７７】図８は、撮影・データ処理の動作を説明す
るフローチャートであり、図４に示すフローチャートの
ＳＴ１０に対応する。FIG. 8 is a flowchart for explaining the photographing / data processing operation, and corresponds to ST10 in the flowchart shown in FIG.

【００７８】まず、ステップＳ１０では、あらかじめ準
備されて記憶されているワーク画像１９ａをディスプレ
イ１６に表示する（図９参照）。ワーク１９の加工可能
領域がワーク１９の全域でないときには、少なくとも加
工可能領域を示す範囲の画像を表示させるが、ワーク１
９の物理的外形をあわせて表示してもよい。First, in step S10, a work image 19a prepared and stored in advance is displayed on the display 16 (see FIG. 9). When the workable area of the work 19 is not the entire area of the work 19, at least an image of a range indicating the workable area is displayed.
9 may be displayed together.

【００７９】ステップＳ１１では、利用客の頭部付近を
対象物として、基準位置に配置された撮影装置３０によ
って対象物カラー画像２２を撮影する。In step S11, an object color image 22 is photographed by the photographing device 30 disposed at the reference position, with the vicinity of the head of the customer as the object.

【００８０】ステップＳ１２では、撮影された２次元の
対象物カラー画像２２をリアルタイムでワーク画像１９
ａに重ねてディスプレイ１６に表示する（図９参照）。
ここでは、画像表示とともに定期的にガイダンスを表示
してもよい。In step S12, the photographed two-dimensional object color image 22 is converted to the work image 19 in real time.
a is displayed on the display 16 (see FIG. 9).
Here, guidance may be displayed periodically together with the image display.

【００８１】次に、ステップＳ１３では、操作入力が行
われたかを判断する。すなわち、料金が投入されてスタ
ートボタン１８１が利用客により押下される操作入力が
行われていれば、ステップＳ１４に進み、押下されてい
なければステップＳ１１に戻り、引続き２次元画像をデ
ィスプレイ１６に表示する。図９（ａ）に示すようにワ
ーク画像１９ａと対象物カラー画像２２とが適合してい
ない状態の時は利用客が自身の頭部などを移動させて、
図９（ｂ）に示すようにワーク画像１９ａと対象物カラ
ー画像２２とを適合させる。具体的には、利用客が自身
の頭部などをＸＹ面内方向に移動させれば対象物カラー
画像２２がディスプレイ１６中で左右上下方向に移動
し、頭部をＺ方向に移動させればディスプレイ１６中に
おける対象物カラー画像２２の全体サイズが変化する。
そして、図９（ｂ）のように対象物カラー画像２２がワ
ーク画像１９ａにほぼ適合する状態であり、希望する大
きさ・位置になったと利用客が判断すると、その利用客
はスタートボタン１８１を操作することによって、対象
物カラー画像２２の位置およびサイズを確定する。Next, in step S13, it is determined whether an operation input has been performed. That is, if a fee has been input and the operation input for pressing the start button 181 by the user has been performed, the process proceeds to step S14, and if not, the process returns to step S11 and the two-dimensional image is continuously displayed on the display 16. I do. As shown in FIG. 9A, when the work image 19a and the target object color image 22 do not match, the user moves his / her own head and the like,
The work image 19a and the target object color image 22 are matched as shown in FIG. Specifically, if the user moves his / her head in the XY plane direction, the object color image 22 moves in the display 16 in the left, right, up, and down directions, and if the user moves the head in the Z direction, The overall size of the object color image 22 in the display 16 changes.
Then, as shown in FIG. 9 (b), when the user determines that the target object color image 22 substantially matches the work image 19a and has reached the desired size and position, the user presses the start button 181. By performing the operation, the position and size of the target object color image 22 are determined.

【００８２】ステップＳ１４では、撮影装置３０によっ
て利用客の２次元のカラー画像データＤＣを取得する。
ここにおいて、図９のようなワーク画像１９ａとの適合
のための対象物カラー画像２２の取得（準備撮影）が高
分解能で行われてる場合には、そのような準備撮影で繰
り返して取り込まれている２次元画像データのうち、ス
タートボタン１８１を操作した時点の画像の情報を２次
元カラー画像データＤＣとして採用してもよいが、準備
撮影を低分解能で行っている場合にはこの時点で高分解
能の撮影を行うことによって、３次元加工のための高分
解能の２次元カラー画像データＤＣを取得する。In step S14, the photographing device 30 obtains two-dimensional color image data DC of the customer.
Here, when the acquisition (preparation photographing) of the target object color image 22 for matching with the work image 19a as shown in FIG. 9 is performed at a high resolution, it is repeatedly taken in by such preparation photographing. Of the existing two-dimensional image data, the information of the image at the time when the start button 181 is operated may be adopted as the two-dimensional color image data DC. By performing high-resolution imaging, high-resolution two-dimensional color image data DC for three-dimensional processing is obtained.

【００８３】ステップＳ１５では、撮影装置３０によっ
て、対象物の３次元データ、すなわち距離画像データＤ
Ｓの取得を行う。In step S15, the photographing device 30 uses the three-dimensional data of the object, that is, the distance image data D
Acquire S.

【００８４】ステップＳ１６では、ステップＳ１５で取
得した距離画像データＤＳはノイズやデータの欠落等を
含む生データであるため、この距離画像データＤＳに対
するをデータ補正処理を行う。以上が図５(ａ)〜(ｃ)の
プロセスに対応し、以下の各工程は図５(ｄ)〜(ｇ)に対
応する。In step S16, since the distance image data DS obtained in step S15 is raw data including noise and missing data, data correction processing is performed on the distance image data DS. The above corresponds to the processes of FIGS. 5A to 5C, and the following steps correspond to FIGS. 5D to 5G.

【００８５】ステップＳ２０では、ステップＳ１６で補
正された距離画像データＤＳを用い、加工データＤＭを
生成する。その詳細を以下で説明する。In step S20, the processed data DM is generated using the distance image data DS corrected in step S16. The details will be described below.

【００８６】ステップＳ２１では、３次元距離画像座標
系におけるワーク画像１９ｂと実際のワーク１９とのサ
イズの比率に応じて、距離画像２１をスケール変換す
る。具体的には、図１０に示すように、２次元のカラー
画像座標系ＣＲ2におけるワーク画像１９ａの座標デー
タ、例えば、図１０に示すようなワーク画像１９ａの外
形の広がりの最大範囲をＸＹ方向について規定した最大
矩形１９ｒの対角の２次元座標値(XL,YT)、(XR,YB)を２
次元カラー画像座標系ＣＲ2において取得し、それによ
ってワーク画像１９ａの位置と広がりを表現する。次
に、図１１に示すように、２次元のカラー画像座標系Ｃ
Ｒ2におけるワーク画像１９ａ（図１１（ａ））を、カ
メラパラメータ３１を用いて３次元距離画像座標系ＤＲ
3に移し、ワーク画像１９ｂを得る。これは既述した数
１による変換に相当する。そして、このワーク画像１９
ｂのサイズと、実際のワーク１９におけるＸＹ面内のサ
イズとの比率を算出し、この比率で距離画像２１のスケ
ール変換を施すことにより、距離画像２１とワーク画像
１９ｂとのサイズ関係を整合させる。In step S21, the distance image 21 is scale-converted according to the size ratio between the work image 19b and the actual work 19 in the three-dimensional distance image coordinate system. Specifically, as shown in FIG. 10, the coordinate data of the work image 19a in the two-dimensional color image coordinate system CR2, for example, the maximum range of the spread of the outer shape of the work image 19a as shown in FIG. The two-dimensional coordinate values (XL, YT) and (XR, YB) of the diagonal of the specified maximum rectangle 19r are 2
Acquired in the two-dimensional color image coordinate system CR2, thereby expressing the position and spread of the work image 19a. Next, as shown in FIG. 11, a two-dimensional color image coordinate system C
The work image 19a (FIG. 11A) in R2 is converted into a three-dimensional range image coordinate system DR using the camera parameters 31.
The process moves to 3 to obtain a work image 19b. This corresponds to the conversion by the above-described equation 1. And this work image 19
The ratio between the size of b and the size of the actual work 19 in the XY plane is calculated, and the scale conversion of the distance image 21 is performed at this ratio to match the size relationship between the distance image 21 and the work image 19b. .

【００８７】ステップＳ２２では、スケール変換後の距
離画像２１をワーク１９の位置に対応するようにＸＹ面
内で位置決めする。具体的には、図１２に示すように、
距離画像座標系ＤＲ3におけるワーク画像１９ｂのＸＹ
面内の２次元的な重心ＲＰを、ワーク座標系ＷＲ3にお
ける実際のワーク１９における重心ＷＰに一致させるよ
うな位置変換を行う。In step S22, the scale-converted distance image 21 is positioned in the XY plane so as to correspond to the position of the work 19. Specifically, as shown in FIG.
XY of work image 19b in range image coordinate system DR3
The position conversion is performed such that the two-dimensional center of gravity RP in the plane matches the center of gravity WP of the actual work 19 in the work coordinate system WR3.

【００８８】また、この代わりに、図１３に示すよう
に、距離画像座標系ＤＲ3におけるスケール変換後の距
離画像２１のＸＹ座標に関する重心ＲＰを、ワーク座標
系ＷＲ3における実際のワーク１９における重心ＷＰに
一致させるような位置変換を行ってもよい。Alternatively, as shown in FIG. 13, the center of gravity RP of the distance image 21 after scale conversion in the distance image coordinate system DR3 is set to the center of gravity WP of the actual work 19 in the work coordinate system WR3. Position conversion may be performed so as to match.

【００８９】なお、ＸＹ面内の位置決めについては、重
心どうしの一致は必須ではなく、対応関係が明確である
２次元的な代表点（例えば、Ｘ座標および／またはＹ座
標についての座標値が最小となる点）を一致させればよ
い。また、ワーク１９の一部が加工可能領域となってい
るときには、上記における代表点はその領域だけについ
ての重心点などによって定義される。以下の「前端」、
「後端」などについても同様である。For positioning in the XY plane, it is not essential that the centers of gravity coincide with each other, but a two-dimensional representative point having a clear correspondence (for example, the coordinate value of the X coordinate and / or the Y coordinate is minimum). Point). When a part of the work 19 is a workable area, the representative point in the above is defined by a center of gravity of the area alone. "Front end" below,
The same applies to the “rear end” and the like.

【００９０】これらの変換は、既述した数２の変換に相
当しており、図６(ｄ)〜(ｆ)のプロセスに相当する。These conversions correspond to the above-described conversion of Expression 2, and correspond to the processes of FIGS. 6D to 6F.

【００９１】ステップＳ２３では、スケール変換後の距
離画像２１をワーク１９に対してＺ方向で位置決めす
る。つまり、図１４に示すように、距離画像座標系ＤＲ
3における距離画像２１においてＺ座標が最大値となっ
ている前端点２１ａを第１代表点とし、ワーク座標系Ｗ
Ｒ3におけるワーク１９においてＺ座標が最大値となっ
ている前端点１９ｆとして、第１代表点の位置を第２代
表点の位置に一致させるようなＺ方向の位置変換を行
う。なお、Ｚ座標の最大値に対応する点どうしを一致さ
せるのは必須でなく、図１５に示すように距離画像２１
の広がりの範囲を近似的に表現する直方体の重心点２１
ｇをワーク１９の３次元的な最大矩形の重心点１９ｇに
Ｚ方向で一致させるようにしてもよい。In step S23, the scale-converted distance image 21 is positioned with respect to the work 19 in the Z direction. That is, as shown in FIG.
The front end point 21a where the Z coordinate has the maximum value in the distance image 21 in FIG.
As the front end point 19f where the Z coordinate of the work 19 in R3 is the maximum value, the Z-direction position conversion is performed so that the position of the first representative point coincides with the position of the second representative point. Note that it is not essential to match the points corresponding to the maximum value of the Z coordinate, as shown in FIG.
Centroid point 21 of a rectangular parallelepiped that approximately represents the range of the spread of
g may be made to coincide with the three-dimensional maximum rectangular center point 19g of the work 19 in the Z direction.

【００９２】さらに、図１６に示すようにＺ座標が最小
値となっている後端点２１ｈおよび１９ｈどうしを一致
させてもよい。ただし、図１７（ａ）に示すように、ス
ケール変換された距離画像２１のＺ方向の幅がワーク１
９より大きく、距離画像２１の一部（前面部２１ｋ）が
表面から突出するかどうかを判定し、突出する場合に
は、補正要求信号を発生させる。そして、補正要求信号
に発生を受けて、図１７（ｂ）に示すように前端点２１
ｆ、１９ｆどうしを一致させる位置補正を行う。これ
は、距離画像２１の前面部２１ｋが対象物の前面部に対
応して、重要なデータであるため、優先する必要がある
からである。Further, as shown in FIG. 16, the rear end points 21h and 19h at which the Z coordinate has the minimum value may be matched. However, as shown in FIG. 17A, the width of the scale-converted distance image 21 in the Z direction is
It is determined whether or not a part of the distance image 21 (the front part 21k) is larger than 9 and protrudes from the surface, and if so, a correction request signal is generated. Then, in response to the generation of the correction request signal, as shown in FIG.
Position correction is performed to make f and 19f coincide with each other. This is because the front part 21k of the distance image 21 corresponds to the front part of the target object and is important data, and therefore needs to be prioritized.

【００９３】ステップＳ２４では、ワーク座標系ＷＲ3
に変換された距離画像２１の一部がワーク１９から飛び
出すかを判定する。飛び出す場合には、ステップＳ２５
に進み、飛び出さない場合には、ステップＳＴ２０に進
む。In step S24, the work coordinate system WR3
It is determined whether or not a part of the distance image 21 converted into is projected from the work 19. When jumping out, step S25
If not, the process proceeds to step ST20.

【００９４】ステップＳ２５では、飛び出した距離画像
２１のデータの調整を行う。つまり、飛び出した距離画
像２１の画像情報を削除する。なお、Ｚ方向にのみ飛び
出す場合には、距離画像２１のＺ方向の空間倍率を縮小
して、距離画像２１をワーク１９に内包させてもよい。
これによって、図６(ｇ)のプロセスが完了する。In step S25, the data of the projected distance image 21 is adjusted. That is, the image information of the projected distance image 21 is deleted. When the distance image 21 is projected only in the Z direction, the distance image 21 may be included in the work 19 by reducing the spatial magnification of the distance image 21 in the Z direction.
Thus, the process of FIG. 6G is completed.

【００９５】以上の動作により、距離画像データＤＳ
（３次元形状データ）を３次元加工機で利用可能なデー
タＤＭに迅速に変換できる。そして、リアルタイムに近
いレスポンスが要求されるベンディングマシンである立
体模型作成装置１上においても支障なく使用することが
できる。With the above operation, the distance image data DS
(3D shape data) can be quickly converted to data DM that can be used by a 3D processing machine. And it can be used without trouble even on the three-dimensional model creation device 1 which is a bending machine that requires a response in near real time.

【００９６】＜第２実施形態＞第２実施形態は、２次元
撮影を行う視点と３次元計測を行う視点とが異なる場合
である。ここでは、視差補正が必要となる。以下、第２
実施形態の構成及び動作を説明する。<Second Embodiment> In the second embodiment, the viewpoint for performing two-dimensional imaging is different from the viewpoint for performing three-dimensional measurement. Here, parallax correction is required. The second
The configuration and operation of the embodiment will be described.

【００９７】＜第２実施形態の構成＞第１実施形態の撮
影装置３０が１眼レンズを採用しているのに対して、第
２実施形態の立体模型作成装置では、撮影装置が２眼レ
ンズを採用している。<Structure of the Second Embodiment> While the photographing device 30 of the first embodiment employs a single-lens lens, in the three-dimensional model forming device of the second embodiment, the photographing device uses a two-lens lens. Is adopted.

【００９８】図１８は、２眼レンズを採用する撮影装置
３０Ａの光学系を示す図である。FIG. 18 is a view showing an optical system of a photographing apparatus 30A employing a two-lens lens.

【００９９】撮影装置３０Ａは、３次元計測装置３４に
設けられるＣＣＤ３４ａ及びレンズ３４ｂと、２次元撮
影装置３６に設けられるＣＣＤ３６ａ及びレンズ３６ｂ
との位置が異なる構成となっている。The photographing device 30A includes a CCD 34a and a lens 34b provided in the three-dimensional measuring device 34 and a CCD 36a and a lens 36b provided in the two-dimensional photographing device 36.
And the position is different.

【０１００】上記のような構成のため、第１実施形態の
撮影装置３０では同一視点のため距離画像データＤＳ及
びカラー画像データＤＣの２次元（ＸＹ座標系）におけ
る対応付けを考慮する必要がなかったが、撮影装置３０
Ａでは、これを考慮した視差補正を行わなければならな
い。With the above-described configuration, it is not necessary to consider the two-dimensional (XY coordinate system) correspondence between the distance image data DS and the color image data DC in the photographing apparatus 30 of the first embodiment because of the same viewpoint. However, the photographing device 30
In A, parallax correction must be performed in consideration of this.

【０１０１】図１８（ａ）において、光軸３６ｃとＣＣ
Ｄ３６ａとが交わる点ＣｏはＣＣＤ３６ａの中心と一致
しないため、このオフセット量offdis_fundをまず求め
る必要がある。そこで、ＣＣＤ３４ａで捉えるとＣＣＤ
３４ａの中心に捉えることができ、ＣＣＤ３６ａで捉え
るとＣＣＤ３６ａの中心に捉えることができる対象物の
点fundを通り距離画像座標系ＤＲ３のＸＹ平面と平行な
基準面５０ｆを設定する。この点fundがＣＣＤ３６ａに
結像する点に対する点Ｃｏからのオフセット量を算出
し、これをoffdis_fundとする。また、対象物５０にお
ける点ＯbjはＣＣＤ３４ａで捉えるとＣＣＤ３４ａの中
心に捉えることができるとする。この点ＯbjがＣＣＤ３
６ａに結像する点に対する点Ｃｏからのオフセット量を
算出し、これをoffdis_objとする。これらにより、図１
８（ｂ）に示すように、カラー画像中心つまりＣＣＤ３
６ａの中心からの視差ベクトルoffdisは、上記のoffdis
_objとoffdis_fundとの差（offdis_obj−offdis_fund）
から算出でき、これが視差補正量に対応する。In FIG. 18A, the optical axis 36c and CC
Since the point Co where D36a intersects does not coincide with the center of the CCD 36a, the offset amount offdis_fund must be obtained first. So, if you capture it with CCD 34a, CCD
A reference plane 50f that passes through a point fund of an object that can be captured at the center of the CCD 34a and can be captured at the center of the CCD 36a when captured by the CCD 36a and that is parallel to the XY plane of the distance image coordinate system DR3 is set. An offset amount from the point Co with respect to the point where the point fund forms an image on the CCD 36a is calculated, and this is set as offdis_fund. Further, it is assumed that the point Obj on the object 50 can be captured at the center of the CCD 34a when captured by the CCD 34a. This point Obj is CCD3
The offset amount from the point Co with respect to the point to be imaged at 6a is calculated, and this is set as offdis_obj. As a result, FIG.
8 (b), the center of the color image, that is, the CCD 3
The disparity vector offdis from the center of 6a is the above-mentioned offdis
Difference between _obj and offdis_fund (offdis_obj-offdis_fund)
, Which corresponds to the parallax correction amount.

【０１０２】図１９は、距離画像座標系ＤＲ3のＸＹ平
面５５に対する対象物カラー画像２２およびワーク画像
１９ａの関係を示す図である。図１９（ａ）に示すよう
に、上記の視差ベクトルｏffdis相当分だけ対象物カラ
ー画像２２の中心は、画角の中心Ｏ3からずれている。
よって、図１９（ｂ）に示すように、ワーク画像１９ａ
も視差ベクトルｏffdis相当分移動させると、距離画像
座標系ＤＲ３に対する対応関係が第１実施形態の同一視
点と同様となる。FIG. 19 is a diagram showing the relationship between the object color image 22 and the work image 19a with respect to the XY plane 55 of the distance image coordinate system DR3. As shown in FIG. 19A, the center of the object color image 22 is shifted from the center O3 of the angle of view by an amount corresponding to the parallax vector offdis.
Therefore, as shown in FIG.
When the image is moved by an amount corresponding to the parallax vector offfdis, the correspondence to the distance image coordinate system DR3 is the same as that of the same viewpoint in the first embodiment.

【０１０３】＜第２実施形態の動作＞図２０は、撮影・
データ処理の動作を説明するフローチャートであり、図
４に示すフローチャートのＳＴ１０に対応する。また、
図８に示すフローチャートに類似しており、相違するの
はステップＳ４１が追加されているところである。<Operation of Second Embodiment> FIG.
5 is a flowchart illustrating an operation of data processing, and corresponds to ST10 of the flowchart illustrated in FIG. Also,
The flowchart is similar to the flowchart shown in FIG. 8 except that step S41 is added.

【０１０４】ステップＳ４１では、上述したようにワー
ク画像１９ａを視差を考慮した位置（図１９（ｂ））に
設定する。これにより、ワーク１９と距離画像２１との
３次元的な対応付けが第１実施形態と同様となるため、
ステップＳ４１以降の加工データＤＭ生成の動作をステ
ップＳ２０と同様に処理できる。In step S41, the work image 19a is set to a position (FIG. 19B) in consideration of parallax as described above. Thereby, the three-dimensional association between the work 19 and the distance image 21 is the same as in the first embodiment,
The operation of generating the processed data DM after step S41 can be processed in the same manner as in step S20.

【０１０５】以上で説明したステップ以外は、第１実施
形態の動作と同様であり、この第２実施形態の動作によ
り、２眼レンズを採用する撮影装置の場合でも距離画像
データＤＳ（３次元形状データ）を３次元加工機で利用
可能なデータＤＭに迅速に変換できる。Except for the steps described above, the operation is the same as that of the first embodiment. By the operation of the second embodiment, the distance image data DS (three-dimensional shape Data) can be quickly converted into data DM usable by the three-dimensional processing machine.

【０１０６】＜第３実施形態＞第３実施形態では、図２
のジョイスティック１８４の代わりに図２１に示すよう
な１次元ジョイスティック１８４ａと２次元ジョイステ
ィック１８４ｂとの組合せからなる操作入力手段を、利
用者がディスプレイ１６の画面上で視認しながらワーク
画像１９ａの倍率と位置を上記操作入力手段によってマ
ニュアル調節しながら対象物カラー画像２２との適合を
行う。<Third Embodiment> In the third embodiment, FIG.
Instead of the joystick 184, the operation input means composed of a combination of a one-dimensional joystick 184a and a two-dimensional joystick 184b as shown in FIG. Is manually adjusted by the operation input means to match with the object color image 22.

【０１０７】＜第３実施形態の動作＞図２２は、撮影・
データ処理の動作を説明するフローチャートであり、図
４に示すフローチャートのＳＴ１０に対応する。また、
図２０に示すフローチャートに類似しており、相違する
のは、ステップＳ１０が削除され、代わりにステップＳ
６１、Ｓ６２が追加されているところである。<Operation of Third Embodiment> FIG.
5 is a flowchart illustrating an operation of data processing, and corresponds to ST10 of the flowchart illustrated in FIG. Also,
It is similar to the flowchart shown in FIG. 20 except that Step S10 is deleted and Step S10 is replaced.
61 and S62 are being added.

【０１０８】ステップＳ６１では、図２３に示すよう
に、ステップＳ５３で取得した対象物カラー画像２２の
倍率と位置を調節する。この調節方法について、以下で
説明する。In step S61, as shown in FIG. 23, the magnification and position of the object color image 22 acquired in step S53 are adjusted. This adjustment method will be described below.

【０１０９】まず、図２３（ａ）に示す状態から、１次
元ジョイスティック１８４ａを上に傾ける操作を行え
ば、図２３（ｂ）に示すように対象物カラー画像２２が
拡大表示されるようになっており、下に傾ければ縮小す
るようになっている。このため、１次元ジョイスティッ
ク１８４ａの上下の操作により倍率が調節できる。そし
て、対象物カラー画像２２のサイズがワーク画像２２に
適合した後、２次元ジョイスティック１８４ｂを利用し
て画像位置の調整を行う。すなわち、２次元倍率を調節
した対象物カラー画像２２（図２３（ｃ））に対して、
２次元ジョイスティック１８４ｂを左に傾けると図２３
（ｄ）に示す状態に移行し、２次元ジョイスティック１
８４ｂを下に傾けると図２３（ｅ）に示す状態に移行で
きるようになっており、２次元ジョイスティック１８４
ｂの上下左右の操作により位置が調節できる。First, by performing an operation of tilting the one-dimensional joystick 184a upward from the state shown in FIG. 23A, the object color image 22 is enlarged and displayed as shown in FIG. 23B. And if you lean down, it shrinks. Therefore, the magnification can be adjusted by operating the one-dimensional joystick 184a up and down. Then, after the size of the target color image 22 matches the work image 22, the image position is adjusted using the two-dimensional joystick 184b. That is, with respect to the target object color image 22 (FIG. 23C) in which the two-dimensional magnification is adjusted,
When the two-dimensional joystick 184b is tilted to the left, FIG.
The state shifts to the state shown in FIG.
By tilting 84b downward, it is possible to shift to the state shown in FIG.
The position can be adjusted by the up, down, left and right operations of b.

【０１１０】ステップＳ６２では、対象物カラー画像２
２がワーク画像１９ａに適合できたかを判定する。つま
り、ジョイスティック１８４ａ、１８４ｂの操作によ
り、ワーク画像１９ａに対する相対的な倍率と位置との
調節が完了したときは、確認ボタン１８２を押下する。
そして、確認ボタン１８２が押下された場合にはステッ
プＳＴ６３に進み、押下されていない場合にはステップ
Ｓ６１に戻る。In the step S62, the object color image 2
It is determined whether or not No. 2 is suitable for the work image 19a. That is, when the adjustment of the relative magnification and position with respect to the work image 19a is completed by operating the joysticks 184a and 184b, the confirmation button 182 is pressed.
If the confirmation button 182 has been pressed, the process proceeds to step ST63, and if not, the process returns to step S61.

【０１１１】なお、２つのジョイスティック１８４ａ、
１８４ｂの代わりに図２の１つのジョイスティック１８
４を時間的に切替えることによって倍率調整と位置調整
とを行わせるようにしてもよい。また、対象物カラー画
像２２の代わりに、距離画像（例えばワイヤーフレーム
画像）を表示するようにしてもよい。この場合、操作の
度に３次元データに対して「移動」「倍率調整」の処理
が必要となるが、１度測定された３次元データに対して
繰り返し処理を行うため、時間を要する３次元測定は１
回であり、リアルタイムで表示が行える。Note that two joysticks 184a,
One joystick 18 of FIG. 2 instead of 184b
The magnification adjustment and the position adjustment may be performed by temporally switching the number 4. Further, instead of the object color image 22, a distance image (for example, a wire frame image) may be displayed. In this case, processing of “moving” and “adjustment of magnification” is required for the three-dimensional data every time the operation is performed. Measurement is 1
Times and can be displayed in real time.

【０１１２】以上で説明したステップ以外は、第１実施
形態の動作と同様であり、この第３実施形態の動作によ
り、対象物カラー画像２２とワーク画像１９ａとの適合
を利用者の意図に従って迅速行うことができ、距離画像
データＤＳ（３次元形状データ）を３次元加工機で利用
可能なデータＤＭに迅速に変換できる。Except for the steps described above, the operation is the same as that of the first embodiment. By the operation of the third embodiment, the matching between the target object color image 22 and the work image 19a is promptly performed according to the user's intention. The distance image data DS (three-dimensional shape data) can be quickly converted to data DM that can be used by a three-dimensional processing machine.

【０１１３】＜変形例＞◎この発明で利用するワーク画
像は、必ずしもワークの２次元画像をディスプレイの画
面上で電子光学的に表示したものである必要はなく、ワ
ークの加工可能領域の外形が視認できれるものであれ
ば、どのようなものであっても「ワーク画像」として利
用できる。<Modifications> The work image used in the present invention does not necessarily need to be a two-dimensional image of the work electro-optically displayed on the screen of the display. Any object that can be visually recognized can be used as a “work image”.

【０１１４】たとえば、図２４（ａ）に示すように、ワ
ーク１９の加工可能領域の外形に対応したフレームない
しは形状（以下「ワーク外形」）１９ｆが表示された透
明板７１をディスプレイ１６の画面１６ｓの上に近接し
て配置しておくことによって、図７のステップＳ１０で
ワークカラー画像をディスプレイ１６の画面１６ｓに表
示することを省略することもできる。また、図２４
（ｂ）に示すように、ワーク外形１９ｆに相当する中空
窓７３を持った枠体７２を画面１６ｓの上に近接して配
置してもよい。これらの場合には、画面１６ｓに表示さ
れたワークカラ−画像１９ｂがワーク外形１９ｆに適合
するような位置関係で、利用客がスタートボタン１８１
（図１）を操作する。For example, as shown in FIG. 24A, a transparent plate 71 on which a frame or shape (hereinafter, “work outline”) 19f corresponding to the outline of the workable area of the work 19 is displayed on the screen 16s of the display 16. The display of the work color image on the screen 16s of the display 16 in step S10 of FIG. FIG.
As shown in (b), a frame 72 having a hollow window 73 corresponding to the work outer shape 19f may be arranged close to the screen 16s. In these cases, the user presses the start button 181 in a positional relationship such that the work color image 19b displayed on the screen 16s conforms to the work outline 19f.
(Fig. 1).

【０１１５】このように、ディスプレイ１６の画面１６
ｓ上において、加工可能領域の外形に対応する所定の形
状（ワーク外形）をワーク画像として表現する手段とし
ては、少なくともそのワーク外形の内部については、画
面１６ｓを利用客が視認できるような透明性を有するも
のが使用される。その透明性は、図２４（ａ）のように
透明材質の板で達成されていてもよく、図２４（ｂ）の
ように中空とされることによって達成されていてもよ
い。また、ディスプレイ１６の画面１６ｓ上にワーク図
形を直接にペイントしたり、シール状ものを貼り付けた
りすることもできるが、これも「形状表現手段」のひと
つである。Thus, the screen 16 of the display 16
As means for expressing a predetermined shape (work outline) corresponding to the outline of the workable area as a work image on s, at least the inside of the work outline is transparent so that the user can visually recognize the screen 16s. Is used. The transparency may be achieved by a plate made of a transparent material as shown in FIG. 24A, or may be achieved by being hollow as shown in FIG. In addition, a work figure can be directly painted on the screen 16s of the display 16 or a sticker can be pasted, but this is also one of the "shape expressing means".

【０１１６】図２４などのように構成する場合には、図
４０のコントローラ４２内のメモリに、ディスプレイ１
６の画面座標におけるワーク外形１９ｆの輪郭線の座標
値（図示例のように矩形の場合にはその矩形の頂点の座
標値）があらかじめ記憶されている。したがって、コン
トローラ４２内のＣＰＵがそれらの座標値を参照するこ
とにより、以後の処理は、ディスプレイ１６の画面１６
ｓにワークカラ−画像１９ｂを表示する場合と同様に行
うことができる。In the case of the configuration as shown in FIG. 24 or the like, the display 1 is stored in the memory in the controller 42 in FIG.
The coordinate values of the outline of the work outline 19f at the screen coordinates of No. 6 (the coordinate values of the vertexes of the rectangle in the case of a rectangle as shown in the figure) are stored in advance. Therefore, when the CPU in the controller 42 refers to those coordinate values, the subsequent processing is performed on the screen 16 of the display 16.
This can be performed in the same manner as when the work color image 19b is displayed in s.

【０１１７】このような変形例は、ワーク１９として常
に同一の形状およびサイズのものを使用する場合に特に
有効である。もっとも、透明板７１や枠体７２を、他の
ワーク外形に対応するものと交換可能にしておけば、複
数種類のワークに対応することもできる。Such a modification is particularly effective when the workpiece 19 is always of the same shape and size. However, if the transparent plate 71 and the frame body 72 are made interchangeable with those corresponding to other workpiece outlines, it is possible to support a plurality of types of workpieces.

【０１１８】◎上記の各実施形態では、ワークを直方体
としているが、円柱形状等の立体形状であってもよい。In the above embodiments, the work is a rectangular parallelepiped, but may be a three-dimensional shape such as a cylindrical shape.

【０１１９】◎上記の各実施形態における加工データ作
成の動作（ステップＳ２０、Ｓ４０、Ｓ６０）は、図４
に示すフローチャートにおける加工データ作成の動作
（ステップＳＴ５０）にて実施してもよい。The operation (steps S20, S40, S60) for creating processed data in each of the above embodiments is described in FIG.
May be performed in the operation of creating the processed data (step ST50) in the flowchart shown in FIG.

【０１２０】[0120]

【発明の効果】以上説明したように、請求項１の発明に
よれば、ワークの加工可能領域を表現したワーク画像と
対象物の２次元画像とを所定の画面上に重ねて表示さ
せ、ワーク画像の内部に前記対象物の２次元画像が適合
した状態に対応する対象物の距離画像に、ワーク画像の
サイズと加工可能領域の実際のサイズとの比率に応じて
スケール変換を施すとともに、スケール変換後の距離画
像を加工可能領域の実際の座標位置へと位置変換してい
る。その結果、３次元形状データである距離画像におい
て、ワークに対する倍率、位置を容易に設定することが
できる。As described above, according to the first aspect of the present invention, a work image representing a workable area of a work and a two-dimensional image of an object are displayed on a predetermined screen in a superimposed manner. A scale conversion is performed on the distance image of the object corresponding to a state in which the two-dimensional image of the object fits inside the image according to the ratio between the size of the work image and the actual size of the workable area. The position image of the converted distance image is converted into the actual coordinate position of the workable area. As a result, in the distance image as the three-dimensional shape data, the magnification and the position with respect to the work can be easily set.

【０１２１】また、請求項２の発明によれば、距離画像
の座標系に変換したワーク画像の２次元的代表点の位置
を、ワークの実際の加工可能領域の２次元的代表点の位
置に対応させることにより、スケール変換後の距離画像
を加工可能領域の実際の位置に２次元的に適合させるた
め、２次元平面に関して距離画像を３次元加工機で利用
可能なデータに正確に変換できる。According to the second aspect of the present invention, the position of the two-dimensional representative point of the work image converted into the coordinate system of the distance image is changed to the position of the two-dimensional representative point of the actual workable area of the work. By making the correspondence, the distance image after the scale conversion is two-dimensionally adapted to the actual position of the processable area, so that the distance image can be accurately converted into data usable by the three-dimensional processing machine with respect to the two-dimensional plane.

【０１２２】また、請求項３の発明によれば、ワーク画
像の２次元的代表点がワーク画像の２次元的重心点であ
り、ワークの実際の加工可能領域の２次元的代表点が加
工可能領域の２次元的重心点であるため、距離画像を３
次元加工機で利用可能なデータにより正確に変換でき
る。According to the third aspect of the present invention, the two-dimensional representative point of the work image is the two-dimensional center of gravity of the work image, and the two-dimensional representative point of the actual workable area of the work can be processed. Since this is a two-dimensional center of gravity of the area, the distance image
It can be accurately converted by the data available on the 3D processing machine.

【０１２３】また、請求項４の発明によれば、スケール
変換後の距離画像の奥行き方向の第１代表点の位置を、
ワークの実際の加工可能領域の奥行き方向の第２代表点
の位置に対応させるため、奥行き方向に関して距離画像
を３次元加工機で利用可能なデータに正確に変換でき
る。According to the fourth aspect of the present invention, the position of the first representative point in the depth direction of the scale-converted range image is determined by:
In order to correspond to the position of the second representative point in the depth direction of the actual workable area of the work, the distance image in the depth direction can be accurately converted into data usable by the three-dimensional processing machine.

【０１２４】また、請求項５の発明によれば、第１代表
点がスケール変換後の距離画像の重心点であり、第２代
表点が加工可能領域の重心点であるため、奥行き方向に
関して距離画像を３次元加工機で利用可能なデータによ
り正確に変換できる。According to the fifth aspect of the present invention, the first representative point is the center of gravity of the scale-converted distance image, and the second representative point is the center of gravity of the workable area. The image can be accurately converted by the data available in the three-dimensional processing machine.

【０１２５】また、請求項６の発明によれば、第１代表
点がスケール変換後の距離画像の前端点であり、第２代
表点が加工可能領域の前端点であるため、奥行き方向に
関して距離画像を３次元加工機で利用可能なデータに正
確に変換できる。According to the sixth aspect of the present invention, since the first representative point is the front end point of the scale-converted distance image and the second representative point is the front end point of the workable area, the distance in the depth direction is small. Images can be accurately converted to data that can be used by a three-dimensional processing machine.

【０１２６】また、請求項７の発明によれば、第１代表
点がスケール変換後の距離画像の後端点であり、第２代
表点が加工可能領域の後端点であるため、奥行き方向に
関して距離画像を３次元加工機で利用可能なデータに正
確に変換できる。According to the seventh aspect of the present invention, the first representative point is the rear end point of the scale-converted distance image, and the second representative point is the rear end point of the workable area. Images can be accurately converted to data that can be used by a three-dimensional processing machine.

【０１２７】また、請求項８の発明によれば、スケール
変換後の距離画像の後端点をワークの実際の加工可能領
域の後端点に一致させ、スケール変換後の距離画像の一
部がワークの実際の加工可能領域のうち基準位置側の表
面から突出しているか否かを判定し、突出している場合
には補正要求信号を発生し、補正要求信号に応答して、
スケール変換後の距離画像の前端点を、ワークの実際の
加工可能領域の前端点に一致させるように補正する。そ
の結果、奥行き方向に関して重要度の高い基準位置側の
距離画像のデータを優先できるとともに、奥行き方向に
関して距離画像を３次元加工機で利用可能なデータに正
確に変換できる。According to the eighth aspect of the present invention, the rear end point of the distance image after the scale conversion is made coincident with the rear end point of the actual workable area of the work, and a part of the distance image after the scale conversion becomes part of the work. Determine whether or not it protrudes from the surface on the reference position side in the actual workable area, and if it protrudes, generates a correction request signal and responds to the correction request signal,
The front end point of the scale-converted distance image is corrected to match the front end point of the actual workable area of the work. As a result, it is possible to give priority to the data of the distance image on the reference position side with high importance in the depth direction, and to accurately convert the distance image in the depth direction into data usable by the three-dimensional processing machine.

【０１２８】また、請求項９の発明によれば、スケール
変換後の距離画像のうちワークの実際の加工可能領域の
後方に飛び出すことになる部分の画像情報を削除するた
め、距離画像を３次元加工機で利用可能なデータに適切
に変換できる。Further, according to the ninth aspect of the present invention, since the image information of a portion of the distance image after the scale conversion, which is projected to the rear of the actual workable area of the work, is deleted, the distance image is converted into a three-dimensional image. It can be properly converted to data that can be used on a processing machine.

【０１２９】また、請求項１０の発明によれば、スケー
ル変換後の距離画像のうちワークの実際の加工可能領域
から飛び出すことになる部分の画像情報を削除するた
め、距離画像を３次元加工機で利用可能なデータに適切
に変換できる。Further, according to the tenth aspect of the present invention, since the image information of a portion of the distance image after the scale conversion that is to protrude from the actual workable area of the workpiece is deleted, the distance image is converted into a three-dimensional processing machine. Can be properly converted to data that can be used.

【０１３０】また、請求項１１の発明によれば、スケー
ル変換後の距離画像の一部が、奥行き方向においてワー
クの実際の加工可能領域から飛び出すことになる場合に
は、距離画像の奥行き方向への空間倍率を縮小して、距
離画像をワークの実際の加工可能領域内に内包させるた
め、距離画像を３次元加工機で利用可能なデータに適切
に変換できる。According to the eleventh aspect of the present invention, when a part of the scale-converted distance image jumps out of the actual workable area of the work in the depth direction, the distance image moves in the depth direction of the distance image. Since the spatial magnification is reduced and the distance image is included in the actual workable area of the work, the distance image can be appropriately converted into data usable by the three-dimensional processing machine.

【０１３１】また、請求項１２の発明によれば、操作入
力手段の操作に応答して、所定の画面上においてワーク
画像に対する対象物の２次元画像の相対的な位置と倍率
とを変更するため、距離画像を３次元加工機で利用可能
なデータに利用者の意図どうりに変換できる。According to the twelfth aspect, the relative position and magnification of the two-dimensional image of the object with respect to the work image on a predetermined screen are changed in response to the operation of the operation input means. In addition, the distance image can be converted into data usable by the three-dimensional processing machine according to the user's intention.

【０１３２】また、請求項１３の発明によれば、基準位
置から対象物の位置に向かう方向と、撮影位置から対象
物に向かう方向との視差に応じて２次元画像を補正する
ため、対象物の２次元画像が基準位置から離れた所定の
撮影位置からの撮像によって取得されても距離画像を３
次元加工機で利用可能なデータに迅速に変換できる。According to the thirteenth aspect of the present invention, the two-dimensional image is corrected according to the parallax between the direction from the reference position to the position of the object and the direction from the photographing position to the object. Even if the two-dimensional image is acquired by imaging from a predetermined imaging position distant from the reference position, the distance image
It can be quickly converted to data that can be used by 3D processing machines.

【０１３３】また、請求項１４の発明によれば、指定手
段がディスプレイとディスプレイの画面上に配置され、
ワーク画像として加工可能領域の外形に対応する所定の
形状を表現しており、かつ少なくとも所定の形状の内部
については透明性を有する形状表現手段とディスプレイ
の画面のうち所定の形状で表現される範囲に重なる位置
に対象物の２次元画像を表示させる表示制御手段とを備
えている。その結果、ワーク画像に限らず加工可能領域
の外形に対応する所定の形状を用いて、３次元形状デー
タである距離画像においてワークに対する倍率、位置を
容易に設定することができる。According to the fourteenth aspect, the designation means is arranged on the display and the screen of the display,
A shape representing a predetermined shape corresponding to the outer shape of the workable region as a work image, and at least the inside of the predetermined shape is a shape expressing means having transparency and a range expressed in a predetermined shape of a screen of a display. And display control means for displaying a two-dimensional image of the object at a position overlapping with. As a result, not only the work image but also a predetermined shape corresponding to the outer shape of the workable area can be used to easily set the magnification and position for the work in the distance image, which is three-dimensional shape data.

【図面の簡単な説明】[Brief description of the drawings]

【図１】本発明に係る３次元データ処理装置が組み込ま
れた立体模型作成装置１の外観図である。FIG. 1 is an external view of a three-dimensional model creation device 1 in which a three-dimensional data processing device according to the present invention is incorporated.

【図２】操作パネル１８の平面図である。FIG. 2 is a plan view of the operation panel 18. FIG.

【図３】立体模型作成装置１の機能ブロック図である。FIG. 3 is a functional block diagram of the three-dimensional model creation device 1.

【図４】立体模型作成装置１の動作の概要を説明するフ
ローチャートである。FIG. 4 is a flowchart illustrating an outline of an operation of the three-dimensional model creation device 1.

【図５】距離画像２１とワーク１９との整合化の概念を
説明する図である。FIG. 5 is a diagram for explaining a concept of matching between a distance image 21 and a work 19;

【図６】加工データ生成の動作におけるデータ間の変換
関係を概念的に示すデータ関連図である。FIG. 6 is a data relation diagram conceptually showing a conversion relationship between data in an operation of processing data generation.

【図７】カメラパラメータを説明する図である。FIG. 7 is a diagram illustrating camera parameters.

【図８】第１実施形態に係る撮影・データ処理の動作を
説明するフローチャートである。FIG. 8 is a flowchart illustrating an operation of photographing / data processing according to the first embodiment.

【図９】対象物カラー画像２２とワーク画像１９ａとを
示す図である。FIG. 9 is a diagram showing an object color image 22 and a work image 19a.

【図１０】カラー画像座標系ＣＲ2におけるワーク画像
１９ａの座標を示す図である。FIG. 10 is a diagram showing the coordinates of a work image 19a in a color image coordinate system CR2.

【図１１】ワーク画像１９ａの距離画像座標系ＤＲ3へ
の変換を説明する図である。FIG. 11 is a diagram illustrating conversion of a work image 19a to a distance image coordinate system DR3.

【図１２】距離画像座標系ＤＲ3とワーク座標系ＷＲ3と
のＸＹ座標に関する対応を説明する図である。FIG. 12 is a diagram illustrating correspondence between a distance image coordinate system DR3 and a work coordinate system WR3 with respect to XY coordinates.

【図１３】距離画像座標系ＤＲ3とワーク座標系ＷＲ3と
のＸＹ座標に関する対応を説明する図である。FIG. 13 is a diagram for explaining the correspondence of the distance image coordinate system DR3 and the work coordinate system WR3 with respect to XY coordinates.

【図１４】距離画像座標系ＤＲ3とワーク座標系ＷＲ3と
のＺ座標に関する対応を説明する図である。FIG. 14 is a diagram illustrating the correspondence of the distance image coordinate system DR3 and the work coordinate system WR3 with respect to the Z coordinate.

【図１５】距離画像座標系ＤＲ3とワーク座標系ＷＲ3と
のＺ座標に関する対応を説明する図である。FIG. 15 is a diagram illustrating the correspondence between the distance image coordinate system DR3 and the work coordinate system WR3 regarding the Z coordinate.

【図１６】距離画像座標系ＤＲ3とワーク座標系ＷＲ3と
のＺ座標に関する対応を説明する図である。FIG. 16 is a diagram illustrating correspondence between a distance image coordinate system DR3 and a work coordinate system WR3 regarding Z coordinates.

【図１７】距離画像座標系ＤＲ3とワーク座標系ＷＲ3と
のＺ座標に関する対応を説明する図である。FIG. 17 is a diagram illustrating the correspondence between the distance image coordinate system DR3 and the work coordinate system WR3 regarding the Z coordinate.

【図１８】第２実施形態に係る２眼レンズを採用する撮
影装置３０Ａの光学系を示す図である。FIG. 18 is a diagram illustrating an optical system of a photographing apparatus 30A employing a twin-lens lens according to a second embodiment.

【図１９】２眼レンズを採用する撮影装置３０Ａの光学
系を示す図である。FIG. 19 is a diagram showing an optical system of a photographing apparatus 30A employing a two-lens lens.

【図２０】第２実施形態に係る撮影・データ処理の動作
を説明するフローチャートである。FIG. 20 is a flowchart illustrating an operation of photographing / data processing according to the second embodiment.

【図２１】第３実施形態に係るジョイスティックを説明
する図である。FIG. 21 is a diagram illustrating a joystick according to a third embodiment.

【図２２】第３実施形態に係る撮影・データ処理の動作
を説明するフローチャートである。FIG. 22 is a flowchart illustrating an operation of shooting / data processing according to the third embodiment.

【図２３】対象物カラー画像２２の調節を説明する図で
ある。FIG. 23 is a diagram illustrating adjustment of a target object color image 22.

【図２４】ワーク外形を説明する図である。FIG. 24 is a diagram illustrating a work outer shape.

【符号の説明】[Explanation of symbols]

１ 立体模型作成装置 １６ ディスプレイ １８ 操作パネル １９ ワーク １９ａ ワーク画像 ２１ 距離画像 ２２ 対象物カラー画像 ３０ 撮影装置 ４０ ３次元形状データ処理装置 １７２ 加工装置 DESCRIPTION OF SYMBOLS 1 Solid model creation apparatus 16 Display 18 Operation panel 19 Work 19a Work image 21 Distance image 22 Object color image 30 Imaging device 40 Three-dimensional shape data processing device 172 Processing device

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 13/00 Ｇ０６Ｆ 15/62 ３５０Ａ ９Ａ００１ Ｆターム(参考） 2F065 AA04 AA17 AA53 CC16 EE05 FF01 FF02 FF09 HH05 JJ03 JJ26 MM16 QQ31 SS02 SS13 5B050 BA09 BA12 CA07 DA01 EA12 EA17 EA28 FA02 FA08 5C023 AA10 AA37 AA38 BA02 DA08 5C061 AB03 AB08 AB11 AB24 5H269 AB01 AB26 JJ09 JJ20 QA05 QD10 QE03 9A001 HZ20 HZ26 KK37 ──────────────────────────────────────────────────続 き Continued on the front page (51) Int.Cl. ⁷ Identification symbol FI Theme coat ゛ (Reference) H04N 13/00 G06F 15/62 350A 9A001 F term (Reference) 2F065 AA04 AA17 AA53 CC16 EE05 FF01 FF02 FF09 HH05 JJ03 JJ26 MM16 QQ31 SS02 SS13 5B050 BA09 BA12 CA07 DA01 EA12 EA17 EA28 FA02 FA08 5C023 AA10 AA37 AA38 BA02 DA08 5C061 AB03 AB08 AB11 AB24 5H269 AB01 AB26 JJ09 JJ20 QA05 QD10 QE03 9A001 HZ20 HZ26 KK37

Claims (14)

【特許請求の範囲】[Claims] 【請求項１】 所定の基準位置から立体的な対象物の対
向表面各部までの距離を表現した距離画像と前記対象物
の２次元画像とを含む基礎データに基づいて前記対象物
を表現した３次元データを生成し、それによって所定の
ワークの立体加工のための情報を得る３次元データ処理
装置であって、 (a) 前記ワークの加工可能領域を表現したワーク画像と
前記対象物の２次元画像とを所定の画面上に重ねて表示
させ、前記ワーク画像の内部に前記対象物の２次元画像
が適合した状態を適合状態として指定する指定手段と、 (b) 前記適合状態に対応する前記対象物の距離画像に、
前記ワーク画像のサイズと前記加工可能領域の実際のサ
イズとの比率に応じてスケール変換を施すとともに、ス
ケール変換後の前記距離画像を前記加工可能領域の実際
の座標位置へと位置変換し、それによって変換済の距離
画像を得る変換手段と、 (c) 前記変換済の距離画像を利用して、前記ワークの加
工情報としての３次元データを生成する手段と、を備え
ることを特徴とする３次元データ処理装置。The object is represented based on basic data including a distance image representing a distance from a predetermined reference position to each part of a three-dimensional object facing surface and a two-dimensional image of the object. A three-dimensional data processing apparatus that generates dimensional data and thereby obtains information for three-dimensional processing of a predetermined workpiece, comprising: (a) a workpiece image expressing a workable area of the workpiece and a two-dimensional object; (B) specifying a state in which the two-dimensional image of the object fits inside the work image as a conforming state, and (b) the corresponding to the conforming state. In the distance image of the object,
While performing scale conversion according to the ratio between the size of the work image and the actual size of the workable area, the distance image after the scale conversion is position-converted to the actual coordinate position of the workable area, (C) means for generating three-dimensional data as processing information of the work using the converted distance image. Dimensional data processing device. 【請求項２】 請求項１に記載の３次元データ処理装置
において、 前記変換手段が、 前記ワーク画像を前記距離画像の座標系に変換する手段
と、 変換後の前記ワーク画像の２次元的代表点の位置を、前
記ワークの実際の加工可能領域の２次元的代表点の位置
に対応させることにより、スケール変換後の前記距離画
像を前記加工可能領域の実際の位置に２次元的に適合さ
せる手段と、を備えることを特徴とする３次元データ処
理装置。2. The three-dimensional data processing apparatus according to claim 1, wherein the conversion unit converts the work image into a coordinate system of the distance image, and a two-dimensional representation of the converted work image. By associating the position of a point with the position of a two-dimensional representative point of the actual workable area of the work, the distance image after scale conversion is two-dimensionally adapted to the actual position of the workable area. Means, and a three-dimensional data processing apparatus. 【請求項３】 請求項２に記載の３次元データ処理装置
において、 前記ワーク画像の２次元的代表点が、前記ワーク画像の
２次元的重心点であり、 前記ワークの実際の加工可能領域の２次元的代表点が、
前記加工可能領域の２次元的重心点であることを特徴と
する３次元データ処理装置。3. The three-dimensional data processing apparatus according to claim 2, wherein the two-dimensional representative point of the work image is a two-dimensional center of gravity of the work image, and The two-dimensional representative point is
3. A three-dimensional data processing device, wherein the three-dimensional data center is a two-dimensional center of gravity of the workable area. 【請求項４】 請求項１ないし請求項３のいずれかに記
載の３次元データ処理装置において、 前記変換手段が、 スケール変換後の前記距離画像の奥行き方向の第１代表
点の位置を、前記ワークの実際の加工可能領域の奥行き
方向の第２代表点の位置に対応させる奥行き位置調整手
段、を備えることを特徴とする３次元データ処理装置。4. The three-dimensional data processing apparatus according to claim 1, wherein the conversion unit determines a position of a first representative point in a depth direction of the distance image after scale conversion. A three-dimensional data processing apparatus comprising: a depth position adjusting unit that corresponds to a position of a second representative point in a depth direction of an actual workable area of a work. 【請求項５】 請求項４に記載の３次元データ処理装置
において、 前記第１代表点が、スケール変換後の前記距離画像の重
心点であり、 前記第２代表点が、前記加工可能領域の重心点であるこ
とを特徴とする３次元データ処理装置。5. The three-dimensional data processing apparatus according to claim 4, wherein the first representative point is a center of gravity of the distance image after scale conversion, and the second representative point is a position of the workable area. A three-dimensional data processing device, characterized by being a center of gravity. 【請求項６】 請求項４に記載の３次元データ処理装置
において、 前記第１代表点が、スケール変換後の前記距離画像の前
端点であり、 前記第２代表点が、前記加工可能領域の前端点であるこ
とを特徴とする３次元データ処理装置。6. The three-dimensional data processing device according to claim 4, wherein the first representative point is a front end point of the distance image after scale conversion, and the second representative point is a part of the processable area. A three-dimensional data processing device, which is a front end point. 【請求項７】 請求項４に記載の３次元データ処理装置
において、 前記第１代表点が、スケール変換後の前記距離画像の後
端点であり、 前記第２代表点が、前記加工可能領域の後端点であるこ
とを特徴とする３次元データ処理装置。7. The three-dimensional data processing apparatus according to claim 4, wherein the first representative point is a rear end point of the distance image after scale conversion, and the second representative point is a position of the processable area. A three-dimensional data processing device, which is a rear end point. 【請求項８】 請求項４に記載の３次元データ処理装置
において、 前記奥行き位置調整手段が、 スケール変換後の前記距離画像の後端点を、前記ワーク
の実際の加工可能領域の後端点に一致させた後端一致状
態を規定する手段と、 前記後端一致状態において、スケール変換後の前記距離
画像の一部が前記ワークの実際の加工可能領域のうち前
記基準位置側の表面から突出しているか否かを判定し、
突出している場合には補正要求信号を発生する判定手段
と、 前記補正要求信号に応答して、スケール変換後の前記距
離画像の前端点を、前記ワークの実際の加工可能領域の
前端点に一致させるように補正する奥行き補正手段と、 とを備えることを特徴とする３次元データ処理装置。8. The three-dimensional data processing apparatus according to claim 4, wherein the depth position adjusting means matches a rear end point of the distance image after scale conversion with a rear end point of an actual workable area of the work. Means for defining the rear end coincidence state, wherein in the rear end coincidence state, whether part of the distance image after scale conversion projects from the surface on the reference position side in the actual workable area of the work Judge whether or not
A judging means for generating a correction request signal when projecting; in response to the correction request signal, a front end point of the distance image after scale conversion coincides with a front end point of an actual workable area of the work. And a depth correcting means for correcting the three-dimensional data to be corrected. 【請求項９】 請求項８に記載の３次元データ処理装置
において、 前記奥行き位置調整手段が、 前記奥行き補正手段が能動化されたとき、前記スケール
変換後の距離画像のうち前記ワークの実際の加工可能領
域の後方に飛び出すことになる部分の画像情報を削除す
る後方削除手段、をさらに備えることを特徴とする３次
元データ処理装置。9. The three-dimensional data processing apparatus according to claim 8, wherein the depth position adjusting means is configured to: when the depth correcting means is activated, an actual image of the work in the distance image after the scale conversion. A three-dimensional data processing device, further comprising: a rearward deletion unit that deletes image information of a portion that is projected behind a workable area. 【請求項１０】 請求項１ないし請求項８のいずれかに
記載の３次元データ処理装置において、 前記変換手段が、 スケール変換後の前記距離画像のうち、前記ワークの実
際の加工可能領域から飛び出すことになる部分の画像情
報を削除する削除手段、を備えることを特徴とする３次
元データ処理装置。10. The three-dimensional data processing device according to claim 1, wherein said conversion means jumps out of an actual workable area of said workpiece in said distance image after scale conversion. A three-dimensional data processing device, comprising: a deletion unit that deletes image information of a different part. 【請求項１１】 請求項１ないし請求項８のいずれかに
記載の３次元データ処理装置において、 前記変換手段が、 スケール変換後の前記距離画像の一部が、奥行き方向に
おいて前記ワークの実際の加工可能領域から飛び出すこ
とになる場合には、前記距離画像の奥行き方向への空間
倍率を縮小して、前記距離画像を前記ワークの実際の加
工可能領域内に内包させる縮小処理手段、を備えること
を特徴とする３次元データ処理装置。11. The three-dimensional data processing device according to claim 1, wherein said converting means includes: a part of said distance image after scale conversion is performed in an actual direction of said workpiece in a depth direction. When jumping out of the workable area, a reduction processing unit for reducing the spatial magnification of the distance image in the depth direction to include the distance image in the actual workable area of the work is provided. A three-dimensional data processing device characterized by the above-mentioned. 【請求項１２】 請求項１ないし請求項１１のいずれか
に記載の３次元データ処理装置において、 前記指定手段が、 操作入力手段と、 前記操作入力手段の操作に応答して、前記所定の画面上
において前記ワーク画像に対する前記対象物の２次元画
像の相対的な位置と倍率とを変更する手段と、を備える
ことを特徴とする３次元データ処理装置。12. The three-dimensional data processing device according to claim 1, wherein said specifying means comprises: an operation input means; and said predetermined screen in response to an operation of said operation input means. Means for changing a relative position and a magnification of the two-dimensional image of the target object with respect to the work image. 【請求項１３】 請求項１ないし請求項１２のいずれか
に記載の３次元データ処理装置において、 前記対象物の２次元画像が、前記基準位置から離れた所
定の撮影位置からの撮像によって取得されるものであ
り、 (d）前記基準位置から前記対象物の位置に向かう方向
と、前記撮影位置から前記対象物に向かう方向との視差
に応じて前記２次元画像を補正する２次元画像補正手
段、をさらに備えることを特徴とする３次元データ処理
装置。13. The three-dimensional data processing device according to claim 1, wherein the two-dimensional image of the object is acquired by imaging from a predetermined imaging position apart from the reference position. (D) a two-dimensional image correcting means for correcting the two-dimensional image according to a parallax between a direction from the reference position toward the position of the target and a direction from the shooting position toward the target. A three-dimensional data processing device, further comprising: 【請求項１４】 請求項１ないし請求項１３のいずれか
に記載の３次元データ処理装置において、 前記指定手段が、 ディスプレイと、 前記ディスプレイの画面上に配置され、前記ワーク画像
として前記加工可能領域の外形に対応する所定の形状を
表現しており、かつ少なくとも前記所定の形状の内部に
ついては透明性を有する形状表現手段と、 前記ディスプレイの画面のうち、前記所定の形状で表現
される範囲に重なる位置に前記対象物の２次元画像を表
示させる表示制御手段と、を備えることを特徴とする３
次元データ処理装置。14. The three-dimensional data processing apparatus according to claim 1, wherein the designation unit is arranged on a display, and on a screen of the display, and the workable area is provided as the work image. A predetermined shape corresponding to the outer shape of the shape, and at least a shape expressing means having transparency at least inside the predetermined shape; and a display area of the screen of the display expressed by the predetermined shape. Display control means for displaying a two-dimensional image of the object at an overlapping position.
Dimensional data processing device.