JP2018077168A

JP2018077168A - シミュレーション装置、シミュレーション方法およびシミュレーションプログラム

Info

Publication number: JP2018077168A
Application number: JP2016219990A
Authority: JP
Inventors: 高橋　文之; Fumiyuki Takahashi; 文之高橋; 哲男肥塚; Tetsuo Hizuka
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2016-11-10
Filing date: 2016-11-10
Publication date: 2018-05-17
Anticipated expiration: 2036-11-10
Also published as: JP6822086B2

Abstract

【課題】３次元形状を計測することができるシミュレーション装置、シミュレーション方法およびシミュレーションプログラムを提供する。【解決手段】シミュレーション装置は、形状計測対象を撮像するカメラと、前記カメラにより取得された画像から前記形状計測対象の特徴点を抽出する第１抽出部と、計算機上において、前記形状計測対象に対応する仮想対象と前記カメラに対応する仮想カメラとを生成する生成部と、前記仮想カメラにより取得された仮想画像から前記仮想対象の特徴点を抽出する第２抽出部と、前記第１抽出部が抽出した第１特徴点と前記第２抽出部が抽出した第２特徴点との差異に基づいて、前記生成部が前記仮想対象を生成するための数式パラメータを修正する修正部と、を備える。【選択図】図１

Description

本件は、シミュレーション装置、シミュレーション方法およびシミュレーションプログラムに関する。

立体物の形状を計測する技術が望まれている。立体物の形状計測方法には、（１）投影機やカメラで取得できる画像から寸法を計測する方法、（２）光切断法を用いて３次元形状を計測する方法（例えば、特許文献１参照。）、（３）ステレオ計測法や縞投影法などを用いる方法がある。

特開２０１０−１０１６９３号公報

（１）については、２次元画像を用いる計測であるため、得られる情報も限定的となる。（２）については、３次元形状を得るために立体物を精度よく回転、あるいは移動させながら計測する必要があって回転または移動機構を設ける必要もあるため、装置が高価かつ計測に時間がかかる。（３）については、例えば表面に特徴がない対象や、表面の金属光沢が強くパターンを投影することが難しい対象などに対しては３次元形状を計測すること自体が困難である。

１つの側面では、本発明は、立体物の３次元形状を計測することができるシミュレーション装置、シミュレーション方法およびシミュレーションプログラムを提供することを目的とする。

１つの態様では、シミュレーション装置は、形状計測対象を撮像するカメラと、前記カメラにより取得された画像から前記形状計測対象の特徴点を抽出する第１抽出部と、計算機上において、前記形状計測対象に対応する仮想対象と前記カメラに対応する仮想カメラとを生成する生成部と、前記仮想カメラにより取得された仮想画像から前記仮想対象の特徴点を抽出する第２抽出部と、前記第１抽出部が抽出した第１特徴点と前記第２抽出部が抽出した第２特徴点との差異に基づいて、前記生成部が前記仮想対象を生成するための数式パラメータを修正する修正部と、を備える。

立体物の３次元形状を計測することができるシミュレーション装置、シミュレーション方法およびシミュレーションプログラムを提供することができる。

実施例１に係る形状計測装置の全体構成を例示する図である。仮想計測対象を例示する図である。（ａ）は実装置で撮像された画像を例示する図であり、（ｂ）は第１抽出部によって抽出された特徴点を例示する図であり、（ｃ）は仮想装置で撮像された画像を例示する図であり、（ｄ）は第２抽出部によって抽出された特徴点を例示する図である。形状モデル修正の方法を例示する図である。形状計測装置による形状計測の処理の一例を表すフローチャートである。（ａ）〜（ｅ）は、バネ以外の計測対象を例示する図である。処理装置のハードウェア構成の一例を説明するためのブロック図である。

以下、図面を参照しつつ、実施例について説明する。

図１は、実施例１に係るシミュレーション装置１００の全体構成を例示する図である。図１で例示するように、シミュレーション装置１００は、実装置１０、処理装置２０、表示装置３０などを備える。実装置１０は、形状計測対象４０を現実に撮像する装置である。実装置１０は、第１照明１１、第２照明１２、第１カメラ１３、第２カメラ１４などを備える。処理装置２０は、画像入力部２１、第１特徴抽出部２２、仮想装置生成部２３、仮想画像算出部２４、第２特徴抽出部２５、比較部２６、モデル修正部２７、出力部２８などとしての機能を有している。

第１照明１１および第２照明１２は、互いに異なる位置から形状計測対象４０に光を照射する。第１カメラ１３および第２カメラ１４は、互いに異なる位置から形状計測対象４０を撮像する。第１照明１１および第２照明１２が異なる位置から形状計測対象４０に光を照射するため、第１照明１１および第２照明１２は、形状計測対象４０の画像を適切な明るさで撮像することができる。形状計測対象４０が大きい場合に、実装置１０は、形状計測対象４０や、第１カメラ１３および第２カメラ１４を移動させることで、形状計測対象４０の全面を撮像してもよい。または、実装置１０は、複数の視点を１つのカメラで取得するために、ステージなどの機構部や、形状計測対象４０やカメラその他の部品を保持するさまざまな部品を含む場合もある。したがって、実装置１０は、複数のカメラを備えずに１つのカメラを備えていてもよい。

画像入力部２１は、第１カメラ１３が撮像した画像（以下、第１画像と称する）を第１カメラ１３から取得し、第２カメラ１４が撮像した画像（以下、第２画像と称する）を第２カメラ１４から取得する。画像入力部２１は、第１画像および第２画像を格納する。画像入力部２１が複数のカメラから取得した画像を、実画像群と称する。本実施例においては、実画像群は、第１画像および第２画像である。

第１特徴抽出部２２は、画像入力部２１に格納された第１画像および第２画像に対して、Ｃａｎｎｙエッジオペレータを用いたエッジ検出処理、２値化処理等の画像処理を適用することにより、形状計測対象４０の輪郭データを取得する。また、第１特徴抽出部２２は、取得した輪郭データに対して微分処理などの形状分析を行うことにより、形状計測対象４０に関する特徴点を抽出する。特徴点として、輪郭に現れる頂点、端点などを用いることができる。これらの特徴点を抽出する画像処理は一例であり、例えばＨａｒｒｉｓのコーナー検出処理、ＳＩＦＴ（Ｓｃａｌｅ−ＩｎｖａｒｉａｎｔＦｅａｔｕｒｅＴｒａｎｓｆｏｒｍ）特徴量などをさらに用いてもよい。第１特徴抽出部２２によって抽出された特徴点群を、第１特徴点群と称する。特徴点として、上記の輪郭情報を元にした特徴量の他に、物体表面の文字やパターンその位置や姿勢およびエッジ情報などを利用することもできる。また、物体表面に照明が当たる際に生じる対象の明暗画像から同じ明るさの画素を抽出してできる等高線の情報を特徴点として用いることもできる。また物体の表面色に変化がある場合には、カメラで撮像した際の物体の色情報を特徴量に利用してもよい。

仮想装置生成部２３は、計算機上において、形状計測対象４０、実装置１０の各構成部品などをデジタル的に再現して仮想装置５０を生成する。すなわち、仮想装置生成部２３は、形状計測対象４０、実装置１０の各構成部品などを仮想化する。例えば、カメラの仮想化においては、実装置１０で使用しているカメラの位置や姿勢、さらに主点位置や焦点距離などのカメラのパラメータをカメラキャリブレーションにより実測しておく。仮想装置生成部２３は、実測結果を基に仮想カメラを配置することで、実装置１０と正確に対応付けられた仮想装置５０を生成することができる。カメラキャリブレーションには、例えば、Z.Zhangによる方法“A flexible new technique for camera calibration". IEEE Transactions on Pattern Analysis and Machine Intelligence, 22(11):1330-1334, 2000）”などを用いることができる。照明や機構系などその他の部品に関しては、実装置１０の設計データを基にそれぞれの仮想部品を配置することができる。

以上のように、仮想装置生成部２３は、第１照明１１に対応する照明を仮想化することで第１仮想照明５１を生成し、第２照明１２に対応する照明を仮想化することで第２仮想照明５２を生成する。また、仮想装置生成部２３は、第１カメラ１３に対応するカメラを仮想化することで第１仮想カメラ５３を生成し、第２カメラ１４に対応するカメラを仮想化することで第２仮想カメラ５４を生成する。

形状計測対象４０の仮想化においては、例えば、形状計測対象４０を表現できる数式モデルを用いる。例えば、バネの形状は、螺旋表現を用いることで、下記式（１）〜（３）で表現することができる。

図２は、形状計測対象４０のモデル（以下、仮想計測対象６０と称する。）を例示する図である。図２の例では、仮想計測対象６０は、バネである。図２で例示するように、ｚ軸は、バネの軸方向である。したがって、ｚ軸は、バネの螺旋が延びる方向である。ｘ軸およびｙ軸は、互いに直交するとともに、ｚ軸とも直交する。バネのピッチ単位をｘｙ平面に投影すると、略円となる。ｄは、バネの線径である。Ｄは、バネの外径である。ｐは、バネピッチである。（ｘ_０，ｙ_０，ｚ_０）は、バネの一端部の位置である。なお、上記式（１）においてバネ外径Ｄおよびバネピッチｐを定数としているが、θ（あるいはｚ）に応じて変動させてもよい。この場合、バネ外径ＤはＤ（θ）と表され、バネピッチｐはｐ（θ）と表される。または、上記式（１）に、（α，β，γ）の姿勢変化を付加する変換行列を掛けてもよい。さらに、上記式（１）に、θ（あるいはｚ）に応じて変動する位置変化（ｄｘ（ｚ），ｄｙ（ｚ），０）を加えてもよい。上記式（１）に対してバネ線径ｄの厚みをつけて、バネのｚ軸方向の全長Ｌを規定することで、バネのモデルを仮想化することができる。

仮想画像算出部２４は、仮想装置生成部２３で生成した仮想装置５０における第１仮想カメラ５３および第２仮想カメラ５４が撮像する仮想計測対象６０の画像を算出する。画像の算出においては、パストレーシング法、フォトンマッピング法などを用いたフォトリアルレンダリングの手法を用いることにより、実装置１０のカメラで取得できる画像とほぼ同じ画像を算出することができる。算出された複数の画像を仮想画像群と称する。

レンダリング（画像の算出）においては、計測対象やその他の部品の表面分光反射率などの光学特性のほか、照明の配光分布を定義しレンダリングを行うことで、仮想画像群を実画像群に近づけることができる。また、焦点距離などカメラのレンズ設定は、上記のカメラキャリブレーションで求めた数値を用いることで、仮想画像群を実画像群に近づけることができる。パストレーシング法やフォトンマッピング法は計算時間がかかる手法であるため、時間短縮の目的でスキャンライン法などの簡易的なレンダリング手法を用いてもよい。

第２特徴抽出部２５は、仮想画像群に対して、第１特徴抽出部２２と同様の特徴抽出を行う。第２特徴抽出部２５によって抽出された特徴点群を、第２特徴点群と称する。比較部２６は、第１特徴抽出部２２が抽出した第１特徴点群と、第２特徴抽出部２５が抽出した第２特徴点群との差異を求める。図３（ａ）は、実装置１０で撮像された実画像を例示する図である。図３（ｂ）は、第１特徴抽出部２２によって抽出された第１特徴点群を例示する図である。図３（ｃ）は、仮想装置５０で撮像された仮想画像を例示する図である。図３（ｄ）は、第２特徴抽出部２５によって抽出された第２特徴点群を例示する図である。

実装置１０で抽出された第１特徴点群をｘ_ｒとする。ｒは、各点の識別子である。仮想装置５０で抽出された第２特徴点群をｘ_ｖとする。ｖは、各点の識別子である。モデル修正部２７は、第１特徴点群と第２特徴点群との差異に基づいて、仮想装置生成部２３が仮想計測対象６０を生成するための数式パラメータ群を修正する。例えば、第１特徴点群および第２特徴点群において、位置が対応する特徴点同士が遠い場合に、仮想計測対象６０のパラメータ群を修正する。例えば、モデル修正部２７は、第１特徴点群および第２特徴点群において、位置が対応する特徴点同士の距離の合計が所定の値（許容値）以上である場合に、仮想計測対象６０を生成するための数式パラメータ群を順次修正し、仮想装置５０の仮想計測対象６０を順次更新する。モデル修正部２７は、最終的には上記式（４）の評価値が最小となるようなパラメータ群ｐをLevenberg-Marquardt法などの最適化手法を使って探索する。

第１特徴点群および第２特徴点群において、位置が対応する特徴点同士の距離の合計を算出するための式として、下記式（４）を用いることができる。下記式（４）において、ｐは、図２を用いて説明した仮想計測対象６０のパラメータ群である。

なお、仮想計測対象６０の修正の方法として、パラメータ群ｐによる指定以外の手法を用いてもよい。例えば、図４で例示するように、バネ形状を規定、あるいは操作する複数の操作点を設定し、それら複数の操作点の位置を変化させることでモデルを修正する方法を用いてもよい。操作点は、仮想計測対象の立体形状を規定するために必要な点群である。例えば、図４のようにバネの線径が変化しないバネにおいては、形状を規定するためにはバネ中心の軌跡を等分、あるいは不等分に区切る点群により立体形状が規定できる。操作点のその他の例としては、仮想計測対象の表面形状をデータ化する際にＣＡＤソフトやコンピュータグラフィックなどで使用されるポリゴンの各頂点を利用してもよい。

出力部２８は、形状計測結果を出力する。出力部２８は、上記式（４）の評価値が所定の値以下である場合に、パラメータ群ｐで決定されるバネ形状が形状計測対象４０のバネの３次元形状であるとして、表示装置３０や記録装置に出力する。表示装置３０は、液晶ディスプレイ、エレクトロルミネッセンスパネルなどであり、出力部２８が出力する仮想計測対象６０を表示する。

図５は、シミュレーション装置１００による形状計測の処理の一例を表すフローチャートである。図５で例示するように、画像入力部２１は、第１カメラ１３および第２カメラ１４から撮像結果（実画像群）を受け取り、格納する（ステップＳ１）。第１特徴抽出部２２は、実画像群から形状計測対象４０の第１特徴点群を抽出する（ステップＳ２）。

次に、仮想装置生成部２３は、仮想計測対象６０を生成するための数式の初期パラメータ群を設定する（ステップＳ３）。次に、仮想装置生成部２３は、設定されたパラメータ群を用いて、形状計測対象４０に対応する仮想計測対象６０を仮想的に生成する。また、仮想装置生成部２３は、実装置１０の設計データをもとに、仮想装置５０を生成する。さらに、仮想画像算出部２４は、第１仮想カメラ５３および第２仮想カメラ５４から撮像結果（仮想画像群）を算出し、格納する（ステップＳ４）。

次に、第２特徴抽出部２５は、仮想画像群から仮想計測対象６０の第２特徴点群を抽出する（ステップＳ５）。次に、比較部２６は、第１特徴点群と第２特徴点群との差異を求める（ステップＳ６）。例えば、上記式（４）を用いることで、第１特徴点群と第２特徴点群との間で、位置が対応する点間が遠いか近いかを判断する。比較部２６は、比較の結果、特徴点群間誤差（上記差異）が許容値未満であるか否かを判定する（ステップＳ７）。ステップＳ７で「Ｎｏ」と判定された場合、モデル修正部２７は、仮想計測対象６０を生成するための数式のパラメータ群を修正する（ステップＳ８）。その後、ステップＳ４から再度実行される。ステップＳ７で「Ｙｅｓ」と判定された場合、フローチャートの実行が終了する。

図６（ａ）〜図６（ｅ）は、バネ以外の形状計測対象４０を例示する図である。図６（ａ）は、形状計測対象４０の立体物モデルを例示する図である。図６（ａ）のように、複数の直線によって表すことができる形状計測対象４０を用いてもよい。図６（ａ）の立体物モデルは、１５本の直線でエッジが構成される。この場合のパラメータは、下記式（５）で表すように、（ｘ_ｎ，ｙ_ｎ，ｚ_ｎ，ａ_ｎ，ｂ_ｎ，ｃ_ｎ）である。ただし、ｎは各直線を表すため、ｎ＝１，２，…ｍである。図６（ａ）の例では、ｍ＝１５である。

図６（ｂ）は、画像入力部２１が取得した実画像を例示する図である。図６（ｃ）は、第１特徴抽出部２２が抽出した第１特徴点群を例示する図である。図６（ｄ）は、仮想画像算出部２４が算出した仮想画像を例示する図である。図６（ｅ）は、第２特徴抽出部２５が抽出した第２特徴点群を例示する図である。図６（ｃ）および図６（ｅ）では、特徴点として輪郭線の頂点および端点が抽出されている。

モデル修正部２７は、バネの場合と同様に、第１特徴点群および第２特徴点群において、位置が対応する特徴点同士が遠い場合に、仮想計測対象６０を生成するための数式パラメータ群を順次修正し、仮想装置５０の仮想計測対象６０を順次更新する。バネの例のように、判断指標として、第１特徴点群および第２特徴点群の位置が対応する特徴点同士の距離の合計を用いることができる。モデル修正部２７は、最終的には上記式（４）の評価値が最小となるようなパラメータ群ｐをLevenberg-Marquardt法などの最適化手法を使って探索する。

形状計測対象４０を構成する全ての直線がカメラで撮像されることが好ましいが、撮像されない直線がある場合には、推定するパラメータから撮像されない直線に関するパラメータを除外してもよい。撮像されていない直線があるかどうかは、仮想画像を計算する際に他の面の影になっているかどうかの判定（陰線処理）により容易に判定することが可能である。

本実施例によれば、実装置１０のカメラにより取得された実画像から第１特徴点群が抽出され、仮想装置５０の仮想カメラにより取得された仮想画像から第２特徴点群が抽出される。計算機上において、形状計測対象４０に対応する仮想計測対象６０と実装置１０のカメラに対応する仮想カメラとが生成される。仮想カメラにより取得された仮想画像から仮想計測対象６０の第２特徴点群を抽出される。第１特徴点と第２特徴点との差異に基づいて、仮想計測対象６０を生成するためのパラメータが修正される。この構成によれば、現実のカメラで形状計測対象を撮像することで、形状計測対象の３次元形状を高精度で計測可能となる。したがって、安価でかつ高速な３次元形状計測が実現可能となる。また、形状計測対象からの反射光情報を使用しなくてもよいため、表面の光学特性に左右されない安定した計測も可能となる。なお、形状計測対象は、特に限定されるものではない。パラメータを有する数式で形状を表すことができる形状計測対象であれば、本実施例に適用することができる。

図７は、処理装置２０のハードウェア構成の一例を説明するためのブロック図である。図７で例示するように、処理装置２０は、ＣＰＵ１０１、ＲＡＭ１０２、記憶装置１０３、インタフェース１０４などを備えていてもよい。これらの各機器は、バスなどによって接続されている。ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）１０１は、中央演算処理装置である。ＣＰＵ１０１は、１以上のコアを含む。ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）１０２は、ＣＰＵ１０１が実行するプログラム、ＣＰＵ１０１が処理するデータなどを一時的に記憶する揮発性メモリである。記憶装置１０３は、不揮発性記憶装置である。記憶装置１０３として、例えば、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、フラッシュメモリなどのソリッド・ステート・ドライブ（ＳＳＤ）、ハードディスクドライブに駆動されるハードディスクなどを用いることができる。ＣＰＵ１０１が記憶装置１０３に記憶されているプログラムを実行することによって、処理装置２０の各部が実現されてもよい。または、処理装置２０の各部として、専用の回路などのハードウェアを用いてもよい。

上記実施例において、第１カメラ１３および第２カメラ１４が、形状計測対象を撮像するカメラの一例として機能する。第１特徴抽出部２２が、前記カメラにより取得された画像から前記形状計測対象の特徴点を抽出する第１抽出部の一例として機能する。仮想装置生成部２３が、計算機上において、前記形状計測対象に対応する仮想対象と前記カメラに対応する仮想カメラとを生成する生成部の一例として機能する。第２特徴抽出部２５が、前記仮想カメラにより取得された仮想画像から前記仮想対象の特徴点を抽出する第２抽出部の一例として機能する。モデル修正部２７が、前記第１抽出部が抽出した第１特徴点と前記第２抽出部が抽出した第２特徴点との差異に基づいて、前記生成部が前記仮想対象を生成するためのパラメータを修正する修正部の一例として機能する。表示装置３０が、前記修正部によって修正された前記パラメータを用いて前記生成部によって生成された前記仮想対象を表示する表示装置の一例として機能する。

以上、本発明の実施例について詳述したが、本発明は係る特定の実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

１０実装置
１１第１照明
１２第２照明
１３第１カメラ
１４第２カメラ
２０処理装置
２１画像入力部
２２第１特徴抽出部
２３仮想装置生成部
２４仮想画像算出部
２５第２特徴抽出部
２６比較部
２７モデル修正部
２８出力部
３０表示装置
４０形状計測対象
５０仮想装置
６０仮想計測対象
１００シミュレーション装置

Claims

形状計測対象を撮像するカメラと、
前記カメラにより取得された画像から前記形状計測対象の特徴点を抽出する第１抽出部と、
計算機上において、前記形状計測対象に対応する仮想対象と前記カメラに対応する仮想カメラとを生成する生成部と、
前記仮想カメラにより取得された仮想画像から前記仮想対象の特徴点を抽出する第２抽出部と、
前記第１抽出部が抽出した第１特徴点と前記第２抽出部が抽出した第２特徴点との差異に基づいて、前記生成部が前記仮想対象を生成するための数式パラメータを修正する修正部と、を備えることを特徴とするシミュレーション装置。
前記修正部は、前記第１特徴点と前記第２特徴点との差異が小さくなるように、前記数式パラメータを順次修正することを特徴とする請求項１記載のシミュレーション装置。
前記修正部によって修正された前記数式パラメータを用いて前記生成部によって生成された前記仮想対象を表示する表示装置を備えることを特徴とする請求項１または２記載のシミュレーション装置。
前記形状計測対象は、バネであり、
前記数式パラメータは、少なくとも、バネ全長、バネピッチ、バネ外径、バネ線径、およびバネ端点の位置を含むことを特徴とする請求項１〜３のいずれか一項に記載のシミュレーション装置。
形状計測対象をカメラにより撮像し、
前記カメラにより取得された画像から第１抽出部により前記形状計測対象の特徴点を抽出し、
計算機上において、前記形状計測対象に対応する仮想対象と前記カメラに対応する仮想カメラとを生成部により生成し、
前記仮想カメラにより取得された仮想画像から第２抽出部により前記仮想対象の特徴点を抽出し、
前記第１抽出部が抽出した第１特徴点と前記第２抽出部が抽出した第２特徴点との差異に基づいて、前記生成部が前記仮想対象を生成するための数式パラメータを修正部により修正する、ことを特徴とするシミュレーション方法。
コンピュータに、
カメラにより取得された形状計測対象の画像から前記形状計測対象の特徴点を抽出する第１抽出処理と、
計算機上において、前記形状計測対象に対応する仮想対象と前記カメラに対応する仮想カメラとを生成する処理と、
前記仮想カメラにより取得された仮想画像から前記仮想対象の特徴点を抽出する第２抽出処理と、
前記第１抽出処理で抽出した第１特徴点と前記第２抽出処理で抽出した第２特徴点との差異に基づいて、前記仮想対象を生成するための数式パラメータを修正する処理と、を実行させることを特徴とするシミュレーションプログラム。