JP2016527478A - 三次元撮影装置、三次元画像の作成方法、および、三次元撮影装置の設定方法 - Google Patents

Abstract

画像撮影装置（２）と、距離測定機器（３）と、出力ユニット（５）とを備えた三次元撮影装置（１）において、画像処理装置（４）によって、異なる撮影ポーズ（１５、１６、１７）で撮影された複数の画像（９、１０）から成る画像シーケンス（８）において、相互に一致する画像部分（１８、１９、２０、２１、２５、２６、２７、２８）の群（２９、３０、３１、３２）を計算し、これらの群（２９、３０、３１、３２）に対してそれぞれ１つの三次元位置データ（４８、４９、５０）を求め、三次元位置データ（４８、４９、５０）を、距離測定機器（３）によって測定された距離情報（４２）を用いてスケーリングすることを提案する。

Description

本発明は、画像撮影装置と、距離測定機器と、画像処理装置とを備えた三次元撮影装置に関する。

本発明はさらに、三次元画像の作成方法に関する。

最後に、本発明は、三次元撮影装置の設定方法に関する。

パターン投影またはスキャニングによって、物体の三次元画像を作成することが公知である。三次元画像の作成に適した三次元撮影装置は複雑であり、ユーザは特別な訓練を受けなければならない。

本発明は、リアルな三次元画像を作成する、簡易化された方法を提供することを課題とする。

上述の課題を解消するために、本発明では、請求項１の特徴部分に記載されている構成が提案される。特に、冒頭に記載した様式の三次元撮影装置では、本発明によって次のことが提案される。すなわち、画像撮影装置によって撮影された少なくとも２つの画像から成る画像シーケンスにおいて相互に一致する画像部分の少なくとも１つの群を識別するように画像処理装置を構成すること、相互に一致する画像部分の少なくとも１つの群に対して、少なくとも１つの三次元位置データを、前記画像シーケンスの複数の画像おいて、前記群の前記画像部分の各画像位置から計算するように画像処理装置を構成すること、かつ、計算された少なくとも１つの三次元位置データを、距離測定機器によって測定された距離情報を用いてスケーリングするように画像処理装置を構成すること、が提案される。ここで有利には、撮影された画像のシーケンスから、例えばビデオシーケンスのフレームのシーケンスからの三次元画像の構築は、複数の画像の、識別された、相互に一致する画像部分の画像位置に基づいて行われる。これらの画像位置から、識別された画像部分の三次元位置データを計算することができる。この三次元位置データを、１つまたはごく僅かな距離情報によって、実際の尺度にスケーリングすることができる。このようにして実際の長さ、面積および／または体積を得ることができる。有利にはここでは、ごく僅かな距離情報、例えば１つの距離情報、または、１０を下回る距離情報、または、識別された、相互に一致する画像部分の群の数の半分よりも少ない距離情報が測定されればよい。これによって、使用可能な距離測定機器に対する要求が格段に簡素化され、操作が容易になる。

従って、特徴が一致していることによって、または、特徴が類似していること等によって内容が相互に一致している、複数の画像における画像部分を、一致する画像部分と称する。

有利には、距離測定機器は、例えば線状または放射線状に延在する測定方向に沿って、距離を測定するように構成されている。例えば、この測定方向は、距離測定機器によって作成された測定ビームによって設定される。

距離測定機器を、点状の距離測定用に構成することができる。

距離測定機器は、種々の測定原理をベースとすることができる。例えば、距離測定機器がレーザ距離測定機器として構成されている場合には、レーザ距離測定を行うことができる。この場合に、距離測定機器は、距離を測定する測定ビームとしてレーザ測定ビームを発生させる。超音波を用いて距離情報を測定することも可能である。

スケーリングされた少なくとも１つの三次元位置データを出力するように、出力ユニットを構成することができる。従って、作成された三次元画像のスケーリング情報を提供すること、かつ／または、さらに処理することが可能である。

本発明の１つの形態では、少なくとも１つの群の画像部分の各画像位置から、画像撮影装置の撮影ポーズを計算するように画像処理装置を構成することができる。この場合には有利には、撮影条件を推測することができる。さらに有利には、測定された距離情報と撮影位置とを関連付けることができる。

本発明の１つの形態では、計算された三次元位置データと撮影ポーズとから、さらなる三次元位置データを計算するように画像処理装置を構成することができる。この場合には有利には付加的なグリッド点を、より微細な三次元画像のために求めることができる。例えば、ステレオ法で、かつ／または、レベルセット法で計算された境界面から計算するように、画像処理装置を構成することができる。

従って、相互に一致する画像部分の群の識別を、例えば次のことによって行うことが可能である。すなわち、まずはある１つの画像内の１つの画像部分を識別し、これに続く複数の画像において、識別されたこの画像部分と内容的に一致する画像部分を探すことである。

有利には、複数の、例えば１０以上の、または、５０以上の、むしろ１００以上の、相互に一致する画像部分の群が識別される。これらの群の画像部分の画像位置から、その時々の個々の画像において、方程式系が作成される。この方程式系は、個々の画像を、空間における画像部分の三次元配置の射影として表す。この三次元配置は、撮影された場面に十分に近似している。ここで画像処理装置はこの方程式系を解くように構成されている。これによって、各画像部分群に対して、１つの三次元位置データが計算される。

三次元撮影装置が、有利には取り外し可能である距離測定機器を備えた、写真機、カメラ、または、写真撮影機能を備えた携帯電話、タブレットＰＣ等であるのは特に有利である。三次元撮影装置を、熱画像カメラとして構成することも可能である。

本発明では、距離情報測定を行う回数が少なくてよい、例えば１回の距離情報測定でよいので、低い要求しか満たしていない測定機器を使用することが可能である。

むしろ、既存の画像撮影装置、例えばカメラまたは写真機能付き携帯電話、スマートフォン、タブレットＰＣまたは熱画像カメラに、例えば上にクリップ留め可能な距離測定機器、または、はめ込み可能な距離測定機器、または、その他の方法で有利には取り外し可能に接続される距離測定機器を装着することができる。これによって、オペレーションソフトウェアの相応の設定に応じて本発明の方法を実施することができる三次元撮影装置を提供することが可能なる。

本発明の１つの形態では、特徴分析を用いて、相互に一致する画像部分の少なくとも１つの群を識別するように画像処理装置が構成される。ここで有利には、画像シーケンスの残りの画像において、内容的に相互に一致する画像部分が識別される可能性が高い特徴的な画像部分が識別可能である。

本発明の１つの形態では、画像を複数の画像セグメントにセグメント化するように画像処理装置が構成される。この場合には有利には、個々の画像部分を別個にさらに処理することができる。

本発明の１つの実施形態では、相互に一致する画像部分の少なくとも１つの群に割り当てられた距離情報を、補外方法でかつ／または補間方法で、測定された距離情報と三次元位置データから計算するように、画像処理装置が構成される。この場合には有利には、画像部分の群に割り当て可能な付加的な距離情報を得ることができる。これによって、距離情報の必要な測定回数をさらに低減させることができる。ここでは、既知の補外方法および／または補間方法を使用することができる。

択一的または付加的に、さらなる三次元位置データを補外方法でかつ／または補間方法で計算するように画像処理装置を構成することができる。この場合には有利には、三次元画像を改善するためにさらなるグリッド点が計算される。

本発明の１つの形態では、距離測定機器は、測定方向の向きおよび／または測定ビームの向きを変えるように構成される。例えば、このために、距離測定機器は、種々の測定方向に動くことができるように配置されている。択一的または付加的に、測定ビームのビーム路を変えることができる。これは例えば、切り替え可能なかつ／または移動可能なミラーまたは他の光学素子によって行われる。これによって、距離測定のための測定点を変更することができる。この場合には有利には、１つの距離測定機器によって複数の距離測定を実行することができる。有利にはさらに、より正確な距離測定を、画像部分の識別された群に相当する場面部分に対して実行することができる。例えば、ここで、距離測定機器を、画像部分のそれぞれ１つの、識別された群に相当する場面部分に向けることができる。このようにして、識別された個々の画像部分群または識別された全ての画像部分群に対して、距離測定を行うことができる。

本発明の１つの形態では、駆動制御ユニットは、測定された距離情報が１つの画像セグメントに関連するように測定機器の測定方向を配向するように構成されている。有利には、それぞれ個々の画像部分群に割り当て可能であるように、所期のように距離測定を実行することができる。これは、測定ビームの配向によって実現可能である。

本発明では、事前に計算された複数の撮影ポーズの時間的な補外によって、かつ／または、運動センサおよび／または加速度センサの出力信号の評価によって、現下の撮影ポーズを計算することができる、または、推測することができる。この新たな撮影ポーズによって、例えば、まだ三次元位置データが存在していないまたはまだ少数の三次元位置データしか存在していない画像部分に対して所期のように距離情報が得られるように、測定方向の配向を調節することができる。

距離測定機器が画像撮影装置に固定して、または、画像撮影装置に関して固定して配置されている場合、構造は特に容易になる。測定ビームの向きを変えるために、可動のかつ／または切り替え可能なミラーを備えたミラー機構が形成可能である。

本発明の１つの形態では、画像撮影装置によって検出可能なスペクトル領域の測定ビームを発生させるように距離測定機器が構成されている。この場合には有利には、較正測定が実行可能である。この較正測定では、距離測定機器によって発生された光パターンが、群の一致する画像部分として識別される。この場合には有利には、これらの画像部分の画像位置から、画像撮影装置の撮影方向を基準とした、距離測定機器の配向を計算することができる。

本発明の１つの形態では、運動センサおよび／または加速度センサは、画像撮影装置の運動を検出するように構成される。この場合に有利には、運動センサおよび／または加速度センサの出力信号から、撮影された場面の変化に関する情報を、画像撮影装置の撮影ポーズの変化に基づいて導出することが可能であることによって、三次元位置データの計算がサポートされる。これによって、画像処理装置における必要な計算能力がさらに低減される。さらに有利には、以降の画像撮影のために、対応する撮影ポーズを既に計算された撮影ポーズから、出力信号の時間的補外および積分によって推測または計算することが可能である。

本発明の１つの形態では、画像処理装置は、少なくとも１つの三次元位置データから異常値を除去するように構成されている。この場合には有利には、計算された三次元位置データのセットにおいて、次のような位置データが選択される。すなわち、測定されたまたは計算された距離情報が割り当てられる確率が高い位置データである。有利にはさらに、計算エラーまたは識別エラー等に基づく三次元位置データが除去される。従って、三次元画像作成の質を改善することができる。

本発明の１つの形態では、画像処理装置は、幾何学的なオブジェクトを少なくとも１つの、スケーリングされた三次元位置データにはめ込むように構成されている。この幾何学的なオブジェクトは、一次元、二次元または三次元のサンプルまたはより複雑なオブジェクトであってよい。例えば、画像処理装置は、線、特に直線を、少なくとも２つの三次元位置データのセットにはめ込むように構成されている。例えば画像処理装置は、面、特に平面を、少なくとも３つの三次元位置データのセットにはめ込むように構成される。この場合には有利には、グラフィック補間および／または三次元画像の補足が実行可能である。

本発明の１つの形態では、少なくとも１つの長さ、面積および／または体積を、有利にはスケーリングされている三次元位置データから計算するように、画像処理装置が構成されている。有利には、それぞれのサイズ情報が計算可能である距離、面積および／または空間は、計算された三次元位置データによって表される。この場合には有利には、放射物体の実際の物理的な基準サイズ、例えば面積または体積が、測定結果のさらなる処理および／または評価のために提供可能である。本発明の１つの形態では、出力ユニットは、少なくとも１つの、相互に一致する画像部分の群を、有利にはスケーリングされている三次元位置データに対応する画像点にグラフィック表示するように構成されている。この場合には有利には、計算された三次元画像の別の二次元のイメージ、例えば、遠近法的なイメージが提供可能である。

上述した課題を解決するために、本発明では、三次元画像の作成方法において、次のことが提案される。すなわち、画像撮影装置によって、１つの場面の少なくとも２つの画像の画像シーケンスを撮影し、撮影されたこれらの画像において、相互に一致する画像部分の少なくとも１つの群を識別すること、かつ、画像処理装置において、少なくとも１つの三次元位置データを、相互に一致する画像部分の少なくとも１つの群に対して計算すること、かつ、距離測定機器によって少なくとも１つの距離情報をこの場面に対して測定すること、かつ、測定されたこの距離情報を用いて位置データのスケーリングを実行することが提案される。この場合には有利には、できるだけ少ない回数の距離測定によって三次元画像を作成することができる。このために画像処理装置は、少なくとも１つの三次元位置データを計算するために、少なくとも１つの群の相互に一致する画像部分の画像位置を個々の画像において投影の入射点として表す方程式系が解かれるように、情報科学的に装備かつ構成される。画像化される場面をできるだけ正確に三次元に再現することを可能にするために、多数のこのような群が識別されるのは特に有利である。本発明の方法は、情報科学的な要求および測定技術的な要求が少ないことを特徴とする。有利には本発明のこの方法は、本発明の三次元撮影装置によって実行される。

本発明の１つの形態では、画像シーケンスの画像において、少なくとも１つの群の画像部分の各画像位置から、撮影時点での画像撮影装置の少なくとも１つの撮影ポーズが計算される。この場合には有利には、撮影状況が情報科学を用いて容易に再現可能である。

このために再び方程式系が作成され、解かれる。有利にはこの方程式系は、画像部分の画像位置から三次元位置データを計算する時のものと同じである。この場合には有利には、これらの撮影ポーズによって、画像化過程におけるビーム経過が計算可能である。

本発明の１つの形態では、スケーリングの前または後に、さらなる画像部分に対するさらなる三次元位置データが計算される。この場合には有利には、作成された三次元画像の解像度がより高くなる。

本発明の１つの形態では、これらのさらなる三次元位置データはステレオ方法で計算される。このステレオ方法は、例えば、独国特許出願公開第１０２００７０５５２６２号明細書から公知である。例えばこれは、はじめに、少なくとも２つの画像における一致する画像部分が識別され、次に、この画像に対して計算された撮影ポーズを用いて、結像ビームが三次元空間において求められる、という特徴を有している。これらの結像ビームの（近似的な）交点が、さらなる三次元位置データを表す。

本発明の１つの形態では、少なくとも１つの三次元位置データは、レベルセット法によって計算された境界面から導出される。境界面を計算するためにレベルセット法を使用すること自体は、例えば、Ｋ．Ｋｏｌｅｖ、Ｔ．Ｂｒｏｘ、Ｄ．Ｃｒｅｍｅｒｓ著「Ｆａｓｔ Ｊｏｉｎｔ Ｅｓｔｉｍａｔｉｏｎ ｏｆ Ｓｉｌｈｏｕｅｔｔｅｓ ａｎｄ Ｄｅｎｓｅ ３Ｄ Ｇｅｏｍｅｔｒｙ ｆｒｏｍ Ｍｕｌｔｉｐｌｅ Ｉｍａｇｅｓ（ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ ３４（３）、（４９３−５０５頁、２０１２年））」から公知である。有利には本発明で使用されるレベルセット法は、例えば、次のような特徴を有している。すなわち、三次元空間において、画像シーケンスの全ての画像において、それぞれの事前に計算された有効な撮影ポーズを考慮して、一致してまたは少なくとも十分に類似して出現する点を有する境界面が特定される、という特徴である。従ってこの境界面は、少なくとも近似的に、画像撮影装置によって検出された、撮影場面の表面の一部を表す。さらなる三次元位置データはここで、例えば、この境界面から導出される。これは空間におけるこの境界面の位置と、境界面上の物体の位置とを求めることによって行われる。

本発明の１つの形態では、相互に一致する画像部分の少なくとも１つの群は、特徴分析を用いて識別される。この場合には有利には、特徴付けされた画像部分が識別可能であり、識別され、この画像部分に対して、残りの画像において一致する画像部分が容易に、情報科学を用いて見つけ出される。この特徴分析は例えば、ＳＩＦＴ（ｓｃａｌｅ ｉｎｖａｒｉａｎｔ ｆｅａｔｕｒｅ ｔｒａｎｓｆｏｒｍ）等による角の検出、辺の検出またはその他の特徴の検出を用いる。

本発明の１つの形態では、撮影された画像は、画像処理装置によってセグメント化される。この場合には有利には、これらの画像セグメントが別個に処理可能になる。例えば、それぞれ、１つの群の１つの画像部分しか含んでいない複数の画像セグメントが形成される。

本発明の１つの形態では、相互に一致する画像部分の少なくとも１つの群に相当する場面部分に対して距離情報が自動的に測定される。この場合には有利には、少なくとも１つの群に対して計算された三次元位置データと、実際に測定された距離情報とを特に正確に関連付けすることができる。

本発明の１つの形態では、相互に一致する画像部分の少なくとも１つの群に割り当てられた距離情報が、補外方法または補間方法で、測定された少なくとも１つの距離情報と、少なくとも１つの三次元位置データとから計算される。この場合には有利には、付加的な測定を行うことなく、さらなる距離情報を得ることができる。これによって、作成される三次元画像の質をさらに高めることができる。

択一的にまたは付加的に、さらなる距離情報を、補外方法および／または補間方法で、既に求められた三次元位置データから計算することができる。この場合には有利には、付加的なグリッド点が計算され、三次元画像のために提供される。

本発明の１つの形態では、相互に一致する画像部分の少なくとも１つの群に割り当てられた距離情報から、スケーリングが計算される。有利には、この距離情報は、補外方法または補間方法で計算される。この場合には有利には、距離情報の所期のように測定することなく、このスケーリングの精度を高めることができる。距離情報を直接的に測定することもできる。

本発明の１つの形態では、距離情報は、画像撮影装置が撮影を行うスペクトル領域にある測定ビームによって測定される。この場合には有利には、較正を行うことができる。このために、場面オブジェクトへの測定ビームの入射点、例えば光パターンが、特徴的な画像部分として、一致する画像部分の群を識別するために使用される。従って上述した方程式によって、距離測定機器を画像処理装置に対して配向している方法が計算される。この較正の結果、三次元位置データの計算精度がさらに上がる。

本発明の１つの形態では、２つの個別撮影の間の画像撮影装置の動きが、運動センサおよび／または加速度センサの出力信号を用いて計算される。この場合には有利には、三次元位置データの計算がさらに容易になる。なぜなら、２つの個別撮影の間の撮影ポーズの変化に関する付加的な情報が得られるからである。

本発明の１つの形態では、少なくとも１つの三次元位置データは、ＳＬＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｓａｔｉｏｎ Ａｎｄ Ｍａｐｐｉｎｇ）方法によって計算される。付加的にまたは択一的に、少なくとも１つの三次元位置データが、ｓｔｒｕｃｔｕｒｅ−ｆｒｏｍ−ｍｏｔｉｏｎ法によって計算される。この場合には有利には、方法ステップを実行するために、それ自体公知のアルゴリズムが使用可能である。

本発明の１つの形態では、相互に一致する画像部分の少なくとも１つの群の三次元表示が、少なくとも１つのスケーリングされた三次元位置データに基づいて計算される。この場合には有利には、少なくとも近似的に、撮影された場面の三次元画像若しくは三次元モデルが形成可能である。

本発明の１つの形態では、さらなる三次元位置データが計算されるべき空間領域が識別され、距離測定機器は、この空間領域に対して距離情報が測定されるように駆動制御される。この場合には有利には、さらなる三次元位置データが所期のように得られる。従って、計算された三次元画像が所期のように改善可能である。

ここでは、距離測定機器の駆動制御のために、現下の撮影ポーズが事前に計算された撮影ポーズから計算される、または、推定される。これは例えば、複数の撮影ポーズのシーケンスの時間的補外によって、かつ／または、運動センサおよび／または加速度センサの出力信号の評価によって行われる。この場合には有利には、現下の撮影ポーズが、少なくとも近似的に、基準値として用いられる。

本発明の１つの形態では、少なくとも１つの三次元位置データに幾何学的なオブジェクトがはめ込まれる。この場合に有利には、複雑なオブジェクトが容易な情報科学的な手段によって形成可能である。従って、撮影された場面の実際の形態を、情報科学的なコストをあまりかけずに再現することができる。

本発明の１つの形態では、少なくとも１つの三次元位置データを計算するために、ＲＡＮＳＡＣ（Ｒａｎｄｏｍ Ｓａｍｐｌｅ Ｃｏｎｃｅｎｓｕｓ）方法が実行される。この場合には有利には、使用できる成果をもたらす、低い情報科学コストで実行可能な方法が得られる。

本発明の１つの形態では、少なくとも１つの長さ、面積および／または体積が、有利にはスケーリングされている三次元位置データから計算される。これによって、得られる測定量は、実際の縮尺に合ったものになる。

本発明の１つの形態では少なくとも１つの群が、出力ユニットによって、少なくとも１つの三次元位置データに対応する画像点に出力される。この場合には有利には、三次元表示を二次元に写し取るかつ出力することが可能であり、これが行われる。この出力は、例えばデジタルイメージの表示または印刷、背景表示または他の方法で行われる。

上述した課題を解決するために、本発明では、三次元撮影装置の設定方法において、次のことが提案される。すなわち、距離測定機器を画像撮影装置と接続すること、１つの場面の少なくとも１つの画像から成る画像シーケンスを撮影すること、各画像に対して少なくとも１つの距離情報を測定すること、測定された各距離情報に対して、当該距離情報に関連する画像位置を、対応する画像において決定すること、かつ、測定された距離情報と特定された画像位置とから、画像撮影装置に対する距離測定機器の向きを表す少なくとも１つのパラメータを計算すること、が提案される。画像シーケンス内の撮影画像の必要な数は、画像撮影装置に対する距離測定機器の配向のために計算されるべきパラメータの数に依存する。配向の自由度が大きくなるにつれて、パラメータの決定のためにより多くの画像と、対応する距離測定とが必要となる。有利な場合、残された配向自由度を定めるためには、距離情報が測定された画像が１つあればよい。撮影された画像と距離情報の数が十分である場合には、画像撮影装置の結像特性、例えば焦点距離、ゆがみ、基点およびレンズシステムの別のパラメータを表すパラメータも計算可能であり、それ自体公知の方程式によって計算される。従って、説明した三次元画像作成方法を実行するためのパラメータが提供される、または、定められる。この場合には有利には、既存の画像撮影装置、例えばスマートフォン、タブレットＰＣ等に容易に装備を加えることができる。画像撮影装置は、適切にプログラミングされたソフトウェア、例えばアプリケーションをインストールすることによって、本発明の三次元画像作成方法を実行するように構成される。この場合、画像シーケンス内の撮影画像の数は、有利には、次のことに依存する。すなわち、画像撮影装置に対する距離測定機器の配向のパラメータがどれ位多く、既に知られているのか、または、必要な精度の範囲にあると想定されるかに依存している。既知である配向パラメータの数が多くなるほど、従って、残された配向自由度が少なくなるほど、画像シーケンスにおける、必要な画像撮影回数は少なくなる。

従って、画像シーケンスにおける撮影画像の数が十分な場合には、このようにして、画像撮影装置の結像特性を特徴付けるパラメータを計算することもできる。これらは例えば焦点距離、基点、ゆがみまたは画像撮影装置の他のパラメータであり得る。

本発明の１つの形態では、既知のかつ／または人工的に作成された場面に、距離測定機器の測定ビームを投影することができる。従って、距離測定機器の配向が既知でない場合には、距離測定機器との接続の度に、容易に較正を行うことができる。

次に本発明を、実施例に基づいて詳細に説明する。しかし本発明はこれらの実施例に制限されない。さらなる実施例は、個々の請求項または複数の請求項の特徴を相互に組み合わせることによって、かつ／または、実施例の個々の特徴または複数の特徴と組み合わせることによって得られる。

本発明を説明するための、本発明の３次元撮影装置を著しく簡易化して示した図 本発明の他の３次元撮影装置を著しく簡易化して示した図 本発明の他の３次元撮影装置を著しく簡易化して示した図 本発明の方法を説明するための、ある場面の画像撮影を著しく簡易化して示した図 図１から３に示された本発明の実施例において処理されるプログラムのフローチャート 本発明のある実施例における、距離情報の補間の原理を著しく簡易化して示した図 本発明の方法において撮影された画像シーケンス

図１は、本発明の三次元撮影装置の原理を著しく簡易化して示している。

図１では、三次元撮影装置１は、機能が拡張されたスマートフォンとして示されている。

三次元撮影装置１は、画像撮影装置２と、距離測定機器３とを有している。距離測定機器３は、測定方向に沿って距離を測定するように構成されている。この実施例では、距離測定機器３はレーザ距離測定機器として構成されている。

この実施例では、画像撮影装置２は、図示されているスマートフォンのデジタルカメラである。

距離測定機器３は、三次元撮影装置１を形成するためにスマートフォンに取り付けられており、データ交換および／または信号交換のために接続されている。

三次元撮影装置１内には、画像処理装置４が形成されている。

三次元撮影装置１には、さらに、ディスプレイの形態の出力ユニット５が形成されている。

図２および３は、それぞれ、本発明を説明するために、本発明に即した、他の三次元撮影装置１の原理を著しく簡易化して示している。図１に示された実施例と機能的かつ／または構造的に同様のまたは類似の構成部分および機能ユニットには同じ参照符号が付けられており、特別に繰り返して説明されることはない。従って、図１に対する説明はそれぞれ、図２にも図３にも当てはまる。

図２に示されている実施例は、図１に示されている実施例と、次の点において異なっている。すなわち、画像撮影装置２が熱画像カメラとして形成されている、という点である。従って、画像撮影装置２によって、赤外スペクトル領域にある光ビームが検出され、これによって熱画像が作成される、かつ／または、温度分布が無接触に測定される。

付加的に、図２に示されている三次元撮影装置１は、それ自体公知の方法で、可視スペクトル領域で画像を撮影するために、ＶＩＳ（可視波）カメラ６を有している。

図３に示されている実施例は、画像撮影装置２と、距離測定機器３と、画像処理装置４と出力ユニット５とが１つの機器に組み込まれて構成されている、という点において図１に示されている実施例と異なっている。出力ユニット５を省いて構成することも、データインタフェースとして構成することも可能である。

図示されたこれらの実施例の画像処理装置４は、プログラミングと、電気的な接続とによって、図４〜７に基づいて以降で説明される本発明の方法を実行するように構成されている。

まずは、画像撮影ステップ７において、ある１つの場面１１の複数の画像９、１０から成る画像シーケンス８が撮影される。

ここで、画像撮影装置２は、画像９、１０を撮影１２するように構成されている。

撮影１２が終了する度に、撮影１２がさらに行われるべきか否かの問い合わせ１３が行われる。

撮影１２がさらに行われるべき場合、まずは、撮影ポーズの変更１４、すなわち、画像撮影装置２の位置および向きの変更が行われる。

これによって画像撮影装置２は例えば、撮影ポーズ１５から撮影ポーズ１６へと移行する。

次に、新たな撮影１２が実行される。

例えば、画像撮影装置２は、撮影ポーズ１５で画像９を撮影し、撮影ポーズ１６で画像１０を撮影する。図７において示された、画像９、１０から成る画像シーケンス８が生じる。

例えば、画像シーケンス８を作成するために少なくとも３つの画像９、１０が撮影される。実際には、多数の画像９、１０が、ビデオシーケンスのフレームとして撮影される。

問い合わせ１３が「いいえ」で答えられると、画像シーケンス８の作成が終了する。

次に、画像シーケンス８の第１の画像９内でマークされた画像部分１８、１９、２０、２１が、識別ステップ２２において識別される。これは、辺の検出および／または角の検出によって、または、コントラストの検出等によって行われる。

特徴分析２３において、画像部分１８、１９、２０、２１の詳細な描写が計算される。

一致特定ステップ２４では画像処理装置４によって、計算された詳細な描写に基づいて、画像部分１８、１９、２０、２１に一致する画像部分２５、２６、２７、２８が画像シーケンス８の第２の画像部分１０において探される。このために例えば、相関法および／またはそれ自体公知のＳＬＡＭ法および／またはｓｔｒｕｃｔｕｒｅ−ｆｒｏｍ−ｍｏｔｉｏｎ法が使用可能である。

このようにして相互に一致する画像部分１８と２５、若しくは、１９と２６、若しくは、２０と２７、若しくは、２１と２８が、相互に一致する２つの画像部分１８、１９、２０、２１、２５、２６、２７、２８の１つの群２９、３０、３１、３２をそれぞれ形成する。

従って画像処理装置４は、相互に一致する画像部分１８、１９、２０、２１、２５、２６、２７、２８の少なくとも１つの群、ここでは例えば４つの群２９、３０、３１および３２を自動的に識別３３するように構成されている。

従って群２９、３０、３１、３２はそれぞれ、共通の場面部分３４、３５、３６、３７から生じた画像部分１８、１９、２０、２１、２５、２６、２７および２８を有している。従って、例えば場面部分３４の画像部分１８と２５、場面部分３５の画像部分１９と２６、場面部分３６の画像部分２０と２７、場面部分３７の画像部分２１と２８とが撮影される。実際には、多数の画像部分１８、１９、２０、２１、２５、２６、２７、２８が処理される。

画像処理装置４は、次に、各群２９、３０、３１、３２に対して１つの三次元位置データ５０を計算３８するように構成されている。

さらに、画像処理装置４では、方程式系が自動的に作成され、解かれる。画像処理装置はこのために、別個の、詳細には図示されていない計算ユニットを有し得る。この方程式系は、画像９、１０内の画像部分１８、１９、２０、２１、２５、２６、２７、２８の画像位置５９、６０を、各撮影１２の間の場面部分３４、３５、３６、３７の射影として表す。この方程式系では、画像９、１０内の画像部分１８、１９、２０、２１、２５、２６、２７、２８の画像位置５９、６０は、入力パラメータとして用いられる。

結果において、計算された三次元位置データ５０は、スケール因子を除いて、群２９、３０、３１若しくは３２をそれぞれ表す、場面部分３４、３５、３６、３７の空間位置に相当する。

上述した方程式系の解から、計算３８において、画像９または１０の撮影１２の時点での対応する撮影ポーズ１５、１６も計算される。

計算３８のために、例えば、ＲＡＮＳＡＣ法を使用することができる。

ループ３９が形成される。このループでは、説明された識別３３および計算３８が、さらなる撮影ポーズ１７に属する画像シーケンス８のさらなる画像のために実行される。

補償計算４０では、計算された撮影ポーズ１５、１６、１７および三次元位置データ５０が、新たに計算されたデータによって、より改善にされる。

問い合わせ４１によって、画像シーケンス８が、処理されなければならないさらなる画像９、１０を有していないことが明らかになると、ループ３９は中断される。

撮影１２の間、距離測定機器３によって、距離情報４２がそれぞれ測定される。

図４では、撮影ポーズ１６において測定された距離情報４２が、画像１０の撮影１２の時点での画像撮影装置２と場面部分３６との間の距離を表していることが示されている。

これとは異なり、撮影ポーズ１５および１７における測定は、場面部分３４、３５、３６または３７に関連するものではなく、無用である。

各撮影ポーズ１５、１６、１７に対してそれぞれ少なくとも１つの距離情報４２が測定されるが、見やすくするために、ここでは１つの距離情報４２だけが示されている。

撮影ポーズ１５、１６、１７に関する距離測定機器３の向きがそれぞれ既知である。本願で示されているようにこの向きが固定されているものであってもよいし、距離測定機器３が画像撮影装置２に対して動くように構成されていてもよい。固定されている距離測定機器３が、例えば光学系またはミラーを用いて、測定ビーム５２を変えることができるように構成されていてもよい。

ビーム計算ステップ４３では、事前に計算された撮影ポーズ１５、１６、１７と測定された距離情報４２とからそれぞれ、距離情報４２が測定された三次元空間点が計算される。

選定ステップ４４では、群２９、３０、３１、３２の三次元位置データの十分近くに位置し、従って、対応する場面部分３４、３５、３６、３７までの距離を十分に正確に表す距離情報４２が選択される。換言すれば、このステップでは異常値が除去される。

従って、選定されたこれらの距離情報４２は、基準尺度として使用可能である。スケーリング計算ステップ４５では、最適なスケール因子が計算される。これは例えば、距離情報４２と、計算された三次元位置データ５０との間の全ての有効な相関関係に基づいて計算される。

次に、計算された三次元位置データ５０を、スケーリング４６においてスケーリングする。これによって、計算された三次元位置データは、場面部分３４、３５、３６、３７の実際の大きさと位置に一致するようになる。

補外法および／または補間法４７において、測定された距離情報４２が割り当て可能ではない三次元位置データに対して、さらなる距離情報が計算される。

補外法および／または補間法４７において、削除された距離情報４２に加えて、別の三次元位置データ４８、４９が計算される。

これは図６に示されている。さらに、群２９、３０、３１、３２に対して事前に計算された三次元位置データ５０に、幾何学的なオブジェクト５１（ここでは面）が最適化によって、はめ込まれる。

計算されたさらなる三次元位置データ４８および４９は、距離測定機器３の測定ビーム５２と幾何学的なオブジェクト５１との交点である。

これらの計算されたさらなる三次元位置データ４８、４９は、三次元画像において、各三次元位置データ５０に対して、群２９、３０、３１、３２の三次元表示を作成するために付加的なグリッド点として用いられる。

出力ユニット５では、この三次元画像に基づいて、グラフィカルな表示が出力される。ここでは、群２９、３０、３１、３２は、対応する三次元位置データ４８、４９、５０によって与えられた画像点で表示される。

問い合わせ５３では、計算結果のさらなる処理５４が開始される。

この処理５４では、画像９、１０内の複数のエリアまたは他の画像セグメントのセグメント化５５が行われる。距離測定機器３は、駆動制御ユニット５６によって、セグメント化された複数のエリアに対応する、場面１１の場面部分３４、３５、３６、３７に向けられる。このために、距離測定機器３は三次元撮影装置１に、可動に配置されている。

ここで、さらなる距離情報４２が、これらの新たな配向に対して測定される。

オブジェクト計算ステップ５６では、一方ではセグメント化されたエリアまたは他の画像セグメントに対して、他方では三次元位置データ４８、４９、５０に対して、面または他の幾何学的なオブジェクト５１が計算される。

スケーリング４６によって、幾何学的なオブジェクト５１に対して、実際の延在または大きさ、例えば実際の長さまたは実際の面積または体積が計算される。

画像撮影装置２に対する距離測定機器３の配向が未知である場合には、較正において、場面部分３４、３５、３６、３７の代わりに、場面１１の平らな表面への測定ビーム５２の光パターンを、説明されたように使用することができる。画像９、１０におけるこの光パターンの画像位置から、未知の配向を計算することができる。

さらに、光パターンを検出するために、画像撮影装置２が反応するスペクトル領域の測定ビーム５２を距離測定機器３によって発生させることができる。

択一的に、既知の幾何学的形状を有する既知の場面１１を撮影することもできる。

三次元撮影装置１は、それ自体公知の運動センサおよび／または加速度センサ５８を有する。このセンサによって、２回の撮影１２の間の撮影ポーズ１５、１６、１７の変化を検出することができる。このセンサの出力信号は、撮影ポーズ１５、１６、１７の計算に使用される。

画像処理装置４および／またはユーザが、空間領域において、付加的な三次元位置データ４８、４９が必要であることを確認すると、以下の方法に従って措置が取られる。

図４では、一回目の撮影１２が撮影ポーズ１５で行われ、二回目の撮影１２が撮影ポーズ１６で行われたと想定される。説明したように、場面部分３４、３５、３６、３７の三次元位置データ５０が、画像９、１０を処理することによって得られる。

ユーザまたは画像処理装置内で動作するプログラムが、空間領域５９において、三次元位置データ５０の数がまだ少なすぎる、という結果を出したと想定する。

上述した方程式系の解から、既に画像９、１０の撮影ポーズ１５、１６は計算されている。

ここから、補外によって、画像撮影装置２の目下の撮影ポーズ１７が計算される。

択一的にまたは付加的に、撮影ポーズ１７は、運動センサおよび／または加速度センサ５８の出力信号から、場合によって、適切な積分によって求められる。

撮影ポーズ１７が既知の場合には、距離測定機器３の測定ビーム５２は次のように配向される。すなわち、空間領域５９および／または空間領域５９内に存在する場面部分３７に対する距離情報が測定可能であるように配向される。これは、それ自体公知のビーム偏向手段、例えばミラー等によって行われる。

次にこの距離情報に対して、必要な他の三次元位置データが計算される。

図１は、取り外し可能な距離測定機器３を備えた、本発明の三次元撮影装置１を示している。取り外し可能であることによって、測定ビーム５２の、画像撮影装置２の撮影方向に関する正確な配向は不明になっている。

この配向に関する情報は、較正において、容易に得られる。

このために、距離測定機器３によって、光パターン、簡単な場合には個々の光点が、場面１１に、例えば平らな表面に投影される。このようにして、図４の状況が生じる。ここでは、場面部分３４、３５、３６、３７が、光パターンの構成部分によって得られる。個々の光点の場合には、構成部分３４のみが生じる。

光パターンは、例えば、レーザ距離測定機器による距離情報４２の測定時に生じる、または、距離情報４２の測定とは無関係に投影される。

光パターンは、種々の撮影ポーズ１５、１６、１７からの画像９、１０において撮影される。説明したように、画像部分１８、１９、２０、２１および２５、２６、２７、２８に対して、三次元位置データ５０が計算される。さらに、撮影ポーズ１５、１６、１７が計算される。

光パターンの幾何学的形状が既知であるので、ここから、距離測定機器３若しくは測定ビーム５２の、画像撮影装置２に対する配向が計算される。この配向の場合に、光パターンは、計算された三次元位置データ５０と一致する。

可視光を用いない距離測定の場合には、この較正は、既知の場面１１を用いて、例えば印刷されたパターンを用いて行われる。

配向に関するこの情報は格納され、未知の場面１１の画像９、１０の後の処理に提供される。

この較正は、距離測定機器３が画像撮影装置２と接続される度に実行される。

画像撮影装置２と、距離測定機器３と、出力ユニット５とを備えた三次元撮影装置１において、画像処理装置４によって、種々の撮影ポーズ１５、１６、１７で撮影された画像９、１０から成る画像シーケンス８において、相互に一致する画像部分１８、１９、２０、２１、２５、２６、２７、２８の群２９、３０、３１、３２を計算し、これらの群２９、３０、３１、３２に対してそれぞれ三次元位置データ４８、４９、５０を求め、これらの三次元位置データ４８、４９、５０を、距離測定機器３によって測定された距離情報４２によってスケーリングすることを提案する（図４）。

Claims (22)

1. 画像撮影装置（２）と、距離測定機器（３）と、画像処理装置（４）とを備えた三次元撮影装置（１）であって、
   前記画像処理装置（４）は、前記画像撮影装置（２）によって撮影された少なくとも２つの画像（９、１０）から成る画像シーケンス（８）において相互に一致する画像部分（１８、１９、２０、２１、２５、２６、２７、２８）の少なくとも１つの群（２９、３０、３１、３２）を識別する（３３）ように構成されており、
   前記画像処理装置（４）は、前記画像シーケンス（８）の前記画像（９、１０）において、相互に一致する画像部分（１８、１９、２０、２１、２５、２６、２７、２８）の少なくとも１つの前記群（２９、３０、３１、３２）に対して、前記群（２９、３０、３１、３２）を構成する前記画像部分（１８、１９、２０、２１、２５、２６、２７、２８）の各画像位置（５９、６０）から、少なくとも１つの三次元位置データ（５０）を計算する（３８）ように構成されており、
   前記画像処理装置（４）は、前記距離測定機器（３）によって測定された距離情報（４２）を用いて、計算された少なくとも１つの前記三次元位置データ（５０）をスケーリングする（４６）ように構成されている、
   ことを特徴とする三次元撮影装置（１）。
2. 少なくとも１つのスケーリングされた前記三次元位置データを出力するように出力ユニット（５）が構成されている、かつ／または、前記距離測定機器（３）はレーザ距離測定機器として構成されている、請求項１記載の三次元撮影装置（１）。
3. 前記画像処理装置（４）は、前記画像撮影装置（２）の撮影ポーズを、少なくとも１つの前記群（２９、３０、３１、３２）の前記画像部分（１８、１９、２０、２１、２５、２６、２７、２８）の前記各画像位置（５９、６９）から計算する（３８）ように構成されている、かつ／または、前記画像処理装置は、さらなる三次元位置データ（４８、４９）を、計算された前記三次元位置データ（５０）と撮影ポーズ（１５、１６、１７）とから、特にステレオ方法で、かつ／または、レベルセット法で計算された境界面から計算するように構成されている、請求項１または２記載の三次元撮影装置（１）。
4. 前記画像処理装置（４）は、相互に一致する画像部分（１８、１９、２０、２１、２５、２６、２７、２８）の少なくとも１つの前記群（２９、３０、３１、３２）を特徴分析（２３）を用いて識別する（３３）ように構成されている、かつ／または、前記画像処理装置（４）は、前記画像（９、１０）を複数の画像セグメントにセグメント化する（５５）ように構成されている、請求項１から３までのいずれか１項記載の三次元撮影装置（１）。
5. 前記画像処理装置（４）は、相互に一致する画像部分（１８、１９、２０、２１、２５、２６、２７、２８）の少なくとも１つの前記群（２９、３０、３１、３２）に割り当てられる距離情報を、補外方法および／または補間方法（４７）で、測定された前記距離情報（４２）と前記三次元位置データ（５０）とから計算するように構成されている、かつ／または、前記距離測定機器（３）は、測定方向および／または測定ビーム（５２）の向きを変えるように構成されている、請求項１から４までのいずれか１項記載の三次元撮影装置（１）。
6. 測定された前記距離情報（４２）が１つの画像セグメントと関連するように前記距離測定機器（３）の測定方向を配向するように駆動制御ユニット（５６）が構成されている、かつ／または、前記距離測定機器（３）は、前記画像撮影装置（２）によって検出可能なスペクトル領域にある測定ビーム（５２）を発生させるように構成されている、請求項１から５までのいずれか１項記載の三次元撮影装置（１）。
7. 前記画像撮影装置（２）の動きを検出するように運動センサおよび／または加速度センサ（５８）が構成されている、かつ／または、前記画像処理装置（４）は、相互に一致する画像部分（１８、１９、２０、２１、２５、２６、２７、２８）の少なくとも１つの前記群（２９、３０、３１、３２）の三次元イメージを、スケーリングされた少なくとも１つの前記三次元位置データに基づいて計算するように構成されている、請求項１から６までのいずれか１項記載の三次元撮影装置（１）。
8. 前記画像処理装置（４）は、スケーリングされた少なくとも１つの前記三次元位置データに幾何学的なオブジェクト（５１）をはめ込むように構成されている、請求項１から７までのいずれか１項記載の三次元撮影装置（１）。
9. 前記画像処理装置（４）は、少なくとも１つの長さ、面積および／または体積を、有利にはスケーリングされている前記三次元位置データから計算するように構成されている、かつ／または、前記出力ユニット（５）は、相互に一致する画像部分（１８、１９、２０、２１、２５、２６、２７、２８）の少なくとも１つの前記群（２９、３０、３１、３２）を、有利にはスケーリングされている前記三次元位置データ（４８、４９、５０）に対応する画像点にグラフィック表示するように構成されている、請求項１から８までのいずれか１項記載の三次元撮影装置（１）。
10. 三次元画像の作成方法であって、
    画像撮影装置（２）によって、１つの場面（１１）の少なくとも２つの画像（９、１０）から成る画像シーケンス（８）を撮影し、当該撮影された画像（９、１０）において相互に一致する画像部分（１８、１９、２０、２１、２５、２６、２７、２８）の少なくとも１つの群（２９、３０、３１、３２）を識別し、
    画像処理装置（４）において、相互に一致する画像部分（１８、１９、２０、２１、２５、２６、２７、２８）の少なくとも１つの前記群（２９、３０、３１、３２）に対して、少なくとも１つの三次元位置データ（５０）を計算し、
    距離測定機器（３）によって、前記場面（１１）に対して少なくとも１つの距離情報（４２）を測定し、
    測定され当該距離情報（４２）を用いて、前記三次元位置データをスケーリング（４６）する、
    ことを特徴とする三次元画像の作成方法。
11. 前記画像シーケンス（８）の前記画像（９、１０）において、少なくとも１つの前記群（２９、３０、３１、３２）を構成する前記画像部分（１８、１９、２０、２１、２５、２６、２７、２８）の各画像位置（５９、６０）から、撮影時点での前記画像撮影装置（２）の少なくとも１つの撮影ポーズ（１５、１６、１７）を計算する、かつ／または、前記スケーリングの前または後に、さらなる画像部分に対してさらなる三次元位置データ（４８、４９）を計算する、請求項１０記載の方法。
12. 前記さらなる三次元位置データ（４８、４９）をステレオ方法で計算する、かつ／または、前記さらなる三次元位置データ（４８、４９）をレベルセット法で計算された境界面から導出する、請求項１０または１１記載の方法。
13. 相互に一致する画像部分（１８、１９、２０、２１、２５、２６、２７、２８）の少なくとも１つの前記群（２９、３０、３１、３２）を特徴分析（２３）を用いて識別する、かつ／または、撮影された前記画像（９、１０）を前記画像処理装置（４）によってセグメント化する、請求項１０から１２までのいずれか１項記載の方法。
14. 前記距離情報（４２）を自動的に、相互に一致する画像部分（１８、１９、２０、２１、２５、２６、２７、２８）の少なくとも１つの前記群（２９、３０、３１、３２）に相当する場面部分（３４、３５、３６、３７）に対して測定する、かつ／または、相互に一致する画像部分（１８、１９、２０、２１、２５、２６、２７、２８）の少なくとも１つの前記群（２９、３０、３１、３２）に割り当てられる距離情報を補外方法または補間方法（４７）で、測定された前記距離情報（４２）と前記三次元位置データ（４８、４９、５０）とから計算する、請求項１０から１３までのいずれか１項記載の方法。
15. 前記スケーリング（４６）を、相互に一致する画像部分（１８、１９、２０、２１、２５、２６、２７、２８）の少なくとも１つの前記群（２９、３０、３１、３２）に割り当てられた前記距離情報（４２）から計算する、かつ／または、前記画像（９、１０）の各画像セグメントに対して距離情報（４２）を測定する、請求項１０から１４までのいずれか１項記載の方法。
16. 前記距離情報（４２）を、前記画像撮影装置（２）が撮影を行うスペクトル領域にある測定ビーム（５２）によって測定する、かつ／または、２回の個別撮影の間の前記画像撮影装置（２）の動きを、運動センサおよび／または加速度センサ（５８）の出力信号を用いて計算する、請求項１０から１５までのいずれか１項記載の方法。
17. 少なくとも１つの前記三次元位置データ（４８、４９、５０）をＳＬＡＭ法および／またはＳｔｒｕｃｔｕｒｅ−ｆｒｏｍ−Ｍｏｔｉｏｎ法によって計算する、かつ／または、相互に一致する画像部分（１８、１９、２０、２１、２５、２６、２７、２８）の少なくとも１つの前記群（２９、３０、３１、３２）の三次元イメージを、スケーリングされた少なくとも１つの前記三次元位置データに基づいて計算する、請求項１０から１６までのいずれか１項記載の方法。
18. さらなる三次元位置データ（４８、４９）が計算されるべき空間領域（５９）を識別し、当該空間領域（５９）に対する距離情報（４２）が測定されるように前記距離測定機器（３）を駆動制御する、かつ／または、前記距離測定機器（３）を駆動制御するために、目下の撮影ポーズ（１７）を事前に計算された撮影ポーズ（１５、１６）から計算する、または、推測する、請求項１０から１７までのいずれか１項記載の方法。
19. 少なくとも１つの前記三次元位置データ（４８、４９、５０）に、幾何学的なオブジェクト（５１）をはめ込む、請求項１０から１８までのいずれか１項記載の方法。
20. 少なくとも１つの長さ、面積および／または体積を、有利にはスケーリングされている前記三次元位置データから計算する、かつ／または、少なくとも１つの前記群（２９、３０、３１、３２）を出力ユニット（５）を用いて、少なくとも１つの前記三次元位置データ（４８、４９、５０）に対応する画像点に出力する、請求項１０から１９までのいずれか１項記載の方法。
21. 三次元撮影装置の設定方法であって、
    距離測定機器（３）を画像撮影装置（２）と接続し、
    １つの場面（１１）の少なくとも１つの画像（９、１０）から成る画像シーケンスを撮影し、
    各画像（９、１０）に対して少なくとも１つの距離情報（４２）を測定し、
    測定された各距離情報（４２）に対して、当該距離情報（４２）と関連する画像位置を、対応する前記画像（９、１０）において特定し、
    測定された前記距離情報（４２）と特定された前記画像位置とから、前記画像撮影装置（２）に対する前記距離測定機器（３）の向きを表す少なくとも１つのパラメータを計算する、
    ことを特徴とする、三次元撮影装置の設定方法。
22. 前記既知のかつ／または人工的に作成された場面に、前記距離測定機器（３）の測定ビーム（５２）を投影する、請求項２１記載の方法。

Images