JP7460532B2 - システム、方法及び装置 - Google Patents

Description

本開示は、システム、方法及び装置に関する。

従来、物体を走査して、この物体の三次元モデルを生成するための三次元走査手法が知られている。例えば特許文献１には、回転テーブルに走査対象物を載置して、回転テーブルを回転させつつカメラで対象物の複数の向きの画像を撮影し、撮影した画像を合成して対象物の三次元モデルを生成する手法が開示されている。

特表２０１７－５３２６９５号公報

本開示は、新規な三次元走査手法を提供することを目的とする。

本発明の実施形態の一観点に係るシステムは、
複数の二次元画像から、三次元表現を生成するシステムであって、
三次元表現が生成される物体を撮影する撮像装置と、
前記物体が載置される支持部と、
前記支持部と前記撮像装置とを相対的に回転させる回転装置と、
前記物体の三次元表現を生成する際に用いられる情報である前記撮像装置の相対位置を算出するためのマーカーと、を有し、
前記撮像装置は、前記物体及び前記マーカーを前記物体及び前記マーカーの下方から撮影することで前記物体及び前記マーカーを含む二次元画像を取得し、前記撮像装置の相対位置は、少なくとも、前記二次元画像に含まれる前記マーカーの画像に基づいて算出され、前記物体の三次元表現は、少なくとも、前記二次元画像に含まれる前記物体の画像と、前記算出された相対位置と、に基づいて生成され、
前記マーカーは、前記物体に対する前記撮像装置の相対位置が算出できるように前記撮像装置によって前記物体とともに撮影される位置に配置される。

同様に、本発明の実施形態の一観点に係る方法は、
複数の二次元画像から、三次元表現を生成する方法であって、
三次元表現が生成される物体が載置される支持部と、前記物体を撮影する撮像装置とを回転装置によって相対的に回転させる処理と、
前記物体及びマーカーをそれぞれに含む、複数の撮影方向による二次元画像を取得するために、前記撮像装置を用いて、前記物体及び前記マーカーの下方且つ複数の異なる方向から前記物体及び前記マーカーを撮影する処理と、
少なくとも、前記複数の撮影方向による二次元画像に含まれる前記物体の複数の撮影方向による画像と、算出された前記撮像装置の相対位置であって、少なくとも、前記複数の撮影方向による二次元画像に含まれる前記マーカーのそれぞれの画像に基づいて算出された相対位置とに基づいて生成された前記物体の三次元表現を取得する処理とを有し、
前記マーカーは、前記物体に対する前記撮像装置の相対位置が算出できるように前記撮像装置によって前記物体とともに撮影される位置に配置される。

本開示によれば、新規な三次元走査手法を提供することができる。

実施形態に係る三次元走査装置の概略構成を示す模式図である。 図１中の支持台の下面側を示す模式図である。 実施形態に係る三次元走査装置により実施される三次元走査処理の手順を示すフローチャートである。 三次元走査処理において生成される三次元モデルの一例を示す図である。 実施形態の変形例に係る三次元走査装置の概略構成を示す図である。

以下、添付図面を参照しながら実施形態について説明する。説明の理解を容易にするため、各図面において同一の構成要素に対しては可能な限り同一の符号を付して、重複する説明は省略する。

各図において、ｘ方向、ｙ方向、ｚ方向は互いに垂直な方向である。ｚ方向は支持台２の回転軸の方向であり、典型的には鉛直方向である。ｚ正方向側を上側、ｚ負方向側を下側と表記する。ｘ方向及びｙ方向は支持台２の上面２Ａの延在方向であり、典型的には水平方向である。なお、本実施形態で用いる「垂直方向」、「鉛直方向」、「水平方向」等の用語は、各用語が対応する一方向と、当該一方向を含む所定範囲内の方向とを含む。

図１、図２を参照して、実施形態に係る三次元走査装置１の構成を説明する。図１は、実施形態に係る三次元走査装置１の概略構成を示す模式図である。図２は、図１中の支持台２の下面２Ｂ側を示す模式図である。

三次元走査装置１は、走査対象物１０を走査して、撮像した走査対象物１０の複数の画像データを合成して三次元モデルを生成する装置である。走査対象物１０としては、例えば図１に例示されるコップなどの器状の物体の他、支持台２のＡＲマーカー６の内部に載置可能なサイズの任意の形状の物体を含む。また、走査対象物１０の走査方向は、例えばｚ方向を中心軸とする周方向である。なお、走査対象物１０は、支持台２のＡＲマーカー６の内部に載置可能なサイズに限られない。

図１に示すように、三次元走査装置１は、支持台２（支持部）と、上部カメラ３Ａ，３Ｂ（第２の画像センサ）と、下部カメラ４Ａ，４Ｂ（第１の画像センサ）と、回転部５と、ＡＲマーカー６（相対位置指標部）と、制御装置７と、照明８Ａ、８Ｂと、を備える。

支持台２は、走査対象物１０を載置し、また、載置された走査対象物１０を回転させる台座である。支持台２は、例えばアクリル板などの透明板である。この透明板の上面２Ａは、走査対象物１０が載置される載置面である。また、支持台２は透明板であるので、図２に示すように載置面の裏側となる下面２Ｂからも、上面２Ａに載置された走査対象物１０を撮像（以下、視認とも言う）可能となっている。なお、支持台２は、下面２Ｂ側から走査対象物１０が撮像または走査対象物１０の情報が取得可能であればよく、半透明、または一定程度透過する材料でもよい。

上部カメラ３Ａ，３Ｂは、支持台２の上面２Ａ側に設置され、載置面２Ａに対する斜め上方向から走査対象物１０に向けられて走査対象物１０を撮像可能となっている。上部カメラ３Ａ，３Ｂは、異なる傾斜角度でそれぞれ設置される。なお、本実施形態において「載置面２Ａに対する斜め上方向」とは、載置面２Ａより上側、かつ、支持台２の、走査対象物１０が載置される中央部における垂直な軸より外縁側の方向である。つまり、本実施形態の上部カメラ３Ａ、３Ｂはそれぞれ走査対象物１０の直上または真横以外の方向から情報を取得する。

下部カメラ４Ａ，４Ｂは、支持台２の下面２Ｂ側に設置され、載置面２Ａに対する斜め下方向から走査対象物１０に向けられて走査対象物１０を撮像可能となっている。下部カメラ４Ａ，４Ｂは、異なる傾斜角度でそれぞれ設置される。なお、本実施形態において、「載置面２Ａに対する斜め下方向」とは、支持台２の下面２Ｂより下側、かつ、支持台２の中央部における垂直な軸より外縁側の方向である。つまり、本実施形態の下部カメラ４Ａ、４Ｂはそれぞれ走査対象物１０の直下以外の方向から情報を取得する。

上部カメラ３Ａ，３Ｂ及び下部カメラ４Ａ，４Ｂは、走査対象物１０を撮像する画像センサの一例である。上部カメラ３Ａ，３Ｂ及び下部カメラ４Ａ，４Ｂは、例えばＲＧＢ－Ｄカメラであり、走査対象物１０のＲＧＢ画像と深度画像とを撮像できる。深度画像は、走査対象物１０までの奥行き情報（深度）を含む。なお、以下では、上部カメラ３Ａ，３Ｂを纏めて「上部カメラ３」、下部カメラ４Ａ，４Ｂを纏めて「下部カメラ４」とも表記する。

本実施形態では、「画像センサ」とは、走査対象物１０のＲＧＢ画像や深度画像を撮像できる要素を意味するものであり、ＲＧＢ―Ｄカメラや深度カメラなどのカメラ装置全体や、カメラ装置に内蔵されるＣＭＯＳセンサや深度センサなどのセンサ類や、単体で用いられるセンサを包含するものである。また、「画像センサ」は、レーザスキャナによる点群情報を取得する構成でもよい。

本実施形態の回転部５は、支持台２の略中央を中心として支持台２を回転させる。回転部５の機構は既存の動力伝達系を用いることができる。例えば回転部５はモータとギヤ機構とを有し、モータの駆動力がギヤ機構を介して支持台２の回転軸に伝達されるように構成されてもよいし、または、支持台２の外縁部に駆動力を付与して支持台２を回転させる構成でもよい。

ＡＲマーカー６は、走査対象物１０と上部カメラ３Ａ，３Ｂ及び下部カメラ４Ａ，４Ｂとの相対位置を示す指標の一例である。本実施形態において、ＡＲマーカー６は、支持台２の上面２Ａ及び下面２Ｂの走査対象物１０の載置位置の周囲に配置される。

ＡＲマーカー６は、画像認識型ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ:拡張現実感）システムにおいて、標識となる決まったパターンの画像をいう。ＡＲマーカー６は、通常は矩形で、白黒２色の二次元ビットパターンになっており、単純な画像認識でマーカーＩＤを認識出来るものである。本実施形態においては、ＡＲマーカー６は平面のものを使用し、カメラに写った時の歪み具合など、その形状からカメラに対する距離、角度などを計算する、また、取得した情報から、マーカーの位置に３ＤＣＧなどを表示するような使い方で用いられる。

本実施形態でも、図１に例示するように、ＡＲマーカー６は矩形状の平面ビットパターンである。走査対象物１０の周囲に配置される複数のＡＲマーカー６は、それぞれ別のビットパターンであり、例えば回転方向の基準位置となる基準マーカー６Ａ，６Ｂからの回転角度の情報が記録されている。基準マーカー６Ａ，６Ｂは、それぞれ上面２Ａ及び下面２Ｂに配置されるＡＲマーカー群の基準位置のマーカーであり、それぞれの周方向の位置は略同一である。

制御装置７は、三次元走査装置１の動作を制御する。本実施形態の制御装置７は、上部カメラ３Ａ，３Ｂ及び下部カメラ４Ａ，４Ｂによる走査対象物１０の走査を制御する。また、制御装置７は、走査で得られた撮像データに基づき走査対象物１０の三次元モデルを生成する。制御装置７は、これらに関する機能として、撮像制御部７１と、相対位置算出部７２と、モデル生成部７３とを有する。

本実施形態の撮像制御部７１は、回転部５による回転中に上部カメラ３Ａ，３Ｂ及び下部カメラ４Ａ，４Ｂにより走査対象物１０を走査して複数の画像（本実施形態ではＲＧＢ画像と深度画像）を撮像するように、回転部５、上部カメラ３Ａ，３Ｂ及び下部カメラ４Ａ，４Ｂの動作を制御する。

本実施形態の相対位置算出部７２は、上部カメラ３Ａ，３Ｂ及び下部カメラ４Ａ，４Ｂにより撮像された画像内のＡＲマーカー６の画像に基づき、撮像制御部７１により撮像された複数の画像情報のそれぞれと対応する、走査対象物１０と上部カメラ３Ａ，３Ｂ及び下部カメラ４Ａ，４Ｂとの相対位置の情報を算出する。ここで相対位置とは、各カメラの座標情報の他にも各カメラの光軸の傾きなどの姿勢情報も含む。

本実施形態のモデル生成部７３は、撮像制御部７１により撮像された複数の画像情報と、相対位置算出部７２に基づき算出された相対位置の情報とに基づき、走査対象物１０の三次元モデルを生成する。

制御装置７の一部又は全部は、任意のハードウェア、ソフトウェア、或いはそれらの組み合わせにより実現されてよい。制御装置７は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などの１又は複数のプロセッサ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、補助記憶装置、Ｉ／Ｏ（Ｉｎｐｕｔ－Ｏｕｔｐｕｔ ｉｎｔｅｒｆａｃｅ）等を含むマイクロコンピュータを中心に構成されてよく、ＲＯＭや補助記憶装置等に格納される各種プログラムをプロセッサ上で実行することにより上記の各種機能が実現される。

制御装置７は、上述の構成要素のうち同じ構成要素を複数備えていてもよい。また、制御装置７は、例えば１台のコンピュータで実現されてもよいし、ソフトウェアが複数台のコンピュータにインストールされて、当該複数台のコンピュータそれぞれがソフトウェアの同一の又は異なる一部の処理を実行してもよい。この場合、コンピュータそれぞれがネットワークインタフェース等を介して通信して処理を実行する分散コンピューティングの形態であってもよい。つまり、制御装置７は、１又は複数の記憶装置に記憶された命令を１台又は複数台のコンピュータが実行することで機能を実現するシステムとして構成されてもよい。また、端末から送信された情報をクラウド上に設けられた１台又は複数台のコンピュータで処理し、この処理結果を端末に送信するような構成であってもよい。

または、制御装置７は、ＣＰＵ又はＧＰＵ等が実行するソフトウェア（プログラム）の情報処理で構成されてもよい。ソフトウェアの情報処理で構成される場合には、前述した実施形態における各装置の少なくとも一部の機能を実現するソフトウェアを、フレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disc-Read Only Memory）、又はＵＳＢ（Universal Serial Bus）メモリ等の非一時的な記憶媒体（非一時的なコンピュータ可読媒体）に収納し、コンピュータに読み込ませることにより、ソフトウェアの情報処理を実行してもよい。また、通信ネットワークを介して当該ソフトウェアがダウンロードされてもよい。さらに、ソフトウェアがＡＳＩＣ（Application Specific Integrated Circuit）、又はＦＰＧＡ（Field Programmable Gate Array）等の回路に実装されることにより、情報処理がハードウェアにより実行されてもよい。

ソフトウェアを収納する記憶媒体の種類は限定されるものではない。記憶媒体は、磁気ディスク、又は光ディスク等の着脱可能なものに限定されず、ハードディスク、又はメモリ等の固定型の記憶媒体であってもよい。また、記憶媒体は、コンピュータ内部に備えられてもよいし、コンピュータ外部に備えられてもよい。

本実施形態の照明８Ａ，８Ｂは、それぞれ支持台２の上面２Ａ側、下面２Ｂ側に配置され、走査対象物１０に光をあてる。照明８Ａ，８Ｂは、特に上部カメラ３Ａ，３Ｂ及び下部カメラ４Ａ，４Ｂにより撮像された画像内において走査対象物１０の表面の陰影が無くなるように、上部カメラ３Ａ，３Ｂ及び下部カメラ４Ａ，４Ｂの設置位置に応じて配置される。

次に図３、図４を参照して実施形態に係る三次元走査方法を説明する。図３は、実施形態に係る三次元走査装置１により実施される三次元走査処理の手順を示すフローチャートである。図４は、三次元走査処理において生成される三次元モデルの一例を示す図である。図３のフローチャートの処理は制御装置７により実施される。

ステップＳ１では、まず走査対象物１０が支持台２の上面２Ａに載置される。走査対象物１０の載置位置は、支持台２の回転中心を含むことが好ましい。本実施形態では、図１に示すように上面２Ａは略円形状であり、複数のＡＲマーカー６が所定の間隔で上面２Ａの外縁と略同心円状に並ぶように配置されるので、走査対象物１０の載置位置は上面２Ａの中心位置であるのが好ましい。

ステップＳ２では、制御装置７の撮像制御部７１により、回転部５が駆動されて支持台２の回転動作が開始される。

ステップＳ３（撮像ステップ）では、撮像制御部７１により、上部カメラ３Ａ，３Ｂ及び下部カメラ４Ａ，４Ｂが作動されて、回転中の走査対象物１０が上下両側から撮像され、上部カメラ３Ａ，３Ｂ及び下部カメラ４Ａ，４ＢからＲＧＢ画像と深度画像が取得される。撮像制御部７１は、走査対象物１０が回転しているときに上部カメラ３Ａ，３Ｂ及び下部カメラ４Ａ，４Ｂの撮像を同一タイミングで実行させ、これにより例えば図４の上段に示すように、走査対象物１０が任意の回転角度の位置にあるときの各カメラのＲＧＢ画像Ｉ１～Ｉ４を同時に取得することができる。また、このとき撮像制御部７１は、各カメラの深度画像Ｄ１～Ｄ４も併せて取得する。深度画像Ｄ１～Ｄ４は、例えば図４の中段に示すように各画素におけるカメラから走査対象物１０の表面までの距離に応じて色分けされた点群で表現される。図４の例では、深度画像Ｄ１～Ｄ４は、遠距離であるほど暗く、近距離であるほど明るく表現されている。

撮像制御部７１は、ステップＳ３では回転部５が走査対象物１０を一回転させる間、撮像を継続して画像を取得する。これにより、上部カメラ３Ａ，３Ｂ及び下部カメラ４Ａ，４Ｂは、載置面２Ａに対してそれぞれ別の角度で傾斜した方向から、回転方向に沿った複数の位置で走査対象物１０を撮像して、各位置のＲＧＢ画像Ｉ１～Ｉ４及び深度画像Ｄ１～Ｄ４を取得できる。つまり、撮像制御部７１は、走査対象物１０を複数のカメラを用いて複数の方向から同時に走査することができる。撮像制御部７１は、取得した画像を相対位置算出部７２、モデル生成部７３に出力する。

ステップＳ４では、撮像制御部７１により、回転部５が停止されて支持台２の回転動作が停止される。

ステップＳ５（相対位置算出ステップ）では、制御装置７の相対位置算出部７２により、ＲＧＢ画像Ｉ１～Ｉ４中のＡＲマーカー６の画像に基づき、走査対象物１０に対する上部カメラ３Ａ，３Ｂ及び下部カメラ４Ａ，４Ｂの相対位置が算出される。

上部カメラ３Ａを例としてステップＳ５の相対位置算出過程を説明すると、相対位置算出部７２は、例えば、ＲＧＢ画像Ｉ１に映っている指標であるＡＲマーカー６に記録されている情報を読み取り、当該マーカーに応じた基準マーカー６Ａに対する回転角度を検出する。また、ＡＲマーカー６は本実施形態では矩形状のビットパターンであるので、このＡＲマーカー６の画像中での歪み具合など形状の変化に応じて、このＡＲマーカー６に対する上部カメラ３Ａの距離や角度を算出する。そしてこれらの情報を統合して、走査対象物１０に対する上部カメラ３Ａの相対位置を算出できる。図７に示すように、ＲＧＢ画像Ｉ１に複数のＡＲマーカー６が映っている場合には、各マーカー６ごとに相対位置を算出して、例えば平均をとるなど、これらの算出された複数の相対位置の情報に基づいて最終的な上部カメラ３Ａの相対位置の情報を算出してよい。なお、他の上部カメラ３Ｂ、下部カメラ４Ａ，４Ｂの相対位置の算出手法も上記と同様である。相対位置算出部７２は、算出した相対位置情報をモデル生成部７３に出力する。

ステップＳ６（モデル生成ステップ）では、制御装置７のモデル生成部７３により、ステップＳ５にて算出した、走査対象物１０に対する上部カメラ３Ａ，３Ｂ及び下部カメラ４Ａ，４Ｂの相対位置の情報に基づいて、ステップＳ３にて取得された回転方向の各位置の走査対象物１０の深度画像Ｄ１～Ｄ４が合成され、走査対象物１０の三次元モデルが生成される。例えば図４の下段に示すように、深度画像Ｄ１～Ｄ４に基づき三次元のメッシュモデルを作成して、その表面にＲＧＢ画像Ｉ１～Ｉ４に基づいて作成したテクスチャを貼り付けて、模様や色のついた三次元モデルを生成することができる。モデル生成部７３は、生成した三次元モデルの情報を制御装置７のＲＯＭや補助記憶装置等に格納できる。ステップＳ６の処理が完了すると本制御フローは終了する。

なお、ステップＳ５、Ｓ６の各処理は、ステップＳ３にて取得された回転方向の各位置の走査対象物１０のＲＧＢ画像Ｉ１～Ｉ４及び深度画像Ｄ１～Ｄ４を用いて纏めて実行してもよい。つまり、制御装置７の相対位置算出部７２とモデル生成部７３の機能を統合してもよい。

次に本実施形態に係る三次元走査装置１の効果を説明する。

例えば特許文献１に記載される従来の三次元スキャナでは、走査対象物の三次元モデルを生成するためには、載置台にさまざまな向きに対象物を置き換えて繰り返し走査を行う必要があった。これに対して、本実施形態の三次元走査装置１は、走査対象物１０が載置される支持台２の上面２Ａ側に設置され、載置面に対する斜め方向から走査対象物１０を撮像する上部カメラ３Ａ，３Ｂと、支持台２の下面２Ｂ側に設置され、載置面に対する斜め方向から走査対象物１０を撮像する下部カメラ４Ａ，４Ｂと、を備える。そして、制御装置７の撮像制御部７１により、支持台２が回転して走査対象物１０が回転している間に、上部カメラ３Ａ，３Ｂ及び下部カメラ４Ａ，４Ｂを用いて走査対象物１０を別の方向から纏めて走査して複数の画像を撮像する。

この構成により、走査対象物１０を載置面に１回載置して、走査対象物１０を１回転させるだけで、走査対象物１０の上下方向、特に情報量が多く取得できる斜め方向から全周に亘る画像を一度に纏めて撮像できるので、従来の三次元スキャナのように載置台に様々な姿勢で対象物を置き直して走査する作業が不要となり、スキャン時間を大幅に短縮でき、多量の画像情報を短時間で効率良く撮像できる。したがって、本実施形態の三次元走査装置１は、モデル生成に用いる走査対象物１０の画像情報をより高速に取得できるので、より高速で三次元モデルを生成できる。また、走査対象物１０を支持台２の中央付近（少なくともＡＲマーカー６より中心側）に載置するだけで走査可能であり、走査対象物１０の設置位置を厳密に決める必要がなく、また、走査対象物１０を固定する必要もないので、より簡易に走査とモデル生成を実施できる。この結果、本実施形態の三次元走査装置１は、より簡易かつ高速に全方向三次元モデルを生成できる。

また、本実施形態の三次元走査装置１では、上部カメラ３Ａ，３Ｂ及び下部カメラ４Ａ，４ＢはＲＧＢ－Ｄカメラであり、すなわち深度カメラを含み、上部カメラ３Ａ，３Ｂ及び下部カメラ４Ａ，４Ｂにより撮像される画像情報は、深度カメラにより取得された走査対象物１０までの奥行き情報（深度）を含む。これにより、走査画像からモデル生成を行う際に、走査対象物１０の深度を走査画像から直接取得でき、走査画像を用いて走査対象物１０の表面までの深度を算出する処理が不要となるので、モデル生成処理の計算コストを軽減できる。この結果、本実施形態の三次元走査装置１は、三次元モデルの生成をより一層高速化できる。

また、本実施形態の三次元走査装置１では、支持台２の上面２Ａ及び下面２Ｂの走査対象物１０の載置位置の周囲に配置されるＡＲマーカー６を相対位置指標部として用いる。相対位置算出部７２は、上部カメラ３Ａ，３Ｂ及び下部カメラ４Ａ，４Ｂにより撮像されたＲＧＢ画像Ｉ１～Ｉ４内のＡＲマーカー６の画像に基づき、走査対象物１０と各カメラとの相対位置を算出する。

走査対象物１０と各カメラとの相対位置は、例えばエンコーダで支持台２の回転角度を計測するなど、走査対象物１０の回転角度を実測する構成要素を用いても取得可能である。ただし、エンコーダなどの何らかの角度検出用のセンサ類を別途設ける必要がある。これに対して本実施形態では上記構成により、撮像画像から走査対象物１０と各カメラとの相対位置を算出できるので、角度検出用のセンサ類を別途設ける必要がなく、簡易な構成で相対位置を求めることができる。

また、本実施形態において、上面２ＡのＡＲマーカー６のうち基準位置となる基準マーカー６Ａと、下面２ＢのＡＲマーカー６のうち基準位置となる基準マーカー６Ｂとが設けられ、これらが図１、図２に示すように周方向の略同一位置に配置される。これにより、上面２Ａ側の上部カメラ３Ａ，３Ｂの画像情報と、下面２Ｂ側の下部カメラ４Ａ，４Ｂの画像情報で基準位置が共通化されるので、相対位置算出部７２により算出される相対位置も、上部カメラ３Ａ，３Ｂの画像から算出されたものと、下部カメラ４Ａ，４Ｂの画像から算出されたもので共通化できる。これにより、上面２Ａ側の画像情報と下面２Ｂ側の画像情報とを、周方向の位置合わせをすることなく、そのまま合成できる。これにより、モデル生成過程の計算コストをさらに軽減でき、三次元モデルの生成をより一層高速化できる。また、カメラ画像にＡＲマーカー６が映っていれば、カメラの設置位置を厳密に決めなくても相対位置を算出可能なので、上部カメラ３Ａ，３Ｂ及び下部カメラ４Ａ，４Ｂのキャリブレーションが不要となり、装置の移動や設置を容易にできる。

また、本実施形態の三次元走査装置１では、支持台２はアクリル板などの透明板であるので、裏側の下面２Ｂ側からも下部カメラ４Ａ，４Ｂによる走査対象物１０を撮像できる。

また、本実施形態の三次元走査装置１では、上部カメラ３Ａ，３Ｂ及び下部カメラ４Ａ，４Ｂは、斜め方向の角度が異なる複数のカメラ（図１では２台ずつ）を含むので、より多量の画像情報をモデル生成に用いることができ、三次元モデルの生成精度をより一層向上できる。ここで、「斜め方向の角度が異なる」とは、上部カメラ３Ａ，３Ｂの場合、支持台２の上面２Ａの中央の回転中心から、斜め上方向の各カメラの位置までを結ぶ線分の上面２Ａに対する角度が、上部カメラ３Ａと上部カメラ３Ｂとで異なることを意味する。下部カメラ４Ａ，４Ｂの場合、支持台２の下面２Ｂの中央の回転中心から、斜め下方向の各カメラの位置までを結ぶ線分の下面２Ｂに対する角度が、下部カメラ４Ａと下部カメラ４Ｂとで異なることを意味する。

また、本実施形態の三次元走査装置１では、それぞれ支持台２の上面２Ａ側、下面２Ｂ側に配置され、走査対象物１０に光をあてる照明８Ａ，８Ｂを備えるので、各カメラの撮像画像内において走査対象物１０の表面の陰影を低減でき、また表面の色合いも均一化できる。これにより、生成された三次元モデルの表面性状をより実物に近いものにできる。

図５を参照して変形例を説明する。図５は、実施形態の変形例に係る三次元走査装置１Ａの概略構成を示す図である。図５に示すように、上部カメラ３、下部カメラ４の他に、支持台２の上面２Ａ上の走査対象物１０の載置位置から載置面の法線方向の位置、すなわち鉛直上方（ｚ軸正方向）に設置される真上カメラ１３（第３の画像センサ）と、支持台２の下面２Ｂから法線方向と反対方向、すなわち鉛直下方（ｚ軸負方向）の位置に設置される真下カメラ１４（第４の画像センサ）を備える構成でもよい。真上カメラ１３及び真下カメラ１４も、上部カメラ３及び下部カメラ４と同様にＲＧＢ－Ｄカメラであるのが好ましい。

このように真上カメラ１３及び真下カメラ１４を備える構成とすることで、例えば走査対象物１０がコップなど深い窪みを有する物体など、斜め方向からの画像では内側底面が見えにくい形状であっても、真上や真下からの撮像画像で確実に映すことができる。これにより、走査対象物１０の表面の死角をさらに低減でき、三次元モデルの生成精度を向上できる。

上記実施形態では、走査対象物１０と上部カメラ３Ａ，３Ｂ及び下部カメラ４Ａ，４Ｂとの相対位置に係る指標の一例として、走査対象物１０の周囲に周方向位置に応じた複数のＡＲマーカー６を配置する構成を例示したが、例えば二次元バーコードなどの他のパターンを用いてもよい。また、Ｍ系列などの疑似乱数系列を利用して回転角度に応じた環状のパターンを設けてもよい。

上記実施形態では、走査対象物１０の周囲に全周に亘って略均等な間隔で複数のＡＲマーカー６を配置する構成を例示したが、上部カメラ３Ａ，３Ｂ及び下部カメラ４Ａ，４Ｂの撮像画像に少なくとも１つのＡＲマーカー６が入ればよく、複数のＡＲマーカー６を配置する場合は異なる間隔を空けて配置してもよい。

上記実施形態では、ＲＧＢ画像中のＡＲマーカー６の画像に基づき走査対象物１０と上部カメラ３Ａ，３Ｂ及び下部カメラ４Ａ，４Ｂとの相対位置を算出する構成を例示したが、例えば回転部５や支持台２の回転軸にエンコーダを設けて回転角度を計測して、計測した回転角度を相対位置指標部として利用して相対位置を算出してもよい。

上記実施形態では、回転部５が支持台２を回転させる構成を例示したが、回転部５は、支持台２と上部カメラ３Ａ，３Ｂ及び下部カメラ４Ａ，４Ｂとを相対的に回転することができればよく、実施形態とは異なり支持台２を固定し、上部カメラ３Ａ，３Ｂ及び下部カメラ４Ａ，４Ｂを支持台２のまわりで回転させる構成でもよい。その場合の回転中心、回転軸は、カメラを回転させる装置により定められる。

上記実施形態では、上部カメラ３Ａ，３Ｂ及び下部カメラ４Ａ，４Ｂが２台ずつの構成を例示したが、少なくともそれぞれ１台ずつあればよい。また、３台以上の複数台でもよい。設置台数が増えるほど三次元モデルの精度を向上できる。

上記実施形態では、上部カメラ３Ａ，３Ｂ及び下部カメラ４Ａ，４ＢがＲＧＢ－Ｄカメラであり、ＲＧＢ画像と深度画像とを撮像できる構成を例示したが、上部カメラ３Ａ，３Ｂ及び下部カメラ４Ａ，４ＢをＲＧＢカメラにして、ＲＧＢ画像のみを撮像する構成でもよい。この場合、モデル生成部７３は、例えば同一のカメラで異なる回転角度で撮像した複数のＲＧＢ画像を用いて、走査対象物の深度情報を算出することができる。

本実施形態には、さらに三次元モデルの生成を補助するレンダラーを備えるレンダリング部を備えてもよい。このようなレンダリング部を備えることで、より精密な三次元モデルを生成することができる。また、レンダラーを用いることで、三次元モデルを構成する際に利用する一部の情報（例えば深度情報）を代替とできる場合がある。また、このレンダラーを、学習済みの機械学習モデルを用いて構成することで、より三次元モデルの精度を向上できる。レンダリング部は、モデル生成部７３が三次元モデルを生成した後に当該三次元モデルを修正してもよく、モデル生成部７３が三次元モデルを生成完了する前にレンダリングを行ってもよい。

上記実施形態では、アクリル板などの透明板からなる支持台２の上面２Ａを載置面とする構成、つまり、載置面の剛性が走査対象物１０のものより高く、載置面が平板状の構成を例示したが、少なくとも載置面の裏側からも走査対象物１０を撮像（視認）可能でかつ載置面がカメラに映りづらいものであればよい。つまり、部材の透明度は走査対象物１０の情報の取得が適切に可能な程度であればよい。その物体を通しては走査対象物１０が撮像が不可能な部材ではあるが、部材の間の隙間から走査対象物１０が撮像が可能な、穴が開けられた板やネット等の部材であってもよい。また、例えばフィルム、ビニール、ネット、液体等の形状が可変な材料が入った袋状の部材など、剛性が走査対象物１０より低いものを載置面としてもよい。つまり、載置された走査対象物１０の形状に応じて載置面が変形可能な構成でもよい。これにより、走査対象物１０が、例えばぬいぐるみなど、柔らかくアクリル板に載せると接触部分が平らに変形するような物体の場合でも、載置面への載置時の走査対象物１０の変形を抑えることができるので、外力による変形が少ない状態の三次元モデルを生成できる。このような三次元モデルができると、例えば走査対象物１０の三次元モデルを走査時とは異なる姿勢でも違和感なく使用することができ、三次元モデルの汎用性を向上できる。また、支持台２が透明板以外の場合には、支持台２は台座以外の他の構成（例えば載置面を有するフィルムを上から懸架する構成など）でもよい。

以上、具体例を参照しつつ本実施形態について説明した。しかし、本開示はこれらの具体例に限定されるものではない。これら具体例に、当業者が適宜設計変更を加えたものも、本開示の特徴を備えている限り、本開示の範囲に包含される。前述した各具体例が備える各要素およびその配置、条件、形状などは、例示したものに限定されるわけではなく適宜変更することができる。前述した各具体例が備える各要素は、技術的な矛盾が生じない限り、適宜組み合わせを変えることができる。

上部カメラ３、下部カメラ４、真上カメラ１３、真下カメラ１４は、カメラ装置以外の要素でもよく、例えばスマートフォン等であってもよい。

上記実施形態では、上部カメラ３Ａ，３Ｂ及び下部カメラ４Ａ，４Ｂを用いて、支持台２の上面２Ａに載置されている走査対象物１０を同時に撮像する構成を例示したが、下部カメラ４Ａ，４Ｂのみを用いる構成でもよい。また、上部カメラ３Ａ，３Ｂ及び下部カメラ４Ａ，４Ｂを異なるタイミングで撮影してもよい。つまり、上部カメラ３Ａ，３Ｂにて走査対象物１０を撮影した後、下部カメラ４Ａ，４Ｂにて走査対象物１０を撮影してもよく、逆の順番で撮影してもよい。本実施形態のような指標を備えることにより、このような異なるタイミングでの撮像した画像に基づく三次元モデルの生成を容易に行うことができる。また、これにより、複数のカメラを準備することなく、１台のカメラで撮像することができる。

上記実施形態に係る三次元走査装置１，１Ａを用いて、身の回りの物体をスキャンして仮想空間をつくり、この仮想空間をシミュレータとしてロボットのタスク習得などの機械学習に利用できる。つまり、上記実施形態に係る三次元走査装置１，１Ａは、シミュレータ用の三次元モデルをつくるためのスキャナ装置に適用できる。言い換えると、上記実施形態に係る三次元走査方法によって得られたデータを用いて、機械学習用のデータ、または機械学習向けの訓練用データを作成することができる。またこの訓練用データを用いて機械学習モデルを生成することができる。

このようなシミュレータ用仮想空間を作るためには、膨大な数の物体を走査して三次元モデルを生成する必要があるため、スキャン時間が膨大になると考えらえる。しかし上記実施形態に係る三次元走査装置１，１Ａは、上述のとおりスキャン時間を短縮化でき、三次元モデルの生成を高速化できるものであるので、シミュレータ用仮想空間を作るのに極めて有利と考えられる。

本国際出願は２０１８年１０月１０日に出願された日本国特許出願２０１８－１９１９３５号に基づく優先権を主張するものであり、２０１８－１９１９３５号の全内容をここに本国際出願に援用する。

１，１Ａ 三次元走査装置
２ 支持台（支持部）
３、３Ａ、３Ｂ 上部カメラ（第２の画像センサ）
４、４Ａ、４Ｂ 下部カメラ（第１の画像センサ）
５ 回転部
６ ＡＲマーカー（相対位置指標部）
７ 制御装置
７１ 撮像制御部
７２ 相対位置算出部
７３ モデル生成部
１３ 真上カメラ（第３の画像センサ）
１４ 真下カメラ（第４の画像センサ）
ステップＳ３ 撮像ステップ
ステップＳ５ 相対位置算出ステップ
ステップＳ６ モデル生成ステップ

Claims (21)

1. 複数の二次元画像から、三次元表現を生成するシステムであって、
   三次元表現が生成される物体を撮影する撮像装置と、
   前記物体が載置される支持部と、
   前記支持部と前記撮像装置とを相対的に回転させる回転装置と、
   前記物体の三次元表現を生成する際に用いられる情報である前記撮像装置の相対位置を算出するためのマーカーと、を有し、
   前記撮像装置は、前記物体及び前記マーカーを前記物体及び前記マーカーの下方から撮影することで前記物体及び前記マーカーを含む二次元画像を取得し、前記撮像装置の相対位置は、少なくとも、前記二次元画像に含まれる前記マーカーの画像に基づいて算出され、前記物体の三次元表現は、少なくとも、前記二次元画像に含まれる前記物体の画像と、前記算出された相対位置と、に基づいて生成され、
   前記マーカーは、前記物体に対する前記撮像装置の相対位置が算出できるように前記撮像装置によって前記物体とともに撮影される位置に配置される、
   システム。
2. 前記撮像装置は、前記物体及び前記マーカーを前記物体及び前記マーカーの下方において異なる方向から撮影することで複数の前記二次元画像を取得し、
   前記複数の二次元画像は、それぞれ、前記物体及び前記マーカーを含み、前記複数の二次元画像それぞれに含まれる前記マーカーの画像に基づいて、前記撮像装置の前記複数の二次元画像それぞれに対応する相対位置が算出される、
   請求項１に記載のシステム。
3. 前記物体の三次元表現は、少なくとも、前記複数の二次元画像に含まれる物体の画像それぞれと、算出された相対位置それぞれとに基づいて生成される、
   請求項２に記載のシステム。
4. 前記回転装置は、
   前記撮像装置が、異なる方向から前記物体及び前記マーカーを撮影するように、前記撮像装置に対して、前記物体及び前記マーカーを回転させる、
   請求項２又は３に記載のシステム。
5. 前記撮像装置は固定され、前記回転装置は、前記物体及び前記マーカーを回転させる、
   請求項４に記載のシステム。
6. 前記回転装置は、前記物体及び前記マーカーに対して、前記撮像装置を回転させる、
   請求項４に記載のシステム。
7. 前記物体が載置される前記支持部は、透明部材であり、
   前記撮像装置は、前記物体が載置されている前記透明部材の下方から前記透明部材を透過して見える前記物体を撮影することで、前記二次元画像を取得する、請求項１乃至６のいずれかに記載のシステム。
8. 前記マーカーは、前記物体から離れて配置される、
   請求項１乃至７のいずれかに記載のシステム。
9. 前記マーカーは、前記物体上には配置されていない、
   請求項１乃至８のいずれかに記載のシステム。
10. 前記二次元画像内において、前記物体が前記マーカーよりも前記二次元画像の中央位置に近い位置にくるように、前記物体及び前記マーカーが配置される、
    請求項１乃至９のいずれかに記載のシステム。
11. 前記マーカーは、所定の形状を有し、前記撮像装置の相対位置は、前記二次元画像に含まれる前記マーカーの画像内での形状変化に基づいて算出される、
    請求項１乃至１０のいずれかに記載のシステム。
12. 前記撮像装置の相対位置は、少なくとも、前記撮像装置の座標情報または前記撮像装置の姿勢情報のいずれか１つを含む、
    請求項１乃至１１のいずれかに記載のシステム。
13. 前記マーカーは、下方に向けた平面を有し、前記撮像装置は、前記物体及び前記平面を前記物体及び前記平面の下方から撮影することで前記物体及び前記平面を含む前記二次元画像を取得し、前記二次元画像に含まれる前記平面の画像の形状は、前記撮像装置の相対位置の算出に用いられる、
    請求項１乃至１２のいずれかに記載のシステム。
14. 前記マーカーは、前記マーカーの識別情報を示すパターンを有する、
    請求項１乃至１３のいずれかに記載のシステム。
15. 前記撮像装置により取得される前記二次元画像は、カラー画像を含む、
    請求項１乃至１４のいずれかに記載のシステム。
16. 前記撮像装置により取得される前記二次元画像は、深度画像を含む、
    請求項１乃至１５のいずれかに記載のシステム。
17. 前記撮像装置の相対位置を算出するための別のマーカーを更に有し、
    前記撮像装置は、前記物体及び前記マーカー及び前記別のマーカーを、前記物体、前記マーカー及び前記別のマーカーの下方から撮影することで前記物体、前記マーカー及び前記別のマーカーを含む前記二次元画像を取得し、前記撮像装置の相対位置は、少なくとも、前記二次元画像に含まれる前記マーカー及び前記別のマーカーに基づいて算出される、
    請求項１乃至１６のいずれかに記載のシステム。
18. 前記物体を撮影する第２の撮像装置と、
    前記第２の撮像装置の第２の相対位置を算出するための第２のマーカーと、を有し、
    前記第２の撮像装置は、前記物体及び前記第２のマーカーを、前記物体及び前記第２のマーカーの下方から撮影することで前記物体及び前記第２のマーカーを含む第２の二次元画像を取得し、前記第２の撮像装置の前記第２の相対位置は、少なくとも、前記第２の二次元画像に含まれる前記第２のマーカーの画像に基づいて算出され、前記物体の三次元表現は、少なくとも、前記二次元画像に含まれる前記物体の画像、前記算出された相対位置、前記第２の二次元画像に含まれる前記物体の画像、前記算出された第２の相対位置に基づいて生成される、
    請求項１乃至１７のいずれかに記載のシステム。
19. 前記二次元画像に含まれる前記マーカーの画像に基づいて前記相対位置を算出し、少なくとも前記二次元画像に含まれる前記物体の画像と前記算出された相対位置とに基づいて前記物体の三次元表現を生成する、少なくとも１つのプロセッサを更に有する、
    請求項１に記載のシステム。
20. 複数の二次元画像から、三次元表現を生成する方法であって、
    三次元表現が生成される物体が載置される支持部と、前記物体を撮影する撮像装置とを回転装置によって相対的に回転させる処理と、
    前記物体及びマーカーをそれぞれに含む、複数の撮影方向による二次元画像を取得するために、前記撮像装置を用いて、前記物体及び前記マーカーの下方且つ複数の異なる方向から前記物体及び前記マーカーを撮影する処理と、
    少なくとも、前記複数の撮影方向による二次元画像に含まれる前記物体の複数の撮影方向による画像と、算出された前記撮像装置の相対位置であって、少なくとも、前記複数の撮影方向による二次元画像に含まれる前記マーカーのそれぞれの画像に基づいて算出された相対位置とに基づいて生成された前記物体の三次元表現を取得する処理とを有し、
    前記マーカーは、前記物体に対する前記撮像装置の相対位置が算出できるように前記撮像装置によって前記物体とともに撮影される位置に配置される、
    方法。
21. 支持部に載置された物体を、前記支持部と撮像装置とを回転装置によって相対的に回転させて前記撮像装置によって複数の異なる方向から撮影して得られる、複数の二次元画像から、三次元表現を生成する装置であって、
    １または複数のメモリと、
    １または複数のプロセッサと、を有し、
    前記１または複数のプロセッサは、
    前記物体及びマーカーの下方且つ前記複数の異なる方向から前記物体及び前記マーカーを撮影して得られる前記複数の二次元画像を取得し、
    前記複数の二次元画像それぞれについて、前記物体及び前記マーカーが撮影された際の撮像装置の相対位置を、前記複数の二次元画像に含まれるそれぞれの前記マーカーの画像に少なくとも基づいて算出し、
    少なくとも、前記複数の二次元画像に含まれる前記物体のそれぞれの画像と、前記それぞれの相対位置とに基づいて、前記物体の三次元表現を生成し、
    前記物体の三次元表現を提供し、
    前記マーカーは、前記物体に対する前記撮像装置の相対位置が算出できるように前記撮像装置によって前記物体とともに撮影される位置に配置される、
    装置。

Images