JP2017003525A - 三次元計測装置 - Google Patents

Abstract

【課題】撮影画像から被写体の三次元モデルを作成する技術において、背景が処理の阻害要因となる問題を解決する。【解決手段】標定用特徴表示となるカラーターゲット１０４，１０５とランダムドットパターン１０６を備え、回転が可能な回転台１０１と、カラーターゲット１０４，１０５と被写体１０３と背景特徴表示を構成するランダムドットパターン１０６が撮影範囲の全てを占めるようにセッティングされたカメラ１０２とを備える三次元計測装置。【選択図】図１

Description

本発明は、画像を用いた三次元計測の技術に関する。

画像を用いて植物の三次元形状に係るデータを取得する技術が知られている。例えば、特許文献１には、植物を回転させながら複数の視点から植物の写真撮影を行い、得られた複数の撮影画像から被写体（植物）の三次元モデルを得る技術が記載されている。

特開２００４−１９１２４３号公報

画像を用いた三次元計測においては、対象となる被写体以外の背景等がノイズとなる。このような背景において、本発明は、撮影画像から被写体の三次元モデルを作成する技術において、背景が処理の阻害要因となる問題を解決することを目的とする。

請求項１に記載の発明は、ずらして重ねることができないパターンにより構成される特徴表示を備え、回転が可能であり、被写体が置かれる回転台と、前記被写体を撮影するカメラとを備えることを特徴とする三次元計測装置である。

ずらして重ねることができないとパターンというのは、同じパターンのものを２つ用意し、それらを重ねた場合に、特徴表示を一致させる重ね方が一通りしかないパターンのことをいう。この場合、パターンが重なった状態から一方のパターンを相対的にずらしても、２つのパターンを一致させることはできない。

パターンとしては、ドット、図形、文字、その他特徴表示として画像認識可能な模様等が挙げられる。パターンとして色彩の組み合わせを利用することもできる。また、各種のパターンを組み合わせて利用することもできる。

本発明によれば、回転台の第１の回転角度位置で第１の静止画像の撮影を行い、第２の回転角度位置で第２の静止画像の撮影を行い、第３の回転角度位置で第３の静止画像の撮影を行い、・・・といった作業を行うことで、複数の異なる視点から撮影した被写体の静止画像が得られる。ここで、例えば第１の視点から得た第１の静止画像と第２の視点から得た第２の静止画像との対応関係を特定する際、特徴表示同士が一致する位置関係が一通りしかないので、効率よくまた正確に第１の静止画像と第２の静止画像の対応関係を特定することができる。カメラの数は、１台に限定されず２台以上であってもよい。撮影は、回転台を回転させつつ行ってもよいし、回転台の回転を停止した状態で行ってもよい。

請求項２に記載の発明は、請求項１に記載の発明において、前記カメラは、前記回転台が撮影範囲の全てを占めるようにセッティングまたは前記被写体に焦点が合い、前記回転台以外の部分は焦点が合っておらず撮像した画像がぼける設定であることを特徴とする。

撮影視野が回転台で占められるようにすることで、背景がノイズとなる問題を回避できる。また、背景が写る場合であっても背景をぼかすことで、背景からの特徴点の抽出を回避でき、背景がノイズとなる問題を回避できる。

請求項３に記載の発明は、請求項１または２に記載の発明において、前記特徴表示にランダムドットパターンが含まれていることを特徴とする。ランダムドットパターンは、重ね方が一通りしかないので、本発明における「ずらして重ねることができないパターン」を容易に得ることができる。

請求項４に記載の発明は、請求項１〜３のいずれか一項に記載の発明において、前記特徴表示に２点間の距離を与えるスケールが含まれていることを特徴とする。特徴表示の中に２点間の距離を与えるスケールを含ませておくことで、最終的に得られる三次元モデルに実スケールが与えられる。２点間の距離を与えるスケールとしては、個別に識別できるターゲットを２点に配置する方法や距離が既知の直線を表示させる方法等が挙げられる。簡便な方法としては、長さの定まった定規を回転台の上に置いておく方法も可能である。なお、２点間の距離を与えるスケールは複数あることが望ましい。

請求項５に記載の発明は、請求項１〜４のいずれか一項に記載の発明において、前記回転台から上方に向かって逆円錐形状に延在し、前記回転台と一緒に回転すると共に内側に前記特徴表示を備えたカバー部材を備えることを特徴とする。請求項５に記載の発明によれば、カメラの撮影視野内を被写体と特徴表示で埋めることができるので、撮影画像間のマッチングを取る際の障害となる背景画像等のノイズを排除できる。

請求項６に記載の発明は、請求項１〜５のいずれか一項に記載の発明において、前記特徴表示がランダムドットパターンであり、前記被写体の特徴点の分布と前記ランダムドットパターンのドットの分布の違いまたは密度の違いを利用して前記特徴表示と前記被写体の画像とを分離することを特徴とする。

特徴点の三次元モデルの作成に必要なのは、被写体の特徴点であり、画像間のマッチングが終了した段階で特徴表示の役割は終わる。したがって、被写体の三次元モデルを作成する前の段階で被写体を構成する特徴点と特徴表示から抽出された特徴点とを分離する必要がある。請求項５に記載の発明では、特徴表示と被写体の特徴点の分布や密度の違いを利用して、特徴表示の特徴点と被写体の特徴点を分離する。

例えば、被写体として植物を対象とした場合、抽出される特徴点は、茎や葉の輪郭部分に集中する。他方で、特徴表示としてランダムドットパターンを採用した場合、ランダムであるとはいえ、被写体の場合に比較すれば、特徴点の分布の一様性は高い。そこで、特徴点の分布の一様性を数値で評価し、抽出した特徴点が被写体のものであるのか、背景の特徴表示のものであるのか、を設定した閾値によって判定する。具体的には、特徴点の分布の一様性が高い領域を背景特徴表示と判定し、特徴点の分布の一様性が低い領域を被写体と判定する。

請求項７に記載の発明は、請求項１〜６のいずれか一項に記載の発明において、前記カメラが撮影した画像を圧縮処理することで前記特徴表示と前記被写体の画像とを分離することを特徴とする。請求項６に関連して説明したように、被写体の特徴点の分布の一様性に比較して、特徴表示の特徴点の分布の一様性は高い。このことを利用して画像を圧縮した際に点の間隔が狭まり、点の隙間がなくなって真っ黒になるように特徴表示のドッドパターンを設定する。被写体の特徴点は輪郭の部分に集中するので、特徴点が面で密集する頻度は少なく、多くの場合、線状に分布する。したがって、圧縮画像とすることで特徴表示の部分の面を真っ黒にし、その部分を分離することで、被写体の特徴点を選択的に再抽出できる。

本発明によれば、撮影画像から被写体の三次元モデルを作成する技術において、背景が処理の阻害要因となる問題が解決される。

発明を利用した計測システムの斜視図である。 発明を利用した三次元計測装置のブロック図である。 後方交会法の説明図である。 前方交会法の説明図である。 テンプレートマッチングの説明図である。 処理の手順の一例を示すフローチャートである。 発明を利用した計測システムの斜視図である。 発明を利用した計測システムの斜視図である。 回転台上に置かれた被写体の一例を写した図面代用写真である。 回転台上に置かれた被写体の一例を写した図面代用写真である。 回転台上に置かれた被写体の一例を写した図面代用写真である。

１．第１の実施形態
（概要）
図１には、三次元計測装置１００が示されている。三次元計測装置１００は、モータ等の駆動手段により回転する回転台１０１を備えている。回転台１０１は平坦な上面を備え、その上面には、カラーターゲット１０４，１０５により構成される標定用特徴表示とランダムドットパターンにより構成される背景特徴表示１０６が設けられている。また、回転台１０１の中央には、三次元モデルの作成対象となる被写体１０３が置かれている。この例では、被写体として植物が選択されている。

ランダムドットパターンは、ドットが規則性なくランダムに分布しているドットパターンである。ランダムドットパターンに関する技術は、例えば、特開平１１−３９５０５号公報、特開平１０−９７６４１号公報、電子情報通信学会研究報告.ＣＯＭＰ，コンビュテーション112(24),51-58,2012-05-07等に記載されている。

被写体１０３は、カメラ１０２によって撮影される、カメラ１０２は、その画角（撮影視野）が回転台１０１の上面で占められるようにセッティングされている。すなわち、カメラ１０２が撮影する画像がカラーターゲット１０４，１０５、背景特徴表示１０６および被写体１０３で占められるようにシステムのセッティングが行なわれている。

標定用特徴表示を構成するカラーターゲット１０４，１０５は、それぞれ複数のカラーマーカ１０４ａ，１０５ａを備えている。複数のカラーマーカ１０４ａ，１０５ａは、更に細かいカラーコード表示（図示省略）により構成されている。カラーマーカ１０４ａ，１０５ａの位置は予め厳密に決められており、カラーコードとカラーマーカの位置の対応関係は予め取得されている。カラーマーカのカラーコード表示を画像として認識し、カラーコードを読み取ることで、各カラーコードの位置を読み取ることができる。カラーコードに関する技術は、例えば、日本国特許第４８２８１２５号公報に記載されている。

カラーターゲット１０４と１０５の間の距離、および複数あるカラーマーカ１０４ａ，１０５ａ間の距離は予め決められており、カラーマーカの位置を特定することで実スケールが与えられるように設定されている。

回転台１０１を回転させながらカメラ１０２により連続的に複数毎の画像撮影を行う。この場合、相対的には、回転台１０１を静止させ、カメラ１０２を回転台１０１の周りで移動させながら撮影を行う場合と同様の効果が得られ、視点を変更した複数枚の静止画像が得られる。撮影に当たっては、被写体１０３の写っていない部分が生じないように回転台１０１の回転速度とカメラ１０２の撮影間隔を調整する。

図２には、実施形態の演算装置２００のブロック図が示されている。演算装置２００は、カメラ１０２が撮影した静止画像を処理し、被写体１０３の三次元モデルのデータを作成する。三次元計測装置２００は、コンピュータとしての機能を有し、ＣＰＵ、固体電子メモリ、ハードディスク記憶装置、各種のインターフェース、その他必要に応じた演算素子を備えている。図２には、機能として捉えた各種の機能部が記載されている。図示された各種の機能部の一部または複数は、ソフトウェア的に構成されていてもよいし、専用のハードウェアで構成されていてもよい。例えば、三次元計測装置２００は、汎用のコンピュータを用いて図示する機能部の機能をソフトウェア的に実現することで得ることができる。

三次元計測装置２００は、データ記憶部２０１、特徴点抽出部２０２、画像分類部２０４、特定画像抽出部２０５、外部標定要素算出部２０６、対応点特定部２０７、特徴点の三次元位置算出部２０８、三次元モデル作成部２０９、標定用特徴表示検出部２１０を備えている。データ記憶部２０１は、三次元計測装置２００に外部から入力されるデータ、演算の途中で得られるデータ、演算結果のデータ、三次元計測装置２００の動作に必要な動作プログラムを記憶する。なお、データ記憶部２０１に記憶されるデータは一時的に記憶されるデータであってもよい。

特徴点抽出部２０２は、カメラ１０２が撮影した画像の中から特徴点を抽出する。特徴点は、周囲から区別できる点であり、例えば、エッジ部分や周囲と色彩が異なっている部分が特徴点として抽出される。特徴点の抽出は、ソフトウェア処理により行われる。特徴点の抽出には、ソーベル、ラプラシアン、プリューウィット、ロバーツなどの微分フィルタが用いられる。

画像分類部２０４は、特徴点の位置や分布の状態を利用して画像の分離を行う。まず、特徴点の位置の違いに基づき背景特徴表示１０６を他の画像から分離する方法について説明する。図１に示すように、背景特徴表示１０６は、平面であり、被写体１０３とは高さ方向における位置が異なっている。この位置の違いを利用して背景特徴表示から抽出された特徴点を被写体１０３から抽出された特徴点から分離する。

例えば、特徴点の位置に着目し、その高さ位置に閾値を設定する。そして、高さが閾値以下である場合に当該特徴点が被写体１０３を構成する特徴点でなく、他の部分（例えば、背景特徴表示１０６）を構成する特徴点であると判定する。また、例えば、カメラ１０２からの距離に閾値を設定し、カメラ１０２からの距離が閾値以上である場合に当該特徴点が被写体を構成する特徴点でなく、他の部分（例えば、背景特徴表示１０６）を構成する特徴点であると判定する。

次に、特徴点の密度を利用して背景特徴表示を他の画像から分離する方法を説明する。この方法の一つでは、画像全体を圧縮する。画像全体を圧縮すると、ランダムドットパターンのドット間隔がつまり、ある段階で背景画像が真っ黒になる。この現象を利用してランダムドットパターンにより構成される背景画像を分離する。

ランダムドットパターンにより構成される背景画像を分離する他の方法として、特徴点の分布の偏りと密度を利用してランダムドットパターンの領域を選択的に検出する方法がある。この方法では、着目した領域を格子区画に区切り、各格子区画の特徴点の数の偏差を標準偏差によって評価することで特徴点の分布の偏りを判定する。他方で、着目した領域の特徴点の密度を検出する。そして、上記の標準偏差の値が閾値以下であり、且つ、特徴点の密度が閾値以上である場合に、当該着目した領域をランダムドットパターンにより構成される背景特徴表示（背景画像）であると判定する。

他の方法として以下の方法もある。ランダムドットパターンは、着目する領域の場所を変化させた場合におけるドットの密度の変化が相対的に小さいという性質がある。植物等の実際の物を対象とした場合、輪郭部分等に特徴点が集中するので、着目する領域の場所を数カ所に渡り変えてゆくと、あるタイミングで特徴点の密度が大きく変化する。この性質を利用して、ランダムドットパターンにより構成される背景画像を他の画像から分離する。

更に他の方法として以下の方法もある。ランダムドットパターンは、不規則にドットが分布しているので、特定の形状を構成しない。他方で、図１の被写体１０３やカラーターゲット１０４，１０５は、形状を特定する輪郭線を有するので、特徴点が線状に分布した部分が存在する。このことを利用し、直線や曲線といった特定の形状が検出されず、且つ、特徴点の密度が閾値以上である領域をランダムドットパターンにより構成させる背景画像であると判定する。

標定用特徴表示抽出部２１０は、カラーターゲット１０４，１０５を検出する。カラーターゲット１０４，１０５の画像は、予め取得されており、それをリファレンスとして撮影画像中からカラーターゲット１０４，１０５の抽出が行なわれる。

外部標定要素算出部２０６は、画像中の標定用特徴表示を利用して、図１のカメラ１０２の外部標定要素（位置と姿勢）を後方交会法により算出する。図３には、後方交会法の原理が示されている。後方交会法とは、未知点から３つ以上の既知点へ向かう方向を観測して、それらの方向線の交点として未知点の位置を定める方法である。後方交会法としては、単写真標定、ＤＬＴ法（Ｄｉｒｅｃｔ Ｌｉｎｅｒ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ Ｍｅｔｈｏｄ）が挙げられる。交会法については、基礎測量学（電気書院：2010/4発行）182p,p184に記載されている。また、特開2013―186816号公報には交会法に関して具体的な計算方法の例が示されている。

以下、後方交会法を用いて外部標定要素を求める方法について説明する。まず、撮影画像において、複数の標定用特徴表示が特定され、その位置を基準点として取得する。例えば、標定用特徴表示として図１に示すカラーターゲット１０４，１０５が採用されている場合を説明する。この場合、カラーマーカ１０４ａ，１０５ａのカラーコード表示を画像として認識することで、各カラーマーカの位置を読み取ることができる。

以下、具体的な計算の一例を説明する。この場合、例えば図３のＰ１〜Ｐ３がカラーマーカにより特定された基準点（外部標定要素算出用の基準点）となる。また、ｐ_１〜ｐ_３が基準点Ｐ１〜Ｐ３の着目している画像中における画面座標値となる。ここで、Ｐ１とｐ_１、Ｐ２とｐ_２、Ｐ３とｐ_３を結ぶ３つの方向線を設定すると、その交点Ｏが当該画像を撮影したカメラ１０２の位置となる。また、点Ｏと画面の中心を結ぶ方向線の延長方向がカメラの向き（姿勢）となる。

カメラの外部標定要素を基準点でない特徴点（例えば、ランダムドットパターンから抽出したその絶対位置が特定されていない特徴点）から算出することもできる。この場合、外部標定要素は、撮影画像中の特徴点に対する相対的な位置と姿勢となる。この場合のカメラの外部標定要素の算出は、上述した後方交会法を用いて行う。この場合、点Ｐ１〜Ｐ３と交点Ｏとの相対的な位置関係が求まり、点Ｐ１〜Ｐ３に対する点Ｏにあるカメラの相対的な位置と向き（姿勢）が求まる。なおこの場合、利用する特徴点（上記の場合は、点Ｐ１〜Ｐ３の３点）の数をできるだけ多くすることで、算出されるカメラの外部標定要素の値の精度を確保する。なお、撮影に先立ちオリエンテーションを行い、カメラの外部標定用要素を求めておく処理を行ってもよい。この場合、基準点は必要とされない。なお、標定要素には、外部標定要素と内部標定要素があり、これら標定要素を求める処理をキャリブレーションというが、特に外部標定要素を求める処理をここではオリエンテーションと呼ぶ。

対応点特定部２０７は、異なる視点から撮影した２枚の画像中でそれぞれ個別に抽出された特徴点の対応関係を特定する。すなわち、一方の画像中で抽出された特徴点と同じ特徴点を他方の画像中で特定する処理を行う。この特徴点の対応関係を特定する処理は、例えば、図５に示すテンプレートマッチングを用いて行われる。

テンプレートマッチングとしては、残差逐次検定法（ＳＳＤＡ：Ｓｅｑｕｅｎｔｉａｌ Ｓｉｍｉｌａｒｉｔｙ Ｄｅｔｅｃｔｉｏｎ Ａｌｇｏｒｉｔｈｍ）、相互相関係数法などが挙げられる。以下、テンプレートマッチングの一例を説明する。テンプレートマッチングは、２つの座標系における画像の座標データを相互に比較し、両者の相関関係により、２つの画像の対応関係を求める方法である。テンプレートマッチングでは、２つの視点それぞれから見た画像の特徴点の対応関係が求められる。図５は、テンプレートマッチングの原理を説明する説明図である。この方法では、図示するように、Ｎ_１×Ｎ_１画素のテンプレート画像を、それよりも大きいＭ_１×Ｍ_１画素の入力画像内の探索範囲（Ｍ_１−Ｎ_１＋１）^２上で動かし、下記数１で示される相互相関関数Ｃ（ａ，ｂ）が最大となるような（つまり相関の程度が最大となるような）テンプレート画像の左上位置を求める。

上記の処理は、一方の画像の倍率を変えながら、また回転させながら行われる。そして、相関関係が最大となった条件で、両画像の一致する領域が求まり、更にこの領域における特徴点を抽出することで、対応点の検出が行われる。

テンプレートマッチングを用いることで、比較する２つの画像の一致する部分が特定でき、２つの画像の対応関係を知ることができる。この方法では、２つ画像の相関関係が最大となるように両者の相対的な位置関係が定められる。２つの画像の相関関係は、両画像の特徴点によって決まる。２つの画像間の対応関係を求める技術については、例えば特開２０１３−１７８６５６号公報や特開２０１４−３５７０２号公報に記載されている技術を利用することができる。なお、特開２０１３−１７８６５６号公報や特開２０１４−３５７０２号公報には、特徴点の抽出に係る技術、特徴点の三次元位置を求める技術についても記載されており、これらの技術は、本願明細書中で説明する技術に利用できる。

特徴点の三次元位置算出部２０８は、特徴点抽出部２０２が画像中から抽出した特徴点の三次元位置の算出を前方交会法により算出する。対象物を構成する多数の特徴点の三次元位置を算出することで、当該対象物を点の集合として把握可能なデータとなる三次元点群位置データが得られる。更には、この三次元点群位置データに基づき三次元モデルを作成することができる。

図４には、前方交会法の原理が示されている。前方交会法では、既知の複数点（図４の場合は、Ｏ_１とＯ_２の２点）から未知点Ｐへ向かう方向を観測して、それらの方向線の交点として未知点Ｐの位置を求める。

以下、一例を挙げて三次元位置算出部２０８における処理の一例を説明する。まず、回転台１０１を回転させつつ第１の視点で撮影した第１の画像と第２の視点で撮影した第２の画像があるとする。ここで、第１の画像は、第１の視点からの撮影画像となり、第２の画像は、第１の視点と異なる第２の視点からの撮影画像となる。

ここで、Ｐが第１の画像と第２の画像において共通に写っている特徴点（両画像で対応する特徴点）、Ｏ_１が第１の画像の視点（撮影位置）、Ｏ_２が第２の画像の視点（撮影位置）、ｐ_１が特徴点Ｐの第１の画像中における画面座標、ｐ_２が特徴点Ｐの第２の画像中における画面座標となる。この場合、Ｏ_１とｐ_１を結ぶ方向線を設定し、他方でＯ_２とｐ_２を結ぶ方向線を設定し、この２つの方向線の交点の座標を算出することで、特徴点Ｐの三次元座標を算出することができる。

三次元モデル作成部２０９は、多数の撮影画像を解析することで得られた三次元点群位置データに基づいて三次元モデルを作成する。例えば、得られた多数の特徴点の座標からなる三次元点群位置データを用いてtin（不整三角形網）を作成し、撮影対象物の三次元モデルの作成が行われる。この際、複数のターゲットにより三次元モデルの実寸法が与えられる。点群位置データに基づいて三次元モデルを作成する技術に関しては、例えば、特開２０１２−２３０５９４号公報に記載されている。

（処理の一例）
以下に処理の手順の一例を説明する。処理の手順を決めるプログラムは、データ記憶部２０２に記憶され、適当な記憶領域に読み出されて実行される。なお、当該プログラムを適当な記憶媒体に記憶させ、そこから提供する形態も可能である。図６には、処理の手順の一例を示すフローチャートが示されている。

まず、回転台１０１を回転させつつカメラ１０２により連続して撮影を行い、異なる複数の視点からの被写体１０３の撮影を行う。得られた複数毎の画像に係る画像データは、データ記憶部２０１に記憶される（ステップＳ１０１）。次に、各画像において、カラーターゲット１０４，１０５の抽出が行なわれる（ステップＳ１０２）。この処理により予め位置が既知である基準位置が検出される。この処理は、標定用特徴表示抽出部２１０において行われる。

次に、各画像において、ステップＳ１０２で得た標定用画像を用いてカメラ１０２の外部標定要素の算出を行う（ステップＳ１０３）。この処理は、外部標定要素算出部２０６において行われる。この処理により、各画像におけるカメラの外部標定要素（位置と向き）が算出される。

次に、取得した複数の画像のそれぞれから特徴点の抽出を行う（ステップＳ１０４）。この処理は、特徴点抽出部２０２において行われる。特徴点を抽出したら、複数の画像間における特徴点の対応関係の特定を行う（ステップＳ１０５）。この処理は、対応点特定部２０７において行われる。例えば、この処理では、隣接する視点から得た２枚の画像の間における特徴点の対応関係の特定が行なわれる。この処理を対象となる全ての静止画像に対して行うことで、各静止画像間における特徴点の対応関係の特定が行なわれる。

次に、ステップＳ１０５で抽出した特徴点の三次元位置の算出を行う（ステップＳ１０６）。この処理は、特徴点の三次元位置算出部（２０８）において行われる。この処理では、図４に示す原理による対応点の三次元座標の算出が行なわれる。

例えば、図４のО_１を第１の視点、О_２を第２の視点とし、Ｐが２つの静止画像間で対応する特徴点であるとする。この場合、ｐ_１が第１の写真画面上における画面座標値となり、ｐ_２が第２の写真画面上における画面座標値となる。ここで、О_１の位置とその位置におけるカメラの姿勢、О_２の位置とその位置におけるカメラの姿勢は、ステップＳ１０３の処理によって求められている。したがって、О_１とｐ_１を結ぶ方向線、О_２とｐ_２を結ぶ方向線を設定し、その交点の座標を求めることで、特徴点Ｐの位置（三次元座標位置）が求められる。

ステップＳ１０６で特徴点の位置を求めたら、特徴点の位置に基づく分類を行う（ステップＳ１０７）。この処理は、画像分類部２０４において行われる。この処理では、特徴点の位置の違いを利用して被写体１０３の特徴点とそれ以外の特徴点の分離を行う。この処理では、例えば、カメラからの距離の違いを利用して、被写体１０３の特徴点とそれ以外の特徴点の分離を行う。

次に、特徴量による分類を行う（ステップＳ１０８）。この処理は、画像分類部２０４において行われる。この処理では、特徴点検出部２０２が検出した特徴点の単位面積当たりの数がカウントされ、特徴点の密度の分布状態の情報を得る。そして、特徴点の分布状態に基づき背景画像を分離する。この処理では、特徴点の分布の不均一性が閾値以下であり、且つ、特徴点の密度が閾値以上である領域を背景特徴表示１０６（背景画像）とする処理を行う。この処理により、対象となる静止画像中から背景特徴表示１０６が分離される。また、この段階で、ステップＳ１０２で検出した標定用特徴表示であるカラーターゲット１０４，１０５の画像も被写体１０３の画像から分離する。

次に、各画像において、三次元モデル作成の対象となる画像の抽出（被写体１０３の画像の抽出）を行う（ステップＳ１０９）。この処理は、特定画像抽出部２０５において行われる。この処理では、既に分離されている背景特徴表示１０６と標定用特徴表示であるカラーターゲット１０４，１０５の画像が取り除かれ、被写体１０３の画像が抽出される。

被写体１０３の画像を抽出したら、ステップＳ１０４の処理で既に取得している被写体１０３に係る特徴点の三次元位置の情報に基づき、被写体１０３の三次元モデルの作成を行う（ステップＳ１１０）。この処理は、三次元モデル作成部２０９において行われる。

（優位性）
図１のシステムでは、対象となる被撮影物の画像、標定用の画像、他の画像から分離し易い背景用の画像でカメラの撮影範囲が埋め尽くされるようにしている。こうすることで、三次元モデルの作成時に、ノイズとなる画像に起因する演算の増大や演算ミスが抑えられる。特に、背景画像を分離し易い画像とすることで、背景画像の処理に係る演算時間の増大や演算ミスを抑えることができる。

また、背景画像として採用したランダムドットパターンは、異なる視点から撮影した静止画像間の対応関係を取り易いので、ステップＳ１０５の処理が効率良く行える。また、上記の例では、特徴点の位置の情報を利用したステップＳ１０７における画像の分類と、特徴量の違いを利用したステップＳ１０８における画像の分類とを行い、２段階に渡り被写体１０３以外のノイズとなる画像を分離する処理を行っている。このため、より効果的に被写体１０３以外のノイズとなる画像を分離した上での被写体１０３の三次元モデルの作成が行なえる。

２．第２の実施形態
図７には、図１に示す回転台１０１に内側にランダムドットパターン１０６’を設けた逆円錐形のカバー部材１０７を取り付けた構造が示されている。この例では、カメラ１０２の画角（撮影範囲）を更に広く設定することができる。図７の構成において、カバー部材１０７の内側に標定用特徴表示を設けてもよい。

３．第３の実施形態
図８には、図１の構成において、回転台１０１の上面にランダムドットパターンで構成される背景特徴表示１０６のみを配置している。この場合、背景特徴表示１０６を用いてカメラ１０２の外部標定要素を算出し、更に複数の撮影位置（視点）から撮影された静止画像に基づいて得られる被写体１０３の三次元モデルを得る。ここでは、撮影した画像内にスケールを与える表示がないので、得られる三次元モデルは、実スケールが与えられていない相対モデルとなる。また、カメラ１０２の外部標定要素は多数の特徴点に対する相対的な位置と向きとなる。なお、カメラ１０２の外部標定要素の算出においては、なるべく多くの特徴点を利用することでその算出精度を確保する。また、予めオリエンテーションを行いカメラ１０２の外部標定要素を求めておいてもよい。

得られた三次元モデルが相対モデルであっても、既知のスケールを写した静止画像を用いることで、当該三次元モデルにスケールを与えることができる。実スケールは、２点間の距離を与える表示を回転台１０１の上面に付与しておく、あるいは回転台１０１の上面にスケール（例えば定規）を置いておく、といった方法で与えることもできる。

４．第４の実施形態
図９には、回転台上面の中心に被写体となるイチゴを配置した例が示されている。図９には、回転台の上面にランダムドットパターン、特定のドットの位置を指定する数字の位置表示、周縁に配置されたカラーターゲットが配置（表示）された例が示されている。

図９の例では、数字の位置表示やカラーターゲットを読み取り、それを利用してカメラの外部標定要素の算出や実スケールが与えられた三次元モデルの作成を行うことができる。

また、図９に示されるランダムドットパターン、特定のドットの位置を指定する数字の位置表示、周縁に配置されたカラーターゲットの一または複数を単なる模様として捉え、それを本発明におけるずらして重ねることができないパターンにより構成される特徴表示として用いることもできる。ランダムドットパターン、特定のドットの位置を指定する数字の位置表示、周縁に配置されたカラーターゲットの全てを単なる特徴表示とし用いた場合、実スケールは与えられない。この場合、得られた三次元モデルに後から実スケールを与えればよい。

５．第５の実施形態
可変焦点カメラを用いて撮影した静止画像を用いて、被写体１０３の画像を抽出する方法もある。この場合、一つの視点から焦点を変えて被写体１０３を撮影し、複数毎の静止画像を得る。そして焦点の違いを利用して背景画像がぼけ、被写体１０３に焦点の合った画像を利用して、背景画像の分離を行う。以下、背景をぼかすことで背景を分離する技術の一例を説明する。

図１０には、被写体であるイチゴに焦点を合わせ、背景をぼかした設定とした場合の画像が示されている。この場合、背景はぼけているので特徴点の抽出が行なわれず、マッチングの対象とならない。このため、複数の異なる視点から得た静止画像間の対応関係を求める処理（マッチング処理）において、背景の画像はノイズとならない。

図１０の場合、被写体であるイチゴの後ろ側の回転台上の特徴表示がぼけているが、マッチングには、焦点が合っている部分の特徴表示が利用される。したがって、複数の静止画像間の対応関係を特定する処理（マッチング処理）において問題は生じない。なお、図１０には、スケールを与えるための定規が回転台の上に置かれた状態が示されている。

６．第６の実施形態
図１１には、背景を黒くし、且つ、被写体であるイチゴに焦点を合わせ、背景をぼかした設定とした場合の画像が示されている。この場合、背景が暗く（暗色で）、且つ、焦点が合っていないので、背景からは特徴点の抽出は行なわれない。このため、背景がマッチングの対象とならず、背景の画像がノイズとなる問題を回避できる。

４．その他
背景を特定の形状の表示が繰り返し配列されたものとする方法もある。例えば、画像認識し易い多角形（三角形等）の表示を繰り返し表示したもので背景画像を構成する方法が挙げられる。この場合、特定の形状が繰り返される領域を背景画像として分離する。

また、背景画像を他の領域と識別できる特定の色として、色の違いにより背景画像を分離する方法もある。また、背景画像を特定の色彩パターンが繰り返される画像とすることで、他の画像と分離し易くする方法もある。また、ランダムドットパターンの代わりにランダムエッジパターン用いることもできる。ランダムエッジパターンは圧縮画像上で消去できるので、この現象を利用して背景画像の分離が可能となる。

また、ハイパースペクトルカメラで撮影した場合に背景画像が際立つように背景画像を特定の波長を反射する形態とする方法が挙げられる。例えば、図１の背景特徴表示１０６の部分を被写体１０３およびカラーターゲット１０４および１０５には含まれない元素や材質を用いてコーティングする。この場合、当該背景特徴表示の部分からの反射光が他の部分とは異なるスペクトル分布の光となるので、ハイパースペクトルカメラによる画像中で当該背景特徴表示の部分を分離することができる。また、図１の背景特徴表示１０６の部分を蛍光塗料で塗装し、画像中で識別し易くする方法もある。

図１の例では、カメラ１０２により撮影した画像が、被写体１０３、カラーターゲット１０４，１０５、更に背景特徴表示１０６によって埋め尽くされることで、ノイズの発生を抑える構成が示されている。ここで、背景特徴表示１０６の部分をカラーターゲットで埋め尽くしてもよい。

以上の説明では、植物を被写体とする場合の例を示したが、被写体は植物に限定されない。なお、本明明細書中で説明した複数の実施形態を組み合わせて利用することも可能である。

１００…三次元計測システム、１０１…回転台、１０２…カメラ、１０３…被写体、１０４…カラーターゲット、１０４ａ…カラーマーカ、１０５…カラーターゲット、１０５ａ…カラーマーカ、１０６…背景特徴表示、１０７…背景特徴表示が設けられたカバー部材。

Claims (7)

1. ずらして重ねることができないパターンにより構成される特徴表示を備え、回転が可能であり、被写体が置かれる回転台と、
   前記被写体を撮影するカメラと
   を備えることを特徴とする三次元計測装置。
2. 前記カメラは、前記回転台が撮影範囲の全てを占めるようにセッティングまたは前記被写体に焦点が合い、前記回転台以外の部分は焦点が合っておらず撮像した画像がぼける設定であることを特徴とする請求項１に記載の三次元計測装置。
3. 前記特徴表示にランダムドットパターンが含まれていることを特徴とする請求項１または２に記載の三次元計測装置。
4. 前記特徴表示に２点間の距離を与えるスケールが含まれていることを特徴とする請求項１〜３のいずれか一項に記載の三次元計測装置。
5. 前記回転台から上方に向かって逆円錐形状に延在し、前記回転台と一緒に回転すると共に内側に前記特徴表示を備えたカバー部材を備えることを特徴とする請求項１〜４のいずれか一項に記載の三次元計測装置。
6. 前記特徴表示がランダムドットパターンであり、
   前記被写体の特徴点の分布と前記ランダムドットパターンのドットの分布の違いまたは密度の違いを利用して前記特徴表示と前記被写体の画像とを分離することを特徴とする請求項１〜５のいずれか一項に記載の三次元計測装置。
7. 前記カメラが撮影した画像を圧縮処理することで前記特徴表示と前記被写体の画像とを分離することを特徴とする請求項１〜６のいずれか一項に記載の三次元計測装置。
   

Images