JP2020527270A - オブジェクト姿勢を決定するための電子デバイス、システムおよび方法 - Google Patents

Abstract

【課題】オブジェクト姿勢を決定する電子デバイス。
【解決手段】電子デバイスは、光学センサ（３）の、シーン内のオブジェクト（Ｏ）を表す３Ｄ画像データを受信し、３Ｄ画像データに基づいて、光学センサの位置に対するオブジェクト姿勢を推定し、推定されたオブジェクト姿勢に基づいて、所定の３Ｄオブジェクトモデルの所定のビュー位置のセットから最も近いものを識別し、識別された最も近いビュー位置に基づいて、シーン内のオブジェクト姿勢を決定するように構成されている。本発明はさらに、システムおよび方法に関する。
【選択図】図４

Description

本開示は、オブジェクト姿勢を決定する、特に、シーン内の非静止オブジェクト姿勢を認識するための電子デバイス、システムおよび方法に関する。ここで、オブジェクト姿勢は事前定義されていない。

多くの分野で、自動化はますます重要になっており、それは、ロボット工学の必要性が高まっていることも意味する。一方、ロボットシステムは産業分野で一般的になっているが、それらの、例えば、日常生活の中で個々のユーザーにサービスを提供するための使用は、家庭内の環境ではまだかなり一般的ではない。しかしながら、また、この分野では、ロボットシステムに対する高い需要がある。例えば、ロボットシステムは、高齢者が特定のオブジェクト、例えば、鉛筆を見つけて、手にするのに役立つ。

家庭内でのロボットシステムの使用に関する１つの問題は、産業用アプリケーションとは対照的に、多くのタスクは標準化できない、つまり、事前定義し、厳密に制御することができないことである。したがって、ロボットシステムは、個々に異なるタスクを実行できる必要がある。さらに、家庭内の動作条件、例えば点灯、オブジェクトの配置などはより困難である。他の領域でも、ロボットシステムが使用されている場合、関心のあるオブジェクト姿勢が、不明、つまり、強制的に事前定義されていない場合がある。

ロボットシステムの重要な側面は、したがって、特定のオブジェクトを見つけて認識する機能である。任意の場所および任意の方向に配置できる。この目的のために、ロボットシステムは光学センサを備えてもよく、移動可能であってもよい。例えば、駆動可能な車輪を有することができる。

さらなる課題は、オブジェクト、例えば、検知されたシーンで認識されたオブジェクト姿勢を決定することである。正確な姿勢（特に６Ｄ姿勢）を決定することは、オブジェクトを拾い上げる場合、またはロボットシステムによって操作する場合、有利であることができる。

反復最近傍点（ＩＣＰ）アルゴリズムは、点群や法線など、つまり、３Ｄ ＲＧＢデータの２つの形状を一致させるためのアルゴリズムの一例である。このタイプのデータは、ロボット工学アプリケーションで一般的に使用され、オブジェクト認識中の姿勢調整に使用される主要なコンポーネントアルゴリズムを構成する。

既知のオブジェクト認識においては、ＩＣＰアルゴリズムを使用して、ロボットの３Ｄ（ＲＧＢ−Ｄ）センサから来る点群をターゲットオブジェクトの既知のモデルの点群と一致させる。アルゴリズムの出力は、観測されたデータに最適にフィットするモデルの変換である。これは、モデルベースのＩＣＰと呼ばれる。したがって、このようなオブジェクト検出シナリオでは、１つの点群がモデル仮説から得られ、センサからのクラウドデータをポイントするように調整する必要がある。以下では、これを「シーン」と呼ぶ。

しかしながら、そのような従来のアプローチは、発信元ポイントクラウドと宛先ポイントクラウドのポイント間の対応の発見において計算コストがかかる。最も近い一致を見つけるには、すべてのポイントペア間の距離を計算する必要があるためである。特に、リアルタイムシナリオでの使用は難しい場合がある。レンダリング手順の実行にはコストがかかるため、望ましくない遅延が発生する可能性があるためである。

ポイントツープレーンアプローチを使用したオブジェクト認識ＩＣＰ技術が知られている。例えば、ヤン・チェン、ジェラルド・メディオーニ、「複数の距離画像の登録によるオブジェクトモデリング（Ｏｂｊｅｃｔ Ｍｏｄｅｌｉｎｇ ｂｙ Ｒｅｇｉｓｔｒａｔｉｏｎ ｏｆ Ｍｕｌｔｉｐｌｅ Ｒａｎｇｅ Ｉｍａｇｅｓ）」Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｉｍａｇｅ ａｎｄ Ｖｉｓｉｏｎ Ｃｏｍｐｕｔｉｎｇ，１０（３），ｐｐ．１４５−１５５，１９９２．を参照。

この比較方法を加速するために、ＫＤツリー（ｋ次元ツリー）アルゴリズムを使用することが知られている。しかしながら、ＫＤツリー自体を使用するには、前述のツリーを構築する必要があり、また、メモリと時間の面でも計算コストがかかる。この例は、Ｋ． Ｔａｔｅｎｏ， Ｄ． Ｋｏｔａｋｅ， ａｎｄ Ｓ． Ｕｃｈｉｙａｍａ．「オンラインテクスチャ更新によるモデルベースの３Ｄオブジェクトトラッキング（Ｍｏｄｅｌ−ｂａｓｅｄ ３Ｄ Ｏｂｊｅｃｔ Ｔｒａｃｋｉｎｇ ｗｉｔｈ Ｏｎｌｉｎｅ Ｔｅｘｔｕｒｅ Ｕｐｄａｔｅ）」、ＭＶＡ，２００９である。

ＵＳ２０１２１１４２５１（Ａ１）は、統計形状モデルを使用して３Ｄオブジェクトの２Ｄ表現から３Ｄ形状を回復し、復元された３Ｄ形状をオブジェクトクラスの少なくとも１つのオブジェクトの既知の３Ｄから２Ｄへの表現と比較する、特定のオブジェクトクラスの３Ｄオブジェクトのオブジェクト認識のためのシステムを開示する。

現在、特に、オブジェクト姿勢認識中に、例えば、リアルタイムのシナリオで計算の労力を削減する必要があるオブジェクト姿勢を決定する電子デバイス、システムおよび方法を提供することが依然として望ましい。

したがって、本開示の実施形態によれば、オブジェクト姿勢を決定するための電子デバイスが提供される。電子デバイスは、
− 光学センサの３Ｄ画像データを受信し、
− ３Ｄ画像データに基づいて、光学センサの位置に対するオブジェクト姿勢を推定し、
− 推定されたオブジェクト姿勢に基づいて、所定の３Ｄオブジェクトモデルの所定のビュー位置のセットから最も近いものを識別し、
− 識別された最も近いビュー位置に基づいて、シーン内のオブジェクト姿勢を決定する
ように構成されている。

そのような電子デバイスを提供することにより、２つの形状、点群や法線など、つまり、３Ｄ ＲＧＢデータのマッチングのアルゴリズムのより高速な実装が、供給される。このタイプのデータは、ロボット工学アプリケーションで一般的に使用され、オブジェクト認識中に、姿勢の調整に使用されるアルゴリズムの重要なコンポーネントを構成する。

言い換えると、本開示によれば、モデルの所定のビュー（したがって、事前に決定されたビュー）位置を取得するために、モデルが、望ましくは事前にレンダリングされる。その結果、姿勢認識では、さらに時間のかかるレンダリングの必要なしに、このデータは姿勢調整に使用することが望ましい。これにより、この方法はリアルタイムシナリオに対して、特に興味深いものになる。コストのかかるレンダリング手順を削減したり、オブジェクト姿勢認識中に回避したりすることもできるためである。

したがって、本開示により提案される概念およびアルゴリズムは、従来のＫＤツリー手法の代わりにＩＣＰで使用できる。特に、本開示の概念およびアルゴリズムは、検知されたオブジェクトの点群とオブジェクトモデルとの間の対応関係の取得に使用できる。

光学センサは、オブジェクトが存在するシーンを感知することが望ましい。

光学センサの位置に対するオブジェクト姿勢を推定することにより、オブジェクト姿勢（つまり、オブジェクト空間内）に対する対応する光学センサの位置を、同時に推定することが望ましい。

所定の３Ｄオブジェクトモデルの所定のビュー位置のセットから最も近いものの識別は、推定されたオブジェクト姿勢に基づいている。さらに、３Ｄ画像データに基づいて、異なるビュー位置から見たとき、オブジェクト（Ｏ）および／またはオブジェクトモデルの事前レンダリング画像データを表すことができる。特に、オブジェクトを表す３Ｄ画像データ（Ｏ）を、オブジェクトモデルの画像データと比較することができる（ビューごとに１つのデータセット、各データセットとの比較）。推定されたオブジェクト姿勢は、決定する姿勢を見つけるためのガイドとして、および／または開始点として識別プロセスで使用できる。所定の視点位置は、そこからオブジェクトが見える所定の視点であることが望ましい。所定のビュー位置は、オブジェクトの１つまたは複数の軌道上、またはオブジェクトの球上で、互いに等距離に分布していることができる。例えば、数百（例えば、３００以上）のビュー位置があり得る。

光学センサ（３）の３Ｄ画像データは、点群を含むことができ、および／または、３Ｄオブジェクトモデルは点群を含むことができる。

したがって、最も近いビューを識別するため、および／またはオブジェクト姿勢を決定するために、これらの点群は互いに比較される、または、３Ｄ画像データのレンダリングされた点群のデータセットは、モデルのポイントクラウドの事前レンダリングビューのデータセットと比較できる。

オブジェクト姿勢の推定は、シーン内の姿勢を推定することにより、オブジェクト姿勢仮説を決定し、姿勢仮説に基づいて、光学センサの位置に対するオブジェクト姿勢を推定することを含むことができる。

オブジェクト姿勢の推定または３Ｄ画像データの受信は、受信した３Ｄ画像データに基づいてシーン内のオブジェクトを認識することを含むことができる。

したがって、オブジェクト認識はプロセスの最初に実行され、例えば３Ｄ画像が受信されたとき、または、最も近いビューの識別の実行中（または実行前）に実行される。または、デバイスは３Ｄ画像データを受信できる。ここで、これらのデータには、認識されたオブジェクトに関する情報がすでに含まれている。

事前定義されたビュー位置のセットから最も近いものを識別することは、オブジェクト空間でのセンサの位置（つまり、その姿勢または６Ｄ姿勢）の決定、および、所定のビュー位置のセットから最適なビューを見つけること、に基づくものであることができる。

したがって、センサビューの（望ましくレンダリングされた）データと、事前定義されたさまざまなビューのモデルの（事前）レンダリングデータとの単純な比較を、所定のビュー位置の最も近い位置を識別するために、実行することができる。

所定のビュー位置のセットのそれぞれは、再符号化されたデータセットにリンクすることができる。上記再符号化されたデータセットは、ビュー位置から見たときオブジェクトモデルのレンダリングされた画像データを表す。

例えば、所定のビュー位置のセットは、１つまたは複数のルックアップテーブル（ビュー位置ごとに１つなど）において、再符号化されたデータセットにリンクされることができる。この電子デバイスは、上記のルックアップテーブルを提供する、および／または再符号化されたデータセットにリンクされた所定のビュー位置のセットを提供するデータストレージを備えることができる。ルックアップテーブルは、再符号化されたデータセットを含むことができる。

再符号化されたデータセットのレンダリングされた画像データは、オブジェクトモデルのサブサンプリングされた点群、モデルのサブサンプリングされた輪郭、および／または、モデルのサブサンプリングされた表面モデルを含むことができる。

所定のビュー位置のセットから最も近いものを識別することは、所定のビュー位置のそれぞれについて、リンクされた再符号化データセットのレンダリングされた画像データをシーンにプロジェクトすることと、レンダリングされた画像データをシーン内のオブジェクトを表す３Ｄ画像データと比較することと、所定のビュー位置のどれに対して、レンダリングされた画像データと、そのシーンにおけるオブジェクトを表す３Ｄ画像データとの間の偏差が最小値に達するかを決定することと、を含むことができる。

前記偏差は、最小化されるエラーとも呼ぶことができる。

画像データは、可視光画像と深度画像のペアを含むことができる。これらのデータは、デバイスへの入力データであり得る。

可視光画像は、電磁スペクトルの可視部分、特に人間の視覚システムによって処理される３つのバンド（ＲＧＢ：赤、緑、青）を含むことがあり得る。

オブジェクト姿勢は、ｘ，ｙ，ｚ位置情報および、θ，φ，Ψ回転情報であることができる。

より一般的には、オブジェクト姿勢は、場所の数学的記述および座標系でのオブジェクトの向きであり得る。

シーン内のオブジェクト姿勢を決定することは、所定の３Ｄオブジェクトモデルの所定のビュー位置のセットから、識別された最も近いビューに基づく、θ，φ，Ψ回転情報を決定すること、および／または、モデルをシーンに最も近いビューでプロジェクトすることに基づく，ｘ，ｙ，ｚ位置情報を決定すること、および、プロジェクトモデルとシーン内のオブジェクトを表す３Ｄ画像データを比較することを含むことができる。

本開示はさらに、オブジェクト姿勢を決定するためのシステムに関する。このシステムは、
● 特に上記のような電子デバイス、および、
● オブジェクトを検知するように構成された光学センサを備える。このセンサは特に３Ｄカメラまたはステレオカメラである。

したがって、このシステムは。オブジェクトを自律的に認識して位置特定し、特に、上記オブジェクト姿勢を決定するように構成することができる。たとえば、オブジェクトを取得する手段などを備える移動可能なロボットシステムとして実現することができる。

本開示はさらに、オブジェクト姿勢を決定する方法に関する。この方法は、
● 光学センサ（３）の３Ｄ画像データを受信するステップであって、シーン内のオブジェクト（Ｏ）を表すステップと、
● ３Ｄ画像データに基づいて、前記光学センサの位置に関する前記オブジェクト姿勢の推定するステップと、
● 推定されたオブジェクト姿勢に基づいて、所定の３Ｄオブジェクトモデルの所定のビュー位置のセットから最も近いものを識別するステップと、
● 前記識別された最も近いビュー位置に基づいて、前記シーン内の前記オブジェクト姿勢を決定するステップと、
を含む。

この方法は、オブジェクトモデルの複数のビュー位置を決定するステップと、所定のビュー位置のセットの各ビュー位置に対して、所定のビュー位置のセットを形成するステップと、再符号化されたデータセットを決定するステップであって、該再符号化されたデータセットは、前記ビュー位置から見たときオブジェクトモデルのレンダリングされた画像データを表す、ステップと、前記ビュー位置を前記再符号化されたデータセットにリンクするステップと、をさらに含むことができる。

したがって、所定のビュー位置のセットおよび／または関連する再符号化済みデータセットを、事前に決定することができる。これらのデータは、オブジェクト姿勢の決定方法において、つまり、オブジェクト姿勢認識にこの方法を使用中において使用することができる。

この方法は、上記の電子デバイスの機能に対応する、さらなる方法ステップを含み得る。さらに望ましい方法のステップを以下に説明する。

光学センサ（３）の３Ｄ画像データは、点群を含むことができ、および／または、３Ｄオブジェクトモデルは点群を含む。

オブジェクト姿勢を推定するステップは、シーン内の姿勢を推定することにより、オブジェクト姿勢仮説を決定するステップと、姿勢仮説に基づいて、光学センサの位置に対するオブジェクト姿勢の推定するステップとを含むことができる。

オブジェクト姿勢を推定するステップまたは３Ｄ画像データを受信するステップは、受信した３Ｄ画像データに基づいてシーン内のオブジェクトを認識するステップを含むことができる。

所定のビュー位置のセットから最も近いものを識別するステップは、オブジェクト空間内におけるセンサの位置（つまり、その姿勢または６Ｄ姿勢）の決定、および、所定のビュー位置のセットからの最適なビューの発見に基づくことができる。

所定のビュー位置のセットのそれぞれは、再符号化されたデータセットにリンクすることができる。上記再符号化されたデータセットは、ビュー位置から見たときオブジェクトモデルのレンダリングされた画像データを表す。

再符号化されたデータセットのレンダリングされた画像データは、オブジェクトモデルのサブサンプリングされた点群、モデルのサブサンプリングされた輪郭、および／または、モデルのサブサンプリングされた表面モデルを含む。

所定のビュー位置のセットから最も近いものを識別するステップは、所定のビュー位置のそれぞれについて、リンクされた再符号化データセットのレンダリングされた画像データをシーンにプロジェクトし、レンダリングされた画像データをシーン内のオブジェクトを表す３Ｄ画像データと比較し、および、所定のビュー位置のどれに対して、レンダリングされた画像データと、そのシーンのオブジェクトを表す３Ｄ画像データとの間の偏差が、最小値に達するかを決定すること、を含むことができる。

画像データは、可視光画像と深度画像のペアを含むことができる。これらのデータは、デバイスへの入力データであり得る。

オブジェクト姿勢は、ｘ，ｙ，ｚ位置情報および、θ，φ，Ψ回転情報であることができる。

シーン内のオブジェクト姿勢を決定するステップには、所定の３Ｄオブジェクトモデルの所定のビュー位置のセットから、識別された最も近いビューに基づいた、θ，φ，Ψ回転情報を決定するステップと、および／または、そのシーンへの、最も近いビューにおけるモデルのプロジェクトに基づく、ｘ，ｙ，ｚ位置情報を決定するステップと、および、プロジェクトモデルとシーン内のオブジェクトを表す３Ｄ画像データを比較するステップと、が含まれる。

上記の要素の組み合わせが意図されており、また、明細書内のものを作成することができる。ただし、矛盾が生じるような場合を除く。

前述の一般的な説明の両方および、以下の詳細な説明は、単なる例示および説明であり、開示を制限するものではなく、請求項に記載のとおりであることが理解されるべきである。

添付図面は、本願明細書に組み込まれ、その一部を構成し、本開示の実施形態を説明とともに、図示するものであり、そして、その原理を説明するのに役立つものである。

図１は、本開示の実施形態による、電子デバイスを備えたシステムのブロック図を示している。 図２ａおよび図２ｂは、本開示の実施形態による、例示的なシーンを示しており（図２ａ）、オブジェクト姿勢は、事前にレンダリングされたオブジェクトモデルを使用して決定される（図２ｂ）。 図２ａおよび図２ｂは、本開示の実施形態による、例示的なシーンを示しており（図２ａ）、オブジェクト姿勢は、事前にレンダリングされたオブジェクトモデルを使用して決定される（図２ｂ）。 図３は、オブジェクトモデルの（準備／事前レンダリング）オフライン処理の典型的な方法を図示する概略的フローチャートを示す。 図４は、オブジェクト姿勢が決定される、（使用中の）画像データのオンライン処理の例示的な方法を図示する概略的フローチャートを示す。 図５は、図４の方法で使用される姿勢仮説の更新の例示的な方法を示す概略フローチャートを示す。

次に、本開示の例示的な実施形態を詳細に参照し、その例を添付の図面に示す。図面全体を通して、可能な限り、同じまたは同様の部品を参照するために同じ参照番号が使用される。

図１は、本開示の実施形態によれば、電子デバイス１を備えたシステム３０のブロック図を示す。システムは、さまざまな機能を有するロボットシステム１０を備えることができる。例えば、それは、駆動可能な車輪があって、移動可能であり得る。また、オブジェクトを取得するための手段例えば少なくとも１つのグリッパーを有することがあり得る。

電子装置１は、シーン内のオブジェクトの存在と位置（特に姿勢）を検出するコンピュータビジョンアルゴリズムを実行する。ロボットシステムでは、この情報を検索し、オブジェクトを見つけて操作することができるようにする必要がある。電子デバイス１への入力は、可視光（ＲＧＢ）と深度画像（Ｄ）のペアである。電子デバイス１の出力は、ターゲットオブジェクトの６Ｄ姿勢（ｘ，ｙ，ｚロケーションおよびｘ，ｙ，ｚ周りの回転）である。

電子デバイス１は、データストレージ２に接続されているか、または、データストレージ２を備えている。上記のデータストレージは、ターゲットオブジェクトを、形状（３Ｄ）およびオブジェクトの外観（色）情報を提供する３Ｄモデルファイルの形式において格納するために使用できる。

電子デバイス１は、システム３０においてさらなる機能をさらに実行することができる。例えば、電子デバイスは汎用ＥＣＵ（電子制御ユニット）システムとしても機能することができる。電子デバイス１は、電子回路、プロセッサ（共有、専用またはグループ）、組み合わせ論理回路、１つ以上のソフトウェアプログラムを実行するメモリ、および／または、説明された機能を提供する他の適切なコンポーネントを備えることができる。言い換えると、デバイス１はコンピュータデバイスであり得る。

デバイス１は、オブジェクトを検索して取得するように構成されている（可動）ロボットシステム１０の外部にあることができる。言い換えると、ロボットシステム１０のボード上の計算リソースが制限され得る。例えば、それらは、３Ｄデータを、例えばＷｉ−Ｆｉ経由で外部（および、たとえば静止）電子デバイス１にのみ送信できる。装置１によって決定された結果は、ロボットに送り返すことができる。

電子装置１は、さらに光学センサ３特に３Ｄデジタルカメラ３、例えばステレオカメラまたはＭｉｃｒｏｓｏｆｔ Ｋｉｎｅｃｔカメラに接続されている。電子デバイス１およびデジタルカメラは、ロボットシステム１０に含まれ得る。デジタルカメラ３は、３次元シーンを記録でき、そして特に、シーンの形状（３Ｄ）および外観（色）情報を提供するデジタルデータを出力するように構成されている。

デジタルカメラ３の出力は、電子デバイス１に送信される。望ましくは、出力は瞬時に、つまり、リアルタイムまたは準リアルタイムで送信される。したがって、検索されたオブジェクトも、リアルタイムまたは準リアルタイムで電子デバイスによって認識および検索できる（つまり、姿勢が決定される）。

システム３０は、サーバ２０をさらに備えることができる。サーバ２０を使用して、例えば、図３に示されているように、オブジェクトモデルの（準備／事前レンダリング）オフライン処理を実行できる。事前にレンダリングされた（つまり、再符号化された）データは、その後、サーバに保存されるか、電子デバイスに提供される。この目的のために、この電子デバイス１は、サーバに接続可能であり得る。例えば、電子デバイス１は、無線接続を介してサーバ２０に接続されることができる。代替的または追加的に、電子装置１は、固定接続を介して、例えばケーブル経由でサーバ２０に接続可能であり得る。電子デバイス１とサーバ２０間のデータ転送が、ポータブルデータストレージ、例えばＵＳＢスティックを使用することで実現されることが可能である。代替的に、サーバの処理は、電子デバイス１自体によって実行されることができる。

以下では、本開示の原理概念およびアルゴリズムを、図２−図５を参照して説明する。

本開示は、例えばルックアップテーブルを使用した反復最近傍点（ＩＣＰ）アルゴリズムの、望ましくは改善された（すなわち加速された）実装を提案する。ＩＣＰは、２つの点群の整列に一般的に使用されるアルゴリズムである。オブジェクト検出シナリオでは、１つの点群はモデル仮説から得られ、以下、「シーン」と呼ぶ、センサからのクラウドデータをポイントするように調整する必要がある。

図２ａおよび図２ｂは、本開示の実施形態によれば、オブジェクト姿勢が、事前にレンダリングされたオブジェクトモデルを使用して決定される（図２ｂ）シーンの例を示している（図２ａ）。

図２ａのシーンＳ内の検知されたオブジェクトＯを表す画像データおよび図２ｂのオブジェクトモデルＭは、（図２ａおよび２ｂに模式的に示されているように）各点群を備える、または、構成する。点群からのデータ（例：輪郭、および表面法線）は、計算コストを削減するためにサブサンプリングされる。これは黒い点、図２ａおよび図２ｂとして示されている。

詳細に、図２ａは、現在のオブジェクトの仮説を示しており、図２ｂは、事前にレンダリングされた最も近い視点（ビュー位置）を示している。それぞれに輪郭と内部サンプリングポイントがある。内部表面領域の黒い点は、対応を確立するために使用される。すなわち、そのシーンから、左ビューの黒い点は対応する点ｄ＿ｉである。そして、右ビューの黒い点は、モデルの対応するソース点ｓ＿ｉである。

図示されているように、イメージセンサによって検知された図２ａのシーンは、上下逆さまであり、したがって、図２ｂのオブジェクトモデルと同じ向きではない。したがって、この例のように、最も近い事前レンダリングされた視点を決定できるが、そのビューポイントにリンクされた事前にレンダリングされたモデルビューが表示面で回転する、すなわち、検知されたオブジェクトに関して逆さまになるという問題が発生する可能性がある。

このために、モデルレンダリングスペースの安価でありながら非常に効果的な近似は、オンラインレンダリングと輪郭抽出の両方を回避するために使用できる。オフライン段階では、等距離の視点ｖ＿ｉは、ビュー依存のスパース３Ｄサンプリングセットをローカルオブジェクト空間に格納するために抽出されるレンダリングされた各３Ｄ輪郭点から、オブジェクトモデルの周りの単位球でサンプリングできる。これらのポイントは３Ｄ空間で使用することが望ましいため、スケールでサンプリングしたり、異なる面内回転をサンプリングしたりする必要はない。最後に、図２ａおよび図２ｂに示すように、各輪郭点について、また、その２Ｄ勾配方向が保存されることが望ましい、そして、それらの法線を持つ内部表面点のセットが保存され得る。

簡単に言えば、輪郭点は、図２ａ、図２ｂの例に示すように、オブジェクトモデルに関しては、表示された平面内の検知されたオブジェクトの回転とは独立である姿勢決定プロセスを提供するために利用できる。

図３は、オブジェクトモデルの（準備／事前レンダリング）オフライン処理の例示的な方法を示す概略フローチャートを示す。

オブジェクトモデルは、高密度の視点セットおよび輪郭などの必要なすべての情報から事前にレンダリングでき、点群や表面の法線データ、またはその組み合わせを抽出できる。このデータは、３Ｄユニットの頂点位置ｖ＿ｉ（つまり、ビュー位置）とともに保存される。各ｖ＿ｉは、独自のローカル参照フレームに独自のデータへの参照を保持する。このデータは、図４に示すように、（使用中の）画像データのオンライン処理されたデータとして提供される。

図４は、（使用中の）画像データのオンライン処理の例示的な方法を示す概略フローチャートを示す。ここで、オブジェクト姿勢が決定される。

図４において、最初にオブジェクトが認識される。この文脈では、図４は、オブジェクトの認識と位置特定（つまり、姿勢の決定）の（完全な）プロセスの例を示すことに留意する。しかしながら、認識ステップは、本開示の一部ではなく、先行プロセスのみであり得る。

その後、姿勢仮説が決定される。姿勢の調整が必要な場合、現在の姿勢仮説は、回転行列Ｒおよびカメラ空間内の並進ベクトルｔとともに提供されえる（図５の「姿勢仮説」を参照）。オブジェクト空間のカメラ位置は、（式１）で取得できる。
さらに、（図３の）再符号化されたデータおよび推定カメラ位置（またはカメラに対する対応する推定オブジェクト位置）に基づいて、最も近いビュー（３Ｄ単位ベクトル）が決定される（式２）。

最も近いビューを見つけることにより、オブジェクト姿勢の３Ｄ（θ，φ，Ψ）回転情報を決定できる。

記号化するために、モデルの姿勢［Ｒ；ｔ］は追跡中に提供され、ここでオブジェクト空間Ｏ（式１）のカメラ位置を計算することによるレンダリングは回避できる。式２では、ユニット長に正規化することが望ましい。ここで最も近い視点Ｖ^＊は、ドット積を介してすばやく見つけることができる。

Ｖ^＊のすべてのデータについて、ソースビューの各ポイント（事前レンダリング済み）が目的地の対応するポイントｄで識別されるように、シーンに前方プロジェクトされる。次に、確立された閉形式の解を特異値分解（ＳＶＤ）で解いて進めることができる。

各ｓ＿ｉ（モデルのソースポイント）はＶ^＊で保存されるため、各ｓ＿ｉは、現在の仮説ｐを持つシーンに変換できる。これは、３Ｄ頂点ベクトルである。（式３）を参照。

これは、ポイントがシーンに取り込まれるだけで、ｄ＿ｉがまだどのポイントであるかは判別されない。このため、変換された点ｐは画像平面に逆プロジェクトされ、その画像位置において、シーンポイントクラウドを検索される。したがって、一定の時間を必要とする１つの操作でのシーンにおいて、ｄ＿ｉは点群を参照することで決定できる。このプロセスは、ＫＤツリーよりも計算コストが少なくてすみ、これは、ｓ＿ｉとｄ＿ｉの間の対応を取得するためにＩＣＰで従来使用されている。

さらに詳細には、図４に示すように、３Ｄポイントｐは画像平面にプロジェクトされる（カメラ画像が２Ｄに奥行き成分を加えたものであると仮定する）。

したがって、ポイントの２Ｄ位置は（ｘ，ｙ）において、ｘ_ｍ＝ｆ（Ｘ／Ｚ）およびｙ_ｍ＝ｆ（Ｙ／Ｚ）として決定することができる。ここで、ｆはカメラの焦点距離である。

後続のステップにおいて、深度情報ｚは、（ｘ、ｙ）において決定することができる。

その結果、ｘ，ｙ，ｚ位置情報およびθ，φ，Ψ回転情報を含む完全な６Ｄ姿勢を決定できます。

追加のステップとして、各対応は、プロジェクトされたソースクラウドポイントと宛先クラウドポイント｜｜（Ｒ＊ｓ＋ｔ）−ｄ｜｜との間の距離が、しきい値タウより小さい場合、方程式４を最小化するエネルギー関数についてのみ考慮される。（式４）

上記のすべてのステップは、各反復でタウ減衰を使用して実行でき、したがって、アルゴリズムをオクルージョンおよび外れ値に対して堅牢にする。

望ましくは、ＤＡＴＡ＿Ａは任意のタイプのデータセットであることに注意する。図３では、サブサンプリングされた点群、輪郭、そして表面法線が示されている。しかし、オンライン処理中のＳＶＤでは、「点群」情報のみに使用できるが、そして「輪郭」、「表面法線」は使用されないことがあり得る。どんな種類のデータセットを保存するのが望ましいかは、ＩＣＰの最適化アルゴリズムと本願特許に依存する。ＤＡＴＡ＿Ａの項目は特定しない。

オンライン処理におけるあらゆるタイプのオブジェクト認識アルゴリズムは、本開示において使用され得る。

３Ｄモデルは、あらゆる種類の例えば、ファイル内に保存できる。それは、望ましくは点群で構成され、または通常、表面または色の情報、またはこれらの任意の組み合わせで構成される。フォーマットタイプは、ＤＡＴＡ＿Ａのいずれかである。

図５は、図４の方法で使用される姿勢仮説を更新する例示的な方法を示す概略フローチャートを示す。姿勢の調整が必要な場合、このプロセスは追加で適用することができる。このプロセスでは、ＳＶＤは、仮説を更新するために、現在の姿勢仮説、始点ｓおよび終点ｄに基づいて適用できる。可能なＳＶＤ評価関数は式４である。

本開示では、あらゆるタイプのＩＣＰ最適化が機能するため、オンライン処理での姿勢仮説のさまざまな更新手法が可能である。

説明全体を通して、クレームを含み、「１つの．．．を備える（ｃｏｍｐｒｉｓｉｎｇ ａ）」という用語は、特に明記しない限り、「少なくとも１つを含む」と同義語として理解されるべきである。加えて、請求項を含む説明に記載されている範囲は、特に明記しない限り、その最終値を含むと理解されるべきである。説明されている要素の特定の値は、当業者に知られている許容される製造または業界の公差内にあるものと理解すべきである。そして「実質的に」および／または「およそ」、および／または「一般に」という用語の使用は、そのような容認された許容範囲内に入ることを意味すると理解されるべきである。

本明細書の本開示は、特定の実施形態を参照して説明したが、これらの実施形態は、単に原理の例示および本開示の用途にすぎないことは理解されるべきことである。

本願明細書と例は単なる例示と見なされることを意図しており、本開示の真の範囲は以下の特許請求の範囲によって示される。

Claims (15)

1. オブジェクト姿勢を決定するための電子デバイス（１）であって、該電子デバイスは、
   光学センサ（３）の３Ｄ画像データを受信し、ここで、該３Ｄ画像データは、シーン（Ｓ）内のオブジェクト（Ｏ）を表すものであり、
   前記３Ｄ画像データに基づいて前記光学センサの位置に関して、前記オブジェクト姿勢（ｘ，ｙ，ｚ，，，）を推定し、
   推定された前記オブジェクト姿勢に基づいて、所定の３Ｄオブジェクトモデルの所定のビュー位置のセットから最も近いものを識別し、
   識別された最も近い前記ビュー位置に基づいて、前記シーン内の前記オブジェクトの姿勢を決定するように構成される、
   電子デバイス（１）。
2. 前記光学センサ（３）の前記３Ｄ画像データは点群を含む、および／または、前記３Ｄオブジェクトモデルは点群を含む、請求項１に記載の電子デバイス（１）。
3. 前記オブジェクト姿勢を推定することは、前記シーン内の姿勢を推定することにより、オブジェクト姿勢の仮説を決定することと、前記オブジェクト姿勢の仮説に基づいて、前記光学センサの位置に関する前記オブジェクト姿勢の推定することと、を含む、請求項１または２に記載の電子デバイス（１）。
4. 前記オブジェクト姿勢を推定すること、または、前記３Ｄ画像データを受信することは、受信した前記３Ｄ画像データに基づいて、前記シーン内の前記オブジェクトを認識することを含む、請求項１ないし３のいずれか１項に記載の電子デバイス（１）。
5. 所定のビュー位置の前記セットから最も近いものを識別することは、オブジェクト空間での前記光学センサの位置を決定することと、所定のビュー位置の前記セットから最適なビューを見つけ出すこととに基づいている、請求項１ないし４のいずれか１項に記載の電子デバイス（１）。
6. 所定のビュー位置の前記セットのそれぞれは、再符号化されたデータセットにリンクされており、該再符号化されたデータセットは、前記ビュー位置から見たとき、前記オブジェクトモデルのレンダリングされた画像データを表す、請求項１ないし５のいずれか１項に記載の電子デバイス（１）。
7. 再符号化されたデータセットの前記レンダリングされた画像データは、前記オブジェクトモデルのサブサンプリングされた点群、該モデルのサブサンプリングされた輪郭、および／または、該モデルのサブサンプリングされた表面モデルを含む、請求項６に記載の電子デバイス（１）。
8. 所定のビュー位置の前記セットから最も近いものを識別することは、
   前記所定のビュー位置の各々に対して、リンクされた再符号化データセットのレンダリングされた画像データを、前記シーンにプロジェクトし、
   前記レンダリングされた画像データをシーン内の前記オブジェクトを表す前記３Ｄ画像データと比較し、
   前記所定のビューのどれに対して、前記レンダリングされた画像データと前記シーン内の前記オブジェクトを表す前記３Ｄ画像データとの間の偏差が、最小に達するかを決定すること
   を含む、請求項１に記載の電子デバイス（１）。
9. 前記３Ｄ画像データは、可視光画像と深度画像とのペアを含む、請求項１ないし８のいずれか１項に記載の電子デバイス（１）。
10. 前記可視光画像は、特に、人間の視覚システムによって処理される３つのバンド（ＲＧＢ）に分解された、電磁スペクトルの可視部分を含む、請求項１ないし９のいずれか１項に記載の電子デバイス（１）。
11. 前記オブジェクト姿勢は、ｘ，ｙ，ｚ位置情報、および／またはθ，φ，Ψ回転情報を含む６Ｄ姿勢である、請求項１ないし１０のいずれか１項に記載の電子デバイス（１）。
12. 前記シーン内の前記オブジェクトの前記姿勢を決定することは、
    前記所定の３Ｄオブジェクトモデルの所定のビュー位置の前記セットから、前記識別された最も近いビューに基づいてθ，φ，Ψ回転情報を決定すること、および／または最も近いビューのモデルを前記シーンにプロジェクトすることに基づいて、前記ｘ，ｙ，ｚ位置情報を決定することと、
    プロジェクトされたモデルを、前記シーン内のオブジェクトを表す前記３Ｄ画像データと比較することと、
    を含む、請求項１ないし１１のいずれか１項に記載の電子デバイス（１）。
13. 請求項１ないし８のいずれか１項に記載の電子（１）デバイスと、前記オブジェクトを感知するように構成された光学センサであって、該光学センサは特に３Ｄカメラまたはステレオカメラである、センサと、を備える、オブジェクト姿勢を決定するためのシステム（３０）。
14. 光学センサ（３）の３Ｄ画像データを受信するステップであって、該３Ｄ画像データは、シーン（Ｓ）内のオブジェクト（Ｏ）を表す、ステップと、
    前記３Ｄ画像データに基づいて前記光学センサの位置に関して、オブジェクト姿勢（ｘ，ｙ，ｚ，θ，φ，Ψ）を推定するステップと、
    前記推定されたオブジェクト姿勢に基づいて、所定の３Ｄオブジェクトモデルの所定のビュー位置のセットから最も近いものを識別するステップと、
    前記識別された最も近いビュー位置に基づいて、前記シーン内の前記オブジェクト姿勢を決定するステップと、
    のステップを含む、オブジェクト姿勢を決定する方法。
15. 前記オブジェクトモデルの複数のビュー位置を決定するステップと、
    所定のビュー位置の前記セットを形成するステップと、
    所定のビュー位置の前記セットの各ビュー位置に対して、再符号化されたデータセットを決定するステップであって、該再符号化されたデータセットは、前記ビュー位置から見たとき前記オブジェクトモデルのレンダリングされた画像データを表す、ステップと、
    前記ビュー位置を前記再符号化されたデータセットにリンクするステップと、
    のステップをさらに含む、請求項１４に記載の方法。