JP2020528999A - 作業空間内の遠隔操作車両の位置を特定する方法およびかかる方法を用いた遠隔検査システム - Google Patents

Abstract

３次元作業空間（１６）内の遠隔操作車両（１４）の位置を特定する方法（１００）であって、ビデオカメラ（２２）から当該作業空間のビデオ映像を受け取るステップ（１０２）と、当該ビデオ映像を処理して、当該作業空間の中またはその近傍の既知の物理的構造体の境界構造物（３０，３４）および特徴物（３２，３６）を特定するステップ（１０４）と、当該特徴物および当該境界構造物と当該既知の物理的構造体との間の相関関係を求めるステップ（１０６）と、当該相関関係を用いて、当該カメラからの当該ビデオ映像を当該既知の物理的構造体に照らして校正するステップ（１０８）と、当該校正されたビデオ映像中における当該遠隔操作車両に付けた多数の基準目印（２０）の位置を特定するステップ（１１０）と、当該校正されたビデオ映像中における当該多数の基準目印の位置を用いて、当該作業空間内の当該遠隔操作車両の位置を特定するステップ（１１２）とを含む方法。【選択図】図１

Description

関連出願の相互参照
本願は、米国特許法第１１９条（ｅ）の下で、参照により本願に組み込まれる２０１７年７月２７日出願の米国仮特許出願第６２／５３７，５７１号に基づく優先権を主張する。

本発明は、作業空間内の遠隔操作車両の位置を特定する方法に関する。本発明はまた、かかる方法を用いた遠隔検査システムに関する。

遠隔操作車両（ＲＯＶ）は、（さまざまな理由で）人が容易にアクセスできないかアクセス不能な区域および／または環境で種々の作業（例えば修理や検査など）を行うために常用されている。そのような用途／環境の一例として検査員にとって致死的な原子炉容器内の検査領域があるが、そこは最新の電子機器の多くが瞬時またはごく短期間に破壊される領域でもある。

原子炉容器を安全かつ綿密に検査するには、そうした環境で使用するＲＯＶの位置や動きを監視する必要がある。そのような環境や過酷な環境（例えば宇宙や深海）でＲＯＶの位置を適確に特定し追跡することができる低コストの解決策は現存しない。

ＲＯＶに取り付けたさまざまなセンサを用いて位置を特定する方法は多々あるが、原子炉内には放射線が存在するためそのような方法は利用できない。ＲＯＶへのセンサ取り付けを要しない方法が幾つかあるが、これらは通常レーザーや他の高価な機器を用いる必要がある。したがって、作業空間内の遠隔操作車両の位置を特定する方法およびかかる方法を用いた遠隔検査システムには改良の余地がある。

本発明の一実施態様に基づいて、３次元作業空間内の遠隔操作車両の位置を特定する方法を提供する。この方法は、ビデオカメラから当該作業空間のビデオ映像を受け取るステップと、当該ビデオ映像を処理して、当該作業空間の中またはその近傍の既知の物理的構造体の境界構造物および特徴物を特定するステップと、当該特徴物および当該境界構造物と当該既知の物理的構造体との間の相関関係を求めるステップと、当該相関関係を用いて、当該カメラからの当該ビデオ映像を当該既知の物理的構造体に照らして校正するステップと、当該校正されたビデオ映像中における当該遠隔操作車両上の多数の基準目印の位置を特定するステップと、当該校正されたビデオ映像中における当該多数の基準目印の位置を用いて、当該作業空間内の当該遠隔操作車両の３次元的位置を特定するステップを含む。

当該境界構造物および当該特徴物と当該既知の物理的構造体との間の相関関係を求めるステップは、当該既知の物理的構造体の既知の寸法情報に基づいて３次元座標フレームワークを構築することを含んでよい。

当該校正されたビデオ映像中における当該遠隔操作車両上の多数の基準目印の位置を特定するステップは、少なくとも３つの別個の基準目印の位置を特定することを含んでよい。

当該少なくとも３つの別個の基準目印の位置を特定するステップは、少なくとも３つの球体要素の位置を特定することを含んでよい。

当該校正されたビデオ映像中における当該遠隔操作車両上の多数の基準目印の位置を特定するステップは、少なくとも２つの別個の基準目印の位置を特定することを含んでよい。

本発明の別の実施態様に基づいて、遠隔検査システムを提供する。当該遠隔検査システムは、３次元作業空間の中で作動可能であり、多数の基準目印を付けた遠隔操作車両と、当該作業空間の境界またはその近傍に配置され、当該作業空間の中またはその近傍の境界構造物および特徴物の画像を捕捉するように配置され構成されたビデオカメラと、当該境界構造物および当該特徴物の詳細な寸法を記憶する電子記憶媒体と、当該カメラおよび当該電子記憶媒体の両方と電気通信関係にある処理装置とを具備し、当該処理装置は、当該ビデオカメラから当該作業空間のビデオ映像を受け取り、当該ビデオ映像を処理して当該特徴物および当該境界構造物を特定し、当該特徴物および当該境界構造物と既知の物理的構造体との間の相関関係を求め、当該相関関係を用いて、当該カメラからの当該ビデオ映像を当該既知の物理的構造体に照らして校正し、当該校正されたビデオ映像中における当該遠隔操作車両に付けた多数の基準目印の位置を特定し、当該校正されたビデオ映像中における当該多数の基準目印の位置を用いて、当該作業空間内の当該遠隔操作車両の３次元的位置を特定することを特徴とする。

当該多数の基準目印は、複数の球体要素より成るものでよい。当該球体要素は、コントラストの高い色にすることができる。

当該作業空間は、原子炉容器の内部を含んでよい。

当該ビデオカメラは、当該作業空間の上部またはその近傍に配置することができる。

当該電子記憶媒体および当該処理装置は、計算装置の要素を構成してもよい。当該計算装置は、デスクトップコンピュータまたはノートパソコンより成るものでよい。当該計算装置は、携帯型計算装置より成るものでよい。

本発明の上記および他の目的、特徴および性質、関連する構造要素の操作方法および機能、部品の組み合わせ、ならびに製造の経済性は、いずれも本明細書の一部を構成する添付図面を参照して以下の説明および添付の請求項を読めばより明白になるであろう。さまざまな図面の中で使用している同じ参照符号は、対応する構成要素を指している。ただし、添付図面はもっぱら例示および解説のためのものであり、本発明の範囲を限定するものではないことを明確に理解されたい。

本発明の詳細を、好ましい実施態様を例にとり、添付の図面を参照して以下に説明する。

本発明の一実施例に基づく遠隔検査システムの概略図である。

本発明の一実施例に基づく、図１に示すような遠隔検査システムのカメラから送られるビデオ映像のスクリーンショットの一例である。

本発明の一実施例に基づく、作業空間内の遠隔操作車両の位置を特定する方法の一般的な手順である。

以下において、本発明を例示する添付図面を参照しながら、本発明をより詳細に説明する。ただし、本発明は多くの異なる形態で実施することができ、本願で示す例に限定されると解釈するべきではない。これらの例はむしろ、本発明をより詳細かつ完全に開示し、本発明の範囲を十分に当業者に伝えるために提供するものである。同じ参照番号は、本願を通して同じ構成要素を指している。

本願で使用する「ａ」、「ａｎ」および「ｔｈｅ」に先導される単数形は、文脈からそうでないことが明らかでない限り、複数形をも包含する。本願で、２つ以上の部分または構成要素が「結合される」と述べる場合、連係が発生する限りそれらの部分が直接的にまたは間接的に（すなわち１つ以上の中間部分または構成要素を介して）連結されることまたは両者が一体的に動作することを意味する。本願で「直接結合される」と述べる場合、２つの要素が互いに直接接触することを意味する。本願で「固定的に結合される」または「固定される」と述べる場合、２つの構成要素が、相互の相対的な向きが一定に保たれて動くように結合されることを意味する。

非限定的な例として、本願で使用する最上部、最下部、左、右、上方、下方、前、後ろ、およびそれらの派生語などの方向性を示唆する語句は、図面に示す要素の方向に関するものであり、特段の記載がない限り、本願の請求項の範囲を限定するものではない。本願で用いる用語「多数」は、１または１より大きい整数（すなわち複数）を意味する。

図１は、水で満たされた原子炉容器１２の内部に配置された、本発明の一実施例に基づく遠隔検査システム１０の概略図である。遠隔検査システム１０は、総体的に参照番号１６で示す３次元作業空間（例えば水で満たされた原子炉容器１２の内部）で作動可能な遠隔操作車両（ＲＯＶ）１４を含む。本願で使用する用語「作業空間」は、ＲＯＶの操作が可能な３次元空間を指すために使用する。図１に示す実施例において、ＲＯＶ１４は、このＲＯＶ１４にデータ／制御信号を送信したりＲＯＶ１４からデータ／ビデオ画像を受信したりするための多数の通信ケーブルを含むアンビリカルケーブル１８を介して遠隔制御システム（図示せず）に接続された遠隔操作潜水車両である。本発明の範囲から逸脱せずに、有線または無線で操作可能な他のＲＯＶ（非限定的な例として飛行ドローン）を使用することができる。

ＲＯＶ１４には、多数の基準目印２０が付いている（図１の実施態様はそのうちの３つを示す）。基準目印２０の位置および間隔（例えば図２のｄ_１およびｄ_２）は、基準目印２０によりＲＯＶ１４の１つ以上の配向および／または角度を突き止められるように予め定められている。本発明の一実施例では、ゴルフボール程度の大きさの球体要素を使用している。そのような球体の形状／サイズは、（距離が一定であれば）視角にかかわらず一定に保たれる。そのような目印２０は、視認性を高めるためにコントラストの高い色（非限定的な例として蛍光性の橙色）であるのが好ましい。また、本発明の範囲から逸脱せずに、他の数量および／または形状（非限定的な例として円盤、部分球体）の基準目印を用いてもよい。

引き続き図１を参照して、遠隔検査システム１０はさらに、ビデオカメラ２２、処理装置２４および適当な電子記憶媒体２６を含むが、これらは電気通信関係にあり、当該電子記憶媒体は、処理装置２４と一体化されているかまたは分離している。ビデオカメラ２２は、作業空間１６の境界またはその近傍に位置して、有線または無線手段によって作業空間１６のビデオ画像を提供するように構成されている。作業空間１６の中またはその近傍には、ＲＯＶ１４とともに、境界構造物（例えば壁３０と床３４）があり、そのような境界構造物には特徴物（例えば壁３０の垂直接合部３２および床３４の開口３６）がある。図２は、本発明の一実施例に基づく、カメラ２２が撮影したビデオ映像に含まれる画像２８の一例である。図１の実施例において、ビデオカメラ２２は作業空間１６の上部またはその近傍に配置されており、要求に応じてパンおよびズーム撮影できる構成であるが、本発明の範囲から逸脱せずに、他の機能を有する他のカメラによって位置を特定することができる。

処理装置２４は、データ（例えばソフトウェアルーチンおよび／またはそのようなルーチンが使用する情報）を記憶、読出し、実行および処理することができる任意適当なプログラム可能アナログおよび／またはデジタル装置（付属する記憶装置の部品または部分を含む）でよい。処理装置の非限定的な例として、コンピュータ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、複合プログラマブルロジックデバイス（ＣＰＬＤ）、プログラマブルシステムオンチップ（ＰＳＯＣ）、特定用途向け集積回路（ＡＳＩＣ）、マイクロプロセッサ、マイクロコントローラ、プログラマブルロジックコントローラ、またはその他の任意適当な処理デバイスまたは装置が挙げられる。

電子記憶媒体２６は、さまざまな種類の内部および／または外部記憶媒体のうちの任意の１つ以上のものでよく、非限定的な例として、ＲＡＭ、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＦＬＡＳＨ、ならびにコンピュータの内部記憶領域のような様式でデータおよびプログラムコードを記憶する他の同様な記憶レジスタ（すなわち非一時的機械可読媒体）が挙げられ、揮発性メモリまたは不揮発性メモリでもよい。電子記憶媒体２６は、境界構造物および特徴物の詳細な寸法（例えば垂直接合部３２の間隔、開口３６の直径、開口３６の間隔など）を記録する。電子記憶媒体２６は、処理装置２４と一体の型式のものでもよい。本発明の実施例において、処理装置２４および電子記憶媒体２６は、非限定的に、デスクトップコンピュータ、ノートパソコン、または携帯型計算装置（非限定的な例としてタブレットコンピュータまたはスマートフォン）などの計算装置の要素を構成する。

本発明の一実施例に基づく遠隔検査システム１０の基本要素を説明したが、次に、作業空間１６内のＲＯＶ１４の３次元位置を特定する方法１００（例えば処理装置２４によって実施）を図３を参照して説明する。この方法１００は、ビデオカメラ２２から作業空間１６のビデオ映像を受け取るステップ１０２から始まる。次に、ステップ１０４に示すように、ビデオ映像を処理して、作業空間１６の中またはその近傍の境界構造物３０、３４および境界構造物に含まれる特徴物３２、３６を特定する。

ステップ１０４で作業空間の中またはその近傍の境界構造物および特徴物を特定した後、その時点に先立って電子記憶媒体２６に保存されていた既知の物理的構造体の寸法データを用いることにより、ステップ１０６に示すように、ビデオ映像で特定された境界構造物および特徴物と既知の物理的構造体との間の相関関係を求める。本発明の一実施例において、そのような相関関係は、既知の物理的構造体の既知の寸法情報と、そのような構造体がビデオ映像中でどのように見えるかに基づき、３次元座標フレームワークを構築することによって決定する。次のステップ１０８では、この相関関係を用いて、ビデオカメラ２２からのビデオ映像を既知の物理的構造体に照らして校正する。

ステップ１０２〜１０８において、作業空間１６を認識しおおむね３次元的にマッピングした後、ステップ１１０において、校正されたビデオ映像中におけるＲＯＶ１４に付けた多数の基準目印２０の３次元位置を特定する。最後にステップ１１２において、校正されたビデオ映像中における多数の基準目印２０の位置を用いて、作業空間１６内のＲＯＶ１４の位置ならびに当該ＲＯＶの配向／傾きを求める。一般的に、作業位置を適確に特定するには、ＲＯＶのｘ、ｙ、ｚ位置および偏揺れ角を決定することが望ましい。これらのパラメータは、少なくとも３つの目印が同時に見えていれば一意的に求めることができる。代替策として、前回の状態に関する情報を用いてＲＯＶの「先端」部を指定できる場合は、２つの目印が見えていれば十分である。

本発明の特定の実施態様について詳しく説明してきたが、当業者は、本開示書全体の教示するところに照らして、これら詳述した実施態様に対する種々の変更および代替への展開が可能である。したがって、ここに開示した特定の配置構成は説明目的だけのものであり、本発明の範囲を何ら制約せず、本発明の範囲は添付の特許請求の範囲に記載の全範囲およびその全ての均等物を包含する。

本願の請求項において、カッコで囲われた参照符号は請求項を制約するものと解釈するべきではない。「成る」または「含む」という用語は、請求項に記載されていない要素またはステップの存在を排除するものではない。複数の手段を列挙した装置の請求項において、それらの手段のうちのいくつかは、同じ１つのハードウェア項目によって具現化されることがある。或る要素が「ａ」または「ａｎ」という語に先導される場合、かかる要素が複数存在することを排除するものではない。複数の手段を列挙した装置の請求項において、それらの手段のうちのいくつかは、同じ１つのハードウェア項目によって具現化されることがある。いくつかの要素が互いに異なる従属請求項で言及されているという事実は、それらの要素を組み合わせて使用できないことを示すものではない。

Claims (13)

1. ３次元作業空間（１６）内の遠隔操作車両（１４）の位置を特定する方法（１００）であって、
   ビデオカメラ（２２）から当該作業空間のビデオ映像を受け取るステップ（１０２）と、
   当該ビデオ映像を処理して、当該作業空間の中またはその近傍の既知の物理的構造体の境界構造物（３０，３４）および特徴物（３２，３６）を特定するステップ（１０４）と、
   当該境界構造物および当該特徴物と当該既知の物理的構造体との間の相関関係を求めるステップ（１０６）と、
   当該相関関係を用いて、当該カメラからの当該ビデオ映像を当該既知の物理的構造体に照らして校正するステップ（１０８）と、
   当該校正されたビデオ映像中における当該遠隔操作車両に付けた多数の基準目印（２０）の位置を特定するステップ（１１０）と、
   当該校正されたビデオ映像中における当該多数の基準目印の位置を用いて、当該作業空間内の当該遠隔操作車両の３次元的位置を特定するステップと
   を含む方法。
2. 前記特徴物および前記境界構造物と前記既知の物理的構造体との間の相関関係を求める前記ステップは、前記既知の物理的構造体の既知の寸法情報に基づいて３次元座標フレームワークを構築することを含む、請求項１の方法。
3. 前記校正されたビデオ映像中における前記遠隔操作車両に付けた多数の基準目印の位置を特定する前記ステップは、少なくとも３つの別個の基準目印の位置を特定することを含む、請求項１の方法。
4. 前記少なくとも３つの別個の基準目印の位置を特定する前記ステップは、少なくとも３つの球体要素の位置を特定することを含む、請求項３の方法。
5. 前記校正されたビデオ映像中における前記遠隔操作車両に付けた多数の基準目印の位置を特定する前記ステップは、少なくとも２つの別個の基準目印の位置を特定することを含む、請求項１の方法。
6. 遠隔検査システム（１０）であって、
   ３次元作業空間の中で作動可能であり、多数の基準目印（２０）を付けた遠隔操作車両（１４）と、
   当該作業空間の境界またはその近傍にあって、当該作業空間の中またはその近傍の境界構造物（３０、３４）および特徴物（３２、３６）の画像を捕捉するように配置され構成されたビデオカメラ（２２）と、
   当該境界構造物および当該特徴物の詳細な寸法を記憶する電子記憶媒体（２６）と、
   当該カメラおよび当該電子記憶媒体の両方と電気通信関係にある処理装置（２４）とを具備し、当該処理装置は、
   当該ビデオカメラからのビデオ映像中の当該作業空間のビデオ画像を受け取り（１０２）、
   当該ビデオ映像を処理して当該特徴物および当該境界構造物を特定し（１０４）、
   当該境界構造物および当該特徴物と既知の物理的構造体との間の相関関係を求め（１０６）、
   当該相関関係を用いて、当該カメラからの当該ビデオ画像を当該既知の物理的構造体に照らして校正し（１０８）、
   当該校正されたビデオ映像中における当該遠隔操作車両に付けた多数の基準目印の位置を特定し（１１０）、
   当該校正されたビデオ映像中における当該多数の基準目印の位置を用いて、当該作業空間内の当該遠隔操作車両の３次元的位置を特定する（１１２）ようにプログラムされていること
   を特徴とする遠隔検査システム。
7. 前記多数の基準目印は複数の球体要素より成る、請求項６の遠隔検査システム。
8. 前記球体要素はコントラストの高い色である、請求項７の遠隔検査システム。
9. 前記作業空間は原子炉容器の内部を含む、請求項６の遠隔検査システム。
10. 前記ビデオカメラは前記作業空間の上部またはその近傍に配置されている、請求項９の遠隔検査システム。
11. 前記電子記憶媒体および前記処理装置は計算装置の要素を構成する、請求項６の遠隔検査システム。
12. 前記計算装置はデスクトップコンピュータまたはノートパソコンより成る、請求項１１の遠隔検査システム。
13. 前記計算装置は携帯型計算装置より成る、請求項１１の遠隔検査システム。