WO2005010817A1

WO2005010817A1 - 画像処理装置

Info

Publication number: WO2005010817A1
Application number: PCT/JP2004/010589
Authority: WO
Inventors: Yukihito Furuhashi; Yuichiro Akatsuka; Takao Shibasaki
Original assignee: Olympus Corporation
Priority date: 2003-07-24
Filing date: 2004-07-20
Publication date: 2005-02-03
Also published as: EP1650704A1; JPWO2005010817A1; KR20060030120A; CN1820282A; EP1650704A4; KR100816589B1; CN100365654C; HK1090461A1; US20060120606A1; US7424174B2

Abstract

特徴部抽出部（１２１１）は、画像入力部（１１）で撮影した視野内から特徴部を抽出し、重みづけ部（１２１２）は、その抽出された特徴部の抽出条件に応じた重みを算出して、その特徴部を重みづけする。位置姿勢取得部（１２１３）は、その重みづけされた特徴部から、基準座標系での画像入力部（１１）、ひいては当該画像処理装置（１０）の位置及び姿勢を取得する。

Description

画像処理装

技術分野

本発明は、被写体を撮影して得られた画像を処理する画像処理装置に関するものである

背景技術

一 xに、力メラ等の撮像装置で光学的に取得した画像には歪が存在す ■ό その歪を除去する手法として、従来様々な技術が提案されている。しかしながら、例えそのような技術適用したとしても画面周辺ほど誤差を含むことになる。

また、画像は離散的な情報であり、遠方に存在する点が画像上 1 画素ずれるだけで、実空間の誤差は大きなのとなるこのため、画像内での位置及び大きさは、力メラの及び姿勢を計算する上で非常に重要である。

従来、力メラの位置及び姿勢情報を得るための手法も多数提案されている

例えば、 USP 6, B ] [ には、マー力を利用した位置姿勢計算が開示されているこれは、カメラの概略的な位置及び姿勢を求めるために、基準マーカに内包される情報をみ込むことで、基準マーカ及びその周辺に配置されたマ力及び z又は特徴部の位置を確認できるとい技術であ ■0 の u s P に開 7 の技術によれば、 4点以上のマー力及び Z又は特徴部の 1 L を確認するとで、この情報を用い力メラの位置及び姿執を推定するとが可能となるものであるまた、この U S P には、撮影画像上の対応位置に被写体の各部の関連情報を重畳表示する関連情報呈示装置において、その関連情報を重畳表示する際に、そのようにして推定したカメラの位置姿勢に基づいて、つまり、カメラの視野に応じて、呈示する関連情報の重畳表示位置を決定することも示されている。

また、 TVRSJ ( 日本バーチャルリアリティ学会論文誌） Vol4, No.4, 1999, pp.607-616 "マーカ追跡に基づく拡張現実感システムとそのキヤリブレーション（An Augmented Reality System and its Calibration based on Marker Tracking) "にも、マーカのみを利用した位置姿勢計算が開示されている。

また、 US 2002/0191862 A1 には、自然特徴点（Natural Features： NF) によるカメラの位置及び姿勢計算が開示されている。これは、図 1 Aに示すように位置及び姿勢の既知の形状 Mを使用し、図 1 B に示すような手順で、カメラの位置及び姿勢を算出し、さらには、各特徴点の三次元位置も算出するものである。

まず、ステップ S 1 0 1 として次の処理を実行する。即ち、初期位置 P 0 _Dにおいて既知形状 Mを認識することで、カメラ 1 0 0 の位置及び姿勢を算出する。その後、その初期位置 P 〇。から上記既知形状 Mを画面（視野）に捉えたまま、連続的にカメラ 1 0 0 を移動して行く。そして、位置 P O i に移動したときに、同様に上記既知形状 Mを認識することで、該位置におけるカメラ 1 0 0 の位置及び姿勢を算出す 4010589

る。

次に、ステップ S I 0 2 として次の処理を実行する。即ち上記算出した位置 P O 。及び P 〇におけるカメラ 1 0 0 の位置及び姿勢より、位置 P O。と位置 P O との間の基線長が推定できる。よって、三角測量の原理により、連的に画面に捉えられている図 1 Aに黒丸で示す各特徴点の二次元位置を算出する。

その後、ステップ S 1 0 3 として次の処理を実行する即ち、その位置から連続的にカメラ 1 0 0 を移動して行く。すると、位置 P O ₂に移動したとき、上記既知形状 Mを画面に捉えられなくなる。しかしながら、上記算出された各黒丸特徴点の位置から、そのような既知形状 Mを画面に捉えない位置 P O ₂ においても、そのカメラ 1 0 0 の位置及び姿勢を算出できる。

よって、ステップ S 1 0 4 として次の処理を実行する即ち、位置 P O と位置 P O ₂の間の基線長 B L ₂が算出でぎる。そして、図 1 Aに白丸で示すような上記位置 P O。では画面に捉えられていなかった特徴点についても、三次元位置が算出できる。

また、 US 2002/0191862 A1 には、ォ一卜キヤリブレシヨン（A C ) 手法が従来技術として開示されている。

さらに、 ISMAR2001 pp.97- 103 "Extendible Tracking by Line Auto- Cal ibrat ion"では、自然特徴線分をトラッキングし、 A Cすることによるカメラの位置及び姿勢計算が開示されている。上述したように、上記 USP 6, 577, 249 B1 では、マ一力を利用した位置及び姿勢計算が開示されてい 0 しかしながら、例えば、大さく歪む角度で見えたマ一力から計算した位置及び姿勢は、大きな誤差を含んでいる。また、複数のマ一力が存在しても、好条件で捉えられたマーカから算出した位置及び姿勢情報と劣悪な条件下で捉えられたマ —力から算出した位置及び姿情報とが同等に扱われるため、 A.が大きぐなまた、上記 US 2002/0191862 A1 では、 N F X A Cによる力メラの位置及び姿勢計算が開示されているしかしながら、終的に位置及び姿勢を計算するカルマンフィル夕 ( K F ) へ入力する N Fの位置情報は、画面内のどこであても、また、 N Fの特徵度の大小が異なっていても、同じように扱われているそのため、誤差が大きくなる。また、該 U S 出願では、 A C手法が従来技術として開示されているしかしながら、 A C時の条件が異なるにもかかわらず、 κ Fへの入力としては同じように扱われていたため、誤差が大さくなる

さらに、上記 USP 6, 577, 249 B1 及び上記文献 TVRSJ では、マ一力を利用した位置及び姿勢の計算が開示され、上己 US

2002/0191862 A1 では N F / A Cを利用した位置及ひ計算が開示されている。しかしながら、マ一力及び N F / A C が混在する環境での位置及び姿勢計算については、 A Cの基準としてマーカを利用しているに過ぎず、両者が混在する環境で、両者を利用した位置及び姿勢計算に関する開示はない。

た、上 d文献 ISMAR2001 では、自然特徴線分を卜ラッキングし A Cすることによる力メラの位置及び計が開示されているしかしながら、線分の状態（画面内の位置長さ直線からのずれの大きさ ) が異なっていても展終的に位置及び姿勢を計算する K Fへ入力する際には、同じ重要度で扱われていたため、誤差が大さくなる。

発明の開示

本発明の目的は、撮像装置の位置姿勢を精度良く求めるとが可能な画像処理装置を提供することにある

本発明の様によれば、対象物を撮影する撮像装置と上記撮像装置で撮影した視野内から特徴部を抽出する特徴部抽出部と、上記特徴部抽出部で抽出された特徴部の抽出条件に応じた重みを算出して、その特徴部を重みづけするみづけ部と Jn pL重みづけ部で重みづけされた上記特徴部から基準座標系での上記撮像装置の位置及び姿勢を取得する位置姿勢取得部とを具備する画像処理装置が提供される図面の簡単な明

図 1 Aは、 U S 2002 /0 1 9 1 862 A l 1に開示の N F にる力メラの位置姿勢計算を説明するための模式図である。

図 1 Bは、その N F による力メラの位置姿勢計算手法のフ

Π チャ一卜を示す図である。

図 2 は、本発明の一実施例に係る画像処理装置の構成を示す図でめ。

図 3 は、入力画像の例を示す図である。

図 4 は、実施例に係る画像処理装置の画像処理部の動作フ Π チヤを示す図である図 5 Aは入力画像上のエリァ区分を示す図である図 5 Bは各区分位置に対する重みのテブルの例を示す図である

図 6 Aは Γ光線のなす角」及び「光線間の最短距離」を説明するための図である

図 6 Bは図 6 A中の 3 次元空間の点 Ρ の近傍を拡大して示す図でめる

図 7 は特徴部の種別による重みのテプルの例を示す図である

発明を実施するための最良の形

本発明の実施例に係る画像処理装置 1 0 は、図 2 に示すように例えば力メラ付き P D Aの形態で提供される。この画像処理装置 1 0 は撮像装置である画像入力部 1 1 と該画像入力部 1 1 で入力された画像を処理する情報処理部 1 2 と、該情報処理部 1 2 での処理果として得られた情報を表示する表示部 1 3 とから構成されている。な、上記情報処理部 1 2 は画像処理部 1 2 1 と表示画像生成部 1 2 2 とを含んでおり画像処理部 1 2 1 は特徴部抽出部 1 2 1 1 重みづけ部 1 2 1 2 及び位置姿勢取得部 1 2 1 3 を有している

で画像処理装置 1 0 においては、画像入力部 1 1 により例えば図 3 に示すような入力画像 1 1 Αを得て、それを情報処理部 1 2 の画像処理部 1 2 1 に入力するようになっている。なお、図 3 に示す入力画像 1 1 Aの例は、配管 1 、柱 2 、壁 3等を備える工場内等を撮影した場合で、マ一力 4が柱 2 や壁 3 に配されているものであるのマ一力 4 には、上記 USP 6 ' 577 , 249 B 1 や上記文献 TVRS J に開示れ

口

たような、当該マ力の位置及び姿勢情報が符化されたパ夕ーンが記されたのであ -S)。

従って、上記画像処理部 1 2 1 の特徴部抽出部 1 2 1 1 は、予め記憶されたマ力形状の抽出に関する情報 (パ夕ン抽出プログラム、パラメ一夕等）に基づいて、当該マ ―力の像を抽出する。位置姿勢取得部 1 2 1 3 は、その特徴部抽出部

1 2 1 1 が抽出したマ一力の像より、当該マ一力の位 «及び姿勢情報を取得する o そして、それに基づいてゝ画像入力部

1 1 つまりは当該画像処理装置 1 0 の当該マ一力に対する位置及び姿勢を検出する o た、のとき、図 3 に示すように、入力画像 1 1 Aには複数のマ一力 4が含まれている o 各マ一力の信頼度は、その入力画像内の位置や、入力画像上での大ささ等により、異なる。そこで、重みづけ部 1 2 1 2 により、上記特徴部抽出部 1 2 1 1 が抽出した各マ一力の像にいて重みづけを行う。位置姿勢取得部 1 2 1 3 では、それらのみづけされたマ一力の像に基づいて、基準座系での上記画像入力部 1 1 の位置及び姿勢を検出することになる o

さらに、画像処理部 1 2 1 は、上記マーカ 4 の夕ンにより特定される、予め該画像処理装置 1 0 が記憶している、めるいは外部サ一パに L '1思されている、画像、 3 Dモァル、動画、音声、等の関連情報み出す機能を備えている o

そして、上記情報処理部 1 2 の表示画像生成部 1 2 2 は、上記画像処理部 1 2 1 が読み出したその関連情報から、上記画像処理部 1 2 1 で検出した画像入力部 1 1 の位置及び姿勢つまり当該画像処理装置 1 0 の位置及び姿勢に応じた形態の重畳用画像を生成する。そして、上記画像入力部 1 1 による撮影で得られた実際の画像（入力画像 1 1 A ) 上へ、その生成した重畳用画像を重畳することで、図 2 に示すような表示画像 1 3 Aを生成して、それを表示部 1 3 にて表示する。

さらに、上記特徴部抽出部 1 2 1 1 は、そのようなマ一力以外にも、上記 US 2002/0 19 1 862 A 1 に開示されているような自然特徴点（ N F ) 及び上記文献 I SMAR200 1 に開示されているような自然特徴線分を、特徵部として抽出る。この場

A μ記重みづけ部 1 2 1 2 では、それらの特徴部につレ^ても重みづけを行う。そして、上記位置姿勢取得部 1 2 1 3 は上記重みづけされたマ力と、それら重みづけされた N F及び自然特徴線分と、に基づいて、画像入力部 1 1 の位置及び姿勢を検出る。

このような画像処理装 1 0 の画像処理部 1 2 1 の動作を図 4 のフローチヤ— 卜を参照して、更に詳細に説明する。即ち、まず、特徴部抽出部 1 2 1 1 により、画像入力部 1 1 から入力された入力画像 1 1 A内より、特徴部としてマ一力を抽出する (ステップ S 1 1 ) o そして重みづけ部 1 2 1 2 によりマ一力の重みを算出する（ステップ S 1 2 ) o

この場合、入力画像 1 1 A内におけるマ一力の位置、大きさ、歪み量、マーカの撮像；[±：に対する角度のうち、少なくとも一によって重みを計算する o の計算は、関数式を用いて正確な値として算出する —ともでさるが裨数段階の値として丁ブルにより簡易に求めるよつにしても良い。

例えば、マ力の位置による重みの場 a には、図 5 Aに示すように、入力画像 1 1 A上の位置を A 〜 Dの 4つのエリァに区分し、図 5 B に示すような各区分位置に対する重みの値をテプルとして用忌、しておヽれにり、上記抽出したマ一力がどの区分位置に存在するかによつて、簡単に重みを求めることがでぎるこで、入力画像 1 1 Aの中央部に近い位置ほど高い重みの値となつているのは画像入力部 1 1 の光学系の歪みなどによ周辺部へ行 < ほど取得した画像に歪みが存在し誤差を含むからであるのような重みづけを行 Ό とすると、図 3 の例では、パ夕ン A 」を有するマ一力は 0. 8 パ夕 -ン L」を有するマーカは「 1. 0 パタ ―ン r Z J を有するマ一 -カは ί " 0. . 4 の重みの値となる

/よね入力画像 1 1 A内におけるマ一力の大きさによつて重みを計算する合には、それが大さほど高重みの値とし、力の歪み量によつて重みを算する場合には、それが小さいほど高い重みの値とする。

またマ一力の撮像装置に対する角度によつて重みを計算するは、撮像装置に対して正面付近にめるときには低い重みの値とし角度が 9 0度に近づ < ほど高い重みの値とする力の撮像装置に対する角度はゝマ力の縦横比から概算しても良いし、マ一力の 3 次元姿勢まで算出した角度を利用しても良い

うして、入力画像 1 1 A内の全ての一力について評価が終了するまで (ステツプ S 1 3 ) マ力の重み算出を繰 0589

1 0 り返す。そして、全てのマ一力を評価したならば、位

部 1 2 1 3 によりそれら重みづ-けされた特徴部から、画像入力部 1 1 つまりは当該画像処理装置 1 0 の位置及び姿勢を算出する（ステツプ S 1 4 )

また、特徴部抽出部 1 2 1 1 により、画像入力部 1 1 から入力された入力画像 1 1 A内より、特徴部として N F を抽出及びラッキングする (ステップ S 2 1 ) 。この N Fの抽出及び卜ラッキングの詳細については、上記 U S 2 00 2 /0 1 9 1 8 6 2

A 1 に開示されている。そして、重み'づけ部 1 2 1 2 により

N Fの重みを算出する (ステップ S 2 2 )

の場合、入力画像 1 1 A内における N F の位置、 N F の特徴度を示す量、トラヅキングの連続数のうち、少な < とも一つによって重みを計算する。例えば、入力画像 1 1 A内における N Fの位置によて重みを計算する場合には、それが入力画像 1 1 A内の中央に近いほど高い重みの値とする。なお、上記 N Fの特徴度を示す量は、 N F周辺の分散共分散行列の最小固有値、画素値の強度のうち、少なくとも一つによつて決定する。また卜ラッキングの連続数によつて重みを計算する場合には、連 be数が大きいほど高い重みの値とする画 1冢卜ラッキンクでは、撮像装置が移動している場合などのに、非常に劣化した状態の画像が入力画像となることがあるが、これは通常 1 フレーム程度で、前後は十分処理できる画像である。このよラな場合に、劣化した入力画像上で卜ラツキングが不連続になつたとしても、次のフレムで卜ラッキングできれば卜ラッキング自体を継続することは 0589

1 可能でめ ^ の際連 ¾数は旦セットされる。つまり、連続数が大さいことは上記のよに画質的に劣化した入力画像であつても卜ラッキングでぎたとになり、 N F としての信頼性が高いことを味するの重みの計算も、関数式を用いて正確な値として算出するともできるが、複数段階の値としてテブルにより簡易に求めるようにしても良い。

こうして入力画像 1 1 A内の全ての N F について評価が終了するまで (ステップ S 2 3 ) N F の重み算出を繰り返す。そして全ての N Fを評価したならば、更に、特徴部抽出部 1 2 1 1 によつて上記 U S 2 00 2 /0 1 9 1 8 6 2 A 1 に開示されてレるような N Fォ卜キヤブレシヨン（ N F A C ) を行う (ステップ S 2 4 ) 。そしてみづけ部 1 2 1 2 により、 N F A C の重みを算出する (ステップ S 2 5

この口 N F A C時の条件に応じて、直みを計算する。な 45 上記 N F A C時の条件は光線のなす角、光線間の最短距離、利用する N F の 1 ≠. 利用する N F の特徴度を示す重、禾 (J用する N Fの卜ラッ十ング連続数のうち、少なくとも一つであるの計算も、関数式を用いて正確な値として算出することもでさるが複数段階の値としてテープルにより簡易に求めるよ 5 にしても良い

なお、光線のなす角によって重みを計算する場合には、それが直角に近いほど高い重みの値とするよ / ノ ϋ線間の最短距離によつて重みを計算する場合には、それが短いほど高い重みの値とする利用する N F の位置や利用する N F の特徴度を示す虽のような重みの値によつて重みを計算する場合には、それが高いほど高い重みの値とする。

ここで、上記「光線のなす角」及ぴ「光線間の最短距離」について、図 6 A及び図 6 B を参照して説明する。これらの図において、 P 。は、位置 L O。において撮像した画像 S 。上へ 3 次元空間の点 P を投影した点である。また、 P ェは、位置 L 0 i において撮像した画像 S 上へ上記 3 次元空間の点 P を投影した点である。しかしながら、一般的には誤差を含むので、 P i ' として認識されてしまう。 3 次元空間の点 P と画像 S 。上の点 P 。とを結ぶ光線 B 。と、上記 3 次元空間の点 P と画像 S ェ上の点 P ェとを結ぶ光線 B ！とは交差する。一方、誤差を含む光線 B ' と光線 Β 。とは交差しない。

この光線 B 。と光線のような 2 直線上の任意の点を想定し、各点が最も接近する際の距離 dは既知の公式により算出可能である。この距離を光線間の最短距離と呼ぶ。

また、上記光線 B 。と上記光線とのなす角 α は、光線 Β 。の単位方向べクトルを a、光線 Β の単位方向べクトルを b とした場合、

(¾ = c o s - ¹ ( a - b /^/ ( | a | | b | ) )

と定義される。この角度ひを、光線のなす角と呼ぶ。

こうして、全ての N F A C について評価が終了するまで (ステップ S 2 6 ) 、 N F A Cの重み算出を繰り返す。そして、全ての N F A C を評価したならば、上記ステップ S 1 4 に進んで、位置姿勢取得部 1 2 1 3 により、それら重みづけされた特徴部から、画像入力部 1 1 つまりは当該画像処理装置 1 0 の位置及び姿勢を算出する。 3 また、特徴部抽出部 1 2 1 1 により、 m像入力部 1 1 から入力された入力画像 1 1 A内より、特徴部として自然特徴線分を抽出及びトラッキングする（ステツプ S 3 1 ) 。なおの自然特徴線分の抽出及びトラッキングの詳細については上記文献 I SMAR2001 に開示されている。そして、重みづけ部

1 2 1 2 により、自然特徴線分の重みを算出する（ステツプ

S 3 2 ) 。

この場合、入力画像 1 1 A内における然特徴線分の位置長さ、直線からのずれ量、トラッキングの連続数のうち、少なくとも一つによって重みを計算する。の重みの計算も関数式を用いて正確な値として算出するともできるが、複数段階の値としてテーブルにより簡易に求めるようにしても良い。

なお、入力画像 1 1 A内における自然特徴線分の位置によつて重みを計算する場合には、それが入力画像 1 1 A内の中央に近いほど高い重みの値とすた、自然特徴線分の長さによって重みを計算する場合には、それが長いほど高い重みの値とする。自然特徴線分の直線からのずれ量によつて重みを計算する場合には、ずれ量が少ないほど高い重みの値とする。自然特徴線分のトラツキングの連続数によって重みを計算する場合には、連続数が大さいほど高い重みの値とする。

こうして、入力画像 1 1 A内の全ての白然特徴線分についての評価が終了するまで (ステップ S 3 3 ) 、自然特徴線分の重み出を繰り返す。そして、全ての商然特徴線分を評価 4 したならば、に、特徴部抽出部 1 2 1 1 によつて自然特徴線分のォー卜キヤリブレシ 3 ン ( L i n e A C ) を行う

(ステップ S 3 4 ) 。この L i n e A Cの詳細にいても上記文献 I SMAR200 1 に開示されているそして重みづけ部

1 2 1 2 により、 L i n e A Cの重みを算出する (ステップ

S 3 5 )

この場自然特徴線分を A Cする際の条件に、じてみを計算する /よ、上 3己自然特徴線分を A Cする際の条件は、光線のなす角、同一視する際のずれ里利用する自然特徴線分の 1 、長さ、直線からのずれ量のち少なくと一つでめるこの計算も、関数式を用いて正確な値として算出するともできるが、複数段階の値としてテブルにより簡易に求めるようにしても良い

なお尤 mのなす角によつて重みを計算する場 α にはそれが直角に近いほど高い重みの値とするまた同一視する際のずれ醫によって重みを計算する場合にはそれが小さいほど高い重みの値とする。自然特徵線分の位置長さ、直線からのずれ量のような重みの値によって重みを計算する場口には、それが高いほど高いみの値とする

こうして、全ての L i n e A C について評価が終了するまで（ステップ S 3 6 ) 1 i n e A C の重み算出を繰りす。そして全ての 1 i n e A Cを評価したならば上記ステップ S 1 4 に進んで、位置姿勢取得部 1 2 1 3 により、それら重みづけされた特徴力、ら画像入力部 1 1 つまは当該画像処理装置 1 0 の位置及び姿を算出する上記ステップ S 1 4 における位置姿勢取得部 1 2 1 3 での位置及び姿勢の算出は、マーカ、 N F N F A C点、自然特徴線分、及び A Cされた自然特徴線分の少なくとも一つの重みを利用する。例えば、マーカ、 N F A C点、 A Cされた自然特徴線分が画面内に混在する場合、上記したようなパラメータに、レて各々の重み付けがされ、それぞれについて位置及び姿勢を算出した上で、重みに従って最終的な位置及び姿勢計算 (例えば加重平均、過去情報からの予測を含む計算

(力ルマンフィル夕 ) ) を行うことになる。

この場図 7 に示すように、特徴部の種別に応じて更に重みづけを行つても良い。例えば、マーカは、予め用したものであるため信頼できる種別と判断し、重みを厂 1 . 0」つまりは重みづけ部 1 2 1 2 で付された重みをそのまま用いるれに対して、 N F A C点は、画像から点を抽出し 3 次元位置を計算したものであるので、様々な誤差要因を含む。このため、マ力よりも低い「 0. 4」とする。即ち、重みづけ部 1 2 1 2 で付された重みの値を更に 0. 4倍した値を重みとして使用する A Cされた自然特徴線分は、画像から線分を抽出したものであるが、上記 N F A C点と比べて線分としての連続性とレ要素があるため、信頼性が高い。のため、 Ν F A C 占よりも高く、マ一力よりも低い「 0. 8」とするものである

以上のように、抽出した特徴部を重みづけして使用するとで、入力画像 1 1 Aを光学的に補正する機能及びそのためのノラメ夕を算出する機能が不要となる。また特に 1β数 2004/010589

のマーカを同一視野内に捉えた場合、捉えたマーカの位置、大きさ、歪みに応じて計算上の重みを変化させるので、画像入力部 1 1 の位置及び姿勢の算出精度が向上する。

また、 N F の特徴度の高さ ( トラッキングの安定性の高さ ) 及び位置に応じて、重みを変化させるので、画像入力部

1 1 の位置及び姿勢の算出精度が向上する

また、 N F A された点から画像入力部 1 1 の ≠及び姿勢を算出する際 N F A C時の光線のなす角、光軸間最短距離 N F A Cに利用する N F の属性（特徴度の高さ、位置）に応じて重みを変化させるので、画像入力部 1 1 の位置及び姿勢の算出精度が向上する。

また、自然特徴線分の位置、長さ、直線からのずれ S )心じて、重みを変化させるので、画像入力部 1 1 の 1^1≠.及び姿勢の算出精度が向上する。

また、 L i n e A C された線分から画像入力部 1 1 の位置及び姿勢を算出する際、光線のなす角、同視する ¾1 のずれ里利用する自然特徴線分の位 Λ、長、直線からのずれ量に応じて重みを変化させるので、画像入力部 1 1 の位置及び姿勢の算出精度が向上する。

また、置及び姿勢の算出時には、マー力による位置及び姿勢算出、 N F による位置及び姿勢算出、 N F A Cによる置及び姿勢算出、自然特徴線分による位置及び姿勢算出、及び L i n e A Cによる位置及び姿勢算出を各重みを考慮した上で統合的に処理する。そのため、マー力とその他の特徵部例えば N F A C とが混在する画面からマ力がはずれていくような場合、もしくは逆の場合に、画像入力部 1 1 の位置及び姿勢算出の精度が向上する。

以上のような一実施例に係る画像処理装置の応用例を、以下に例示する。

[応用例 1 ]

本実施例により撮像装置の位置及び姿勢計算を実現する装置が、画像重畳装置として構成される（入力画像の歪を除去する機能は含んでいない）。図 3 に示すように、工場内には複数のマ一力 4が貼られている。この図 3 のような入力画像 1 1 Aの場合、パターン「A」を有するマ一力は、入力画像 1 1 A内の位置、大きさ、歪から重み「 0. 8」、パ夕一ン Γ L j を有するマーカは「 0. 6」、パターン Γ Z」を有するマーカは「 0. 2」となる。各マーカから得られる位置及び姿勢を加重平均することにより、最終的な撮像装置の位置及び姿勢を求め、配管情報及び配管の 3 次元モデルを入力画像に重畳して表示する。

[応用例 2 ]

本実施例に係る画像処理装置をテーマパークのナビゲーシヨンシステムに応用する。画像処理装置としては、カメラ付き携帯電話を想定する。この場合、各アトラクションにはマーカが設置されている。ァトラクション間をナビゲーションする経路情報（重.畳表示）は、 N F A C点及び A Cされた自然特徴線分の少なくとも一方から求める撮像装置の位置及び姿勢に基づいて行われる。だんだんとァトラクションのマーカが視野（入力画像）内に捉えられる状態になってくると、適宜重みが変化するので、その時ハ占、、で最も精度の高い撮像装置位置及び姿勢情報に基づいて、経路情報及び各種ァ卜ラクシヨン演出モデル（ 3 次元）をネッ卜フーク上のサ ―パや事前に携帯電話内に格納したデ ―夕セッ卜等から取し、宜 2¾不一 9 る。

[応用例 3 ]

本実施例に係る画像処理装置を画像 M宜装置に応用する o この画像重畳表示装置に 2 状態の初期姿勢と対応する入力画像を与えることにより、 N F A C点及び A C された自然特徴線分によるトラツキングが可能になつている o 宜ス寸象として工場内施設の 3 次元モデルを記憶している。現状視野 (入力画像）に対応する 3 次元モデルに直線成分が多く含まれている場合、自動的に自然特徴線分への重みが増加するため、より高精度な画像重畳を実現できる o

以上、一実施例に基づいて本発明を説明したが、本発明は上述した一実施例に限定されるものではなぐ、本発明の ¾r ヒ要曰の範囲内で種々の変形や応用が可能なことは勿論である □ 例えば、上記一実施例は、撮像装置等による入力画像に関連する情報を基にマーカ、自然特徴点、ォ一トキャリブレ一シヨンされた自然特徴点、自然特徴線分、ォー卜キャリブレ一ションされた自然特徴線分の重みを変更した。しかしながら、本発明が重みを変更する情報源はこれに限定されるものではない。例えば、図示しない隱部に記憶された 3 次元モデルを撮像装置の位置及び姿勢にづいて特定し、該 3 次元モデルが直線要素を多数含む場合は、上記応用例 3 のように、自然特徴線分及び才ー卜キャリブレ一ションされた自然特徴線分の少なくとも一方の重みを相対的に上昇させても良い。また、同様に、該 3 次元モテルが角を多数含む場合や角もしくは点として認識できるテクスチヤを有する合は、自然特徴点及びオートキャリブレ一シヨンされた自然特徴点の少なくとも一方の重みを相対的に上昇させても良い

Claims

m 求の範囲

1 - 対象物を siする撮像装置と、

上 §し 3¾像装置で撮影した視野内から特徴部を抽出する特徴部抽出部と、

上記特徴部抽出部で抽出された特徴部の抽出条件に応じた重みを算出して、その特徴部を直みづけする重みづけ部と、上記重みづけ部で重みづけされた上記特徴部から、基準座

& 玄での上し像装置の位置及び姿勢を取得する位置姿勢取と、

を具備することを特徴とする画像処理装置

2 - 上記特徴部抽出部が抽出する特徴部は、上記撮像装置で撮影した視野内に含まれる位置及び姿勢が既知のマ一力であり、

上記重みづけ部は、上記マ一力の位、大きさ、歪み里、及び、上記撮像装置に対する姿勢のち、少なくとも一に基づいて重みを決定することを特徴とする請求項 1 に記載の画像処理装 \ 。

3 • 上記重みづけ部は、上記マ力の位置が上記撮像置で撮影した視野内の中央に近いほど高い重みの値とするとを特徴とする求項 2 に記載の画像処理装 m 。

4 • 上記重みづけ部は、上記マ力が上記撮像装置で撮影した視野内で大さいほど高い重みの値とすることを特徵とする m求項 2 に記載の画像処理装置

5 • 上記重みづけ部は、上記マ力の歪み M.が小さいほど高い雷みの値とすることを特徴とする請求項 2 に記載の画像処理装置。

6 . 上記重みづけ部は、上記マ一力の上記撮像装置に対する姿勢が正面に近いほど低い重みの値とし直角に近いほど高い重みの値とするとを特徴とする請求項 2 に記載の画像処理装

7 . 上記特徴部抽出部が抽出する特徴部は、上記撮像装置で撮影した視野内に含まれる自然特徵点でめり、

上記重みづけ部は、上記自然特徴点の位置特徴度 ¾示す量、及ぴ、卜ラ Vキングの連続数のうち、少な < とも一つに基づレて重みを決定することを特徴とする請求項 1 に記載の画像処理 ¾S IS.

8 . 上記重みづけ部は、上記自然特徴点の u idが上記撮像装置で撮影した視野内の中央に近いほど高い重みの値とすることを特徴とする m求項 7 に記載の画像処理装置 o

9 . 上記自然特徴占の特徴度を 9 虽自然特徵点周辺の分散共分散行列の最小固有値、及び、画素値の強度のうち、少なぐとち ―つでめることを特徵とする m求項 7 に記載の画像処理装置 o

1 0 • 上記重みづけ部は、上記自然特徴占の卜ラッキングの連数が大きいほど高い重みの値とするとを特徴とする請求項 7 に記載の画像処理装置。

1 1 上記特徴部抽出部は、上記撮像装置で撮影した視野内に含まれる自然特徴点を抽出して、その自然特徴点のオートキャリブレーションを実施することにより、オートキヤリブレ一ションされた点を上記特徴部として抽出し、みづけ部は、上記特徴部抽出部による自然特徴点のォー卜キャ U ブレシ 3 ン時の条件に基づいて重みを決定することを特徴とす求項 1 に記載の画像処理装置

1 2 • 上記自然特徴占のォー卜キャリブレーシ 3 ン時の条件は光線のなす角光線間の最短距離、利用する自然特徵点の位 m 利用する白然特徴点の特徴度示す里及び、利用する特徴点の卜ラ Vキングの連続数のうち、少なくと fc 一つでめるとを特徴とする m求項 1 1 に記載の画像処理装

1 3 . 上記みづけ部は、上記光線のなす角が直角に近いほど高い重みの値とすることを特徴とする請求項 1 2 ^ 5D 載の画像処理装置

1 4 . 上記重みづけ部は、上記光線間の最短距離が短いほど高い重みの値とするとを特徴とする請求項 1 2 に記載の画像処理装置

1 5 . 上記重みづけ部は、上記利用する自然特徴点の重みの値が高いほど高い重みの値とするとを特徴とする請求項 1 2 に記載の画像処理

1 6 . 上記特徴部抽出部が抽出する特徴部は上記撮像装で： jte した視野内に含まれる自然特徴線分であり

上記重みづけ部は、上記自然特徴線分の位置、長さ、直線からのずれ及び、トラッキングの連続数のうち少なくとも一つに基づいて重みを決定することを特徴とする請求項

1 に記載の画像処理装置。

1 7 . 上記みづけ部は、上記自然特徴線分の位置が上言象衣置で撮影した視野内の中央に近いほど高いみの値とするとを特徴とする請求項 1 6 に記載の画像処理 ¾置

1 8 • 上しみづけ部は上記自然特徵線分の長さが長いほど高い重みの値とするとを特徴とする請求項 1 6 に記載の画像処理 ¾

1 9 上記重みづけ部は上記自然特徴線分の直線力、らのずれ里が少ないほど高い重みの値とすることを特徴とする請求項 1 6 に記載の画像処理 m

2 0 - 上記重みづけ部は上記自然特徴線分のラッ十ングの連続数が大きいほど高い重みの値とすることを特徴とする請求項 1 6 に記載の画像処理装置 o

^

2 1 • 上記特徴部抽出部は -t pD撮像装置で影した視野内に含まれる自然特徴線分を抽出しその自然特徴線分のォー卜キヤリブレー -ションを実施する .ことによりォー卜キャリブレーシ a ンされた線分を上記特徴部として抽出し、上記重みづけ部は、上記特徴部抽出部による自然特徴線分のォ卜キヤリブレ一ション時の条件に基づいて重みを決定するとを特徴とする請求項 1 に記載の画像処理装置。

2 2 . 上記然特徴線分のォ一トキヤリブレーシヨン時の条件は、 τά のなす角、同一視する際のずれ量、利用する自然特徴線分の位置、長さ、直線からのずれ量、トラツキングの連続数のうち、少なくとも一つであることを特徴とする請永項 2 1 に記載の画像処理装置。

2 3 . 上記重みづけ部は、上記光線のなす角が直角に近いほど ¾レ重みの値とすることを特徴とする請求項 2 2 に記載の画像処理装置

2 4 . 上記重みづけ部は、上記同一視する際のずれ量が小さいほど高い重みの値とするとを特徴とする請求項 2 2 に記載の画像処理装 id

2 5 . 上記重みづけ部は、上記利用する自然特徴線分の重みの値が高いほど高い重みの値とすることを特徴とする請求項 2 2 に記載の画像処理装置

2 6 . 上記特徴部抽出部が上記撮像装置で撮影した視野内力ら複数の特徴部を抽出したとさ、

上記重みづけ部は、それら複数の特徴部それぞれについて個別に重みを算出して重みづけを行い、

上記位置姿勢取得部は、重みづけされた複数の特徴部力、ら上記撮像装置の位置及び姿勢を計算することを特徴とする請求項 1 に記載の画像処理

2 7 . 各特徵部は、位置及び姿勢が既知のマーカ、自然特徵点、商然特徴占をォー卜キャリブレーシヨンした占白然特徴線分及び自然特徴線分をォー卜キヤリブレーションした線分の何れかであり、

上記重みづけ部は、マーカの位置、マーカの大きさ、マ一力の歪み量、マーカの上記撮像装置に対する姿勢、自然特徴点の位置、自然特徴点の特徴度を示す量、自然特徴点のトラッキングの連続数、自然特徴点のオートキヤリブレーション時の条件、自然特徴線分の位置、自然特徴線分の長さ、自然特徴線分の直線からのずれ量、自然特徴線分のトラツキングの連続数、及び、自然特徵線分のオートキヤリブレーション時の条件のうち、少なくとも一つに基づいてみを決定することを特徴とする請求項 2 6 に記載の画像処理装 m

2 8 . 各特徴部は、位置姿勢が既知のマ力自然特徴点、自然特徴点をォ一卜キヤリブレ一ションした占、自然特徵線分、及び、自然特徴線分をォートキヤブレシヨンした線分の何れかであり、

上記位置姿勢取得部は、特徴部の種別に応じて更に重みづけを行った上で、位置及び姿勢を計算するとを特徴とする請求項 2 6 に記載の画像処理装置。

2 9 . 上記重みづけ部は、マーカの位置マ力の大きさ、マーカの歪み量、自然特徴点のオートキャ U ブレ一ション時の条件、及び、自然特徴線分のォ一トキャ U ブレーション時の条件のうち、少なくとも一つに基づいて重みを決定し上 d位直姿勢取得部は、上記マ一力の位置マ力の大きさ、及びマーカの歪み量の何れかに基づいて重みを決定したときが最も高く上記自然特徴線分のォ、卜キャリプレーション時の条件に基づいて重みを決定したときが次に高く、上記自然特徴点のオートキャリブレシ 3 ン時の条件に基づいて重みを決定したときがも低い重みを、上記重みづけ部で重みづけされた特徴部に更に付すとを特徴とする求項

2 8 に記載の画像処理装置 o

3 0 . 上記位置姿勢取得部での計算は Jt記重みづけされた複数の特徴部それぞれについて取得した位置及び姿勢を、加重平均すること、及び、過去情報からの予測を含む算を行うこと、の一方により、最終的な像壮

3¾置の位置及び姿勢を算出することを特徴とする請求項 2 6 乃至 2 9 の何れかに記載の画像処理装置。