JPH0981790A - 三次元形状復元装置および方法 - Google Patents

Abstract

(57)【要約】 【課題】 画像の視点を被写体の形状によって自由に設
定することができるようにし、三次元形状を高精度に復
元できるようにする。 【解決手段】 撮像装置の動きを検出する角速度センサ
６および加速度センサ７と、上記２つのセンサ６、７に
より検出された撮像装置の動きと画像処理部５により求
められた被写体画像の動きとに基づいて光軸方向の補正
量を判定する解析部８とを設け、撮影時において、異な
る視点からの光軸が任意の点で交わるように、各視点で
の光軸方向を補正するようにすることにより、撮影時の
視点を自由に選択することができるようにするととも
に、各視点からの画像の座標軸が共通となるようにして
各画像間の対応付けを容易に行うことができるように
し、立体形状を復元する際の処理の負担を軽減する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、特定の被写体を異
なる視点から撮影し、これにより得られた複数の画像中
の対応点を判定し、被写体の三次元形状を画像上で復元
する三次元形状復元装置および方法に関する。

【０００２】

【従来の技術】従来、特定の被写体を異なる視点から撮
影し、得られた複数の画像中の対応点を判定し、被写体
の立体形状を復元する方法が知られている。このような
三次元情報の獲得方法は、例えば「ロボットビジョン」
（谷内田正彦著：昭晃堂）の中で詳しく述べられてい
る。この方法は、視点が異なることにより生じる視差を
利用し、三角測量の原理をもとにして被写体の三次元情
報を得るものである。

【０００３】

【発明が解決しようとする課題】しかしながら、上記従
来の技術では、複数の画像中の対応点の判定が困難であ
るため、三次元形状の復元を高精度で行うためには、各
画像間の相対位置関係を把握することが必要であった。

【０００４】ところが、従来は、測定装置に対する被写
体の位置は固定されており、また、撮影位置もあらかじ
め決められていたため、自由な位置からの撮影ができな
かった。したがって、被写体の形状に適した視点からの
撮影を行うことができず、被写体の形状によっては三次
元形状の復元が困難な場合があった。

【０００５】本発明はこのような状況に鑑みて成された
ものであり、撮影時の視点の動きを検知して画像中の被
写***置を制御できる機能を持たせることにより、画像
の視点を被写体の形状によって自由に設定することがで
きるようにし、三次元形状を高精度に復元できるように
することを目的とする。

【０００６】

【課題を解決するための手段】本発明の三次元形状復元
装置は、特定の被写体を異なる視点から撮影し、得られ
た複数の画像中の被写体の対応点を求め、上記被写体の
三次元形状を画像上で復元する三次元形状復元装置にお
いて、上記異なる視点からの光軸が任意の点で交わるよ
うに、各視点での光軸方向を補正する光軸方向補正手段
を具備する。

【０００７】本発明の他の特徴とするところは、上記光
軸方向補正手段は、撮影時における撮影光学系の動きを
検出し、検出された動きをもとにして光軸方向の補正を
行うことを特徴とする。

【０００８】本発明のその他の特徴とするところは、特
定の被写体を異なる視点から撮影し、得られた複数の画
像中の被写体の対応点を求め、上記被写体の三次元形状
を画像上で復元する三次元形状復元装置において、上記
被写体の撮影時に所定のパターンを上記被写体とともに
撮影する撮影手段と、上記撮影手段による撮影によって
得られた画像中の上記パターンを認識して上記パターン
と上記視点との相対位置関係を検出し、その検出結果に
基づいて、任意の点からの光軸方向のずれを補正する光
軸方向補正手段とを具備する。

【０００９】本発明のその他の特徴とするところは、上
記光軸方向補正手段は、上記パターンの撮影時における
パターン変形状態から撮影時の視点を検出し、その検出
結果に基づいて光軸方向の補正量を求めることを特徴と
する。

【００１０】本発明のその他の特徴とするところは、特
定の被写体を異なる視点から撮影し、得られた複数の画
像中の被写体の対応点を求め、上記被写体の三次元形状
を画像上で復元する三次元形状復元装置において、上記
被写体が画像中におさまるように、各視点での光軸方向
を補正する光軸方向補正手段を具備する。

【００１１】本発明のその他の特徴とするところは、上
記光軸方向補正手段は、撮影時における撮影光学系の動
きを検出する検出手段と、上記検出手段により検出され
た撮影光学系の動きを被写***置上での動きに変換する
変換手段と、上記変換手段により求められた動きと撮影
により得られた画像から求められた動きとを比較するこ
とにより被写体領域を判定し、上記被写体領域が画像中
におさまるように、各視点での光軸方向を補正する手段
とを具備することを特徴とする。

【００１２】本発明の三次元形状復元方法は、特定の被
写体を異なる視点から撮影し、得られた複数の画像中の
被写体の対応点を求め、上記被写体の三次元形状を画像
上で復元する三次元形状復元方法において、上記異なる
視点からの光軸が任意の点で交わるように、各視点での
光軸方向を補正するようにする。

【００１３】本発明の他の特徴とするところは、請求項
７に記載の光軸方向の補正は、撮影時における撮影光学
系の動きを検出し、検出された動きをもとにして行う補
正であることを特徴とする。

【００１４】本発明のその他の特徴とするところは、特
定の被写体を異なる視点から撮影し、得られた複数の画
像中の被写体の対応点を求め、上記被写体の三次元形状
を画像上で復元する三次元形状復元方法において、上記
被写体の撮影時に所定のパターンを上記被写体とともに
撮影し、これにより得られる画像中の上記パターンを認
識して上記パターンと上記視点との相対位置関係を検出
し、その検出結果に基づいて、任意の点からの光軸方向
のずれを補正するようにする。

【００１５】本発明のその他の特徴とするところは、請
求項９に記載の光軸方向の補正は、上記パターンの撮影
時における上記パターンの変形状態から撮影時の視点を
検出し、その検出結果に基づいて光軸方向の補正量を求
めるものであることを特徴とする。

【００１６】本発明のその他の特徴とするところは、特
定の被写体を異なる視点から撮影し、得られた複数の画
像中の被写体の対応点を求め、上記被写体の三次元形状
を画像上で復元する三次元形状復元方法において、上記
被写体が画像中におさまるように、各視点での光軸方向
を補正するようにする。

【００１７】本発明のその他の特徴とするところは、請
求項１１に記載の光軸方向の補正は、撮影時における撮
影光学系の動きを検出し、この検出した撮影光学系の動
きを被写***置上での動きに変換し、こうして求めた動
きと、撮影により得られた画像から求められた動きとを
比較することにより被写体領域を判定し、上記被写体領
域が画像中におさまるように、各視点での光軸方向を補
正するものであることを特徴とする。

【００１８】

【作用】本発明は上記技術手段より成るので、撮影時の
視点を自由に選択することが可能であり、このように視
点を自由に設定しても各視点からの光軸が任意の点で必
ず交わるように光軸方向が調整されるので、各視点から
の画像の座標軸が共通となって各画像間の対応付けが容
易となり、立体形状を復元する際の処理の負担が軽減さ
れる。

【００１９】また、本発明の他の特徴によれば、撮影光
学系の動きを検出するための特別なセンサ類を必要とせ
ずに、撮影時の視点を自由に選択することが可能となる
とともに、立体形状を復元する際の処理の負担が軽減さ
れる。

【００２０】

【発明の実施の形態】以下、本発明の実施の形態を図面
を参照して説明する。図５は、本実施の形態において被
写体が撮影される状態を示しており、被写体が特定の撮
影範囲にあり、この被写体を撮影者が視点をＡ，Ｂ，
Ｃ，…と変えながら撮影する場合を表している。

【００２１】ところで、三次元形状の復元を高精度で行
う方法としては、異なる視点間の相対位置関係または被
写体と視点との相対位置関係を利用して画像間の対応付
けを行う方法がある。

【００２２】例えば、図６に示されるように、視点Ｏを
中心とした座標を考えると、撮影された画像中の点ａ
（ｘ，ｙ）と、実際の被写***置Ａ（Ｘ，Ｙ）との関係
は、撮影時の光学系の焦点距離をｆ、視点Ｏと被写体上
の点Ａとの距離をＺとすると、次式によって表すことが
できる。 ｘ＝Ｘｆ／Ｚ、ｙ＝Ｙｆ／Ｚ …（１式）

【００２３】この状態で視点を変えた場合には、変更前
後の視点間の平行移動および光軸方向の回転による式の
変換が必要になる。例えば、視点がＸ方向に距離ｄＸだ
け移動し、さらに角度ｄＱだけ座標軸が回転したとする
と、点Ａの変換後の点Ａ′の座標（Ｘ′，Ｙ′，Ｚ′）
は次のようになる。 Ｘ′＝Ｘcos ｄＱ＋Ｚsin ｄＱ＋ｄＸ …（２式） Ｙ′＝Ｙ …（３式） Ｚ′＝−Ｘsin ｄＱ＋Ｚcos ｄＱ …（４式）

【００２４】また、複数の画像中に共通に存在する点ｂ
がある場合、視点から被写体までの距離は次の方法によ
り求められる。今、単純に視点がＸ方向にｄＸだけ平行
移動したとする。このとき、画像中の点ｂでの画素の傾
きをＥｂ、変更前後の２枚の画像間の点ｂでの画素の傾
きをＥｔとすると、ｆを焦点距離として次式が成り立
つ。 −ｆ・Ｅｂ・ｄＸ／Ｚ＋Ｅｔ＝０ …（５式）

【００２５】したがって、視点間の相対位置関係および
光学系の焦点距離ｆが分かれば、画像間の対応付けが可
能となる。ところが実際には、各視点間の相対位置関係
は、方向および角度で６つの自由度を持っており、複数
の画像があれば、対応付けの処理は複雑になる。そこ
で、本実施の形態では、この処理を簡略化できるように
するために、複数の画像間で座標軸を共通にするように
している。

【００２６】座標軸の共通化は、図５に示すように、各
視点Ａ，Ｂ，Ｃからの光軸が常に１点で交わるように制
御することによって行う。すなわち、撮影時に図５中の
点Ｐに相当する共通点に光軸方向を常に向ける制御を行
う。これにより、処理の負担が減り、三次元形状をリア
ルタイムで復元することが可能となる。

【００２７】この方法を実現する装置の一例を、図１に
示す。図１に示されるように、本実施の形態の三次元形
状復元装置は、レンズ１、撮像デバイス２、第１のＡ／
Ｄ変換器３ａ、第２のＡ／Ｄ変換器３ｂ、第３のＡ／Ｄ
変換器３ｃ、信号処理部４、画像処理部５、角速度セン
サ６、加速度センサ７、解析部８、メモリ９、光軸制御
部１０、プリズム１１、駆動部１２、復元部１３から成
っている。

【００２８】上記レンズ１は、被写体を撮影するための
ものであり、被写体像を撮像デバイス２上に結像させ
る。上記撮像デバイス２は、上記レンズ１によって結像
された被写体像を電気信号に変換するためものである。

【００２９】上記第１のＡ／Ｄ変換器３ａは、上記撮像
デバイス２からのアナログ信号をディジタル信号に変換
し、第２のＡ／Ｄ変換器３ｂは、上記角速度センサ６か
らのアナログ信号をディジタル信号に変換し、第３のＡ
／Ｄ変換器３ｃは、上記加速度センサ７からのアナログ
信号をディジタル信号に変換する。

【００３０】上記信号処理部４は、上記撮像デバイス２
から出力され、上記第１のＡ／Ｄ変換器３ａによってデ
ィジタル化された電気信号を画像信号に変換する。上記
画像処理部５は、上記信号処理部４によって変換された
画像信号を処理して動きベクトルを検出する。

【００３１】上記角速度センサ６は、撮像装置の動きを
角速度を基準にして検出するものであり、上記加速度セ
ンサ７は、撮像装置の動きを加速度を基準にして検出す
るものである。また、上記解析部８は、光軸方向の補正
量を判定するものであり、上記メモリ９は、光軸方向の
情報および画像を保存するためのものである。

【００３２】上記光軸制御部１０は、上記解析部８から
の信号により光軸方向の調整を行うものであり、プリズ
ム１１は光軸を実際に調整するためのものである。ま
た、上記駆動部１２は、プリズム１１を駆動して光軸方
向を調整するためのものであり、復元部１３は、得られ
た画像および各画像の相対位置関係から被写体の立体形
状を復元するものである。

【００３３】このように構成された本実施の形態の三次
元形状復元装置では、撮影時においては、被写体映像が
レンズ１を介して撮像デバイス２上に結像され、電気信
号に変換される。そして、撮像デバイス２から出力され
る電気信号は、第１のＡ／Ｄ変換器３ａを通してディジ
タル化された後に、信号処理部４で画像信号に変換され
る。

【００３４】また、信号処理部４から出力される画像信
号は、画像処理部５および解析部８へ順次送られる。画
像処理部５では、信号処理部４から直接送られてきた画
像信号と、メモリ９に保持されていた一定期間前の画像
信号とから、画像中に設定した複数の領域内で動きベク
トルの算出を行う。

【００３５】ここで、時系列上にある２枚の画像信号か
ら動きベクトルを求める方法としては、既知の方法を用
いることができる。なお、ここでは、その詳しい説明は
省略する。画像処理部５により計算された動きベクトル
は、次に、解析部８へ送られる。

【００３６】一方、撮像装置本体（図示せず）に取り付
けられた角速度センサ６および加速度センサ７では、そ
れぞれ撮像装置の動き（回転・平行運動成分）が検出さ
れる。これら２つのセンサ６および７で検出された信号
は、それぞれＡ／Ｄ変換器３ｂ，３ｃを通してディジタ
ル化される。これらのディジタル化された角速度信号お
よび加速度信号は解析部８へ送られる。解析部８には、
このようにして画像信号、動きベクトル、角速度信号お
よび加速度信号がそれぞれ入力される。

【００３７】図２に、解析部８での処理の過程を示す。
解析部８では、まず、撮像装置がどのような運動を行っ
たかを判定する。すなわち、最初のステップＳ１におい
て、撮像装置の運動を示す信号が、２つのセンサ６およ
び７から角速度信号および加速度信号の形で送られてく
るので、これを入力する。

【００３８】次に、ステップＳ２に進み、ステップＳ１
において入力した角速度信号および加速度信号を画像信
号に同期させて積分し、角度と速度および移動距離の形
にする。これらの値はメモリ９に記録され、次の角度・
速度・移動距離を求める際に定数項として加えられる。

【００３９】次に、ステップＳ３に進み、ステップＳ２
にて求められた角度と速度とから、画像中の被写体部分
に相当する動きベクトルを計算して求める。すなわち、
画像中に設定された動きベクトルを求める複数の領域の
それぞれに対し、領域中の任意の一点ｐ（ｘ，ｙ）を選
択する。そして、観測側の光学的な節点を中心としたｘ
ｙｚ座標系を設定し、ｘ、ｙ、ｚ軸方向の水平運動成分
をＴｘ、Ｔｙ、Ｔｚとし、ｘ、ｙ、ｚ軸を中心とした回
転運動成分をＷｘ、Ｗｙ、Ｗｚとする。

【００４０】いま、光学系の焦点距離をｆとし、さらに
物体までの距離Ｚを被写体までの距離に相当する値に設
定すると、動きベクトル（ｕ，ｖ）は次の近似式を用い
て求められる。 u=(-f・Tx+x・Tz)/Z+( -f・Wy+y・Wz+x・y ・Wx/f-x² ・Wy/f) …（６式） v=(-f・Ty+y・Tz)/Z+(f・Wz-x・Wz-x・y ・Wy/f+y² ・Wx /f) …（７式）

【００４１】次に、ステップＳ４において画像からの動
きベクトルを画像処理部５より入力する。そして、次の
ステップＳ５において、ステップＳ３にて計算した動き
ベクトルと、ステップ４にて入力した画像から求められ
た動きベクトルとを比較し、これらのベクトル要素がほ
ぼ等しい場合には被写体が存在する領域として判断す
る。次に、ステップＳ６において、全ての領域について
被写体の存在を判断し、画像中の被写体領域を決定す
る。

【００４２】被写体領域が決定されたら、次に、ステッ
プＳ７に進み、メモリ９内に保存されている過去の被写
体領域との相関を調べる。ここでは、求められた相関値
があらかじめ設定されたしきい値より大きい場合は、前
回と同一の被写体であると判断し、次の処理に移る。

【００４３】一方、この時点で相関値がしきい値よりも
小さい場合は、光軸調整は行わず、現在の状態を保持す
る。この時点で、ステップＳ８において、画像信号およ
び画像中の被写体と判断された領域に関するデータをメ
モリ９に保存する。

【００４４】次に、ステップＳ９〜Ｓ１１において、光
軸方向の補正量を決定するとともに、被写体距離を計算
する。すなわち、角速度センサ６および加速度センサ７
によって求められた視点の角度・距離変化量から、前回
までの光軸が交差する位置に対する今回の補正量を幾何
学的に計算し、これを角度補正量とする。

【００４５】また、上述したように、画像処理部５にお
いて前回撮影された画像と今回撮影された画像との動き
ベクトルが求められているが、この動きベクトルの中か
ら、今回被写体領域と判断された領域のベクトルを抽出
し、これをもとに二次元の画像上のずれ量を求める。

【００４６】この求められたずれ量は、画素を単位とし
た位置ずれであるので、これを角度情報に変換する。ず
れ量と角度との関係は、ｆを焦点距離、ｘを像面上の画
素単位のずれ量、ａを角度とすると、次式で表せられ
る。 ｆ＝ｘ・ｔａｎ（ａ） …（８式）

【００４７】上記（８式）を用いてずれ量を角度に変換
する。次に、このずれ量（角度）と２つのセンサ６およ
び７より求められた角度・速度・移動距離の各信号とか
ら、被写体までの距離を計算する。

【００４８】この時点で、各視点の光軸が交わる点が設
定されていない時は、ステップＳ９からステップＳ１０
に進み、先に求めた被写体までの距離をもとに、この距
離より交点が遠くになるように設定する。その後、ステ
ップＳ１１において、この設定した位置に対する光軸方
向に補正量を求めるとともに、交点の位置をメモリ９に
保存する。

【００４９】以上のようにして解析部８で求められた光
軸方向のずれを補正する角度情報は、補正信号として光
軸制御部１０へ送られる。また、角度・速度・移動距離
等の被写***置に関する情報はメモリ９へ保存される。
光軸制御部１０では、解析部８から与えられる補正信号
に相当するプリズム１１の変化量が求められ、プリズム
用の補正信号とされる。

【００５０】光軸制御部１０で求められた補正信号は、
駆動部１２へ送られる。駆動部１２では、レンズ１の前
方に置かれたプリズム１１の角度を変化させることによ
って光軸方向を変化させ、画像中の被写***置の補正を
行う。この光軸補正方法については、上述したようなプ
リズム１１による補正の他に、ステッピングモーターに
よる鏡筒方向の調整を行っても同じ効果が得られる。

【００５１】また、復元部１３では、撮影により得られ
た複数の画像と、それらの画像間の相対位置関係の情報
とをメモリ９から読み出し、上述した（１式）〜（４
式）を用いて被写体の三次元形状を復元する。

【００５２】以上の方法により、被写体に対して視点を
移動させながら被写体の撮影を行った場合においても、
各視点からの光軸は設定された点を常に通過するように
なる。したがって、この方法を用いて得られた画像を立
体形状認識等の処理に用いた場合、処理の精度を上げる
ことができる、処理の負担を軽減することができる、等
のメリットが得られる。

【００５３】以下、第２の実施の形態について図面に基
いて説明する。図３は、第２の実施の形態に係わる撮像
装置であり、レンズ１、撮像デバイス２、第１のＡ／Ｄ
変換器３ａ、第４のＡ／Ｄ変換器３ｄ、信号処理部４、
画像抽出部１６、磁気センサ１４、センサ・ドライブ部
１５、解析部８、メモリ９、復元部１３から成ってい
る。

【００５４】ここで、上記画像抽出部１６は、上記信号
処理部４で得られた画像信号から必要範囲の画像を切り
出す処理を行うものである。上記磁気センサ１４は、撮
像装置の位置および角度を検出するものである。上記セ
ンサ・ドライブ部１５は、上記磁気センサ１４を作動さ
せるための磁界を発生させるものである。

【００５５】また、上記第４のＡ／Ｄ変換器３ｄは、上
記磁気センサ１４から出力されるアナログ信号をディジ
タル信号に変換するためのものである。上記メモリ９
は、被写体情報を保存するためのものである。その他の
部分は、図１に示したものと同じである。

【００５６】本実施の形態における撮影の状況として
は、図３に示すセンサ・ドライブ部１５が被写体の近傍
または同じ位置にあるものとする。なお、図３におい
て、信号処理部４で画像信号を得るまでの処理は、第１
の実施の形態と同様であるので説明を省略する。上記信
号処理部４で求められた画像信号は、画像抽出部１６へ
送られる。

【００５７】一方、撮像装置本体に取り付けられた磁気
センサ１４からは、センサ・ドライブ部１５が置かれた
地点を座標中心とした撮像装置の位置および角度を示す
信号が得られる。磁気センサ１４では、この位置・角度
信号を画像信号と同期して検出する。磁気センサ１４に
より検出された位置・角度の各信号は、それぞれ第４の
Ａ／Ｄ変換器３ｄを通してディジタル化される。そし
て、ディジタル化された位置・角度信号は、解析部８へ
送られる。

【００５８】解析部８では、光軸方向の補正量を判定す
る。すなわち、得られた位置・角度信号から、撮像時の
光軸の向きと、理想的な光軸の向きとを算出する。理想
的な光軸の向きは、目標地点と撮像位置との相対的な位
置関係としてあらかじめ設定可能であり、ここではセン
サ・ドライブ部１５のある位置と撮像位置とをつなぐ直
線を理想的な光軸とする。

【００５９】上述のように、撮像装置の位置・角度（向
き）は、磁気センサ１４により分かるので、理想的な光
軸が画像中のどの位置になるかは、幾何学的な関係か
ら、上記（８式）より計算することが可能である。解析
部８は、こうして計算した画像上の光軸の位置を光軸補
正信号として画像抽出部１６へ送る。

【００６０】画像抽出部１６では、解析部８で得られた
光軸補正信号をもとに、信号処理部４で得られた画像信
号から必要部分の画像の切り出しを行う。すなわち、画
像抽出部１６では、信号処理部４から画像信号が入力さ
れると、解析部８からの光軸補正信号に基づき画像の切
り出しによって光軸調整を行う。

【００６１】つまり、画像抽出部１６は、解析部８から
の光軸補正信号で示される画像上の位置を中心にして、
設定された範囲内の画像を切り出す。そして、この切り
出した画像を新たな画像信号とし、この画像信号および
撮像装置の位置・角度信号を復元部１３へ送る。復元部
１３では、このようにして得られた画像および視点と被
写体との相対位置関係より被写体の立体形状を復元す
る。

【００６２】以上の方法により、被写体の立体形状を得
ることができる。この実施の形態では、第１の実施の形
態に比べ、撮像装置の位置および角度の検出から光軸補
正までの処理に時間遅れが少ないため、制御が容易とい
うメリットがある。

【００６３】以下、第３の実施の形態について図面に基
いて説明する。図４は、第３の実施の形態に係わる撮像
装置であり、レンズ１、撮像デバイス２、第１のＡ／Ｄ
変換器３ａ、信号処理部４、解析部２１、メモリ９、光
軸制御部１０、復元部１３、ステッピングモーター１８
および駆動部２２から成っている。

【００６４】ここで、解析部２１は、被写***置の補正
量を判定するためのものである。ステッピングモーター
１８は、後述するレール１７上を撮像装置の光学系を移
動させるためのものであり、レール１７上の撮像装置の
光学系をヨー角・ピッチ角・ロール角方向に駆動する。
また、駆動部２２は、ステッピングモータ１８を駆動す
るためのものである。

【００６５】本実施の形態における撮影の状況として
は、図７に示すように、撮像装置は固定されたレール１
７上を自由に走査することができるようになされる。そ
して、レール１７内の撮影範囲の任意の位置には、適当
な複数のパターン１９が描かれたカード２０が置かれ
る。このカード２０は、レール１７内の位置を判定する
ために利用される。

【００６６】上記パターン１９の信号は、ディジタル化
されてあらかじめ撮像装置内のメモリ９に保存されてい
る。図７に示すように、被写体は、このカード２０の上
に全てのパターン１９が隠れない状態で置かれているも
のとする。被写体がレール１７内の撮影領域より大きい
場合には、被写体上にパターン１９が存在するようにし
てもかまわない。

【００６７】レール１７により設定された撮影範囲内の
被写体およびカード２０の映像は、図４のレンズ１を介
して撮像デバイス２上に結像され、電気信号に変換され
る。撮像デバイス２から出力される電気信号は、第１の
Ａ／Ｄ変換器３ａを通してディジタル化された後に、信
号処理部４で画像信号に変換される。信号処理部４から
出力される画像信号は解析部２１へ送られる。

【００６８】解析部２１では、まず、信号処理部４より
入力される画像信号とメモリ９に記憶されているカード
２０上のパターン１９の信号とのマッチングを行う。な
お、画像中にパターン１９がない場合、解析部２１では
その画像中に被写体がないものと判断し、光軸調整は行
わないようにする。

【００６９】画像中にパターン１９がある場合は、図８
に示すように、カード２０上のパターン１９は、光学系
の光軸方向によって見え方が変化している。そこで、マ
ッチング処理においてはこの点を考慮し、既存のパター
ン１９を変形させたパターン１９′を幾つか作り、この
変形したパターン１９′と画像中のパターンとのマッチ
ング処理を逐次行う。このパターンの変形のさせ方は、
ある平面に対してカード２０を適当な角度だけ傾けて投
影して出来たパターン１９′を用いるものとする。

【００７０】次に、最もよく一致した変形パターン１
９′を選び出し、この変形パターン１９′とオリジナル
のパターン１９とを比較し、オリジナルパターン１９を
見た光軸方向を計算する。これは、パターン１９を変形
する際に投影した角度を求めることにより計算すること
が可能である。

【００７１】また、カード２０上には複数のパターン１
９が存在するので、これらのパターン１９の位置関係か
らカード２０と光学系との相対位置関係を知ることがで
きる。以上の処理により、カード２０上の任意の位置
と、光軸がカード２０と交差する位置とのずれ量が計算
できる。

【００７２】そこで、カード２０上の任意の位置をあら
かじめメモリ９上に設定しておくことで、光学系の位置
が動いてもそのずれ量を常に検出できる。このずれ量
は、画素を単位として計算されるため、（８式）を用い
て角度に変換し、最終的な位置補正値を得る。この位置
補正値および画像は、メモリ９へ保存される。

【００７３】また、上述のようにして求められた位置補
正信号は、光軸制御部１０へ送られる。光軸制御部１０
では、解析部２１からの位置補正信号に相当するステッ
ピングモーター１８の駆動量、すなわち、鏡筒のヨー角
・ピッチ角・ロール角を変化させるための駆動量を求
め、これを駆動部２２へ送る。

【００７４】そして、駆動部２２により、鏡筒に接続さ
れたステッピングモーター１８を駆動させて光軸方向を
変化させ、画像中の被写***置の補正を行う。復元部１
３では、撮影により得られた画像および視点と被写体と
の相対位置関係より被写体の立体形状を復元する。

【００７５】以上の方法により、被写体の立体形状を得
ることができる。この実施の形態では、第１、第２の実
施の形態に比べ、センサが不要であることから装置の構
成を簡単にできるというメリットがある。

【００７６】

【発明の効果】本発明は上述したように、異なる視点か
らの光軸が任意の点で交わるように、各視点での光軸方
向を補正するようにしたので、撮影時の視点を自由に選
択することが可能となるとともに、各視点からの画像の
座標軸が共通となるようにして各画像間の対応付けを容
易にすることができ、立体形状を復元する際の処理の負
担を軽減することができる。したがって、被写体に適し
た視点から撮影を行うことが可能となり、これにより被
写体の三次元形状の復元の精度を上げることができ、か
つ復元時の処理速度を上げることができる。

【００７７】また、本発明の他の特徴によれば、所定の
パターンを被写体とともに撮影し、パターンマッチング
により検出した視点間の相対位置関係に基づいて光軸補
正を行うようにしたので、特殊なセンサを必要とせずに
被写体に適した視点からの撮影を行うことが可能とな
り、簡単な装置の構成で、被写体の三次元形状復元の精
度を上げることができ、かつ復元時の処理速度を上げる
ことができる。

【００７８】また、本発明のその他の特徴によれば、被
写体が画像中におさまるように各視点での光軸方向を補
正するようにしたので、撮影時の視点を自由に選択する
ことが可能となるとともに、各画像間の対応付けを容易
にすることができ、立体形状を復元する際の処理の負担
を軽減することができる。したがって、被写体に適した
視点から撮影を行うことが可能となり、これにより被写
体の三次元形状の復元の精度を上げることができ、かつ
復元時の処理速度を上げることができる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態を示すブロック図で
ある。

【図２】第１の実施の形態での解析部の処理を示すフロ
ーチャートである。

【図３】本発明の第２の実施の形態を示すブロック図で
ある。

【図４】本発明の第３の実施の形態を示すブロック図で
ある。

【図５】第１の実施の形態において被写体が撮影される
状態を示す図である。

【図６】視点を原点としたときの被写体と撮像面上との
関係を示す図である。

【図７】第３の実施の形態において被写体が撮影される
状態を示す図である。

【図８】第３の実施の形態での視点によるパターンの変
形状態を示す図である。

【符号の説明】

１ レンズ ２ 撮像デバイス ３ａ，３ｂ，３ｃ，３ｄ Ａ／Ｄ変換器 ４ 信号処理部 ５ 画像処理部 ６ 角速度センサ ７ 加速度センサ ８、２１ 解析部 ９ メモリ １０ 光軸制御部 １１ プリズム １２、２２ 駆動部 １３ 復元部 １４ 磁気センサ １５ センサ・ドライブ部 １６ 画像抽出部 １７ レール １８ ステッピングモータ １９ パターン ２０ カード

───────────────────────────────────────────────────── フロントページの続き (72)発明者 近藤 俊明 東京都大田区下丸子３丁目30番２号 キヤ ノン株式会社内 (72)発明者 倉橋 直 東京都大田区下丸子３丁目30番２号 キヤ ノン株式会社内 (72)発明者 飯島 克己 東京都大田区下丸子３丁目30番２号 キヤ ノン株式会社内

Claims (12)

【特許請求の範囲】
1. 【請求項１】 特定の被写体を異なる視点から撮影し、
   得られた複数の画像中の被写体の対応点を求め、上記被
   写体の三次元形状を画像上で復元する三次元形状復元装
   置において、 上記異なる視点からの光軸が任意の点で交わるように、
   各視点での光軸方向を補正する光軸方向補正手段を具備
   することを特徴とする三次元形状復元装置。
2. 【請求項２】 上記光軸方向補正手段は、撮影時におけ
   る撮影光学系の動きを検出し、検出された動きをもとに
   して光軸方向の補正を行うことを特徴とする請求項１に
   記載の三次元形状復元装置。
3. 【請求項３】 特定の被写体を異なる視点から撮影し、
   得られた複数の画像中の被写体の対応点を求め、上記被
   写体の三次元形状を画像上で復元する三次元形状復元装
   置において、 上記被写体の撮影時に所定のパターンを上記被写体とと
   もに撮影する撮影手段と、 上記撮影手段による撮影によって得られた画像中の上記
   パターンを認識して上記パターンと上記視点との相対位
   置関係を検出し、その検出結果に基づいて、任意の点か
   らの光軸方向のずれを補正する光軸方向補正手段とを具
   備することを特徴とする三次元形状復元装置。
4. 【請求項４】 上記光軸方向補正手段は、上記パターン
   の撮影時におけるパターン変形状態から撮影時の視点を
   検出し、その検出結果に基づいて光軸方向の補正量を求
   めることを特徴とする請求項３に記載の三次元形状復元
   装置。
5. 【請求項５】 特定の被写体を異なる視点から撮影し、
   得られた複数の画像中の被写体の対応点を求め、上記被
   写体の三次元形状を画像上で復元する三次元形状復元装
   置において、 上記被写体が画像中におさまるように、各視点での光軸
   方向を補正する光軸方向補正手段を具備することを特徴
   とする三次元形状復元装置。
6. 【請求項６】 上記光軸方向補正手段は、撮影時におけ
   る撮影光学系の動きを検出する検出手段と、 上記検出手段により検出された撮影光学系の動きを被写
   ***置上での動きに変換する変換手段と、 上記変換手段により求められた動きと撮影により得られ
   た画像から求められた動きとを比較することにより被写
   体領域を判定し、上記被写体領域が画像中におさまるよ
   うに、各視点での光軸方向を補正する手段とを具備する
   ことを特徴とする請求項５に記載の三次元形状復元装
   置。
7. 【請求項７】 特定の被写体を異なる視点から撮影し、
   得られた複数の画像中の被写体の対応点を求め、上記被
   写体の三次元形状を画像上で復元する三次元形状復元方
   法において、 上記異なる視点からの光軸が任意の点で交わるように、
   各視点での光軸方向を補正するようにすることを特徴と
   する三次元形状復元方法。
8. 【請求項８】 請求項７に記載の光軸方向の補正は、撮
   影時における撮影光学系の動きを検出し、検出された動
   きをもとにして行う補正であることを特徴とする三次元
   形状復元方法。
9. 【請求項９】 特定の被写体を異なる視点から撮影し、
   得られた複数の画像中の被写体の対応点を求め、上記被
   写体の三次元形状を画像上で復元する三次元形状復元方
   法において、 上記被写体の撮影時に所定のパターンを上記被写体とと
   もに撮影し、これにより得られる画像中の上記パターン
   を認識して上記パターンと上記視点との相対位置関係を
   検出し、その検出結果に基づいて、任意の点からの光軸
   方向のずれを補正するようにすることを特徴とする三次
   元形状復元方法。
10. 【請求項１０】 請求項９に記載の光軸方向の補正は、
    上記パターンの撮影時における上記パターンの変形状態
    から撮影時の視点を検出し、その検出結果に基づいて光
    軸方向の補正量を求めるものであることを特徴とする三
    次元形状復元方法。
11. 【請求項１１】 特定の被写体を異なる視点から撮影
    し、得られた複数の画像中の被写体の対応点を求め、上
    記被写体の三次元形状を画像上で復元する三次元形状復
    元方法において、 上記被写体が画像中におさまるように、各視点での光軸
    方向を補正するようにすることを特徴とする三次元形状
    復元方法。
12. 【請求項１２】 請求項１１に記載の光軸方向の補正
    は、撮影時における撮影光学系の動きを検出し、この検
    出した撮影光学系の動きを被写***置上での動きに変換
    し、こうして求めた動きと、撮影により得られた画像か
    ら求められた動きとを比較することにより被写体領域を
    判定し、上記被写体領域が画像中におさまるように、各
    視点での光軸方向を補正するものであることを特徴とす
    る三次元形状復元方法。