JP2015201734A - 画像処理装置、画像処理装置の制御方法およびプログラム - Google Patents

Abstract

【課題】画像の歪みを軽減しつつ幾何学的な整合がとれた画像を提供する。【解決手段】画像表示装置であって、撮像装置の位置または姿勢の情報を取得する取得部と、位置または姿勢の変化量に基づいて画像の歪み量を導出する画像歪み量導出部と、歪み量に基づいて、撮像装置の光学系の主点位置の歪み量を導出する主点位置歪み量導出部と、画像の歪み量と主点位置の歪み量とに基づいて画像を補正する画像補正部とを備える。【選択図】 図１

Description

本発明は、画像処理装置、画像処理装置の制御方法およびプログラムに関するものである。

現実世界と仮想世界とをリアルタイムに融合させる技術として、複合現実感（ＭＲ：Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）技術や拡張現実感（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）技術が知られている。これらの技術は、現実空間とコンピュータによって作られる仮想空間とを繋ぎ目なく融合する技術である。これらは、組み立て作業時に作業手順や配線の様子を重畳表示する組み立て支援、患者の体表面に体内の様子を重畳表示する手術支援等、様々な分野への応用が期待される。

また、観察者が、仮想物体を現実空間に実在するように感じるための装置の一つとして、ビデオシースルー型の画像表示装置がある。これは、ビデオカメラで現実世界を撮影し、その画像に、仮想物体を重畳した合成画像を、リアルタイムに表示部に表示させ、観察者に提示する装置である。一般にこのような画像表示装置としては、背面にビデオカメラを有するタブレット端末と呼ばれる携帯型情報端末や、頭部搭載型のビデオシースルー型ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）などが用いられる。

非特許文献１では、ビデオカメラの光軸と、体験者の瞳中心と表示部の中心を通る軸とが一致するように配置設計されたビデオシースルー型ＨＭＤの構成が開示されている。ビデオカメラと表示部の光軸を一致するように設計することで、理論的には、幾何学的大きさの整合を保つことが可能になる。

また、近年ビデオカメラのイメージセンサとして、ＣＭＯＳセンサがよく利用されるが、ライン露光順次読み出し方式またはローリングシャッター方式と呼ばれる方式を用いているため、ライン毎の露光タイミング及び読み出し時間のずれにより、画像が歪む現象が起きることが知られている。特に、素早く動く被写体を撮影した場合には、動く被写体が歪み、カメラを左右にパンニングした際には、画像全体が歪む現象が生じる。

非特許文献２では、ビデオカメラのストリーミング映像に対して、ローリングシャッター方式によって生じる画像の歪みを補正する技術が公開されている。画像から特徴を抽出して、時系列でのフレーム間での特徴点のトラッキングを行う。次に、トラッキングした特徴点を用いてホモグラフィーを推定することで、ローリングシャッター方式によって歪んだ画像の補正を行う。補正された画像を提示するために、元の画像から切り出された領域が表示される。

Ａ．Ｔａｋａｇｉ，Ｓ．Ｙａｍａｚａｋｉ，Ｙ．Ｓａｉｔｏ，ａｎｄ Ｎ．Ｔａｎｉｇｕｃｈｉ："Ｄｅｖｅｌｏｐｍｅｎｔ ｏｆ ａ ｓｔｅｒｅｏ ｖｉｄｅｏ ｓｅｅ−ｔｈｒｏｕｇｈ ＨＭＤ ｆｏｒ ＡＲ ｓｙｓｔｅｍｓ"，Ｐｒｏｃ．ＩＳＡＲ２０００，ｐｐ．６８−７７，２０００． Ｍ．Ｇｒｕｎｄｍａｎｎ，Ｖ．Ｋｗａｔｒａ，Ｄ．Ｃａｓｔｒｏ，ａｎｄ Ｉ．Ｅｓｓａ，"Ｃａｌｉｂｒａｔｉｏｎ−Ｆｒｅｅ Ｒｏｌｌｉｎｇ Ｓｈｕｔｔｅｒ Ｒｅｍｏｖａｌ，"ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｐｈｏｔｏｇｒａｐｈｙ（ＩＣＣＰ），２０１２．

ビデオシースルー型ＨＭＤに搭載されるビデオカメラがＣＯＭＳセンサを利用したものであった場合、人の頭の動きに併せて画像が歪むと現実感を損なってしまう。そのため、ローリングシャッターに起因する画像の歪みを補正する必要がある。

しかし、従来手法では、ＣＯＭＳのローリングシャッター方式に起因する画像の歪みを補正する際に、歪みを補正する前と歪みを補正した後で表示部に表示される画像の光軸がずれてしまう。そのため、ビデオカメラと表示部の光軸を一致するように設計されたビデオシースルー型ＨＭＤに表示した場合であっても、従来手法によって歪み補正した画像は、光軸がずれて表示されるので、幾何学的な整合を保つことができない。

本発明は、上記のような課題を鑑みてなされたものであり、画像の歪みを軽減しつつ幾何学的な整合がとれた画像を提供することを目的とする。

上記の目的を達成するために、本発明に係る画像処理装置は以下の構成を備える。即ち、
撮像装置の位置または姿勢の情報を取得する取得手段と、
前記位置または姿勢の変化量に基づいて画像の歪み量を導出する画像歪み量導出手段と、
前記歪み量に基づいて、前記撮像装置の光学系の主点位置の歪み量を導出する主点位置歪み量導出手段と、
前記画像の歪み量と前記主点位置の歪み量とに基づいて前記画像を補正する画像補正手段と、
を備える。

本発明によれば、画像の歪みを軽減しつつ幾何学的な整合がとれた画像を提供することができる。

第１実施形態に係る画像表示装置１０００の概略機能構成を示すブロック図である。 第１実施形態に係る画像表示装置１０００が実施する処理の手順を示すフローチャートである。 第１実施形態に係る撮像手段の撮像画角と表示部に表示される領域を説明する図である。 第１実施形態に係る画像が歪む前後の主点位置を説明する図である。 第２実施形態に係る画像表示装置５０００の概略機能構成を示すブロック図である。 第３実施形態に係る画像表示装置６０００の概略機能構成を示すブロック図である。 第３実施形態に係る指標を説明する図である。 第３実施形態に係るカメラ座標系及び画面座標系を説明する図である。 第５実施形態に係る画像表示装置１０００として適用可能なコンピュータのハードウェア構成例を示すブロック図である。

ＭＲ技術（以降、複合現実技術や拡張現実技術を総称してＭＲ技術と呼称する）において、現実世界と仮想世界との一体感を高めるためには、幾何学的な位置関係の整合性のみならず、幾何学的大きさの整合を保つことが求められる。ここでいう幾何学的大きさの整合とは、観察者が実際に現実を見る場合に知覚する世界や物体の大きさと、ＭＲ技術を通して知覚する世界や物体の大きさの一致を意味する。換言すればビデオシースルー型画像表示装置の使用時と非使用時とで観察者が現実の世界を同じ大きさで知覚できるか、ということである。ここで、ビデオカメラのレンズ中心から、画像面に垂直に引いた直線を光軸と呼び、光軸と画像面との交点を画像中心または主点（Ｐｒｉｎｃｉｐａｌ ｐｏｉｎｔ）と呼ぶ。

以下、添付図面を参照しながら、本発明の好適な実施形態について説明する。

（第１実施形態）
第１実施形態では、ローリングシャッター方式のＣＭＯＳセンサに起因するような撮像画像の歪みと主点位置のずれを補正した画像を、観察者１１０が表示部３００を用いて観察する場合について説明する。

＜１．画像処理装置の構成＞
図１は、本実施形態に係る画像処理装置１０００の構成例を示す図である。画像処理装置１０００は、画像取得部１０１０と、姿勢取得部１０２０と、画像歪み量導出部１０３０と、主点位置歪み量導出部１０４０と、画像補正部１０５０と、表示制御部１０６０とを備えている。

画像取得部１０１０は、撮像装置１００と接続されており、姿勢取得部１０２０は、姿勢センサ２００と接続されている。また、表示制御部１０６０は、表示部３００と接続されている。

ここで、撮像装置１００が撮像した画像の光軸方向と、観察者１１０が表示部３００を通して観察する視軸方向とは、撮像部が静止しているとき、おおよそ一致している。また、観察者１１０の視点から見た表示部３００の表示画角と、撮像装置１００で撮像した画像の表示画角とをおおよそ一致させることが、幾何学的大きさの整合を保つために必要となる。幾何学的大きさの整合を保つためには、表示部３００と撮像装置１００とを高精度に組み付ける作業が必要になる。本実施形態では、図３に示すように、撮像部の撮像画角を、観察者１１０の視点から見た表示部３００の表示画角より広角に設計しておき、観察者１１０の視点から見た表示部３００の表示画角と一致させるように、画像を切出して表示する。

撮像装置１００は、ローリングシャッター方式のＣＭＯＳセンサに起因するような画像の歪みを有する画像を撮像する。

画像取得部１０１０は、撮像装置１００によって撮影された画像を、画像処理装置１０００に入力する。画像取得部１０１０は、撮像装置１００の出力が、ＩＥＥＥ１３９４などのデジタル出力であれば、例えば、ＩＥＥＥ１３９４インタフェースボードによって実現される。また撮像装置１００の出力がＮＴＳＣ信号などのアナログ出力であれば、アナログビデオキャプチャーボードによって実現される。また、予め不図示の記憶装置に記憶してある静止画や動画像のデジタルデータを読み出してもよい。

姿勢取得部１０２０は、姿勢センサ２００が計測した姿勢情報を画像処理装置１０００に入力する。姿勢取得部１０２０は、画像取得部１０１０が取得する画像の撮影時刻とほぼ同一時刻の姿勢情報を取得できるものとする。ここで、姿勢センサ２００は、撮像装置１００に固定されており、撮像装置１００と姿勢センサ２００との間の相対的な姿勢は、予め校正されているものとする。

そのため、姿勢センサ２００の出力する姿勢情報として、撮像装置１００の姿勢情報が計測できるものとする。また、画像取得部１０１０が予め不図示の記憶装置に記憶してある静止画像や動画像のデジタルデータを読み出す場合には、姿勢センサが出力する姿勢情報ではなく、予め記憶してある姿勢情報を読み出してもよい。

画像歪み量導出部１０３０は、姿勢取得部１０２０が取得した姿勢情報に基づいて、ローリングシャッター方式のＣＭＯＳセンサに起因するような画像歪み量を導出する。

主点位置歪み量導出部１０４０は、画像歪み量導出部１０３０から取得した画像歪み量に基づいて、主点位置歪み量を導出する。本実施形態では、主点位置は、撮像装置１００の光学系を構成するレンズ中心から画像面に垂直に降ろした光軸と画像面とが交わる点とする。撮像装置１００を静止させているとき、すなわちローリングシャッター方式のＣＭＯＳセンサに起因するような画像歪みの影響を受けないときの第１の主点位置（Ｃ_ｘ、Ｃ_ｙ）を、予め求めておく。

第１の主点位置は、通常、画像中心となるように設計されているが、実際にはわずかにずれているため、カメラキャリブレーションによって求める。キャリブレーションの手法は、何れの公知の方法を利用してもよい。一般的に、格子状の点の位置が既知のパターンを撮影し、放射歪みや接線方向の歪みを補正する歪み補正係数を求める際のレンズ歪み中心を、第１の主点位置として求めておく。

画像補正部１０５０は、画像歪み量導出部１０３０で求めた画像歪み量に基づいて、画像取得部１０１０で取得した画像を補正する。

表示制御部１０６０は、主点位置歪み量導出部１０４０で求めた主点位置歪み量を第１の主点位置に加えることで求めた第２の主点位置を中心とするように、予め設定しておいた画像サイズで切り出す。切り出した画像を、表示部３００に出力する。

＜２．画像処理装置が実施する処理＞
次に、第１実施形態に係る画像処理装置１０００が実施する処理の手順について説明する。図２は、本実施形態に係る画像処理装置１０００が、撮像装置１００と表示部３００との光軸が略一致するように表示する処理の手順を示すフローチャートである。なお、同フローチャートに従ったプログラムコードは、本実施形態に係る画像処理装置１０００の内不図示のＲＡＭやＲＯＭなどのメモリ内に格納され、不図示のＣＰＵにより読み出されて実行される。

ステップＳ２０１０において、画像取得部１０１０は、撮像装置１００で撮像した画像を画像処理装置１０００に取り込む。

ステップＳ２０２０において、姿勢取得部１０２０は、画像が撮影された時刻と同時刻に姿勢センサ２００が計測した姿勢情報を、画像処理装置１０００に取り込む。前フレームからの姿勢の変化量から、単位時間当たりの姿勢の変化量をΔｓとする。姿勢は、ロール、ピッチ、ヨーの角度で表してもよいし、回転軸、回転角による表現であってもよい。また、クォータニオンで表現してもよい。本実施形態では、姿勢センサのドリフト誤差は補正されているものとし、ドリフトによる姿勢の影響を受けないものとする。

ステップＳ２０３０において、画像歪み量導出部１０３０は、画像取得部１０１０により取得された画像について画像歪み量を導出する。ローリングシャッター方式のＣＭＯＳセンサは露光タイミングがライン毎に異なるため、撮像装置１００の位置姿勢に変化があった場合に画像が歪む。また、撮影対象が移動した際にも画像が歪む。特に、ＨＭＤを装着したユーザが頭を横に素早く振るような動きの場合に顕著に画像が歪む。そこで、本実施形態では、姿勢の変化量Δｓに応じた歪み量の画素ごとの参照テーブル（Ｌｏｏｋ ｕｐ ｔａｂｌｅ）を規定しておき、姿勢の変化量Δｓに応じて参照し、各画素の画像歪み量Δd_ijを導出する。ここで、ｉ＝１，２，・・・Ｉ、ｊ＝１，２，・・・Ｊである。ｉはｘ座標を、ｊはｙ座標を表し、Ｉは画像サイズの横幅、Ｊは画像サイズの縦幅を示す。ただし、歪み量の導出方法は、参照テーブルを用いずに、何れの公知の方法を用いてもよい。例えば、姿勢の変化量Δｓに応じた歪み量の関係式ｆ（Δｓ）をたてて導出してもよい。

ステップＳ２０４０において、主点位置歪み量導出部１０４０は、主点位置の歪み量Δｅの導出を行う。本実施形態では、撮像部の撮像画角と、観察者１１０の視点から見た表示部３００の表示画角とが異なることを想定している。したがって、図３に示すように、観察者の視点から見た表示部３００の表示画角と一致させる画像サイズによって、主点位置を画像中心とするように画像を切出して表示することで、幾何学的な大きさの整合を保っている。図３の太線３０００の領域が、表示部３００に表示される領域となる。ここで、ローリングシャッター方式の撮像センサに起因して画像の歪みが発生すると、図４に示すように、第１の主点位置は、第２の主点位置（Ｃ'_ｘ，Ｃ'_ｙ）に歪んでしまう。すなわち、Δｅ（＝（Ｃ'_ｘ，Ｃ'_ｙ）−（Ｃ_ｘ，Ｃ_ｙ））だけずれてしまう。本実施形態では、この主点位置歪み量Δｅを主点位置（Ｃ_ｘ，Ｃ_ｙ）における歪み量Δ_ＣｘＣｙとして求める。したがって、Δｅ＝Δ_ＣｘＣｙとする。

ステップＳ２０５０において、画像補正部１０５０は、ステップＳ２０３０にて求めた各画素の画像歪み量Δd_ijと主点位置歪み量Δｅとに基づいて、歪み後の主点位置を中心に画像を補正する。歪み後の主点位置を中心にした各画素の歪み量Δd'_ijは、Δｅ−Δd_ijにより導出する。

ステップＳ２０６０において、画像補正部１０５０は、ステップＳ２０４０で求めた主点位置（Ｃ'_ｘ，Ｃ'_ｙ） を画像中心とするように、予め設定された画像サイズで切出し処理を行う。

ステップＳ２０７０において、表示制御部１０６０は、第２の主点位置（Ｃ'_ｘ，Ｃ'_ｙ） を画像中心とするように表示位置を修正して、表示部３００に表示する。

以上説明したように、ローリングシャッター方式の撮像センサで取得した画像において、主点位置における歪み量を求め、歪み後の主点位置を中心に補正し、歪後の主点位置を中心に画像を設定されたサイズで切出す。これにより、レンズ中心から画像面に垂直に降ろした光軸と画像面とが交わる点である主点位置とのずれを補正することができ、撮像装置と表示部の光軸を一致させることができる。したがって、理論的に、幾何学的大きさの整合を保つことが可能になる。また、主点位置のずれに起因して起こる観察者の違和感を軽減することが可能になる。

（第２実施形態）
第１実施形態では、姿勢取得部１０２０は、撮像装置１００に固定された姿勢センサ２００を用いて撮像装置１００の姿勢を取得していた。また、姿勢の変化量Δｓに応じた歪み量の画素ごとの参照テーブル（Ｌｏｏｋ ｕｐ ｔａｂｌｅ）を規定しておき、姿勢の変化量Δｓに応じて参照し、各画素の画像歪み量を導出していた。

一方で、ローリングシャッター方式のＣＭＯＳセンサに起因するような画像歪みは、撮像装置１００の姿勢変化だけでなく、位置変化によっても起こり得る。そこで、位置の変化量Δｄに応じて各画素の画像歪み量Δd_ijを求めてもよい。ここで、ｉ＝１，２，・・・Ｉ、ｊ＝１，２，・・・Ｊである。ｉはｘ座標を、ｊはｙ座標を表し、Ｉは画像サイズの横幅、Ｊは画像サイズの縦幅を示す。

図５は、本実施形態に係る画像処理装置５０００の構成例を示す図である。画像処理装置５０００の構成は、第１実施形態における画像処理装置１０００の姿勢取得部１０２０を、位置取得部５０１０で置き換え、画像歪み量導出部１０３０を画像歪み量導出部５０２０で置き換えたものである。また、撮像装置１００については姿勢センサ２００を、位置センサ４００で置き換える。ここで、位置センサ４００は、光学式のものであってもよいし、磁気式のものであってもよい。また、撮像装置１００の位置を撮像の更新レート以下の更新レートで計測可能であれば、公知の何れの位置センサであってもよい。撮像装置１００と位置センサ４００とのの間の相対位置は、予め校正されて既知であるものとする。

位置取得部５０１０は、位置センサ４００から撮像装置１００の位置情報を取得する。

画像歪み量導出部５０２０は、歪み量の画素ごとの参照テーブル（Ｌｏｏｋ ｕｐ ｔａｂｌｅ）を規定しておき、位置の変化量Δｄに応じて参照し、各画素の画像歪み量Δd_ijを求める。ここで、歪み量の導出方法は、位置の変化量に応じて求める方法であれば、何れの公知の方法を用いてもよい。例えば、位置の変化量Δｄに応じた歪み量の関係式ｆ（Δｄ）をたてて導出してもよい。

以上説明したように、各画素の画像歪み量Δd_ijを求めることができれば、第１の実施形態で述べたように、第２の主点位置を求めることができる。第２の主点位置（Ｃ'_ｘ，Ｃ'_ｙ） を画像中心とするように表示位置を修正して、表示部に表示することで、撮像装置と表示部の光軸を略一致させることができる。したがって、理論的に、幾何学的大きさの整合を保つことが可能になり、主点位置のずれに起因して起こる観察者の違和感を軽減することが可能になる。

（第３実施形態）
第１実施形態では、姿勢取得部１０２０は、撮像装置１００に固定された姿勢センサ２００を用いて撮像装置１００の姿勢を取得していた。第２の実施形態では、位置取得部５０１０は、位置センサ４００を用いて撮像装置１００の位置を取得していた。そして、取得した撮像装置１００の姿勢または位置の変化量に応じた歪み量の画素ごとの参照テーブル（Ｌｏｏｋ ｕｐ ｔａｂｌｅ）を予め規定しておき、それを参照することで、歪み量を求めていた。

一方、撮像装置１００の姿勢または位置の変化量に応じた歪み量の導出は、予め規定しておいた参照テーブルを用いず、撮像装置１００で撮影した画像から歪み量を求めてもよい。本実施形態では、撮像装置１００で撮影した画像から歪み量を求める例について説明する。

図６は、本実施形態に係る画像処理装置６０００の構成例を示す図である。画像処理装置６０００は、画像取得部１０１０と、主点位置歪み量導出部１０４０と、画像補正部１０５０と、表示制御部１０６０と、指標検出部６０１０と、投影座標推定部６０２０と、位置姿勢取得部６０３０と、画像歪み量導出部６０４０とを備えている。また、画像処理装置６０００は、位置姿勢センサ６００と接続されている。

画像取得部１０１０、主点位置歪み量導出部１０４０、画像補正部１０５０、表示制御部１０６０、撮像装置１００、表示部３００、観察者１１０は、第１の実施形態と同様のため説明を省略する。

指標検出部６０１０は、環境中に配置した指標を画像から検出し、指標の検出座標（ｖ_ｘ，ｖ_ｙ）を抽出する。指標は、例えば図７に示すような正方形指標７００であって、内部に識別子を表すパターンを持ち、一意に同定可能であるものとする。正方形指標の３次元空間における位置は、正方形の中心、すなわち２本の対角線の交点であるとする。また、指標の法線方向をｚ軸とし、ｘ軸、ｙ軸を指標の２つの辺に平行になるように正方形指標の座標系をとる。正方形指標は、予め基準座標系における位置を求めて既知である。基準座標系は、撮像装置１００の位置や姿勢の計測の基準となる座標系である。指標は、画像から検出でき、一意に同定可能であれば、正方形指標に限るものではなく、何れの公知の指標であってもよい。

投影座標推定部６０２０は、指標の投影座標情報を推定する。以下で、指標の投影座標（ｕ_ｘ，ｕ_ｙ）の推定方法について説明する。

はじめに透視投影変換について説明する。図８は、カメラ座標系及び画面座標系を説明する図である。画面座標系の原点ｏ_ｉは視軸と画像面の交点にとり、画像の水平方向をｘ_ｉ軸、垂直方向をｙ_ｉ軸にとる。また、カメラ座標系の原点ｏ_ｃと画像面との距離（焦点距離）をｆとし、カメラ座標系のｚ_ｃ軸は視軸の反対方向、ｘ_ｃ軸は画像の水平方向と平行に、ｙ_ｃ軸は画像の垂直方向と平行にとる。

透視投影変換により、カメラ座標系上の点ｘ_ｃ＝［ｘ_ｃｙ_ｃｚ_ｃ］^ｔは式（１）のように画面座標がｕ＝［ｕ_ｘｕ_ｙ］^ｔである点に投影される。

式（１）は、図８に示すように、空間中の点と、該点の画像上の投影点とカメラ位置（視点）は同一直線上に存在することを示しており、共線条件式とも呼ばれる。

基準座標系におけるカメラの位置をｔ＝［ｔ_ｘｔ_ｙｔ_ｚ］^ｔ、カメラの姿勢（実際には、カメラ座標系に対する基準座標系の姿勢）をω＝［ω_ｘω_ｙω_ｚ］であるとする。ωは３自由度の姿勢表現方法であり、姿勢を回転軸ベクトル及び回転角で表現している。回転角をｒ_ａとすると、ｒ_ａはωによって式（２）のように表される。

また、回転軸ベクトルをｒ＝［ｒ_ｘｒ_ｙｒ_ｚ］^ｔとすると、ｒとωの関係は式（３）のように表される。

ω（回転角ｒ_ａ、回転軸ベクトルｒ）と３×３回転変換行列Ｒとの関係は式（４）のように表される。

基準座標系上の点ｘ_ｗ＝［ｘ_ｗｙ_ｗｚ_ｗ］^ｔのカメラ座標ｘ_ｃはｔ、Ｒによって式（５）のように表される。

式（１）、（５）から、透視投影変換によって、基準座標上の点ｘ_ｗ＝［ｘ_ｗｙ_ｗｚ_ｗ］^ｔは式（６）のように画像上の点ｕ＝［ｕ_ｘｕ_ｙ］^ｔに投影される。

位置姿勢取得部６０３０は、位置姿勢センサ６００から位置姿勢の情報を取得する。位置姿勢センサ６００は、光学センサであってもよいし、磁気式センサであってもよい。また、撮像装置１００の位置姿勢を撮像の更新レート以下の更新レートで計測可能であれば、公知の何れの位置姿勢センサであってもよい。撮像装置１００と位置姿勢センサ６００との間の相対位置姿勢は、予め校正されて既知であるものとする。

画像歪み量導出部６０４０は、基準座標系での既知の指標の位置、画像上で検出した指標の画像座標、投影座標推定部６０２０で推定した指標の投影座標、位置姿勢取得部６０３０で取得した撮像装置１００の位置姿勢に基づいて、画像歪み量を導出する。

以下では、画像歪み量を導出する方法について説明する。動画像の１フレーム分の更新にかかる間、撮像装置１００の位置または姿勢の変化量が一定である場合、この差を打ち消すように画像に対してアフィン変換を行うことで補正できる。したがって、ここでは、アフィン変換行列を求めればよい。

アフィン変換行列Ｐを求める方法を説明する。ある画素値（ｘ，ｙ）が、アフィン変換行列Ｐによって（ｘ'，ｙ'）に変換されるとき、次式のように表せる。

ここで、アフィン変換行列Ｐは次式のように表せる。

式（８）を式（７）に代入すると、次式のように表せる。

ここで、指標の検出座標を（ｘ'，ｙ'）とし、指標の投影座標を（ｘ，ｙ）とすると、３点以上の点を検出できれば、式（９）を解くことができ、アフィン変換行列Ｐを求めることができる。

求めたアフィン変換行列Ｐを各画素に対してかけることで、ローリングシャッターの影響を打ち消すように画像を変換することができる。変換後と変換前の差を歪み補正量Δd_ijとして求める。以上のようにして、各画素の画像歪み量Δd_ijを求めてもよい。

第１実施形態と同様に、ローリングシャッター方式のＣＭＯＳセンサに起因するような画像歪みの影響を受けないときの予め求めておいた第１の主点位置（Ｃ_ｘ、Ｃ_ｙ）が、歪みの影響を受けて第２の主点位置（Ｃ'_ｘ，Ｃ'_ｙ） となる。第１の主点位置（Ｃ_ｘ、Ｃ_ｙ）における画像歪み量Δd_ijによって第２の主点位置（Ｃ'_ｘ，Ｃ'_ｙ） を求め、第２の主点位置（Ｃ'_ｘ，Ｃ'_ｙ） を画像中心とするように、予め設定された画像サイズで切出し処理を行う。

以上説明したように、ローリングシャッター方式の撮像センサに起因して発生した画像において、予め参照テーブルを持たない場合であっても、各画素の画像歪み量Δd_ijを求めることができる。撮像した画像から第１の主点位置における歪み量を求め、第２の主点位置（Ｃ'_ｘ，Ｃ'_ｙ） を求めることができる。第２の主点位置（Ｃ'_ｘ，Ｃ'_ｙ） を画像中心とするように表示位置を修正して、表示部に表示することで、撮像装置と表示部の光軸を略一致させることができる。したがって、理論的に、幾何学的大きさの整合を保つことが可能になり、主点位置のずれに起因して起こる観察者の違和感を軽減することが可能になる。

（第４実施形態）
第１至第３実施形態では、取得した撮像装置１００の位置おまたは姿勢の一方あるいは両方を用いて、撮像装置１００の位置おまたは姿勢の一方あるいは両方の変化量に応じた歪み量を求めていた。しかし、取得した撮像装置１００の位置姿勢をそのまま利用するのではなく、変化量に基づいて、予測される撮像装置１００の位置姿勢に基づいて、歪み量を求めてもよい。

例えば、連続した２つの画像を撮影した時点での撮像装置１００の位置または姿勢の変化量から、次のフレームにおける撮像装置１００の位置または姿勢を予測することができる。予測された位置または姿勢に基づいて、第１至第３実施形態と同様に、各画素の画像歪み量Δd_ijを求めてもよい。予め求めておいたローリングシャッター方式のＣＭＯＳセンサに起因するような画像歪みの影響を受けないときの第１の主点位置（Ｃ_ｘ、Ｃ_ｙ）が、歪みの影響を受けて第２の主点位置（Ｃ'_ｘ，Ｃ'_ｙ） となる。主点位置（Ｃ'_ｘ，Ｃ'_ｙ） を画像中心とするように、予め設定された画像サイズで切出し処理を行う。

以上説明したように、ローリングシャッター方式の撮像センサにより取得された画像において、予測した撮像装置の位置と姿勢を用いた場合であっても、各画素の画像歪み量Δd_ijを求めることができる。予測した撮像装置の位置と姿勢を用いて、第１の主点位置における歪み量を求め、第２の主点位置（Ｃ'_ｘ，Ｃ'_ｙ） を求めることができる。第２の主点位置（Ｃ'_ｘ，Ｃ'_ｙ） を画像中心とするように表示位置を修正して、表示部に表示することで、撮像装置と表示部の光軸を略一致させることができる。したがって、理論的に、幾何学的大きさの整合を保つことが可能になり、主点位置のずれに起因して起こる観察者の違和感を軽減することが可能になる。

（第５実施形態）
図１、図５、図６に示した、画像処理装置１０００、５０００、６０００を構成する各部は全て、上記実施形態ではハードウェアで構成されているとして説明した。しかし，その一部をソフトウェアで構成しても良い。その場合、残りの部分をハードウェアとして実装しているコンピュータに、当該ソフトウェアを実行させることで、コンピュータは、上記実施形態で説明した各画像表示装置の動作を行うことになる。

図９は、本実施形態に係るハードウェア構成例を示すブロック図である。ＣＰＵ９００１は、ＲＡＭ９００２やＲＯＭ９００３に格納されているプログラムやデータを用いて、コンピュータ全体の制御を行うと共に，上記各実施形態で画像処理装置が行うものとして説明した上述の各処理を実行する。

ＲＡＭ９００２は、外部記憶装置９００７や記憶媒体ドライブ９００８からロードされたプログラムやデータを一時的に記憶するための領域を有する。更にＲＡＭ９００２は、Ｉ／Ｆ（インターフェース）９００９を介して外部から受信したデータを一時的に記憶するためのエリアを有する。このとき、外部とは姿勢センサ２００、撮像装置１００を指す。また，外部からの受信データとは、図５の場合、位置センサ４００、撮像装置１００を指す。図６の場合、位置姿勢センサ６００、撮像装置１００を指す。

更に、ＲＡＭ９００２は，ＣＰＵ９００１が各処理を実行する際に用いるワークエリアも有する。即ち、ＲＡＭ９００２は、各種エリアを適宜提供することができる。ＲＯＭ９００３には、コンピュータの設定データやブートプログラムなどが格納されている。キーボード９００４、マウス９００５は、操作入力装置の一例としてのものであり、コンピュータのユーザが操作することで、各種の指示をＣＰＵ９００１に対して入力することができる。表示部９００６は、ビデオシースルータイプのＨＭＤなどにより構成されており，ＣＰＵ９００１による処理結果を画像や文字などで表示することができる。

外部記憶装置９００７は、ハードディスクドライブ装置に代表される大容量情報記憶装置である。外部記憶装置９００７には、ＯＳ（オペレーティングシステム）や、画像処理装置が行うものとして説明した上述の各処理をＣＰＵ９００１に実行させるためのプログラムやデータが格納されている。プログラムには、画像取得部１０１０、姿勢取得部１０２０、画像歪み量導出部１０３０、主点位置歪み量導出部１０４０、画像補正部１０５０、表示制御部１０６０等のそれぞれに対応するプログラムが含まれている。

また、データには、仮想空間のデータや、上述の説明において、既知の情報として説明したものが含まれている。外部記憶装置９００７に保存されているプログラムやデータは、ＣＰＵ９００１による制御に従って適宜ＲＡＭ９００２にロードされる。ＣＰＵ９００１はロードされたプログラムやデータを用いて処理を実行することで、画像表示装置が行うものとして上述した各処理を実行することになる。

記憶媒体ドライブ９００８は、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記憶媒体に記録されたプログラムやデータを読み出したり、当該記憶媒体にプログラムやデータを書き込んだりする。なお、外部記憶装置９００７に保存されているものとして説明したプログラムやデータの一部若しくは全部を記憶媒体に記録しておいても良い。記憶媒体ドライブ９００８が記憶媒体から読み出したプログラムやデータは、外部記憶装置９００７やＲＡＭ９００２に対して出力される。

Ｉ／Ｆ９００９は、撮像装置１００を接続するためのアナログビデオポートあるいはＩＥＥＥ１３９４等のデジタル入出力ポート、また、合成画像を表示部３００に対して出力するためのＤＶＩポートなどによって構成される。Ｉ／Ｆ９００９を介して受信したデータは、ＲＡＭ９００２や外部記憶装置９００７に入力される。なお、図１に示した画像取得部１０１０の機能の一部は、Ｉ／Ｆ９００９によって実現される。また、位置姿勢の取得にセンサシステムを用いる場合、このＩ／Ｆ９００９には、センサシステムを接続することになる。９０１０は、上述の各部を繋ぐバスである。

上述の各実施形態において説明したように、本発明によれば、ＣＭＯＳを利用したビデオカメラを搭載するビデオシースルー型画像表示装置において、ローリングシャッター方式に起因する画像歪みが起こる際にも、主点位置のずれを補正することができる。これにより、ローリングシャッター方式に起因する画像歪みが起こった際にも、ビデオカメラの光軸と、体験者の瞳中心と表示部の中心を通る軸を一致させることを実現でき、幾何学的な整合を保つことができる。したがって、従来のビデオシースルー型の画像表示装置を利用した場合よりも、幾何学的な整合がとれた映像を体験者に提供することができ、より現実であるかのように感じられる体験が可能になる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１００：撮像装置
１１０：観察者
２００：姿勢センサ
３００：表示部
４００：位置センサ
６００：位置姿勢センサ
７００：正方形指標
１０００、５０００、６０００：画像処理装置
１０１０：画像取得部
１０２０：姿勢取得部
１０３０、５０２０、６０４０：画像歪み量導出部
１０４０：主点位置歪量導出部
１０５０：画像補正部
１０６０：表示制御部
５０１０：位置取得部：
６０１０：指標検出部
６０２０：投影座標推定部
６０３０：位置姿勢取得部

Claims (11)

1. 撮像装置の位置または姿勢の情報を取得する取得手段と、
   前記位置または姿勢の変化量に基づいて画像の歪み量を導出する画像歪み量導出手段と、
   前記歪み量に基づいて、前記撮像装置の光学系の主点位置の歪み量を導出する主点位置歪み量導出手段と、
   前記画像の歪み量と前記主点位置の歪み量とに基づいて前記画像を補正する画像補正手段と、
   を備えることを特徴とする画像処理装置。
2. 前記画像補正手段は、前記主点位置の歪み量に基づいて主点位置を補正して、当該主点位置が画像中心となるように予め設定された画像サイズで画像を切り出すことを特徴とする請求項１に記載の画像処理装置。
3. 前記画像補正手段は、前記撮像装置の撮像画角と、画像を表示する表示部の表示画角とが略一致するように画像から表示する領域を切り出すことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記撮像装置により撮像された画像から指標を検出する指標検出手段をさらに備え、
   前記画像歪み量導出手段は、前記撮像装置の位置または姿勢の情報と、前記指標の座標情報とに基づいて画像の歪み量を導出することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
5. 前記画像歪み量導出手段は、前記撮像装置の位置または姿勢の変化量に基づいて次のフレームにおける前記撮像装置の位置または姿勢を予測して、当該予測された位置または姿勢に基づいて前記画像の歪み量を導出することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
6. 前記画像補正手段により補正された画像を表示部に表示させる表示制御手段をさらに備えることを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
7. 前記主点位置は、前記撮像装置のレンズ中心を通る光軸と画像面とが交わる位置であることを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
8. 前記取得手段は、前記撮像装置の位置または姿勢の一方あるいは両方の情報を取得することを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。
9. 前記撮像装置は、ローリングシャッター方式の撮像センサを有することを特徴とする請求項１乃至８の何れか１項に記載の画像処理装置。
10. 画像処理装置の制御方法であって、
    取得手段が、撮像装置の位置または姿勢の情報を取得する工程と、
    画像歪み量導出手段が、前記位置または姿勢の変化量に基づいて画像の歪み量を導出する工程と、
    主点位置歪み量導出手段が、前記歪み量に基づいて、前記撮像装置の光学系の主点位置の歪み量を導出する工程と、
    画像補正手段が、前記画像の歪み量と前記主点位置の歪み量とに基づいて前記画像を補正する工程と、
    を有することを特徴とする画像処理装置の制御方法。
11. 請求項１０に記載の画像処理装置の制御方法の各工程をコンピュータに実行させるためのプログラム。

Images