JP3054312B2 - 画像処理装置及び方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、視点の異なる複数の画
像を入力とし、観察者の現在の目の位置に応じた視点位
置を有する画像を出力する画像処理方法および画像処理
装置に関する。

【０００２】

【従来の技術】従来、複数の視点から見た画像を立体表
示する装置として、ステレオディスプレイやレンチキュ
ラーディスプレイなどがある。ステレオディスプレイ
は、２台のカメラから得られる画像を交互に高速に切り
替えて表示される。観察者は、この切り替えに同期する
シャッターメガネや偏光メガネを用いることにより、映
像を立体的に観察することができる。また、レンチキュ
ラディスプレイは、例えば４台のカメラからの画像をそ
れぞれ画素単位に並べ替え、前面にレンチキュラーシー
トを張り付けることにより４視点の映像を立体的に表現
することができるというものである。

【０００３】

【発明が解決しようとする課題】しかしながら、上述し
た従来のステレオディスプレイでは、画像の撮影時にお
けるカメラの撮影方向の立体像しか観察することができ
なかった。すなわち、一般に２台のカメラを固定して物
体を撮影するので、観察者が視点（目の位置）を移動し
ても見える画像は同じであり、観察者の側での視点移動
が反映しないので臨場感に欠けるという問題点がある。
また、レンチキュラーディスプレイでは、観察者の視点
の左右方向の移動に対応できるが、それは複数のカメラ
のどれかから見た画像をとびとびに見るというものであ
って、連続的な視点移動には対応できないうえに、前後
方向への視点を移動させることはできなかった。前後方
向への視点移動に関しては、コンピュータ・グラフィッ
クスで作成された画像を基に立体視する場合には行われ
ているが、これはコンピュータ・グラフィックスという
画像としては単純でかつ画像内の点の対応する３次元空
間内での座標値が全て明らかになっているという特殊な
状況下のものである。カメラで撮影した画像を立体視す
る場合には、前後方向への視点移動は、これまでほとん
ど検討されていない。

【０００４】本発明は、上記問題点に鑑みてなされたも
ので、観察者の目の位置が前後方向を含む各方向へ移動
した場合に、その移動した位置から見た画像を与えるこ
とができる画像処理方法及び画像処理装置を提供するこ
とにある。

【０００５】

【課題を解決するための手段】上記目的を達成するため
に、本発明の画像処理装置は次のような構成から成る。
すなわち、互いに異なる位置を視点とする複数の画像を
多視点画像データとして入力する画像入力手段と、観察
者の視点の位置を検出する視点検出手段と、前記視点検
出手段により検出された視点位置に基づいて、該位置を
視点とする画像を前記多視点画像データから再構成する
画像再構成手段と、再構成された画像の歪みを補正する
補正手段と、補正された画像を画像出力装置に出力する
画像出力手段とを備える。

【０００６】また、上記目的を達成するために、本発明
の画像処理方法は次のような構成から成る。すなわち、
互いに異なる位置を視点とする複数の画像を多視点画像
データとして入力する画像入力工程と、観察者の視点の
位置を検出する視点検出工程と、前記視点検出工程によ
り検出された視点位置に基づいて、該位置を視点とする
画像を前記多視点画像データから再構成する画像再構成
工程と、再構成された画像の歪みを補正する補正工程
と、補正された画像を画像出力方法に出力する画像出力
工程とを備える。

【０００７】

【作用】上記構成により、多視点画像を基にして、観察
者の視点位置に応じた画像を差異構成し、出力する。

【０００８】

【実施例】次に、本発明の実施例について図面を参照し
て説明する。

【０００９】

【第１実施例】 ＜装置の構成＞図１は第１実施例の画像処理装置の構成
を示す図である。図中、１１は固定して設置される画像
表示用の表示スクリーン、１２は表示スクリーン１１を
眺める利用者の目の位置を検出する視点検出器、１３は
直線上に並んだ十分間隔の細かい視点から表示する対象
物を撮影した多視点画像を保持している多視点画像デー
タベースである。１４は表示スクリーン１１に関するパ
ラメータを保持する表示パラメータ保持部、１５は多視
点画像データベース１３の多視点画像を撮影した際の視
点の並びの直線を表す座標系を保持している撮影視点座
標系保持部、１６は多視点画像データベース１３の多視
点画像の画像パラメータを保持している多視点画像パラ
メータ保持部である。

【００１０】１７は視点検出器１２からの信号を元に視
点パラメータを算出する視点パラメータ算出部、１８は
視点の移動に対応した画像を生成する画像生成部、１９
は注目する画素を示す画素インデクス信号、１１０は、
視点パラメータと表示パラメータから、画素インデクス
１９の示す画素に対応する視線方向を算出する視線パラ
メータ算出部、１１１は、視線パラメータの表す視線
と、撮影視点座標系が表す撮影視点の並びの直線との交
点（仮想視点）を算出する仮想視点パラメータ算出部、
１１２は、視線パラメータ，撮影視点座標系，仮想視点
パラメータおよび多視点画像パラメータから、仮想視点
における画像の、視線方向に対応する画素位置を算出す
る画素位置算出部、１１３は、画素位置と仮想視点パラ
メータをもとに、多視点画像データベース１３の多視点
画像から対応する画素値を算出する画素値算出部、１１
４は表示スクリーン１１へ画像を表示する画像表示部で
ある。１１５は視点パラメータが更新されたことを示す
更新信号、１１６は画素値信号である。１１７はまとめ
て画素値生成部である。１１８は上下方向の歪みを補正
する歪み補正部である。

【００１１】ここで、多視点画像データベース１３は、
十分細かい視点間隔で直線上に並んだ多数の視点から、
表示すべき対象物を撮影した画像である。これに対応し
て、撮影視点座標系保持部１５に保持されているデータ
は、これら画像を撮影した際の視点の並びの直線を表す
座標系のデータである。画像生成部１８は、更新信号１
１５を受信したときに画像の生成を行うように構成され
ており、画像生成部１８からは、再構成後の画像すなわ
ち表示スクリーン１１上の画像での注目する画素の座標
を示す画素インデクス１９が出力されている。画素イン
デクス１９は、画像の再構成を行う場合に、再構成後の
画像の全画素を一巡するように順次出力されるようにな
っている。

【００１２】＜装置の動作＞次に、本実施例の動作につ
いて説明する。まずこの動作の概略を説明する。

【００１３】表示スクリーン１１を眺める利用者が頭の
位置を変えて視点を移動させると、視点検出器１２の信
号が変化し、視点パラメータ算出部１７は、この変化を
受けて、更新信号１１５を画像生成部１８へ送る。画像
生成部１８は更新信号１１５を受けると、視点移動に対
応した新たな画像の生成を開始する。この新たな画像の
生成は、画像生成部１８が全ての画素について画素イン
デクス１９を順次出力し、各画素ごとの画素値信号１１
６を画素値生成部１１７より順次獲得することによって
行われる。ここで、画素値生成部１１７の動作を説明す
る。

【００１４】［画素値生成部］画素値生成部１１７で
は、まず、視線パラメータ算出部１１０が、視点パラメ
ータ算出部１７から視点パラメータを、表示パラメータ
保持部１４から表示パラメータをそれぞれ取得し、入力
された画素インデクス１９に対応する視線パラメータを
算出する。次に仮想視点パラメータ算出部１１１が、撮
影視点座標系保持部１５から撮影視点座標系を取得し、
視線パラメータの表す視線と、撮影視点座標系が表す撮
影視点の並びの直線との交点（仮想視点）を表す仮想視
点パラメータを算出する。一方、画素位置算出部１１２
は、多視点画像パラメータ保持部１６から多視点画像パ
ラメータを取得し、そのほか視線パラメータ、撮影視点
座標系、仮想視点パラメータから、仮想視点における画
像の、視線方向に対応する画素位置を算出する。そして
画素値算出部１１３が、画素位置と仮想視点パラメータ
とを基に、多視点画像データベース１３内の画像から、
対応する画素値信号１１６を算出する。このようにし
て、画素値生成部１１７は、入力する画素インデクス１
９ごとに画素値信号１１６を算出して画像生成部１８に
出力する。

【００１５】［生成された画素値の処理］以上のように
して、画像生成部１８は、画素値信号１１６を画素値算
出部１１３より全ての画素について得ると、これを歪み
補正部１１８へ送る。歪み補正部１１８は、生成された
画像の上下方向の歪みを補正するため、上下方向に画像
の拡大縮小変換を行い、補正した画像を画像表示部１１
４へ出力する。画像表示部１１４は、こうして生成され
た新しい視点に対応した画像を表示スクリーン１１へ表
示する。これにより、利用者の視点移動に伴う一連の画
像生成動作が完了する。後述する説明から明らかになる
ように、利用者は、前後左右に視点を移動した場合、そ
こが多視点画像データベース１３に保持されている各画
像を撮影した視点以外の場所であっても、その視点移動
に合わせた対象物の画像を表示スクリーン１１を通して
眺めることができる。

【００１６】次に、各部の処理を詳しく説明する。

【００１７】［視線パラメータの算出］まず、視線パラ
メータ算出部１１０における視線パラメータの算出の処
理を説明する。

【００１８】図２は第１実施例の画像処理装置の視線パ
ラメータ算出部１１０の算出原理を示す図である。図
中、２１は表示スクリーン１１の端点、２２は長さが表
示スクリーン１１のピクセルピッチで、傾きが表示スク
リーン１１の傾きに一致する表示スクリーンベクトル、
２３は表示スクリーン１１上の注目する画素位置、２４
は利用者の視点位置、２５は注目する画素位置２３に対
応する視線、２６は視線２５の傾きをあらわす視線ベク
トルである。

【００１９】ここで、端点２１，注目する画素位置２
３，利用者の視点位置２４，表示スクリーンベクトル２
２，視線ベクトル２６を、それぞれベクトルＸｓ，ベク
トルＸｐ，ベクトルＸｖ，ベクトルｐ，ベクトルａで表
すものとする。また、上下方向のベクトル成分は無視
し、左右前後の平面内で処理を行う。

【００２０】図３は第１実施例の画像処理装置の視線パ
ラメータ算出部１１０の処理を示すフローチャートであ
る。

【００２１】まず、ステップＳ３１で、視点パラメータ
算出部１７から視点パラメータを取得する。視点パラメ
ータとは、図２の利用者の視点位置２４である。また、
ステップＳ３２で、表示パラメータ保持部１４から表示
パラメータを取得する。表示パラメータとは、表示スク
リーン１１の端点２１、表示スクリーンベクトル２２で
表される。表示スクリーンベクトル２２は、表示スクリ
ーン１１の傾きと実サイズおよびピクセルサイズから決
定される。次にステップＳ３３で、図２に示される配置
に基づき、画素インデクス１９に対応して、表示スクリ
ーン１１上の注目する画素位置２３を以下の（１）式で
算出する。ただし、画素インデクス１９をｉとする。

【００２２】 Ｘｐ＝Ｘｓ＋ｉ・ｐ … （１） 次にステップＳ３４で、利用者の視点位置２４から眺め
た場合の注目する画素位置２３の方向に対応する視線パ
ラメータを求める。視線パラメータは、利用者の視点位
置２４および視線ベクトル２６の組（Ｘｖ，ａ）として
表される。視線２５が注目する画素位置２３および利用
者の視点位置２４の２点を通る直線であるから、視線ベ
クトル２６は以下の（２）式で算出できる。

【００２３】 ａ＝Ｘｐ−Ｘｖ … （２） ［画素位置および仮想視点の算出］次に、図４を用いて
仮想視点パラメータ算出部１１１および画素位置算出部
１１２の処理を説明する。

【００２４】図４は第１実施例の画像処理装置の仮想視
点パラメータ算出部１１１および画素位置算出部１１２
の算出原理を示す図である。図中、４１は多視点画像デ
ータベース１３の多視点画像を撮影した際の視点並び直
線、４２は視線２５と、視点並び直線４１との交点であ
る仮想視点、４３は視点並び直線４１の傾きを表す視点
並びベクトル、４４は視点並び直線４１の端点である。
４５は仮想視点４２における画角θの視野、４６は多視
点画像を撮影したカメラの焦点距離を長さとし、カメラ
の傾きをその傾きとする焦点ベクトル、４７は仮想視点
４２における仮想的な撮像面、４８は仮想的な撮像面４
７と視線２５との交点である画素位置、４９は長さが仮
想的な撮像面４７のピクセルピッチであり、傾きが仮想
的な撮像面４７の傾き（通常は焦点ベクトル４６に直
角）に一致する撮像面ベクトルである。

【００２５】ここで、仮想視点４２，視点並びベクトル
４３，端点４４，焦点ベクトル４６，画素位置４８，撮
像面ベクトル４９を、それぞれベクトルＸ，ベクトル
Ｔ，ベクトルＸｌ，ベクトルｆ，ベクトルＸｐ’，ベク
トルｐ’で表すものとする。また、説明のため上下方向
のベクトル成分は無視し、左右前後の平面内で処理を行
う。

【００２６】ここで、視点並びベクトル４３および端点
４４が撮影視点座標系を表す値として、撮影視点座標系
保持部１５に保持されている。また、焦点ベクトル４６
および撮像面ベクトル４９は、多視点画像パラメータと
して多視点画像パラメータ保持部１６に保持されてい
る。撮像面ベクトル４９の大きさは、実際の撮像面のセ
ルサイズ（１ピクセルの大きさ）に等しい。また、視点
並び直線４１は、表示スクリーンベクトル２２と平行に
配置される。

【００２７】以上のように各点、各ベクトルが表される
とき、仮想視点４２は以下の（３）、（４）式で表され
る。

【００２８】 Ｘ＝Ｘｌ＋ｔ・Ｔ … （３） Ｘ＝Ｘｖ＋α・ａ … （４） ここで仮想視点を一意に表すパラメータとしてｔを仮想
視点パラメータとする。αは視線方向の係数である。仮
想視点パラメータ算出部１１１は、（３），（４）式を
解くことにより仮想視点パラメータｔを算出し、仮想視
点位置ベクトルＸを算出する。

【００２９】また、画素位置４８は以下の（５），
（６）式で表される。

【００３０】 Ｘｐ’＝Ｘ＋ｆ＋ｉ’・ｐ’ … （５） Ｘｐ’＝Ｘ＋β・ａ … （６） ここで、画素位置４８を一意に表すパラメータとして
ｉ’を画素位置パラメータとする。βは視線方向の係数
である。画素位置算出部１１２は、（５），（６）式を
解くことにより画素位置パラメータｉ’を算出し、これ
を出力とする。

【００３１】［画素値の算出］次に、画素値算出部１１
３の処理について具体的に説明する。

【００３２】本実施例では、多視点画像データベース１
３に保持されている多視点画像は、十分細かい視点間隔
で撮影した画像である。そこで、まず、仮想視点パラメ
ータ算出部１１１で算出された仮想視点パラメータの示
す仮想視点４２からの画像の近似画像として、この仮想
視点４２に一番近い視点から撮影された画像を、多視点
画像データベース１３から見つける。次に、この画像の
うち、画素位置算出部１１２で算出された注目する画素
位置２３に最も近い位置の画素の値を取得し、これを出
力の画素値信号１１６とする。

【００３３】［歪み補正］次に、歪み補正部１１８の処
理についてくわしく説明する。多視点画像データベース
１３の画像は左右方向のみの多視点画像であるため、上
下方向の視差情報がない。このため、画像生成部１８
は、前後方向に視点を移動した画像を光学的に完全に再
構成することはできず、上下方向に歪みが生じる。歪み
補正部１１８は利用者の視点位置２４に応じて上下方向
に画像を拡大・縮小することにより、視点並び直線４１
から特定の距離にある被写体の像の歪みを補正する。

【００３４】図５は第１実施例の画像処理装置の歪み補
正部１１８の原理を示す図である。図中、５１はある被
写体の高さ、５２は被写体までの距離、５３はカメラの
焦点距離、５４は撮影された被写体の像の高さ、５５は
前後の視点移動距離、５６は再構成する被写体の画像の
高さである。

【００３５】ここで、高さ５１，被写体までの距離５
２，焦点距離５３，像の高さ５４，視点移動距離５５，
画像の高さ５６を、それぞれＴ，Ｔｄ，Ｆ，ｓ，ｚ，
ｓ’で示すものとする。このように各値が表されると
き、以下の（７），（８）式が成り立つ。

【００３６】 ｓ／Ｆ＝Ｔ／Ｔｄ … （７） ｓ’／Ｆ＝Ｔ／（Ｔｄ−ｚ） … （８） （７），（８）式を解くことにより（９）式が導かれ
る。

【００３７】 ｋ＝ｓ’／ｓ＝Ｔｄ／（Ｔｄ−ｚ） … （９） ここで、ｋは上下方向の歪みを表す歪み度である。歪み
補正部１１８は、視点パラメータ算出部１７から得られ
る利用者の視点位置２４の前後方向の座標値と、撮影視
点座標系保持部１５から得られる視点並び直線４１の前
後方向の座標値との差を視点移動距離５５とする。ま
た、多視点画像パラメータ保持部１６には、撮影した被
写体の注目点（あるいは、ピントを合わせた点）までの
おおまかな距離の値が被写体までの距離５２としてあら
かじめ保持されている。歪み補正部１１８はこの値を多
視点画像パラメータ保持部１６から取得する。そして歪
み補正部１１８は（９）式を解くことにより歪み度を算
出し、画像生成部１８から受け取った画像を歪み度倍だ
け上下方向に拡大・縮小変換する。歪み補正部１１８は
こうして補正された画像を画像表示部１１４へ出力す
る。

【００３８】以上のように、本実施例の画像処理装置
は、観察者の視点位置が視点並び直線に沿った方向のみ
ならず前後方向に移動しても、視点位置に合わせた画像
を表示することができる。

【００３９】すなわち、観察者の目の位置を検出し、観
察者から見える画像を複数枚の画像から再構成すること
により、観察者の視点が移動した場合にそれに対応した
画像をスムーズに出力することができ、さらに、従来で
は対応できなかった前後方向への視点移動が可能となる
という効果がある。

【００４０】なお、表示スクリーン１１および画像表示
部１１４に、レンチキュラ方式やメガネ方式などの両眼
立体視が可能な立体表示スクリーン及び立体画像表示部
を用い、かつ、視点パラメータ算出部１７が左右おのお
のの目の位置に対応する視点パラメータを算出し、これ
に対応して画像生成部１８が左右おのおのの目に提示す
るための画像を生成することにより、前後左右に視点移
動可能な両眼立体表示装置となる。

【００４１】

【第２実施例】次に、多視点画像データベース１３に保
持されている多視点画像の視点間隔が十分に細かくない
場合でも、自由に視点移動表示できる画像表示装置を説
明する。

【００４２】図１２は本実施例の画像処理装置の構成を
示すブロック図である。第１実施例と共通する部分には
同一の参照番号を付し、説明を省略する。この画像処理
装置は、上述した第１実施例の多視点画像データベース
１３と画素値算出部１１３との間に視点間補間処理部１
２０が設けられた構成となっている。視点間補間処理部
１２０は、多視点画像データベース１３中の粗い視点間
隔で撮影された各画像から、補間処理を行うことによっ
て、十分に細かい視点間間隔の一群の画像を生成するも
のである。こうして十分に細かい視点間間隔とされた画
像を用いることにより、第１実施例と同様に、利用者の
視点の変化に対応した画像が生成される。多視点画像デ
ータベース１３中には、左右方向に１直線上に並んだ撮
影視点からの画像が保持されている。以下、図６から図
１１を用いて、視点間補間処理部１２０について詳しく
説明する。

【００４３】図６は、本実施例の視点間補間処理部１２
０の処理の流れを示すフローチャートである。

【００４４】まずステップＳ６１で、多視点画像データ
ベース１３の中から、粗い視点間隔で撮影された多視点
画像を取得する。次にステップＳ６２で、視点画像間の
対応点探索（動きベクトル検出）を行う。対応点探索が
終了すると次にステップＳ６３に移り、画像の視点間の
補間処理を行ない、十分に細かい視点間間隔の多視点画
像を求める。

【００４５】図７は、ステップＳ６２の対応点探索処理
のフローチャートである。

【００４６】ステップＳ７１において、初期設定として
注目ラスタを各画像の第１ラスタにセットする。次にス
テップＳ７２において、各画像の注目ラスタをワークメ
モリに読み込み、仮想的に１番目のエピポーラプレーン
を構成する。ここで言うｊ番目のエピポーラプレーンと
は、図８に示すように画像平面上の各点ＥＰｊ（ｘ，
ｉ）が ＥＰｊ（ｘ，ｉ）＝Ｎｉ（ｘ，ｊ） を満たすような点ＥＰｊ（ｘ，ｉ）の集合のことであ
る。但し、Ｎｉ（ｘ，ｊ）はｉ番目の画像（ここでは、
ｉ＝１〜４）のｊライン目におけるｘ番目の画素値、即
ちｉ番目の画像において座標が（ｘ，ｊ）で表される画
素の値を表している。入力機器（カメラ）が等間隔で並
行に設置されている場合、このエピポーラプレーン上で
は、対応する点は全て直線上に並んで存在する。従っ
て、画像の補間はこの直線上で行えばよいことになる。
そこでステップＳ７３において対応点が存在する直線を
抽出し、ステップＳ７４において、得られた直線から対
応点を計算し、記憶する。以上を、ステップＳ７５，Ｓ
７６によりすべてのラスタについて繰りかえす。具体的
なアルゴリズムを次に示す。

【００４７】（ステップＡ１）．ＥＰｊ（ｘ，ｒ）を注
目画素とし、ｍ＝０〜ｋ１の範囲内で、

【数１】 を満足するｍを全て求める。但しｒ＝１である。また、
ＴＨ２は対応点を見つけるための閾値であり、対応する
画素間で許される誤差量に応じて与える。ここでは１２
００（＝３×２０×２０）に設定している。また、ｋ１
はカメラ間隔と物体までの距離により決定される値で、
ここでは２０に設定（即ち、２０画素以上は移動しない
と仮定）している。

【００４８】（ステップＡ２）．ｘ＝１〜ｎｘの全ての
ｘについて、ステップＡ１を繰り返し、ｘの値と対応す
るｍの値を全て保持する。

【００４９】但し、ｎｘは画像の主走査方向の画素数を
表す。また、ＥＰｊ（ｘ＋ｍ×（ｉ−ｒ）、ｉ）が存在
しない場合は、このｍにおける対応点は存在しないとし
て処理を続ける。

【００５０】（ステップＡ３）．上記ステップＡ１及び
ステップＡ２により求まった傾きｍの直線から優先順位
１の対応点を求め、メモリに記憶する。複数の対応点が
求まる場合は、便宜上全てを優先順位１の対応点として
記憶する。対応点として求まった画素は処理済の画素と
する。

【００５１】（ステップＡ４）．ステップＡ１，Ａ２，
Ａ３を１サイクルとして、処理済でない画素に対して上
記のサイクルを繰り返す。ステップＡ１においてＥＰｊ
（ｘ＋ｍ×（ｉ−ｒ）、ｉ）が処理済の場合は、ＥＰｊ
（ｘ＋ｍ×（ｉ−ｒ）、ｉ）−ＥＰｊ（ｘ，ｒ）＝０と
して処理を続ける。ステップＡ３において傾きｍの直線
より求まった対応点が既に処理済の場合は、この点を対
応点から除外する。第ｎサイクル目で求まった対応点は
優先順位ｎの対応点として記憶する。

【００５２】（ステップＡ５）．ステップＡ４の処理を
行っても未処理の画素が減らなくなったならば、ｒ＝２
にセットしＥＰｊ（ｘ，ｒ）を注目画素としてステップ
Ａ１〜Ａ４と同様の処理を行う。但し、ｘ＝１〜ｎｘで
ある。

【００５３】（ステップＡ６）．ステップＡ５の処理を
行っても未処理の画素が減らなくなったならば、ｒ＝３
にセットしＥＰｊ（ｘ，ｒ）注目画素としてステップＡ
１〜Ａ４と同様の処理を行う。但し、ｘ＝１〜ｎｘであ
る。

【００５４】（ステップＡ７）．ｊの値を１増やして処
理１に戻る。

【００５５】（ステップＡ８）．最終ラスタまで処理が
済んだならば、対応点探索処理を終える。

【００５６】上記のように処理を行うことにより、２枚
の画像からでは求まらなかった対応点が検出でき、ま
た、オクルージョン等にも対応できるので、対応点探索
の精度が向上する。

【００５７】こうしてステップＳ６２の処理が終了する
と、次にステップＳ６３に移り、画像の補間処理を行
う。画像の補間処理は、ステップＳ６２より求まった対
応点を用いて行う。具体的なアルゴリズムを図９を例に
して説明する。

【００５８】図９は、ｊ番目のエピポーラプレーンを表
している。ａ１，ｂ１は優先順位１の対応点を示し、ｃ
２は優先順位２の対応点を示している。入力画像間に等
間隔にｎ枚の画像を補間する場合を考える。ここでは説
明を簡単にする為、ｎ＝２とする。このことをｊ番目の
エピポーラプレーンで考えた場合、図１０に示すように
エピポーラプレーンのライン間に２本ずつラインを内挿
し、原画のエピポーラプレーンの対応点同士を結んだ直
線上にある内挿されたラインの画素値は対応点同士の平
均値に設定すればよい。即ち、アルゴリズムは次のよう
なものとなる。

【００５９】（ステップＢ１）．優先順位１の対応点を
結んだ直線を考え、この直線上にある内挿ラインの画素
値を直線上にある原画の画素値の平均値にセットする。
図１０の対応点ａ１及びｂ１を例に取れば、対応点同士
を結んだ直線上の点ａ及びｂの画素値は、それぞれａ
１，ｂ１で示される画素値の平均値をとる。

【００６０】（ステップＢ２）．優先順位１の対応点の
処理が終わったら、次に優先順位２の対応点の処理を行
う。この処理は、基本的にはステップＢ１の処理と同じ
であるが、ステップＢ１において既に補間された画素に
対しては処理を行わない。これを図１０を用いて説明す
る。画素（３，８）と（２，９）は対応点ｃ２により通
常は補間されるが、既に優先順位１のａ１という対応点
により補間されている為、この画素に対しては何も処理
を行わない。従って対応点ｃ２により補間される画素は
（９，２），（８，３），（６，５），（５，６）の４
画素である。（図１０の例では、この部分でオクルージ
ョンが発生しているが、このように処理することにより
オクルージョンの問題を解決できる。） （ステップＢ３）．優先順位２の対応点の処理が終わっ
たならば、次に優先順位３の対応点の処理に入る。ステ
ップＢ２と同様に既に補間処理済の画素に対しては、何
も行わない。以下同様にして、最終の優先順位の対応点
まで処理を行う。

【００６１】（ステップＢ４）．ステップＢ１〜Ｂ３の
処理を終えても補間されなかった画素に対しては、周囲
の画素から内挿を行う。この時の方法としては、周囲の
画素値の平均値を用いる方法や最近傍画素の値をそのま
ま用いる方法などがある。

【００６２】（ステップＢ５）．ｊ＝１〜ｎｙについ
て、ステップＢ１〜Ｂ４の処理を行い、ｊ２，ｊ３，ｊ
５，ｊ６，ｊ８，ｊ９を用いて補間画像を得る。但し、
図１０に示すようにステップＢ１〜Ｂ４の処理により内
挿されたラインをｊ２，ｊ３，ｊ５，ｊ６，ｊ８，ｊ９
と表すことにする。例えば補間画像２は、内挿ラインｊ
２（ｊ＝１〜ｎｙ）を並べることによって構成できる
（図１１参照）。補間画像３，５，６，８，９に関して
も同様である。

【００６３】以上述べたようにして多視点画像データベ
ース１３の画像から視点間補間画像を生成することによ
り、撮影視点並びの直線上で、撮影視点以外の視点から
の画像が得られる。これにより、任意視点からの画像を
生成することができる。したがって、多視点画像データ
ベース１３には十分に細かい視点間隔の多視点画像を保
持しておく必要がなく、多視点画像データベース１３の
記憶容量が大幅に削減されるという効果がある。

【００６４】

【第３実施例】第１実施例、第２実施例では、歪み補正
部１１８の歪み度の計算を行うために、多視点画像パラ
メータ保持部１６に撮影した被写体の注目点（あるい
は、ピントを合わせた点）までのおおまかな距離の値が
被写体までの距離５２としてあらかじめ保持されている
必要がある。本実施例は、第２実施例の画像処理装置を
拡張し、歪み補正部１１８の歪み度の値を自動判定する
画像処理装置を説明する。本実施例の画像処理装置の構
成は図１２に示したものと略同じものである。

【００６５】本実施例では、歪み補正部１１８が視点間
補間処理部１２０と協調して歪み度を自動判定する。視
点間補間処理部１２０は、対応点探索（図６，ステップ
Ｓ６２）の直線の検出（図７，ステップＳ７３）におい
て、抽出した直線の傾きｍを歪み補正部１１８に通知す
る。歪み補正部１１８は、この直線の傾きｍから、まず
発見した対応点（物体の輝点）のカメラからの距離Ｔｄ
ｉを以下の（１０）式で求める。

【００６６】 Ｔｄｉ＝Ｗ・Ａ／（２・ｍ・ｔａｎ（θ／２）） … （１０） ただし、Ｗは画像の幅（単位ピクセル）、θはカメラの
画角であり、多視点画像パラメータ保持部１６に保持さ
れている。また、Ａは多視点画像データベース１３の多
視点画像の視点間隔であり、撮影視点座標系保持部１５
に保持されている。（１０）式は、図１３から明らかで
ある。図１３において、視点並び直線１３２上の距離Ａ
離れた２つの視点１３３，１３４から同一の対象１３１
を見た場合を考える。画角θと焦点距離Ｆと画素サイズ
Ｓと画像の幅Ｗとの関係は、Ｓ・Ｗ／２＝Ｆｔａｎ（θ
／２）で与えられる。また、検出直線の傾きｍは、隣接
する画像間において、注目対応点のずれ量をピクセル数
で示す値である。従って、図１３より、Ｔｄｉ／Ａ＝Ｆ
／（ｍ・Ｓ）なる関係も与えられる。これら２つの関係
より、式（１０）が成立することが分かる。

【００６７】次に、歪み補正部１１８は、（９）式に倣
って以下の（１１）式で各対応点の歪み度ｋｉを算出す
る。

【００６８】 ｋｉ＝Ｔｄｉ／（Ｔｄｉ−ｚ） … （１１） そして、（９）式の代わりに、画像中の全対応点のｋｉ
の値の平均値を歪み度ｋとして推定し、算出する。

【００６９】以上の処理により、本実施例では、カメラ
から被写体間での距離をあらかじめ知る必要がないとい
う実施例固有の効果が得られる。

【００７０】推定歪み度ｋの算出は、他にも、まず傾き
ｍの平均値を求めてから行う方法や、画像の領域ごとに
重み付けを行い、中心となる被写体を推定して行う方法
などが考えられる。

【００７１】

【他の実施例】以上の各実施例では、あらかじめ撮影さ
れた多視点画像が多視点画像データベース１３に保持さ
れている構成としたが、これを、多視点画像を実時間で
取り込むことのできる多眼テレビカメラに置き換えるこ
とにより、実時間の任意視点画像撮影・表示システムと
なる。

【００７２】なお、本発明は単体の画像処理装置に適用
しても良いし、多視点テレビ、多視点テレビ電話端末や
多視点テレビ会議システムのようなシステム機器に適用
しても良いし、コンピュータや他の画像処理装置と組み
合わせた複合装置にも適用できる。

【００７３】上記説明した各実施例の画像処理装置は、
観察者の目の位置を検出し、観察者から見える画像を複
数枚の画像から再構成するので、観察者の視点が移動し
た場合にそれに対応した画像をスムーズに出力する。

【００７４】また、視点位置の異なる複数の画像からな
る多視点画像データとしては、１台以上のカメラから得
られる多数枚の画像や、データベースに蓄積されている
多数の画像を用いることができる。画像の再構成を行う
ためには、多視点画像データは十分に細かい間隔で撮影
位置を変化させた画像であることが望まれるが、撮影位
置の間隔が粗い場合であっても、撮影された画像に対し
て補間処理を施して隣接する撮影位置間の位置を視点位
置とする画像を生成し、これら撮影された画像および生
成した画像を多視点画像データとすることにより、画像
の再構成を行うことができる。

【００７５】さらに、画像の再構成は、観察者の目の位
置および画像出力装置の種類から画像の再構成に必要な
パラメータを計算し、再構成される画像の各画素が多視
点画像データの画像のどの画素に対応するかを求めたパ
ラメータに基づいて計算し、対応する画素を多視点画像
から抽出することにより行われる。この場合、観察者の
目の位置が多視点画像データ中のいずれの画像の視点位
置とも一致しない場合であっても、画素間の対応は求め
られ、したがって、画像の再構成が良好に行われる。

【００７６】また、画像出力装置としては、通常のディ
スプレイの他、ステレオディスプレイ、レンチキュラデ
ィスプレイなどを使用することができる。

【発明の効果】以上説明したように、本発明に係る画像
処理方法および装置は、観察者の目の位置が前後方向を
含む各方向へ移動しても、その移動した位置に応じた画
像を表示することができるという効果を奏する。

【００７７】

【図面の簡単な説明】

【図１】第１実施例の画像処理装置の構成を示す図であ
る。

【図２】第１実施例の画像処理装置の視線パラメータ算
出部１１０の算出原理を示す図である。

【図３】第１実施例の画像処理装置の視線パラメータ算
出部１１０の処理を示すフローチャートである。

【図４】第１実施例の画像処理装置の仮想視点パラメー
タ算出部１１１および画素位置算出部１１２の算出原理
を示す図である。

【図５】第１実施例の画像処理装置の歪み補正部１１８
の原理を示す図である。

【図６】第２実施例の画像処理装置の視点間補間処理部
の処理の流れを示すフローチャートである。

【図７】第２実施例の画像処理装置による対応点探索処
理を示すフローチャートである。

【図８】第２実施例の画像処理装置によるｊ番目のエピ
ポーラプレーンを示す図である。

【図９】第２実施例の画像処理装置による補間処理アル
ゴリズムの説明を示す図である。

【図１０】第２実施例の画像処理装置による補間処理ア
ルゴリズムの説明を示す図である。

【図１１】第２実施例の画像処理装置による補間処理ア
ルゴリズムの説明を示す図である。

【図１２】第２実施例の画像処理装置の構成を示す図で
ある。

【図１３】第３実施例の画像処理装置による対象物まで
の距離を算出する原理を説明する図である。

【符号の説明】

１１…表示スクリーン １２…視点検出器 １３…多視点画像データベース １４…表示パラメータ保持部 １５…撮影視点座標系保持部 １６…多視点画像パラメータ保持部 １７…視点パラメータ算出部 １８…画像生成部 １９…画素インデクス １１０…視線パラメータ算出部 １１１…仮想視点パラメータ算出部 １１２…画素位置算出部 １１３…画素値算出部 １１４…画像表示部 １１５…更新信号 １１６…画素値信号 １１７…画素値生成部 １１８…歪み補正部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 山本 裕之 東京都大田区下丸子３丁目30番２号 キ ヤノン株式会社内 (72)発明者 田村 秀行 東京都大田区下丸子３丁目30番２号 キ ヤノン株式会社内 (56)参考文献 特開 平５−37965（ＪＰ，Ａ) 特開 昭60−198685（ＪＰ，Ａ) 米国特許5287437（ＵＳ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 1/00 G06T 15/00 H04N 13/00 - 15/00

Claims (20)

(57)【特許請求の範囲】
1. 【請求項１】 互いに異なる位置を視点とする複数の画
   像を多視点画像データとして入力する画像入力手段と、 観察者の視点の位置を検出する視点検出手段と、 前記視点検出手段により検出された視点位置に基づい
   て、該位置を視点とする画像を前記多視点画像データか
   ら再構成する画像再構成手段と、 再構成された画像の歪みを補正する補正手段と、 補正された画像を画像出力装置に出力する画像出力手段
   と、を備えることを特徴とする画像処理装置。
2. 【請求項２】 前記画像入力手段は、予め多数の方向か
   ら撮影された画像を格納したデータベースを含み、該デ
   ータベースから画像を入力することを特徴とする請求項
   １に記載の画像処理装置。
3. 【請求項３】 前記画像入力手段は、１台以上のカメラ
   を含み、該カメラから画像を入力することを特徴とする
   請求項１に記載の画像処理装置。
4. 【請求項４】 前記画像入力手段により入力される多視
   点画像データを基に、該画像データに補間処理を施して
   前記画像入力手段の有していない視点の画像データを生
   成し、前記多視点画像データに追加する画像生成手段を
   更に備え、前記画像再構成手段は、前記多視点画像デー
   タと前記補間画像データとから画像を再構成することを
   特徴とする請求項１に記載の画像処理装置。
5. 【請求項５】 前記画像再構成手段は、観察者の視点の
   位置および画像出力装置の種類から画像の再構成に必要
   なパラメータを計算し、該パラメータを用いて再構成画
   像の各画素が多視点画像データ中の画像のどの画素に対
   応するかを計算し、対応する画素を多視点画像データか
   ら抽出して画像を再構成することを特徴とする請求項１
   に記載の画像処理装置。
6. 【請求項６】 前記画像入力手段による視点は被写体か
   ら等距離の視点並び直線上にあり、前記補正手段は、該
   視点並び直線と、前記視点検出手段により検出された観
   察者の視点との距離により生じる画像の歪みを補正する
   ことを特徴とする請求項１記載の画像処理装置。
7. 【請求項７】 前記補正手段は、多視点画像データの対
   応点の移動量に基づいて撮影された被写体とカメラとの
   距離を算出する手段を有し、該距離を基に画像の歪みを
   補正することを特徴とする請求項６記載の画像処理装
   置。
8. 【請求項８】 前記画像出力装置はディスプレイ装置で
   あることを特徴とする請求項１に記載の画像処理装置。
9. 【請求項９】 前記画像出力装置はステレオディスプレ
   イであることを特徴とする請求項１に記載の画像処理装
   置。
10. 【請求項１０】 前記画像出力装置はレンチキュラディ
    スプレイであることを特徴とする請求項１に記載の画像
    処理装置。
11. 【請求項１１】 互いに異なる位置を視点とする複数の
    画像を多視点画像データとして入力する画像入力工程
    と、 観察者の視点の位置を検出する視点検出工程と、 前記視点検出工程により検出された視点位置に基づい
    て、該位置を視点とする画像を前記多視点画像データか
    ら再構成する画像再構成手段と、 再構成された画像の歪みを補正する補正工程と、 補正された画像を画像出力装置に出力する画像出力工程
    と、 を備えることを特徴とする画像処理方法。
12. 【請求項１２】 前記画像入力工程は、予め多数の方向
    から撮影された画像を格納したデータベースから画像を
    入力することを特徴とする請求項１１に記載の画像処理
    方法。
13. 【請求項１３】 前記画像入力工程は、１台以上のカメ
    ラから画像を入力することを特徴とする請求項１１に記
    載の画像処理方法。
14. 【請求項１４】 前記画像入力工程により入力される多
    視点画像データを基に、該画像データに補間処理を施し
    て前記画像入力工程の有していない視点の画像データを
    生成し、前記多視点画像データに追加する画像生成工程
    を更に備え、前記画像再構成工程は、前記多視点画像デ
    ータと前記補間画像データとから画像を再構成すること
    を特徴とする請求項１１に記載の画像処理方法。
15. 【請求項１５】 前記画像再構成工程は、観察者の視点
    の位置および画像出力方法の種類から画像の再構成に必
    要なパラメータを計算し、該パラメータを用いて再構成
    画像の各画素が多視点画像データ中の画像のどの画素に
    対応するかを計算し、対応する画素を多視点画像データ
    から抽出して画像を再構成することを特徴とする請求項
    １１に記載の画像処理方法。
16. 【請求項１６】 前記画像入力工程による視点は被写体
    から等距離の視点並び直線上にあり、前記補正工程は、
    該視点並び直線と、前記視点検出工程により検出された
    観察者の視点との距離により生じる画像の歪みを補正す
    ることを特徴とする請求項１１記載の画像処理方法。
17. 【請求項１７】 前記補正工程は、多視点画像データの
    対応点の移動量に基づいて撮影された被写体とカメラと
    の距離を算出する工程を有し、該距離を基に画像の歪み
    を補正することを特徴とする請求項１６記載の画像処理
    方法。
18. 【請求項１８】 前記画像出力工程は、ディスプレイ装
    置に画像を表示することを特徴とする請求項１１に記載
    の画像処理方法。
19. 【請求項１９】 前記画像出力工程は、ステレオディス
    プレイ装置に画像を表示することを特徴とする請求項１
    １に記載の画像処理方法。
20. 【請求項２０】 前記画像出力工程は、レンチキュラデ
    ィスプレイ装置に画像を表示することを特徴とする請求
    項１１に記載の画像処理方法。