JP2006157432A

JP2006157432A - 立体画像撮影装置及び立体画像の撮影方法

Info

Publication number: JP2006157432A
Application number: JP2004344565A
Authority: JP
Inventors: Takashi Ebato; 尚江波戸
Original assignee: Fuji Photo Film Co Ltd
Current assignee: Fujifilm Holdings Corp
Priority date: 2004-11-29
Filing date: 2004-11-29
Publication date: 2006-06-15

Abstract

【解決課題】撮影した画像の被写体の位置に基づいて画角のずれによる位置ずれを補正して立体画像を得る。
【解決手段】特徴点位置比較部６４は、２つの画像データにより示される各画像の予め定められた領域から対応する特徴点を検出し、ＣＰＵ４０は、検出された特徴点の前記各画像間での位置を比較し、対応する特徴点の位置を一致させるための補正パラメータを導出し、画角ゆがみ補正回路６６は、前記補正パラメータに基づいて少なくとも一方の前記画像データに対してシフト処理と、縮小処理又は拡大処理と、の少なくとも１つを行う。
【選択図】図２

Description

本発明は、２つの撮像手段によって被写体を同時に撮像し、立体画像を示す２つの画像データを取得する立体画像撮影装置及び立体画像の撮影方法に関するものである。

近年、３次元の立体画像に対する関心が高まっており、立体撮影を行うことのできる立体画像撮影装置（以下、「立体カメラ」ともいう。）も製品化されている。

この種の立体カメラでは、一般に、被写体を撮像するための撮像系が２つ備えられており、各撮像系での被写体に対する視差の違いにより、各撮像系によって同時に撮像を行って得られた２つの画像を立体画像として再生することができる。

しかしながら、立体カメラでは２つの撮像系を用いて撮影を行うため、２つの撮像系の間で微妙な画角のずれを生じ、各撮像系により撮像された２つの画像内での主要被写体像の位置に、視差によるずれ以外に、画角のずれによる位置ずれを生じてしまう。

この画角のずれによる位置ずれを調整するために適用できる技術として、特許文献１には、２つの撮像系を有するステレオカメラにおいて、２つの撮像系によって調整用パターンを撮像し、得られた２つの画像でのパターン像の位置ずれに基づいて画角のずれを求め、拡大率、回転ずれ量、並進ずれ量等の画角調整用パラメータを予め算出し、被写体を撮影した際に画角調整用パラメータに基づいて、撮影した画像に対してアフィン変換を行って画角のずれによる位置ずれを補正する技術が記載されている。
特開平１０−３０７３５２号公報

しかしながら、特許文献１の技術を適用した立体カメラでは、予め調整用パターンの撮像を行う必要があり、著しく手間がかかる、という問題点があった。特に、立体カメラでは、一般に２つの撮像系を機械的に取り付けており、経年変化によって機械的な画角のずれが発生するため、定期的に調整用パターンの撮像を行う必要があり、この問題は深刻である。

本発明は上記問題点を解決するためになされたものであり、画角のずれに起因する主要被写体の位置ずれを簡単に補正することができる立体画像撮影装置及び立体画像の撮影方法を提供することを目的とする。

上記目的を達成するために、請求項１に記載の発明は、２つの撮像手段によって被写体を同時に撮像し、立体画像を示す２つの画像データを取得する立体画像撮影装置であって、前記２つの画像データにより示される各画像の予め定められた領域から対応する特徴点を検出する検出手段と、前記検出手段により検出された特徴点の前記各画像間での位置を比較し、対応する特徴点の位置を一致させるための補正パラメータを導出する導出手段と、前記補正パラメータに基づいて少なくとも一方の前記画像データに対してシフト処理と、縮小処理又は拡大処理と、の少なくとも１つを行う処理手段と、を備えている。

請求項１に記載の発明によれば、検出手段によって２つの画像データにより示される各画像の予め定められた領域から対応する特徴点が検出され、導出手段によって前記検出手段により検出された特徴点の前記各画像間での位置を比較し、対応する特徴点の位置を一致させるための補正パラメータが導出され、処理手段によって前記補正パラメータに基づいて少なくとも一方の前記画像データに対してシフト処理と、縮小処理又は拡大処理と、の少なくとも１つが行われる。

このように、請求項１に記載の発明によれば、２つの画像データにより示される各画像の予め定められた領域から対応する特徴点を検出し、検出された特徴点の前記各画像間での位置を比較して対応する特徴点の位置を一致させるための補正パラメータを導出し、前記補正パラメータに基づいて少なくとも一方の前記画像データに対してシフト処理と、縮小処理又は拡大処理と、の少なくとも１つを行っているので、画角のずれに起因する主要被写体の位置ずれを簡単に補正することができる。

なお、本発明は、請求項２記載の発明のように、前記検出手段が、前記２つの画像データにより示される各画像のうちの何れか一方の画像の前記予め定められた領域から所定位置の画素を特徴点として定め、他方の画像の前記予め定められた領域から前記特徴点の輝度情報及び輝度の変化量情報を含む特徴情報が一致する画素を前記対応する特徴点として検出するようにしてもよい。

また、本発明は、請求項３記載の発明のように、前記予め定められた領域が、前記２つの画像データにより示される各画像の４隅に設けられていることが好ましい。

一方、上記目的を達成するために、請求項４に記載の発明は、２つの撮像手段によって被写体を同時に撮像し、立体画像を示す２つの画像データを取得する立体画像の撮影方法であって、前記２つの画像データにより示される各画像の予め定められた領域から対応する特徴点を検出し、検出された特徴点の前記各画像間での位置を比較し、対応する特徴点の位置を一致させるための補正パラメータを導出し、前記補正パラメータに基づいて少なくとも一方の前記画像データに対してシフト処理と、縮小処理又は拡大処理と、の少なくとも１つを行う、ことを特徴としている。

従って、請求項４に記載の立体画像の撮影方法は、請求項１と同様の作用を生じさせることができるので、請求項１記載の発明と同様に、画角のずれに起因する主要被写体の位置ずれを簡単に補正することができる。

なお、本発明は、請求項５記載の発明のように、前記２つの画像データにより示される各画像のうちの何れか一方の画像の前記予め定められた領域から所定位置の画素を特徴点として定め、他方の画像の前記予め定められた領域から前記特徴点の輝度情報及び輝度の変化量情報を含む特徴情報が一致する画素を前記対応する特徴点として検出してもよい。

また、本発明は、請求項６記載の発明のように、前記予め定められた領域が、前記２つの画像データにより示される各画像の４隅に設けられていることが好ましい。

以上説明したように、２つの画像データにより示される各画像の予め定められた領域から対応する特徴点を検出し、検出された特徴点の前記各画像間での位置を比較して対応する特徴点の位置を一致させるための補正パラメータを導出し、前記補正パラメータに基づいて少なくとも一方の前記画像データに対してシフト処理と、縮小処理又は拡大処理と、の少なくとも１つを行っているので、画角のずれに起因する主要被写体の位置ずれを簡単に補正することができる、という優れた効果を有する。

以下、図面を参照して、本発明の実施の形態について詳細に説明する。なお、ここでは、２台の画像撮影装置を用いて立体画像の撮影を行う立体画像撮影システムに対して本発明を適用した場合について説明する。

まず、図１を参照して、本実施の形態に係る立体画像撮影システム１０の構成を説明する。

同図に示されるように、立体画像撮影システム１０は、２台の画像撮影装置１２、１３と、画像撮影装置１２、１３を支持する支持部材１５と、撮影された画像を表示する画像表示装置１４と、を含んで構成されている。

画像撮影装置１２、１３は、同一の主要被写体を所定間隔を隔てて異なる視点から撮影可能なように支持部材１５に機械的に取り付けられている。これにより、前記所定間隔が主要被写体に対する視差となり、撮影によって得られた２つの画像に基づいて立体画像を再生することが可能となっている。

画像撮影装置１２、１３は、被写体像を結像させるためのレンズ部２１をそれぞれ備えている。また、画像撮影装置１２、１３の上面には、撮影を実行する際に押圧操作されるレリーズボタン（所謂シャッター）５６Ａと、電源スイッチ５６Ｂと、がそれぞれ備えられている。

なお、本実施の形態に係る画像撮影装置１２、１３のレリーズボタン５６Ａは、中間位置まで押下される状態（以下、「半押し状態」という。）と、当該中間位置を超えた最終押下位置まで押下される状態（以下、「全押し状態」という。）と、の２段階の押圧操作が検出可能に構成されている。

画像撮影装置１２、１３では、レリーズボタン５６Ａを半押し状態にすることによりＡＥ（Automatic Exposure、自動露出）機能が働いて露出状態（シャッタースピード、絞りの状態）が設定された後、ＡＦ（Auto Focus、自動合焦）機能が働いて合焦制御され、その後、引き続き全押し状態にすると露光（撮影）が行われる。

なお、本実施の形態に係る画像撮影装置１２、１３は、他の画像撮影装置との間でＡＥ機能、ＡＦ機能の作動を同期させるための信号（以下、同期信号という。）を入出力するためのコネクタ１６が設けられると共に、当該コネクタ１６を介してケーブル１９により互いに接続されており、画像撮影装置１２又は画像撮影装置１３の何れかのレリーズボタン５６Ａが半押し状態とされると、画像撮影装置１２、１３で略同時にＡＥ機能、ＡＦ機能が作動する。

また、画像撮影装置１２、１３には、ビデオ信号出力コネクタ１７及びビデオ信号入力コネクタ１８がそれぞれ設けられており、画像撮影装置１２、１３による撮影によって取得された各画像データがビデオ信号に変換されてビデオ信号出力コネクタ１７から出力されている。

ここで、画像撮影装置１２のビデオ信号出力コネクタ１７は、画像表示装置１４にビデオケーブル２０Ａを介して接続されている。よって、画像表示装置１４には、画像撮影装置１２により撮影された画像が表示される。一方、画像撮影装置１３のビデオ信号出力コネクタ１７は、画像撮影装置１２のビデオ信号入力コネクタ１８にビデオケーブル２０Ｂを介して接続されている。画像撮影装置１３による撮影によって得られた画像データはビデオ信号として画像撮影装置１２に入力される。

次に、図２を参照して、画像撮影装置１２、１３の電気系の主要構成を説明する。なお、画像撮影装置１２、１３は同一の構成であるため、ここでは、画像撮影装置１２の構成についてのみ説明する。

画像撮影装置１２は、レンズ部２１の内部に構成された光学ユニット２２と、光学ユニット２２の光軸後方に配設された電荷結合素子（以下、「ＣＣＤ」という。）２４と、入力されたアナログ信号に対して各種のアナログ信号処理を行うアナログ信号処理部２６と、入力されたアナログ信号をデジタルデータに変換するアナログ／デジタル変換器（以下、「ＡＤＣ」という。）２８と、入力されたデジタルデータに対して各種のデジタル信号処理を行うデジタル信号処理部３０と、を含んで構成されている。

なお、デジタル信号処理部３０は、所定容量のラインバッファを内蔵し、入力されたデジタルデータを後述するＲＡＭ４８の所定領域に直接記憶させる制御も行う。

ＣＣＤ２４の出力端はアナログ信号処理部２６の入力端に、アナログ信号処理部２６の出力端はＡＤＣ２８の入力端に、ＡＤＣ２８の出力端はデジタル信号処理部３０の入力端に、各々接続されている。従って、ＣＣＤ２４から出力された被写体像を示すアナログ信号はアナログ信号処理部２６によって所定のアナログ信号処理が施され、ＡＤＣ２８によってデジタル画像データに変換された後にデジタル信号処理部３０に入力される。

一方、画像撮影装置１２は、装置全体の動作を司るＣＰＵ（中央処理装置）４０と、主として撮影により得られたデジタル画像データを記憶するＲＡＭ４８と、後述する画像補正プログラムを含む各種プログラムや各種パラメータ等が予め記憶されたＲＯＭ４９と、を含んで構成されている。

また、画像撮影装置１２は、可搬型のメモリカード１５を画像撮影装置１２でアクセス可能とするためのメディアインタフェース回路５０と、撮影されたデジタル画像データに対して圧縮処理及び伸張処理を行う圧縮・伸張回路５４と、ビデオ信号入力コネクタ１８から入力されたビデオ信号に対してサンプリングを行い、デジタル画像データに変換する外部同期制御回路６０と、外部同期制御回路６０により変換されたデジタル画像データを一旦記憶する画像バッファメモリ６２と、画像バッファメモリ６２及びＲＡＭ４８にそれぞれ記憶されたデジタル画像データにより示される各画像の所定領域から特徴点を求め、各画像間の特徴点の画素の特徴情報を比較する特徴点位置比較部６４と、デジタル画像データに対してシフト処理と拡大処理又は縮小処理とを行う画角ゆがみ補正回路６６と、ＲＡＭ４８に記憶されたデジタル画像データをビデオ信号に変換してビデオ信号出力コネクタ１７へ出力するビデオエンコーダ６８と、を含んで構成されている。

なお、本実施の形態の画像撮影装置１２では、メモリカード１５としてスマートメディア（Smart Media(登録商標)）が用いられている。また、圧縮・伸張回路５４は、所定の静止画像圧縮方式（本実施の形態では、ＪＰＥＧ（Joint Photographic Coding Expert Group）方式。）に従って圧縮処理乃至伸張処理を行う。

デジタル信号処理部３０、ＣＰＵ４０、ＲＡＭ４８、ＲＯＭ４９、メディアインタフェース回路５０、圧縮・伸張回路５４、画像バッファメモリ６２、特徴点位置比較部６４、画角ゆがみ補正回路６６、及びビデオエンコーダ６８は、システムバスＢＵＳを介して相互に接続されている。従って、ＣＰＵ４０は、デジタル信号処理部３０、圧縮・伸張回路５４、特徴点位置比較部６４、及び画角ゆがみ補正回路６６の作動の制御、画像バッファメモリ６２、ＲＡＭ４８、及びＲＯＭ４９へのアクセス、メモリカード１５へのメディアインタフェース回路５０を介したアクセス、を各々行うことができる。

一方、本実施の形態の画像撮影装置１２には、主としてＣＣＤ２４を駆動させるためのタイミング信号を生成してＣＣＤ２４に供給するタイミングジェネレータ３２が備えられており、ＣＣＤ２４の駆動はＣＰＵ４０によりタイミングジェネレータ３２を介して制御される。

更に、画像撮影装置１２にはＡＥ／ＡＦ制御部３４が備えられており、光学ユニット２２に備えられた図示しない焦点調整モータ及び絞り駆動モータの駆動もＣＰＵ４０によりＡＥ／ＡＦ制御部３４を介して制御される。

すなわち、本実施の形態に係る光学ユニット２２は、図示しないレンズ駆動機構を備えている。このレンズ駆動機構に上記焦点調整モータ及び絞り駆動モータは含まれるものであり、これらのモータは各々ＣＰＵ４０の制御によりＡＥ／ＡＦ制御部３４から供給された駆動信号によって駆動される。

また、前述のレリーズボタン５６Ａ及び電源スイッチ５６Ｂ（同図では、「操作部５６」と総称。）はＣＰＵ４０に接続されており、ＣＰＵ４０は、これらの操作部５６に対する操作状態を常時把握できる。

さらに、画像撮影装置１２は、コネクタ１６を介して入力された同期信号に同期させてＡＥ機能、ＡＦ機能を作動させるためのＡＥ／ＡＦ同期制御部７０を備えており、ＡＥ／ＡＦ同期制御部７０はシステムバスＢＵＳに接続されている。ＣＰＵ４０は、自身のレリーズボタン５６Ａが半押し状態とされたことを検出すると、ＡＥ／ＡＦ同期制御部７０を制御してＡＥ機能、ＡＦ機能の作動を同期させるための同期信号をコネクタ１６へ出力させる。また、ＡＥ／ＡＦ同期制御部７０がコネクタ１６を介して同期信号を受信すると、ＣＰＵ４０は、ＡＥ／ＡＦ制御部３４によりＡＥ機能、ＡＦ機能を作動させる。

次に、本実施の形態に係る画像撮影装置１２の撮影時における全体的な動作について簡単に説明する。

ＣＣＤ２４は、光学ユニット２２を介した撮像を行い、被写体像を示すＲ（赤）、Ｇ（緑）、Ｂ（青）毎のアナログ信号をアナログ信号処理部２６に順次出力する。アナログ信号処理部２６は、ＣＣＤ２４から入力されたアナログ信号に対して相関二重サンプリング処理等のアナログ信号処理を施した後にＡＤＣ２８に順次出力する。

ＡＤＣ２８は、アナログ信号処理部２６から入力されたＲ、Ｇ、Ｂ毎のアナログ信号を各々１２ビットのＲ、Ｇ、Ｂの信号（デジタル画像データ）に変換してデジタル信号処理部３０に順次出力する。デジタル信号処理部３０は、内蔵しているラインバッファにＡＤＣ２８から順次入力されるデジタル画像データを蓄積して一旦ＲＡＭ４８の所定領域に直接格納する。

ＲＡＭ４８の所定領域に格納されたデジタル画像データは、ＣＰＵ４０による制御に応じてデジタル信号処理部３０により読み出され、所定の物理量に応じたデジタルゲインをかけることでホワイトバランス調整を行うと共に、ガンマ処理及びシャープネス処理を行って８ビットのデジタル画像データを生成する。

そして、デジタル信号処理部３０は、生成した８ビットのデジタル画像データに対しＹＣ信号処理を施して輝度信号Ｙとクロマ信号Ｃｒ、Ｃｂ（以下、「ＹＣ信号」という。）に変換し、ＹＣ信号をＲＡＭ４８の上記所定領域とは異なる領域に格納する。

なお、画像撮影装置１２、１３では、ＣＣＤ２４による連続的な撮像によって得られた動画像（スルー画像）のＹＣ信号をビデオエンコーダ６８によってビデオ信号に変換してビデオ信号出力コネクタ１７から出力している。従って、画像表示装置１４には、画像撮影装置１２による撮影によって得られた動画像（スルー画像）が表示される。

画像撮影装置１２では、レリーズボタン５６Ａが半押し状態とされると、前述のようにＡＥ機能が作動して露出状態が設定された後、ＡＦ機能が作動して合焦制御される。また、これと同時に画像撮影装置１２では、画像撮影装置１３へ同期信号が出力される。これにより、画像撮影装置１３においても画像撮影装置１２に同期してＡＥ機能、ＡＦ機能が作動する。この後、画像撮影装置１２のレリーズボタン５６Ａが全押し状態とされることにより撮影が行われる。

ここで、画像撮影装置１２、１３は支持部材１５に機械的に取り付けられているため、画角調整のばらつきや経年変化によって生じる機械的なずれなどにより画像撮影装置１２、１３の画角は厳密には一致せず、わずかながら画角のずれが生じていることが多い。

このため、本実施の形態に係る画像撮影装置１２では、ＣＰＵ４０により、レリーズボタン５６Ａが全押し状態とされた時点でＲＡＭ４８に格納されているデジタル画像データ（以下、デジタル画像データＢという。）と、画像バッファメモリ６２に記憶されている、画像撮影装置１３から入力されたビデオ信号に基づくデジタル画像データ（以下、デジタル画像データＡという。）と、の少なくとも一方に対して画像補正プログラムによる補正処理を行っている。

次に、図３を参照して、当該実行される画像補正プログラムによる補正処理について説明する。なお、図３は、画像補正プログラムの処理の流れを示すフローチャートである。

同図のステップ１００では、画像バッファメモリ６２に記憶されているデジタル画像データＡと、メモリカード１５に記憶されているデジタル画像データＢとを特徴点位置比較部６４へ転送する。以下、デジタル画像データＡにより示される画像を画像Ａといい、デジタル画像データＢにより示される画像を画像Ｂという。なお、図４（Ａ）及び図４（Ｂ）には、画像Ａ及び画像Ｂの一例が示されている。

デジタル画像データＡ及びデジタル画像データＢが転送されてくると、特徴点位置比較部６４では、デジタル画像データＡにより示される画像Ａの予め定められた位置に位置される４隅の領域を各々特徴点検出領域８０Ａ、８０Ｂ、８０Ｃ、８０Ｄとして、特徴点検出領域８０Ａ、８０Ｂ、８０Ｃ、８０Ｄから各々の所定位置（本実施の形態では、各特徴点検出領域の中心位置）を特徴点８２Ａ、８２Ｂ、８２Ｃ、８２Ｄとして定めて、各特徴点の画像Ａ内での位置（座標）を求める。なお、特徴点検出領域８０Ａ、８０Ｂ、８０Ｃ、８０Ｄを予め定めることなく、予め定めた位置を特徴点８２Ａ、８２Ｂ、８２Ｃ、８２Ｄとしてもよい。

また、特徴点位置比較部６４では、特徴点８２Ａ、８２Ｂ、８２Ｃ、８２Ｄに位置される各画素の特徴情報として輝度と、当該特徴点の周辺画素との輝度の変化量を導出する。

そして、特徴点位置比較部６４は、デジタル画像データＢにより示される画像Ｂの、画像Ａと同一の位置に位置される４隅の領域を各々特徴点検出領域８０Ｅ、８０Ｆ、８０Ｇ、８０Ｈとして、特徴点検出領域８０Ｅから輝度及び輝度の変化量が特徴点８２Ａの輝度及び輝度の変化量に対して所定範囲内にある画素を検出して、特徴点８２Ａに対応する特徴点８２Ｅとし、同様に、特徴点検出領域８０Ｆから特徴点８２Ｂに対応する特徴点８２Ｆを、特徴点検出領域８０Ｇから特徴点８２Ｃに対応する特徴点８２Ｇを、特徴点検出領域８０Ｈから特徴点８２Ｄに対応する特徴点８２Ｈを、各々検出して、特徴点８２Ｅ、８２Ｆ、８２Ｇ、８２Ｈ画像Ｂ内での位置を求める。なお、上記所定範囲は、被写体の明るさに応じて調整することが好ましい。また、上記所定範囲内となる画素が複数存在する場合、本実施の形態では、画像Ｂの特徴点との輝度の差の絶対値と輝度の変化量の差の絶対値を合計した合計が最も小さい画素を対応する特徴点とし、当該画素が複数存在する場合は、画像Ｂの特徴点の位置と最も近い画素を対応する特徴点とする形態をとっているが、これに限定されない。

そして、ＣＰＵ４０は、特徴点位置比較部６４によって求められた特徴点８２Ａ〜８２Ｈの位置をＲＡＭ４８に記憶させる。

ここで、画像Ａ及び画像Ｂの水平方向をＸ方向とし、垂直方向をＹ方向として、ＲＡＭ４８に記憶した特徴点８２Ａ〜８２Ｈの位置を（Ｘ_A、Ｙ_A）〜（Ｘ_H、Ｙ_H）と表す。

次のステップ１０２では、画像Ａの特徴点８２Ａと特徴点８２Ｃを結ぶ直線と、画像Ｂの特徴点８２Ｅと特徴点８２Ｇを結ぶ直線の位置を一致させるための位置補正量Ｈを算出する。すなわち、図５に示すように、特徴点８２Ｅと特徴点８２Ｇを結ぶ直線Ｂを特徴点８２Ａと特徴点８２Ｃを結ぶ直線Ａに一致させるように画素をシフトさせる位置補正量Ｈを算出する。

ここで、画像Ａと画像Ｂの間で互いに対応する特徴点８２Ａと特徴点８２ＥのＸ方向の差はＸ_E−Ｘ_Aであり、特徴点８２Ｃと特徴点８２ＧのＸ方向の差はＸ_G−Ｘ_Cである。また、特徴点８２Ａと特徴点８２ＣのＸ方向の差はＹ_C−Ｙ_Aである。

よって、図５に示される、直線Ａと直線Ｂとの間の傾き（角度）表す値αを以下の（１）式のように求めることができる。

傾きα＝（（Ｘ_G−Ｘ_C）−（Ｘ_E−Ｘ_A））／（Ｙ_C−Ｙ_A）・・・（１）
ここで、Ｙ方向の位置に応じて、直線Ａと直線Ｂの差の値だけ画像Ｂの画素をＸ方向へシフトさせることにより、直線Ａと直線Ｂが一致する。すなわち、特徴点８２ＡのＹ方向の位置（Ｙ＝Ｙ_A）での位置補正量ＨをＸ_E−Ｘ_Aとし、特徴点８２ＣのＹ方向の位置（Ｙ＝Ｙ_C）での位置補正量ＨをＸ_G−Ｘ_Cとすると、位置補正量ＨとＹ方向の位置との関係を図８の直線Ｄのように示すことができる。この図８では、前記傾きαが直線Ｄの傾きを示す値となるため、直線Ｄに示されるＹ方向の位置と位置補正量Ｈとの関係式を以下の（２）式により表すことができ、（２）式によりＹ方向の位置に応じた位置補正量Ｈを算出できる。

位置補正量Ｈ＝α（Ｙ−Ｙ_A）＋（Ｘ_E−Ｘ_A）・・・（２）
次のステップ１０４では、画像Ａと画像ＢのＸ方向の距離を一致させるための倍率Ｍを算出する。

すなわち、図４に示される画像Ａの特徴点８２Ａと特徴点８２ＢのＸ方向の距離Ｘ_B−Ｘ_A、及び特徴点８２Ｄと特徴点８２ＣのＸ方向の距離Ｘ_D−Ｘ_Cが、画像Ｂにおいて特徴点８２Ｆと特徴点８２ＥのＸ方向の距離Ｘ_F−Ｘ_E、及び特徴点８２Ｈと特徴点８２ＧのＸ方向の距離Ｘ_H−Ｘ_Gと変化している。

よって、特徴点８２ＡのＹ方向の位置（Ｙ＝Ｙ_A）でのＸ方向の倍率Ｍは（Ｘ_H−Ｘ_G）／（Ｘ_D−Ｘ_C）であり、特徴点８２Ｃの位置（Ｙ＝Ｙ_C）でのＸ方向の倍率Ｍは（Ｘ_F−Ｘ_E）／（Ｘ_B−Ｘ_A）となるため、倍率ＭとＹ方向の位置との関係を図６の直線Ｃのように示すことができる。この直線Ｃの傾きβは以下の（３）式より算出できる。

よって、図６に示した直線Ｃを以下の（４）式により表すことができ、（４）式によりＹ方向の位置に応じた画像Ａと画像ＢとのＸ方向の画素の倍率Ｍを導出できる。
倍率Ｍ＝β（Ｙ−Ｙ_A）＋（Ｘ_H−Ｘ_G）／（Ｘ_D−Ｘ_C）・・・（４）
次のステップ１０６では、画像Ｂは画像Ａと比較した際にＸ方向への縮小が必要であるかを否かを、（４）式から算出される倍率Ｍが画像ＢのＹ方向の画像領域（画像Ｂの左上の画素から左下の画素。）において１未満となるか否かを判定しており、肯定判定の場合はステップ１０８へ移行し、否定判定の場合はステップ１１０へ移行する。

ステップ１０８では、ステップ１０４において画像ＢのＹ方向の画像領域において倍率Ｍが縮小となる部分が存在するため、デジタル画像データＡを画角ゆがみ補正回路６６へ出力し、画像ＢのＹ方向の画像領域において（４）式から求められる最小の倍率Ｍを１で割ることにより求められる倍率（１／最小の倍率Ｍ。）でデジタル画像データＡにより示される画像Ａ全体に対して拡大処理を行う。すなわち、最小の倍率Ｍが１未満であるため、最小の倍率Ｍを１で割ることにより求められる倍率は拡大となる。さらに、デジタル画像データＡに対して拡大に伴なう画素の補間処理を行って処理後の画像Ａを新たなデジタル画像データＡとして画像バッファメモリ６２に記憶させ、再度ステップ１００へ移行する。これにより、画像Ａが拡大されたため、画像Ｂを縮小する必要が無くなり、画像Ａに対する画像Ｂのけられを防止することができる。

一方、次のステップ１１０では、ＲＡＭ４８に記憶されてるデジタル画像データＢにより示される画像Ｂの水平方向（Ｘ方向）の１ライン分のデータを読み込んで、画角ゆがみ補正回路６６へ出力する。

次のステップ１１２では、読み込んだ１ラインのデータの画像ＢにおけるＹ方向の位置に対応する位置補正量Ｈ及び倍率Ｍを（２）式及び（４）式を用いて導出する。

次のステップ１１４では、画角ゆがみ補正回路において、１ライン分のデータに対して（２）式から算出した位置補正量Ｈに基づきＸ方向への位置のシフト処理、及び（４）式から算出した倍率Ｍに基づきＸ方向への拡大処理を行い、シフト処理及び拡大処理に伴なう画素の補間処理を行い、各画素の位置での濃度値を算出し、算出した１ラインのデータをＲＡＭ４８のデジタル画像データＢとは異なる所定領域に補正されたデジタル画像データとして記憶させる。

次のステップ１１６では、デジタル画像データＢの全ての水平方向のラインを読み込んだか否かが判定され、否定判定の場合はステップ１１０へ移行して新たに１ラインのデータを読み込みを行い、肯定判定の場合はステップ１１８へ移行する。

ステップ１１８では、ＲＡＭ４８に格納されているシフト処理及び拡大処理により補正されたデジタル画像データを及び画像バッファメモリ６２に記憶されているデジタル画像データＡを順次圧縮・伸張回路５４へ出力し、圧縮・伸張回路５４によって符号化及び離散コサイン変換等の処理を伴なう所定の静止画像圧縮方式（本実施の形態では、ＪＰＥＧ方式）での圧縮処理を行わせ、メディアインタフェース回路５０を介してメモリカード１５に記憶させて処理終了となる。

ここで、図７（Ａ）は、シフト処理及び拡大処理を行わなかった場合の立体画像を示しており、図７（Ｂ）は、本実施の形態に係る補正処理を行った立体画像を示している。

図７（Ａ）に示されるように、シフト処理及び拡大処理を行わなかった場合は、２つの画像に背景部分に画角のずれによる位置ずれが生じている。

一方、図７（Ｂ）に示されるように、本実施の形態に係る補正処理によれば、特徴点８２Ａ、８２Ｂ、８２Ｃ、８２Ｄと対応する特徴点８２Ｅ、８２Ｆ、８２Ｇ、８２Ｈとの水平方向の位置が一致するようになる。すなわち、図７（Ｂ）に示すように、背景部分については、撮影した画像の被写体の位置に基づいて画角のずれ等による位置ずれを補正される。また、中央部分に撮影された主要被写体（図７では人物像。）については、視差による位置ずれ生じているため、立体的に再生することができる。

以上のように本実施の形態によれば、２つの撮像手段（ここでは、ＣＣＤ２４）によって被写体を同時に撮像し、立体画像を示す２つの画像データを取得する立体画像撮影装置であって、検出手段（ここでは、特徴点位置比較部６４）は、２つの画像データにより示される各画像の予め定められた領域から対応する特徴点を検出し、導出手段（ここでは、ＣＰＵ４０）は、前記検出手段により検出された特徴点の前記各画像間での位置を比較し、対応する特徴点の位置を一致させるための補正パラメータを導出し、処理手段（ここでは、画角ゆがみ補正回路６６）は、前記補正パラメータに基づいて少なくとも一方の前記画像データに対してシフト処理と、縮小処理又は拡大処理と、の少なくとも１つを行っているので、画角のずれに起因する主要被写体の位置ずれを簡単に補正することができる。

また、検出手段が、前記２つの画像データにより示される各画像のうちの何れか一方の画像の前記予め定められた領域から所定位置の画素を特徴点として定め、他方の画像の前記予め定められた領域から前記特徴点の輝度情報及び輝度の変化量情報を含む特徴情報が一致する画素を前記対応する特徴点として検出しているので、各画像から対応する特徴点を的確に検出することができる。

さらに、前記予め定められた領域が、前記２つの画像データにより示される各画像の４隅に設けられているので、各画像の４隅に設けられた領域から特徴点を検出して、対応する特徴点の位置を一致させることで、各画像の間のゆがみを補正することができる。

なお、本実施の形態では、水平方向（Ｘ方向）の位置補正量Ｈ及び倍率Ｍを算出して２つの画像の水平方向を一致させたが、垂直方向（Ｙ方向）についても、同様の処理により位置補正量Ｈ及び倍率Ｍを算出して２つの画像の垂直方向を一致させることができる。

また、本実施の形態では、各特徴点検出領域の中心位置を特徴点８０Ａ、８０Ｂ、８０Ｃ、８０Ｄとしたが、画素の特徴情報に基づいて特徴点を定めてもよい。例えば、各特徴点検出領域内で最も輝度の大きい画素を特徴点８０Ａ、８０Ｂ、８０Ｃ、８０Ｄとしてもよい。

また、本実施の形態では、対応する特徴点を画素の輝度情報及び輝度の変化量情報に基づいて検出したが、画素の濃度値（階調値）情報、濃度値の変化量情報などの画素の特徴を表す特徴情報に基づいて対応する特徴点を検出してもよい。

また、本実施の形態では、特徴点を検出する予め定められた領域を画像の４隅に設けられた領域としたが、４隅以外の領域であってもよい。また、画像の水平方向あるいは垂直方向のライン毎に対応する特徴点を検出して１ライン毎に補正処理を行ってもよい。

また、本実施の形態では、補正処理において画像データＢに対して拡大処理を行って位置ずれを一致させたが、縮小処理を行うことにより位置ずれを一致させてもよい。また、画像データＡと画像データＢの少なくとも一方に対してシフト処理と、縮小処理又は拡大処理と、の少なくとも１つを行うことにより位置ずれを一致させてもよい。

さらに、本実施の形態では、２台の画像撮影装置１２、１３と、支持部材１５と、画像表示装置１４と、により構成された立体画像撮影システム１０として説明を行ったが、単体の画像撮影装置に２つの撮像系を設けて立体画像撮影装置として構成し、２つの撮像系によって撮像した２つの画像データに対して補正処理を行うようにしてもよい。また、撮像系を２つ以上の複数個設け、撮像された複数の画像データの何れか１つを基準画像データとして他の画像データとの間で補正処理を行ってもよい。

その他、本実施の形態で説明した立体画像撮影システム１０の構成（図１〜図２参照。）は、一例であり、本発明の主旨を逸脱しない範囲内において適宜変更可能であることは言うまでもない。

また、本実施の形態で説明した画像補正プログラムの処理の流れ（図３参照。）も一例であり、本発明の主旨を逸脱しない範囲内において適宜変更可能であることは言うまでもない。

実施の形態に係る立体画像撮影システムの全体構成を示す構成図である。実施の形態に係る画像撮影装置の電気系の主要構成示す図である。実施の形態に係る画像補正プログラムの処理の流れを示すフローチャートである。実施の形態に係る立体画像撮影システムの２台の画像撮影装置により撮影された画像を示す図である。実施の形態に係る画像Ａの特徴点を結ぶ直線Ａと画像Ｂの特徴点を結ぶ直線Ｂの関係を示す図である。実施の形態に係るＹ方向の位置と倍率との関係を示す図である。実施の形態に係る立体画像撮影システムにより撮影され、合成された画像を示す図である。実施の形態に係るＹ方向の位置と位置補正量との関係を示す図である。

符号の説明

１０立体画像撮影システム
１２画像撮影装置
１３画像撮影装置
２４ＣＣＤ
４０ＣＰＵ
６４特徴点位置比較部
６６画角ゆがみ補正回路

Claims

２つの撮像手段によって被写体を同時に撮像し、立体画像を示す２つの画像データを取得する立体画像撮影装置であって、
前記２つの画像データにより示される各画像の予め定められた領域から対応する特徴点を検出する検出手段と、
前記検出手段により検出された特徴点の前記各画像間での位置を比較し、対応する特徴点の位置を一致させるための補正パラメータを導出する導出手段と、
前記補正パラメータに基づいて少なくとも一方の前記画像データに対してシフト処理と、縮小処理又は拡大処理と、の少なくとも１つを行う処理手段と、
を備えた立体画像撮影装置。
前記検出手段が、前記２つの画像データにより示される各画像のうちの何れか一方の画像の前記予め定められた領域から所定位置の画素を特徴点として定め、他方の画像の前記予め定められた領域から前記特徴点の輝度情報及び輝度の変化量情報を含む特徴情報が一致する画素を前記対応する特徴点として検出することを特徴とする請求項１記載の立体画像撮影装置。
前記予め定められた領域が、前記２つの画像データにより示される各画像の４隅に設けられていることを特徴とする請求項１又は請求項２記載の立体画像撮影装置。
２つの撮像手段によって被写体を同時に撮像し、立体画像を示す２つの画像データを取得する立体画像の撮影方法であって、
前記２つの画像データにより示される各画像の予め定められた領域から対応する特徴点を検出し、
検出された特徴点の前記各画像間での位置を比較し、対応する特徴点の位置を一致させるための補正パラメータを導出し、
前記補正パラメータに基づいて少なくとも一方の前記画像データに対してシフト処理と、縮小処理又は拡大処理と、の少なくとも１つを行う
ことを特徴とする立体画像の撮影方法。
前記２つの画像データにより示される各画像のうちの何れか一方の画像の前記予め定められた領域から所定位置の画素を特徴点として定め、他方の画像の前記予め定められた領域から前記特徴点の輝度情報及び輝度の変化量情報を含む特徴情報が一致する画素を前記対応する特徴点として検出することを特徴とする請求項４記載の立体画像の撮影方法。
前記予め定められた領域が、前記２つの画像データにより示される各画像の４隅に設けられていることを特徴とする請求項４又は請求項５記載の立体画像の撮影方法。