JPH11298837A - 画像入力装置及び画像入力方法 - Google Patents

Abstract

(57)【要約】 【課題】パノラマ画像合成を行う場合に、撮影動作が適
切であるかを撮影者に通知し、撮影条件を容易に確認で
きるようにする。 【解決手段】撮像手段２で撮像した１枚目の画像を基準
画像とし、撮像手段２で現在入力中の２枚目の画像を参
照画像とする。重なり領域検出手段１３は基準画像と参
照画像との重なり領域を検出して、重なり領域の大きさ
をファインダ１１の重なり領域表示インジケータに表示
する。撮像手段２のシャッタが押し下げられると、重な
り領域検出手段１３は表示した重なり領域の大きさがあ
らかじめ設定された閾値以下である場合には、ファイン
ダ１１の警告インジケータを点灯させて撮影者に撮影位
置の変更を指示する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、デジタルスチル
カメラ等の撮像手段で撮影した複数枚の静止画像を合成
する画像入力装置及び画像入力方法に関するものであ
る。

【０００２】

【従来の技術】光学系を通過した画像をＣＣＤセンサ等
で光電変換し、得られた画像信号をＡ／Ｄ変換してメモ
リカード等の外部記憶装置に保存するカメラが普及して
いる。このＣＣＤセンサ等を使用したカメラは撮像した
画像をデジタル信号として扱うことができるため、画像
の加工と処理及び伝送が手軽に行えるという利点があ
る。このようなカメラで同一の被写体を複数枚撮影した
画像を貼り合わせて、高解像度のパノラマ画像を合成す
ることが行われている。このパノラマ画像を合成するた
めには、複数の画像の一部が重複するか、あるいは複数
の各画像が継ぎ目なく繋がるようにして被写体を撮影す
る必要がある。

【０００３】例えば特開平５−１６１０５０号公報に示
された方法は、既に入力した画像と現在入力中の画像を
それぞれ間引きして縮小した画像を表示部の隣接した部
分に表示し、パノラマ画像を得る場合に現在の撮像位置
が適切かどうか確認できるようにしている。また、特開
平９−２６６５６１号公報に示された方法は、現在入力
中の画像に並べて先に撮影した画像の一部をカメラの移
動方向に応じて表示し、両画像が繋がった状態にしてい
る。例えばカメラが時計回りに回転した場合、先に撮影
した画像の右端部分を予め決められた領域分だけ切り出
してカメラ背面に設けられた表示部の左端に写し出し、
そのすぐ右隣に現在入力の画像を並べて表示する。そし
て２枚の画像が繋がった状態でシャッターを押すと合成
した連続画像がパノラマメモリに保存するようにしてい
る。

【０００４】

【発明が解決しようとする課題】しかしながら特開平５
−１６１０５０号公報に示す方法では、既に入力した画
像と現在入力中の画像をそれぞれ間引きして縮小した画
像を表示しているため、間引きした低解像度の画像によ
り画像間の繋がりや重複領域を確認ため、この確認が困
難であり、特に貼り合わせる画像の枚数が増えて多数枚
の画像を分割する際には、この問題が無視できなくな
る。また、特開平９−２６６５６１号公報に示された方
法では２枚の画像が完全に繋がった状態でないとパノラ
マ画像を得ることができないため、カメラ操作が制限の
厳しいものになってしまう。

【０００５】この発明はかかる短所を改善し、パノラマ
画像合成や被写体の３次元形状復元等の種々の画像処理
と合成を行う場合に、撮影動作が適切であるかをユーザ
ーに通知し、撮影条件を容易に確認することができる画
像入力装置及び画像入力方法を提供することを目的とす
るものである。

【０００６】

【課題を解決するための手段】この発明に係る画像入力
装置は、被写体の画像を入力する撮像手段と、撮像手段
から得られた画像を記憶する画像記憶手段とを有する画
像入力装置において、撮像手段で先に撮像して画像記憶
手段に記憶した基準画像と撮像手段が現在入力中の画像
との重なり領域を自動検出する重なり領域検出手段を有
することを特徴とする。

【０００７】上記重なり領域検出手段は現在入力中の動
画像における動きベクトルより基準画像との重なり領域
を検出すると良い。

【０００８】また、上記重なり領域検出手段は基準画像
と撮像しようとしている画像との間の動きベクトルより
重なり領域を検出しても良い。

【０００９】この発明に係る他の画像入力装置は、被写
体の画像を入力する撮像手段と、撮像手段の姿勢を表す
信号を取得する姿勢検出センサと、撮像手段から得られ
た画像を記憶する画像記憶手段及び撮像手段で先に撮像
して画像記憶手段に記憶した基準画像と撮像手段が現在
入力中の画像との重なり領域を自動検出する重なり領域
検出手段を有する画像入力装置にあって、上記重なり領
域検出手段は姿勢検出センサ信号より求めた姿勢情報よ
り基準画像と撮像手段が現在入力中の画像との重なり領
域を検出することを特徴とする。

【００１０】この発明に係る画像入力方法は、撮像手段
で先に撮像した画像を基準画像として記憶し、記憶した
基準画像と撮像手段で現在入力中の画像との重なり領域
を検出して画像を合成することを特徴とする。

【００１１】上記基準画像と撮像手段で現在入力中の画
像との重なり領域を、撮像手段で現在入力中の動画像に
おける動きベクトルより検出したり、基準画像と撮像し
ようとしている画像との間の動きベクトルより検出しら
り、撮像手段の姿勢情報より検出すると良い。

【００１２】

【発明の実施の形態】この発明の画像入力装置は、ＣＣ
Ｄ等の光伝電変換素子を有する撮像手段とモード設定手
段と主制御手段と信号処理手段とフレームメモリと外部
記憶装置とファインダ及び重なり領域検出手段を有す
る。

【００１３】この画像入力装置のモード設定手段で重複
撮影モードを選択すると、主制御手段はファインダ内に
重複撮影モードが選択されたことを示すインジケータを
表示し、重複撮影モードが設定されたことを重なり領域
検出手段に通知して、重なり領域検出手段を起動する。
この状態で撮像手段により被写体像を１枚撮影すると、
主制御手段は撮像した１枚目の画像を基準画像としてフ
レームメモリに記憶し、外部記憶装置にも記憶する。撮
影後して、被写体を撮影する撮像手段の位置をずらしな
がら一定微小時間経過すると、主制御手段は撮像手段で
現在入力中の２枚目の画像を参照画像としてフレームメ
モリに取り込む。現在入力中の画像が参照画像としてフ
レームメモリに取り込まれると、重なり領域検出手段
は、１枚目の画像であるフレームメモリに記憶した基準
画像と現在入力中の参照画像との重なり領域を検出し
て、重なり領域の大きさをファインダの重なり領域表示
インジケータに表示する。この処理を撮像手段のシャッ
タが押し下げられるまで一定時間毎に繰り返す。撮像手
段のシャッタが押し下げられると、重なり領域検出手段
は表示した重なり領域の大きさがあらかじめ設定されフ
ァインダのインジケータで表示されている閾値以上かを
確認する。この確認の結果、重なり領域の大きさが閾値
以下である場合には、警告インジケータを点灯させて撮
影者に撮影位置の変更を要求する。このようにして複数
の画像を合成するときに適正な重なり領域を選択するこ
とができる。

【００１４】そして、撮影者が撮影位置を変更して、基
準画像と現在入力している参照画像との重なり領域の大
きさが閾値以上になって撮像手段のシャッタが押し下げ
られると現在入力している画像を撮影し、撮影した２枚
目の画像を外部記憶装置に記憶し、フレームメモリに記
憶した基準画像を撮影した２枚目の画像で置き換える。
この処理を撮影を続けているあいだ繰り返えして、適正
な重なり領域で複数の画像を合成する。

【００１５】

【実施例】図１はこの発明の一実施例の画像入力装置の
構成を示すブロック図である。画像入力装置１は撮像手
段２とモード設定手段３と主制御手段４と信号処理手段
５とメモリ制御手段６とフレームメモリ７と外部記憶イ
ンタフェース８と外部記憶装置９と表示インタフェース
１０とファインダ１１と例えば画像入力装置１の筐体に
設置された液晶からなる外部表示装置１２及び重なり領
域検出手段１３を有する。

【００１６】撮像手段２はレンズユニットで集光した光
路上にＣＣＤ等の光伝電変換素子を有し、被写体像を表
すアナログ映像信号を出力する。モード設定手段３は画
像入力装置１の撮影モードを設定するものであり、例え
ば画像入力装置１の筐体表面に設置され、ユーザーが所
望の撮影モードを選択できるようになっている。このモ
ード設定手段３には重複撮影モードのオン／オフの切り
替えも行う。主制御手段４は撮影と表示と記録等の基本
的な処理の制御を行うとともにモード設定手段３からの
撮影モードの設定値を受け取り、信号処理手段５とメモ
リ制御手段６及び重なり領域検出手段１３等の処理内容
を変更するよう指示する。信号処理手段５は撮像手段２
から出力するアナログ映像信号に対して増幅やクランプ
等の前処理をしてＡ／Ｄ変換してからフィルタリング及
び色成分の分解等の種々の画像処理を施す。メモリ制御
手段６は信号処理手段５で処理した画像信号をフレーム
メモリ７に格納し、フレームメモリ７に格納された画像
信号を読み出す。フレームメモリ７はＶＲＡＭやＳＲＡ
ＭやＤＲＡＭ等からなり、撮像手段２で前回撮影した画
像と現在撮像して入力されている画像が蓄積される。フ
レームメモリ７に格納された画像信号を外部記憶装置９
に保存するときは、メモリ制御手段６でフレームメモリ
７に格納された画像信号を読み出し、信号処理手段５は
読み出された画像信号に対して画像圧縮等の信号処理を
施した後、外部記憶インタフェース８を介して外部記憶
装置９に保存する。この外部記憶装置９としてはＩＣメ
モリカードや光磁気ディスク等を使用するが、モデムカ
ードやＩＳＤＮカードを利用してネットワークを経由し
て画像信号を直接遠隔地の記録媒体に送信しても構わな
い。また、外部記憶装置９に保存された画像信号を読み
出すときは、外部記憶装置９に保存された画像信号を外
部記憶インタフェース８を介して信号処理手段５に送
る。信号処理手段５は送られた画像信号の画像伸張を行
う。この外部記憶装置９やフレームメモリ７から読み出
された画像信号は信号処理手段５でＤ／Ａ変換や増幅等
の信号処理を施した後、表示インタフェース１０を介し
てファインダ１１や外部表示装置１２に送り表示する。
重なり領域検出手段１２はフレームメモリ７に記憶した
前回撮影した画像と撮像手段２で現在撮像して入力され
ている画像の重なり領域の大きさと重なり領域の位置を
検出する。

【００１７】上記のように構成された画像入力装置１で
モード設定手段３より重複モードが選択された場合の動
作を図２のフローチャートを参照して説明する。まず、
モード設定手段３で重複撮影モードを選択すると、図３
に示すように、主制御手段２２はファインダ１１内に重
複撮影モードが選択されたことを示すインジケータ１１
１を表示し、重複撮影モードが設定されたことを重なり
領域検出手段１３に通知する（ステップＳ１）。この重
複撮影モードの通知により重なり領域検出手段２０は起
動される。この状態で撮像手段２により被写体像を１枚
撮影すると、主制御手段４は、図４に示すように、撮像
した１枚目の画像２１ａを基準画像としてフレームメモ
リ７と外部記憶装置９に記憶する（ステップＳ２）。撮
影後して、被写体を撮影する撮像手段２の位置をずらし
ながら一定微小時間経過すると、主制御手段４は撮像手
段２で現在入力中の２枚目の画像２１ｂを参照画像とし
てフレームメモリ７に取り込む（ステップＳ３）。現在
入力中の画像２１ｂが参照画像としてフレームメモリ７
に取り込まれると、重なり領域検出手段１３は、１枚目
の画像であるフレームメモリ７に記憶した基準画像と現
在入力中の参照画像との重なり領域を検出して、重なり
領域の大きさをファインダ１１の重なり領域表示インジ
ケータ１１２に表示する（ステップＳ４）。この処理を
撮像手段２のシャッタが押し下げられるまで一定時間毎
に繰り返す（ステップＳ５）。撮像手段２のシャッタが
押し下げられると、重なり領域検出手段１３は表示した
重なり領域の大きさがあらかじめ設定されファインダ１
１のインジケータ１１３で表示されている閾値以上かを
確認する（ステップＳ６）。この確認の結果、重なり領
域の大きさが閾値以下である場合には、警告インジケー
タ１１４を点灯させて撮影者に撮影位置の変更を要求す
る（ステップＳ７）。そして、撮影者が撮影位置を変更
して、基準画像と現在入力している参照画像との重なり
領域の大きさが閾値以上になって撮像手段２のシャッタ
が押し下げられると現在入力している画像を撮影し、撮
影した２枚目の画像２１ｂを外部記憶装置９に記憶し、
フレームメモリ７に記憶した基準画像を撮影した２枚目
の画像２１ｂで置き換える（ステップＳ８，Ｓ９）。そ
の後、３枚目の画像の撮影処理に入る（ステップＳ１
０，Ｓ３）。この処理を撮影を続けているあいだ繰り返
す。

【００１８】このようにして被写体を連続的に撮影して
パノラマ画像合成するときに、前回のシャッター動作時
から次のシャッター押下までの期間中に、撮影者は撮影
する画像間の重複の大きさの適否を確認することができ
る。

【００１９】上記実施例は前回撮影した画像を基準画像
とした場合について説明したが、１枚目に撮影した画像
あるいは今までに撮影した任意の画像を基準画像として
重なりを検出しても良い。また、参照画像を一定時間間
隔毎に入力して重なり領域を検出する場合について説明
したが、例えばシャッターが半押しされた時など次の画
像を撮影する直前に参照画像を入力して重なり領域を検
出するようにしても良い。さらに、画像合成や被写体の
３次元形状復元に特化した画像入力装置では、撮像モー
ドの設定をしなくても良い。

【００２０】また、上記実施例は重なり領域検出手段１
３で現在入力中の画像と前回撮影した画像との重なり領
域を検出する場合について説明したが、撮像手段２で入
力中の動画像の動きベクトルから基準画像と現在入力し
ている参照画像との重なり領域を求めることもできる。
この場合、重なり領域検出手段１３には、図５のブロッ
ク図に示すように、特徴点設定手段１３１と動きベクト
ル算出手段１３２及び加算手段１３３を有する。そして
フレームメモリ７には前回撮影した画像を基準画像とし
て蓄積して置き、撮像手段２に現在入力されている画像
のうち時間的に連続する最新の２フレームの画像信号を
フレームメモリ７に蓄積する。ここで、現在入力されて
いる画像のうち時間的に連続する最新の２フレームの画
像を時間の若い順からそれぞれ画像（ｔ−１）と画像ｔ
と呼ぶ。この画像（ｔ−１）と画像ｔは一定時間間隔毎
に更新される。

【００２１】特徴点設定手段１３１は画像（ｔ−１）に
おいて、図６に示すように、あらかじめ画面上に特徴点
ｘ_i0，ｙ_i0の位置を決めておき、特徴点Ｐｉ（ｘ_i0，ｙ
_i0）を中心とする（２Ｎ＋１），（２Ｐ＋１）の濃淡パ
ターンを抽出して相関窓３０を作成する。動きベクトル
算出手段１３２は画像（ｔ−１）と画像ｔの間の画像上
での動きベクトルを算出する。例えば画像（ｔ−１）か
ら画像ｔの間の動きベクトルは、画像ｔにおいて画像
（ｔ−１）で作成した相関窓３０の濃淡パターンとほぼ
一致する点（以下、対応点という）を相関演算により求
めることにより行われる。ここで、相関演算によるマチ
ングブロックにより対応点を検出する一例について説明
する。図７に示すように、（２Ｎ＋１），（２Ｐ＋１）
の相関窓３０，３１を用いたブロックマッチングで画像
（ｔ−１）におけるｉ番目の特徴点Ｐｉ（ｘ_i0，ｙ_i0）
と画像ｔにおける点Ｑｉ（ｘ_i0＋ｄｘ_i，ｙ_i0＋ｄｙ_i）
の対応付けを行う場合、相互相関値Ｓ_iは下記（１）式
で計算される。

【００２２】

【数１】

【００２３】（１）式において、Ｉ_t-1（ｘ，ｙ）は画
像（ｔ−１）の点（ｘ，ｙ）における濃度、Ｉ_t（ｘ，
ｙ）は画像ｔの点（ｘ，ｙ）における濃度、Ｉ
_t-1（ｘ，ｙ）バーは画像（ｔ−１）の点（ｘ，ｙ）を
中心とする（２Ｎ＋１），（２Ｐ＋１）の相関窓３０に
おける平均濃度、Ｉ_t（ｘ，ｙ）バーは画像ｔの点
（ｘ，ｙ）を中心とする（２Ｎ＋１），（２Ｐ＋１）の
相関窓３１における平均濃度である。

【００２４】各特徴点Ｐ_iに対して相互相関値Ｓ_iの最大
値があらかじめ定められた閾値以上である対応点Ｑｉ
（ｘ_i0＋ｄｘ_i，ｙ_i0＋ｄｙ_i）を順次求めることによ
り、点Ｐ_iにおける動きベクトルｖ_i＝（ｄｘ_i，ｄｙ_i）
が求められる。また、相互相関値Ｓ_iの最大値が閾値以
下のときは対応点は存在しないとする。全体の動きベク
トルｖ_t-1,tは、例えば下記（２）式に示すように、各
特徴頂点Ｐ_iの動きベクトルｖ_tを平均化することにより
求められる。加算手段１３３は、下記（３）式に示すよ
うに、動きベクトル算出手段１３２が算出した動きベク
トルｖ_t-1,tを加算して、基準画像から次に撮影される
画像までの動きベクトルｖを算出する。

【００２５】

【数２】

【００２６】現時点での動きベクトルｖが求められる
と、ファインダ１１内のインジケータ１１２に重なり領
域の大きさを表示する。

【００２７】上記のように構成された画像入力装置１で
モード設定手段３より重複モードが選択された場合の動
作を図８のフローチャートを参照して説明する。モード
設定手段３で重複撮影モードを選択すると、主制御手段
２２はファインダ１１内に重複撮影モードが選択された
ことを示すインジケータ１１１を表示し、重複撮影モー
ドが設定されたことを重なり領域検出手段１３に通知
し、重なり領域検出手段２０を起動する（ステップＳ１
１）。この状態で撮像手段２により被写体像を１枚撮影
すると、主制御手段４は撮像した１枚目の画像を基準画
像としてフレームメモリ７と外部記憶装置９に記憶す
る。この１枚目の画像を基準画像としてフレームメモリ
７に記憶するときに、この基準画像を撮影した時刻をｔ
＝１とし、基準画像からの動きベクトルｖを零ベクトル
に初期化する（ステップＳ１２）。１枚目の画像を撮影
後、被写体を撮影する撮像手段２の位置を移動させると
主制御手段４は撮像手段２で現在入力中の移動している
動画像を一定時間毎にフレームメモリ７に取り込む。こ
のフレームメモリ７に動画像を取り込むときに、その時
刻をｔとし、１つ前の画像を取り込んだ時刻を（ｔ−
１）として撮像手段２で現在入力中の２枚の画像を参照
画像としてフレームメモリ７に取り込む（ステップＳ１
３）。重ね領域検出手段１３の特徴点設定手段１３１
は、１つ前の時刻（ｔ−１）に撮影された画像において
複数個の特徴点を設定して相関窓３０を作成する（ステ
ップＳ１４）。動きベクトル算出手段１３２は時刻（ｔ
−１）の参照画像と時刻ｔの参照画像との間の動きベク
トルｖ_t-1,tを求め、求めた動きベクトルｖ_t-1,tを逐次
加算することにより重なり領域を検出して、重なり領域
の大きさをファインダ１１の重なり領域表示インジケー
タ１１２に表示する（ステップＳ１５）。この処理を撮
像手段２のシャッタが押し下げられるまで一定時間毎に
繰り返す（ステップＳ１６）。撮像手段２のシャッタが
押し下げられると、重なり領域検出手段１３は表示した
重なり領域の大きさがあらかじめ設定されファインダ１
１のインジケータ１１３で表示されている閾値以上かを
確認する（ステップＳ１７）。この確認の結果、重なり
領域の大きさが閾値以下である場合には、警告インジケ
ータ１１４を点灯させて撮影者に撮影位置の変更を要求
する（ステップＳ１８）。そして、撮影者が撮影位置を
変更して、基準画像と現在入力している参照画像との重
なり領域の大きさが閾値以上になって撮像手段２のシャ
ッタが押し下げられると現在入力している画像を撮影
し、撮影した２枚目の画像を外部記憶装置９に記憶し、
フレームメモリ７に記憶した基準画像を撮影した２枚目
の画像で置き換える（ステップＳ１９，Ｓ２０）。その
後、３枚目の画像の撮影処理に入る（ステップＳ２１，
Ｓ３）。この処理を撮影を続けているあいだ繰り返す。

【００２８】上記各実施例はモード設定手段３より重複
モードが選択されているときに、１枚目の画像を撮影し
てから一定時間毎に撮像手段２に入力している動画像を
取り込んで参照画像として基準画像との重なり領域を検
出する場合について説明したが、撮像手段２のシャッタ
を半押しして撮影しようとしている画像と基準画像との
間の動きベクトルから重なり領域を直接検出するように
しても良い。このようにシャッタを半押しして撮影しよ
うとしている画像と基準画像との重なり領域を検出する
と、シャッター半押し開始時から次のシャッター押下ま
での期間中に、撮影者は撮影しようとする画像間の重な
り領域の大きさを随時確認することができる。この場合
は、重なり領域検出手段１３には、図９に示すように、
特徴点設定手段１３１と動きベクトル算出手段１３２を
有する。特徴点設定手段１３１は１つ前に撮影した画像
である基準画像において、図６に示すように、特徴点Ｐ
ｉ（ｘ_i0，ｙ_i0）を中心とする（２Ｎ＋１），（２Ｐ＋
１）の濃淡パターンを抽出して相関窓３０を作成する。
動きベクトル算出手段１３２は現在入力中の画像である
参照画像と基準画像の間の動きベクトルを算出する。

【００２９】上記のように構成された画像入力装置１で
モード設定手段３より重複モードが選択された場合の動
作を図１０のフローチャートを参照して説明する。モー
ド設定手段３で重複撮影モードを選択すると、主制御手
段２２はファインダ１１内に重複撮影モードが選択され
たことを示すインジケータ１１１を表示し、重複撮影モ
ードが設定されたことを重なり領域検出手段１３に通知
し、重なり領域検出手段２０を起動する（ステップＳ３
１）。この状態で撮像手段２により被写体像を１枚撮影
すると、主制御手段４は撮像した１枚目の画像を基準画
像としてフレームメモリ７と外部記憶装置９に記憶する
（ステップＳ３２）。重なり領域検出手段１３の特徴点
設定手段１３１はフレームメモリ７に記憶した基準画像
において複数個の特徴点を設定し相関窓を作成する（ス
テップＳ３３）。１枚目の画像を撮影後、被写体を撮影
する撮像手段２の位置を移動させながら撮像手段２のシ
ャッタを半押しにすると、主制御手段４は撮像手段２で
現在入力中の移動している画像を参照画像としてフレー
ムメモリ７に取り込む（ステップＳ３４）。重なり領域
検出手段１３の動きベクトル算出手段１３２は参照画像
と基準画像の間の動きベクトルを算出して重なり領域を
検出して、重なり領域の大きさをファインダ１１の重な
り領域表示インジケータ１１２に表示する（ステップＳ
３５）。この処理を撮像手段２のシャッタが押し下げら
れるまで一定時間毎に繰り返す（ステップＳ３６，Ｓ３
４）。撮像手段２のシャッタが押し下げられると、重な
り領域検出手段１３はそのときの参照画像と基準画像の
重なり領域の大きさがあらかじめ設定されファインダ１
１のインジケータ１１３で表示されている閾値以上かを
確認する（ステップＳ３６，Ｓ３７）。この確認の結
果、重なり領域の大きさが閾値以下である場合には、警
告インジケータ１１４を点灯させて撮影者に撮影位置の
変更を要求する（ステップＳ３８）。そして、撮影者が
撮影位置を変更して、基準画像と現在入力している参照
画像との重なり領域の大きさが閾値以上になると現在入
力している画像を撮影し、撮影した２枚目の画像を外部
記憶装置９に記憶し、フレームメモリ７に記憶した基準
画像を撮影した２枚目の画像で置き換える（ステップＳ
３６，Ｓ３７〜Ｓ４０）。その後、３枚目の画像の撮影
処理に入る（ステップＳ４１，Ｓ３３）。この処理を撮
影を続けているあいだ繰り返す。

【００３０】また、上記実施例は撮像手段２で入力中の
画像の動きベクトルから基準画像と現在入力している参
照画像との重なり領域を求める場合について説明した
が、撮像手段２の撮影中の姿勢から基準画像と現在入力
している参照画像との重なり領域を検出しても良い。

【００３１】この場合、画像入力装置１には、図１１の
ブロック図に示すように、撮像手段２とモード設定手段
３と主制御手段４と信号処理手段５とメモリ制御手段６
とフレームメモリ７と外部記憶インタフェース８と外部
記憶手段９と表示インタフェース１０とファインダ１１
と外部表示手段１２及び重なり領域検出手段１３の他に
撮像手段２に設けられた姿勢検出センサ１４を有する。
重なり領域検出手段１３は、図１２のブロック図に示す
ように、姿勢算出手段１３４と相対姿勢算出手段１３５
と動きベクトル算出手段１３６及びバッファメモリ１３
７を有する。姿勢算出手段１３４は姿勢検出センサ１４
からの信号より撮影時の撮像手段２の姿勢を算出してバ
ッファメモリ１３７に保存する。相対姿勢算出手段１３
５はバッファメモリ１３７に保存された前回の撮影すな
わち基準画像撮影時の姿勢と、姿勢算出手段１３４から
出力された今回の参照画像入力時の姿勢より両者の相対
的な姿勢を算出する。動きベクトル算出手段１３６は基
準画像と参照画像の相対姿勢より両画像間の動きベクト
ルを算出する。

【００３２】姿勢検出センサ１４は、例えば互いに直交
する３軸方向の重力加速度を検知する３軸加速度センサ
と３軸方向の地磁気を検出する３軸磁気センサ又は互い
に直交する３軸方向の重力加速度を検知する３軸加速度
センサと３軸回りの角速度を検出する３軸角速度センサ
から構成している。このように姿勢検出センサ１４を３
軸加速度センサと３軸磁気センサで構成した場合には、
撮像手段２を静止状態又は加速度が無視できる程度の速
さで動かしたときに、その姿勢を検出することができ
る。また、姿勢検出センサ１４を３軸加速度センサと３
軸角速度センサで構成した場合には、撮像手段２の角速
度が検出可能な程度の速さで動かしたときに、その姿勢
を検出することができる。

【００３３】ここで姿勢検出センサ１４を３軸加速度セ
ンサと３軸磁気センサで構成して、基準画像と参照画像
の重なり領域を検出する場合の動作を説明する。まず、
図１３に示すように、撮像手段２のｘｙｚ座標系のｚ軸
の正方向を光軸方向とし、ｘ軸の正方向を画像面２２に
対して右向き方向とし、ｙ軸の正方向を画像面２２に対
して下向き方向とし、図１４に示すように、ワールド座
標系のＹ軸の正方向を重力加速度の向きとし、Ｚ軸の正
方向を磁気の向きとし、Ｘ軸の正方向をＸＹＺの順に右
手直交系をなす向きとする。また、簡単のために撮像手
段２の移動により生じる運動速度は無視でき、重力加速
度と磁場は直交し、かつ磁場は地磁気以外に存在しない
と仮定する。なお、厳密には地磁気の伏角が存在し、地
磁気と重力加速度とは直交しないが、伏角が既知ならば
地磁気の向きと重力加速度が直交する場合と同様に計算
できる。また、３軸で地磁気を検出すれば伏角が未知で
も姿勢情報を計算可能である。すなわち、Ｘ軸の正方向
を東向きにとり、Ｚ軸の正方向を北向きにとる。そして
姿勢検出センサ１４は重力加速度のｘ軸，ｙ軸，ｚ軸成
分と、地磁気のｘ軸，ｙ軸，ｚ軸成分を検出するように
設置する。

【００３４】この姿勢検出センサ１４が出力する姿勢信
号は信号処理手段５においてフィルタリングや増幅等の
信号処理やＡ／Ｄ変換が行われたのち重なり領域検出手
段１３に送られる。重なり領域検出手段１３の姿勢算出
手段１３７は送られた姿勢信号から撮像手段２の姿勢を
算出する。撮像手段２の姿勢はワールド座標系を基準と
した下記（４），（５）式の回転行列で記述する。

【００３５】

【数３】

【００３６】いま、重力加速度ベクトルｇと地磁気ベク
トルＭがワールド座標系においてそれぞれ下記（６）式
で表され、３軸加速度センサと３軸磁気センサにより検
出された装置座標系を基準とした加速度ベクトルａと地
磁気ベクトルｍをそれぞれ下記（７）式で表す。

【００３７】

【数４】

【００３８】この重力加速度ベクトルｇと地磁気ベクト
ルＭ及び加速度ベクトルａと地磁気ベクトルｍの関係は
回転行列Ｒを用いて下記（８）式と（９）式で記述され
る。

【００３９】

【数５】

【００４０】この（８）式より、Ｘ軸回りの回転角αと
Ｚ軸回りの回転角γが下記（１０）式と（１１）式で計
算され、求めたＸ軸回りの回転角αとＺ軸回りの回転角
γを利用して地磁気ベクトルｍからＹ軸回りの回転角β
が下記（１２）式と（１３）式で計算される。

【００４１】

【数６】

【００４２】このようにしてＸ軸回りの回転角αとＹ軸
回りの回転角βとＺ軸回りの回転角γ及び回転行列Ｒを
３軸加速度センサ及び３軸磁気センサの検出値より算出
し、ワールド座標系に対する撮像手段２の姿勢を記述す
ることができる。

【００４３】相対姿勢算出手段１３５は、基準画像にお
けるワールド座標系に対する回転行列Ｒ_sと参照画像に
おけるワールド座標系に対する回転行列Ｒ_rより、両者
の相対的な姿勢を算出する。例えば、基準画像の撮像座
標系から参照画像の撮像座標系への回転行列は、基準画
像を基準にて下記（１４）式で表される。

【００４４】

【数７】

【００４５】動きベクトル算出手段１３６は上記のよう
にして算出された回転行列より、基準画像から参照画像
への動きベクトルを算出する。撮像手段２の光学系は図
１３に示すように、焦点距離をｆとする中心射影モデル
であると仮定すると、基準画像上の点（ｘ，ｙ）に対す
る視線ベクトルｐ_sは下記（１５）式でに表される。

【００４６】

【数８】

【００４７】ここで撮像手段２と被写体との距離が基準
画像と参照画像との間の撮影位置変化に比べて十分大き
い場合、基準画像において（１５）式のｐ_sで表される
被写体像は参照画像においては下記（１６）式の座標に
投影される。

【００４８】

【数９】

【００４９】但しｋは視線ベクトルｐ_rのｚ成分をｆに
するための係数である。したがって基準画像から参照画
像への動きベクトルｖは下記（１７）式により求めるこ
とができる。

【００５０】

【数１０】

【００５１】ここでＩは単位行列である。（１７）式の
動きベクトルｖは基準画像における座標（ｘ，ｙ）によ
り変化するが、撮像手段２の視野角がさほど大きくなけ
れば動きベクトルｖは座標（ｘ，ｙ）に殆ど影響を受け
ない、。例えば（ｘ，ｙ）を画面中心すなわち（０，
０）として（１７）式に代入し、下記（１８）式で動き
ベクトルｖを求めることができる。

【００５２】

【数１１】

【００５３】上記のように構成された画像入力装置１で
モード設定手段３より重複モードが選択された場合の動
作を図１５のフローチャートを参照して説明する。モー
ド設定手段３で重複撮影モードを選択すると、主制御手
段２２はファインダ１１内に重複撮影モードが選択され
たことを示すインジケータ１１１を表示し、重複撮影モ
ードが設定されたことを重なり領域検出手段１３に通知
し、重なり領域検出手段２０を起動する（ステップＳ５
１）。この状態で撮像手段２により被写体像を１枚撮影
すると、主制御手段４は撮像した１枚目の画像を基準画
像としてフレームメモリ７と外部記憶装置９に記憶す
る。また、姿勢検出センサ１４で検出した撮像手段２の
姿勢信号が信号処理手段５を介して重なり領域検出手段
１３に送られ、姿勢算出手段１３４で算出した１枚目の
画像を撮影したときの撮像手段２の姿勢がバッファメモ
リ１３７に記憶される（ステップＳ５２）。１枚目の画
像を撮影後、被写体を撮影する撮像手段２の位置をずら
しているときに、主制御手段４は一定時間毎に撮像手段
２で現在入力中の２枚目の画像を参照画像としてフレー
ムメモリ７に取り込み、姿勢検出センサ１４で検出した
撮像手段２の姿勢信号を信号処理手段５を介して重なり
領域検出手段１３に送り、姿勢算出手段１３４で２枚目
の画像を撮影したときの撮像手段２の姿勢を算出する
（ステップＳ５３）。重ね領域検出手段１３の相対姿勢
算出手段１３５はバッファメモリ１３７に保存された基
準画像撮影時の姿勢と姿勢算出手段１３４から出力され
た今回の参照画像入力時の姿勢より両者の相対的な姿勢
を算出し動きベクトル算出手段１３６の送る。動きベク
トル算出手段１３６は基準画像と参照画像の相対姿勢よ
り両画像間の動きベクトルｖを算出して加算し重なり領
域を検出して、重なり領域の大きさをファインダ１１の
重なり領域表示インジケータ１１２に表示する（ステッ
プＳ５４）。この処理を撮像手段２のシャッタが押し下
げられるまで一定時間毎に繰り返す（ステップＳ５
５）。撮像手段２のシャッタが押し下げられると、重な
り領域検出手段１３は表示した重なり領域の大きさがあ
らかじめ設定されファインダ１１のインジケータ１１３
で表示されている閾値以上かを確認する（ステップＳ５
６）。この確認の結果、重なり領域の大きさが閾値以下
である場合には、警告インジケータ１１４を点灯させて
撮影者に撮影位置の変更を要求する（ステップＳ５
７）。そして、撮影者が撮影位置を変更して、基準画像
と現在入力している参照画像との重なり領域の大きさが
閾値以上になって撮像手段２のシャッタが押し下げられ
ると現在入力している画像を撮影し、撮影した２枚目の
画像を外部記憶装置９に記憶し、フレームメモリ７に記
憶した基準画像を撮影した２枚目の画像で置き換える
（ステップＳ５８，Ｓ５９）。その後、３枚目の画像の
撮影処理に入る（ステップＳ６０，Ｓ５３）。この処理
を撮影を続けているあいだ繰り返す。このようにして前
回のシャッタ動作時から次のシャッター下までの期間中
に撮影者は撮影した画像と現在入力している画像間の重
なり領域の大きさを確認することができる。

【００５４】上記実施例は撮像手段２の姿勢情報より動
きベクトルを算出して重なり領域を検出する場合につい
て説明したが、例えば図１６に示すように、基準画像の
画像面２３ａと参照画像の画像面２３ｂ間で、装置座標
系のｙ軸回りに角度θの回転が生じたと検出された場
合、焦点距離又は撮像手段２の視野角が既知ならば、重
なり領域２４は角度θと焦点距離又は撮像手段２の視野
角から容易に検出することができる。このようにして重
なり領域を検出しても良い。

【００５５】

【発明の効果】この発明は以上説明したように、撮像手
段で先に撮像した画像を基準画像とし、基準画像と撮像
手段で現在入力中の画像との重なり領域を自動的に検出
して表示するようにしたから、パノラマ画像合成や被写
体の３次元形状復元等の種々の画像処理や合成を行うと
きに、撮影動作が適切であるかどうかを撮影者に通知す
ることができ、複数の画像を適切な重なり領域で撮影す
ることができる。

【００５６】また、画像の重なる範囲をあらかじめ強制
していないので、撮影者は比較的自由な条件で被写体を
撮影することができる。

【００５７】また、基準画像と撮像手段で現在入力中の
画像との重なり領域を、撮像手段で現在入力中の動画像
における動きベクトルより検出することにより、複数の
画像の重なり領域を精度良く検出すことができる。

【００５８】さらに、基準画像と撮像手段で現在入力中
の画像との重なり領域を、基準画像と撮像しようとして
いる画像との間の動きベクトルより検出することによ
り、簡単な処理で複数の画像の重なり領域を精度良く検
出すことができる。また、撮影者は基準画像撮影時から
次の画像撮影時まで被写体を捕捉する必要がないから、
撮像手段を比較的自由に操作することができる。

【００５９】また、基準画像と撮像手段で現在入力中の
画像との重なり領域を撮像手段の姿勢より検出すること
により、重なり領域を簡単に検出することができるとと
もに画像信号を用いないのでテクスチャなどの特徴の少
ない被写体を撮影した場合でも、安定して重なり領域を
検出することができる。

【図面の簡単な説明】

【図１】この発明の実施例の画像入力装置の構成を示す
ブロック図である。

【図２】上記実施例の動作を示すフローチャートであ
る。

【図３】ファインダのインジケータを示す構成図であ
る。

【図４】画像の重なり状態を示す説明図である。

【図５】第２の実施例の重なり領域検出手段の構成を示
すブロック図である。

【図６】特徴点を中心とした相関窓を示す説明図であ
る。

【図７】特徴点の対応付けを示す説明図である。

【図８】第２の実施例の動作を示すフローチャートであ
る。

【図９】第３の実施例の重なり領域検出手段の構成を示
すブロック図である。

【図１０】第３の実施例の動作を示すフローチャートで
ある。

【図１１】第４の実施例の画像入力装置の構成を示すブ
ロック図である。

【図１２】第４の実施例の重なり領域検出手段の構成を
示すブロック図である。

【図１３】撮像手段の装置座標系を示す説明図である。

【図１４】ワールド座標系を示す説明図である。

【図１５】第４の実施例の動作を示すフローチャートで
ある。

【図１６】基準画像の画像面と参照画像の画像面の重な
りの例を示す配置図である。

【符号の説明】

１ 画像入力装置 ２ 撮像手段 ３ モード設定手段 ４ 主制御手段 ５ 信号処理手段 ６ メモリ制御手段 ７ フレームメモリ ８ 外部記憶インタフェース ９ 外部記憶装置 １０ 表示インタフェース １１ ファインダ １２ 外部表示装置 １３ 重なり領域検出手段 １４ 姿勢検出センサ １３１ 特徴点設定手段 １３２ 動きベクトル算出手段 １３３ 加算手段 １３４ 姿勢算出手段 １３５ 相対姿勢算出手段 １３６ 動きベクトル算出手段 １３７ バッファメモリ

Claims (8)

【特許請求の範囲】
1. 【請求項１】 被写体の画像を入力する撮像手段と、撮
   像手段から得られた画像を記憶する画像記憶手段とを有
   する画像入力装置において、 撮像手段で先に撮像して画像記憶手段に記憶した基準画
   像と撮像手段が現在入力中の画像との重なり領域を自動
   検出する重なり領域検出手段を有することを特徴とする
   画像入力装置。
2. 【請求項２】 上記重なり領域検出手段は現在入力中の
   動画像における動きベクトルより基準画像との重なり領
   域を検出する請求項１記載の画像入力装置。
3. 【請求項３】 上記重なり領域検出手段は基準画像と撮
   像しようとしている画像との間の動きベクトルより重な
   り領域を検出する請求項１記載の画像入力装置。
4. 【請求項４】 被写体の画像を入力する撮像手段と、撮
   像手段の姿勢を表す信号を取得する姿勢検出センサと、
   撮像手段から得られた画像を記憶する画像記憶手段及び
   撮像手段で先に撮像して画像記憶手段に記憶した基準画
   像と撮像手段が現在入力中の画像との重なり領域を自動
   検出する重なり領域検出手段を有する画像入力装置にあ
   って、 上記重なり領域検出手段は姿勢検出センサ信号より求め
   た姿勢情報より基準画像と撮像手段が現在入力中の画像
   との重なり領域を検出することを特徴とする画像入力装
   置。
5. 【請求項５】 撮像手段で先に撮像した画像を基準画像
   として記憶し、記憶した基準画像と撮像手段で現在入力
   中の画像との重なり領域を検出して表示することを特徴
   とする画像入力方法。
6. 【請求項６】 上記基準画像と撮像手段で現在入力中の
   画像との重なり領域を、撮像手段で現在入力中の動画像
   における動きベクトルより検出する請求項５記載の画像
   入力方法。
7. 【請求項７】 上記基準画像と撮像手段で現在入力中の
   画像との重なり領域を基準画像と撮像しようとしている
   画像との間の動きベクトルより検出する請求項５記載の
   画像入力方法。
8. 【請求項８】 上記基準画像と撮像手段で現在入力中の
   画像との重なり領域を撮像手段の姿勢情報より検出する
   請求項５記載の画像入力方法。