JP5226600B2 - 画像変形装置およびその動作制御方法 - Google Patents

Description

この発明は，画像変形装置およびその動作制御方法に関する。

被写体を撮像する場合，露光時間が短い方が手振れが少ない。このために，同じ被写体を２回撮像して，得られた２駒の画像を重ね合わせるものがある（特許文献１，２）。しかしながら，被写体の中に自動車などの移動物体が存在する場合において２駒の画像が重ね合わせられると，移動物体の被写体像がぶれてしまうことがある。

特開2004-357202号公報 特開2000-155831号公報

この発明は，画像を重ねても手振れを未然防止するだけでなく，移動物体の被写体像がぶれてしまうことを未然に防止できるような画像を生成することを目的とする。

この発明による画像変形装置は，連続撮影によって得られた第１の画像と第２の画像とにおいて，第１の画像の中から被写体像の形状の特徴を示す複数の特徴点を決定する第１の特徴点決定手段，上記第１の特徴点決定手段によって決定された特徴点に対応する対応点を上記第２の画像の中から決定する第１の対応点決定手段，上記第１の画像と上記第２の画像とに含まれる被写体像であって，上記第１の画像の撮影から上記第２の画像の撮影までの間に移動している物体を表している移動被写体像を，上記第１の画像および上記第２の画像のそれぞれにおいて検出する移動被写体像検出手段，上記第１の特徴点検出手段によって決定された特徴点のうち，上記移動被写体像検出手段によって検出された移動被写体像上に存在する特徴点の位置と上記第１の対応点検出手段によって決定された対応点のうち上記移動被写体像検出手段によって検出された移動被写体像上に存在する対応点の位置との両方を囲む変形対象領域を上記第１の画像および上記第２の画像のそれぞれに設定する変形対象領域設定手段，上記変形対象領域設定手段によって設定された上記第１の画像の変形対象領域内の画像の複数の特徴点を決定する第２の特徴点決定手段，上記変形対象領域設定手段によって設定された上記第２の画像の変形対象領域内の画像において，上記第２の特徴点決定手段によって決定された特徴点に対応する対応点を決定する第２の対応点決定手段，ならびに上記第２の特徴点決定手段によって決定された特徴点と上記第２の対応点決定手段によって決定された対応点とが一致するように上記第２の画像の変形対象領域内の画像を変形する第１の画像変形手段を備えていることを特徴とする。

この発明は，上記画像変形装置に適した動作制御方法も提供している。すなわち，この方法は，第１の特徴点決定手段が，連続撮影によって得られた第１の画像と第２の画像とにおいて，第１の画像の中から被写体像の形状の特徴を示す複数の特徴点を決定し，第１の対応点決定手段が，上記第１の特徴点決定手段によって決定された特徴点に対応する対応点を上記第２の画像の中から決定し，移動被写体像検出手段が，上記第１の画像と上記第２の画像とに含まれる被写体像であって，上記第１の画像の撮影から上記第２の画像の撮影までの間に移動している物体を表している移動被写体像を，上記第１の画像および上記第２の画像のそれぞれにおいて検出し，変形対象領域設定手段が，上記第１の特徴点検出手段によって決定された特徴点のうち，上記移動被写体像検出手段によって検出された移動被写体像上に存在する特徴点の位置と上記第１の対応点検出手段によって決定された対応点のうち上記移動被写体像検出手段によって検出された移動被写体像上に存在する対応点の位置との両方を囲む変形対象領域を上記第１の画像および上記第２の画像のそれぞれに設定し，第２の特徴点決定手段が，上記変形対象領域設定手段によって設定された上記第１の画像の変形対象領域内の画像の複数の特徴点を決定し，第２の対応点決定手段が，上記変形対象領域設定手段によって設定された上記第２の画像の変形対象領域内の画像において，上記第２の特徴点決定手段によって決定された特徴点に対応する対応点を決定し，画像変形手段が，上記第２の特徴点決定手段によって決定された特徴点と上記第２の対応点決定手段によって決定された対応点とが一致するように上記第２の画像の変形対象領域内の画像を変形するものである。

この発明は，上記画像変形装置の動作制御方法を実施するコンピュータ読み取り可能なプログラムも提供している。また，そのプログラムを格納したコンピュータに着脱自在な記録媒体も提供するようにしてもよい。

この発明によると，連続撮影によって得られた第１の画像と第２の画像のうち，第１の画像の中から被写体像の形状の特徴を示す複数の特徴点（画像に含まれている複数の被写体像の輪郭中の点，被写体像の形状が変化している点など）が決定される。また，決定された特徴点に対応する対応点が，第２の画像の中から決定される。

また，第１画像と第２の画像とに含まれる被写体像であって，第１の画像の撮影から第２の画像の撮影までの間に移動している物体を表す移動被写体像が，第１の画像と第２の画像とのそれぞれにおいて検出される。検出された移動被写体像上に存在する特徴点の位置と，移動被写体像上に存在する対応点の位置とを囲む変形対象領域が第１の画像および第２の画像のそれぞれにおいて設定される。

さらに，第１の画像において変形対象領域内の画像の特徴点が決定される。第２の画像において変形対象領域内の画像について，第１の画像の変形対象領域内の画像の特徴点に対応する対応点が決定される。第１の画像の変形対象領域内の画像の特徴点と第２の画像の変形対象領域内の画像の対応点とが一致するように，第２の画像の変形対象領域内の画像が変形させられる。

この発明によると，第１の画像の撮影から第２の画像の撮影までの間に移動している物体を表す移動被写体像が検出され，その移動被写体像の移動前後の位置を囲むように画像変形領域が設定される。第１の画像の画像変形領域内に含まれる被写体像の位置と第２の画像の画像変形領域内に含まれる被写体像の位置とは，第１の画像の撮影と第２の画像の撮影との間に被写体像が移動しているために，被写体の位置がずれている。このために，第１の画像の変形対象領域内の画像の特徴点と第２の画像の変形対象領域内の画像の対応点とが一致するように，第２の画像の変形対象領域内の画像が変形させられる。第２の画像の変形対象領域内の画像部分は被写体像の移動によるずれが補正されたものが得られる。

上記変形対象領域外の画像について，上記第１の特徴点決定手段によって決定された特徴点に，上記第１の対応点決定手段によって決定された対応点が一致するように上記第２の画像の上記変形対象領域外の画像を変形する第２の画像変形手段をさらに備えることが好ましい。設定された画像変形領域外の部分は，第１の画像と第２の画像との間にずれが生じていると撮影時の手振れであると考えられる。このために，この手振れを補正するために，第１の特徴点決定手段によって決定された特徴点と第１の対応点決定手段によって決定された対応点とが一致するように，上記第２の画像が変形させられることにより手振れ補正された第２の画像が得られる。

上記変形対象領域内の画像については上記画像変形手段によって変形された画像を上記第１の画像に重畳（合成，加算，加算平均などいずれも含む）し，上記変形対象領域外の画像については上記第１の特徴点決定手段によって決定された特徴点に上記第１の対応点決定手段によって決定された対応点が一致するように，上記第２の画像を上記第１の画像に重畳する重畳手段をさらに備えてもよい。

同じ露出量または異なる露出量で連続撮影を行うことにより上記第１の画像および上記第２の画像を得る撮像装置をさらに備えるようにしてもよい。

ストロボ発光を制御するストロボ発光制御手段，および上記ストロボ発光制御手段によるストロボ発光下での撮影およびストロボ未発光下での撮影を行い上記第１の画像および上記第２の画像を得るように上記撮像装置を制御する撮像制御手段をさらに備えてもよい。

（Ａ）はディジタル・スチル・カメラを正面から見た斜視図，（Ｂ）はディジタル・カメラを背面から見た斜視図である。 ディジタル・スチル・カメラの電気的構成を示すブロック図である。 （Ａ）および（Ｂ）は露光時間を示している。 ディジタル・スチル・カメラの処理手順を示すフローチャートである。 ディジタル・スチル・カメラの処理手順を示すフローチャートである。 被写体像の一例である。 被写体像の一例である。 被写体像の一例である。 被写体像の一例である。 被写体像の一例である。 手振れおよび移動物体のずれを示している。 被写体像の一例である。 被写体像の一例である。 被写体像の一例である。 被写体像の一例である。 変形対象領域内の画像を示している。 変形対象領域内の画像を示している。 変形対象領域内の画像を示している。 重畳画像の一例である。 （Ａ）および（Ｂ）は露光時間を示している。 露光時間を示している。 被写体の明るさと信号レベルとの関係を示している。

図１（Ａ）は，この発明の実施例を示すもので，ディジタル・スチル・カメラを正面から見た斜視図である。

ディジタル・スチル・カメラ１の上面には，シャッタ・レリーズ・ボタン２が形成されている。また，ディジタル・スチル・カメラ１の右側面にはＵＳＢ（ユニバーサル・シリアル・バス）ケーブルを接続するための端子３が形成されている。

ディジタル・スチル・カメラ１の前面には，ズーム・レンズ７が形成されている。このズーム・レンズ７の左上にはストロボ５が形成されている。ズーム・レンズ７の右上には光学的ビュー・ファインダ６が形成されている。

図１（Ｂ）は，ディジタル・スチル・カメラ１を背面から見た斜視図である。

ディジタル・スチル・カメラ１の背面の左下部分には液晶表示画面10が形成されている。この液晶表示画面10の左上には，光学的ビュー・ファインダ６が形成されている。光学的ビュー・ファインダ６の右側には電源スイッチ12が形成されている。電源スイッチ12の右側にはモード・スイッチ13が形成されている。モード・スイッチ13により撮像モードおよび再生モードが設定される。モード・スイッチ13の下には，円形の上下左右部分に矢印が形成されているボタン14が設けられている。このボタン14を用いて連写その他のモード設定ができる。

図２は，ディジタル・スチル・カメラ１の電気的構成を示すブロック図である。

ディジタル・スチル・カメラ１の全体の動作は，ＣＰＵ22によって統括される。

ディジタル・スチル・カメラ１には，後述する動作プログラム，その他のデータが格納されているメモリ43が含まれている。動作プログラムは，メモリ・カード48等に書き込まれて，そのようなメモリ・カード48から読み出されてディジタル・スチル・カメラ１にインストールされてもよいし，プレ・インストールされていてもよい。

ディジタル・スチル・カメラ１には，上述したようにシャッタ・レリーズ・ボタン２およびモード・スイッチ13が含まれている。シャッタ・レリーズ・ボタン２の押し下げを示す信号は，ＣＰＵ22に入力する。モード・スイッチ13は，撮像モードまたは再生モードを選択するもので，スイッチＳ１またはＳ２を選択的にオンすることができる。スイッチＳ１がオンされることにより撮像モードが設定され，スイッチＳ２がオンされることにより再生モードが設定される。

ディジタル・スチル・カメラ１は，ストロボ撮影が可能である。このために上述のようにストロボ５が設けられている。このストロボ５の発光のオン，オフはストロボ制御回路16によって制御される。

ＣＣＤなどの固体電子撮像素子27の前方には，絞り25およびズーム・レンズ７が設けられている。絞り25は，モータ・ドライバ30によって制御されるモータ33によって絞り値が決定される。ズーム・レンズ７は，モータ・ドライバ31によって制御されるモータ34によってズーム位置が決定される。

モード・スイッチ13によって撮像モードが設定されると，絞り25を通過した被写体像を表す光線束は，ズーム・レンズ７によって撮像素子27の受光面上に結像する。タイミング・ジェネレータ32によって，撮像素子27が制御され，一定周期（例えば，１／30秒周期）で被写体が撮像される。被写体像を表す映像信号は，一定周期で撮像素子27から出力し，ＣＤＳ（相関二重サンプリング）回路28に入力する。ＣＤＳ回路28において相関二重サンプリングされた映像信号がアナログ／ディジタル変換回路29においてディジタル画像データに変換される。

ディジタル画像データは，画像入力コントローラ35によって画像信号処理回路36に入力し，ガンマ補正などの所定の信号処理が行われる。ディジタル画像データは，ＶＲＡＭ（ビデオ・ランダム・アクセス・メモリ）44に書き込まれた後に，読み出されて画像表示装置47に与えられることにより，画像表示装置47の表示画面に動画として表示される。

この実施例によるディジタル・スチル・カメラ１においては連写により第１の画像と第２の画像との２駒の画像が得られた場合に２駒の画像を合成することができる。２駒の画像の合成において，第１の画像に含まれている被写体像の輪郭等の特徴点が決定され，その特徴点に対応する対応点が第２の画像において決定される。特徴点と対応点とが一致するように重ね合わせられる。これにより，第１の画像の撮影と第２の画像の撮影との間に手振れが補正される。

また，第１の画像の撮影から第２の画像の撮影までの間に移動している物体が存在する場合には，その物体の被写体像の動きが解析され，画像を重ね合わせた場合にずれないように，移動している物体の被写体像も位置決めされる。

このように，画像を重ね合わせるためにディジタル・スチル・カメラ１には特徴点／対応点検出回路38，動き解析回路39および画像変形／合成回路45が設けられている。

撮像によって得られたディジタル画像データは，ＡＦ（自動合焦）検出回路41に入力する。ＡＦ検出回路41において，合焦するようにズーム・レンズ７のズーム位置が制御される。また，撮像によって得られたディジタル画像データは，ＡＥ（自動露光）／ＡＷＢ（自動白バランス）検出回路42にも入力する。ＡＥ／ＡＷＢ検出回路42において，検出された明るさが適正な明るさとなるように絞り25の絞りが決定される。さらに，ＡＥ／ＡＷＢ検出回路42において白バランス調整も行われる。

シャッタ・レリーズ・ボタン２が押されると，撮像によって得られた画像データは圧縮処理回路37に入力する。圧縮処理回路37において所定の圧縮処理が行われた画像データはビデオ・エンコーダ40に入力してエンコーディングされる。エンコーディングされた画像データがメモリ・コントローラ46の制御のもとにメモリ・カード48に記録される。

モード・スイッチ13によって再生モードが設定されると，メモリ・カード48に記録されている画像データが読み取られる。読み取られた画像データによって表される画像が画像表示装置47の表示画面に表示される。

図３（Ａ）および（Ｂ）は露光時間を示している。

図３（Ａ）は，露光時間Ｔによって被写体が撮像され，一駒の画像が得られる場合の露光時間を示している。図３（Ｂ）は，露光時間Ｔの半分の露光時間Ｔ／２によって被写体が連続して２回撮像される場合の露光時間を示している。

図３（Ａ）に示すように比較的長い露光時間Ｔによって被写体が撮像されると手振れが多くなる。これに対して，図３（Ｂ）に示すように短い露光時間Ｔ／２によって被写体が撮像されると，手振れが少なくなる。短い露光時間Ｔ／２によって被写体が２回撮像されて２駒の画像が得られると手振れは少ないが，明るさが暗くなる。このために，２駒の画像が重ね合わせられる。手振れが少なく，かつ明るさの明るい重畳画像が得られる。この実施例は，そのような重畳画像を得るものである。

図４および図５は，ディジタル・スチル・カメラ１の処理手順を示すフローチャートである。

まず，同じ被写体が連写によって撮像され，第１の画像と第２の画像とが得られる（ステップ51）。連写でなくとも同じ被写体が撮像され，第１の画像と第２の画像とが得られればよい。すでに撮像されている第１の画像と第２の画像とを読み出してもよい。

図６は第１の画像の一例であり，図７は第２の画像の一例である。これらの画像は図３（Ｂ）で示したように露光時間が短いために比較的暗い画像となっている。暗い画像であることを示すためにハッチングが施されている。

図６を参照して，第１の画像70には，手前に自動車の画像73が表示されており，奥に樹木の画像71および72が表示されている。

図７を参照して，第２の画像80は第１の画像70の後に撮影されている。第１の画像70と第２の画像80とは同時に撮影されていないから，第１の画像70と第２の画像80との間に手振れによるずれが生じてしまい，第２の画像80は第１の画像70に比べて斜めになっている。第２の画像80にも手前に自動車の画像83が表示されており，奥に樹木の画像81および83が表示されている。

第１の画像70の樹木の画像71および72と第２の画像80の樹木の画像81と82とはそれぞれ同じ樹木の画像であり，第１の画像70の自動車の画像73と第２の画像80の自動車の画像83とは同じ自動車の画像である。

第１の画像70および第２の画像80が得られると，基準画像および対応画像が決定される（図２ステップ52）。この実施例では，第１の画像70を基準画像，第２の画像80を対応画像とするが，その逆でもよい。

基準画像および対応画像が決定されると，次に述べるように基準画像の特徴点が決定される（図２ステップ53）。また，対応画像の対応点も決定される（図２ステップ54）。

図８は，基準画像（第１の画像）70を示している。

上述したように，基準画像70には，樹木の画像71および72ならびに自動車の画像73が含まれている。特徴点は，基準画像70に含まれている被写体像の輪郭，被写体像の特徴的な形状のある一点を規定するものである。樹木の画像71および72ならびに自動車の画像73のそれぞれについて複数の特徴点74が決定される。

図９は，対応画像（第２の画像）80を示している。

対応点は，基準画像70において決定された特徴点に対応する画素の点を示すものである。対応画像80に含まれている樹木の画像81および82ならびに自動車の画像83のそれぞれについて，特徴点74に対応する対応点84が決定される。

つづいて，基準画像70と対応画像80との間の画像全体のぶれが算出される（図２ステップ55）。画像ぶれの算出（ぶれ量およびぶれ方向の算出）について詳しくは後述する。算出された画像のぶれに応じて対応画像80が補正される。基準画像70と対応画像80と重畳するときに，ぶれ補正を行ってもよい。

図10は，ぶれが補正された対応画像80Ａの一例である。ぶれ補正により，基準画像70との間のずれが補正されている。

図11は，オプティカル・フロー・グラフを示している。

このオプティカル・フロー・グラフは，特徴点に対応する対応点の，特徴点からのずれ量およびずれ方向を，特徴点（対応点）ごとにマークで示すものである。オプティカル・フロー・グラフにおいて，３つのマークの集合部分が示されている。第１の集合部分Ｇ１はマークの数が一番多く，第２の集合部分Ｇ２はマークの数が次に多く，第３の集合部分Ｇ３はマークの数が非常に少ないものとする。この実施例では，マークの数が一番多い第１の集合部分Ｇ１で表されるものが基準画像70と対応画像80との画像全体のずれと判断される。また，マークの数が所定以上ある第２の集合部分Ｇ２で表されるものが基準画像70の撮影と対応画像80の撮影との間に移動があった移動物体の被写体像の移動量および移動方向を示すものと判断される。マークの数が所定未満である第３の集合部分Ｇ３で表されるものはごみとして扱われ，移動被写体像では無いと判断される。

画像全体のぶれが存在する場合には（図４ステップ56でＹＥＳ），つづいて，基準画像70の撮影から対応画像80の撮影までの間に移動した物体を表す被写体像（移動被写体像）が対応画像80に存在するかどうかが判定される（図４ステップ57）。この実施例においては，基準画像70には自動車の画像73が含まれており，対応画像80にも自動車の画像83が含まれており，基準画像70の撮影から対応画像80の撮影までの間に自動車は移動しているから移動被写体像が存在すると判定される（図５ステップ57）。

つづいて，移動被写体像の対応点が多数（所定数以上）存在するかどうかが確認される（図５ステップ58）。対応点が多数存在しない場合には，その対応点で表される被写体像部分はごみの影響で移動被写体像と判断されたものと考えられるので取り除かれる。

図12は，基準画像70において，上述のようにして判定された移動被写体像（自動車の画像）73を囲む移動部分領域76を示している。また，図13は，対応画像80において，移動被写体像83を囲む移動部分領域86を示していている。

自動車は移動しているから，図12に示す移動部分領域76の位置と図13に示す移動部分領域86の位置とは，その移動量および方向に応じてずれている。この実施例では，これらの移動部分領域76および86の両方を囲む変形対象領域が設定される（図５ステップ59）。

図14は，基準画像70に設定された変形対象領域77を示している。また，この図においては，変形対象領域77が基準画像70における移動部分領域76および対応画像80における移動部分領域86を囲むものであることをわかりやすくするために，基準画像70における移動部分領域76のほかに対応画像80における移動部分領域86も図示されている。

図15は，対応画像に設定された変形対象領域87を示している。この図においても，変形対象領域87が基準画像70における移動部分領域76および対応画像80における移動部分領域86を囲むものであることをわかりやすくするために，対応画像80における移動部分領域86のほかに基準画像70における移動部分領域76も図示されている。

つづいて，基準画像70の変形対象領域77内の画像の特徴点が新たに決定される（図５ステップ60）。また，基準画像70の変形対象領域77内の画像の特徴点に対応する，対応画像80の変形対象領域87内の画像の対応点が新たに決定される（図５ステップ61）。

図16は，基準画像70の変形対象領域77内の画像79を示している。

変形対象領域77内の画像79には，自動車の画像73が含まれている。この自動車の画像について，複数の特徴点78が決定される。この特徴点78の間隔は，図８に示したように基準画像70の全体に対して決定される特徴点の間隔よりも狭いことが好ましい。後述するように，画像変形する場合に，より詳細な画像変形が実現できるからである。

図17は，対応画像80の変形対象領域87内の画像89を示している。

変形対象領域87内の画像89について，変形対象領域77内の画像79について決定された特徴点78に対応する対応点88が決定される。

対応点88が決定されると，決定された対応点88と変形対象領域87の各頂点とを利用して図17に示すように三角形分割（ポリゴン化）が行われる（図５ステップ62）。三角形分割が行われた変形対象領域87内の画像89について，特徴点78と対応点88とが一致するように，分割された三角形ごとに移動被写体像の移動量に応じて画像変形処理（三角形の変形処理）が行われる（図５ステップ63）。

図18は，画像変形処理が行われた変形対象領域87内の画像90を示している。この画像変形処理により，対応画像80内の自動車の画像83の位置が基準画像70内の自動車の画像73の位置に一致させられる。

基準画像70と対応画像80とが，変形対象領域77内については，図16に示す変形対象領域77内の画像79と図18に示す画像変形させられた変形対象領域87内の画像90とが重ね合わせられる。変形対象領域77外については，基準画像70の撮像と対応画像80の撮像とのぶれが補正された基準画像70と対応画像80とが重ね合わせられる。これにより重畳画像が得られる（図５ステップ64）。

図19は，重畳画像100の一例である。

重畳画像100には，上述のように，樹木の画像101および102ならびに自動車の画像103が含まれている。基準画像70と対応画像80とのぶれが補正されているので，ぶれの無い樹木の画像101および102が表示されることとなる。また，上述した画像変形処理が行われて図16に示す変形対象領域77内の画像79と図18に示す画像変形させられた変形対象領域87内の画像90とが重ね合わせられているので，ぶれの無い自動車の画像103が表示される。また，図３（Ａ）に示す露光時間と実質的に同じ露光時間の画像となるので比較的明るい画像が得られる。

移動被写体像が存在しない場合（図５ステップ57でＮＯ）または移動被写体像が存在すると判断されても，その移動被写体像の対応点が多数存在しない場合（ごみの影響により移動被写体像と判断された場合）（図５ステップ58でＮＯ）には，上述した画像変形処理が行われることなく画像全体のぶれが補正されて基準画像70と対応画像80とが重ね合わせられて重畳画像が生成される（図５ステップ65）。

図20（Ａ）および（Ｂ）は，露光時間を示している。

図20（Ａ）は，図３（Ａ）と同様に，露光時間Ｔで一駒の画像を撮像した場合の露光時間Ｔを示している。図20（Ｂ）は，第１の露光時間ｔ１で第１の画像を撮像し，第２の露光時間ｔ２で第２の画像を撮像した場合の露光時間ｔ１，ｔ２を示している。第１の露光時間ｔ１＋第２の露光時間ｔ２＝露光時間Ｔである。

第１の画像の撮像に用いられる露光時間ｔ１は第２の画像の撮像に用いられる露光時間ｔ２よりも長いから，第１の画像は明るく，第２の画像は第１の画像に比べて暗い。第１の画像において，白とびが生じるほど明るい部分は第２の画像を用い，第２の画像において黒つぶれが生じるほど暗い部分は第１の画像を用いて，第１の画像と第２の画像とを上述のように重ね合わせることにより，ダイナック・レンジの広い重畳画像が得られる。

図２１は，第１の画像および第２の画像を得るときのストロボ発光の様子を示している。第１の画像および第２の画像のそれぞれの露光時間はいずれも同じでＴ／２である。第１の画像が得られる場合にストロボがオンされ，第２の画像が得られる場合にはストロボがオフされる。第１の画像が得られる場合にストロボがオフされ，第２の画像が得られる場合にはストロボがオンされるようにしてもよい。

このように，第１の画像の撮像時と第２の画像の撮像時とでストロボのオン，オフを切り換えることにより，露光時間が同じでも明るさの異なる２駒の第１の画像と第２の画像とが得られる。上述したのと同様に，第１の画像と第２の画像とを重ね合わせることによりダイナミック・レンジの大きな重畳画像が得られる。

図21は，上述のようにして明るさの異なる第１の画像と第２の画像とのそれぞれの信号レベルと被写体の明るさとの関係を示している。

第１の画像が明るく，第１の画像を表す第１の映像信号が得られ，第２の画像が第１の画像よりも暗く，第２の画像を表す第２の映像信号が得られたものとする。第２の映像信号は，明るさに応じて信号レベルが高くなる割合が少ないのに対し，第１の映像信号は明るさに応じて信号レベルが高くなる割合が大きい。このために，第１の映像信号では，被写体の明るさがＬ０以上では飽和してしまう。上述のように，第１の画像と第２の画像とを重畳することにより，第１の映像信号が飽和する明るさＬ０以上の明るさの被写体に対しても明るさに応じたレベルをもつ重畳画像の映像信号が得られ，重畳画像のダイナミック・レンジが広くなる。

次に，上述した基準画像と対応画像との画像全体のぶれを算出する方法（図４ステップ55の処理）について述べる。

上述のように特徴点から対応点にぶれた場合，そのぶれは，アフィン変換，射影変換を利用して算出することができる。

式１は，アフィン変換の関係式を示し，式２は射影変換の関係式を示している。式１，式２において，対応点の位置が（Ｘ，Ｙ）で示され，特徴点の位置が（ｘ，ｙ）で示されている。

最小二乗法を用いてぶれを算出すると次のようになる。

最小二乗法によるＧＭ推定は，式３となる。但し，行列Ｔは特徴点を表し，式４で示される。また，行列Ａは，アフィン・パラメータ・ベクトルであり，式５で示される。行列Ｆは，対応点を表し，式６で示される。さらに，行列Ｆの転置行列は式７となる。

アフィン・パラメータ・ベクトルを求めると，式８となり，式９，式10のように定義することができる。

また，式９の逆行列は式11によって表される。但し，式12の関係がある。

コーシーシュワルツの不等式から式13が成立し，式14の関係が成立する。

式15からアフィン・パラメータが算出されるので，特徴点から対応点へのぶれが算出される。

次に上述した変形対象領域内の画像変形処理（図５ステップ63の処理）について述べる。

上述したようにして生成された三角形の各頂点が（ｘ０，ｙ０），（ｘ１，ｙ１）および（ｘ２，ｙ２）から（Ｘ０，Ｙ０），（Ｘ１，Ｙ１）および（Ｘ２，Ｙ２）に移動するものとすると（すなわち，上述した変形対象領域内の対応点から特徴点に移動），式16が成立する。

各係数ａ，ｂ，ｃ，ｄ，ｓ，ｔは，上記変換の逆行列から求められるので，式17，式18となり，式19が得られる。但し，式20の関係がある。

（ｘ０，ｙ０）が常に原点になるようにすると，式21が成立する。

（ｘ０，ｙ０）はシフト量のみであるため，（ｓ，ｔ）に移動する。したがって，式19の逆行列は式22となる。但し，式23の関係がある。

各係数ａ，ｂ，ｃ，ｄ，ｓ，ｔは，式24から式29となる。

このようにして，上述した変形対象領域内の対応点から特徴点に移動させる（画像変形させる）ことができるようになる。

１ ディジタル・スチル・カメラ
22 ＣＰＵ
38 特徴点／対応点検出回路
39 動き解析回路
45 画像変形／合成回路

Claims (7)

1. 連続撮影によって得られた第１の画像と第２の画像とにおいて，第１の画像の中から被写体像の形状の特徴を示す複数の特徴点を決定する第１の特徴点決定手段，
   上記第１の特徴点決定手段によって決定された特徴点に対応する対応点を上記第２の画像の中から決定する第１の対応点決定手段，
   上記第１の画像と上記第２の画像とに含まれる被写体像であって，上記第１の画像の撮影から上記第２の画像の撮影までの間に移動している物体を表している移動被写体像を，上記第１の画像および上記第２の画像のそれぞれにおいて検出する移動被写体像検出手段，
   上記第１の特徴点検出手段によって決定された特徴点のうち，上記移動被写体像検出手段によって検出された移動被写体像上に存在する特徴点の位置と上記第１の対応点検出手段によって決定された対応点のうち上記移動被写体像検出手段によって検出された移動被写体像上に存在する対応点の位置との両方を囲む変形対象領域を上記第１の画像および上記第２の画像のそれぞれに設定する変形対象領域設定手段，
   上記変形対象領域設定手段によって設定された上記第１の画像の変形対象領域内の画像の複数の特徴点を決定する第２の特徴点決定手段，
   上記変形対象領域設定手段によって設定された上記第２の画像の変形対象領域内の画像において，上記第２の特徴点決定手段によって決定された特徴点に対応する対応点を決定する第２の対応点決定手段，ならびに
   上記第２の特徴点決定手段によって決定された特徴点と上記第２の対応点決定手段によって決定された対応点とが一致するように上記第２の画像の変形対象領域内の画像を変形する第１の画像変形手段，
   を備えた画像変形装置。
2. 上記変形対象領域外の画像について，上記第１の特徴点決定手段によって決定された特徴点に，上記第１の対応点決定手段によって決定された対応点が一致するように上記第２の画像の上記変形対象領域外の画像を変形する第２の画像変形手段，
   をさらに備えた請求項１に記載の画像変形装置。
3. 上記変形対象領域内の画像については上記第１の画像変形手段によって変形された画像を上記第１の画像に重畳し，上記変形対象領域外の画像については上記第１の特徴点決定手段によって決定された特徴点に上記第１の対応点決定手段によって決定された対応点が一致するように，上記第２の画像を上記第１の画像に重畳する重畳手段をさらに備えた請求項１または２に記載の画像変形装置。
4. 同じ露出量または異なる露出量で連続撮影を行うことにより上記第１の画像および上記第２の画像を得る撮像装置をさらに備えた請求項１から３のうちいずれか一項に記載の画像変形装置。
5. ストロボ発光を制御するストロボ発光制御手段，および
   上記ストロボ発光制御手段によるストロボ発光下での撮影およびストロボ未発光下での撮影を行い上記第１の画像および上記第２の画像を得るように上記撮像装置を制御する撮像制御手段，
   をさらに備えた請求項１から４のうちいずれか一項に記載の画像変形装置。
6. 第１の特徴点決定手段が，連続撮影によって得られた第１の画像と第２の画像とにおいて，第１の画像の中から被写体像の形状の特徴を示す複数の特徴点を決定し，
   第１の対応点決定手段が，上記第１の特徴点決定手段によって決定された特徴点に対応する対応点を上記第２の画像の中から決定し，
   移動被写体像検出手段が，上記第１の画像と上記第２の画像とに含まれる被写体像であって，上記第１の画像の撮影から上記第２の画像の撮影までの間に移動している物体を表している移動被写体像を，上記第１の画像および上記第２の画像のそれぞれにおいて検出し，
   変形対象領域設定手段が，上記第１の特徴点検出手段によって決定された特徴点のうち，上記移動被写体像検出手段によって検出された移動被写体像上に存在する特徴点の位置と上記第１の対応点検出手段によって決定された対応点のうち上記移動被写体像検出手段によって検出された移動被写体像上に存在する対応点の位置との両方を囲む変形対象領域を上記第１の画像および上記第２の画像のそれぞれに設定し，
   第２の特徴点決定手段が，上記変形対象領域設定手段によって設定された上記第１の画像の変形対象領域内の画像の複数の特徴点を決定し，
   第２の対応点決定手段が，上記変形対象領域設定手段によって設定された上記第２の画像の変形対象領域内の画像において，上記第２の特徴点決定手段によって決定された特徴点に対応する対応点を決定し，
   画像変形手段が，上記第２の特徴点決定手段によって決定された特徴点と上記第２の対応点決定手段によって決定された対応点とが一致するように上記第２の画像の変形対象領域内の画像を変形する，
   画像変形装置の動作制御方法。
7. 画像変形装置の動作を制御するプログラムであって，
   連続撮影によって得られた第１の画像と第２の画像とにおいて，第１の画像の中から被写体像の形状の特徴を示す複数の第１の特徴点を決定させ，
   決定された第１の特徴点に対応する第１の対応点を上記第２の画像の中から決定させ，
   上記第１の画像と上記第２の画像とに含まれる被写体像であって，上記第１の画像の撮影から上記第２の画像の撮影までの間に移動している物体を表している移動被写体像を，上記第１の画像および上記第２の画像のそれぞれにおいて検出させ，
   決定された第１の特徴点のうち，検出された移動被写体像上に存在する第１の特徴点の位置と決定された第１の対応点のうち検出された移動被写体像上に存在する第１の対応点の位置との両方を囲む変形対象領域を上記第１の画像および上記第２の画像のそれぞれに設定させ，
   設定された上記第１の画像の変形対象領域内の画像の複数の第２の特徴点を決定させ，
   設定された上記第２の画像の変形対象領域内の画像において，決定された第２の特徴点に対応する第２の対応点を決定し，
   決定された第２の特徴点と決定された第２の対応点とが一致するように上記第２の画像の変形対象領域内の画像を変形させるように画像変形装置のコンピュータを制御するコンピュータ読み取り可能なプログラム。
   

Images