JP2007110207A - 画像合成装置及び画像合成方法 - Google Patents

Abstract

【課題】仮に被合成画像間のオーバーラップ部に相違があった場合においても、撮影者の意図通りの結合画像を生成できる画像合成装置を提供する。
【解決手段】本発明の画像合成装置は、複数の画像データを取得するＣＣＤ２と、取得された複数の画像データに互いに重複する部分がある場合、その重複する部分について優先する画像データを指定する指定手段と、互いに重複する部分を有する複数の画像データを、重複する部分が指定された画像データを用いて構成されるようにして、合成する画像信号処理回路６と、を備える。
【選択図】図１

Description

本発明は、パノラマ画像のような連続した横長の画像、あるいは縦長や斜め方向などの任意の方向に連続した画像を作成可能な画像合成装置に関するものである。

従来、撮影装置を水平に回しながら全景を撮影する、いわゆるパノラマ撮影が知られている。このパノラマ撮影において、例えば、カメラを三脚等に据え付けて、水平状態を保った状態で撮影方向を変化させながら複数の画角の画像を撮影し、これらの画像を結合することによって、パノラマ画像を得ていた。

しかしながら、従来の撮影方法では、複数の画像が自然な繋ぎ目を持つような適切な撮影方向を、撮影者が判断するのは困難であった。

そこで、パノラマ撮影を行う際に、撮影者が適切な撮影方向を知り得る技術が考えられている。特許文献１において開示されている技術では、カメラ本体にある表示部に、カメラ本体が移動する前の被写体画像と現在の被写体画像のオーバーラップ部分を表示することによって、撮影者は、被写体画像間の連続性を確認しながら撮影することが可能である。

また、特許文献２において開示されている技術では、撮影済み画像における左端もしくは右端の何れか一方の端部部分の画像データを記憶し、所定割合以上、前記端部部分に一致している領域を検出した場合には、それを表示部に示す。そして、その領域が現在の被写体画像の左端もしくは右端に一致した場合には自動的にシャッタを切ることにより、撮影者の技量によらずに適切な撮影が可能である。
特開平９−２６６５６１号公報 特開２００５−７２９５２号公報

このように特許文献１、２に開示されている技術によれば、撮影者が表示部で被写体画像間の連続性を確認しながら、もしくは自動的に撮影することが可能である。

しかしながら、実際に被写体画像同士を結合し、１枚のパノラマ画像の作成をする手段に関して、例えば、特許文献１においては、オーバーラップ部を重ねて結合するという方法を用いており、特許文献２においては、結合方法について特に言及していない。また、オーバーラップ部に関しては、ほとんど同じ被写体画像であるということが前提であった。

そこで、本発明は、仮に被合成画像間のオーバーラップ部に相違があった場合においても、撮影者の意図通りの結合画像を生成できる画像合成装置を提供することを目的とする。

上記目的を達成するため、本発明の画像合成装置は、複数の画像データを取得する取得手段と、取得された複数の画像データに互いに重複する部分がある場合、その重複する部分について優先する画像データを指定する指定手段と、互いに重複する部分を有する複数の画像データを、重複する部分が指定された画像データを用いて構成されるようにして、合成する合成手段と、を備える。

以上の構成により、本発明によれば、仮に被合成画像間のオーバーラップ部に相違があった場合においても、撮影者の意図通りの結合画像を生成できる。

（実施形態１）
以下、本発明の一例を、図を用いて詳述する。なお、ここでは、本発明を画像処理装置であるデジタルスチルカメラに適用し、パノラマ撮影を行う際に、直前に撮影された被写体画像と移動後の被写体画像を結合する場合について説明するが、本発明の適用がこれに限定されるものではない。

図１は、本実施の形態におけるデジタルスチルカメラの回路構成を示すブロック図である。同図によれば、レンズ１によって集められた光は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）駆動回路３により駆動されるＣＣＤ２に入り、電気的信号である画像データに変換される。ＣＣＤ２は、撮像タイミングをずらすことにより、複数の画像データを取得可能である。ＣＣＤ２で生成された画像データは、Ａ／Ｄ変換回路４によって、デジタル信号へと変換される。そして、その信号は、レンズが取り込んだ画像データとして、ＳＤＲＡＭ５に格納される。また、ＳＤＲＡＭ５からの画像データは、画像処理回路６とＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）７によって表示画像に変換され、ＬＣＤ８に出力される。撮影を行う際には、ユーザがシャッタ釦９を押下すると、ＣＰＵ７がそれを判断し、ＣＣＤ駆動回路３に撮影動作を指示する。撮影駆動でＣＣＤ２が取り込んだ画像はＳＤＲＡＭ５に保存される。

なお、ここでは光センサとしてＣＣＤを用いた場合について説明するが、より低消費電力であるＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）やその他の撮像素子でもよい。

また、記憶素子としてＳＤＲＡＭを用いた場合について説明するが、より高速に動作するＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）や、ＳＤＲＡＭの倍の転送速度が実現できるＤＤＲ ＳＤＲＡＭ（Ｄｏｕｂｌｅ Ｄａｔａ Ｒａｔｅ ＳＤＲＡＭ）、またその他の記憶素子でもよい。

また、ディスプレイとしてＬＣＤを用いた場合について説明するが、より低消費電力である有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイやより高輝度なＣＲＴ（Ｃａｔｈｏｄｅ ｒａｙ Ｔｕｂｅ）ディスプレイ、またその他のディスプレイを用いてもよい。

また、記憶装置としてメモリカードを用いた場合について説明するが、フロッピー（登録商標）ディスクやＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ ｄｉｓｋ）、ハードディスクなどの磁気記録媒体、またその他の記憶装置を用いてもよい。

次に、パノラマ画像を作成する手順について説明するが、もちろん縦方向や斜め方向（例えば、図２のように）に画像を結合する場合においても同様である。また、本実施形態では、画像を結合する際に、オーバーラップ部の重ね順を選択できることが特徴である。

撮影する画像を、図３のように列車を被写体とした場合について、連続画像を得る際の使用例を以下に示す。連続画像の作成手順は、図５のフローチャートに示される。

まず、図３ａを撮影する。撮影は、レンズ１が集めた光を、ＣＣＤ駆動回路３によって駆動されたＣＣＤ２によって取り込み、その取り込まれた光の強さをＡ／Ｄ変換回路４によってデジタル画像データに変換し、その画像データをＳＤＲＡＭ５に記録することによって、行う。画像データは、必要に応じてメモリカード１０に記録してもよい。このようにして過去に撮影された画像（以後、過去撮影画像と呼ぶ）の中から、これから撮る画像と結合させる画像を選択する（Ｓ１１）。選択方法については、ユーザが任意の画像を選択してもよいし、また、予めパノラマ撮影を行うことを、ユーザがカメラに通知しておくことによって、その後撮影した画像を結合させる画像とするようにしてもよい。次に、カメラ本体を移動して図３ｂを撮影する（Ｓ１６）。その際、ＣＰＵ７に、シャッタ釦が押されたと判定される（Ｓ１２）までの間、ＬＣＤ８には、図３ａにて撮影したＳＤＲＡＭ５に記憶されている画像と、現在取り込んでいる（Ｓ１３）ファインダ画像との間に、オーバーラップ部が存在していると画像信号処理回路６が判断した（Ｓ１４）場合は、そのオーバーラップ部を表示する（Ｓ１５）。

次に、オーバーラップ部の検出（Ｓ１４）について、以下に説明する。図１２ａに示すようにオーバーラップ部が横方向のみの場合、オーバーラップ部の面積を横方向に変化させ、その変化点ごとにオーバーラップ部から、オーバーラップ部同士がどれくらい一致しているかを示す一致度を抽出する。なお、一致度としては、オーバーラップ部間の差分平均値や、相関係数、またそれ以外の画像間の相関性を示す指標でもよい。その抽出された一致度によって、最も一致していると判定されたオーバーラップ部を、検出対象とする。なお、オーバーラップ部が縦方向のみであれば、図１２ｂに示すように、オーバーラップ部分の面積を縦方向に変化させればよく、また、図１２ｃのように斜め方向を許容する場合、つまり、方向を制限しない場合は、オーバーラップ部の面積を、縦方向と横方向の両方に変化させればよい。また、検出の高速化のために、面積の変化量を大きくして、一旦検出した後に、その周辺に対して細かく面積を変化させて調べる方法を繰り返して、最終的な検出を行うようにしてもよい。また、オーバーラップ部をさらに細分割して、それぞれの一致度を抽出することで、分割されたあるオーバーラップ部の一致度は低くても、その他の一致度が高い場合は、そのオーバーラップ部を採用するようにしてもよい。

なお、これらの検出方法は一例であり、その他のオーバーラップ部検出手法を用いてもよいし、また、オーバーラップ部は自動検出せずに、予め任意の範囲がオーバーラップするとして、ユーザがオーバーラップ部を指定するようにしてもよい。

次に、撮影者は、ＬＣＤ８に示されたオーバーラップ部を見て、結合部分を確認しながら撮影（Ｓ１６）を行うことができる。このようにして図３ｂが撮影され（以後、撮影された画像を現在撮影画像と呼ぶ）、オーバーラップ部が図３ｂ中にあると判断した（Ｓ１７）場合には、図３ａ、図３ｂの結合が行われる。画像を結合する際に、結合画像に反映されるオーバーラップ部が図３ａ、図３ｂのどちらのものにするかの選択（Ｓ１８）を行う。ここで図３ａを選択した場合は図４ａのような結合を行い（Ｓ２０）、図３ｂを選択した場合は図４ｂのような結合を行う（Ｓ１９）。結合は、画像信号処理回路６によって行われ、結合画像はＳＤＲＡＭ５に保存される。

なお、ＳＤＲＡＭ５に保存されている結合画像や過去画像、現在画像を必要に応じてメモリカード１０に記録してもよい。

このようにして、パノラマ画像が完成する。必要であれば、結合した画像を過去撮影画像として、さらに図３ｃを撮影・結合できることは言うまでもない。

なお、オーバーラップ部の重ね順をユーザがその都度、選択するのが煩わしい場合には、予めどちらを反映するのかを決定しておいてもよい。その時、図６に示すように、図６ａ、図６ｂを結合して図６ｄのような画像ができあがらないように、画像結合後の継ぎ目の連続性が、より保たれている方を自動的に選択（例えば、継ぎ目に対して垂直方向に微分を行い、傾きの大きさを判定基準とする）し、図６ｃが選ばれるようにしてもよい。

ＣＣＤ２は本発明の取得手段の一例である。ＬＣＤ８は本発明の表示手段の一例である。また、メモリカード１０は本発明における二次記憶媒体の一例である。

（実施形態２）
次に、第２実施形態について説明する。ここでも、パノラマ画像を作成する手順について説明するが、もちろん縦方向や斜め方向に画像を結合する場合においても同様である。また、本実施形態では、画像を結合する際に、オーバーラップ部の差分を抽出して、各部分単位で反映するのかしないのかを選択できるのが特徴である。

撮影する画像を、図７のようにアパートを被写体とした場合について、連続画像を得る際の使用例を示す。また、連続画像の作成手順は、図８のフローチャートに示される。

まず、図７ａを撮影しておく。撮影された画像データはＳＤＲＡＭ５に取り込まれる。画像データは、必要に応じてメモリカード１０に記録してもよい。そして、過去撮影画像の中から、これから撮る画像と結合させる画像を選択する（Ｓ１１）。

次に、カメラ本体を移動して図７ｂを撮影する（Ｓ１６）。その際、ＣＰＵ７に、シャッタ釦が押されたと判定される（Ｓ１２）までの間、ＬＣＤ８には、図７ａにて撮影したＳＤＲＡＭ５に記憶されている画像と、現在取り込んでいる（Ｓ１３）ファインダ画像との間に、オーバーラップ部が存在していると画像信号処理回路６が判断した（Ｓ１４）場合は、そのオーバーラップ部を表示する（Ｓ１５）。撮影者は、ＬＣＤ８に示されたオーバーラップ部を見て、結合部分を確認しながら撮影（Ｓ１６）を行うことができる。

このようにして図７ｂが撮影され、オーバーラップ部が図７ｂ中にあると判断した（Ｓ１７）場合には、そのオーバーラップ部から、図７ｃ、図７ｄのような両画像の異なる部分を抽出し、どの部分を結合画像に反映させるかを選択（Ｓ２１）する。

その処理を詳しく示したのが、図９である。まず、オーバーラップ部の両画像から異なる部分の連結成分を抜き出す（Ｓ２２）。その方法は様々考えられるが、例えば、それぞれのオーバーラップ部が図１０ａ、図１０ｂであった場合、両者の差分画像を生成し、その画像を２値化処理した後に、ラベリング処理を行うことにより、図１０ｃのように異なる部分の連結成分を抽出できる。もちろん、差分処理、２値化、ラベリング処理の順番を変更したり、その他の手法（例えば、特開２０００−５７３２３号公報に開示されている手法など）を用いたりしてもよい。

このようにして抽出した各部分を、結合画像に反映するのかしないのかを各部分ごとに選択（Ｓ２３）する。それぞれ現在画像中の連結成分を採用するか（Ｓ２４）、過去画像中の連結成分を採用するか（Ｓ２５）どうかを、ユーザが判断する。その判断結果は、ラベリング処理を元に結合リスト１１（例えば、図１１のようなもの）を作成し、ＳＤＲＡＭ５に保存される。全ての部分について選択を完了したら（Ｓ２６）、保存された結合リスト１１を踏まえた上で、結合が行われる（Ｓ２７）。

例えば、図７ａ、図７ｂを結合しようとした場合、上記処理によって、異なる部分として抽出された図７ｃ、図７ｄを、両方反映させると選択した場合は図７ｅのようになり、図７ｃ、図７ｄを両方反映させないと選択した場合は図７ｆのようになる。もちろん、図７ｃ、図７ｄの片方だけを反映させることもできることは言うまでもない。このようにして完成した結合画像は、ＳＤＲＡＭ５に保存される。なお、ＳＤＲＡＭ５に保存されている結合画像や過去撮影画像、現在撮影画像、結合リスト１１を必要に応じてメモリカード１０に記録してもよい。

なお、異なる部分を反映させるのかどうかについて、ユーザがその都度、選択するのが煩わしい場合には、予め何らかの指標を用意した上で、自動的に決定しておいてもよい。例えば、異なる部分として抽出された部分と、その周囲との色成分にギャップがある場合のみ反映させるとか、その他の手法を用いてもよい。

また、異なる部分として抽出されなかった部分については、どちらのオーバーラップ部を用いて結合しても、ほとんど同じ画像ができあがるはずであるが、異なる部分との連続性を考慮し、異なる部分として選択された領域の数や面積などの指標によって、どちらのオーバーラップ部を用いるかを選択するようにしてもよい。例えば、採用する連結成分の数が、過去撮影画像から抽出されたものの方が多い場合には、現在撮影画像から抽出された連結成分以外は過去撮影画像を採用する、というようにしてもよい。

本発明の画像処理装置及び画像処理方法によれば、画像処理装置が移動前の被写体画像と、画像処理装置が移動後の被写体画像のオーバーラップしている部分を検出・表示するとともに、オーバーラップ部内に存在する両者の異なる部分を検出し、それを結合画像に反映させるか反映させないかを撮影者が選択することができる。それによって、撮影者が意図通りの結合画像を作ることができ、これまで撮影できなかったような画角での撮影ができるという点で有用である。

画像処理装置のブロック図 画像を斜めに結合した場合の概略図 列車を被写体とした連続画像撮影の概略図 列車を被写体とした連続画像結合後の概略図 第１実施形態のフローチャート 列車を被写体とした連続画像結合失敗時の概略図 アパートを被写体とした連続画像撮影・結合の概略図 第２実施形態のフローチャート オーバーラップ部から異なる部分を検出・選択する処理のフローチャート オーバーラップ部から異なる部分を検出する処理の概略図 結合リストの概略図 オーバーラップ部検出時の探索範囲の概念図

符号の説明

１ レンズ
２ ＣＣＤ
３ ＣＣＤ制御回路
４ Ａ／Ｄ変換回路
５ ＳＤＲＡＭ
６ 画像信号処理回路
７ ＣＰＵ
８ ＬＣＤ
９ シャッタ釦
１０ メモリカード
１１ 結合リスト

Claims (6)

1. 複数の画像データを取得する取得手段と、
   前記取得された複数の画像データに互いに重複する部分がある場合、その重複する部分について優先する画像データを指定する指定手段と、
   互いに重複する部分を有する複数の画像データを、前記重複する部分が前記指定された画像データを用いて構成されるようにして、合成する合成手段と、
   を備える画像合成装置。
2. 前記取得された複数の画像データの互いに重複する部分を検出する検出手段を備える、
   請求項１に記載の画像合成装置。
3. 互いに重複する部分を有する複数の画像データを表示する表示手段を備える、
   請求項１または２に記載の画像合成装置。
4. 前記取得した画像データのうちいずれかを選択する選択手段をさらに備え、
   前記検出手段は、前記選択された画像データと、前記選択手段による画像データの選択後前記取得手段で新たに取得された画像データとの重複する部分を検出し、
   前記合成手段は、前記選択された画像データと前記新たに取得された画像データとを合成する、
   請求項２に記載の画像合成装置。
5. 複数の画像データを取得する取得手段と、
   前記取得された複数の画像データの互いに重複する部分を検出する検出手段と、
   前記検出された重複部分内に含まれる互いに異なる被写体を検出する被写体検出手段と、
   前記被写体検出手段で検出された被写体のうちいずれかを選択する旨のユーザからの指示を受け付ける受付手段と、
   互いに重複する部分を有する複数の画像データを、前記受付手段で受け付けた指示により選択された被写体を含むようにして、合成する合成手段と、
   を備える画像合成装置。
6. 複数の画像データを取得する取得手段と、
   前記取得された複数の画像データの互いに重複する部分を検出する検出手段と、
   前記検出された重複部分内に含まれる互いに異なる被写体を検出する被写体検出手段と、
   前記被写体検出手段で検出された被写体が、互いに重複する部分を有する複数の画像データ間で連続性を保っているかどうかを判別する判別手段と、
   前記判別手段で連続性を保っていると判別された被写体のうちいずれかを選択する旨のユーザからの指示を受け付ける受付手段と、
   互いに重複する部分を有する複数の画像データを、前記受付手段で受け付けた指示により選択された被写体を含むようにして、合成する合成手段と、
   を備える画像合成装置。

Images