JP2020072448A - 撮像装置、撮像方法およびプログラム - Google Patents

Abstract

【課題】 利便性のよい撮像装置を利用してパノラマ撮像を行うとき、自動にパノラマ撮像の設定を行うことが求められている。【解決手段】 パンニングをしながら撮像を行う撮像装置は、前記撮像において複数の画像を取得する撮像手段と、前記撮像装置の移動を検知する検知手段と、前記撮像を行うための複数のパラメータの設定を行う設定手段と、前記複数の画像を繋ぎ合わせて合成画像を作成する合成手段と、を有し、前記設定手段は、前記検知手段が検知した結果に基づいて、少なくとも前記複数のパラメータの１つを設定する。【選択図】 図２

Description

本発明は、撮像装置、特に、パノラマ撮像を行うことができる撮像装置に関するものである。

撮像装置などの撮像装置による撮像方法の一つとして、パノラマ撮像が提案されている。このような手法においては、ユーザが撮像装置の向きを一定方向に変化させながら連続的に複数枚の静止画を撮影し、撮像装置が撮像された複数枚の画像をつなぎ合わせることにより１枚のパノラマ画像を生成している。

ここで、ユーザが撮像装置の向きを変化させながら撮像するものの他にも、撮像装置自身に駆動機構を設け、自動で撮像装置の向きを変化させながら、パノラマ画像生成のための連続した画像を撮像するようなものも提案されている。たとえば特許文献１においては、自動で撮像する画角を変化させながらパノラマ画像生成用の複数の画像を撮像する構成が記載されている。このような撮像装置においては、たとえばユーザの撮像指示や自動撮像判定によりパノラマ撮像に移行する。

また、特許文献２では、ストラップ等でユーザの体に装着された状態で用いられるような、利便性のより高い撮像装置が公開されている。

特開２０１１−１８８１６３号公報 特表２０１６−５３６８６８号公報

しかしながら、特許文献２に記載されている撮像装置を用いて、パノラマ撮像を行おうとすると、以下の課題が生じる。パノラマ撮像においては、撮像中において撮像装置の安定が要求されている。しかしながら、撮像装置をユーザの体に装着しながら撮像を行うようなシーンにおいてパノラマ撮像を行うと、安定性が保たれない。

本発明は、上記の課題を鑑みてなされたものであり、利便性を保ちながら、パノラマ撮像が可能な撮像装置を提供する。

上記課題を解決するため、本願発明は、パンニングをしながら撮像を行う撮像装置であって、前記撮像において複数の画像を取得する撮像手段と、前記撮像装置の移動を検知する検知手段と、前記撮像を行うための複数のパラメータの設定を行う設定手段と、前記複数の画像を繋ぎ合わせて合成画像を作成する合成手段と、を有し、前記設定手段は、前記検知手段が検知した結果に基づいて、少なくとも前記複数のパラメータの１つを設定する撮像装置を提供する。

本発明の構成によれば、パノラマ撮像が可能で、精度よくパノラマ合成画像の作成ができ、撮像装置の状態に応じてパノラマ撮像の制御ができる撮像装置を提供することができる。

本発明の実施形態に係る撮像装置の基本構成を示すブロック図である。 本発明の実施形態を説明するためのフローチャートである。 第１の実施形態における撮像装置の状態を説明するための図である。 本発明の実施形態におけるパノラマ撮像のためのパラメータの設定を説明するための図である。 第２の実施形態におけるズームの変更を説明するための図である。 第２の実施形態における撮像装置の向きを変更しながらパノラマ撮像を行う一例を説明するための図である。

以下では、添付の図面を参照しながら、本発明の好適な実施形態について詳細に説明する。

以下、図面を参照して本発明の好適な実施形態を説明する。

（第１の実施形態）
図１は、本実施形態に係る撮像装置の基本構成を示すブロック図である。

撮像装置１００は、例えば、デジタルカメラ、デジタルビデオカメラなどのカメラの他、カメラ機能付き携帯電話、カメラ付きコンピュータなど、カメラ機能を備える電子機器である。光学系１０１は、レンズ群、シャッター、絞りなどを備える結像光学系である。レンズ群は、手振れ等の補正を行う補正レンズやフォーカスレンズなどを含む。

光学系１０１は、ＣＰＵ１０３の制御信号にしたがって、被写体光を撮像素子１０２に結像させる。撮像素子１０２は、ＣＣＤ（電荷結合素子）イメージセンサ、ＣＭＯＳ（相補型金属酸化膜半導体）イメージセンサなどの撮像デバイスであり、光学系１０１を通して結像した光を光電変換により画像信号に変換する。

ＣＰＵ１０３は、メモリに予め記憶されたプログラムを実行することにより、入力信号などに従って撮像装置１００を構成する各部を制御する。一次記憶部１０４は、例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などの揮発性装置であり、一時的なデータを記憶し、ＣＰＵ１０３のワークメモリとして使用される。一次記憶部１０４に記憶されている情報は、画像処理部１０５が使用し、また記録媒体１０６へ記録される場合もある。二次記憶部１０７は、例えば、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）などの不揮発性記憶装置である。二次記憶部１０７には、撮像装置１００を制御するためのプログラム（ファームウェア）や各種の設定情報が記憶されており、ＣＰＵ１０３によって利用される。

記録媒体１０６は、一次記憶部１０４に記憶されている撮像画像データなどを記録する。また、記録媒体１０６は、例えば半導体メモリカードのように撮像装置１００から取り外し可能である。記録媒体１０６に記録されたデータは、ＰＣ（パーソナルコンピュータ）などの外部機器に装着して読み出すことが可能である。つまり、撮像装置１００は、記録媒体１０６の着脱機構および読み書き機能を有する。表示部１０８は、撮像時のビューファインダ画像の表示、撮像した画像の表示、対話的な操作のためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）画像などの表示を行う。操作部１０９は、ユーザ操作を受け付けて、ＣＰＵ１０３へ入力情報を伝達する入力デバイス群であり、例えばボタン、レバー、タッチパネルなどを備える。また音声や視線などを用いた入力機器を操作に使用することもできる。

検出部１１０には、ジャイロセンサーや加速度センサーなどが設けられ、撮像装置１００の加速度や角速度などを検出することができる。または、検出部１１０に赤外線センサー等を設け、撮像装置１００の周囲に存在する障害物を検出することができる。

撮像装置１００は、画像処理部１０５が撮像画像に適用する画像処理のパターンを複数有しており、このパターンを撮像モードとして操作部１０９により設定可能である。画像処理部１０５は、いわゆる現像処理と呼ばれる画像処理をはじめとして、撮像モードに応じた色調の調整などの各種処理を行う。なお、画像処理部１０５の機能の少なくとも一部は、ＣＰＵ１０３がソフトウェア処理によって実現してもよい。

図２は、本実施形態を説明するためのフローチャートである。

ステップＳ２０１では、検出部１１０は、撮像装置１００の状態を検知する。ここでいう撮像装置１００の状態は、主に撮像装置１００の移動・静止状態の変化を指す。

図３は、本実施形態における撮像装置１００の状態を説明するための図である。

たとえば、図３（ａ）は、撮像装置１００が、ストラップ等でユーザの体に装着された状態などで「移動状態」と「静止状態」を繰り返す場合がある。（首掛け状態）それに対し、図３（ｂ）は机の上に設置されている状況などで「静止状態」が長期間続くことを示している。（平置き状態）このため、もし、図３（ａ）の場合において、図３（ｂ）と同様なパノラマ撮像を行ってしまうと、「移動状態」の時にパノラマ撮像を開始してしまったり、または、パノラマ撮像中に「移動状態」となってしまったりする場合がある。そのような場合は画像の連続性が失われてしまい、つなぎ目が合わせられないような画像となってしまう場合がある。

そこで、このような課題を解決するために、本実施形態においては図３（ａ）と図３（ｂ）とのどちらかのような場合においてもパノラマ撮像に適した画像を取得するための処理の例を示す。これを実現するために、まず、ステップＳ２０２で、ＣＰＵ１０３は、ステップＳ２０１での検知の結果に基づいて、パノラマ撮像を開始するかどうかについて判断する。撮像装置１００が「静止状態」にあるときに、ＣＰＵ１０３は、撮像開始の時刻を設定し、撮像開始の指示を出す。

ステップＳ２０２で、パノラマ撮像の開始が判断されたら、ステップＳ２０３に進み、パノラマ撮像の設定を行う。ステップＳ２０３では、ＣＰＵ１０３は、パノラマ撮像をするためのパラメータを、ステップＳ２０１で検出部１１０が検出した状態に応じて、設定する。

図４は、本実施形態におけるパノラマ撮像のためのパラメータの設定を説明するための図である。図４（ａ）と図４（ｂ）とのそれぞれは、図３（ａ）と図３（ｂ）とに対応している。

パラメーラを設定するために、ＣＰＵ１０３は、撮像装置の状態が首掛け状態と平置き状態とのどちらかを判断する必要がある。ＣＰＵ１０３の判断の方法はいくつか考えられる。たとえば、ユーザが操作部１０９を通じて状態を選択し、ＣＰＵ１０３に指令を与えるようにする。

または、ＣＰＵ１０３が「平置き状態」か「首掛け状態」か、を自動に判断する。たとえば、ＣＰＵ１０３は、「静止状態」の長さを検出し、予め定められた時間の閾値よりも長ければ「平置き状態」と判断し、逆に、「首掛け状態」と判断する。または、検出部１１０に設けられている赤外線センサーなどにより、周囲に障害物が存在しているかを検出する。周囲に大きな障害物が存在する場合、該当障害物がユーザの体である可能性が高いと判断し、ＣＰＵ１０３は撮像装置１００が「首掛け状態」にあると判断する。

次に、ＣＰＵ１０３は、「平置き状態」か「首掛け状態」かに応じてパラメータの設定を行う。まず、パノラマ撮像中に、撮像装置１００を移動させる速度（パンニング速度）に関して、パンニング速度を速くすると、パノラマ画像がカバーする画角を確保するまでにかかる時間が短くなるため、パノラマ撮像に要する時間を短くすることが可能となる。しかし、パンニング速度が速い場合は被写体ブレを抑えるため、シャッター速度を速くする必要があり、さらに、シャッター速度が速いと確保できる光量が減少してしまうため、撮像感度を上げるといったことが必要となる。つまり、「首掛け状態」の場合、図４（ａ）に記載されたような設定にすることにより、撮像感度上昇に伴うノイズが増加する代わりにパノラマ撮像の所要時間を短く抑えることが可能となる。次に、パンニング速度を遅くした場合について考える。パンニング速度を遅くした場合、必要な画角を確保するまでにかかる時間が長くなるため、パノラマ撮像に要する時間は長くなってしまう。しかし、パンニング速度が遅ければシャッター速度を遅く抑えることが出来るため、確保できる光量を増やすことが出来る分、撮像感度を下げることが可能となる。つまり、「平置き状態」の場合、図４（ｂ）に記載されたような設定にすることにより、パノラマ撮像に要する時間が長くなってしまう代わりに、感度上昇に伴うノイズを抑えて画質を向上させることが可能となる。このように、ＣＰＵ１０３は、「平置き状態」か「首掛け状態」かに応じてパラメータの設定を行うことができる。

次に、ステップＳ２０４に進み、パノラマ撮像を開始し、パンニング動作に伴い、撮像素子１０２がパノラマ画像の作成に用いる画像を撮像する。

次に、ステップＳ２０５で、検出部１１０は、撮像装置１００の状態を検知する。前述したとおり、パノラマ撮像中に撮像装置１００の速度が急に大きく変化してしまうと、合成画像につなぎ目が目だってしまう場合がある。したがって、検出部１１０が検出した撮像装置１００の速度が予め定められた閾値より大きい場合、次のステップＳ２０６で、ＣＰＵ１０３が撮像中止を判断する。ＣＰＵ１０３が撮像を中止しない場合、フローがステップＳ２０７に進み、撮像を中止する場合、フローがステップＳ２０８に進む。

ステップＳ２０７では、ＣＰＵ１０３はパノラマ撮像が完了したかどうかについて判断する。判断の基準としては、たとえば、所定の枚数の画像を撮像したか、または、所定の画角が得られたか、が挙げられる。

ステップＳ２０８で、画像処理部１０５が、ステップＳ２０４で撮像素子１０２が撮像した画像を用いて、パノラマ画像を合成し、記録媒体１０６に記録する。これでパノラマ撮像のフローは終了する。

本実施形態によれば、撮像装置が自動に状態を判断し、パノラマ撮像の制御を行うことができる。

（第２の実施形態）
第２の実施形態では、第１の実施形態と異なり、パノラマ撮像中、ズームの必要が生じる場合に対応するものである。

図５は、本実施形態におけるズームの変更を説明するための図である。図５では、撮像装置１００が被写体に向かって移動する様子を示している。図５（ａ）では、ズーム倍率を含めた撮像の設定を変えずに、撮像装置１００を位置５０１から位置５０３まで移動しながら撮像するときの様子を示している。図５（ａ）では、各々の位置で撮像装置１００が撮像した画角が異なることを示している。

それに対して、図５（ｂ）では、ズームを変更しながら、撮像装置１００が被写体に向かって移動し撮像する様子を示している。図５（ｂ）では、ズームを行い、各々の位置で撮像装置１００が撮像した画角が同様であることを示している。

図５（ｃ）は、図５（ｂ）の状態からさらに変形したうえでの撮像状態を示している。図５（ｃ）では、撮像装置１００が被写体に向かって移動し、かつ、ズームを行いながら、撮像装置１００の向きを微小に変化している様子をしている。撮像装置１００が、各々の位置で、ズームの調整を通じて、同じ幅の画角の画像を撮像し、かつ、撮像した画像を合成して被写体の画角の全体を含むパノラマ画像を得ることができる。

本実施形態は、図５（ｃ）のような撮像状態を想定している。本実施形態のフローは、第１の実施形態と類似しており、次に、第１の実施形態との相違点を着目し、本実施形態のフローについて説明する。

まず、ステップＳ２０１およびステップＳ２０２では、撮像装置１００が、第１の実施形態と同様に、状態検知を行い、パノラマ撮像を開始するかどうかを決める。

次に、ステップＳ２０３で、ＣＰＵ１０３が、パノラマ撮像の設定を行う。パノラマ撮像の設定としては、前述のように、撮像装置１００の位置から被写体に向かうときに同じ画角となるようにズーム位置の設定を行う。さらに、パノラマ撮像を行う場合、移動速度によっては被写体のぶれが発生しやすくなることもある。パノラマ撮像の時間が長くなると、パノラマ撮像中に移動する量が大きくなる分ズーム量も増え、ズーム可能な限界を超えてしまう場合がある。そのため、一例として、本実施形態においても、「平置き状態」か「首掛け状態」かに応じてパラメータの設定を行うことができる。つまり、ＣＰＵ１０３は、「平置き状態」の場合、ズーム量が小さい可能性が高く、「首掛け状態」の場合、ズーム量が大きい可能性が高いと判断する。設定の方法の１つとしては、図４に従ってよい。

ステップＳ２０４で、撮像素子１０２がパノラマ撮像を行う。

ステップＳ２０５で、検出部１１０が状態検知を行う。ここでの状態検知の内容は、第１の実施形態と同様でよく、つまり、撮像装置１００の移動速度を検知する。ステップＳ２０６で、ＣＰＵ１０３が、ステップＳ２０５での検知の結果に基づいて、撮像を中止するかどうかを決める。

ステップＳ２０７で、ＣＰＵ１０３は、第１の実施形態と同様な方法で、パノラマ撮像が完了したかどうかについて判断する。

ステップＳ２０８で、第１の実施形態と同様に、画像処理部１０５が、ステップＳ２０４で撮像素子１０２が撮像した画像を用いて、パノラマ画像を合成し、記録媒体１０６に記録する。

以上の撮像方法をさらに変更することができ、たとえば、撮像装置１００の向きを変えながらパノラマ撮像を行ってもよい。図６は、本実施形態における撮像装置の向きを変更しながらパノラマ撮像を行う一例を説明するための図である。図６に示しているシーンでは、撮像装置１００の移動量が被写体の全部の画角までに及ばずに、撮像装置の向きを変えることにより被写体の全部の画角を撮像する例を示している。撮像装置１００が位置６０１と位置６０３とで撮像する場合、位置６０２と比べて、被写体までの距離がやや長くなるので、適宜ズームを行うことが必要である。

このように、本実施形態は、ズームを変更しながらパノラマ撮像を行う場合、撮像装置が自動に状態を判断し、パノラマ撮像の制御を行うことができる。

（その他の実施形態）
なお、本発明は、上述の実施形態の１つ以上の機能を実現するプログラムを、ネットワークまたは記録媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し作動させる処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 撮像装置
１０３ ＣＰＵ

Claims (9)

1. パンニングをしながら撮像を行う撮像装置であって、
   前記撮像において複数の画像を取得する撮像手段と、
   前記撮像装置の移動を検知する検知手段と、
   前記撮像を行うための複数のパラメータの設定を行う設定手段と、
   前記複数の画像を繋ぎ合わせて合成画像を作成する合成手段と、を有し、
   前記設定手段は、前記検知手段が検知した結果に基づいて、少なくとも前記複数のパラメータの１つを設定することを特徴とする撮像装置。
2. 前記パラメータは、パンニング速度、シャッター速度、撮像感度のうちの少なくともいずれかを含むことを特徴とする請求項１に記載の撮像装置。
3. 前記設定手段は、前記撮像装置が第１の状態であるとき、前記撮像装置が第２の状態であるときよりも、前記パンニング速度をより速く、前記シャッター速度をより速く、撮像感度を高く設定し、
   前記検知手段が、前記移動に基づいて、第１の状態か第２の状態かを判断することを特徴とする請求項２に記載の撮像装置。
4. 前記検知手段は、前記撮像装置の前記移動をしない時間が、予め定められた閾値より短い場合、前記撮像装置が前記第１の状態であると判断し、前記移動をしない時間が、予め定められた閾値より長い場合、前記撮像装置が前記第２の状態であると判断することを特徴とする請求項３に記載の撮像装置。
5. 前記検知手段は、さらに、前記撮像装置の周囲に存在する障害物を検出し、前記撮像装置の周囲に障害物が存在するとき、前記撮像装置が前記第１の状態であると判断し、前記撮像装置の周囲に障害物が存在しないとき、前記撮像装置が前記第２の状態であると判断することを特徴とする請求項３に記載の撮像装置。
6. さらに、前記撮像の開始および終了を制御する制御手段を有し、
   前記撮像装置が前記第１の状態にあるとき、前記制御手段が前記撮像の開始および終了を制御することを特徴とする請求項３乃至５のいずれか１項に記載の撮像装置。
7. 前記制御手段は、前記撮像装置が前記移動するときに、前記撮像を行うよう、前記撮像装置が前記移動しないとき、前記撮像を行わないように、制御することを特徴とする請求項６に記載の撮像装置。
8. パンニングをしながら撮像を行う撮像装置の制御方法であって、
   前記撮像において複数の画像を取得する撮像ステップと、
   前記撮像装置の移動を検知する検知ステップと、
   前記撮像を行うための複数のパラメータの設定を行う設定ステップと、
   前記複数の画像を繋ぎ合わせて合成画像を作成する合成ステップと、を有し、
   前記設定ステップにおいては、前記検知ステップにおいて検知した結果に基づいて、少なくとも前記複数のパラメータの１つを設定することを特徴とする撮像装置の制御方法。
9. パンニングをしながら撮像を行う撮像装置のコンピュータに動作させるコンピュータのプログラムであって、
   前記撮像において複数の画像を取得する撮像ステップと、
   前記撮像装置の移動を検知する検知ステップと、
   前記撮像を行うための複数のパラメータの設定を行う設定ステップと、
   前記複数の画像を繋ぎ合わせて合成画像を作成する合成ステップと、を行わせ、
   前記設定ステップにおいては、前記検知ステップにおいて検知した結果に基づいて、少なくとも前記複数のパラメータの１つを設定することを特徴とするプログラム。

Images