JP5413344B2 - 撮像装置、画像合成方法及びプログラム - Google Patents
撮像装置、画像合成方法及びプログラム Download PDFInfo
- Publication number
- JP5413344B2 JP5413344B2 JP2010215467A JP2010215467A JP5413344B2 JP 5413344 B2 JP5413344 B2 JP 5413344B2 JP 2010215467 A JP2010215467 A JP 2010215467A JP 2010215467 A JP2010215467 A JP 2010215467A JP 5413344 B2 JP5413344 B2 JP 5413344B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- imaging
- image data
- unit
- angular displacement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/2365—Multiplexing of several video streams
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6815—Motion detection by distinguishing pan or tilt from motion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Studio Devices (AREA)
- Stereoscopic And Panoramic Photography (AREA)
Description
上記のパノラマ画像の撮影方法の一例としては、例えば、ユーザがシャッタスイッチを押下操作した状態を維持しながら、自身の体を軸にしてデジタルカメラを垂直方向にほぼ固定したまま水平方向に回転させるように移動させることにより、その期間に複数回の撮像処理を実行し、当該複数回の撮像処理の各々の結果得られた複数の画像データを横方向(水平方向)に合成することによって、パノラマ画像の画像データを生成する(特許文献1参照)。
このため、上記の撮影方法ではパノラマ撮像の途中であっても、垂直方向の移動量が一定以上に大きくなると、パノラマ画像の連続性が得られないための撮像が失敗してしまう恐れがあった。
て、前記画像判定手段は、前記連続的に撮像される画像データの一部の領域の画像データを用いて、当該画像データが合成対象として有効か否かを判定することを特徴とする。
て、当該撮像装置本体の角度変位量を検出する角度変位量検出手段を備え、前記取得手段は、前記角度変位量検出手段によって検出される角度変位量を前記撮像装置本体の移動量として取得することを特徴とする。
ROM12はまた、CPU11が各種の処理を実行する上において必要なデータ等も適宜記憶している。
なお、後述する図2の撮像制御部51乃至画像合成部53の各機能のうち少なくとも一部を、画像処理部17に移譲することも可能である。
AFEは、当該アナログの電気信号に対して、A/D(Analog/Digital)変換処理等の各種信号処理を施し、その結果得られるデジタル信号を、撮像部16の出力信号として出力する。
なお、以下、撮像部16の出力信号を、「撮像画像の画像データ」と呼ぶ。従って、撮像部16からは撮像画像の画像データが出力されて、画像処理部17等に適宜供給される。
画像処理部17は、CPU11と協働して、撮像部16から入力される撮像画像の画像データに対して、ノイズ低減、ホワイトバランス、手ぶれ補正等の画像処理を施す。
ここで、撮像部16から一定時間毎に入力される撮像画像の画像データを、以下、「フレームの画像データ」と呼ぶ。本実施形態では、当該フレームが処理単位として採用されている。即ち、画像処理部17は、撮像部16から供給されたフレームの画像データを、各種画像処理を施した上で出力する。
なお、上述したように、撮像制御部51乃至画像判定部53の各機能は、本実施形態のようにCPU11に搭載されている必要は特になく、これらの各機能のうち少なくとも一部を、画像処理部17に移譲させることも可能である。
撮像制御部51は、撮像処理の実行全体を制御する。例えば、撮像制御部51は、デジタルカメラ1の動作モードとして、通常撮像モードと、パノラマ撮像モードとを選択的に切り替えて、切り替え後の動作モードに従った処理を実行することができる。
パノラマ撮像モードになると、画像合成部52及び画像判定部53が、撮像制御部51の制御の下で動作する。
詳細には、図3(A)は、通常撮像モードでの撮像操作を説明する図である。図3(B)は、パノラマ撮像モードでの撮像操作を説明する図である。
図3(A)及び図3(B)のそれぞれにおいて、デジタルカメラ1の奥にある絵は、デジタルカメラ1の被写体を含む実世界の様子を示している。また、図3(B)に示す縦の点線は、デジタルカメラ1の移動方向の各位置a、b、cを示している。デジタルカメラ1の移動方向とは、ユーザが、自身の体を軸にしてデジタルカメラ1の撮像方向(角度)を変化させた場合における、デジタルカメラ1の光軸が移動する方向をいう。
通常撮像モードでは、図3(A)に示すように、ユーザは、デジタルカメラ1を固定させた状態で、操作部20のシャッタスイッチ41を下限まで押下する。なお、このように、シャッタスイッチ41を下限まで押下する操作を、以下、「全押し操作」又は単に「全押し」と呼ぶ。
撮像制御部51は、全押し操作がなされた直後に画像処理部17から出力されたフレームの画像データを、記録対象としてリムーバブルメディア31に記録させるまでの一連の処理の実行を制御する。
以下、このように、通常撮像モードにおいて撮像制御部51の制御により実行される一連の処理を、「通常撮像処理」と呼ぶ。
パノラマ撮像モードでは、図3(B)に示すように、ユーザは、シャッタスイッチ41の全押し操作を維持した状態で、デジタルカメラ1を同図中黒矢印の方向に移動させる。
撮像制御部51は、全押し操作が維持されている間、画像合成部52等を制御して、角速度センサ22からの角度変位量が一定値に達する毎に、その直後に画像処理部17から出力されたフレームの画像データを記憶部18に一時的に記憶していくことを繰り返す。
その後、ユーザは、全押し操作を解除する操作、即ちシャッタスイッチ41から指等を離す操作(以下、このような操作を「リリース操作」と呼ぶ)をすることで、パノラマ撮像の終了を指示する。
撮像制御部51は、画像合成部52等を制御して、パノラマ撮像の終了が指示されると、これまでに記憶部18に記憶された複数のフレームの画像データを、記憶された順番で水平方向に合成することによって、パノラマ画像の画像データを生成する。
そして、撮像制御部51は、画像合成部52等を制御して、パノラマ画像の画像データを、記録対象としてリムーバブルメディア31に記録させる。
このように、撮像制御部51は、パノラマ撮像モードにおいて、画像合成部52等を制御して、パノラマ画像の画像データを生成し、それを記録対象としてリムーバブルメディア31に記録させるまでの一連の処理を制御する。
以下、このように、パノラマ撮像モードにおいて撮像制御部51の制御により実行される一連の処理を「パノラマ撮像処理」と呼ぶ。
即ち、画像合成部52は、デジタルカメラ1が所定量だけ移動する毎に(角度変位量が一定値になる毎)に、撮像制御部51から発行される取得指令を受けて、画像処理部17から1フレームの画像データを取得して、記憶部18に記憶させる。
そして、撮像制御部51からパノラマ撮像の終了が指示されると、画像合成部52は、これまでに記憶部18に記憶された複数のフレームの画像データを、記憶された順番で水平方向に合成することによって、パノラマ画像の画像データを生成する。
即ち、パノラマ撮像モードにおいて、図3(B)に示すような撮像操作が行われると、撮像制御部51の制御の下、画像合成部52により、図4に示すようなパノラマ画像P3の画像データが生成され、リムーバブルメディア31に記録される。
しかしながら、実際には、ユーザがデジタルカメラ1を垂直方向に固定し続けることは困難である。特に、撮像範囲が広がると、その困難性は増加していく傾向にある。以下、このことを、図5を参照して具体的に説明する。
ユーザ100は、例えば図5に示すように、右腕101でデジタルカメラ1を保持した状態で、シャッタスイッチ41を全押し操作することで、パノラマ撮像を開始させる。
ここで、パノラマ撮像が開始した時点のデジタルカメラ1の光軸の方向は、図5に示す実線の矢印Sの方向であったものとする。
この場合、パノラマ撮像が開始すると、ユーザ100は、自身の体102を軸として、デジタルカメラ1の光軸の方向が矢印Sの方向となっている時点を開始点として、デジタルカメラ1を水平方向(図5の紙面に対して平行な方向)に例えば右回りに回転させる。
しかしながら、実際問題として、ユーザ100にとっては、デジタルカメラ1を垂直方向にほぼ固定しておくことは困難である。その困難性は、撮像範囲が広くなるほど、即ちデジタルカメラ1の回転角度が大きくなるほど増加していく。
総合角度変位量θとは、デジタルカメラ1の中心と体102の中心とが一致すると仮定して、図5において、矢印Sの方向(パノラマ撮像画像の開始時点のデジタルカメラ1の光軸の方向)と、現時点のデジタルカメラ1の光軸の方向とのなす角度θをいう。本実施形態では、図8のステップS38の処理として説明するように、パノラマ撮像の開始時点から現時点までに、角度センサ22からの角度変位量の累積値が、総合角度変位量θとして採用されている。
このように、デジタルカメラ1の総合角度変位量θが範囲D1に含まれている間、ユーザ101は、体102をほぼ動かさずに、デジタルカメラ1を保持している右腕101だけを移動させることで、デジタルカメラ1を水平方向に右回りに回転させることができる。
よって、デジタルカメラ1の総合角度変位量θが範囲D1に含まれている間、デジタルカメラ1の垂直方向の位置はほぼ一定に保たれる。
デジタルカメラ1の総合角度変位量θが範囲D2に含まれるようになると、それ以降、ユーザ100は、体102を捻って、デジタルカメラ1を水平方向に右回りに回転させる必要が生ずる。
このように、デジタルカメラ1の総合角度変位量θが範囲D2に含まれるようになると、ユーザ100が体102を捻っていくので、デジタルカメラ1を保持する右腕101が下がっていく。
よって、デジタルカメラ1の総合角度変位量θが範囲D2に含まれている間、デジタルカメラ1の垂直方向の位置は下方に変化していく傾向になる。
デジタルカメラ1の総合角度変位量θが範囲D2に含まれるようになると、それ以降、ユーザ100は、体102全体を回転させて、デジタルカメラ1を水平方向に右回りに回転させる必要が生ずる。
このように、デジタルカメラ1の総合角度変位量θが範囲D3に含まれるようになると、ユーザ100が体102全体を回転させるので、体102全体が上下に振動するように動く。
よって、デジタルカメラ1の総合角度変位量θが範囲D3に含まれている間、デジタルカメラ1の垂直方向の位置も上下方向に振動するように変化していく傾向になる。
図6において、フレームP(k)は、パノラマ撮像が開始されてからk番目に記憶部18に保持された画像データに対応するフレームを示している。
横軸は、デジタルカメラ1の総合角度変位量θを示しており、縦軸は、デジタルカメラ1の垂直方向の位置を示している。なお、垂直方向の位置TH1乃至TH3については後述する。
そこで、以下、フレームP(k)に写り込む3次元空間の垂直方向の位置を、「フレームP(k)の垂直方向の位置」と呼ぶ。
即ち、垂直方向の位置が高いフレームP(k)には、3次元空間の高い位置に存在する物体等の像が、被写体像として含まれる。これに対して、垂直方向の位置が低いフレームP(k)には、3次元空間の低い位置に存在する物体等の像が、被写体像として含まれる。
範囲D1においては、上述したように、デジタルカメラ1の垂直方向の位置はほぼ動かない傾向にあるので、図6に示すように、フレームP(1)乃至P(4)の垂直方向の位置もほぼ変化しない。
範囲D2においては、上述したように、デジタルカメラ1の垂直方向の位置は下方向に変化する傾向があるので、図5に示すように、フレームP(5)乃至P(i+1)の垂直方向の位置も下方向に変化している。
範囲D3においては、上述したように、デジタルカメラ1の垂直方向の位置は上下方向に振動するように変化する傾向があるので、図5に示すように、フレームP(i+2)の垂直方向の位置も上下方向に振動するように変化している。
そこで、図2の画像判定部53は、パノラマ撮像によって順次得られるフレームの画像データが有効であるか否かを判定する処理を実行するに際し、有効であるか否かの判定基準を、デジタルカメラ1の移動位置(総合角度変位量θ)に応じて変化させる。
ここで、フレームP(k)の画像データが有効とは、前回までに得られたフレームP(1)乃至P(k−1)、及び、判定対象のフレームP(k)の各画像データをその順番で水平方向に合成させた場合に、パノラマ画像の画像データとして連続性が保たれることをいう。
この場合、フレームP(k)の画像データが有効か否かの判定手法として、例えば本実施形態では、次のような手法が採用されている。即ち、フレームP(k)の垂直方向の所定位置が、基準範囲内であるか否かによって判定する判定手法が採用されている。
この垂直方向の基準範囲が、判定基準の一例として採用されており、本実施の形態では、デジタルカメラ1の移動位置(総合角度変位量θ)に応じて変化する。
なお、このような一連の処理を、以下、「画像判定処理」と呼ぶ。
例えば、図6の例でいえば、従来においては、垂直方向の最上位基準位置TH1及び最下位基準位置TH0が、判定基準として一律に固定されていた。
即ち、従来においては例えば、フレームP(k)の垂直方向の上限位置(例えば1ライン目の垂直方向の位置)が最上位基準位置TH1以上であり、フレームP(k)の垂直方向の下限位置(例えば最終ライン目の垂直方向の位置)が最下位基準位置TH0以下である場合に、フレームP(k)の画像データが有効である、といった判定基準が一律に固定されていた。
この場合、デジタルカメラ1の総合角度変位量θが範囲D2に含まれるようになって、例えばフレームP(5)のデータが得られた場合には、当該フレームP(5)のデータは無効であると判定されるようになる。そして、パノラマ画像の連続性が得られないための撮像失敗のエラーとして、パノラマ撮像が強制終了してしまう。
即ち、デジタルカメラ1の総合角度変位量θが範囲D2に含まれるようになると、人体の特性上、垂直方向の変動が大きくなってしまい、これにより撮像失敗のエラーとしてパノラマ撮像が強制終了してしまうことが多くなり、その分だけ、パノラマ撮像の成功率が低下してしまう。
これにより、範囲D2において、人体の特性上、垂直方向の位置が下方向に変化する傾向があるフレームP(5)乃至P(i+1)の各画像データは、有効であると判定される。その結果、デジタルカメラ1の総合角度変位量θが範囲D2に含まれている場合においても、撮像失敗のエラーとしてパノラマ撮像が強制終了してしまうことが激減し、パノラマ撮像を継続することが可能になる。
これにより、範囲D3において、人体の特性上、垂直方向の位置が上下方向に振動するように変化する傾向があるフレームP(i+2)以降の各画像データは、有効であると判定される。その結果、デジタルカメラ1の総合角度変位量θが範囲D3に含まれている場合においても、撮像失敗のエラーとしてパノラマ撮像が強制終了してしまうことが激減し、パノラマ撮像を継続することが可能になる。
即ち、デジタルカメラ1の総合角度変位量θが範囲D1に含まれる場合には、画像判定部53は、ユーザ100の撮像操作の状態は正常状態であると推定し、その推定結果に基づいて、従来と同様の上述した判定基準を用いる。
一方、デジタルカメラ1の総合角度変位量θが範囲D2に含まれる場合には、画像判定部53は、ユーザ100の撮像操作の状態は右腕102が下方に向かっている状態であると推定し、その推定結果に基づいて、上述した判定基準に変更する。
さらに、デジタルカメラ1の総合角度変位量θが範囲D3に含まれる場合には、画像判定部53は、ユーザ100の撮像操作の状態は体103が上下に振動するように動いている状態であると推定し、その推定結果に基づいて、上述した判定基準に変更する。
次に、図7を参照して、このような機能的構成を有するデジタルカメラ1が実行する撮像処理について説明する。
本実施形態では、撮像処理は、デジタルカメラ1の図示せぬ電源がオン状態になると開始する。
操作検出処理とは、操作部20の各スイッチの状態を検出する処理をいう。撮像制御部51は、操作検出処理を実行することにより、動作モードとして、通常撮像モードが設定されているのか、それともパノラマ撮像モードが設定されているのかを検出することができる。
また、本実施形態の初期設定処理の1つとして、角度変位量の一定値と、角度変位量の最大限界である閾値(例えば、360度)とを設定する処理が採用されている。
具体的には、角度変位量の一定値と、角度変位量の最大限界である閾値(例えば、360度)は、図1のROM12に予め記憶されており、ROM12から読み出されてRAM13に書き込まれることで設定される。なお、角度変位量の一定値は、後述する図8のステップS35の判定処理で用いられる。一方、角度変位量の最大限界である閾値(例えば、360度)は、同図のステップS43の判定処理で用いられる。
また、本実施形態では、後述する図8のステップS34,S38等に示すように、角速度センサ22によって検出された角度変位量は累積加算されて、その累積加算値としての累積角度変位量や総合角度変位量(両者の違いは後述する)がRAM13に格納される。そこで、これらの累積角度変位量や総合角度変位量を0にリセットする処理が、本実施形態の初期設定処理の1つとして採用されている。なお、累積角度変位量は、後述する図8のステップS35の判定処理で、上述した一定値と比較される。一方、総合角度変位量は、後述する図8のステップS35の判定処理で、上述した一定値と比較される。
さらにまた、本実施形態の初期設定処理の1つとして、エラーフラグを0にリセットする処理が採用されている。エラーフラグとは、パノラマ撮像処理中にエラーが発生した時に1にセットされるフラグをいう(後述する図9のステップS45参照)。
即ち、撮像制御部51は、撮像部16や画像処理部17を制御して、撮像部16による撮像動作を継続させる。そして、撮像制御部51は、撮像部16による撮像動作が継続されている間、当該撮像部16を介して画像処理部17から順次出力されるフレームの画像データを、メモリ(本実施形態では記憶部18)に一時的に記憶させる。このような撮像制御部51による一連の制御処理が、ここでいう「スルー撮像処理」である。
また、撮像制御部51は、表示制御部54を制御して、スルー撮像時にメモリ(本実施形態では記憶部18)に一時的に記録された各画像データを順次読み出して、各々に対応するフレーム画像を表示部19に順次表示させる。このような撮像制御部51による一連の制御処理が、ここでいう「スルー表示処理」である。なお、スルー表示処理により表示部19に表示されているフレーム画像を、以下、「スルー画像」と呼ぶ。
このようにして、スルー画像が表示部19に表示される。なお、本実施形態では、後述するステップS8の通常撮像処理又はステップS8のパノラマ撮像処理が終了するまでの間、スルー画像が表示部19に表示され続けるものとする。
ここで、半押しとは、操作部20のシャッタスイッチ41の途中(下限に至らない所定の位置)まで押下する操作をいい、以下、「半押し操作」とも適宜呼ぶ。
シャッタスイッチ41が半押しされていない場合、ステップS3においてNOであると判定されて、処理はステップS12に進む。
処理の終了指示は、特に限定されないが、本実施形態では、デジタルカメラ1の図示せぬ電源がオフ状態になった旨の通知が採用されているものとする。
従って、本実施形態では電源がオフ状態になりその旨が撮像制御部51に通知されると、ステップS12においてYESであると判定されて、撮像処理全体が終了となる。
これに対して、電源がオン状態の場合には、電源がオフ状態になった旨の通知はなされないので、ステップS12においてNOであると判定され、処理はステップS2に戻され、それ以降の処理が繰り返される。即ち、本実施形態では電源がオン状態を維持している限り、シャッタスイッチ41が半押しされるまでの間、ステップS3:NO及びステップS12:NOのループ処理が繰り返し実行されて、撮像処理は待機状態となる。
シャッタスイッチ41が全押しされない場合には、ステップS5においてNOであると判定される。この場合には、処理はステップS4に戻され、それ以降の処理が繰り返される。即ち、本実施形態では、シャッタスイッチ41が全押しされるまでの間、ステップS4、及びステップS5:NOのループ処理が繰り返し実行されて、AF処理がその都度実行される。
ステップS6において、撮像制御部51は、現在設定されている撮像モードがパノラマ撮像モードであるか否かを判定する。
パノラマ撮像モードでない場合、即ち通常撮像モードが現在設定されている場合、ステップS6においてNOであると判定され、処理はステップS7に進む。
ステップS7において、撮像制御部51は、上述した通常撮像処理を実行する。
即ち、全押し操作がなされた直後に画像処理部17から出力された1フレームの画像データが、記録対象としてリムーバブルメディア31に記録される。これにより、ステップS8の通常撮像処理が終了して、処理はステップS12に進む。なお、ステップS12以降の処理については上述したので、ここではその説明は省略する。
ステップS8において、撮像制御部51は、上述したパノラマ撮像処理を実行する。
パノラマ撮像処理の詳細については図8及び図9を参照して後述するが、原則として、パノラマ画像の画像データが生成されて、記録対象としてリムーバブルメディア31に記録される。これにより、ステップS8のパノラマ撮像処理が終了して、処理はステップS9に進む。
詳細については、図8及び図9を参照して後述するが、パノラマ画像の画像データが記録対象としてリムーバブルメディア31に記録されて、ステップS8のパノラマ撮像処理が適正に終了すると、エラーフラグは0になっている。このような場合には、ステップS10においてNOであると判定されて、処理はステップS12に進む。なお、ステップS12以降の処理は上述したので、ここではその説明は省略する。
これに対して、ステップS8のパノラマ撮像処理中に何らかのエラーが発生すると、当該パノラマ撮像処理は不適性に終了する。このような場合には、エラーフラグは1になっているため、ステップS9においてYESであると判定されて、処理はステップS10に進む。
ステップS11において、撮像制御部51は、パノラマ撮像モードを解除し、エラーフラグを0にリセットする。
その後、処理はステップS1に戻され、それ以降の処理が繰り返される。即ち、撮像制御部51は、ユーザによる次の新たな撮像操作に備える。
次に、図8及び図9を参照して、図7の撮像処理のうち、ステップS9のパノラマ撮像処理の詳細な流れについて説明する。
上述したように、パノラマ撮像モードの状態でシャッタスイッチ41が全押しされると、図7のステップS5及びS6においてYESとあると判定されて、処理はステップS8に進み、パノラマ撮像処理として次のような処理が実行される。
ユーザがデジタルカメラ1を移動させていない状態では、角度変位量は0になるため、ステップS32においてNOであると判定され、処理は、ステップS33に進む。
所定時間が経過していない場合には、ステップS33においてNOであると判定され、処理はステップS31に戻され、それ以降の処理が繰り返される。即ち、ユーザがデジタルカメラ1を移動させていない状態の継続時間が所定時間より短い場合には、撮像制御部51は、ステップS31乃至ステップS33:NOのループ処理を繰り返し実行することで、パノラマ撮像処理を待機状態にする。
ここで、本実施形態では、ユーザがデジタルカメラ1を一定量移動させる度に、パノラマ途中画像の画像データ生成用の1フレームの画像データ(合成対象)が、画像処理部17から画像合成部52に供給されるものとする。
これを実現すべく、デジタルカメラ1の移動量としての「一定量」に対応する累積角度変位量が、図7のステップS1の初期設定処理により「一定値」として予め与えられている。
即ち、本実施形態では、累積角度変位量が一定値に達する毎に、1フレームの画像データ(合成対象)が画像処理部17から画像合成部52に供給されると共に、累積角度変位量が0にリセットされる。
このような一連の処理が、次のステップS35以降の処理として実行される。
累積角度変位量が一定値に達していない場合には、ステップS35においてNOであると判定され、処理はステップS31に戻され、それ以降の処理が繰り返される。即ち、ユーザがデジタルカメラ1を一定量移動させることによって、累積角度変位量が一定値に達しない限り、撮像制御部51は、ステップS31乃至S35のループ処理を繰り返し実行する。
その後、ユーザがデジタルカメラ1を一定量移動させることによって、累積角度変位量が一定値に達したときは、ステップS35においてYESであると判定されて、処理はステップS36に進む。
即ち、撮像制御部51は、累積角度変位量が一定値に達したとして、処理をステップS36に進めると、画像合成部52に対して取得指令を発行する。
この取得指令を受けた画像合成部52は、ステップS36の処理として、画像処理部17から1フレームの画像データを取得する。
したがって、撮像制御部51は、累積角度変位量を用いても、パノラマ撮像処理が開始されてから現在までにデジタルカメラ1がどこまで移動したのかを認識することができない。
そこで、このような認識を可能にすべく、本実施形態では、累積角度変位量とは別に、総合角度変位量が採用されている。
即ち、総合角度変位量とは、角度変位量が累積加算された値であるが、一定量に達しても0にリセットされずに、パノラマ撮像処理が終了するまでの間(詳細には後述するステップS46の処理が実行されるまでの間)累積加算され続ける値である。
画像判定処理の詳細については、図10を参照して後述するが、ステップS36の処理で取得されたフレームの画像データの有効性が判定されると、処理はステップS41に進む。
リリース操作が行われていない場合、即ち、ユーザによるシャッタスイッチ41の全押しが継続されている場合には、ステップS41においてNOであると判定されて、処理はステップS42に進む。
画像取得のエラーについては、特に限定されないが、例えば、本実施形態では、ステップS40の画像判定処理で、ステップS36の処理で取得されたフレームの画像データが無効であると判定されたことがエラーの1つとして採用されている。
ステップS43において、撮像制御部51は、総合角度変位量が閾値を超えたか否かを判別する。
上述したように、総合角度変位量とは、パノラマ撮像処理が開始されてから(全押し操作がなされてから)、ステップS38の処理が実行される時点までの角度変位量の累積加算値である。
ここで、本実施形態では、パノラマ撮像中にユーザがデジタルカメラ1を移動させることが可能な最大移動量が予め決定されている。このようなデジタルカメラ1の移動量としての「最大移動量」に対応する総合角度変位量が、図7のステップS1の初期設定処理により「閾値」として予め与えられている。
このように、本実施形態では、総合角度変位量が閾値に達したことは、デジタルカメラ1が最大移動量だけ移動したことを意味する。
従って、総合角度変位量が閾値に達していない場合、即ちデジタルカメラ1の移動量が最大移動量まで達していない場合、ユーザはデジタルカメラ1をまだ移動し続けることができるので、ステップS43においてNOであると判定されて、処理はステップS31に戻され、それ以降の処理が繰り返される。
即ち、角度変位量0の継続が所定時間経過すること(デジタルカメラ1が所定時間移動しないこと)もエラーの1つに含めると、エラーが発生しない状態で、全押し操作が継続されている限り、ステップS31乃至S43のループ処理が繰り返し実行される。
ステップS44において、撮像制御部51は、画像合成部52を介して、パノラマ画像の画像データを生成し、記録対象の画像データとしてリムーバブルメディア31に記録させる。
これにより、パノラマ撮像処理は適正に終了する。即ち、図7のステップS8の処理は適正に終了して、次のステップS9の処理でNOであると判定される。なお、ステップS9の処理でNOであると判定された後の処理については、上述したので、ここではその説明は省略する。
例えば、ステップS40の画像判定処理で、ステップS36の処理で取得されたフレームの画像データが無効であると判定された場合、ステップS41の処理でYESであると判定されて、処理はステップS45に進む。
ステップS45において、撮像制御部51は、エラーフラグを1にセットする。
この場合、ステップS44の処理は実行されずに、即ち、パノラマ画像の画像データは記録されずに、パノラマ撮像処理は不適正に終了する。
即ち、図7のステップS8の処理は不適正に終了して、次のステップS9の処理でYESであると判定されて、ステップS10の処理でエラーの内容が表示される。
この場合のエラー内容の表示は、上述したように特に限定されないが、例えば、「画像取得に失敗しました」や「時間オーバーです」等のメッセージ表示を採用することができる。
次に、図10を参照して、パノラマ撮像処理のうち、ステップS40の画像判定処理の詳細な流れについて説明する。
上述したように、パノラマ撮像モードの状態でシャッタスイッチ41が全押しされると、図7のステップS5及びS6においてYESとあると判定されて、処理はステップS8に進み、パノラマ撮像処理として次のような処理が実行される。
ここで、垂直の位置の推定の手法は、特に限定されない。例えば、各速度センサ22の垂直方向の角度変位量に基づいて推定する手法や、判定対象のフレームと前回に取得されたフレームとの比較結果に基づいて推奨する手法を採用することもできる。
このように、図10の例の画像判定処理では、フレームの画像データが取得される毎(判定対象のフレーム毎)に、その時点の総合角度変位量θに基づいて設定された判定基準を用いて、判定対象のフレームの画像データの有効性が判定される。従って、人体の特性上致し方が無い垂直方向の変動があっても、判定対象のフレームの画像データは有効であると判定されることが多くなる。
本実施形態のデジタルカメラ1はまた、画像合成部52と、画像判定部53と、を備えている。
画像合成部52は、デジタルカメラ1が所定量だけ移動する毎に(累積角度変位量が一定値以上になる毎)に、撮像部16から出力されるフレームの画像データを取得して記憶部18等に保持する。そして、画像合成部52は、これまでに累積的に保持された複数のフレームの画像データの少なくとも一部を合成することによって、合成画像の画像データを生成する。
画像判定部53は、画像合成部52により新たなフレームの画像データが取得される毎に、新たなフレームが合成対象として有効か否かを判定する。
ここで、画像判定部53は、パノラマ撮像の開始時点から、新たなフレームの画像データが取得されるときまでの撮像装置の移動量(本実施形態では総合角度変位量θ)に応じて、判定基準を設定する。
これにより、人体の特性上致し方ない垂直方向の変動を考慮した判定が可能になる。即ち、総合角度変位量θが大きくなるに従い、人体の特性上、デジタルカメラ1の垂直方向の位置の変動量は大きくなる。このような場合であっても、新たなフレームが、人体の特性上致し方ない垂直方向の変動を含むものであっても、無効とせずに有効と判断することができるようになる。その結果、無用なエラーを発生させずに、パノラマ撮像を最後まで継続させることが可能になる。
このようにして、パノラマ撮像をする場合に、成功率の向上を図ることが可能になる。
例えば、画像判定部53により前回の判定がなされてから、新たなフレームの画像データが取得されるまでのデジタルカメラ1の移動量に応じて、判定基準を可変設定する、という設定手法を採用してもよい。
例えば、画像合成部52は、パノラマ画像の画像データを生成する場合、合成対象の各フレームのうちの一部の領域の画像データをトリミングして合成することもできる。このような場合には、画像判定部53は、新たなフレームのうち、トリミング対象となる一部の領域のみを用いて、当該新たなフレームの有効性を判定することができる。
この場合、同一の判定基準を採用するならば、新たなフレーム全体を用いるよりも、その一部の領域のみを用いて、当該新たなフレームの有効性を判定した方が、有効であるという判定が緩和される方向になる。
よって、その分だけ、無用なエラーを発生させずに、パノラマ撮像を最後まで継続させることが可能になる。
このようにして、パノラマ撮像をする場合に、その撮像の成功率の向上を図ることが可能になる。
なお、当該新たなフレームの有効性を判定する一部の領域は、トリミング対象の領域に特に限定されず、任意の領域でも構わない。
例えば、スルー画像を解析する画像処理によって画像間の角度変位を検出することでデジタルカメラ1の角度変位を検出する手法を採用してもよい。
しかしながら、本発明は、特にこれに限定されず、パノラマ画像の撮像が可能になる撮像機能を有する電子機器一般に適用することができ、例えば、本発明は、携帯型パーソナルコンピュータ、携帯型ナビゲーション装置、ポータブルゲーム機等に幅広く適用可能である。
Claims (7)
- 撮像手段と、
前記撮像手段によって連続的に画像データが撮像されている時に、当該撮像装置本体の移動量を取得する取得手段と、
前記取得手段により取得された当該撮像装置本体の移動量に基づいて、前記撮像された画像データを合成すべきか否かの判定基準を制御する判定基準制御手段と、
前記判定基準制御手段によって制御された判定基準に基づいて、前記撮像された画像データが合成対象として有効か否かを判定する画像判定手段と、
前記画像判定手段によって合成対象として有効と判定された画像データ同士を合成する画像合成手段と、
を備えたことを特徴とする撮像装置。 - 前記判定基準制御手段は、前記取得手段により取得される移動量が大きくなるほど、前記判定基準を緩和するよう制御する、
ことを特徴とする請求項1に記載の撮像装置。 - 前記画像判定手段により前記画像データが有効でないと判定されると、前記画像合成手段による画像データの合成を停止させるよう制御する停止制御手段を更に備えたことを特徴とする請求項1又は2に記載の撮像装置。
- 前記画像判定手段は、前記連続的に撮像される画像データの一部の領域の画像データを用いて、当該画像データが合成対象として有効か否かを判定する、
ことを特徴とする請求項1乃至3の何れか1項に記載の撮像装置。 - 当該撮像装置本体の角度変位量を検出する角度変位量検出手段を備え、
前記取得手段は、前記角度変位量検出手段によって検出される角度変位量を前記撮像装置本体の移動量として取得することを特徴とする請求項1乃至4の何れか1項に記載の撮像装置。 - 撮像装置が実行する画像合成方法において、
撮像手段によって連続的に画像データが撮像されている時に、当該撮像装置本体の移動量を取得する取得ステップと
前記取得ステップにて取得された当該撮像装置本体の移動量に基づいて、前記撮像された画像データを合成すべきか否かの判定基準を制御する制御ステップと、
前記制御ステップにて制御された判定基準に基づいて、前記撮像された画像データが合成対象として有効か否かを判定する画像判定ステップと、
前記画像判定ステップによって合成対象として有効と判定された画像データ同士を合成する画像合成制御ステップと、
を含むことを特徴とする画像合成方法。 - コンピュータに、
撮像装置によって連続的に画像データが撮像されている時に、当該撮像装置本体の移動量を取得する取得機能、
前記取得機能によって取得された当該撮像装置本体の移動量に基づいて、前記撮像された画像データを合成すべきか否かの判定基準を制御する判定基準制御機能、
前記判定基準制御機能によって制御された判定基準に基づいて、前記撮像された画像データが合成対象として有効か否かを判定する画像判定機能、
前記画像判定機能によって合成対象として有効と判定された画像データ同士を合成する画像合成機能、
を実現させることを特徴とするプログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010215467A JP5413344B2 (ja) | 2010-09-27 | 2010-09-27 | 撮像装置、画像合成方法及びプログラム |
US13/240,902 US8941716B2 (en) | 2010-09-27 | 2011-09-22 | Image capturing apparatus capable of capturing a panoramic image |
CN201110297319.1A CN102420933B (zh) | 2010-09-27 | 2011-09-27 | 可全景摄像的摄像装置 |
US14/568,711 US9191684B2 (en) | 2010-09-27 | 2014-12-12 | Image capturing apparatus capable of capturing a panoramic image |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010215467A JP5413344B2 (ja) | 2010-09-27 | 2010-09-27 | 撮像装置、画像合成方法及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2012070329A JP2012070329A (ja) | 2012-04-05 |
JP2012070329A5 JP2012070329A5 (ja) | 2013-10-31 |
JP5413344B2 true JP5413344B2 (ja) | 2014-02-12 |
Family
ID=45870241
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010215467A Expired - Fee Related JP5413344B2 (ja) | 2010-09-27 | 2010-09-27 | 撮像装置、画像合成方法及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (2) | US8941716B2 (ja) |
JP (1) | JP5413344B2 (ja) |
CN (1) | CN102420933B (ja) |
Families Citing this family (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9998749B2 (en) * | 2010-10-19 | 2018-06-12 | Otoy, Inc. | Composite video streaming using stateless compression |
JP5996169B2 (ja) * | 2011-07-27 | 2016-09-21 | オリンパス株式会社 | 画像処理システム、情報処理装置及びプログラム |
JP2015156523A (ja) | 2012-06-06 | 2015-08-27 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム |
JP2015156051A (ja) | 2012-06-06 | 2015-08-27 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム |
US9325861B1 (en) * | 2012-10-26 | 2016-04-26 | Google Inc. | Method, system, and computer program product for providing a target user interface for capturing panoramic images |
US9270885B2 (en) * | 2012-10-26 | 2016-02-23 | Google Inc. | Method, system, and computer program product for gamifying the process of obtaining panoramic images |
US10368662B2 (en) | 2013-05-05 | 2019-08-06 | Trax Technology Solutions Pte Ltd. | System and method of monitoring retail units |
US20150193909A1 (en) * | 2014-01-09 | 2015-07-09 | Trax Technology Solutions Pte Ltd. | Method and device for panoramic image processing |
US10387996B2 (en) | 2014-02-02 | 2019-08-20 | Trax Technology Solutions Pte Ltd. | System and method for panoramic image processing |
KR102151705B1 (ko) * | 2014-02-20 | 2020-09-03 | 삼성전자주식회사 | 영상 획득 방법 및 그 방법을 처리하는 전자 장치 |
JP2015194587A (ja) * | 2014-03-31 | 2015-11-05 | ソニー株式会社 | 画像データ処理装置、画像データ処理方法、画像歪み対応処理装置、画像歪み対応処理方法 |
US10402777B2 (en) | 2014-06-18 | 2019-09-03 | Trax Technology Solutions Pte Ltd. | Method and a system for object recognition |
US11095869B2 (en) | 2015-09-22 | 2021-08-17 | Fyusion, Inc. | System and method for generating combined embedded multi-view interactive digital media representations |
US10222932B2 (en) | 2015-07-15 | 2019-03-05 | Fyusion, Inc. | Virtual reality environment based manipulation of multilayered multi-view interactive digital media representations |
US11006095B2 (en) | 2015-07-15 | 2021-05-11 | Fyusion, Inc. | Drone based capture of a multi-view interactive digital media |
US10147211B2 (en) | 2015-07-15 | 2018-12-04 | Fyusion, Inc. | Artificially rendering images using viewpoint interpolation and extrapolation |
US10242474B2 (en) | 2015-07-15 | 2019-03-26 | Fyusion, Inc. | Artificially rendering images using viewpoint interpolation and extrapolation |
CN105120155A (zh) * | 2015-08-21 | 2015-12-02 | 小米科技有限责任公司 | 全景照片的生成方法及装置 |
US10171793B2 (en) * | 2015-08-26 | 2019-01-01 | Telefonaktiebolaget Lm Ericsson (Publ) | Image capturing device and method thereof |
US11783864B2 (en) | 2015-09-22 | 2023-10-10 | Fyusion, Inc. | Integration of audio into a multi-view interactive digital media representation |
US11202017B2 (en) | 2016-10-06 | 2021-12-14 | Fyusion, Inc. | Live style transfer on a mobile device |
US10339627B2 (en) | 2016-10-10 | 2019-07-02 | Gopro, Inc. | Apparatus and methods for the optimal stitch zone calculation of a generated projection of a spherical image |
US10437879B2 (en) | 2017-01-18 | 2019-10-08 | Fyusion, Inc. | Visual search using multi-view interactive digital media representations |
US10313651B2 (en) * | 2017-05-22 | 2019-06-04 | Fyusion, Inc. | Snapshots at predefined intervals or angles |
US11069147B2 (en) | 2017-06-26 | 2021-07-20 | Fyusion, Inc. | Modification of multi-view interactive digital media representation |
JP6980494B2 (ja) * | 2017-11-16 | 2021-12-15 | キヤノン株式会社 | 撮像制御装置およびその制御方法 |
US10592747B2 (en) | 2018-04-26 | 2020-03-17 | Fyusion, Inc. | Method and apparatus for 3-D auto tagging |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06303562A (ja) | 1992-10-09 | 1994-10-28 | Sony Corp | 撮像記録装置 |
US20070081081A1 (en) * | 2005-10-07 | 2007-04-12 | Cheng Brett A | Automated multi-frame image capture for panorama stitching using motion sensor |
JP5320808B2 (ja) * | 2007-10-26 | 2013-10-23 | 株式会社リコー | 撮像装置及び撮像方法 |
JP2009232276A (ja) * | 2008-03-24 | 2009-10-08 | Olympus Imaging Corp | 撮像装置 |
JP5315751B2 (ja) * | 2008-03-31 | 2013-10-16 | ペンタックスリコーイメージング株式会社 | 撮像装置 |
CN101572776A (zh) * | 2008-05-01 | 2009-11-04 | 株式会社理光 | 摄像装置以及摄像方法 |
JP2010049313A (ja) * | 2008-08-19 | 2010-03-04 | Sony Corp | 画像処理装置、画像処理方法、プログラム |
US20110234750A1 (en) * | 2010-03-24 | 2011-09-29 | Jimmy Kwok Lap Lai | Capturing Two or More Images to Form a Panoramic Image |
-
2010
- 2010-09-27 JP JP2010215467A patent/JP5413344B2/ja not_active Expired - Fee Related
-
2011
- 2011-09-22 US US13/240,902 patent/US8941716B2/en active Active
- 2011-09-27 CN CN201110297319.1A patent/CN102420933B/zh active Active
-
2014
- 2014-12-12 US US14/568,711 patent/US9191684B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US8941716B2 (en) | 2015-01-27 |
CN102420933A (zh) | 2012-04-18 |
JP2012070329A (ja) | 2012-04-05 |
US20150163526A1 (en) | 2015-06-11 |
CN102420933B (zh) | 2015-05-06 |
US20120075411A1 (en) | 2012-03-29 |
US9191684B2 (en) | 2015-11-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5413344B2 (ja) | 撮像装置、画像合成方法及びプログラム | |
JP5574423B2 (ja) | 撮像装置、表示制御方法及びプログラム | |
US20120075410A1 (en) | Image playback apparatus capable of playing back panoramic image | |
US9380201B2 (en) | Image capture apparatus and control method therefor | |
JP2006245726A (ja) | デジタルカメラ | |
JP5729237B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
TW200928572A (en) | Imaging device and its shutter drive mode selection method | |
JP2009284394A (ja) | 撮像装置および撮像方法 | |
US20130286254A1 (en) | Image capturing apparatus, control method, and recording medium | |
JP5696419B2 (ja) | 画像処理装置及び方法、並びにプログラム | |
JP2010028764A (ja) | 撮像装置及び画像処理方法並びにプログラム | |
JP2006033123A (ja) | 撮像装置 | |
US9621799B2 (en) | Imaging apparatus | |
JP6717354B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP5831492B2 (ja) | 撮像装置、表示制御方法及びプログラム | |
JP6289070B2 (ja) | 撮像装置およびその制御方法 | |
JP2011135537A (ja) | 撮像装置及び撮像装置の制御方法 | |
JP5455485B2 (ja) | 撮像装置 | |
JP5845763B2 (ja) | 撮像装置、画像処理方法及びプログラム | |
JP2005258277A (ja) | 画像動き補正装置 | |
JP6107882B2 (ja) | 撮像装置、表示制御方法及びプログラム | |
JP2013074573A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2017135732A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2013081058A (ja) | 撮像装置 | |
KR20070089314A (ko) | 피사체 움직임 정보 제공 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130912 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130912 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20130918 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20131003 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131015 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131028 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5413344 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |