JP2004247793A - パノラマ撮影方法およびその方法を利用可能な画像処理装置と画像撮像装置 - Google Patents
パノラマ撮影方法およびその方法を利用可能な画像処理装置と画像撮像装置 Download PDFInfo
- Publication number
- JP2004247793A JP2004247793A JP2003032748A JP2003032748A JP2004247793A JP 2004247793 A JP2004247793 A JP 2004247793A JP 2003032748 A JP2003032748 A JP 2003032748A JP 2003032748 A JP2003032748 A JP 2003032748A JP 2004247793 A JP2004247793 A JP 2004247793A
- Authority
- JP
- Japan
- Prior art keywords
- image
- local feature
- feature point
- unit
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Stereoscopic And Panoramic Photography (AREA)
- Studio Devices (AREA)
Abstract
【解決手段】画像入力部16は、CCDカメラ14により撮像エリアをずらしながら連続的に撮影された被写体の画像を取り込み、画像記憶部26に入力画像28として格納する。局所特徴点追跡部18は、一つ前の入力画像28の局所特徴点の移動先を新たな入力画像28内で追跡することを繰り返し、画像合成部20は、その追跡結果にしたがって、画像入力部16により次々に取得される新たな入力画像28をパノラマ画像30に順次重ね合わせ、より視野の広いパノラマ画像30を合成していく。画像表示部22は、こうして合成されるパノラマ画像30をディスプレイ13に表示する。画像圧縮部24はパノラマ画像30を圧縮符号化して画像記憶部26に保存する。
【選択図】 図2
Description
【発明の属する技術分野】
この発明はパノラマ画像生成技術、とくに撮像エリアを変えながら撮影された画像をもとにパノラマ画像を合成するパノラマ撮影方法、およびその方法を利用可能な画像処理装置と画像撮像装置に関する。
【0002】
【従来の技術】
デジタルカメラやデジタルビデオの普及により、撮影された画像をパーソナルコンピュータで手軽に編集したり、加工することができるようになった。CCD(Charge−Coupled Device)カメラが搭載された携帯電話やPDA(Personal Data Assistant)なども利用されており、撮影した画像を電子メールでやりとりすることも頻繁に行われている。さらには、動画メールを送信したり、視野の広いパノラマ画像を撮影するなど、デジタル画像の利用形態は一層の広がりを見せている。
【0003】
パノラマ画像を撮影する方法には、複数のカメラを配置して視野の異なる画像を撮影する方法と、反射鏡や魚眼レンズを用いて視野の広い画像を撮影する方法とがある。たとえば、特許文献1には、全方位反射鏡を用いてイメージセンサに全方位の画像を撮像する撮影装置が開示されている。
【0004】
【特許文献1】
特開2002−262157号公報 (全文、第1−13図)
【0005】
【発明が解決しようとする課題】
複数のカメラを配置して全方位を撮影する方法では、装置が大きくなりコストがかかる。カメラを駆動して全方位を撮影することもできるが、駆動するための装置が必要となり、やはり装置が大がかりになる。特許文献1に開示された方法では、全方位の画像を撮像するために、全方位反射鏡など専用の特殊な装置が必要であり、コストがかかる。
【0006】
また、視野の異なる複数の画像をパノラマ画像として視覚化するためには、複数の画像をつなぎ合わせる処理が必要であり、計算時間がかかる。フォトレタッチソフトウエアなどを利用してそのような複数の画像を合成することもできるが、非常に手間のかかる作業となり、一般ユーザには難しい。
【0007】
本発明はこうした状況に鑑みてなされたものであり、その目的は、低コストで簡単にパノラマ画像を生成することのできる技術を提供することにある。
【0008】
【課題を解決するための手段】
本発明のある態様はパノラマ撮影方法に関する。この方法は、撮像エリアを徐々にずらしながら被写体を撮影し、撮影画像の局所特徴点の移動先を連続撮影された画像上で追跡することにより、連続撮影された画像を一枚のパノラマ画像に合成する。撮像エリアとは、カメラが撮影することのできる被写体の範囲であり、カメラを左右上下、もしくは任意の方向に移動させたり、カメラをパン(pan)またはチルト(tilt)させたりしながら撮影することにより、撮像エリアは連続的に変化する。局所特徴点は、被写体の撮影画像上に設けられる特徴的な点であり、理想的には1ピクセルであるが、数ピクセル程度のきわめて小さい領域である場合も含む。撮像エリアが徐々にずれた画像を合成すればよいため、画像全体で特徴点の移動を追跡することなく、局所的に設けられた特徴点の追跡によりパノラマ画像の合成処理が可能である。
【0009】
前記撮影画像は、カメラを前記被写体に近接させた状態でカメラを徐々に移動させることにより撮影されてもよい。被写体とカメラの間の距離は、最終的に得られるパノラマ画像に要求される解像度とカメラが撮影可能な解像度の関係により定めることができる。カメラの移動はユーザによる手動で行われてもよく、駆動装置によって自動で行われてもよい。被写体面をカメラでなぞるようにして連続撮影することにより、低解像度の小型カメラでも、高解像度で広い視野の画像を生成することができる。
【0010】
前記局所特徴点の近傍に限定して前記局所特徴点のオプティカルフローを求めることにより、前記局所特徴点の移動先を探索してもよい。撮像エリアをわずかにずらしながら被写体を連続的に撮影するため、局所特徴点の移動先はその局所特徴点の近傍に存在すると仮定してよく、その仮定の下、きわめて容易に局所特徴点の移動先を探索することができ、連続撮影される画像をリアルタイムでパノラマ画像に合成することが可能となる。
【0011】
前記局所特徴点が前記撮像エリアから外れる事態に対処して、現在の撮像エリア内に新たな局所特徴点を設定してもよい。撮像エリアをずらしていくと、局所特徴点がやがては撮像エリアから外れることになる。局所特徴点が撮像エリア内に存在しなくなった場合や、局所特徴点が撮像エリアの端部に近づいた場合に、新たな局所特徴点を設定し直すことにより、パノラマ撮影を継続することができる。
【0012】
本発明の別の態様は画像処理装置に関する。この装置は、撮像エリアを徐々にずらしながら撮影された複数の画像を入力する入力部と、前記複数の画像を記憶する記憶部と、前記複数の画像間で局所特徴点を追跡する追跡部と、追跡された前記局所特徴点をもとに前記複数の画像を一枚のパノラマ画像に合成する合成部とを含む。
【0013】
撮像エリアが徐々に変化する複数の入力画像は、デジタルカメラにより撮影された静止画像であっても、デジタルビデオカメラにより撮影された動画フレームであってもよい。前記追跡部は、1つ前に入力された静止画像または動画フレームの局所特徴点に対応する点を現在の入力画像内で探索し、前記合成部は、その対応関係をもとに1つ前の静止画像または動画フレームに現在の静止画像または動画フレームを重ね合わせることにより前記パノラマ画像を生成してもよい。また、前記合成部による重ね合わせ処理後の画像は順次破棄され、合成された前記パノラマ画像のみが前記記憶部に記憶され、次回の重ね合わせ対象として再帰的に利用されてもよい。これにより、撮影範囲がずれた複数の入力画像をすべて記憶する必要がなくなり、合成過程にあるパノラマ画像だけを記憶して、記憶容量を節約することができる。
【0014】
本発明のさらに別の態様は画像撮像装置に関する。この装置は、被写体の画像を撮像する撮像部と、前記撮像部により撮像エリアを徐々にずらしながら撮像された複数の画像を記憶する記憶部と、前記複数の画像間で局所特徴点を追跡する追跡部と、追跡された前記局所特徴点をもとに前記複数の画像を一枚のパノラマ画像に合成する合成部とを含む。
【0015】
本発明のさらに別の態様も画像撮像装置に関する。この装置は、被写体の動画を撮像する撮像部と、前記撮像部により撮像エリアを徐々にずらしながら撮像された動画の複数のフレームを記憶する記憶部と、前記複数のフレーム間で局所特徴点を追跡する追跡部と、追跡された前記局所特徴点をもとに前記複数のフレームを一枚のパノラマ画像に合成する合成部とを含む。
【0016】
上記のいずれの態様の画像撮像装置においても、撮像部は、被写体に近接した状態で被写体の画像を撮像してもよい。また撮像部は手動または自動で被写体面をなぞるように撮像してもよい。
【0017】
本発明のさらに別の態様はコンピュータプログラムに関する。このプログラムは、撮像エリアを徐々にずらしながら撮影された画像を順次入力するステップと、順次入力される前記画像間で局所特徴点を追跡するステップと、追跡された前記局所特徴点をもとに順次入力される前記画像を一枚のパノラマ画像に合成するステップとをコンピュータに実行させる。
【0018】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、コンピュータプログラム、記録媒体などの間で変換したものもまた、本発明の態様として有効である。
【0019】
【発明の実施の形態】
実施の形態1
図1は、実施の形態1に係るパノラマ撮影システムの構成図である。パーソナルコンピュータ12に接続されたCCDカメラ14を用いて被写体を撮影し、撮影された画像をディスプレイ13に表示する。CCDカメラ14を上下左右に連続的に動かしたり、回転させることにより、広い視野で被写体を撮影し、パーソナルコンピュータ12に取り込む。撮影された画像はこれから述べる方法でパノラマ画像に合成されディスプレイ13に表示される。合成されたパノラマ画像はパーソナルコンピュータ12にて圧縮符号化された後、ハードディスクなどに記録される。
【0020】
図2は、実施の形態1に係る画像処理装置10の構成図である。画像処理装置10は、図1のパーソナルコンピュータ12の内部に構成されるものであり、ハードウエア的には、任意のコンピュータのCPU、メモリ、その他のLSIで実現でき、ソフトウエア的にはメモリにロードされたパノラマ画像合成機能のあるプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。
【0021】
画像入力部16は、CCDカメラ14が撮影する被写体の画像を取り込み、画像記憶部26に入力画像28として格納する。CCDカメラ14は撮像エリアをずらしながら被写体を連続的に撮影しており、画像入力部16は、撮像エリアの異なる被写体の画像を入力画像28として連続的に取り込む。たとえば、ユーザがCCDカメラ14をわずかにずらして被写体を撮影すると、画像入力部16は数ドットだけ撮像エリアがずれた被写体の画像をCCDカメラ14から新たな入力画像28として取得する。
【0022】
局所特徴点追跡部18は、画像入力部16からの指示を受け、入力画像28の局所特徴点を追跡する。局所特徴点は、最初の入力画像28のたとえば中心点もしくはその周囲の特徴的な点である。局所特徴点追跡部18は、最初の入力画像28の局所特徴点の移動先を新たな入力画像28内で追跡する。この局所特徴点の追跡には、後述のように追跡範囲を局所領域に限定したオプティカルフローが用いられる。
【0023】
画像合成部20は、局所特徴点追跡部18により追跡された局所特徴点の移動方向と移動量にもとづいて、最初の入力画像28に新たな入力画像28を重ね合わせる処理を行い、処理結果の画像をパノラマ画像30として画像記憶部26に格納する。以降、局所特徴点追跡部18は、一つ前の入力画像28の局所特徴点の移動先を新たな入力画像28内で追跡することを繰り返し、画像合成部20は、その追跡結果にしたがって、画像入力部16により次々に取得される新たな入力画像28をパノラマ画像30に順次重ね合わせ、より視野の広いパノラマ画像30を合成していく。なお、次々に取得される入力画像28は、パノラマ画像30に合成された時点で画像記憶部26から消去し、記憶領域を圧迫しないようにする。
【0024】
画像表示部22は、こうして合成されていくパノラマ画像30をディスプレイ13に表示する。ユーザがCCDカメラ14による被写体の撮影を終えた時点で、画像入力部16はCCDカメラ14からの入力画像28の取り込みを中止し、その時点で合成されているパノラマ画像30を被写体の最終的なパノラマ画像30として扱い、画像圧縮部24はそのパノラマ画像30を圧縮符号化して画像記憶部26に保存する。
【0025】
図3は、被写体と撮像エリア40の関係を説明する図である。撮像エリア40は、CCDカメラ14が撮影することのできる被写体の範囲であり、CCDカメラ14と被写体の間の距離に応じて、撮像エリア40は狭くなったり、広がったりする。CCDカメラ14を被写体から遠ざけると、撮像エリア40は広がるが、撮影される被写体画像の解像度は落ちる。逆に、CCDカメラ14を被写体に近づけると、撮像エリア40は狭くなる反面、被写体画像の解像度は上がる。したがって被写体画像の解像度の要求に合わせて、CCDカメラ14と被写体の間の距離を定めることになり、撮像エリア40はそれに応じて限定されることがある。特に、パーソナルコンピュータ12に接続して利用するCCDカメラ14は、一般に解像度があまり高くないため、被写体にある程度接近して撮影しなければ、十分な解像度の画像を撮影することができない。そのため、撮像エリア40を狭くせざるを得ず、被写体全体を撮影することができない。そこでユーザは上下左右に撮像エリア40を連続移動させて被写体全体を撮影する。
【0026】
図4(a)〜(c)は、図3の撮像エリア40が左右に連続移動した場合に取得される入力画像28a〜28cと、それらの入力画像28a〜28c上の局所特徴点42a〜42cの関係を説明する図である。図4(a)は、撮影開始時点の撮像エリア40で取得された入力画像28aであり、局所特徴点42aとして入力画像28aの中心点が設定されている。図4(b)は、わずかに左に撮像エリア40をずらして取得された入力画像28bであり、局所特徴点42bはわずかに右にずれる。図4(c)は、撮像エリア40をさらに左にずらして取得された入力画像28cであり、局所特徴点42cはさらに右にずれる。
【0027】
図4(d)は、連続撮影された入力画像28a〜28c上での局所特徴点42a〜42cの移動軌跡を示すものであり、最初の局所特徴点42aから次の局所特徴点42bへの移動はベクトル43bで示され、さらに次の局所特徴点42cへの移動はベクトル43cで示されている。
【0028】
図5(a)〜(d)は、局所特徴点42a〜42cの移動にもとづいて入力画像28a〜28cを合成してパノラマ画像30が生成する方法を説明する図である。図5(b)の入力画像28bは、図4(d)のベクトル43bとは反対方向で同じ大きさのベクトル45bにもとづいて、移動方向と移動量を決定されて、図5(a)の入力画像28aに対してずらされる。このようにずらすことで、図5(b)の入力画像28bの局所特徴点42bが、図5(a)の入力画像28aの局所特徴点42aと一致するようになり、図5(b)の入力画像28bを図5(a)の入力画像28aに重ね合わせてメモリ上で上書きすることができる。
【0029】
さらに、図5(c)の入力画像28cについても、同様に、図4(d)のベクトル43cとは反対方向で同じ大きさのベクトル45cにもとづいてずらし、局所特徴点42cを図5(b)の入力画像28bの局所特徴点42bに一致させる。その上で、図5(a)の入力画像28aに図5(b)の入力画像28bが重ね合わされた画像に、さらに図5(c)の入力画像28cが重ね合わされる。こうして図5(b)、(c)の入力画像28b、28cをずらして次々に重ね合わせることで図5(d)に示すように、局所特徴点42を合成の基準とするパノラマ画像30が生成される。
【0030】
画像処理装置10の局所特徴点追跡部18は、局所特徴点42をオプティカルフローにより自動追跡する。局所特徴点は一例として、最初に撮像された画像の中心または、中心の周辺から得られる特徴点であり、そのサイズは1×1ピクセルから4×4ピクセルである。オプティカルフローによる自動追跡の計算を高速化するために特徴点は小さいほどよく、理想的には1ピクセルであるのが好ましいが、撮影される画像の性質により、特徴点として成立するために一定の大きさをもつ微小領域となることもあり、そのような場合も特徴点と称することにする。撮像エリア40を徐々にずらしながら撮影された画像間で位置の微調整を行うことが目的であるため、画像合成の基準としてこのような微小領域の局所特徴点を設けてその動きを追跡するだけで十分に機能し、画像全体の動きをオプティカルフローで追跡する必要はない。
【0031】
オプティカルフロー算出には従来から様々な手法が提案されているが、本実施の形態では精度が良好でかつ処理が高速なLucas−Kanade法を用いてオプティカルフローの算出を行う。ある時刻tの画像座標p=(x,y)の濃淡パターンI(x,y,t)が、ある微小時間δt後に座標(x+δx,y+δy)に、その濃淡分布を一定に保ったまま移動したとする。Lucas−Kanade法は、同一物体の局所領域ω内ではオプティカルフローは一定であると仮定する空間局所勾配法の一つであり、局所領域ωにおけるオプティカルフロー(u,v)=(δx/δt,δy/δt)は次式により求められる。
u=Σω(∂I/∂x)・[J(p)−I(p)]/Σω(∂I/∂x)2
v=Σω(∂I/∂y)・[J(p)−I(p)]/Σω(∂I/∂y)2
ここで、I(p)=I(x,y,t),J(p)=I(x,y,t+δt)である。なお、Lucas−Kanade法は次の文献に詳しい。Lucas, B. and Kanade, T.: AnIterative Image Registration Technique with an Application to Stereo Vision, Proc. DARPA Image Understanding Workshop, pp.121−130 (1981).
【0032】
本実施の形態では、局所領域ωを10×10ピクセルの正方領域としてオプティカルフローの計算を行い、連続する2枚の入力画像28間で局所特徴点42の対応関係を求め、局所特徴点42を追跡する。ユーザは撮像エリア40を左右上下あるいは任意の方向に少しずつずらしながら被写体を連続的に撮影するため、局所特徴点42の探索範囲をこのようなきわめて小さい領域に限定することができる。したがって、オプティカルフローを非常に高速に計算することができ、局所特徴点42の追跡を連続撮影に同期してリアルタイムで行うことができる。
【0033】
図5(a)〜(c)のように、左に連続的に撮像エリア40をずらしていくと、左方向に視野の広がったパノラマ画像30が徐々に生成されていくが、局所特徴点42は入力画像28上で右にずれていくため、やがては撮像エリア40から外れることになる。図6(a)〜(d)は、最初に設定した局所特徴点42が撮像エリア40から外れたときに、新たに局所特徴点44を設けて、パノラマ画像30の生成を継続する様子を説明する図である。図6(a)のように、撮像エリア40から左に移動した結果、最初の局所特徴点42が現在の入力画像28a上に存在しなくなった場合、新たな局所特徴点44を現在の入力画像28aの中心点に設定する。図6(b)、(c)は、撮像エリア40をさらに左に少しずつずらしたときの入力画像28b、28cと、それらの画像上での新たな局所特徴点44b、44cの移動を示す。図6(a)〜(c)の入力画像28a〜28cを新たな局所特徴点44a〜44cを基準としてこれまでに得られたパノラマ画像30に順次重ね合わせる。これにより、図6(d)に示すように、最初の局所特徴点42と新たな局所特徴点44を合成の基準とするパノラマ画像30が得られる。
【0034】
図7(a)〜(c)は、撮像エリア40を上下方向にずらした場合にパノラマ画像30が生成される様子を説明する図である。図7(b)、(c)は、図7(a)に示す入力画像28aが撮影された状態から上に撮像エリア40を少しずつずらした場合の入力画像28b、28cと、それらの画像上での局所特徴点44b、44cの移動を示す。図7(b)の入力画像28bの局所特徴点44bの移動量にもとづいて入力画像28bをずらして、図7(a)の入力画像28aの局所特徴点44aに一致させることで、図7(b)の入力画像28bは図7(a)の入力画像28aに重ね合わされる。同様に図7(c)の入力画像28cがさらにその上に重ね合わされ、図7(d)に示すように視野が上に広がったパノラマ画像30が得られる。
【0035】
図8(a)は、撮像エリア40を左右上下にずらしながら被写体を撮影する様子を示す。撮像エリア40の移動方向は斜めであってもよい。その場合は、入力画像28をずらす方向が斜めになる。図8(b)は、図8(a)のように撮像エリア40を連続的に移動して撮影した入力画像28をもとに合成されるパノラマ画像30を示す。このようにして、被写体全体を撮影したパノラマ画像30がメモリ上に形成される。こうして得られたパノラマ画像30は圧縮符号化されて保存される。
【0036】
図9は、画像処理装置10によるパノラマ画像合成手順を示すフローチャートである。ユーザはまず初期位置でCCDカメラ14による撮像を開始する(S10)。画像入力部16は、初期位置の撮像エリア40で撮像された被写体の画像を入力画像28として取得し、局所特徴点追跡部18は、その入力画像28上に局所特徴点42を設定する(S12)。ユーザはCCDカメラ14を移動させて撮像エリア40を連続的にずらす(S14)。CCDカメラ14はそのようにして連続的に変化する撮像エリア40における被写体の画像を連続して撮像する(S16)。
【0037】
局所特徴点追跡部18は、先に設定した局所特徴点42が現在の撮像エリア40内にあるかどうかを調べる(S18)。先に設定した局所特徴点42が撮像エリア40内に存在しない場合(S18のN)、新たな局所特徴点44を現在の入力画像28上に設定する(S20)。先に設定した局所特徴点42が撮像エリア40内に存在する場合(S18のY)、新たな局所特徴点44を設定することなく、ステップS22に進む。
【0038】
ステップS18において、局所特徴点42が撮像エリア40から外れた後では、局所特徴点42が現在の撮像エリア40内にあるかどうかを調べるのは処理が複雑になる。そこで、局所特徴点42が画像入力部16により取得された現在の入力画像28の端部に近づいた場合に、局所特徴点42は撮像エリア40から外れると予想し、新たな新たな局所特徴点44を現在の入力画像28の中心に設定し直してもよい。
【0039】
局所特徴点追跡部18は、現在の入力画像28上で局所特徴点42または44を追跡する(S22)。画像合成部20は、追跡された局所特徴点42または44にもとづいて現在の入力画像28をこれまで得られたパノラマ画像30の上にさらに重ね合わせて合成する(S24)。以降、S14〜S24までの処理を、ユーザがCCDカメラ14を用いた被写体の撮影を終了するまで繰り返す。
【0040】
以上述べたように、本発明の実施の形態によれば、CCDカメラ14を左右上下に動かしながら撮影した画像をもとに視野の広いパノラマ画像をリアルタイムに生成し、パーソナルコンピュータ12の画面で確認することができる。パノラマ画像を撮影するためにCCDカメラ14を被写体から遠ざける必要がなく、被写体にCCDカメラ14を接近した状態で被写体を撮影し、解像度の高い撮影画像をもとに大きなサイズのパノラマ画像を生成できる。また、広角レンズをもつ特殊なカメラを用いることなく、小型のCCDカメラでパノラマ撮影ができるため、低コストで実現できる。たとえば、文字が書かれた紙面を撮影する場合、紙面全体をCCDカメラで一度に撮影するには、CCDカメラを紙面から遠ざけて撮影しなければならないため、CCDカメラの解像度が低い場合、撮影画像上で文字を読み取ることは難しくなる。しかし、本実施の形態では、CCDカメラを紙面に接近させて、紙面をなぞるように撮影することで、文字をはっきり読み取れる高解像度のパノラマ画像を生成することができる。
【0041】
実施の形態2
図10は実施の形態2に係るデジタルカメラ200の構成を示す。デジタルカメラ200は、撮像ブロック202、機構制御ブロック204、処理ブロック206、LCDモニタ208、および操作ボタン210を含む。
【0042】
撮像ブロック202は、レンズ210、CCD212、信号処理部214を含む。レンズ210を通してCCD212の受光面上に被写体が結像する。この被写体像の光量に応じてCCD212に電荷が蓄積され、電圧信号として読み出される。電圧信号は信号処理部214でRGB成分に分解され、ホワイトバランス調整、ガンマ補正が行われる。その後、RGB信号はA/D変換され、デジタル画像データとなって処理ブロック206へ出力される。機構制御ブロック204は、撮像ブロック202のレンズ210のズーム、フォーカス、絞りなど光学系の制御を行う。
【0043】
処理ブロック206は、デジタルカメラ200全体の制御に利用されるCPU220とメモリ222のほか、カードインタフェース224、外部インタフェース226を有する。これらのうち、CPU220の機能の一部とメモリ222にロードされたパノラマ画像合成プログラムが、実施の形態1の画像処理装置10に相当し、実施の形態1で説明したパノラマ画像の合成処理を行う。また、実施の形態1の画像記憶部26は、このメモリ222の一部を利用して実現される。メモリ222に格納された合成されたパノラマ画像のデータは圧縮符号化され、カードインタフェース224を介してメモリカード230へ書き込まれる。
【0044】
外部インタフェース226は、プリンタやパーソナルコンピュータ等の外部機器との間で個別のインタフェースによるデータのやりとりを行う。これにより、符号化されたパノラマ画像データが外部機器へ出力される。外部インタフェース226は、標準的な通信仕様に応じたプロトコル変換等の制御を行い、ネットワークを介して外部機器と画像データのやりとりを行ってもよい。
【0045】
LCDモニタ208は、メモリ222に格納された現在の撮像エリアの被写体画像を表示する。また、操作ボタン210により表示モードを切り替えることにより、LCDモニタ208は、合成過程にあるパノラマ画像を表示したり、最終的に得られたパノラマ画像を表示することもできる。さらに、LCDモニタ208は、被写体画像のほか、撮影/再生モード、ズーム倍率、日時などを表示する。操作ボタン210は、ユーザが撮影を行い、または各種動作モードを設定するためのパワースイッチ、レリーズスイッチ等を含む。
【0046】
ユーザが操作ボタン210によりパノラマ撮影モードを選択すると、処理ブロック206に内蔵された画像処理装置10は、実施の形態1で説明したパノラマ画像合成処理を行う。また、ユーザが操作ボタン210により、被写体の撮影中に新たな局所特徴点を設定する指示を行うことができるように構成してもよい。また、通常、局所特徴点は撮像エリアの中心付近で自動的に抽出されて設定されるが、ユーザが操作ボタン210により、局所特徴点となる点や領域を被写体の画像上で設定することができるように構成してもよい。
【0047】
本実施の形態によれば、通常のデジタルカメラを用いて、特別な駆動装置を使わずにパノラマ画像を撮影できる。異なる視野で撮影した複数の画像をパーソナルコンピュータなどで合成する手間が省け、手軽にパノラマ画像を撮影できる。
【0048】
なお、このようなデジタルカメラ200を小型化して、PDAのような携帯端末や携帯電話のカメラ部に搭載することもできる。特に携帯電話では小型で低解像度のCCDカメラが使われるため、本実施の形態にように撮像エリアを移動させながらパノラマ画像を合成する方法がコスト的に実現しやすく、非常に簡単な処理で良質のパノラマ撮影が可能となる。
【0049】
以上、本発明を実施の形態をもとに説明した。これらの実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。以下そのような変形例を説明する。
【0050】
上記の説明では、カメラで撮影された複数の画像を撮影して、パノラマ画像を生成したが、デジタルビデオで撮影された動画から複数のフレームを抽出し、それらをもとにパノラマ画像を生成してもよい。視野を変えながら撮影された動画から、撮像エリアが連続的に変化した複数のフレームを抽出することができ、それらの複数のフレームを同様の手法でパノラマ画像に合成することができる。特に本発明を監視カメラやWebカメラに適用すれば、常時撮影されている動画からパノラマ画像を自動的に生成して監視その他の目的に利用することができる。
【0051】
【発明の効果】
本発明によれば、簡便にパノラマ画像を生成することができる。
【図面の簡単な説明】
【図1】実施の形態1に係るパノラマ撮影システムの構成図である。
【図2】実施の形態1に係る画像処理装置の構成図である。
【図3】被写体と撮像エリアの関係を説明する図である。
【図4】入力画像上の局所特徴点の移動を説明する図である。
【図5】局所特徴点の移動にもとづいて入力画像を合成してパノラマ画像が生成する方法を説明する図である。
【図6】新たに局所特徴点を設けて、入力画像を合成してパノラマ画像を生成する方法を説明する図である。
【図7】撮像エリアを上下方向にずらした場合におけるパノラマ画像の生成方法を説明する図である。
【図8】撮像エリアを左右上下にずらしながら被写体を撮影することにより生成されるパノラマ画像を説明する図である。
【図9】実施の形態1に係る画像処理装置によるパノラマ画像合成手順を示すフローチャートである。
【図10】実施の形態2に係るデジタルカメラの構成図である。
【符号の説明】
10 画像処理装置、 12 パーソナルコンピュータ、 13 ディスプレイ、 14 CCDカメラ、 16 画像入力部、 18 局所特徴点追跡部、20 画像合成部、 22 画像表示部、 24 画像圧縮部、 26 画像記憶部、 28 入力画像、 30 パノラマ画像、 40 撮像エリア、 42 局所特徴点。
Claims (14)
- 撮像エリアを徐々にずらしながら被写体を撮影し、撮影画像の局所特徴点の移動先を連続撮影された画像上で追跡することにより、連続撮影された画像を一枚のパノラマ画像に合成することを特徴とするパノラマ撮影方法。
- 前記局所特徴点の近傍に限定して前記局所特徴点のオプティカルフローを求めることにより、前記局所特徴点の移動先を探索することを特徴とする請求項1に記載のパノラマ撮影方法。
- 前記局所特徴点が前記撮像エリアから外れる事態に対処して、現在の撮像エリア内に新たな局所特徴点を設定することを特徴とする請求項1または2に記載のパノラマ撮影方法。
- 前記撮影画像は、カメラを前記被写体に近接させた状態でカメラを徐々に移動させることにより撮影されることを特徴とする請求項1から3のいずれかに記載のパノラマ撮影方法。
- 撮像エリアを徐々にずらしながら撮影された複数の画像を入力する入力部と、
前記複数の画像を記憶する記憶部と、
前記複数の画像間で局所特徴点を追跡する追跡部と、
追跡された前記局所特徴点をもとに前記複数の画像を一枚のパノラマ画像に合成する合成部とを含むことを特徴とする画像処理装置。 - 前記入力部は、撮像エリアが徐々に変化する画像の入力を順次受け付け、前記追跡部は、1つ前の入力画像の局所特徴点に対応する点を現在の入力画像内で探索し、前記合成部は、その対応関係をもとに1つ前の入力画像に現在の入力画像を重ね合わせることにより前記パノラマ画像を生成することを特徴とする請求項5に記載の画像処理装置。
- 前記入力部は、撮像エリアが徐々に変化する動画の入力を受け付け、前記追跡部は、1つ前の動画フレームの局所特徴点に対応する点を現在の動画フレーム内で探索し、前記合成部は、その対応関係をもとに1つ前の動画フレームに現在の動画フレームを重ね合わせることにより前記パノラマ画像を生成することを特徴とする請求項5に記載の画像処理装置。
- 前記合成部による重ね合わせ処理後の画像は順次破棄され、合成された前記パノラマ画像のみが前記記憶部に記憶され、次回の重ね合わせ対象として再帰的に利用されることを特徴とする請求項6または7に記載の画像処理装置。
- 前記追跡部は、1つ前の入力画像の局所特徴点に対応する点をその局所特徴点の近傍に限定して探索することを特徴とする請求項6または7に記載の画像処理装置。
- 前記追跡部は、前記局所特徴点をオプティカルフローにもとづいて追跡することを特徴とする請求項5から9のいずれかに記載の画像処理装置。
- 前記複数の画像は、カメラを被写体に近接させた状態でカメラを徐々に移動させることにより撮影されたものであることを特徴とする請求項5から10のいずれかに記載の画像処理装置。
- 被写体の画像を撮像する撮像部と、
前記撮像部により撮像エリアを徐々にずらしながら撮像された複数の画像を記憶する記憶部と、
前記複数の画像間で局所特徴点を追跡する追跡部と、
追跡された前記局所特徴点をもとに前記複数の画像を一枚のパノラマ画像に合成する合成部とを含むことを特徴とする画像撮像装置。 - 被写体の動画を撮像する撮像部と、
前記撮像部により撮像エリアを徐々にずらしながら撮像された動画の複数のフレームを記憶する記憶部と、
前記複数のフレーム間で局所特徴点を追跡する追跡部と、
追跡された前記局所特徴点をもとに前記複数のフレームを一枚のパノラマ画像に合成する合成部とを含むことを特徴とする画像撮像装置。 - 撮像エリアを徐々にずらしながら撮影された画像を順次入力するステップと、
順次入力される前記画像間で局所特徴点を追跡するステップと、
追跡された前記局所特徴点をもとに順次入力される前記画像を一枚のパノラマ画像に合成するステップとをコンピュータに実行させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003032748A JP4001233B2 (ja) | 2003-02-10 | 2003-02-10 | パノラマ撮影方法およびその方法を利用可能な画像処理装置と画像撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003032748A JP4001233B2 (ja) | 2003-02-10 | 2003-02-10 | パノラマ撮影方法およびその方法を利用可能な画像処理装置と画像撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004247793A true JP2004247793A (ja) | 2004-09-02 |
JP4001233B2 JP4001233B2 (ja) | 2007-10-31 |
Family
ID=33019002
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003032748A Expired - Fee Related JP4001233B2 (ja) | 2003-02-10 | 2003-02-10 | パノラマ撮影方法およびその方法を利用可能な画像処理装置と画像撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4001233B2 (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007318490A (ja) * | 2006-05-26 | 2007-12-06 | Olympus Imaging Corp | 画像処理装置、カメラ、及び画像処理プログラム |
JP2008086017A (ja) * | 2006-09-27 | 2008-04-10 | Samsung Electronics Co Ltd | パノラマ映像生成装置及び方法 |
JP2008263538A (ja) * | 2007-04-13 | 2008-10-30 | Fujifilm Corp | 撮影装置、方法およびプログラム |
US8588546B2 (en) | 2007-07-26 | 2013-11-19 | Morpho, Inc. | Apparatus and program for producing a panoramic image |
JP2015087041A (ja) * | 2013-10-29 | 2015-05-07 | 三菱電機株式会社 | 冷蔵庫 |
JP2016006379A (ja) * | 2015-10-15 | 2016-01-14 | 三菱電機株式会社 | 冷蔵庫 |
JP2018152803A (ja) * | 2017-03-15 | 2018-09-27 | オムロン株式会社 | 画像合成装置、画像合成方法、および画像合成プログラム |
CN117726511A (zh) * | 2024-02-18 | 2024-03-19 | 科睿特软件集团股份有限公司 | 用于旅游景观展示的全景成像装置及方法 |
-
2003
- 2003-02-10 JP JP2003032748A patent/JP4001233B2/ja not_active Expired - Fee Related
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007318490A (ja) * | 2006-05-26 | 2007-12-06 | Olympus Imaging Corp | 画像処理装置、カメラ、及び画像処理プログラム |
JP2008086017A (ja) * | 2006-09-27 | 2008-04-10 | Samsung Electronics Co Ltd | パノラマ映像生成装置及び方法 |
US8768098B2 (en) | 2006-09-27 | 2014-07-01 | Samsung Electronics Co., Ltd. | Apparatus, method, and medium for generating panoramic image using a series of images captured in various directions |
JP2008263538A (ja) * | 2007-04-13 | 2008-10-30 | Fujifilm Corp | 撮影装置、方法およびプログラム |
US8068694B2 (en) | 2007-04-13 | 2011-11-29 | Fujifilm Corporation | Imaging apparatus, method and program |
US8542946B2 (en) | 2007-04-13 | 2013-09-24 | Fujifilm Corporation | Imaging apparatus, method and program |
US8588546B2 (en) | 2007-07-26 | 2013-11-19 | Morpho, Inc. | Apparatus and program for producing a panoramic image |
JP2015087041A (ja) * | 2013-10-29 | 2015-05-07 | 三菱電機株式会社 | 冷蔵庫 |
JP2016006379A (ja) * | 2015-10-15 | 2016-01-14 | 三菱電機株式会社 | 冷蔵庫 |
JP2018152803A (ja) * | 2017-03-15 | 2018-09-27 | オムロン株式会社 | 画像合成装置、画像合成方法、および画像合成プログラム |
CN117726511A (zh) * | 2024-02-18 | 2024-03-19 | 科睿特软件集团股份有限公司 | 用于旅游景观展示的全景成像装置及方法 |
CN117726511B (zh) * | 2024-02-18 | 2024-05-03 | 科睿特软件集团股份有限公司 | 用于旅游景观展示的全景成像装置及方法 |
Also Published As
Publication number | Publication date |
---|---|
JP4001233B2 (ja) | 2007-10-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3695119B2 (ja) | 画像合成装置、及び画像合成方法を実現するプログラムを記録した記録媒体 | |
JP4815271B2 (ja) | 画像表示装置、カメラ及び画像表示制御プログラム | |
JP4569389B2 (ja) | 撮像装置、画像処理方法及びプログラム | |
JP2001211351A (ja) | 画像撮像装置およびその動作制御方法 | |
JP4640032B2 (ja) | 画像合成装置、画像合成方法及びプログラム | |
JP2000101895A (ja) | 画像信号撮像装置および方法 | |
JP2003179798A (ja) | デジタルカメラ | |
JP2007318490A (ja) | 画像処理装置、カメラ、及び画像処理プログラム | |
JP2006238326A (ja) | カメラ装置システムおよび撮影動画像再生方法 | |
KR20050109190A (ko) | 듀얼 카메라를 이용한 와이드 이미지 생성 장치 및 방법 | |
JP4001233B2 (ja) | パノラマ撮影方法およびその方法を利用可能な画像処理装置と画像撮像装置 | |
JPH10276361A (ja) | 撮像装置および方法、撮像システム、画像情報提供装置および方法、画像データ処理装置および方法、並びに伝送媒体 | |
JPH1188754A (ja) | 画像信号撮像および記録装置および方法 | |
JP2011035752A (ja) | 撮像装置 | |
JP2004266670A (ja) | 撮像装置及び方法、画像情報提供システム並びにプログラム | |
CN102209199B (zh) | 图像拍摄装置 | |
JP2007214620A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP2006203732A (ja) | デジタルカメラ、縦横撮影切替え方法、及びプログラム | |
JP2004222025A (ja) | 電子カメラ | |
JP2013009435A (ja) | 撮影装置、被写体追尾ズーミング方法及び被写体追尾ズーミングプログラム | |
JPH10304227A (ja) | 電子スチルカメラ | |
JP3861641B2 (ja) | 画像合成装置、画像合成方法及びプログラム | |
EP1496684A2 (en) | Imaging apparatus, imaging method, imaging system, program | |
JP5476900B2 (ja) | 画像合成装置、画像合成方法及びプログラム | |
JP2007043502A (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041117 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061120 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061128 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070123 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070710 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070808 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100824 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100824 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110824 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120824 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120824 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120824 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130824 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |