JP2005217902A - 画像処理装置および画像処理方法 - Google Patents
画像処理装置および画像処理方法 Download PDFInfo
- Publication number
- JP2005217902A JP2005217902A JP2004023932A JP2004023932A JP2005217902A JP 2005217902 A JP2005217902 A JP 2005217902A JP 2004023932 A JP2004023932 A JP 2004023932A JP 2004023932 A JP2004023932 A JP 2004023932A JP 2005217902 A JP2005217902 A JP 2005217902A
- Authority
- JP
- Japan
- Prior art keywords
- image
- frame images
- images
- frame
- still
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Studio Circuits (AREA)
- Editing Of Facsimile Originals (AREA)
- Studio Devices (AREA)
- Controls And Circuits For Display Device (AREA)
- Image Processing (AREA)
Abstract
【課題】 撮影時の画像の画角よりも広い画角の動画像を出力する
【解決手段】 動画像または時系列に連続する静止画像から時系列順に取得した複数のフレーム画像の相対的な位置関係を算出し、その位置関係に従って前記複数のフレーム画像を配置する。そして配置された複数のフレーム画像の論理和で定義される画像領域から、前記取得された複数のフレーム画像と異なる所定の画面形状の静止画像を複数切り出して生成する。次に生成された所定の画面形状の静止画像を、所定の時間間隔で一つずつ出力することによって、フレーム画像と画面形状が異なる画像を動画像として出力する。この結果、入力した動画像とは異なった画像に作り直して再び動画像として観賞することができる。
【選択図】 図2
【解決手段】 動画像または時系列に連続する静止画像から時系列順に取得した複数のフレーム画像の相対的な位置関係を算出し、その位置関係に従って前記複数のフレーム画像を配置する。そして配置された複数のフレーム画像の論理和で定義される画像領域から、前記取得された複数のフレーム画像と異なる所定の画面形状の静止画像を複数切り出して生成する。次に生成された所定の画面形状の静止画像を、所定の時間間隔で一つずつ出力することによって、フレーム画像と画面形状が異なる画像を動画像として出力する。この結果、入力した動画像とは異なった画像に作り直して再び動画像として観賞することができる。
【選択図】 図2
Description
この発明は、動画像または時系列に連続する静止画像から、時系列に連続する複数のフレーム画像を取得し、取得した複数のフレーム画像を用いて、そのフレーム画像より広角の複数の静止画像を生成し、生成した複数の静止画像を所定の時間間隔で出力して動画像表示する画像処理技術に関する。
撮影時の画像の画角より広い画角のパノラマ画像などを投影しようとする画像処理技術は従来から知られている(例えば、特許文献1)。また、パノラマ画像を一枚の静止画像として生成する画像処理技術も以前より知られている(例えば、特許文献2)。
特許文献1には、撮影したカメラの動きを得て3つの投射画面に撮影画像を分け、画角を広げた画像をスクリーンに投射するビデオプロジェクタが提案され、画角の広い画像を写す画像処理技術が開示されている。また特許文献2には、動画像から一つの静止画像としてパノラマ画像を生成する方法が開示されている。
このような画像処理技術は、画角を広げた画像を、3つの投射画面による画像によって作り出すため、左右の画像について生じる画像の歪みを、それぞれの投射画面に応じて補正する必要があった。したがって、使用するプロジェクタに合わせて画像の歪み補正処理を行う必要があるなど、通常一つの投射画面で構成されるプロジェクタや、一つの画像表示体が使われるテレビジョンなどでは実現できない技術であった。あるいは、生成される画像が一つの画角の広いパノラマ画像であっても、一つの画像のみでは一連の連続したパノラマ画像として生成されたものではないため、動画像として観賞することはできなかった。
本発明は、このような問題の少なくとも一部を解決するためになされたもので、一つの表示画面を有する通常のプロジェクタやテレビジョンなどの画像表示装置に、撮影時の画像の画角よりも広い画角の動画像を出力する画像処理装置または画像処理方法の提供を目的とする。
上記目的を達成する本発明の画像処理装置は、動画像または時系列に連続する静止画像から複数のフレーム画像を取得し、該取得した複数のフレーム画像から複数の静止画像を生成する画像処理装置であって、時系列順に連続する複数のフレーム画像を取得する画像取得部と、前記取得した複数のフレーム画像の相対的な位置関係を算出し、該位置関係に従って前記複数のフレーム画像を配置する画像配置部と、前記配置された複数のフレーム画像の論理和で定義される画像領域から、前記取得された複数のフレーム画像と異なる所定の画面形状の静止画像を複数切り出して生成する画像生成部と、前記生成された所定の画面形状の静止画像を、所定の時間間隔で一つずつ出力する画像出力部と、を備えることを要旨とする。
かかる画像処理装置によれば、入力した動画像から取得したフレーム画像を用いて、そのフレーム画像と画面形状が異なる画像を動画像として出力する。この結果、入力した動画像とは異なった画像に作り直して再び動画像として観賞することができる。
さらに、前記異なる画面形状の静止画像として、前記取得したフレーム画像の画面サイズに対して、少なくとも縦または横のいずれか一方の画面長が大きい矩形画像を生成するものとしてもよい。こうすれば、入力した動画像よりも左右に画角が広がった動画像として出力したり、上下に画角が広がった動画像として出力したりすることができる。
また、本発明の画像処理装置は、切り出す位置を所定量ずつ順次移動して切り出し、前記静止画像を複数生成することとしてもよい。こうすれば、パンやチルト画像について、画像の動きが一定速度の動画像として出力することができる。
あるいは、前記取得された複数のフレーム画像の配置位置に基づいて切り出す位置を順次決定し、前記静止画像を複数生成するものとしてもよい。こうすれば、入力した動画像が表示する画像の動き方と、基本的に同じ動き方をする広角画像の動画像を出力することができる。
また、本発明の画像処理装置は、前記静止画像の生成に際して、該静止画像と所定の重なり量で特定されるフレーム画像を用いて前記静止画像を生成するものとしてもよい。こうすれば、静止画像の生成に使用するフレーム画像の数を少なくすることができる。この結果、フレーム画像の繋ぎ合わせに関する処理の負荷を軽減することができる。
また、本発明の画像処理装置は、前記画像生成部によって生成された複数の静止画像を、さらに所定の順序で出力するものとしてもよい。こうすれば、入力した動画像が表示する画像の動きとは異なる画像の動き方で動画像を出力することができる。
本発明を画像処理方法として捉えることもできる。すなわち、動画像または時系列で連続する静止画像から複数のフレーム画像を取得し、該取得した複数のフレーム画像から複数の静止画像を生成する画像処理方法であって、時系列順に連続する複数のフレーム画像を取得する工程と、前記取得した複数のフレーム画像の相対的な位置関係を算出し、該位置関係に従って前記複数のフレーム画像を配置する工程と、前記配置された複数のフレーム画像の論理和で定義される画像領域から、前記取得された複数のフレーム画像と異なる所定の画面形状の静止画像を複数切り出して生成する工程と、前記生成された所定の画面形状の静止画像を、所定の時間間隔で一つずつ出力する工程と、を備えることを要旨とする。
また、本発明はコンピュータプログラムおよびそのプログラムを記録した記録媒体として捉えることもできる。すなわち、動画像または時系列で連続する静止画像から複数のフレーム画像を取得し、該取得した複数のフレーム画像から複数の静止画像を生成する画像処理プログラムであって、時系列順に連続する複数のフレーム画像を取得する機能と、前記取得した複数のフレーム画像の相対的な位置関係を算出し、該位置関係に従って前記複数のフレーム画像を配置する機能と、前記配置された複数のフレーム画像の論理和で定義される画像領域から、前記取得された複数のフレーム画像と異なる所定の画面形状の静止画像を複数切り出して生成する機能と、前記生成された所定の画面形状の静止画像を、所定の時間間隔で一つずつ出力する機能と、をコンピュータに実現させることを要旨とする。プログラムの記録媒体としては、フレキシブルディスクやCD−ROM、ICカード、パンチカードなど、コンピュータが読み取り可能な種々の媒体を利用することができる。
次に、本発明の実施の形態を説明する。
図1は本発明の一実施形態としての画像処理装置の概略構成を示す説明図である。この画像処理装置は、汎用のコンピュータを用いて構成され、コンピュータ100に情報を入力する装置としてのキーボード110およびマウス120と、情報を出力する装置としてのディスプレイ130およびプロジェクタ180とを備えている。またコンピュータ100に動画像を入力する装置として、デジタルビデオカメラ160およびCD−R/RWドライブ140、DVD−R/RWドライブ150を備えている。その他、必要に応じて、動画像を記憶した記憶媒体からデータを読み出すことが可能な駆動装置を備えることもできる。
コンピュータ100は、所定のオペレーティングシステムの下で、動画像から取得したフレーム画像をつなぎ合わせて静止画像を生成するためのアプリケーションプログラムを実行することにより、画像処理装置として機能する。特に図1に示したように、このアプリケーションプログラムが実行されることにより、画像取得部102、画像配置部103、画像生成部104、画像出力部105として機能する。また、コンピュータ100のメモリ(図示せず)には、図2、図4、図6、図7、図9、図11にフローチャートで示されるプログラムが記憶されている。
各部はそれぞれ以下の処理を司る。画像取得部102は、コンピュータ100に入力した動画像から時系列で連続する複数のフレーム画像をキャプチャして取得する。画像配置部103は、取得された複数のフレーム画像の相対位置を算出して、その相対位置に配置する。画像生成部104は、相対位置に配置された全てのフレーム画像の画像領域から、所定の画面形状の画像を複数切り出して静止画像を生成する。画像出力部105は、生成された複数の静止画像を一つずつ所定の時間間隔で出力する。
次に、本実施形態の画像処理装置が行う処理を、図2のフローチャートにより説明する。図2に示した処理が開始されると、まずステップS10にて、入力される動画像からユーザーの指定に基づき、時系列で連続する複数のフレーム画像を、コンピュータ100に取り込む処理を行う。ユーザーは、ディスプレイ130や、プロジェクタ180の投影画面に表示されるデジタルビデオカメラ160などから供給する動画像を見て、キーボード110やマウス120などによりデータを入力して取り込むフレーム画像を指定する。
フレーム画像の指定方法は、動画像からフレーム画像をキャプチャしてコンピュータ100に取り込む際、通常付加されるフレーム画像の識別番号を指定するようにしてもよい。あるいは、ユーザーがディスプレイ130に表示されるフレーム画像を見ながら画像を直接指定することとしてもよい。もしくは、所定時間間隔で予め定められた枚数のフレーム画像を、連続するフレーム画像から自動的に取り込むこととしてもよい。
次に、ステップS20では、コンピュータ100に取り込むことによって取得した複数のフレーム画像について、各フレーム画像間の相対位置の算出処理を行う。この処理は、各々のフレーム画像の相対位置を把握し、その相対位置にフレーム画像を配置することによって、取り込んだ全てのフレーム画像の最大画像領域となる論理和領域を求める(ステップS30)ために行う処理である。
全てのフレーム画像の相対位置は、次に説明する2つのフレーム画像間での位置関係の算出処理を、取り込んだ複数のフレーム画像について実施して求める。本実施例では、時系列で連続する2つのフレーム画像を一つずつずらしながら順次選択して相対位置を算出し、全てのフレーム画像の相対位置の算出を行う。
2つのフレーム画像間における相対位置の算出処理について図3を用いて説明する。図3(a)と図3(b)は、フレーム画像間の相対位置を算出するためのフレーム画像G1とフレーム画像G2をそれぞれ示している。この例は、夕日を背景とする山の風景を左上から右下方向にパンをして撮像した動画から取り込んだ画像を想定したものである。相対位置関係は、このようなパンによって得られた2つのフレーム画像を想定した場合、両者の間には回転ズレはないことから、並進ベクトルとして求めることができる。
並進ベクトルは、横方向と縦方向の画素数で表現することができ、画像のパターンマッチングや特徴点追跡といった周知の処理技術によって生成することが可能である。こうして生成された並進ベクトルから算出した相対位置データが、画面横(X)方向の画素数X2、画面縦(Y)方向の画素数Y2であれば、フレーム画像G1の画面左上隅C1を基準点(0,0)とした時、フレーム画像G2の画面左上隅C2は座標(X2,Y2)となる。この状態を図3(c)に示す。こうして、フレーム画像G1に対するフレーム画像G2の相対位置を算出する。
また、フレーム画像G1とフレーム画像G2との間で、回転や画像倍率が異なる場合は、例えばオプティカルフロー推定とパターンマッチングの組み合わせによって相対位置を算出することができる。オプティカルフロー推定には、種々の手法があり、たとえばグラディエント(gradient−based)法は、観測するフレーム画像間において対象の輝度が不変であるという仮定の下に、画像中における対象の濃度分布の空間勾配と時間勾配の関係を利用して撮影装置を基準とした被写体の移動を推定する。このオプティカルフロー推定の結果に基づいて、大まかに画像の並進移動や回転、ズーム倍率の変化を推定するとともに、この推定結果に基づいてフレーム画像G1とフレーム画像G2とを同じ倍率のフレーム画像になるように画像処理を行い、画像処理後のフレーム画像を新たにフレーム画像G1とフレーム画像G2として、この画像間でパターンマッチングを行うことによって相対位置を算出する。
以上のように、取り込んだ全てのフレーム画像について、2つのフレーム画像間の相対位置算出処理を、撮影状態に応じフレーム画像の回転や画像倍率を補正して行う。そして全てのフレーム画像の相対位置を算出して処理ステップS20を終了し、次の処理ステップS30へ進む。なお、本実施形態では、上述したように画像の重なり具合からフレーム画像間の相対位置を算出するため、重なり部分が大きい時系列で連続する2つのフレーム画像を選択したが、もとより、少なくとも互いに画像の重なりが存在する2つのフレーム画像を順次選択して全てのフレーム画像の相対位置を算出してもよい。
ステップS30では、算出された相対位置に従って全てのフレーム画像を配置し、配置した全てのフレーム画像の論理和領域を記憶する処理を行う。つまり、全てのフレーム画像が繋ぎ合ってできる画像の存在領域を記憶する処理を行うのである。ここでの処理を図4のフローチャートを用いて説明する。
この処理が開始されると、まずステップS31にて全てのフレーム画像を算出されたフレーム画像間の相対位置に従って配置する。フレーム画像の配置された状態を図5(a)に例示する。図5(a)は、等しい倍率で画面左から右方向にパンして山の風景を撮像した動画像から、時系列で取得した連続する4つのフレーム画像F1からF4を配置した状態を模式的に示した模式図である。図5(a)の例では、フレーム画像F2の画面左上隅を原点(0,0)としたX,Y座標系に各フレーム画像の相対位置を算出しなおし、フレーム画像F2を基準として3つのフレーム画像F1、フレーム画像F3、フレーム画像F4を、座標(X1,Y1)、(X3,Y3)、(X4,Y4)にそれぞれ配置した状態を示している。
次に、図5(b)の破線に示すように、配置された全てのフレーム画像の論理和となる画像領域を含む矩形の画像識別領域Rを設定する処理を行う(ステップS32)。ここで、画像識別領域Rは、大きさが出来るだけ小さくなるよう設定するのが好ましい。これは後述するフレーム画像が存在する領域の記憶処理(ステップS34)の負荷を軽減するためである。本実施例では、全てのフレーム画像を含む最小の矩形画像領域を画像識別領域Rとして設定する。もとより、全てのフレーム画像が含まれる大きさであれば形状や大きさは何でもよい。
本実施形態において、画像識別領域Rの大きさは、全てのフレーム画像のX,Y座標値とフレーム画像の画面サイズから求める。各フレーム画像が図5(a)の例のように、画面左右方向にパンをして撮像した画像を想定した場合、回転や画像倍率の違いはなく、全てのフレーム画像について画面の傾きや画面サイズの違いはないものと仮定できる。このとき、画像識別領域Rの縦の長さは、図5(b)に示すように、フレーム画像画面左上隅のY座標値の最大と最小の差(Y3−Y1)に、フレーム画像のY方向の長さ、すなわち縦の画素数Hを加えたものである。また画像識別領域Rの横の長さは、フレーム画像画面左上隅のX座標値の最大と最小の差(X4−X1)に、フレーム画像のX方向の長さ、すなわち横の画素数Wを加えたものである。画像識別領域Rの画面サイズはこのようにして求めた大きさとする。なお、回転や画像倍率が補正されたフレーム画像を含む場合は、フレーム画像の個々の相対位置と画面の傾き及び大きさを一つずつしらべて、画像識別領域Rの縦の画面長さと横の画面長さを求めればよい。
次に、設定した画像識別領域Rにフレーム画像が存在する領域と存在しない領域を記憶するため、全てのフレーム画像の論理和となる画像領域(以降、これを「画像存在領域」と呼ぶ)を、画像識別領域Rを基準とした座標系に設定しなおす処理を行う(ステップS33)。つまり、図5(c)に示したように、画像存在領域Sを画像識別領域Rの左上隅を原点(0,0)とするX,Y座標系に設定しなおす処理を行うのである。この処理によって、画像存在領域Sは画像識別領域RでのX,Y座標値によって表されることになる。
そこで、次のステップS34にて、画像識別領域Rにおいてフレーム画像が存在する画像存在領域Sを、X,Y座標値にて記憶する処理を行う。この処理によって、図5(c)に示したように、網掛け部で示した領域のX,Y座標値が画像存在領域Sとして記憶される。こうしてステップS30(図2)での処理を終了してステップS40へ進む。
ステップS40とその後のステップS50では、上述したX,Y座標値で記憶された画像存在領域Sから、動画像として出力する複数の静止画像が生成できる画像領域(以降、これを「画像生成領域」と呼ぶ)を抽出する。この画像生成領域を抽出することによって、入力したフレーム画像と異なる画面形状の静止画像を複数生成することが可能となる。以降、本実施例では、図5(a)に例示したおおよそ画面左右方向にパンする動画像から、画面左右方向にパンする新たな矩形画面の動画像を出力するものとして、以降の処理を実施する。
まずステップS40で、縦の画像生成領域の抽出処理を行う。本実施例では、画面左右方向にパンする動画像を生成する処理を行うものとし、画像が常に存在する縦方向の画像生成領域の抽出処理を、横方向の領域の抽出処理(ステップS50)に先んじて行うこととした。もとより、横の画像生成領域の抽出処理を先に行ってもよい。あるいは、出力する動画像がパンの画像の場合は縦の画像生成領域から抽出処理を行い、チルトの画像の場合は横の画像生成領域Zから抽出処理を行うようにしてもよい。
ここでの処理を図6のフローチャートを用いて説明する。この処理が開始されると、まずステップS41で、画像識別領域Rの全てのY座標値に対して、記憶されたX座標値の数値範囲を抽出する。本実施形態では、ステップS34(図4)での処理によって記憶したX,Y座標値を調べ、0から((Y3−Y1)+H)までの各々のY座標値に対して存在するX座標値の数値範囲を抽出する。
次にステップS42にて、各々のY座標値に対して抽出したX座標値の数値範囲が、一つの連続する範囲で、且つ画像識別領域Rの横の長さに対して所定割合以上の長さを連続して満たすとき、そのY座標値の最大値と最小値を抽出する。図8(a)に抽出されたY座標値の最大値YLと最小値YSを示す。所定割合は、配置したフレーム画像の画面の傾き具合によって設定してもよい。本実施形態では、図8(a)に示したように、画像識別領域Rの横方向の最も外周に位置するフレーム画像F1とF4の画面の傾き具合に合わせて設定すればよい。もとより傾きが無い場合は、所定割合を100%に設定してもよい。本実施形態では、フレーム画像F1、F4は画面の傾きがないものと仮定しているため所定割合を100%とした。
こうして抽出したY座標値YL、YSを、それぞれ画像生成領域の縦の最大領域値YLと最小領域値YSとして抽出し(ステップS43)、ステップS40(図2)での処理を終了して次のステップS50に進む。
ステップS50では、横の画像生成領域の抽出処理を行う。ここでの処理を図7のフローチャートを用いて説明する。まずステップS51にて、前のステップS40にて抽出されたY座標値YLにおけるX座標値の最大値XL1と最小値XS1を抽出する。次にステップS52にて、Y座標値YSにおけるX座標値の最大値XL2と最小値XS2を抽出する。図8(b)に抽出されたXL1、XS1、XL2、XS2を示す。
その後、ステップS53で、抽出されたX座標値XL1とXL2とを比較し、小さい方の値をXLとする処理を行う。続くステップS54で、抽出されたX座標値XS1とXS2を比較し、大きい方の値をXSとする処理を行う。こうして抽出したX座標値XLとXSを、それぞれ画像生成領域の横の最大領域値XLと最小領域値XSとして抽出し(ステップS55)、ステップS50(図2)での処理を終了して次のステップS60に進む。
本実施形態ではフレーム画像の傾きが無いものとしたためX座標値XL1とXL2、またはX座標値XS1とXS2は同じ値となる。もとより、通常の撮影画像には手ぶれなどにより少なからず画面が傾いた画像が存在し得るため、X座標値に大小が生じることになる。したがって、ステップS53とステップS54の処理を実施するのである。
上述したステップS40とS50の処理によって、画像生成領域の四隅のX,Y座標(XL,YL)、(XL,YS)、(XS、YL)、(XS,YS)が抽出される。図8(c)に、抽出された画像生成領域Z(クロスハッチング部分)を例示する。こうして抽出された画像生成領域Zは、取得したフレーム画像が必ず存在する領域になるため、入力したフレーム画像と異なる画面形状の静止画像を、この画像生成領域Z内であれば、任意の場所から複数切り出すことが可能となる。
次に、ステップS60にて、出力する動画像の画面形状となる静止画像の横の画面長さを設定する。本実施形態では、静止画像を入力した動画像に対して左右方向に画角が広がった矩形画像として生成するため、取得したフレーム画像の横の画面長さ(画素数)Wに対する倍率Eを、ユーザーが指定することによって静止画像の横の画面長さを設定する。例えば左右の画角を2倍に設定する場合、ステップS60の処理開始に伴ってディスプレイ130に表示される入力画面(図示せず)に従い、ユーザーがキーボード110やマウス120を使ってデータ「E=2」を入力して行う。こうして指定されたEの値とフレーム画像の横の画面長さWとの積E×Wが静止画像の横の画面長さとして設定される。
次に、ステップS70では、ステップS60で設定した静止画像を動画像として出力する際の再生時間を設定する処理を行う。設定は、この処理の開始に伴ってディスプレイ130に表示される入力画面(図示せず)に従い、ユーザーがキーボード110などからデータを入力して行う。
本実施形態では、設定する再生時間によって、後述するように静止画像を動画再生した場合の画像のパン速度が決まる。従って、ユーザーは画像がゆっくりパンする動画像を所望する場合は長い時間を入力すればよい。一方、画像が速くパンする動画像を所望する場合は、短い時間を入力すればよい。
こうして設定した静止画像の横の画面長さと再生時間から、次のステップS80にて動画像として出力する静止画像の生成処理を行う。ここでの処理を図9のフローチャートを用いて説明する。
この処理が開始されると、まずステップS81にて設定された再生時間より生成する静止画像の数を算出する。通常のテレビジョンなどに表示される動画像では、1秒間に30枚の画像が描画されている。従って、本実施形態では、生成する静止画像の数を、1秒につき30として算出する。例えば、再生時間を5秒と設定した場合は、静止画像を生成する数として150が算出される。本実施形態では、説明を簡便にするため、算出された生成する静止画像の数が4であるとして以降の処理を行う。
次に、ステップS82にて、画像生成領域Zと静止画像の画面横の長さとから、静止画像の移動可能長さを算出する。続いて、ステップS83では、設定された静止画像の生成数と移動可能長さから、静止画像を切り出す位置となる移動量Pを算出する。そして、ステップS84にて、画像生成領域Zから移動量Pの間隔で静止画像を切り出す処理を行う。
ステップS82からS84までの処理について、図10に示した模式図を用いて説明する。図10(a)において、網掛け部で示した静止画像K1が、設定された画面横の長さE×Wの矩形画像を示している。本実施形態では、静止画像K1の縦の長さを、画像生成領域Zの縦の長さにデフォルトで自動的に設定する。もとより、ユーザーがキーボード110などから、縦の画像生成領域Zの長さを超えない範囲で、データを入力して指定できるようにしてもよい。
図10(a)から明らかなように、この静止画像K1の移動可能長さは、画像生成領域Zの横の長さ(XL−XS)と、静止画像K1の画面横の長さ(E×W)との差で求まる。本実施形態では、パンの画像速度が一定な動画像を出力するものとして、等間隔移動量Pにて静止画像を生成する。従って移動量Pは、4つの静止画像を生成する場合は3回の移動となることより、次式(1)によって算出される。
P=((XL−XS)−E×W)/3 …(1)
算出された画像移動量Pに従って、順次切り出した静止画像K2からK4を、それぞれ図10(b)、(c)、(d)に示した。
P=((XL−XS)−E×W)/3 …(1)
算出された画像移動量Pに従って、順次切り出した静止画像K2からK4を、それぞれ図10(b)、(c)、(d)に示した。
こうして切り出した静止画像K1からK4について、次のステップS85にて、取得したフレーム画像の画像データを用いて、静止画像を生成する処理を行う。ステップS85が行う処理について、図11のフローチャートと図12の説明図を用いて説明する。ステップS85は、静止画像を生成する際、画像の繋ぎ合わせ部分を少なくして画像の連続性を良くするため、少ないフレーム画像数にて静止画像を生成する目的で行われる。
この処理が開始されると、まずステップS851にて切り出した静止画像と各フレーム画像との重なりを調べ、重なりが最も大きいフレーム画像を抽出する。図12に示した例では、着目する静止画像K1について、画像の重なり部分が最も大きい(網掛け部)フレーム画像F1が抽出される。
次にステップS852では、着目した静止画像と抽出されたフレーム画像との差分画像を算出する。そして次のステップS853にて、この差分画像と各フレーム画像との重なりを調べ、重なりが最も大きいフレーム画像を抽出する。図12の例では、斜線部で示した差分画像との重なりが大きいフレーム画像F2が抽出される。
次にステップS854で、図12の斜線部で示した差分画像とフレーム画像F2との差分画像を更に算出する。そして、判別ステップS855にて、ステップS854にて算出した差分画像が存在するか否かを判定する。
判定の結果、差分画像が存在する場合は(YES)、ステップS853に戻って、存在する差分画像との重なりが最も大きいフレーム画像の抽出処理を繰り返し実施する。一方判定の結果、差分画像が存在しない場合は(NO)、次のステップS856進む。図12に示した例では、フレーム画像F2の抽出までで差分画像が存在しなくなるため、静止画像K1の生成に用いるフレーム画像として、フレーム画像F1とフレーム画像F2が抽出される。
ステップS856では、抽出したフレーム画像の画像データを用いて静止画像を生成する。本実施形態では、ステップS852及びステップS853にて調べた重なり部分ごとに抽出したフレーム画像の画像データを用いて静止画像を生成する。図12に示した例では、静止画像K1について、網掛け部分の画像はフレーム画像F1の画像データを用い、斜線部分の画像はフレーム画像F2の画像データを用いて静止画像K1を生成する。この結果、静止画像K1と重なっている他のフレーム画像F3、F4の画像データを用いることなく、少ないフレーム画像数にて静止画像K1を生成することができる。
静止画像K1以外の静止画像K2、K3、K4についても、前述の処理を同様に行い、静止画像の生成に用いるフレーム画像を抽出する。そして、抽出したフレーム画像について、静止画像との重なり部分の画像データを用い、それぞれの静止画像を生成する。以上の処理が終了すると、ステップS80(図2)での処理が終わり、次ステップS90へ戻る。
ステップS90では、生成された静止画像を所定の時間間隔と所定の順番で出力する処理を行う。本実施例では、前述したように、動画像を表示するために1秒につき30の静止画像を出力するものとし、生成した静止画像を一つずつ30分の1秒の時間間隔にて出力する。もとより、動画像を表示する表示装置が必要とする描画数に合わせて、出力する静止画像の時間間隔を変更してもよい。この場合、出力する時間間隔の変更に合わせて生成する静止画像の数を変更し、動画像の再生時間が変わらないようにしてもよい。
また、出力する静止画像の順番は、本実施形態では取得した動画像の画面の動き方に合わせて出力する。例えば、図10に示した例では、入力した動画像は画面左から右方向にパンしているため、静止画像K1から順に静止画像K4まで出力する。
上述したように、本実施形態によれば、図10に例示したように、入力した動画像に対して横の画角が広がった画像に作り直し、一定速度で画像がパンする動画像として再生することができる。例えば、出力する静止画像を、図1のコンピュータ100の内部もしくは外部に設けた信号変換装置(図示せず)によって、通常のテレビ標準信号など種々の映像信号に変換し、変換した映像信号をプロジェクタ180に入力することによって大画面の動画像として再生することができる。従って、ユーザーは、上下の表示画像は少なくなるものの、手ぶれなどによって生ずる上下方向の画像ゆれが無く、一定速度でスムースにパンする画角が左右に広がったパノラマ画像を、動画像として楽しむことができる。
以上、本発明の一実施形態を説明したが、本発明はこうした実施の形態に何ら限定されるものではなく、本発明の趣旨を逸脱しない範囲内において様々な形態で実施し得ることは勿論である。
(変形例1)例えば、前記実施形態では、入力した動画像に対して左右に画角を広げた動画像となるように静止画像を生成して出力したが、入力した動画像に対して上下に画角を広げた動画像となるように静止画像を生成して出力するものとしてもよい。これは、入力する動画像が、例えばテレビ塔など縦に長い被写体をチルトによって撮像した画像の場合に有効である。この場合は、図2のステップS40に先んじてステップS50の処理を行い、横の画像生成領域を先に算出することによって、左右の画像が常に存在する画像領域を求めることが好ましい。
(変形例2)また前記実施形態では、出力する動画像について、画像のパン速度を一定にするため、静止画像の切り出し間隔である移動量Pを等間隔として算出したが、等間隔とせず、例えば間隔が漸増するように移動量Pを算出したり、逆に間隔が漸減するように算出したりするようにしてもよい。こうすれば、パン速度が変化する画像を表示する動画像となるように静止画像を出力することができる。
(変形例3)あるいは、前記実施形態ではステップS83(図9)にて、移動量Pを、出力する動画像の再生時間から求められた静止画像の生成数と画像生成領域Zでの移動可能長さから算出したが、算出結果には無関係に移動量Pを単独で設定することとしてもよい。こうすれば、再生時間の増減は生じるものの、ユーザーの所望する速度にてパンする動画像となるように静止画像を出力することができる。
(変形例4)また、前記実施形態では、入力した動画像の画像のパン方向に合わせて、同じ方向にパンする画像を表示する動画像となるように静止画像を出力したが、逆の方向に画像がパンする動画像となるように静止画像を出力してもよい。また、同じ方向のパンに引き続いて逆の方向にパンする画像を表示する動画像となるように静止画像を出力したり、同じ方向のパンと逆方向のパンを連続して繰り返す画像を表示する動画像となるように静止画像を出力したりするようにしてもよい。
(変形例5)また、前記実施形態ではステップS84(図9)での静止画像の切り出し処理に際して、フレーム画像の配置位置を考慮せず静止画像を切り出したが、取得したフレーム画像を基準として切り出すこととしてもよい。例えば、静止画像の画面左端とフレーム画像の左端を合わせて切り出したり、右端を合わせて切り出したりすればよい。こうすれば、入力した動画像の画像の動き方と、基本的に同じ動き方をする画像を表示する動画像となるように静止画像を出力することができる。
(変形例6)あるいは、前記実施形態では、水平方向に画像が移動するパン画像を動画像として出力したが、例えば左下から右上方向へのパン画像や、左上から右下方向へのパン画像などといった斜め方向へのパン画像を動画像として出力するものとしてもよい。こうすれば、入力した動画像が斜め方向にパンして撮影された画像の場合に、その動画像から取得するフレーム画像の配置位置に合わせて静止画像を生成することができる。
(変形例7)また、前記実施形態ではステップS856(図11)にて、静止画像との重なり量で特定されるフレーム画像を用いて静止画像を生成したが、重なり量を考慮せず静止画像と重なる全てのフレーム画像を用いて静止画像を生成することとしてもよい。こうすれば、例えば生成する静止画像とフレーム画像の解像度が異なる場合、画像データを補間して生成する際に多くのフレーム画像データを用いることができる。
(変形例8)また、前記実施形態では生成する複数の静止画像を全て同じ画面形状の矩形画像として処理を行ったが、静止画像を切り出す順番に画面形状を変更するものとしてもよい。例えば、画面横の長さを一定量ずつ増加して切り出したり、逆に一定量ずつ減少して切り出したりしてもよい。
(変形例9)あるいは、前記実施形態では切り出す静止画像の画面形状を矩形としたが、矩形ではなく楕円などとしてもよいし、ハート形や星形などの異形形状としてもよい。
(変形例10)また、前記実施形態における画像処理装置は、汎用のコンピュータで構成するようにしたが、本発明はこれに限定されるものでなく、モバイルコンピュータやワークステーションなどで構成するようにしてもよい。あるいは、コンピュータとしての機能を有するデジタルカメラやビデオカメラ、DVDプレーヤ、プロジェクタ、携帯電話など種々の機器において本発明の画像処理装置を構成するようにしてもよい。
100…コンピュータ、102…画像取得部、103…画像配置部、104…画像生成部、105…画像出力部、110…キーボード、120…マウス、130…ディスプレイ、140…CD−R/RWドライブ、150…DVD−R/RWドライブ、160…デジタルビデオカメラ、180…プロジェクタ、F1〜F4…フレーム画像、K1〜K4…静止画像、S…画像存在領域、Z…画像生成領域。
Claims (9)
- 動画像または時系列に連続する静止画像から複数のフレーム画像を取得し、該取得した複数のフレーム画像から複数の静止画像を生成する画像処理装置であって、
時系列順に連続する複数のフレーム画像を取得する画像取得部と、
前記取得した複数のフレーム画像の相対的な位置関係を算出し、該位置関係に従って前記複数のフレーム画像を配置する画像配置部と、
前記配置された複数のフレーム画像の論理和で定義される画像領域から、前記取得された複数のフレーム画像と異なる所定の画面形状の静止画像を複数切り出して生成する画像生成部と、
前記生成された所定の画面形状の静止画像を、所定の時間間隔で一つずつ出力する画像出力部と、
を備える画像処理装置。 - 請求項1に記載の画像処理装置であって、
前記画像生成部は、前記異なる画面形状の静止画像として、前記取得したフレーム画像の画面サイズに対して、少なくとも縦または横のいずれか一方の画面長が大きい矩形画像を生成する画像処理装置。 - 請求項1または2に記載の画像処理装置であって、
前記画像生成部は、切り出す位置を所定量ずつ順次移動して切り出し、前記静止画像を複数生成する画像処理装置。 - 請求項1ないし3のいずれか一項に記載の画像処理装置であって、
前記画像生成部は、前記取得された複数のフレーム画像の配置位置に基づいて切り出す位置を順次決定し、前記静止画像を複数生成する画像処理装置。 - 請求項1ないし4のいずれか一項に記載の画像処理装置であって、
前記画像生成部は、前記静止画像の生成に際して、該静止画像と所定の重なり量で特定されるフレーム画像を用いて前記静止画像を生成する画像処理装置。 - 請求項1ないし5のいずれか一項に記載の画像処理装置であって、
前記画像出力部は、前記画像生成部によって生成された複数の静止画像を、さらに所定の順序で出力する画像処理装置。 - 動画像または時系列に連続する静止画像から複数のフレーム画像を取得し、該取得した複数のフレーム画像から複数の静止画像を生成する画像処理方法であって、
時系列順に連続する複数のフレーム画像を取得する工程と、
前記取得した複数のフレーム画像の相対的な位置関係を算出し、該位置関係に従って前記複数のフレーム画像を配置する工程と、
前記配置された複数のフレーム画像の論理和で定義される画像領域から、前記取得された複数のフレーム画像と異なる所定の画面形状の静止画像を複数切り出して生成する工程と、
前記生成された所定の画面形状の静止画像を、所定の時間間隔で一つずつ出力する工程と、
を備える画像処理方法。 - 動画像または時系列に連続する静止画像から複数のフレーム画像を取得し、該取得した複数のフレーム画像から複数の静止画像を生成する画像処理プログラムであって、
時系列順に連続する複数のフレーム画像を取得する機能と、
前記取得した複数のフレーム画像の相対的な位置関係を算出し、該位置関係に従って前記複数のフレーム画像を配置する機能と、
前記配置された複数のフレーム画像の論理和で定義される画像領域から、前記取得された複数のフレーム画像と異なる所定の画面形状の静止画像を複数切り出して生成する機能と、
前記生成された所定の画面形状の静止画像を、所定の時間間隔で一つずつ出力する機能と、
をコンピュータに実現させるための画像処理プログラム。 - 請求項8に記載の画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004023932A JP2005217902A (ja) | 2004-01-30 | 2004-01-30 | 画像処理装置および画像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004023932A JP2005217902A (ja) | 2004-01-30 | 2004-01-30 | 画像処理装置および画像処理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005217902A true JP2005217902A (ja) | 2005-08-11 |
Family
ID=34906790
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004023932A Withdrawn JP2005217902A (ja) | 2004-01-30 | 2004-01-30 | 画像処理装置および画像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2005217902A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007318490A (ja) * | 2006-05-26 | 2007-12-06 | Olympus Imaging Corp | 画像処理装置、カメラ、及び画像処理プログラム |
JP2009141630A (ja) * | 2007-12-05 | 2009-06-25 | Canon Inc | 画像処理装置、その制御方法、プログラム |
JP2009271224A (ja) * | 2008-05-02 | 2009-11-19 | Sony Corp | コンテンツ再生装置、コンテンツ再生方法およびコンテンツ再生プログラム |
US8395637B2 (en) | 2008-05-02 | 2013-03-12 | Sony Corporation | Image display device, image display method, and image display program |
-
2004
- 2004-01-30 JP JP2004023932A patent/JP2005217902A/ja not_active Withdrawn
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007318490A (ja) * | 2006-05-26 | 2007-12-06 | Olympus Imaging Corp | 画像処理装置、カメラ、及び画像処理プログラム |
JP2009141630A (ja) * | 2007-12-05 | 2009-06-25 | Canon Inc | 画像処理装置、その制御方法、プログラム |
US8848034B2 (en) | 2007-12-05 | 2014-09-30 | Canon Kabushiki Kaisha | Image processing apparatus, control method thereof, and program |
JP2009271224A (ja) * | 2008-05-02 | 2009-11-19 | Sony Corp | コンテンツ再生装置、コンテンツ再生方法およびコンテンツ再生プログラム |
JP4561867B2 (ja) * | 2008-05-02 | 2010-10-13 | ソニー株式会社 | コンテンツ再生装置、コンテンツ再生方法およびコンテンツ再生プログラム |
US8395637B2 (en) | 2008-05-02 | 2013-03-12 | Sony Corporation | Image display device, image display method, and image display program |
US9013492B2 (en) | 2008-05-02 | 2015-04-21 | Sony Corporation | Image display device, image display method, and image display program |
US10430149B2 (en) | 2008-05-02 | 2019-10-01 | Sony Corporation | Image display device, image display method, and image display program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6167703B2 (ja) | 表示制御装置、プログラム及び記録媒体 | |
US8629897B2 (en) | Image processing device, image processing method, and program | |
JP4534172B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
US7961222B2 (en) | Image capturing apparatus and image capturing method | |
US7424218B2 (en) | Real-time preview for panoramic images | |
KR101899877B1 (ko) | 확대된 영상의 화질을 개선하기 위한 장치 및 방법 | |
WO2020181112A1 (en) | Video generating method, apparatus, medium, and terminal | |
US20080253685A1 (en) | Image and video stitching and viewing method and system | |
JP2009253554A (ja) | 画像処理装置、表示制御方法、プログラム及び記録媒体 | |
JP6610535B2 (ja) | 画像処理装置および画像処理方法 | |
JP2011119974A (ja) | パノラマ画像合成装置、パノラマ画像合成方法、及びプログラム | |
JP2005217902A (ja) | 画像処理装置および画像処理方法 | |
JP5042251B2 (ja) | 画像処理装置および画像処理方法 | |
JP2005275765A (ja) | 画像処理装置、画像処理方法、画像処理プログラムおよびそのプログラムを記録した記録媒体 | |
JP2015079329A (ja) | 画像処理装置、画像処理方法およびプログラム | |
US8054332B2 (en) | Advanced input controller for multimedia processing | |
JP2005217721A (ja) | 静止画像生成装置および生成方法 | |
JP2017182843A (ja) | プログラム、表示制御装置及び表示制御方法 | |
JP2005252803A (ja) | 画像処理装置、画像処理方法、画像処理プログラムおよびそのプログラムを記録した記録媒体 | |
JP2005234680A (ja) | 画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体 | |
US20220337752A1 (en) | Image processing device, image processing method, non-transitory computer-readable storage medium | |
JP4687748B2 (ja) | 映像処理装置、映像処理方法、プログラム及び記録媒体、並びに映像処理システム | |
JP5176857B2 (ja) | 動画編集装置 | |
JP2007180920A (ja) | 画像処理装置、電子機器、プログラム、情報記憶媒体及び画像処理方法 | |
JP5003458B2 (ja) | 画像信号処理装置、表示装置、画像信号処理方法、プログラム及び記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20070403 |