JP5831820B2 - 画像処理装置、及び、プログラム - Google Patents

Description

本発明は、動画ファイルを生成する画像処理装置、及び、プログラムに関する。

従来より、一定の時間間隔で撮影された複数の静止画を夫々１フレームに見立て、動画ファイルを生成する技術が知られている。

例えば下記の特許文献１では、そのような技術を開示している。このようなファイル生成技術は、監視カメラのような撮影で得られた大量の静止画像を効率的にチェックするために用いられることが多い。

ところで近年、定点撮影以外の利用シーンでこのようなインターバル撮影を使用する機会が増えつつある。例えば、人等の移動物体にカメラを装着し、その移動物体の目線で撮影した風景の変化を楽しむケースである。

特開２０１０−０１６５９９号公報

しかしながら、このような状況でインターバル撮影した静止画像は、撮影間隔、移動体の移動状況、又は、移動速度等の撮影状況によって、全く異なる風景が次々と記録される。したがって、そのような状況で撮影された複数の静止画から動画ファイルを生成して再生した場合、表示されるシーンが頻繁変わるものが生成され、再生しても、撮影された内容の把握が困難なケースが出てしまうという問題がある。

本発明は、かかる従来の課題に鑑みてなされたものであり、時間的に前後する静止画像を連続再生する場合において、これらの静止画像同士が大きく異なる場合であっても、夫々の静止画像の内容の把握を容易にすることを目的とする。

前記課題を解決するため本発明は、所定の時間間隔で撮影された複数の画像において、前記所定の時間間隔が所定の範囲内であるか否かを判断する時間間隔判断手段と、前記時間間隔判断手段によって前記所定の時間間隔が所定の範囲内であると判断された場合、前記所定の時間間隔で撮影された複数の画像において、時間的に隣り合う画像同士の類似度合いを所定の閾値を基準に判断する第１の判断手段と、この第１の判断手段により前記類似度合いが前記所定の閾値以下であると判断した場合、前記画像同士の内の時間的に前又は後の方の画像を複製する複製手段と、この複製手段によって複製された画像を前記画像同士の間に介挿し、これら複数の画像をフレームとした動画を生成する生成手段と、を備えることを特徴とする。

また、本発明は、装置が有するコンピュータを、所定の時間間隔で撮影された複数の画像において、前記所定の時間間隔が所定の範囲内であるか否かを判断する時間間隔判断手段、前記時間間隔判断手段によって前記所定の時間間隔が所定の範囲内であると判断された場合、前記所定の時間間隔で撮影された複数の画像において、時間的に隣り合う画像同士の類似度合いを所定の閾値を基準に判断する第１の判断手段、この第１の判断手段により前記類似度合いが前記所定の閾値以下であると判断した場合、前記画像同士の内の時間的に前又は後の方の画像を複製する複製手段、この複製手段によって複製された画像を前記画像同士の間に介挿し、これら複数の画像をフレームとした動画を生成する生成手段、として機能させることを特徴とする。

本発明によれば、時間的に前後する静止画像において、画像同士が大きく異なる場合であっても、夫々の静止画像の内容の把握を容易にすることが可能となる。

本発明の一実施の形態に係るデジタルカメラの回路構成を示すブロック図である。 同デジタルカメラが有する制御部の処理手順を示すフローチャートである。

以下、本発明の実施形態について説明する。
図１は、本実施の形態に係るデジタルカメラ１の概略構成を示すブロック図である。このデジタルカメラ１は、インターバル撮影機能を有するものであり、バスライン６を介して各部に接続された制御部７を備えている。制御部７は、デジタルカメラ１の各部を制御するワンチップマイコンであって、インターバル撮影制御部７１、動画再生制御部７２、時計部７３及びクロック７４を有している。

インターバル撮影制御部７１は、インターバル撮影時における撮影時間間隔であるインターバル（フレームレート）を制御する。このインターバル撮影では、例えばトータル１２時間の時間内で１〜５分の時間間隔（インターバル）で静止画像を記録する（結果的に静止画像は７２０〜１４４枚記録されることとなる。）。このインターバル撮影により記録された複数の静止画像は、各々静止画像毎に一つの画像ファイルが生成された後、インターバル撮影により記録された他の静止画像と関連付けた情報を埋め込み、記憶部１４に記憶される。したがって、複数のインターバル撮影が行われると、記憶部１４には複数グループの画像ファイルが記録されることになる。そして、このインターバル撮影により記録された静止画像を順次フレーム画像として再生する動画ファイルを生成した場合、例えば生成フレームレートを１．５ＦＰＳとすると、その再生が終了するまでには１６〜３分を要することになる。

動画再生制御部７２は、後述するフローチャートに従って処理を実行することにより、動画ファイルを生成する。この動画ファイルは、フレームに相当する静止画像に、その静止画像を必要に応じてコピー（複製）したものをフレームとして介挿したものである。時計部７３は、インターバル撮影モードにおいてインターバルを計測する等に用いられ、クロック７４はタイミング・ジェネレータであってＣＭＯＳ８を制御する。

ＣＭＯＳ８は、フォーカスレンズ、ズームレンズ等で構成される前記撮像レンズ２の光軸上に配置されている。ユニット回路９は、ＣＭＯＳ８から出力される被写体の光学像に応じたアナログの撮像信号が入力される回路であり、入力した撮像信号を保持するＣＤＳと、その撮像信号を増幅するゲイン調整アンプ（ＡＧＣ）、増幅された撮像信号をデジタルの撮像信号に変換するＡ／Ｄ変換器（ＡＤ）等から構成されている。ＣＭＯＳ８の出力信号はユニット回路９を経て各々デジタル信号として画像処理部１０に送られて、各種画像処理が施される。

また、バスライン６には、入力部１１、プログラムメモリ１２、ワークメモリ１３、記憶部１４及び表示ドライバ１５が接続されている。表示ドライバ１５は、デジタルカメラ１の背面に配置されている表示部１６を駆動する。入力部１１は、シャッターボタン、モード設定キー等を含みユーザによる操作に応じたキー入力信号を制御部７に出力する。プログラムメモリ１２は、制御部７の動作プログラムや各部の制御に使用する各種データが記憶されているとともに、前記フォーカスレンズを駆動してオートフォーカス（ＡＦ）制御を実行するＡＦ制御プログラムも記憶されている。

尚、表示ドライバ１５や表示部１６については、インターバル撮影時には電源供給を止め、動作停止させないように制御しても良い。そうすることにより、電源の長寿命化が図れる。

ワークメモリ１３は、ＣＭＯＳ８により撮像された後、デジタル化された被写体の画像データ等を一時保存するバッファであるとともに、制御部７のワーキングメモリとしても使用される。ワークメモリ１３に一時保存された画像データは、制御部７により圧縮（符号化）が行われ、最終的には所定のフォーマット（ＪＰＥＧ形式等）の画像ファイル、あるいは複数の静止画像データを含む動画ファイル（Ｍｏｔｉｏｎ ＪＰＥＧ形式、ＭＰＥＧ−４形式、ＭＰＥＧ−４ ＡＶＣ形式等）としてファイル名が付されて、記憶部１４に格納される。

尚、記憶部１４は、複数のインターバル撮影が行われた後、１〜５分の時間間隔で記録された画像ファイルがグループ毎に（インターバル撮影毎に）格納されている状態となる。 また、これらのインターバル撮影された複数グループの画像ファイルは、静止画像撮影により記録された画像ファイルや、通常の動画撮影により記録された動画ファイルと識別可能に格納されている。

このように、記憶部１４にインターバル撮影されたグループの画像ファイルが格納されている状態において、ユーザがモード設定キーを操作して、動画生成モードを設定すると、制御部７は、プログラムメモリ１２に記憶されているプログラムに従って、図２のフローチャートに示す手順で処理を実行する。まず、記憶部１４に格納されているインターバル撮影された画像ファイルのグループを読み出して、表示部１６に表示させる（ステップＳ１）。このグループの表示は、ユーザが視覚的にグループを特定できればよく、例えば各グループの先頭画像ファイルの画像であってもよい。

引き続き、この表示させたグループのいずれかに対する操作が検出されたか否かを判断する（ステップＳ２）。ユーザが入力部１１での操作により、いずれかのグループを選択すると、制御部７はこれを検出してステップＳ２からステップＳ３に処理を進める。そして、この選択されたグループの撮影間隔（インターバル）が３０秒以上、１０分未満であるか否かを判断する（ステップＳ３）。このステップＳ３での判断がＮＯであって、撮影間隔が３０秒以上、１０分未満でない場合には、ステップＳ４〜Ｓ１１の処理を実行することなく、当該グループに属する画像ファイルの画像を用いて動画ファイルを生成する（ステップＳ１２）。

したがって、ステップＳ３の判断がＮＯとなるのは、
（１）撮影間隔が３０秒未満である場合
（２）撮影間隔が１０分以上である場合
である。
（１）の場合は撮影間隔が比較的短く、時間的に前後する静止画像において、画像同士において内容が大きく異なる場合が少なく、ステップＳ４〜Ｓ１１の処理を実行せずとも、再生された動画内容の把握が容易であると予測されるからである。また、（２）の場合は撮影間隔があまりにも長く、時間的に前後する静止画像において画像同士の内容が極めて異なり、ステップＳ４〜Ｓ１１の処理を実行しても、内容の把握が容易な動画再生となる可能性が低いと予測されるからである。したがって、ステップＳ３の判断を行うことにより、ステップＳ４〜Ｓ１１の処理を行っても効果の低いグループを予め処理対象から排除することができる。

なお、本実施の形態ではステップＳ３において、撮影間隔のみを判断要素としたが、グループ内の画像ファイルにＧＰＳにより取得した位置情報が記録されている場合には、その位置情報に変化があるか、加速度センサーにより取得した撮影者の姿勢変化情報（又はデジタルカメラ１の姿勢、撮像画角、又は、撮像方向の変化）が記録されている場合には、その位置情報に変化があるか否かの情報も併用して、ステップＳ４〜Ｓ１１の処理を実行するか否かの判断を行うようにしても良い。このようにすれば、全く内容が異なる静止画が多く含まれているグループか否か、つまりはステップＳ４〜Ｓ１１の処理対象とすべきグループであるか否かを適格に判断することができる。

また、ステップＳ３での判断の結果、選択されたグループの撮影間隔が３０秒以上、１０分未満である場合には、当該グループの画像ファイルの画像を全て順次再生させた場合の再生時間を取得する（ステップＳ４）。この再生時間は、再生フレームレートに画像ファイル数を乗じることにより、算出して取得することができる。

次に、類似度合の閾値を設定する（ステップＳ５）。この類似度合の閾値は、前記ステップＳ４で取得した再生時間に応じた値とし、例えば再生時間が短い場合には類似度合の閾値を低い値とし、再生時間が長い場合には類似度合の閾値を高い値とすることが好ましい。その理由については、後述する。
なお、このように制御部７が自動的に閾値を設定するのではなく、ユーザの操作により任意の閾値を設定するようにしてもよい。これより、後述のステップＳ１２で生成される動画ファイルを構成する画像の数、いわば動画の再生時間にユーザの意思を反映させることができる。

しかる後に、当該グループの先頭画像ファイルの画像から順次画像の類似度合いを判断する処理を実行する（ステップＳ６）。つまり、所定の時間間隔で撮影された当該グループに属する複数の画像において、時間的に隣り合う画像同士の類似度合いをステップＳ５で設定した閾値を基準に判断する処理を実行する。より具体的には、次のステップＳ７に示すように、前記時間的に隣り合う画像の類似度合いが前記閾値よりも低いか否かを判断する。この判断がＮＯであって、時間的に隣り合う画像の類似度合いが前記閾値よりも低くない場合、つまり隣り合う画像の類似度合いが閾値よりも高い場合には、後述するステップＳ１０の処理を回避する処理であるスキップ処理を実行した後（ステップＳ８）、ステップＳ１１に進む。

また、時間的に隣り合う画像の類似度合いが閾値よりも低い場合、つまり画像の類似度合いが閾値よりも低く、両画像が類似していない場合には、後に撮影した方の画像の更に後に、類似度合いが前記閾値よりも高い画像が数枚続くか否かを判断する（ステップＳ９）。時間的に隣り合う画像の類似度合いが閾値よりも低く、両画像が類似していない場合であっても、類似度合いが閾値よりも高い画像（類似する画像）が数枚続く場合には、前記スキップ処理（ステップＳ８）を実行する。

そして、時間的に隣り合う画像の類似度合いが閾値よりも低く（ステップＳ７；ＮＯ）、類似しておらず、かつ、後に撮影した方の画像の更に後に、類似度合いが前記閾値よりも高い画像が数枚続かない場合には（ステップＳ９；ＮＯ）、後に撮影した方の画像をコピーして、前記時間的に隣り合う画像間に介挿する（ステップＳ１０）。

引き続き、当該グループに属する画像ファイルの全ての画像に対して、ステップＳ６〜Ｓ１０の処理による類似度合いの判断が終了したか否かを判断し（ステップＳ１１）、全ての画像に対して類似度合いの判断が終了するまで、ステップＳ６からの処理を繰り返す。このようにして、ステップＳ６からの処理が繰り返されることにより、全ての画像に対して類似度合いの判断が終了したならば、当該グループに属する画像ファイルの画像及びステップＳ１０でコピーし介挿した画像をフレームとした動画ファイルを生成して、記憶部１４に格納する（ステップＳ１２）。

この記憶部１４に記憶された動画ファイルを再生すると、時間的に隣り合う画像が類似していない画像間には、後に撮影した方の画像をコピーした画像が介挿されているので、前後の画像同士が大きく異なる場合であっても、シーンの急変が抑制されて内容の把握が困難になることがなく、内容の把握が容易な動画再生が可能となる。よって、インターバル撮影で撮影間隔や移動体の移動状況、移動速度等の撮影状況によっては、全く異なる風景が次々と記録されていた場合であっても、その内容の把握が困難となる不都合を未然に防止することができる。しかし、後に撮影した方の画像の更に後に、類似度合いが高い画像が数枚続く場合には、前記コピーはなされないことから、コピーがなされることにより、再生された動画が冗長となる不都合を未然に防止することもできる。

また、前述のように、再生時間が短い場合には類似度合の閾値を低い値とし、再生時間が長い場合には類似度合の閾値を高い値とする。つまり、静止画像の枚数が多く結果的に再生時間が長い場合、風景が少々変化する度にフレームスピードが落とされると冗長に感じるため、類似度の判定の閾値を高くし、少々画像同士の類似性が低くてもフレームをコピーしないようにする。一方、静止画像の枚数が少なく結果的に再生時間が短い場合、一つ一つの風景を注視する場合があるため、画像同士の類似度の判定の閾値を高くし、少々の変化でもフレームスピードを遅くする。

なお、ステップＳ１２で生成された動画ファイルを再生する際に、ユーザの操作に応じて再生に要する時間を設定する処理と、この設定された時間に合わせて、複数の画像をフレームとした動画のフレームレートを調整する処理とを実行させるようにしてもよい。このようにすれば、生成された動画ファイルが所定の再生時間を超えてしまうほど長くなった場合であっても、所定の再生時間内で再生を行うことが可能となる。

また、本実施形態においては、時間的に隣り合う画像が類似していない画像間には、後に撮影した方の画像をコピーし、これを介挿するようにしたが、前（時間的に過去の方）に撮影した方の画像をコピーし、これを介挿するようにしてもよい。

要は急な画像の内容の変更を伴うような動画再生において、内容が変化したことを閲覧者が認知するための時間を得られれば、前に撮影した静止画像でも後に撮影した静止画像でも、どちらをコピーし介挿しても構わない。

以上、この発明の実施形態について説明したが、この発明はこれらに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下に、本出願の特許請求の範囲に記載された発明を付記する。

＜請求項１＞
所定の時間間隔で撮影された複数の画像において、時間的に隣り合う画像同士の類似度合いを所定の閾値を基準に判断する第１の判断手段と、
この第１の判断手段により前記類似度合いが前記所定の閾値以下であると判断した場合、前記画像同士の内の時間的に前又は後の方の画像を複製する複製手段と、
この複製手段によって複製された画像を前記画像同士の間に介挿し、これら複数の画像をフレームとした動画を再生するよう制御する制御手段と、
を備えることを特徴とする画像処理装置。

＜請求項２＞
前記第１の判断手段が、前記類似度合いが所定の閾値以下であると判断した場合で、前記画像同士の内の時間的に後の方の画像を複製する場合、前記画像同士の内の時間的に後の画像と、時間的にその後に撮影された画像との類似度合いを所定の閾値を基準に判断する第２の判断手段を更に備え、
前記複製手段は、この第２の判断手段により前記類似度合いが前記所定の閾値以下であると判断した場合、前記画像同士の内の時間的に後の方の画像を複製することを特徴とする請求項１記載の画像処理装置。

＜請求項３＞
前記所定の時間間隔が所定の範囲内であるか否かを判断する第３の判断手段を更に備え、
前記第３の判断手段により前記所定の時間間隔が所定の範囲内であると判断した場合、前記第１の判断手段は前記画像同士の類似度合いを所定の閾値を基準に判断することを特徴とする請求項１又は２記載の画像処理装置。

＜請求項４＞
前記複数の画像をフレームとした動画の再生処理に要する時間を取得する時間取得手段と、
この時間取得手段によって取得された時間に応じて、前記類似度合いを判断するための閾値変更する変更手段を更に備えることを特徴とする請求項１乃至３の何れかに記載の画像処理装置。

＜請求項５＞
再生処理に要する時間を設定する再生時間設定手段と、
この再生時間設定手段によって設定された時間に合わせて、前記複数の画像をフレームとした動画再生フレームレートを調整する調整手段と、
を更に有することを特徴とする画像処理装置。

＜請求項６＞
装置が有するコンピュータを、
所定の時間間隔で撮影された複数の画像において、時間的に隣り合う画像同士の類似度合いを所定の閾値を基準に判断する第１の判断手段、
この第１の判断手段により前記類似度合いが前記所定の閾値以下であると判断した場合、前記画像同士の内の時間的に前又は後の方の画像を複製する複製手段、
この複製手段によって複製された画像を前記画像同士の間に介挿し、これら複数の画像をフレームとした動画を再生するよう制御する制御手段、
として機能させることを特徴とするプログラム。

１ デジタルカメラ
７ 制御部
９ ユニット回路
１０ 画像処理部
１１ 入力部
１２ プログラムメモリ
１３ ワークメモリ
１４ 記憶部
７１ インターバル撮影制御部
７２ 動画再生制御部
７３ 時計部

Claims (6)

1. 所定の時間間隔で撮影された複数の画像において、前記所定の時間間隔が所定の範囲内であるか否かを判断する時間間隔判断手段と、
   前記時間間隔判断手段によって前記所定の時間間隔が所定の範囲内であると判断された場合、前記所定の時間間隔で撮影された複数の画像において、時間的に隣り合う画像同士の類似度合いを所定の閾値を基準に判断する第１の判断手段と、
   この第１の判断手段により前記類似度合いが前記所定の閾値以下であると判断した場合、前記画像同士の内の時間的に前又は後の方の画像を複製する複製手段と、
   この複製手段によって複製された画像を前記画像同士の間に介挿し、これら複数の画像をフレームとした動画を生成する生成手段と、
   を備えることを特徴とする画像処理装置。
2. 前記第１の判断手段が、前記類似度合いが前記所定の閾値以下であると判断した場合で、前記画像同士の内の時間的に後の方の画像を複製する場合、前記画像同士の内の時間的に後の画像と、時間的にその後に撮影された画像との類似度合いを前記所定の閾値を基準に判断する第２の判断手段を更に備え、
   前記複製手段は、この第２の判断手段により前記類似度合いが前記所定の閾値以下であると判断した場合、前記画像同士の内の時間的に後の方の画像を複製することを特徴とする請求項１記載の画像処理装置。
3. 前記時間間隔判断手段によって前記所定の時間間隔が所定の範囲内であると判断された場合、前記複数の画像を順次再生させた場合の再生時間を取得する再生時間取得手段と、
   この再生時間取得手段によって取得された再生時間に基づいて、前記所定の閾値を設定する閾値設定手段と、
   を更に備えることを特徴とする請求項１又は２記載の画像処理装置。
4. 再生処理に要する時間を設定する再生時間設定手段と、
   この再生時間設定手段によって設定された時間に合わせて、前記複数の画像をフレームとした動画再生フレームレートを調整する調整手段と、
   を更に有することを特徴とする請求項１乃至３の何れかに記載の画像処理装置。
5. 前記時間間隔判断手段によって前記所定の時間間隔が所定の範囲内でないと判断された場合、前記生成手段は、前記複製手段による画像の複製を行うことなく、前記複数の画像をフレームとした動画を生成することを特徴とする請求項１乃至４の何れかに記載の画像処理装置。
6. 装置が有するコンピュータを、
   所定の時間間隔で撮影された複数の画像において、前記所定の時間間隔が所定の範囲内であるか否かを判断する時間間隔判断手段、
   前記時間間隔判断手段によって前記所定の時間間隔が所定の範囲内であると判断された場合、前記所定の時間間隔で撮影された複数の画像において、時間的に隣り合う画像同士の類似度合いを所定の閾値を基準に判断する第１の判断手段、
   この第１の判断手段により前記類似度合いが前記所定の閾値以下であると判断した場合、前記画像同士の内の時間的に前又は後の方の画像を複製する複製手段、
   この複製手段によって複製された画像を前記画像同士の間に介挿し、これら複数の画像をフレームとした動画を生成する生成手段、
   として機能させることを特徴とするプログラム。

Images