JP2005346233A - 画像処理装置及びプログラム - Google Patents

Abstract

【課題】動画データに応じたスライドショー形式で再生可能なデータを作成する画像処理装置を提供する。
【解決手段】動画データからシーン画像Ｓを切り出し、そのシーン画像Ｓに対応する静止画を検索し、画像ファイルＦ、切り替え時刻Ｔ、切り替え効果Ｅとからなる再生指示ファイルを作成し、記録する。また、対応する静止画が無い場合はシーン画像Ｓを対応する静止画として記録する。
【選択図】図１

Description

本発明は、画像処理装置に関する。

一般に動画の再生には、各々が一枚の独立した画像データである複数の静止画像データと、各静止画像データを表示する順番・表示時間・各種表示効果からなる静止画像再生指示データとによるスライドショー形式のものと、再生基準となる画像データとその差分データからなるＭＰＥＧ（Motion Picture Experts Group）などの動画データから算出され、毎秒所定のフレーム数からなる静止画を連続して再生するものとがある。
例えば、静止画ファイルと静止画像再生指示ファイルの内容に従って効果制御を行い、容易にかつ高速に静止画像データを検索し、表示する技術（特許文献１参照）や、スライドショーを動画データとして記録し、その動画データを再生する技術（特許文献２参照）が公知である。
特開平９−８３９２４号公報 特開２００３−２５９３０３号公報

しかし、スライドショー形式による再生のみに対応している装置では、例え動画データとその動画を構成する静止画像データがあったとしても、静止画像再生指示データが存在しない場合はその動画に則した再生を有効に行うことができなかった。
また、上記動画データとその動画を構成する静止画像データから、動画の各シーンをチェックすることで、その動画データに対応する各静止画像データと静止画像再生指示データとを作成することは、非常に手間がかかり、困難であった。

そこで、本発明は、動画データに応じたスライドショー形式で再生可能なデータを作成する画像処理装置の提供することを課題とするものである。

上記課題を解決するために、請求項１記載の発明は、動画データと複数の静止画像データとが予め格納され、前記動画データからシーンの切り替えに応じたシーン画像を時系列で抽出する抽出手段と、前記シーン画像と前記予め格納された静止画像とを比較して一致する静止画像を検索する検索手段と、前記一致する静止画像の再生の順序を前記抽出手段による時系列に基づいて示した静止画像再生指示ファイルを作成する作成手段と、を備えたことを特徴とする。
更に、コンピュータに対して、上述した請求項１記載の発明に示した主要機能を実現させるためのプログラムを提供する（請求項７記載の発明）。

請求項２記載の発明は、請求項１記載の発明において、前記検索手段は、一致する静止画像が無い場合、前記シーン画像を一致する静止画像とすることを特徴とする。

請求項３記載の発明は、請求項１又は２記載の発明において、前記抽出手段は、シーン画像の表示時間を計時し、前記作成手段は前記表示時間に基づいて前記一致する静止画像の表示時間を示した静止画像再生指示ファイルを作成することを特徴とする。

請求項４記載の発明は、請求項１〜３のいずれか一項に記載の発明において、前記抽出手段は、シーン画像の特徴量の変化を検出し、前記作成手段は前記特徴量の変化に基づいて前記一致する静止画像の表示効果を示した静止画像再生指示ファイルを作成することを特徴とする。

請求項５記載の発明は、請求項１〜４のいずれか一項に記載の発明において、前記作成手段による静止画像再生指示ファイルと前記一致する静止画像とを所定の記録形式に準拠した記録媒体に格納する格納手段を備えたことを特徴とする。

請求項６記載の発明は、請求項１〜５のいずれか一項に記載の発明において、前記格納手段は、所定の形式に準拠して記録することを特徴とする。

ここに、コンピュータとは、バスで接続されたＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）及びＩ／Ｏ（Input／Output）インターフェイスを基本構成とする装置であって、マイクロコンピュータ、マイクロプロセッサ等を含み、その組込先装置の如何（例えばパソコン、ＤＶＤプレイヤー、ＤＶＤレコーダ等）を問わない。したがって本発明に係るプログラムは、上記コンピュータのＲＯＭに格納され、ＣＰＵの統括的制御下においてＲＡＭに展開され、実行に供されるものであるから、本発明のコンピュータプログラムの技術範囲は、当該プログラムが搭載されたコンピュータの装置に及ぶものである。

請求項１、７記載の発明によれば、予め格納された動画と静止画像から、スライドショーを行うため静止画が時系列で示された再生指示ファイルを動画データにおける各シーンに応じて容易に作成することができる。

請求項２記載の発明によれば、動画のシーンに応じた静止画像が予め格納されていない場合であっても、そのシーン画像を静止画像として保存することで、スライドショー形式における再生を行うようにすることができる。

請求項３記載の発明によれば、各シーンごとの表示時間をスライドショー形式再生時間に合わせることで、より動画に近いスライドショーを行うことができる。

請求項４記載の発明によれば、各シーンごとの特徴量の変化をスライドショー形式に反映させることで、より動画における画像の変化に近いスライドショーを行うことができる。

請求項５記載の発明によれば、記録媒体が読み取り可能であり、スライドショー形式に対応した他の機器においても、同様に再生することができる。

請求項６記載の発明によれば、所定の形式により自動で再生される機器などに対しても、スライドショー形式で動画の再生を行うことができる。

［第１の実施の形態］
図面を参照して、本発明に係る画像処理装置１について詳細に説明する。ただし、本発明の範囲は図示例に限定されない。

図１に本発明の画像処理装置としての画像処理装置１の全体構成を示す。画像処理装置１は、演算装置１１と、それに電気的に接続する表示部１２、操作部１３、及びＩ／Ｆ１４と、Ｉ／Ｆ１４により演算装置１１に接続する外部記憶装置１５とからなる。

演算装置１１は、例えばＰＣ（Personal Computer）などの本体部であり、ＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３、画像処理部２４、記憶部２５、及び図示しない表示ディスプレイ用コネクタとマウス・キーボード用コネクタと通信用コネクタとを備え、互いに電気的に接続する。

ＣＰＵ２１は、図示しない内部ＲＡＭを備え、前記内部ＲＡＭ又は後述するＲＡＭ２３の所定領域を作業領域として後述するＲＯＭ２２、記憶部２５、又は外部記憶装置１５に格納されている各種制御プログラムに従い、各部に制御信号を送って画像処理装置１の動作全般を統括制御する。

ＲＯＭ２２は、不揮発性メモリ又は更新するために書き換え可能なフラッシュメモリ（Flash Read-Only Memory）であり、ＣＰＵ２１に対応する初期起動プログラム、各部を制御するための基本動作プログラムなどを格納する記憶領域である。

ＲＡＭ２３は、例えばＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）などで構成される揮発性メモリであり、ＣＰＵ２１が各種アプリケーションプログラムを実行する際に各種データを展開するメモリ領域を形成する。

画像処理部２４は、画像用ＤＳＰ（Digital Signal Processor）等からなり、ＣＰＵ２１から入力される動画データ・静止画像データなどの画像データと制御信号とにより、各種画像処理や動画のフレーム数などによる再生開始時からの計時処理を行い、ＣＰＵ２１へ出力する。

ここにおける画像処理は、動画データを構成する多数のフレームのそれぞれについて、各色成分に関する輝度変化やヒストグラムの変化が所定の閾値以上になった場合にシーンチェンジとして検出し、静止画として切り出す、シーン切り出し処理や、二つの画像データを全体又は所定の対象に対して比較し、画像の移動量・色相・明度・彩度の変化量から特徴量の変化を検出するパターン検出処理、及び形状又は色彩などの方法により二つの画像データを比較し、類似度の算出処理などである。

記憶部２５は、プログラムやデータなどが予め記憶されまたは書込み可能な記録媒体であり、例えばＨＤＤ（Hard Disk Drive）を備えて構成され、ＣＰＵ２１の制御に従って、このＨＤＤ内にプログラムやデータ等を記録する。また、ＣＰＵ２１からプログラムやデータの読み出し指示がなされると、その指示された情報をＨＤＤから読み出してＣＰＵ２１へ出力する。
また、記憶部２５は、ズームイン・アウト、フェードイン・アウト、パン・チルト、及び拡大・縮小といった画像の変化量をそれぞれの特徴量として、そのパターンに応じて格納する。

表示部１２は、上記表示ディスプレイ用コネクタにより演算装置１１と接続するＣＲＴ（Cathode Ray Tube）やＬＣＤ（Liquid Crystal Display）等であり、演算装置１１から入力される表示制御信号に従って、表示部１２の表示画面上に各種画面を表示する。

操作部１３は、上記キーボード用コネクタにより演算装置１１と接続し、カーソルキー、数字入力キー、機能キーなどの各種キーを備えたキーボードや、上記マウス用コネクタにより演算装置１１と接続するマウス・タブレットのポインティングデバイスなどから構成され、押下されたキーの押下信号や、前記ポインティングデバイスの位置信号を演算装置１１へ出力して、ユーザからの操作指示を受け付ける。

Ｉ／Ｆ１４は、例えば、ＵＳＢ（Universal Serial Bus）やＳＣＳＩ（Small Computer System Interface）などにより、外部機器との間で各種データの送受信を行うものであり、演算装置１１と後述する外部記憶装置１５とを接続する。

外部記憶装置１５は、格納手段であり、プログラムやデータなどが予め記憶されまたは書込み可能な記録媒体（図示せず）を有し、当該記録媒体は、磁気的、光学的記録媒体、若しくは半導体等の不揮発性メモリ等の読取り可能な記録媒体で構成されている。記録媒体は、固定ハードディスク等の固定的に設けたもの、若しくは、フロッピー（登録商標）ディスク、ＤＶＤ−ＲＡＭ（Digital Versatile Disc−RAM）、ＤＶＤ＋ＲＷ（DVD+Rewritable）、ＣＤ−ＲＷ（Compact Disc-RW）、メモリカード、及び携帯ハードディスク等の着脱自在に装着する可搬型のものを含む。

また、外部記憶装置１５は、静止画像データ、動画データ及び音データをテキスト、又は人にとっては可読性のないバイナリー形式で記録する。なお、外部記憶装置１５は、ＭＰＶ（Music Photo Video）規格、ＨｉｇｈＭＡＴ（High-Performance Media Access Technology（登録商標））規格に準拠した形式に変換し、記録媒体に記録してよい。これにより、当該規格に準拠した再生装置において、上述した記録媒体を介することでデータを再生することが可能となる。

伝送制御部１６は、上記通信用コネクタにより演算装置１１と接続し、モデム（ＭＯＤＥＭ：MOdulator/DEModulator）、ルータ、ＴＡ（Terminal Adapter）等によって構成され、演算装置１１からの制御信号により、図示しない電話回線、専用線、ＩＳＤＮ回線等の通信回線による通信ネットワークを介して外部機器と通信を行う。

また、伝送制御部１６は、記憶部２５又は外部記憶装置１５が記録するプログラム又はデータの一部又は全部を特に図示しない他の機器からＷＡＮ（Wide Area Network）やＬＡＮ（Local Area Network）等の通信ネットワークを介して受信する構成でもよい。これにより、プログラムが格納された記録媒体は、上記通信ネットワークに接続された他の機器の記録媒体とすることができる。

次に、画像処理装置１における動画データを元にしてスライドショー形式で必要な再生データを作成する処理について、図２、３に示すフローチャートを参照して説明する。ここで説明する処理は、ＣＰＵ２１が行うステップＳ１１〜ステップＳ２８の各処理からなる。

画像処理装置１では、抽出手段としてのステップＳ１１により、動画データからシーン画像Ｓと切り替え時刻Ｔを時系列順（１〜ｎ）に抽出する。ここにおける動画データからの抽出は、動画を構成する多数のフレームのそれぞれについて、各色成分の関する輝度変化やヒストグラムの変化が所定の閾値以上になった場合にシーンチェンジとして検出し、シーン画像Ｓを切り出し、それに対応する切り替え時刻Ｔをフレーム数などにより算出する。

ここにおいて、上述したシーンチェンジの抽出により検出されたシーン画像Ｓについて、図４（ｂ）に例示する。シーン画像Ｓは、最初に一人の人物が撮影され（シーン画像Ｓ１）、ズームイン（シーン画像Ｓ２）、ズームアウトと一人が追加され（シーン画像Ｓ３）、さらにズームアウト（シーン画像Ｓ４）、パン（シーン画像Ｓ５）、最終画面（シーン画像Ｓｎ）と撮影された動画データから切り出されたシーン画像を動画の開始からの各シーンにおける切り替え時刻とともに時系列で並べたものである。

ステップＳ１１の後、抽出したシーン画像Ｓの全てに対して（Ｓ１〜Ｓｎ）時系列順でステップＳ１２〜ステップＳ２５に示すループの処理が行われる（ステップＳ１２）。

ステップＳ１２からのループ処理に入ると、シーン画像Ｓｍ（ｍは１〜ｎまでの整数）とその前後のシーン画像（Ｓｍ−１、Ｓｍ＋１）との特徴量の変化が予め格納されている全ての切り替えパターンＰと比較され（ステップＳ１３）、一致したパターンが存在する場合（ステップＳ１４：ＹＥＳ）、切り替え効果Ｅに一致した切り替えパターンＰが代入される（ステップＳ１５）。
一致したパターンが存在しない場合（ステップＳ１４：ＮＯ）、切り替え効果Ｅには特に付与する効果がないという意味の「なし」が代入される（ステップＳ１６）。

ステップＳ１５又はステップＳ１６で切り替え効果Ｅに所定の値が代入された後、静止画像ファイル群（図４（ａ）参照）から静止画像Ｉが所定の順で抽出され（ステップＳ１７）、シーン画像Ｓと静止画像Ｉに記録された画像データＤとが比較され（ステップＳ１８）、シーン画像Ｓと画像データＤとが一致すると判定された場合（ステップＳ１９：ＹＥＳ）、画像ファイルＦに一致した画像データＤを記録する静止画像Ｉが代入される（ステップＳ２０）。
ステップＳ１９において、シーン画像Ｓと画像データＤとが一致しないと判定された場合（ステップＳ１９：ＮＯ）、静止画像ファイル群において全ての静止画と比較したかが判定され（ステップＳ２１）、全ての静止画像と比較したと判定された場合（ステップＳ２１：ＹＥＳ）、シーン画像Ｓを静止画像ファイルとして記録し、画像ファイルＦにその記録した静止画像ファイルが代入される（ステップＳ２２）。

なお、図４（ａ）は、予め格納される静止画像ファイルの例示である。ステップＳ１７、ステップＳ１８での比較において、例えば前述した図４（ｂ）に示したシーン画像Ｓ２を元に比較される場合、図４（ａ）に示す静止画像Ｉ１が一致すると判定される。

ステップＳ２１において、全ての静止画像と比較していないと判定された場合（ステップＳ２１：ＮＯ）、上記ステップＳ１７〜ステップＳ２１までの処理が、シーン画像Ｓと画像データＤとが一致するか、全ての静止画像と比較されるまで行われる。

ステップＳ２０又はステップＳ２２で画像ファイルＦに所定の静止画ファイルが代入された後、シーン画像Ｓの表示時間がシーン画像Ｓの切り替え時刻Ｔとシーン画像Ｓの切り替え時刻Ｔとの差を求めることで算出され（ステップＳ２３）、作成手段としてのステップＳ２４により再生指示データとして画像ファイルＦ、切り替え時刻Ｔ、切り替え効果Ｅが記録され、ループの最初に戻る（ステップＳ２５）。

以上に示したループ処理により、抽出したシーン画像Ｓの全てに対して検索手段としてのステップＳ１３〜ステップＳ２３を行い、作成手段としてのステップＳ２４を行うことで、元となる動画データから再生指示データを作成することができる。

ステップＳ１２〜ステップＳ２５のループ処理の後、再生指示データとして保存され（図３：ステップＳ２６）、動画データから音声データＭＤが抽出され（ステップＳ２７）、その音声データＭＤが音声ファイルＭＦとして保存されて（ステップＳ２８）、終了する。
上記ステップＳ２６〜ステップＳ２８の処理により、動画データを元にしたスライドショー形式での再生時においてその音声ファイルも同時に再生することで、音声出力を行うようにすることができる。

以上のように、本発明の画像処理装置１は、動画データからシーン画像Ｓを切り出し、そのシーン画像Ｓに対応する静止画を検索し、画像ファイルＦ、切り替え時刻Ｔ、切り替え効果Ｅとからなる再生指示ファイルを作成し、記録する。また、対応する静止画が無い場合はシーン画像Ｓを対応する静止画として記録する。

従って、ユーザは、動画をチェックして煩雑な編集作業を行うことなく、容易にスライドショー形式で再生に必要な再生指示ファイルと静止画像ファイルを得ることができる。また、その再生指示ファイルと静止画像ファイルを記録媒体に保存し、スライドショー形式で再生可能な他の機器で再生することで、動画と同様な再生画像を得ることができる。

本発明における画像処理装置１の構成図である。 本発明における再生指示データ作成処理の前段を説明するフローチャートである。 本発明における再生指示データ作成処理の後段を説明するフローチャートである。 （ａ）は、静止画像Ｉ１〜Ｉｎからなる静止画像群を説明する図であり、（ｂ）は、シーン画像Ｓ１〜Ｓｎからなる抽出されたシーン画像を説明する図である。

符号の説明

１ 画像処理装置
１１ 演算装置
１２ 表示部
１３ 操作部
１４ Ｉ／Ｆ
１５ 外部記憶装置
１６ 伝送制御部
２１ ＣＰＵ
２２ ＲＯＭ
２３ ＲＡＭ
２４ 画像処理部
２５ 記憶部
Ｉ 静止画像
Ｓ シーン画像

Claims (7)

1. 動画データと複数の静止画像データとが予め格納され、
   前記動画データからシーンの切り替えに応じたシーン画像を時系列で抽出する抽出手段と、
   前記シーン画像と前記予め格納された静止画像とを比較して一致する静止画像を検索する検索手段と、
   前記一致する静止画像の再生の順序を前記抽出手段による時系列に基づいて示した静止画像再生指示ファイルを作成する作成手段と、
   を備えたことを特徴とする画像処理装置。
2. 前記検索手段は、一致する静止画像が無い場合、前記シーン画像を一致する静止画像とすることを特徴とする請求項１記載の画像処理装置。
3. 前記抽出手段は、シーン画像の表示時間を計時し、
   前記作成手段は前記表示時間に基づいて前記一致する静止画像の表示時間を示した静止画像再生指示ファイルを作成することを特徴とする請求項１又は２記載の画像処理装置。
4. 前記抽出手段は、シーン画像の特徴量の変化を検出し、
   前記作成手段は前記特徴量の変化に基づいて前記一致する静止画像の表示効果を示した静止画像再生指示ファイルを作成することを特徴とする請求項１〜３のいずれか一項に記載の画像処理装置。
5. 前記作成手段による静止画像再生指示ファイルと前記一致する静止画像とを所定の記録形式に準拠した記録媒体に格納する格納手段を備えたことを特徴とする請求項１〜４のいずれか一項に記載の画像処理装置。
6. 前記格納手段は、所定の形式に準拠して記録することを特徴とする請求項１〜５のいずれか一項に記載の画像処理装置。
7. コンピュータに
   動画データと複数の静止画像データとが予め格納され、
   前記動画データからシーンの切り替えに応じたシーン画像を時系列で抽出する抽出手段と、
   前記シーン画像と前記予め格納された静止画像とを比較して一致する静止画像を検索する検索手段と、
   前記一致する静止画像の再生の順序を前記抽出手段による時系列に基づいて示した静止画像再生指示ファイルを作成する作成手段と、
   を実現させるためのプログラム。

Images