JP2005292691A - 動画像表示装置および動画像表示方法 - Google Patents

Abstract

【課題】表示画面の小さい携帯電話等の動画像表示装置において、画面の一部を拡大表示した動画像データを内容を解析しながら作成し、閲覧者に提示する。
【解決手段】シーン切替検出手段２３で作成されたシーン切り替えデータと表示情報データ管理手段２６で作成された表示情報データをもとに、表示動画生成手段２７において画面の一部を拡大表示した動画像を作成することで、動画像データの内容に即した拡大動画を自動的に作成し利用者に提示することができ、表示画面の限られた動画像表示装置上で閲覧者が内容を把握しやすい動画像再生を実現することができる。
【選択図】 図１

Description

本発明は、ネットワークを介してサービスされる動画像を受信して、その動画像の一部を拡大して表示する携帯端末等の動画像表示装置および動画像表示方法に関する。

近年無線通信技術や圧縮符号化技術の発達に従って、携帯電話等の通信機能を有した携帯端末を動画像表示装置として利用し、移動体通信網を経て動画像サーバから受信した動画像を閲覧することが可能となっている。このようなシステムでは動画像サーバおよび動画像表示装置内に、表示する動画像データを送受信する送受信手段や、動画像データを無線で伝送可能なデータに圧縮符号化する動画像圧縮符号化手段等を備えている。また、通信回線の通信速度や通信品質に合わせて再生する動画像の品質を制御できるシステムが提案されている（例えば特許文献１）。また、動画像を表示する際に動画像表示装置が備える表示部分の画面サイズを考慮して、動画像の一部を拡大し、その他の部分を縮小して表示できるシステムが提案されている（例えば特許文献２）。このシステムでは、携帯型の動画表示装置など表示画面の小さい端末上でも利用者が動画像の内容を容易に把握できるという特徴がある。
特開２０００−２０９５５５号公報 特開２００３−８４７４９号公報

従来の一般的な動画像サーバおよび動画像表示装置では、動画像サーバが管理する動画像データを動画像表示装置が受信し、その動画像データの符号化時のビットレートや画面サイズ等の属性データを変更することなく複合化して動画像表示装置の表示手段で再生される。その際、動画像表示装置として使用される携帯端末では、動画像データを通信する際の通信速度や通信品質がボトルネックとなり、高画質な動画の再生が困難であり、さらに携帯端末の画面サイズでは、動画像の内容を把握することが困難である。また、特許文献２における動画表示装置では、動画像の一部を拡大表示し、その他の部分を縮小表示することで特定の箇所を認識しやすくしているが、携帯端末や携帯電話等の携帯型の動画像表示装置では、表示面積が非常に小さく、縮小表示しても内容把握ができない。また、特許文献２における動画表示装置では、拡大表示する部分を利用者が明示的に指示する必要があり、特に、利用者が内容を把握していない動画像の再生時には、拡大表示指示に伴う操作が複雑になり、動画像の内容を楽しむことが非常に困難になる。

そこで本発明は、動画像データを閲覧する際に、動画像の一部分を拡大表示して再生することができ、閲覧者が動画像の内容を容易に把握できる動画像表示装置及び動画像表示方法を提供することを目的とする。

請求項１記載の本発明の動画像表示装置は、動画像サーバから動画像データを受信する通信手段と、前記動画像サーバから受信した前記動画像データを格納して管理する動画像データ管理手段と、前記動画像データ中のシーンの変わり目を検出してシーン切り替えデータを生成するシーン切替検出手段と、シーン毎の動画像の内容から画面に表示する動画像の拡大範囲を決定して表示情報データを生成する表示情報データ生成手段と、前記シーン切替データと前記表示情報データを参照し、前記動画像データの一部を拡大した表示用動画像データを生成する表示動画生成手段と、前記表示動画生成手段において生成した表示用動画像データを表示する表示手段とを備えたことを特徴とする。
請求項２記載の本発明は、請求項１記載の動画像表示装置において、前記シーン切替検出手段は、前記動画像データ中のフレーム間の画素データ差分を計算する手段と、前記画素データ差分を所定値と比較する手段と、前記画素データ差分が所定値より大きいフレームをシーンの切り替わりと認識する手段とを有し、シーンの切り替わりと認識したフレームを動画像の時間軸に対応させた形でデータ化してシーン切り替えデータとしてシーン切替データ管理手段に蓄積することを特徴とする。
請求項３記載の本発明は、請求項１記載の動画像表示装置において、前記表示情報データ生成手段は、動画像データを構成するフレーム画像の周波数成分を解析する手段と、解析した周波数成分から、動画像データの内容の複雑さ、および動画の画面の中で注目すべき位置を認識する手段と、認識した動画像データの内容の複雑さと注目すべき位置から、画面に表示する動画サイズおよび拡大範囲を決定する手段とを有することを特徴とする。
請求項４記載の本発明は、請求項１記載の動画像表示装置において、ユーザが変更した設定変更データを記憶して前記動画像データと対応付けて管理する表示変更情報管理手段を備え、前記表示動画生成手段では、前記表示変更情報管理手段に記憶された設定変更データに基づいて動画像の拡大範囲および表示画像サイズを変更することを特徴とする。
請求項５記載の本発明は、請求項１記載の動画像表示装置において、前記動画像データ管理手段は、動画像サーバから受信した動画像データを、表示用動画像データではなく受信した元データのまま保存することを特徴とする。
請求項６記載の本発明は、請求項１記載の動画像表示装置において、前記表示動画作成手段は、前記シーン切り替えデータに記述されているシーン毎に表示用動画像を作成する際に、表示する前記シーンの動画像全体を写してから前記表示情報データで指定された箇所を拡大表示することを特徴とする。
請求項７記載の本発明は、請求項１記載の動画像表示装置において、前記表示手段は、前記表示動画作成手段において作成された拡大画像を用いた表示用動画像と、前記動画像データ管理手段で管理されているオリジナルの動画像データとを同一画面上に同時に表示する機能を有することを特徴とする。
請求項８記載の本発明は、請求項１記載の動画像表示装置において、前記表示手段は、複数の表示画面で構成され、前記表示動画作成手段において作成された拡大画像を用いた表示用動画像と、前記動画像データ管理手段で管理されているオリジナルの動画像データとを、それぞれ別の表示画面で同時に再生する機能を有することを特徴とする。
請求項９記載の本発明の動画像表示方法は、複数のフレーム画像からなる動画像を動画像表示装置上で表示させる動画像表示方法であって、動画サーバから受信した動画像データを構成する各フレーム画像の周波数成分を解析し、解析した周波数成分から動画像中で注目すべき位置を認識し、認識した動画像データの位置から、画面に表示する拡大範囲を決定することを特徴とする。

本発明によれば携帯電話、携帯端末等の表示画面領域の限られた動画像再生端末を用いて動画像データを閲覧する際に、動画像の一部分を拡大表示して再生することができ、閲覧者が動画像の内容を容易に把握できる。
また、本発明における動画像再生方法は動画像を拡大表示する範囲および位置を、動画像の内容によって自動的に決定されるため、利用者は自分で拡大箇所を指定する必要が無く簡単に動画像の閲覧が行える。
さらに本発明における動画像再生方法では、動画再生中に利用者が変更した内容を保存しておき、次回以降の再生時に利用することにより、動画閲覧者の好みを反映した動画像再生が可能となる。

本発明の第１の実施の形態による動画像表示装置は、動画像サーバから動画像データを受信する通信手段と、動画像サーバから受信した動画像データを格納して管理する動画像データ管理手段と、動画像データ中のシーンの変わり目を検出してシーン切り替えデータを生成するシーン切替検出手段と、シーン毎の動画像の内容から画面に表示する動画像の拡大範囲を決定して表示情報データを生成する表示情報データ生成手段と、シーン切替データと表示情報データを参照し、動画像データの一部を拡大した表示用動画像データを生成する表示動画生成手段と、表示動画生成手段において生成した表示用動画像データを表示する表示手段とを備えたものである。本実施の形態によれば、再生する動画像データの一部を拡大表示して利用者に提示することが可能となり、小さい画面でも動画像の内容を容易に把握することが可能となる。
本発明の第２の実施の形態は、第１の実施の形態による動画像表示装置において、シーン切替検出手段は、動画像データ中のフレーム間の画素データ差分を計算する手段と、画素データ差分を所定値と比較する手段と、画素データ差分が所定値より大きいフレームをシーンの切り替わりと認識する手段とを有し、シーンの切り替わりと認識したフレームを動画像の時間軸に対応させた形でデータ化してシーン切り替えデータとしてシーン切替データ管理手段に蓄積するものである。本実施の形態によれば、動画像の内容の変化が少ない部分を１つのシーンとして管理し、同じシーン内は同じ箇所を拡大表示することで拡大位置の変化が少なくなり、かつ利用者が動画像の内容を把握し易い動画像再生が可能となる。
本発明の第３の実施の形態は、第１の実施の形態による動画像表示装置において、表示情報データ生成手段は、動画像データを構成するフレーム画像の周波数成分を解析する手段と、解析した周波数成分から、動画像データの内容の複雑さ、および動画の画面の中で注目すべき位置を認識する手段と、認識した動画像データの内容の複雑さと注目すべき位置から、画面に表示する動画サイズおよび拡大範囲を決定する手段とを有するものである。本実施の形態によれば、この構成により動画像の内容によって最適な箇所を自動的に拡大表示することが可能となり、利用者が拡大位置を選択するという手順を省くことができ、動画像の内容を把握しやすい快適な動画像再生を実現することが可能となる。
本発明の第４の実施の形態は、第１の実施の形態による動画像表示装置において、ユーザが変更した設定変更データを記憶して動画像データと対応付けて管理する表示変更情報管理手段を備え、表示動画生成手段では、表示変更情報管理手段に記憶された設定変更データに基づいて動画像の拡大範囲および表示画像サイズを変更するものである。本実施の形態によれば、この構成により動画像再生時に利用者が前回変更した内容を反映することが可能となり、より利用者の嗜好を反映した動画像再生が可能になる。
本発明の第５の実施の形態は、第１の実施の形態による動画像表示装置において、動画像データ管理手段は、動画像サーバから受信した動画像データを、表示用動画像データではなく受信した元データのまま保存するものである。本実施の形態によれば、一部を拡大表示した再生用の動画像のみを保存する場合と比較して、表示情報データを変更するたびにサーバから動画像データを受信する必要が無くなり、次回以降の動画再生時の表示サイズや拡大範囲変更への要求に対して柔軟に対応することが可能になる。
本発明の第６の実施の形態は、第１の実施の形態による動画像表示装置において、表示動画作成手段は、シーン切り替えデータに記述されているシーン毎に表示用動画像を作成する際に、表示するシーンの動画像全体を写してから表示情報データで指定された箇所を拡大表示するものである。本実施の形態によれば、利用者はシーン毎に一部を拡大表示する前に画面全体を見ることができるため、動画像の内容をより把握しやすくなるという効果を有する。
本発明の第７の実施の形態は、第１の実施の形態による動画像表示装置において、表示手段は、表示動画作成手段において作成された拡大画像を用いた表示用動画像と、動画像データ管理手段で管理されているオリジナルの動画像データとを同一画面上に同時に表示する機能を有するものである。本実施の形態によれば、利用者がこの機能を選択することで、同一画面上でオリジナルの動画像と、一部を拡大した動画像の両方を同時に閲覧することができ、画面全体を把握しながら細部も確認することが可能となる。
本発明の第８の実施の形態は、第１の実施の形態による動画像表示装置において、表示手段は、複数の表示画面で構成され、表示動画作成手段において作成された拡大画像を用いた表示用動画像と、動画像データ管理手段で管理されているオリジナルの動画像データとを、それぞれ別の表示画面で同時に再生する機能を有するものである。本実施の形態によれば、複数の画面で構成された動画再生装置において、利用者が本機能を選択することで、異なる画面上でオリジナルの動画像と、一部を拡大した動画像の両方を同時に閲覧することができ、複数の画面を有効に利用しながら画面全体の把握と細部の確認とを行うことが可能となる。
本発明の第９の実施の形態の動画像表示方法は、複数のフレーム画像からなる動画像を動画像表示装置上で表示させる動画像表示方法であって、動画サーバから受信した動画像データを構成する各フレーム画像の周波数成分を解析し、解析した周波数成分から動画像中で注目すべき位置を認識し、認識した動画像データの位置から、画面に表示する拡大範囲を決定するものである。本実施の形態によれば、その部分を拡大して利用者に提示することで、画面サイズの小さい携帯型の端末等でも、利用者が動画像の内容を用意に把握できる。

以下、本発明の一実施例による動画像表示装置について説明する。
図１は本発明の一実施例における動画像表示装置を機能実現手段で表したブロック図、図２は同装置における動画像表示までの各処理の流れを示すフローチャート、図３は同装置のシーン切替検出手段におけるシーン切替データ生成処理の流れを示すフローチャート、図４は同装置の表示情報データ管理手段における表示情報データ生成処理の流れを示すフローチャート、図５は同装置の表示動画生成手段における表示動画生成処理の流れを示すフローチャート、図６は同装置における動画像再生中の表示手段のイメージ図、図７は同装置における動画像再生時のユーザ操作による表示情報変更処理の流れを示すフローチャート、図８は同装置における２回目以降の動画像再生処理の流れを示すフローチャート、図９は同装置におけるオリジナル動画像データと拡大動画データの同時再生処理を示した画面イメージ図、図１０は同装置におけるオリジナル動画像データと拡大動画データの２つの画面上での同時再生処理を示した画面イメージ図である。

まず図１を用いて本実施例における動画像表示装置の構成を説明する。
動画像表示装置２０は、動画像サーバ１０との間でデータを送受信する通信手段２１を有している。動画像サーバ１０は、動画像表示装置２０からの要求データに基づいて、予めサーバ内に蓄積してある動画像データの中から該当する動画像データを動画像表示装置２０に対して送信する。動画像表示装置２０は、動画像サーバ１０から送信される動画像データを通信手段２１で受信し、受信した動画像データは、動画像データ管理手段２２によって、データの種類毎に蓄積して管理される。
シーン切替検出手段２３は、動画像データ管理手段２２に蓄積した動画像データから、場面転換を認識し、シーン切替データを生成する。このシーン切替検出手段２３では、動画像中の各フレーム画像を順に検索し、画像内容が大幅に変化するタイミングをシーン切替データと判断する。シーン切替データ管理手段２４では、シーン切替検出手段２３で生成したシーン切替データを、動画像データ毎に蓄積、管理する。
表示情報データ生成手段２５は、再生する動画像データの表示方法を決定し、表示情報データを生成する。この表示情報データ生成手段２５では、シーン切替検出手段２３で取得し、シーン切替データ管理手段２４に管理されたシーン切替データを参照し、動画像データ管理手段２２から取得する動画像データのシーン毎に、動画像中の拡大位置、拡大サイズを決定することで表示情報データを生成する。表示情報データ管理手段２６では、表示情報データ生成手段２５で生成した表示情報データを、動画像データのシーン毎に蓄積、管理する。
表示動画生成手段２７は、表示手段２８で再生するための再生用動画像データを生成し、表示手段２８に出力する。この表示動画生成手段２７では、シーン切替データ管理手段２４に蓄積されたシーン切替データと、表示情報データ管理手段２６に蓄積された表示情報データを読み取り、動画像データ管理手段２２から取得した動画像データを、表示情報データに基づいて拡大表示した再生用動画像データを生成する。
表示変更情報管理手段２９は、動画像再生時に表示方法変更手段３０から入力された変更表示方法に関するデータを記憶して管理する。この表示変更情報管理手段２９では、利用者が変更した際の、動画像の拡大位置や拡大サイズに関する変更データを、動画像データと対応付けて保存する。表示動画生成手段２７では、再びこの動画像を再生する際に、表示変更情報管理手段２９に保存された変更データを参照して動画像の表示処理を行う。表示手段２８は、携帯電話や携帯端末装置の液晶画面等に相当し、利用者に対して動画像を再生出力する。

次に動画像表示装置２０が動画像データを受信してから、動画像の再生を行うまでの処理概要について図２を用いて説明する。
まず、動画像表示装置２０は、通信手段２１から、利用者が見たいと思う動画像データの要求を動画像サーバ１０に対して送信し、通信手段２１によって動画像サーバ１０から送信される動画像データを受信する（ステップ１１）。この時の通信方法としては、例えば携帯電話や携帯端末装置に具備される無線通信機能を使用することができる。受信した動画像データは、動画像データ管理手段２２において、受信した動画像データを変更しない状態で、動画像データの種類毎に蓄積・管理される。次に、シーン切替データの作成処理に移行する（ステップ１２）。ステップ１２では、動画像データを、その内容毎に幾つかのシーンに分類するために、動画像データの各フレーム画像を解析し、場面が大きく変化するシーンをシーン切替データとしてシーン切替データ管理手段２４に保存し、以降の各処理では、保存されたこのシーン切替データを使用する。ステップ１２の後に、表示情報データの作成処理に移行する（ステップ１３）。ステップ１３では、ステップ１２で作成したシーン切替データを参照し、動画像データのシーン毎に、その中で最も注目すべき（そのシーンの内容を把握するために注目すべき）位置および範囲を、シーンの内容から判断して自動的に決定し、表示情報データとして保存する。ステップ１３の後に、表示動画像の作成処理に移行する（ステップ１４）。ステップ１４では、ステップ１３で作成した表示情報データを参照し、動画像データの一部を拡大表示した表示動画像を作成する。そしてステップ１４で作成した表示動画像を再生する（ステップ１５）。これにより表示手段２８に動画像が表示され、利用者が動画像を閲覧することができる。以上のような処理を行うことにより、表示画面の小さい動画像表示装置でも、要部を拡大して表示できるので、動画像の内容を容易に把握し、快適に閲覧することができる。

次に、図２におけるステップ１２のシーン切替データの作成処理について図３を用いて説明する。
シーン切替データの作成処理が開始されると、対象となる動画像データの各フレーム画像間の差分データを計算する（ステップ２１）。各フレーム画像間の差分データにより、動画像データ中で内容が大きく変化する場面を検出することができる。また、動画像データ量が大きい場合には、全てのフレーム画像について差分値を求めるのはデータ処理に時間を要するため、適当な間隔でフレーム画像を抽出し、抽出したフレーム画像間の差分値を求めてもよい。そして、ステップ２１で求めたデータの差分値が所定値以上であるか否かを判断し、差分値が所定値以上のフレーム画像を時系列順に抽出し、シーンが切り替わる個所として検出する（ステップ２２）。次に、ステップ２２で検出した個所の位置データとその差分値をシーン切り替えデータとして保存する（ステップ２３）。ここで位置データだけでなく差分値も保存することによって、利用者が表示方法変更手段３０によって変更情報を設定する場合に、例えば差分値が設定値以下の個所に関しては、シーンの切り替え点としては認めないとの条件設定を行い、シーン切り替え個所の個数を制御することができる。
以上の処理を行うために、シーン切替検出手段２３は、動画像データ中のフレーム間の画素データ差分を計算する手段と、画素データ差分を所定値と比較する手段と、画素データ差分が所定値より大きいフレームをシーンの切り替わりと認識する手段とを有する。そして、シーンの切り替わりと認識したフレームを、動画像の時間軸に対応させた形でデータ化してシーン切り替えデータとしてシーン切替データ管理手段に蓄積することにより、動画像の内容の変化が少ない部分を１つのシーンとして管理し、同じシーン内は同じ箇所を拡大表示することで拡大位置の変化が少なくなり、かつ利用者が動画像の内容を把握し易い動画像再生が可能となる。

次に、図２におけるステップ１３の表示情報データの作成処理について図４を用いて説明する。
表示情報データの作成処理が開始されると、まず、動画像表示装置２０の画面サイズデータを取得する（ステップ３１）。ここで取得した画面サイズデータは、動画像の拡大範囲を決定する際に参照される。画面サイズが小さい程、動画像の拡大範囲を小さく、逆に画面が大きくなると、拡大範囲を大きく設定する。そして画面サイズが十分大きい場合は、動画像の画面全体を拡大設定する。
次に動画像データ周波数成分の算出処理に移行する（ステップ３２）。ステップ３２では、各シーンの先頭フレーム画像の周波数成分を算出する。算出したフレーム画像の周波数成分は、このフレーム画像の画面の複雑さを判断するために用いる。高周波成分が多い画像は画像内容が複雑であるため、より狭い範囲を拡大範囲として選択し、大きく拡大する必要がある。逆に低周波成分が多い画像は画像内容がより単純であると判断し、広い範囲を拡大範囲として、なるべく多くの情報を画面に含めるようにする。ステップ３２における周波数成分の算出処理としては、離散コサイン変換（ＤＣＴ）や高速フーリエ変換（ＦＦＴ）を利用することができる。次に、拡大位置の検出処理に移行する（ステップ３３）。ステップ３３では、動画像データにおける各シーン内のフレーム画像の差分を取り、フレーム画像を構成する画素毎にフレーム間の変化を検出し、フレーム画像の中で変化が大きい部分をそのシーンの中で注目すべき部分であると判断して、変化が大きい部分を画像中の拡大位置として決定する。例えば、ゴルフ等のスポーツ中継の場面を例にすると、一般的にゴルフプレイヤーがボールを打つ場面では、中央にプレイヤーが位置し、その周りにギャラリーや背景が映ることが多い。このような場面を小さい画面で見る場合、利用者が拡大して再生したいのは中央に位置するプレイヤーであり、このシーンのフレーム画像間の差分を取ると、スウィングをするプレイヤーの部分が最も大きくなることが考えられ、結果として利用者が注目したい部分を自動的に抽出して拡大することが可能となる（このイメージに関しては図６参照）。また、例えば複数の人物が登場するような場面では、台詞を話している人物は仕草も表情も変化が大きくなるため、この人物を自動的に拡大して再生することが可能となる。ここで、フレーム画像の全画素についてフレーム間の差分を計算するのは大きな処理負荷となるため、フレーム画像を幾つかのブロックに分割し、そのブロック毎のフレーム間の差分を計算してもよい。
次に、ステップ３１で取得した画面サイズデータと、ステップ３２で算出した周波数成分データから動画像の拡大範囲を決定する（ステップ３４）。ステップ３４において、拡大範囲の決定に、画面サイズデータと周波数成分データの２つのデータを用いることにより、動画像表示装置の画面サイズと動画像データの内容を考慮した拡大動画像を作成することができ、より利用者が動画像の内容を把握しやすい拡大動画像を作成することができる。
次に、表示情報データの保存処理に移行する（ステップ３５）。ステップ３５では、ステップ３３で決定した動画像の拡大位置データと、ステップ３４で決定した拡大範囲データを表示情報データとし、表示情報データを動画像データのシーン毎に保存し、表示情報データの作成処理を終了する。
以上の処理を行うために、表示情報データ生成手段２５は、動画像データを構成するフレーム画像の周波数成分を解析する手段と、解析した周波数成分から、動画像データの内容の複雑さ、および動画の画面の中で注目すべき位置を認識する手段と、認識した動画像データの内容の複雑さと注目すべき位置から、画面に表示する動画サイズおよび拡大範囲を決定する手段とを有する。従って、動画像の内容によって最適な箇所を自動的に拡大表示することが可能となり、利用者が拡大位置を選択するという手順を省くことができ、動画像の内容を把握しやすい快適な動画像再生を実現することが可能となる。

次に、図２におけるステップ１４の表示動画の作成処理について図５を用いて説明する。
表示動画の作成処理が開始されると、表示動画生成手段２７は、動画像データ管理手段２２で管理されている動画像データを取得する（ステップ４１）。また、シーン切替データ管理手段２４に保存されたシーン切替データを取得する（ステップ４２）。また、表示情報データ管理手段２６に保存された表示情報データを取得する（ステップ４３）。そして、表示動画像生成、再生処理に移行する（ステップ４４）。ステップ４４では、ステップ４２で取得したシーン切替データに記録されているシーン毎に、ステップ４３で取得した表示情報データに記録されている画面上の拡大位置、拡大範囲を参照し、表示用の動画像をリアルタイムに生成して、表示手段２８に動画像を表示させる。なお、表示用の動画像の生成にあたっては、再生中のシーンが変わる度に一度画像全体を数秒間表示し、その後に一部分の拡大表示を行うことが好ましい。このように、拡大表示を行う前に、拡大前の動画像データを所定時間表示することで、利用者は、各シーン毎に拡大表示前のオリジナルデータの画像を見ることができ、どの部分が拡大表示されたのかを容易に判断でき、利用者が内容をより把握しやすい動画像表示を行うことができる。さらに、動画像データ管理手段２２へのデータ保存は、拡大後の動画像ではなく、受信したままのオリジナルデータで保存し、再生の度に表示用動画像を作成して再生することで、次回再生時の拡大方法の変更等に対応することが容易となり、柔軟な動画像再生に対応できる。

次に動画像再生中の表示方法の変更処理について図６を用いて説明する。
動画像データ３１は、オリジナルデータを、動画像データ３２は動画再生を行うために拡大される領域データを、動画像データ３３は実際に表示手段で動画像を再生する際の表示データを示している。
表示方法変更手段３０は、拡大する領域の広さ（拡大範囲）を変更する際に押下する拡大範囲変更ボタン３４、拡大する領域の位置（拡大位置）を変更する際に押下する拡大位置変更ボタン３５、各処理を行う際に使用するカーソルボタン３６、他の動画像を再生する際に押下する動画選択ボタン３７、再生するシーンを移動する際に押下するシーン移動ボタン３８、動画像の再生処理を停止する際に押下する停止ボタン３９、動画像の再生処理を開始する際に押下する再生ボタン４０、オリジナルの動画像と再生用の拡大動画像を同時に再生する際に押下する同時再生ボタン４１を有している。
利用者は、動画像の再生中に拡大範囲変更ボタン３４もしくは拡大位置変更ボタン３５を押下し、その後カーソルボタン３６で変更する程度を指定することによって、表示する拡大動画像の内容を変更することができる。

この表示方法の変更処理について図７を用いて説明する。
動画像再生中に、利用者によって表示内容変更操作が行われると、まず現在再生中の動画像データの拡大位置もしくは拡大範囲を利用者が指定した様に変更する（ステップ５１）。ステップ５１によって動画像データの変更が行われると、利用者が表示方法を変更したシーンの再生が終了したかどうか判断する（ステップ５２）。まだ再生中である場合は、引き続きシーンの再生を行う。そのシーンの再生が終了した場合には、ユーザによって変更された表示変更情報データを表示変更情報管理手段２９に保存する（ステップ５３）。この表示変更情報データは、同じ動画像データを再び再生する際に使用する。そして、動画像の初回の再生処理が終了した後で、動画像データの付加情報記録部分に初回再生終了を示す情報を付加する。この情報を付加することで、次回動画再生時に表示動画生成手段２７において、これから再生する動画像が２回目の再生であることを認識することができる。

動画像データの２回目以降の再生時の処理について図８を用いて説明する。
図８の処理は、ステップ６３の判断処理以外は図５に示した表示動画作成処理と同様の処理であるため説明を一部省略する。
２回目以降の動画再生処理が開始されると、再生する動画像データを取得し（ステップ６１）、シーン切替データを取得する（ステップ６２）。そして、表示変更情報管理手段２９に表示変更情報データが保存されているかどうか確認する（ステップ６３）。もし保存されていればその表示変更情報データを参照してそのシーンの拡大動画像を作成して再生する。表示変更情報データが保存されていなければ、ステップ６４、ステップ６５と移行し、図５に示した処理と同様の処理を行うことで動画像を再生する。このように利用者による表示変更情報データを保存して２回目以降の動画再生時に利用することにより、２回目以降の処理負荷を軽減できると共に、利用者の好みを反映した動画像再生を行え、より利用者が使いやすい動画像再生を実現できる。

次に動画再生処理の付加機能である、オリジナル動画像と拡大動画像の同時再生処理について図９および図１０を用いて説明する。なお、図９および図１０は、図６内の表示領域３の部分を取り出したものである。利用者が動画像の再生中に同時再生ボタン（図６のボタン４１）を押下すると、図９に示すように、動画像データ管理手段で管理されているオリジナルの動画像データ４４と、表示動画生成手段で生成された表示用動画像データ４３とを同じ画面４２上で同時に再生する。この機能により利用者は、常に全体の画面を見ながら、一部を拡大した動画像を同時に見ることができ、全体内容の把握と詳細内容の把握を効率的に行うことが可能となる。また、図１０に示すように、動画像を再生する再生装置が複数の画面４５、４６を持つ場合には、片方の画面４５でオリジナル動画像データ４７を再生し、もう一方の画面４６で拡大した動画像データ４８を再生することも可能となる。これは例えば２つの液晶画面を持つ携帯電話等において、メイン液晶画面でオリジナル動画像を再生し、サブ液晶画面で拡大した動画像データを再生するようなことができる。この機能により利用者は、現在の携帯電話の使用状況により、メイン液晶画面もしくはサブ液晶画面を使い分けて、動画像の再生を行うことが可能となる。この機能は、例えば通常はメイン液晶画面で動画像再生を行い、携帯電話を閉じる必要のある場合や、バッテリーの残量が少ない場合などに、携帯電話の背面にある小さなサブ液晶画面で拡大動画像の再生を行うような時に使用できる。なお、特に携帯電話など機器の大きさに制約がある場合には、操作ボタンをソフトウェアによって画面に表示させることが好ましい。

本発明の動画像表示装置は、動画像を表示するための液晶パネルや、各操作を行うためのボタンが備えられた動画像表示専用の装置として利用することができ、特に携帯電話等の携帯通信端末機器や、通信機能を伴った汎用的な携帯端末において有効に利用できる。

本発明における動画像表示装置の構成を示すブロック図 本発明の動画像表示装置における動画像表示までの各処理の流れを示すフローチャート 本発明の実施例における動画像データ中のシーン切替位置検出時のシーン切替データ生成処理の流れを示すフローチャート 本発明の実施例において表示情報データ管理手段で行われる表示情報データ生成処理の流れを示すフローチャート 本発明の実施例において表示動画生成手段で行われる表示動画生成処理の流れを示すフローチャート 本発明の実施例における動画像再生中の動画像表示装置のイメージ図 本発明の実施例における動画像再生時のユーザ操作による表示情報変更処理の流れを示すフローチャート 本発明の実施例における２回目以降の動画像再生処理の流れを示すフローチャート 本発明の実施例におけるオリジナル動画像データと拡大動画データの同時再生処理を示した画面イメージ 本発明の実施例におけるオリジナル動画像データと拡大動画データの２つの画面上での同時再生処理を示した画面イメージ

符号の説明

１０ 動画像サーバ
２０ 動画像表示装置
２１ 通信手段
２２ 動画像データ管理手段
２３ シーン切替検出手段
２４ シーン切替データ管理手段
２６ 表示情報データ管理手段
２７ 表示動画生成手段
２８ 表示手段
２９ 表示変更情報管理手段

Claims (9)

1. 動画像サーバから動画像データを受信する通信手段と、前記動画像サーバから受信した前記動画像データを格納して管理する動画像データ管理手段と、前記動画像データ中のシーンの変わり目を検出してシーン切り替えデータを生成するシーン切替検出手段と、シーン毎の動画像の内容から画面に表示する動画像の拡大範囲を決定して表示情報データを生成する表示情報データ生成手段と、前記シーン切替データと前記表示情報データを参照し、前記動画像データの一部を拡大した表示用動画像データを生成する表示動画生成手段と、前記表示動画生成手段において生成した表示用動画像データを表示する表示手段とを備えたことを特徴とする動画像表示装置。
2. 前記シーン切替検出手段は、前記動画像データ中のフレーム間の画素データ差分を計算する手段と、前記画素データ差分を所定値と比較する手段と、前記画素データ差分が所定値より大きいフレームをシーンの切り替わりと認識する手段とを有し、シーンの切り替わりと認識したフレームを動画像の時間軸に対応させた形でデータ化してシーン切り替えデータとしてシーン切替データ管理手段に蓄積することを特徴とする請求項１記載の動画像表示装置。
3. 前記表示情報データ生成手段は、動画像データを構成するフレーム画像の周波数成分を解析する手段と、解析した周波数成分から、動画像データの内容の複雑さ、および動画の画面の中で注目すべき位置を認識する手段と、認識した動画像データの内容の複雑さと注目すべき位置から、画面に表示する動画サイズおよび拡大範囲を決定する手段とを有することを特徴とする請求項１記載の動画像表示装置。
4. ユーザが変更した設定変更データを記憶して前記動画像データと対応付けて管理する表示変更情報管理手段を備え、前記表示動画生成手段では、前記表示変更情報管理手段に記憶された設定変更データに基づいて動画像の拡大範囲および表示画像サイズを変更することを特徴とする請求項１記載の動画像表示装置。
5. 前記動画像データ管理手段は、動画像サーバから受信した動画像データを、表示用動画像データではなく受信した元データのまま保存することを特徴とする請求項１記載の動画像表示装置。
6. 前記表示動画作成手段は、前記シーン切り替えデータに記述されているシーン毎に表示用動画像を作成する際に、表示する前記シーンの動画像全体を写してから前記表示情報データで指定された箇所を拡大表示することを特徴とする請求項１記載の動画像表示装置。
7. 前記表示手段は、前記表示動画作成手段において作成された拡大画像を用いた表示用動画像と、前記動画像データ管理手段で管理されているオリジナルの動画像データとを同一画面上に同時に表示する機能を有することを特徴とする請求項１記載の動画像表示装置。
8. 前記表示手段は、複数の表示画面で構成され、前記表示動画作成手段において作成された拡大画像を用いた表示用動画像と、前記動画像データ管理手段で管理されているオリジナルの動画像データとを、それぞれ別の表示画面で同時に再生する機能を有することを特徴とする請求項１記載の動画像表示装置。
9. 複数のフレーム画像からなる動画像を動画像表示装置上で表示させる動画像表示方法であって、動画サーバから受信した動画像データを構成する各フレーム画像の周波数成分を解析し、解析した周波数成分から動画像中で注目すべき位置を認識し、認識した動画像データの位置から、画面に表示する拡大範囲を決定することを特徴とする動画像表示方法。