JP2005292691A - 動画像表示装置および動画像表示方法 - Google Patents
動画像表示装置および動画像表示方法 Download PDFInfo
- Publication number
- JP2005292691A JP2005292691A JP2004110902A JP2004110902A JP2005292691A JP 2005292691 A JP2005292691 A JP 2005292691A JP 2004110902 A JP2004110902 A JP 2004110902A JP 2004110902 A JP2004110902 A JP 2004110902A JP 2005292691 A JP2005292691 A JP 2005292691A
- Authority
- JP
- Japan
- Prior art keywords
- moving image
- display
- data
- scene
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Processing (AREA)
- Studio Circuits (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
【課題】表示画面の小さい携帯電話等の動画像表示装置において、画面の一部を拡大表示した動画像データを内容を解析しながら作成し、閲覧者に提示する。
【解決手段】シーン切替検出手段23で作成されたシーン切り替えデータと表示情報データ管理手段26で作成された表示情報データをもとに、表示動画生成手段27において画面の一部を拡大表示した動画像を作成することで、動画像データの内容に即した拡大動画を自動的に作成し利用者に提示することができ、表示画面の限られた動画像表示装置上で閲覧者が内容を把握しやすい動画像再生を実現することができる。
【選択図】 図1
【解決手段】シーン切替検出手段23で作成されたシーン切り替えデータと表示情報データ管理手段26で作成された表示情報データをもとに、表示動画生成手段27において画面の一部を拡大表示した動画像を作成することで、動画像データの内容に即した拡大動画を自動的に作成し利用者に提示することができ、表示画面の限られた動画像表示装置上で閲覧者が内容を把握しやすい動画像再生を実現することができる。
【選択図】 図1
Description
本発明は、ネットワークを介してサービスされる動画像を受信して、その動画像の一部を拡大して表示する携帯端末等の動画像表示装置および動画像表示方法に関する。
近年無線通信技術や圧縮符号化技術の発達に従って、携帯電話等の通信機能を有した携帯端末を動画像表示装置として利用し、移動体通信網を経て動画像サーバから受信した動画像を閲覧することが可能となっている。このようなシステムでは動画像サーバおよび動画像表示装置内に、表示する動画像データを送受信する送受信手段や、動画像データを無線で伝送可能なデータに圧縮符号化する動画像圧縮符号化手段等を備えている。また、通信回線の通信速度や通信品質に合わせて再生する動画像の品質を制御できるシステムが提案されている(例えば特許文献1)。また、動画像を表示する際に動画像表示装置が備える表示部分の画面サイズを考慮して、動画像の一部を拡大し、その他の部分を縮小して表示できるシステムが提案されている(例えば特許文献2)。このシステムでは、携帯型の動画表示装置など表示画面の小さい端末上でも利用者が動画像の内容を容易に把握できるという特徴がある。
特開2000−209555号公報
特開2003−84749号公報
従来の一般的な動画像サーバおよび動画像表示装置では、動画像サーバが管理する動画像データを動画像表示装置が受信し、その動画像データの符号化時のビットレートや画面サイズ等の属性データを変更することなく複合化して動画像表示装置の表示手段で再生される。その際、動画像表示装置として使用される携帯端末では、動画像データを通信する際の通信速度や通信品質がボトルネックとなり、高画質な動画の再生が困難であり、さらに携帯端末の画面サイズでは、動画像の内容を把握することが困難である。また、特許文献2における動画表示装置では、動画像の一部を拡大表示し、その他の部分を縮小表示することで特定の箇所を認識しやすくしているが、携帯端末や携帯電話等の携帯型の動画像表示装置では、表示面積が非常に小さく、縮小表示しても内容把握ができない。また、特許文献2における動画表示装置では、拡大表示する部分を利用者が明示的に指示する必要があり、特に、利用者が内容を把握していない動画像の再生時には、拡大表示指示に伴う操作が複雑になり、動画像の内容を楽しむことが非常に困難になる。
そこで本発明は、動画像データを閲覧する際に、動画像の一部分を拡大表示して再生することができ、閲覧者が動画像の内容を容易に把握できる動画像表示装置及び動画像表示方法を提供することを目的とする。
請求項1記載の本発明の動画像表示装置は、動画像サーバから動画像データを受信する通信手段と、前記動画像サーバから受信した前記動画像データを格納して管理する動画像データ管理手段と、前記動画像データ中のシーンの変わり目を検出してシーン切り替えデータを生成するシーン切替検出手段と、シーン毎の動画像の内容から画面に表示する動画像の拡大範囲を決定して表示情報データを生成する表示情報データ生成手段と、前記シーン切替データと前記表示情報データを参照し、前記動画像データの一部を拡大した表示用動画像データを生成する表示動画生成手段と、前記表示動画生成手段において生成した表示用動画像データを表示する表示手段とを備えたことを特徴とする。
請求項2記載の本発明は、請求項1記載の動画像表示装置において、前記シーン切替検出手段は、前記動画像データ中のフレーム間の画素データ差分を計算する手段と、前記画素データ差分を所定値と比較する手段と、前記画素データ差分が所定値より大きいフレームをシーンの切り替わりと認識する手段とを有し、シーンの切り替わりと認識したフレームを動画像の時間軸に対応させた形でデータ化してシーン切り替えデータとしてシーン切替データ管理手段に蓄積することを特徴とする。
請求項3記載の本発明は、請求項1記載の動画像表示装置において、前記表示情報データ生成手段は、動画像データを構成するフレーム画像の周波数成分を解析する手段と、解析した周波数成分から、動画像データの内容の複雑さ、および動画の画面の中で注目すべき位置を認識する手段と、認識した動画像データの内容の複雑さと注目すべき位置から、画面に表示する動画サイズおよび拡大範囲を決定する手段とを有することを特徴とする。
請求項4記載の本発明は、請求項1記載の動画像表示装置において、ユーザが変更した設定変更データを記憶して前記動画像データと対応付けて管理する表示変更情報管理手段を備え、前記表示動画生成手段では、前記表示変更情報管理手段に記憶された設定変更データに基づいて動画像の拡大範囲および表示画像サイズを変更することを特徴とする。
請求項5記載の本発明は、請求項1記載の動画像表示装置において、前記動画像データ管理手段は、動画像サーバから受信した動画像データを、表示用動画像データではなく受信した元データのまま保存することを特徴とする。
請求項6記載の本発明は、請求項1記載の動画像表示装置において、前記表示動画作成手段は、前記シーン切り替えデータに記述されているシーン毎に表示用動画像を作成する際に、表示する前記シーンの動画像全体を写してから前記表示情報データで指定された箇所を拡大表示することを特徴とする。
請求項7記載の本発明は、請求項1記載の動画像表示装置において、前記表示手段は、前記表示動画作成手段において作成された拡大画像を用いた表示用動画像と、前記動画像データ管理手段で管理されているオリジナルの動画像データとを同一画面上に同時に表示する機能を有することを特徴とする。
請求項8記載の本発明は、請求項1記載の動画像表示装置において、前記表示手段は、複数の表示画面で構成され、前記表示動画作成手段において作成された拡大画像を用いた表示用動画像と、前記動画像データ管理手段で管理されているオリジナルの動画像データとを、それぞれ別の表示画面で同時に再生する機能を有することを特徴とする。
請求項9記載の本発明の動画像表示方法は、複数のフレーム画像からなる動画像を動画像表示装置上で表示させる動画像表示方法であって、動画サーバから受信した動画像データを構成する各フレーム画像の周波数成分を解析し、解析した周波数成分から動画像中で注目すべき位置を認識し、認識した動画像データの位置から、画面に表示する拡大範囲を決定することを特徴とする。
請求項2記載の本発明は、請求項1記載の動画像表示装置において、前記シーン切替検出手段は、前記動画像データ中のフレーム間の画素データ差分を計算する手段と、前記画素データ差分を所定値と比較する手段と、前記画素データ差分が所定値より大きいフレームをシーンの切り替わりと認識する手段とを有し、シーンの切り替わりと認識したフレームを動画像の時間軸に対応させた形でデータ化してシーン切り替えデータとしてシーン切替データ管理手段に蓄積することを特徴とする。
請求項3記載の本発明は、請求項1記載の動画像表示装置において、前記表示情報データ生成手段は、動画像データを構成するフレーム画像の周波数成分を解析する手段と、解析した周波数成分から、動画像データの内容の複雑さ、および動画の画面の中で注目すべき位置を認識する手段と、認識した動画像データの内容の複雑さと注目すべき位置から、画面に表示する動画サイズおよび拡大範囲を決定する手段とを有することを特徴とする。
請求項4記載の本発明は、請求項1記載の動画像表示装置において、ユーザが変更した設定変更データを記憶して前記動画像データと対応付けて管理する表示変更情報管理手段を備え、前記表示動画生成手段では、前記表示変更情報管理手段に記憶された設定変更データに基づいて動画像の拡大範囲および表示画像サイズを変更することを特徴とする。
請求項5記載の本発明は、請求項1記載の動画像表示装置において、前記動画像データ管理手段は、動画像サーバから受信した動画像データを、表示用動画像データではなく受信した元データのまま保存することを特徴とする。
請求項6記載の本発明は、請求項1記載の動画像表示装置において、前記表示動画作成手段は、前記シーン切り替えデータに記述されているシーン毎に表示用動画像を作成する際に、表示する前記シーンの動画像全体を写してから前記表示情報データで指定された箇所を拡大表示することを特徴とする。
請求項7記載の本発明は、請求項1記載の動画像表示装置において、前記表示手段は、前記表示動画作成手段において作成された拡大画像を用いた表示用動画像と、前記動画像データ管理手段で管理されているオリジナルの動画像データとを同一画面上に同時に表示する機能を有することを特徴とする。
請求項8記載の本発明は、請求項1記載の動画像表示装置において、前記表示手段は、複数の表示画面で構成され、前記表示動画作成手段において作成された拡大画像を用いた表示用動画像と、前記動画像データ管理手段で管理されているオリジナルの動画像データとを、それぞれ別の表示画面で同時に再生する機能を有することを特徴とする。
請求項9記載の本発明の動画像表示方法は、複数のフレーム画像からなる動画像を動画像表示装置上で表示させる動画像表示方法であって、動画サーバから受信した動画像データを構成する各フレーム画像の周波数成分を解析し、解析した周波数成分から動画像中で注目すべき位置を認識し、認識した動画像データの位置から、画面に表示する拡大範囲を決定することを特徴とする。
本発明によれば携帯電話、携帯端末等の表示画面領域の限られた動画像再生端末を用いて動画像データを閲覧する際に、動画像の一部分を拡大表示して再生することができ、閲覧者が動画像の内容を容易に把握できる。
また、本発明における動画像再生方法は動画像を拡大表示する範囲および位置を、動画像の内容によって自動的に決定されるため、利用者は自分で拡大箇所を指定する必要が無く簡単に動画像の閲覧が行える。
さらに本発明における動画像再生方法では、動画再生中に利用者が変更した内容を保存しておき、次回以降の再生時に利用することにより、動画閲覧者の好みを反映した動画像再生が可能となる。
また、本発明における動画像再生方法は動画像を拡大表示する範囲および位置を、動画像の内容によって自動的に決定されるため、利用者は自分で拡大箇所を指定する必要が無く簡単に動画像の閲覧が行える。
さらに本発明における動画像再生方法では、動画再生中に利用者が変更した内容を保存しておき、次回以降の再生時に利用することにより、動画閲覧者の好みを反映した動画像再生が可能となる。
本発明の第1の実施の形態による動画像表示装置は、動画像サーバから動画像データを受信する通信手段と、動画像サーバから受信した動画像データを格納して管理する動画像データ管理手段と、動画像データ中のシーンの変わり目を検出してシーン切り替えデータを生成するシーン切替検出手段と、シーン毎の動画像の内容から画面に表示する動画像の拡大範囲を決定して表示情報データを生成する表示情報データ生成手段と、シーン切替データと表示情報データを参照し、動画像データの一部を拡大した表示用動画像データを生成する表示動画生成手段と、表示動画生成手段において生成した表示用動画像データを表示する表示手段とを備えたものである。本実施の形態によれば、再生する動画像データの一部を拡大表示して利用者に提示することが可能となり、小さい画面でも動画像の内容を容易に把握することが可能となる。
本発明の第2の実施の形態は、第1の実施の形態による動画像表示装置において、シーン切替検出手段は、動画像データ中のフレーム間の画素データ差分を計算する手段と、画素データ差分を所定値と比較する手段と、画素データ差分が所定値より大きいフレームをシーンの切り替わりと認識する手段とを有し、シーンの切り替わりと認識したフレームを動画像の時間軸に対応させた形でデータ化してシーン切り替えデータとしてシーン切替データ管理手段に蓄積するものである。本実施の形態によれば、動画像の内容の変化が少ない部分を1つのシーンとして管理し、同じシーン内は同じ箇所を拡大表示することで拡大位置の変化が少なくなり、かつ利用者が動画像の内容を把握し易い動画像再生が可能となる。
本発明の第3の実施の形態は、第1の実施の形態による動画像表示装置において、表示情報データ生成手段は、動画像データを構成するフレーム画像の周波数成分を解析する手段と、解析した周波数成分から、動画像データの内容の複雑さ、および動画の画面の中で注目すべき位置を認識する手段と、認識した動画像データの内容の複雑さと注目すべき位置から、画面に表示する動画サイズおよび拡大範囲を決定する手段とを有するものである。本実施の形態によれば、この構成により動画像の内容によって最適な箇所を自動的に拡大表示することが可能となり、利用者が拡大位置を選択するという手順を省くことができ、動画像の内容を把握しやすい快適な動画像再生を実現することが可能となる。
本発明の第4の実施の形態は、第1の実施の形態による動画像表示装置において、ユーザが変更した設定変更データを記憶して動画像データと対応付けて管理する表示変更情報管理手段を備え、表示動画生成手段では、表示変更情報管理手段に記憶された設定変更データに基づいて動画像の拡大範囲および表示画像サイズを変更するものである。本実施の形態によれば、この構成により動画像再生時に利用者が前回変更した内容を反映することが可能となり、より利用者の嗜好を反映した動画像再生が可能になる。
本発明の第5の実施の形態は、第1の実施の形態による動画像表示装置において、動画像データ管理手段は、動画像サーバから受信した動画像データを、表示用動画像データではなく受信した元データのまま保存するものである。本実施の形態によれば、一部を拡大表示した再生用の動画像のみを保存する場合と比較して、表示情報データを変更するたびにサーバから動画像データを受信する必要が無くなり、次回以降の動画再生時の表示サイズや拡大範囲変更への要求に対して柔軟に対応することが可能になる。
本発明の第6の実施の形態は、第1の実施の形態による動画像表示装置において、表示動画作成手段は、シーン切り替えデータに記述されているシーン毎に表示用動画像を作成する際に、表示するシーンの動画像全体を写してから表示情報データで指定された箇所を拡大表示するものである。本実施の形態によれば、利用者はシーン毎に一部を拡大表示する前に画面全体を見ることができるため、動画像の内容をより把握しやすくなるという効果を有する。
本発明の第7の実施の形態は、第1の実施の形態による動画像表示装置において、表示手段は、表示動画作成手段において作成された拡大画像を用いた表示用動画像と、動画像データ管理手段で管理されているオリジナルの動画像データとを同一画面上に同時に表示する機能を有するものである。本実施の形態によれば、利用者がこの機能を選択することで、同一画面上でオリジナルの動画像と、一部を拡大した動画像の両方を同時に閲覧することができ、画面全体を把握しながら細部も確認することが可能となる。
本発明の第8の実施の形態は、第1の実施の形態による動画像表示装置において、表示手段は、複数の表示画面で構成され、表示動画作成手段において作成された拡大画像を用いた表示用動画像と、動画像データ管理手段で管理されているオリジナルの動画像データとを、それぞれ別の表示画面で同時に再生する機能を有するものである。本実施の形態によれば、複数の画面で構成された動画再生装置において、利用者が本機能を選択することで、異なる画面上でオリジナルの動画像と、一部を拡大した動画像の両方を同時に閲覧することができ、複数の画面を有効に利用しながら画面全体の把握と細部の確認とを行うことが可能となる。
本発明の第9の実施の形態の動画像表示方法は、複数のフレーム画像からなる動画像を動画像表示装置上で表示させる動画像表示方法であって、動画サーバから受信した動画像データを構成する各フレーム画像の周波数成分を解析し、解析した周波数成分から動画像中で注目すべき位置を認識し、認識した動画像データの位置から、画面に表示する拡大範囲を決定するものである。本実施の形態によれば、その部分を拡大して利用者に提示することで、画面サイズの小さい携帯型の端末等でも、利用者が動画像の内容を用意に把握できる。
本発明の第2の実施の形態は、第1の実施の形態による動画像表示装置において、シーン切替検出手段は、動画像データ中のフレーム間の画素データ差分を計算する手段と、画素データ差分を所定値と比較する手段と、画素データ差分が所定値より大きいフレームをシーンの切り替わりと認識する手段とを有し、シーンの切り替わりと認識したフレームを動画像の時間軸に対応させた形でデータ化してシーン切り替えデータとしてシーン切替データ管理手段に蓄積するものである。本実施の形態によれば、動画像の内容の変化が少ない部分を1つのシーンとして管理し、同じシーン内は同じ箇所を拡大表示することで拡大位置の変化が少なくなり、かつ利用者が動画像の内容を把握し易い動画像再生が可能となる。
本発明の第3の実施の形態は、第1の実施の形態による動画像表示装置において、表示情報データ生成手段は、動画像データを構成するフレーム画像の周波数成分を解析する手段と、解析した周波数成分から、動画像データの内容の複雑さ、および動画の画面の中で注目すべき位置を認識する手段と、認識した動画像データの内容の複雑さと注目すべき位置から、画面に表示する動画サイズおよび拡大範囲を決定する手段とを有するものである。本実施の形態によれば、この構成により動画像の内容によって最適な箇所を自動的に拡大表示することが可能となり、利用者が拡大位置を選択するという手順を省くことができ、動画像の内容を把握しやすい快適な動画像再生を実現することが可能となる。
本発明の第4の実施の形態は、第1の実施の形態による動画像表示装置において、ユーザが変更した設定変更データを記憶して動画像データと対応付けて管理する表示変更情報管理手段を備え、表示動画生成手段では、表示変更情報管理手段に記憶された設定変更データに基づいて動画像の拡大範囲および表示画像サイズを変更するものである。本実施の形態によれば、この構成により動画像再生時に利用者が前回変更した内容を反映することが可能となり、より利用者の嗜好を反映した動画像再生が可能になる。
本発明の第5の実施の形態は、第1の実施の形態による動画像表示装置において、動画像データ管理手段は、動画像サーバから受信した動画像データを、表示用動画像データではなく受信した元データのまま保存するものである。本実施の形態によれば、一部を拡大表示した再生用の動画像のみを保存する場合と比較して、表示情報データを変更するたびにサーバから動画像データを受信する必要が無くなり、次回以降の動画再生時の表示サイズや拡大範囲変更への要求に対して柔軟に対応することが可能になる。
本発明の第6の実施の形態は、第1の実施の形態による動画像表示装置において、表示動画作成手段は、シーン切り替えデータに記述されているシーン毎に表示用動画像を作成する際に、表示するシーンの動画像全体を写してから表示情報データで指定された箇所を拡大表示するものである。本実施の形態によれば、利用者はシーン毎に一部を拡大表示する前に画面全体を見ることができるため、動画像の内容をより把握しやすくなるという効果を有する。
本発明の第7の実施の形態は、第1の実施の形態による動画像表示装置において、表示手段は、表示動画作成手段において作成された拡大画像を用いた表示用動画像と、動画像データ管理手段で管理されているオリジナルの動画像データとを同一画面上に同時に表示する機能を有するものである。本実施の形態によれば、利用者がこの機能を選択することで、同一画面上でオリジナルの動画像と、一部を拡大した動画像の両方を同時に閲覧することができ、画面全体を把握しながら細部も確認することが可能となる。
本発明の第8の実施の形態は、第1の実施の形態による動画像表示装置において、表示手段は、複数の表示画面で構成され、表示動画作成手段において作成された拡大画像を用いた表示用動画像と、動画像データ管理手段で管理されているオリジナルの動画像データとを、それぞれ別の表示画面で同時に再生する機能を有するものである。本実施の形態によれば、複数の画面で構成された動画再生装置において、利用者が本機能を選択することで、異なる画面上でオリジナルの動画像と、一部を拡大した動画像の両方を同時に閲覧することができ、複数の画面を有効に利用しながら画面全体の把握と細部の確認とを行うことが可能となる。
本発明の第9の実施の形態の動画像表示方法は、複数のフレーム画像からなる動画像を動画像表示装置上で表示させる動画像表示方法であって、動画サーバから受信した動画像データを構成する各フレーム画像の周波数成分を解析し、解析した周波数成分から動画像中で注目すべき位置を認識し、認識した動画像データの位置から、画面に表示する拡大範囲を決定するものである。本実施の形態によれば、その部分を拡大して利用者に提示することで、画面サイズの小さい携帯型の端末等でも、利用者が動画像の内容を用意に把握できる。
以下、本発明の一実施例による動画像表示装置について説明する。
図1は本発明の一実施例における動画像表示装置を機能実現手段で表したブロック図、図2は同装置における動画像表示までの各処理の流れを示すフローチャート、図3は同装置のシーン切替検出手段におけるシーン切替データ生成処理の流れを示すフローチャート、図4は同装置の表示情報データ管理手段における表示情報データ生成処理の流れを示すフローチャート、図5は同装置の表示動画生成手段における表示動画生成処理の流れを示すフローチャート、図6は同装置における動画像再生中の表示手段のイメージ図、図7は同装置における動画像再生時のユーザ操作による表示情報変更処理の流れを示すフローチャート、図8は同装置における2回目以降の動画像再生処理の流れを示すフローチャート、図9は同装置におけるオリジナル動画像データと拡大動画データの同時再生処理を示した画面イメージ図、図10は同装置におけるオリジナル動画像データと拡大動画データの2つの画面上での同時再生処理を示した画面イメージ図である。
図1は本発明の一実施例における動画像表示装置を機能実現手段で表したブロック図、図2は同装置における動画像表示までの各処理の流れを示すフローチャート、図3は同装置のシーン切替検出手段におけるシーン切替データ生成処理の流れを示すフローチャート、図4は同装置の表示情報データ管理手段における表示情報データ生成処理の流れを示すフローチャート、図5は同装置の表示動画生成手段における表示動画生成処理の流れを示すフローチャート、図6は同装置における動画像再生中の表示手段のイメージ図、図7は同装置における動画像再生時のユーザ操作による表示情報変更処理の流れを示すフローチャート、図8は同装置における2回目以降の動画像再生処理の流れを示すフローチャート、図9は同装置におけるオリジナル動画像データと拡大動画データの同時再生処理を示した画面イメージ図、図10は同装置におけるオリジナル動画像データと拡大動画データの2つの画面上での同時再生処理を示した画面イメージ図である。
まず図1を用いて本実施例における動画像表示装置の構成を説明する。
動画像表示装置20は、動画像サーバ10との間でデータを送受信する通信手段21を有している。動画像サーバ10は、動画像表示装置20からの要求データに基づいて、予めサーバ内に蓄積してある動画像データの中から該当する動画像データを動画像表示装置20に対して送信する。動画像表示装置20は、動画像サーバ10から送信される動画像データを通信手段21で受信し、受信した動画像データは、動画像データ管理手段22によって、データの種類毎に蓄積して管理される。
シーン切替検出手段23は、動画像データ管理手段22に蓄積した動画像データから、場面転換を認識し、シーン切替データを生成する。このシーン切替検出手段23では、動画像中の各フレーム画像を順に検索し、画像内容が大幅に変化するタイミングをシーン切替データと判断する。シーン切替データ管理手段24では、シーン切替検出手段23で生成したシーン切替データを、動画像データ毎に蓄積、管理する。
表示情報データ生成手段25は、再生する動画像データの表示方法を決定し、表示情報データを生成する。この表示情報データ生成手段25では、シーン切替検出手段23で取得し、シーン切替データ管理手段24に管理されたシーン切替データを参照し、動画像データ管理手段22から取得する動画像データのシーン毎に、動画像中の拡大位置、拡大サイズを決定することで表示情報データを生成する。表示情報データ管理手段26では、表示情報データ生成手段25で生成した表示情報データを、動画像データのシーン毎に蓄積、管理する。
表示動画生成手段27は、表示手段28で再生するための再生用動画像データを生成し、表示手段28に出力する。この表示動画生成手段27では、シーン切替データ管理手段24に蓄積されたシーン切替データと、表示情報データ管理手段26に蓄積された表示情報データを読み取り、動画像データ管理手段22から取得した動画像データを、表示情報データに基づいて拡大表示した再生用動画像データを生成する。
表示変更情報管理手段29は、動画像再生時に表示方法変更手段30から入力された変更表示方法に関するデータを記憶して管理する。この表示変更情報管理手段29では、利用者が変更した際の、動画像の拡大位置や拡大サイズに関する変更データを、動画像データと対応付けて保存する。表示動画生成手段27では、再びこの動画像を再生する際に、表示変更情報管理手段29に保存された変更データを参照して動画像の表示処理を行う。表示手段28は、携帯電話や携帯端末装置の液晶画面等に相当し、利用者に対して動画像を再生出力する。
動画像表示装置20は、動画像サーバ10との間でデータを送受信する通信手段21を有している。動画像サーバ10は、動画像表示装置20からの要求データに基づいて、予めサーバ内に蓄積してある動画像データの中から該当する動画像データを動画像表示装置20に対して送信する。動画像表示装置20は、動画像サーバ10から送信される動画像データを通信手段21で受信し、受信した動画像データは、動画像データ管理手段22によって、データの種類毎に蓄積して管理される。
シーン切替検出手段23は、動画像データ管理手段22に蓄積した動画像データから、場面転換を認識し、シーン切替データを生成する。このシーン切替検出手段23では、動画像中の各フレーム画像を順に検索し、画像内容が大幅に変化するタイミングをシーン切替データと判断する。シーン切替データ管理手段24では、シーン切替検出手段23で生成したシーン切替データを、動画像データ毎に蓄積、管理する。
表示情報データ生成手段25は、再生する動画像データの表示方法を決定し、表示情報データを生成する。この表示情報データ生成手段25では、シーン切替検出手段23で取得し、シーン切替データ管理手段24に管理されたシーン切替データを参照し、動画像データ管理手段22から取得する動画像データのシーン毎に、動画像中の拡大位置、拡大サイズを決定することで表示情報データを生成する。表示情報データ管理手段26では、表示情報データ生成手段25で生成した表示情報データを、動画像データのシーン毎に蓄積、管理する。
表示動画生成手段27は、表示手段28で再生するための再生用動画像データを生成し、表示手段28に出力する。この表示動画生成手段27では、シーン切替データ管理手段24に蓄積されたシーン切替データと、表示情報データ管理手段26に蓄積された表示情報データを読み取り、動画像データ管理手段22から取得した動画像データを、表示情報データに基づいて拡大表示した再生用動画像データを生成する。
表示変更情報管理手段29は、動画像再生時に表示方法変更手段30から入力された変更表示方法に関するデータを記憶して管理する。この表示変更情報管理手段29では、利用者が変更した際の、動画像の拡大位置や拡大サイズに関する変更データを、動画像データと対応付けて保存する。表示動画生成手段27では、再びこの動画像を再生する際に、表示変更情報管理手段29に保存された変更データを参照して動画像の表示処理を行う。表示手段28は、携帯電話や携帯端末装置の液晶画面等に相当し、利用者に対して動画像を再生出力する。
次に動画像表示装置20が動画像データを受信してから、動画像の再生を行うまでの処理概要について図2を用いて説明する。
まず、動画像表示装置20は、通信手段21から、利用者が見たいと思う動画像データの要求を動画像サーバ10に対して送信し、通信手段21によって動画像サーバ10から送信される動画像データを受信する(ステップ11)。この時の通信方法としては、例えば携帯電話や携帯端末装置に具備される無線通信機能を使用することができる。受信した動画像データは、動画像データ管理手段22において、受信した動画像データを変更しない状態で、動画像データの種類毎に蓄積・管理される。次に、シーン切替データの作成処理に移行する(ステップ12)。ステップ12では、動画像データを、その内容毎に幾つかのシーンに分類するために、動画像データの各フレーム画像を解析し、場面が大きく変化するシーンをシーン切替データとしてシーン切替データ管理手段24に保存し、以降の各処理では、保存されたこのシーン切替データを使用する。ステップ12の後に、表示情報データの作成処理に移行する(ステップ13)。ステップ13では、ステップ12で作成したシーン切替データを参照し、動画像データのシーン毎に、その中で最も注目すべき(そのシーンの内容を把握するために注目すべき)位置および範囲を、シーンの内容から判断して自動的に決定し、表示情報データとして保存する。ステップ13の後に、表示動画像の作成処理に移行する(ステップ14)。ステップ14では、ステップ13で作成した表示情報データを参照し、動画像データの一部を拡大表示した表示動画像を作成する。そしてステップ14で作成した表示動画像を再生する(ステップ15)。これにより表示手段28に動画像が表示され、利用者が動画像を閲覧することができる。以上のような処理を行うことにより、表示画面の小さい動画像表示装置でも、要部を拡大して表示できるので、動画像の内容を容易に把握し、快適に閲覧することができる。
まず、動画像表示装置20は、通信手段21から、利用者が見たいと思う動画像データの要求を動画像サーバ10に対して送信し、通信手段21によって動画像サーバ10から送信される動画像データを受信する(ステップ11)。この時の通信方法としては、例えば携帯電話や携帯端末装置に具備される無線通信機能を使用することができる。受信した動画像データは、動画像データ管理手段22において、受信した動画像データを変更しない状態で、動画像データの種類毎に蓄積・管理される。次に、シーン切替データの作成処理に移行する(ステップ12)。ステップ12では、動画像データを、その内容毎に幾つかのシーンに分類するために、動画像データの各フレーム画像を解析し、場面が大きく変化するシーンをシーン切替データとしてシーン切替データ管理手段24に保存し、以降の各処理では、保存されたこのシーン切替データを使用する。ステップ12の後に、表示情報データの作成処理に移行する(ステップ13)。ステップ13では、ステップ12で作成したシーン切替データを参照し、動画像データのシーン毎に、その中で最も注目すべき(そのシーンの内容を把握するために注目すべき)位置および範囲を、シーンの内容から判断して自動的に決定し、表示情報データとして保存する。ステップ13の後に、表示動画像の作成処理に移行する(ステップ14)。ステップ14では、ステップ13で作成した表示情報データを参照し、動画像データの一部を拡大表示した表示動画像を作成する。そしてステップ14で作成した表示動画像を再生する(ステップ15)。これにより表示手段28に動画像が表示され、利用者が動画像を閲覧することができる。以上のような処理を行うことにより、表示画面の小さい動画像表示装置でも、要部を拡大して表示できるので、動画像の内容を容易に把握し、快適に閲覧することができる。
次に、図2におけるステップ12のシーン切替データの作成処理について図3を用いて説明する。
シーン切替データの作成処理が開始されると、対象となる動画像データの各フレーム画像間の差分データを計算する(ステップ21)。各フレーム画像間の差分データにより、動画像データ中で内容が大きく変化する場面を検出することができる。また、動画像データ量が大きい場合には、全てのフレーム画像について差分値を求めるのはデータ処理に時間を要するため、適当な間隔でフレーム画像を抽出し、抽出したフレーム画像間の差分値を求めてもよい。そして、ステップ21で求めたデータの差分値が所定値以上であるか否かを判断し、差分値が所定値以上のフレーム画像を時系列順に抽出し、シーンが切り替わる個所として検出する(ステップ22)。次に、ステップ22で検出した個所の位置データとその差分値をシーン切り替えデータとして保存する(ステップ23)。ここで位置データだけでなく差分値も保存することによって、利用者が表示方法変更手段30によって変更情報を設定する場合に、例えば差分値が設定値以下の個所に関しては、シーンの切り替え点としては認めないとの条件設定を行い、シーン切り替え個所の個数を制御することができる。
以上の処理を行うために、シーン切替検出手段23は、動画像データ中のフレーム間の画素データ差分を計算する手段と、画素データ差分を所定値と比較する手段と、画素データ差分が所定値より大きいフレームをシーンの切り替わりと認識する手段とを有する。そして、シーンの切り替わりと認識したフレームを、動画像の時間軸に対応させた形でデータ化してシーン切り替えデータとしてシーン切替データ管理手段に蓄積することにより、動画像の内容の変化が少ない部分を1つのシーンとして管理し、同じシーン内は同じ箇所を拡大表示することで拡大位置の変化が少なくなり、かつ利用者が動画像の内容を把握し易い動画像再生が可能となる。
シーン切替データの作成処理が開始されると、対象となる動画像データの各フレーム画像間の差分データを計算する(ステップ21)。各フレーム画像間の差分データにより、動画像データ中で内容が大きく変化する場面を検出することができる。また、動画像データ量が大きい場合には、全てのフレーム画像について差分値を求めるのはデータ処理に時間を要するため、適当な間隔でフレーム画像を抽出し、抽出したフレーム画像間の差分値を求めてもよい。そして、ステップ21で求めたデータの差分値が所定値以上であるか否かを判断し、差分値が所定値以上のフレーム画像を時系列順に抽出し、シーンが切り替わる個所として検出する(ステップ22)。次に、ステップ22で検出した個所の位置データとその差分値をシーン切り替えデータとして保存する(ステップ23)。ここで位置データだけでなく差分値も保存することによって、利用者が表示方法変更手段30によって変更情報を設定する場合に、例えば差分値が設定値以下の個所に関しては、シーンの切り替え点としては認めないとの条件設定を行い、シーン切り替え個所の個数を制御することができる。
以上の処理を行うために、シーン切替検出手段23は、動画像データ中のフレーム間の画素データ差分を計算する手段と、画素データ差分を所定値と比較する手段と、画素データ差分が所定値より大きいフレームをシーンの切り替わりと認識する手段とを有する。そして、シーンの切り替わりと認識したフレームを、動画像の時間軸に対応させた形でデータ化してシーン切り替えデータとしてシーン切替データ管理手段に蓄積することにより、動画像の内容の変化が少ない部分を1つのシーンとして管理し、同じシーン内は同じ箇所を拡大表示することで拡大位置の変化が少なくなり、かつ利用者が動画像の内容を把握し易い動画像再生が可能となる。
次に、図2におけるステップ13の表示情報データの作成処理について図4を用いて説明する。
表示情報データの作成処理が開始されると、まず、動画像表示装置20の画面サイズデータを取得する(ステップ31)。ここで取得した画面サイズデータは、動画像の拡大範囲を決定する際に参照される。画面サイズが小さい程、動画像の拡大範囲を小さく、逆に画面が大きくなると、拡大範囲を大きく設定する。そして画面サイズが十分大きい場合は、動画像の画面全体を拡大設定する。
次に動画像データ周波数成分の算出処理に移行する(ステップ32)。ステップ32では、各シーンの先頭フレーム画像の周波数成分を算出する。算出したフレーム画像の周波数成分は、このフレーム画像の画面の複雑さを判断するために用いる。高周波成分が多い画像は画像内容が複雑であるため、より狭い範囲を拡大範囲として選択し、大きく拡大する必要がある。逆に低周波成分が多い画像は画像内容がより単純であると判断し、広い範囲を拡大範囲として、なるべく多くの情報を画面に含めるようにする。ステップ32における周波数成分の算出処理としては、離散コサイン変換(DCT)や高速フーリエ変換(FFT)を利用することができる。次に、拡大位置の検出処理に移行する(ステップ33)。ステップ33では、動画像データにおける各シーン内のフレーム画像の差分を取り、フレーム画像を構成する画素毎にフレーム間の変化を検出し、フレーム画像の中で変化が大きい部分をそのシーンの中で注目すべき部分であると判断して、変化が大きい部分を画像中の拡大位置として決定する。例えば、ゴルフ等のスポーツ中継の場面を例にすると、一般的にゴルフプレイヤーがボールを打つ場面では、中央にプレイヤーが位置し、その周りにギャラリーや背景が映ることが多い。このような場面を小さい画面で見る場合、利用者が拡大して再生したいのは中央に位置するプレイヤーであり、このシーンのフレーム画像間の差分を取ると、スウィングをするプレイヤーの部分が最も大きくなることが考えられ、結果として利用者が注目したい部分を自動的に抽出して拡大することが可能となる(このイメージに関しては図6参照)。また、例えば複数の人物が登場するような場面では、台詞を話している人物は仕草も表情も変化が大きくなるため、この人物を自動的に拡大して再生することが可能となる。ここで、フレーム画像の全画素についてフレーム間の差分を計算するのは大きな処理負荷となるため、フレーム画像を幾つかのブロックに分割し、そのブロック毎のフレーム間の差分を計算してもよい。
次に、ステップ31で取得した画面サイズデータと、ステップ32で算出した周波数成分データから動画像の拡大範囲を決定する(ステップ34)。ステップ34において、拡大範囲の決定に、画面サイズデータと周波数成分データの2つのデータを用いることにより、動画像表示装置の画面サイズと動画像データの内容を考慮した拡大動画像を作成することができ、より利用者が動画像の内容を把握しやすい拡大動画像を作成することができる。
次に、表示情報データの保存処理に移行する(ステップ35)。ステップ35では、ステップ33で決定した動画像の拡大位置データと、ステップ34で決定した拡大範囲データを表示情報データとし、表示情報データを動画像データのシーン毎に保存し、表示情報データの作成処理を終了する。
以上の処理を行うために、表示情報データ生成手段25は、動画像データを構成するフレーム画像の周波数成分を解析する手段と、解析した周波数成分から、動画像データの内容の複雑さ、および動画の画面の中で注目すべき位置を認識する手段と、認識した動画像データの内容の複雑さと注目すべき位置から、画面に表示する動画サイズおよび拡大範囲を決定する手段とを有する。従って、動画像の内容によって最適な箇所を自動的に拡大表示することが可能となり、利用者が拡大位置を選択するという手順を省くことができ、動画像の内容を把握しやすい快適な動画像再生を実現することが可能となる。
表示情報データの作成処理が開始されると、まず、動画像表示装置20の画面サイズデータを取得する(ステップ31)。ここで取得した画面サイズデータは、動画像の拡大範囲を決定する際に参照される。画面サイズが小さい程、動画像の拡大範囲を小さく、逆に画面が大きくなると、拡大範囲を大きく設定する。そして画面サイズが十分大きい場合は、動画像の画面全体を拡大設定する。
次に動画像データ周波数成分の算出処理に移行する(ステップ32)。ステップ32では、各シーンの先頭フレーム画像の周波数成分を算出する。算出したフレーム画像の周波数成分は、このフレーム画像の画面の複雑さを判断するために用いる。高周波成分が多い画像は画像内容が複雑であるため、より狭い範囲を拡大範囲として選択し、大きく拡大する必要がある。逆に低周波成分が多い画像は画像内容がより単純であると判断し、広い範囲を拡大範囲として、なるべく多くの情報を画面に含めるようにする。ステップ32における周波数成分の算出処理としては、離散コサイン変換(DCT)や高速フーリエ変換(FFT)を利用することができる。次に、拡大位置の検出処理に移行する(ステップ33)。ステップ33では、動画像データにおける各シーン内のフレーム画像の差分を取り、フレーム画像を構成する画素毎にフレーム間の変化を検出し、フレーム画像の中で変化が大きい部分をそのシーンの中で注目すべき部分であると判断して、変化が大きい部分を画像中の拡大位置として決定する。例えば、ゴルフ等のスポーツ中継の場面を例にすると、一般的にゴルフプレイヤーがボールを打つ場面では、中央にプレイヤーが位置し、その周りにギャラリーや背景が映ることが多い。このような場面を小さい画面で見る場合、利用者が拡大して再生したいのは中央に位置するプレイヤーであり、このシーンのフレーム画像間の差分を取ると、スウィングをするプレイヤーの部分が最も大きくなることが考えられ、結果として利用者が注目したい部分を自動的に抽出して拡大することが可能となる(このイメージに関しては図6参照)。また、例えば複数の人物が登場するような場面では、台詞を話している人物は仕草も表情も変化が大きくなるため、この人物を自動的に拡大して再生することが可能となる。ここで、フレーム画像の全画素についてフレーム間の差分を計算するのは大きな処理負荷となるため、フレーム画像を幾つかのブロックに分割し、そのブロック毎のフレーム間の差分を計算してもよい。
次に、ステップ31で取得した画面サイズデータと、ステップ32で算出した周波数成分データから動画像の拡大範囲を決定する(ステップ34)。ステップ34において、拡大範囲の決定に、画面サイズデータと周波数成分データの2つのデータを用いることにより、動画像表示装置の画面サイズと動画像データの内容を考慮した拡大動画像を作成することができ、より利用者が動画像の内容を把握しやすい拡大動画像を作成することができる。
次に、表示情報データの保存処理に移行する(ステップ35)。ステップ35では、ステップ33で決定した動画像の拡大位置データと、ステップ34で決定した拡大範囲データを表示情報データとし、表示情報データを動画像データのシーン毎に保存し、表示情報データの作成処理を終了する。
以上の処理を行うために、表示情報データ生成手段25は、動画像データを構成するフレーム画像の周波数成分を解析する手段と、解析した周波数成分から、動画像データの内容の複雑さ、および動画の画面の中で注目すべき位置を認識する手段と、認識した動画像データの内容の複雑さと注目すべき位置から、画面に表示する動画サイズおよび拡大範囲を決定する手段とを有する。従って、動画像の内容によって最適な箇所を自動的に拡大表示することが可能となり、利用者が拡大位置を選択するという手順を省くことができ、動画像の内容を把握しやすい快適な動画像再生を実現することが可能となる。
次に、図2におけるステップ14の表示動画の作成処理について図5を用いて説明する。
表示動画の作成処理が開始されると、表示動画生成手段27は、動画像データ管理手段22で管理されている動画像データを取得する(ステップ41)。また、シーン切替データ管理手段24に保存されたシーン切替データを取得する(ステップ42)。また、表示情報データ管理手段26に保存された表示情報データを取得する(ステップ43)。そして、表示動画像生成、再生処理に移行する(ステップ44)。ステップ44では、ステップ42で取得したシーン切替データに記録されているシーン毎に、ステップ43で取得した表示情報データに記録されている画面上の拡大位置、拡大範囲を参照し、表示用の動画像をリアルタイムに生成して、表示手段28に動画像を表示させる。なお、表示用の動画像の生成にあたっては、再生中のシーンが変わる度に一度画像全体を数秒間表示し、その後に一部分の拡大表示を行うことが好ましい。このように、拡大表示を行う前に、拡大前の動画像データを所定時間表示することで、利用者は、各シーン毎に拡大表示前のオリジナルデータの画像を見ることができ、どの部分が拡大表示されたのかを容易に判断でき、利用者が内容をより把握しやすい動画像表示を行うことができる。さらに、動画像データ管理手段22へのデータ保存は、拡大後の動画像ではなく、受信したままのオリジナルデータで保存し、再生の度に表示用動画像を作成して再生することで、次回再生時の拡大方法の変更等に対応することが容易となり、柔軟な動画像再生に対応できる。
表示動画の作成処理が開始されると、表示動画生成手段27は、動画像データ管理手段22で管理されている動画像データを取得する(ステップ41)。また、シーン切替データ管理手段24に保存されたシーン切替データを取得する(ステップ42)。また、表示情報データ管理手段26に保存された表示情報データを取得する(ステップ43)。そして、表示動画像生成、再生処理に移行する(ステップ44)。ステップ44では、ステップ42で取得したシーン切替データに記録されているシーン毎に、ステップ43で取得した表示情報データに記録されている画面上の拡大位置、拡大範囲を参照し、表示用の動画像をリアルタイムに生成して、表示手段28に動画像を表示させる。なお、表示用の動画像の生成にあたっては、再生中のシーンが変わる度に一度画像全体を数秒間表示し、その後に一部分の拡大表示を行うことが好ましい。このように、拡大表示を行う前に、拡大前の動画像データを所定時間表示することで、利用者は、各シーン毎に拡大表示前のオリジナルデータの画像を見ることができ、どの部分が拡大表示されたのかを容易に判断でき、利用者が内容をより把握しやすい動画像表示を行うことができる。さらに、動画像データ管理手段22へのデータ保存は、拡大後の動画像ではなく、受信したままのオリジナルデータで保存し、再生の度に表示用動画像を作成して再生することで、次回再生時の拡大方法の変更等に対応することが容易となり、柔軟な動画像再生に対応できる。
次に動画像再生中の表示方法の変更処理について図6を用いて説明する。
動画像データ31は、オリジナルデータを、動画像データ32は動画再生を行うために拡大される領域データを、動画像データ33は実際に表示手段で動画像を再生する際の表示データを示している。
表示方法変更手段30は、拡大する領域の広さ(拡大範囲)を変更する際に押下する拡大範囲変更ボタン34、拡大する領域の位置(拡大位置)を変更する際に押下する拡大位置変更ボタン35、各処理を行う際に使用するカーソルボタン36、他の動画像を再生する際に押下する動画選択ボタン37、再生するシーンを移動する際に押下するシーン移動ボタン38、動画像の再生処理を停止する際に押下する停止ボタン39、動画像の再生処理を開始する際に押下する再生ボタン40、オリジナルの動画像と再生用の拡大動画像を同時に再生する際に押下する同時再生ボタン41を有している。
利用者は、動画像の再生中に拡大範囲変更ボタン34もしくは拡大位置変更ボタン35を押下し、その後カーソルボタン36で変更する程度を指定することによって、表示する拡大動画像の内容を変更することができる。
動画像データ31は、オリジナルデータを、動画像データ32は動画再生を行うために拡大される領域データを、動画像データ33は実際に表示手段で動画像を再生する際の表示データを示している。
表示方法変更手段30は、拡大する領域の広さ(拡大範囲)を変更する際に押下する拡大範囲変更ボタン34、拡大する領域の位置(拡大位置)を変更する際に押下する拡大位置変更ボタン35、各処理を行う際に使用するカーソルボタン36、他の動画像を再生する際に押下する動画選択ボタン37、再生するシーンを移動する際に押下するシーン移動ボタン38、動画像の再生処理を停止する際に押下する停止ボタン39、動画像の再生処理を開始する際に押下する再生ボタン40、オリジナルの動画像と再生用の拡大動画像を同時に再生する際に押下する同時再生ボタン41を有している。
利用者は、動画像の再生中に拡大範囲変更ボタン34もしくは拡大位置変更ボタン35を押下し、その後カーソルボタン36で変更する程度を指定することによって、表示する拡大動画像の内容を変更することができる。
この表示方法の変更処理について図7を用いて説明する。
動画像再生中に、利用者によって表示内容変更操作が行われると、まず現在再生中の動画像データの拡大位置もしくは拡大範囲を利用者が指定した様に変更する(ステップ51)。ステップ51によって動画像データの変更が行われると、利用者が表示方法を変更したシーンの再生が終了したかどうか判断する(ステップ52)。まだ再生中である場合は、引き続きシーンの再生を行う。そのシーンの再生が終了した場合には、ユーザによって変更された表示変更情報データを表示変更情報管理手段29に保存する(ステップ53)。この表示変更情報データは、同じ動画像データを再び再生する際に使用する。そして、動画像の初回の再生処理が終了した後で、動画像データの付加情報記録部分に初回再生終了を示す情報を付加する。この情報を付加することで、次回動画再生時に表示動画生成手段27において、これから再生する動画像が2回目の再生であることを認識することができる。
動画像再生中に、利用者によって表示内容変更操作が行われると、まず現在再生中の動画像データの拡大位置もしくは拡大範囲を利用者が指定した様に変更する(ステップ51)。ステップ51によって動画像データの変更が行われると、利用者が表示方法を変更したシーンの再生が終了したかどうか判断する(ステップ52)。まだ再生中である場合は、引き続きシーンの再生を行う。そのシーンの再生が終了した場合には、ユーザによって変更された表示変更情報データを表示変更情報管理手段29に保存する(ステップ53)。この表示変更情報データは、同じ動画像データを再び再生する際に使用する。そして、動画像の初回の再生処理が終了した後で、動画像データの付加情報記録部分に初回再生終了を示す情報を付加する。この情報を付加することで、次回動画再生時に表示動画生成手段27において、これから再生する動画像が2回目の再生であることを認識することができる。
動画像データの2回目以降の再生時の処理について図8を用いて説明する。
図8の処理は、ステップ63の判断処理以外は図5に示した表示動画作成処理と同様の処理であるため説明を一部省略する。
2回目以降の動画再生処理が開始されると、再生する動画像データを取得し(ステップ61)、シーン切替データを取得する(ステップ62)。そして、表示変更情報管理手段29に表示変更情報データが保存されているかどうか確認する(ステップ63)。もし保存されていればその表示変更情報データを参照してそのシーンの拡大動画像を作成して再生する。表示変更情報データが保存されていなければ、ステップ64、ステップ65と移行し、図5に示した処理と同様の処理を行うことで動画像を再生する。このように利用者による表示変更情報データを保存して2回目以降の動画再生時に利用することにより、2回目以降の処理負荷を軽減できると共に、利用者の好みを反映した動画像再生を行え、より利用者が使いやすい動画像再生を実現できる。
図8の処理は、ステップ63の判断処理以外は図5に示した表示動画作成処理と同様の処理であるため説明を一部省略する。
2回目以降の動画再生処理が開始されると、再生する動画像データを取得し(ステップ61)、シーン切替データを取得する(ステップ62)。そして、表示変更情報管理手段29に表示変更情報データが保存されているかどうか確認する(ステップ63)。もし保存されていればその表示変更情報データを参照してそのシーンの拡大動画像を作成して再生する。表示変更情報データが保存されていなければ、ステップ64、ステップ65と移行し、図5に示した処理と同様の処理を行うことで動画像を再生する。このように利用者による表示変更情報データを保存して2回目以降の動画再生時に利用することにより、2回目以降の処理負荷を軽減できると共に、利用者の好みを反映した動画像再生を行え、より利用者が使いやすい動画像再生を実現できる。
次に動画再生処理の付加機能である、オリジナル動画像と拡大動画像の同時再生処理について図9および図10を用いて説明する。なお、図9および図10は、図6内の表示領域3の部分を取り出したものである。利用者が動画像の再生中に同時再生ボタン(図6のボタン41)を押下すると、図9に示すように、動画像データ管理手段で管理されているオリジナルの動画像データ44と、表示動画生成手段で生成された表示用動画像データ43とを同じ画面42上で同時に再生する。この機能により利用者は、常に全体の画面を見ながら、一部を拡大した動画像を同時に見ることができ、全体内容の把握と詳細内容の把握を効率的に行うことが可能となる。また、図10に示すように、動画像を再生する再生装置が複数の画面45、46を持つ場合には、片方の画面45でオリジナル動画像データ47を再生し、もう一方の画面46で拡大した動画像データ48を再生することも可能となる。これは例えば2つの液晶画面を持つ携帯電話等において、メイン液晶画面でオリジナル動画像を再生し、サブ液晶画面で拡大した動画像データを再生するようなことができる。この機能により利用者は、現在の携帯電話の使用状況により、メイン液晶画面もしくはサブ液晶画面を使い分けて、動画像の再生を行うことが可能となる。この機能は、例えば通常はメイン液晶画面で動画像再生を行い、携帯電話を閉じる必要のある場合や、バッテリーの残量が少ない場合などに、携帯電話の背面にある小さなサブ液晶画面で拡大動画像の再生を行うような時に使用できる。なお、特に携帯電話など機器の大きさに制約がある場合には、操作ボタンをソフトウェアによって画面に表示させることが好ましい。
本発明の動画像表示装置は、動画像を表示するための液晶パネルや、各操作を行うためのボタンが備えられた動画像表示専用の装置として利用することができ、特に携帯電話等の携帯通信端末機器や、通信機能を伴った汎用的な携帯端末において有効に利用できる。
10 動画像サーバ
20 動画像表示装置
21 通信手段
22 動画像データ管理手段
23 シーン切替検出手段
24 シーン切替データ管理手段
26 表示情報データ管理手段
27 表示動画生成手段
28 表示手段
29 表示変更情報管理手段
20 動画像表示装置
21 通信手段
22 動画像データ管理手段
23 シーン切替検出手段
24 シーン切替データ管理手段
26 表示情報データ管理手段
27 表示動画生成手段
28 表示手段
29 表示変更情報管理手段
Claims (9)
- 動画像サーバから動画像データを受信する通信手段と、前記動画像サーバから受信した前記動画像データを格納して管理する動画像データ管理手段と、前記動画像データ中のシーンの変わり目を検出してシーン切り替えデータを生成するシーン切替検出手段と、シーン毎の動画像の内容から画面に表示する動画像の拡大範囲を決定して表示情報データを生成する表示情報データ生成手段と、前記シーン切替データと前記表示情報データを参照し、前記動画像データの一部を拡大した表示用動画像データを生成する表示動画生成手段と、前記表示動画生成手段において生成した表示用動画像データを表示する表示手段とを備えたことを特徴とする動画像表示装置。
- 前記シーン切替検出手段は、前記動画像データ中のフレーム間の画素データ差分を計算する手段と、前記画素データ差分を所定値と比較する手段と、前記画素データ差分が所定値より大きいフレームをシーンの切り替わりと認識する手段とを有し、シーンの切り替わりと認識したフレームを動画像の時間軸に対応させた形でデータ化してシーン切り替えデータとしてシーン切替データ管理手段に蓄積することを特徴とする請求項1記載の動画像表示装置。
- 前記表示情報データ生成手段は、動画像データを構成するフレーム画像の周波数成分を解析する手段と、解析した周波数成分から、動画像データの内容の複雑さ、および動画の画面の中で注目すべき位置を認識する手段と、認識した動画像データの内容の複雑さと注目すべき位置から、画面に表示する動画サイズおよび拡大範囲を決定する手段とを有することを特徴とする請求項1記載の動画像表示装置。
- ユーザが変更した設定変更データを記憶して前記動画像データと対応付けて管理する表示変更情報管理手段を備え、前記表示動画生成手段では、前記表示変更情報管理手段に記憶された設定変更データに基づいて動画像の拡大範囲および表示画像サイズを変更することを特徴とする請求項1記載の動画像表示装置。
- 前記動画像データ管理手段は、動画像サーバから受信した動画像データを、表示用動画像データではなく受信した元データのまま保存することを特徴とする請求項1記載の動画像表示装置。
- 前記表示動画作成手段は、前記シーン切り替えデータに記述されているシーン毎に表示用動画像を作成する際に、表示する前記シーンの動画像全体を写してから前記表示情報データで指定された箇所を拡大表示することを特徴とする請求項1記載の動画像表示装置。
- 前記表示手段は、前記表示動画作成手段において作成された拡大画像を用いた表示用動画像と、前記動画像データ管理手段で管理されているオリジナルの動画像データとを同一画面上に同時に表示する機能を有することを特徴とする請求項1記載の動画像表示装置。
- 前記表示手段は、複数の表示画面で構成され、前記表示動画作成手段において作成された拡大画像を用いた表示用動画像と、前記動画像データ管理手段で管理されているオリジナルの動画像データとを、それぞれ別の表示画面で同時に再生する機能を有することを特徴とする請求項1記載の動画像表示装置。
- 複数のフレーム画像からなる動画像を動画像表示装置上で表示させる動画像表示方法であって、動画サーバから受信した動画像データを構成する各フレーム画像の周波数成分を解析し、解析した周波数成分から動画像中で注目すべき位置を認識し、認識した動画像データの位置から、画面に表示する拡大範囲を決定することを特徴とする動画像表示方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004110902A JP2005292691A (ja) | 2004-04-05 | 2004-04-05 | 動画像表示装置および動画像表示方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004110902A JP2005292691A (ja) | 2004-04-05 | 2004-04-05 | 動画像表示装置および動画像表示方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005292691A true JP2005292691A (ja) | 2005-10-20 |
Family
ID=35325644
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004110902A Pending JP2005292691A (ja) | 2004-04-05 | 2004-04-05 | 動画像表示装置および動画像表示方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2005292691A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007101867A (ja) * | 2005-10-04 | 2007-04-19 | Sharp Corp | 携帯端末 |
JP2007329081A (ja) * | 2006-06-09 | 2007-12-20 | Hitachi High-Technologies Corp | 荷電粒子線装置、及びそれを制御するためのプログラム |
JP2010145818A (ja) * | 2008-12-19 | 2010-07-01 | Nikon Corp | 表示制御方法、表示制御装置、及び該装置を備えた電子カメラ |
JP2014139681A (ja) * | 2006-09-01 | 2014-07-31 | Thomson Licensing | 適応的なビデオ呈示のための方法および装置 |
JP2021129178A (ja) * | 2020-02-12 | 2021-09-02 | シャープ株式会社 | 電子機器、表示制御装置、表示制御方法、および、プログラム |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS62209984A (ja) * | 1986-03-10 | 1987-09-16 | Nec Corp | 画像信号の符号化方法およびその装置 |
JPH0678229A (ja) * | 1992-08-26 | 1994-03-18 | Sony Corp | 映像装置のリプレイ機構 |
JPH0951508A (ja) * | 1995-08-04 | 1997-02-18 | Sony Corp | テレビジヨン信号受信装置及びテレビジヨン信号受信方法 |
JP2000339460A (ja) * | 1999-05-26 | 2000-12-08 | Sharp Corp | 注目領域設定装置、および注目領域設定方法 |
JP2003085572A (ja) * | 2001-09-11 | 2003-03-20 | Nippon Hoso Kyokai <Nhk> | 漫画生成装置及び漫画生成プログラム |
JP2003091410A (ja) * | 2001-09-18 | 2003-03-28 | Alps Electric Co Ltd | 携帯端末及び画像表示方法並びに画像データ配信装置 |
JP2005182196A (ja) * | 2003-12-16 | 2005-07-07 | Canon Inc | 画像表示方法および画像表示装置 |
JP2005242756A (ja) * | 2004-02-27 | 2005-09-08 | Ricoh Co Ltd | マルチメディアコンテンツ生成装置、マルチメディアコンテンツ生成方法、その方法をコンピュータに実行させるプログラム、およびマルチメディアコンテンツ生成システム |
JP2005277916A (ja) * | 2004-03-25 | 2005-10-06 | Seiko Epson Corp | 動画像処理装置、画像処理システム、動画像処理方法およびそのプログラム、記録媒体 |
-
2004
- 2004-04-05 JP JP2004110902A patent/JP2005292691A/ja active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS62209984A (ja) * | 1986-03-10 | 1987-09-16 | Nec Corp | 画像信号の符号化方法およびその装置 |
JPH0678229A (ja) * | 1992-08-26 | 1994-03-18 | Sony Corp | 映像装置のリプレイ機構 |
JPH0951508A (ja) * | 1995-08-04 | 1997-02-18 | Sony Corp | テレビジヨン信号受信装置及びテレビジヨン信号受信方法 |
JP2000339460A (ja) * | 1999-05-26 | 2000-12-08 | Sharp Corp | 注目領域設定装置、および注目領域設定方法 |
JP2003085572A (ja) * | 2001-09-11 | 2003-03-20 | Nippon Hoso Kyokai <Nhk> | 漫画生成装置及び漫画生成プログラム |
JP2003091410A (ja) * | 2001-09-18 | 2003-03-28 | Alps Electric Co Ltd | 携帯端末及び画像表示方法並びに画像データ配信装置 |
JP2005182196A (ja) * | 2003-12-16 | 2005-07-07 | Canon Inc | 画像表示方法および画像表示装置 |
JP2005242756A (ja) * | 2004-02-27 | 2005-09-08 | Ricoh Co Ltd | マルチメディアコンテンツ生成装置、マルチメディアコンテンツ生成方法、その方法をコンピュータに実行させるプログラム、およびマルチメディアコンテンツ生成システム |
JP2005277916A (ja) * | 2004-03-25 | 2005-10-06 | Seiko Epson Corp | 動画像処理装置、画像処理システム、動画像処理方法およびそのプログラム、記録媒体 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007101867A (ja) * | 2005-10-04 | 2007-04-19 | Sharp Corp | 携帯端末 |
JP2007329081A (ja) * | 2006-06-09 | 2007-12-20 | Hitachi High-Technologies Corp | 荷電粒子線装置、及びそれを制御するためのプログラム |
JP2014139681A (ja) * | 2006-09-01 | 2014-07-31 | Thomson Licensing | 適応的なビデオ呈示のための方法および装置 |
JP2010145818A (ja) * | 2008-12-19 | 2010-07-01 | Nikon Corp | 表示制御方法、表示制御装置、及び該装置を備えた電子カメラ |
JP2021129178A (ja) * | 2020-02-12 | 2021-09-02 | シャープ株式会社 | 電子機器、表示制御装置、表示制御方法、および、プログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2019194904A (ja) | 画像のグループについてのテキスト色を生成する方法及び装置 | |
US10425618B2 (en) | Information processing apparatus, tuner, and information processing method | |
US8285114B2 (en) | Electronic apparatus and display method | |
JP5568178B2 (ja) | ビデオの要約方法 | |
JP5082153B2 (ja) | 映像変換装置、映像再生装置、映像変換再生システム及びプログラム | |
US10496243B2 (en) | Method and apparatus for color detection to generate text color | |
JP2011130279A (ja) | コンテンツ提供サーバ、コンテンツ再生装置、コンテンツ提供方法、コンテンツ再生方法、プログラムおよびコンテンツ提供システム | |
KR101905638B1 (ko) | 동영상 재생 장치 및 방법 | |
WO2014034256A1 (ja) | 表示制御装置、表示制御システムおよび表示制御方法 | |
KR101434498B1 (ko) | 휴대 단말기 및 그의 동영상 관리 방법 | |
US20240214443A1 (en) | Methods, systems, and media for selecting video formats for adaptive video streaming | |
JP2014209707A (ja) | 映像再生装置および映像再生方法 | |
KR100860510B1 (ko) | 모바일 장치에서 시각 효과가 삽입된 슬라이드 쇼의 생성방법 | |
JP2005292691A (ja) | 動画像表示装置および動画像表示方法 | |
JP5911168B2 (ja) | 表示装置、表示方法及び表示プログラム | |
KR102139331B1 (ko) | 영상 콘텐츠 재생을 위한 장치, 서버 및 방법 | |
JPWO2007123014A1 (ja) | 画像出力装置 | |
JP2011166594A (ja) | 動画表示装置、動画表示方法及び動画表示プログラム | |
JP2005210235A (ja) | 画像処理装置、及び画像処理装置を搭載した携帯電話機 | |
CN114745597A (zh) | 视频处理方法和装置、电子设备和计算机可读存储介质 | |
JP2004096592A (ja) | 動画再生端末 | |
JP2009055147A (ja) | 動画データ送信装置およびその動作制御方法 | |
KR20080105534A (ko) | 휴대단말기의 영상 캡쳐 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070329 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080117 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100525 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20101005 |