JP2004242117A

JP2004242117A - Moving picture reproduction method, moving picture reproduction device, moving picture reproduction program, and recording medium for program

Info

Publication number: JP2004242117A
Application number: JP2003030204A
Authority: JP
Inventors: Ken Tsutsuguchi; 拳筒口; Yoshinobu Tonomura; 佳伸外村
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2003-02-07
Filing date: 2003-02-07
Publication date: 2004-08-26

Abstract

<P>PROBLEM TO BE SOLVED: To appropriately display a moving picture, in which vertical and horizontal sizes and display positions of respective frames is changed for every frame, in accordance with a display screen on a reproduction side. <P>SOLUTION: The reproduction size and reproduction position of each frame intended by a producer are recorded as accompanying information 3 as well as a moving picture file 2. A moving picture reading/storing means 10 and an accompanying information reading/storing means 12 read the moving picture file 2 and the accompanying information 3, respectively. A display size determining means 15 and a reproduction position determining means 16 determine a reproduction size and a reproduction position, respectively on the basis of the accompanying information 3. According to the result, an image expanding/reducing means 18 expands or reduces a moving image so as to be in the determined reproduction size, a window display means 17 secures an area for display at the reproduction position, and a moving picture reproducing means 19 reproduces the moving picture. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は，ディジタル化され記憶装置に蓄積された動画像を表示再生する技術に関し，特に，配信側が定めた動画像の表示位置，表示サイズに対して，クライアントのＰＣ環境（ディスプレイの解像度等）に適合するように調整して表示することができる動画像の表示位置，表示領域が可変な動画像再生方法，動画像再生装置，動画像再生プログラムおよび動画像再生プログラムの記録媒体に関するものである。
【０００２】
【従来の技術】
従来の映像再生においては，動画像メディア自体がテレビ（ＴＶ）や映画のように，固定サイズ，固定位置の表示を前提として制作されているため，表示サイズや表示位置を動的に変化させるような映像メディアは存在していなかった。
【０００３】
ストリーム映像においては，通信帯域に応じて表示サイズを変化するものもあるが，これはフレームレートを維持するための処理の結果であり，動画像メディアの制作者が意図したものではない。
【０００４】
コンテンツ提供側において，入力画像のサイズを取得する手法としては，ネットワーク上に配置された映像入力装置から，映像データやそれに関する情報を取得する手法が提案されている（例えば，特許文献１「映像処理システム，映像処理方法，映像アップロードシステム，記憶媒体，映像アップロードサーバ」参照）。
【０００５】
また，パノラマ画像のように複数の画像からサイズの異なる画像を生成する手法や，画像中の一部を抜き出して再生する手法もある。
【０００６】
【特許文献１】
特開２００１−１４２８９６号公報
【０００７】
【発明が解決しようとする課題】
しかし，上記のいずれの手法においても，サーバ側から配信するコンテンツにおいて，画像のサイズ（縦横の画素数の意味で用いる：解像度ともいう）や再生位置が変動するような場合に，クライアント側の再生環境（画面サイズ）に応じた再生が困難である，という問題があった。
【０００８】
本発明の目的は，各フレームの縦横のサイズや表示位置がフレームごとに変化する動画像を，特殊な装置を用いないでも，表示装置に合致して適切に再生することを可能とする動画像の再生技術を提供することにある。
【０００９】
【課題を解決するための手段】
本発明は，動画像記憶装置に記憶された動画像を再生する際に，動画像の縦横のサイズや動画像を表示するためのウィンドウの位置が動的に変化しても，当該動画像を再生するディスプレイ装置をはじめとする再生端末のサイズに応じて適切に再生することを可能とするものである。
【００１０】
図１は，本発明と従来手法による動画像再生の比較の例を示す図である。図１の例において，２０，２０′はディスプレイ等の表示画面を示し，２１は表示画面２０上での動画像の再生画面を示す。
【００１１】
図１（ａ）は，従来の動画像再生の典型的な例である。従来技術では，コンテンツ提供側が動画像の再生位置や再生サイズをフレームごとに変更することはできない。図１（ｂ）は，本発明を実施した場合の動画像再生の例である。本発明によれば図１（ｂ）に示すように，動画像の再生位置や再生サイズを変更することができる。図１（ｃ）は，本発明により図１（ｂ）と同一の動画像を，図１（ｂ）の表示画面２０と画面サイズが異なる表示画面２０′に表示した動画像再生の例である。画面サイズが異なっても，図１（ｂ）と同様に，動画像の再生位置や再生サイズを変更することができる。
【００１２】
以上のように本発明は，通常の表示サイズや表示位置が固定された動画像のみならず，動画像制作者が意図した表示サイズや表示位置を，特別な再生装置なしに再生することを可能とするものであり，動画像の各フレームに対応付けられた縦横サイズ，および位置を読み込み，また，コンピュータ・ディスプレイに代表される表示装置の縦横サイズを読み込み，これらの情報を用いて，各フレームを当該表示装置において再生する際の実際の表示位置および実際の縦横サイズを求めることを最も主要な特徴とする。
【００１３】
具体的には，各フレームの縦横のサイズや表示位置がフレームごとに変化する動画像と，そのフレームごとの縦横のサイズや表示位置を示した付随情報がある場合に，コンピュータ・ディスプレイに代表される表示装置において当該動画像を前記再生サイズや位置情報の変化に応じて再生する方法であって，前記動画像を読み込み記憶する過程と，前記付随情報を読み込み記憶する過程と，前記付随情報または動画像に付随するヘッダ情報から，動画像の各フレームのデータサイズを取得する過程と，動画像を再生する装置またはソフトウェアにおける表示画面のサイズを取得する過程と，前記動画像を再生する装置またはソフトウェアにおける，動画像を表示するフレームごとのサイズを決定する過程と，前記動画像を再生する装置またはソフトウェアにおける，動画像を表示するフレームごとの位置を決定する過程と，前記動画像を再生する装置またはソフトウェアにおいて，動画像を表示するフレームごとのサイズまたは位置に応じて，動画像を再生するためのウィンドウを表示する過程と，画像サイズを拡大・縮小する過程と，前記ウィンドウ内に動画像を再生する過程とを有することを特徴とする。
【００１４】
前記動画像および付随情報は，ネットワーク接続された記憶装置に蓄積されていてもよい。また，実際に記憶装置に蓄積されている動画像の縦横のサイズが固定であり，フレームごとの縦横のサイズが変化するように付随情報に記載しておくこともでき，このような場合に，前記付随情報のサイズ変化に合致するように，当該フレームの画像サイズを変化させることもできる。
【００１５】
動画像を再生する装置またはソフトウェアにおいて，表示画面のサイズを設定する手段を設け，付随情報と前記設定された表示画面サイズとから表示位置，表示領域を可変とすることもできる。
【００１６】
また，動画像を再生する装置またはソフトウェアにおいて，動画像再生画面のサイズ，または位置を固定化する手段を設け，付随情報を用いて表示位置，表示領域を可変にするか否かを，クライアントが設定できるようにする実施も可能である。
【００１７】
以上の方法を実行するための手段は，コンピュータとソフトウェアプログラムとによって実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも，またネットワークを通して提供することも可能である。
【００１８】
【発明の実施の形態】
以下，本発明の実施の形態を図を用いて説明する。まず，以下の説明を容易にするために，本実施の形態で用いる座標系の例について説明する。
【００１９】
図２は，本実施の形態における座標系の例を示す図である。図２（ａ）は，動画像制作者の意図する表示画面２２の座標系を示しており，図２（ｂ）は，クライアント側の表示画面２０の座標系の例を示している。２３，２３′は，動画像のｉ番目のフレームである。
【００２０】
図２（ａ）において，動画像の第ｉフレーム（ｉ＝１，２，・・・，Ｎ）について，制作者の意図する横サイズをＷ_ｉ，縦サイズをＨ_ｉとし，表示位置Ｏ_ｉを（Ｘ_ｉ，Ｙ_ｉ）とする。なお，図示を省略するが，制作者の意図する縦横サイズと，実際に記録されているフレームの縦横サイズとが異なっていてもよく，異なる場合，動画像の第ｉフレーム（ｉ＝１，２，・・・，Ｎ）の実際に記録されている縦横サイズを（Ｒ_Ｗｉ，Ｒ_Ｈｉ）とする。
【００２１】
表示位置Ｏ_ｉ（Ｘ_ｉ，Ｙ_ｉ）は，想定する縦横サイズが（Ｗ_ｓ，Ｈ_ｓ）である表示画面２２上のウィンドウ座標系における，動画像を再生するウィンドウ（ｉ番目のフレーム２３の再生位置）の座標値を示すものである。例えばウィンドウ座標系として，表示画面の左上隅Ｏ_ｓを原点にとり，右向きにＸ軸，下向きにＹ軸を設定する。Ｏ_ｉ（Ｘ_ｉ，Ｙ_ｉ）は，この座標系での動画像を再生するウィンドウの左上隅の座標を表す。
【００２２】
以下の説明では，暗黙のうちに，Ｗ_ｓ＝ｍａｘ（Ｘ_ｉ＋Ｗ_ｉ），Ｈ_ｓ＝ｍａｘ（Ｙ_ｉ＋Ｈ_ｉ）であると仮定している。すなわち，（Ｘ_ｉ＋Ｗ_ｉ）はＷ_ｓ以下であり，（Ｙ_ｉ＋Ｈ_ｉ）はＨ_ｓ以下であるものとする。
【００２３】
同様に，図２（ｂ）において，動画像を再生するクライアント側の表示画面２０の横サイズをｗ_ｃ，縦サイズをｈ_ｃ，原点（０，０）をｏ_ｃとし，第ｉフレームを再生するときのフレームの左上隅座標をｏ_ｉ（ｘ_ｉ，ｙ_ｉ），フレームの横サイズをｗ_ｉ，縦サイズをｈ_ｉとする。ここでも，暗黙のうちに，ｗ_ｃ＝ｍａｘ（ｘ_ｉ＋ｗ_ｉ），ｈ_ｃ＝ｍａｘ（ｙ_ｉ＋ｈ_ｉ）であると仮定している。
【００２４】
なお，本実施の形態において，Ｗ_ｓ，Ｈ_ｓ，ｗ_ｃ，ｈ_ｃはすべてゼロ以上の整数値であり，ｉ＝１，２，・・・，Ｎについて，Ｘ_ｉ，Ｙ_ｉ，Ｗ_ｉ，Ｈ_ｉ，ｘ_ｉ，ｙ_ｉ，ｗ_ｉ，ｈ_ｉもゼロ以上の整数値である。
【００２５】
この他にも座標の表し方として様々なものが考えられるが，本発明の内容はこのような座標系の取り方に依存せず，座標系が上記の例と異なる場合は，随時その座標系表記に置き換えて，本発明を実装することが可能であることは明らかである。また，フレーム番号や座標値の開始をゼロとするか１とするかによって，以下の計算に差異が生じる場合があるが，いずれの場合でも容易に相互に修正可能である。以下，開始値を１として説明する。
【００２６】
図３は，本発明の実施の形態における動画像再生装置の例を示す図である。この動画像再生装置１は，動画像ファイル２と付随情報３とを読み込み，フレームごとに再生サイズ，再生位置が可変な動画像を再生する。
【００２７】
動画像再生装置１は，動画像読込／記憶手段１０，データサイズ取得手段１１，付随情報読込／記憶手段１２，ディスプレイサイズ取得手段１３，ディスプレイサイズ設定手段１４，再生サイズ決定手段１５，再生位置決定手段１６，ウィンドウ表示手段１７，画像拡大・縮小手段１８，動画像再生手段１９から構成される。
【００２８】
動画像ファイル２は，動画像のフレームごとのデータを記憶するものである。動画像のデータは，フレームごとに縦横サイズが同じでも異なっていてもどちらでもよく，また，その符号化の形式は問わない。
【００２９】
付随情報３は，動画像ファイル２の各フレームごとの縦横サイズに関する情報，あるいは各フレームごとの意図する表示位置に関する情報，あるいはその両方を含んでいる情報である。付随情報３における表示サイズ，表示位置の表記は，画素単位やあるいはある基準値からの差分，割合などのいずれの表記方法でもよいが，少なくともこれらの情報から，動画像制作者の意図する動画像再生装置における表示サイズ，表示位置が判明できる必要がある。
【００３０】
図４は，本実施の形態における付随情報の表記例を示す図であって，図４（ａ）は，動画像の各フレームの画像幅，画像高さが同一でない場合，図４（ｂ）は，動画像が全フレームにわたって同じ画像幅，画像高さで記録されている場合の例を示している。
【００３１】
付随情報３には，図４（ａ）に例示されるように，動画像制作者が意図する表示画面サイズ（Ｗ_ｓ，Ｈ_ｓ），フレーム番号ｉに対応付けられた実際に動画像ファイル２に記録されている動画像のサイズ（Ｒ_Ｗｉ，Ｒ_Ｈｉ），同フレーム番号ｉに対応づけられた位置（Ｘ_ｉ，Ｙ_ｉ），および同フレーム番号ｉに対応付けられた動画像製作者が意図するサイズ（Ｗ_ｉ，Ｈ_ｉ）の情報が記載されている。
【００３２】
また，図４（ｂ）に例示されるように，実際に動画像ファイル２に記録されている動画像のサイズが一定の場合には，特に（Ｒ_Ｗｉ，Ｒ_Ｈｉ）を記載せず，動画像制作者が意図する表示画面サイズ（Ｗ_ｓ，Ｈ_ｓ），フレーム番号ｉに対応づけられた位置（Ｘ_ｉ，Ｙ_ｉ），および同フレーム番号ｉに対応付けられた動画像製作者が意図するサイズ（Ｗ_ｉ，Ｈ_ｉ）の情報を記載するだけでもよい。
【００３３】
これらは，動画像再生装置１で動作する動画像再生のためのプログラムが理解できるものであればよく，ファイル形式や記述形式は問わない。また，図３に示す例では，動画像ファイル２とその付随情報３とを分離して記載しているが，付随情報３が動画像ファイル２にヘッダ情報として含まれていてもよい。
【００３４】
動画像読込／記憶手段１０は，外部記憶装置またはネットワークを介して他のサーバ装置から動画像ファイル２を読み込み，それをメモリ等に記憶する。
【００３５】
付随情報読込／記憶手段１２は，付随情報３を読み込み，それをメモリ等に記憶する。データサイズ取得手段１１は，読み込んだ付随情報３から動画像ファイル２の各フレームごとのデータサイズを取得する。
【００３６】
ディスプレイサイズ取得手段１３は，動画像を再生表示する表示画面２０の縦横サイズ（ｗ_ｃ，ｈ_ｃ）を取得する。例えば，使用しているコンピュータのオペレーティング・システムあるいはウィンドウ・マネージャに問い合わせて，現在の画面解像度を得るなどにより，縦横サイズ（ｗ_ｃ，ｈ_ｃ）を決定する。
【００３７】
この縦横サイズ（ｗ_ｃ，ｈ_ｃ）として，ディスプレイサイズ設定手段１４によって，ユーザまたはアプリケーションプログラムが設定した値を用いることもできる。このため，ディスプレイサイズ設定手段１４は，動画像を再生表示する表示装置またはソフトウェアにおける表示画面２０のサイズを設定する機能を提供する。例えば，クライアント側で表示画面２０のサイズを変更する場合などに用いる。
【００３８】
再生サイズ決定手段１５は，動画像を再生する際に，クライアント側の表示画面２０における動画像を表示するフレームごとの再生サイズ，すなわち（ｗ_ｉ，ｈ_ｉ）を決定する。再生位置決定手段１６は，クライアント側の表示画面２０における動画像を表示するフレームごとの再生位置，すなわちｏ_ｉ（ｘ_ｉ，ｙ_ｉ）を決定する。
【００３９】
ウィンドウ表示手段１７は，動画像の再生において，動画像を表示するフレームごとの再生サイズまたは再生位置に応じて，再生領域の表示メモリを確保し，再生のためのウィンドウを表示する。
【００４０】
画像拡大・縮小手段１８は，あるフレームを再生・表示する際に，元の動画像すなわち動画像ファイル２の当該フレームの縦横サイズ（Ｒ_Ｗｉ，Ｒ_Ｈｉ）または動画像制作者が意図する縦横サイズ（Ｗ_ｉ，Ｈ_ｉ）と，動画像を表示するためのウィンドウの縦横サイズ（ｗ_ｉ，ｈ_ｉ）とが異なる場合に，動画像ファイル２の当該フレームの縦横サイズ（Ｒ_Ｗｉ，Ｒ_Ｈｉ）または（Ｗ_ｉ，Ｈ_ｉ）が，動画像を表示するためのウィンドウの縦横サイズ（ｗ_ｉ，ｈ_ｉ）となるように，画像の拡大または縮小を行う。もちろん，（Ｒ_Ｗｉ，Ｒ_Ｈｉ）＝（ｗ_ｉ，ｈ_ｉ）および（Ｗ_ｉ，Ｈ_ｉ）＝（ｗ_ｉ，ｈ_ｉ）であるような場合には，拡大・縮小を行う必要はない。なお，通常の場合，（Ｗ_ｉ，Ｈ_ｉ）＝（ｗ_ｉ，ｈ_ｉ）であるが，動画像再生装置１のアプリケーションソフトウェアまたはユーザが，特に表示サイズに付随情報３を用いないことを設定した場合，またはディスプレイサイズ設定手段１４により設定されたサイズが，（Ｗ_ｉ，Ｈ_ｉ）のサイズで表示できないサイズであるような場合には，この画像拡大・縮小手段１８による拡大・縮小の処理が必要になる。
【００４１】
動画像再生手段１９は，ウィンドウ表示手段１７により表示されたウィンドウ内に，動画像を再生する。
【００４２】
図５は，本実施の形態における動画像再生処理の概要を示すフローチャートである。まず，動画像読込／記憶手段１０，付随情報読込／記憶手段１２は，それぞれ動画像ファイル２，付随情報３を読み込み，記憶する（ステップＳ１０）。動画像ファイル２に記録された動画像がフレームごとに縦横サイズが異なるものである場合，データサイズ取得手段１１により，各フレームを記憶するために必要な記憶容量のサイズをあらかじめ取得し，動画像読込／記憶手段１０において記憶容量を確保し記憶する。その際に，付随情報３および１画素当たりのビット数により，矛盾を生じることなく読み込むことが可能となる。したがって，動画像ファイル２の読み込みに先立って，付随情報３を読み込み記憶しておくほうが効率がよい。特に，ネットワークを介して動画像コンテンツを受信するような場合には，動画像ファイル２は一般的に容量も大きく転送に時間がかかるため，例えば動画像ファイル２がストリーミング形式であるような場合，バッファリングを行っているときに付随情報３を受け取るようにすると，効率がよい。
【００４３】
動画像ファイル２が，広く一般的に用いられているファイル形式において蓄積されているように，縦横サイズが全フレームにおいて一定であることが既知であり，付随情報３にサイズを動的に変更するような記載がなされている場合には，動画像ファイル２と付随情報３のいずれを先に読み込んでもよい。
【００４４】
次に，ディスプレイサイズ取得手段１３によりクライアント側の表示画面２０のサイズ（ｗ_ｃ，ｈ_ｃ）を取得する。もし，ディスプレイサイズ設定手段１４により表示画面２０のサイズ（ｗ_ｃ，ｈ_ｃ）が設定されている場合には，その値を取得する（ステップＳ１１）。ディスプレイサイズ設定手段１４による表示画面２０のサイズ（ｗ_ｃ，ｈ_ｃ）の設定は，例えば，１台のパーソナルコンピュータ（ＰＣ）により複数のディスプレイをあたかも１つの画面を拡張したかのように使用する場合や，実際のディスプレイの解像度よりも表示画面２０のサイズ（ｗ_ｃ，ｈ_ｃ）を小さく設定して表示させたいような場合に，利用することができる。もちろん，実際のディスプレイの解像度よりも表示画面２０のサイズ（ｗ_ｃ，ｈ_ｃ）を大きく設定してもよいが，その際には一部が表示されないフレームが生じる可能性がある。
【００４５】
再生サイズ決定手段１５，再生位置決定手段１６は，付随情報または設定された情報に基づいて，それぞれ再生サイズ（ｗ_ｉ，ｈ_ｉ），再生位置ｏ_ｉ（ｘ_ｉ，ｙ_ｉ）を決定する（ステップＳ１２）。具体的な処理方法は，後述する。画像拡大・縮小手段１８は，決定した再生サイズ（ｗ_ｉ，ｈ_ｉ），再生位置ｏ_ｉ（ｘ_ｉ，ｙ_ｉ）をもとに，動画像を再生サイズ（ｗ_ｉ，ｈ_ｉ）となるように拡大または縮小を行う（ステップＳ１３）。ウィンドウ表示手段１７は，ウィンドウの表示用領域を確保し（ステップＳ１４），動画像再生手段１９は，動画像を各フレームごとに逐次的に再生する（ステップＳ１５）。
【００４６】
【実施例】
以下，具体的な実施例を図を用いて説明する。本実施例では，映像配信サーバに接続された蓄積装置に，縦横サイズ，および，期待する画面再生位置がフレームごとに変化するような動画像コンテンツ（図３の動画像ファイル２に該当）と，この動画像コンテンツに関連付けられ，フレームごとの画像サイズと画面再生位置とを記録したメタデータファイル（図３の付随情報３に該当）とが蓄積されており，これらの動画像コンテンツおよびメタデータファイルが映像配信サーバを介してインターネット上に配信されるものとする。
【００４７】
配信される動画像コンテンツは，もともと期待する縦横サイズで制作されているが，本発明による動画像再生処理を利用しないシステムでの利用も考慮して，本実施例では，フレームごとにすべて同一の縦横サイズに拡大縮小されて保存されているものとする。特に，本発明を利用しないのであれば，クライアント側において，動画像コンテンツにアクセスし，通常の動画像と同様に再生し，処理を終了する。
【００４８】
図６は，本実施例における動画像再生処理フローチャートである。まず，クライアント側において，インターネットを介してメタデータファイルを読み込み（ステップＳ２０），メタデータファイルとして提供される付随情報からコンテンツ提供者が前提としている表示画面のサイズ，各フレームのデータサイズを取得する（ステップＳ２１）。また，映像配信サーバにアクセスして動画像コンテンツを読み込む（ステップＳ２２）。
【００４９】
ここで，動的に画像の再生サイズ，再生位置を変化させるかどうか，すなわち，本発明を利用してコンテンツ提供者の意図に従って再生サイズ，再生位置を可変にするかどうかを，再生処理プログラムまたはユーザの設定情報に基づき判定し（ステップＳ２３），変化させないのであれば，再生サイズを固定し，再生位置も固定のままとして（ステップＳ２４），ステップＳ３６へ進み，通常の動画像の再生と同様に，動画像の再生処理を行う（ステップＳ３６，Ｓ３７）。
【００５０】
動的に再生サイズ，再生位置を変化させる場合，クライアント側において設定される再生画面のサイズを用いるかどうかを判定する（ステップＳ２５）。これは，例えばＴＶのように解像度が決定されているものや，コンピュータ・ディスプレイにおいて，利用できる最大解像度を利用するかどうか，あるいは他の解像度を用いるかどうかなどを，クライアント側で選択し決定するものである。
【００５１】
クライアント側で再生画面のサイズを設定しない場合には，動画像を再生するクライアント側のディスプレイの縦横サイズ（ｗ_ｃ，ｈ_ｃ）を取得する（ステップＳ２６）。クライアント側において実際のディスプレイのサイズとは別に設定される再生画面のサイズを用いる場合には，そのサイズ（ｗ_ｃ，ｈ_ｃ）を設定する（ステップＳ２７）。
【００５２】
次に，コンテンツ提供者が前提としている再生画面のサイズの縦横比（Ｘ軸，Ｙ軸方向の比：ａ_ｓ＝Ｗ_ｓ／Ｈ_ｓ）を保つかどうかを，再生処理プログラムまたはユーザの設定情報に基づき判定し（ステップＳ２８），提供側の縦横比ａ_ｓを適用しないのであれば，ステップＳ３３へ進む。
【００５３】
コンテンツ提供者が前提としている再生画面のサイズの縦横比ａ_ｓを適用する場合には，クライアント側の再生画面のサイズ（ｗ_ｃ，ｈ_ｃ）に収まるようにコンテンツ提供者が前提としている表示画面のサイズ（Ｗ_ｓ，Ｈ_ｓ）の比を保ちつつ，ｗ_ｃの値またはｈ_ｃの値を修正する。
【００５４】
具体的には，クライアント側の再生画面のサイズの縦横比（Ｘ軸，Ｙ軸方向の比）をａ_ｃ＝ｗ_ｃ／ｈ_ｃとし（ステップＳ２９），ａ_ｓ≧ａ_ｃであるかどうかを判定し（ステップＳ３０），ａ_ｓ≧ａ_ｃであれば，
ｈ_ｃ＝ｗ_ｃ／ａ_ｓ（式１）
と修正する（ステップＳ３１）。ａ_ｓ≧ａ_ｃでなければ，
ｗ_ｃ＝ｈ_ｃ×ａ_ｓ（式２）
と修正する（ステップＳ３２）。
【００５５】
次に，後述する左右方向処理（ステップＳ３３），上下方向処理（ステップＳ３４）を行い，コンテンツ提供者が前提としている再生サイズ（Ｗ_ｉ，Ｈ_ｉ）および再生位置（Ｘ_ｉ，Ｙ_ｉ）を，クライアント側の再生画面のサイズ（ｗ_ｃ，ｈ_ｃ）に応じたものに変換し，クライアント側の再生サイズ（ｗ_ｉ，ｈ_ｉ）および再生位置ｏ_ｉ（ｘ_ｉ，ｙ_ｉ）を得る。
【００５６】
得られた再生サイズ（ｗ_ｉ，ｈ_ｉ）となるように，画像の拡大または縮小を行い（ステップＳ３５），得られた再生位置ｏ_ｉ（ｘ_ｉ，ｙ_ｉ）に，得られた再生サイズ（ｗ_ｉ，ｈ_ｉ）でウィンドウを生成し（ステップＳ３６），生成したウィンドウに動画像を再生する（ステップＳ３７）。
【００５７】
図７は，図６に示すステップＳ３３の左右方向処理フローチャートである。まず，Ｗ_ｓ，ｗ_ｃの大小を比較し（ステップＳ４０），Ｗ_ｓ≦ｗ_ｃであれば，再生画面を拡大するかどうかを判定する（ステップＳ４１）。拡大しない場合にはｒ_ｗ＝１，ｒ_ｘ＝１とする（ステップＳ４２）。拡大する場合には，ｒ_ｗ＝ｒ_ｘ＝ｗ_ｃ／Ｗ_ｓとする（ステップＳ４３）。その後，
ｘ_ｉ＝ｒ_ｘ×Ｘ_ｉ，ｗ_ｉ＝ｒ_ｗ×Ｗ_ｉ（式３）
の式でｘ_ｉ，ｗ_ｉを求める（ステップＳ４４）。
【００５８】
ステップＳ４０の判定において，Ｗ_ｓ≦ｗ_ｃでなければ，Ｗ_ｉ＞ｗ_ｃであるフレームが存在するかどうかを判定し（ステップＳ４５），Ｗ_ｉ＞ｗ_ｃであるフレームが存在すれば，すべてのフレームに対してｗ_ｃ≧ｚ×Ｗ_ｉとなる正の実数ｚを求め（ステップＳ４６），すべてのフレームについてＷ_ｉ＝ｚ×Ｗ_ｉとなるようにＷ_ｉを修正する（ステップＳ４７）。その際，ｚは前記条件を満たしつつ，なるべく大きな値であることが望ましい。
【００５９】
その後，Ｘ_ｉおよびＷ_ｉの両者を縮小するか，Ｘ_ｉのみを縮小するか，Ｗ_ｉのみを縮小するかを判定し（ステップＳ４８），Ｘ_ｉおよびＷ_ｉの両者を縮小する場合には，ｒ_ｗ＝ｒ_ｘ＝ｗ_ｃ／Ｗ_ｓとする（ステップＳ４３）。Ｘ_ｉのみを縮小する場合には，
ｍａｘ（Ｗ_ｉ＋ｒ_ｘ×Ｘ_ｉ）≦ｗ_ｃ（式４）
を満たす０≦ｒ_ｘ≦１であるようなｒ_ｘを求め，ｒ_ｗは１とする（ステップＳ４９）。Ｗ_ｉのみを縮小する場合には，
ｍａｘ（ｒ_ｗ×Ｗ_ｉ＋Ｘ_ｉ）≦ｗ_ｃ（式５）
を満たす０≦ｒ_ｗ≦１であるようなｒ_ｗを求め，ｒ_ｘは１とする（ステップＳ５０）。上記の式３でｘ_ｉ，ｗ_ｉを求める（ステップＳ４４）。
【００６０】
図８は，図６に示すステップＳ３４の上下方向処理フローチャートである。まず，Ｈ_ｓ，ｈ_ｃの大小を比較し（ステップＳ６０），Ｈ_ｓ≦ｈ_ｃであれば，再生画面を拡大するかどうかを判定する（ステップＳ６１）。拡大しない場合には，ｒ_ｈ＝１，ｒ_ｙ＝１とし（ステップＳ６２），拡大する場合には，ｒ_ｈ＝ｒ_ｙ＝ｈ_ｃ／Ｈ_ｓとする（ステップＳ６３）。その後，
ｙ_ｉ＝ｒ_ｙ×Ｙ_ｉ，ｈ_ｉ＝ｒ_ｈ×Ｈ_ｉ（式６）
の式でｙ_ｉ，ｈ_ｉを求める（ステップＳ６４）。
【００６１】
ステップＳ６０の判定において，Ｈ_ｓ≦ｈ_ｃでなければ，Ｈ_ｉ＞ｈ_ｃであるフレームが存在するかどうかを判定し（ステップＳ６５），Ｈ_ｉ＞ｈ_ｃであるフレームが存在すれば，すべてのフレームに対してｈ_ｃ≧ｚ×Ｈ_ｉとなる正の実数ｚを求め（ステップＳ６６），すべてのフレームについてＨ_ｉ＝ｚ×Ｈ_ｉとなるようにＨ_ｉを修正する（ステップＳ６７）。その際に，ｚは前記条件を満たしつつ，なるべく大きな値であることが望ましい。
【００６２】
次に，Ｙ_ｉおよびＨ_ｉの両者を縮小するか，Ｙ_ｉのみを縮小するか，Ｈ_ｉのみを縮小するかを判定し（ステップＳ６８），Ｙ_ｉおよびＨ_ｉの両者を縮小する場合には，ｒ_ｈ＝ｒ_ｙ＝ｈ_ｃ／Ｈ_ｓとする（ステップＳ６３）。Ｙ_ｉのみを縮小する場合には，
ｍａｘ（Ｈ_ｉ＋ｒ_ｙ×Ｙ_ｉ）≦ｈ_ｃ（式７）
を満たす０≦ｒ_ｙ≦１であるようなｒ_ｙを求め，ｒ_ｈ＝１とする（ステップＳ６９）。Ｈ_ｉのみを縮小する場合には，
ｍａｘ（ｒ_ｈ×Ｈ_ｉ＋Ｙ_ｉ）≦ｈ_ｃ（式８）
を満たす０≦ｒ_ｈ≦１であるようなｒ_ｈを求め，ｒ_ｙ＝１とする（ステップＳ７０）。その後，上記の式６でｙ_ｉ，ｈ_ｉを求める（ステップＳ６４）。
【００６３】
以上の本実施例においては，互換性を考慮し，コンテンツ提供側において画像サイズを揃えた動画像コンテンツを用意していたが，もちろんコンテンツ提供側において意図した画像サイズのものを用意していてもよい。その際，画像サイズが異なるものを既存の映像フォーマットにエンコードすることは困難であるため，それぞれ画像サイズが異なる静止画像として蓄積しておいてもよい。この場合，クライアント側において，ある一定量の静止画像をサーバから読み込みクライアント側の記憶装置に蓄積しておいてから，本発明の動画像再生処理を行うことにより，画像の拡大・縮小のオーバーヘッドを省くことが可能となる。
【００６４】
以上の本発明による処理によって，再生側において画面サイズおよび再生位置をコンテンツ提供者（制作者）の意図またはクライアント側の都合により，種々の形態で変化させて動画像を再生することが可能になる。以下，その再生の例について図９〜図１２に従って説明する。
【００６５】
図９は，動画像コンテンツとして記録された動画像の各フレームの縦横のサイズや表示位置がフレームごとに変化する場合の動画像の再生の例を示している。図９（ａ）に示すように，記録されている動画像は，縦横のサイズや表示位置がフレームごとに変化している。制作者が意図する各フレームごとの再生サイズと再生位置は，図９（ｂ）のとおりであり，これらの情報は付随情報に記載される。再生側では，この付随情報に従って再生側の表示画面に合わせて表示することにより，図９（ｃ）に示すように，製作者が意図する再生サイズと再生位置に従った再生が行われる。
【００６６】
図１０は，動画像コンテンツとして記録された動画像の各フレームの縦横のサイズが固定であり，制作者が意図する各フレームごとに可変な再生サイズ，再生位置が，付随情報に記載されている場合の動画像の再生の例を示している。図１０（ａ）は，記録・保存されている動画像を示し，図１０（ｂ）は，付随情報に記載されている製作者が意図する各フレームの再生サイズと再生位置を示している。図１０（ｃ）は，付随情報に従って，その情報に合致するように画像の拡大または縮小を行い，再生側の表示画面に合わせて再生したものを示している。
【００６７】
図１１は，再生側（クライアント側）で表示領域を設定した場合の動画像の再生の例を示している。この場合，記録・保存されている動画像の画面サイズは，図９（ａ）または図１０（ａ）のいずれでもよい。図１１（ｂ）は，付随情報に記載されている製作者が意図する各フレームの再生サイズと再生位置を示している。図１１（ｂ）は，クライアント側での表示例を示しているが，実際のディスプレイ等のクライアント画面２６とは別に，ユーザ設定画面２５が設定されている。画面の拡大または縮小は，付随情報に従ってユーザ設定画面２５に合うように行われ，ユーザ設定画面２５上で製作者が意図する再生サイズと再生位置に基づく動画像の再生が行われる。
【００６８】
図１２は，製作者の意図にかかわらず，再生側（クライアント側）で再生サイズまたは再生位置を固定して動画像を再生する場合の例を示している。制作者が意図し，付随情報に記載されている各フレームごとの再生サイズと再生位置は，図１２（ａ）のとおりである。記録・保存されている動画像の画面サイズは，図９（ａ）または図１０（ａ）のいずれでもよい。図１２（ｂ）は，付随情報の再生サイズにかかわらず，再生側で設定された固定の画面サイズで動画像を再生した例を示している。図１２（ｃ）は，付随情報の再生位置にかかわらず，再生側で設定された固定の再生位置で動画像を再生した例を示している。図１２（ｄ）は，付随情報の再生サイズ，再生位置にかかわらず，再生側で設定された固定の再生サイズ，再生位置で動画像を再生した例を示している。
【００６９】
【発明の効果】
以上説明したように，本発明は，通常の表示サイズや表示位置が固定された動画像のみならず，動画像制作者が意図した表示サイズや表示位置を，特別な再生装置なしに再生することを可能とするといった効果がある。
【図面の簡単な説明】
【図１】本発明と従来手法による動画像再生の比較の例を示す図である。
【図２】本実施の形態における座標系の例を示す図である。
【図３】本発明の実施の形態における動画像再生装置の例を示す図である。
【図４】本実施の形態における付随情報の表記例を示す図である。
【図５】本実施の形態における動画像再生処理フローチャートである。
【図６】本実施例における動画像再生処理フローチャートである。
【図７】本実施例における左右方向処理フローチャートである。
【図８】本実施例における上下方向処理フローチャートである。
【図９】本実施例による動画像の再生の例を示す図である。
【図１０】本実施例による動画像の再生の例を示す図である。
【図１１】本実施例による動画像の再生の例を示す図である。
【図１２】本実施例による動画像の再生の例を示す図である。
【符号の説明】
１動画像再生装置
２動画像ファイル
３付随情報
１０動画像読込／記憶手段
１１データサイズ取得手段
１２付随情報読込／記憶手段
１３ディスプレイサイズ取得手段
１４ディスプレイサイズ設定手段
１５再生サイズ決定手段
１６再生位置決定手段
１７ウィンドウ表示手段
１８画像拡大・縮小手段
１９動画像再生手段[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a technique for displaying and reproducing moving images that have been digitized and stored in a storage device. In particular, the present invention relates to a client PC environment (display resolution, etc.) for a moving image display position and display size determined by a distribution side. TECHNICAL FIELD The present invention relates to a moving image reproducing method, a moving image reproducing apparatus, a moving image reproducing program, and a recording medium for a moving image reproducing program in which a display position and a display area of a moving image that can be adjusted and displayed so as to conform to the above are variable. .
[0002]
[Prior art]
In the conventional video reproduction, since the moving image media itself is produced on the premise of displaying a fixed size and a fixed position like a television (TV) or a movie, it is necessary to dynamically change the display size and the display position. Video media did not exist.
[0003]
In some stream images, the display size changes in accordance with the communication band. However, this is the result of processing for maintaining the frame rate, and is not intended by the creator of the moving image media.
[0004]
As a method of acquiring the size of an input image on the content providing side, a method of acquiring video data and information related thereto from a video input device arranged on a network has been proposed (for example, Patent Document 1 "Video Processing system, video processing method, video upload system, storage medium, video upload server ”).
[0005]
Further, there are a method of generating images having different sizes from a plurality of images such as a panoramic image, and a method of extracting and reproducing a part of the image.
[0006]
[Patent Document 1]
JP 2001-142896 A
[0007]
[Problems to be solved by the invention]
However, in any of the above methods, when the size of an image (in the sense of the number of vertical and horizontal pixels: also referred to as resolution) or the reproduction position is changed in the content distributed from the server side, the reproduction on the client side is performed. There is a problem that it is difficult to reproduce according to the environment (screen size).
[0008]
SUMMARY OF THE INVENTION It is an object of the present invention to enable a moving image in which the vertical and horizontal sizes and display positions of each frame change for each frame to be appropriately reproduced according to the display device without using a special device. It is to provide a reproduction technology.
[0009]
[Means for Solving the Problems]
According to the present invention, when a moving image stored in a moving image storage device is reproduced, even if the vertical and horizontal sizes of the moving image and the position of a window for displaying the moving image dynamically change, the moving image can be reproduced. This makes it possible to perform appropriate reproduction according to the size of a reproduction terminal such as a display device for reproduction.
[0010]
FIG. 1 is a diagram showing an example of comparison between moving image reproduction according to the present invention and a conventional method. In the example of FIG. 1, reference numerals 20 and 20 ′ denote display screens such as displays, and reference numeral 21 denotes a playback screen of a moving image on the display screen 20.
[0011]
FIG. 1A shows a typical example of conventional moving image reproduction. In the prior art, the content provider cannot change the playback position or playback size of a moving image for each frame. FIG. 1B shows an example of moving image reproduction when the present invention is implemented. According to the present invention, as shown in FIG. 1B, the playback position and playback size of a moving image can be changed. FIG. 1C shows an example of moving image reproduction in which the same moving image as that of FIG. 1B is displayed on a display screen 20 'having a screen size different from that of the display screen 20 of FIG. 1B according to the present invention. . Even if the screen sizes are different, the reproduction position and the reproduction size of the moving image can be changed as in FIG.
[0012]
As described above, the present invention can reproduce not only a moving image having a fixed display size and a fixed display position but also a display size and a display position intended by a moving image creator without a special reproduction device. The vertical and horizontal sizes and positions associated with each frame of the moving image are read, and the vertical and horizontal sizes of a display device represented by a computer display are read. The most important feature is that an actual display position and an actual vertical and horizontal size when reproducing the same on the display device are obtained.
[0013]
More specifically, when there is a moving image in which the vertical and horizontal sizes and display positions of each frame change for each frame and accompanying information indicating the vertical and horizontal sizes and display positions of each frame, the display is represented by a computer display. A method of reproducing the moving image in response to a change in the reproduction size or the position information on a display device, comprising: reading and storing the moving image; reading and storing the accompanying information; A step of obtaining the data size of each frame of the moving image from the header information attached to the moving image, a step of obtaining the size of a display screen in a device for reproducing the moving image or software, and a device for reproducing the moving image. A step of determining the size of each frame for displaying a moving image in software, and a device for reproducing the moving image or Determining the position of each frame for displaying a moving image in the software, and reproducing the moving image in a device or software for reproducing the moving image in accordance with the size or position of each frame for displaying the moving image. , A step of enlarging / reducing the image size, and a step of reproducing a moving image in the window.
[0014]
The moving image and the accompanying information may be stored in a storage device connected to a network. In addition, the vertical and horizontal sizes of the moving image actually stored in the storage device are fixed, and the vertical and horizontal sizes of each frame can be described in the accompanying information so as to be changed. The image size of the frame can be changed so as to match the size change of the accompanying information.
[0015]
In a device or software for reproducing a moving image, means for setting the size of the display screen may be provided, and the display position and the display area may be variable based on the accompanying information and the set display screen size.
[0016]
Further, in the apparatus or software for reproducing moving images, a means for fixing the size or position of the moving image reproduction screen is provided, and the client determines whether the display position and the display area are variable using the accompanying information. It is also possible to implement the setting.
[0017]
Means for executing the above method can be realized by a computer and a software program, and the program can be provided by being recorded on a computer-readable recording medium or can be provided through a network. is there.
[0018]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings. First, in order to facilitate the following description, an example of a coordinate system used in the present embodiment will be described.
[0019]
FIG. 2 is a diagram illustrating an example of a coordinate system according to the present embodiment. 2A shows a coordinate system of the display screen 22 intended by the moving image creator, and FIG. 2B shows an example of a coordinate system of the display screen 20 on the client side. 23 and 23 'are the i-th frames of the moving image.
[0020]
In FIG. 2A, for the i-th frame (i = 1, 2,..., N) of the moving image, the horizontal size intended by the creator is represented by W _i , Vertical size is H _i And the display position O _i To (X _i , Y _i ). Although not shown, the vertical / horizontal size intended by the creator may be different from the vertical / horizontal size of the actually recorded frame. If they are different, the i-th frame (i = 1, 2) of the moving image ,..., N), the actually recorded vertical and horizontal sizes are (R _Wi , R _Hi ).
[0021]
Display position O _i (X _i , Y _i ) Indicates that the assumed vertical and horizontal size is (W _s , H _s ) Indicates a coordinate value of a window (reproduction position of the i-th frame 23) for reproducing a moving image in the window coordinate system on the display screen 22. For example, as a window coordinate system, the upper left corner O of the display screen _s Is set as the origin, and the X axis is set rightward and the Y axis is set downward. O _i (X _i , Y _i ) Represents the coordinates of the upper left corner of the window for reproducing a moving image in this coordinate system.
[0022]
In the following description, implicitly, W _s = Max (X _i + W _i ), H _s = Max (Y _i + H _i ). That is, (X _i + W _i ) Is W _s And (Y _i + H _i ) Is H _s It is assumed that:
[0023]
Similarly, in FIG. 2B, the horizontal size of the display screen 20 on the client side for reproducing the moving image is set to w. _c , Vertical size is h _c , Origin (0,0) is o _c And the upper left corner coordinate of the frame at the time of reproducing the i-th frame is o. _i (X _i , Y _i ), The horizontal size of the frame is w _i , Vertical size is h _i And Again, implicitly, w _c = Max (x _i + W _i ), H _c = Max (y _i + H _i ).
[0024]
In the present embodiment, W _s , H _s , W _c , H _c Are all integer values greater than or equal to zero, and for i = 1, 2,. _i , Y _i , W _i , H _i , X _i , Y _i , W _i , H _i Is also an integer value greater than or equal to zero.
[0025]
There are various other ways of expressing coordinates. However, the contents of the present invention do not depend on such a coordinate system. If the coordinate system is different from the above example, the coordinate system may be changed as needed. Obviously, it is possible to implement the present invention by substituting the notation. In addition, depending on whether the start of the frame number or the coordinate value is set to zero or one, a difference may occur in the following calculation, but in any case, it is possible to easily correct each other. Hereinafter, the description will be made assuming that the start value is 1.
[0026]
FIG. 3 is a diagram illustrating an example of the moving image reproducing device according to the embodiment of the present invention. The moving image reproducing apparatus 1 reads the moving image file 2 and the accompanying information 3, and reproduces a moving image whose reproduction size and reproduction position are variable for each frame.
[0027]
The moving image reproducing apparatus 1 includes a moving image reading / storing unit 10, a data size obtaining unit 11, an accompanying information reading / storing unit 12, a display size obtaining unit 13, a display size setting unit 14, a reproduction size determining unit 15, a reproduction position determination. Means 16, window display means 17, image enlarging / reducing means 18, and moving image reproducing means 19.
[0028]
The moving image file 2 stores data for each frame of a moving image. The moving image data may have the same or different vertical and horizontal sizes for each frame, and the encoding format is not limited.
[0029]
The accompanying information 3 is information including information on the vertical and horizontal sizes of each frame of the moving image file 2, information on the intended display position of each frame, or both. The notation of the display size and the display position in the accompanying information 3 may be in any notation such as a pixel unit or a difference or a ratio from a certain reference value. It is necessary to be able to determine the display size and display position on the playback device.
[0030]
FIG. 4 is a diagram showing an example of notation of accompanying information in the present embodiment. FIG. 4A shows a case where the image width and image height of each frame of the moving image are not the same, and FIG. Shows an example in which a moving image is recorded with the same image width and image height over all frames.
[0031]
As illustrated in FIG. 4A, the accompanying information 3 includes a display screen size (W _s , H _s ), The size of the moving image actually recorded in the moving image file 2 associated with the frame number i (R _Wi , R _Hi ), The position (X _i , Y _i ) And the size (W _i , H _i ) Information is described.
[0032]
As shown in FIG. 4B, when the size of the moving image actually recorded in the moving image file 2 is constant, (R _Wi , R _Hi ) Is not described, and the display screen size (W _s , H _s ), The position (X _i , Y _i ) And the size (W _i , H _i ) May be described.
[0033]
Any of these may be used as long as a program for reproducing a moving image that operates on the moving image reproducing device 1 can be understood, and the file format and the description format are not limited. Also, in the example shown in FIG. 3, the moving image file 2 and its accompanying information 3 are described separately, but the accompanying information 3 may be included in the moving image file 2 as header information.
[0034]
The moving image reading / storing means 10 reads the moving image file 2 from an external storage device or another server device via a network, and stores it in a memory or the like.
[0035]
The accompanying information reading / storing means 12 reads the accompanying information 3 and stores it in a memory or the like. The data size obtaining means 11 obtains the data size of each frame of the moving image file 2 from the read accompanying information 3.
[0036]
The display size acquisition unit 13 is configured to display the vertical and horizontal sizes (w _c , H _c ) To get. For example, the current screen resolution is obtained by inquiring of the operating system or the window manager of the computer used, and the vertical and horizontal sizes (w _c , H _c ).
[0037]
This vertical and horizontal size (w _c , H _c ), A value set by the user or the application program by the display size setting means 14 can be used. For this reason, the display size setting means 14 provides a function of setting the size of the display screen 20 in a display device or software for reproducing and displaying a moving image. For example, it is used when the size of the display screen 20 is changed on the client side.
[0038]
When the moving image is reproduced, the reproduction size determining means 15 reproduces the reproduction size of each frame displaying the moving image on the client-side display screen 20, that is, (w _i , H _i ). The playback position determination means 16 determines a playback position for each frame on which a moving image is displayed on the display screen 20 on the client side, that is, o _i (X _i , Y _i ).
[0039]
The window display means 17 secures a display memory of a reproduction area and displays a window for reproduction in accordance with a reproduction size or a reproduction position for each frame for displaying a moving image in reproducing a moving image.
[0040]
When reproducing or displaying a certain frame, the image enlarging / reducing means 18 sets the vertical and horizontal size (R) of the frame of the original moving image, that is, the moving image file 2. _Wi , R _Hi ) Or the vertical and horizontal size (W _i , H _i ) And the vertical and horizontal size of the window for displaying moving images (w _i , H _i ) Is different from the vertical and horizontal size (R _Wi , R _Hi ) Or (W _i , H _i ) Is the vertical and horizontal size of the window for displaying moving images (w _i , H _i The image is enlarged or reduced so as to satisfy). Of course, (R _Wi , R _Hi ) = (W _i , H _i ) And (W _i , H _i ) = (W _i , H _i In the case of (1), there is no need to enlarge or reduce. In the normal case, (W _i , H _i ) = (W _i , H _i However, if the application software or the user of the moving image reproducing apparatus 1 sets not to use the accompanying information 3 particularly for the display size, or if the size set by the display size setting means 14 is (W _i , H _i In the case where the image cannot be displayed in the size of (1), enlargement / reduction processing by the image enlargement / reduction means 18 is required.
[0041]
The moving image reproducing unit 19 reproduces a moving image in the window displayed by the window displaying unit 17.
[0042]
FIG. 5 is a flowchart showing an outline of the moving image reproduction processing according to the present embodiment. First, the moving image reading / storing means 10 and the accompanying information reading / storing means 12 read and store the moving image file 2 and the accompanying information 3, respectively (step S10). When the moving image recorded in the moving image file 2 has a different vertical and horizontal size for each frame, the data size obtaining unit 11 obtains in advance the size of the storage capacity necessary for storing each frame, and The storage capacity is secured and stored in the reading / storage means 10. At this time, it is possible to read without inconsistency by using the accompanying information 3 and the number of bits per pixel. Therefore, it is more efficient to read and store the accompanying information 3 before reading the moving image file 2. In particular, when receiving moving image contents via a network, the moving image file 2 generally has a large capacity and takes a long time to transfer. For example, when the moving image file 2 is in a streaming format, It is efficient if the accompanying information 3 is received during the buffering.
[0043]
As the moving image file 2 is stored in a widely used file format, it is known that the vertical and horizontal sizes are constant in all frames, and the size is dynamically changed in the accompanying information 3 When such a description is made, either the moving image file 2 or the accompanying information 3 may be read first.
[0044]
Next, the size (w _c , H _c ) To get. If the display size setting means 14 determines the size (w _c , H _c ) Is set, the value is obtained (step S11). The size of the display screen 20 by the display size setting means 14 (w _c , H _c ) Is set, for example, when a plurality of displays are used as if one screen is extended by one personal computer (PC), or the size of the display screen 20 (w _c , H _c ) Can be used when it is desired to set a small value for display. Of course, the size of the display screen 20 (w _c , H _c ) May be set large, but in that case, there is a possibility that a frame in which a part is not displayed may occur.
[0045]
The reproduction size determining means 15 and the reproduction position determining means 16 respectively determine the reproduction size (w) based on the accompanying information or the set information. _i , H _i ), Playback position o _i (X _i , Y _i ) Is determined (step S12). A specific processing method will be described later. The image enlargement / reduction means 18 determines the playback size (w _i , H _i ), Playback position o _i (X _i , Y _i ) Based on the playback size (w _i , H _i ) Is performed (step S13). The window display unit 17 secures a window display area (step S14), and the moving image reproducing unit 19 sequentially reproduces the moving image for each frame (step S15).
[0046]
【Example】
Hereinafter, specific examples will be described with reference to the drawings. In the present embodiment, moving image contents (corresponding to the moving image file 2 in FIG. 3) in which the vertical and horizontal sizes and the expected screen reproduction position change for each frame are stored in the storage device connected to the video distribution server. A metadata file (corresponding to the incidental information 3 in FIG. 3) which stores an image size and a screen reproduction position for each frame and is associated with the moving image content is stored, and the moving image content and the metadata file are stored. Is distributed on the Internet via the video distribution server.
[0047]
The moving image content to be distributed is originally produced in the expected vertical and horizontal sizes, but in consideration of use in a system that does not use the moving image reproduction processing according to the present invention, in the present embodiment, the same is used for each frame. It is assumed that the image is stored after being enlarged or reduced to a vertical and horizontal size. In particular, if the present invention is not used, the client accesses the moving image content, reproduces the moving image content in the same manner as a normal moving image, and ends the processing.
[0048]
FIG. 6 is a flowchart of a moving image reproduction process according to the present embodiment. First, on the client side, the metadata file is read via the Internet (step S20), and the display screen size and the data size of each frame assumed by the content provider are acquired from the accompanying information provided as the metadata file. (Step S21). Further, it accesses the video distribution server and reads the moving image content (step S22).
[0049]
Here, it is determined whether or not the reproduction size and the reproduction position of the image are dynamically changed, that is, whether or not the reproduction size and the reproduction position are variable according to the intention of the content provider by using the present invention. Judgment is made based on the user's setting information (step S23), and if not changed, the reproduction size is fixed and the reproduction position is kept fixed (step S24), and the process proceeds to step S36, similar to the normal moving image reproduction. Then, the moving image is reproduced (steps S36 and S37).
[0050]
When dynamically changing the reproduction size and the reproduction position, it is determined whether or not to use the size of the reproduction screen set on the client side (step S25). For example, the client selects and determines whether the resolution is determined, such as a TV, whether to use the maximum resolution available on the computer display, or whether to use another resolution. Things.
[0051]
If the size of the playback screen is not set on the client side, the vertical and horizontal sizes (w _c , H _c ) Is obtained (step S26). When using the size of the playback screen set separately from the actual display size on the client side, the size (w _c , H _c ) Is set (step S27).
[0052]
Next, the aspect ratio (the ratio in the X-axis and Y-axis directions: a _s = W _s / H _s ) Is determined based on the reproduction processing program or user setting information (step S28), and the aspect ratio a of the provider is determined. _s If is not applied, the process proceeds to step S33.
[0053]
Aspect ratio a of the playback screen size assumed by the content provider _s Is applied, the size of the playback screen (w _c , H _c ), The display screen size (W _s , H _s ) While maintaining w _c Value of or h _c Modify the value of.
[0054]
Specifically, the aspect ratio (the ratio in the X-axis and Y-axis directions) of the size of the playback screen on the client side is a _c = W _c / H _c (Step S29), a _s ≧ a _c Is determined (step S30), and a _s ≧ a _c If,
h _c = W _c / A _s (Equation 1)
Is corrected (step S31). a _s ≧ a _c If not,
w _c = H _c × a _s (Equation 2)
Is corrected (step S32).
[0055]
Next, horizontal processing (step S33) and vertical processing (step S34), which will be described later, are performed, and the reproduction size (W _i , H _i ) And playback position (X _i , Y _i ) Is changed to the size (w _c , H _c ), And the playback size (w _i , H _i ) And playback position o _i (X _i , Y _i Get).
[0056]
Obtained playback size (w _i , H _i ) Is performed to enlarge or reduce the image (step S35), and the obtained reproduction position o _i (X _i , Y _i ), The obtained playback size (w _i , H _i ) To generate a window (step S36), and reproduce a moving image in the generated window (step S37).
[0057]
FIG. 7 is a flowchart of the left-right processing in step S33 shown in FIG. First, W _s , W _c Are compared (step S40). _s ≦ w _c If so, it is determined whether or not the reproduction screen is to be enlarged (step S41). R if not expanded _w = 1, r _x = 1 (step S42). When expanding, r _w = R _x = W _c / W _s (Step S43). afterwards,
x _i = R _x × X _i , W _i = R _w × W _i (Equation 3)
X _i , W _i Is obtained (step S44).
[0058]
In the determination of step S40, W _s ≦ w _c Otherwise, W _i > W _c Is determined (step S45), and whether _i > W _c If there is a frame of w, w _c ≧ z × W _i Is obtained (step S46), and W is obtained for all the frames. _i = Z × W _i W so that _i Is corrected (step S47). At this time, it is desirable that z be as large as possible while satisfying the above conditions.
[0059]
Then, X _i And W _i Or reduce X _i Only reduce or W _i It is determined whether only the image is reduced (step S48). _i And W _i When both are reduced, r _w = R _x = W _c / W _s (Step S43). X _i To reduce only
max (W _i + R _x × X _i ) ≦ w _c (Equation 4)
0 ≦ r that satisfies _x R such that ≦ 1 _x And r _w Is set to 1 (step S49). W _i To reduce only
max (r _w × W _i + X _i ) ≦ w _c (Equation 5)
0 ≦ r that satisfies _w R such that ≦ 1 _w And r _x Is set to 1 (step S50). In Equation 3 above, x _i , W _i Is obtained (step S44).
[0060]
FIG. 8 is a flowchart of the vertical processing in step S34 shown in FIG. First, H _s , H _c Are compared (step S60), and H _s ≦ h _c If so, it is determined whether or not the reproduction screen is to be enlarged (step S61). If not expanded, r _h = 1, r _y = 1 (step S62), and when enlarging, r _h = R _y = H _c / H _s (Step S63). afterwards,
y _i = R _y × Y _i , H _i = R _h × H _i (Equation 6)
Y _i , H _i Is obtained (step S64).
[0061]
In the determination of step S60, H _s ≦ h _c Otherwise, H _i > H _c Is determined (step S65), and whether _i > H _c H, for all frames _c ≧ z × H _i Is obtained (step S66), and H is obtained for all the frames. _i = Z × H _i H so that _i Is corrected (step S67). At this time, it is desirable that z be as large as possible while satisfying the above conditions.
[0062]
Next, Y _i And H _i Or reduce Y _i Only reduce or H _i It is determined whether only the image is reduced (step S68), and Y _i And H _i When both are reduced, r _h = R _y = H _c / H _s (Step S63). Y _i To reduce only
max (H _i + R _y × Y _i ) ≦ h _c (Equation 7)
0 ≦ r that satisfies _y R such that ≦ 1 _y And r _h = 1 (step S69). H _i To reduce only
max (r _h × H _i + Y _i ) ≦ h _c (Equation 8)
0 ≦ r that satisfies _h R such that ≦ 1 _h And r _y = 1 (step S70). Then, y _i , H _i Is obtained (step S64).
[0063]
In the above embodiment, in consideration of compatibility, the content providing side prepares moving image content with the same image size. Of course, even if the content providing side prepares the intended image size. Good. At this time, since it is difficult to encode images having different image sizes into an existing video format, they may be stored as still images having different image sizes. In this case, on the client side, a certain amount of still images is read from the server and stored in the storage device on the client side, and then the moving image reproduction processing of the present invention is performed to reduce the overhead of image enlargement / reduction. It can be omitted.
[0064]
By the processing according to the present invention described above, it is possible to reproduce a moving image by changing the screen size and the reproduction position in various forms on the reproduction side according to the intention of the content provider (creator) or the client's convenience. . Hereinafter, an example of the reproduction will be described with reference to FIGS.
[0065]
FIG. 9 illustrates an example of reproduction of a moving image when the vertical and horizontal sizes and display positions of each frame of the moving image recorded as moving image content change for each frame. As shown in FIG. 9 (a), the recorded moving image has different vertical and horizontal sizes and display positions for each frame. The reproduction size and reproduction position for each frame intended by the creator are as shown in FIG. 9B, and these information are described in the accompanying information. On the reproduction side, the display is performed in accordance with the display screen on the reproduction side in accordance with the accompanying information, so that the reproduction is performed in accordance with the reproduction size and the reproduction position intended by the maker, as shown in FIG.
[0066]
In FIG. 10, the vertical and horizontal sizes of each frame of a moving image recorded as moving image content are fixed, and a variable reproduction size and reproduction position for each frame intended by the creator are described in the accompanying information. 2 shows an example of reproduction of a moving image in such a case. FIG. 10A shows a moving image recorded / stored, and FIG. 10B shows a reproduction size and a reproduction position of each frame intended by the maker described in the accompanying information. FIG. 10C shows an image that is enlarged or reduced according to the accompanying information so as to match the information and reproduced in accordance with the display screen on the reproduction side.
[0067]
FIG. 11 shows an example of reproduction of a moving image when a display area is set on the reproduction side (client side). In this case, the screen size of the moving image recorded and stored may be either FIG. 9 (a) or FIG. 10 (a). FIG. 11B shows the reproduction size and the reproduction position of each frame intended by the producer described in the accompanying information. FIG. 11B shows a display example on the client side. A user setting screen 25 is set separately from a client screen 26 such as an actual display. The enlargement or reduction of the screen is performed so as to match the user setting screen 25 in accordance with the accompanying information, and a moving image is reproduced on the user setting screen 25 based on the reproduction size and the reproduction position intended by the maker.
[0068]
FIG. 12 shows an example in which a moving image is reproduced with the reproduction size or the reproduction position fixed on the reproduction side (client side) regardless of the producer's intention. The reproduction size and reproduction position for each frame, which is intended by the creator and described in the accompanying information, are as shown in FIG. The screen size of the moving image recorded and stored may be either FIG. 9A or FIG. 10A. FIG. 12B shows an example in which a moving image is reproduced with a fixed screen size set on the reproduction side regardless of the reproduction size of the accompanying information. FIG. 12C shows an example in which a moving image is reproduced at a fixed reproduction position set on the reproduction side regardless of the reproduction position of the accompanying information. FIG. 12D shows an example in which a moving image is reproduced at a fixed reproduction size and reproduction position set on the reproduction side regardless of the reproduction size and reproduction position of the accompanying information.
[0069]
【The invention's effect】
As described above, the present invention can reproduce not only a moving image having a normal display size and a fixed display position but also a display size and a display position intended by a moving image creator without a special reproduction device. There is an effect that it becomes possible.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating an example of comparison between moving image reproduction according to the present invention and a conventional method.
FIG. 2 is a diagram illustrating an example of a coordinate system according to the present embodiment.
FIG. 3 is a diagram illustrating an example of a moving image playback device according to an embodiment of the present invention.
FIG. 4 is a diagram showing an example of notation of accompanying information in the present embodiment.
FIG. 5 is a flowchart of a moving image reproduction process according to the embodiment.
FIG. 6 is a flowchart of a moving image reproduction process according to the embodiment.
FIG. 7 is a left-right processing flowchart in the embodiment.
FIG. 8 is a flowchart of a vertical process according to the embodiment.
FIG. 9 is a diagram showing an example of moving image reproduction according to the embodiment.
FIG. 10 is a diagram showing an example of moving image reproduction according to the embodiment.
FIG. 11 is a diagram showing an example of moving image reproduction according to the embodiment.
FIG. 12 is a diagram illustrating an example of reproduction of a moving image according to the present embodiment.
[Explanation of symbols]
1 Moving image playback device
2 Moving image files
3 additional information
10 Moving image reading / storing means
11 Data size acquisition means
12 Accompanying information reading / storing means
13 Display size acquisition means
14 Display size setting means
15 Playback size determination means
16 Playback position determining means
17 Window display means
18 Image enlargement / reduction means
19 Moving image reproducing means

Claims

動画像を再生する動画像再生方法であって，
前記動画像を読み込み，記憶する過程と，
前記動画像のフレームごとの縦横のサイズまたは表示位置の少なくともいずれかの情報を記した付随情報を読み込み，記憶する過程と，
前記動画像を再生する表示画面のサイズを取得する過程と，
前記付随情報がフレームごとの縦横のサイズ情報を含む場合に，その情報および前記再生する表示画面のサイズに基づいて，前記動画像を再生する表示画面上における動画像のフレームごとの再生サイズを決定する過程と，
前記付随情報がフレームごとの表示位置情報を含む場合に，その情報および前記再生する表示画面のサイズに基づいて，前記動画像を再生する表示画面上における動画像のフレームごとの再生位置を決定する過程と，
前記動画像を再生する表示画面上において，前記決定された動画像のフレームごとの再生サイズまたは再生位置に応じて動画像を再生する過程とを有する
ことを特徴とする動画像再生方法。A moving image reproducing method for reproducing a moving image,
Reading and storing the moving image;
Reading and storing associated information describing at least one of the vertical and horizontal sizes or display positions of each frame of the moving image;
Obtaining a size of a display screen for reproducing the moving image;
When the accompanying information includes vertical and horizontal size information for each frame, a reproduction size for each frame of a moving image on the display screen for reproducing the moving image is determined based on the information and the size of the display screen for reproduction. The process of
When the accompanying information includes display position information for each frame, a reproduction position for each frame of the moving image on the display screen for reproducing the moving image is determined based on the information and the size of the display screen for reproduction. Process and
Reproducing the moving image on the display screen for reproducing the moving image in accordance with the determined reproduction size or reproduction position of each frame of the moving image.

請求項１に記載の動画像再生方法おいて，
前記動画像および前記付随情報は，ネットワークで接続された記憶装置に蓄積され，ネットワークを介して前記動画像と前記付随情報とを読み込む
ことを特徴とする動画像再生方法。In the moving picture reproducing method according to claim 1,
The moving image reproducing method, wherein the moving image and the accompanying information are stored in a storage device connected via a network, and the moving image and the accompanying information are read via the network.

請求項１または請求項２記載の動画像再生方法において，
前記動画像の縦横のサイズは固定であるが，フレームごとの縦横のサイズが変化するように前記付随情報に記載されている場合に，前記付随情報のサイズ変化に合致するように，フレームごとの画像サイズを変化させる
ことを特徴とする動画像再生方法。In the moving image reproducing method according to claim 1 or 2,
The vertical and horizontal sizes of the moving image are fixed, but when the vertical and horizontal sizes are described in the accompanying information so as to change for each frame, the size of each frame is adjusted so as to match the change in the size of the accompanying information. A moving image reproducing method characterized by changing an image size.

動画像を再生する動画像再生装置であって，
前記動画像を読み込み，記憶する手段と，
前記動画像のフレームごとの縦横のサイズまたは表示位置の少なくともいずれかの情報を記した付随情報を読み込み，記憶する手段と，
前記動画像を再生する表示画面のサイズを取得する手段と，
前記付随情報がフレームごとの縦横のサイズ情報を含む場合に，その情報および前記再生する表示画面のサイズに基づいて，前記動画像を再生する表示画面上における動画像のフレームごとの再生サイズを決定する手段と，
前記付随情報がフレームごとの表示位置情報を含む場合に，その情報および前記再生する表示画面のサイズに基づいて，前記動画像を再生する表示画面上における動画像のフレームごとの再生位置を決定する手段と，
前記動画像を再生する表示画面上において，前記決定された動画像のフレームごとの再生サイズまたは再生位置に応じて動画像を再生する手段とを備える
ことを特徴とする動画像再生装置。A moving picture reproducing apparatus for reproducing moving pictures,
Means for reading and storing the moving image;
Means for reading and storing accompanying information describing at least one of the vertical and horizontal sizes or display positions of each frame of the moving image;
Means for obtaining a size of a display screen for reproducing the moving image;
When the accompanying information includes vertical and horizontal size information for each frame, a reproduction size for each frame of a moving image on the display screen for reproducing the moving image is determined based on the information and the size of the display screen for reproduction. Means to do
When the accompanying information includes display position information for each frame, a reproduction position for each frame of the moving image on the display screen for reproducing the moving image is determined based on the information and the size of the display screen for reproduction. Means,
Means for reproducing a moving image on a display screen for reproducing the moving image in accordance with the determined reproduction size or reproduction position of each frame of the moving image.

請求項４記載の動画像再生装置において，
動画像を再生するアプリケーションソフトウェア，またはユーザからの指定により，前記動画像を再生する表示画面のサイズを設定する手段を有する
ことを特徴とする動画像再生装置。The moving picture reproducing apparatus according to claim 4,
A moving image reproducing apparatus, comprising: means for setting a size of a display screen for reproducing the moving image according to application software for reproducing the moving image or designation from a user.

請求項４記載の動画像再生装置において，
動画像を再生するアプリケーションソフトウェア，またはユーザからの指定により，前記動画像を再生する表示画面上において，前記動画像の再生サイズまたは再生位置を固定化する手段を有する
ことを特徴とする動画像再生装置。The moving picture reproducing apparatus according to claim 4,
A moving image playback device comprising: means for fixing a playback size or a playback position of the moving image on a display screen for playing back the moving image in accordance with application software for playing back the moving image or a designation from a user. apparatus.

請求項１から請求項３までのいずれか１項に記載された動画像再生方法を，コンピュータに実行させるための動画像再生プログラム。A moving image reproducing program for causing a computer to execute the moving image reproducing method according to any one of claims 1 to 3.

請求項１から請求項３までのいずれか１項に記載された動画像再生方法を，コンピュータに実行させるためのプログラムを記録した動画像再生プログラムの記録媒体。A recording medium for a moving image reproducing program, which stores a program for causing a computer to execute the moving image reproducing method according to any one of claims 1 to 3.