JP2007080155A - 構造化文書描画装置、構造化文書描画方法及びプログラム - Google Patents

Abstract

【課題】 動画又はアニメーションを含む構造化文書中に該動画又はアニメーションの複数のフレーム位置を記述し、該フレーム位置に対応する複数のフレームを重ね合わせて１つの静止画を生成して構造化文書を描画することができる構造化文書描画装置、構造化文書描画方法及びプログラムを提供する。
【解決手段】 動画又はアニメーションを含む構造化文書描画装置において、構造化文書に含まれる動画又はアニメーション中複数のフレーム位置と、それらのフレームを重ねて１つの静止画に変換する重ね合わせ静止画生成コマンドを構造化文書中に記述し、描画装置で該構造化文書を描画する際に、該重ね合わせ静止画生成コマンドとフレーム位置を構造化文書から取得し、該フレーム位置に対応するフレームを重ね合わせて静止画を生成して描画を行うことを特徴とする構造化文書描画装置。
【選択図】 図１

Description

本発明は、構造化文書描画装置、構造化文書描画方法及びプログラムに関し、特に１つ又は複数の動画又はアニメーションを含む構造化文書の描画装置及びその制御方法及びその制御方法をコンピュータに実行させるプログラム及びそのプログラムをコンピュータ装置読み出し可能に記憶した記憶媒体に関するものである。

従来、Ｗｅｂページのコンテンツを記述する構造化文書であるＨＴＭＬ中に動画を表示するための動画プログラムを埋め込み、Ｗｅｂサーバ上の動画用イメージファイル群を連続して表示することで動画を表現するＷｅｂブラウザにおいて、動画を構成する任意の静止画を選択して印刷・表示に使用するＷｅｂブラウザがある（例えば、特許文献１参照）。

また別の従来技術としては、通信により取得されたフレーム画像と、カメラで撮影された動画像から作成された静止画像を重ね合わせた重ね合わせ画像を作成し、記憶装置に格納する画像撮影システムまたは携帯電話がある（例えば、特許文献２参照）。
特開２０００−１８１９２４号公報 特開２００４−２０７８３８号公報

しかしながら、上記第一の従来技術は、Ｗｅｂサーバ上のＷｅｂページに含まれるＨＴＭＬファイルと、そのＨＴＭＬファイルに含まれる動画プログラムと、同じくＷｅｂサーバ上の動画用イメージファイル群とから構成されるＷｅｂサーバコンテンツデータと、それを表示するＷｅｂブラウザとからなるもので、動画中の任意のフレームを静止画に変換することが可能であったが、動画中の複数のフレームを重ね合わせて静止画に変換することは出来なかった。

また、上記第二の従来技術は、通信によって取得したフレーム画像と、カメラで撮影した動画像から作成された静止画とを重ね合わせた重ね合わせ画像を作成し、記憶装置に格納する画像撮影システム又は携帯電話で、撮影した動画像中の複数のフレームを重ね合わせて重ね合わせ画像を作成することは出来なかった。

本発明はこのような問題点に鑑みてなされたものであって、動画又はアニメーションを含む構造化文書中に該動画又はアニメーションの複数のフレーム位置を記述し、該フレーム位置に対応する複数のフレームを重ね合わせて１つの静止画を生成して構造化文書を描画する、構造化文書描画装置、構造化文書描画方法及びプログラムを提供することを目的とする。

上記目的を達成するために、請求項１記載の発明によれば、構造化文書に含まれる動画又はアニメーションの１フレームを静止画に変換して描画可能な構造化文書描画装置において、構造化文書に含まれる少なくとも１つの動画又はアニメーション中の複数のフレームを重ね合わせて１つの静止画を生成する静止画生成手段と、前記複数のフレームを重ね合わせて１つの静止画を生成するコマンドを前記構造化文書中に記述する重ね合わせ静止画生成コマンド記述手段と、前記複数のフレームに対応するフレーム位置を前記重ね合わせ静止画生成コマンドと関連付けて構造化文書中に記述するフレーム位置記述手段と、前記重ね合わせ静止画生成コマンドを構造化文書から取得する重ね合わせ静止画生成コマンド取得手段と、前記フレーム位置を構造化文書から取得するフレーム位置取得手段と、を備えたことを特徴とする構造化文書描画装置が提供される。

また、請求項４記載の発明によれば、前記複数のフレームを重ね合わせて１つの静止画を生成するコマンドが前記構造化文書中に記述されている時は、対応する動画又はアニメーションを、生成した重ね合わせ静止画で置換する置換手段を備えたことを特徴とする構造化文書描画装置が提供される。

また、請求項５記載の発明によれば、前記構造化文書描画装置にかかる表示装置において、動画又はアニメーションを表示するか、前記静止画生成手段によって生成された重ね合わせ静止画を表示するかを切り替える切り替え手段を備えたことを特徴とする構造化文書描画装置が提供される。

また、請求項１０記載の発明によれば、構造化文書に含まれる動画又はアニメーションの１フレームを静止画に変換して描画可能な構造化文書描画方法において、構造化文書に含まれる少なくとも１つの動画又はアニメーション中の複数のフレームを重ね合わせて１つの静止画を生成する静止画生成ステップと、前記複数のフレームを重ね合わせて１つの静止画を生成するコマンドを前記構造化文書中に記述する重ね合わせ静止画生成コマンド記述ステップと、前記複数のフレームに対応するフレーム位置を前記重ね合わせ静止画生成コマンドと関連付けて構造化文書中に記述するフレーム位置記述ステップと、前記重ね合わせ静止画生成コマンドを構造化文書から取得する重ね合わせ静止画生成コマンド取得ステップと、前記フレーム位置を構造化文書から取得するフレーム位置取得ステップと、を備えたことを特徴とする構造化文書描画方法が提供される。

さらに、上記構造化文書描画方法をコンピュータに実行させるためのプログラムが提供される。

本発明によれば、動画又はアニメーションを含む構造化文書描画装置において、動画又はアニメーション中の複数のフレーム位置を重ね合わせフレーム位置として構造化文書中に記述し、動画又はアニメーションから該重ね合わせフレーム位置に対応するフレームを取り出し重ね合わせた静止画像を作成して、構造化文書を描画することが出来る。

これにより、例えば一定の背景上を少なくとも１つのオブジェクトが移動するアニメーションにおいて、そのオブジェクトの移動の軌跡を表現する静止画像を作成することが出来る。

以下、添付図面を参照しながら本発明の好適な実施の形態を説明する。

図１は本発明の好適な実施の形態に係る構造化文書プリント装置のシステム構成図である。

図１において、１０１はコンテンツサイトであり、構造化文書データベース１０５及び動画データベース１０６を持ち、コンテンツとしての構造化文書を格納している。

１０２は、プリントサイトであり、本発明の１実施形態である構造化文書描画装置１０７が動作する。プリントサイト１０２はネットワーク１０４を介してコンテンツサーバー１０１と接続される。

１０３は、出力装置であって、プリントサイト１０２に送られた構造化文書を実際に印刷する。

１０４はインターネットなどのネットワークであり、コンテンツサイト１０１、プリントサイト１０２を接続して、構造化文書及び各種データの送受信を行う。

１０５は構造化文書データベースであって、ここに構造化言語で記述された各種ドキュメントが格納されている。ここに格納されている構造化文書には、本発明における請求項１に記載の重ね合わせ静止画生成コマンドとそれに関連付けられたフレーム位置が記述されたものが含まれる。

１０６は動画データベースであって、構造化文書データベースに格納されている構造化文書が参照する動画データやアニメーションデータを格納している。

１０７は構造化文書描画装置であって本実施例の１実施形態を示すものである。

コンテンツサイトからの構造化文書のプリント要求がネットワーク１０４を介してプリントサイトに送出されると、プリントサイトは送出された構造化文書及びプリントに必要な情報を受信し、構造化文書描画装置１０７を起動する。構造化文書描画装置１０７は構造化文書中に記述された重ね合わせ静止画生成コマンドとフレーム位置情報を取得して、それに従って構造化文書中の対応する動画又はアニメーション中の指定されたフレームを重ね合わせた静止画を生成して、構造化文書の描画を行う。

図２は本発明の好適な実施の形態に係る構造化文書描画装置の概略構成を示すブロック図である。

図２において、２０１は表示装置であり、その表示画面には、例えば編集中の文書、図形、画像その他の編集情報、ウインドウ、アイコン、メッセージ、メニューその他のユーザーインターフェース情報が表示される。２０２はＶＲＡＭであり、表示装置２０１に表示するための画像が描画される。このＶＲＡＭ２０２に生成された画像データは、所定の規定に従って表示装置２０１に転送され、これにより表示装置２０１に画像が表示される。２０３はＣＤ又はＤＶＤに代表される外部記憶装置ドライブであり各種制御プログラムやデータを本装置と外部記憶装置間で授受する際の制御を担う。

２０４はキーボードであり、文字入力や種々の操作を行うための各種キーを有する。２０５はポインティングデバイスであり、例えば、表示部２０１の表示画面上に表示されたアイコン、メニューその他のオブジェクトを指示するために使用される。

２０６はＣＰＵであり、ＲＯＭ２０７、記憶装置２０９、フロッピー（登録商標）ディスク２１０及び外部記憶装置２０３に格納された制御プログラムに基づいてＣＰＵ２０６に接続された各デバイスを制御する。２０７はＲＯＭであり、各種の制御プログラムやデータを保持する。２０８はＲＡＭでありＣＰＵ２０６のワーク領域、エラー処理時のデータの退避領域、制御プログラムのロード領域等を有する。２０９は記憶装置であり、各種制御プログラムや各種データを格納する。２１１はネットワーク・インターフェースであり、他の情報処理装置やプリンタ等とネットワーク２１３を介して通信を行うことができる。２１２はＣＰＵバスであり、アドレスバス、データバス及びコントロールバスを含む。

ＣＰＵ２０６に対する制御プログラムの提供は、ＲＯＭ２０７、記憶装置、フロッピー（登録商標）ディスク、外部記憶装置から行うこともできるし、ネットワーク２１３を介して他の情報処理装置等から行うこともできる。

図３は本発明の好適な実施の形態に係る構造化文書描画装置の概略構成を示すブロック図である。

図３において、３０１は構造化文書描画装置であり、プリントサイト上で動作し、構造化文書をプリントするためにユーザが使用する。

３０２は、文書解析部であり、構造化文書の解析を行う構造化文書解析装置３０５、構造化文書中に記述された重ね合わせ静止画生成コマンドを取得する重ね合わせ静止画生成コマンド取得装置３０６、構造化文書中に記述された動画又はアニメーション中の重ね合わせ静止画生成に使用するフレーム位置を取得するフレーム位置取得装置３０７とから成る。

３０３は、画像生成部であり、構造化文書に含まれる動画又はアニメーション中の指定フレームを重ね合わせて静止画を生成する重ね合わせ静止画生成装置３０８から成る。

３０４は、描画部であり、重ね合わせ静止画生成装置３０８で生成された静止画で構造化文書中の対応する動画又はアニメーションを置き換える動画・アニメーション置換装置３０９、本発明における構造化文書描画装置にかかる表示装置において、元の動画又はアニメーションを表示するか、生成された重ね合わせ静止画を表示するかを切り替える画像表示モード切り替え装置３１０、構造化文書の描画処理を行う構造化文書描画装置３１１から成る。

図４は本発明の好適な実施の形態に係る構造化文書描画装置の動作を示す図である。

図４において（Ａ）は重ね合わせ静止画を生成する前のアニメーションを表した図であり、４０１はアニメーションの表示される表示領域を示している。４０２はアニメーション上で移動するオブジェクトを示しており。本図上では車の形状をしたオブジェクトを図示している。オブジェクト４０２は時間の経過と共に矢印の方向に移動し４０３の位置、更には４０４の位置に達する。

次に（Ｂ）は重ね合わせ静止画を示した図であり、４０５が重ね合わせ静止画自身である。４０５では、先の（Ａ）図上の４０２、４０３、４０４の全ての位置のオブジェクトを含んでおり、オブジェクトの移動した軌跡を明確に表した画像を表現することが出来ている。

図５は、本発明の好適な実施の形態に係る構造化文書描画装置における構造化文書中に埋め込まれた重ね合わせ静止画生成コマンド及び対応するフレーム位置情報の記述の一例を示す図である。

５０１は、アニメーション情報のうちオブジェクトの移動軌跡を記述するパス情報であり、パスの座標値、線色、線幅等が記述されている。

５０２は、アニメーション情報のうち移動するオブジェクトを記述するパス情報であり、パスの座標値、塗つぶし色、線色、線幅が記述されている。

５０３は、５０２で記述されたオブジェクトをアニメーション動作させるための記述であり、５０１で記述されたオブジェクトの移動軌跡に沿って５０２で記述されたオブジェクトを６秒間に向きを自動的に回転させながら移動させることを示している。

５０４は、メタデータ開始タグであり、標準の構造化文書中に独自の情報を埋め込む際に利用される。本実施例では、「ｘｍｌｎｓ：ａａ＝“ｈｔｔｐ：／／ｅｘａｍｐｌｅ．ｏｒｇ／ｍｙｆｏｏ”」の記述によって独自の名前空間を定義しており、以降のメタデータ情報中では「ａａ」の名前空間文字列で各タグ名・属性名が名前付けされる。本メタデータはアニメーション情報の移動オブジェクト記述５０２内に記述され、５０２で記述されるオブジェクトに対する重ね合わせ静止画作成コマンド及びフレーム位置情報を格納している。

５０５は、重ね合わせ静止画作成コマンドの開始タグであり、「ａａ：ｃｏｕｎｔ」に、以降のフレーム情報に含まれるフレーム位置の総数が記述される。本実施例ではフレーム位置及びフレーム範囲の総数は「３」である。

５０６は、フレーム位置情報であり、開始タグ（「＜ａａ：ｐｏｓ …．＞」）と終了タグ（「＜／ａａ：ｐｏｓ＞」）にはさまれた領域にフレーム位置が記述されている。５０６には３つのフレーム位置情報が記述されており、第一番目のフレーム位置は「１５」となり、先頭から１５番目のフレームを意味している。第二番目のフレーム位置は「１９ｓｅｃ」であり、先頭からの経過時間が１９秒の位置のフレームを示している。第三番目のフレーム位置は「３０，４２」と記述されており、３０番目のフレームと４２番目のフレームを意味している。

次に本発明の処理手順をフローチャート図６〜７を参照しながら説明する。

図６は、本実施例の構造化文書描画装置のフローチャートである。

まず、ステップＳ６０１にて、描画対象となる構造化文書を解析する。次に、ステップＳ６０２にて、解析した構造化文書中に動画又はアニメーションが存在するかを判定する。

動画又はアニメーションが存在しない場合は、ステップＳ６０８に進む。動画又はアニメーションが存在する場合は、ステップＳ６０３で重ね合わせ静止画生成コマンドが存在するかを判定する。重ね合わせ静止画生成コマンドが存在しない場合は、ステップ６０７に進む。重ね合わせ静止画生成コマンドが存在する場合は、ステップＳ６０４でその動画又はアニメーションに対応する重ね合わせ静止画生成用のフレーム位置情報を取得する。続いて、ステップＳ６０５において、重ね合わせ静止画を生成する。

次に、ステップＳ６０６において、構造化文書中の動画又はアニメーションを生成した重ね合わせ静止画像で置換する。次に、ステップＳ６０７にて、全ての動画又はアニメーションに対して、重ね合わせ静止画の生成処理を行ったかを判定し、全て行っていなければステップＳ６０３に進む。全て行った場合は、ステップＳ６０８に進み、ステップＳ６０５で生成した静止画を使用して構造化文書の描画処理を行い、終了する。

図７は、本実施例の構造化文書描画装置にかかる表示装置における構造化文書描画処理のフローチャートである。

まず、ステップＳ７０１にて、描画対象となる構造化文書を解析する。次に、ステップＳ７０２にて、解析した構造化文書中に動画又はアニメーションが存在するかを判定する。

動画又はアニメーションが存在しない場合は、ステップＳ７０９に進む。動画又はアニメーションが存在する場合は、ステップＳ７０３で重ね合わせ静止画表示モードかどうかを調べる。重ね合わせ静止画表示モードでなければ通常の動画又はアニメーションを表示するモードのためステップＳ７０９に進んで描画処理を行う。ステップＳ７０３で重ね合わせ静止画表示モードと判定された場合は、ステップＳ７０４に進み、その動画又はアニメーションに対応する重ね合わせ静止画生成コマンドが存在するかどうかを判定する。重ね合わせ静止画生成コマンドが存在しない場合は、ステップ７０８に進む。重ね合わせ静止画生成コマンドが存在する場合は、ステップＳ７０５でその動画又はアニメーションに対応する重ね合わせ静止画生成用のフレーム位置情報を取得する。

続いて、ステップＳ７０６において、重ね合わせ静止画を生成する。次に、ステップＳ７０７において、構造化文書中の動画又はアニメーションを生成した重ね合わせ静止画像で置換する。次に、ステップＳ７０８にて、全ての動画又はアニメーションに対して、重ね合わせ静止画の生成処理を行ったかを判定し、全て行っていなければステップＳ７０４に進む。全て行った場合は、ステップＳ７０９に進み、ステップＳ７０６で生成した静止画を使用して構造化文書の描画処理を行い、終了する。

本発明を適用する計算機は、パーソナルコンピュータ、携帯電話を含む携帯端末、画像形成装置など、その形態を問わないのは言うまでもない。

また、本発明の目的は前述した実施形態の機能を実現するソフトウエアのプログラムコードを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵまたはＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することとなり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤなどを用いることができる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施例の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーションシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施例の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書きこまれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明の一実施例による構造化文書描画装置のシステム構成図 本発明の一実施例による構造化文書描画装置のブロック図 本発明の一実施例による構造化文書描画装置のブロック図 本発明の一実施例による構造化文書中のフレーム情報の記述例を示す図 本発明の一実施例による構造化文書描画装置のフレーム選択ダイアログを示す図 本発明の一実施例による構造化文書描画装置のフローチャート 本発明の一実施例による構造化文書描画装置のフローチャート

符号の説明

１０１ コンテンツサイト
１０２ プリントサイト
１０３ 出力装置
１０４ ネットワーク
１０５ 構造化文書ＤＢ
１０６ 動画ＤＢ
１０７ 構造化文書描画装置
２０１ 表示装置
２０２ ＶＲＡＭ
２０３ ＣＤＤ
２０４ キーボード
２０５ ポインティングデバイス
２０６ ＣＰＵ
２０７ ＲＯＭ
２０８ ＲＡＭ
２０９ ＨＤＤ
２１０ ＦＤＤ
２１１ ネットワーク・インターフェース
２１２ ＣＰＵバス
２１３ ネットワーク
３０１ 構造化文書描画装置
３０２ 文書解析部
３０３ 画像生成部
３０４ 描画部
３０５ 構造化文書解析装置
３０６ 静止画生成コマンド取得装置
３０７ フレーム位置取得装置
３０８ 重ね合わせ静止画生成装置
３０９ 動画・アニメーション置換装置
３１０ 画像表示モード切り替え装置
３１１ 構造化文書描画装置

Claims (11)

1. 構造化文書に含まれる動画又はアニメーションの１フレームを静止画に変換して描画可能な構造化文書描画装置において、
   構造化文書に含まれる少なくとも１つの動画又はアニメーション中の複数のフレームを重ね合わせて１つの静止画を生成する静止画生成手段と、
   前記複数のフレームを重ね合わせて１つの静止画を生成するコマンドを前記構造化文書中に記述する重ね合わせ静止画生成コマンド記述手段と、
   前記複数のフレームに対応するフレーム位置を前記重ね合わせ静止画生成コマンドと関連付けて構造化文書中に記述するフレーム位置記述手段と、
   前記重ね合わせ静止画生成コマンドを構造化文書から取得する重ね合わせ静止画生成コマンド取得手段と、
   前記フレーム位置を構造化文書から取得するフレーム位置取得手段と、
   を備えたことを特徴とする構造化文書描画装置。
2. 前記フレーム位置記述手段は、動画又はアニメーションの１つ又は複数のフレーム番号を記述することを特徴とする請求項１に記載の構造化文書描画装置。
3. 前記フレーム位置記述手段は、動画又はアニメーションの先頭からの経過時間を１つ又は複数個記述することを特徴とする請求項１または２に記載の構造化文書描画装置。
4. 前記複数のフレームを重ね合わせて１つの静止画を生成するコマンドが前記構造化文書中に記述されている時は、対応する動画又はアニメーションを、生成した重ね合わせ静止画で置換する置換手段を備えたことを特徴とする請求項１乃至３のいずれかに記載の構造化文書描画装置。
5. 前記構造化文書描画装置にかかる表示装置において、動画又はアニメーションを表示するか、前記静止画生成手段によって生成された重ね合わせ静止画を表示するかを切り替える切り替え手段を備えたことを特徴とする請求項１乃至４のいずれかに記載の構造化文書描画装置。
6. 前記構造化文書はＸＭＬ標準規格の文法に従って定義されたマークアップ言語によって記述されていることを特徴とする請求項１乃至５のいずれかに記載の構造化文書描画装置。
7. 前記構造化文書は、ＳＶＧ標準規格の文法に従って記述されていることを特徴とする請求項１乃至６のいずれかに記載の構造化文書描画装置。
8. 前記構造化文書に含まれる動画又はアニメーションは、該構造化文書中に埋め込まれる動画又はアニメーションデータであることを特徴とする請求項１乃至７のいずれかに記載の構造化文書描画装置。
9. 前記構造化文書に含まれる動画又はアニメーションは、該構造化文書外に存在する動画又はアニメーションデータを参照していることを特徴とする請求項１乃至８のいずれかに記載の構造化文書描画装置。
10. 構造化文書に含まれる動画又はアニメーションの１フレームを静止画に変換して描画可能な構造化文書描画方法において、
    構造化文書に含まれる少なくとも１つの動画又はアニメーション中の複数のフレームを重ね合わせて１つの静止画を生成する静止画生成ステップと、
    前記複数のフレームを重ね合わせて１つの静止画を生成するコマンドを前記構造化文書中に記述する重ね合わせ静止画生成コマンド記述ステップと、
    前記複数のフレームに対応するフレーム位置を前記重ね合わせ静止画生成コマンドと関連付けて構造化文書中に記述するフレーム位置記述ステップと、
    前記重ね合わせ静止画生成コマンドを構造化文書から取得する重ね合わせ静止画生成コマンド取得ステップと、
    前記フレーム位置を構造化文書から取得するフレーム位置取得ステップと、
    を備えたことを特徴とする構造化文書描画方法。
11. 構造化文書に含まれる動画又はアニメーションの１フレームを静止画に変換して描画可能な構造化文書描画方法を、コンピュータに実行させるためのプログラムにおいて、
    構造化文書に含まれる少なくとも１つの動画又はアニメーション中の複数のフレームを重ね合わせて１つの静止画を生成する静止画生成ステップと、
    前記複数のフレームを重ね合わせて１つの静止画を生成するコマンドを前記構造化文書中に記述する重ね合わせ静止画生成コマンド記述ステップと、
    前記複数のフレームに対応するフレーム位置を前記重ね合わせ静止画生成コマンドと関連付けて構造化文書中に記述するフレーム位置記述ステップと、
    前記重ね合わせ静止画生成コマンドを構造化文書から取得する重ね合わせ静止画生成コマンド取得ステップと、
    前記フレーム位置を構造化文書から取得するフレーム位置取得ステップと、
    を備えたことを特徴とするプログラム。