JP5388540B2 - 画像処理装置、画像処理方法、コンピュータプログラム及び記憶媒体 - Google Patents

Description

本発明は、ビデオとグラフィックを合成表示する技術に関する。

近年、画像処理装置においてビデオとグラフィックの混在する高度な表示を実現することが求められている。これまではビデオの一部にチャンネル表示などの簡単な情報の表示が行われるだけであったが、現在では全画面表示したグラフィックの一部にビデオをはめ込んで表示することが行われている。このような画像表示を実現する場合には、コンピュータグラフィック画像とビデオ画像を合成表示するシステムが必要であり、こういったシステムの実現方法について今日まで様々な検討がおこなわれている。

例えば、特許文献１には、グラフィックの中のビデオの表示領域を変更する場合の処理が開示されている。ビデオの表示領域の変更要求を受けると、ビデオの表示領域の変更が表示に反映されるまでの時間と、ビデオの表示領域の変更に伴うグラフィックスの表示の更新に必要な時間を予測する。グラフィックスの更新に必要な時間に合わせてビデオの表示領域の更新のタイミングを遅らせ、グラフィックスの更新とビデオの表示領域の更新とを同期させる。

このように、ビデオ・グラフィック表示装置における画像合成手法についての技術が、従来より開示されている。
特開２００６−０９８９３５号公報

特許文献１で開示されている方法は、グラフィックの更新時間の予測が外れた際にグラフィックとビデオの合成後の表示にずれが生じるという問題がある。また、ビデオの更新を遅延させるために、レイテンシ（遅延時間）も悪化する。

本発明は、以上の問題に鑑みて成されたものであり、レイテンシを悪化させずに動画像（ビデオ）とグラフィックの表示の一致を実現することを目的とする。

本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。

すなわち、
入力したフレーム画像を加工して背景画像上に合成し、表示する画像処理装置であって、
動画像を構成する各フレーム画像を順次取得する第１の取得手段と、
背景画像を生成するために用いる背景画像データと、当該背景画像上に合成するフレーム画像を加工処理するために用いるパラメータと、を含むベクタグラフィックデータを順次取得する第２の取得手段と、
前記第２の取得手段が取得したベクタグラフィックデータに含まれている前記背景画像データに基づいて背景画像をレンダリングし、該背景画像を所定数格納する格納手段に格納すると共に、当該レンダリングにより得られる背景画像上に合成するフレーム画像として前記第１の取得手段が取得したフレーム画像を、前記第２の取得手段が取得したベクタグラフィックデータに含まれている前記パラメータに基づいて加工する処理手段と、
前記各フレーム画像の画像出力タイミングを検知する検知手段と、
前記検知手段が前記画像出力タイミングを検知した時点で前記処理手段によるレンダリングが完了している前記格納手段内の背景画像を特定背景画像として選択し、当該特定背景画像のレンダリングに用いた前記背景画像データを含む前記ベクタグラフィックデータに含まれている前記パラメータに基づいて前記処理手段が前記画像出力タイミングに対応するフレーム画像を加工して得られた処理済フレーム画像を、前記特定背景画像上に合成することで合成画像を生成し、生成した合成画像を出力する出力手段と
を備えることを特徴とする。

本発明の目的を達成するために、例えば、本発明の画像処理方法は以下の構成を備える。

すなわち、
入力したフレーム画像を加工して背景画像上に合成し、表示する画像処理装置が行う画像処理方法であって、
前記画像処理装置の第１の取得手段が、動画像を構成する各フレーム画像を順次取得する第１の取得工程と、
前記画像処理装置の第２の取得手段が、背景画像を生成するために用いる背景画像データと、当該背景画像上に合成するフレーム画像を加工処理するために用いるパラメータと、を含むベクタグラフィックデータを順次取得する第２の取得工程と、
前記画像処理装置の処理手段が、前記第２の取得工程で取得したベクタグラフィックデータに含まれている前記背景画像データに基づいて背景画像をレンダリングし、該背景画像を所定数格納する格納手段に格納すると共に、当該レンダリングにより得られる背景画像上に合成するフレーム画像として前記第１の取得工程で取得したフレーム画像を、前記第２の取得工程で取得したベクタグラフィックデータに含まれている前記パラメータに基づいて加工する処理工程と、
前記画像処理装置の検知手段が、前記各フレーム画像の画像出力タイミングを検知する検知工程と、
前記画像処理装置の出力手段が、前記検知工程で前記画像出力タイミングを検知した時点で前記処理工程でレンダリングが完了している前記格納手段内の背景画像のうち何れか１つの背景画像を特定背景画像として特定し、当該特定背景画像のレンダリングに用いた前記背景画像データを含む前記ベクタグラフィックデータに含まれている前記パラメータに基づいて前記処理工程で前記画像出力タイミングに対応するフレーム画像を加工して得られた処理済フレーム画像を、前記特定背景画像上に合成することで合成画像を生成し、生成した合成画像を出力する工程と、
を備えることを特徴とする。

本発明によれば、ビデオとグラフィックを合成して表示する際に、レイテンシの悪化を招くことなく、同期を乱すことなくタイミングを一致させて表示することができる。

以下、本発明の好適な実施形態について、図面を参照しながら説明する。

＜第１の実施形態＞
図１は本実施形態における画像処理装置の構成を示すブロック図である。本実施形態では、ベクタグラフィックデータ１２３を取得する前に、ベクタグラフィックデータ１２２を取得しているものとする。もちろん、動画像（ビデオ）の表示領域を刻々と変化させながら、グラフィックとビデオを合成するためには、連続して多くのベクタグラフィックデータを取得する必要がある。しかしながら本実施形態では、理解を容易とするため、２つのベクタグラフィックデータを順次取得する場合を例にとって説明する。

レンダリング部１０２は、パラメータ生成部１０３、レンダリング完了通知部１０４、及び背景画像生成部１０５を有する。レンダリング部１０２は、ベクタグラフィックデータ１２２を取得する（第２の取得手段）。パラメータ生成部１０３はベクタグラフィックデータ１２２からパラメータ１２４を取得し、背景画像生成部１０５はベクタグラフィックデータ１２２から背景画像１２６を生成する。また、レンダリング部１０２がベクタグラフィックデータ１２３を取得すると、パラメータ生成部１０３はベクタグラフィックデータ１２３からパラメータ１２５を取得し、背景画像生成部１０５はベクタグラフィックデータ１２３から背景画像１２７を生成する。

ここで、ベクタグラフィックデータとは、背景画像データとパラメータとを含むデータであり、ベクタグラフィックデータをレンダリングすることにより背景データを生成することができる。また、パラメータとは、ビデオを背景画像のあらかじめ定められた領域に合成表示するために、ビデオに対して行う画像操作を定めるものである。画像操作には、拡大縮小操作、移動操作、回転操作が含まれる。また、画像にフィルタをかけることも含まれる。例として、パラメータは、ビデオから取得したフレーム画像を表示する位置、サイズを示すものであればよい。

パラメータ保持部１０６は、パラメータ生成部１０３がベクタグラフィックデータ１２２から取得したパラメータ１２４を保持する。また、パラメータ保持部１０６は、パラメータ生成部１０３がベクタグラフィックデータ１２３から取得したパラメータ１２５も保持する。背景画像保持部１０７は、背景画像生成部１０５がベクタグラフィックデータ１２２からレンダリングにより生成した背景画像１２６を保持する。また、背景画像保持部１０７は、背景画像生成部１０５がベクタグラフィックデータ１２３からレンダリングにより生成した背景画像１２７をも保持する。

レンダリング完了通知部１０４は、背景画像生成部１０５が背景画像１２６のレンダリング処理を完了した際に、レンダリング完了通知信号１３１を送信する。また、レンダリング完了通知部１０４は、背景画像生成部１０５が背景画像１２７のレンダリング処理を完了した際にも、レンダリング完了通知信号１３１を送信する。このレンダリング完了通知信号１３１により、レンダリング完了通知部１０４は、加工処理済フレーム画像選択部１０９に処理完了を通知する。

加工処理部１０１は、ビデオから、ビデオに含まれるフレーム画像１２１を取得し（第１の取得手段）、パラメータ保持部１０６が保持するパラメータを用いて、フレーム画像１２１に対して加工処理を行う。すなわち、パラメータ１２４を用いて、フレーム画像１２１から加工処理済フレーム画像１２８を生成するとともに、パラメータ１２５を用いてフレーム画像１２１から加工処理済フレーム画像１２９を生成する。

加工処理済フレーム画像保持部１０８は、加工処理部１０１が生成した加工処理済フレーム画像１２８及び１２９を保持する。

加工処理済フレーム画像選択部１０９は、不図示のビデオコントローラにより定期的に指示される画像出力タイミングを検知する。画像出力タイミングを検知すると、加工処理済フレーム画像選択部１０９は、検知した時点において背景画像生成部１０５によるレンダリングが完了している背景画像のうち、何れか１つの背景画像を特定背景画像として特定する。この特定処理において、加工処理済フレーム画像選択部１０９は、レンダリング完了通知信号１３１により、背景画像のレンダリングの完了を判定する。

続いて、加工処理済フレーム画像選択部１０９は、特定背景画像と合成する加工処理済フレーム画像を選択する。例として、背景画像１２６を特定背景画像として特定した場合について述べる。背景画像１２６は、ベクタグラフィックデータ１２２から生成したものである。よって、ベクタグラフィックデータ１２２から生成したパラメータ１２４を用いて、加工処理した加工処理済フレーム画像１２８を、選択する。同様に、背景画像１２７はベクタグラフィックデータ１２３から生成したものである。背景画像１２７を特定背景画像として特定した場合は、ベクタグラフィックデータ１２３から生成したパラメータ１２５を用いて、加工処理した加工処理済フレーム画像１２９を、選択する。

背景画像生成部１０５によるレンダリングが完了している背景画像が複数存在する場合には、画像出力タイミングに最も近いタイミングで生成完了した背景画像を、特定背景画像として特定することが好ましい。

画像出力タイミングは、合成するビデオのフレームレートに応じて、一定の時間間隔で、不図示のビデオコントローラによって指示されることが好ましい。

画像合成部１１０は、加工処理済フレーム画像選択部１０９が選択した加工処理済フレーム画像を、特定背景画像上に合成することで、合成画像を生成し、生成した合成画像を出力する。すなわち、画像合成部１１０は、加工処理済フレーム画像選択部１０９の選択に従い、加工処理済フレーム画像１２８と背景画像１２６とを、または加工処理済フレーム画像１２９と背景画像１２７とを合成し、合成画像１３０として出力する。

図２にビデオとグラフィックの画像合成概念図を示す。図２に示すように、ベクタグラフィックデータからレンダリングにより得た背景画像は、ビデオ表示領域を除いた領域に表示される。ビデオはビデオ表示領域に表示されるよう、パラメータに従って加工処理されており、これらを合成するとグラフィックの一部にビデオがはめ込まれた状態で表示される。

以下、図３及び図５に従い本実施形態の動作を詳細に説明する。図３は、時刻ｔ２において取得したフレーム画像Ｖ２を、ベクタグラフィックデータと合成する手順を時系列に沿って示したものである。図５は、本実施形態の処理手順を示すフローチャートである。

最初にレンダリング部によるベクタグラフィックデータのレンダリング処理について説明する。この処理は図３に示すようなパイプライン処理となる。

レンダリング部１０２が、時刻ｔ２においてベクタグラフィックデータＧ２（３０２）を取得すると（ステップＳ５２１）、ベクタグラフィックデータＧ２（３０２）から、パラメータＰ２（３０４）を取得する（ステップＳ５２２）。また、レンダリング部１０２は、取得したベクタグラフィックデータＧ２（３０２）からの背景画像Ｑ２（３０６）の生成を開始する（ステップＳ５２３）。ここでは、パラメータＰ２（３０４）を時刻ｔ３に取得完了し、背景画像Ｑ２（３０６）を時刻ｔ８に生成完了するものとする。続けて、レンダリング部１０２は、時刻ｔ８において、背景画像Ｑ２（３０６）の生成完了を示すレンダリング完了通知信号１３１を発信する（ステップＳ５２４）。

また、レンダリング部１０２は、時刻ｔ１においてベクタグラフィックデータＧ１（３０１）を取得している（ステップＳ５１１）。そして、パラメータＰ１（３０３）の取得（ステップＳ５１２）、及び背景画像Ｑ１（３０５）の生成を開始している（ステップＳ５１３）。ここでは、パラメータＰ１（３０３）を時刻ｔ２に取得し、背景画像Ｑ１（３０５）を時刻ｔ４に生成完了するものとする。続けて、レンダリング部１０２は、時刻ｔ４において、背景画像Ｑ１（３０５）の生成完了を示すレンダリング完了通知信号１３１を発信する（ステップＳ５１４）。

このように、レンダリング部１０２は、ベクタグラフィックデータＧ１（３０１）とベクタグラフィックデータＧ２（３０２）に含まれるパラメータを、それぞれ取得する。また、ベクタグラフィックデータＧ１（３０１）とベクタグラフィックデータＧ２（３０２）をレンダリングし、背景画像をそれぞれ生成する。取得したパラメータＰ１（３０３）及びパラメータＰ２（３０４）は、パラメータＰ１（３０７）及びパラメータＰ２（３０８）として、パラメータ保持部１０６が保持する。また背景画像Ｑ１（３０５）及び背景画像Ｑ２（３０６）は、背景画像Ｑ１（３０９）及び背景画像Ｑ２（３１０）として、背景画像保持部１０７が保持する。

次に、加工処理部１０１による、フレーム画像の加工処理について説明する。

加工処理部１０１は、時刻ｔ２において取得した（ステップＳ５０１）フレーム画像Ｖ２（３１１）の加工処理を、時刻ｔ２に開始する。加工処理部１０１はまず、パラメータ保持部１０６を検索し、生成の完了しているパラメータＰ１（３０７）を取得する。パラメータＰ１（３０７）は、先述の通り、ベクタグラフィックデータＧ１（３０１）から取得したものである。加工処理部１０１は、時刻ｔ２におけるフレーム画像Ｖ２（３１１）を取得し、パラメータＰ１（３０７）に従ってフレーム画像Ｖ２（３１１）を加工処理し、加工処理済フレーム画像Ｖ２’(３１２）を生成する（ステップＳ５０２）。加工処理済フレーム画像Ｖ２’（３１２）の生成は、時刻ｔ４に完了するものとする。

また、加工処理部１０１は、パラメータ保持部１０６を検索することで、レンダリング部１０２が時刻ｔ４において、パラメータ保持部１０６に格納したパラメータＰ２（３０８）を取得する。さらに時刻ｔ２におけるフレーム画像Ｖ２（３１１）を取得し、フレーム画像Ｖ２（３１１）を、パラメータＰ２（３０８）に従って加工処理して、加工処理済フレーム画像Ｖ２’’(３１３）を生成する（ステップＳ５０３）。加工処理済フレーム画像Ｖ２’’(３１３）の生成は、時刻ｔ６に完了するものとする。

加工処理部１０１が生成した加工処理済フレーム画像Ｖ２’（３１２）と加工処理済フレーム画像Ｖ２’’（３１３）は、加工処理済フレーム画像保持部１０８が保持する。

加工処理済フレーム画像選択部１０９は、時刻ｔ７において、画像出力タイミングを検知する（ステップＳ５０４）。そして、加工処理済フレーム画像選択部１０９は、加工処理済フレーム画像保持部１０８が保持する加工処理済フレーム画像から、最適な加工処理済フレーム画像を選択する（ステップＳ５０５）。画像出力タイミングは不図示のビデオコントローラ等によって定期的に指示されるもので、一定の時刻間隔で画像出力タイミングが来ることが好ましい。フレーム画像Ｖ２の画像出力タイミングは、加工処理部１０１がフレーム画像Ｖ２（３１１）を取得した時刻後、一定の時刻間隔を持って到来することが好ましい。

ステップＳ５０５で、加工処理済フレーム画像選択部１０９はまず、画像出力タイミングを検知した時刻ｔ７において、レンダリング部１０２によるレンダリングが完了している背景画像のうち、何れか１つの背景画像を特定背景画像として特定する。

そのために、本実施形態では、レンダリング完了通知信号１３１を用いる。時刻ｔ７においては、ベクタグラフィックデータＧ１（３０１）からの背景画像Ｑ１（３０９）の生成完了を示すレンダリング完了通知信号１３１を受信している。しかし、ベクタグラフィックデータＧ２（３０２）からの背景画像Ｑ２（３１０）の生成完了を示すレンダリング完了通知信号１３１は、時刻ｔ７までに受信していない。したがって、加工処理済フレーム画像選択部１０９は、背景画像Ｑ１（３０９）の生成は完了しているが、背景画像Ｑ２（３１０）の生成は未完了であると判断する。レンダリングが完了している背景画像は背景画像Ｑ１（３０９）のみであるため、加工処理済フレーム画像選択部１０９は、背景画像Ｑ１（３０９）を特定背景画像として特定する。

続けて、加工処理済フレーム画像選択部１０９は、特定背景画像として特定した背景画像Ｑ１（３０９）に合成する、加工処理済フレーム画像Ｖ２’（３１２）を選択する。背景画像Ｑ１（３０９）はベクタグラフィックデータＧ１（３０１）から生成したものである。加工処理済フレーム画像Ｖ２’（３１２）も、ベクタグラフィックデータＧ１（３０１）から取得したパラメータＰ１（３０７）を用いて加工処理したものであることに留意されたい。

加工処理済フレーム画像選択部１０９の選択に従って、画像合成部１１０は、加工処理済フレーム画像Ｖ２’（３１２）を、特定背景画像として特定した背景画像Ｑ１（３０９）上に合成することで合成画像３１４を生成する（ステップＳ５０６）。そして、画像合成部１１０は、生成した合成画像３１４を時刻ｔ８において出力する（ステップＳ５０７）。

続いて、図３を用いて説明した場合とは異なり、背景画像Ｑ２（３１０）が、画像出力タイミングである時刻ｔ７の前、時刻ｔ６において既に生成完了している場合の、本実施形態の動作を、図４及び図５に従って説明する。

図４において、時刻ｔ１から時刻ｔ５における処理内容は図３と同様である。以下では、時刻ｔ６以降の処理について説明する。

時刻ｔ６において、レンダリング部１０２は、ベクタグラフィックデータＧ２（４０２）からの背景画像Ｑ２（４０６）の生成を完了する（ステップＳ５２３）。同時にレンダリング部１０２は、背景画像Ｑ２（４０６）の生成完了を示す、レンダリング完了通知信号１３１を生成し、加工処理済フレーム画像選択部１０９へと送信する（ステップＳ５２４）。

加工処理済フレーム画像選択部１０９は、レンダリング完了通知信号１３１を受けて、背景画像Ｑ２（４０６）のレンダリング完了を検知する。

画像合成するタイミングである時刻ｔ７において、加工処理済フレーム画像選択部１０９は図３における場合と同様に、合成する加工処理済フレーム画像を選択する（ステップＳ５０５）。加工処理済フレーム画像選択部１０９はまず、時刻ｔ７において、レンダリング部１０２によるレンダリングが完了している背景画像のうち何れか１つの背景画像を特定背景画像として特定する。図４の場合、時刻ｔ７までに、加工処理済フレーム画像選択部１０９は、背景画像Ｑ１（４０９）の生成完了を示すレンダリング完了通知信号１３１と背景画像Ｑ２（４１０）の生成完了を示すレンダリング完了通知信号１３１の双方を受信している。よって、加工処理済フレーム画像選択部１０９は、背景画像Ｑ１（４０９）と背景画像Ｑ２（４１０）の双方とも生成が完了していると判断する。

レンダリングが完了しており、特定背景画像として特定できる背景画像が複数存在する場合、加工処理済フレーム画像選択部１０９は、複数の背景画像のうち何れか１つを選択する。この場合、画像出力タイミングｔ７においてレンダリング部１０２によるレンダリングが完了している背景画像のうち、画像出力タイミングｔ７に最も近いタイミングで生成が完了した背景画像を特定背景画像として特定することが好ましい。本実施形態においては、背景画像Ｑ１（４０９）は時刻ｔ４に生成され、背景画像Ｑ２（４１０）は時刻ｔ６に生成されており、画像出力タイミングはｔ７であるから、背景画像Ｑ２（４１０）を特定背景画像として特定する。

続けて、加工処理済フレーム画像選択部１０９は、特定背景画像として特定された背景画像である背景画像Ｑ２（４１０）に合成する、加工処理済フレーム画像Ｖ２’’（４１３）を選択する。背景画像Ｑ２（４１０）はベクタグラフィックデータＧ２（４０２）から生成したものである。加工処理済フレーム画像Ｖ２’’（４１３）も、ベクタグラフィックデータＧ２（４０２）から取得したパラメータＰ２（４０８）を用いて加工処理したものであることに留意されたい。

以降は図３における場合と同様である。すなわち、加工処理済フレーム画像選択部１０９の選択に従って、画像合成部１１０は、加工処理済フレーム画像Ｖ２’’（４１３）を、背景画像Ｑ２（４１０）上に合成することで合成画像４１４を生成する（ステップＳ５０６）。続けて画像合成部１１０は、生成した合成画像４１４を、時刻ｔ８において出力する（ステップＳ５０７）。

本実施形態の処理は、時刻ｔ２において取得したフレーム画像Ｖ２を、ベクタグラフィックデータに従って加工処理した上で、ベクタグラフィックデータから生成した背景画像と合成し、画像出力タイミングｔ７に出力することを目的としている。時刻ｔ２において取得したベクタグラフィックデータＧ２のレンダリング処理が、画像出力タイミングｔ７において終わっていない場合でも、レンダリングの終了まで待つことはない。その場合に備えて、時刻ｔ１で取得し、先にレンダリングを始めているベクタグラフィックデータＧ１を用いて、加工処理済フレーム画像Ｖ２’を用意しておく。ベクタグラフィックデータＧ２のレンダリング処理が画像出力タイミングｔ７に間に合わない場合には、ベクタグラフィックデータＧ１から生成した背景画像Ｑ１と加工処理済フレーム画像Ｖ２’とを合成すればよい。このため、フレーム画像の表示を遅延させる必要がなく、レイテンシの悪化を招くことがない。

本実施形態では、２つのベクタグラフィックデータを順次取得する場合を例にとって説明したが、数は２つに限られず、例えば３つ以上のベクタグラフィックデータを順次取得しても良い。この場合、取得した３つ以上のベクタグラフィックデータから、それぞれが含むパラメータを取得し、取得した３つ以上のパラメータをパラメータ保持部１０６が保持することが考えられる。また、取得した３つ以上のベクタグラフィックデータのそれぞれに対しレンダリングを行い、生成した３つ以上の背景画像をパラメータ保持部１０６が保持することが考えられる。さらに、１つのフレーム画像１２１に対して、３つ以上のパラメータのそれぞれを用いて加工処理することにより得られる３つ以上の加工処理済フレーム画像を、加工処理済フレーム画像保持部１０８が保持することが考えられる。

本実施形態において、画像処理装置は、構成する各部を１つずつ備えるものとして説明したが、各部を複数備え、並列処理を行っても良い。

本実施形態では、レンダリング完了通知部１０４がレンダリング完了通知信号１３１を発信するが、この通知部及び通知は必須の要素ではない。画像出力タイミングにおいて、加工処理済フレーム画像選択部１０９が背景画像保持部１０７内のデータを確認すれば十分である。また、本実施形態においては、加工処理部１０１は、パラメータ保持部１０６内を検索することにより使用できるパラメータを検索しているが、他の構成を取ることもできる。すなわち、レンダリング完了通知部１０４が、パラメータの取得完了を加工処理部１０１に通知することで、使用できるパラメータを加工処理部１０１に通知してもも良い。

＜第２の実施形態＞
図１に示すパラメータ保持部１０６、背景画像保持部１０７、及び加工処理済フレーム画像保持部１０８を除く各部は、ソフトウェアで実現しても良い。この場合、係るソフトウェアは、コンピュータが有する各種記憶装置内に保持されており、ＣＰＵがこのソフトウェアを実行することで、コンピュータは、図１に示した各部の機能を実現することになる。

また、図１に示すパラメータ保持部１０６、背景画像保持部１０７、又は加工処理済フレーム画像保持部１０８は、コンピュータが有するメモリによって実現しても良い。メモリとしては、主記憶装置、ハードディスクドライブ等の各種記憶装置を用いることができる。

図６は、上記実施形態に適用可能なコンピュータのハードウェア構成を示すブロック図である。コンピュータ６０１は、一般に普及しているパーソナルコンピュータ等の汎用の情報処理装置である。ハードディスクドライブ（ＨＤＤ）６０４又は、ＤＶＤドライブ６１０に挿入されたＤＶＤ等の記憶媒体、若しくはネットワーク６１９から、コンピュータ６０１は動画を取得し、編集、及び保管等の処理を行うことが可能である。不図示のインタフェースを介し、テレビ放送等の動画を取得することもできる。また、コンピュータ６０１は、ＨＤＤ６０４又は、ＤＶＤドライブ６１０に挿入されたＤＶＤ等の記憶媒体、若しくはネットワーク６１９から、ベクタグラフィックデータなどのデータを取得し、レンダリング、動画との合成等の処理を行うことも可能である。この動画やグラフィックデータ、合成結果等は、ビデオコントローラ６０５を通してモニタ６０６に表示することもできる。尚、ユーザからの各種指示等は、マウス６１３やキーボード６１４からの入力操作により行われる。本コンピュータ６０１の内部では、バス６０７により後述する各ブロックが接続され、種々のデータの受け渡しが可能である。

なお、本コンピュータ６０１を適用する装置によっては、図６に示した全ての構成要素は必須なものではないので、適宜省略しても良い。また、同種の機能を有するハードウェアで置換しても良いし、複数のコンピュータ機体によって本コンピュータ６０１が構成されていても良い。

図６において６０２はＣＰＵで、主記憶装置６０３にロードされているプログラムやデータを用いて本コンピュータ６０１全体の制御を行うと共に、本コンピュータ６０１を適用した画像処理装置が行う上述の各処理を実行する。

６０３はＲＡＭに代表される主記憶装置である。主記憶装置６０３は、各種記憶装置からロードされたプログラムやデータを一時的に記憶する為のエリアを有する。記憶装置には、ＨＤＤ６０４、ＣＤドライブ６０９、ＤＶＤドライブ６１０、ＦＤＤ（フロッピー（登録商標）ディスクドライブ）６１１等を含む。更に主記憶装置６０３は、ＣＰＵ６０２が各種の処理を実行する際に用いるワークエリアも有する。以上を含め、主記憶装置６０３は、各種の情報記録場所を適宜提供することができる。

６０４はＨＤＤで、ここにはＯＳ（オペレーティングシステム）や、各種の動画を含むデータが保存されている。更にＨＤＤ６０４には、図３に示された各部の機能をＣＰＵ６０２に制御させるための、あるいは本コンピュータ６０１を適用した画像処理装置が行う上述の各処理をＣＰＵ６０２に実行させるためのプログラムやデータも保存されている。ＨＤＤ６０４に保存されているプログラムやデータは、ＣＰＵ６０２による制御に従って適宜主記憶装置６０３にロードされ、ＣＰＵ６０２による処理対象となる。なお、主記憶装置６０３に記憶するものとして説明した情報の幾つかについてはＨＤＤ６０４に保存するようにしても良い。

６０５はビデオコントローラで、主記憶装置６０３やＨＤＤ６０４等から受けた動画データや静止画像データといった表示データを信号としてモニタ６０６に送出するものである。モニタ６０６はＣＲＴや液晶画面などにより構成されており、ビデオコントローラ６０５から受けた信号に基づいた動画や静止画像などを表示する。

６０８は、本コンピュータ６０１にプリンタ６１６を接続するためのＩ／Ｆである。本コンピュータ６０１はこのＩ／Ｆ６０８を介してプリンタ６１６に対して印刷データを送信したり、プリンタ６１６から送信されるプリンタ６１６の状態情報を受信したりする。

６０９はＣＤドライブで、記憶媒体としてのＣＤに記録されているプログラムやデータを読み出し、読み出したプログラムやデータをＨＤＤ６０４や主記憶装置６０３等に送出する。

６１０はＤＶＤドライブで、記憶媒体としてのＤＶＤに記録されているプログラムやデータを読み出し、読み出したプログラムやデータをＨＤＤ６０４や主記憶装置６０３等に送出する。

６１１はＦＤＤで、記憶媒体としてのフロッピー（登録商標）ディスクに記録されているプログラムやデータを読み出し、読み出したプログラムやデータをＨＤＤ６０４や主記憶装置６０３等に送出する。

６１３、６１４はそれぞれ、操作入力装置としてのマウス、キーボードである。本コンピュータ６０１のユーザは、このマウス６１３やキーボード６１４を操作することで、各種の指示をＣＰＵ６０２に対して入力することができる。

６１２は、マウス６１３、キーボード６１４をバスに接続するためのＩ／Ｆである。マウス６１３やキーボード６１４から入力された操作指示は信号としてＩ／Ｆ６１２を介してＣＰＵ６０２に送出される。

６１８は、他のコンピュータ等の電子機器との情報をやりとりするためのＩ／Ｆである。ＣＰＵ６０２の指示によりネットワーク６１９から取得された画像データを含む情報は、このＩ／Ｆ６１８を介してＨＤＤ６０４や主記憶装置６０３等に送出される。

＜その他の実施形態＞
また、本発明の目的は、以下のようにすることによっても達成されることは言うまでもない。即ち、前述した実施形態の機能を実現するコンピュータプログラムのコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコード、およびそれを記録した記録媒体は本発明を構成することになる。

また、コンピュータが読み出したコンピュータプログラムのコードを実行することにより、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行う場合がある。その処理によって前述した実施形態の機能が実現される場合も本発明に含まれることは言うまでもない。

さらに、記録媒体から読み出されたコンピュータプログラムのコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれたとする。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も本発明に含まれることも言うまでもない。

上記各実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

第１の実施形態における画像処理装置の構成を示した図である。 第１の実施形態における画像合成を示した図である。 第１の実施形態における合成手順を時系列に沿って示した図である。 第１の実施形態における合成手順を時系列に沿って示した図である。 第１の実施形態における処理手順を示すフローチャートである。 第２の実施形態における画像処理装置の電気的構成例を示した図である。

符号の説明

１０１ 加工処理部
１０２ レンダリング部
１０３ パラメータ生成部
１０４ レンダリング完了通知部
１０５ 背景画像生成部
１０６ パラメータ保持部
１０７ 背景画像保持部
１０８ 加工処理済フレーム画像保持部
１０９ 加工処理済フレーム画像選択部
１１０ 画像合成部
１２１ フレーム画像
１２２、１２３ ベクタグラフィックデータ
１２４、１２５ パラメータ
１２６、１２７ 背景画像
１２８、１２９ 加工処理済フレーム画像
１３０ 合成画像
１３１ レンダリング完了通知信号
３０１、３０２ ベクタグラフィックデータ
３０３、３０４、３０７、３０８ パラメータ
３０５、３０６、３０９、３１０ 背景画像
３１１ フレーム画像
３１２、３１３ 加工処理済フレーム画像
３１４ 合成出力
４０１、４０２ ベクタグラフィックデータ
４０３、４０４、４０７、４０８ パラメータ
４０５、４０６、４０９、４１０ 背景画像
４１１ フレーム画像
４１２、４１３ 加工処理済フレーム画像
４１４ 合成出力
６０１ コンピュータ
６０２ ＣＰＵ
６０３ 主記憶装置
６０４ ＨＤＤ
６０５ ビデオコントローラ
６０６ モニタ
６０７ バス
６０８、６１２、６１８ Ｉ／Ｆ
６０９ ＣＤドライブ
６１０ ＤＶＤドライブ
６１１ ＦＤＤ
６１３ マウス
６１４ キーボード
６１６ プリンタ
６１９ ネットワーク

Claims (6)

1. 入力したフレーム画像を加工して背景画像上に合成し、表示する画像処理装置であって、
   動画像を構成する各フレーム画像を順次取得する第１の取得手段と、
   背景画像を生成するために用いる背景画像データと、当該背景画像上に合成するフレーム画像を加工処理するために用いるパラメータと、を含むベクタグラフィックデータを順次取得する第２の取得手段と、
   前記第２の取得手段が取得したベクタグラフィックデータに含まれている前記背景画像データに基づいて背景画像をレンダリングし、該背景画像を所定数格納する格納手段に格納すると共に、当該レンダリングにより得られる背景画像上に合成するフレーム画像として前記第１の取得手段が取得したフレーム画像を、前記第２の取得手段が取得したベクタグラフィックデータに含まれている前記パラメータに基づいて加工する処理手段と、
   前記各フレーム画像の画像出力タイミングを検知する検知手段と、
   前記検知手段が前記画像出力タイミングを検知した時点で前記処理手段によるレンダリングが完了している前記格納手段内の背景画像を特定背景画像として選択し、当該特定背景画像のレンダリングに用いた前記背景画像データを含む前記ベクタグラフィックデータに含まれている前記パラメータに基づいて前記処理手段が前記画像出力タイミングに対応するフレーム画像を加工して得られた処理済フレーム画像を、前記特定背景画像上に合成することで合成画像を生成し、生成した合成画像を出力する出力手段と
   を備えることを特徴とする画像処理装置。
2. 前記出力手段は、前記検知手段が前記画像出力タイミングを検知した時点で前記処理手段によるレンダリングが完了している背景画像のうち、前記画像出力タイミングに最も近いタイミングで生成が完了した背景画像を前記特定背景画像として選択することを特徴とする請求項１に記載の画像処理装置。
3. 前記パラメータは、背景画像上におけるフレーム画像の位置、サイズを示すことを特徴とする請求項１又は２に記載の画像処理装置。
4. 入力したフレーム画像を加工して背景画像上に合成し、表示する画像処理装置が行う画像処理方法であって、
   前記画像処理装置の第１の取得手段が、動画像を構成する各フレーム画像を順次取得する第１の取得工程と、
   前記画像処理装置の第２の取得手段が、背景画像を生成するために用いる背景画像データと、当該背景画像上に合成するフレーム画像を加工処理するために用いるパラメータと、を含むベクタグラフィックデータを順次取得する第２の取得工程と、
   前記画像処理装置の処理手段が、前記第２の取得工程で取得したベクタグラフィックデータに含まれている前記背景画像データに基づいて背景画像をレンダリングし、該背景画像を所定数格納する格納手段に格納すると共に、当該レンダリングにより得られる背景画像上に合成するフレーム画像として前記第１の取得工程で取得したフレーム画像を、前記第２の取得工程で取得したベクタグラフィックデータに含まれている前記パラメータに基づいて加工する処理工程と、
   前記画像処理装置の検知手段が、前記各フレーム画像の画像出力タイミングを検知する検知工程と、
   前記画像処理装置の出力手段が、前記検知工程で前記画像出力タイミングを検知した時点で前記処理工程でレンダリングが完了している前記格納手段内の背景画像のうち何れか１つの背景画像を特定背景画像として特定し、当該特定背景画像のレンダリングに用いた前記背景画像データを含む前記ベクタグラフィックデータに含まれている前記パラメータに基づいて前記処理工程で前記画像出力タイミングに対応するフレーム画像を加工して得られた処理済フレーム画像を、前記特定背景画像上に合成することで合成画像を生成し、生成した合成画像を出力する工程と、
   を備えることを特徴とする画像処理方法。
5. コンピュータを、請求項１乃至３の何れか１項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。
6. 請求項５に記載のコンピュータプログラムを格納した、コンピュータが読み取り可能な記憶媒体。

Images