JP2011232467A - 画像生成装置及び画像生成方法並びにそのプログラム - Google Patents

Abstract

【課題】表示画像の生成処理に伴うパフォーマンス低下と消費電力の増加を改善することのできる画像生成装置を提供する。
【解決手段】リフレッシュレートに基づいて新たに入力する複数のレイヤ画像それぞれと、既に生成された表示画像を構成する複数のレイヤ画像それぞれとについて、対応するレイヤ毎に更新があるかを判定する。そして、複数のレイヤのうち最背面のレイヤにのみ更新があると判定された場合には、既に生成された表示画像を構成する最背面のレイヤ内の画素のうち、新たに入力した最背面のレイヤ内の画素の値とは異なる画素を、当該新たに入力した最背面のレイヤ内の対応する画素の値に更新する。
【選択図】図１

Description

本発明は、表示画像を生成する画像生成装置及び画像生成方法並びにそのプログラムに関する。

近年、携帯電話等の情報処理装置における、画面の大型化や画像の高解像度化等に伴って、表示するための情報量が増大している。また、背景や各種アイコン等に加え動画やグラフィックなどを画面に表示するために、これらの画像を合成して表示画像を生成し、表示することが一般的となっている。

図４は関連する画像生成装置の構成を示すブロック図である。
ここで、関連する表示画像の合成方法を図４を参照して説明する。
合成表示を行う場合、画像生成装置は、表示画像記憶部１０に格納された複数のレイヤの画像イメージをそれぞれ読み込み、座標や表示優先順位等の表示情報をもとに合成部２０にて各画像の重ね合わせを行い、１枚の表示画像としてＬＣＤ等の表示装置３０に出力する必要がある。
なお複数のレイヤの画像データを用いて表示画像を生成する関連技術が特許文献１に開示されている。

特開２００４−０２１１１９号公報

しかし、上述のような合成方法の場合、表示装置のリフレッシュレートに応じて、フレームごとに各レイヤの合成を行う必要がある。例えばリフレッシュレートが６０Ｈｚである場合は、１秒間に６０回、画像合成の処理を行う必要があるため、画像イメージの読み込みに多くのデータ転送が発生することになり、その結果、装置のパフォーマンス低下や消費電力が増えるという問題がある。
また、このような問題に対して、任意の期間、画像の更新が無い場合には、合成した表示画像を一旦メモリに出力し、その後はその出力した表示画像を用いて表示するという手法による処理が行われている。この場合、表示画像の出力後は毎フレームで合成をする必要がないため、データ転送量が抑えられる上、消費電力も軽減できるという効果がある。しかし、この場合においても、画像イメージの更新が少しでもあると表示画像を破棄して再度全レイヤの合成を行う必要があるため、頻繁に画像更新がある場合は効果が出ないという問題がある。

そこでこの発明は、表示画像の生成処理に伴うパフォーマンス低下と消費電力の増加を改善することのできる画像生成装置及び画像生成方法並びにそのプログラムを提供することを目的としている。

上記目的を達成するために、本発明は、複数のレイヤの画像を合成して表示画像を生成すると共に表示部に出力する画像生成装置であって、リフレッシュレートに基づいて新たに入力する前記複数のレイヤ画像それぞれと、既に生成された表示画像を構成する複数のレイヤ画像それぞれとについて、対応するレイヤ画像毎に更新があるかを判定する更新判定部と、前記複数のレイヤ画像のうち最背面のレイヤ画像にのみ更新があると判定された場合に、前記既に生成された表示画像を構成する最背面のレイヤ画像内の画素のうち、前記新たに入力した最背面のレイヤ画像内の画素と値が異なる画素を、当該新たに入力した最背面のレイヤ内の対応する画素の値に更新する更新処理部と、を備えることを特徴とする画像生成装置である。

また本発明は、複数のレイヤの画像を合成して表示画像を生成すると共に表示部に出力する画像生成装置における画像生成方法であって、前記画像生成装置の更新判定部が、リフレッシュレートに基づいて新たに入力する前記複数のレイヤそれぞれと、既に生成された表示画像を構成する複数のレイヤそれぞれとについて、対応するレイヤ毎に更新があるかを判定し、前記画像生成装置の更新処理部が、前記複数のレイヤのうち最背面のレイヤにのみ更新があると判定された場合には、前記既に生成された表示画像を構成する最背面のレイヤ内の画素のうち、前記新たに入力した最背面のレイヤ内の画素の値とは異なる画素を、当該新たに入力した最背面のレイヤ内の対応する画素の値に更新することを特徴とする画像生成方法である。

また本発明は、複数のレイヤの画像を合成して表示画像を生成すると共に表示部に出力する画像生成装置のコンピュータを、リフレッシュレートに基づいて新たに入力する前記複数のレイヤそれぞれと、既に生成された表示画像を構成する複数のレイヤそれぞれとについて、対応するレイヤ毎に更新があるかを判定する更新判定手段、前記複数のレイヤのうち最背面のレイヤにのみ更新があると判定された場合には、前記既に生成された表示画像を構成する最背面のレイヤ内の画素のうち、前記新たに入力した最背面のレイヤ内の画素の値とは異なる画素を、当該新たに入力した最背面のレイヤ内の対応する画素の値に更新する更新処理手段、として機能させることを特徴とするプログラムである。

本発明によれば、最背面のレイヤ画像のみの更新である場合には、合成部２が合成処理する代わりに、比較部４が記憶部に記録されている画像における更新画素のみの更新処理を行っている。これにより、全レイヤを読み込んで再度合成する必要が無くなるため、バスの負荷を抑えることができ、画像生成装置１０の処理負荷が軽減され、またこれによる消費電力の低減を図ることができる

画像生成装置の構成を示すブロック図である。 画像生成装置１０の処理フローを示す図である。 レイヤ画像の例を示す図である。 関連する画像生成装置の構成を示すブロック図である。

以下、本発明の一実施形態による画像生成装置を図面を参照して説明する。
図１は同実施形態による画像生成装置の構成を示すブロック図である。
この図において、符号１０は画像生成装置である。画像生成装置１０は、レイヤ画像記憶部１、合成部２、表示部３、比較部４、表示画像記憶部５を少なくとも備えて構成される。また図１で示すように画像生成装置１０は、レイヤ画像更新部６を備えていてもよい。
そして、画像生成装置１０において、レイヤ画像記憶部１は、表示画像を生成するための複数のレイヤ画像を記憶している。レイヤ画像は、画像を表現する範囲が非透明画素、それ以外の画素の範囲が透明画素の画像データである。本実施形態における画像生成装置１０は、これらのレイヤ画像を階層的に合成することにより表示画像を生成する。また本実施形態においては、図１で示すように、レイヤ画像記憶部１がレイヤ画像Ａ，レイヤ画像Ｂ，レイヤ画像Ｃを記憶しているものとする。これらレイヤ画像には、最背面からの順位を示す表示優先順位が設定されており、レイヤ画像Ａ＞レイヤ画像Ｂ＞レイヤ画像Ｃの順位であり、最も順位の高いレイヤ画像が最背面であるとする。なお表示優先順位の情報はレイヤ画像それぞれに対応付けられてレイヤ画像記憶部１に記録されているものとする。

また、画像生成装置１０において、合成部２は複数のレイヤ画像を合成して表示画像を生成する。このとき合成部２は、表示優先順位に基づいて、合成処理を行う。
また、表示部３は合成部２によって生成された表示画像、または、その表示画像を記憶する表示画像記憶部５から読み取った表示画像を、ＬＣＤ等に出力する処理部である。
また、比較部４は、表示画像を構成するレイヤ画像の何れかにおいて、画像の更新があったかを判定する更新判定部４１、表示画像を構成するレイヤ画像のうち、最背面のレイや画像の更新処理を行う更新処理部４２、表示画像の出力を合成部２から行うか、表示画像記憶部５から行うかを判定する画像出力制御部４２を備える。
またレイヤ画像更新部６は、レイヤ画像記憶部１に格納されるレイヤ画像を更新する処理部である。

そして、本実施形態による画像生成装置１０は、リフレッシュレートに基づいて新たに入力する複数のレイヤ画像それぞれと、既に生成された表示画像を構成する複数のレイヤ画像それぞれとについて、対応するレイヤ画像毎に更新があるかを判定する。そして、複数のレイヤ画像のうち最背面のレイヤ画像にのみ更新があると判定された場合に、既に生成された表示画像を構成する最背面のレイヤ画像内の画素のうち、新たに入力した最背面のレイヤ画像内の画素と値が異なる画素を、当該新たに入力した最背面のレイヤ内の対応する画素の値に更新する。
このような処理を行うことにより、画像生成装置１０は、表示画像の生成処理に伴うパフォーマンス低下と消費電力の増加を改善する。
以下、画像生成装置１０の処理の詳細について説明する。

図２は画像生成装置１０の処理フローを示す図である。
図３はレイヤ画像の例を示す図である。
まず、レイヤ画像記憶部１には、表示画像を構成するための複数のレイヤ画像が格納される。また、過去に合成部２が合成生成した表示画像が表示画像記憶部５に格納されているものとする。レイヤ画像記憶部１に格納されるレイヤ画像は、変更があった場合には、レイヤ画像更新部６によって更新される。そして、合成部２および比較部４は、レイヤ画像記憶部１に格納されたレイヤ画像それぞれを、リフレッシュレートに基づいて短時間当たりに複数回読み込む（ステップＳ１０１）。

ここで、比較部４において、更新判定部４１は、前回読み込んだレイヤ画像それぞれを一時的に記憶しているものとする。そして、更新判定部４１は、リフレッシュレートに基づいて新たに入力した複数のレイヤ画像それぞれと、一時的に記憶している前回入力した複数のレイヤ画像それぞれについて、対応するレイヤ毎に更新があるかを判定する（ステップＳ１０２）。この更新があるか否かの判定は、レイヤ画像の各画素の値が一致するか否かによって行う。更新判定部４１は、対応するレイヤ画像において、全ての画素の値が一致していれば更新なしと判定し、ある画素の値が一致していなければ更新ありと判定する。
なお、更新判定部４１は、既に生成された表示画像を構成する最背面のレイヤ画像については、最背面以外のレイヤ画像内の透明画素に対応する画素についてのみ、当該新たに入力した最背面のレイヤ内の画素の値と異なるかを判定し、当該画素の値が異なるかに基づいて、対応するレイヤ画像毎に更新があるかを判定するようにしてもよい。他のレイヤ画像における非透明画素に対応する画素が最背面のレイヤ画像において値が異なっていても、上から他のレイヤ画像が重ねられて合成されるため、最背面のレイヤ画像については更新有りと判定しなくても影響がないからである。

また、更新判定部４１は、レイヤ画像の更新有りと判定した場合には、その更新のあるレイヤ画像の表示優先順位を検出する（ステップＳ１０３）。表示優先順位が１位であれば更新のあるレイヤ画像は最背面であると判定し、それ以外の順位の場合は更新のあるレイヤ画像は最背面でないと判定する。そして、更新判定部４１は、ステップＳ１０２においてレイヤ画像に更新がないと判定した場合、また、ステップＳ１０３で行った、更新のあるレイヤ画像の表示優先順位の検出に基づいて最背面のレイヤ画像のみの更新であると判定した場合には、次に、最背面以外の全てのレイヤ画像において更新無しと判定した期間が、過去から遡って所定の期間未満であるかを判定する（ステップＳ１０４）。そして、最背面（表示優先順位が１位）以外の全てのレイヤ画像において更新無しと判定した期間が、過去から遡って所定の期間未満である場合、または、ステップＳ１０３において最背面以外のレイヤ画像の更新有りと判定した場合には、比較部４は、合成部２へ表示画像出力信号を出力するとともに、切替部７を合成部２側へ切り替える（ステップＳ１０５）。

合成部２は、表示画像出力信号を入力すると、読み込んだ複数のレイヤ画像を、表示優先順位に基づいて合成処理する（ステップＳ１０６）。本実施形態においては、各レイヤ画像に設定された表示優先順位が、レイヤ画像Ａ＞レイヤ画像Ｂ＞レイヤ画像Ｃの順位であるため、最背面にレイヤ画像Ａ、その上にレイヤ画像Ｂを重ねて合成し、またさらにその上にレイヤ画像Ｃを重ねて合成した表示画像を生成する。そして、合成部２は、レイアウト画像Ａ〜Ｃを合成して生成した表示画像を出力する。この表示画像は、表示画像記憶部５に記録されると共に、表示部３へ出力され（ステップＳ１０７）、表示部３がＬＣＤなどに表示する（ステップＳ１０８）。

また、更新判定部４１は上記ステップＳ１０４において、最背面（表示優先順位が１位）以外の全てのレイヤ画像において更新無しと判定した期間が、過去から遡って所定の期間以上である場合には（ステップＳ１０４；Ｎｏの場合）、更新されない期間が長いため、表示画像記憶部５から読み出して表示したほうが処理が軽減できる。従って更新判定部４１は、合成部２へ合成停止信号を出力するとともに、切替部７を表示画像記憶部５側に切り替える（ステップＳ１０９）。
合成部２は、合成停止信号を入力すると、レイヤ画像記憶部１からのレイヤ画像の読み込みと、合成処理とを停止する（ステップＳ１１０）。そして、更新判定部４１において最背面（表示優先順位が１位）のレイヤ画像以外の全てのレイヤ画像について更新無しと判定され続けている間は、表示部３は表示画像記憶部５から表示画像を読み込んで、ＬＣＤなどに表示する。つまり、合成処理を行わず、表示画像記憶部５から読み込んで表示する簡易表示の処理を行う。

この処理によれば、最背面以外のレイヤ画像において更新がなければ、合成部２による画像記憶部１からのレイヤ画像の読み込み処理と合成処理とが停止されるため、画像生成装置１０の処理負荷が軽減され、またこれによる消費電力の低減を図ることができる。

次に、比較部４の更新処理部４２は、表示画像記憶部５に記録されている表示画像を用いて、最背面のレイヤ画像の更新処理を行う（ステップＳ１１１）。この場合、比較部４の更新処理部４２が、表示画像記憶部５から表示画像を読み取る。そして、更新処理部４２は、表示画像記憶部５から読み取った表示画像を構成する最背面のレイヤ画像内の、最背面以外のレイヤ画像内の透明画素に対応する画素のうち、新たに入力した最背面のレイヤ内の画素の値とは異なる画素を、当該新たに入力した最背面のレイヤ内の対応する画素の値に更新する。更新処理部４２は、表示画像記憶部５に更新後の表示画像を格納する（ステップＳ１１２）。

図３において、ステップＳ１１１の更新処理を説明すると、表示画像記憶部５に記録されている表示画像と、その表示画像を構成するレイヤ画像の例を図３上の表（１）に示す。また、新たに入力したレイヤ画像とそれによって合成される表示画像の例を図３上の表（２）に示す。更新判定部４１は、表（１）で示すレイヤ画像Ａと、表（２）で示すレイヤ画像Ａと比べて、表（１）で示すレイヤ画像Ａの画素のうち、表（２）で示すレイヤ画像Ａの時刻１２：３５の“５”にあたる画素のみに変更があると判定し、またそれ以外の画素や、他のレイヤ画像の画素については変更がないと判定する。この場合、更新処理部４２は、表示画像記憶部５から読み取った表示画像内の画素のうち、新たに入力された表Ｂで示されるレイヤＡの“５”にあたる画素のみの値を更新する。

そして、表示画像記憶部５に格納される表示画像が表示部３に出力される（ステップＳ１１３）。表示部３は、表示画像記憶部５から入力した表示画像をＬＣＤなどに表示する（ステップＳ１１４）。なお、表示画像記憶部５から表示画像の表示部３への読み込みは、例えば、制御部が読み込んで表示部３へ出力してもよいし、表示部３自体が表示画像記憶部５から読み込む動作をするようにしてもよい。そして、処理終了であるかを判定し（ステップＳ１１５）、処理終了でない場合には、リフレッシュレートに基づいて、ステップＳ１０１からの処理を繰り返す。

以上の処理によれば、最背面のレイヤ画像のみの更新である場合には、合成部２が合成処理する代わりに、比較部４が記憶部に記録されている画像における更新画素のみの更新処理を行っている。これにより、全レイヤを読み込んで再度合成をする必要が無くなるため、バスの負荷を抑えることができ、画像生成装置１０の処理負荷が軽減され、またこれによる消費電力の低減を図ることができる。

なお、上述の画像生成装置は内部に、コンピュータシステムを有している。そして、上述した各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。

また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

１・・・レイヤ画像記憶部
２・・・合成部
３・・・表示部
４・・・比較部
５・・・表示画像記憶部
６・・・レイヤ画像更新処理部
１０・・・画像生成装置

Claims (6)

1. 複数のレイヤの画像を合成して表示画像を生成すると共に表示部に出力する画像生成装置であって、
   リフレッシュレートに基づいて新たに入力する前記複数のレイヤ画像それぞれと、既に生成された表示画像を構成する複数のレイヤ画像それぞれとについて、対応するレイヤ画像毎に更新があるかを判定する更新判定部と、
   前記複数のレイヤ画像のうち最背面のレイヤ画像にのみ更新があると判定された場合に、前記既に生成された表示画像を構成する最背面のレイヤ画像内の画素のうち、前記新たに入力した最背面のレイヤ画像内の画素と値が異なる画素を、当該新たに入力した最背面のレイヤ内の対応する画素の値に更新する更新処理部と、
   を備えることを特徴とする画像生成装置。
2. 前記複数のレイヤのうち最背面のレイヤ以外に更新があると判定された場合には、前記新たに入力する複数のレイヤそれぞれを用いて表示画像を合成する合成部と、
   を備えることを特徴とする請求項１に記載の画像生成装置。
3. 生成された前記表示画像を記憶する表示画像記憶部と、
   所定の期間、前記既に生成された表示画像を構成する複数のレイヤに更新がないと判定された場合に、前記表示画像記憶部で記憶する表示画像を表示部へ出力する画像出力制御部と、
   を備えることを特徴とする請求項１または請求項２に記載の画像生成装置。
4. 前記更新判定部は、前記既に生成された表示画像を構成する最背面のレイヤ画像については、前記最背面以外のレイヤ画像内の透明画素に対応する画素についてのみ、当該新たに入力した最背面のレイヤ内の画素の値と異なるかを判定し、当該画素の値が異なるかに基づいて、対応するレイヤ画像毎に更新があるかを判定し、
   前記更新処理部は、前記既に生成された表示画像を構成する最背面のレイヤ画像内の、前記最背面以外のレイヤ画像内の透明画素に対応する画素のうち、前記新たに入力した最背面のレイヤ内の画素の値とは異なる画素を、当該新たに入力した最背面のレイヤ内の対応する画素の値に更新する
   ことを特徴とする請求項１から請求項３の何れか一項に記載の画像生成装置。
5. 複数のレイヤの画像を合成して表示画像を生成すると共に表示部に出力する画像生成装置における画像生成方法であって、
   前記画像生成装置の更新判定部が、リフレッシュレートに基づいて新たに入力する前記複数のレイヤそれぞれと、既に生成された表示画像を構成する複数のレイヤそれぞれとについて、対応するレイヤ毎に更新があるかを判定し、
   前記画像生成装置の更新処理部が、前記複数のレイヤのうち最背面のレイヤにのみ更新があると判定された場合には、前記既に生成された表示画像を構成する最背面のレイヤ内の画素のうち、前記新たに入力した最背面のレイヤ内の画素の値とは異なる画素を、当該新たに入力した最背面のレイヤ内の対応する画素の値に更新する
   ことを特徴とする画像生成方法。
6. 複数のレイヤの画像を合成して表示画像を生成すると共に表示部に出力する画像生成装置のコンピュータを、
   リフレッシュレートに基づいて新たに入力する前記複数のレイヤそれぞれと、既に生成された表示画像を構成する複数のレイヤそれぞれとについて、対応するレイヤ毎に更新があるかを判定する更新判定手段、
   前記複数のレイヤのうち最背面のレイヤにのみ更新があると判定された場合には、前記既に生成された表示画像を構成する最背面のレイヤ内の画素のうち、前記新たに入力した最背面のレイヤ内の画素の値とは異なる画素を、当該新たに入力した最背面のレイヤ内の対応する画素の値に更新する更新処理手段、
   として機能させることを特徴とするプログラム。

Images