JP2010244450A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】表示画像に複数の視覚的効果を付与する携帯型の画像処理装置及び画像処理方法を提供する。
【解決手段】本発明の画像処理装置は、二次元画像又は三次元画像を前記表示画面に表示するための画像情報を保持する画像情報保持手段と、画像情報を基に所定の法則に従い全画面又は画面の一部を変化させて複数の画像フレームを生成し画像情報保持手段に保存する画像フレーム生成手段と、生成され保存された複数の画像フレームを順次呼び出し所定の法則に従って各画像フレームの表示時間及び表示間隔を変化させ表示画面に動画像としてアニメーション表示するアニメーション手段と、を備え、所定の法則に従って画像フレームの生成及びアニメーション表示のための演算を行う所定の関数及びパラメータからなるＡＰＩ（アプリケーションプログラムインタフェース）群を有する。
【選択図】図３

Description

本発明は、画像処理装置及び画像処理方法に係り、詳しくは、表示画面に様々な視覚的効果をもたらすためのＡＰＩ（アプリケーションプログラムインタフェース）群を有する携帯型の画像処理装置及び画像処理方法に関する。

近年、携帯電話等の携帯型端末装置においては、高機能化に伴い、プログラムの容易化、デバッグのし易さ、開発期間短縮等の理由から、内蔵されるソフトウエアのプラットフォーム化、即ちＯＳやミドルウエア等の標準化が促進されており、その処理プログラムも、入力処理、表示処理、演算処理等を担う各処理分野毎のプログラム群で構成されてライブラリ化され、それらのプログラムライブラリ間で処理を受け渡し、また上位アプリケーションから呼び出されて使用されるＡＰＩ群を備えている。

ソフトウエアのプラットフォーム化に伴いプロラムが汎用性を持つ反面、高機能、高付加価値な機能も要求されてきており、ユーザインタフェース部分では特に差別化が要求される。このような要求に応えるために、様々な視覚的な効果を自由に制作して付与できることが望ましい。

視覚的効果という点では、よりリアルで自然な動きが望ましく、ゲーム機でプログラムが実行される場合やＰＣ（パーソナルコンピュータ）上で三次元描画が行われる際には、専用のハードウエア及びソフトウエアで構成された物理エンジンが使用されるようになってきている。この物理エンジンは、一般的に画像表示の際のオブジェクト等の物理運動をリアルに表現するための演算処理を遂行するためのハードウエアとソフトウエアによるプログラムライブラリで構成され、メインとなるＣＰＵの負荷を殆どかけずに上位アプリケーションから呼び出して使用することができる。

このような物理エンジンを使用したものとして、例えば、特許文献１の「映像音声出力装置」には、三次元空間におけるオブジェクトの動きを演算し、三次元空間において衝突するオブジェクトの衝突した時の強さと衝突した場所を検出する物理エンジンを設け、物理エンジンによる演算結果をもとに、三次元空間を表現する映像中にオブジェクトを表示させる構成が開示されている。

特開２００８−０７９７４８号公報

しかしながら、ゲーム機やＰＣ等に実装される専用の高機能な物理演算機能を備えたビデオカード等と異なり、携帯電話等の携帯端末装置では、バッテリー駆動のための消費電力、小型化のための実装等の制約により、物理演算のために専用の高機能なハードウエアを設けることはできないという問題点がある。

一方、ゲーム機等とは異なり、入力イベントに対してリアルタイムに応答することは要求しないが、表示画面上にシーンやオブジェクトをアニメーション表示する際に、物理法則等にリアルに従った画面遷移が望まれる事も多い。

そこで、本発明は、表示画面上における画面遷移の際に、よりリアルな動きによる視覚的効果を付与するためのＡＰＩ群を有する携帯型の画像処理装置及び画像処理方法を提供することを目的とする。

上記目的を達成するためになされた本発明の画像処理装置は、携帯端末の表示画面に表示される画像に複数の視覚的効果を付与する画像処理装置であって、
二次元画像又は三次元画像を前記表示画面に表示するための画像情報を保持する画像情報保持手段と、前記画像情報を基に所定の法則に従い全画面又は画面の一部を変化させて複数の画像フレームを生成し前記画像情報保持手段に保存する画像フレーム生成手段と、前記生成され保存された複数の画像フレームを順次呼び出し前記所定の法則に従って各画像フレームの表示時間及び表示間隔を変化させ前記表示画面に動画像としてアニメーション表示するアニメーション手段と、を備え、
前記所定の法則に従って前記画像フレームの生成及び前記アニメーション表示のための演算を行う所定の関数及びパラメータからなるＡＰＩ（アプリケーションプログラムインタフェース）群を有することを特徴とする
前記ＡＰＩ群は、画像を描画するためのグラフィックス表示用プログラムインタフェース群を介して前記表示画面に表示するための複数のＡＰＩを含み、前記画像フレーム生成手段及び前記アニメーション手段は、該グラフィックス表示用プログラムインタフェースを介して前記表示画面に表示するためのＡＰＩにより演算処理される。
ここで、前記アニメーション手段は、前記呼び出される画像フレームの一部を前記所定の法則に従って生成された新たな画像フレームと置換する画像フレーム置換手段を更に有し、また、前記アニメーション手段は、前記呼び出される画像フレームの間を前記所定の法則に従って生成された新たな画像フレームで補間する画像フレーム補間手段を更に有する。
また、前記ＡＰＩにより画像処理された前記画像フレーム内の画像の一部は前記画像情報保持手段に保存されて他の画像フレームの一部として再利用され、前記ＡＰＩ群は、前記画像フレーム内で再利用される複数の画像処理部分の整合性を管理するＡＰＩを含む。
また、前記ＡＰＩは、視点からの距離又は所定の重みづけに基づき前記画像フレーム内の画像の演算処理を高度化又は簡略化するスケーラブル処理を行う
前記画像情報保持手段は、前記画像フレームが保存されるメモリ空間と前記表示画面に表示される画像メモリ空間とを共有し、呼び出された画像フレームを直接表示画面に表示する共有メモリ構造を有する。
また、前記画像情報保持手段は、表示処理を高速化するために、前記画像フレームの生成処理と前記アニメーション手段による画像フレームの表示処理とを同時に行うための画像フレーム保存のメモリ空間及び画像フレーム呼び出しのメモリ空間を交互に使用するダブルバッファ構造を有する。

上記目的を達成するためになされた本発明の画像処理方法は、携帯端末の表示画面に表示される画像に複数の視覚的効果を付与する画像処理方法であって、
二次元画像又は三次元画像を前記表示画面に表示するための画像情報を記憶装置に保持する段階と、前記画像情報を基に所定の法則に従い全画面又は画面の一部を変化させて複数の画像フレームを生成し記憶装置に保存する段階と、前記生成され保存された複数の画像フレームを順次呼び出し各画像フレームの表示時間及び表示間隔を前記所定の法則に従って変化させ動画像としてアニメーション表示する段階と、を有し、
前記画像フレームの生成又は前記アニメーション表示は、前記所定の法則に従って演算を行う所定の関数及びパラメータからなるＡＰＩ（アプリケーションプログラムインタフェース）群から選択されたいずれか一つ以上のＡＰＩプログラムの実行によりなされることを特徴とする。

本発明の画像処理装置及び画像処理方法によれば、アニメーション画像を構成する各画像フレームを予め所定の関数に従い演算処理して生成し、アニメーション表示する際に、その処理能力に応じて各画像フレームの表示時間及び表示間隔を変化させることで、よりリアルな視覚的効果を得ることができる。また、演算を行う処理プログラムをＡＰＩ群によりライブラリ化することで、画面表示に動きのあるアプリケーションプログラムを容易に制作することができる。

本発明の一実施形態による画像処理装置の内部構成図である。 図１に示す画像処理装置の一実施形態による外観図である。 図１に示す画像処理装置の一実施形態による各手段を示す図である。 画像処理装置における処理エンジンの一実装形態の説明図である。 アニメーション表示における描画時間間隔を等間隔とした場合の説明図である。 アニメーション表示における描画時間間隔を変化させた場合の説明図である。 アニメーション関数として（ａ）〜（ｇ）の例を示した図である。 アニメーションが適用されるエフェクトの例を示した図である。 本発明の一実施形態による画像処理方法を実行する処理フロー図である。 アニメーション表示を行う処理エンジンに対する処理フロー図である。

次に、本発明の画像処理装置及び画像処理方法を実施するための形態の具体例を、図面を参照しながら詳細に説明する。

図１は、本発明の一実施形態による画像処理装置の内部構成図である。

図１に示すように、本実施形態の画像処理装置１は、各種操作を行う入力手段（操作部）５や、操作に応じて表示画面上にＬＣＤ（液晶ディスプレイ）等を用いて画像やテキストを表示する表示手段４を備えており、表示される画像データやテキストデータは、記憶手段３のＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、Ｆｌａｓｈメモリ或いはＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等に保存され、ユーザ操作に応じた入力手段（操作部）５等を介して制御手段（ＣＰＵ：中央演算処理装置）２にその処理が受け渡され、制御手段２は、記憶手段３のＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、Ｆｌａｓｈメモリ或いはＳＳＤに記録されたプログラムを実行し、これにより他のデバイス等と連携して各手段を機能させる。本発明では、制御手段２の司令に従い、ＡＰＩ群を有する画像処理手段６により様々な視覚的効果が付与され、表示手段４を介してその画像を表示する。なお、画像処理装置１は、携帯電話やスマートフォン等の携帯型の情報表示装置に組み込まれて作動することを想定しており、画像処理装置１を構成する外部入出力手段７等のハードウエアの詳細及びその説明は省略する。

画像処理手段６は、ハードウエア及びソフトウエアによる画像処理エンジンにより構成されており、本実施形態では、画像を描画するためのグラフィックス表示用プログラムライブラリであるＯｐｅｎＧＬ−ＥＳライブラリを活用している。本発明は、ＯｐｅｎＧＬ−ＥＳを備えていない場合でも画像メモリに直接アクセスすることによって様々な視覚効果を付与することが可能であるが、最近の制御手段２は、メインＣＰＵの負荷を軽減するためにマルチプロセッサ構成、ＤＳＰ（デジタルシグナルプロセッサ）、描画専用のハードウエア等を備え、これらを活用するための標準ライブラリとしてＯｐｅｎＧＬのサブセット版であるＯｐｅｎＧＬ−ＥＳを備えたものが増えており、本実施形態におけるＡＰＩ群も表示画面に様々な視覚的効果を付与するために、このＯｐｅｎＧＬ−ＥＳライブラリのインタフェース群を介して描画処理する。ＯｐｅｎＧＬ−ＥＳは主に組み込みシステムに多く使用され、最近では携帯電話やゲーム機でも注目されている。

ＯｐｅｎＧＬ−ＥＳは画像表示用のフレームバッファに描画する事を前提に設計されており、ポリゴンなどのプリミティブな形状のベクトルデータの画像をリアルタイムに順にラスタライズ（画像メモリに展開）して合成する機能を有する。従ってＯｐｅｎＧＬ−ＥＳの機能を利用することで、本実施形態における視覚的効果を付与するＡＰＩの構成が簡略化されて高速化されると共に高機能化が図られる。ＯｐｅｎＧＬ−ＥＳ２．０では、プログラムシェーダーが実装されているので、ポリゴンの頂点操作や画素生成の処理効率が更に上がる。

描画の際に画像データの全部又は一部が記憶手段３のＲＡＭ等から転送されて表示されるが、表示用のメモリは表示手段４に含まれなくてもよく、その場合、共有メモリ構造にし、画像フレームが保存される記憶手段３のＲＡＭ上のフレームバッファ等の特定の領域と、表示画面に表示される画像メモリ空間とを共有し、画像フレームが保存されるメモリ領域を直接画像表示メモリのウインドウとして用いることで、転送に要するタイムラグ等を抑えることができる。

外部入出力手段７は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）を介して外部に接続されたプリンタに出力することや、画像処理装置１に内蔵された２次電池（図示せず）にＵＳＢ端子を介して充電するために用いられる。外部入出力手段１７を介して表示画面に様々な視覚的効果をもたらすためのＡＰＩやその画像データをやり取りすることも可能である。

カードインタフェース部８は、画像処理装置１で表示され視覚的効果が付与される元の画像データ等をメモリカード９に保存し、また視覚的効果が付与された画像データ等を保存するために用いる。メモリカード９に保存されたＡＰＩ群を読み取るようにしてもよい。

通信手段１０は、携帯電話や無線ＬＡＮによる通信機能が内蔵されており、携帯電話通信網や無線ＬＡＮのアクセスポイント等を介してインターネット６に接続された他の装置とデータの送受信を行うことができ、視覚的効果を付与するＡＰＩ群やその画像データのやり取りを遠隔地と行うことができる。また、図示していないが、通信手段１０は、更にプリンタ等の外部機器にワイヤレスで接続するために、ＩＥＥＥ８０２．１５．１等の短距離無線通信や赤外線通信機能を備えてもよい。

図２は、図１に示す画像処理装置の一実施形態による外観図である。

図２に示す画像処理装置１は、携帯電話に適用した一実施形態であり、ＬＣＤ等を用いて表示する表示画面４ａと複数の操作ボタン５ａ等を備えており、操作ボタン５ａには、表示画面４ａ上に表示されるメニュー画面の操作、コンテンツの選択、画像表示位置の移動、表示画面の拡大又は縮小等の操作を行うための操作ボタン及び操作キーが含まれており、十字状に配置された上下左右の操作ボタン及び中央の決定ボタンからなる操作部によって操作されることが多い。これらの操作は、操作ボタン５ａによらず、表示画面４ａ上にタッチパネルを形成するタッチスクリーン上の操作によるものでもよい。

画像処理装置１には、メニュー画面が用意され、メニューの選択によって所望するコンテンツが表示されるが、その際に視覚的効果が付与されアニメーションを伴って画面が遷移する。視覚的効果が付与される画面がメニュー画面だけではないことは勿論であり、様々なコンテンツ内でも利用可能である。視覚的効果を付与するためのＡＰＩ群やメニュー画面は予め出荷時等にインストールされていることを想定しているが、通信手段１０や外部入出力手段７等を介して画像データと共にダウンロードするようにしてもよい。ダウンロードすることができればメニュー画面を端末毎にカスタマイズすることも可能になる。

視覚的効果が付与されたメニュー画面は、メニュー毎にそれぞれ異なる視覚的効果と画像データが用意されており、ユーザが操作ボタン５ａによって所望のメニューを選択すると入力手段５でイベント入力が発生し、発生したイベント入力に応じて、画像処理手段６のＡＰＩ群によりＯｐｅｎＧＬ−ＥＳの描画エンジンを介してフレームバッファにその画像が書き込まれ対応する表示メモリ上の画像データの全部又は一部が処理されて表示画面４ａ上に表示される。

視覚的効果が付与された画像データを表示する際は、その都度対応する画像フレームを生成して受け渡すのではなく、画像フレームの保存と画像フレームの呼び出しのメモリ空間を交互に使用するダブルバッファ構造とし、画像フレームの生成処理と画像フレームの表示処理を同時に行うことができるようにする。また、その際、次に表示されるべき画像データをＲＡＭ上の所定の領域に先読みしておくことで、ユーザ操作に伴うレスポンスを改善している。

図３は、図１に示す画像処理装置の一実施形態による各手段を示す図であり、各手段は、図１に示す画像処理装置１内のハードウエア或いはソフトウエアアプリケーションの実行により機能する。

画像処理装置１は、中央制御部１１により各手段を連携させて上述の画像表示を実現する。画像情報取込手段１２は、デジタルカメラで撮影した画像やＰＣ等で編集されＪＰＥＧ等で圧縮されたデジタル画像データを、画像処理装置１に装着されたメモリカード９やＵＳＢ等の外部入出力インタフェース７を介して取り込む手段であり、画像情報保持手段１３は、取り込まれた画像データを画像処理装置１内のＦｌａｓｈメモリやＳＳＤ等の記憶手段３に記憶・保持する手段である。製品出荷時等に予め画像データが用意されている場合、画像情報取込手段１２は必ずしも必要としない。

表示手段１４は、ＬＥＤ等のインジケータや時刻表示を行うサブ画面等（共に図示せず）以外に、表示画面４ａ上のメニュー画面表示等の際にアニメーション表示を伴う視覚的効果が付与された画像を表示する画像表示手段１４ａを備えている。

入力手段１５は、表示手段１４等の関連する各手段と連携し、操作ボタン５ａ等の操作により表示画面４ａ上の表示画像を操作する表示画像操作手段１５ａを備えている。

画像処理手段１６は、画像情報保持手段１３に保存されたＪＰＥＧ等による画像データをデコードしてワークエリアのＲＡＭ内に展開し、展開されたその画像に所定の法則に従って様々な視覚的効果を付与する手段であり、所定のパラメータが受け渡されて所定の関数により演算処理するＡＰＩ群１９によって画像全体或いは画像の一部を変化させて複数の画像フレームを生成する画像フレーム生成手段１７と、生成された各画像フレームの表示時間とその表示間隔を変化させてアニメーション表示するアニメーション手段１８とを含んで構成される。

画像フレーム生成手段１７は、画像情報保持手段１３に保存された画像データに対して、物理法則等の所定の法則に従い、ＡＰＩ群の中から所望の視覚的効果が付与されるＡＰＩ群を適宜選択して必要なパラメータを受け渡し、その関数の演算により画像全体或いは画像の一部を変化させて複数の画像フレームを生成し、画像情報保持手段１３に保存する手段である。

アニメーション手段は、ＡＰＩ群によって生成された画像フレームを表示画面４ａの画像メモリ（フレームバッファ）上にＯｐｅｎＧＬ−ＥＳライブラリのインタフェース群を介してラスタ展開し、物理法則等の所定の法則に従って演算された所定の表示時間と表示間隔によって順次この画像フレームを描画する手段であり、操作ボタン５ａの操作により選択されたメニュー画面等に視覚的効果を付与してアニメーション表示する。

図４は、画像処理装置における処理エンジンの一実装形態の説明図である。

図４に示したように、画像処理装置１は、図１に示した制御手段２、記憶手段３、表示手段４、入力手段５、通信手段１０等のハードウエア上で、記憶手段３のＲＯＭ、Ｆｌａｓｈメモリ、又はＳＳＤに記録されたプログラムを制御手段２が読み出して実行するＯＳ（オペレーティング）が稼動し、ＯＳやミドルウエア（図示せず）上に実装されるか、或いはハードウエアを直接制御する各種ＡＰＩ群を介してアプリケーションを稼動させる。

画像処理装置１の表示画面４ａ上に表示される画像に各種視覚的効果を付与するための専用の処理エンジンである効果付与ＡＰＩは製品出荷時等に予め実装しておく。最近の携帯電話はマルチＣＰＵや描画用のハードウエアを備えており、そのために用意されたＯｐｅｎＧＬ−ＥＳライブラリが実装されており、本実施形態の効果付与ＡＰＩはそのインタフェースを利用する。本実施形態では、このように表示画面上の描画や入力イベントに対する応答速度を考慮し、ＯｐｅｎＧＬ−ＥＳライブラリを介して描画する。

ユーザ操作等によるイベント入力は入力ＡＰＩを介して取り込まれ、図１に示す表示手段４で表示される表示画像はイベント入力に応じた対応するメニュー画面等の画像データが適宜選択され、画像処理手段６は選択された画像に対応した効果付与ＡＰＩによりＯｐｅｎＧＬ−ＥＳを介してその画像を描画する。なお、ＯｐｅｎＧＬ−ＥＳ及び通信ＡＰＩの一部は処理速度の点からＯＳを介さずハードウエアを直接制御するものも含んでいる。

次に、図５及び図６を参照し、水平方向に一定速度が付与されて自由落下する球体を一例として画像フレームの生成とアニメーション表示について説明する。

図５は、アニメーション表示における描画時間間隔を等間隔とした場合の説明図であり、（ａ）は球体が落下する様子とその合成画像を示し、（ｂ）は生成された各画像フレームを示している。

空気抵抗の影響を受けずに鉛直下向き方向に一定の重力加速度を受ける自由落下運動における物体の軌跡は放物線を描き、初速Ｖで水平方向に送り出された物体の水平方向の位置ｘ（ｔ）はＶｔ、鉛直方向の位置ｙ（ｔ）は−１／２×（ｇｔ^２）で表わされる。

このように自由落下運動による物理法則に従い、上記演算式に基づいて球体の位置を算出し、球体が移動した各画像フレームを生成する。描画時間間隔が等間隔になるよう生成された場合は、球体が落下するに従って球体の位置がｙ０（ｔ０）、ｙ１（ｔ１）、…、ｙ４（ｔ４）のように、その間隔が離れるので、処理能力等により画像フレームの描画時間間隔を短くできない場合は、その動きが不自然にならないように、描画時における画像フレームの表示時間及び表示間隔を適宜変化させてアニメーション表示する。その場合、予め生成しておいた画像フレームを選択して描画するか、或いはアニメーション表示で表示される画像フレームの間に新たな画像フレームをその都度生成して補間し描画する。

図６は、アニメーション表示における描画時間間隔を変化させた場合の説明図であり、（ａ）は球体が落下する様子とその合成画像を示し、（ｂ）は生成された各画像フレームを示している。

描画時間間隔を変化させて球体の位置が等間隔になるようにした場合も、同様に、自由落下運動による物理法則に従い、上記演算式に基づいて球体の位置を算出し、球体が移動した各画像フレームを生成する。球体の位置ｙ０（ｔ０）、ｙ１’（ｔ１’）、…、ｙ４’（ｔ４’）が等間隔になるよう生成された場合は、球体が落下するに従い、描画時間間隔が短くなり、処理能力等により画像フレームの描画時間間隔を短くできない場合は、その動きが不自然にならないように、描画時における画像フレームの表示時間及び表示間隔を適宜変化させてアニメーション表示する。その場合、予め生成しておいた画像フレームを選択して描画するか、或いはアニメーション表示で表示される画像フレームの間に新たな画像フレームをその都度生成して補間し描画する。

アニメーション表示の際に画像フレームを補間して描画する場合、画像フレームは必ずしも上記演算式に従って生成されている必要はなく、単純に直線的に変化させた従来のアニメーション表示の画像フレームを利用することも可能である。その場合、アニメーション表示の際に、物理法則に従って演算された描画位置になるように画像フレームの表示時間及び表示間隔を変化させるが、表示時間間隔が長い場合は物理法則に従って生成された新たな画像フレームを補間し、表示時間間隔が短い場合は元の画像フレームを間引くか、或いは物理法則に従って生成された新たな画像フレームで置換して描画することで自然な動きを持たせることができる。

図７は、アニメーション関数として（ａ）〜（ｇ）の例を示した図である。

ここでは、アニメーション表示を行うための上記自由落下運動における放物線のような軌跡を描く演算式をアニメーション関数と称する。図７には、アニメーション関数として、直線的に増加する（ａ）「ＬＩＮＥＡＲ」、直線的に減少する（ｂ）「ＬＩＮＥＡＲ＿ＲＥＶＥＲＳＥ」、サイン関数（ｃ）「ＳＩＮＵＳ」、（ｄ）バウンドする「ＢＯＵＮＣＥ」、加速する（ｅ）「ＡＣＣＥＬＥＲＡＴＥ」、減速する（ｆ）「ＤＥＣＥＬＥＲＡＴＥ」、加速したのち減速する（ｇ）「ＡＣＣＥＬＥＲＡＴＥ＿ＤＥＣＥＬＥＲＡＴＥ」を示しているが、この他にも多様な関数を利用することができる。

これらのアニメーション関数には上記のような自然界における物理運動に限らず任意の法則に従った任意の関数を用いることができ、線形式だけではなく非線形の不連続な関数を用いることもできる。これらのアニメーション関数を画像フレームの生成やアニメーション表示に適用する場合、簡単な数式の場合はプロセッサがサポートしている関数をそのまま演算に適用し、複雑な場合はメモリ上に関数テーブルを展開して演算に使用する。これらの使用はアニメーション表示の際の描画内容に応じて適宜速度の向上が見込まれる方式を選択或いは混在させて適用する。このアニメーション関数は、図１に示したメモリカード９、外部入出力手段７、通信手段１０により取り込むこともできる。

図８は、アニメーションが適用されるエフェクトの例を示した図である。

画像フレームはアニメーション関数に従ってその画像が遷移する。遷移する画像は、画像データの一部が遷移する上述した単純な球体の移動に限らず、様々な視覚的効果を付与したものを提供できる。ここではその画像遷移のパターンをエフェクトと称する。

図８には、「ジーニー（Ｇｅｎｉｅ）」、「フリッパー（Ｆｌｉｐｐｅｒ）」、「ウォータードロップ（Ｗａｔｅｒｄｒｏｐ）」、「ボックス（Ｂｏｘ）」、「ローテーター（Ｒｏｔａｔｅｒ）」、「ズーマー（Ｚｏｏｍｅｒ）」、「ズーマーパンナー（ＺｏｏｍｅｒＰａｎｎｅｒ）」を示している。

「ジーニー（Ｇｅｎｉｅ）」は、画面上の要素や画面全体等を、指定したエリアへ吸い込ませるような表現を行い、吸い込まれるスピード等のパラメータを指定して変えることができ、画面の最小化や、オブジェクトの削除等に使用することができる。

「フリッパー（Ｆｌｉｐｐｅｒ）」は、方形の平面が縦軸方向を中心に回転して画面を裏返すような表現を行う。元の平面と次の平面にはそれぞれ異なるテクスチャ画像を貼り付けることができる。

「ウォータードロップ（Ｗａｔｅｒｄｒｏｐ）」は、第１のテクスチャ画像上に空から水滴が落下して徐々にその水滴がその画像内に広がり、水滴が広がったエリア内には第２のテクスチャ画像が現れる。

「ボックス（Ｂｏｘ）」は、ＢＯＸ形状の一面に第１のテクスチャ画像が貼られ、隣の面に第２のテクスチャ画像が貼られ、その面が９０°回転して第１のテクスチャ画像が徐々に隠れ、第２のテクスチャ画像が現れる。

「ローテーター（Ｒｏｔａｔｅｒ）」は、方形の平面がその平面に対して垂直をなす方向を中心にして所定のエリアが回転する。回転するエリアには他のテクスチャ画像を貼り付けることができ、背景のテクスチャ画像又は回転エリア内のテクスチャ画像にはボケや歪み効果を付与することもできる。

「ズーマー（Ｚｏｏｍｅｒ）」は、第１のテクスチャ画像内に第２のテクスチャ画像が貼られた方形の平面が現れ、徐々にその大きさが大きくなる。第２のテクスチャ画像が貼られた方形の平面は任意の位置に出現させることができ、出現時の大きさも任意に設定可能である。第２のテクスチャ画像を半透過とすることもできる。

「ズーマーパンナー（ＺｏｏｍｅｒＰａｎｎｅｒ）」は、表示される画像自体の大きさをアニメーションにより徐々に拡大又は縮小して表示する。表示される画像の位置、拡大、縮小率は任意に設定できる。拡大・縮小されるテクスチャ画像と背景のテクスチャ画像は別に設定でき、前面のテクスチャ画像を半透過とすることもできる。

これらのエフェクト処理を行うＡＰＩに引き渡されるパラメータには、それぞれのエフェクトに応じて必要な或いは任意設定可能なオプションパラメータが指定され、その値がそれぞれのＡＰＩに引き渡される。パラメータとしては、エフェクト処理する際のアニメーション関数、貼り付けられるテクスチャ画像の指定の他、その画素数、色、ポイント数、始点・終点の位置、回転角、回転方向、移動方向、拡大・縮小率、ボケ・歪み・反射処理の種類の指定、引き渡されるハンドラ、返り値等があり、エフェクトの種類に応じて設定される。

上記図８に示したエフェクトは、いずれもＯｐｅｎＧＬ−ＥＳの機能を活用したもので、方形や円形或いは立方体のプリミティブな形状のポリゴンにテクスチャ画像を張り付けた単純な例を説明したが、この他にもＯｐｅｎＧＬ−ＥＳのバージョンＵＰに伴い多様なエフェクトを提供することができる。詳しい説明は省略するが、「Ｃｒｏｓｓｆａｄｅ」、「Ｃｏｌｏｆａｄｅ」、「Ｓｃｒｏｌｌｅｒ」、「Ｓｌｉｄｅｒ」、「ＰａｇｅＴｕｒｎ Ｄｏｕｂｌｅ、Ｓｉｎｇｌｅ」、「Ｒｉｐｐｌｅ」、「Ｂｕｂｂｌｅ」、「Ｍｅｔａｂａｌｌ」、「ＨｏｒｉｚｏｎｔａｌＲｏｌｌｅｒ」、「Ｂｉｌｌｂｏａｒｄ」、「Ｒｅｆｒｅｃｔｉｏｎ」、「３ＤＣｕｂｅ」、「ＫｅｎＢｕｒｎｓ」、「Ｓｎｏｗ」、「Ｂｌｕｒ」、「Ｓｐｅｃｕｌａｒ」、「Ｉｎｋ」、「Ｄｉｓｓｏｌｖｅ」、「Ｌｅｎｓ」、「Ｓｐａｒｋｌｅ」、「Ｓｐａｃｅ」、「Ｄｉｍｐｌｅ」、「Ｅｌａｓｔｉｃ」、「Ｇｌｏｗ」、「Ｓｍｏｋｅ」、「ＰｈｏｔｏＢｒｏｗｓｅｒ」、「ＦｉｌｅＣａｂｉｎｅｔ」等のエフェクトも提供することができる。

また、図５、６を参照して説明した自由落下運動だけではなく、空気抵抗や質量、或いは気流や風の流れを考慮した落下もアニメーション表示することができる。例えば落ち葉の落下も、予めそのシーンを画像撮影しておき、落ち葉の回転等を考慮して落下方向だけでなく回転方向等も考慮してアニメーション関数を取得し、そのアニメーション関数を適用するだけでなく、テクスチャに反射処理やシェーデイン処理を施すことで、よりリアルな表現も可能になる。このような視覚的効果が付与される画像としては、波、水槽の泡等、自然界の動きに適用する方がインパクトは大きい。

最後に、図９、１０を参照しながら視覚的効果を付与するＡＰＩ群を使用した画像処理方法について説明する。

図９は、本発明の一実施形態による画像処理方法を実行する処理フロー図である。

視覚的効果が付与される画像は、画像情報取込手段１２により、外部入出力手段７、メモリカード９、通信手段等を介し、データ形式等の属性情報と共に画像情報として取り込まれ（ステップＳ１１）、取り込まれた画像情報は画像情報保持手段１３に記憶・保存される（ステップＳ１２）。視覚的効果が付与される画像には、製品出荷時にＦｌａｓｈメモリやＳＳＤ等の記憶手段３に予め書き込まれたものも含まれる。

画像情報保持手段１３に記憶・保存された画像は画像処理手段１６によってＡＰＩ群が呼び出されて視覚的効果が付与される。画像処理手段１６は、対応するＡＰＩ群を呼び出し、画像情報保持手段１３に保存された画像データを取り出しワークエリアのＲＡＭ内に展開し、展開されたその画像から、ベクトルデータ、ポリゴン、テクスチャ画像等を抽出する。ベクトルデータやポリゴンの抽出は、階調、色相、色深度等からその変化が所定の閾値を超えた画素を検出して特徴点とし、類似する特徴点間を結ぶなどによって生成することができる。画像情報がベクトルデータやポリゴンを含む場合は、この処理を省略できる。

ベクトルデータやポリゴンを含む画像は、画像フレーム生成手段１７により、予め設定されたパラメータがＡＰＩ群１９に引き渡され、アニメーション関数が適用されてエフェクト処理が行われ順次画像フレームが生成される。生成された画像フレームは画像情報保持手段１３に一旦保存される（ステップＳ１３）。ベクトルデータやポリゴンの処理の際は、背景等の視点からの距離やその他の設定された重み付けに基づき演算処理を高度化又は簡略化するスケーラブル処理を行う。スケーラブル処理では貼り付けられるテクスチャの画素も調整される。重み付けの設定や背景画像の指定はパラメータによって対応するＡＰＩ群に引き渡される。

画像情報保持手段１３に保存された画像フレームは、アニメーション手段１８により、対応するＡＰＩ群が呼び出され、呼び出されたＡＰＩ群は対応する画像フレームを画像メモリ（フレームバッファ）上にＯｐｅｎＧＬ−ＥＳライブラリのインタフェース群を介してラスタ展開し、アニメーション関数に従って演算された所定の表示時間と表示間隔によって順次エフェクト処理された画像フレームを描画して視覚的効果が付与された画像をアニメーション表示する（ステップＳ１４）。

図１０は、アニメーション表示を行う処理エンジンに対する処理フロー図である。

図１０に示す処理は、実際に上位アプリケーションが上記ＡＰＩ群を使用する場合の処理フロー図であり、先ず、上位アプリケーションは、ＡＰＩエンジンの初期化により、ＡＰＩ群全体の初期化を行い前回使用したメモリ上の各種データをクリアする（ステップＳ２１）。

次に、同様にしてエフェクトＡＰＩの初期化により前回使用したエフェクトを解除し、今回使用するエフェクトを指定して必要なパラメータをセットし（ステップＳ２２）、アニメーション関数の初期化により前回使用したアニメーション関数の解除とパラメータのクリアを行い、今回使用するアニメーション関数を指定し、クロック周波数、開始・終了ポインタ、現在時刻、開始・終了時刻、ポイント数、ループ指定等の必要なパラメータをセットする（ステップＳ２３）。

エフェクト及びそのアニメーション関数が指定され、設定されたパラメータが引き渡されると、対応するＡＰＩ群によりＯｐｅｎＧＬ−ＥＳライブラリの対応するインタフェース群が呼び出されてエフェクトの描画が行われる（Ｓ２４）。

呼び出されるＡＰＩ群はそのＡＰＩ群の中で必要なＡＰＩが呼ばれる。このとき一つのＡＰＩは別のＡＰＩから呼び出されることも、また別のＡＰＩを呼び出すこともあり、ＡＰＩの中には画像フレームの一部の画像として同一画像フレーム内又は他の画像フレーム内で何度も呼び出されて再利用されるものも含まれている。例えば、同一画像フレーム内で球体が重なる場合などではＡＰＩが再利用されるが、その場合、後の球体の一部が隠れるような処理が必要になり、これらの整合性を保つためにＡＰＩ自体に調停機能を備えている。これとは異なり調停管理用のＡＰＩを設けてこれらの整合性を保つようにしても良い。

エフェクトの描画が終了すると、アニメーション関数の破棄（ステップＳ２５）、エフェクト関数の破棄（ステップＳ２６）を行い、最後にＡＰＩエンジンの破棄を行って（ステップＳ２７）全てのメモリを開放する。

上記実施形態では、予めアニメーション表示のための画像フレームを生成しておき、その画像フレームを順次呼び出して描画することを前提として説明してきたが、ベクトルデータやポリゴンからなる画像データの場合は、現在の携帯端末でも十分リアルタイムに応答して描画できるので、例えば、本発明の画像処理装置に多軸加速度センサ、重力センサ、ジャイロセンサ等を搭載して自由落下運動のアニメーション関数等を適用し、画像処理装置の傾き等に応じて球体の転がり具合が変化するようなゲーム等に適用することも可能である。

以上、図面を参照しながら本発明を実施形態により説明したが、本発明は上述の実施形態に限られるものではなく、本発明の技術的範囲から逸脱しない範囲内で多様に変更実施することが可能である。

１ 画像処理装置
２ 制御手段
３ 記憶手段
４、１４ 表示手段
４ａ 表示画面
５、１５ 入力手段
５ａ 操作ボタン
６、１６ 画像処理手段
７ 外部入出力手段
８ カードインタフェース部
９ メモリカード
１０ 通信手段
１１ 中央制御部
１２ 画像情報取込手段
１３ 画像情報保持手段
１４ａ 画像表示手段
１５ａ 表示画像操作手段
１７ 画像フレーム生成手段
１８ アニメーション手段
１８ａ 画像フレーム置換手段
１８ｂ 画像フレーム補間手段
１９ ＡＰＩ群
１９ａ〜１９ｎ ＡＰＩ
１００ 画像

Claims (10)

1. 携帯端末の表示画面に表示される画像に複数の視覚的効果を付与する画像処理装置であって、
   二次元画像又は三次元画像を前記表示画面に表示するための画像情報を保持する画像情報保持手段と、
   前記画像情報を基に所定の法則に従い全画面又は画面の一部を変化させて複数の画像フレームを生成し前記画像情報保持手段に保存する画像フレーム生成手段と、
   前記生成され保存された複数の画像フレームを順次呼び出し前記所定の法則に従って各画像フレームの表示時間及び表示間隔を変化させ前記表示画面に動画像としてアニメーション表示するアニメーション手段と、を備え、
   前記所定の法則に従って前記画像フレームの生成及び前記アニメーション表示のための演算を行う所定の関数及びパラメータからなるＡＰＩ（アプリケーションプログラムインタフェース）群を有することを特徴とする画像処理装置。
2. 前記ＡＰＩ群は、画像を描画するためのグラフィックス表示用プログラムインタフェース群を介して前記表示画面に表示するための複数のＡＰＩを含み、前記画像フレーム生成手段及び前記アニメーション手段は、該グラフィックス表示用プログラムインタフェースを介して前記表示画面に表示するためのＡＰＩにより演算処理されることを特徴とする請求項１に記載の画像処理装置。
3. 前記アニメーション手段は、前記呼び出される画像フレームの一部を前記所定の法則に従って生成された新たな画像フレームと置換する画像フレーム置換手段を更に有することを特徴とする請求項１に記載の画像処理装置。
4. 前記アニメーション手段は、前記呼び出される画像フレームの間を前記所定の法則に従って生成された新たな画像フレームで補間する画像フレーム補間手段を更に有することを特徴とする請求項１に記載の画像処理装置。
5. 前記ＡＰＩにより画像処理された前記画像フレーム内の画像の一部は、前記画像情報保持手段に保存されて他の画像フレームの一部として再利用されることを特徴とする請求項１に記載の画像処理装置。
6. 前記ＡＰＩ群は、前記画像フレーム内で再利用される複数の画像処理部分の整合性を管理するＡＰＩを含むことを特徴とする請求項５に記載の画像処理装置。
7. 前記ＡＰＩは、視点からの距離又は所定の重みづけに基づき前記画像フレーム内の画像の演算処理を高度化又は簡略化するスケーラブル処理を行うことを特徴とする請求項１に記載の画像処理装置。
8. 前記画像情報保持手段は、前記画像フレームが保存されるメモリ空間と前記表示画面に表示される画像メモリ空間とを共有し、呼び出された画像フレームを直接表示画面に表示する共有メモリ構造を有することを特徴とする請求項１に記載の画像処理装置。
9. 前記画像情報保持手段は、表示処理を高速化するために、前記画像フレームの生成処理と前記アニメーション手段による画像フレームの表示処理とを同時に行うための画像フレーム保存のメモリ空間及び画像フレーム呼び出しのメモリ空間を交互に使用するダブルバッファ構造を有することを特徴とする請求項８に記載の画像処理装置。
10. 携帯端末の表示画面に表示される画像に複数の視覚的効果を付与する画像処理方法であって、
    二次元画像又は三次元画像を前記表示画面に表示するための画像情報を記憶装置に保持する段階と、
    前記画像情報を基に所定の法則に従い全画面又は画面の一部を変化させて複数の画像フレームを生成し記憶装置に保存する段階と、
    前記生成され保存された複数の画像フレームを順次呼び出し各画像フレームの表示時間及び表示間隔を前記所定の法則に従って変化させ動画像としてアニメーション表示する段階と、を有し、
    前記画像フレームの生成又は前記アニメーション表示は、前記所定の法則に従って演算を行う所定の関数及びパラメータからなるＡＰＩ（アプリケーションプログラムインタフェース）群から選択されたいずれか一つ以上のＡＰＩプログラムの実行によりなされることを特徴とする画像処理方法。

Images