JP2013186521A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】前景の画像の表示態様を変化させて動画像の興趣性の向上を図る。
【解決手段】携帯端末１００であって、所定の画像を取得する第１画像取得部６ａと、表示パネル３ａの表示領域にてユーザによる操作入力部４の所定操作に基づいて描画された少なくとも２つの操作軌跡を特定する軌跡特定部５と、特定された少なくとも２つの操作軌跡の形状を基準として、当該操作軌跡に沿って移動表示されるとともに背景画像に重畳表示される所定の画像の表示態様を変化させる合成制御部６ｄと、を備えている。
【選択図】図１

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

従来、任意の形状の軌跡を入力して、当該軌跡に沿って所定のキャラクタを表示部にて移動表示させる電子機器が知られている（例えば、特許文献１参照）。

特開２００９−１９９６２２号公報

しかしながら、上記特許文献１においては、入力された軌跡に沿って所定のキャラクタ等の画像を移動表示させるだけであり、生成される動画像の興趣性を向上させることが困難であった。

そこで、本願発明の課題は、前景の画像の表示態様を変化させて動画像の興趣性の向上を図ることができる画像処理装置、画像処理方法及びプログラムを提供することである。

上記課題を解決するため、本発明に係る画像処理装置は、
所定の画像を取得する第１取得手段と、表示手段の表示領域にてユーザによる操作手段の所定操作に基づいて描画された少なくとも２つの軌跡を特定する特定手段と、前記特定手段により特定された前記少なくとも２つの軌跡の形状を基準として、当該軌跡に沿って移動表示されるとともに背景画像に重畳表示される前記所定の画像の表示態様を変化させる制御手段と、を備えたことを特徴としている。

また、本発明に係る画像処理方法は、
画像処理装置を用いた画像処理方法であって、所定の画像を取得する処理と、表示手段の表示領域にてユーザによる操作手段の所定操作に基づいて描画された少なくとも２つの軌跡を特定する処理と、特定された前記少なくとも２つの軌跡の形状を基準として、当該軌跡に沿って移動表示されるとともに背景画像に重畳表示される前記所定の画像の表示態様を変化させる処理と、を含むことを特徴としている。

また、本発明に係るプログラムは、
画像処理装置のコンピュータを、所定の画像を取得する第１取得手段、表示手段の表示領域にてユーザによる操作手段の所定操作に基づいて描画された少なくとも２つの軌跡を特定する特定手段、前記特定手段により特定された前記少なくとも２つの軌跡の形状を基準として、当該軌跡に沿って移動表示されるとともに背景画像に重畳表示される前記所定の画像の表示態様を変化させる制御手段、として機能させることを特徴としている。

本発明によれば、前景の画像の表示態様を変化させて動画像の興趣性の向上を図ることができる。

本発明を適用した一実施形態の携帯端末の概略構成を示すブロック図である。 図１の携帯端末による合成画像生成処理に係る動作の一例を示すフローチャートである。 図２の合成画像生成処理における画像合成処理に係る動作の一例を示すフローチャートである。 図２の合成画像生成処理に係る前景画像の一例を模式的に示す図である。 図２の合成画像生成処理に係る背景画像の一例を模式的に示す図である。 図２の合成画像生成処理に係る合成動画像の一例を模式的に示す図である。

以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。

図１は、本発明を適用した一実施形態の携帯端末１００の概略構成を示すブロック図である。
図１に示すように、本実施形態の携帯端末１００は、中央制御部１と、メモリ２と、表示部３と、操作入力部４と、軌跡特定部５と、画像処理部６と、画像記録部７と、送受話部８と、通信制御部９と、を備えている。
なお、携帯端末１００は、例えば、通信機能を具備する撮像装置や、携帯電話やＰＨＳ（Personal Handy-phone System）などの移動体通信網で用いられる移動局、ＰＤＡ（Personal Data Assistants）等から構成されている。

中央制御部１は、携帯端末１００の各部を制御するものである。具体的には、中央制御部１は、図示は省略するが、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）を備え、携帯端末１００用の各種処理プログラム（図示略）に従って各種の制御動作を行う。

メモリ２は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）等により構成され、中央制御部１や画像処理部６等の各部によって処理されるデータ等を一時的に記憶するものである。

表示部３は、表示パネル３ａと、表示制御部３ｂとを具備している。
表示パネル（表示手段）３ａは、表示領域内に画像（例えば、背景画像Ｐ２等；図５（ａ）参照）を表示する。また、表示パネル３ａとしては、例えば、液晶表示パネルや有機ＥＬ表示パネルなどが挙げられるが、一例であってこれらに限られるものではない。
表示制御部３ｂは、画像記録部７から読み出され画像処理部６により復号された所定サイズの画像データに基づいて、所定の画像を表示パネル３ａの表示画面に表示させる制御を行う。具体的には、表示制御部３ｂは、ＶＲＡＭ（Video Random Access Memory）、ＶＲＡＭコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、画像処理部６により復号されてＶＲＡＭ（図示略）に記憶されている輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、ＶＲＡＭコントローラを介してＶＲＡＭから所定の再生フレームレート（例えば、１０ｆｐｓ）で読み出して、これらのデータを元にビデオ信号を発生して表示部３に出力する。

操作入力部４は、携帯端末１００本体に対して各種指示を入力するためのものである。
具体的には、操作入力部４は、モードや機能等の選択指示に係る上下左右のカーソルボタンや決定ボタン、電話の発着信や電子メールの送受信等の実行指示に係る通信関連ボタン、テキストの入力指示に係る数字ボタンや記号ボタン等の各種ボタン（何れも図示略）を備えている。
そして、ユーザにより各種ボタンが操作されると、操作入力部４は、操作されたボタンに応じた操作指示を中央制御部１に出力する。中央制御部１は、操作入力部４から出力され入力された操作指示に従って所定の動作（例えば、被写体の撮像、電話の発着信、電子メールの送受信等）を各部に実行させる。

また、操作入力部４は、表示部３の表示パネル３ａと一体となって設けられたタッチパネル４ａを有している。
タッチパネル４ａは、表示パネル３ａの表示領域をなす表示画面に直接的若しくは間接的に接触するユーザの指（手）やタッチペン等の接触位置を検出する。即ち、タッチパネル４ａは、例えば、表示画面上或いは当該表示画面よりも内側に設けられ、抵抗膜方式、超音波表面弾性波方式、静電容量方式等の各種方式により、表示画面上における接触位置のＸＹ座標を検出する。そして、タッチパネル４ａは、接触位置のＸＹ座標に係る位置信号を中央制御部１に出力する。
なお、タッチパネル４ａによる表示画面上における接触位置の検出精度は、適宜任意に変更可能であり、例えば、厳密に一の画素を接触位置としても良いし、一の画素を中心とする所定範囲内の複数の画素を接触位置としても良い。

軌跡特定部５は、ユーザによる所定の描画操作に対応する操作軌跡Ｌ（図５（ｂ）参照）を特定するものである。
即ち、軌跡特定部（特定手段）５は、表示パネル３ａの表示領域にてユーザによる操作入力部４の所定操作に基づいて描画された少なくとも２つの操作軌跡Ｌ、Ｌを特定する。具体的には、軌跡特定部５は、操作入力部４のタッチパネル４ａにより連続して検出された接触位置のＸＹ座標に係る位置信号が入力されると、当該タッチパネル４ａの接触位置の各々を表示パネル３ａの表示領域における操作点の各々として特定する。そして、軌跡特定部５は、特定された複数の操作点どうしを結線することで、ユーザによる各描画操作に対応する操作軌跡Ｌをそれぞれ特定する。

なお、操作入力部４の所定操作を利用した各操作軌跡Ｌの描画は、表示パネル３ａの表示領域に背景画像Ｐ２が表示された状態で行われても良い。即ち、後述するように、操作軌跡Ｌを利用して背景画像Ｐ２内での前景画像Ｐ１の合成位置が指定されるので、表示領域に表示された背景画像Ｐ２内で前景画像Ｐ１が合成表示される位置をユーザが把握することができるようになる。
また、各操作軌跡Ｌの描画に係る操作入力部４のユーザによる所定操作は、例えば、所謂、マルチタッチのようにして複数の操作軌跡Ｌ、…をほぼ同じタイミングで描画するような操作であっても良いし、各操作軌跡Ｌを時間軸をずらして異なるタイミングで描画するような操作であっても良い。

なお、図５（ｂ）にあっては、表示パネル３ａの表示領域上に２つの操作軌跡Ｌ、Ｌの一例を模式的に表しているが、当該操作軌跡Ｌを視認可能に表示するか否かは適宜任意に変更可能である。
また、各操作軌跡Ｌの形状や本数は、一例であってこれに限られるものではなく、適宜任意に変更可能である。ここで、例えば、操作軌跡Ｌが３本以上特定された場合には、所望の２つの操作軌跡Ｌ、Ｌをユーザが操作入力部４の所定操作に基づいて選択可能な構成としても良い。

画像処理部６は、画像記録部７から読み出された表示対象に係る静止画像や動画像の画像データを対応する所定の符号化方式（例えば、ＪＰＥＧ形式、モーションＪＰＥＧ形式、ＭＰＥＧ形式など）に従って復号して、表示制御部３ｂに出力する。このとき、画像処理部６は、画像記録部７から読み出された画像データを、例えば、表示パネル３ａの表示解像度等に基づいて所定サイズ（例えば、ＶＧＡやＱＶＧＡサイズ）に縮小して表示制御部３ｂに出力する。

また、画像処理部６は、第１画像取得部６ａと、第２画像取得部６ｂと、画像合成部６ｃと、合成制御部６ｄとを具備している。
なお、画像処理部６の各部は、例えば、所定のロジック回路から構成されているが、当該構成は一例であってこれに限られるものではない。

第１画像取得部６ａは、合成画像生成処理（後述）に用いられる前景画像Ｐ１を取得する。
即ち、第１画像取得部（第１取得手段）６ａは、ユーザ所望の画像を前景画像Ｐ１として取得する。具体的には、第１画像取得部６ａは、画像記録部７に記録されている少なくとも一の前景画像Ｐ１の中で、ユーザによる操作入力部４の所定操作に基づいて指定されたユーザ所望の前景画像Ｐ１（図４参照）の画像データを取得する。

第２画像取得部６ｂは、合成画像生成処理に用いられる背景画像Ｐ２を取得する。
即ち、第２画像取得部（第２取得手段）６ｂは、ユーザ所望の画像を背景画像Ｐ２として取得する。具体的には、第２画像取得部６ｂは、画像記録部７に記録されている少なくとも一の背景画像Ｐ２の中で、ユーザによる操作入力部４の所定操作に基づいて指定されたユーザ所望の背景画像Ｐ２（図５（ａ）等参照）の画像データを取得する。

画像合成部６ｃは、背景画像Ｐ２と前景画像Ｐ１とを合成する画像合成処理を行う。
即ち、画像合成部（合成手段）６ｃは、第１画像取得部６ａにより取得された前景画像Ｐ１と第２画像取得部６ｂにより取得された背景画像Ｐ２とを合成して合成画像を生成する。具体的には、画像合成部６ｃは、背景画像Ｐ２の各画素のうち、前景画像Ｐ１の画素のアルファ値が０の画素は背景画像Ｐ２に対して透過させ、前景画像Ｐ１の画素のアルファ値が１の画素は前景画像Ｐ１の対応する画素の画素値で背景画像Ｐ２の画素を上書きし、さらに、背景画像Ｐ２の各画素のうち、前景画像Ｐ１の画素のアルファ値が０＜α＜１の画素は１の補数（１−α）を用いて前景画像Ｐ１の被写体領域Ｇを切り抜いた画像（背景画像×（１−α））を生成した後、アルファマップにおける１の補数（１−α）を用いて前景画像Ｐ１を生成した際に単一背景色とブレンドした値を計算し、当該値を前景画像Ｐ１から減算し、それを被写体領域Ｇを切り抜いた画像（背景画像×（１−α））と合成する。
また、合成画像として動画像を生成する場合、画像合成部６ｃは、上記の各処理を動画像を構成する各フレーム画像毎に行う。なお、各フレーム画像の生成に用いられる前景画像Ｐ１及び背景画像Ｐ２については後述する。

合成制御部６ｄは、背景画像Ｐ２と合成される前景画像Ｐ１の表示態様の変化を制御する。
即ち、合成制御部（制御手段）６ｄは、軌跡特定部５により特定された少なくとも２つの操作軌跡Ｌ、Ｌの形状を基準として、当該操作軌跡Ｌに沿って移動表示されるとともに背景画像Ｐ２に重畳表示される前景画像Ｐ１（所定の画像）の表示態様を変化させる。また、合成制御部６ｄは、画像合成部６ｃによる画像合成処理を制御し、画像合成部６ｃにより背景画像Ｐ２と前景画像Ｐ１とを合成する際に、前景画像Ｐ１の表示態様を変化させる。つまり、合成制御部６ｄは、所定の間隔（例えば、距離間隔や時間間隔等）で被写体領域Ｇの合成位置や大きさ等を変化させた複数の前景画像Ｐ１の各々と背景画像Ｐ２とを画像合成部６ｃにより合成させて合成動画像Ｍを生成させる。

具体的には、合成制御部６ｄは、軌跡特定部５により特定された２つの操作軌跡Ｌ、Ｌ間を当該操作軌跡Ｌに沿って前景画像Ｐ１の被写体領域Ｇを移動させるように、背景画像Ｐ２に対して重畳表示される被写体領域Ｇの合成位置を所定の画素間隔を空けて変化させる。
このとき、合成制御部６ｄは、前景画像Ｐ１の合成位置における２つの操作軌跡Ｌ、Ｌの間隔に応じて当該前景画像Ｐ１の被写体領域Ｇの大きさを変化させても良い。被写体領域Ｇの大きさの変化は、例えば、被写体領域Ｇの水平方向（所定方向）及び垂直方向（所定方向に直交する方向）の画素数（大きさ）の比率を変化させないようにして行われる。具体的には、合成制御部６ｄは、被写体領域Ｇの合成位置における２つの操作軌跡Ｌ、Ｌの間隔に応じて被写体領域Ｇの所定方向（例えば、水平方向等）の画素数を増減させた場合に、当該所定方向の画素数の増減度合いに応じて当該被写体領域Ｇの所定方向に直交する方向（例えば、垂直方向等）の画素数も増減させるように、前景画像Ｐ１（図４参照）の画像サイズをリサイズする。ここで、被写体領域Ｇの水平方向及び垂直方向の画素数は、当該被写体領域Ｇを囲繞する所定形状（例えば、矩形状）の枠の画素数を含んでも良い。
また、合成制御部６ｄは、２つの操作軌跡Ｌ、Ｌの向きに応じて前景画像Ｐ１の被写体領域Ｇが合成される向きを変化させても良い。具体的には、合成制御部６ｄは、例えば、２つの操作軌跡Ｌ、Ｌ間で当該各操作軌跡Ｌから等距離の位置を通る基準線（図示略）を設定し、当該基準線に対して被写体領域Ｇの中心（所定位置）を通る基準線分（図示略）が略直交するように前景画像Ｐ１を当該被写体領域Ｇの所定位置を中心として所定方向に回転させることで、被写体領域Ｇの向きの変化を行っても良い。
また、合成制御部６ｄは、２つの操作軌跡Ｌ、Ｌのうち、何れか一方の操作軌跡Ｌが描画された際の始点側から終点側に前景画像Ｐ１の被写体領域Ｇの表示位置を移動させるよう、背景画像Ｐ２に対して重畳表示される被写体領域Ｇの合成位置を所定の画素間隔を空けて変化させても良い。ここで、被写体領域Ｇの合成位置の変化は、例えば、２つの操作軌跡Ｌ、Ｌ間の所定位置（例えば、等距離の位置等）を通る基準線（図示略）を基準として行われても良いし、少なくとも何れか一の操作軌跡Ｌを基準として行われても良い。また、各操作軌跡Ｌの長さが異なる場合には、各操作軌跡Ｌについて全長に対する比率が略等しくなるように、被写体領域Ｇの合成位置の変化が行われても良い。
なお、前景画像Ｐ１の被写体領域Ｇの表示位置は、何れか一方の操作軌跡Ｌが描画された際の終点側から始点側に移動させるようにしても良い。

例えば、合成制御部６ｄは、操作軌跡Ｌに沿って所定方向（例えば、Ｘ軸方向等）に所定画素数ずつ前景画像Ｐ１を移動表示させる場合、２つの操作軌跡Ｌ、Ｌのうち、何れか一方の操作軌跡Ｌの始点側の所定位置にて当該２つの操作軌跡Ｌ、Ｌ間に被写体領域Ｇが位置するように、当該前景画像Ｐ１の被写体領域Ｇの合成位置、大きさ及び向きを設定する。そして、前景画像Ｐ１の被写体領域Ｇが画像合成部６ｃにより背景画像Ｐ２と合成されて最初のフレーム画像Ｆ１が生成される（図６（ａ）参照）。その後、合成制御部６ｄは、操作軌跡Ｌに沿って終点側に所定画素数移動した位置にて２つの操作軌跡Ｌ、Ｌ間に被写体領域Ｇが位置するように、当該前景画像Ｐ１の被写体領域Ｇの合成位置、大きさ及び向きを設定する。そして、前景画像Ｐ１の被写体領域Ｇが画像合成部６ｃにより背景画像Ｐ２と合成されて二番目のフレーム画像Ｆ２が生成される（図６（ｂ）参照）。
上記の処理を、合成制御部６ｄは、三番目以降のフレーム画像（図示略）についても順次同様に行っていき、最終的に、操作軌跡Ｌの終点側の位置にて２つの操作軌跡Ｌ、Ｌ間に被写体領域Ｇが位置するように、当該前景画像Ｐ１の被写体領域Ｇの合成位置、大きさ及び向きを設定する。そして、前景画像Ｐ１の被写体領域Ｇが画像合成部６ｃにより背景画像Ｐ２と合成されて最後のフレーム画像Ｆｎが生成される（図６（ｃ）参照）。
これにより、合成画像として、複数のフレーム画像Ｆ、…から構成された合成動画像Ｍが生成される。

画像記録部７は、例えば、不揮発性メモリ（フラッシュメモリ）等により構成されている。また、画像記録部７は、画像処理部６の符号化部（図示略）により所定の符号化方式で符号化された各種の画像（例えば、前景画像Ｐ１や背景画像Ｐ２等）の画像データを記録する。

前景画像Ｐ１は、例えば、静止画像であり、所定の背景内に被写体が存する被写体存在画像から被写体領域Ｇ（例えば、鳥等）を抽出する被写体切り抜き処理にて生成された被写体切り抜き画像の静止画像が挙げられる（図４参照）。また、前景画像Ｐ１の画像データは、被写体切り抜き処理にて生成されたアルファマップと対応付けられている。
ここで、アルファマップとは、前景画像Ｐ１の各画素について、当該前景画像Ｐ１の被写体領域Ｇ（図４参照）を所定の背景に対してアルファブレンディングする際の重みをアルファ値（０≦α≦１）として表したものである。

背景画像Ｐ２は、例えば、静止画像であり、前景画像Ｐ１の背景に表示される画像である。また、背景画像Ｐ２の画像データは、所定の符号化方式（例えば、ＪＰＥＧ形式等）で符号化されている。

なお、前景画像Ｐ１や背景画像Ｐ２は、例えば、複数のフレーム画像から構成された動画像であっても良い。具体的には、前景画像Ｐ１や背景画像Ｐ２としては、例えば、所定の撮像フレームレートで撮像された連続した複数のフレーム画像からなる動画像データや、所定のシャッタースピードで連写された連写画像データ等が挙げられる。

送受話部８は、通信ネットワークＮを介して接続された外部機器の外部ユーザとの通話を行う。
具体的には、送受話部８は、マイク８ａ、スピーカ８ｂ、データ変換部８ｃ等を備えている。そして、送受話部８は、マイク８ａから入力されるユーザの送話音声をデータ変換部８ｃによりＡ／Ｄ変換処理して送話音声データを中央制御部１に出力するとともに、中央制御部１の制御下にて、通信制御部９から出力されて入力される受話音声データ等の音声データをデータ変換部８ｃによりＤ／Ａ変換処理してスピーカ８ｂから出力する。

通信制御部９は、通信ネットワークＮ及び通信アンテナ９ａを介してデータの送受信を行う。
即ち、通信アンテナ９ａは、当該携帯端末１００が無線基地局（図示略）との通信で採用している所定の通信方式（例えば、Ｗ−ＣＤＭＡ(Wideband Code Division Multiple Access)方式、ＣＤＭＡ２０００方式、ＧＳＭ;登録商標（Global System for Mobile Communications）方式等）に対応したデータの送受信が可能なアンテナである。そして、通信制御部９は、所定の通信方式に対応する通信プロトコルに従って、この通信方式で設定される通信チャネルにより無線基地局との間で通信アンテナ９ａを介してデータの送受信を行う。
即ち、通信制御部９は、中央制御部１から出力されて入力される指示信号に基づいて、通信相手の外部機器に対して、当該外部機器の外部ユーザとの通話中の音声の送受信や、電子メールのデータの送受信を行う。
なお、通信制御部９の構成は一例であってこれに限られるものではなく、適宜任意に変更可能であり、例えば、図示は省略するが、無線ＬＡＮモジュールを搭載し、アクセスポイント（Access Point）を介して通信ネットワークＮにアクセス可能な構成としても良い。

通信ネットワークＮは、携帯端末１００を無線基地局やゲートウェイサーバ（図示略）等を介して接続する。また、通信ネットワークＮは、専用線や既存の一般公衆回線を利用して構築された通信ネットワークであり、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）等の様々な回線形態を適用することが可能である。
また、通信ネットワークＮには、例えば、電話回線網、ＩＳＤＮ回線網、専用線、移動体通信網、通信衛星回線、ＣＡＴＶ回線網等の各種通信ネットワーク網と、ＩＰネットワーク、ＶｏＩＰ（Voice over Internet Protocol）ゲートウェイ、インターネットサービスプロバイダ等が含まれる。

次に、携帯端末１００による合成画像生成処理について、図２〜図６を参照して説明する。
図２は、合成画像生成処理に係る動作の一例を示すフローチャートである。

以下に説明する合成画像生成処理は、ユーザによる操作入力部４の所定操作に基づいて、メニュー画面に表示された複数の動作モードの中から画像合成モードが選択指示された場合に実行される処理である。

＜合成画像生成処理＞
図２に示すように、先ず、表示制御部３ｂは、背景画像Ｐ２の指定を指示する所定のメッセージを表示パネル３ａの表示画面に表示させ、中央制御部１は、ユーザによる操作入力部４の所定操作に基づいて、表示パネル３ａに表示されている少なくとも一の背景画像Ｐ２の中でユーザ所望の背景画像Ｐ２が指定されたか否かを判定する（ステップＳ１）。
ここで、所望の背景画像Ｐ２（図５（ａ）等参照）が指定されたと判定されると（ステップＳ１；ＹＥＳ）、画像処理部６の第２画像取得部６ｂは、画像記録部７に記録されている少なくとも一の背景画像Ｐ２の中で、ユーザによる操作入力部４の所定操作に基づいて指定されたユーザ所望の背景画像Ｐ２の画像データを読み出して取得する（ステップＳ２）。
なお、ステップＳ１にて、背景画像Ｐ２が指定されていないと判定されると（ステップＳ１；ＮＯ）、中央制御部１は、処理をステップＳ１に戻し、背景画像Ｐ２が指定されたと判定されるまで（ステップＳ１；ＹＥＳ）、表示パネル３ａの表示画面に背景画像Ｐ２の指定に係る所定のメッセージを表示した状態で待機させる。

続けて、中央制御部１は、所定期間内に、ユーザによる表示パネル３ａの表示領域における操作点の入力指示があるか否かを判定する（ステップＳ３）。具体的には、中央制御部１は、表示パネル３ａの表示画面に対するユーザの指（手）やタッチペン等の接触がタッチパネル４ａにより検出されることで当該タッチパネル４ａから出力された接触位置のＸＹ座標に係る位置信号が入力されたか否かに応じて、ユーザによる操作点の入力があるか否かを判定する。
ステップＳ３にて、ユーザによる操作点の入力がないと判定されると（ステップＳ３；ＮＯ）、中央制御部１は、処理をステップＳ３に戻し、上記の判定処理を所定のタイミングで繰り返し実行する（ステップＳ３）。

一方、ステップＳ３にて、ユーザによる操作点の入力があると判定されると（ステップＳ３；ＹＥＳ）、軌跡特定部５は、複数の操作点からユーザによる各描画操作に対応する操作軌跡Ｌを特定する（ステップＳ４；図５（ｂ）参照）。

続けて、画像処理部６は、軌跡特定部５により２つの操作軌跡Ｌ、Ｌが特定されたか否かを判定する（ステップＳ５）。
ここで、軌跡特定部５により２つの操作軌跡Ｌ、Ｌが特定されていないと判定されると（ステップＳ５；ＮＯ）、中央制御部１は、処理をステップＳ３に戻し、表示パネル３ａの表示領域における次の操作点の入力指示を受け付ける。

そして、ステップＳ５にて、軌跡特定部５により２つの操作軌跡Ｌ、Ｌが特定されたと判定されると（ステップＳ５；ＹＥＳ）、表示制御部３ｂは、前景画像Ｐ１の指定を指示する所定のメッセージを表示パネル３ａの表示画面に表示させ、中央制御部１は、ユーザによる操作入力部４の所定操作に基づいて、表示パネル３ａに表示されている少なくとも一の前景画像Ｐ１の中でユーザ所望の前景画像Ｐ１が指定されたか否かを判定する（ステップＳ６）。
ここで、所望の前景画像Ｐ１（図４参照）が指定されたと判定されると（ステップＳ６；ＹＥＳ）、画像処理部６の第１画像取得部６ａは、画像記録部７に記録されている少なくとも一の前景画像Ｐ１の中で、ユーザによる操作入力部４の所定操作に基づいて指定されたユーザ所望の前景画像Ｐ１の画像データを読み出して取得する（ステップＳ７）。
なお、ステップＳ６にて、前景画像Ｐ１が指定されていないと判定されると（ステップＳ６；ＮＯ）、中央制御部１は、処理をステップＳ６に戻し、前景画像Ｐ１が指定されたと判定されるまで（ステップＳ６；ＹＥＳ）、表示パネル３ａの表示画面に前景画像Ｐ１の指定に係る所定のメッセージを表示した状態で待機させる。

次に、中央制御部１は、ユーザによる操作入力部４の所定操作に基づいて、背景画像Ｐ２と前景画像Ｐ１との合成の開始指示が入力されたか否かを判定する（ステップＳ８）。
ここで、合成開始指示が入力されていないと判定されると（ステップＳ８；ＮＯ）、中央制御部１は、処理をステップＳ８に戻し、合成開始指示が入力されたと判定されるまで（ステップＳ８；ＹＥＳ）、処理を待機させる。

ステップＳ８にて、合成開始指示が入力されたと判定されると（ステップＳ８；ＹＥＳ）、画像合成部６ｃは、合成制御部６ｄの制御下にて、背景画像Ｐ２と前景画像Ｐ１の被写体領域Ｇとを合成する画像合成処理（図３参照）を行う（ステップＳ９）。
ここで、画像合成処理について図３を参照して詳細に説明する。図３は、画像合成処理に係る動作の一例を示すフローチャートである。

＜画像合成処理＞
図３に示すように、先ず、合成制御部６ｄは、処理対象となる最初のフレーム画像Ｆ１のフレーム番号として「１」を指定する（ステップＳ２１）。
続けて、画像合成部６ｃは、前景画像Ｐ１と対応付けて保存されているアルファマップを読み出してメモリ２に展開する（ステップＳ２２）。

次に、合成制御部６ｄは、背景画像Ｐ２内で前景画像Ｐ１の被写体領域Ｇの合成の基準位置、大きさ及び向きを特定する（ステップＳ２３）。具体的には、例えば、合成制御部６ｄは、軌跡特定部５により特定された２つの操作軌跡Ｌ、Ｌの形状を基準として、当該２つの操作軌跡Ｌ、Ｌの各々の一方の端部（例えば、右端部）にそれぞれ被写体領域Ｇが接するように合成の基準位置を特定するとともに、２つの操作軌跡Ｌ、Ｌ間に被写体領域Ｇが位置するように当該被写体領域Ｇの大きさ及び向きを特定する。
なお、ステップＳ２３にて、被写体領域Ｇの合成位置が決定された際に、背景画像Ｐ２に対してアルファマップがずれてしまいアルファマップの範囲外となる領域については、α＝０としてアルファ値が存在しない領域を生じさせないようにする。

続けて、画像合成部６ｃは、背景画像Ｐ２の何れか一の画素（例えば、左上隅部の画素）を指定して（ステップＳ２４）、当該画素について、アルファマップのアルファ値に基づいて処理を分岐させる（ステップＳ２５）。具体的には、画像合成部６ｃは、背景画像Ｐ２の何れか一の画素のうち、アルファ値が１の画素については（ステップＳ２５；α＝１）、前景画像Ｐ１の対応する画素の画素値で背景画像Ｐ２の画素値を上書きし（ステップＳ２６）、アルファ値が０＜α＜１の画素については（ステップＳ２５；０＜α＜１）、１の補数（１−α）を用いて被写体領域Ｇを切り抜いた画像（背景画像×（１−α））を生成した後、アルファマップにおける１の補数（１−α）を用いて前景画像Ｐ１を生成した際に単一背景色とブレンドした値を計算し、当該値を前景画像Ｐ１から減算し、それを被写体領域Ｇを切り抜いた画像（背景画像×（１−α））と合成し（ステップＳ２７）、アルファ値が０の画素については（ステップＳ２５；α＝０）、何もせずに背景画像Ｐ２を透過させるようにする。

続けて、画像合成部６ｃは、背景画像Ｐ２の全ての画素について処理したか否かを判定する（ステップＳ２８）。
ここで、全ての画素について処理していないと判定されると（ステップＳ２８；ＮＯ）、画像合成部６ｃは、処理対象として次の画素を指定して当該画素に処理対象を移動させて（ステップＳ２９）、処理をステップＳ２５に移行させる。
上記の処理を、ステップＳ２８にて全ての画素について処理したと判定されるまで（ステップＳ２８；ＹＥＳ）、繰り返すことで、画像合成部６ｃは、前景画像Ｐ１と背景画像Ｐ２とが合成された合成動画像Ｍを構成する最初のフレーム画像Ｆ１（図６（ａ）参照）を生成する。

そして、ステップＳ２８にて全ての画素について処理したと判定されると（ステップＳ２８；ＹＥＳ）、合成制御部６ｄは、被写体領域Ｇの合成位置が操作軌跡Ｌの基準位置とは反対側の端部に到達したか否かを判定する（ステップＳ３０）。
ここで、被写体領域Ｇの合成位置が操作軌跡Ｌの端部に到達していないと判定されると（ステップＳ３０；ＮＯ）、合成制御部６ｄは、合成動画像Ｍを構成する複数のフレーム画像Ｆ、…のうち、処理対象となる次のフレーム画像（例えば、二番目のフレーム画像Ｆ２）に係るフレーム番号を＋１インクリメントして指定する（ステップＳ３１）。これにより、合成動画像Ｍの二番目のフレーム画像Ｆ２が画像合成処理の処理対象となる。

次に、合成制御部６ｄは、２つの操作軌跡Ｌ、Ｌの形状を基準として、合成動画像Ｍの二番目のフレーム画像Ｆ２における被写体領域Ｇの合成位置、大きさ及び向き等を設定する（ステップＳ３２）。具体的には、合成制御部６ｄは、２つの操作軌跡Ｌ、Ｌに沿って終点側に所定画素数移動した位置にて２つの操作軌跡Ｌ、Ｌ間に被写体領域Ｇが位置するように、当該前景画像Ｐ１の被写体領域Ｇの合成位置、大きさ及び向きを設定する。このとき、合成制御部６ｄは、合成位置、大きさ及び向きを変化させた前景画像Ｐ１の被写体領域Ｇに応じてアルファマップにおける被写体領域部分（α＝１）及び被写体領域以外の部分（α＝０）を修正する。

次に、画像合成部６ｃは、処理をステップＳ２４に移行させて、背景画像Ｐ２の例えば左上隅部の画素からステップＳ２５〜Ｓ２９の各処理を順次行うことで、前景画像Ｐ１と背景画像Ｐ２とが合成された合成動画像Ｍを構成する二番目のフレーム画像Ｆ２を生成する。これにより、２つの操作軌跡Ｌ、Ｌの形状を基準として、前景画像Ｐ１の被写体領域Ｇの合成位置、大きさ及び向き等を変化させた二番目のフレーム画像Ｆ２（図６（ｂ）参照）が生成される。
そして、二番目のフレーム画像Ｆ２の生成が完了することによって、ステップＳ２９にて全ての画素について合成処理したと判定されると（ステップＳ２９；ＹＥＳ）、合成制御部６ｄは、処理をステップＳ３０に移行させて、上記と同様に、被写体領域Ｇの合成位置が操作軌跡Ｌの基準位置とは反対側の端部に到達したか否かを判定する（ステップＳ３０）。
なお、ステップＳ３２においては、２つの操作軌跡Ｌ、Ｌに沿って終点側に所定画素数移動させた合成位置が操作軌跡Ｌの終点（基準位置とは反対側の端部）を超えた位置となる場合には、２つの操作軌跡Ｌ、Ｌの終点にそれぞれ被写体領域Ｇが接するように被写体領域Ｇの合成位置が設定される。つまり、動画像を構成する最後のフレーム画像Ｆｎでは、被写体領域Ｇが操作軌跡Ｌの基準位置とは反対側の端部に接した状態となる。

上記の合成処理を、ステップＳ３０にて、被写体領域Ｇの合成位置が操作軌跡Ｌの端部に到達したと判定されるまで（ステップＳ３０；ＹＥＳ）、繰り返すことで、画像合成部６ｃは、合成動画像を構成する全てのフレーム画像（図６（ａ）〜図６（ｃ）参照）を生成する。
これにより、画像合成処理を終了する。

次に、図２に示すように、表示制御部３ｂは、画像合成部６ｃにより生成された複数のフレーム画像Ｆ、…からなる合成動画像Ｍの画像データに基づいて、各フレーム画像Ｆ、…を所定の再生フレームレートで切り換えて表示パネル３ａの表示画面に表示させることで、２つの操作軌跡Ｌ、Ｌの形状を基準として表示態様を変化させながら前景画像Ｐ１の被写体領域Ｇが移動する合成動画像Ｍを再生表示する（ステップＳ１０）。
その後、中央制御部１は、ユーザによる操作入力部４の所定操作に基づいて、合成動画像Ｍを画像記録部７に保存させる指示が入力されたか否かを判定する（ステップＳ１１）。
ここで、合成動画像Ｍの保存指示が入力されたと判定されると（ステップＳ１１；ＹＥＳ）、中央制御部１は、画像記録部７の所定の記録領域に、複数のフレーム画像Ｆ、…からなる合成動画像Ｍの画像データを保存させて（ステップＳ１２）、合成画像生成処理を終了する。

一方、ステップＳ１１にて、合成動画像Ｍの保存指示が入力されていないと判定されると（ステップＳ１１；ＮＯ）、中央制御部１は、ステップＳ１１の処理をスキップして、合成画像生成処理を終了する。

以上のように、本実施形態の携帯端末１００によれば、ユーザによる操作入力部４の所定操作に基づいて描画された２つの操作軌跡Ｌ、Ｌの形状を基準として、当該操作軌跡Ｌに沿って移動表示されるとともに背景画像Ｐ２に重畳表示される前景画像Ｐ１の表示態様を変化させるので、２つの操作軌跡Ｌ、Ｌの形状の変化に対応させて表示態様を変化させた前景画像Ｐ１が背景画像Ｐ２に重畳された合成動画像Ｍを生成することができる。従って、単に操作軌跡Ｌに沿って前景画像Ｐ１を移動表示させるものに比べて、合成動画像Ｍの興趣性の向上を図ることができる。

具体的には、２つの操作軌跡Ｌ、Ｌの間隔に応じて前景画像Ｐ１の大きさを変化させるので、当該２つの操作軌跡Ｌ、Ｌの間隔に応じて前景画像Ｐ１の被写体領域Ｇを拡大縮小した合成動画像Ｍを生成することができる。
このとき、前景画像Ｐ１の被写体領域Ｇの水平方向（所定方向）及び垂直方向（所定方向に直交する方向）の画素数（大きさ）の比率を変化させないように当該被写体領域Ｇの大きさを変化させることで、前景画像Ｐ１の被写体領域Ｇを拡大縮小する際の違和感を軽減させて見た目がより自然な合成動画像Ｍを生成することができる。
さらに、２つの操作軌跡Ｌ、Ｌ間に設定された基準線に対して前景画像Ｐ１の所定位置を通る基準線分が略直交するように、当該操作軌跡Ｌに沿って移動表示される前景画像Ｐ１の被写体領域Ｇを回転させることで、前景画像Ｐ１の被写体領域Ｇの表示態様の変化をより多彩なものとすることができ、合成動画像Ｍの興趣性の向上を図ることができる。

また、２つの操作軌跡Ｌ、Ｌのうち、何れか一方の操作軌跡Ｌの始点側から終点側に前景画像Ｐ１の表示位置を移動させるので、操作軌跡Ｌに沿った前景画像Ｐ１の被写体領域Ｇの移動表示を適正に行うことができ、これにより、合成動画像Ｍの生成を適正に行うことができる。

また、背景画像Ｐ２と前景画像Ｐ１とを合成する画像合成処理にて、少なくとも２つの操作軌跡Ｌ、Ｌの形状を基準として前景画像Ｐ１の表示態様を変化させるので、画像合成処理を行うだけで２つの操作軌跡Ｌ、Ｌの形状の変化に従って前景画像Ｐ１の表示態様を変化させた合成動画像Ｍを自動的に生成することができる。

なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、上記実施形態にあっては、携帯端末１００は、画像合成部６ｃにより前景画像Ｐ１と背景画像Ｐ２とを合成する際に、当該前景画像Ｐ１の表示態様を変化させるようにしたが、画像合成部６ｃを備えるか否かは適宜任意に変更可能であり、背景画像Ｐ２に重畳表示される前景画像Ｐ１の被写体領域Ｇを２つの操作軌跡Ｌ、Ｌに沿って移動表示する際に当該被写体領域Ｇの表示態様を変化させる構成であれば如何なるものであっても良い。

また、上記合成画像生成処理にて、合成動画像Ｍを画像記録部７に保存するようにしたが、当該合成動画像Ｍを保存するか否かは適宜任意に変更可能であり、生成された合成動画像Ｍを単に再生表示する構成であっても良い。

さらに、前景画像Ｐ１として、例えば、複数のフレーム画像から構成された動画像を適用する場合には、例えば、操作軌跡Ｌの長さや太さ等を考慮して、当該前景画像Ｐ１の移動速度や再生フレームレートを変更しても良い。

また、携帯端末１００の構成は、上記実施形態に例示したものは一例であり、これらに限られるものではない。さらに、画像処理装置として、携帯端末１００を例示したが、これらに限られるものではない。

加えて、上記実施形態にあっては、第１取得手段、特定手段、制御手段としての機能を、中央制御部１の制御下にて、第１画像取得部６ａ、軌跡特定部５、合成制御部６ｄが駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部１のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ（図示略）に、第１取得処理ルーチン、特定処理ルーチン、制御処理ルーチンを含むプログラムを記憶しておく。そして、第１取得処理ルーチンにより中央制御部１のＣＰＵを、所定の画像を取得する手段として機能させるようにしても良い。また、特定処理ルーチンにより中央制御部１のＣＰＵを、表示手段の表示領域にてユーザによる操作入力手段の所定操作に基づいて描画された少なくとも２つの軌跡を特定する手段として機能させるようにしても良い。また、制御処理ルーチンにより中央制御部１のＣＰＵを、特定された少なくとも２つの軌跡の形状を基準として、当該軌跡に沿って移動表示されるとともに背景画像Ｐ２に重畳表示される所定の画像の表示態様を変化させる手段として機能させるようにしても良い。

同様に、第２取得手段、合成手段についても、中央制御部１のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。

さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ＲＯＭやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ（搬送波）も適用される。

本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
所定の画像を取得する第１取得手段と、
表示手段の表示領域にてユーザによる操作手段の所定操作に基づいて描画された少なくとも２つの軌跡を特定する特定手段と、
前記特定手段により特定された前記少なくとも２つの軌跡の形状を基準として、当該軌跡に沿って移動表示されるとともに背景画像に重畳表示される前記所定の画像の表示態様を変化させる制御手段と、
を備えたことを特徴とする画像処理装置。
＜請求項２＞
前記制御手段は、更に、前記少なくとも２つの軌跡の間隔に応じて前記所定の画像の大きさを変化させることを特徴とする請求項１に記載の画像処理装置。
＜請求項３＞
前記制御手段は、更に、前記所定の画像の所定方向及び前記所定方向に直交する方向の大きさの比率を変化させないように当該所定の画像の大きさを変化させることを特徴とする請求項２に記載の画像処理装置。
＜請求項４＞
前記制御手段は、更に、前記少なくとも２つの軌跡間に設定された基準線に対して前記所定の画像の所定位置を通る基準線分が略直交するように、当該軌跡に沿って移動表示される前記所定の画像を回転させることを特徴とする請求項１〜３の何れか一項に記載の画像処理装置。
＜請求項５＞
前記制御手段は、更に、前記少なくとも２つの軌跡のうち、何れか一方の軌跡の始点側から終点側に前記所定の画像の表示位置を移動させることを特徴とする請求項１〜４の何れか一項に記載の画像処理装置。
＜請求項６＞
背景画像を取得する第２取得手段と、
前記所定の画像と前記背景画像とを合成する合成手段と、を更に備え、
前記制御手段は、前記合成手段により前記所定の画像と前記背景画像とを合成する際に、当該所定の画像の表示態様を変化させることを特徴とする請求項１〜５の何れか一項に記載の画像処理装置。
＜請求項７＞
前記特定手段は、更に、前記表示手段の表示領域に前記背景画像が表示された状態で、ユーザによる操作手段の所定操作に基づいて描画された少なくとも２つの軌跡を特定することを特徴とする請求項１〜６の何れか一項に記載の画像処理装置。
＜請求項８＞
画像処理装置を用いた画像処理方法であって、
所定の画像を取得する処理と、
表示手段の表示領域にてユーザによる操作手段の所定操作に基づいて描画された少なくとも２つの軌跡を特定する処理と、
特定された前記少なくとも２つの軌跡の形状を基準として、当該軌跡に沿って移動表示されるとともに背景画像に重畳表示される前記所定の画像の表示態様を変化させる処理と、
を含むことを特徴とする画像処理方法。
＜請求項９＞
画像処理装置のコンピュータを、
所定の画像を取得する第１取得手段、
表示手段の表示領域にてユーザによる操作手段の所定操作に基づいて描画された少なくとも２つの軌跡を特定する特定手段、
前記特定手段により特定された前記少なくとも２つの軌跡の形状を基準として、当該軌跡に沿って移動表示されるとともに背景画像に重畳表示される前記所定の画像の表示態様を変化させる制御手段、
として機能させることを特徴とするプログラム。

１００ 携帯端末
１ 中央制御部
３ 表示部
３ａ 表示パネル
３ｂ 表示制御部
４ 操作入力部
５ 軌跡特定部
６ 画像処理部
６ａ 第１画像取得部
６ｂ 第２画像取得部
６ｃ 画像合成部
６ｄ 合成制御部

Claims (9)

1. 所定の画像を取得する第１取得手段と、
   表示手段の表示領域にてユーザによる操作手段の所定操作に基づいて描画された少なくとも２つの軌跡を特定する特定手段と、
   前記特定手段により特定された前記少なくとも２つの軌跡の形状を基準として、当該軌跡に沿って移動表示されるとともに背景画像に重畳表示される前記所定の画像の表示態様を変化させる制御手段と、
   を備えたことを特徴とする画像処理装置。
2. 前記制御手段は、更に、前記少なくとも２つの軌跡の間隔に応じて前記所定の画像の大きさを変化させることを特徴とする請求項１に記載の画像処理装置。
3. 前記制御手段は、更に、前記所定の画像の所定方向及び前記所定方向に直交する方向の大きさの比率を変化させないように当該所定の画像の大きさを変化させることを特徴とする請求項２に記載の画像処理装置。
4. 前記制御手段は、更に、前記少なくとも２つの軌跡間に設定された基準線に対して前記所定の画像の所定位置を通る基準線分が略直交するように、当該軌跡に沿って移動表示される前記所定の画像を回転させることを特徴とする請求項１〜３の何れか一項に記載の画像処理装置。
5. 前記制御手段は、更に、前記少なくとも２つの軌跡のうち、何れか一方の軌跡の始点側から終点側に前記所定の画像の表示位置を移動させることを特徴とする請求項１〜４の何れか一項に記載の画像処理装置。
6. 背景画像を取得する第２取得手段と、
   前記所定の画像と前記背景画像とを合成する合成手段と、を更に備え、
   前記制御手段は、前記合成手段により前記所定の画像と前記背景画像とを合成する際に、当該所定の画像の表示態様を変化させることを特徴とする請求項１〜５の何れか一項に記載の画像処理装置。
7. 前記特定手段は、更に、前記表示手段の表示領域に前記背景画像が表示された状態で、ユーザによる操作手段の所定操作に基づいて描画された少なくとも２つの軌跡を特定することを特徴とする請求項１〜６の何れか一項に記載の画像処理装置。
8. 画像処理装置を用いた画像処理方法であって、
   所定の画像を取得する処理と、
   表示手段の表示領域にてユーザによる操作手段の所定操作に基づいて描画された少なくとも２つの軌跡を特定する処理と、
   特定された前記少なくとも２つの軌跡の形状を基準として、当該軌跡に沿って移動表示されるとともに背景画像に重畳表示される前記所定の画像の表示態様を変化させる処理と、
   を含むことを特徴とする画像処理方法。
9. 画像処理装置のコンピュータを、
   所定の画像を取得する第１取得手段、
   表示手段の表示領域にてユーザによる操作手段の所定操作に基づいて描画された少なくとも２つの軌跡を特定する特定手段、
   前記特定手段により特定された前記少なくとも２つの軌跡の形状を基準として、当該軌跡に沿って移動表示されるとともに背景画像に重畳表示される前記所定の画像の表示態様を変化させる制御手段、
   として機能させることを特徴とするプログラム。

Images