JP6039527B2 - 動画生成装置、動画生成方法及び動画生成プログラム - Google Patents

Description

本発明は、動画生成装置、動画生成方法及び動画生成プログラムに関する。

料理を撮影した料理画像をユーザに美味しそうに見せるために、料理画像を加工する技術が知られている（例えば、非特許文献１参照）。この技術では、料理画像の色相が変換される。

ＳｎａｐＤｉｓｈ Ｆｏｏｄ Ｃａｍｅｒａ、[online]、［２０１３年１０月８日検索］、インターネット<URL: https://itunes.apple.com/us/app/snapdish-food-camera-cook/id439571223>

葉野菜、肉等の具材及び汁が入っている鍋等が表された料理の画像を美味しそうに見えるように撮影したいといった要請がある。しかしながら、具材は、加熱されることにより鍋の中等で揺れていると美味しく見える。具材の周りの汁等の液体が沸騰していれば具材が揺れている状態となるが、具材は、加熱されるに従い色や形状が変化してしまうので、具材の色及び形状といった観点では、高温の加熱される前や加熱中の短い時間の方が美味しく見える。さらに、料理中の動画を撮影するために、加熱中の様子を動画により撮影すると、その撮影に用いた具材を用いて再び撮影することはできない。このため、具材及び汁や油等の液体の両方が美味しく見える料理画像を撮影するのは困難である。

そこで本発明は、料理に含まれる具材及び液体の両方が美味しく見えるタイミングで撮影できなかった場合であっても、両方が美味しそうに見える料理画像を容易に得ることを目的とする。

上記課題を解決するために、本発明の一形態に係る動画生成装置は、加工対象の画像である加工対象画像を取得する画像取得手段と、加工対象画像内における処理対象のオブジェクトが表されたオブジェクト領域を特定する領域情報を取得する領域情報取得手段と、オブジェクトの形状と、該オブジェクトが振動される際に位置が固定される部分を示す固定制御点、該固定制御点に対して振動される部分を示す振動制御点及び該振動制御点が振動される方向を示す振動方向とを対応付けて記憶している記憶手段を参照して、領域情報により特定されるオブジェクト領域の形状に基づき、オブジェクトにおける固定制御点、振動制御点及び振動方向を設定する設定手段と、設定手段により設定された固定制御点、振動制御点及び振動方向に応じて、オブジェクトが振動しているように表示される動画を生成する生成手段と、を備える。

本発明の一形態に係る動画生成方法は、コンピュータにより実行される動画生成方法であって、加工対象の画像である加工対象画像を取得する画像取得ステップと、加工対象画像内における処理対象のオブジェクトが表されたオブジェクト領域を特定する領域情報を取得する領域情報取得ステップと、オブジェクトの形状と、該オブジェクトが振動される際に位置が固定される部分を示す固定制御点、該固定制御点に対して振動される部分を示す振動制御点及び該振動制御点が振動される方向を示す振動方向とを対応付けて記憶している記憶手段を参照して、領域情報により特定されるオブジェクト領域の形状に基づき、オブジェクトにおける固定制御点、振動制御点及び振動方向を設定する設定ステップと、設定ステップにおいて設定された固定制御点、振動制御点及び振動方向に応じて、オブジェクトが振動しているように表示される動画を生成する生成ステップと、を有する。

本発明の一形態に係る動画生成プログラムは、コンピュータに、加工対象の画像である加工対象画像を取得する画像取得機能と、加工対象画像内における処理対象のオブジェクトが表されたオブジェクト領域を特定する領域情報を取得する領域情報取得機能と、オブジェクトの形状と、該オブジェクトが振動される際に位置が固定される部分を示す固定制御点、該固定制御点に対して振動される部分を示す振動制御点及び該振動制御点が振動される方向を示す振動方向とを対応付けて記憶している記憶手段を参照して、領域情報により特定されるオブジェクト領域の形状に基づき、オブジェクトにおける固定制御点、振動制御点及び振動方向を設定する設定機能と、設定機能により設定された固定制御点、振動制御点及び振動方向に応じて、オブジェクトが振動しているように表示される動画を生成する生成機能と、を実現させる。

上記形態によれば、加工対象画像内においてオブジェクト領域を特定する領域情報が取得され、オブジェクト領域において設定された固定制御点、振動制御点及び振動方向に応じてオブジェクトが振動しているように表示される動画が生成される。その動画が加工対象画像に合成されることにより、例えば、加熱状態ではない料理の静止画像における具材をオブジェクトとして振動させるように表示させることができる。従って、加熱状態ではないために色及び形状といった観点で美味しそうに見える状態にある具材が表された領域に対して、加熱状態のような動きを付加することができるので、具材及び液体の両方が美味しく見える料理画像を得ることが可能となる。また、具材が表された領域をオブジェクト領域として指定するといった容易な入力のみに基づき、具材が表されたオブジェクト領域が振動するように表されるので、具材及び液体の両方が美味しそうに見える料理画像を容易に得ることができる。

別の形態に係る動画生成装置では、記憶手段において、オブジェクトの形状を表す矩形状の領域に対して、固定制御点、振動制御点及び振動方向が対応付けられて記憶されており、設定手段は、所定の画像処理により求められたオブジェクト領域の長手方向及び該長手方向に直交する短手方向のそれぞれに平行な辺を有しオブジェクト領域が内接する矩形領域を設定し、記憶手段を参照して、該矩形領域に対して固定制御点、振動制御点及び振動方向を設定することとしてもよい。

この形態によれば、オブジェクト領域が加工対象画像においていかなる向きに配置されていたとしても、固定制御点、振動制御点及び振動方向が適切に設定できる。

さらに別の形態に係る動画生成装置では、設定手段は、オブジェクトについての変形及び非変形のいずれかの属性の指定をユーザから受け付け、変形の属性を受け付けた場合に、オブジェクト領域に対して固定制御点、振動制御点及び振動方向を設定し、生成手段は、設定手段において変形の属性を受け付けた場合に、設定手段により設定された固定制御点、振動制御点及び振動方向に応じて、オブジェクトが振動しているように表示される動画を生成し、設定手段において非変形の属性を受け付けた場合に、オブジェクト領域の形状を保ちながらオブジェクトが振動しているように表示される動画を生成することとしてもよい。

この形態によれば、料理画像において指定されたオブジェクト領域に表された具材の種類に応じた振動の動きを表現することが可能となる。

さらに別の形態に係る動画生成装置では、生成手段は、オブジェクト領域の大きさに応じて、オブジェクトの振動の大きさを制御することとしてもよい。

この形態によれば、オブジェクト領域に表された具材の大きさに応じた大きさの振動を表現することが可能となるので、より現実感のある画像が得られる。

さらに別の形態に係る動画生成装置では、領域情報取得手段は、加工対象画像内における、オブジェクト領域以外の領域であって動きを伴う液体が表された動画である合成用画像を合成する処理対象領域を取得し、当該動画生成装置は、領域情報取得手段により取得された処理対象領域の特徴を示すパラメータに基づき、合成用画像を取得する合成用画像取得手段と、合成用画像取得手段により取得された合成用画像を処理対象領域に合成する合成手段と、を更に備え、生成手段は、オブジェクト領域から所定距離以内の近傍位置の処理対象領域に合成された合成用画像の属性に応じて、オブジェクトの振動の大きさを設定することとしてもよい。

この形態によれば、例えば、料理画像における液体が表された領域に合成された合成用画像の動きの特徴を表す属性に応じて、オブジェクトの振動の大きさが設定されるので、具材近傍の液体の動きに応じた具材の振動を表現した画像が得られる。

本発明の一側面によれば、料理を撮影した静止画像に基づき、料理に含まれる具材及び液体の両方が美味しそうに見える料理画像を容易に得ることが可能となる。

画像生成装置の機能構成を示すブロック図である。 画像生成装置のハードウェア構成を示す図である。 取得部により取得される加工対象画像の例を示す図である。 表示された加工対象画像に対してユーザからの処理対象領域の指定を受け付ける例を示す図である。 領域情報取得部により指定された処理対象領域に基づき生成されたマスクの例を模式的に示す図である。 合成用画像取得部により抽出された各処理対象領域のパラメータを示す図である。 合成用画像の属性の取得に用いられるテーブルの例を示す図である。 処理対象領域に対する合成用画像の配置の仕方を説明する図である。 矩形領域の端部に配置された矩形状の合成用画像の辺が矩形領域の端部の辺に一致しない場合に、矩形領域に配置された全ての合成用画像サイズを拡大又は縮小させて合成する例を説明する図である。 処理対象領域に対する合成用画像の明度成分の合成を概念的に説明する図である。 処理対象領域に合成用画像が合成された加工対象画像の一部を示す図である。 画像生成装置における画像生成方法の処理内容の例を示すフローチャートである。 画像生成プログラムの構成を示す図である。 第２実施形態における画像生成装置の機能構成を示すブロック図である。 形状分類テーブル記憶部の構成及び記憶されているデータの例を示す図である。 領域情報取得部により受け付けられたオブジェクト領域及びその形状の例を示す図である。 オブジェクト領域ごとに指定された変形又は非変形の属性及び形状タイプを記憶するテーブル示す図である。 オブジェクト領域に固定制御点、振動制御点及び振動方向を設定するための矩形領域の設定の例を示す図である。 領域情報取得部により受け付けられたオブジェクト領域ごとの振動の様子を模式的に示す図である。 第２実施形態における画像生成方法の処理内容の例を示すフローチャートである。

以下、添付図面を参照しながら本発明の実施形態を詳細に説明する。なお、図面の説明において同一又は同等の要素には同一の符号を付し、重複する説明を省略する。

（第１実施形態）
図１は、本実施形態に係る画像生成装置１の機能的構成を示すブロック図である。画像生成装置１は、料理を表した静止画像を加工対象画像として、加工対象画像における主として液体が表された処理対象領域に、動きを伴う液体が表された動画である合成用画像を合成して出力する装置である。本実施形態では、加熱された液体に泡が発生している様子を表す動画を合成用画像とし、野菜や肉等の具材及び汁が表された料理画像のうちの汁が表された部分を処理対象領域として、料理画像の汁が表された領域に泡が発生している様子を示す動画が合成される例を説明する。

本実施形態の画像生成装置１は、図１に示すように、機能的には、取得部１１（取得手段）、領域情報取得部１２（領域情報取得手段）、合成用画像取得部１３（特徴取得手段、合成用画像取得手段）、合成部１４（合成手段）及び出力部１５（出力手段）を含む。また、画像生成装置１の各機能部１１〜１５は、合成用画像記憶部２１といった記憶手段にアクセス可能である。なお、画像生成装置１は、ユーザ端末とネットワークを介して通信可能なサーバに構成されることができる。また、画像生成装置１が、スマートフォン及びパーソナルコンピュータといった装置に構成されることとしてもよい。

図２は、画像生成装置１のハードウェア構成図である。画像生成装置１は、物理的には、図２に示すように、ＣＰＵ１０１、ＲＡＭ及びＲＯＭといったメモリにより構成される主記憶装置１０２、ハードディスク等で構成される補助記憶装置１０３、ネットワークカード等で構成される通信制御装置１０４、入力デバイスであるキーボード、マウス等の入力装置１０５、ディスプレイ等の出力装置１０６などを含むコンピュータシステムとして構成されている。なお、画像生成装置１がサーバに構成される場合には、画像生成装置１は、入力装置１０５，出力装置１０６を含まなくてもよい。

図１に示した各機能部は、図２に示すＣＰＵ１０１、主記憶装置１０２等のハードウェア上に所定のコンピュータソフトウェア（画像生成プログラム）を読み込ませることにより、ＣＰＵ１０１の制御のもとで通信制御装置１０４、入力装置１０５、出力装置１０６を動作させるとともに、主記憶装置１０２や補助記憶装置１０３におけるデータの読み出し及び書き込みを行うことで実現される。処理に必要なデータやデータベースは主記憶装置１０２や補助記憶装置１０３内に格納される。

まず、画像生成装置１の機能部の説明に先立って、合成用画像記憶部２１を説明する。合成用画像記憶部２１は、動きを伴う液体が表された動画である合成用画像を記憶している記憶手段である。本実施形態では、合成用画像記憶部２１は、加熱された液体に泡が発生する様子を表した動画を合成用画像として複数記憶している。

合成用画像記憶部２１に記憶されている合成用画像は、液体の種類、サイズ、再生速度を異ならせた種々のバリエーションを含む。液体の種類としては、例えば、水、醤油、ソース等のバリエーションが含まれ、これらのバリエーションの違いにより、液体の粘度の違いが表現される。また、合成用画像のサイズの違いにより、泡の大きさの違いが表現される。合成用画像の再生速度の違いにより、泡の発生から消滅までの時間が表現される。泡の大きさ及び発生から消滅までの時間は、その料理が加熱されているときの火力の強さに依存する。また、合成用画像は、加熱された液体に発生している泡を異なる角度から撮影した画像を複数含んでもよい。撮影角度の差異により、発生する泡の高さの差異が表現される。

続いて、画像生成装置１の機能部を説明する。取得部１１は、加工対象の画像である加工対象画像を取得する部分である。図３は、取得部１１により取得される加工対象画像の例を示す図である。図３に示すように、本実施形態では、野菜及び肉等の具材及び汁を含む鍋料理を表す料理画像が加工対象画像として取得される。本実施形態の加工対象画像は静止画像である。

領域情報取得部１２は、加工対象画像内における処理対象領域の指定を受け付ける部分である。図４は、表示された加工対象画像に対してユーザからの処理対象領域の指定を受け付ける例を示す図である。図４に示すように、例えば、ユーザは、処理対象とする汁が表された領域に、線を入力することにより、処理対象領域を指定することができる。図４では、ユーザにより入力された線は、実線により示されている。領域情報取得部１２は、入力された線に基づき、例えば領域分割器といった周知の画像処理技術により処理対象領域を特定できる。領域情報取得部１２は、例えば、線が入力された部分との色の差異の程度が所定値以下の隣接する画素を同領域として認識し、色の差異が所定値を超える画素との境界を領域の境界とすることができる。図４に示すように、領域情報取得部１２は、実線で示される線の入力に基づき、処理対象領域Ｌを取得する。

ここで取得される処理対象領域は、動いている液体を撮影した静止画ではない。即ち、加工対象画像における汁等の液体が表された画像は、加熱されて動きを伴う状態の液体を撮影したものではない。

また、領域情報取得部１２は、基準位置Ｆの指定をユーザからの入力により受け付けることができる。基準位置Ｆは、料理画像に表された料理が加熱される場合の火元の位置を表すことができる。

また、処理対象領域とは別に、領域情報取得部１２は、具材が表された領域であるオブジェクト領域の指定を受け付けることができる。即ち、領域情報取得部１２は、具材が表された部分に対するユーザによる線の入力に基づき、具材が表されたオブジェクト領域Ｓの指定を受け付ける。図４では、オブジェクト領域Ｓを指定するための線は、１点破線により示されている。具材が表されたオブジェクト領域Ｓに対する処理については、第２実施形態として後述する。

合成用画像取得部１３は、領域情報取得部１２により指定を受け付けられた処理対象領域Ｌの特徴を示すパラメータ（特徴パラメータ）を取得し、取得したパラメータに基づき、処理対象領域に合成する合成用画像を取得する部分である。具体的には、まず、合成用画像取得部１３は、加工対象画像における処理対象領域Ｌを示すマスクを生成する。図５は、領域情報取得部１２により指定された処理対象領域Ｌ（図４参照）を示すマスクの例を模式的に示す図である。図５に示されるように、１１の処理対象領域Ｌが抽出されている。

続いて、合成用画像取得部１３は、抽出された各処理対象領域Ｌの基準位置Ｆからの距離及び大きさを算出及び正規化し、各処理対象領域Ｌのパラメータとして取得する。ここで取得されるパラメータは、液体の動きに影響を与えるものである。基準位置Ｆから処理対象領域Ｌまでの距離は、例えば、処理対象領域Ｌの重心位置を求め、基準位置Ｆから重心位置までの距離を算出することにより得られる。また、処理対象領域Ｌの大きさは、例えば、当該処理対象領域Ｌのピクセル数に基づき求められる。

基準位置Ｆからの距離のパラメータとしては、「遠い」、「中」、「近い」のいずれかが与えられ、大きさのパラメータとしては、「大」、「中」、「小」のいずれかが与えられる。図６は、合成用画像取得部１３により抽出された各処理対象領域Ｌのパラメータを示す図である。図６に示されるように、処理対象領域Ｌ_１（図５参照）は、領域ＩＤ「１」として表され、基準位置Ｆからの距離「遠い」及び大きさ「大」といったパラメータが対応付けられている。

これらのパラメータは、処理対象領域Ｌの特徴を示すものであって、処理対象領域Ｌに表された物の特徴を示すものではない。本実施形態では、処理対象領域Ｌの特徴を示すパラメータに基づき合成用画像が取得されるので、処理対象領域Ｌに表された物は、動きを伴う液体であることを要さない。

次に、合成用画像取得部１３は、抽出した各処理対象領域Ｌのパラメータに応じて、その処理対象領域Ｌに合成する合成用画像の属性（合成用画像情報）を取得する。図７は、合成用画像の属性の取得に用いられるテーブルの例を示す図である。このテーブルは、例えば、合成用画像取得部１３が予め有していてもよいし、合成用画像記憶部２１等の記憶手段に記憶されていることとしてもよい。合成用画像記憶部２１は、例えば、処理対象領域Ｌ_１の基準位置Ｆからの距離「遠い」及び大きさ「中」といったパラメータに基づき、図７のテーブルを参照して、サイズ「１００％」、再生時素材長「１５０％」といった合成用画像の属性を取得する。サイズは、基準となる所定の大きさの合成用画像に対する大きさの割合を示し、再生時素材長は、基準となる所定の長さの時間の動画に対する再生時間の割合を示す。即ち再生時素材長の値が大きいほど、遅い再生速度を表す。

なお、本実施形態では、合成用画像取得部１３は、処理対象領域Ｌのパラメータに基づき予め設定されたテーブルを参照して合成用画像の属性を得ることとしたが、数式により得ることとしてもよい。即ち、処理対象領域の大きさをａ（ｉ）、基準位置からの距離をｄ（ｉ）とすると、合成用画像のサイズＳ（ｉ）及び再生速度Ｖ（ｉ）はそれぞれ、式（１）及び式（２）により表される。

合成用画像取得部１３がこれらの式を有することにより、図７に示したようなテーブルを予め設定することが不要となる。

なお、後述する合成用画像の処理対象領域Ｌに対する合成において、合成用画像を処理対象領域に重畳合成するオーバーレイ合成処理（第２の合成処理）が実施される場合には、合成用画像取得部１３は、オーバーレイ処理における重畳回数を示す、合成処理における属性である重畳数（合成用画像情報）も取得する。処理対象領域Ｌ_１に対する合成処理のために、合成用画像取得部１３は、重畳数「２」といったパラメータを取得する。

ここで、合成用画像取得部１３は、合成用画像の特徴を示すパラメータ（特徴パラメータ）のユーザによる指定をさらに受け付けることとしてもよい。合成用画像の特徴を示すパラメータは、例えば、水、醤油、ソース等の液体の種類を示すものであってもよい。合成用画像記憶部２１には、これらの液体それぞれが加熱されて泡が発生している状態を示す動画が、サイズ及び再生時素材長の複数のバリエーションを含んで合成用画像として記憶されている。これらの液体の種類の指定により、液体の粘度の違いが表現される。なお、本実施形態における合成用画像は、液体が加熱されて泡が発生している様子を表す動画であるが、液体の動きが表現された静止画であってもよい。

そして、合成用画像取得部１３は、合成用画像記憶部２１から、取得した合成用画像の属性に該当する合成用画像を取得する。例えば、合成用画像取得部１３は、処理対象領域Ｌ_１に合成するための合成用画像として、サイズ「１００％」、再生時素材長「１５０％」の属性を有する合成用画像を取得する。また、合成用画像の特徴を示すパラメータがユーザにより指定されている場合には、合成用画像取得部１３は、その指定に該当すると共にサイズ「１００％」、再生時素材長「１５０％」の属性を有する合成用画像を取得する。

なお、本実施形態では、合成用画像記憶部２１にサイズ及び再生速度を異ならせた合成用画像のバリエーションが記憶されており、それらのバリエーションが有する属性が、合成用画像の属性（合成用画像情報）として合成用画像取得部１３により取得されることとしている。これに対して、合成用画像記憶部２１にサイズ及び再生速度のバリエーションが記憶されていない場合には、例えば、液体の種類ごとに１つの合成用画像が合成用画像記憶部２１に記憶されており、図７に示すテーブルを参照して取得された合成用画像の属性（合成用画像情報）に応じたサイズ及び再生速度の画像が合成用画像取得部１３により生成されることとしてもよい。

合成部１４は、合成用画像取得部１３により取得された合成用画像を処理対象領域に合成する部分である。まず、この合成処理における、処理対象領域Ｌに対する合成用画像の配置の仕方を、図８を参照して説明する。

合成部１４は、図８（ａ）に示すように、処理対象領域Ｌが内接する矩形領域Ｒ_Ｌを設定する。次に、合成部１４は、図８（ｂ）に示すように、矩形領域Ｒ_Ｌに合成用画像Ｃをグリッド状に配列する。そして、合成部１４は、図８（ｃ）に示すように、矩形領域Ｒ_Ｌ内における処理対象領域Ｌ以外の領域に、合成用画像Ｃが表示されないようにするためのマスクＭをかけて、配列された合成用画像Ｃを処理対象領域Ｌに合成する。

また、合成部１４は、矩形領域Ｒ_Ｌの１辺の長さが合成用画像Ｃの１辺の長さの整数倍に該当しないことに起因して、矩形領域Ｒ_Ｌの端部に配置された矩形状の合成用画像の辺が矩形領域Ｒ_Ｌの端部の辺に一致しない場合に、矩形領域Ｒ_Ｌに配置された全ての合成用画像Ｃのサイズを拡大又は縮小させて合成する。

具体的には、図９（ａ）に示すように、矩形領域Ｒ_Ｌの端部に配列された合成用画像Ｃ_Ｅの辺が矩形領域Ｒ_Ｌの端部の辺に一致せず、合成用画像Ｃ_Ｅの半分以上の領域がＲ_Ｌの内部に収まらない場合には、合成部１４は、配列された全ての合成用画像Ｃを拡大して合成用画像Ｃ_Ｂを得て、配列された合成用画像の辺が矩形領域の辺に一致するように合成する。

また、図９（ｂ）に示すように、矩形領域Ｒ_Ｌの端部に配列された合成用画像Ｃ_Ｅの辺が矩形領域Ｒ_Ｌの端部の辺に一致せず、合成用画像Ｃ_Ｅの半分以上の領域がＲ_Ｌの内部に収まる場合には、合成部１４は、配列された全ての合成用画像Ｃを縮小して合成用画像Ｃ_Ｓを得て、配列された合成用画像の辺が矩形領域の辺に一致するように合成する。

なお、以上説明した例では、合成用画像Ｃが配列されて処理対象領域Ｌに合成されることとしているが、合成部１４は、処理対象領域Ｌが内接する矩形領域Ｒ_Ｌに合成用画像Ｃをランダムに配置することとしてもよい。その場合には、処理対象領域Ｌ内に合成用画像Ｃが合成されない領域が生じないように、合成部１４は、合成用画像Ｃが互いに重なる部分を有するように配置してもよい。

次に、合成用画像を処理対象領域に合成する合成処理における色成分の合成について説明する。合成部１４は、合成用画像の色成分の合成処理の一つとして、合成用画像取得部１３により取得された合成用画像Ｃの明度成分を処理対象領域Ｌに付加する合成処理（第１の合成処理）を実施できる。

合成用画像Ｃは、時間の概念を有する動画であって、時間の経過に伴い画素値が変動する。そして、動画における液体の動きは、明度成分の変動により好適に表現される。即ち、泡の発生及び消滅を表す動画である合成用画像Ｃの明度成分を処理対象領域Ｌに合成することにより、その処理対象領域Ｌに泡が発生及び消滅しているような動画像が得られる。具体的には、合成部１４は、合成用画像Ｃにおける時間に伴う画素ごとの明度の変化を、処理対象領域Ｌの対応する画素に合成する。図１０は、処理対象領域に対する合成用画像の明度成分の合成を概念的に説明する図である。図１０（ａ）には、合成用画像Ｃの一の画素における明度成分Ｖ_Ｃ１、明度成分Ｖ_Ｃ１の時間平均値Ｖ_ＡＶ及び静止画像である処理対象領域Ｌにおける対応する画素の明度値Ｖ_Ｌが示されている。合成部１４は、図１０（ｂ）に示すように、時間平均値Ｖ_ＡＶが明度値Ｖ_Ｌに一致するように、明度成分Ｖ_Ｃ１を明度成分Ｖ_Ｃ２にオフセットさせて、動画である合成用画像Ｃを処理対象領域Ｌに合成する。

また、合成部１４は、合成用画像の色成分の合成処理の一つとして、処理対象領域Ｌのパラメータに応じた重畳回数に従って、合成用画像Ｃを処理対象領域Ｌに重畳合成する合成処理（第２の合成処理）を実施できる。重畳合成処理のための重畳回数は、例えば、合成用画像取得部１３により処理対象領域Ｌのパラメータに応じて図７に示すテーブルを参照して取得される。泡の発生及び消滅が表された動画である合成用画像Ｃを処理対象領域Ｌに重畳合成するに際して、重畳回数を増やすことにより、液体の動きがより明瞭に表される。従って、処理対象領域Ｌのパラメータに応じた重畳回数により合成用画像Ｃの重畳合成を行うことにより、処理対象領域Ｌの属性に適した液体の動きの特徴が表現することが可能となる。

また、合成部１４は、合成用画像取得部１３により取得された合成用画像Ｃの色と処理対象領域Ｌの色との色空間における距離に基づき、合成用画像Ｃの明度成分を処理対象領域Ｌに付加する合成処理及び合成用画像Ｃを処理対象領域Ｌに重畳合成する合成処理のいずれか一方を実施することとしてもよい。

具体的には、例えば、合成部１４は、合成用画像取得部１３により取得された合成用画像Ｃの色を示す画素値の平均値と、処理対象領域Ｌにおける当該合成用画像Ｃが重畳される領域に色を示す画素値の平均値との色空間における距離を求める。そして、合成部１４は、求められた距離が所定値以下である場合には、合成用画像Ｃの明度成分を処理対象領域Ｌに付加する合成処理を実施する。一方、合成部１４は、求められた距離が所定値を超える場合には、合成用画像Ｃを処理対象領域Ｌに重畳合成する合成処理を実施する。これにより、処理対象領域Ｌにおける液体の動きをより好適に表すために、より適切な合成処理の選択が可能となる。

なお、合成部１４は、処理対象領域Ｌに合成用画像Ｃを合成する前に、処理対象領域Ｌに対して、ぼかし加工をすることとしてもよい。具体的には、合成部１４は、処理対象領域Ｌの画像に対して、いわゆるブラー処理を行うこととしてもよい。また、合成部１４は、処理対象領域Ｌの画像の各画素の色を表す画素値の平均を算出して、算出された平均値を処理対象領域Ｌの画像の各画素の画素値としてもよい。これらの処理により、より自然な合成画像が得られる。

再び図１を参照して、出力部１５は、合成部１４により合成用画像Ｃが合成された加工対象画像を出力する部分である。図１１は、処理対象領域Ｌに合成用画像Ｃが合成された加工対象画像の一部を示す図である。図１１に示すように、出力部１５は、図３に示した加工対象画像における処理対象領域Ｌに、泡が発生している様子を表す合成用画像Ｃが合成された画像を出力する。このように、静止画像である加工対象画像の一部に動きを伴う液体の動画を合成できるので、基となる加工対象画像に表された料理画像は、加熱されている状態の料理を表したものであることを要さない。従って、加熱状態ではないため美味しそうに見える状態にある具材と、動きを伴うため美味しそうに見える状態にある汁等の液体と、が表された料理画像を出力することが可能となる。

図８及び図９を参照して説明した例では、一の処理対象領域Ｌに同一の合成用画像Ｃが１以上配置されて合成される。本実施形態の画像生成装置１では、一の処理対象領域Ｌに合成用画像を合成するに際して、合成される位置に応じた合成用画像が選択されて合成される例外処理が実施されることとしてもよい。以下に、その具体例を説明する。

処理対象領域Ｌの大きさが加工対象画像の大きさに対して所定以上の大きさである場合に、合成用画像取得部１３は、合成用画像の取得に際して、基準位置Ｆから処理対象領域Ｌにおける当該合成用画像が配置される位置までの距離に応じた再生速度及び／又はサイズが設定された合成用画像を取得することとしてもよい。

処理対象領域Ｌの大きさが加工対象画像の大きさに対して所定以上の大きさを有する場合に、同一の合成用画像Ｃを処理対象領域Ｌの全面にわたって配列して合成すると、同一の態様の泡が処理対象領域Ｌの全面に一様に発生しているような不自然な画像が出力されることとなる。このような不自然さを防止するために、合成部１４による合成用画像Ｃの処理対象領域Ｌに対する仮の配置を実施した後に、合成用画像取得部１３は、基準位置Ｆから一の合成用画像Ｃの配置位置までの距離に応じた合成用画像の属性を、基準位置からの距離と合成用画像の属性とを対応付けたテーブル（図７参照）を参照して取得する。そして、取得された属性に該当する合成用画像を合成用画像取得部１３が取得し、合成部１４は、再取得された合成用画像を当該配置位置に合成する。

また、処理対象領域Ｌの大きさが加工対象画像の大きさに対して所定以上の大きさである場合に、合成部１４は、加工対象画像における基準位置Ｆから処理対象領域Ｌにおける当該合成用画像が配置される位置までの距離に応じた重畳回数に従って、当該合成用画像を処理対象領域に重畳合成することとしてもよい。

即ち、合成部１４による合成用画像Ｃの処理対象領域Ｌに対する仮の配置を実施した後に、合成部１４は、基準位置Ｆから一の合成用画像Ｃの配置位置までの距離に応じた重畳回数を、基準位置からの距離とオーバーレイ処理における重畳回数とを対応付けたテーブル（図７参照）を参照して取得する。そして、合成部１４は、取得された重畳回数に従って、合成用画像を当該配置位置に合成する。

このように、処理対象領域Ｌの大きさが加工対象画像の大きさに対して所定以上の大きさである場合であっても、料理画像における火元位置に想定される基準位置Ｆからの距離に応じた合成用画像の選択及び合成を実施することにより、泡の発生といった液体の動きが不自然でない好適な合成用画像が得られる。

また、具材と汁を含む料理が加熱されているときには、汁の具材近傍部分では、具材から一定以上離れている部分より泡の生成が遅いことに鑑みて、処理対象領域Ｌにおける具材近傍の領域に合成される合成用画像に対して所定の重み付けをすることができる。具体的には、合成部１４による合成用画像Ｃの処理対象領域Ｌに対する仮の配置を実施した後に、合成用画像取得部１３は、処理対象領域Ｌにおける当該合成用画像が配置される位置が処理対象領域の縁部から所定の距離以内である場合に、当該合成用画像における再生速度及び／又はサイズに対して所定の重み付けが加えられた合成用画像を取得する。例えば、合成用画像取得部１３は、仮配置されていた合成用画像よりも、再生時素材長が大きい合成用画像を合成用画像記憶部２１から取得する。そして、合成部１４は、再取得された合成用画像を当該配置位置に合成する。

また、合成部１４は、当該合成用画像を合成する際の重畳回数に対して所定の重み付けを加えることとしてもよい。具体的には、合成部１４による合成用画像Ｃの処理対象領域Ｌに対する仮の配置を実施した後に、合成部１４は、処理対象領域Ｌの縁部から所定の距離以内に配置された合成用画像に対して、所定量の重みを付加したオーバーレイ合成における重畳回数を設定し、設定した重畳回数に従って当該合成用画像の合成を実施する。このように、処理対象領域Ｌの具材近傍の領域に適切な重みが付されて合成用画像が合成されるので、処理対象領域の縁部における液体の動きが適切に表された画像が得られる。

次に、図１２を参照して、本実施形態の画像生成方法について説明する。図１２は、図１に示した画像生成装置１における画像生成方法の処理内容の例を示すフローチャートである。

まず、取得部１１は、加工対象の静止画像である加工対象画像を取得する（Ｓ１）。次に、領域情報取得部１２は、ユーザからの画像の合成モードの選択を受け付ける（Ｓ２）。即ち、明度付与アルゴリズム（第１の合成処理）及びオーバーレイ合成（第２の合成処理）のいずれの処理方法により合成するかの選択が受け付けられる。なお、図１２に示すフローチャートでは、ユーザから合成モードの選択を明示的に受け付けることとしているが、合成部１４により自動的に合成モードが選択されることとしてもよい。

続いて、領域情報取得部１２は、加工対象画像内における処理対象領域の指定を受け付ける（Ｓ３）。次に、合成用画像取得部１３は、加工対象画像における処理対象領域Ｌを示すマスクを生成する（Ｓ４）。そして、合成用画像取得部１３は、抽出された各処理対象領域Ｌの基準位置Ｆからの距離及び大きさといったパラメータを算出及び取得する（Ｓ５）。ここで、合成用画像取得部１３は、合成用画像の特徴を示すパラメータのユーザによる指定をさらに受け付けることとしてもよい（Ｓ６）。次に、合成用画像取得部１３は、処理対象領域をパラメータに基づき分類し、パラメータに応じた合成用画像を仮決定して、合成用画像記憶部２１から取得する（Ｓ７）。なお、合成モードとしてオーバーレイ合成が選択されている場合には、合成用画像取得部１３は、処理対象領域のパラメータに応じた重畳回数も取得する。

合成モードとしてオーバーレイ合成が選択されている場合には、処理手順はステップＳ８に進められる。一方、合成モードとして明度付与アルゴリズムによる合成が選択されている場合には、処理手順はステップＳ１２に進められる。

ステップＳ８において、合成部１４は、ステップＳ７において取得された合成用画像を処理対象領域に合成するために仮配置する（Ｓ８）。また、合成部１４は、ステップＳ７において取得した重畳回数も仮決定する。ここで、例外処理を実施すべき領域があるか否かが判定される（Ｓ９）。例外処理の一つは、加工対象画像の大きさに対して所定以上の大きさを有する処理対象領域が存在する場合に、加工対象画像における基準位置Ｆからの距離に応じた再生速度及びサイズを有する合成用画像を合成する処理である。また、その他の例外処理は、処理対象領域の縁部に合成される合成用画像に所定に重み付けを施す処理である。例外処理を実施すべき領域があると判定された場合には、合成用画像取得部１３及び合成部１４は、例外処理を実施する（Ｓ１０）。そして、合成部１４は、ステップＳ１０における例外処理を含めて、処理対象領域に対して合成用画像をオーバーレイ合成する合成処理を実施する（Ｓ１１）。

一方、ステップＳ１２において、合成部１４は、ステップＳ７において取得された合成用画像を処理対象領域に合成するために仮配置する（Ｓ１２）。ここで、ステップＳ９と同様に例外処理を実施すべき領域があるか否かが判定される（Ｓ１３）。例外処理を実施すべき領域があると判定された場合には、合成用画像取得部１３及び合成部１４は、例外処理を実施する（Ｓ１４）。そして、合成部１４は、ステップＳ１４における例外処理を含めて、明度付与アルゴリズムによる、処理対象領域に対する合成用画像の合成処理を実施する（Ｓ１５）。

ステップＳ１６において、ユーザからの指示に基づき、又はシステムにより自動的に、合成処理により得られた画像に対して色調等の調整処理が行われることとしてもよい（Ｓ１６）。また、ステップＳ１６において、画像に対して音声が付加される処理を実施できる。そして、出力部１５は、合成部１４により合成用画像が合成された加工対象画像を出力する（Ｓ１７）。

次に、図１３を参照して、コンピュータを画像生成装置１として機能させるための画像生成プログラムを説明する。画像生成プログラムＰ１は、メインモジュールｍ１０、取得モジュールｍ１１、領域情報取得モジュールｍ１２、合成用画像取得モジュールｍ１３、合成モジュールｍ１４及び出力モジュールｍ１５を備える。

メインモジュールｍ１０は、画像生成処理を統括的に制御する部分である。取得モジュールｍ１１、領域情報取得モジュールｍ１２、合成用画像取得モジュールｍ１３、合成モジュールｍ１４及び出力モジュールｍ１５を実行することにより実現される機能はそれぞれ、図１に示される画像生成装置１の取得部１１、領域情報取得部１２、合成用画像取得部１３、合成部１４及び出力部１５の機能と同様である。

画像生成プログラムＰ１は、例えば、ＣＤ−ＲＯＭやＤＶＤ、ＲＯＭ等の記憶媒体１Ｄまたは半導体メモリによって提供される。また、画像生成プログラム１Ｐは、搬送波に重畳されたコンピュータデータ信号として通信ネットワークを介して提供されてもよい。

以上説明した本実施形態の画像生成装置１、画像生成方法及び画像生成プログラムＰ１によれば、加工対象画像内において処理対象領域Ｌが受け付けられ、処理対象領域Ｌの特徴を示すパラメータに関連付けられた合成用画像の属性に基づき取得された合成用画像が処理対象領域Ｌに合成される。これにより、静止画像である場合を含む加工対象画像の一部である処理対象領域に、動きを伴う液体が表された合成用画像Ｃが合成されるので、例えば、加熱状態ではない料理の静止画像における静止状態の液体が表された領域に、動きを伴う液体の画像を合成できる。従って、加熱状態ではないため美味しそうに見える状態にある具材と、動きを伴うため美味しそうに見える状態にある液体と、が表された料理画像を得ること可能となる。また、液体の動きに影響を与える特徴パラメータに基づき合成用画像が取得されるので、処理対象領域Ｌに液体の動きの特徴が表されていることは必ずしも要されない。また、処理対象領域Ｌの指定といった容易な入力のみに基づき、処理対象領域Ｌの特徴に基づく適切な合成用画像Ｃがコンピュータにより取得されるので、具材及び液体の両方が美味しそうに見える料理画像を容易に得ることができる。

（第２実施形態）
図１４は、第２実施形態に係る画像生成装置１Ａ（動画生成装置）の機能的構成を示すブロック図である。画像生成装置１Ａは、料理を表した画像を加工対象画像として、加工対象画像におけるオブジェクトが表されたオブジェクト領域を特定する領域情報を取得して、オブジェクトが振動しているように表示される動画を生成する装置である。本実施形態では、野菜や肉等の具材及び汁が表された料理画像のうちの具材が表された領域をオブジェクト領域として、加熱により具材が振動されている様子を示す動画が生成される例を説明する。なお、本実施形態では、料理を表した静止画像を加工対象画像としているが、動きが少ない具材の動画像を含む料理画像を加工対象画像としてもよい。

画像生成装置１Ａは、機能的には、画像生成装置１が有している取得部１１（画像取得手段）、領域情報取得部１２Ａ（領域情報取得手段）、合成用画像取得部１３、合成部１４、出力部１５（出力手段）、設定部１６（設定手段）及び生成部１７（生成手段）を備える。また、設定部１６は、形状分類テーブル記憶部２２といった記憶手段にアクセス可能である。

取得部１１は、加工対象の画像である加工対象画像を取得する部分である。第１実施形態において示したように、取得部１１は、図３に示したような、野菜及び肉等の具材及び汁を含む鍋料理を表した料理画像が加工対象画像として取得する。

領域情報取得部１２Ａは、加工対象画像内における処理対象のオブジェクトが表されたオブジェクト領域を特定する領域情報を取得する部分である。本実施形態では、領域情報取得部１２Ａは、ユーザによるオブジェクト領域の指定を領域情報として受け付ける。オブジェクト領域の指定の受け付けについて、図４を参照して説明する。第１実施形態において説明したように、領域情報取得部１２Ａは、処理対象領域を受け付け可能であると共に、具材が表された領域であるオブジェクト領域の指定を受け付けることができる。例えば、領域情報取得部１２Ａは、具材が表された部分に対するユーザによる線の入力に基づき、具材が表されたオブジェクト領域Ｓの指定を受け付ける。図４では、オブジェクト領域Ｓを指定するための線は、１点破線により示されている。なお、領域情報取得部１２Ａは、例えば、画像の色情報を用いた領域分割といった周知の画像処理技術により特定されたオブジェクト領域を領域情報として取得することとしてもよい。

設定部１６は、領域情報取得部１２Ａにより受け付けられたオブジェクト領域Ｓの形状に基づき、オブジェクトにおける固定制御点、振動制御点及び振動方向を設定する部分である。オブジェクト領域Ｓの形状は、ユーザによる指定又は周知の画像処理により得られる。固定制御点及び振動制御点はそれぞれ、オブジェクトが振動しているように表示される動画を生成する際に、位置が固定される部分及び固定制御点に対して振動される部分を示す。振動方向は、振動制御点が固定制御点に対して振動される方向を示す。設定部１６は、形状分類テーブル記憶部２２を参照して、これらの設定を行う。

また、設定部１６は、オブジェクトについての変形及び非変形のいずれかの属性の指定をユーザから受け付け、変形の属性を受け付けた場合に、オブジェクト領域に対して固定制御点、振動制御点及び振動方向を設定する。

形状分類テーブル記憶部２２は、オブジェクトの形状と、固定制御点、振動制御点及び振動方向とを対応付けて記憶している記憶手段である。図１５は、形状分類テーブル記憶部２２の構成及び記憶されているデータの例を示す図である。図１５に示すように、形状分類テーブル記憶部２２は、形状タイプＩＤごとに、各種のオブジェクトの形状、固定制御点、振動制御点及び振動方向を対応付けて記憶している。図１５のテーブルにおいて、
固定制御点は×印、振動制御点は丸印、振動方向は矢印で示されている。

図１６は、領域情報取得部１２Ａにより受け付けられたオブジェクト領域Ｓ及びその形状Ｒの例を示す図である。本実施形態では、変形又は非変形といったオブジェクトの属性、及びオブジェクト領域Ｓの形状は、ユーザにより指定されることとする。図１７は、オブジェクト領域Ｓごとに指定された変形又は非変形の属性及び形状タイプを記憶するテーブル示す図である。

図１６（ａ）に示す例では、領域情報取得部１２Ａは、春菊といった葉野菜をオブジェクトとして、オブジェクト領域Ｓ_１の指定を受け付ける。そして、設定部１６は、葉野菜は加熱時に形状が変形するオブジェクトであるので、「変形」の属性指定をユーザから受け付けると共に、オブジェクト領域Ｓ_１の形状Ｒ_１に基づき、形状テーブル（図１５）に記憶されている形状タイプのうちの形状タイプＩＤ「１」の指定を受け付ける。ユーザからの指定の受け付けに応じて、設定部１６は、図１７に示すテーブルに、オブジェクト領域Ｓ_１の領域ＩＤ「１」に対応付けて、属性「変形」及び形状タイプ「１」を記憶させる。そして、設定部１６は、形状分類テーブルにおいて形状タイプＩＤ「１」の形状に対応付けられている固定制御点、振動制御点及び振動方向に従って、オブジェクト領域Ｓ_１に対して固定制御点、振動制御点及び振動方向を設定する。

図１６（ｂ）に示す例では、領域情報取得部１２Ａは、しいたけをオブジェクトとして、オブジェクト領域Ｓ_２の指定を受け付ける。そして、設定部１６は、しいたけは加熱時に形状が変形しないオブジェクトであるので、「非変形」の属性指定をユーザから受け付ける。設定部１６は、図１７に示すテーブルに、オブジェクト領域Ｓ_２の領域ＩＤ「２」に対応付けて、属性「非変形」を記憶させる。そして、設定部１６は、オブジェクト領域Ｓ_２の属性が非変形であるので、固定制御点、振動制御点及び振動方向の設定を行わない。

図１６（ｃ）に示す例では、領域情報取得部１２Ａは、長ネギといった野菜をオブジェクトとして、オブジェクト領域Ｓ_３の指定を受け付ける。そして、設定部１６は、長ネギは加熱時に形状が変形するオブジェクトであるので、「変形」の属性指定をユーザから受け付けると共に、オブジェクト領域Ｓ_３の形状Ｒ_３に基づき、形状テーブル（図１５）に記憶されている形状タイプのうちの形状タイプＩＤ「３」の指定を受け付ける。ユーザからの指定の受け付けに応じて、設定部１６は、図１７に示すテーブルに、オブジェクト領域Ｓ_３の領域ＩＤ「３」に対応付けて、属性「変形」及び形状タイプ「３」を記憶させる。そして、設定部１６は、形状分類テーブルにおいて形状タイプＩＤ「３」の形状に対応付けられている固定制御点、振動制御点及び振動方向に従って、オブジェクト領域Ｓ_３に対して固定制御点、振動制御点及び振動方向を設定する。

図１８は、オブジェクト領域Ｓに固定制御点、振動制御点及び振動方向を設定するための矩形領域の設定の例を示す図である。図１８（ａ）は、領域情報取得部１２Ａにより受け付けられたオブジェクト領域Ｓ_０を示す図である。設定部１６は、オブジェクト領域Ｓ_０に固定制御点等の設定を行うために、例えば主成分分析といった手法によりオブジェクト領域Ｓ_０の長手方向を算出し、長手方向に直交する短手方向を算出する。図１８（ｂ）は、オブジェクト領域Ｓ_０に対して算出された長手方向（Ｘ軸方向）及び短手方向（Ｙ軸方向）を示す図である。そして、設定部１６は、図１８（ｃ）に示すように、長手方向及び短手方向のそれぞれに平行な辺を有しオブジェクト領域Ｓ_０が内接する矩形領域Ｒ_０を設定する。設定部１６は、形状分類テーブル（図１５参照）を参照して、選択された形状タイプに応じた固定制御点等を、矩形領域Ｒ_０に対して設定する。

再び図１４を参照して、生成部１７は、設定部１６により設定された固定制御点、振動制御点及び振動方向に応じて、オブジェクトが振動しているように表示される動画を生成する部分である。図１９は、領域情報取得部１２Ａにより受け付けられたオブジェクト領域Ｓ（図１６参照）ごとの振動の様子を模式的に示す図である。

図１９（ａ）に示すように、生成部１７は、図１６（ａ）に示した葉野菜のオブジェクト領域Ｓ_１に対して、×印で示される固定制御点が固定された状態で、丸印で示される振動制御点が矢印で示される方向に振動するように表示される動画を生成する。

また、図１９（ｂ）に示すように、生成部１７は、図１６（ｂ）に示したしいたけのオブジェクト領域Ｓ_２に対して、オブジェクトの形状を保ったまま、矢印で示すように上下左右に振動するように表示される動画を生成する。

また、図１９（ｃ）に示すように、生成部１７は、図１６（ｃ）に示した長ネギのオブジェクト領域Ｓ_３に対して、×印で示される固定制御点が固定された状態で、丸印で示される振動制御点が矢印で示されるように上下方向に振動するように表示される動画を生成する。

なお、生成部１７は、振動制御点の振動の大きさを、例えば、オブジェクト領域の大きさに応じて設定する。具体的には、オブジェクト領域Ｓの大きさを振動の大きさの対応付けを予め設定されていることとすると、生成部１７は、オブジェクト領域Ｓの大きさを、例えば画素数に基づき取得し、取得した画素数に応じた振動の大きさを当該オブジェクト領域Ｓに対して設定することができる。例えば、オブジェクト領域の大きさが大きいほど、振動の大きさが小さくなるように設定されることとしてもよい。

また、第１実施形態において説明したように、汁等の液体が表された領域を処理対象領域とする指定を受け付けて、処理対象領域の特徴を示すパラメータに基づき、泡の発生等の動きを伴う液体の動画である合成用画像を取得し、取得された合成用画像が処理対象領域に合成される場合に、生成部１７は、オブジェクト領域Ｓから所定距離以内の近傍位置の処理対象領域に合成された合成用画像の属性に応じて、オブジェクトの振動の大きさを制御することとしてもよい。例えば、生成部１７は、オブジェクト領域Ｓの近傍位置に合成される合成用画像のサイズが大きいほど、又は再生速度が速いほど、当該オブジェクト領域Ｓの振動の大きさが大きくなるような動画を生成することとしてもよい。

出力部１５は、生成部１７により生成された、オブジェクト領域Ｓ振動しているように表示された動画が合成された加工対象画像を出力する。具体的には、出力部１５は、図４において指定したオブジェクト領域Ｓの各々が、図１９を参照して説明したように振動しているように表示された動画が合成された加工対象画像を出力する。

次に、図２０を参照して、第２実施形態の画像生成方法について説明する。図２０は、図１４に示した画像生成装置１における画像生成方法の処理内容の例を示すフローチャートである。

まず、取得部１１は、加工対象の静止画像である加工対象画像を取得する（Ｓ３１）。次に、領域情報取得部１２Ａは、例えば、料理画像における具材が表されたオブジェクト領域Ｓの指定を受け付ける（Ｓ３２）。ここで、領域情報取得部１２Ａは、オブジェクト領域Ｓごとに、変形又は非変形といった属性、及び形状のタイプの指定を受け付ける。そして、加工対象画像におけるオブジェクト領域Ｓを示すマスクが生成される（Ｓ３３）。

オブジェクト領域Ｓの属性として「変形」が設定された場合には、処理手順はステップＳ３５に進められる。一方、オブジェクト領域Ｓの属性として「非変形」が設定された場合には、処理手順はステップＳ３４に進められる。

ステップＳ３４において、設定部１６は、オブジェクト領域Ｓの大きさ及び当該オブジェクト領域Ｓの周辺に合成される泡画像（合成用画像）の属性に基づき振動の大きさを設定する（Ｓ３４）。

一方、ステップＳ３５において、設定部１６は、オブジェクト領域Ｓの形状のタイプに基づき、固定制御点、振動制御点及び振動方向を設定する（Ｓ３５）。さらに、設定部１６は、オブジェクト領域Ｓの大きさ及び当該オブジェクト領域Ｓの周辺に合成される泡画像（合成用画像）の属性に基づき振動の大きさを設定する（Ｓ３６）。

次に、生成部１７は、オブジェクト領域Ｓが振動しているように表示される動画を生成し、その動画を加工対象画像に合成する（Ｓ３７）。そして、出力部１５は、振動しているように表示されたオブジェクト領域Ｓが合成された合成画像を出力する（Ｓ３８）。

なお、図１３に示された画像生成プログラムＰ１に含まれる各モジュールに加えて、設定部１６の機能を実現させる設定モジュール、生成部１７の機能を実現させる生成モジュールを画像生成プログラムＰ１が備えることにより、コンピュータを画像生成装置１Ａ（図１４参照）として機能させるための画像生成プログラムが構成される。

以上説明した第２実施形態の画像生成装置１Ａ、画像生成方法及び画像生成プログラムによれば、加工対象画像内においてオブジェクト領域Ｓを特定する領域情報が取得され、オブジェクト領域Ｓにおいて設定された固定制御点、振動制御点及び振動方向に応じてオブジェクトが振動しているように表示される動画が生成される。その動画が加工対象画像に合成されることにより、例えば、加熱状態ではない料理の静止画像における具材をオブジェクトとして振動させるように表示させることができる。従って、加熱状態ではないために色及び形状といった観点で美味しそうに見える状態にある具材が表された領域に対して、加熱状態のような動きを付加することができるので、具材及び液体の両方が美味しく見える料理画像を得ることが可能となる。また、具材が表された領域をオブジェクト領域として指定するといった容易な入力のみに基づき、具材が表されたオブジェクト領域が振動するように表されるので、具材及び液体の両方が美味しそうに見える料理画像を容易に得ることができる。

以上、本発明をその実施形態に基づいて詳細に説明した。しかし、本発明は上記実施形態に限定されるものではない。本発明は、その要旨を逸脱しない範囲で様々な変形が可能である。

また、本発明は、冷めたハンバーグの写真に対して、ハンバーグ周囲の油が表された領域に、泡が発生している様子を表す合成用画像を合成することにより、ハンバーグが焼かれている途中又は焼いた直後の様子を表現することに適用できる。また、本発明は、冷えた焼き魚の写真に対して、魚の表面の領域に泡が発生している様子を表す合成用画像を合成することにより、焼かれた直後の状態を表現することに適用できる。なお、処理対象領域は、ユーザが指定した領域であればいかなる領域でもよく、液体が表された領域に限定されない。

１，１Ａ…画像生成装置、１１…取得部、１２，１２Ａ…領域情報取得部、１３…合成用画像取得部、１４…合成部、１５…出力部、１６…設定部、１７…生成部、２１…合成用画像記憶部、２２…形状分類テーブル記憶部、Ｃ…合成用画像、Ｆ…基準位置、Ｌ…処理対象領域、１Ｄ…記憶媒体、１Ｐ…画像生成プログラム、ｍ１０…メインモジュール、ｍ１１…取得モジュール、ｍ１２…領域指定受付モジュール、ｍ１３…合成用画像取得モジュール、ｍ１４…合成モジュール、ｍ１５…出力モジュール、Ｐ１…画像生成プログラム、Ｓ…オブジェクト領域。

Claims (7)

1. 加工対象の画像である加工対象画像を取得する画像取得手段と、
   前記加工対象画像内における処理対象のオブジェクトが表されたオブジェクト領域を特定する領域情報を取得する領域情報取得手段と、
   オブジェクトの形状と、該オブジェクトが振動される際に位置が固定される部分を示す固定制御点、該固定制御点に対して振動される部分を示す振動制御点及び該振動制御点が振動される方向を示す振動方向とを対応付けて記憶している記憶手段を参照して、前記領域情報により特定されるオブジェクト領域の形状に基づき、前記オブジェクトにおける固定制御点、振動制御点及び振動方向を設定する設定手段と、
   前記設定手段により設定された固定制御点、振動制御点及び振動方向に応じて、前記オブジェクトが振動しているように表示される動画を生成する生成手段と、
   を備える動画生成装置。
2. 前記記憶手段において、オブジェクトの形状を表す矩形状の領域に対して、前記固定制御点、前記振動制御点及び前記振動方向が対応付けられて記憶されており、
   前記設定手段は、所定の画像処理により求められた前記オブジェクト領域の長手方向及び該長手方向に直交する短手方向のそれぞれに平行な辺を有し前記オブジェクト領域が内接する矩形領域を設定し、前記記憶手段を参照して、該矩形領域に対して前記固定制御点、前記振動制御点及び前記振動方向を設定する、
   請求項１に記載の動画生成装置。
3. 前記設定手段は、前記オブジェクトについての変形及び非変形のいずれかの属性の指定をユーザから受け付け、前記変形の属性を受け付けた場合に、前記オブジェクト領域に対して前記固定制御点、前記振動制御点及び前記振動方向を設定し、
   前記生成手段は、
   前記設定手段において前記変形の属性を受け付けた場合に、前記設定手段により設定された固定制御点、振動制御点及び振動方向に応じて、前記オブジェクトが振動しているように表示される動画を生成し、
   前記設定手段において前記非変形の属性を受け付けた場合に、前記オブジェクト領域の形状を保ちながら前記オブジェクトが振動しているように表示される動画を生成する、
   請求項１または２に記載の動画生成装置。
4. 前記生成手段は、前記オブジェクト領域の大きさに応じて、前記オブジェクトの振動の大きさを制御する、
   請求項１〜３のいずれか一項に記載の動画生成装置。
5. 前記領域情報取得手段は、前記加工対象画像内における、前記オブジェクト領域以外の領域であって動きを伴う液体が表された動画である合成用画像を合成する処理対象領域を取得し、
   当該動画生成装置は、
   前記領域情報取得手段により取得された処理対象領域の特徴を示すパラメータに基づき、前記合成用画像を取得する合成用画像取得手段と、
   前記合成用画像取得手段により取得された合成用画像を前記処理対象領域に合成する合成手段と、を更に備え、
   前記生成手段は、前記オブジェクト領域から所定距離以内の近傍位置の前記処理対象領域に合成された前記合成用画像の属性に応じて、前記オブジェクトの振動の大きさを設定する、
   請求項１〜４のいずれか一項に記載の動画生成装置。
6. コンピュータにより実行される動画生成方法であって、
   加工対象の画像である加工対象画像を取得する画像取得ステップと、
   前記加工対象画像内における処理対象のオブジェクトが表されたオブジェクト領域を特定する領域情報を取得する領域情報取得ステップと、
   オブジェクトの形状と、該オブジェクトが振動される際に位置が固定される部分を示す固定制御点、該固定制御点に対して振動される部分を示す振動制御点及び該振動制御点が振動される方向を示す振動方向とを対応付けて記憶している記憶手段を参照して、前記領域情報により特定されるオブジェクト領域の形状に基づき、前記オブジェクトにおける固定制御点、振動制御点及び振動方向を設定する設定ステップと、
   前記設定ステップにおいて設定された固定制御点、振動制御点及び振動方向に応じて、前記オブジェクトが振動しているように表示される動画を生成する生成ステップと、
   を有する動画生成方法。
7. コンピュータに、
   加工対象の画像である加工対象画像を取得する画像取得機能と、
   前記加工対象画像内における処理対象のオブジェクトが表されたオブジェクト領域を特定する領域情報を取得する領域情報取得機能と、
   オブジェクトの形状と、該オブジェクトが振動される際に位置が固定される部分を示す固定制御点、該固定制御点に対して振動される部分を示す振動制御点及び該振動制御点が振動される方向を示す振動方向とを対応付けて記憶している記憶手段を参照して、前記領域情報により特定されるオブジェクト領域の形状に基づき、前記オブジェクトにおける固定制御点、振動制御点及び振動方向を設定する設定機能と、
   前記設定機能により設定された固定制御点、振動制御点及び振動方向に応じて、前記オブジェクトが振動しているように表示される動画を生成する生成機能と、
   を実現させる動画生成プログラム。
   

Images