JP7409172B2

JP7409172B2 - 画像生成システム

Info

Publication number: JP7409172B2
Application number: JP2020043322A
Authority: JP
Inventors: 賢人渡邊; 大輔宮本
Original assignee: Dai Nippon Printing Co Ltd
Current assignee: Dai Nippon Printing Co Ltd
Priority date: 2020-03-12
Filing date: 2020-03-12
Publication date: 2024-01-09
Anticipated expiration: 2040-03-12
Also published as: JP2021144529A

Description

本発明は、画像生成システムに関する。

デジタルカメラやスマートフォン等のカメラには、撮影画像の中にある人間の顔を認識する顔認識システムが搭載されている。例えば、顔認識システムは、顔情報のデータベースと、画面内にある顔と思われる物体を照合し、眉、目、鼻、口といったパーツと輪郭の位置関係からその物体が顔なのかどうかを判断している。

従来、顔認識システムは、撮影時に顔を認識して顔に焦点を合わせる処理や、表情を認識して笑顔になった時にシャッターを切る処理などに活用されていた。

このような顔認識の機能を用いて、面白みのある画像を作成することが求められている。

特開２０１８－６８４７０号公報特開２００４－４６５９１号公報

本発明は、被写体を撮影し、面白みのある画像を生成できる画像生成システムを提供することを課題とする。

本発明による画像生成システムは、ユーザの顔を動画撮影した動画データを取得する画像取得部と、前記動画データにおいて前記ユーザの口又は鼻が物体により隠れたタイミングで前記動画データから静止画を切り出す切出部と、を備えるものである。

本発明の一態様では、前記動画データに含まれる複数のフレーム画像の各々について、前記フレーム画像内の前記ユーザの口及び鼻の位置の情報を含む解析結果を取得する解析結果取得部をさらに備え、前記切出部は、前記解析結果を参照し、前記口及び鼻の位置の変化に基づいて、前記タイミングを決定する。

本発明の一態様では、前記解析結果は、前記ユーザの口の両端の位置の情報を含み、前記切出部は、鼻から口の両端までの距離、及び口の両端の間の距離の変化に基づいて、前記タイミングを決定する。

本発明の一態様では、前記解析結果は、前記ユーザの目の位置の情報を含み、前記切出部は、さらに、前記目の位置の変化に基づくタイミングで前記動画データから静止画を切り出す。

本発明の一態様では、前記動画データは、ガムを膨らませる前記ユーザを動画撮影したものであり、前記解析結果は、前記フレーム画像内のガム領域の位置情報を含み、前記切出部は、前記ガム領域の位置情報からガム領域の大きさを算出し、算出した値が所定値以上となったタイミングで前記動画データからさらに静止画を切り出す。

本発明によれば、被写体を撮影し、面白みのある画像を生成できる。

本発明の実施形態に係る画像生成システムの概略図である。図２ａ～図２ｆは画像の切り出しタイミングの例を示す図である。画像生成装置のブロック図である。画像処理プログラムによる機能のブロック図である。鼻と口の座標を示す図である。膨らんだガムの大きさの算出例を示す図である。別の実施形態に係る画像生成システムの概略図である。

以下、本発明の実施の形態を図面に基づいて説明する。

図１に示すように、本発明の実施形態に係る画像生成システムは、画像生成装置１と解析サーバ２とを備え、ユーザ５を動画撮影し、動画から面白い瞬間で画像（静止画）を切り出し、面白みのある画像を生成する。

例えば、この画像生成システムをチューインガム（風船ガム）のキャンペーンで使用し、ユーザ５（顧客）に新製品のガムを配布して試食してもらい、ガムを膨らませる様子の動画を画像生成装置１で撮影する。画像生成装置１は、１又は複数のタイミングで動画から画像を切り出す。

図２ａは、ガムを膨らませる前の状態を示す。図２ｂに示すように、ガム７が膨らんで口が隠れたタイミングで１枚目の画像を切り出す。ガム７が大きく膨らみ、図２ｃに示すように、口及び鼻が隠れたタイミングで２枚目の画像を切り出す。

さらにガム７が大きく膨らみ、図２ｄに示すように、膨らんだガム７が所定サイズに達したタイミングで３枚目の画像を切り出す。次に、図２ｅに示すように、ガム７が破裂して形状が大きく変化したタイミングで４枚目の画像を切り出す。続いて、図２ｆに示すように、ガム７の破裂に驚き、ユーザが目をつぶるなどして表情が変化したタイミングで５枚目の画像を切り出す。

このように、画像生成装置１は、ユーザ５を撮影した動画から面白い瞬間で画像を切り出し、面白みのある画像を生成する。切り出した画像は、ユーザ５のメールアドレス宛にデータ送信したり、キャンペーンサイトに投稿したり、プリント出力してプリント物Ｐをユーザ５に渡したりする。

図３に示すように、画像生成装置１は、演算制御部１０、記憶部１１、通信部１２、撮影部１３、タッチパネル１４及びプリンタ１５を備える。例えば、演算制御部１０はＣＰＵであり、記憶部１１はＲＡＭ、ＨＤＤ、ＳＳＤ等である。撮影部１３はデジタルカメラであり、ユーザ５を動画撮影し、動画データを生成する。画像生成装置１は、演算制御部１０、記憶部１１及び通信部１２を有するコンピュータと、撮影部１３と、タッチパネル１４と、プリンタ１５とが１つの筐体に収容されたものである。

記憶部１１には画像処理プログラムが格納されている。演算制御部１０が画像処理プログラムを実行することで、図４に示すように、画像取得部１０１、画像送信部１０２、解析結果取得部１０３、切出部１０４、表示処理部１０５及びプリント処理部１０６の機能が実現される。

画像取得部１０１は、撮影部１３から、ユーザ５を撮影した動画データを取得する。動画データは記憶部１１に格納される。

画像送信部１０２は、通信部１２を用いて、動画データを解析サーバ２へ送信する。

解析サーバ２は、画像生成装置１から受信した動画データの画像解析を行うコンピュータである。画像解析では、撮影画像に写っているユーザ５の顔の目、鼻、口の位置を検出する。目の位置は両目（右目及び左目）の位置を含む。口の位置は、口の両端（右端及び左端）の位置を含む。また、解析サーバ２には、膨らんだガム７の色が事前に登録されており、解析サーバ２は、撮影画像内のガム領域を検出する。

ガム７が膨らむことで口や鼻が隠れた場合、解析サーバ２は、ガム７で隠れた口や鼻について、不明（検出不能）と判定する場合と、目や耳など他のパーツの位置を用いて口や鼻の位置を推定する場合とがある。

解析サーバ２は、動画データを構成する複数のフレーム画像の各々について画像解析を行い、目、鼻、口の位置の検出や、ガム領域の検出を行い、解析結果を画像生成装置１へ送信する。

画像生成装置１の解析結果取得部１０３は、通信部１２を用いて、解析サーバ２から解析結果を取得する。解析結果には、動画データの各フレーム画像について、目、鼻、口の位置情報やガム領域の位置情報が含まれる。

切出部１０４は、解析サーバ２による解析結果を用いて、動画から画像を切り出す。例えば、解析サーバ２が、口や鼻がガムで隠れた際に不明と判定する場合、切出部１０４は、解析結果で口が不明となったタイミングで動画から画像を切り出す。これにより、図２ｂに示すような画像が生成される。また、切出部１０４は、解析結果で鼻が不明となったタイミングで動画から画像を切り出す。これにより、図２ｃに示すような画像が生成される。

解析サーバ２が、ガムで隠れた口や鼻の位置を推定する場合、解析結果には口や鼻の位置が常に含まれている。切出部１０４は、鼻から口の両端までの距離、及び口の両端の間の距離を用いて、口や鼻がガムで隠れたか否か判断し、画像を切り出すタイミングを決定する。

例えば、解析結果には、図５に示すように、鼻の座標（Ｘ１、Ｙ１）、口の両端の座標（Ｘ２、Ｙ２）（Ｘ３、Ｙ３）が含まれている。口が隠れた場合、口の両端の座標は推定値となり、座標が変動する。また、鼻が隠れた場合、鼻の座標は推定値となり、座標が変動する。

切出部１０４は、鼻から口の両端までの距離、及び口の両端の間の距離として、Ｘ方向、Ｙ方向にそれぞれ以下の評価値Ｅｘ、Ｅｙを算出する。
Ｅｘ＝（Ｘ１－Ｘ２）^２＋（Ｘ２－Ｘ３）^２＋（Ｘ３－Ｘ１）^２
Ｅｙ＝（Ｙ１－Ｙ２）^２＋（Ｙ２－Ｙ３）^２＋（Ｙ３－Ｙ１）^２

切出部１０４は、動画データの各フレーム画像について、時系列順に、解析結果を用いて評価値Ｅｘ、Ｅｙを算出する。切出部１０４は、動画データの初期のフレーム画像、すなわちガムを膨らます前の、鼻や口が見えているタイミングでの画像の評価値Ｅｘ、Ｅｙを基準値に設定する。

切出部１０４は、算出した評価値Ｅｘ、Ｅｙと基準値との差異が、Ｘ方向、Ｙ方向の両方で所定の第１閾値を超えたときに、口が隠れたと判断し、このタイミングで動画から画像を切り出す。これにより、図２ｂに示すような画像が生成される。

また、切出部１０４は、算出した評価値Ｅｘ、Ｅｙと基準値との差異が、Ｘ方向、Ｙ方向の両方で所定の第２閾値（第２閾値＞第１閾値）を超えたときに、口及び鼻が隠れたと判断し、このタイミングで動画から画像を切り出す。これにより、図２ｃに示すような画像が生成される。

切出部１０４は、解析結果に含まれるガム領域の位置情報から、ガム領域の大きさを算出する。例えば、解析結果には、ガム領域の位置情報として、ガム領域のＸ座標の最大値及び最小値、Ｙ座標の最大値及び最小値が含まれる。切出部１０４は、ガム領域の座標を用いて、図６に示すように、ガム領域のＸ方向の寸法Ｌｘ、Ｙ方向の寸法Ｌｙを算出し、ＬｘとＬｙを乗じた値（Ｌｘ×Ｌｙ）をガム領域の大きさとして算出する。

切出部１０４は、算出したガム領域の大きさが所定の閾値以上となったタイミングで動画から画像を切り出す。これにより、図２ｄに示すような画像が生成される。

切出部１０４は、ガム領域の位置情報が一定時間（ごく短時間）の間に所定量以上変化した場合、膨らんでいたガムが破裂したと判断し、このタイミングで動画から画像を切り出す。これにより、図２ｅに示すような画像が生成される。

切出部１０４は、目の座標の変化量から目つぶりを判断し、画像を切り出すタイミングを決定する。例えば、解析結果には、右目の座標（Ｘ_{ｅｙｅＲｔ}、Ｙ_{ｅｙｅＲｔ}）と左目の座標（Ｘ_{ｅｙｅＬｔ}、Ｙ_{ｅｙｅＬｔ}）が含まれている。切出部１０４は、動画データの出だし（初期）のフレーム画像、すなわちガムを膨らます前の画像の解析結果に含まれる右目の座標（Ｘ_{ｅｙｅＲ０}、Ｙ_{ｅｙｅＲ０}）、左目の座標（Ｘ_{ｅｙｅＬ０}、Ｙ_{ｅｙｅＬ０}）を基準値に設定する。

そして、切出部１０４は、以下の式で目の座標の変化量を算出し、算出した変化量が所定の閾値を超えると、目つぶりしたと判断し、このタイミングで動画から画像を切り出す。これにより、図２ｆに示すような画像が生成される。
目の座標の変化量＝（Ｘ_{ｅｙｅＲｔ}－Ｘ_{ｅｙｅＲ０}）^２＋（Ｙ_{ｅｙｅＲｔ}－Ｙ_{ｅｙｅＲ０}）^２

上記の式は右目の座標の変化量を算出するものであるが、左目の座標を用いて変化量を算出してもよいし、右目及び左目の両方の座標を用いて変化量を算出してもよい。

表示処理部１０５は、切出部１０４が切り出した画像をタッチパネル１４に表示する。

プリント処理部１０６は、切出部１０４が切り出した画像をプリンタ１５からプリント出力させる。タッチパネル１４に表示された複数の画像のうち、ユーザ５がタッチパネル１４を操作して選択した画像をプリント出力してもよい。

通信部１２は、切出部１０４により切り出された画像をユーザ５のメールアドレス宛にデータ送信できる。また、通信部１２は、切出部１０４により切り出された画像をキャンペーンサイトに投稿できる。

このように、本実施形態によれば、動画から面白い瞬間で画像を切り出し、面白みのある画像を生成できる。

上記実施形態では、画像生成装置１が動画の撮影、及び画像の切り出しを行う例について説明したが、図７に示すように、動画の撮影をユーザ５が所有するスマートフォン等のユーザ端末３で行ってもよい。ユーザ端末３は、撮影した動画をサーバ４へ送信する。

サーバ４は動画を保存すると共に、動画を解析サーバ２へ送信する。サーバ４は、解析サーバ２から解析結果を受信すると、切出部１０４と同様の処理を行い、動画から画像を切り出す。サーバ４は、切り出した画像をユーザ端末３へ送信する。動画から画像を切り出す処理は、ユーザ端末３で行ってもよい。

上記実施形態では、撮影画像を解析し、顔のパーツの位置を検出する解析サーバ２と、動画から画像を切り出す画像生成装置１とが異なるコンピュータである例について説明したが、１つのコンピュータが解析と切り出しを行ってもよい。

上記実施形態では、ガムを膨らませる様子を撮影する例について説明したが、風船など他の物体を膨らませるものであってもよい。また、カメラに向かって面白い表情をし、顔の各パーツの座標の変化から表情が変わるタイミングを決定し、そのタイミングで動画から画像を切り出してもよい。

上記実施形態では、撮影部１３がユーザ５を動画撮影する例について説明したが、静止画を高速連写するものであってもよい。

本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１画像生成装置
２解析サーバ
３ユーザ端末
４サーバ
５ユーザ

Claims

ユーザの顔を動画撮影した動画データを取得する画像取得部と、
前記動画データにおいて前記ユーザの口又は鼻が物体により隠れたタイミングで前記動画データから静止画を切り出す切出部と、
を備える画像生成システム。
前記動画データに含まれる複数のフレーム画像の各々について、前記フレーム画像内の前記ユーザの口及び鼻の位置の情報を含む解析結果を取得する解析結果取得部をさらに備え、
前記切出部は、前記解析結果を参照し、前記口及び鼻の位置の変化に基づいて、前記タイミングを決定することを特徴とする請求項１に記載の画像生成システム。
前記解析結果は、前記ユーザの口の両端の位置の情報を含み、
前記切出部は、鼻から口の両端までの距離、及び口の両端の間の距離の変化に基づいて、前記タイミングを決定することを特徴とする請求項２に記載の画像生成システム。
前記解析結果は、前記ユーザの目の位置の情報を含み、
前記切出部は、さらに、前記目の位置の変化に基づくタイミングで前記動画データから静止画を切り出すことを特徴とする請求項２又は３に記載の画像生成システム。
前記動画データは、ガムを膨らませる前記ユーザを動画撮影したものであり、
前記解析結果は、前記フレーム画像内のガム領域の位置情報を含み、
前記切出部は、前記ガム領域の位置情報からガム領域の大きさを算出し、算出した値が所定値以上となったタイミングで前記動画データからさらに静止画を切り出すことを特徴とする請求項２乃至４のいずれかに記載の画像生成システム。