JP7435052B2

JP7435052B2 - 撮影画像評価システム

Info

Publication number: JP7435052B2
Application number: JP2020041052A
Authority: JP
Inventors: 大輔宮本
Original assignee: Dai Nippon Printing Co Ltd
Current assignee: Dai Nippon Printing Co Ltd
Priority date: 2020-03-10
Filing date: 2020-03-10
Publication date: 2024-02-21
Anticipated expiration: 2040-03-10
Also published as: JP2021145179A

Description

本発明は、撮影画像評価システムに関する。

写真スタジオ（写真館）では、着物やドレスなどの衣装を貸し出し、特設の撮影セットを使用して家族写真などの記念写真を撮影するサービスが提供されている。写真スタジオには様々なテーマに合わせた撮影セットが準備されており、顧客をセットの前に立たせて撮影を行う。カメラマンは、複数の被写体（人物）の各々に表情やポーズを指示しながら、複数回撮影を行う。

撮影後、撮影画像がディスプレイに表示され、顧客が好みの撮影画像を選択する。撮影画像は多数あり、それぞれ僅かな違いしかなく、顧客は撮影画像を選択するのが困難であった。

特開２００５－３１０１０３号公報特開２００５－２７４９５６号公報特開２００３－２７０７１４号公報

本発明は、上記従来の実状に鑑みてなされたものであり、撮影セットを用いて被写体を複数回撮影して生成された複数の撮影画像を評価する撮影画像評価システムを提供することを課題とする。

本発明による撮影画像評価システムは、複数の人物を撮影セットと共に撮影した撮影装置から複数の撮影画像を取得する画像取得部と、前記複数の人物のうち主役となる最も小さい人物の身長の入力を受け付ける身長入力部と、前記撮影セットを用いた撮影において推奨される主役の身長別の顔の向きを示すパラメータが登録された記憶部と、前記主役の身長に対応する前記パラメータと、前記撮影画像に写っている前記複数の人物のうち、目が最も下に位置する人物の顔の向きの解析値とに基づいて、前記複数の撮影画像を評価する評価部と、前記評価部による評価結果に基づく順番で前記複数の撮影画像を表示装置に表示させる表示処理部と、を備えるものである。

本発明の一態様による撮影画像評価システムにおいて、前記パラメータ及び前記解析値は、顔のピッチ角、ヨー角及びロール角の少なくともいずれか１つを含む。

本発明の一態様による撮影画像評価システムにおいて、前記評価部は、前記パラメータと前記解析値との残差平方和を求め、前記表示処理部は、前記残差平方和が小さい順に前記複数の撮影画像を前記表示装置に表示させる。

本発明の一態様による撮影画像評価システムにおいて、前記記憶部は、撮影画像において主役が位置すべき領域を示す位置情報、及び前記領域に含まれる顔の数の推奨値をさらに記憶しており、前記評価部は、前記主役の身長に対応する前記パラメータと、前記撮影画像の前記位置情報が示す領域内で目が最も下に位置する人物の顔の向きの解析値とに基づいて、前記撮影画像の評価値を算出し、前記撮影画像の前記位置情報が示す領域内の顔の数と前記推奨値との差分に基づいて前記評価値を重み付けし、前記表示処理部は、重み付けした前記評価値に基づく順番で前記複数の撮影画像を前記表示装置に表示させる。

本発明によれば、撮影セットを用いて被写体を複数回撮影して生成された複数の撮影画像を評価できる。評価結果を参考にすることで、撮影画像の選定が容易になる。

本発明の実施形態に係る撮影画像評価システムの概略図である。撮影画像評価システムのブロック構成図である。撮影画像評価方法を説明するフローチャートである。画像アップロード画面の例を示す図である。画像アップロード画面の例を示す図である。画像の解析例を示す図である。画像閲覧画面の例を示す図である。画像閲覧画面の例を示す図である。横方向設定領域内の顔の数が所定数の画像の例を示す図である。横方向設定領域内の顔の数が所定数未満の画像の例を示す図である。横方向設定領域内の顔の数が所定数より多い画像の例を示す図である。撮影画像評価方法を説明するフローチャートである。

以下、本発明の実施の形態を図面に基づいて説明する。

図１に示すように、本発明の実施形態に係る撮影画像評価システムは、制御装置１、表示装置２、及びサーバ装置３を備え、写真スタジオ等で撮影された画像を評価するものである。写真スタジオには、撮影用のセットや衣装が多数準備されている。ユーザ（被写体）Ｋは、撮影を行いたい撮影セット５、着用したい衣装等を選択する。カメラマンＣは、撮影セット５の前でユーザＫにポーズをとらせ、デジタルカメラ等の撮影装置４で撮影を行う。

被写体となるユーザＫは複数の人物を含むグループであり、例えば家族である。家族写真を撮影する場合、主役は子供（最も小さい子供）であることが多い。そのため、本実施形態に係る撮影画像評価システムは、子供の写り具合に基づいて画像を評価する。

撮影セット５は、七五三、ひな祭り、洋館、和室など様々なテーマのものが準備されている。

各撮影セット５には、「少し視線を落とす」、「遠くを見上げる」など、好適な顔の向きがあり、カメラマンＣは写りが良くなるように細かくポーズを指示しながら、複数回撮影を行う。

撮影画像評価システムは、撮影装置４で撮影した複数の画像を、子供の顔の向きが撮影セット５に合った方向になっているかに基づいて評価し、ユーザＫに提示する。撮影画像評価システムは、撮影画像内の複数の被写体の顔のうち、目が最も下に位置する顔を子供の顔とみなして検出し、検出した顔の向きで撮影画像を評価する。ユーザＫは、複数の撮影画像から、データやプリント写真を購入したい画像を選定するにあたり、撮影画像評価システムによる評価結果を参考にすることができる。

図２に示すように、制御装置１は、ＣＰＵ（図示略）、記憶部１０（ＲＡＭ、ＨＤＤ、ＳＳＤ等）を備えたコンピュータであり、身長入力部１１、画像取得部１２、画像送信部１３、解析結果受信部１４、評価部１５、表示処理部１６の機能を有する。サーバ装置３は、ＣＰＵ、記憶部（共に図示略）を備え、制御装置１と通信可能に接続されたコンピュータであり、画像受信部３１、画像解析部３２及び解析結果送信部３３の機能を有する。制御装置１及びサーバ装置３の各部の処理を、後述する図３に示すフローチャートに沿って説明する。

図３は、撮影画像評価方法を説明するフローチャートである。写真スタジオに来店した家族等のユーザＫは、撮影を行いたい撮影セットを選択する（ステップＳ１）。このとき、写真スタジオに準備されている貸衣装を借りて着用してもよい。

カメラマンＣが、撮影装置４でユーザＫを撮影セット５と共に撮影する（ステップＳ２）。各撮影セット５には、好適なポーズ（表情、仕草、顔の向き）が事前に決まっている。カメラマンＣは、ユーザＫにポーズを指示しながら複数回撮影を行う。制御装置１の画像取得部１２は、撮影装置４から複数の撮影画像を取得する。

撮影セット５を変えて撮影を続ける場合（ステップＳ３＿Ｙｅｓ）、ユーザＫは写真スタジオ内の別のセットを選択し、撮影を行う（ステップＳ１，Ｓ２）。

撮影を終了する場合（ステップＳ３＿Ｎｏ）、写真スタジオのスタッフ（カメラマンＣ）は、制御装置１を操作し、撮影画像を画像解析用のサーバ装置３にアップロードする（ステップＳ４）。例えば、制御装置１に接続された表示装置２には、図４に示すようなアップロード画面が表示される。図４は、ユーザＫが３つのセットで撮影を行った例を示している。

マウスやタッチパネル等の入力手段を用いてアップロードボタンＢ１を押すと、アップロードする画像の選択画面が表示される。スタッフは、撮影装置４から制御装置１に取り込まれた撮影画像の中から、画像解析を行う画像を選択し、サーバ装置３にアップロードする。例えば、目を瞑っている画像など、明らかに写りの良くない画像は選択しない。制御装置１の画像送信部１３は、選択された画像をサーバ装置３へ送信する。

図５は、各セットでの撮影画像をアップロードした後のアップロード画面である。スタッフは、アップロード画面にて、ユーザＫの代表者の氏名や、主役である子供（最も身長の低い人物）の身長Ｈを入力する（ステップＳ５）。制御装置１の身長入力部１１は、子供の身長の入力を受け付ける。

サーバ装置３の画像受信部３は、制御装置１から撮影画像を受信する。画像解析部３２が、撮影画像を解析する（ステップＳ６）。画像解析では、撮影画像に写っている複数の被写体の顔を検出し、それぞれの顔の向きを、例えば図６に示すようなヨー（Ｙａｗ）、ピッチ（Ｐｉｔｃｈ）、ロール（Ｒｏｌｌ）の３軸の回転角で解析する。解析結果送信部３３が、各撮影画像の解析結果を制御装置１へ送信する。例えば、解析結果は、撮影画像内の複数の顔の位置と、それぞれの顔の向きを含む。顔の位置は、目、鼻、口など各パーツの位置を含む。制御装置１の解析結果受信部１４が、サーバ装置３から解析結果を受信する。

制御装置１の記憶部１０には、写真スタジオの各撮影セットについて、好適な（推奨される）顔の向き（ヨー角、ピッチ角、ロール角）のパラメータが登録されている。また、好適な顔の向きは、主役（子供）の身長によっても変わるため、身長別のパラメータが登録されている。例えば、以下の表１に示すようなパラメータが登録されている。

このパラメータは、例えば、事前に身長の異なる複数のモデルを用いて顔の向きを少しずつ変えながら撮影を行い、写りのよい画像を解析して得られた値である。

制御装置１の評価部１５は、サーバ装置３から受信した解析結果と、記憶部１０に登録されているパラメータとの近似度に基づいて、各撮影画像の評価を行う（ステップＳ７）。例えば、評価部１５は、解析結果から、撮影画像内の複数の顔のうち、目が最も下に位置する（最も低い位置にある）顔を特定する。そして、評価部１５は、ステップＳ５で入力された身長に対応するパラメータを記憶部１０から取り出し、取り出したパラメータと、目が最も下に位置する顔のヨー、ピッチ、ロールの解析結果との残差平方和を評価値として算出する。

評価部１５は、各撮影画像について評価値を算出する。評価値（残差平方和）が小さいほど近似度が高く、主役の顔の向きが理想的な画像となる。

評価値の計算後、表示装置２には図７に示すような閲覧画面が表示される。スタッフ又はユーザが、写真を確認したい撮影セットの閲覧ボタンＢ３を押すと、図８に示すような閲覧画面に切り替わる。

制御装置１の表示処理部１６は、表示領域Ｒ１に、撮影画像のサムネイル画像を、評価値が小さい順（理想的な顔の向きに近い順）に順位付けして表示する。サムネイル画像が選択されると、表示処理部１６は、選択された画像を表示領域Ｒ２に拡大表示する。ユーザは、閲覧画面で撮影画像を閲覧し、データやプリント物として購入したい画像を選択する（ステップＳ８、Ｓ９）。

カメラマンＣによってポーズを指示されて撮影された画像の大半は写りが良く、それぞれ僅かな違いしかない。本実施形態に係る撮影画像評価システムによれば、主役（子供）の顔の向きで撮影画像を評価し、撮影画像を評価順にサムネイル表示するため、ユーザはシステムによる評価結果を参考にして、撮影画像を選択し易くなる。

撮影画像に複数の被写体が写っている場合、撮影セットによって好ましい被写体の配置バランスがあり、これを考慮して撮影画像を評価してもよい。例えば、図９に示すように、撮影画像の横方向２０～３０％の領域Ａに主役を含む２人の被写体が配置されていることが好ましい撮影セットについて考える。画像の左端を０％、右端を１００％として位置を示している。

例えば、図１０に示すように、領域Ａ内に１人の被写体しか位置していない場合、主役の周囲がやや物足りない雰囲気になるため、図９に示すように領域Ａ内に２人の被写体が位置している撮影画像よりも評価順位を下げる。

また、例えば、図１１に示すように、領域Ａ内に３人の被写体が位置している場合、主役が目立たなくなり、バランスの悪い画像になるため、図９や図１０に示す撮影画像よりも評価順位を下げる。

このように、被写体の配置バランスを考慮する場合、制御装置１の記憶部１０には、各撮影セットについて、以下の表２に示すような、主役となる被写体が位置すべき領域を示す位置情報、この領域に含まれる顔の数の推奨値、主役の顔の向き（ヨー角、ピッチ角、ロール角）のパラメータが登録される。例えば、位置情報は、横方向の範囲を示す。

評価部１５は、サーバ装置３から解析結果を受信すると、図１２に示すフローに沿って撮影画像の評価を行う。

まず、評価部１５は、記憶部１０に登録されたパラメータを参照し、各撮影画像について、設定領域内の顔の数を検出する（ステップＳ７１）。

次に、評価部１５は、各撮影画像について、設定領域内の顔のうち、目が最も下に位置する顔を特定する。そして、評価部１５は、ステップＳ５で入力された身長に対応するパラメータを記憶部１０から取り出し、取り出したパラメータと、設定領域内で目が最も下に位置する顔のヨー、ピッチ、ロールの解析結果との残差平方和を評価値として算出する（ステップＳ７２）。

続いて、評価部１５は、設定領域内の顔の数と、算出した評価値に基づいて、撮影画像を順位付けする（ステップＳ７３）。

例えば、評価部１５は、設定領域内の顔の数に応じて評価値を重み付けして、撮影画像を順位付けする。例えば、設定領域内の顔の数が登録パラメータ（設定値）より１つ少ない場合、評価値に１．２を乗じる。設定領域内の顔の数が登録パラメータ（設定値）より１つ多い場合、評価値に１．４を乗じる。登録パラメータからの乖離が大きい程、乗じる値を大きくする。そして、重み付け後の評価値が小さい順に撮影画像を順位付けする。

これにより、主役の顔の向きだけでなく、被写体の配置バランスも考慮して、撮影画像を評価できる。

上記実施形態では、撮影画像内の顔の位置や向いている方向を解析するサーバ装置３と、撮影画像の評価を行う制御装置１とが異なるコンピュータである例について説明したが、１つのコンピュータが解析と評価を行ってもよい。

上記実施形態では、被写体の顔の向きを、ヨー角、ピッチ角、ロール角の３つの角度を用いて評価する例について説明したが、３つの角度全てを用いなくてもよく、１つ以上用いればよい。

上記実施形態ではカメラマンＣが撮影を行う例について説明したが、事前に設置された撮影装置による自動撮影であってもよい。

意図的に子供を高く持ち上げて撮影するシーンも考えられるが、その場合は、主役が子供から大人に写り、目が最も下に位置する人物は見上げる方向となるため、大人が子供を高く持ち上げて撮影する撮影セット用に、大人を想定した身長と顔の向きのパラメータを準備しておけばよい。

本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１制御装置
２表示装置
３サーバ装置
４撮影装置
５撮影セット

Claims

複数の人物を撮影セットと共に撮影した撮影装置から複数の撮影画像を取得する画像取得部と、
前記複数の人物のうち主役となる最も小さい人物の身長の入力を受け付ける身長入力部と、
前記撮影セットを用いた撮影において推奨される主役の身長別の顔の向きを示すパラメータが登録された記憶部と、
前記主役の身長に対応する前記パラメータと、前記撮影画像に写っている前記複数の人物のうち、目が最も下に位置する人物の顔の向きの解析値とに基づいて、前記複数の撮影画像を評価する評価部と、
前記評価部による評価結果に基づく順番で前記複数の撮影画像を表示装置に表示させる表示処理部と、
を備える撮影画像評価システム。
前記パラメータ及び前記解析値は、顔のピッチ角、ヨー角及びロール角の少なくともいずれか１つを含むことを特徴とする請求項１に記載の撮影画像評価システム。
前記評価部は、前記パラメータと前記解析値との残差平方和を求め、
前記表示処理部は、前記残差平方和が小さい順に前記複数の撮影画像を前記表示装置に表示させることを特徴とする請求項２に記載の撮影画像評価システム。
前記記憶部は、撮影画像において主役が位置すべき領域を示す位置情報、及び前記領域に含まれる顔の数の推奨値をさらに記憶しており、
前記評価部は、前記主役の身長に対応する前記パラメータと、前記撮影画像の前記位置情報が示す領域内で目が最も下に位置する人物の顔の向きの解析値とに基づいて、前記撮影画像の評価値を算出し、前記撮影画像の前記位置情報が示す領域内の顔の数と前記推奨値との差分に基づいて前記評価値を重み付けし、
前記表示処理部は、重み付けした前記評価値に基づく順番で前記複数の撮影画像を前記表示装置に表示させることを特徴とする請求項１乃至３のいずれかに記載の撮影画像評価システム。