JP2004361989A - 画像選択システム及び画像選択プログラム、並びに画像選択方法 - Google Patents

画像選択システム及び画像選択プログラム、並びに画像選択方法 Download PDF

Info

Publication number
JP2004361989A
JP2004361989A JP2003155888A JP2003155888A JP2004361989A JP 2004361989 A JP2004361989 A JP 2004361989A JP 2003155888 A JP2003155888 A JP 2003155888A JP 2003155888 A JP2003155888 A JP 2003155888A JP 2004361989 A JP2004361989 A JP 2004361989A
Authority
JP
Japan
Prior art keywords
image
face
candidate
evaluation value
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003155888A
Other languages
English (en)
Other versions
JP4367010B2 (ja
Inventor
Takashi Hiuga
崇 日向
Toshinori Nagahashi
敏則 長橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2003155888A priority Critical patent/JP4367010B2/ja
Publication of JP2004361989A publication Critical patent/JP2004361989A/ja
Application granted granted Critical
Publication of JP4367010B2 publication Critical patent/JP4367010B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

【課題】撮影者に負担をかけず、撮影者の希望に添った写真を容易に撮影することができる画像選択システムを提供する。
【解決手段】所定の撮影時間、カメラ10から被写体1の画像を動画像として取り込み、取り込んだ動画像から所定時間ごとに細分して複数の候補画像を抽出する。そして、各候補画像ごとにその候補画像に含まれる人物画像の顔の向きを判定し、その判定結果に基づいて各候補画像ごとにその候補画像の評価値を算出し、算出した評価値に基づいて複数の候補画像のなかから画像を選択する。
【選択図】 図1

Description

【0001】
【発明の属する技術分野】
本発明は、複数の候補画像のなかから画像を選択するシステムおよびプログラム、並びに方法に係り、特に、撮影者に負担をかけず、撮影者の希望に添った写真を容易に撮影することができる画像選択システムおよび画像選択プログラム、並びに画像選択方法に関する。
【0002】
【従来の技術】
従来、人物の写真を撮影する技術としては、例えば、特許文献1に開示されているシール作成装置(以下、第1の従来例という。)、特許文献2に開示されている自動写真撮影装置(以下、第2の従来例という。)および特許文献3に開示されている顔画像処理装置(以下、第3の従来例という。)があった。
【0003】
第1の従来例は、表示画面、被写体導入口、操作盤およびシール排出口が装置筐体の前面に設けられている。筐体の上部には、天板フレームが取り付けられており、天板フレームに沿って背景幕が吊着されている。プレーヤは、背景幕を割るようにして幕内へと入り、筐体の前方に立ち、表示画面を見ながら操作盤を操作する。装置内部には、ステージ上の被写体を撮影するビデオカメラと、プレーヤの顔を撮影するビデオカメラとが内蔵されており、撮影された個々の画像は、背景画像と合成され、内蔵ビデオプリンタによってシール上に印刷され、印刷済みのシールがシール排出口から排出される。画像合成やトリミング作業は、表示画面上の表示画像を見ながら、操作盤を操作して行う。
【0004】
第2の従来例は、カメラの視野方向、撮影範囲および垂直方向の位置の少なくとも1つを可変する制御機構と、撮影対象被写体の確認画像を表示する表示装置と、シャッタタイミング信号を入力する第1の入力部と、制御機構に対してカメラの視野方向、撮影範囲および垂直方向の位置の少なくとも一つを可変するための制御信号を入力する第2の入力部と、撮影した被写体画像を所定の用紙にプリントして出力するプリンタと、撮影に関する案内メッセージを表示装置に表示させるとともに、第2の入力部から入力された制御信号に従ってカメラの視野方向、撮影範囲および垂直方向の位置の少なくとも1つを可変制御し、第1の入力部から入力されたシャッタタイミングにおいてカメラが撮影している被写体画像を取込み、プリンタに出力する撮影制御装置とを移動可能な筐体内に備える。
【0005】
これにより、多人数での記念写真等を、撮影参加者である被写体が指定した任意のシャッタタイミングで撮影することができる。
第3の従来例では、1人または複数の被撮影者を対象とした撮影を行なう際、被撮影者の顔画像を含む画像をフレーム画像として入力し、入力されたフレーム画像に対し、その画像中に存在する被撮影者の顔領域を抽出し、抽出された顔領域に対し、被撮影者の顔の状態が撮影者の希望とする状態であるか否かを判定する。その判定により被撮影者の顔の状態が撮影者の希望とする状態であると判定された場合は、その判定に用いたフレーム画像を最適顔画像として出力する。これに対して、その判定により被撮影者の顔の状態が撮影者の希望とする状態でないと判定された場合は、撮影者の希望する画像を顔の部位単位で合成して最適顔画像として出力する。
【0006】
これにより、規定枚数の画像を蓄積することなく、2フレーム目以降で撮影者が希望とする顔状態になった時点で撮影を完了することができる。
【0007】
【特許文献1】
実用新案登録第3034012号公報
【特許文献2】
特開2000−250126号公報
【特許文献3】
特開2001−67459号公報
【0008】
【発明が解決しようとする課題】
しかしながら、第1の従来例および第2の従来例にあっては、撮影者が指定したシャッタータイミングで撮影を行うようになっているため、被写体が撮影を意識して表情がこわばってしまい、被写体によっては自然な表情での写真を撮影することができない。また、複数人で集合写真を撮影する場合は、シャッタータイミングを全員に周知させるのが必ずしも容易でなく、いずれの人がシャッタータイミングでカメラの焦点方向以外を向いている場合は、全員が正面を向いた写真とならない。したがって、撮影者の希望に添った写真を撮影するのが困難であるという問題があった。
【0009】
この問題を解決するには、第3の従来例のように、シャッタータイミングを被写体に意識させず、所定の撮影時間(例えば、数秒間)、被写体の画像を動画像として取り込み、取り込んだ動画像から所定時間ごとに細分して抽出した静止画像のなかから、撮影者が希望する内容の画像を選択するようにすればよい。
しかしながら、第3の従来例にあっては、撮影に先立って項目マトリクスに撮影者が希望状態を指定しなければならず、撮影者に少なからず負担があるという問題があった。
【0010】
そこで、本発明は、このような従来の技術の有する未解決の課題に着目してなされたものであって、撮影者に負担をかけず、撮影者の希望に添った写真を容易に撮影することができる画像選択システムおよび画像選択プログラム、並びに画像選択方法を提供することを目的としている。
【0011】
【課題を解決するための手段】
〔発明1〕
上記目的を達成するために、発明1の画像選択システムは、
選択対象となる複数の候補画像のなかから画像を選択するシステムであって、前記各候補画像ごとに当該候補画像に含まれる人物画像の顔の向きを判定する顔向判定手段と、前記顔向判定手段の判定結果に基づいて前記各候補画像ごとに当該候補画像の評価値を算出する評価値算出手段と、前記評価値算出手段で算出した評価値に基づいて前記複数の候補画像のなかから画像を選択する画像選択手段とを備えることを特徴とする。
【0012】
このような構成であれば、顔向判定手段により、各候補画像ごとに、その候補画像に含まれる人物画像の顔の向きが判定され、評価値算出手段により、顔向判定手段の判定結果に基づいて、各候補画像ごとに、その候補画像の評価値が算出される。そして、画像選択手段により、算出された評価値に基づいて、複数の候補画像のなかから画像が選択される。
【0013】
これにより、例えば、所定の撮影時間、被写体の画像を動画像として取り込み、取り込んだ動画像から所定時間ごとに細分して複数の候補画像を抽出すれば、それら候補画像のなかから評価値に応じた画像が選択されるので、被写体が撮影を意識して表情がこわばる可能性が少なくなり、比較的自然な表情での写真を撮影することができる。また、複数人で集合写真を撮影する場合は、所定の撮影時間のうちいずれかの瞬間に全員がカメラの焦点方向を向いていれば、全員が正面を向いた写真を撮影することができる。したがって、従来に比して、撮影者の希望に添った写真を撮影することができるという効果が得られる。さらに、撮影に先立って撮影者の希望状態等を設定する必要がないので、従来に比して、撮影者に与える負担を低減することができるという効果も得られる。
【0014】
ここで、画像選択手段は、評価値に基づいて複数の候補画像のなかから画像を選択するようになっていればどのような構成であってもよく、例えば、評価値が最も高い画像を選択するようになっていてもよいし、評価値が高い順に所定数の画像を選択するようになっていてもよい。
また、本システムは、単一の装置、端末その他の機器として実現するようにしてもよいし、複数の装置、端末その他の機器を通信可能に接続したネットワークシステムとして実現するようにしてもよい。後者の場合、各構成要素は、それぞれ通信可能に接続されていれば、複数の機器等のうちいずれに属していてもよい。
〔発明2〕
さらに、発明2の画像選択システムは、発明1の画像選択システムにおいて、さらに、前記各候補画像ごとに当該候補画像から肌色領域を検出する肌色領域検出手段と、前記肌色領域検出手段で検出した肌色領域から前記人物画像の両目および口に対応する3つの特徴点を検出する特徴点検出手段とを備え、
前記顔向判定手段は、前記特徴点検出手段で検出した3つの特徴点を結ぶ三角形の形状に基づいて、前記人物画像の顔の向きを判定するようになっていることを特徴とする。
【0015】
このような構成であれば、肌色領域検出手段により、各候補画像ごとに、その候補画像から肌色領域が検出され、特徴点検出手段により、検出された肌色領域から人物画像の両目および口に対応する3つの特徴点が検出される。そして、顔向判定手段により、検出された3つの特徴点を結ぶ三角形の形状に基づいて、人物画像の顔の向きが判定される。
【0016】
これにより、両目および口に対応する3つの特徴点を結ぶ三角形の形状に基づいて、人物画像の顔の向きが判定されるので、候補画像に含まれる人物画像の顔の向きを比較的正確に判定することができる。したがって、候補画像の評価を比較的正確に行うことができるので、撮影者の希望にさらに添った写真を撮影することができるという効果が得られる。
〔発明3〕
さらに、発明3の画像選択システムは、発明2の画像選択システムにおいて、前記顔向判定手段は、前記特徴点検出手段で検出した3つの特徴点を結ぶ三角形の形状に基づいて、前記人物画像の顔が正面を向いている度合いを算出するようになっており、
前記評価値算出手段は、前記顔向判定手段で算出した正面向度合が大きいほど、前記候補画像の評価値を高い値として算出するようになっていることを特徴とする。
【0017】
このような構成であれば、顔向判定手段により、検出された3つの特徴点を結ぶ三角形の形状に基づいて、人物画像の顔が正面を向いている度合いが算出され、評価値算出手段により、算出された正面向度合が大きいほど、候補画像の評価値が高い値として算出される。
これにより、候補画像は、これに含まれる人物画像の顔が正面を向いているほど選択されやすくなるので、撮影者の希望にさらに添った写真を撮影することができるという効果も得られる。
〔発明4〕
さらに、発明4の画像選択システムは、発明3の画像選択システムにおいて、前記顔向判定手段は、1つの前記候補画像に複数の人物画像が含まれているときは、前記各人物画像ごとに当該人物画像の顔が正面を向いている度合いを算出するようになっており、
前記評価値算出手段は、前記顔向判定手段で算出した正面向度合の総和が大きいほど、前記候補画像の評価値を高い値として算出するようになっていることを特徴とする。
【0018】
このような構成であれば、1つの候補画像に複数の人物画像が含まれていると、顔向判定手段により、各人物画像ごとに、その人物画像の顔が正面を向いている度合いが算出され、評価値算出手段により、算出された正面向度合の総和が大きいほど、候補画像の評価値が高い値として算出される。
これにより、複数人で集合写真を撮影する場合、候補画像は、これに含まれる各人物画像の顔が正面を向いているほど選択されやすくなるので、撮影者の希望にさらに添った写真を撮影することができるという効果も得られる。
〔発明5〕
さらに、発明5の画像選択システムは、発明2ないし4のいずれかの画像選択システムにおいて、
前記画像選択手段は、前記複数の候補画像のなかから、前記評価値算出手段で算出した評価値が最も高いものを選択するようになっていることを特徴とする。
【0019】
このような構成であれば、画像選択手段により、複数の候補画像のなかから評価値が最も高いものが選択される。
〔発明6〕
さらに、発明6の画像選択システムは、発明2ないし5のいずれかの画像選択システムにおいて、
前記特徴点検出手段は、前記肌色領域検出手段で検出した肌色領域から輝度値の低い暗領域を検出し、検出した暗領域のモーメント、伸長度または分散度を算出し、算出したモーメント、伸長度または分散度が所定条件を満たしているときは、その暗領域のなかから特徴点を検出するようになっていることを特徴とする。
【0020】
このような構成であれば、特徴点検出手段により、検出された肌色領域から輝度値の低い暗領域が検出され、検出された暗領域のモーメント、伸長度または分散度が算出され、算出されたモーメント、伸長度または分散度が所定条件を満たしていると、その暗領域のなかから特徴点が検出される。
これにより、モーメント、伸長度または分散度が所定条件を満たしている暗領域のなかから特徴点が検出されるので、人物画像の両目および口以外の部分に対応する点を特徴点として誤検出する可能性を低減することができる。したがって、候補画像の評価を比較的正確に行うことができるので、撮影者の希望にさらに添った写真を撮影することができるという効果が得られる。
〔発明7〕
さらに、発明7の画像選択システムは、発明2ないし6のいずれかの画像選択システムにおいて、
前記顔向判定手段は、前記特徴点検出手段で検出した3つの特徴点を結ぶ三角形の各辺のうち水平に最も近いものを目軸線として選択し、前記3つの特徴点のうち前記目軸線の端点となるもの以外を口特徴点として選択し、前記口特徴点から前記目軸線に対して垂線を引いたときの前記目軸線と前記垂線との交点を求め、前記目軸線の一方の端点と前記交点との距離、および前記目軸線の他方の端点と前記交点との距離の差分に基づいて、前記人物画像の顔が正面を向いている度合いを算出するようになっていることを特徴とする。
【0021】
このような構成であれば、顔向判定手段により、検出された3つの特徴点を結ぶ三角形の各辺のうち水平に最も近いものが目軸線として選択され、3つの特徴点のうち目軸線の端点となるもの以外が口特徴点として選択される。そして、口特徴点から目軸線に対して垂線を引いたときの目軸線と垂線との交点が求められ、目軸線の一方の端点と交点との距離、および目軸線の他方の端点と交点との距離の差分に基づいて、人物画像の顔が正面を向いている度合いが算出される。
【0022】
これにより、目軸線の一方の端点と交点との距離、および目軸線の他方の端点と交点との距離の差分に基づいて、顔の正面向度合が算出されるので、候補画像に含まれる人物画像の顔の正面向度合を比較的正確かつ定量的に算出することができる。したがって、候補画像の評価を比較的正確に行うことができるので、撮影者の希望にさらに添った写真を撮影することができるという効果が得られる。
【0023】
ここで、顔向判定手段は、目軸線の一方の端点と交点との距離、および目軸線の他方の端点と交点との距離の差分に基づいて、顔の正面向度合を算出するようになっていればどのような構成であってもよく、例えば、差分の絶対値に基づいて顔の正面向度合を算出するようになっていてもよいし、差分の自乗値に基づいて顔の正面向度合を算出するようになっていてもよい。
〔発明8〕
さらに、発明8の画像選択システムは、発明2ないし6のいずれかの画像選択システムにおいて、
前記顔向判定手段は、前記特徴点検出手段で検出した3つの特徴点を結ぶ三角形の重心点、および前記3つの特徴点が属する肌色領域の重心点を求め、それら重心点間の距離に基づいて、前記人物画像の顔が正面を向いている度合いを算出するようになっていることを特徴とする。
【0024】
このような構成であれば、顔向判定手段により、検出された3つの特徴点を結ぶ三角形の重心点、および3つの特徴点が属する肌色領域の重心点が求められ、それら重心点間の距離に基づいて、人物画像の顔が正面を向いている度合いが算出される。
これにより、特徴点を結ぶ三角形の重心点と肌色領域の重心点との距離に基づいて、顔の正面向度合が算出されるので、候補画像に含まれる人物画像の顔の正面向度合を比較的正確かつ定量的に算出することができる。したがって、候補画像の評価を比較的正確に行うことができるので、撮影者の希望にさらに添った写真を撮影することができるという効果が得られる。特に、発明7の画像選択システムに比して、候補画像において人物画像が小さい場合に有効である。
〔発明9〕
さらに、発明9の画像選択システムは、発明2ないし8のいずれかの画像選択システムにおいて、
さらに、前記特徴点検出手段で検出した3つの特徴点を結ぶ三角形の形状に基づいて前記肌色領域が前記人物画像の顔に相当する領域であるか否かを判定する顔領域判定手段を備え、
前記顔向判定手段は、前記肌色領域検出手段で検出した肌色領域のうち前記顔領域判定手段で前記人物画像の顔に相当する領域であると判定したものを対象として、当該肌色領域について検出した3つの特徴点を結ぶ三角形の形状に基づいて、前記人物画像の顔が正面を向いている度合いを算出するようになっていることを特徴とする。
【0025】
このような構成であれば、顔領域判定手段により、検出された3つの特徴点を結ぶ三角形の形状に基づいて、肌色領域が人物画像の顔に相当する領域であるか否かが判定される。その結果、人物画像の顔に相当する領域であると判定されると、肌色領域検出手段で検出した肌色領域のうち顔領域判定手段で人物画像の顔に相当する領域であると判定されたものを対象として、その肌色領域について検出された3つの特徴点を結ぶ三角形の形状に基づいて、顔の正面向度合が算出される。
【0026】
これにより、肌色領域検出手段で検出した肌色領域のうち顔領域判定手段で人物画像の顔に相当する領域であると判定されたものについてのみ、顔の正面向度合が算出されるので、人物画像でない肌色領域について顔の正面向度合が算出される可能性を低減することができる。したがって、候補画像の評価を比較的正確に行うことができるので、撮影者の希望にさらに添った写真を撮影することができるという効果が得られる。
〔発明10〕
さらに、発明10の画像選択システムは、発明9の画像選択システムにおいて、
前記顔領域判定手段は、前記特徴点検出手段で検出した3つの特徴点を結ぶ三角形の各辺のうち水平に最も近いものを目軸線として選択し、前記3つの特徴点のうち前記目軸線の端点となるもの以外を口特徴点として選択し、前記口特徴点から前記目軸線に対して引いた垂線の長さまたは前記目軸線の長さが所定条件を満たしているときは、前記肌色領域検出手段で検出した肌色領域が前記人物画像の顔に相当する領域であると判定するようになっていることを特徴とする。
【0027】
このような構成であれば、顔領域判定手段により、検出された3つの特徴点を結ぶ三角形の各辺のうち水平に最も近いものが目軸線として選択され、3つの特徴点のうち目軸線の端点となるもの以外が口特徴点として選択される。そして、口特徴点から目軸線に対して引いた垂線の長さまたは目軸線の長さが所定条件を満たしていると、検出された肌色領域が人物画像の顔に相当する領域であると判定される。
【0028】
これにより、口特徴点から目軸線に対して引いた垂線の長さまたは目軸線の長さが所定条件を満たしている肌色領域が人物画像の顔に相当する領域であると判定されるので、人物画像でない肌色領域について顔の正面向度合が算出される可能性をさらに低減することができる。したがって、候補画像の評価を比較的正確に行うことができるので、撮影者の希望にさらに添った写真を撮影することができるという効果が得られる。
〔発明11〕
一方、上記目的を達成するために、発明11の画像選択プログラムは、
選択対象となる複数の候補画像のなかから画像を選択するプログラムであって、
前記各候補画像ごとに当該候補画像に含まれる人物画像の顔の向きを判定する顔向判定手段、前記顔向判定手段の判定結果に基づいて前記各候補画像ごとに当該候補画像の評価値を算出する評価値算出手段、および前記評価値算出手段で算出した評価値に基づいて前記複数の候補画像のなかから画像を選択する画像選択手段として実現される処理をコンピュータに実行させるためのプログラムであることを特徴とする。
【0029】
このような構成であれば、コンピュータによってプログラムが読み取られ、読み取られたプログラムに従ってコンピュータが処理を実行すると、発明1の画像選択システムと同等の作用および効果が得られる。
〔発明12〕
一方、上記目的を達成するために、発明12の画像選択方法は、
選択対象となる複数の候補画像のなかから画像を選択する方法であって、
前記各候補画像ごとに当該候補画像に含まれる人物画像の顔の向きを判定する顔向判定ステップと、前記顔向判定ステップの判定結果に基づいて前記各候補画像ごとに当該候補画像の評価値を算出する評価値算出ステップと、前記評価値算出ステップで算出した評価値に基づいて前記複数の候補画像のなかから画像を選択する画像選択ステップとを含むことを特徴とする。
【0030】
このような構成であれば、発明1の画像選択システムと同等の効果が得られる。
【0031】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照しながら説明する。図1ないし図5は、本発明に係る画像選択システムおよび画像選択プログラム、並びに画像選択方法の実施の形態を示す図である。
本実施の形態は、本発明に係る画像選択システムおよび画像選択プログラム、並びに画像選択方法を、図1に示すように、複数の被写体1の集合写真を撮影する場合について適用したものである。
【0032】
まず、本発明に係る画像選択装置100の構成を図1を参照しながら説明する。
図1は、本発明に係る画像選択装置100の構成を示す機能ブロック図である。
画像選択装置100は、図1に示すように、被写体1を撮影するためのカメラ10と、カメラ10で取り込んだ動画像から複数の候補画像を抽出する候補画像抽出部12と、候補画像抽出部12で抽出した候補画像を登録する候補画像登録データベース(以下、データベースのことを単にDBと略記する。)14と、候補画像登録DB14の各候補画像ごとにその候補画像から肌色領域を検出する肌色領域検出部16と、肌色領域検出部16で検出した肌色領域から人物画像の両目および口に対応する3つの特徴点を検出する特徴点検出部18とを有して構成されている。さらに、特徴点検出部18で検出した3つの特徴点を結ぶ三角形の形状に基づいて肌色領域が人物画像の顔に相当する領域(以下、顔領域という。)であるか否かを判定する顔領域判定部20と、顔領域判定部20の判定結果および特徴点検出部18で検出した3つの特徴点を結ぶ三角形の形状に基づいて各候補画像ごとにその候補画像に含まれる人物画像の顔の向きを判定する顔向判定部22と、顔向判定部22の判定結果に基づいて各候補画像ごとにその候補画像の評価値を算出する評価値算出部24と、評価値算出部24で算出した評価値に基づいて複数の候補画像のなかから画像を選択する画像選択部26とを有して構成されている。
【0033】
具体的に、画像選択装置100は、図2に示すように、コンピュータ200およびこれに実行させるプログラムとして実現することができる。コンピュータ200の構成を図2を参照しながら説明する。
図2は、コンピュータ200の構成を示すブロック図である。
コンピュータ200は、図2に示すように、制御プログラムに基づいて演算およびシステム全体を制御するCPU30と、所定領域にあらかじめCPU30の制御プログラム等を格納しているROM32と、ROM32等から読み出したデータやCPU30の演算過程で必要な演算結果を格納するためのRAM34と、外部装置に対してデータの入出力を媒介するI/F38とで構成されており、これらは、データを転送するための信号線であるバス39で相互にかつデータ授受可能に接続されている。
【0034】
I/F38には、外部装置として、カメラ10と、候補画像登録DB14と、ヒューマンインターフェースとしてデータの入力が可能なキーボードやマウス等からなる入力装置40と、画像信号に基づいて画面を表示する表示装置44とが接続されている。
CPU30は、マイクロプロセッシングユニット(MPU)等からなり、ROM32の所定領域に格納されている所定のプログラムを起動させ、そのプログラムに従って、図3のフローチャートに示す画像選択処理を実行するようになっている。
【0035】
図3は、画像選択処理を示すフローチャートである。
画像選択処理は、入力装置40から撮影開始要求の入力を受けて実行される処理であって、CPU30において実行されると、図3に示すように、まず、ステップS100に移行するようになっている。
ステップS100では、所定の撮影時間(例えば、数秒間)、カメラ10から被写体1の画像を動画像として取り込み、ステップS102に移行して、取り込んだ動画像から所定時間ごとに細分して複数の候補画像を抽出し、抽出した候補画像を候補画像登録DB14に登録し、ステップS104に移行して、候補画像登録DB14のなかから先頭の候補画像を読み出し、ステップS106に移行する。
【0036】
ステップS106では、読み出した候補画像から肌色領域を検出する。まず、あらかじめサンプルのカラー画像から顔画像を手動で切り取って抽出し、代表的な肌色情報(例えば、色相の範囲やXYZ表色系において肌色が存在する空間座標に関する情報)を保存しておき、保存されている肌色情報を使用する。そして、肌色情報により特定される肌色と候補画像の各画素の色とを比較し、肌色情報により特定される肌色を基準として画素の色が所定範囲に収まっていれば、それらの画素群からなる領域を肌色領域として検出する。このような処理は、被写体1の肌色に依存するので、特定の肌色情報を用いるだけでは検出の精度が低下する可能性がある。そこで、異なる複数の肌色を登録した肌色登録テーブルを用意としておき、肌色登録テーブルに基づいて処理を行うことにより検出の精度を向上することができる。
【0037】
なお、肌色領域を検出する手法としては、例えば、特開平11−15979号公報に開示されている手法や、特開2000−97676号公報に開示されている手法を利用することができる。前者の手法では、事前に保持する肌色情報は、顔画像中の肌色部分のみを手動で切り取り肌色サンプル画像として用意しておく。表色系は、XY表色系を用いて画像を表現する。肌色は、個人差があるものの同じ人種では正規分布に従うと仮定し、肌色画素分布のXY表色系空間での共分散行列と中心位置を求める。これらの値を用い、取り込まれた画像中の画素とのマハラノビス距離を求め、あらかじめ決めておいた閾値によって肌色領域を判定し抽出する。後者の手法は、あらかじめカラー画像から顔画像を手動で切り取って抽出したものをヒストグラム化し、肌色領域内のピーク値を基準肌色色相値とする。この基準肌色色相値からの差を求め、ヒストグラムを生成し、閾値により2値化を行って肌色領域を決定する。
【0038】
次いで、ステップS108に移行して、ステップS106で肌色領域を検出することができたか否かを判定し、肌色領域を検出することができたと判定したとき(Yes)は、ステップS110に移行する。
ステップS110では、検出した肌色領域から候補画像に含まれる人物画像の両目および口に対応する3つの特徴点を検出する。目や口といった顔の部位は、肌色領域において他の領域よりも輝度値が低いことが一般にいえる。肌色領域内で局所的に輝度値が低い暗領域を求め、暗領域の重心を特徴点として検出する。また、目や口の特徴としては、横長であることが挙げられる。これに着目して、検出した暗領域のモーメント、伸長度または分散度を算出し、算出したモーメント、伸長度または分散度が所定条件を満たしているときは、その暗領域のなかから特徴点を検出し、同所定条件を満たしていない暗領域については特徴点の検出対象から除外するという方法を採用することができる。モーメント、伸長度または分散度については、「画像工学」南敏・中村納共著、コロナ社、P116参照。また、暗領域の肌色領域内に占める面積の割合を求め、面積の割合が所定範囲内に収まっていれば、その暗領域のなかから特徴点を検出するという方法を採用することができる。また、口の特徴に関しては、検出した暗領域に所定以上の赤色画素が含まれているか否かを判定し、所定以上の赤色画素が含まれていると判定したときは、その暗領域のなかから口の部分に対応する特徴点を検出するという方法を採用することができる。いずれの方法も、人物画像の両目および口以外の部分に対応する点を特徴点として誤検出する可能性を低減することができる。
【0039】
なお、特徴点を検出する手法としては、例えば、特開2001−67459号公報に開示されている手法を利用することができる。この手法は、顔領域内の所定の割合に相当する面積が黒となり、残りが白となるように、輝度の閾値を算出して2値化する方法(P−Tile法)で2値化処理することにより抽出された顔領域内の暗領域のなかから特徴点を検出する。P−Tile法については、「画像処理ハンドブック」高木幹雄他、東京大学出版社、P503参照。
【0040】
次いで、ステップS112に移行して、ステップS110で検出した3つの特徴点を結ぶ三角形の形状に基づいて、ステップS106,S118で検出した肌色領域が顔領域であるか否かを判定する。肌色領域内に目や口の部分に対応する特徴点が存在すれば、各特徴点は、幾何学的な配置がされており、特徴点を結ぶと逆三角形ができあがる。そこで、3つの特徴点を結ぶ三角形の各辺のうち水平に最も近いものを目軸線とし、3つの特徴点のうち目軸線の端点となるもの以外を口特徴点としてそれぞれ定義し、目軸線と口特徴点の位置関係を拘束条件として、肌色領域が顔領域であるか否かを判定する。目軸線がほぼ水平となり、目軸線の中点または中点付近から垂線を引いたときに垂線上に口特徴点が位置していれば、その肌色領域は、顔領域であると判定することができる。また、両目の面積がほぼ同程度であることに着目して、目軸線の端点となる各特徴点が属する暗領域の面積が同程度であるか否かを判定し、同程度またはほぼ同程度であると判定したときは、肌色領域を顔領域であると判定するという方法を採用することができる。また、口特徴点から目軸線に対して引いた垂線の長さ(三角形の高さ)または目軸線の長さ(三角形の底辺の長さ)が所定条件を満たしているときは、肌色領域を顔領域であると判定するという方法を採用することができる。
【0041】
なお、顔領域を判定する手法としては、例えば、特開平10−307923号公報に開示されている手法を利用することができる。この手法は、鼻孔(口でも可)対の位置をもとに目の部分に対応する目特徴点を検出する。検出した目特徴点と鼻孔特徴点が鋭角三角形を構成し、また、鼻孔特徴点を結ぶ方向と両方の目特徴点を結ぶ方向がほぼ平行になるという条件を満たしたときは、肌色領域を顔領域であると判定する。
【0042】
次いで、ステップS112の結果、ステップS106,S118で検出した肌色領域が顔領域であると判定したとき(Yes)は、ステップS114に移行して、ステップS110で検出した3つの特徴点を結ぶ三角形の形状に基づいて、候補画像に含まれる人物画像の顔の向きを判定する。
図4は、顔が正面を向いている場合に各特徴点を結ぶ三角形の形状を示す図である。
【0043】
図5は、顔が横方向を向いている場合に各特徴点を結ぶ三角形の形状を示す図である。
顔が正面を向いている場合は、図4に示すように、3つの特徴点を結ぶ三角形は2等辺三角形となるのに対して、顔が横方向に向いている場合は、図5に示すように、3つの特徴点を結ぶ三角形は斜辺の差分が大きくなることが分かる。そこで、口特徴点から目軸線に対して垂線を引いたときの目軸線と垂線との交点を求め、目軸線の一方の端点と交点との距離、および目軸線の他方の端点と交点との距離の差分に基づいて、人物画像の顔が正面を向いている度合(以下、正面向度合という。)を算出するという方法を採用することができる。ここで、差分の絶対値に基づいて顔の正面向度合を算出してもよいし、差分の自乗値に基づいて顔の正面向度合を算出してもよい。また、候補画像において人物画像が小さい場合は、上記判定方法に代えて、3つの特徴点を結ぶ三角形の重心点、および3つの特徴点が属する肌色領域の重心点を求め、それら重心点間の距離に基づいて、顔の正面向度合を算出するという方法を採用することができる。その他、X座標方法の差分の絶対値に基づいて顔の正面向度合を算出することもできる。
【0044】
次いで、ステップS116に移行して、ステップS114で算出した正面向度合に基づいて候補画像の評価値を算出する。評価値は、算出した正面向度合が大きいほど高い値として算出する。また、1つの候補画像に複数の人物画像が含まれているときは、それら人物画像について算出した評価値を加算し、その加算値を候補画像の評価値として用いる。
【0045】
次いで、ステップS118に移行して、読み出した候補画像から次の肌色領域を検出し、ステップS108に移行する。
一方、ステップS112で、ステップS106,S118で検出した肌色領域が顔領域でないと判定したとき(No)は、ステップS118に移行する。
一方、ステップS108で、ステップS106で肌色領域を検出することができないと判定したとき(No)は、ステップS120に移行して、候補画像登録DB14のすべての候補画像についてステップS106〜S118の処理が終了したか否かを判定し、すべての候補画像について処理が終了したと判定したとき(Yes)は、ステップS122に移行して、候補画像登録DB14のなかから評価値の最も高い候補画像を選択し、ステップS124に移行して、選択した候補画像を表示装置44に表示し、一連の処理を終了して元の処理に復帰させる。
【0046】
一方、ステップS120で、候補画像登録DB14のすべての候補画像についてステップS106〜S118の処理が終了していないと判定したとき(No)は、ステップS126に移行して、候補画像登録DB14のなかから次の候補画像を読み込み、ステップS106に移行する。
次に、本実施の形態の動作を説明する。
【0047】
複数の被写体1の集合写真を撮影する場合は、まず、すべての被写体1がカメラ10の撮影可能領域に入るように各被写体1にカメラ10を向け、撮影開始要求を入力装置40から入力する。
画像選択装置100では、撮影開始要求が入力されると、ステップS100,S102を経て、所定の撮影時間、カメラ10から被写体1の画像が動画像として取り込まれ、取り込まれた動画像から所定時間ごとに細分して複数の候補画像が抽出され、抽出された候補画像が候補画像登録DB14に登録される。
【0048】
次いで、ステップS104〜S110を経て、候補画像登録DB14のなかから先頭の候補画像が読み出され、読み出された候補画像から肌色領域が検出され、検出された肌色領域から候補画像に含まれる人物画像の両目および口に対応する3つの特徴点が検出される。そして、ステップS112を経て、検出された3つの特徴点を結ぶ三角形の形状に基づいて、肌色領域が顔領域であるか否かが判定される。その結果、肌色領域が顔領域であると判定されると、ステップS114,S116を経て、検出された3つの特徴点を結ぶ三角形の形状に基づいて、候補画像に含まれる人物画像の顔の正面向度合が算出され、算出された正面向度合に基づいて候補画像の評価値が算出される。評価値は、正面向度合が大きいほど高い値として算出される。
【0049】
候補画像には、複数の被写体1を撮影していることから複数の顔領域が含まれているので、ステップS108〜S118を繰り返し経て、各顔領域ごとに評価値が算出され、算出された評価値が順次加算され、その加算値が候補画像の評価値として用いられる。
このような処理が候補画像登録DB14のすべての候補画像について行われると、ステップS122,S124を経て、候補画像登録DB14のなかから評価値の最も高い候補画像が選択され、選択された候補画像が表示装置44に表示される。選択された候補画像は、候補画像登録DB14の候補画像のなかで正面を向いている被写体1が最も多く写っている画像である。
【0050】
このようにして、本実施の形態では、各候補画像ごとにその候補画像に含まれる人物画像の顔の向きを判定し、その判定結果に基づいて各候補画像ごとにその候補画像の評価値を算出し、算出した評価値に基づいて複数の候補画像のなかから画像を選択するようになっている。
これにより、所定の撮影時間、被写体1の画像を動画像として取り込み、取り込んだ動画像から所定時間ごとに細分して複数の候補画像を抽出することにより、それら候補画像のなかから評価値に応じた画像が選択されるので、被写体1が撮影を意識して表情がこわばる可能性が少なくなり、比較的自然な表情での写真を撮影することができる。また、複数人で集合写真を撮影する場合は、所定の撮影時間のうちいずれかの瞬間に全員がカメラの焦点方向を向いていれば、全員が正面を向いた写真を撮影することができる。したがって、従来に比して、撮影者の希望に添った写真を撮影することができる。さらに、撮影に先立って撮影者の希望状態等を設定する必要がないので、従来に比して、撮影者に与える負担を低減することができる。
【0051】
さらに、本実施の形態では、各候補画像ごとにその候補画像から肌色領域を検出し、検出した肌色領域から人物画像の両目および口に対応する3つの特徴点を検出し、検出した3つの特徴点を結ぶ三角形の形状に基づいて、人物画像の顔の向きを判定するようになっている。
これにより、候補画像に含まれる人物画像の顔の向きを比較的正確に判定することができる。したがって、候補画像の評価を比較的正確に行うことができるので、撮影者の希望にさらに添った写真を撮影することができる。
【0052】
さらに、本実施の形態では、検出した3つの特徴点を結ぶ三角形の形状に基づいて、顔の正面向度合を算出し、算出した正面向度合が大きいほど、候補画像の評価値を高い値として算出するようになっている。
これにより、候補画像は、これに含まれる人物画像の顔が正面を向いているほど選択されやすくなるので、撮影者の希望にさらに添った写真を撮影することができる。
【0053】
さらに、本実施の形態では、1つの候補画像に複数の人物画像が含まれているときは、各人物画像ごとにその人物画像の顔の正面向度合を算出し、算出した正面向度合の総和が大きいほど、候補画像の評価値を高い値として算出するようになっている。
これにより、複数人で集合写真を撮影する場合、候補画像は、これに含まれる各人物画像の顔が正面を向いているほど選択されやすくなるので、撮影者の希望にさらに添った写真を撮影することができる。
【0054】
さらに、本実施の形態では、検出した肌色領域から輝度値の低い暗領域を検出し、検出した暗領域のモーメント、伸長度または分散度を算出し、算出したモーメント、伸長度または分散度が所定条件を満たしているときは、その暗領域のなかから特徴点を検出するようになっている。
これにより、人物画像の両目および口以外の部分に対応する点を特徴点として誤検出する可能性を低減することができる。したがって、候補画像の評価を比較的正確に行うことができるので、撮影者の希望にさらに添った写真を撮影することができる。
【0055】
さらに、本実施の形態では、口特徴点から目軸線に対して垂線を引いたときの目軸線と垂線との交点を求め、目軸線の一方の端点と交点との距離、および目軸線の他方の端点と交点との距離の差分に基づいて、顔の正面向度合を算出するようになっている。
これにより、候補画像に含まれる人物画像の顔の正面向度合を比較的正確かつ定量的に算出することができる。したがって、候補画像の評価を比較的正確に行うことができるので、撮影者の希望にさらに添った写真を撮影することができる。
【0056】
さらに、本実施の形態では、検出した3つの特徴点を結ぶ三角形の重心点、および3つの特徴点が属する肌色領域の重心点を求め、それら重心点間の距離に基づいて、顔の正面向度合を算出するようになっている。
これにより、候補画像に含まれる人物画像の顔の正面向度合を比較的正確かつ定量的に算出することができる。したがって、候補画像の評価を比較的正確に行うことができるので、撮影者の希望にさらに添った写真を撮影することができる。特に、候補画像において人物画像が小さい場合に有効である。
【0057】
さらに、本実施の形態では、検出した3つの特徴点を結ぶ三角形の形状に基づいて肌色領域が顔領域であるか否かを判定し、検出した肌色領域のうち顔領域であると判定したものを対象として、その肌色領域について検出した3つの特徴点を結ぶ三角形の形状に基づいて、顔の正面向度合を算出するようになっている。これにより、検出した肌色領域のうち顔領域であると判定されたものについてのみ、顔の正面向度合が算出されるので、人物画像でない肌色領域について顔の正面向度合が算出される可能性を低減することができる。したがって、候補画像の評価を比較的正確に行うことができるので、撮影者の希望にさらに添った写真を撮影することができる。
【0058】
さらに、本実施の形態では、口特徴点から目軸線に対して引いた垂線の長さまたは目軸線の長さが所定条件を満たしているときは、検出した肌色領域が顔領域であると判定するようになっている。
これにより、人物画像でない肌色領域について顔の正面向度合が算出される可能性をさらに低減することができる。したがって、候補画像の評価を比較的正確に行うことができるので、撮影者の希望にさらに添った写真を撮影することができる。
【0059】
上記実施の形態において、肌色領域検出部16またはステップS106,S118は、発明2、6、9または10の肌色領域検出手段に対応し、特徴点検出部18またはステップS110は、発明2、3、6ないし10の特徴点検出手段に対応し、顔領域判定部20またはステップS112は、発明9または10の顔領域判定手段に対応している。また、顔向判定部22またはステップS114は、発明1ないし4、7ないし9若しくは11の顔向判定手段、または発明12の顔向判定ステップに対応し、評価値算出部24またはステップS116は、発明1、3ないし5若しくは11の評価値算出手段、または発明12の評価値算出ステップに対応している。
【0060】
また、上記実施の形態において、画像選択部26またはステップS112は、発明1、5若しくは11の画像選択手段、または発明12の画像選択ステップに対応している。
なお、上記実施の形態においては、各候補画像ごとに、肌色領域の検出、特徴点の検出、顔領域の判定、顔向きの判定および評価値の算出を行うように構成したが、これに限らず、各候補画像が時間軸上で連続している性質を利用して、候補画像について上記処理を行うときは、所定回数前(例えば、1つ前)に処理を行った候補画像について検出した肌色領域近傍の領域を対象として上記処理を行うように構成することもできる。
【0061】
これにより、処理負荷を低減することができる。
また、上記実施の形態においては、候補画像登録DB14のすべての候補画像について評価値を算出し、候補画像登録DB14のなかから評価値が最も高い候補画像を選択するように構成したが、これに限らず、取り込んだ動画像から所定時間ごとに細分して複数の候補画像を抽出し、抽出した候補画像について評価値を算出し、算出した評価値が所定値以上の候補画像を順次選択するように構成することもできる。すなわち、候補画像は、候補画像登録DB14に必ずしも登録する必要はない。他の構成としては、候補画像を1つだけ保持するようにし、算出した評価値が、保持している候補画像の評価値よりも大きいときは、現在評価値を算出した候補画像を保持するように構成することもできる。このような構成であれば、すべての候補画像について処理を行った後は、評価値が最も高い候補画像を保持していることになる。
【0062】
また、上記実施の形態において、図3のフローチャートに示す処理を実行するにあたっては、ROM32にあらかじめ格納されている制御プログラムを実行する場合について説明したが、これに限らず、これらの手順を示したプログラムが記憶された記憶媒体から、そのプログラムをRAM34に読み込んで実行するようにしてもよい。
【0063】
ここで、記憶媒体とは、RAM、ROM等の半導体記憶媒体、FD、HD等の磁気記憶型記憶媒体、CD、CDV、LD、DVD等の光学的読取方式記憶媒体、MO等の磁気記憶型/光学的読取方式記憶媒体であって、電子的、磁気的、光学的等の読み取り方法のいかんにかかわらず、コンピュータで読み取り可能な記憶媒体であれば、あらゆる記憶媒体を含むものである。
【0064】
また、上記実施の形態においては、本発明に係る画像選択システムおよび画像選択プログラム、並びに画像選択方法を、図1に示すように、複数の被写体1の集合写真を撮影する場合について適用したが、これに限らず、本発明の主旨を逸脱しない範囲で他の場合にも適用可能である。例えば、次のような適用例が考えられる。
【0065】
第1に、動画像から要約画像としての静止画像を抽出する場合について適用することができる。
第2に動画のみならず、連続的に撮影した静止画像や連写した画像群から候補画像を抽出する場合に適用することができる。
第3に、セキュリティの分野で個人認証を行う場合について適用することができる。
【0066】
第4に、証明写真を撮影するためのIDフォトシステムとして利用する場合について適用することができる。
第5に、大量の記念写真や集合写真のなかから最適な写真を選択して編集を行う場合について適用することができる。
【図面の簡単な説明】
【図1】本発明に係る画像選択装置100の構成を示す機能ブロック図である。
【図2】コンピュータ200の構成を示すブロック図である。
【図3】画像選択処理を示すフローチャートである。
【図4】顔が正面を向いている場合に各特徴点を結ぶ三角形の形状を示す図である。
【図5】顔が横方向を向いている場合に各特徴点を結ぶ三角形の形状を示す図である。
【符号の説明】
100…画像選択装置,200…コンピュータ,1…被写体,10…カメラ,12…候補画像抽出部,14…候補画像登録DB,16…肌色領域検出部,18…特徴点検出部,20…顔領域判定部,22…顔向判定部,24…評価値算出部,26…画像選択部,30…CPU,32…ROM,34…RAM,38…I/F,40…入力装置,44…表示装置

Claims (12)

  1. 選択対象となる複数の候補画像のなかから画像を選択するシステムであって、
    前記各候補画像ごとに当該候補画像に含まれる人物画像の顔の向きを判定する顔向判定手段と、前記顔向判定手段の判定結果に基づいて前記各候補画像ごとに当該候補画像の評価値を算出する評価値算出手段と、前記評価値算出手段で算出した評価値に基づいて前記複数の候補画像のなかから画像を選択する画像選択手段とを備えることを特徴とする画像選択システム。
  2. 請求項1において、
    さらに、前記各候補画像ごとに当該候補画像から肌色領域を検出する肌色領域検出手段と、前記肌色領域検出手段で検出した肌色領域から前記人物画像の両目及び口に対応する3つの特徴点を検出する特徴点検出手段とを備え、
    前記顔向判定手段は、前記特徴点検出手段で検出した3つの特徴点を結ぶ三角形の形状に基づいて、前記人物画像の顔の向きを判定するようになっていることを特徴とする画像選択システム。
  3. 請求項2において、
    前記顔向判定手段は、前記特徴点検出手段で検出した3つの特徴点を結ぶ三角形の形状に基づいて、前記人物画像の顔が正面を向いている度合いを算出するようになっており、
    前記評価値算出手段は、前記顔向判定手段で算出した正面向度合が大きいほど、前記候補画像の評価値を高い値として算出するようになっていることを特徴とする画像選択システム。
  4. 請求項3において、
    前記顔向判定手段は、1つの前記候補画像に複数の人物画像が含まれているときは、前記各人物画像ごとに当該人物画像の顔が正面を向いている度合いを算出するようになっており、
    前記評価値算出手段は、前記顔向判定手段で算出した正面向度合の総和が大きいほど、前記候補画像の評価値を高い値として算出するようになっていることを特徴とする画像選択システム。
  5. 請求項2乃至4のいずれかにおいて、
    前記画像選択手段は、前記複数の候補画像のなかから、前記評価値算出手段で算出した評価値が最も高いものを選択するようになっていることを特徴とする画像選択システム。
  6. 請求項2乃至5のいずれかにおいて、
    前記特徴点検出手段は、前記肌色領域検出手段で検出した肌色領域から輝度値の低い暗領域を検出し、検出した暗領域のモーメント、伸長度又は分散度を算出し、算出したモーメント、伸長度又は分散度が所定条件を満たしているときは、その暗領域のなかから特徴点を検出するようになっていることを特徴とする画像選択システム。
  7. 請求項2乃至6のいずれかにおいて、
    前記顔向判定手段は、前記特徴点検出手段で検出した3つの特徴点を結ぶ三角形の各辺のうち水平に最も近いものを目軸線として選択し、前記3つの特徴点のうち前記目軸線の端点となるもの以外を口特徴点として選択し、前記口特徴点から前記目軸線に対して垂線を引いたときの前記目軸線と前記垂線との交点を求め、前記目軸線の一方の端点と前記交点との距離、及び前記目軸線の他方の端点と前記交点との距離の差分に基づいて、前記人物画像の顔が正面を向いている度合いを算出するようになっていることを特徴とする画像選択システム。
  8. 請求項2乃至6のいずれかにおいて、
    前記顔向判定手段は、前記特徴点検出手段で検出した3つの特徴点を結ぶ三角形の重心点、及び前記3つの特徴点が属する肌色領域の重心点を求め、それら重心点間の距離に基づいて、前記人物画像の顔が正面を向いている度合いを算出するようになっていることを特徴とする画像選択システム。
  9. 請求項2乃至8のいずれかにおいて、
    さらに、前記特徴点検出手段で検出した3つの特徴点を結ぶ三角形の形状に基づいて前記肌色領域が前記人物画像の顔に相当する領域であるか否かを判定する顔領域判定手段を備え、
    前記顔向判定手段は、前記肌色領域検出手段で検出した肌色領域のうち前記顔領域判定手段で前記人物画像の顔に相当する領域であると判定したものを対象として、当該肌色領域について検出した3つの特徴点を結ぶ三角形の形状に基づいて、前記人物画像の顔が正面を向いている度合いを算出するようになっていることを特徴とする画像選択システム。
  10. 請求項9において、
    前記顔領域判定手段は、前記特徴点検出手段で検出した3つの特徴点を結ぶ三角形の各辺のうち水平に最も近いものを目軸線として選択し、前記3つの特徴点のうち前記目軸線の端点となるもの以外を口特徴点として選択し、前記口特徴点から前記目軸線に対して引いた垂線の長さ又は前記目軸線の長さが所定条件を満たしているときは、前記肌色領域検出手段で検出した肌色領域が前記人物画像の顔に相当する領域であると判定するようになっていることを特徴とする画像選択システム。
  11. 選択対象となる複数の候補画像のなかから画像を選択するプログラムであって、
    前記各候補画像ごとに当該候補画像に含まれる人物画像の顔の向きを判定する顔向判定手段、前記顔向判定手段の判定結果に基づいて前記各候補画像ごとに当該候補画像の評価値を算出する評価値算出手段、及び前記評価値算出手段で算出した評価値に基づいて前記複数の候補画像のなかから画像を選択する画像選択手段として実現される処理をコンピュータに実行させるためのプログラムであることを特徴とする画像選択プログラム。
  12. 選択対象となる複数の候補画像のなかから画像を選択する方法であって、
    前記各候補画像ごとに当該候補画像に含まれる人物画像の顔の向きを判定する顔向判定ステップと、前記顔向判定ステップの判定結果に基づいて前記各候補画像ごとに当該候補画像の評価値を算出する評価値算出ステップと、前記評価値算出ステップで算出した評価値に基づいて前記複数の候補画像のなかから画像を選択する画像選択ステップとを含むことを特徴とする画像選択方法。
JP2003155888A 2003-05-30 2003-05-30 システム、プログラムおよび方法 Expired - Fee Related JP4367010B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003155888A JP4367010B2 (ja) 2003-05-30 2003-05-30 システム、プログラムおよび方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003155888A JP4367010B2 (ja) 2003-05-30 2003-05-30 システム、プログラムおよび方法

Publications (2)

Publication Number Publication Date
JP2004361989A true JP2004361989A (ja) 2004-12-24
JP4367010B2 JP4367010B2 (ja) 2009-11-18

Family

ID=34050160

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003155888A Expired - Fee Related JP4367010B2 (ja) 2003-05-30 2003-05-30 システム、プログラムおよび方法

Country Status (1)

Country Link
JP (1) JP4367010B2 (ja)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007034804A (ja) * 2005-07-28 2007-02-08 Noritsu Koki Co Ltd 証明写真用画像判別方法及び画像処理装置
JP2007080014A (ja) * 2005-09-15 2007-03-29 Fujifilm Corp 画像評価装置および方法並びにプログラム
JP2007257321A (ja) * 2006-03-23 2007-10-04 Nissan Motor Co Ltd 顔部位追跡方法及びその装置
JP2007288478A (ja) * 2006-04-17 2007-11-01 Matsushita Electric Ind Co Ltd 撮像装置及び画像記録装置
JP2008084047A (ja) * 2006-09-28 2008-04-10 Fujifilm Corp 画像評価装置および方法並びにプログラム
JP2008276406A (ja) * 2007-04-26 2008-11-13 Toyota Motor Corp 顔画像処理装置
JP2008283230A (ja) * 2007-05-08 2008-11-20 Hitachi Kokusai Electric Inc 画像処理システム
JP2009205467A (ja) * 2008-02-28 2009-09-10 Seiko Epson Corp 画像出力方法、画像出力装置および画像出力プログラム
JP2010142553A (ja) * 2008-12-22 2010-07-01 Nintendo Co Ltd ゲームプログラムおよびゲーム装置
US7856124B2 (en) 2006-01-11 2010-12-21 Fujifilm Corporation Image evaluation device, method and program
JP2011035837A (ja) * 2009-08-05 2011-02-17 Toshiba Corp 電子機器および画像データの表示方法
JP2011103128A (ja) * 2010-11-29 2011-05-26 Seiko Epson Corp 画像選択装置および画像選択方法
WO2011099108A1 (ja) 2010-02-10 2011-08-18 パナソニック株式会社 画像評価装置、画像評価方法、プログラム、集積回路
CN101271569B (zh) * 2007-03-23 2013-02-13 富士胶片株式会社 用于评估图像的装置、方法
US8644613B2 (en) 2005-08-31 2014-02-04 Seiko Epson Corporation Image selection device and image selection method
JP2014027409A (ja) * 2012-07-25 2014-02-06 Fujitsu Ltd 画像選択方法、画像選択装置、符号化装置、画像選択システム、画像選択プログラム、符号化プログラム、及び画像符号化選択プログラム
JP2019028936A (ja) * 2017-08-03 2019-02-21 日本電気株式会社 情報処理装置、人物同定情報決定方法、人物同定情報登録方法、およびプログラム

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04281578A (ja) * 1991-03-11 1992-10-07 Nippon Telegr & Teleph Corp <Ntt> 物体の方向検出処理方式
JPH07302327A (ja) * 1993-08-11 1995-11-14 Nippon Telegr & Teleph Corp <Ntt> 物体画像検出方法及び検出装置
JPH07311833A (ja) * 1994-05-17 1995-11-28 Nec Corp 人物の顔の検出装置
JPH10307923A (ja) * 1997-05-01 1998-11-17 Mitsubishi Electric Corp 顔部品抽出装置および顔の向き検出装置
JP2000097676A (ja) * 1998-09-24 2000-04-07 Sanyo Electric Co Ltd 顔向き検出方法及びその装置
JP2000163196A (ja) * 1998-09-25 2000-06-16 Sanyo Electric Co Ltd ジェスチャ認識装置及びジェスチャ認識機能を有する指示認識装置
JP2000232638A (ja) * 1999-02-09 2000-08-22 Toshiba Corp 画像情報を評価する人物監視システム
JP2000259833A (ja) * 1999-03-08 2000-09-22 Toshiba Corp 顔画像処理装置及びその処理方法
JP2000354247A (ja) * 1999-06-10 2000-12-19 Sharp Corp 画像処理装置
JP2001067459A (ja) * 1999-08-26 2001-03-16 Toshiba Corp 顔画像処理方法および顔画像処理装置
JP2001357404A (ja) * 2000-06-14 2001-12-26 Minolta Co Ltd 画像抽出装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04281578A (ja) * 1991-03-11 1992-10-07 Nippon Telegr & Teleph Corp <Ntt> 物体の方向検出処理方式
JPH07302327A (ja) * 1993-08-11 1995-11-14 Nippon Telegr & Teleph Corp <Ntt> 物体画像検出方法及び検出装置
JPH07311833A (ja) * 1994-05-17 1995-11-28 Nec Corp 人物の顔の検出装置
JPH10307923A (ja) * 1997-05-01 1998-11-17 Mitsubishi Electric Corp 顔部品抽出装置および顔の向き検出装置
JP2000097676A (ja) * 1998-09-24 2000-04-07 Sanyo Electric Co Ltd 顔向き検出方法及びその装置
JP2000163196A (ja) * 1998-09-25 2000-06-16 Sanyo Electric Co Ltd ジェスチャ認識装置及びジェスチャ認識機能を有する指示認識装置
JP2000232638A (ja) * 1999-02-09 2000-08-22 Toshiba Corp 画像情報を評価する人物監視システム
JP2000259833A (ja) * 1999-03-08 2000-09-22 Toshiba Corp 顔画像処理装置及びその処理方法
JP2000354247A (ja) * 1999-06-10 2000-12-19 Sharp Corp 画像処理装置
JP2001067459A (ja) * 1999-08-26 2001-03-16 Toshiba Corp 顔画像処理方法および顔画像処理装置
JP2001357404A (ja) * 2000-06-14 2001-12-26 Minolta Co Ltd 画像抽出装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
AZRIEL ROSENFELD, ディジタル画像処理, vol. 第1版, JPN6009006198, 10 December 1978 (1978-12-10), JP, pages 407 - 410, ISSN: 0001247489 *
長谷川浩史,外1名: "Hough変換を用いた顔画像処理の一方法", 電子情報通信学会技術研究報告, vol. 90, no. 491, JPN6009006196, 20 March 1991 (1991-03-20), JP, pages 63 - 70, ISSN: 0001247488 *

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4645952B2 (ja) * 2005-07-28 2011-03-09 ノーリツ鋼機株式会社 証明写真用画像判別方法及び画像処理装置
JP2007034804A (ja) * 2005-07-28 2007-02-08 Noritsu Koki Co Ltd 証明写真用画像判別方法及び画像処理装置
US8644613B2 (en) 2005-08-31 2014-02-04 Seiko Epson Corporation Image selection device and image selection method
JP2007080014A (ja) * 2005-09-15 2007-03-29 Fujifilm Corp 画像評価装置および方法並びにプログラム
US7856124B2 (en) 2006-01-11 2010-12-21 Fujifilm Corporation Image evaluation device, method and program
JP2007257321A (ja) * 2006-03-23 2007-10-04 Nissan Motor Co Ltd 顔部位追跡方法及びその装置
JP2007288478A (ja) * 2006-04-17 2007-11-01 Matsushita Electric Ind Co Ltd 撮像装置及び画像記録装置
JP2008084047A (ja) * 2006-09-28 2008-04-10 Fujifilm Corp 画像評価装置および方法並びにプログラム
US8090158B2 (en) 2006-09-28 2012-01-03 Fujifilm Corporation Image evaluation apparatus, method, and program
JP4680161B2 (ja) * 2006-09-28 2011-05-11 富士フイルム株式会社 画像評価装置および方法並びにプログラム
US8457365B2 (en) 2007-03-23 2013-06-04 Fujifilm Corporation Device, method and computer readable recording medium containing program for evaluating image
CN101271569B (zh) * 2007-03-23 2013-02-13 富士胶片株式会社 用于评估图像的装置、方法
JP2008276406A (ja) * 2007-04-26 2008-11-13 Toyota Motor Corp 顔画像処理装置
JP2008283230A (ja) * 2007-05-08 2008-11-20 Hitachi Kokusai Electric Inc 画像処理システム
JP2009205467A (ja) * 2008-02-28 2009-09-10 Seiko Epson Corp 画像出力方法、画像出力装置および画像出力プログラム
US8170299B2 (en) 2008-02-28 2012-05-01 Seiko Epson Corporation Image output method, image output device, and image output program
JP2010142553A (ja) * 2008-12-22 2010-07-01 Nintendo Co Ltd ゲームプログラムおよびゲーム装置
US8852003B2 (en) 2008-12-22 2014-10-07 Nintendo Co., Ltd. Storage medium storing a game program, game apparatus and game controlling method
US9421462B2 (en) 2008-12-22 2016-08-23 Nintendo Co., Ltd. Storage medium storing a game program, game apparatus and game controlling method
JP2011035837A (ja) * 2009-08-05 2011-02-17 Toshiba Corp 電子機器および画像データの表示方法
WO2011099108A1 (ja) 2010-02-10 2011-08-18 パナソニック株式会社 画像評価装置、画像評価方法、プログラム、集積回路
US8660378B2 (en) 2010-02-10 2014-02-25 Panasonic Corporation Image evaluating device for calculating an importance degree of an object and an image, and an image evaluating method, program, and integrated circuit for performing the same
JP2011103128A (ja) * 2010-11-29 2011-05-26 Seiko Epson Corp 画像選択装置および画像選択方法
JP2014027409A (ja) * 2012-07-25 2014-02-06 Fujitsu Ltd 画像選択方法、画像選択装置、符号化装置、画像選択システム、画像選択プログラム、符号化プログラム、及び画像符号化選択プログラム
JP2019028936A (ja) * 2017-08-03 2019-02-21 日本電気株式会社 情報処理装置、人物同定情報決定方法、人物同定情報登録方法、およびプログラム
JP2022123142A (ja) * 2017-08-03 2022-08-23 日本電気株式会社 情報処理装置、情報処理方法、およびプログラム
JP7409437B2 (ja) 2017-08-03 2024-01-09 日本電気株式会社 情報処理装置、情報処理方法、およびプログラム

Also Published As

Publication number Publication date
JP4367010B2 (ja) 2009-11-18

Similar Documents

Publication Publication Date Title
JP4367010B2 (ja) システム、プログラムおよび方法
KR101605983B1 (ko) 얼굴 검출을 이용한 이미지 재구성
JP4908505B2 (ja) 撮影者を利用した画像の分類
US8345118B2 (en) Image capturing apparatus, image capturing method, album creating apparatus, album creating method, album creating system and computer readable medium
JP4461747B2 (ja) 対象決定装置
US8189916B2 (en) Image processing method, system, and computer readable medium
JP2005303991A (ja) 撮像装置、撮像方法、及び撮像プログラム
WO2020237565A1 (zh) 一种目标追踪方法、装置、可移动平台及存储介质
JP2010045819A (ja) 顔を検出するカメラ及び方法
JP2005086516A (ja) 撮像装置、印刷装置、画像処理装置およびプログラム
US7460705B2 (en) Head-top detecting method, head-top detecting system and a head-top detecting program for a human face
JP2007324965A (ja) デジタルカメラ、撮影制御方法および画像出力システム
US20090087100A1 (en) Top of head position calculating apparatus, image processing apparatus that employs the top of head position calculating apparatus, top of head position calculating method and recording medium having a top of head position calculating program recorded therein
Rahman et al. Real-time face-priority auto focus for digital and cell-phone cameras
US8213720B2 (en) System and method for determining chin position in a digital image
JP5142825B2 (ja) 画像表示装置及び画像表示方法
JP2008059534A (ja) 画像トリミング装置、画像トリミング方法およびそのプログラム
JP2009152718A (ja) 画像処理装置、画像処理方法、およびプログラム
JP2007274486A (ja) 画像出力方法および装置ならびにプログラム
EP2200275B1 (en) Method and apparatus of displaying portrait on a display
JP5691617B2 (ja) 被写体特定装置、および被写体追尾装置
JP5272775B2 (ja) 電子スチルカメラ
JP3263253B2 (ja) 顔方向判定装置及びそれを用いた画像表示装置
KR101441585B1 (ko) 카메라 및 촬영이미지 합성방법
RU2329535C2 (ru) Способ автоматического кадрирования фотографий

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060214

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20070403

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090204

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090210

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090408

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090519

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090713

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090804

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090817

R150 Certificate of patent or registration of utility model

Ref document number: 4367010

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120904

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130904

Year of fee payment: 4

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees