JP2015191358A - 中心人物判定システム、中心人物判定システムに利用される情報端末、中心人物判定方法、ならびに中心人物判定プログラムおよび記録媒体 - Google Patents

中心人物判定システム、中心人物判定システムに利用される情報端末、中心人物判定方法、ならびに中心人物判定プログラムおよび記録媒体 Download PDF

Info

Publication number
JP2015191358A
JP2015191358A JP2014066990A JP2014066990A JP2015191358A JP 2015191358 A JP2015191358 A JP 2015191358A JP 2014066990 A JP2014066990 A JP 2014066990A JP 2014066990 A JP2014066990 A JP 2014066990A JP 2015191358 A JP2015191358 A JP 2015191358A
Authority
JP
Japan
Prior art keywords
image data
central person
face image
person determination
determination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014066990A
Other languages
English (en)
Inventor
敏貢 福島
Toshitsugu Fukushima
敏貢 福島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2014066990A priority Critical patent/JP2015191358A/ja
Priority to US14/669,656 priority patent/US9721145B2/en
Publication of JP2015191358A publication Critical patent/JP2015191358A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/164—Detection; Localisation; Normalisation using holistic features

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】低速な通信環境下において中心人物判定処理に係る判定処理時間を短縮することができ、また、情報端末およびサーバのそれぞれのデータ処理速度と、情報端末とサーバとの間の通信速度とに応じて最適な中心人物判定フローを選択することで中心人物判定処理に係る判定処理時間を短縮することができる中心人物判定システム、中心人物判定システムに利用される情報端末、中心人物判定方法、ならびに中心人物判定プログラムおよび記録媒体を提供する。
【解決手段】情報端末において、複数の画像データに基づく複数の画像について、顔検出処理を行って、顔検出結果を生成し、顔検出結果に基づいて複数の画像データに基づく複数の画像から、顔画像を切り抜いて複数の顔画像データを生成し、複数の顔画像データをサーバへ送信し、サーバにおいて、情報端末より受信した複数の顔画像データに基づいて中心人物判定処理を行い、中心人物判定結果を生成し、情報端末へ中心人物判定結果を送信する。
【選択図】図１

Description

本発明は、複数の画像データから、画像に写る中心人物を判定する中心人物判定システム、中心人物判定システムに利用される情報端末、中心人物判定方法、ならびに中心人物判定プログラムおよび記録媒体に関するものである。
昨今、スマートフォンやスマートタブレット等の携帯情報端末の普及率が急速に伸びており、携帯情報端末によって撮影された複数の画像データを用いたフォトブック等の画像商材の作成がなされている。
また、より魅力的な画像商材を作成するためには、例えば、画像商材に利用する複数の画像から複数の画像に写る中心人物を判定し、中心人物に基づいて画像商材を作成することなどが挙げられる。
例えば、特許文献１には、画像データから、顔検出、顔画像データの生成、および顔の特徴点の抽出を行って、顔の特徴点に基づく顔認識データを生成する画像処理装置が開示されている。
また、特許文献２には、映像出力装置において、映像中に顔が含まれることが認識された場合に、顔の領域を切り出した顔の映像を顔検索サーバへ送信し、また、顔検索サーバから映像出力装置へ顔の映像に対応する人物の関連情報（のリンク情報）を送信する映像出力装置が開示されている。
特開２００７−１４８６９１号公報 特開２００８−１６０３５４号公報
当業者であれば、特許文献１に記載の画像処理装置を利用して、複数の画像データから顔認識データを生成し、顔認識データを利用して中心人物を判定し、例えば、中心人物に基づくフォトブック等の画像商材を作成することができる。
しかし、中心人物の判定に関する一連の処理（中心人物判定処理）は、マシンパワーを必要とする負荷の高い処理であり、例えば、負荷の高い処理を想定していない携帯情報端末等で中心人物判定処理を行うと処理に長時間を要してしまう。
また、中心人物判定処理は、一般的に、入力された複数の画像データに対して、顔検出、顔特徴量の算出（顔パーツ検出）、顔モデルデータの生成、顔モデルデータに基づく中心人物の判定（または、同一人物の判定）というフローで行われるが、これらの一連の処理を携帯情報端末において行うかサーバにおいて行うかによって中心人物判定処理に掛かる処理時間が大きく異なる。例えば、所定の携帯情報端末（SAMSUNG社製Galaxy（登録商標） S4 SC-04Eを想定）および所定のサーバ（DELL社製PowerEdge（登録商標） R420を想定）における顔検出、顔特徴量の算出、顔モデルデータの生成および中心人物判定（４００顔、１５００顔）に係る処理時間は以下の表１のとおりとなる。
Figure 2015191358
すなわち、上述の表１に示すように、携帯情報端末の場合、中心人物の判定の前段階までで（画像枚数）×４０５ｍｓの処理時間が掛かり、また、サーバの場合、中心人物の判定の前段階までで（画像枚数）×８１ｍｓの処理時間が掛かる。また、中心人物の判定では、顔モデルデータ同士の組み合わせ（例えば、Ｃｏｍｂｉｎａｔｉｏｎ＝（ｎ×（ｎ−１））／（２×１））で比較処理を行うため、顔モデルデータの数が増えると、例えば、計算量を削減する種々の公知のアルゴリズムによって処理時間の削減を図ったとしても比例関係以上の処理時間の増大が起こり得る。
そのため、上述のフローによって行われる中心人物判定処理に掛かる処理時間、つまり上述の一連の処理に掛かる処理時間の合計は、以下の表２のように、画像４００枚（画像１枚に顔１つ）の場合、携帯情報端末では約２０７秒（４０５ｍｓ×４００＋４５ｓ）となり、サーバでは約３６．４秒（８１ｍｓ×４００＋４ｓ）となる。また、画像１５００枚（画像１枚に顔１つ）の場合、上述の一連の処理に掛かる処理時間の合計は、携帯情報端末では約７７７．５秒（４０５ｍｓ×１５００＋１７０ｓ）となり、サーバでは、約１３６．５秒（８１ｍｓ×１５００＋１５ｓ）となる。
Figure 2015191358
上述の表２は、携帯情報端末において中心人物判定処理を行った場合とサーバにおいて中心人物判定処理を行った場合とにおいて、中心人物判定処理に掛かる処理時間の単純な比較の一例であるが、実際のところ、携帯情報端末の有する複数の画像データについてサーバにおいて中心人物判定処理を行うためには、インターネット等の通信回線を通じて携帯情報端末からサーバへ複数の画像データを送信（アップロード）する必要があり、上述のようなデータ処理時間だけでなく、通信処理に掛かる時間（通信処理時間）も考慮する必要がある。
そのため、例えば、３Ｇと呼ばれる第３世代移動通信システム（以下、３Ｇ回線）を利用する場合等、低速な通信環境によっては携帯情報端末で中心人物判定処理を行うよりも処理時間が長く掛かってしまう。
また、特許文献２では、顔の領域を切り出した顔の映像を送信することで、映像出力装置から顔検索サーバへ送信されるデータ量を低減できる旨が開示されているが、携帯情報端末のように通信環境が大きく変化するような状況は考慮されていない。また、特許文献２において、顔検索サーバで顔の照合が行われるのは、セキュリティのためであり、映像出力装置と顔検索サーバとのデータ処理速度の違いを考慮して、顔検索サーバで顔の照合が行われているわけではない。
本発明の目的は、上記課題を解決し、低速な通信環境下において中心人物判定処理に係る判定処理時間を短縮することができる中心人物判定処理システム、中心人物判定システムに利用される情報端末、中心人物判定方法、ならびに中心人物判定プログラムおよび記録媒体を提供することにある。また、本発明の目的は、情報端末およびサーバのそれぞれのデータ処理速度と、情報端末とサーバとの間の通信速度とに応じて最適な中心人物判定フローを選択し、中心人物判定処理に係る判定処理時間を短縮することができる中心人物判定システム、中心人物判定システムに利用される情報端末、中心人物判定方法、ならびに中心人物判定プログラムおよび記録媒体を提供することにある。
上記課題を解決するために、本発明は、複数の画像データを有する情報端末とサーバとからなる中心人物判定システムであって、情報端末は、複数の画像データに基づく複数の画像について、それぞれ顔検出処理を行い、顔検出結果を生成する顔検出部と、顔検出結果に基づいて複数の画像データに基づく複数の画像から、顔画像を切り抜いて複数の顔画像データを生成する顔画像データ生成部と、複数の顔画像データをサーバへ送信し、サーバから中心人物判定結果を受信する端末データ送受信部とを備え、サーバは、情報端末より取得した複数の顔画像データに基づいて中心人物判定処理を行い、中心人物判定結果を生成する中心人物判定処理部と、情報端末より複数の顔画像データを受信し、情報端末へ中心人物判定結果を送信するサーバデータ送受信部とを備えることを特徴とする中心人物判定システムを提供する。
また、顔画像データ生成部は、顔検出結果に基づいて顔画像の中心位置と顔画像のサイズとを算出し、顔画像の中心位置と顔画像のサイズとに基づいて顔画像を切り抜いて顔画像データを生成することが好ましい。
また、顔画像データ生成部は、顔画像の切り抜かれた元画像のデータ名、顔画像の中心位置、顔画像のサイズおよび元画像データのチェックサムの少なくとも１つを顔画像データのデータ名として使用することが好ましい。
また、顔画像データ生成部は、顔画像データの大きさを一律に揃え、且つ顔画像データのデータ容量が所定値以下となるようにエンコードを行うことが好ましい。
また、本発明は、複数の画像データを有する情報端末、または情報端末とサーバとからなる中心人物判定システムであって、情報端末とサーバとの間の通信速度ならびに情報端末およびサーバのそれぞれのデータ処理速度に応じて、情報端末において複数の画像データから顔画像データを生成し、顔画像データをサーバに送信することで中心人物判定処理を行い、サーバから中心人物判定結果を受信する第１の判定フロー、情報端末から複数の画像データをサーバに送信することで中心人物判定処理を行い、サーバから中心人物判定結果を受信する第２の判定フロー、および情報端末において複数の画像データから中心人物判定処理を行って中心人物判定結果を生成する第３の判定フローのそれぞれにおいて、複数の画像データに基づく中心人物判定処理に掛かる判定処理時間を推定する判定処理時間推定部と、判定処理時間推定部において判定処理時間を推定された第１の判定フロー、第２の判定フローおよび第３の判定フローのうち、判定処理時間の最も短い中心人物判定フローを選択するフロー選択部と、フロー選択部によって選択された中心人物判定フローに基づいて複数の画像データの中心人物判定処理を行う判定フロー実行部を備え、判定フロー実行部は、複数の画像データに基づく複数の画像について、それぞれ顔検出処理を行い、顔検出結果を出力する顔検出部と、顔検出結果に基づいて生成された複数の顔画像データまたは顔検出結果および複数の画像データに基づいて中心人物判定処理を行って中心人物判定結果を生成する中心人物判定処理部とを有することを特徴とする中心人物判定システムを提供する。
また、判定処理時間推定部は、判定フロー実行部において、１つの画像データに対して第１の判定フロー、第２の判定フローおよび第３の判定フローのそれぞれを行って、それぞれの判定処理実時間を算出し、判定処理実時間に基づいてそれぞれの判定処理時間を推定することが好ましい。
また、本発明は、複数の画像データに基づく複数の画像について、それぞれ顔検出処理を行い、顔検出結果を生成する顔検出部と、顔検出結果に基づいて複数の画像データに基づく複数の画像から、顔画像を切り抜いて複数の顔画像データを生成する顔画像データ生成部と、複数の顔画像データをサーバへ送信し、サーバから複数の顔画像データに基づく中心人物判定処理によって得られた中心人物判定結果を受信する端末データ送受信部とを備えることを特徴とする情報端末を提供する。
また、顔画像データ生成部は、顔検出結果に基づいて顔画像の中心位置と顔画像のサイズとを算出し、顔画像の中心位置と顔画像のサイズとに基づいて顔画像を切り抜いて顔画像データを生成することが好ましい。
また、顔画像データ生成部は、顔画像の切り抜かれた元画像のデータ名、顔画像の中心位置、顔画像のサイズおよび元画像データのチェックサムの少なくとも１つを顔画像データのデータ名として使用することが好ましい。
また、顔画像データ生成部は、顔画像データの大きさを一律に揃え、且つ顔画像データのデータ容量が所定値以下となるようにエンコードを行うことが好ましい。
また、本発明は、複数の画像データを有する情報端末であって、情報端末とサーバとの間の通信速度ならびに情報端末およびサーバのそれぞれのデータ処理速度に応じて、情報端末において複数の画像データから顔画像データを生成し、顔画像データをサーバに送信することで中心人物判定処理を行い、サーバから中心人物判定結果を受信する第１の判定フロー、情報端末から複数の画像データをサーバに送信することで中心人物判定処理を行い、サーバから中心人物判定結果を受信する第２の判定フロー、および情報端末において複数の画像データから中心人物判定処理を行って中心人物判定結果を生成する第３の判定フローのそれぞれにおいて、複数の画像データに基づく中心人物判定処理に掛かる判定処理時間を推定する判定処理時間推定部と、判定処理時間推定部において判定処理時間を推定された第１の判定フロー、第２の判定フローおよび第３の判定フローのうち、判定処理時間の最も短い中心人物判定フローを選択するフロー選択部とを備えることを特徴とする情報端末を提供する。
また、本発明は、複数の画像データを有する情報端末とサーバとを利用した中心人物判定方法であって、情報端末において、複数の画像データに基づく複数の画像について、顔検出処理を行って、顔検出結果を生成する顔検出ステップと、顔検出結果に基づいて複数の画像データに基づく複数の画像から、顔画像を切り抜いて複数の顔画像データを生成する顔画像データ生成ステップと、複数の顔画像データをサーバへ送信する顔画像データ送信ステップと、サーバにおいて、情報端末より複数の顔画像データを受信する顔画像データ受信ステップと、情報端末より受信した複数の顔画像データに基づいて中心人物判定処理を行い、中心人物判定結果を生成する中心人物判定処理ステップと、情報端末へ中心人物判定結果を送信する中心人物判定結果送信ステップと、情報端末において、サーバから中心人物判定結果を受信する中心人物判定結果受信ステップを備えることを特徴とする中心人物判定方法を提供する。
また、顔画像データ生成ステップは、顔検出結果に基づいて顔画像の中心位置と顔画像のサイズとを算出し、顔画像の中心位置と顔画像のサイズとに基づいて顔画像を切り抜いて顔画像データを生成することが好ましい。
また、顔画像データ生成ステップは、顔画像の切り抜かれた元画像のデータ名、顔画像の中心位置、顔画像のサイズおよび元画像データのチェックサムの少なくとも１つを顔画像データのデータ名として使用することが好ましい。
また、顔画像データ生成ステップは、顔画像データの大きさを一律に揃え、且つ顔画像データのデータ容量が所定値以下となるようにエンコードを行うことが好ましい。
また、本発明は、複数の画像データを有する情報端末、または情報端末とサーバとを利用した中心人物判定方法であって、情報端末において、情報端末とサーバとの通信速度ならびに情報端末およびサーバのそれぞれのデータ処理速度に応じて、情報端末において複数の画像データから顔画像データを生成し、顔画像データをサーバに送信することで中心人物判定処理を行い、サーバから中心人物判定結果を受信する第１の判定フロー、情報端末から複数の画像データをサーバに送信することで中心人物判定処理を行い、サーバから中心人物判定結果を受信する第２の判定フロー、および情報端末において複数の画像データから中心人物判定処理を行って中心人物判定結果を生成する第３の判定フローのそれぞれにおいて、複数の画像データに基づく中心人物判定処理に掛かる判定処理時間を推定する判定処理時間推定ステップと、判定処理時間推定ステップにおいて判定処理時間を推定された第１の判定フロー、第２の判定フローおよび第３の判定フローのうち、判定処理時間の最も短い中心人物判定フローを選択するフロー選択ステップと、フロー選択ステップによって選択された中心人物判定フローに基づいて複数の画像データの中心人物判定処理を行って中心人物判定結果を生成する判定フロー実行ステップを備え、判定フロー実行ステップは、複数の画像データに基づく複数の画像について、それぞれ顔検出処理を行い、顔検出結果を出力する顔検出ステップと、顔検出結果に基づいて生成された複数の顔画像データまたは顔検出結果および複数の画像データに基づいて中心人物判定処理を行って中心人物判定結果を生成する中心人物判定処理ステップとを有することを特徴とする中心人物判定方法を提供する。
また、判定処理時間推定ステップは、１つの画像データに対して第１の判定フロー、第２の判定フローおよび第３の判定フローのそれぞれを行って、それぞれの判定処理実時間を算出し、判定処理実時間に基づいてそれぞれの判定処理時間を推定することが好ましい。
また、本発明は、情報端末または情報端末およびサーバに、上述のいずれかに記載の中心人物判定方法の各ステップを実行させるための中心人物判定プログラムを提供する。
また、本発明は、上述の中心人物判定処理プログラムが記録されたコンピュータ読取可能な記録媒体を提供する。
本発明によれば、低速な通信環境下において中心人物判定処理に係る判定処理時間を短縮することができる。また、本発明によれば、情報端末およびサーバのそれぞれのデータ処理速度と、情報端末とサーバとの間の通信速度とに応じて最適な中心人物判定フローを選択することができ、中心人物判定処理に係る判定処理時間を短縮することができる。
本発明の実施の形態１に係る中心人物判定システムの全体構成を示すブロック図である。 図１の中心人物判定システムにおける顔画像データ生成部の構成の一例を示すブロック図である。 図１の中心人物判定システムにおける中心人物判定処理部の構成の一例を示すブロック図である。 図１の中心人物判定システムの動作の一例を示すフローチャートである。 図２の顔画像データ生成部の顔画像クロップ部における顔画像のクロッピング（切り抜き）の一例を説明する図である。 本発明の実施の形態２に係る中心人物判定システムの全体構成を示すブロック図である。 本発明の実施の形態２に係る第１の判定フローを示すフローチャートである。 本発明の実施の形態２に係る第２の判定フローを示すフローチャートである。 本発明の実施の形態２に係る第３の判定フローを示すフローチャートである。 図６の中心人物判定システムの動作の一例を示すフローチャートである。
本発明に係る中心人物判定システム、中心人物判定システムに利用される情報端末、中心人物判定方法、ならびに中心人物判定プログラムおよび記録媒体を、添付の図面に示す好適実施形態に基づいて以下に詳細に説明する。
実施の形態１
図１は、本発明の実施の形態１に係る中心人物判定システムの全体構成を示すブロック図である。図１の中心人物判定システム１０は、情報端末１２とサーバ１４とによって構成され、情報端末１２とサーバ１４とは、例えば、３Ｇ回線のような低速な通信回線によって相互に接続される。
情報端末１２は、画像データ取得部１６と、画像データ取得部１６より順次接続される顔検出部１８、顔画像データ生成部２０、および端末データ送受信部２２を備え、これらの各部に接続する端末格納部２４を備える。また、情報端末１２は、画像データ取得部１６、顔検出部１８、顔画像データ生成部２０、端末データ送受信部２２および端末格納部２４のそれぞれに接続する端末制御部２６と、端末制御部２６に接続する操作部２８および表示部３０を備える。
また、例えば、情報端末１２としては、携帯電話、ＰＤＡ（Personal Digital Assistant）、ノートＰＣ、タブレットＰＣ、携帯ゲーム機など、インターネット等を介してサーバ１４等と通信可能な端末が挙げられる。
サーバ１４は、サーバデータ送受信部３２と、サーバデータ送受信部３２に接続する中心人物判定処理部３４と、サーバデータ送受信部３２および中心人物判定処理部３４に接続するサーバ格納部３６とを備え、また、サーバデータ送受信部３２、中心人物判定処理部３４、およびサーバ格納部３６にそれぞれ接続するサーバ制御部３８を備える。
また、図２に示すように、顔画像データ生成部２０は、顔画像クロップ部４０と顔画像クロップ部４０に接続されるエンコード部４２を備える。また、図３に示すように、中心人物判定処理部３４は、サーバデータ送受信部３２から順次接続される顔特徴量算出部４４、顔モデルデータ生成部４６、および中心人物判定部４８を備え、中心人物判定部４８は、サーバデータ送受信部３２に接続する。
図１の情報端末１２の画像データ取得部１６は、外部の格納装置と接続し、また、記録媒体等が設置され、これら格納装置や記録媒体等から複数の画像データを取得し、取得された複数の画像データを出力するものである。
顔検出部１８は、複数の画像データを画像データ取得部１６または端末格納部２４から取得し、それぞれの画像データに基づく画像から画像に写る顔画像（画像に写る顔の部分）を検出して、顔検出結果を出力するものである。顔画像の検出は、例えば、顔の輝度分布の情報が記録されているテンプレートを利用してマッチングを行い、画像の中から目、鼻、口および輪郭等に基づいて顔画像を検出することによって行われ、顔画像の検出によって、それぞれの顔画像の中心座標（例えば、ピクセル座標）と、顔画像のサイズとが顔検出結果として出力される。ここで、顔画像の中心座標とは、例えば、目、鼻、口、および輪郭等から算出される顔画像の中心位置であり、顔の向きによって異なるが、例えば、正面を向いている場合は鼻の中央付近の座標が顔画像の中心座標として算出され、また、例えば、横向きの場合等は、輪郭線の中央付近の座標が顔画像の中心座標として算出される。また、ここで顔画像のサイズとは、例えば、顔画像の中心座標と輪郭線の顎部（または頭頂部）との間の距離を２倍することで算出される。
顔画像データ生成部２０は、それぞれの画像データに基づく画像から顔画像部分を抜き出して顔画像データを生成し、顔画像データを出力する。
図２の顔画像クロップ部４０は、上述の顔画像の中心座標と顔画像のサイズとに基づいて、それぞれの顔画像をクロッピング（切り抜き）し、プレ顔画像データを生成する。また、エンコード部４２は、プレ顔画像データを取得して、所定の規格に対応するようにエンコードすることで顔画像データを生成する。なお、クロッピングおよびエンコードの詳細については後述する。
図１の端末データ送受信部２２は、所定のプロトコル、例えば、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）に基づいて、サーバ１４等と各種データの送受信を行うものであり、顔画像データ等をサーバ１４へ送信し、後述する中心人物判定結果等をサーバ１４から受信する。
端末格納部２４は、上述の複数の画像データ、顔検出結果、複数の顔画像データ等を格納するものであり、例えば、磁気テープ、磁気ディスク、光ディスク、光磁気ディスクおよびフラッシュメモリ等の記録媒体によって構成される。
端末制御部２６は、情報端末１２の各部に直接的または間接的に接続し、操作部２８からのユーザの指示に基づいて、または、図示しない内部メモリ等に記憶された所定のプログラム等に基づいて、情報端末１２の各部を制御するものである。また、例えば、画像データ取得部１６による画像データの取得や、表示部３０における画像の表示、中心人物判定結果の利用等は端末制御部２６を通じて行われる。
操作部２８は、ユーザから各種指示を受け、これらの指示を端末制御部２６へ出力するものであり、例えば、各種ボタン、キーボード、マウス等、種々の公知の構成を利用することができる。なお、表示部３０と一体としてタッチパネルディスプレイとして構成されてもよい。
表示部３０は、端末制御部２６の指示に基づいて、上述の画像データまたは顔画像データに基づく画像および操作用の画像等を表示するものであり、例えば、液晶ディスプレイ、有機ＥＬディスプレイ等が挙げられる。
サーバ１４のサーバデータ送受信部３２は、上述の端末データ送受信部２２と同様に、所定のプロトコル、例えば、ＴＣＰ／ＩＰに基づいて、情報端末１２等と各種データの送受信を行うものであり、情報端末１２から顔画像データ等を受信し、情報端末１２へ同一人物判定結果等を送信する。
中心人物判定処理部３４は、複数の顔画像データ等に基づいて中心人物判定処理を行って、中心人物判定結果を出力する。
図３の顔特徴量算出部４４は、例えば、顔画像データに基づく顔画像から、顔画像における目、鼻、口および輪郭等の顔パーツを検出し、顔パーツの位置情報を顔特徴量として算出する。例えば、顔画像の鼻部分の特徴量としては、鼻部分の中心座標（画像データまたは顔画像データにおけるピクセル座標）（ｘ、ｙ）＝（４３ｐｘ、１２２ｐｘ）、鼻部分のサイズ（横、縦）＝（６ｐｘ、１３ｐｘ）のように算出される。
顔モデルデータ生成部４６は、複数の顔特徴量に基づいて顔モデルデータを生成し、顔モデルデータを出力する。顔モデルデータとしては、例えば、上述の顔パーツの位置情報に基づいて算出された顔パーツの位置関係を表わすベクトル量等が挙げられる。
中心人物判定部４８は、例えば、顔モデルデータ同士の差分に基づいて同一人物判定処理を行い、最も顔画像データの多い人物を中心人物として中心人物判定結果を出力する。なお、中心人物判定結果としては、中心人物の情報のみに限定されず、同一人物判定処理によって判定された中心人物以外の人物の情報を含んでもよく、例えば、中心人物を含むそれぞれの登場人物とその登場回数の一覧表等が挙げられる。
図１のサーバ格納部３６は、上述の端末格納部２４と同様に、上述の顔検出結果、複数の顔画像データ、中心人物判定結果等を格納するものであり、例えば、磁気テープ、磁気ディスク、光ディスク、光磁気ディスクおよびフラッシュメモリ等の記録媒体によって構成される。
サーバ制御部３８は、上述の端末制御部２６と同様に、サーバ１４の各部に直接的または間接的に接続し、情報端末１２からのユーザの指示に基づいて、または、図示しない内部メモリ等に記憶された所定のプログラム等に基づいて、サーバ１４の各部を制御するものである。また、例えば、サーバデータ送受信部３２によるデータの送受信、中心人物判定処理部３４における中心人物判定処理、およびサーバ格納部３６における格納データの検索等はサーバ制御部３８を通じて行われる。
次に、図４のフローチャートに基づいて、図１の中心人物判定システム１０の動作（本発明の中心人物判定方法）を説明する。なお、情報端末１２およびサーバ１４の各ステップの処理時間としては、上述の表１のとおりである。つまり、情報端末１２として、SAMSUNG社製Galaxy S4 SC-04Eに相当する性能を有する情報端末が想定され、サーバ１４として、DELL社製PowerEdge R420に相当する性能を有するサーバが想定される。
ステップＳ１に示すように、情報端末１２の画像データ取得部１６は、端末制御部２６を介した操作部２８からのユーザの指示に基づいて、画像データ取得部１６に接続された外部の記録装置または画像データ取得部１６に設置された記録媒体等から中心人物判定を行う複数の画像データを取得する。画像データ取得部１６によって取得された複数の画像データは、顔検出部１８に出力される。また、端末格納部２４に出力されてもよい。なお、画像データ取得部１６による複数の画像データの取得は必須ではなく、例えば、予め端末格納部２４に格納された複数の画像データを利用してもよい。
次に、ステップＳ２として、複数の画像データのそれぞれの画像データに対して、顔検出部１８において顔検出処理を行う。顔検出処理は、例えば、画像データに基づく画像から、公知の顔検出アルゴリズムによって顔画像を検出し、顔画像の中心座標と顔画像のサイズとを顔検出結果として出力するものである。顔検出結果は、顔検出を行った画像データとともに顔画像データ生成部２０へ出力される。１枚の画像に複数人の顔が写る場合は、人数分の顔検出結果が出力される。
続くステップＳ３では、画像データとその画像データにおける顔検出結果とに基づいて顔画像データの生成を行う。まず、ステップＳ３−１として、図５に示すように、顔画像データ生成部２０の顔画像クロップ部４０は、図５に示すように、顔検出結果として出力された顔画像の中心座標と顔画像のサイズとに基づいて、顔画像の切り抜き範囲を決定し、決定された切り抜き範囲に基づいて顔画像を切り抜いてプレ顔画像データを生成する。顔画像クロップ部４０で生成されたプレ顔画像データは、エンコード部４２へ出力される。切り抜き範囲としては、例えば、顔画像の中心座標を中心として一辺の長さが顔画像のサイズの１．５倍となる正方形が挙げられる。顔画像の切り抜き範囲を検出された顔画像のサイズよりも多少広範囲とすることで、顔特徴量算出部４４における顔特徴量の算出の精度を補償することができる。なお、切り抜き範囲としては上述のサイズの正方形に限定されず、例えば、顔画像の中心座標を中心とした円を切り抜き範囲としてもよく、また、顔の輪郭線に沿った顔の形を切り抜き範囲としてもよい。
ステップＳ３−２では、エンコード部４２は、プレ顔画像データを取得して、プレ顔画像データを所定の規格に対応するようにエンコードして顔画像データを生成する。顔画像のサイズは、元画像データのサイズによってそれぞれ異なり、端末データ送受信部２２によるデータの送信や顔特徴量算出部４４における顔特徴量の算出に影響するため、各種処理および比較をしやすくするために、所定の規格に対応するようにエンコードすることで顔画像データを生成する。なお、複数の画像データ（元画像データ）のデータ容量は様々であるが、複数の画像データとしては、例えば、平均すると約８０ｋＢ（ＪＰＥＧ形式のＶＧＡサイズで一般的と考えられるデータ容量）となるものが想定される。
エンコード部４２は、例えば、顔画像のサイズが１００ｐｘ×１００ｐｘとなるように顔画像のサイズを一律に揃え（リサイズ）、また、データ容量が５ｋＢ以下となるようにプレ画像データをエンコードする。
また、エンコード部４２は、顔画像データを生成する際に、顔画像データの元画像データが分かるように、また、顔画像が元画像データに基づく画像（元画像）に写るどの顔画像か分かるように情報の紐付けを行う。情報の紐付けとしては、例えば、顔画像データの生成の際に、顔画像データのデータ名を「（元画像データのデータ名）＿（顔画像の中心座標 ｘ＿ｙ）＿（顔のサイズ）．ｊｐｇ」という規則に基づいて命名することで行ってもよい。具体的には、「Ａ．ｊｐｇ」という元画像（元画像データ）から切り抜いた、「中心座標：（ｘ、ｙ）＝（２００ｐｘ、１５０ｐｘ）（元画像の左下端を原点とした。）、顔画像のサイズ：５０ｐｘ（元画像における顔画像のサイズ）」の顔画像であれば、「Ａ＿２００＿１５０＿５０．ｊｐｇ」とすることで顔画像データと元画像データとを紐付けることができる。なお、紐付けは、上述の例に限定されず、顔画像データのデータ名として元画像データのチェックサムをファイル名に利用してもよく、また、チェックサムデータ自体を顔画像データと結合してもよい。エンコード部４２で生成された顔画像データは、端末格納部２４へ出力される。
ステップＳ４として、端末制御部２６は、複数の画像データの全ての画像データに対して顔画像データが生成されるまでステップＳ２、ステップＳ３（ステップＳ３−１、Ｓ３−２）を繰り返して、全ての画像データに対して顔画像データが生成されたことを確認して、端末格納部２４に格納された全ての顔画像データを端末データ送受信部２２へ出力する。
例えば、情報端末１２の顔検出部１８において、１つの顔検出を行う場合には２００ｍｓの処理時間が掛かるため、４００枚の画像データ（１画像１顔）から顔検出を行う場合には、８０秒（４００×２００ｍｓ）の処理時間が掛かり、１５００枚の画像データ（１画像１顔）から顔検出を行う場合には、３００秒（１５００×２００ｍｓ）の処理時間が掛かる。また、例えば、顔画像データ生成部２０における顔画像データの生成は、１つの顔画像データあたり２０ｍｓ掛かるため、４００枚の画像データ（１画像１顔）から顔画像データを生成する場合には、８秒（４００×２０ｍｓ）の処理時間が掛かり、１５００枚の画像データ（１画像１顔）から顔画像データを生成する場合には、３０秒（１５００×２０ｍｓ）の処理時間が掛かる。つまり、４００枚の画像データから４００枚の顔画像データを生成するには、８８秒掛かり、１５００枚の画像データから１５００枚の顔画像データを生成するには、３３０秒掛かる。
ステップＳ５として、端末データ送受信部２２は、複数の顔画像データをサーバ１４へ送信（アップロード）する。情報端末１２とサーバ１４とは、例えば、上述のとおり、低速な３Ｇ回線（例えば、上り実効値０．７Ｍｂｐｓ）によって、インターネット回線を介して相互に接続される。
なお、顔画像データのデータ容量を上述のとおり、約５ｋＢとすると、例えば、４００枚の顔画像データ（約２ＭＢ：５ｋＢ×４００）および１５００枚の顔画像データ（約７．５ＭＢ：５ｋＢ×１５００）を情報端末１２からサーバ１４へ送信するために掛かる時間は、以下の表３の通りとなる。
Figure 2015191358
サーバ１４は、サーバデータ送受信部３２において、情報端末１２の端末データ送受信部２２から送信された複数の画像データを受信し、ステップＳ６として、中心人物判定処理部３４において、複数の顔画像データに基づいて中心人物判定処理を行って、中心人物判定結果を生成する。
まず、ステップＳ６−１として、中心人物判定処理部３４の顔特徴量算出部４４は、複数の顔画像データのそれぞれにおいて顔特徴量を算出し、顔モデルデータ生成部４６へ顔特徴量を出力する。ここで、顔特徴量とは、例えば、目（目尻、目頭等）、鼻（大きさ、形状等）、口（口角等）、輪郭等の顔パーツの位置、サイズ、または形状等の情報をいう。
例えば、サーバ１４の顔特徴量算出部４４において、１つの顔画像データから顔特徴量の算出を行う場合には１６ｍｓの処理時間が掛かるため、４００枚の顔画像データからそれぞれの顔特徴量を算出する場合には、６．４秒（４００×１６ｍｓ）の処理時間が掛かり、また、１５００枚の顔画像データからそれぞれの顔特徴量を算出する場合には、２４秒（１５００×１６ｍｓ）の処理時間が掛かる。
次に、ステップＳ６−２として、顔モデルデータ生成部４６は、それぞれの顔画像データに対応して、顔特徴量算出部４４で算出された顔特徴量に基づいて顔モデルデータを生成し、顔モデルデータを中心人物判定部４８へ出力する。なお、顔モデルデータとしては、例えば、顔パーツの位置関係を表わすベクトル量等が挙げられる。
なお、例えば、サーバ１４の顔モデルデータ生成部４６において、１つの顔特徴量から１つの顔モデルデータを生成する場合には０．４ｍｓの処理時間が掛かるため、４００枚の顔画像データのそれぞれの顔特徴量からそれぞれの顔モデルデータを生成する場合には、０．１６秒（４００×０．４ｍｓ）の処理時間が掛かり、また、１５００枚の顔画像データのそれぞれの顔特徴量からそれぞれの顔モデルデータを生成する場合には、０．６秒（１５００×０．４ｍｓ）の処理時間が掛かる。
続くステップＳ６−３では、中心人物判定部４８は、顔モデルデータ生成部４６によって生成された顔モデルデータ同士を比較し、顔モデルデータ間の類似度を算出することで顔画像データを同一人物ごとに複数のグループに分類（同一人物判定）して、顔画像データの最も多い人物（つまり、登場回数の最も多い人物）を中心人物として判定するとともに、中心人物判定結果を生成する。中心人物判定部４８によって生成された中心人物判定結果は、サーバデータ送受信部３２へ出力される。なお、中心人物判定部４８は、中心人物判定結果として、上述の中心人物として判定された顔画像データの情報のみならず、例えば、以下の表４に示すように顔画像データと対応する人物（分類されたグループ）の情報を、例えば、ＣＶＳ形式のテキストデータとして出力してもよい。
Figure 2015191358
なお、サーバ１４の中心人物判定部４８において、複数の顔画像データのそれぞれの顔モデルデータに基づいて中心人物判定を行う場合、例えば、２０００顔未満であれば１顔当たり０．０１秒の処理時間が掛かるため、４００枚の顔画像データのそれぞれの顔モデルデータに基づいて中心人物判定を行う場合には、４秒（０．０１ｓ×４００）の処理時間が掛かり、また、１５００枚の顔画像データのそれぞれの顔特徴量からそれぞれの顔モデルデータを生成する場合には、１５秒（０．０１ｓ×１５００）の処理時間が掛かる。
ステップＳ７として、サーバデータ送受信部３２は、中心人物判定結果を情報端末１２へ送信する。実際には、サーバデータ送受信部３２が情報端末１２から中心人物判定結果のリクエストを受け、リクエストに基づくサーバ制御部３８の指示により中心人物判定結果を情報端末１２へ送信する。また、中心人物判定結果は、顔画像データの数によってデータ容量が異なるが、上述のとおり、テキストデータであるため顔画像データや画像データと比較してデータ容量が小さく、４００枚分で約５ｋＢであり、１５００枚分で約１９ｋＢである。よって、送信に掛かる時間は、例えば、３Ｇ回線（例えば、実効速度０．７Ｍｂｐｓ）であっても４００枚分で約０．０６秒であり、１５００枚分で約０．２２秒であるため、画像データまたは顔画像データの送信と比較して非常に短時間である。また、一般的に、３Ｇ回線等の通信速度は、上り速度よりも下り速度の方が速く、上りの実効速度が０．７Ｍｂｐｓであれば、下りはその倍以上の速度が出ると考えられる。そのため、実際に掛かる送信時間は、上述の例よりも更に短いと考えられる。
ステップＳ８として、情報端末１２の端末データ送受信部２２は、サーバ１４から送信された中心人物判定結果を受信する。端末データ送受信部２２において受信された中心人物判定結果は、例えば、端末格納部２４へ出力され、端末格納部２４で格納されてもよく、また、端末制御部２６へ出力され、各種の画像処理や表示部３０における画像表示等に利用されてもよい。また、中心人物判定結果は、上述の表４に示すように、元画像にどの人物が写っているかだけでなく、人物（顔画像）の配置の情報も含むため、画像商材等を作成する際の画像のレイアウトに利用することができる。
なお、以下の表５は、上述に示した本発明の実施の形態１の中心人物判定システム１０による中心人物判定処理時間、情報端末の有する複数の画像データを全てサーバへ送信し、サーバにおいて中心人物判定処理を行った場合（従来技術１）の中心人物判定処理時間および情報端末において中心人物判定処理を行った場合（従来技術２）の中心人物判定処理時間のそれぞれをまとめたものである。なお、上述のとおり、中心人物判定結果の情報端末１２への送信時間は非常に短いため省略している。
以下の表５に示すように、画像データの数が４００枚の場合であっても、１５００枚の場合であっても、本発明の中心人物判定処理時間が最も短いことが分かる。
以上より、本発明の実施の形態１に係る中心人物判定システム１０によれば、例えば３Ｇ回線などの低速の通信環境下において中心人物判定処理に係る判定処理時間を短縮することができる。また、中心人物判定処理を行う画像データの数が多ければ多いほど、本発明による判定処理時間の短縮の効果は大きくなる。
Figure 2015191358
実施の形態２
また、本発明の中心人物判定システムは、上述の実施の形態１に限定されず、例えば、情報端末およびサーバのそれぞれのデータ処理速度（データ処理時間）と、情報端末とサーバとの間の通信速度（通信処理時間）と応じて、最適な中心人物判定フローを選択し、選択した中心人物判定フローに基づいて中心人物判定処理を行ってもよい。
図６は、本発明の実施の形態２に係る中心人物判定システムの全体構成を示すブロック図である。図６の中心人物判定システム５０は、情報端末５２とサーバ５４とによって構成される。
情報端末５２は、画像データ取得部１６と、画像データ取得部１６より順次接続される顔検出部１８ａ、顔画像データ生成部２０ａ、および中心人物判定処理部３４ａを備え、これらの各部に接続する端末格納部２４を備える。また、情報端末１２は、判定処理時間推定部５６、判定処理時間推定部５６に接続されるフロー選択部５８、操作部２８および表示部３０を備え、これら各部に接続する端末制御部２６を備える。
また、サーバ５４は、サーバデータ送受信部３２、サーバデータ送受信部３２より順次接続される顔検出部１８ｂ、顔画像データ生成部２０ｂ、および中心人物判定処理部３４ｂと、これらの各部に接続するサーバ格納部３６とを備え、また、サーバデータ送受信部３２、顔検出部１８ｂ、顔画像データ生成部２０ｂ、中心人物判定処理部３４ｂ、およびサーバ格納部３６にそれぞれ接続するサーバ制御部３８を備える。また、顔検出部１８ｂは、中心人物判定処理部３４ｂに接続する。
なお、情報端末５２およびサーバ５４において、図１の情報端末１２およびサーバ１４と同一の構成要素には同一の参照符号を付し、その説明を省略する。また、情報端末５２およびサーバ５４の顔検出部１８ａ、１８ｂは、図１の情報端末１２の顔検出部１８と同様の構成を有し、顔画像データ生成部２０ａ、２０ｂは、図１の情報端末１２の顔検出部１８と同様の構成を有し、中心人物判定処理部３４ａ、３４ｂは、図１のサーバ１４の中心人物判定処理部３４と同様の構成を備える。また、同一の構成要素であっても、取り扱うデータや処理の一部が異なる場合には、その旨を説明する。
情報端末５２の画像データ取得部１６、顔検出部１８ａ、顔画像データ生成部２０ａ、端末データ送受信部２２、端末格納部２４、操作部２８および表示部３０は、端末格納部２４が中心人物判定処理部３４ａと接続する点を除いて、それぞれ実施の形態１の情報端末１２の対応する各部と同様である。また、情報端末５２の中心人物判定処理部３４ａは、実施の形態１のサーバ１４の中心人物判定処理部３４と同様の構成を備えるが、複数の画像データと顔検出部１８ａによる顔検出結果とに基づいて中心人物判定処理を行う点で、顔検出部１８による顔検出結果と顔画像データ生成部２０によって生成される顔画像データとに基づいて中心人物判定処理を行うサーバ１４の中心人物判定処理部３４と異なる。
また、判定処理時間推定部５６は、情報端末５２の通信環境と情報端末５２およびサーバ５４のデータ処理速度とに応じて後述する３種類の中心人物判定フローのそれぞれの中心人物判定フローに掛かる判定処理時間を推定する。また、判定処理時間の推定の詳細については後述する。なお、通信環境としては、例えば、上述の低速な３Ｇ回線と、高速なＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）と呼ばれる移動通信システム（以下ＬＴＥ回線）を利用する場合（例えば、上り実効値８．４Ｍｂｐｓ）とが考えられる。
フロー選択部５８は、上述の判定処理時間に基づいて上述の３種類の中心人物判定フローのうち、いずれかの中心人物判定フローを選択する。具体的には、フロー選択部５８は、３種類の中心人物判定フローのうち最も判定処理時間の短い中心人物判定フローを選択する。
また、サーバ５４は、図１のサーバ１４と同様に、サーバデータ送受信部３２と中心人物判定処理部３４ｂとを有し、サーバデータ送受信部３２と中心人物判定処理部３４ｂとの間に順次接続される顔検出部１８ｂと顔画像データ生成部２０ｂとを備える。サーバ５４の顔検出部１８ｂは顔画像データ生成部２０ｂに接続するとともに、中心人物判定処理部３４ｂに接続し、顔画像データ生成部２０ｂは、中心人物判定処理部３４ｂに接続する。また、顔検出部１８ｂは、中心人物判定処理部３４ｂに接続し、サーバ格納部３６は、サーバデータ送受信部３２、中心人物判定処理部３４ｂの他に、顔検出部１８ｂおよび顔画像データ生成部２０ｂに接続する。また、サーバ制御部３８は、サーバデータ送受信部３２、顔検出部１８ｂ、顔画像データ生成部２０ｂ、中心人物判定処理部３４ｂおよびサーバ格納部３６のそれぞれに接続する。
（第１の判定フロー）
３種類の中心人物判定フローのうち、第１の判定フローは、図４のフローのステップＳ２以降と同じであり、図７に示すように、情報端末５２における顔検出部１８による顔検出（ステップＳ２）、顔画像データ生成部２０による顔画像データの生成（ステップＳ３）、端末制御部２６による顔画像データの生成の確認（ステップＳ４）、端末データ送受信部２２による複数の顔画像データの送信（ステップＳ５）、サーバ５４の中心人物判定処理部３４による顔画像データに基づく中心人物判定処理（ステップＳ６）、サーバデータ送受信部３２による中心人物判定結果の送信（ステップＳ７）、および情報端末５２の端末データ送受信部２２による中心人物判定結果の受信（ステップＳ８）からなる。
（第２の判定フロー）
また、第２の判定フローは、図８に示すように、情報端末５２の端末データ送受信部による複数の画像データの送信（ステップＳ９）、サーバ５４の顔検出部１８による顔検出（ステップＳ２）、サーバ５４の中心人物判定処理部３４による顔検出結果と複数の画像データとに基づく中心人物判定処理（ステップＳ６）、サーバデータ送受信部３２による中心人物判定結果の送信（ステップＳ７）、および情報端末５２の端末データ送受信部２２による中心人物判定結果の受信（ステップＳ８）からなる。
なお、第２の判定フローにおける中心人物判定処理は、第１の判定フローと異なり、顔画像データに基づく中心人物判定処理ではなく、画像データに基づく中心人物判定処理である。よって、第２の判定フローでは顔画像データの生成は不要である。
（第３の判定フロー）
また、第３の判定フローは、図９に示すように、情報端末５２のみで行われるものであり、情報端末５２における顔検出部１８による顔検出（ステップＳ２）、および情報端末５２の中心人物判定処理部３４による顔検出結果と複数の画像データとに基づく中心人物判定処理（ステップＳ６）からなる。
なお、第２の判定フローと同様に、第３の判定フローにおける中心人物判定処理は、顔画像データに基づく中心人物判定処理ではなく、画像データに基づく中心人物判定処理である。よって、第３の判定フローでは顔画像データの生成は不要である。
次に、図１０のフローチャートに基づいて、図６の中心人物判定システム５０の動作（本発明の中心人物判定方法）を説明する。
実施の形態１と同じく、ステップＳ１に示すように、情報端末５２の画像データ取得部１６は、端末制御部２６を介した操作部２８からのユーザの指示に基づいて、画像データ取得部１６に接続された外部の記録装置または画像データ取得部１６に設置された記録媒体等から中心人物判定を行う複数の画像データを取得する。なお、画像データ取得部１６による複数の画像データの取得は必須ではなく、例えば、予め端末格納部２４に格納された複数の画像データを利用してもよい。
ここで画像データ取得部１６は、複数の画像データとして、例えば、１００枚の画像データ（ＶＧＡサイズ、平均８０ｋＢ、１画像平均１．５顔）を取得する。また、情報端末５２およびサーバ５４の各ステップの処理時間としては、実施の形態１と同様に、上述の表１のとおりである。
続くステップＳ１０では、端末制御部２６は、判定処理時間推定部５６を制御して、第１の判定フロー、第２の判定フローおよび第３の判定フローのそれぞれによって掛かる中心人物判定処理の判定処理時間をそれぞれ推定する。
判定処理時間は、情報端末５２およびサーバ５４のデータ処理速度、または、情報端末とサーバ５４との間の通信速度（通信環境）によって異なるが、判定処理時間推定部５６は、例えば、１つの画像データについて、第１の判定フロー、第２の判定フローおよび第３の判定フローによって中心人物判定処理をそれぞれ行って、判定処理実時間をそれぞれ算出し、１枚に掛かる判定処理時間と画像データの数とに基づいて判定処理時間を推定する。なお、中心人物判定結果の送信時間については実施の形態１と同様の理由により省略する。
なお、中心人物の判定は、処理時間と顔の数（顔モデルデータの数）とが比例関係に無いため、例えば、以下の表６に示すように、顔の数に対する処理時間の見込みを計算するためのテーブルを用意しておいてもよく、また、顔の数に対する処理時間の予測値を算出するための式を用意しておいてもよい。
また、顔の数も、実際に顔検出処理を行わなければ分からないものであるため、例えば、過去の統計から画像１枚当たりに含まれる顔の数を算出しておき、それを元に全体の顔の数を予測してもよく、また、平均して、画像に顔が１つ写っている場合、２つ写っている場合、３つ写っている場合等、複数のパターンを用意しておき、それぞれのパターンについて処理時間を算出してもよい。
Figure 2015191358
第１の判定フローの場合、判定処理時間は、以下の（１）式で表わされる。
（顔検出時間）×顔の数＋（顔の数×顔画像平均ファイルサイズ）／（上り通信速度）＋（顔特徴量算出時間＋顔モデルデータ生成時間）×顔の数＋（中心人物判定時間） ……（１）
ここで、顔の数を１５０個、顔画像のファイルサイズを５ｋＢ／１顔画像、サーバ５４における中心人物判定時間を表６のとおり（０．０１秒（１０ｍｓ））×顔の数とすると、
２００ｍｓ×１５０＋（１５０×５ｋＢ）／上り通信速度＋４１ｍｓ×１５０＋１０ｍｓ×１５０
＝ ７５０ｋＢ／上り通信速度＋３７．７（ｓ）
となる。
上り通信速度の実行値が、例えば、３Ｇ回線（０．７Ｍｂｐｓ）の場合とＬＴＥ回線（８．４Ｍｂｐｓ）の場合とをそれぞれ想定すると、３Ｇ回線の場合は、
７５０ｋＢ／０．７Ｍｂｐｓ＝７５０×８／０．７×１０００
＝ ８．６（ｓ）
となり、ＬＴＥ回線の場合は、
７５０ｋＢ／８．４Ｍｂｐｓ＝７５０×８／８．４×１０００
＝ ０．７（ｓ）
となる。
以上より、判定処理時間推定部５６は、第１の判定フローによる判定処理時間を、３Ｇ回線の場合に４６．３秒と推定し、ＬＴＥ回線の場合に３８．４秒と推定する。
また、第２の判定フローの場合、判定処理時間は、以下の（２）式で表わされる。
（元画像枚数×平均データサイズ）／（上り通信速度）＋（顔検出時間＋顔特徴量算出時間＋顔モデルデータ生成時間）×顔の数＋（中心人物判定時間） ……（２）
ここで、画像データ（ＶＧＡサイズ、平均８０ｋＢ）の枚数１００枚、顔の数１５０個、サーバ５４における中心人物判定時間を表６のとおりを（０．０１秒）×顔の数とすると、
（１００×８０ｋＢ）／上り通信速度＋８１ｍｓ×１５０＋１０ｍｓ×１５０
＝ ８０００ｋＢ／上り通信速度＋１３．７（ｓ）
となる。
上り通信速度の実効値が、例えば、３Ｇ回線（０．７Ｍｂｐｓ）の場合とＬＴＥ回線（８．４Ｍｂｐｓ）の場合とをそれぞれ想定すると、３Ｇ回線の場合は、
８０００ｋＢ／０．７Ｍｂｐｓ＝８０００×８／０．７×１０００
＝ ９１．４（ｓ）
となり、ＬＴＥ回線の場合は、
８０００ｋＢ／８．４Ｍｂｐｓ＝８０００×８／８．４×１０００
＝ ７．６（ｓ）
となる。
以上より、判定処理時間推定部５６は、第２の判定フローによる判定処理時間を、３Ｇ回線の場合に１０５．１秒と推定し、ＬＴＥ回線の場合に２１．３秒と推定する。
また、第３の判定フローの場合、判定処理時間は、以下の（３）式で表わされる。
（顔検出時間＋顔特徴量算出時間＋顔モデルデータ生成時間）×顔の数＋（中心人物判定時間） ……（３）
ここで、顔の数１５０個、情報端末５２における中心人物判定時間を表６のとおり（０．１秒（１００ｍｓ））×顔の数とすると、
４０５ｍｓ×１５０＋１００ｍｓ×１５０ ＝ ７５．８（ｓ）
となる。
以上より、判定処理時間推定部５６は、第３の判定フローによる判定処理時間を７５．８秒と推定する。
そして、ステップＳ１１として、フロー選択部５８は、判定処理時間推定部５６によって推定されたそれぞれの判定処理時間のうち最も処理時間の短いフローを選択し、選択されたフローの情報を端末制御部２６へ出力する。
上述のとおり、画像１００枚、顔の数１５０個の場合、フロー選択部５８は、情報端末５２が３Ｇ回線に接続されている場合には第１の処理フローを選択し、また、情報端末５２がＬＴＥ回線に接続されている場合には第２の処理フローを選択する。
最後に、ステップＳ１２として、端末制御部２６は、フロー選択部５８によって選択された処理フローに基づいて、情報端末５２およびサーバ５４または情報端末５２の各部を制御して、複数の画像データに対して中心人物判定処理を行い、中心人物判定結果を取得する。
上述のとおり、本発明の実施の形態２に係る中心人物判定システム５０によれば、通信環境と情報端末およびサーバのデータ処理速度とに基づいて最適な中心人物判定処理フローを選択することができ、また、中心人物判定処理に係る判定処理時間を削減することができる。
また、本発明における中心人物判定処理は、上述の顔検出、顔特徴量の算出（顔パーツの検出）、顔モデルデータの生成、中心人物判定（同一人物判定）という一連のフローに限定されず、種々の公知の中心人物判定処理および同一人物判定処理を利用することができる。
なお、情報端末としては、データ処理速度が低速なもの、例えば、顔検出から顔モデルデータの生成までに掛かる時間が３００ｍｓ以上となるもの（例えば、上述のSAMSUNG社製Galaxy S4 SC-04E）を想定しており、また、サーバとしては、データ処理速度が高速なもの、例えば、顔検出から顔モデルデータの生成までに掛かる時間が３００ｍｓ未満となるもの（例えば、上述のDELL社製PowerEdge R420）を想定しているが、情報端末およびサーバにおけるデータ処理速度は技術の進歩に応じて向上するものであり、これらに限定されるものではない。
また、通信速度としては、３Ｇ回線以下の通信速度を低速とし、ＬＴＥ回線以上の通信速度のものを高速としているが、通信環境によっては、ＬＴＥ回線であっても通信速度の出ない場合が考えられるため、例えば、実効速度が上り３．６Ｍｂｐｓ、下り７．２Ｍｂｐｓ以下の場合を低速とし、これらを超える場合を高速としてもよい。なお、上述のデータ処理速度と同様に、通信速度は、技術の進歩に応じて向上するものであり、これらに限定されるものではない。
なお、上述の本発明の中心人物判定方法は、中心人物判定プログラムを実行することによって情報端末、または情報端末およびサーバにおいて処理され得る。例えば、本発明の中心人物判定プログラムは、上述した中心人物判定フローの各ステップを情報端末、または情報端末およびサーバ、具体的にはそれらのＣＰＵに行わせる手順を有するものである。これらの手順からなるプログラムは、１つまたは複数のプログラムモジュールとして構成されていてもよい。
これらの情報端末、または情報端末およびサーバが実行する手順からなる中心人物判定プログラムは、情報端末、または情報端末およびサーバの図示しない内部メモリ等に記憶されるものであってもよく、記録媒体に記憶されるものであってもよく、実行時に、当該ＣＰＵ等によって、内部メモリまたは記録媒体から読み出されて実行されるものである。
したがって、本発明は、上述の中心人物判定方法を情報端末、または情報端末およびサーバに実行させるための中心人物判定プログラムを記憶したコンピュータ読み取り可能なメモリもしくは記録媒体であってもよい。
以上、本発明の中心人物判定システム、中心人物判定方法、ならびに中心人物判定プログラムおよび記録媒体について詳細に説明したが、本発明は、上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、各種の改良や変更を行ってもよい。
１０、５０ 中心人物判定システム、 １２、５２ 情報端末、 １４、５４ サーバ、 １６ 画像データ取得部、 １８、１８ａ、１８ｂ 顔検出部、 ２０、２０ａ、２０ｂ 顔画像データ生成部、 ２２ 端末データ送受信部、 ２４ 端末格納部、 ２６ 端末制御部、 ２８ 操作部、 ３０ 表示部、 ３２ サーバデータ送受信部、 ３４、３４ａ、３４ｂ 中心人物判定処理部、 ３６ サーバ格納部、 ３８ サーバ制御部、 ４０ 顔画像クロップ部、 ４２ エンコード部、 ４４ 顔特徴量算出部、 ４６ 顔モデルデータ生成部、 ４８ 中心人物判定部、 ５６ 判定処理時間推定部、 ５８ フロー選択部。

Claims (19)

  1. 複数の画像データを有する情報端末とサーバとからなる中心人物判定システムであって、
    前記情報端末は、
    前記複数の画像データに基づく複数の画像について、それぞれ顔検出処理を行い、顔検出結果を生成する顔検出部と、
    前記顔検出結果に基づいて前記複数の画像データに基づく前記複数の画像から、顔画像を切り抜いて複数の顔画像データを生成する顔画像データ生成部と、
    前記複数の顔画像データを前記サーバへ送信し、前記サーバから中心人物判定結果を受信する端末データ送受信部とを備え、
    前記サーバは、
    前記情報端末より取得した前記複数の顔画像データに基づいて中心人物判定処理を行い、前記中心人物判定結果を生成する中心人物判定処理部と、
    前記情報端末より前記複数の顔画像データを受信し、前記情報端末へ前記中心人物判定結果を送信するサーバデータ送受信部とを備えることを特徴とする中心人物判定システム。
  2. 前記顔画像データ生成部は、前記顔検出結果に基づいて前記顔画像の中心位置と前記顔画像のサイズとを算出し、前記顔画像の中心位置と前記顔画像のサイズとに基づいて前記顔画像を切り抜いて前記顔画像データを生成することを特徴とする請求項１に記載の中心人物判定システム。
  3. 前記顔画像データ生成部は、前記顔画像の切り抜かれた元画像のデータ名、前記顔画像の中心位置、前記顔画像のサイズおよび元画像データのチェックサムの少なくとも１つを前記顔画像データのデータ名として使用することを特徴とする請求項２に記載の中心人物判定システム。
  4. 前記顔画像データ生成部は、前記顔画像データの大きさを一律に揃え、且つ前記顔画像データのデータ容量が所定値以下となるようにエンコードを行うことを特徴とする請求項１〜３のいずれか一項に記載の中心人物判定システム。
  5. 複数の画像データを有する情報端末、または前記情報端末とサーバとからなる中心人物判定システムであって、
    前記情報端末と前記サーバとの間の通信速度ならびに前記情報端末および前記サーバのそれぞれのデータ処理速度に応じて、前記情報端末において前記複数の画像データから顔画像データを生成し、前記顔画像データを前記サーバに送信することで中心人物判定処理を行い、前記サーバから中心人物判定結果を受信する第１の判定フロー、前記情報端末から前記複数の画像データを前記サーバに送信することで中心人物判定処理を行い、前記サーバから中心人物判定結果を受信する第２の判定フロー、および前記情報端末において前記複数の画像データから中心人物判定処理を行って中心人物判定結果を生成する第３の判定フローのそれぞれにおいて、前記複数の画像データに基づく中心人物判定処理に掛かる判定処理時間を推定する判定処理時間推定部と、
    前記判定処理時間推定部において前記判定処理時間を推定された前記第１の判定フロー、前記第２の判定フローおよび前記第３の判定フローのうち、前記判定処理時間の最も短い中心人物判定フローを選択するフロー選択部と、
    前記フロー選択部によって選択された前記中心人物判定フローに基づいて前記複数の画像データの中心人物判定処理を行う判定フロー実行部を備え、
    前記判定フロー実行部は、
    前記複数の画像データに基づく複数の画像について、それぞれ顔検出処理を行い、顔検出結果を出力する顔検出部と、
    前記顔検出結果に基づいて生成された前記複数の顔画像データまたは前記顔検出結果および前記複数の画像データに基づいて中心人物判定処理を行って前記中心人物判定結果を生成する中心人物判定処理部とを有することを特徴とする中心人物判定システム。
  6. 前記判定処理時間推定部は、前記判定フロー実行部において、１つの画像データに対して前記第１の判定フロー、前記第２の判定フローおよび前記第３の判定フローのそれぞれを行って、それぞれの判定処理実時間を算出し、前記判定処理実時間に基づいてそれぞれの前記判定処理時間を推定することを特徴とする請求項５に記載の中心人物判定システム。
  7. 複数の画像データに基づく複数の画像について、それぞれ顔検出処理を行い、顔検出結果を生成する顔検出部と、
    前記顔検出結果に基づいて前記複数の画像データに基づく前記複数の画像から、顔画像を切り抜いて複数の顔画像データを生成する顔画像データ生成部と、
    前記複数の顔画像データを前記サーバへ送信し、前記サーバから前記複数の顔画像データに基づく中心人物判定処理によって得られた中心人物判定結果を受信する端末データ送受信部とを備えることを特徴とする情報端末。
  8. 前記顔画像データ生成部は、前記顔検出結果に基づいて前記顔画像の中心位置と前記顔画像のサイズとを算出し、前記顔画像の中心位置と前記顔画像のサイズとに基づいて前記顔画像を切り抜いて前記顔画像データを生成することを特徴とする請求項７に記載の情報端末。
  9. 前記顔画像データ生成部は、前記顔画像の切り抜かれた元画像のデータ名、前記顔画像の中心位置、前記顔画像のサイズおよび元画像データのチェックサムの少なくとも１つを前記顔画像データのデータ名として使用することを特徴とする請求項８に記載の情報端末。
  10. 前記顔画像データ生成部は、前記顔画像データの大きさを一律に揃え、且つ前記顔画像データのデータ容量が所定値以下となるようにエンコードを行うことを特徴とする請求項７〜９のいずれか一項に記載の情報端末。
  11. 複数の画像データを有する情報端末であって、
    前記情報端末とサーバとの間の通信速度ならびに前記情報端末および前記サーバのそれぞれのデータ処理速度に応じて、前記情報端末において前記複数の画像データから顔画像データを生成し、前記顔画像データを前記サーバに送信することで中心人物判定処理を行い、前記サーバから中心人物判定結果を受信する第１の判定フロー、前記情報端末から前記複数の画像データを前記サーバに送信することで中心人物判定処理を行い、前記サーバから中心人物判定結果を受信する第２の判定フロー、および前記情報端末において前記複数の画像データから中心人物判定処理を行って中心人物判定結果を生成する第３の判定フローのそれぞれにおいて、前記複数の画像データに基づく中心人物判定処理に掛かる判定処理時間を推定する判定処理時間推定部と、
    前記判定処理時間推定部において前記判定処理時間を推定された前記第１の判定フロー、前記第２の判定フローおよび前記第３の判定フローのうち、前記判定処理時間の最も短い中心人物判定フローを選択するフロー選択部とを備えることを特徴とする情報端末。
  12. 複数の画像データを有する情報端末とサーバとを利用した中心人物判定方法であって、
    前記情報端末において、前記複数の画像データに基づく複数の画像について、顔検出処理を行って、顔検出結果を生成する顔検出ステップと、
    前記顔検出結果に基づいて前記複数の画像データに基づく前記複数の画像から、顔画像を切り抜いて複数の顔画像データを生成する顔画像データ生成ステップと、
    前記複数の顔画像データを前記サーバへ送信する顔画像データ送信ステップと、
    前記サーバにおいて、前記情報端末より前記複数の顔画像データを受信する顔画像データ受信ステップと、
    前記情報端末より受信した前記複数の顔画像データに基づいて中心人物判定処理を行い、前記中心人物判定結果を生成する中心人物判定処理ステップと、
    前記情報端末へ前記中心人物判定結果を送信する中心人物判定結果送信ステップと、
    前記情報端末において、前記サーバから中心人物判定結果を受信する中心人物判定結果受信ステップを備えることを特徴とする中心人物判定方法。
  13. 前記顔画像データ生成ステップは、前記顔検出結果に基づいて前記顔画像の中心位置と前記顔画像のサイズとを算出し、前記顔画像の中心位置と前記顔画像のサイズとに基づいて前記顔画像を切り抜いて前記顔画像データを生成することを特徴とする請求項１２に記載の中心人物判定方法。
  14. 前記顔画像データ生成ステップは、前記顔画像の切り抜かれた元画像のデータ名、前記顔画像の中心位置、前記顔画像のサイズおよび元画像データのチェックサムの少なくとも１つを前記顔画像データのデータ名として使用することを特徴とする請求項１３に記載の中心人物判定方法。
  15. 前記顔画像データ生成ステップは、前記顔画像データの大きさを一律に揃え、且つ前記顔画像データのデータ容量が所定値以下となるようにエンコードを行うことを特徴とする請求項１２〜１４のいずれか一項に記載の中心人物判定方法。
  16. 複数の画像データを有する情報端末、または前記情報端末とサーバとを利用した中心人物判定方法であって、
    前記情報端末において、前記情報端末と前記サーバとの通信速度ならびに前記情報端末および前記サーバのそれぞれのデータ処理速度に応じて、前記情報端末において前記複数の画像データから顔画像データを生成し、前記顔画像データを前記サーバに送信することで中心人物判定処理を行い、前記サーバから中心人物判定結果を受信する第１の判定フロー、前記情報端末から前記複数の画像データを前記サーバに送信することで中心人物判定処理を行い、前記サーバから中心人物判定結果を受信する第２の判定フロー、および前記情報端末において前記複数の画像データから中心人物判定処理を行って中心人物判定結果を生成する第３の判定フローのそれぞれにおいて、前記複数の画像データに基づく中心人物判定処理に掛かる判定処理時間を推定する判定処理時間推定ステップと、
    前記判定処理時間推定ステップにおいて前記判定処理時間を推定された前記第１の判定フロー、前記第２の判定フローおよび前記第３の判定フローのうち、前記判定処理時間の最も短い中心人物判定フローを選択するフロー選択ステップと、
    前記フロー選択ステップによって選択された前記中心人物判定フローに基づいて前記複数の画像データの中心人物判定処理を行って前記中心人物判定結果を生成する判定フロー実行ステップを備え、
    前記判定フロー実行ステップは、
    前記複数の画像データに基づく複数の画像について、それぞれ顔検出処理を行い、顔検出結果を出力する顔検出ステップと、
    前記顔検出結果に基づいて生成された前記複数の顔画像データまたは前記顔検出結果および前記複数の画像データに基づいて中心人物判定処理を行って前記中心人物判定結果を生成する中心人物判定処理ステップとを有することを特徴とする中心人物判定方法。
  17. 前記判定処理時間推定ステップは、１つの画像データに対して前記第１の判定フロー、前記第２の判定フローおよび前記第３の判定フローのそれぞれを行って、それぞれの判定処理実時間を算出し、前記判定処理実時間に基づいてそれぞれの前記判定処理時間を推定することを特徴とする請求項１６に記載の中心人物判定方法。
  18. 前記情報端末または前記情報端末および前記サーバに、請求項１２〜１７のいずれか一項に記載の中心人物判定方法の各ステップを実行させるための中心人物判定プログラム。
  19. 請求項１８に記載の中心人物判定処理プログラムが記録されたコンピュータ読取可能な記録媒体。
JP2014066990A 2014-03-27 2014-03-27 中心人物判定システム、中心人物判定システムに利用される情報端末、中心人物判定方法、ならびに中心人物判定プログラムおよび記録媒体 Pending JP2015191358A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014066990A JP2015191358A (ja) 2014-03-27 2014-03-27 中心人物判定システム、中心人物判定システムに利用される情報端末、中心人物判定方法、ならびに中心人物判定プログラムおよび記録媒体
US14/669,656 US9721145B2 (en) 2014-03-27 2015-03-26 Central person determining system, information terminal used in the same, central person determining method, and recording medium for central person determining program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014066990A JP2015191358A (ja) 2014-03-27 2014-03-27 中心人物判定システム、中心人物判定システムに利用される情報端末、中心人物判定方法、ならびに中心人物判定プログラムおよび記録媒体

Publications (1)

Publication Number Publication Date
JP2015191358A true JP2015191358A (ja) 2015-11-02

Family

ID=54190822

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014066990A Pending JP2015191358A (ja) 2014-03-27 2014-03-27 中心人物判定システム、中心人物判定システムに利用される情報端末、中心人物判定方法、ならびに中心人物判定プログラムおよび記録媒体

Country Status (2)

Country Link
US (1) US9721145B2 (ja)
JP (1) JP2015191358A (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9436278B2 (en) 2014-04-01 2016-09-06 Moju Labs, Inc. Motion-based content navigation
JP2019121857A (ja) * 2017-12-28 2019-07-22 キヤノン株式会社 電子機器及びその制御方法
JP7043255B2 (ja) 2017-12-28 2022-03-29 キヤノン株式会社 電子機器及びその制御方法
JP7419723B2 (ja) * 2019-09-25 2024-01-23 株式会社リコー 画像処理システム、画像処理装置および方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001142819A (ja) * 1999-11-10 2001-05-25 Navitime Japan Co Ltd 地図描画方法および装置
JP2005012326A (ja) * 2003-06-17 2005-01-13 Konica Minolta Opto Inc 画像処理装置及び撮影装置
JP2006065613A (ja) * 2004-08-27 2006-03-09 Fuji Photo Film Co Ltd 特定画像領域区画装置および方法，ならびに特定画像領域区画処理をコンピュータに実行させるプログラム
JP2007140897A (ja) * 2005-11-18 2007-06-07 Fujifilm Corp 画像検索装置および方法並びにプログラム
JP2007226741A (ja) * 2006-02-27 2007-09-06 Mitsubishi Electric Corp 顔照合システム
US20080080743A1 (en) * 2006-09-29 2008-04-03 Pittsburgh Pattern Recognition, Inc. Video retrieval system for human face content
JP2011257799A (ja) * 2010-06-04 2011-12-22 Konica Minolta Business Technologies Inc プリントサーバ及び印刷制御システム並びに印刷制御方法
JP2013196174A (ja) * 2012-03-16 2013-09-30 Nec Corp 処理分担制御装置、演算装置、演算システム、処理分担制御方法、及び処理分担制御プログラム
JP2013225256A (ja) * 2012-04-23 2013-10-31 Konica Minolta Inc 画像形成システム、印刷ジョブ送信装置、印刷ジョブ送信方法および印刷ジョブ送信プログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7627148B2 (en) 2004-07-06 2009-12-01 Fujifilm Corporation Image data processing apparatus and method, and image data processing program
JP2007148691A (ja) 2005-11-25 2007-06-14 Nikon Corp 画像処理装置
EP1962497B1 (en) 2005-11-25 2013-01-16 Nikon Corporation Electronic camera and image processing device
JP2008160354A (ja) 2006-12-22 2008-07-10 Matsushita Electric Ind Co Ltd 映像出力装置
KR100840021B1 (ko) * 2007-11-05 2008-06-20 (주)올라웍스 특성 데이터를 이용하여 디지털 데이터에 포함된 인물의얼굴에 대해 인식하는 방법 및 시스템
JP5127686B2 (ja) * 2008-12-11 2013-01-23 キヤノン株式会社 画像処理装置および画像処理方法、ならびに、撮像装置
JP5569269B2 (ja) * 2010-09-06 2014-08-13 ソニー株式会社 端末装置、情報処理システム、依頼先選択方法、及びプログラム
US9031531B2 (en) * 2012-11-20 2015-05-12 At&T Intellectual Property I, L.P. Distributed computing task costing with a mobile device

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001142819A (ja) * 1999-11-10 2001-05-25 Navitime Japan Co Ltd 地図描画方法および装置
JP2005012326A (ja) * 2003-06-17 2005-01-13 Konica Minolta Opto Inc 画像処理装置及び撮影装置
JP2006065613A (ja) * 2004-08-27 2006-03-09 Fuji Photo Film Co Ltd 特定画像領域区画装置および方法，ならびに特定画像領域区画処理をコンピュータに実行させるプログラム
JP2007140897A (ja) * 2005-11-18 2007-06-07 Fujifilm Corp 画像検索装置および方法並びにプログラム
JP2007226741A (ja) * 2006-02-27 2007-09-06 Mitsubishi Electric Corp 顔照合システム
US20080080743A1 (en) * 2006-09-29 2008-04-03 Pittsburgh Pattern Recognition, Inc. Video retrieval system for human face content
JP2011257799A (ja) * 2010-06-04 2011-12-22 Konica Minolta Business Technologies Inc プリントサーバ及び印刷制御システム並びに印刷制御方法
JP2013196174A (ja) * 2012-03-16 2013-09-30 Nec Corp 処理分担制御装置、演算装置、演算システム、処理分担制御方法、及び処理分担制御プログラム
JP2013225256A (ja) * 2012-04-23 2013-10-31 Konica Minolta Inc 画像形成システム、印刷ジョブ送信装置、印刷ジョブ送信方法および印刷ジョブ送信プログラム

Also Published As

Publication number Publication date
US20150278581A1 (en) 2015-10-01
US9721145B2 (en) 2017-08-01

Similar Documents

Publication Publication Date Title
US20190384967A1 (en) Facial expression detection method, device and system, facial expression driving method, device and system, and storage medium
WO2018219120A1 (zh) 图像显示方法、图像处理方法、装置、终端及服务器
US9710923B2 (en) Information processing system, information processing device, imaging device, and information processing method
CN110612531A (zh) 数字图像的智能自动裁剪
EP3308536B1 (en) Determination of exposure time for an image frame
US20170161553A1 (en) Method and electronic device for capturing photo
US10084986B2 (en) System and method for video call using augmented reality
KR101620933B1 (ko) 제스쳐 인식 메커니즘을 제공하는 방법 및 장치
US9854174B2 (en) Shot image processing method and apparatus
CN111353336B (zh) 图像处理方法、装置及设备
WO2016165614A1 (zh) 一种即时视频中的表情识别方法和电子设备
EP2709062A2 (en) Image processing device, image processing method, and computer readable medium
JP2015191358A (ja) 中心人物判定システム、中心人物判定システムに利用される情報端末、中心人物判定方法、ならびに中心人物判定プログラムおよび記録媒体
CN108234879A (zh) 一种获取滑动变焦视频的方法和装置
WO2023005813A1 (zh) 图像方向调整方法、装置、存储介质及电子设备
WO2018028253A1 (zh) 一种信息处理方法、装置及存储介质
JP6290020B2 (ja) 画像処理装置、画像処理方法、およびプログラム
KR102389457B1 (ko) 이미지 변환 장치, 방법 및 컴퓨터 판독 가능한 기록매체
US10360943B2 (en) Method, device and system for editing video
JP2016086245A (ja) 画像処理装置、画像処理システム、画像処理装置の制御方法およびプログラム
JP5451883B2 (ja) 頭部検出方法、頭部検出装置、属性判定方法、属性判定装置、プログラム、記録媒体および属性判定システム
US10354125B2 (en) Photograph processing method and system
EP3089104B1 (en) Apparatus and method for insertion of photograph taker into a photograph
CN111461971B (zh) 图像处理方法、装置、设备及计算机可读存储介质
CN113362243A (zh) 模型训练方法、图像处理方法及装置、介质和电子设备

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160308

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160502

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20160621