JP7385416B2 - 画像処理装置、画像処理システム、画像処理方法及び画像処理プログラム - Google Patents

画像処理装置、画像処理システム、画像処理方法及び画像処理プログラム Download PDF

Info

Publication number
JP7385416B2
JP7385416B2 JP2019186945A JP2019186945A JP7385416B2 JP 7385416 B2 JP7385416 B2 JP 7385416B2 JP 2019186945 A JP2019186945 A JP 2019186945A JP 2019186945 A JP2019186945 A JP 2019186945A JP 7385416 B2 JP7385416 B2 JP 7385416B2
Authority
JP
Japan
Prior art keywords
face
image
range
detection unit
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019186945A
Other languages
English (en)
Other versions
JP2021064043A (ja
Inventor
康博 中嶋
素子 黒岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Glory Ltd
Original Assignee
Glory Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Glory Ltd filed Critical Glory Ltd
Priority to JP2019186945A priority Critical patent/JP7385416B2/ja
Publication of JP2021064043A publication Critical patent/JP2021064043A/ja
Application granted granted Critical
Publication of JP7385416B2 publication Critical patent/JP7385416B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本発明は、画像処理装置、画像処理システム、画像処理方法及び画像処理プログラムに関する。
人物が撮影された画像を画像処理装置にて解析し、その画像から当該人物の顔を検出する手法が従来から提案されている。
例えば、特許文献1には、入力画像を段階的に縮小し、縮小した画像に対してテンプレート・マッチングによる顔検出を行う顔検出装置が開示されている。
また、非特許文献1には、ニューラルネットワークを使用して画像から物体を検出する手法の一つが開示されている。
特開2008-257321号公報
Tsung-Yi Lin, Piotr Dollar, Ross Girshick, Kaiming He, Bharath Hariharan, Serge Belongie, "Feature Pyramid Networks for Object Detection," The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017, pp. 2117-2125
しかしながら、特許文献1に記載の顔検出装置では、設定された全ての段階において顔検出処理をしなければならず、処理時間が長くなってしまう。また、当該装置の利用者が検出する必要がないと考える大きさの顔を多く検出してしまう可能性もある。
また、非特許文献1に記載の手法を利用して顔を検出することは可能であるが、検出可能な顔の大きさの範囲を広げすぎると、検出精度を確保するために複雑なネットワークを使用する必要があり、学習時及び検出時ともに時間的なコストが増大するとともに、必要なリソースが大きくなることによる経済的なコストアップを招いてしまう。
本発明は、上記現状に鑑みてなされたものであり、利用者が要求する大きさの顔を効率的に検出可能な画像処理装置、画像処理システム、画像処理方法及び画像処理プログラムを提供することを目的とするものである。
上述した課題を解決し、目的を達成するために、本発明は、画像処理装置であって、前記画像処理装置は、画像から、大きさが所定範囲の顔を検出可能な顔検出部と、入力画像から検出すべき顔の大きさの範囲として設定された設定範囲を記憶する記憶部と、前記所定範囲及び前記設定範囲に基づいて、前記入力画像の解像度を変更した画像である拡大縮小画像を生成する解像度変更部と、を備え、前記顔検出部は、前記拡大縮小画像に対して顔検出することを特徴とする。
また、本発明は、上記発明において、前記解像度変更部は、前記設定範囲の最大値に係る大きさの顔と、前記設定範囲の最小値に係る大きさの顔との少なくとも一方を前記顔検出部が検出可能となるように、前記入力画像の前記解像度を変更して前記拡大縮小画像を生成することを特徴とする。
また、本発明は、上記発明において、前記解像度変更部は、少なくとも前記設定範囲の最大値に係る大きさの顔を前記顔検出部が検出可能となるように、前記入力画像の前記解像度を低くすることによって前記拡大縮小画像を生成することを特徴とする。
また、本発明は、上記発明において、前記顔検出部は、前記設定範囲の最小値によっては、前記入力画像に対しても更に顔検出することを特徴とする。
また、本発明は、上記発明において、前記入力画像に対する前記拡大縮小画像の拡大/縮小率をX%とし、前記所定範囲の最小値をMin1とし、前記設定範囲の最小値をMin2としたとき、(Min2×X/100)<Min1の関係を満たす場合、前記顔検出部は、前記入力画像に対しても更に顔検出することを特徴とする。
また、本発明は、上記発明において、前記拡大縮小画像にて検出された顔の領域に対応する前記入力画像中の第1の領域が、前記入力画像にて検出された顔の領域である第2の領域と重なる場合、前記顔検出部は、前記第1の領域及び前記第2の領域の重なり具合に応じて、いずれか一方の顔に係る情報を検出結果として出力することを特徴とする。
また、本発明は、上記発明において、前記顔検出部は、検出した顔の顔らしさに係るスコアを更に出力するものであり、前記第1の領域が前記第2の領域と重なり、かついずれか一方の顔に係る情報を出力する場合、顔らしさに係るスコアがより高い方の顔に係る情報を検出結果として出力することを特徴とする。
また、本発明は、上記発明において、前記画像処理装置は、前記顔検出部の検出結果に基づき認証処理を行う顔認証部を更に備え、前記第1の領域が前記第2の領域と重なり、かつ前記顔検出部が前記拡大縮小画像にて検出した前記顔に係る情報を検出結果として出力する場合、前記顔認証部は、前記拡大縮小画像にて検出された前記顔の座標に対応する前記入力画像の座標から特定される前記入力画像の画像領域に基づいて認証処理を行うことを特徴とする。
また、本発明は、上記発明において、前記画像処理装置は、前記顔検出部の検出結果に基づき認証処理を行う顔認証部を更に備えることを特徴とする。
また、本発明は、上記発明において、前記所定範囲の少なくとも一部が前記設定範囲を超えており、かつ前記顔検出部によって前記設定範囲外の大きさの顔が検出された場合、前記顔検出部は、当該設定範囲外の大きさの顔に係る情報を検出結果として出力しないことを特徴とする。
また、本発明は、上記発明において、前記顔検出部は、画像に含まれる顔の複数の特徴点を検出し、かつ前記複数の特徴点に基づいて当該顔の大きさを算出することを特徴とする。
また、本発明は、上記発明において、前記顔検出部は、メモリ容量が互いに異なる複数の顔検出器を有し、前記複数の顔検出器のメモリ容量は、複数の画像サイズに応じて設定されたものであることを特徴とする。
また、本発明は、上記発明において、前記画像処理装置は、前記拡大縮小画像のサイズが前記複数の画像サイズのうちの最も近い画像サイズに一致するように、前記拡大縮小画像の周囲の少なくとも一部に背景画像を追加する画像サイズ調整部を更に備え、前記顔検出部は、前記背景画像が追加された前記拡大縮小画像に対して顔検出することを特徴とする
また、本発明は、画像処理システムであって、前記画像処理システムは、画像から、大きさが所定範囲の顔を検出可能な顔検出部と、入力画像から検出すべき顔の大きさの範囲として設定された設定範囲を記憶する記憶部と、前記所定範囲及び前記設定範囲に基づいて、前記入力画像の解像度を変更した画像である拡大縮小画像を生成する解像度変更部と、を備え、前記顔検出部は、前記拡大縮小画像に対して顔検出することを特徴とする。
また、本発明は、画像から顔を検出する画像処理方法であって、入力画像から検出すべき顔の大きさの範囲として設定された設定範囲を記憶するステップと、検出可能な顔の大きさの範囲である所定範囲と、前記設定範囲とに基づいて、前記入力画像の解像度を変更した画像である拡大縮小画像を生成するステップと、前記拡大縮小画像に対して顔検出するステップと、を含むことを特徴とする。
また、本発明は、画像処理プログラムであって、前記画像処理プログラムは、画像から顔を検出するためにコンピュータを、検出可能な顔の大きさの範囲である所定範囲と、入力画像から検出すべき顔の大きさの範囲として設定された設定範囲とに基づいて、前記入力画像の解像度を変更した画像である拡大縮小画像を生成する手段、及び前記拡大縮小画像に対して顔検出する手段、として機能させることを特徴とする。
本発明の画像処理装置、画像処理システム、画像処理方法及び画像処理プログラムによれば、利用者が要求する大きさの顔を効率的に検出することができる。
実施形態1における顔検出の手法の概要を説明するための模式図である。 実施形態1に係る画像処理装置を含むシステムの全体構成を説明するブロック図である。 実施形態1に係る画像処理装置の構成を説明するブロック図である。 設定部による設定範囲の設定方法の一例を説明するための模式図であり、(a)は、カメラにより利用者を撮像する方法を示し、(b)は、モニタ上に表示された利用者の顔から設定範囲を設定する方法を示す。 設定部による設定範囲の設定方法の別の例を説明するための模式図であり、モニタ上に表示された顔のモデルから設定範囲を設定する方法を示す。 顔検出部によって検出された顔の特徴点及びバウンディングボックスを示した模式図である。 拡大縮小画像にて顔検出部によって検出された顔の領域(バウンディングボックス)と、入力画像にて顔検出部によって検出された顔の領域(バウンディングボックス)との対応関係を示した模式図である。 実施形態1に係る画像処理装置で行われる処理、主に顔検出処理の手順の一例を示す模式図である。 実施形態1に係る画像処理装置で行われる処理、主に顔検出処理の手順の一例を示すフローチャートである。 変形形態に係る画像処理システムの全体構成を説明する模式図である。
以下、本発明に係る画像処理装置、画像処理システム、画像処理方法及び画像処理プログラムの好適な実施形態を、図面を参照しながら説明する。本発明において、顔の大きさを示す具体的なパラメータ(所定範囲及び設定範囲を特定するためのパラメータ)は、特に限定されず、例えば、左右の目間の距離(以下、単に目間距離とも言う)、左右の目間の中心から口までの距離、顎先から頭の頂上までの距離、左右の耳の間の距離、等が挙げられるが、以下では、目間距離を使用した例について説明する。
<本実施形態の概要>
まず、実施形態1における顔検出の手法の概要について説明する。本実施形態では、機械学習された推論モデルから構成される顔検出器(顔検出エンジン)にて検出可能な顔の大きさの所定範囲(例えば目間距離が8~200画素)と、検出したい顔の大きさとして利用者が設定した設定範囲(任意の設定値、例えば目間距離が10~400画素)に応じて、入力画像のサイズを変更(拡大又は縮小、例えば200/400にサイズを圧縮)した画像である拡大縮小画像を生成し、拡大縮小画像に基づき顔検出する。これにより、顔検出器のみでは対応できない大きさ(目間距離)の顔であっても拡大縮小画像から検出することが可能となる。以下、図1を用いて、より詳しく説明する。
まず、事前処理として、機械学習(好ましくは深層学習)により、入力画像中から所定範囲の大きさ(例えば目間距離が8~200画素)の顔を検出可能な顔検出器を作成する。そして、運用時の初期化処理等において、作成した顔検出器をメモリ容量(サイズ)が異なる複数の顔検出器として記憶部に読み込む。ここで、各顔検出器のメモリ容量は、VGA、FullHD、4K等の規格サイズの画像やその他任意の画像サイズ応じて設定する。
そして、顔検出時の処理では、図1に示すように、利用者が設定した検出したい顔の大きさ(例えば目間距離)を示す範囲である設定範囲に応じて、顔検出器が検出可能な適切な画像の解像度(サイズ)を決定し、入力画像の解像度(サイズ)を変更する。すなわち、顔検出器が検出可能な顔の大きさになるように入力画像を拡大又は縮小し、拡大縮小画像を生成する。
より具体的には、例えば、各顔検出器が検出可能な目間距離の所定範囲が8~200画素であり、入力画像から検出すべき顔の大きさとして利用者が設定した目間距離の設定範囲が8~400画素とする。この場合、各顔検出器は、入力画像からは、目間距離が200~400画素の顔を検出できない。そこで、入力画像を、そのアスペクト比を保ったまま50%のサイズに縮小した拡大縮小画像を生成する。この拡大縮小画像でも各顔検出器が検出できる目間距離は、8~200画素であるが、この拡大縮小画像は、サイズが入力画像の半分であるため、入力画像のサイズでは、その2倍の目間距離が16~400画素の顔を検出することになる。したがって、各顔検出器は、拡大縮小画像から、入力画像のサイズに換算したときに目間距離が200~400画素となる顔を検出することができる。
ただし、この場合、拡大縮小画像では、入力画像のサイズに換算して目間距離が16画素未満の顔を検出することができず、設定範囲の最小値付近の大きさの顔を検出することができない。そこで、本実施形態では、拡大縮小画像のみならず、入力画像に対しても顔検出を行う。各顔検出器は、入力画像から目間距離が8~200画素の顔を検出することができる。
このように、拡大縮小画像から、入力画像のサイズに換算して目間距離が16~400画素の顔を検出するとともに、入力画像から、目間距離が8~200画素の顔を検出する。これにより、設定範囲(目間距離が8~400画素)全域の大きさの顔を検出可能としている。
このとき、拡大縮小画像及び入力画像のそれぞれの画像に対して、いずれの顔検出器を使用するかは、検出対象の画像のサイズに応じて決定される。検出対象の画像のサイズにメモリ容量が最も近いもの(ただし、画像サイズ以上のもの)を選択する。
また、図1に示したように、検出結果が複数ある場合、すなわち複数の顔検出器によって重なり合う領域に顔が検出された場合は、重なり具合で検出結果を統合し、最終的な結果を求める。
本実施形態によれば、顔検出器が対応可能な所定範囲と、利用者が希望する設定範囲とに基づいて、入力画像の解像度(サイズ)を変更して拡大縮小画像を生成し、拡大縮小画像に対して顔検出することから、利用者が要求する大きさの顔を効率的に検出することができる。
<画像処理装置を含むシステムの全体構成>
次に、図2を用いて、実施形態1に係る画像処理装置を含むシステムの全体構成について説明する。図2に示すように、このシステムは、屋内外の所定エリア(例えば屋外の通路や店舗内)等を対象にして構築されるものであり、画像取得部として機能するカメラ1と、画像記録部として機能するレコーダ(画像記録装置)2と、顔検出部及び顔認証部として機能する画像処理装置3と、を備えている。所定エリアは、用途に応じて適宜設定可能である。
カメラ1は、屋内外の所望の場所に設置される。カメラ1により屋内外の所定エリアが撮影される。撮影された映像(各フレーム)は、レコーダ2に蓄積される。
画像処理装置3には、撮影した映像等を表示する表示部としてのモニタ(表示装置)4と、操作者が種々の入力操作を行う入力部としての入力デバイス5(例えばキーボードやマウス等)とが通信可能に接続されている。なお、モニタ4及び入力デバイス5は、タッチパネルディスプレイ等の入力機能付きの表示装置から構成されてもよい。
画像処理装置3は、利用者が、モニタ4によって、カメラ1で撮像された映像をリアルタイムで閲覧できるように構成されるとともに、レコーダ2に録画された過去の映像を閲覧できるように構成されている。
<画像処理装置の構成>
次に、図3を用いて、画像処理装置3の構成について説明する。画像処理装置3は、一般的なパーソナルコンピュータ相当の機能を有し、図3に示すように、制御部10及び記憶部20を備えている。
制御部10は、映像入力部11と、設定部12と、解像度変更部13と、画像サイズ調整部14と、顔検出部15と、顔認識部16との機能を備えている。制御部10は、例えば、各種の処理を実現するためのソフトウェアプログラムと、該ソフトウェアプログラムを実行するCPU(Central Processing Unit)と、該CPUによって制御される各種ハードウェア等によって構成されている。制御部10の動作に必要なソフトウェアプログラムやデータは記憶部20に記憶される。
なお、制御部10の図3に示した各部は、制御部10のCPUで本実施形態に係る画像処理プログラムを実行させることによって実現される。本実施形態に係る画像処理プログラムは、画像処理装置3に予め導入されてもよいし、汎用OS上で動作可能なアプリケーションプログラムとして、コンピュータ読み取り可能な記録媒体に記録して、又は、ネットワークを介して、利用者に提供されてもよい。
記憶部20は、ハードディスク装置や不揮発性メモリ等の記憶装置から構成され、推論モデル21を記憶している。
映像入力部11は、カメラ1又はレコーダ2から画像を取得する処理を行う。顔検出をリアルタイムで行う場合にはカメラ1から画像を取得し、過去の映像から顔検出を行う場合にはレコーダ2から画像を取得する。映像入力部11によって取得された画像は、入力画像として解像度変更部13に出力される。なお、入力画像は、静止画像であってもよいし、動画像(映像)であってもよい。
設定部12は、利用者の入力操作に応じて、入力画像から検出すべき顔の大きさ(目間距離)の範囲として、設定範囲を設定する処理を行う。設定範囲は、検出すべき顔の大きさ(目間距離)の最大値及び最小値を指定することによって設定され、記憶部20に記憶される。設定範囲の最大値及び最小値は、いずれも任意の値であり、好ましくは画素数(任意の自然数)である。設定範囲は、利用者が入力デバイス5を用いて目間距離の最大値及び最小値を直接入力し、当該入力値に基づき設定部12が設定してもよいし、下記の手法により設定されてもよい。
例えば、図4(a)に示すように、カメラ1の前を利用者に前後に歩行してもらいながら撮影し、撮影した映像をモニタ4に表示する。図4(b)に示すように、モニタ4には、顔の大きさが徐々に変化する利用者が表示されることになる。次に、利用者にモニタ4上で顔の大きさの変化を実際に確認してもらいながら、検出したい大きさの顔、すなわち検出したい最も小さい顔の画像と、検出したい最も大きい顔の画像とを選択してもらう。そして、それぞれの画像について、解像度変更部13による拡大縮小画像の生成処理と顔検出部15による顔検出処理とを、顔検出部15がそれらの顔を検出するまで、拡大縮小率を種々変更しながら繰り返す。そして、顔検出部15によって検出された最も小さい顔及び最も小さい顔の目間距離から、検出すべき目間距離の範囲(最大値及び最小値)を決定する。また、これとは異なり、利用者にモニタ4上で検出したい最も小さい顔の画像と検出したい最も大きい顔の画像とを選択してもらい、そして、それぞれの顔の両目の位置を利用者に入力デバイス5を用いて指定してもらうことによって、検出すべき目間距離の範囲(最大値及び最小値)を決定してもよい。
また、図5に示すように、カメラ1の映像に顔のイラスト画像等をオーバーレイ表示し、利用者にマウス等により検出したい顔の大きさまで拡大縮小してもらってもよい。この場合、設定部12が、最も縮小された顔(検出したい最も小さい顔)と、最も拡大された顔(検出したい最も大きい顔)から、それぞれ、検出すべき目間距離の最大値及び最小値を決定し、設定範囲を設定する。
更に、設定部12が、入力画像の解像度から、検出したい顔の大きさ、すなわち設定範囲を自動で設定してもよい。これは、スマートフォンやパスコンのカメラで顔認証(ログイン)する場合に好適である。この用途では、画像中に顔が大きく写るはずであるため、例えば、入力画像の解像度の半分以上等の画素数を設定範囲としてもよい。
解像度変更部13は、顔検出部15が検出可能な顔の大きさ(目間距離)の範囲である所定範囲と、上述の設定範囲(入力画像から検出すべき顔の大きさ(目間距離)の範囲)とに基づいて、入力画像の解像度を変更した画像である拡大縮小画像を生成する。拡大縮小画像とは、入力画像の解像度を上げるか、又は下げた画像、すなわち入力画像を拡大又は縮小した画像である。なお、通常は、解像度変更部13は、入力画像のアスペクト比を維持したまま拡大縮小画像を生成する。
より詳細には、解像度変更部13は、設定範囲の最大値に係る大きさの顔と、設定範囲の最小値に係る大きさの顔との少なくとも一方を顔検出部15が検出可能となるように、入力画像の解像度を変更して拡大縮小画像を生成する。これにより、検出可能な所定範囲を超える大きさの顔(顔検出部15の検出可能な範囲を超える大き過ぎる顔)と、検出可能な所定範囲を下回る大きさの顔(顔検出部15の検出可能な範囲を下回る小さすぎる顔)との少なくとも一方について、顔検出部15によって効率的に検出することができる。
より好ましくは、解像度変更部13は、少なくとも設定範囲の最大値に係る大きさの顔を顔検出部15が検出可能となるように、入力画像の解像度を低くすることによって拡大縮小画像を生成する。これにより、少なくとも検出可能な所定範囲を超える大きさの顔(顔検出部15の検出可能な範囲を超える大き過ぎる顔)を効率的に検出することができる。また、入力画像の解像度を低くした拡大縮小画像、すなわち縮小画像に対して顔検出できることから、顔検出処理の負担を軽減することができる。
具体的には、例えば、目間距離の所定範囲が8~200画素であり、目間距離の設定範囲が8~400画素である場合、設定範囲の最大値の目間距離である400画素が所定範囲の最大値と一致するように、入力画像の解像度を低くする。すなわち、(所定範囲の最大値)/(設定範囲の最大値)×100の式から算出される拡大/縮小率(%)で入力画像を拡大/又は縮小して拡大縮小画像を生成する。
なお、拡大/縮小率とは、入力画像に対する拡大縮小画像の倍率を意味し、ここでは、入力画像に対する拡大縮小画像の面積比率ではなく、入力画像に対する拡大縮小画像の幅及び高さの比率を表す。具体的には、上述のように、例えば、所定範囲の最大値及び設定範囲の最大値から算出される。
顔検出部15は、入力画像や拡大縮小画像といった検出対象の画像(画像データ)から顔検出する、すなわち顔検出処理を実行する。ただし、顔検出部15は、画像中のあらゆる大きさ(目間距離)の顔を検出できるものではなく、所定範囲の大きさ(目間距離)の顔のみを検出可能なように構成されている。
そこで、顔検出部15は、少なくとも拡大縮小画像に対して顔検出する。これにより、例え検出すべき目間距離(設定範囲)が検出可能な所定範囲外であっても、拡大縮小画像から設定範囲の顔を検出できるようになる。
具体的には、例えば、目間距離の所定範囲が8~200画素であり、目間距離の設定範囲が50~400画素であり、50%の拡大/縮小率で入力画像を縮小して拡大縮小画像を生成する場合、顔検出部15は、拡大縮小画像では、入力画像のサイズに換算して目間距離が16~400画素の顔を検出できることから、設定範囲の大きさの顔を検出できることになる。
ただし、上述のように、例えば、目間距離の所定範囲が8~200画素であり、目間距離の設定範囲が8~400画素であり、50%の拡大/縮小率で入力画像を縮小して拡大縮小画像を生成する場合、顔検出部15は、拡大縮小画像では、入力画像のサイズに換算して目間距離が16画素未満の顔を検出できなくなってしまう。
そこで、顔検出部15は、設定範囲の最小値によっては、入力画像に対しても更に顔検出する。これにより、例え検出すべき顔の大きさ(設定範囲)が拡大縮小画像にて顔検出部15が検出可能な範囲を下回る場合であっても、入力画像に対して顔検出を行うことから、拡大縮小画像では検出できないような小さな顔を検出できる可能性が高くなる。
具体的には、上述のように、目間距離の所定範囲が8~200画素であり、目間距離の設定範囲が8~400画素であり、50%の拡大/縮小率で入力画像を縮小して拡大縮小画像を生成する場合であっても、顔検出部15は、入力画像では、目間距離が8~200画素の顔を検出することができる。すわなち、拡大縮小画像では検出できない目間距離が8~16画素の顔を入力画像から検出することができる。
入力画像に対しても更に顔検出するか否かの基準としては、下記式(1)が好適である。すなわち、入力画像に対する拡大縮小画像の拡大/縮小率をX%(ただし、Xは0を除く正の数)とし、所定範囲の最小値をMin1とし、設定範囲の最小値をMin2としたとき、下記式(1)で表される関係を満たす場合は、顔検出部15は、入力画像に対しても更に顔検出することが好ましい。
(Min2×X/100)<Min1 (1)
他方、上記式(1)で表される関係を満たさない場合、すなわち(Min2×X/100)≧Min1を満たす場合は、顔検出部15は、入力画像に対して顔検出しなくてもよい。
図6に示すように、顔検出部15(各顔検出器)は、少なくとも、検出対象の画像に含まれる顔の左右の目の座標E1、E2と、当該顔の領域を示す矩形のバウンディングボックスBBと、当該顔の顔らしさに係るスコアとを出力(推定)するものである。なお、顔らしさに係るスコアとは、検出した顔がどの程度顔らしいかを示すパラメータであり、0~1の連続する値で出力され、より1に近いほど当該顔がより顔らしいことを意味する。また、顔検出部15は、左右の目の座標E1、E2に基づいて当該顔の大きさ(本実施形態では目間距離)を算出する処理を行う。すなわち、目間距離は、検出された左右の目の座標E1及びE2間の距離に対応する。
そして、顔検出部15の検出結果には、検出した顔に係る情報として、左右の目の座標E1、E2、バウンディングボックスBBの座標(左上のコーナーの座標及びサイズ)、顔らしさに係るスコア、顔の大きさとしての目間距離、等が含まれる。顔検出部15による検出結果、例えば、左右の目に位置を示す記号やバウンディングボックスBBは、モニタ4に表示されることによって利用者に報知される。
図7に示すように、拡大縮小画像にて顔検出部15によって検出された顔F1の領域r1に対応する入力画像中の第1の領域R1が、入力画像にて顔検出部15によって検出された顔F2の領域である第2の領域R2と重なる場合、顔検出部15は、第1の領域R1及び第2の領域R2の重なり具合に応じて、いずれか一方の顔F1又はF2に係る情報を検出結果として出力する。これにより、顔認証部16に出力される顔を減らすことができるので、画像処理装置3の処理コストを削減することができる。
ここで、第1の領域R1が第2の領域R2と重なる場合としては、具体的には、例えば、拡大縮小画像と入力画像との両方にて同一人物の顔が検出された場合と、拡大縮小画像及び入力画像のそれぞれにて異なる人物の顔が互いに近接して検出された場合とが想定できる。そして、前者の場合は、拡大縮小画像と入力画像とのいずれかの検出結果のみを採用すべき場合であり、後者の場合は、拡大縮小画像と入力画像とのそれぞれの検出結果を採用すべき場合である。そこで、これらの場合に対応可能とするために、上述のように、顔検出部15は、第1の領域R1及び第2の領域R2の重なり具合に応じて、いずれか一方の顔F1又はF2に係る情報を検出結果として出力するようになっている。ここで、第1の領域R1及び第2の領域R2の重なり具合とは、具体的には、例えば、IoU(Intersection over Union)であり、IoUが所定の基準値以上であれば、第1の領域R1と第2の領域R2の重なりが大きいため、顔F1又はF2に係る顔を同一人物に係る顔とみなし、いずれか一方の顔F1又はF2に係る情報を検出結果として出力し、IoUがその基準値未満であれば、第1の領域R1と第2の領域R2の重なりが小さいため、顔F1又はF2に係る顔をそれぞれ異なる人物の顔とみなして両方の顔F1及びF2に係る情報をそれぞれ検出結果として出力する。なお、IoUは、(領域の共通部分)/(領域の和集合)の式から算出される。
また、第1の領域R1が第2の領域R2と重なり、かついずれか一方の顔F1又はF2に係る情報を出力する場合、顔検出部15は、顔らしさに係るスコアがより高い方の顔F1又はF2に係る情報を検出結果として出力する。これにより、拡大縮小画像と入力画像で検出された2つの顔F1及びF2のうち、より顔らしさのスコアが高い方の顔に係る情報を利用できることから、顔認証部16による当該顔の認証精度を向上することができる。
なお、顔F1に係る領域r1及び顔F2に係る領域R2は、いずれも顔検出部15によって検出されたバウンディングボックスBBに相当するものである。また、領域r1の拡大縮小画像内における相対的な位置は、第1の領域R1の入力画像内における相対的な位置と一致している。
また、顔検出部15は、所定範囲の少なくとも一部が設定範囲を超えており、かつ顔検出部15によって設定範囲外の大きさの顔が検出された場合、その顔、すなわち当該設定範囲外の大きさの顔に係る情報を、利用者が設定可能な設定条件に応じて処理する。具体的には、顔検出部15は、当該設定範囲外の大きさの顔に係る情報を検出結果として出力しないことが好ましい。これにより、検出すべきでない大きさの顔、すなわち利用者が希望しない大きさの顔が検出された場合に、当該顔が検出されたことをモニタ4に表示されないようにして、利用者が望む検出結果のみを確認しやすくすることができる。
なお、所定範囲の少なくとも一部が設定範囲を超える場合とは、より具体的には、所定範囲の最大値が設定範囲の最大値を超える場合、所定範囲の最小値が設定範囲の最小値を下回る場合、所定範囲の最大値が設定範囲の最大値を超え、かつ所定範囲の最小値が設定範囲の最小値を下回る場合が挙げられる。
また、設定条件によっては、設定範囲外の大きさの顔が検出された場合、該顔を検出すべき顔(設定範囲内の大きさの顔)とは異なる態様でモニタ4に表示されるようにしてもよい。例えば、設定範囲外の大きさの顔と、設定範囲内の大きさの顔とで、バウンディングボックスの表示態様を異なるもの、例えば異なる色にしてもよい。
また、顔検出部15は、上述のように、メモリ容量が互いに異なる複数の顔検出器を含んでいる。なお、複数の顔検出器は、メモリ容量が異なるだけであり、検出可能な顔の大きさを示す所定範囲は、いずれの顔検出器でも共通である。
顔検出器のメモリ容量は、顔検出処理中の演算結果を記憶するために確保されたものであり、複数の画像サイズ(以下、基準画像サイズとも言う)に応じて設定される。このように、顔検出器のメモリ容量を複数の基準画像サイズに応じて設定することによって、検出対象となる画像(拡大縮小画像や入力画像)の画像サイズに応じて検出器のメモリ容量を都度確保する場合に比べて、処理時間を短縮することができる。顔検出器のメモリ容量は、上述のように、VGA、FullHD、4K、任意の画像サイズ等の複数の画像サイズに応じて設定されている。
顔検出部15は、検出対象の画像内をくまなく検索し、画像内の任意の場所で顔を見つけ出す(推定する)ものである。また、顔検出部15は、正面を向いていない顔、すなわち様々な方向を向いた顔を検出することができる。
より具体的には、顔検出部15は、上述のように複数の顔検出器を含んでおり、各顔検出器は、記憶部20に記憶された推論モデル21を制御部10にて実行することによって、その機能、すなわち顔検出機能を実現する。
ここで、推論モデル21について説明する。推論モデル21は、ラベル情報(正解データ)が付されたデータセット(教師データ)の教師あり機械学習により作成される。より具体的には、推論モデル21は、人物の顔及び人物の顔以外の物体が写った画像(例えば二次元の静止画像)を入力データとし、その顔に付与された特徴点(例えば、左右の目)の位置や、その顔の領域を示す矩形のバウンディングボックス、人物の顔を1とし人物の顔以外の物体を0とするスコア情報等の情報をラベルとして、畳み込みニューラルネットワーク(CNN:Convolutional Neural Network)を利用した学習用プログラムにより深層学習(ディープラーニング)を行うことによって作成される。
教師あり機械学習により作成された推論モデル21は、学習済みパラメータが組み込まれた推論プログラム(学習済みモデル)として機能する。なお、学習済みパラメータは、データセットを用いた学習の結果、得られたパラメータ(係数)である。また。推論プログラムは、入力として与えられた入力画像(静止画像、又は映像(動画像)を構成する各静止画像)に対して、学習の結果として取得された学習済みパラメータを適用し、当該入力画像に対する結果(具体的には、上述したような各特徴点やバウンディングボックスの位置等)を出力するための一連の演算手順を規定したプログラムである。
なお、推論モデル21(各顔検出器)は、追加学習されてもよい。すなわち、推論モデル21に異なるデータセットを適用し、更なる学習を行うことによって、新たに学習済みパラメータを生成し、この新たな学習済みパラメータが組み込まれた推論プログラムを推論モデル21(各顔検出器)として利用してもよい。
画像サイズ調整部14は、拡大縮小画像のサイズが複数の基準画像サイズのうちの最も近い画像サイズに一致するように、拡大縮小画像の周囲の少なくとも一部に背景画像を追加する処理を行う。この結果、拡大縮小画像のサイズは、いずれかの顔検出器のメモリ容量に対応するものとなる。そして、背景画像が追加された拡大縮小画像は、複数の顔検出器のうち、背景画像が追加された拡大縮小画像のサイズに対応するメモリ容量が確保された顔検出器によって、顔検出が行われる。これにより、上述のように、検出対象となる画像(拡大縮小画像や入力画像)の画像サイズに応じて顔検出器のメモリ容量を都度確保することなく顔検出処理を実行できるため、処理時間を短縮することができる。
また、上述のように、拡大縮小画像のみならず入力画像に対しても顔検出を行う場合は、同様に、画像サイズ調整部14は、入力画像のサイズが複数の基準画像サイズのうちの最も近い画像サイズに一致するように、入力画像の周囲の少なくとも一部に背景画像を追加する処理を行う。この結果、入力画像のサイズは、いずれかの顔検出器のメモリ容量に対応するものとなる。そして、背景画像が追加された入力画像は、複数の顔検出器のうち、背景画像が追加された入力画像のサイズに対応するメモリ容量が確保された顔検出器によって、顔検出が行われる。
なお、背景画像は、顔検出部15(各顔検出器)によってその背景画像内に顔が検出され得ない画像であれば、特に限定されないが、黒等の単色の画像が好適である。また、背景画像を元の画像(拡大縮小画像又は入力画像)のどこに追加するかも特に限定されず、例えば、矩形又は正方形の元の画像の一辺のみに追加してもよいし、隣り合う又は対向する二辺のみに追加してもよいし、三辺のみに追加してもよいし、四辺全てに追加してもよい。何れの場合も背景画像は、通常、元の画像の辺に対して幅が一定の帯状の領域として追加される。
具体的には、例えば、入力画像のサイズ(解像度)が800×800であり、拡大縮小画像のサイズ(解像度)が400×400であり、VGA(640×480)、FullHD(1920×1080)、4Kの画像サイズにそれぞれ対応した3つの顔検出器がある場合、画像サイズ調整部14は、入力画像及び拡大縮小画像にそれぞれ黒色の背景画像を追加し、入力画像及び拡大縮小画像のサイズをそれぞれFullHD(1920×1080)及びVGA(640×480)に変更する。そして、サイズ変更後の入力画像に対してFullHD(1920×1080)の画像サイズに対応した顔検出器で顔検出を行い、サイズ変更後の拡大縮小画像に対してVGA(640×480)の画像サイズに対応した顔検出器で顔検出を行う。
顔認証部16は、顔検出部15の検出結果に基づき認証処理を行う。具体的な認証処理の内容は、特に限定されず、例えば、本人特定、属性(年齢、性別等)の推定、アクセサリ(眼鏡、サングラスの有無等)の検知等の処理が挙げられ、これらのうちの一つの処理のみを行ってもよいし、2以上の処理を行ってもよいが、顔認証部16は、少なくとも本人特定を行うことが好ましい。顔認証部16によって参照される顔検出部15の検出結果は、顔検出部15によって検出された顔の画像領域を特定できる情報であれば特に限定されず、例えば、バウンディングボックスBBの座標、特徴点の位置(例えば左右の目の座標)等が挙げられる。
図7で説明したように、拡大縮小画像にて顔検出部15によって検出された顔F1の領域r1に対応する入力画像中の第1の領域R1が、入力画像にて顔検出部15によって検出された顔F2の領域である第2の領域R2と重なり、かつ顔検出部15が拡大縮小画像にて検出した顔F1に係る情報を検出結果として出力する場合、顔認証部16は、拡大縮小画像にて検出された顔F1の座標に対応する入力画像の座標から特定される入力画像の画像領域に基づいて認証処理を行う。すなわち、顔認証部16は、入力画像から当該画像領域を切り出す処理を行い、当該画像領域に対して認証処理を行う。これにより、顔認証部16による認証精度の低下を防ぐことが可能である。画像を縮小すると、画素を間引く、又は画素値を重み付けて平均とる処理が入り、入力画像に比べて情報量が落ちるため、認証精度が低下する可能性がある。拡大の場合は、補間処理が入り、情報量は入力画像以下になるため、認証精度は同等以下になる。したがって、上述のように、入力画像から認証用の画像を切り出すことにより、認証精度の低下を防ぐことが可能である。
ここで、拡大縮小画像にて検出された顔F1の座標とは、顔F1の領域r1(バウンディングボックスBB)の座標(左上のコーナーの座標及びサイズ)であることが好ましく、顔検出部15にて検出された顔F2の第2の領域R2とは、上述のように、顔F2のバウンディングボックスBBに相当するものである。したがって、顔認証部16は、拡大縮小画像にて検出された顔F1の領域r1(バウンディングボックスBB)に対応する入力画像中の第1の領域R1が、入力画像にて検出された顔F2の第2の領域R2(バウンディングボックスBB)と重なり、かつ拡大縮小画像にて検出された顔F1に係る情報が顔検出部15の検出結果として出力される場合、入力画像中の第1の領域R1に基づいて認証処理を行うことがより好ましい。
顔認証部16による認証処理の結果は、モニタ4に表示されることによって利用者に報知される。
<顔検出処理の手順>
次に、図8及び9を用いて、画像処理装置3で行われる画像処理の手順、主に顔検出に係る処理の手順について説明する。ここでは、目間距離の所定範囲が8~200画素である場合、すなわち目間距離が8~200画素の大きさの顔を顔検出部15(各顔検出器)が検出可能な場合について説明する。
まず、利用者の入力操作等に基づき、設定部12によって、入力画像から検出すべき顔の大きさ(目間距離)の範囲として、設定範囲が設定される(ステップS11)。ここでは、目間距離の設定範囲を8~400画素とする。
次に、映像入力部11に、カメラ1又はレコーダ2から入力画像(静止画像又は動画像)が入力される(ステップS12)。例えば、入力画像には、目間距離が400画素の顔が撮像されている。
次に、解像度変更部13が、所定範囲と設定範囲とに基づいて、入力画像の解像度を変更した画像である拡大縮小画像を生成する(ステップS13)。具体的には、(所定範囲の最大値)/(設定範囲の最大値)×100、すなわち200/400×100の式から算出した拡大/縮小率(=50%)で入力画像を拡大/又は縮小(ここでは縮小)し、拡大縮小画像を生成する。この結果、顔検出部15は、拡大縮小画像では、入力画像の解像度に換算して、目間距離が16~400画素の顔を検出可能となる。このように、拡大縮小画像では、目間距離が16未満の顔を検出できないことから、顔検出部15は、入力画像に対しても顔検出を行う。
次に、画像サイズ調整部14が、拡大縮小画像及び入力画像にそれぞれ背景画像を追加し、例えば、サイズをそれぞれVGA(640×480)及びFullHD(1920×1080)に調整する(ステップS14)。
次に、顔検出部15が、拡大縮小画像及び入力画像に対して顔検出処理を実行する(ステップS15)。顔検出部15は、メモリ容量がVGA、FullHD及び4Kの画像サイズに対応した3つの顔検出器を有しており、いずれの顔検出器を用いるかは、入力画像及び拡大縮小画像の画像サイズに応じて決定される。ここでは、拡大縮小画像に対しては、メモリ容量がVGAに対応した顔検出器が顔検出を行い、入力画像に対しては、メモリ容量がFullHDに対応した顔検出器が顔検出を行う。
その結果、拡大縮小画像及び入力画像にそれぞれに対する顔検出部15による検出結果が得られる。
拡大縮小画像及び入力画像のそれぞれで検出結果が得られる場合は、それらの重なり具合で統合する(ステップS16)。具体的には、顔検出部15が、拡大縮小画像で検出された顔F1の領域r1(バウンディングボックスBB)に対応する入力画像中の第1の領域R1と、入力画像で検出された顔F2の第2の領域R2(バウンディングボックスBB)とのIoUを算出し、IoUが所定の基準値以上であれば、いずれか一方の顔F1又はF2(好ましくは、顔らしさに係るスコアがより高い方の顔)に係る情報を採用し、IoUがその基準値未満であれば、両方の顔F1及びF2に係る情報をそれぞれ採用する。
そして、顔検出部15が、ステップS16にて採用した顔の左右の目の座標から目間距離を算出し、算出した目間距離が設定範囲外でなければ、その顔に係る検出結果を出力し、算出した目間距離が設定範囲外であれば、その顔に係る検出結果を出力することなく、その顔に係る情報を削除する(ステップS17)。
その後、顔認証部16が、顔検出部15の検出結果に基づき認証処理を行い(ステップS18)、処理を終了する。
以上説明したように、本実施形態では、検出可能な顔の大きさ(目間距離)の範囲を示す所定範囲と、入力画像から検出すべき顔の大きさ(目間距離)の範囲として設定された設定範囲とに基づいて、入力画像の解像度を変更、すなわち拡大縮小し、その拡大縮小画像に対して顔検出部15が顔検出を行うことから、例え検出すべき顔の大きさ(設定範囲)が検出可能な所定範囲外である場合であっても、顔検出部15が検出可能な適切な大きさの拡大縮小画像を生成でき、そして、その拡大縮小画像に対して顔検出を行うことができる。また、拡大縮小画像を所定範囲及び設定範囲に基づいて生成することから、必要最低限の拡大縮小画像に対して効率的に顔処理を行うことができる。以上より、利用者が要求する大きさの顔を効率的に検出することができる。
なお、上記実施形態では、所定範囲の最大値と設定範囲の最大値とから算出される拡大/縮小率により入力画像を拡大/又は縮小する場合について具体的に説明したが、入力画像の拡大/縮小率は、所定範囲の最小値と設定範囲の最小値とから算出してもよいし、所定範囲の中央値と設定範囲の中央値とから算出してもよい。
また、上記実施形態では、推論モデル21が畳み込みニューラルネットワークを利用した深層学習により構築された場合について説明したが、推論モデル21は、機械学習により作成されたものであれば特に限定されず、推論モデル21は、深層学習以外の機械学習により作成されたものであってもよい。
また、上記実施形態では、画像処理装置3を一つの装置として構成する場合について説明したが、画像処理装置3の各機能を適宜複数の装置に分散した分散処理システムにより実現してもよい。
具体的には、例えば、図10に示すように、画像取得部及び画像記録部としてのカメラ101と、カメラ101と通信可能に接続されたモニタ及び入力デバイスを備えるパーソナルコンピュータ102と、パーソナルコンピュータ102と通信可能に接続されたクラウドサーバ103とから画像処理システムを構成してもよい。そして、パーソナルコンピュータ102に上述の映像入力部11、設定部12、解像度変更部13、画像サイズ調整部14及び顔検出部15及びの機能を持たせ、クラウドサーバ103に上述の顔認識部16の機能を持たせ、パーソナルコンピュータ102のモニタ及び入力デバイスをそれぞれ表示部及び入力部として利用し、当該モニタにカメラ101による画像や、顔検出部15による検出結果及び顔認識部16による認証結果を表示してもよい。なお、画像記録部としての機能は、パーソナルコンピュータ102又はクラウドサーバ103に持たせてもよい。
以上、図面を参照しながら本発明の実施形態を説明したが、本発明は、上記実施形態に限定されるものではない。また、各実施形態の構成は、本発明の要旨を逸脱しない範囲において適宜組み合わされてもよいし、変更されてもよい。
以上のように、本発明は、画像から、利用者が要求する大きさの顔を効率的に検出するのに有用な技術である。
1:カメラ
2:レコーダ
3:画像処理装置
4:モニタ
5:入力デバイス
10:制御部
11:映像入力部
12:設定部
13:解像度変更部
14:画像サイズ調整部
15:顔検出部
16:顔認証部
20:記憶部
21:推論モデル
101:カメラ
102:パーソナルコンピュータ
103:クラウドサーバ

Claims (16)

  1. 画像から、大きさが所定範囲の顔を検出可能な顔検出部と、
    入力画像から検出すべき顔の大きさの範囲として利用者により設定された設定範囲を記憶する記憶部と、
    前記所定範囲及び前記設定範囲に基づいて前記顔検出部が検出可能な画像の解像度を決定し、決定した前記解像度に前記入力画像の解像度を変更した画像である拡大縮小画像を生成する解像度変更部と、
    を備え、
    前記顔検出部は、前記拡大縮小画像に対して顔検出する
    ことを特徴とする画像処理装置。
  2. 前記解像度変更部は、前記設定範囲の最大値に係る大きさの顔と、前記設定範囲の最小値に係る大きさの顔との少なくとも一方を前記顔検出部が検出可能となるように、前記入力画像の前記解像度を変更して前記拡大縮小画像を生成する
    ことを特徴とする請求項1記載の画像処理装置。
  3. 前記解像度変更部は、少なくとも前記設定範囲の最大値に係る大きさの顔を前記顔検出部が検出可能となるように、前記入力画像の前記解像度を低くすることによって前記拡大縮小画像を生成する
    ことを特徴とする請求項2記載の画像処理装置。
  4. 前記顔検出部は、前記設定範囲の最小値によっては、前記入力画像に対しても更に顔検出する
    ことを特徴とする請求項1~3のいずれかに記載の画像処理装置。
  5. 前記入力画像に対する前記拡大縮小画像の拡大/縮小率をX%とし、前記所定範囲の最小値をMin1とし、前記設定範囲の最小値をMin2としたとき、(Min2×X/100)<Min1の関係を満たす場合、前記顔検出部は、前記入力画像に対しても更に顔検出する
    ことを特徴とする請求項4記載の画像処理装置。
  6. 前記拡大縮小画像にて検出された顔の領域に対応する前記入力画像中の第1の領域が、前記入力画像にて検出された顔の領域である第2の領域と重なる場合、前記顔検出部は、前記第1の領域及び前記第2の領域の重なり具合に応じて、いずれか一方の顔に係る情報を検出結果として出力する
    ことを特徴とする請求項4又は5記載の画像処理装置。
  7. 前記顔検出部は、検出した顔の顔らしさに係るスコアを更に出力するものであり、前記第1の領域が前記第2の領域と重なり、かついずれか一方の顔に係る情報を出力する場合、顔らしさに係るスコアがより高い方の顔に係る情報を検出結果として出力する
    ことを特徴とする請求項6記載の画像処理装置。
  8. 前記顔検出部の検出結果に基づき認証処理を行う顔認証部を更に備え、
    前記第1の領域が前記第2の領域と重なり、かつ前記顔検出部が前記拡大縮小画像にて検出した前記顔に係る情報を検出結果として出力する場合、前記顔認証部は、前記拡大縮小画像にて検出された前記顔の座標に対応する前記入力画像の座標から特定される前記入力画像の画像領域に基づいて認証処理を行う
    ことを特徴とする請求項6又は7記載の画像処理装置。
  9. 前記顔検出部の検出結果に基づき認証処理を行う顔認証部を更に備える
    ことを特徴とする請求項1~7のいずれかに記載の画像処理装置。
  10. 前記所定範囲の少なくとも一部が前記設定範囲を超えており、かつ前記顔検出部によって前記設定範囲外の大きさの顔が検出された場合、前記顔検出部は、当該設定範囲外の大きさの顔に係る情報を検出結果として出力しない
    ことを特徴とする請求項1~9のいずれかに記載の画像処理装置。
  11. 前記顔検出部は、画像に含まれる顔の複数の特徴点を検出し、かつ前記複数の特徴点に基づいて当該顔の大きさを算出する
    ことを特徴とする請求項1~10のいずれかに記載の画像処理装置。
  12. 前記顔検出部は、メモリ容量が互いに異なる複数の顔検出器を有し、
    前記複数の顔検出器のメモリ容量は、複数の画像サイズに応じて設定されたものである
    ことを特徴とする請求項1~11のいずれかに記載の画像処理装置。
  13. 前記拡大縮小画像のサイズが前記複数の画像サイズのうちの最も近い画像サイズに一致するように、前記拡大縮小画像の周囲の少なくとも一部に背景画像を追加する画像サイズ調整部を更に備え、
    前記顔検出部は、前記背景画像が追加された前記拡大縮小画像に対して顔検出する
    ことを特徴とする請求項12記載の画像処理装置。
  14. 画像から、大きさが所定範囲の顔を検出可能な顔検出部と、
    入力画像から検出すべき顔の大きさの範囲として利用者により設定された設定範囲を記憶する記憶部と、
    前記所定範囲及び前記設定範囲に基づいて前記顔検出部が検出可能な画像の解像度を決定し、決定した前記解像度に前記入力画像の解像度を変更した画像である拡大縮小画像を生成する解像度変更部と、
    を備え、
    前記顔検出部は、前記拡大縮小画像に対して顔検出する
    を備えることを特徴とする画像処理システム。
  15. 画像から顔を検出する画像処理方法であって、
    入力画像から検出すべき顔の大きさの範囲として利用者により設定された設定範囲を記憶するステップと、
    検出可能な顔の大きさの範囲である所定範囲と、前記設定範囲とに基づいて顔検出部が検出可能な画像の解像度を決定し、決定した前記解像度に前記入力画像の解像度を変更した画像である拡大縮小画像を生成するステップと、
    前記拡大縮小画像に対して顔検出するステップと、
    を含むことを特徴とする画像処理方法。
  16. 画像から顔を検出するためにコンピュータを、
    検出可能な顔の大きさの範囲である所定範囲と、入力画像から検出すべき顔の大きさの範囲として利用者により設定された設定範囲とに基づいて顔検出部が検出可能な画像の解像度を決定し、決定した前記解像度に前記入力画像の解像度を変更した画像である拡大縮小画像を生成する手段、及び
    前記拡大縮小画像に対して顔検出する手段、
    として機能させることを特徴とする画像処理プログラム。
JP2019186945A 2019-10-10 2019-10-10 画像処理装置、画像処理システム、画像処理方法及び画像処理プログラム Active JP7385416B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019186945A JP7385416B2 (ja) 2019-10-10 2019-10-10 画像処理装置、画像処理システム、画像処理方法及び画像処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019186945A JP7385416B2 (ja) 2019-10-10 2019-10-10 画像処理装置、画像処理システム、画像処理方法及び画像処理プログラム

Publications (2)

Publication Number Publication Date
JP2021064043A JP2021064043A (ja) 2021-04-22
JP7385416B2 true JP7385416B2 (ja) 2023-11-22

Family

ID=75487967

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019186945A Active JP7385416B2 (ja) 2019-10-10 2019-10-10 画像処理装置、画像処理システム、画像処理方法及び画像処理プログラム

Country Status (1)

Country Link
JP (1) JP7385416B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7405379B2 (ja) 2022-03-01 2023-12-26 ソフトバンク株式会社 情報処理装置、情報処理方法及び情報処理プログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007072606A (ja) 2005-09-05 2007-03-22 Canon Inc 画像処理装置及び方法
JP2008027058A (ja) 2006-07-19 2008-02-07 Sony Corp 画像検出装置及び画像検出方法
JP2008191760A (ja) 2007-02-01 2008-08-21 Toyota Central R&D Labs Inc 対象物検出装置、対象物検出方法、及びプログラム
JP2010027035A (ja) 2008-06-16 2010-02-04 Canon Inc 個人認証装置及び個人認証方法
JP2011053915A (ja) 2009-09-02 2011-03-17 Sony Corp 画像処理装置、画像処理方法、プログラム及び電子機器

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007072606A (ja) 2005-09-05 2007-03-22 Canon Inc 画像処理装置及び方法
JP2008027058A (ja) 2006-07-19 2008-02-07 Sony Corp 画像検出装置及び画像検出方法
JP2008191760A (ja) 2007-02-01 2008-08-21 Toyota Central R&D Labs Inc 対象物検出装置、対象物検出方法、及びプログラム
JP2010027035A (ja) 2008-06-16 2010-02-04 Canon Inc 個人認証装置及び個人認証方法
JP2011053915A (ja) 2009-09-02 2011-03-17 Sony Corp 画像処理装置、画像処理方法、プログラム及び電子機器

Also Published As

Publication number Publication date
JP2021064043A (ja) 2021-04-22

Similar Documents

Publication Publication Date Title
JP7365445B2 (ja) コンピューティング装置及び方法
US20210073953A1 (en) Method for applying bokeh effect to image and recording medium
US10776674B2 (en) Training data generating device, method, and program, and crowd state recognition device, method, and program
JP6636154B2 (ja) 顔画像処理方法および装置、ならびに記憶媒体
US9639914B2 (en) Portrait deformation method and apparatus
JP4799105B2 (ja) 情報処理装置及びその制御方法、コンピュータプログラム、記憶媒体
JP4799104B2 (ja) 情報処理装置及びその制御方法、コンピュータプログラム、記憶媒体
TW201911130A (zh) 一種翻拍影像識別方法及裝置
EP3992919B1 (en) Three-dimensional facial model generation method and apparatus, device, and medium
WO2013145654A1 (en) Information processing method to calculate a similarity between a posture model and posture data
US20210334998A1 (en) Image processing method, apparatus, device and medium for locating center of target object region
KR20170047167A (ko) 전자 장치가 동영상의 얼굴의 인상을 변형하는 방법 및 그 전자 장치
JP2020102012A (ja) 画像処理装置、画像処理方法およびプログラム
JP2023511332A (ja) 拡張現実マップキュレーション
JP2010250420A (ja) 顔の特徴部位の座標位置を検出する画像処理装置
WO2018078857A1 (ja) 視線推定装置、視線推定方法及びプログラム記録媒体
US10162997B2 (en) Electronic device, computer readable storage medium and face image display method
KR101661211B1 (ko) 얼굴 인식률 개선 장치 및 방법
JP2010250419A (ja) 目の様態を検出する画像処理装置
US20210192680A1 (en) Image processing apparatus, image processing method, and image processing program
JP7385416B2 (ja) 画像処理装置、画像処理システム、画像処理方法及び画像処理プログラム
CN115689882A (zh) 一种图像处理方法、装置和计算机可读存储介质
JP6098133B2 (ja) 顔構成部抽出装置、顔構成部抽出方法及びプログラム
JP2010244251A (ja) 顔の特徴部位の座標位置を検出する画像処理装置
EP3699865B1 (en) Three-dimensional face shape derivation device, three-dimensional face shape deriving method, and non-transitory computer readable medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220801

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230613

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230620

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230807

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230912

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231010

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231031

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231110

R150 Certificate of patent or registration of utility model

Ref document number: 7385416

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150