JP6888840B2 - 画像処理システム、画像処理方法、及び画像処理プログラム - Google Patents

Description

本発明は、画像処理システム、画像処理方法、及び画像処理プログラムに関する。

監視カメラが、観光地に設置される場合がある。このような場合も、監視カメラは、施設の監視のために使用されており、記念撮影等の目的には使用されていない。監視カメラの映像には不特定の人物が映るため、プライバシーに配慮する必要があるからである。

特許文献１は、公共エリアに設置されたカメラで撮影された画像を有効活用する技術を提案している。特許文献１に記載されたカメラは、撮影アプリケーションのユーザーを認証し、撮影した画像を保存することが可能である。不特定の人物が画像に入りこむ可能性があるため、撮影された写真を利用する際には、十分注意する必要がある。

特開２０１４−０９９７６３号公報

上記の様に、プライバシーに配慮しつつ、観光地等に設置された監視カメラの映像を個人利用することはできないという問題があった。

本開示は上記課題を解決するためにされたものであって、監視カメラの映像に基づいて、ユーザーの顔画像を含みかつ不特定の人物の顔画像を含まないような画像を生成可能な画像処理システム、画像処理方法、及び画像処理プログラムを提供することを目的とする。

本開示にかかる画像処理システムは、監視カメラによって撮影された撮影画像を取得する、撮影画像取得手段と、ユーザーの顔認証に用いられる認証用画像を取得する、認証画像取得手段と、前記撮影画像から顔画像を検出する、顔検出手段と、前記撮影画像から複数の顔画像が検出された場合に、前記顔画像を前記ユーザーの前記認証用画像と類似する第１の顔画像と、前記第１の顔画像以外の第２の顔画像とに分類する、画像分類手段と、前記第１の顔画像を含む前記撮影画像を一時的に保存する、画像保存手段と、前記画像保存手段が一時的に保存した前記撮影画像について、前記第２の顔画像の少なくとも一部を認識度が低下するように加工する、画像加工手段と、を備えるものである。

本開示にかかる画像処理方法は、監視カメラによって撮影された撮影画像を取得するステップと、ユーザーの顔認証に用いられる認証用画像を取得するステップと、前記撮影画像から顔画像を検出するステップと、前記撮影画像から複数の顔画像が検出された場合に、前記顔画像を、前記ユーザーの前記認証用画像と類似する第１の顔画像と、前記第１の顔画像以外の第２の顔画像とに分類する画像分類ステップと、前記第１の顔画像を含む前記撮影画像を一時的に保存する、画像保存ステップと、前記画像保存ステップにおいて一時的に保存された前記撮影画像について、前記第２の顔画像の少なくとも一部を認識度が低下するように加工する、画像加工ステップと、を備えるものである。

本開示にかかる画像処理プログラムは、監視カメラによって撮影された撮影画像を取得するステップと、ユーザーの顔認証に用いられる認証用画像を取得するステップと、前記撮影画像から顔画像を検出するステップと、前記撮影画像から複数の顔画像が検出された場合に、前記ユーザーの前記認証用画像と類似する第１の顔画像と、前記第１の顔画像以外の第２の顔画像とに分類する画像分類ステップと、前記第１の顔画像を含む前記撮影画像を一時的に保存する、画像保存ステップと、前記画像保存ステップにおいて一時的に保存された前記撮影画像について、前記第２の顔画像の少なくとも一部を認識度が低下するように加工する、画像加工ステップと、をコンピュータに実行させるものである。

本開示によれば、監視カメラの映像に基づいて、ユーザーの顔画像を含みかつ不特定の人物の顔画像を含まないような画像を生成可能な画像処理システム、画像処理方法、及び画像処理プログラムを提供することができる。

実施の形態１にかかる画像処理システムの構成例を示す構成図である。 実施の形態１にかかる画像処理システムの構成を示す構成図である。 実施の形態１にかかる画像処理システムの動作を示すフローチャートである。 実施の形態１にかかる画像処理システムのハードウェア構成例を示す構成図である。

＜実施の形態１＞
図１は、本実施の形態にかかる画像処理システム４００の構成例を示す構成図である。画像処理システム４００は、例えば、サーバ１００および監視カメラ２００Ａ、２００Ｂ、２００Ｃを備える。サーバ１００と監視カメラ２００Ａ、２００Ｂ、２００Ｃとは、ネットワーク３００を介して接続される。ネットワーク３００は、有線であっても無線であってもよい。ネットワーク３００は、例えば、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットである。

サーバ１００は、監視カメラ２００Ａ、２００Ｂ、２００Ｃから撮影画像を取得し、ユーザーの顔画像を含みかつ不特定の人物の顔画像を含まないような画像を生成する。監視カメラ２００Ａ、２００Ｂ、２００Ｃは動画を撮影しており、サーバ１００は、動画データに含まれるフレームから静止画像のデータを取得してもよい。また、サーバ１００は、動画のキャプチャを撮影画像として取得してもよい。

ユーザー端末５００は、画像処理システム４００のユーザーが使用するＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）やスマートフォンである。ユーザー端末５００は、サーバ１００から撮影画像をダウンロードすることが可能である。また、ユーザーは、ユーザー端末５００を用いてサーバ１００に顔認証用の画像をアップロードすることができる。

監視カメラ２００Ａ、２００Ｂ、２００Ｃは、設置された箇所において映像を撮影する。監視カメラ２００Ａ、２００Ｂ、２００Ｃは、撮影方向が１点に固定された定点カメラであってもよい。監視カメラ２００Ａ、２００Ｂ、２００Ｃは、ネットワーク３００を介して、撮影した映像の一部あるいは全部をサーバ１００に送信してもよく、静止画のみを送信してもよい。

図２は、画像処理システム４００の構成を示す構成図である。画像処理システム４００は、撮影画像取得部４０１、認証画像取得部４０２、顔検出部４０３、画像分類部４０４、画像保存部４０５、及び画像加工部４０６を備える。

撮影画像取得部４０１は、監視カメラ２００によって撮影された撮影画像を取得する。撮影画像取得部４０１は、監視カメラ２００が撮影した映像を受信し、動画データに含まれるフレームから撮影画像を取得してもよい。撮影画像取得部４０１は、撮影映像のキャプチャを行うことにより、撮影画像を取得してもよい。撮影画像取得部４０１は、静止画を所定の期間ごとに監視カメラから受信することにより、撮影画像を取得してもよい。

認証画像取得部４０２は、ユーザーの顔認証に用いられる認証用画像を取得する。認証用画像は、後述する画像分類部４０４が行うユーザーの照合に使用される。認証画像取得部４０２は、サーバ１００の記憶装置から認証用画像を取得してもよい。サーバ１００は、ユーザーから認証用画像を受信し、当該認証用画像を記憶していてもよい。当該認証用画像は、監視カメラ２００が設置された施設に入場する際の顔認証に用いられても良い。

認証画像取得部４０２は、ユーザーが監視カメラ２００の設置された施設に認証用画像を用いて入場した場合に、当該認証用画像を認証画像取得部４０２の取得対象に含めても良い。このような場合、施設に入場しているユーザーに対してのみ後述する画像分類部４０４が類否判断を行うため、効率的である。この際、画像分類部４０４は、当該施設の入退場システムと通信し、入場したユーザーに関する情報（ユーザーＩＤ等）を取得する必要がある。

顔検出部４０３は、撮影画像から顔画像の検出を行う。顔画像の検出には、マッチング法等の既存の技術を用いてよい。顔画像の検出は、例えば、画像が目・鼻・口等が備える特徴を含むか否かに基づいて行われる。顔検出部４０３は、撮影画像に複数の顔が存在する場合には、検出可能な範囲で全ての顔画像を検出する。ただし、プライバシーに影響を与えないと考えられるほど不明確な顔画像については、検出しなくてもよい。なお、顔画像が検出されなかった撮影画像は、ユーザーが映っている可能性がないため破棄してもよい。

画像分類部４０４は、撮影画像から複数の顔画像が検出された場合に、顔画像を、ユーザーの認証用画像と類似する第１の顔画像と、当該第１の顔画像以外の第２の顔画像とに分類する。つまり、画像分類部４０４は、ユーザーの認証用画像と照合可能な顔画像を、第１の顔画像に分類する。ここで、顔画像の類否判断は、顔画像から特徴量を抽出し、照合することによって行われても良い。特徴量とは同一人物か否かを判断するために使用可能な数値データであり、例えば、深層学習を用いて抽出される。顔画像の類否判断は、顔認証用のソフトウェアを用いて判断される。

画像分類部４０４は、顔検出部４０３が検出した複数の顔画像のうち、第１の顔画像以外の顔画像を第２の顔画像に分類する。つまり、第２の顔画像とは、ユーザー以外の不特定の人物の顔画像である。

画像保存部４０５は、第１の顔画像を含む撮影画像を一時的に保存する。保存された撮影画像は、後述する画像加工部４０６において画像処理が行われる。第１の顔画像を含まない顔画像については、ユーザーが映っていないため破棄しても良い。撮影画像は、ユーザーごとにフォルダに分けて保存されてもよい。

画像加工部４０６は、画像保存部４０５が一時的に保存した撮影画像について、第２の顔画像の少なくとも一部を認識度が低下するように加工する。認識度とは、ある顔画像から特定の人物であると認識できる度合いである。認識度は、例えば、顔の特徴である。画像加工部４０６は、例えば、第２の顔画像の少なくとも一部の画像領域に対してぼかし処理を行っても良い。ぼかし処理は、当該人物を特定できない程度・範囲で行う必要がある。

また、画像加工部４０６は、撮影画像から第１の顔画像に対応するユーザーの画像領域の切り取りを行い、監視カメラ２００が撮影した背景画像と合成する処理を行ってもよい。切り取る画像領域は、例えば、画像からユーザーの全身の画像を検出することにより行われても良い。顔画像と同様に、人物の画像の特徴を用いて人物検出を行うことができる。背景画像は、プライバシーに配慮すべき人物が映っていない画像である。背景画像は、人物が映っていない画像でもよく、プライバシーに配慮する必要のない特定の人物が映っている画像でもよい。切り取ったユーザーの画像と監視カメラ２００が撮影した背景画像とを合成することにより、不特定の人物の映っていない画像を生成することが可能となる。画像の合成は、画像合成用のソフトウェアを用いて行われる。

なお、上述した画像処理システム４００が備える機能の一部または全部は、監視カメラ２００で実行されてもよく、サーバ１００で実行されてもよい。画像データの編集が高負荷となる場合には、サーバ１００で当該機能を実行した方が有利である。

本実施形態にかかる画像処理システム４００は、ユーザーが映った撮影画像を保存し、当該撮影画像に含まれる不特定の人物の顔画像を加工する。したがって、本実施の形態によると、不特定の人物の顔画像を含まない撮影画像が利用可能となるため、プライバシーの侵害に配慮しつつ監視カメラの画像を利用することが可能となる。

＜実施の形態２＞
実施の形態２では、複数のユーザーをグループ化したユーザーグループに対して顔認証を行う。家族・友人等をユーザーグループとして登録することにより、ユーザーグループ以外の顔画像についてのみプライバシーを目的とした画像処理が行われることとなる。

実施の形態２にかかる画像処理システム４００の構成図は、図２と同じである。実施の形態１と重複する説明は適宜省略する。画像処理システム４００は、撮影画像取得部４０１、認証画像取得部４０２、顔検出部４０３、画像分類部４０４、画像保存部４０５、及び画像加工部４０６を備える。撮影画像取得部４０１、顔検出部４０３、および画像加工部４０６の機能は、実施の形態１と同じであるため、説明を省略する。

認証画像取得部４０２は、複数のユーザーをグループ化したユーザーグループについて、当該複数のユーザーそれぞれの顔認証に用いられる認証用画像を取得する。ユーザーグループとは、画像処理システム４００のユーザーをグループ化したものであり、例えば、家族、友人等である。認証画像取得部４０２は、ユーザーグループに含まれるユーザーの人数分の認証用画像を取得することとなる。ユーザーは、あらかじめ、ユーザーグループ全員の顔画像をサーバに送信してもよい。当該認証用画像は、監視カメラ２００が設置された施設に入場する際の顔認証に用いられてもよい。

画像分類部４０４は、顔検出部４０３が検出した複数の顔画像を、ユーザーグループに含まれるユーザーの認証用画像と類似する第１の顔画像と、当該第１の顔画像以外の第２の顔画像とに分類する。つまり、画像分類部４０４は、ユーザーグループに含まれるユーザーの認証用画像と照合可能な顔画像を、第１の顔画像に分類する。

画像分類部４０４は、顔検出部４０３が検出した顔画像のうち、第１の顔画像以外の顔画像を第２の顔画像に分類する。つまり、第２の顔画像とは、ユーザーグループに含まれるユーザー以外の不特定の人物の顔画像である。

画像保存部４０５は、第１の顔画像を含む撮影画像を保存する。第１の顔画像を含まない顔画像については、ユーザーが映っていないため破棄しても良い。撮影画像は、ユーザーグループごとにフォルダに分けて保存されてもよい。

画像保存部４０５は、第１の顔画像に分類された顔画像の数がユーザーグループに含まれるユーザーの数と一致する場合に、当該撮影画像を保存してもよい。つまり、画像処理システム４００は、第１の顔画像に分類された顔画像の数が前記ユーザーグループに含まれるユーザーの数と一致するか否かを判定する判定手段を備えてもよい。このような場合、画像保存部４０５は、ユーザーグループに含まれる全員が映っている集合写真のみを保存することが可能となる。

図３は、本実施の形態にかかる画像処理システム４００の動作例を示すフローチャートである。監視カメラ２００が、観光施設等の施設に設置されている場合を示す。当該施設は、入場に際し、顔認証画像を用いた認証が行われるとする。近年、観光分野において、このようなチケットレス化が進められている。

まず、ユーザーは、ユーザーグループの全員の認証用画像をサーバに送信する（ステップＳ１０１）。当該認証用画像は、施設の入場にも使用される。次に、ユーザーは、監視カメラ２００が設置された施設に上述した認証用画像による顔認証で入場する（ステップＳ１０２）。当該顔認証を用いた入場システムは、当該ユーザーが入場したことを画像処理システム４００に通知する。

次に、撮影画像取得部４０１は、監視カメラ２００が撮影した映像から撮影画像を取得する（ステップＳ１０３）。撮影画像の取得は、一定期間ごとに行われても良い。次に、顔検出部４０３は、取得した撮影画像から顔画像の検出を行う（ステップＳ１０４）。顔画像が検出されなかった撮影画像については、破棄してもよい。次に、認証画像取得部４０２は、顔画像を照合するために、認証用画像を取得する（ステップＳ１０５）。ユーザーは施設の入場に際し、認証用画像を使用している。このような場合、当該認証用画像は、認証画像取得部４０２の取得対象に含まれることとする。

次に、画像分類部４０４は、ステップＳ１０４で検出された顔画像を第１の顔画像と第２の顔画像とに分類する（ステップＳ１０６）。次に、画像保存部４０５は、第１の顔画像が含まれる撮影画像を一時的に保存する（ステップＳ１０７）。なお、画像保存部４０５は、第１の顔画像が含まれない撮影画像については破棄してもよい。

次に、画像加工部４０６は、ステップＳ１０７で保存された撮影画像について、第２の顔画像を含む領域のぼかし処理を行う（ステップＳ１０８）。最後に、サーバ１００は、ステップ１０７で加工した撮影画像をユーザーに送信する（ステップＳ１０９）。例えば、ユーザーは、ＰＣ、スマートフォン等の端末から、サーバ１００に保存された撮影画像をダウンロードしてもよい。送信する画像は、複数の撮影画像で構成されたフォトアルバムであってもよい。

また、サーバ１００は、ユーザーが施設から退場する際に撮影画像をユーザーに送信してもよい。退場予定時刻をあらかじめユーザーがサーバに登録しておくことにより、サーバ１００は、当該予定時刻までに画像を保存することが可能となる。

以下、本実施の形態の効果について説明する。
自撮り棒を用いた写真撮影は、人に危害を加える可能性があるため禁止されつつある。したがって、観光地で写真撮影をする場合、他人にスマートフォンを渡して撮影してもらうか、専門のスタッフに撮影してもらう必要があった。よって、本当は写真を撮影したいにも関わらず、写真を撮影できないという問題が生じていた。

本実施の形態にかかる画像処理システムは、監視カメラを利用して観光地で自動撮影を行う。そして、複数の監視カメラで撮影した撮影画像について、顔認証でユーザーを識別し、ユーザーが識別された画像をユーザーグループごとに保存する。したがって、監視カメラを使用して写真を自動撮影し、フォトアルバムを生成することが可能となる。観光地には複数の監視カメラが存在する場合が多いため、撮影者が不要となり、立ち止まって集合する手間も不要となる。

本実施形態にかかる画像処理システムは、ユーザーが映った撮影画像を保存し、当該撮影画像に含まれる不特定の人物の顔画像を加工する。したがって、本実施の形態によると、不特定の人物の顔画像を含まない撮影画像が利用可能となるため、プライバシーの侵害に配慮しつつ監視カメラの画像を利用することが可能となる。

なお、本実施形態の内容は上述した説明に限定されない。上述の説明においては、ユーザーが映っている場合に撮影画像を保存するとしたが、さらにユーザーの顔画像の表情が笑顔の場合にのみ保存するとしてもよい。このような場合、ユーザーの自然な笑顔を取り出した画像、フォトアルバム等を利用することが可能となる。

笑顔の画像のみを保存する場合、画像保存部４０５は、第１の顔画像について笑顔判定を行う。笑顔判定は、笑顔判定ソフトウェア等を用いて判定することが可能である。笑顔判定は、例えば、認証用画像の口角と第１の顔画像に分類された顔画像の口角の位置の変異に基づいて定められる。また、画像保存部４０５は、目尻の下がり方に基づいて笑顔であるか否かを判断してもよい。画像保存部４０５は、第１の顔画像に分類された顔画像の一部あるいは全部の表情が笑顔であると判定された場合にのみ撮影画像を保存する。

＜ハードウェアの構成例＞
次に、ハードウェアの構成例について述べる。
図４は、画像処理システム４００を実現するためのサーバ１００、監視カメラ２００、ネットワーク３００を例示する図である。サーバ１００は、バス１０２０、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、及びネットワークインタフェース１１２０を有する。バス１０２０は、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、及びネットワークインタフェース１１２０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０４０などを互いに接続する方法は、バス接続に限定されない。プロセッサ１０４０は、CPU(Central Processing Unit)、GPU（Graphics Processing Unit）、又はFPGA（Field-Programmable Gate Array）などの種々のプロセッサである。メモリ１０６０は、RAM（Random Access Memory）などを用いて実現される主記憶装置である。ストレージデバイス１０８０は、ハードディスク、SSD（Solid State Drive）、メモリカード、又は ROM（Read Only Memory）などを用いて実現される補助記憶装置である。

ネットワークインタフェース１１２０は、サーバ１００をネットワーク３００に接続するためのインタフェースである。このネットワークは、例えば LAN（Local Area Network）や WAN（Wide Area Network）である。ネットワークインタフェース１１２０がネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。

さらに、ネットワーク３００には、監視カメラ２００が接続されている。サーバ１００と監視カメラ２００とは、ネットワーク３００を介してデータを通信できるようになっている。

ストレージデバイス１０８０は、サーバ１００の各手段を実現するプログラムモジュールを記憶している。プロセッサ１０４０は、これら各プログラムモジュールをメモリ１０６０に読み出して実行することで、各プログラムモジュールに対応する機能を実現する。

なお、画像処理システム４００の一部の機能は、監視カメラ２００側で実行されていてもよい。すなわち、監視カメラ２００の内部にプロセッサやストレージデバイス、メモリが格納されており、画像処理システム４００の各手段の処理の全部、あるいは一部をこれらのコンポーネントを用いて実行するようになっていてもよい。

上述の実施の形態における各種の処理は、ハードウェアでもソフトウェアでも実現できる。例えば、任意の処理を、ＣＰＵ（Central Processing Unit）にコンピュータプログラムを実行させることにより実現することも可能である。

プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）
監視カメラによって撮影された撮影画像を取得する、撮影画像取得手段と、
ユーザーの顔認証に用いられる認証用画像を取得する、認証画像取得手段と、
前記撮影画像から顔画像を検出する、顔検出手段と、
前記撮影画像から複数の顔画像が検出された場合に、前記顔画像を、前記ユーザーの前記認証用画像と類似する第１の顔画像と、前記第１の顔画像以外の第２の顔画像とに分類する、画像分類手段と、
前記第１の顔画像を含む前記撮影画像を一時的に保存する、画像保存手段と、
前記画像保存手段が一時的に保存した前記撮影画像について、前記第２の顔画像の少なくとも一部を認識度が低下するように加工する、画像加工手段と、を備える画像処理システム。

（付記２）
前記画像分類手段は、複数の前記ユーザーをグループ化したユーザーグループについて、前記ユーザーグループに含まれるユーザーの前記認証用画像と類似する顔画像を、前記第１の顔画像に分類する、付記１に記載の画像処理システム。

（付記３）
前記画像保存手段は、前記第１の顔画像の少なくとも１つの表情が笑顔である前記撮影画像を一時的に保存する、付記２に記載の画像処理システム。

（付記４）
前記第１の顔画像に分類された顔画像の数が前記ユーザーグループに含まれるユーザーの数と一致するか否かを判定する、グループ画像判定手段をさらに備える、付記２または３に記載の画像処理システム。

（付記５）
前記認証画像取得手段は、前記ユーザーが前記監視カメラの設置された施設に前記認証用画像を用いて入場した場合に、当該認証用画像を前記認証画像取得手段の取得対象に含める、付記１から４のいずれか１項に記載の画像処理システム。

（付記６）
前記画像加工手段は、前記第２の顔画像の少なくとも一部の画像領域に対してぼかし処理を行う、付記１から５のいずれか１項に記載の画像処理システム。

（付記７）
前記画像加工手段は、前記撮影画像から前記第１の顔画像に対応する前記ユーザーの画像領域の切り取りを行い、前記監視カメラが撮影した背景画像と合成する処理を行う、付記１から６のいずれか１項に記載の画像処理システム。

（付記８）
監視カメラによって撮影された撮影画像を取得するステップと、
ユーザーの顔認証に用いられる認証用画像を取得するステップと、
前記撮影画像から顔画像を検出するステップと、
前記撮影画像から複数の顔画像が検出された場合に、前記顔画像を、前記ユーザーの前記認証用画像と類似する第１の顔画像と、前記第１の顔画像以外の第２の顔画像とに分類する画像分類ステップと、
前記第１の顔画像を含む前記撮影画像を一時的に保存する、画像保存ステップと、
前記画像保存ステップにおいて一時的に保存された前記撮影画像について、前記第２の顔画像の少なくとも一部を認識度が低下するように加工する、画像加工ステップと、を備える画像処理方法。

（付記９）
前記画像分類ステップにおいて、複数の前記ユーザーをグループ化したユーザーグループについて、前記ユーザーグループに含まれるユーザーの前記認証用画像と類似する顔画像を、前記第１の顔画像に分類する、付記８に記載の画像処理方法。

（付記１０）
前記第１の顔画像の少なくとも１つの表情が笑顔である前記撮影画像を一時的に保存する、付記９に記載の画像処理方法。

（付記１１）
前記第１の顔画像に分類された顔画像の数が前記ユーザーグループに含まれるユーザーの数と一致するか否かを判定する、付記９または１０に記載の画像処理方法。

（付記１２）
前記認証画像を取得するステップにおいて、前記ユーザーが前記監視カメラの設置された施設に前記認証用画像を用いて入場した場合に、当該認証用画像を前記認証画像取得手段の取得対象に含める、付記８から１１のいずれか１項に記載の画像処理方法。

（付記１３）
前記画像加工ステップにおいて、前記第２の顔画像の少なくとも一部の画像領域に対してぼかし処理を行う、付記８から１２のいずれか１項に記載の画像処理方法。

（付記１４）
前記画像加工ステップにおいて、前記撮影画像から前記第１の顔画像に対応する前記ユーザーの画像領域の切り取りを行い、前記監視カメラが撮影した背景画像と合成する処理を行う、付記８から１３のいずれか１項に記載の画像処理方法。

（付記１５）
監視カメラによって撮影された撮影画像を取得するステップと、
ユーザーの顔認証に用いられる認証用画像を取得するステップと、
前記撮影画像から顔画像を検出するステップと、
前記撮影画像から複数の顔画像が検出された場合に、前記ユーザーの前記認証用画像と類似する第１の顔画像と、前記第１の顔画像以外の第２の顔画像とに分類する画像分類ステップと、
前記第１の顔画像を含む前記撮影画像を一時的に保存する、画像保存ステップと、
前記画像保存ステップにおいて一時的に保存された前記撮影画像について、前記第２の顔画像の少なくとも一部を認識度が低下するように加工する、画像加工ステップと、をコンピュータに実行させる画像処理プログラム。

１００ サーバ
４０１ 撮影画像取得部
４０２ 認証画像取得部
４０３ 顔検出部
４０４ 画像分類部
４０５ 画像保存部
４０６ 画像加工部
２００、２００Ａ、２００Ｂ、２００Ｃ 監視カメラ
３００ ネットワーク
４００ 画像処理システム
５００ ユーザー端末

Claims (9)

1. 施設に設置された監視カメラによって撮影された撮影画像を取得する、撮影画像取得手段と、
   前記施設の入退場システムと通信し、認証用画像による顔認証で入場したユーザーに関する情報を取得する手段と、
   前記ユーザーの前記顔認証に用いられる前記認証用画像を取得する、認証画像取得手段と、
   前記撮影画像から顔画像を検出する、顔検出手段と、
   前記撮影画像から複数の顔画像が検出された場合に、前記顔画像を、前記ユーザーの前記認証用画像と類似する第１の顔画像と、前記第１の顔画像以外の第２の顔画像とに分類する、画像分類手段と、
   前記第１の顔画像を含む前記撮影画像を一時的に保存する、画像保存手段と、
   前記画像保存手段が一時的に保存した前記撮影画像について、前記第２の顔画像の少なくとも一部を認識度が低下するように加工する、画像加工手段と、を備える画像処理システム。
2. 前記画像分類手段は、複数の前記ユーザーをグループ化したユーザーグループについて、前記ユーザーグループに含まれるユーザーの前記認証用画像と類似する顔画像を、前記第１の顔画像に分類する、請求項１に記載の画像処理システム。
3. 前記画像保存手段は、前記第１の顔画像の少なくとも１つの表情が笑顔である前記撮影画像を一時的に保存する、請求項２に記載の画像処理システム。
4. 前記第１の顔画像に分類された顔画像の数が前記ユーザーグループに含まれるユーザーの数と一致するか否かを判定する、グループ画像判定手段をさらに備える、請求項２または３に記載の画像処理システム。
5. 前記画像加工手段は、前記第２の顔画像の少なくとも一部の画像領域に対してぼかし処理を行う、請求項１から４のいずれか１項に記載の画像処理システム。
6. 前記画像加工手段は、前記撮影画像から前記第１の顔画像に対応する前記ユーザーの画像領域の切り取りを行い、前記監視カメラが撮影した背景画像と合成する処理を行う、請求項１から５のいずれか１項に記載の画像処理システム。
7. コンピュータが、
   施設に設置された監視カメラによって撮影された撮影画像を取得するステップと、
   前記施設の入退場システムと通信し、認証用画像による顔認証で入場したユーザーに関する情報を取得するステップと、
   前記ユーザーの前記顔認証に用いられる前記認証用画像を取得するステップと、
   前記撮影画像から顔画像を検出するステップと、
   前記撮影画像から複数の顔画像が検出された場合に、前記顔画像を、前記ユーザーの前記認証用画像と類似する第１の顔画像と、前記第１の顔画像以外の第２の顔画像とに分類する画像分類ステップと、
   前記第１の顔画像を含む前記撮影画像を一時的に保存する、画像保存ステップと、
   前記画像保存ステップにおいて一時的に保存された前記撮影画像について、前記第２の顔画像の少なくとも一部を認識度が低下するように加工する、画像加工ステップと、を備える画像処理方法。
8. 前記画像分類ステップにおいて、複数の前記ユーザーをグループ化したユーザーグループについて、前記ユーザーグループに含まれるユーザーの前記認証用画像と類似する顔画像を、前記第１の顔画像に分類する、請求項７に記載の画像処理方法。
9. 施設に設置された監視カメラによって撮影された撮影画像を取得するステップと、
   前記施設の入退場システムと通信し、認証用画像による顔認証で入場したユーザーに関する情報を取得するステップと、
   前記ユーザーの前記顔認証に用いられる前記認証用画像を取得するステップと、
   前記撮影画像から顔画像を検出するステップと、
   前記撮影画像から複数の顔画像が検出された場合に、前記ユーザーの前記認証用画像と類似する第１の顔画像と、前記第１の顔画像以外の第２の顔画像とに分類する画像分類ステップと、
   前記第１の顔画像を含む前記撮影画像を一時的に保存する、画像保存ステップと、
   前記画像保存ステップにおいて一時的に保存された前記撮影画像について、前記第２の顔画像の少なくとも一部を認識度が低下するように加工する、画像加工ステップと、をコンピュータに実行させる画像処理プログラム。

Images