JP6958795B1 - 情報処理方法、コンピュータプログラム及び情報処理装置 - Google Patents

Abstract

【課題】施設の利用者を撮影した画像を、画像以外の情報と共に提供する情報処理方法、コンピュータプログラム及び情報処理装置を提供する。【解決手段】本実施の形態に係る情報処理方法は、情報処理装置が、対象に関する表情の選択を受け付け、前記対象が利用する施設に設置されたカメラが撮影した画像から、選択された表情に応じて抽出された画像を表示し、前記施設で実施されたイベントと前記対象の表情との対応付けを表示する。また情報処理方法は、表情に対応付けられた文字又は画像を選択候補として複数表示し、前記選択候補に対する選択を受け付けて、前記対象に関する表情の選択を受け付けてもよい。【選択図】図６

Description

本発明は、カメラが撮影した画像の表示に係る処理を行う情報処理方法、コンピュータプログラム及び情報処理装置に関する。

保育園、幼稚園又は小学校等の施設に通う園児又は生徒等の保護者は、これらの施設において自身の子供がどのように過ごしているかを詳しく知りたいと考えている。例えば、これらの施設に従事する保育士又は先生等が園児又は生徒等の様子を撮影し、撮影した写真を施設の掲示板等に貼り出す又は写真を整理してアルバム等を作成して保護者に渡す等を行うことによって、保護者は施設内での子供の様子を知ることができるが、保育士又は先生等の負担が増す。

特許文献１においては、専門のカメラマンを幼稚園又は学校等に派遣して園児又は生徒等の写真を撮影し、ウエブサイトに写真を掲示して写真アルバムの申し込みをユーザから受け付け、ウエブサイトを介して写真アルバムを配信する写真アルバム作成システムが提案されている。

特開２００８−２１１９１号公報

施設にて撮影される写真は、園児又は生徒等の日常生活の一瞬を切り取ったものであり、一日全体における子供の様子を知ることは難しい。特許文献１に記載の写真アルバム作成システムについても同様である。また特許文献１に記載の写真アルバム作成システムは、専門のカメラマンを施設へ派遣する必要があるため、頻繁に利用することは容易ではない。例えば入園式、入学式、運動会、卒園式又は卒業式等の特別なイベントについて専門のカメラマンに撮影を依頼することはできても、日常生活について専門のカメラマンに撮影を依頼することは難しい。

本発明は、斯かる事情に鑑みてなされたものであって、その目的とするところは、施設の利用者を日常的に撮影した画像を提供することが期待できる情報処理方法、コンピュータプログラム及び情報処理装置を提供することにある。

一実施形態に係る情報処理方法は、情報処理装置が、対象に関する表情の選択を受け付け、前記対象が利用する施設に設置されたカメラが撮影した画像から、選択された表情に応じて抽出された画像を表示し、前記施設で実施されたイベントと前記対象の表情との対応付けを表示する。

一実施形態による場合は、施設の利用者を日常的に撮影した画像を提供することが期待できる。

本実施の形態に係る情報処理システムの概要を説明するための模式図である。 本実施の形態に係るサーバ装置の構成を示すブロック図である。 ユーザＤＢの一構成例を示す模式図である。 情報集計処理部が生成する集計情報の一例を示す模式図である。 本実施の形態に係る端末装置の構成を示すブロック図である。 本実施の形態に係る端末装置が表示するＵＩ画面の一例を示す模式図である。 本実施の形態に係るサーバ装置が行う画像記憶処理の手順を示すフローチャートである。 本実施の形態に係る端末装置が行う画像表示処理の手順を示すフローチャートである。 本実施の形態に係るサーバ装置３が行う画像表示処理の手順を示すフローチャートである。

本発明の実施形態に係る情報処理システムの具体例を、以下に図面を参照しつつ説明する。なお、本発明はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

＜システム概要＞
図１は、本実施の形態に係る情報処理システムの概要を説明するための模式図である。本実施の形態に係る情報処理システムは、施設１００に設置された一又は複数のカメラ１が撮影した画像（静止画像又は動画像）をサーバ装置３へ送信し、カメラ１から受信した画像をサーバ装置３がユーザの端末装置５へ送信するシステムである。

なおカメラ１は、例えばカメラを有するスマートフォン又はタブレット型端末装置等の装置であってもよい。またカメラ１は、撮影方向又は画角等が可変の装置であってよく、例えば所定の被写体を自動追跡して撮影を行うカメラであってもよい。またカメラ１は、例えば３６０°の範囲を撮影可能なカメラであってもよい。またカメラ１は、例えばドローン等の移動体に搭載されるカメラであってよく、施設１００に設定されたカメラ１には、このような移動体に搭載されたカメラにて施設１００の内外の撮影を行う装置が含まれ得る。また施設１００には、上記のような種々の構成のカメラ１が複数設置されてよい。

図示の例では、施設１００として保育園又は幼稚園等が示されている。保育園又は幼稚園等の施設１００に設置されたカメラ１は、例えば所定の周期で繰り返し自動的に施設１００内の撮影、施設１００を利用する利用者（本例では子供）の撮影を行っている。カメラ１は携帯電話通信網及びインターネット等のネットワークを介した通信を行う機能を備えており、カメラ１は撮影した画像をサーバ装置３へ送信する。

サーバ装置３は、ネットワークを介してカメラ１から画像を受信し、受信した画像を記憶装置に記憶して蓄積する。またサーバ装置３は、ユーザが使用するスマートフォン又はＰＣ（パーソナルコンピュータ）等の端末装置５へ、蓄積した画像を送信する。なお本実施の形態において端末装置５には、施設を利用する子供の保護者等が使用する端末装置５と、施設に従事する保育士等の従業者が使用する端末装置５とが含まれ得る。これにより例えば保育園又は幼稚園等の施設１００に子供を預けている保護者は、施設１００で過ごす子供の様子をカメラ１にて撮影した画像を自身の端末装置５にて閲覧することができる。また例えば施設１００の保育士等は、子供の写真を撮影するという業務を行うことなく、施設１００で過ごす子供の様子をカメラ１にて撮影した画像を端末装置５にて取得することができ、例えばフォトアルバムの作成又は施設１００内での写真の掲示等を行うことができる。

本実施の形態に係る情報処理システムでは、カメラ１が撮影した画像に対してサーバ装置３が例えば人を検出する処理、検出した人を識別する処理、並びに、識別した人の表情（感情）及び行動を識別する処理等を行う。サーバ装置３は、これらの処理結果を付随情報として画像に付して記憶する。なおサーバ装置３は、これらの処理結果に基づいて各画像の採点（スコアリング）を行い、スコアが閾値を超えた画像のみを記憶し、スコアが閾値を超えない画像を破棄してもよい。サーバ装置３は、端末装置５から画像の表示要求及び表示する画像の条件等を受け付け、記憶して蓄積した多数の画像の中から要求に応じた画像を抽出して端末装置５へ送信し、端末装置５に抽出した画像を表示させる。

また本実施の形態に係る情報処理システムでは、施設にて行われるイベント（カリキュラム）についてのスケジュール情報を施設１００の従業者が端末装置５にて作成し、このスケジュール情報をサーバ装置３が取得して記憶する。サーバ装置３は、上述の種々の処理の結果に基づいて、例えば施設１００にて行われるイベント毎、且つ、施設１００の利用者（子供）毎に、イベントにおける利用者の表情及び行動等を集計し、集計した情報をスケジュール情報と対応付けて記憶する。

また本実施の形態に係る情報処理システムでは、施設１００の従業者等が、カメラ１の撮影場所又は設置場所等の情報を端末装置５にて予め作成して登録しておくことが可能であってもよい。例えば施設１００が保育園又は幼稚園等である場合に、カメラ１の撮影場所として砂場、園庭、プール、遊具、さくら組の教室又はチューリップ組の教室等のような情報が従業者等により登録され得る。登録されたこれらの情報は例えばカメラ１が記憶し、カメラ１は撮影した画像に登録された情報を付してサーバ装置３へ送信する。又は、登録されたこれらの情報は例えばカメラ１のＩＤ等に対応付けてサーバ装置３が記憶し、カメラ１から取得した画像にこれらの情報を付してもよい。画像に付されたこれらの情報は、例えばサーバ装置３による画像のスコアリングに用いられてもよく、また例えば表示する画像の条件等としてユーザにより指定され、ユーザからの条件に応じてサーバ装置３が画像を抽出する際に用いられてもよい。

本実施の形態に係る情報処理システムでは、ユーザは自身の端末装置５を使用してサーバ装置３との通信を行い、サーバ装置３に記憶して蓄積された画像を取得して端末装置５に表示させることができる。このときに端末装置５は、サーバ装置３から取得して表示する画像の条件等をユーザから受け付け、条件を指定してサーバ装置３に画像の送信を要求する。サーバ装置３は、端末装置５からの要求において指定された条件を満たす画像を抽出し、要求元の端末装置５へ送信する。端末装置５は、サーバ装置３から送信された画像を受信して、表示部に表示する。本実施の形態においては、画像に写されている人（子供）の表情又は行動等をユーザが条件として指定することができ、サーバ装置３は画像に付随情報として付された表情又は行動等の識別結果に基づいて指定された条件の画像を抽出する。

また本実施の形態に係る情報処理システムでは、施設にて行われるイベントのスケジュール情報とこれに対応付けられた表情及び行動等の集計情報とをサーバ装置３から端末装置５が取得し、取得したスケジュール情報及び集計情報を表示する。端末装置５は、例えば１日のイベントのスケジュールを一覧表示し、各イベントにおいて対象の利用者（子供）がどのような表情又は行動等をしていたかを文字又は画像等で表示する。

また本実施の形態に係る情報処理システムでは、端末装置５のユーザの種別（例えば保護者又は保育士等）に応じて、端末装置５に表示することが可能な画像及び情報等に差異を設けてある。即ち、施設の利用者（子供）又はその保護者等が使用する端末装置５は、この利用者が写された画像が表示され、この利用者の表情又は行動等の識別結果が表示されるが、他の利用者（のみ）が写された画像及び他の利用者の表情又は行動等の識別結果は表示されない。これに対して施設に従事する従業者が使用する端末装置５には、この施設を利用する全ての利用者（子供）の画像と表情又は行動等の識別結果とを表示することができる。

また本実施の形態に係る情報処理システムでは、端末装置５に表示された画像（サーバ装置３が記憶している画像）に対してユーザがコメント等の情報を付すことができる。端末装置５はユーザからコメント等の入力を受け付けてサーバ装置３へ送信し、サーバ装置３はコメント等の情報を画像に対応付けて記憶する。この画像を端末装置５へ送信する際にサーバ装置３は、画像に対応付けられたコメント等の情報を付して画像を端末装置５へ送信する。端末装置５は、サーバ装置３から受信した画像にコメント等の情報が付されている場合、画像と共にコメント等の情報を表示する。これにより、例えば施設の利用者（子供）の保護者と施設の従事者との間でコメント等の情報交換を行うことができる。

なお本例では保育園又は幼稚園等の施設１００にて子供の撮影を行う場合について説明したが、本実施の形態に係る情報処理システムの適用は保育園又は幼稚園等の施設１００に限られない。施設１００は、例えば遊園地又はテーマパーク等の商業施設であってもよく、また例えばスポーツ又はイベント等が開催される会場等の施設であってもよく、また例えば利用者の自宅であってもよい。またカメラ１による撮影対象は、人でなくてもよく、例えば動物園の動物又は自宅のペット等であってもよい。

＜装置構成＞
図２は、本実施の形態に係るサーバ装置３の構成を示すブロック図である。本実施の形態に係るサーバ装置３は、処理部３１、記憶部（ストレージ）３２及び通信部（トランシーバ）３３等を備えて構成されている。なお本実施の形態においては、１つのサーバ装置にて処理が行われるものとして説明を行うが、複数のサーバ装置が分散して処理を行ってもよい。

処理部３１は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）又はＧＰＵ（Graphics Processing Unit）等の演算処理装置、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等を用いて構成されている。処理部３１は、記憶部３２に記憶されたサーバプログラム３２ａを読み出して実行することにより、カメラ１が撮影した画像を取得する処理、画像に写されている人、人の表情及び行動等を識別する処理、画像を選別して記憶する処理、施設１００の従業者が作成したスケジュール情報を取得して記憶する処理、並びに、端末装置５からの要求に応じて画像を抽出して送信する処理等の種々の処理を行う。

記憶部３２は、例えばハードディスク等の大容量の記憶装置を用いて構成されている。記憶部３２は、処理部３１が実行する各種のプログラム、及び、処理部３１の処理に必要な各種のデータを記憶する。本実施の形態において記憶部３２は、処理部３１が実行するサーバプログラム３２ａを記憶すると共に、カメラ１から受信した画像を記憶して蓄積する画像記憶部３２ｂと、ユーザに関する情報を記憶するユーザＤＢ（データベース）３２ｃとが設けられている。

本実施の形態においてサーバプログラム３２ａは、メモリカード又は光ディスク等の記録媒体９９に記録された態様で提供され、サーバ装置３は記録媒体９９からサーバプログラム３２ａを読み出して記憶部３２に記憶する。ただし、サーバプログラム３２ａは、例えばサーバ装置３の製造段階において記憶部３２に書き込まれてもよい。また例えばサーバプログラム３２ａは、遠隔の他のサーバ装置等が配信するものをサーバ装置３が通信にて取得してもよい。例えばサーバプログラム３２ａは、記録媒体９９に記録されたものを書込装置が読み出してサーバ装置３の記憶部３２に書き込んでもよい。サーバプログラム３２ａは、ネットワークを介した配信の態様で提供されてもよく、記録媒体９９に記録された態様で提供されてもよい。

画像記憶部３２ｂは、カメラ１から受信し、サーバ装置３にて選別された画像を記憶する。画像記憶部３２ｂは、例えばカメラ１が設置された施設１００のＩＤ、カメラ１が複数設置される場合には各カメラ１のＩＤ、及び、画像が撮影された日時等により複数の画像を分類して記憶する。また本実施の形態において画像記憶部３２ｂは、画像に写された人の識別結果、並びに、この人の表情又は行動等の識別結果等の情報を付随情報として画像に付して記憶する。

また本実施の形態において画像記憶部３２ｂは、施設の従事者等が端末装置５にて作成してサーバ装置３が取得したスケジュール情報を記憶する。スケジュール情報は、例えば日付の情報、その日に行われるイベントの名称等の情報、並びに、各イベントの時間帯（開始時刻及び終了時刻）の情報等の情報を含む。スケジュール情報は、例えば２０２０年１１月２５日の９時から１０時まで自由遊び、１０時から１２時までクラスタイム、１２時から１３時までおひるごはん、…というような情報である。更に本実施の形態において画像記憶部３２ｂは、各イベントにおける利用者（子供）の表情及び行動等の認識結果に関する情報を、スケジュール情報の各イベントに対応付けて記憶する。例えば１０：００から１１：００までの１時間のイベントにおいて、利用者Ａは最も笑顔が多く、利用者Ｂは最も怒りの表情が多く、利用者Ｃは最も悲しみの表情が多い等のような情報が、スケジュール情報の各イベントに対応付けて記憶される。

ユーザＤＢ３２ｃは、本実施の形態に係る情報処理システムが提供するサービスについて利用登録を行ったユーザに関する情報を記憶するデータベースである。図３は、ユーザＤＢ３２ｃの一構成例を示す模式図である。本実施の形態に係るサーバ装置３が有するユーザＤＢ３２ｃは、例えば「ユーザＩＤ」、「施設ＩＤ」及び「対象者」の情報を対応付けて記憶する。「ユーザＩＤ」は、本実施の形態に係る情報処理システムが提供するサービスを利用するユーザに対して一意に付された識別情報である。ユーザは、例えば保育園を利用する子供の保護者又は保育士等であり、本例ではユーザＩＤとして保護者Ａ、保護者Ｂ、保育士Ｘ、保育士Ｙ等のＩＤが付されている。「施設ＩＤ」は、施設１００に対して一意に付された識別情報である。本例では施設ＩＤとして保育園ａ等のＩＤが付されている。

「対象者」は、施設１００に設置されたカメラ１による撮影の対象となる利用者（子供）に関する情報であり、ユーザが画像を閲覧等することが可能な対象者に関する情報である。「対象者」の情報には、例えば「名前」及び「特徴量」等の情報が含まれ得る。「名前」は、対象者の本名又は愛称等であり、本例では「あおいちゃん」、「たくやくん」等の愛称が設定されている。「特徴量」は、例えば対象者の顔写真等から抽出された、対象者の顔の特徴を示すベクトル情報等である。この特徴量は、例えば画像に写された人が誰であるかを識別する処理に用いられる。なお本例では、施設１００の従業者である保育士Ｘ及び保育士Ｙについては、この施設１００の利用者の全員について画像の閲覧が可能であり、「対象者」として「全員」が設定されている。

なおサーバ装置３が有するユーザＤＢ３２ｃの構成は、図示のものに限らない。ユーザＤＢ３２ｃには、上記の情報以外にも、例えばユーザの名前、施設１００の名前、ユーザが使用する端末装置５に付された端末ＩＤ、ユーザの住所、電話番号もしくはメールアドレス等の連絡先、又は、サービスに対するログイン用のパスワード等の種々の情報が記憶され得る。

サーバ装置３の通信部３３は、携帯電話通信網、無線ＬＡＮ（Local Area Network）及びインターネット等を含むネットワークＮを介して、種々の装置との間で通信を行う。本実施の形態において通信部３３は、ネットワークＮを介して、カメラ１及び端末装置５との間で通信を行う。通信部３３は、処理部３１から与えられたデータを他の装置へ送信すると共に、他の装置から受信したデータを処理部３１へ与える。

なお記憶部３２は、サーバ装置３に接続された外部記憶装置であってよい。またサーバ装置３は、複数のコンピュータを含んで構成されるマルチコンピュータであってよく、ソフトウェアによって仮想的に構築された仮想マシンであってもよい。またサーバ装置３は、上記の構成に限定されず、例えば可搬型の記憶媒体に記憶された情報を読み取る読取部、操作入力を受け付ける入力部、又は、画像を表示する表示部等を含んでもよい。

また本実施の形態に係るサーバ装置３には、記憶部３２に記憶されたサーバプログラム３２ａを処理部３１が読み出して実行することにより、画像受信処理部３１ａ、画像識別処理部３１ｂ、情報集計処理部３１ｃ、画像選別部３１ｄ及び画像送信処理部３１ｅ等が、ソフトウェア的な機能部として処理部３１に実現される。なお本図においては、処理部３１の機能部として、カメラ１が撮影した画像に対する処理を行う機能部を図示し、これ以外の処理に関する機能部は図示を省略している。

画像受信処理部３１ａは、カメラ１が送信する画像を通信部３３にて受信する処理を行う。例えば画像受信処理部３１ａは、受信した画像に付されたデータに基づいて、画像の撮影日時、撮影したカメラ１のＩＤ及びカメラ１が設置された施設１００のＩＤ等に対応付けて、画像を分類して記憶部３２に一時的に記憶する。なお画像受信処理部３１ａによって記憶部３２に一時的に記憶された画像は、画像選別処理により選別がなされ、記憶部３２の画像記憶部３２ｂに記憶して蓄積されるか、又は、記憶部３２から消去される。

画像識別処理部３１ｂは、カメラ１から取得した画像に対して、画像に写された人を検出する処理、画像に写された人が誰であるかを識別する処理、画像に写された人の表情を識別する処理、及び、画像に写された人の行動を識別する処理等を行う。画像識別処理部３１ｂは、これらの処理結果に関する情報を画像にメタデータとして付す。なお本実施の形態においては、これらの処理をサーバ装置３が行うものとするが、これに限るものではなく、これらの処理の一部又は全部を予めカメラ１が行ってもよい。

画像識別処理部３１ｂは、例えば予め機械学習がなされた学習モデルを用いて、画像から人を検出する。学習モデルは、例えば画像のデータを入力として受け付けて、この画像に含まれる人が写された画像領域（を示す座標等のデータ）を出力するように予め機械学習がなされる。学習モデルは、例えば画像のデータと、この画像に含まれる人が写された画像領域を示すデータとが対応付けられた教師データを用いて機械学習がなされる。また保育園又は幼稚園等の施設１００にて撮影された画像を基に検出する対象の人を子供とする場合、子供が写された画像データを用いて教師データを作成することにより、子供の検出精度を高めることが期待できる。画像識別処理部３１ｂは、カメラ１から取得した画像を学習モデルへ入力し、学習モデルが出力する人の検出結果を取得することで、画像に写された人を検出する処理を行う。なお画像識別処理部３１ｂは、画像から人が検出されなかった場合、即ち画像に人が写されていない場合、この画像を除去して後続の処理の対象から外す。

画像識別処理部３１ｂは、例えば画像に写された人の顔の特徴量に基づいて、画像に写された人が誰であるかを識別する処理を行う。画像識別処理部３１ｂは、例えば画像に写された人の顔の特徴量を抽出し、ユーザＤＢ３２ｃに登録された対象者の特徴量との比較を行う。画像識別処理部３１ｂは、カメラ１の画像に写された人の顔の特徴量と一致する又は類似する特徴量がユーザＤＢ３２ｃに登録されている対象者（子供）を検索し、該当する対象者をこの画像に写された人と判断する。画像識別処理部３１ｂは、例えば画像を入力として受け付けて、この画像に写された人の顔の特徴量として多次元のベクトル情報を出力する学習モデルを用いて、カメラ１が撮影した画像に写された人の顔の特徴量の抽出を行う。ユーザＤＢ３２ｃに顔の特徴量を登録する際にも、同じ学習モデルを用いることができる。画像識別処理部３１ｂは、例えば２つの特徴量に対応する２つのベクトルの距離等を算出し、この距離が閾値以下であり、且つ、距離が最も小さいものを、顔の特徴が一致する又は類似すると判断することができる。

画像識別処理部３１ｂは、例えば予め機械学習がなされた学習モデルを用いて、画像に写された人の表情を識別する処理を行う。例えば学習モデルは、人が写された画像を入力として受け付けて、この画像に写された人の表情が所定の表情である確信度を出力するように予め機械学習がなされる。所定の表情は例えば笑顔、怒り又は悲しみ等である。画像識別処理部３１ｂは、例えば１種類の表情について確信度を出力する学習モデルを複数用意して複数種類の表情の識別を行ってもよく、また例えば複数種類の表情について確信度をそれぞれ出力する１つの学習モデルを用意して識別を行ってもよい。学習モデルは、例えば画像のデータと、この画像に写された人の顔の表情が所定の表情であるか否かを示すラベル（所定の表情であればラベル１、所定の表情以外であればラベル０など）とを対応付けた教師データを用いて機械学習がなされる。本実施の形態において画像識別処理部３１ｂは、カメラ１が撮影した画像を学習モデルへ入力し、学習モデルが出力する各表情の確信度を取得し、確信度が最も高い表情を画像に写された人の表情と判断する。なお最も高い確信度が閾値を超えない場合には、画像識別処理部３１ｂは、画像に写された人の表情が、学習モデルにて識別できるいずれの表情でもないと判断してよい。

画像識別処理部３１ｂは、例えば予め機械学習がなされた学習モデルを用いて、画像に写された人が行っている行動を識別する処理を行う。学習モデルは、例えば画像のデータを入力として受け付け、この画像に写された人の行動が所定の行動である確信度を出力するように予め機械学習がなされる。本実施の形態においては、所定の行動として例えば走っている確信度を出力する学習モデル、及び、食事をしている確信度を出力する学習モデル等のように、行動毎に学習モデルが予め作成される。学習モデルは、例えば画像のデータと、この画像に写された人が所定の行動を行っているか否かを示すラベルとを対応付けた教師データを用いて機械学習がなされる。本実施の形態において画像識別処理部３１ｂは、カメラ１が撮影した画像を各学習モデルへ入力し、学習モデルが出力する各行動の確信度を取得する。画像識別処理部３１ｂは、複数の行動に関する確信度を比較し、最も確信度が高い行動を、画像に写された人が行っている行動と判定する。なお最も高い確信度が閾値を超えない場合には、画像識別処理部３１ｂは、画像に写された人の行動が、学習モデルにて識別できるいずれの行動でもないと判断してよい。

情報集計処理部３１ｃは、画像識別処理部３１ｂによる識別結果の情報を集計する処理を行う。情報集計処理部３１ｃは、施設１００の従業者が予め作成したスケジュール情報を記憶部３２から読み出し、スケジュール情報に含まれるイベント毎に、施設１００の各利用者（子供）について、例えばいずれの表情をしている時間が最も長かったか、いずれの行動をしている時間が最も長かったか等を集計する。情報集計処理部３１ｃは、これらの集計結果を集計情報としてスケジュール情報の各イベントに対応付けて記憶部３２に記憶する。

図４は、情報集計処理部が生成する集計情報の一例を示す模式図である。本図には利用者の表情について画像から認識された回数の集計結果が示されているが、これに限るものではなく、例えば利用者の行動について集計が行われてもよく、また例えば表情の回数ではなく時間について集計が行われてもよい。情報集計処理部３１ｃが生成する集計情報は、例えば「年月日」、「イベント」、「対象者」及び「表情の回数」等の情報が対応付けて記憶された情報である。

「年月日」は、カメラ１により画像が撮影された年月日である。「イベント」は、「年月日」に対して設定されたイベントの情報をスケジュール情報から抽出したものであり、例えば保育園又は幼稚園等の施設１００であれば「登園」及び「自由あそび」等のイベントが設定され得る。「対象者」は、カメラ１により撮影された画像に写された人として識別された人であり、ユーザＤＢ３２ｃに記憶された「対象者」の「名前」が設定され得る。本例では、「あおいちゃん」及び「たくやくん」の名前が「対象者」として設定されている。「表情の回数」は、カメラ１が撮影した画像から識別された各利用者の表情の回数であり、本例では「えがお」、「かなしい」及び「おこる」の３種類について表情の識別が行われるものとしている。

本例の集計情報によれば、「２０２０年１１月２５日」の「登園」のイベントにおいて、「あおいちゃん」は「えがお」が８回且つ「かなしい」が１回であり、「たくやくん」は「えがお」が２回且つ「おこる」が４回であることが集計されている。また同日の「自由あそび」のイベントにおいて、「あおいちゃん」は「えがお」が７回且つ「おこる」が１回であり、「たくやくん」は「えがお」が６回且つ「かなしい」が２回であることが集計されている。

画像選別部３１ｄは、画像識別処理部３１ｂによる識別結果に基づいて、カメラ１から取得した画像の中から、画像記憶部３２ｂに記憶して蓄積する画像を選別する処理を行う。画像選別部３１ｄは、例えばスケジュールの各イベントについて、１人の利用者について所定数の画像を選別する。このときに画像選別部３１ｄは、例えば表情を識別する際に学習モデルが出力した確信度が高い画像を上位から所定数だけ選別することができる。また例えば画像選別部３１ｄは、５分又は１０分等の間隔で確信度が最も高い画像を選別してもよい。画像選別部３１ｄによる画像選別の方法は、上記の方法に限らず、どのような方法が採用されてもよい。

画像送信処理部３１ｅは、画像記憶部３２ｂに記憶した画像をユーザの端末装置５へ送信する処理を行う。画像送信処理部３１ｅは、端末装置５から画像の送信要求と共に与えられる条件を取得し、取得した条件を満たす画像を画像記憶部３２ｂに記憶された複数の画像の中から抽出して、要求元の端末装置５へ送信する。端末装置５から与えられる条件は、例えば「２０２０年１１月２５日のあおいちゃんの笑顔の画像」等である。画像送信処理部３１ｅは、画像識別処理部３１ｂが各画像に付したメタデータに基づいて、端末装置５からの条件を満たす画像を抽出する。

図５は、本実施の形態に係る端末装置５の構成を示すブロック図である。本実施の形態に係る端末装置５は、処理部５１、記憶部（ストレージ）５２、通信部（トランシーバ）５３、表示部（ディスプレイ）５４及び操作部５５等を備えて構成されている。端末装置５は、施設１００の利用者、利用者を見守る保護者、又は、施設１００の従事者等のユーザが使用する装置であり、例えばスマートフォン、タブレット型端末装置又はパーソナルコンピュータ等の情報処理装置を用いて構成され得る。

処理部５１は、ＣＰＵ又はＭＰＵ等の演算処理装置、ＲＯＭ及び等を用いて構成されている。処理部５１は、記憶部５２に記憶されたプログラム５２ａを読み出して実行することにより、表示する画像の条件の入力を受け付ける処理、及び、サーバ装置３から取得した画像を表示する処理等の種々の処理を行う。

記憶部５２は、例えばフラッシュメモリ等の不揮発性のメモリ素子を用いて構成されている。記憶部５２は、処理部５１が実行する各種のプログラム、及び、処理部５１の処理に必要な各種のデータを記憶する。本実施の形態において記憶部５２は、処理部５１が実行するプログラム５２ａを記憶している。本実施の形態においてプログラム５２ａは遠隔のサーバ装置等により配信され、これを端末装置５が通信にて取得し、記憶部５２に記憶する。ただしプログラム５２ａは、例えば端末装置５の製造段階において記憶部５２に書き込まれてもよい。例えばプログラム５２ａは、メモリカード又は光ディスク等の記録媒体９８に記録されたプログラム５２ａを端末装置５が読み出して記憶部５２に記憶してもよい。例えばプログラム５２ａは、記録媒体９８に記録されたものを書込装置が読み出して端末装置５の記憶部５２に書き込んでもよい。プログラム５２ａは、ネットワークを介した配信の態様で提供されてもよく、記録媒体９８に記録された態様で提供されてもよい。

通信部５３は、携帯電話通信網、無線ＬＡＮ及びインターネット等を含むネットワークＮを介して、種々の装置との間で通信を行う。本実施の形態において通信部５３は、ネットワークＮを介して、サーバ装置３との間で通信を行う。通信部５３は、処理部５１から与えられたデータを他の装置へ送信すると共に、他の装置から受信したデータを処理部５１へ与える。

表示部５４は、液晶ディスプレイ等を用いて構成されており、処理部５１の処理に基づいて種々の画像及び文字等を表示する。操作部５５は、ユーザの操作を受け付け、受け付けた操作を処理部５１へ通知する。例えば操作部５５は、機械式のボタン又は表示部５４の表面に設けられたタッチパネル等の入力デバイスによりユーザの操作を受け付ける。また例えば操作部５５は、マウス及びキーボード等の入力デバイスであってよく、これらの入力デバイスは端末装置５に対して取り外すことが可能な構成であってもよい。

また本実施の形態に係る端末装置５は、記憶部５２に記憶されたプログラム５２ａを処理部５１が読み出して実行することにより、表示処理部５１ａ及び条件取得部５１ｂ等がソフトウェア的な機能部として処理部５１に実現される。なおプログラム５２ａは、本実施の形態に係る情報処理システムに専用のプログラムであってもよく、インターネットブラウザ又はウェブブラウザ等の汎用のプログラムであってもよい。

表示処理部５１ａは、表示部５４に対して種々の文字又は画像等を表示する処理を行う。本実施の形態において表示処理部５１ａは、後述のＵＩ（User Interface）画面を表示部５４に表示すると共に、このＵＩ画面の所定領域にサーバ装置３から取得した画像を表示する。また本実施の形態に係る情報処理システムでは、施設１００の利用者又はその保護者が使用する端末装置５に表示するＵＩ画面と、施設１００の従業者が使用する端末装置５に表示するＵＩ画面とには差異が設けられており、表示処理部５１ａは端末装置５を使用しているユーザに応じたＵＩ画面の表示を行う。

条件取得部５１ｂは、表示処理部５１ａがＵＩ画面を表示部５４に表示している際に、操作部５５に対するユーザの操作に基づいて、ＵＩ画面に表示する一又は複数の画像に関する条件を取得する処理を行う。本実施の形態に係る情報処理システムでは、表示する画像に関する条件として、画像が撮影された日付、画像に写されている人の表情（笑顔、怒り及び悲しみ等）、画像に写されている利用者（子供）、並びに、スケジュールのイベント等を受け付ける。条件取得部５１ｂは、取得した条件を付した画像の送信要求をサーバ装置３へ与える。この要求に応じてサーバ装置３は条件に適合する画像を端末装置５へ送信し、この画像を受信した端末装置５の表示処理部５１ａが画像を表示する。

＜画像表示処理＞
図６は、本実施の形態に係る端末装置５が表示するＵＩ画面の一例を示す模式図である。なお図６に示すＵＩ画面は、施設１００の従業者が使用する端末装置５が表示するＵＩ画面である。本実施の形態に係る端末装置５が表示するＵＩ画面は、日付表示領域１０１、表情選択領域（第１の領域）１０２、対象者選択領域１０３、主画像表示領域（第３の領域）１０４、従画像表示領域（第２の領域）１０５及びスケジュール表示領域（第４の領域）１０６等を含んで構成されている。

日付表示領域１０１は、ＵＩ画面の上部に設けられており、本例では「２０２０年１１月２５日 wed.」のように年月日及び曜日が表示されている。本実施の形態に係る情報処理システムでは、本サービスを利用するためにユーザが端末装置５にてプログラム５２ａを起動した後、図示のＵＩ画面が表示される。このときにＵＩ画面の日付表示領域１０１には昨日の日付が表示され、ユーザは施設１００のカメラ１が昨日に撮影した画像を閲覧することができる。ユーザは、日付表示領域１０１に対するタッチ操作又はクリック操作等を行うことによって、日付を変更することができる。端末装置５は、日付表示領域１０１に対する操作を受け付けた場合に、例えばカレンダー等を表示して日付の選択を受け付ける。日付の選択を受け付けた端末装置５は、この日付の画像を送信する要求をサーバ装置３へ与え、要求に応じてサーバ装置３から送信される画像を受信して表示する。

表情選択領域１０２は、ＵＩ画面の左端に設けられており、例えば「かなしい」、「えがお」及び「おこる」等の表情を示す文字列が選択肢として上下に並べて表示されている。また端末装置５は、各選択肢について表情を示す文字列と共に、表情を示すアイコン（画像、図形、記号等）と、表情に対応する画像の数とを表示する。図示の例では、「かなしい」の画像が１つ、「えがお」の画像が８つ、「おこる」の画像が２つであることが示されており、「えがお」が選択されている。端末装置５は、表情選択領域１０２に表示されたいずれかの選択肢に対するタッチ操作又はクリック操作等を受け付けることにより、表情の選択を受け付ける。表情の選択を受け付けた端末装置５は、この表情の画像を送信する要求をサーバ装置３へ与え、要求に応じてサーバ装置３から送信される画像を受信して表示する。

対象者選択領域１０３は、ＵＩ画面の中央に設けられる後述の主画像表示領域１０４の上部に設けられ、いわゆるタブの態様で対象者の選択（切替）操作を受け付けるための領域である。図示の例では、「あおいちゃん」、「たくやくん」、「はなちゃん」及び「れんくん」等の選択可能な４人の対象者の名前が各タブに表示され、これらの中で「あおいちゃん」が選択されている。また端末装置５は、各タブについて対象者の名前を文字列として表示すると共に、この対象者に対応する画像の数を表示する。図示の例では、「あおいちゃん」の画像が４つ、「たくやくん」の画像が２つ、「はなちゃん」の画像が１つ、「れんくん」の画像が１つであることが示されている。端末装置５は、対象者選択領域１０３に設けられたいずれかのタブに対するタッチ操作又はクリック操作等を受け付けることにより、画像を表示する対象者の選択を受け付ける。対象者の選択を受け付けた端末装置５は、この対象者の画像を送信する要求をサーバ装置３へ与え、要求に応じてサーバ装置３から送信される画像を受信して表示する。

なお図示の例は、施設１００の従業者が使用する端末装置５が表示するＵＩ画面であるため、対象者選択領域１０３では施設１００を利用する全ての利用者（子供）を選択することができる。ただし、例えば施設１００が保育園等であり利用者のクラス分け等がなされている場合には、従業者は担当するクラスの利用者の全てについて選択することが可能であり、他のクラスの利用者については選択できなくてもよい。

また図示は省略するが、利用者（子供）の保護者等が使用する端末装置５が表示するＵＩ画面の対象者選択領域１０３には、保護者の子供のみが選択可能なタブとして設けられ、他の子供を選択することはできない。例えば施設１００利用する子供が１人であれば、対象者選択領域１０３に設けられるタブは１つであり、対象者を切り替えることができなくてよい。また例えば、兄弟姉妹等の複数の子供が施設１００を利用している場合、この子供達の保護者が使用する端末装置５が表示するＵＩ画面には、保護者の複数人の子供についてのタブが設けられ、対象者の切り替えが行われる。サーバ装置３又は端末装置５は、ＵＩ画面の対象者選択領域１０３にて選択可能な対象者が誰であるかを、ユーザＤＢ３２ｃの「対象者」の情報に基づいて判断することができる。

主画像表示領域１０４は、ＵＩ画面の中央に設けられており、後述の従画像表示領域１０５にて選択された１つの画像を表示する。また本実施の形態に係る情報処理システムが記憶及び表示する画像は、静止画像又は動画像のいずれであってもよく、静止画及び動画像が混在していてもよい。端末装置５は、主画像表示領域１０４に動画像を表示する場合、主画像表示領域１０４の下部に再生及び停止等の操作を受け付けるボタン、及び、再生時間を示すスライドバー等を表示する。図示の例は、主画像表示領域１０４に動画像を表示した状態である。静止画を主画像表示領域１０４に表示する場合には、これらのボタン及びスライドバー等は表示されなくてよい。

従画像表示領域１０５は、主画像表示領域１０４の右側に設けられており、ユーザにより選択された条件に合致する一又は複数の画像を上下方向に並べて一覧表示する領域である。一覧表示される各画像は、元の画像を縮小したもの、いわゆるサムネイルであってよく、サムネイル画像の作成はサーバ装置３又は端末装置５のいずれにより行われてもよい。図示の例では、従画像表示領域１０５に３つの画像が上下方向に並べて一覧表示されている。なおこれ以上の数の画像を従画像表示領域１０５に一覧表示する場合に端末装置５は、例えば従画像表示領域１０５の側部にスクロールバー等を表示し、従画像表示領域１０５に対するスクロール操作を受け付けて、従画像表示領域１０５に表示する画像をスクロールさせて切り替えてもよい。また従画像表示領域１０５に一覧表示される複数の画像の表示順は、例えば撮影時刻に応じて決定してもよく、また例えば表情の条件としてえがおが選択されている場合に笑顔の確信度に応じて決定されてもよく、これら以外の方法で決定されてもよい。端末装置５は、従画像表示領域１０５に一覧表示された一又は複数の画像に対するタッチ操作又はクリック操作等を受け付けることにより、ユーザによる画像の選択を受け付ける。端末装置５は、従画像表示領域１０５にて選択された画像を、主画像表示領域１０４に表示する。

スケジュール表示領域１０６は、ＵＩ画面の下部に設けられており、日付表示領域１０１に表示された日付において施設１００にて実施された（実施する予定だった）イベント（カリキュラム）のスケジュールを表示する。図示の例では、横軸を時間として帯グラフ状に複数のイベントを横方向に並べてスケジュールを示している。本例のスケジュールに示されているイベントは、８：００〜９：００が「登園」であり、９：００〜１０：００が「自由あそび」であり、１０：００〜１２：００がクラスタイムであり、１２：００〜１３：００が「お昼ごはん」であり、１３：００〜１４：００が「自由あそび」である。

また端末装置５は、スケジュール表示領域１０６の各イベントに対応付けて、「えがお」、「かなしい」及び「おこる」等の表情に対応するアイコンを表示する。この表情のアイコン表示は、対象者選択領域１０３にて選択された対象者についてサーバ装置３が集計した表情の情報に基づいて端末装置５が行うことができる。図示の例では、８：００〜９：００の「登園」について「かなしい」の表情のアイコンが表示され、９：００〜１０：００が「自由あそび」、１２：００〜１３：００が「お昼ごはん」、及び、１３：００〜１４：００が「自由あそび」について「えがお」の表情のアイコンが表示されている。なお１３：００〜１４：００が「自由あそび」については「えがお」の表情のアイコンが２つ表示されているが、これは例えば、このイベント時に撮影された画像から識別した笑顔の確信度が所定の閾値を超えて高い場合、又は、このイベントの時間中に笑顔でいた時間が所定の閾値を超えて長い場合等に、表示するアイコンの数を増すことで強調表示したものである。

またスケジュール表示領域１０６の左側部分には、「えがお」、「かなしい」及び「おこる」等の表情について画像の数が示されている。図示の例では、「えがお」の画像が４つ、「かなしい」の画像が１つ、「おこる」の画像が０であることが示されている。

また端末装置５は、スケジュール表示領域１０６に表示したスケジュールのイベントに対するタッチ操作又はクリック操作等を受け付けることにより、イベントの選択を受け付ける。イベントの選択を受け付けた端末装置５は、このイベントの画像を送信する要求をサーバ装置３へ与え、要求に応じてサーバ装置３から送信される画像を受信して表示する。

本実施の形態に係る情報処理システムでは、端末装置５が表示するＵＩ画面を利用してユーザが操作を行うことで、表示する画像の条件を設定することができる。例えばユーザは、日付表示領域１０１にて日付の条件を設定することができ、表情選択領域１０２にて表情の条件を設定することができ、対象者選択領域１０３にて対象者の条件を設定することができ、スケジュール表示領域１０６にてイベントの条件を設定することができる。ユーザはこれら複数の条件を全て設定する必要はなく、適宜に一又は複数の条件を設定すればよい。端末装置５は、これらの領域にて設定された条件を満たす画像の送信をサーバ装置３へ送信する。サーバ装置３は、端末装置５からの要求に応じて条件を満たす画像を画像記憶部３２ｂに記憶された画像の中から抽出し、抽出した画像を要求元の端末装置５へ送信する。端末装置５は、サーバ装置３から送信された画像を受信し、受信した一又は複数の画像をＵＩ画面の従画像表示領域１０５に一覧表示する。ユーザは従画像表示領域１０５に一覧表示された画像の中から１つの画像をタッチ操作又はクリック操作等により選択し、この選択に応じて端末装置５は、選択された画像を主画像表示領域１０４に表示する。

また図示は省略するが、本実施の形態に係る情報処理システムでは、主画像表示領域１０４又は従画像表示領域１０５に表示された画像に対してコメント等の情報を付すことができる。例えば主画像表示領域１０４に表示された画像に対して所定の操作（例えばダブルクリック等）がなされた場合、端末装置５は、コメント等の情報を入力する画面を表示して、文字又は画像等の入力を受け付ける。端末装置５は入力を受け付けたコメント等の情報をサーバ装置３へ送信し、サーバ装置３はこの情報を画像に対応付けて画像記憶部３２ｂに記憶する。

またサーバ装置３は、端末装置５からの要求に応じて画像を送信する際に、この画像に対応付けられたコメント等の情報が記憶されている場合、この情報を画像に付して端末装置５へ送信する。端末装置５は、コメント等の情報が付された画像を受信した場合、例えばこの画像を主画像表示領域１０４に表示する際に、コメント等の情報を画像に重畳して表示する、主画像表示領域１０４の上下左右等の所定の箇所にコメント等の情報を表示する、又は、コメント等の情報が付されている旨を示すアイコン等を画像に重畳して表示し、このアイコンに対するタッチ操作又はクリック操作等に応じてコメント等の情報を表示する等の種々の方法で、コメント等の情報を表示することができる。

図７は、本実施の形態に係るサーバ装置３が行う画像記憶処理の手順を示すフローチャートである。本実施の形態に係るサーバ装置３の処理部３１の画像受信処理部３１ａは、施設１００に設置されたカメラ１が送信する画像を受信したか否かを判定する（ステップＳ１）。画像を受信していない場合（Ｓ１：ＮＯ）、画像受信処理部３１ａは、カメラ１から画像を受信するまで待機する。

カメラ１から画像を受信した場合（Ｓ１：ＹＥＳ）、処理部３１の画像識別処理部３１ｂは、カメラ１が撮影した画像に写された人を検出する処理を行う（ステップＳ２）。この処理の結果に基づいて画像識別処理部３１ｂは、画像に人が写されているか否かを判定する（ステップＳ３）。画像に人が写されていない場合（Ｓ３：ＮＯ）、画像識別処理部３１ｂは、この画像を破棄して（ステップＳ１１）、ステップＳ１へ処理を戻す。

画像に人が写されている場合（Ｓ３：ＹＥＳ）、画像識別処理部３１ｂは、画像に写された人の特徴量を取得し、ユーザＤＢ３２ｃに記憶された特徴量に基づいて、画像に写された人が誰であるかを識別する処理を行う（ステップＳ４）。画像識別処理部３１ｂは、画像に写された人の表情を識別する処理を行う（ステップＳ５）。また画像識別処理部３１ｂは、画像に写された人の行動を識別する処理を行う（ステップＳ６）。次いで処理部３１の情報集計処理部３１ｃは、ステップＳ４にて識別した人について、画像が撮影された日のスケジュール情報の各イベントに対応付けて、ステップＳ５にて識別した表情及びステップＳ６にて識別した行動等の情報を集計する処理を行う（ステップＳ７）。情報集計処理部３１ｃは、ステップＳ７の集計処理の結果に基づき、スケジュール情報の各イベントに対応付けて、画像に写された人の表情及び行動等の集計結果を集計情報として記憶部３２に記憶する（ステップＳ８）。

処理部３１の画像選別部３１ｄは、例えばステップＳ５にて識別した表情及びステップＳ６にて識別した行動等の情報に基づいて画像のスコアリングを行い、スコアが閾値を超えるか否かを判定することによって、この画像を記憶するか否かを判定する（ステップＳ９）。画像を記憶すると判定した場合（Ｓ９：ＹＥＳ）、画像選別部３１ｄは、この画像を画像記憶部３２ｂに記憶して（ステップＳ１０）、ステップＳ１へ処理を戻す。画像を記憶しないと判定した場合（Ｓ９：ＮＯ）、画像選別部３１ｄは、この画像を破棄して（ステップＳ１１）、ステップＳ１へ処理を戻す。

なお本実施の形態においては、カメラ１が撮影した画像から人を検出する処理、画像に写された人が誰であるかを識別する処理、画像に写された人の表情を識別する処理、及び、画像に写された人に行動を識別する処理等をサーバ装置３が行うものとするが、これに限るものではない。これら複数の処理の一部又は全部はカメラ１にて行われてもよい。例えばカメラ１は、自身が撮影した画像から人を検出する処理を行い、人が写されていない画像をサーバ装置３へ送信せずに破棄してもよい。また例えばカメラ１は画像に写された人の表情の識別等の処理を行い、処理結果を画像に付してサーバ装置３へ送信してもよい。

図８は、本実施の形態に係る端末装置５が行う画像表示処理の手順を示すフローチャートである。本実施の形態に係る端末装置５は、本サービスを利用するためのアプリケーションプログラム等のプログラム５２ａが起動された場合、処理部５１の表示処理部５１ａが図６に示したＵＩ画面を表示する（ステップＳ２１）。なお起動直後のＵＩ画面は、例えば主画像表示領域１０４及び従画像表示領域１０５に画像が表示されていない状態であってよく、また例えば表情及び対象者等の条件について定められたデフォルトの条件に基づいて抽出された画像が表示されてもよい。デフォルトの条件に基づいて画像を表示する場合、端末装置５は、ＵＩ画像の表示に先立って、デフォルトの条件での画像送信をサーバ装置３に要求し、この要求に応じてサーバ装置３が送信する画像を取得して主画像表示領域１０４及び従画像表示領域１０５に表示する。

ＵＩ画面を表示した状態において、処理部５１の条件取得部５１ｂは、ＵＩ画面の対象者選択領域１０３にて画像表示の対象者の選択がなされたか否かを判定する（ステップＳ２２）。対象者の選択がなされていない場合（Ｓ２２：ＮＯ）、条件取得部５１ｂは、ＵＩ画面の表情選択領域１０２にて表情の選択がなされたか否かを判定する（ステップＳ２３）。表情の選択がなされていない場合（Ｓ２３：ＮＯ）、条件取得部５１ｂは、スケジュール表示領域１０６にてイベントの選択がなされたか否かを判定する（ステップＳ２４）。イベントの選択がなされていない場合（Ｓ２４：ＮＯ）、条件取得部５１ｂは、ステップＳ２８へ処理を進める。

ＵＩ画面において対象者の選択がなされた場合（Ｓ２２：ＹＥＳ）、表情の選択がなされた場合（Ｓ２３：ＹＥＳ）、又は、イベントの選択がなされた場合（Ｓ２４：ＹＥＳ）、条件取得部５１ｂは選択された条件を取得して、この条件に合致する画像の送信をサーバ装置３に要求する（Ｓ２５）。条件取得部５１ｂは、この要求に応じてサーバ装置３が送信する画像を受信する（ステップＳ２６）。表示処理部５１ａは、ステップＳ２６にて受信した一又は複数の画像を従画像表示領域１０５に一覧表示する（Ｓ２７）。

次いで条件取得部５１ｂは、従画像表示領域１０５に一覧表示された画像の中から、一の画像の選択がなされたか否かを判定する（ステップＳ２８）。画像の選択がなされていない場合（Ｓ２８：ＮＯ）、条件取得部５１ｂは、ステップＳ２１へ処理を戻し、ＵＩ画像の表示を継続する。画像の選択がなされた場合（Ｓ２８：ＹＥＳ）、表示処理部５１ａは、選択された一の画像を主画像表示領域１０４に表示して（ステップＳ２９）、ステップＳ２１へ処理を戻し、ＵＩ画像の表示を継続する。

図９は、本実施の形態に係るサーバ装置３が行う画像表示処理の手順を示すフローチャートである。本実施の形態に係るサーバ装置３の画像送信処理部３１ｅは、端末装置５から画像の送信要求が与えられたか否かを判定する（ステップＳ４１）。送信要求が与えられていない場合（Ｓ４１：ＮＯ）、画像送信処理部３１ｅは、送信要求が与えられるまで待機する。

端末装置５から画像の送信要求が与えられた場合（Ｓ４１：ＹＥＳ）、画像送信処理部３１ｅは、送信要求に付された画像の条件を取得する（ステップＳ４２）。画像送信処理部３１ｅは、画像記憶部３２ｂに記憶された複数の画像の中から、ステップＳ４２にて取得した条件にて設定された対象の年月日の画像を抽出する（ステップＳ４３）。

画像送信処理部３１ｅは、ステップＳ４３にて抽出した画像の中から、ステップＳ４２にて取得した条件にて設定された対象者の画像を抽出する（ステップＳ４４）。画像送信処理部３１ｅは、ステップＳ４４にて抽出した画像の中から、ステップＳ４２にて取得した条件にて設定された対象の表情の画像を抽出する（ステップＳ４５）。画像送信処理部３１ｅは、ステップＳ４５にて抽出した画像の中から、ステップＳ４２にて取得した条件にて設定された対象のイベントの画像を抽出する（ステップＳ４６）。

なお、ステップＳ４２にて取得する条件には、例えば対象の年月日、対象者、表情又はイベントの全てについて条件が設定されていなくてもよい。画像送信処理部３１ｅは、設定されていない条件については対応するステップＳ４３〜Ｓ４６の処理を省略してよい。また例えば、複数人の対象者又は複数の表情等が条件として設定されてもよく、この場合に画像送信処理部３１ｅは、各条件に該当する画像をそれぞれ抽出すればよい。

画像送信処理部３１ｅは、ステップＳ４６にて最終的に抽出された一又は複数の画像を、要求元の端末装置５へ送信し（ステップＳ４７）、処理を終了する。なお、設定された条件に該当する画像が存在しない場合、画像送信処理部３１ｅは、画像が存在しない旨を端末装置５へ通知する。

＜その他＞
カメラ１が撮影した画像に写された人を識別する際に、例えば画像中における人の顔の大きさ又は向き等によっては識別精度が低下する可能性がある。そこでサーバ装置３は、例えば画像に写された人を追跡する処理（トラッキング処理）を併用して、人の識別を行ってもよい。サーバ装置３は、画像に人の顔が大きく写されている場合又は画像に写されている人の顔が正面（カメラ１）を向いている場合等のように識別精度が高いことが期待できる画像に基づく人の識別結果を基準とし、この画像に続く一又は複数の画像に対してトラッキング処理を行う。トラッキング処理は、連続的に撮影された複数の画像において、対象物の移動を追跡する処理であり、例えばＢｏｏｓｔｉｎｇ、ＭＩＬ（Multiple Instance Learning）、ＴＬＤ（Tracking Learning and Detection）、ＭｅｄｉａｎＦｌｏｗ又はＫＣＦ（Kernelized Correlation Filters）等の手法が用いられ得る。サーバ装置３は、トラッキング処理により同じ人が写されていると判断できる複数の画像に対して、基準となる画像における人の識別結果（例えば識別の確信度等）を後続の画像についての識別結果とし、後続の画像に識別結果の情報を付して記憶してもよい。

＜まとめ＞
以上の構成の本実施の形態に係る情報処理システムでは、画像を表示する対象者に関する表情の選択を端末装置５がＵＩ画面の表情選択領域１０２にて受け付ける。対象者が利用する施設１００に設置されたカメラ１が撮影した画像から、選択された表情に応じてサーバ装置３が抽出した画像を端末装置５が取得して主画像表示領域１０４及び従画像表示領域１０５に表示する。また端末装置５は、この施設１００にて実施されたイベントと対象者の表情との対応付けをスケジュール表示領域１０６に表示する。これにより情報処理システムは、施設１００の利用者を日常的に撮影した画像を、利用者の表情及びスケジュールの情報等と共に提供することができる。

また本実施の形態に係る情報処理システムでは、端末装置５が表情に対応付けられた文字及びアイコンを選択候補としてＵＩ画面の表情選択領域１０２に複数表示し、選択候補に対するユーザの選択操作を受け付けて、対象者の表情に関する選択を受け付ける。これによりユーザは、表示させたい画像について対象者の表情を条件として容易に設定することができる。

また本実施の形態に係る情報処理システムでは、端末装置５が表情選択領域１０２の各選択候補と共に、この選択候補が選択された場合に表示可能な画像の数を表示する。これによりユーザは、表情の条件に応じて表示される画像の数を予め知ることができ、条件の選択を容易化することが期待できる。

また本実施の形態に係る情報処理システムでは、端末装置５がＵＩ画面の対象者選択領域１０３に設けられたタブにより画像を表示する対象者の選択を受け付ける。選択された対象者に応じてサーバ装置３が画像記憶部３２ｂから抽出した画像を端末装置５が取得して主画像表示領域１０４及び従画像表示領域１０５に表示する。また端末装置５は、選択された対象者についてイベント及び表情の対応付けをスケジュール表示領域１０６に表示する。これにより対象者が複数存在する場合に、ユーザが容易に対象者を選択して画像を閲覧することができる。

また本実施の形態に係る情報処理システムでは、ＵＩ画面のスケジュール表示領域１０６に表示したイベント及び表情の対応付けに基づいて、端末装置５が例えばいずれかのイベントに対するタッチ操作又はクリック操作等を受け付けることにより、イベントの選択を受け付ける。端末装置５は、選択されたイベントに応じてサーバ装置３が画像記憶部３２ｂから抽出した画像を取得して主画像表示領域１０４及び従画像表示領域１０５に表示する。これによりユーザは、表示させたい画像についてイベントを条件として容易に設定することができる。

また本実施の形態に係る情報処理システムでは、サーバ装置３が条件に応じて抽出した一又は複数の画像を端末装置５がＵＩ画面の従画像表示領域１０５に一覧表示し、一覧表示した一又は複数の画像から一の画像の選択を受け付け、選択された画像を主画像表示領域１０４に表示する。これにより、ユーザが定めた条件に適合する画像が複数存在する場合に、ユーザは複数の画像の中から所望の一の画像を容易に選択することができる。

また本実施の形態に係る情報処理システムでは、表情の選択を受け付ける表情選択領域１０２と、選択された表情に応じて抽出された一又は複数の画像を一覧表示する従画像表示領域１０５と、一覧表示された画像から選択された画像を表示する主画像表示領域１０４と、施設１００で実施されたイベントと対象者の表情を対応付けて表示するスケジュール表示領域１０６とを含むＵＩ画面を端末装置５が表示部５４に表示する。これによりユーザは、表示されたＵＩ画面にて表情及びイベント等の条件を設定し、条件に応じた画像をサーバ装置３から取得して端末装置５に表示させることができる。

また本実施の形態に係る情報処理システムでは、施設１００の利用者（子供）又はその関係者（保護者）が使用する端末装置５は、この利用者に関する画像を表示する。これに対して施設１００の従業者が使用する端末装置５は、施設１００の複数の利用者に関する画像を表示する。これにより情報処理システムは、端末装置５の使用者に適切な画像表示を行うことが期待できる。

なお本実施の形態においては、カメラ１を設置する施設１００を保育園又は幼稚園等とし、カメラ１が施設１００を利用する子供の撮影を行う構成を示したが、施設１００は保育園又は幼稚園等に限らず、どのような施設であってもよい。施設１００は屋内又は屋外のいずれのものであってもよい。また施設１００には複数のカメラ１が設置されてよく、複数のカメラ１がサーバ装置３へ撮影した画像を送信してよい。また条件に応じた画像の抽出をサーバ装置３が行うものとしたが、これに限るものではなく、端末装置５が行ってもよい。

また図６に示したＵＩ画面は一例であって、これに限るものではなく、各領域の配置及びデザイン等は適宜に変更され得る。また本実施の形態においては、ＵＩ画面の表情選択領域１０２にて表情の選択を受け付けたが、表情の選択に代えて、又は、表情の選択と共に、画像に写された人の行動を条件として選択可能としてもよい。

今回開示された実施形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

１ カメラ
３ サーバ装置
５ 端末装置
３１ 処理部
３１ａ 画像受信処理部
３１ｂ 画像識別処理部
３１ｃ 情報集計処理部
３１ｄ 画像選別部
３１ｅ 画像送信処理部
３２ 記憶部
３２ａ サーバプログラム
３２ｂ 画像記憶部
３２ｃ ユーザＤＢ
３３ 通信部
５１ 処理部
５１ａ 表示処理部
５１ｂ 条件取得部
５２ 記憶部
５２ａ プログラム
５３ 通信部
５４ 表示部
５５ 操作部
９８、９９ 記録媒体
１００ 施設
１０１ 日付表示領域
１０２ 表情選択領域
１０３ 対象者選択領域
１０４ 主画像表示領域
１０５ 従画像表示領域
１０６ スケジュール表示領域

Claims (13)

1. 情報処理装置が、
   対象に関する表情の選択を受け付け、
   前記対象が利用する施設に設置されたカメラが撮影した画像から、選択された表情に応じて抽出された画像を表示し、
   前記施設で実施されたイベントと前記対象の表情との対応付けを表示する、
   情報処理方法。
2. 表情に対応付けられた文字又は画像を選択候補として複数表示し、
   前記選択候補に基づいて前記対象に関する表情の選択を受け付ける、
   請求項１に記載の情報処理方法。
3. 前記選択候補と共に、当該選択候補が選択された場合に表示可能な画像の数を表示する、
   請求項２に記載の情報処理方法。
4. 対象の選択を受け付け、
   選択された表情及び対象に応じて抽出された画像を表示し、
   前記施設で実施されたイベントと選択された対象の表情との対応付けを表示する、
   請求項１から請求項３までのいずれか１つに記載の情報処理方法。
5. 表示したイベント及び表情の対応付けに基づいて、イベントの選択を受け付け、
   選択されたイベントに応じて抽出された画像を表示する、
   請求項１から請求項４までのいずれか１つに記載の情報処理方法。
6. 抽出された一又は複数の画像を一覧表示し、
   一覧表示した一又は複数の画像から一の画像の選択を受け付け、
   選択された画像を表示する、
   請求項１から請求項５までのいずれか１つに記載の情報処理方法。
7. 表情に対応付けられた文字又は画像を選択候補として複数表示して対象に関する表情の選択を受け付ける第１の領域と、
   前記第１の領域にて選択された表情に応じて抽出された一又は複数の画像を一覧表示して一の画像の選択を受け付ける第２の領域と、
   前記第２の領域にて選択された画像を表示する第３の領域と、
   前記施設で実施されたイベント及び前記対象の表情の対応付けを表示する第４の領域と
   を含む画面を表示部に表示する、
   請求項１から請求項６までのいずれか１つに記載の情報処理方法。
8. 前記施設を利用する利用者又は当該利用者の関係者が使用する情報処理装置は、当該利用者に係る画像を表示し、
   前記施設の従業者が使用する情報処理装置は、前記施設を利用する複数の利用者に係る画像を表示する、
   請求項１から請求項７までのいずれか１つに記載の情報処理方法。
9. 前記施設で実施された複数のイベントのスケジュールと各イベントにおける前記対象の表情との対応付けを表示する、
   請求項１から請求項８までのいずれか１つに記載の情報処理方法。
10. コンピュータに、
    対象に関する表情の選択を受け付け、
    前記対象が利用する施設に設置されたカメラが撮影した画像から、選択された表情に応じて抽出された画像を表示し、
    前記施設で実施されたイベントと前記対象の表情との対応付けを表示する
    処理を行わせるコンピュータプログラム。
11. コンピュータに、
    施設に設置されたカメラが撮影した画像を取得し、
    前記施設で実施されたイベントの情報を取得し、
    取得した画像に写された対象の表情を識別し、
    前記施設で実施されたイベントと識別した前記対象の表情とを対応付けて記憶部に記憶し、
    前記施設で実施されたイベントと前記対象の表情とを対応付けた情報を端末装置へ送信する
    処理を行わせるコンピュータプログラム。
12. 対象に関する表情の選択を受け付ける受付部と、
    前記対象が利用する施設に設置されたカメラが撮影した画像から、選択された表情に応じて抽出された画像を表示する処理を行う画像表示処理部と、
    前記施設で実施されたイベントと前記対象の表情との対応付けを表示する処理を行う対応表示処理部と
    を備える、情報処理装置。
13. 施設に設置されたカメラが撮影した画像を取得する画像取得部と、
    前記施設で実施されたイベントの情報を取得する情報取得部と、
    前記画像取得部が取得した画像に写された対象の表情を識別する識別部と、
    前記施設で実施されたイベントと識別した前記対象の表情とを対応付けて記憶する記憶部と、
    前記施設で実施されたイベントと前記対象の表情とを対応付けた情報を端末装置へ送信する情報送信部と
    を備える、情報処理装置。

Images