JP7406757B1 - methods and programs - Google Patents
methods and programs Download PDFInfo
- Publication number
- JP7406757B1 JP7406757B1 JP2022168749A JP2022168749A JP7406757B1 JP 7406757 B1 JP7406757 B1 JP 7406757B1 JP 2022168749 A JP2022168749 A JP 2022168749A JP 2022168749 A JP2022168749 A JP 2022168749A JP 7406757 B1 JP7406757 B1 JP 7406757B1
- Authority
- JP
- Japan
- Prior art keywords
- photos
- group
- photo
- information
- server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 12
- 238000011156 evaluation Methods 0.000 claims description 56
- 238000010586 diagram Methods 0.000 abstract description 18
- 230000010365 information processing Effects 0.000 description 26
- 238000004891 communication Methods 0.000 description 8
- 230000001815 facial effect Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000003213 activating effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 239000006185 dispersion Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【課題】アルバムに掲載する写真の候補をバランスよく効率的に選定する。【解決手段】本開示の一態様のプログラムは、コンピュータを、複数の写真を画像特徴量に基づいて複数のグループに分類する手段、グループ毎に、当該グループに対して定められた基準枚数を上限として、当該グループに属する写真の少なくとも一部を選定する手段、選定された写真を含む情報を提示する手段、として機能させる。【選択図】図4[Problem] To select candidates for photos to be posted in an album in a well-balanced and efficient manner. [Solution] A program according to an aspect of the present disclosure includes means for classifying a plurality of photographs into a plurality of groups based on image feature amounts, and for each group, an upper limit of the reference number of photographs determined for the group. As a means for selecting at least a part of the photos belonging to the group, and as a means for presenting information including the selected photos. [Selection diagram] Figure 4
Description
特許法第30条第2項適用 2022年2月28日、https://prtimes.jp/main/html/rd/p/000000008.000059552.html等において出願人がウェブサイトへ掲載。Application of Article 30, Paragraph 2 of the Patent Act February 28, 2022, https://prtimes. jp/main/html/rd/p/000000008.000059552. html etc. posted on the website by the applicant.
本開示は、情報処理装置、方法、プログラム、およびシステムに関する。 The present disclosure relates to an information processing device, method, program, and system.
例えば卒業アルバムなどのアルバムを制作するためには、大量の写真の中からアルバムに掲載する写真を選定することが必要となる。故に、かかる作業負担を軽減可能な技術が求められる。 For example, in order to create an album such as a graduation album, it is necessary to select photos to be included in the album from among a large number of photos. Therefore, there is a need for technology that can reduce such work burden.
特許文献1には、アルバムのテーマに基づいて撮影シーンごとに異なる基準範囲を設定し、各画像データに付与された評価値を、当該画像データに対して判別された撮影シーンに対応する基準範囲に正規化する技術について開示されている。 In Patent Document 1, a different reference range is set for each shooting scene based on the theme of the album, and the evaluation value given to each image data is set in the reference range corresponding to the shooting scene determined for the image data. A technique for normalizing is disclosed.
アルバムに掲載する写真の選定では、選定される個々の写真の質の高さはもちろん、アルバム全体を通してのバランスも重視される。例えば、特定の生徒が登場する写真が極端に多かったり少なかったりすることや、特定のシーンで撮影された写真が極端に多かったり少なかったりすることは、好ましくないとされる場合が多い。 When selecting photos to be included in an album, we not only focus on the high quality of each individual photo, but also on the balance of the album as a whole. For example, it is often considered undesirable to have an extremely large or small number of photos in which a specific student appears, or to have an extremely large or small number of photos taken in a specific scene.
特許文献1に記載の技術では、アルバムのテーマに基づいて撮影シーンごとに異なる基準範囲を用いて画像データの評価値を正規化するので、各撮影シーンについて選定される画像データが偏る事態が生じ得る。 In the technology described in Patent Document 1, the evaluation value of image data is normalized using a different reference range for each shooting scene based on the theme of the album, so the image data selected for each shooting scene may be biased. obtain.
本開示の目的は、アルバムに掲載する写真の候補をバランスよく効率的に選定するための技術を提供することである。 An object of the present disclosure is to provide a technique for efficiently selecting photo candidates to be included in an album in a well-balanced manner.
本開示の一態様のプログラムは、コンピュータを、複数の写真を画像特徴量に基づいて複数のグループに分類する手段、グループ毎に、当該グループに対して定められた基準枚数を上限として、当該グループに属する写真の少なくとも一部を選定する手段、選定された写真を含む情報を提示する手段、として機能させる。 A program according to an aspect of the present disclosure includes a means for classifying a plurality of photos into a plurality of groups based on image feature amounts, and a method for classifying a plurality of photos into a plurality of groups based on image feature amounts, and a method for classifying a plurality of photos into a plurality of groups based on an image feature amount. The present invention functions as a means for selecting at least some of the photographs belonging to the group, and a means for presenting information including the selected photographs.
以下、本発明の一実施形態について、図面に基づいて詳細に説明する。なお、実施形態を説明するための図面において、同一の構成要素には原則として同一の符号を付し、その繰り返しの説明は省略する。 Hereinafter, one embodiment of the present invention will be described in detail based on the drawings. In addition, in the drawings for explaining the embodiments, the same components are generally designated by the same reference numerals, and repeated explanations thereof will be omitted.
以降の説明において、複数の同種の要素について共通の説明を述べる場合に、例えば「99」のような共通の符号を用いることがある。他方、これらの要素について個別に説明を述べる場合に、「99-1」、または「99-2」のように共通の符号に添え字を付した符号を用いることがある。 In the following description, when a common description is given for a plurality of elements of the same type, a common code such as "99" may be used. On the other hand, when describing these elements individually, numerals such as "99-1" or "99-2" in which a subscript is added to a common numeral may be used.
(1)情報処理システムの構成
情報処理システムの構成について説明する。図1は、本実施形態の情報処理システムの構成を示すブロック図である。
(1) Configuration of information processing system The configuration of the information processing system will be explained. FIG. 1 is a block diagram showing the configuration of an information processing system according to this embodiment.
図1に示すように、情報処理システム1は、クライアント装置10と、サーバ30とを備える。
クライアント装置10及びサーバ30は、ネットワーク(例えば、インターネット又はイントラネット)NWを介して接続される。
As shown in FIG. 1, the information processing system 1 includes a client device 10 and a server 30.
The client device 10 and the server 30 are connected via a network (eg, the Internet or an intranet) NW.
クライアント装置10は、サーバ30にリクエストを送信する情報処理装置の一例である。クライアント装置10は、例えば、スマートフォン、タブレット端末、又は、パーソナルコンピュータである。クライアント装置10のユーザは、例えば、アルバムに掲載される候補となる写真を撮影する者(例えば、写真館のカメラマン)、およびアルバムに掲載する写真を決定する者(例えば、学校の先生)である。なお、両者は、同一人物であってもよい。 The client device 10 is an example of an information processing device that sends a request to the server 30. The client device 10 is, for example, a smartphone, a tablet terminal, or a personal computer. The users of the client device 10 are, for example, a person who takes photos that are candidates for being posted in an album (for example, a photographer at a photo studio), and a person who determines photos to be posted in an album (for example, a school teacher). . Note that both may be the same person.
サーバ30は、クライアント装置10から送信されたリクエストに応じたレスポンスをクライアント装置10に提供する情報処理装置の一例である。サーバ30は、例えば、サーバコンピュータである。 The server 30 is an example of an information processing device that provides the client device 10 with a response in response to a request transmitted from the client device 10. Server 30 is, for example, a server computer.
(1-1)クライアント装置の構成
クライアント装置の構成について説明する。図2は、本実施形態のクライアント装置の構成を示すブロック図である。
(1-1) Configuration of client device The configuration of the client device will be explained. FIG. 2 is a block diagram showing the configuration of the client device of this embodiment.
図2に示すように、クライアント装置10は、記憶装置11と、プロセッサ12と、入出力インタフェース13と、通信インタフェース14とを備える。クライアント装置10は、ディスプレイ21に接続される。 As shown in FIG. 2, the client device 10 includes a storage device 11, a processor 12, an input/output interface 13, and a communication interface 14. Client device 10 is connected to display 21 .
記憶装置11は、プログラム及びデータを記憶するように構成される。記憶装置11は、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)、及び、ストレージ(例えば、フラッシュメモリ又はハードディスク)の組合せである。 The storage device 11 is configured to store programs and data. The storage device 11 is, for example, a combination of ROM (Read Only Memory), RAM (Random Access Memory), and storage (for example, flash memory or hard disk).
プログラムは、例えば、以下のプログラムを含む。
・OS(Operating System)のプログラム
・情報処理を実行するアプリケーション(例えば、ウェブブラウザ、または例えばアルバム編集のためのアプリケーション)のプログラム
The programs include, for example, the following programs.
・OS (Operating System) program ・Application program that executes information processing (for example, a web browser or an application for editing an album)
データは、例えば、以下のデータを含む。
・情報処理において参照されるデータベース
・情報処理を実行することによって得られるデータ(つまり、情報処理の実行結果)
The data includes, for example, the following data.
・Databases referenced in information processing ・Data obtained by executing information processing (that is, execution results of information processing)
プロセッサ12は、記憶装置11に記憶されたプログラムを起動することによって、クライアント装置10の機能を実現するコンピュータである。プロセッサ12は、例えば、以下の少なくとも1つである。
・CPU(Central Processing Unit)
・GPU(Graphic Processing Unit)
・ASIC(Application Specific Integrated Circuit)
・FPGA(Field Programmable Array)
The processor 12 is a computer that implements the functions of the client device 10 by activating a program stored in the storage device 11. The processor 12 is, for example, at least one of the following.
・CPU (Central Processing Unit)
・GPU (Graphic Processing Unit)
・ASIC (Application Specific Integrated Circuit)
・FPGA (Field Programmable Array)
入出力インタフェース13は、クライアント装置10に接続される入力デバイスから情報(例えばユーザの指示)を取得し、かつ、クライアント装置10に接続される出力デバイスに情報(例えば画像)を出力するように構成される。
入力デバイスは、例えば、キーボード、ポインティングデバイス、タッチパネル、又は、それらの組合せである。
出力デバイスは、例えば、ディスプレイ21、スピーカ、又は、それらの組合せである。
The input/output interface 13 is configured to acquire information (for example, user instructions) from an input device connected to the client device 10 and output information (for example, an image) to an output device connected to the client device 10. be done.
The input device is, for example, a keyboard, pointing device, touch panel, or a combination thereof.
The output device is, for example, a display 21, a speaker, or a combination thereof.
通信インタフェース14は、クライアント装置10と外部装置(例えばサーバ30)との間の通信を制御するように構成される。 Communication interface 14 is configured to control communication between client device 10 and an external device (eg, server 30).
ディスプレイ21は、画像(静止画、または動画)を表示するように構成される。ディスプレイ21は、例えば、液晶ディスプレイ、または有機ELディスプレイである。 The display 21 is configured to display images (still images or moving images). The display 21 is, for example, a liquid crystal display or an organic EL display.
(1-2)サーバの構成
サーバの構成について説明する。図3は、本実施形態のサーバの構成を示すブロック図である。
(1-2) Server configuration The server configuration will be explained. FIG. 3 is a block diagram showing the configuration of the server of this embodiment.
図3に示すように、サーバ30は、記憶装置31と、プロセッサ32と、入出力インタフェース33と、通信インタフェース34とを備える。 As shown in FIG. 3, the server 30 includes a storage device 31, a processor 32, an input/output interface 33, and a communication interface 34.
記憶装置31は、プログラム及びデータを記憶するように構成される。記憶装置31は、例えば、ROM、RAM、及び、ストレージ(例えば、フラッシュメモリ又はハードディスク)の組合せである。 The storage device 31 is configured to store programs and data. The storage device 31 is, for example, a combination of ROM, RAM, and storage (eg, flash memory or hard disk).
プログラムは、例えば、以下のプログラムを含む。
・OSのプログラム
・情報処理を実行するアプリケーションのプログラム
The programs include, for example, the following programs.
・OS program ・Application program that executes information processing
データは、例えば、以下のデータを含む。
・情報処理において参照されるデータベース
・情報処理の実行結果
The data includes, for example, the following data.
・Databases referenced in information processing ・Execution results of information processing
プロセッサ32は、記憶装置31に記憶されたプログラムを起動することによって、サーバ30の機能を実現するコンピュータである。プロセッサ32は、例えば、以下の少なくとも1つである。
・CPU
・GPU
・ASIC
・FPGA
The processor 32 is a computer that implements the functions of the server 30 by activating a program stored in the storage device 31. The processor 32 is, for example, at least one of the following.
・CPU
・GPU
・ASIC
・FPGA
入出力インタフェース33は、サーバ30に接続される入力デバイスから情報(例えばユーザの指示)を取得し、かつ、サーバ30に接続される出力デバイスに情報(例えば画像)を出力するように構成される。
入力デバイスは、例えば、キーボード、ポインティングデバイス、タッチパネル、又は、それらの組合せである。
出力デバイスは、例えば、ディスプレイである。
The input/output interface 33 is configured to obtain information (e.g., user instructions) from an input device connected to the server 30 and output information (e.g., an image) to an output device connected to the server 30. .
The input device is, for example, a keyboard, pointing device, touch panel, or a combination thereof.
The output device is, for example, a display.
通信インタフェース34は、サーバ30と外部装置(例えばクライアント装置10)との間の通信を制御するように構成される。 Communication interface 34 is configured to control communication between server 30 and an external device (eg, client device 10).
(2)実施形態の一態様
本実施形態の一態様について説明する。図4は、本実施形態の一態様の説明図である。
(2) One aspect of the embodiment One aspect of the present embodiment will be described. FIG. 4 is an explanatory diagram of one aspect of this embodiment.
図4に示すように、第1ユーザUS11(例えば写真館のカメラマン)は、クライアント装置10-1を操作することで、当該クライアント装置10-1に、例えば学校の卒業アルバムに掲載される候補となる写真をサーバ30へアップロードさせる。 As shown in FIG. 4, the first user US11 (for example, a photographer at a photo studio) operates the client device 10-1 to send information to the client device 10-1 about candidates to be published in, for example, a school yearbook. The photo is uploaded to the server 30.
サーバ30は、アップロードされた写真を取得し、記憶装置31に保存する。サーバ30は、取得した写真を、当該写真の画像特徴量に基づいて、後述する複数のグループに分類する。なお、写真のアップロードおよび分類は、一連の処理として行われてもよいし、独立した処理として行われてもよい。例えば、写真の分類は、第2ユーザUS12(例えば学校の先生)に要求されるまで行われなくてもよい。ここで、各グループは、写真が撮影されたイベントを構成する要素(例えばシーン)に対応する。一例として、学校の卒業アルバムに掲載される候補に相当する写真を扱う場合に、イベントとして、学校行事(例えば、運動会、修学旅行、遠足、文化祭、または入学式)などの非日常的なイベント、または授業、放課後、クラブ活動、登下校、などの日常的なイベントが定義され得る。1つのイベントに対して複数のグループが定義され得る。具体的には、運動会というイベントに対し、運動会を構成する種目(例えば、リレー、応援合戦、玉入れ、など)に対応する複数のグループが定義され得る。 The server 30 acquires the uploaded photo and stores it in the storage device 31. The server 30 classifies the acquired photos into a plurality of groups, which will be described later, based on the image features of the photos. Note that uploading and classifying photos may be performed as a series of processes, or may be performed as independent processes. For example, classification of photos may not occur until requested by the second user US12 (eg, a school teacher). Here, each group corresponds to an element (for example, a scene) constituting the event for which the photo was taken. For example, when dealing with photos that are candidates to be published in a school yearbook, the event may be an unusual event such as a school event (for example, a sports day, a school trip, an excursion, a school festival, or an entrance ceremony). , or daily events such as classes, after school, club activities, commuting to and from school, etc. may be defined. Multiple groups may be defined for one event. Specifically, for an event called a sports day, a plurality of groups may be defined corresponding to the events that make up the sports day (for example, relay, cheering contest, ball toss, etc.).
サーバ30は、取得した写真を所定の基準により評価する。そして、サーバ30は、グループ毎に、当該グループに対して定められた基準枚数を上限として、当該グループに属する写真の少なくとも一部を当該グループにおける推奨写真として選定する。 The server 30 evaluates the acquired photos based on predetermined criteria. Then, for each group, the server 30 selects at least some of the photos belonging to the group as recommended photos for the group, with the reference number determined for the group being the upper limit.
サーバ30は、選定された写真(すなわち、各グループの推奨写真)を含む情報を第2ユーザUS12に提示する。具体的には、サーバ30は、第2ユーザUS12からの指示に応じて、提示対象となる写真を付加情報とともにクライアント装置10-2へ送信する。付加情報は、例えば、提示対象となる写真の分類結果に関する情報(後述するグループ情報)、写真の評価結果に関する情報(後述する評価情報)、写真がグループにおける推奨写真として選定されたか否かを示す情報(後述するステータス情報)、写真における登場人物に関する情報(後述する登場人物情報)、またはそれらの組み合わせを含むことができる。 The server 30 presents information including the selected photos (that is, the recommended photos of each group) to the second user US12. Specifically, the server 30 transmits the photo to be presented together with additional information to the client device 10-2 in response to an instruction from the second user US12. The additional information includes, for example, information regarding the classification results of the photos to be presented (group information to be described later), information regarding the evaluation results of the photos (evaluation information to be described later), and information indicating whether the photo has been selected as a recommended photo in the group. Information (status information to be described later), information about characters appearing in the photo (character information to be described later), or a combination thereof can be included.
クライアント装置10-2は、サーバ30から写真および付加情報を取得し、これらを画面に表示することで第2ユーザUS12に提示する。このとき、クライアント装置10-2は、付加情報を用いて写真を整理(例えばフィルタリング)して提示可能である。例えば、クライアント装置10-2は、イベント単位で(つまり、イベントに対応する全グループに亘って)推奨写真を提示してもよいし、グループ別に推奨写真を提示してもよい。第2ユーザUS12は、提示された推奨写真を参考に、アルバムに掲載する写真をバランスよく効率的に決定することができる。 The client device 10-2 acquires the photo and additional information from the server 30 and presents them to the second user US12 by displaying them on the screen. At this time, the client device 10-2 can organize (for example, filter) the photos using the additional information and present them. For example, the client device 10-2 may present recommended photos for each event (that is, for all groups corresponding to an event), or may present recommended photos for each group. The second user US12 can refer to the presented recommended photos and efficiently decide which photos to post in the album in a well-balanced manner.
(3)データベース
本実施形態のデータベースについて説明する。以下のデータベースは、記憶装置31に記憶される。
(3) Database The database of this embodiment will be explained. The following database is stored in the storage device 31.
(3-1)写真データベース
本実施形態の写真データベースについて説明する。図5は、本実施形態の写真データベースのデータ構造を示す図である。
(3-1) Photo database The photo database of this embodiment will be explained. FIG. 5 is a diagram showing the data structure of the photo database of this embodiment.
写真データベースには、写真情報が格納される。写真情報は、アルバムに掲載される候補となる写真に関する情報である。 The photo database stores photo information. The photo information is information regarding photos that are candidates to be posted in an album.
図5に示すように、写真データベースは、「写真ID」フィールドと、「イベント」フィールドと、「グループ」フィールドと、「評価」フィールドと、「登場人物」フィールドと、「ステータス」フィールドとを含む。各フィールドは、互いに関連付けられている。 As shown in FIG. 5, the photo database includes a "photo ID" field, an "event" field, a "group" field, a "rating" field, a "character" field, and a "status" field. . Each field is associated with each other.
「写真ID」フィールドには、写真IDが格納される。写真IDは、写真を識別する情報である。 A photo ID is stored in the "photo ID" field. The photo ID is information that identifies a photo.
「イベント」フィールドには、イベント情報が格納される。イベント情報は、写真が撮影されたイベントに関する情報である。イベント情報は、ユーザ(例えば撮影者)によって指定されてもよいし、撮影日時、撮影場所、またはそれらの組み合わせに応じて機械的に割り当てられてもよいし、学習済みモデルを用いて推論されてもよい。 Event information is stored in the "event" field. The event information is information regarding the event at which the photo was taken. The event information may be specified by the user (for example, the photographer), may be automatically assigned according to the shooting date and time, the shooting location, or a combination thereof, or may be inferred using a trained model. Good too.
「グループ」フィールドには、グループ情報が格納される。グループ情報は、写真が分類されたグループに関する情報である。 Group information is stored in the "group" field. Group information is information regarding groups into which photos are classified.
「評価」フィールドには、評価情報が格納される。評価情報は、写真の評価結果に関する情報である。 Evaluation information is stored in the "evaluation" field. The evaluation information is information regarding the evaluation result of the photo.
「登場人物」フィールドには、登場人物情報が格納される。登場人物情報は、写真に登場する人物の特定結果に関する情報である。 Character information is stored in the "Character" field. The character information is information related to the identification results of the people appearing in the photo.
「ステータス」フィールドには、ステータス情報が格納される。ステータス情報は、写真のステータスに関する情報である。写真のステータスは、以下の少なくとも1つを含むことができる。
・アルバム掲載が予定されている(「掲載予定」)
・アルバム掲載写真の候補としてユーザが検討中である(「検討中」)
・アルバム掲載写真の候補として推奨されている(「おすすめ」)
・上記ステータスのいずれにも該当しない(「その他」)
Status information is stored in the "Status" field. The status information is information regarding the status of the photo. The status of the photo can include at least one of the following:
・It is scheduled to be published in the album (“Scheduled to be published”)
・The user is considering the photo as a candidate for the album (“Under consideration”)
・Recommended as a candidate for photos in the album (“Recommended”)
・None of the above statuses apply (“Other”)
このほか、写真情報として、撮影日時の情報、撮影場所の情報(例えばGPS情報)、などが格納されてもよい。また、写真情報として、写真に関連付けられるアルバム(例えば、どの学校のどの年の卒業アルバムか)を特定可能な情報が格納されてもよい。 In addition, as the photo information, information on the date and time of photography, information on the location of photography (for example, GPS information), etc. may be stored. Further, as the photo information, information that can specify the album associated with the photo (for example, which year's graduation album of which school) may be stored.
(3-2)人物別登場回数データベース
本実施形態の人物別登場回数データベースについて説明する。図6は、本実施形態の人物別登場回数データベースのデータ構造を示す図である。
(3-2) Database of number of appearances by person The database of number of appearances by person of this embodiment will be explained. FIG. 6 is a diagram showing the data structure of the number-of-appearances database for each person according to this embodiment.
人物別登場回数データベースには、人物別登場回数情報が格納される。人物別登場回数情報は、少なくとも1つの写真群のそれぞれにおける人物別の登場回数に関する情報である。各写真群は、特定のイベントに対応する写真からなる群であってもよいし、特定のイベントの特定のグループに対応する写真からなる群であってもよいし、(アルバムに掲載される候補となる)全写真からなる群であってもよい。各写真群は、特定のステータスに対応する写真からなる群であってもよいし、特定のステータス、かつ特定のイベントに対応する写真からなる群であってもよいし、特定のステータス、かつ特定のイベントの特定のグループに対応する写真からなる群であってもよい。 The number of appearances by person database stores information about the number of appearances by person. The number-of-appearance information for each person is information regarding the number of appearances for each person in each of at least one photo group. Each photo group may be a group of photos corresponding to a specific event, a group of photos corresponding to a specific group of a specific event, or (candidates to be posted in the album) It may also be a group consisting of all photos. Each photo group may be a group of photos that correspond to a specific status, a group of photos that correspond to a specific status and a specific event, or a group of photos that correspond to a specific status and a specific event. may be a group of photos corresponding to a particular group of events.
図6に示すように、人物別登場回数データベースは、「人物ID」フィールドと、「登場回数」フィールドとを含む。各フィールドは、互いに関連付けられている。 As shown in FIG. 6, the appearance count database for each person includes a "person ID" field and a "number of appearance" field. Each field is associated with each other.
「人物ID」フィールドには、人物IDが格納される。人物IDは、(アルバムに掲載される候補となる)いずれかの写真において特定された登場人物を識別する情報である。人物IDは、人物別登場回数データベース、または他のデータベース(例えば後述する顔データベース)において、人物の名称に関する情報、人物の顔の特徴量に関する情報に関連付けられて得る。 A person ID is stored in the "person ID" field. The person ID is information that identifies the person specified in any of the photos (which are candidates for being published in the album). The person ID can be associated with information about the person's name and information about the feature amount of the person's face in a person-by-person appearance count database or another database (for example, a face database described later).
「登場回数」フィールドには、登場回数情報が格納される。登場回数情報は、少なくとも1つの写真群のそれぞれにおける人物の登場回数(総数)に関する情報である。 The “number of appearances” field stores information on the number of appearances. The appearance count information is information regarding the number of appearances (total number) of a person in each of at least one photo group.
(4)情報処理
本実施形態の情報処理について説明する。図7は、本実施形態の情報処理のフローチャートである。図8は、図7のステップS134の一例のフローチャートである。図9は、本実施形態の情報処理において表示される画面例を示す図である。図10は、本実施形態の情報処理において表示される画面例を示す図である。
(4) Information processing Information processing of this embodiment will be explained. FIG. 7 is a flowchart of information processing according to this embodiment. FIG. 8 is a flowchart of an example of step S134 in FIG. FIG. 9 is a diagram showing an example of a screen displayed in the information processing of this embodiment. FIG. 10 is a diagram showing an example of a screen displayed in the information processing of this embodiment.
本実施形態の情報処理は、サーバ30が、例えばアルバムに掲載する写真を決定する者に相当するユーザの指示に基づく開始要求をクライアント装置10から受信したことに応じて開始し得る。開始要求には、例えばアルバムを特定可能な情報が含まれる。 The information processing of the present embodiment may be started in response to the server 30 receiving a start request from the client device 10 based on an instruction from a user who is a person who decides which photos to post in an album, for example. The start request includes, for example, information that can identify the album.
図7に示すように、サーバ30は、写真の取得(S130)を実行する。
具体的には、サーバ30は、処理対象となるアルバムに関連付けられる写真を取得する。一例として、サーバ30は、記憶装置31(または図示しない外部の記憶装置であってもよい)に保存されている写真を読み出す。これらの写真は、アルバムに掲載される候補となる写真を撮影する者に相当するユーザによって予め撮影され、クライアント装置10を用いてサーバ30にアップロードされている。
As shown in FIG. 7, the server 30 executes photo acquisition (S130).
Specifically, the server 30 acquires photos associated with the album to be processed. As an example, the server 30 reads photos stored in the storage device 31 (or may be an external storage device, not shown). These photos are taken in advance by a user corresponding to a person who takes photos that are candidates for publication in the album, and are uploaded to the server 30 using the client device 10.
ステップS130の後に、サーバ30は、写真の分類(S131)を実行する。
具体的には、サーバ30は、複数のグループが定義されているイベント毎に、当該イベント中に撮影され、かつステップS130において取得された写真をそれぞれ、当該写真の画像特徴量に基づいて、当該複数のグループのいずれかに分類する。サーバ30は、分類結果に基づいて、写真データベース(図5)のグループ情報を更新する。
After step S130, the server 30 performs photo classification (S131).
Specifically, for each event for which a plurality of groups are defined, the server 30 selects each photo taken during the event and acquired in step S130 based on the image feature amount of the photo. Classify into one of multiple groups. The server 30 updates group information in the photo database (FIG. 5) based on the classification results.
サーバ30は、学習済みモデルの出力に基づいて写真を分類してもよい。一例として、サーバ30は、写真の画像特徴量に基づく入力データに、当該写真が撮影されたイベントに対応するグループ判定モデルに適用する。グループ判定モデルは、写真が属するグループの推論結果に相当する出力データを生成する。グループ判定モデルは、例えば、予め用意された大量の写真の画像特徴量に基づく学習用の入力データと、各入力データの元となる写真が属するグループ(これは、人間が判定してもよい)を示す正解データとを含む学習データを用いた機械学習(教師あり学習)により構築することができる。 The server 30 may classify the photos based on the output of the trained model. As an example, the server 30 applies a group determination model corresponding to the event in which the photo was taken to input data based on the image feature amount of the photo. The group determination model generates output data corresponding to the inference result of the group to which the photo belongs. The group determination model includes, for example, input data for learning based on the image features of a large number of photographs prepared in advance, and the group to which the original photograph of each input data belongs (this may be determined by a human). It can be constructed by machine learning (supervised learning) using learning data including correct answer data indicating .
ステップS131の後に、サーバ30は、登場人物の特定(S132)を実行する。
具体的には、サーバ30は、各写真において被写体である人物の顔に基づいて当該人物を特定する。一例として、サーバ30は、各写真に対して顔認識を行う。顔認識には、学習済みモデルを用いることができる。
After step S131, the server 30 executes character identification (S132).
Specifically, the server 30 identifies the person in each photo based on the person's face. As an example, the server 30 performs facial recognition on each photo. A trained model can be used for face recognition.
登場人物の特定(S132)の第1例として、クライアント装置10のユーザは、登場回数を管理する対象となる人物(例えば、生徒、または先生を含む学校の職員)の情報をデータベース(以下、「顔データベース」という)に予め登録する。一例として、クライアント装置10は、人物毎の顔写真をサーバ30へ送信する。サーバ30は、顔写真から特徴量を抽出し、当該特徴量を、人物を特定可能な情報(例えばIDまたは名称)に関連付けて顔データベースに格納する。ここで、ユーザは、人物を特定可能な情報を、クライアント装置10を介して指定してもよい。別の例として、クライアント装置10は、複数の人物が写った集合写真データをサーバ30へ送信する。サーバ30は、集合写真に対して顔認識を行い、顔認識の結果(例えば顔画像)を、クライアント装置10を介してユーザに提示する。ユーザは、検出された顔毎に、該当人物を特定可能な情報を、クライアント装置10を介して指定する。サーバ30は、ユーザからの指定に応じて、顔の特徴量を、ユーザによって指定された人物を特定可能な情報に関連付けて顔データベースに格納する。
そして、サーバ30は、このようにして構築された顔データベースを用いて、登場人物を特定する。すなわち、サーバ30は、写真から新たに検出した人物の顔の特徴量に基づいて、当該人物が顔データベースに登録済みの人物のいずれと同一であるかを判定する。このようにして、顔データベースに予め登録されている人物毎に、当該人物がどの写真に登場するかを特定することができる。同様に、処理対象となるアルバムに関連付けられる写真毎に、顔データベースに登録されているどの人物が登場するかを特定することができる。サーバ30は、登場人物の特定結果に基づいて、写真データベース(図5)の登場人物情報と、人物別登場回数データベース(図6)の登場回数情報とを更新する。
As a first example of specifying a character appearing (S132), the user of the client device 10 stores information on a person whose number of appearances is to be managed (for example, a student or a school staff member including a teacher) in a database (hereinafter referred to as " be registered in advance in a face database (referred to as a "face database"). As an example, the client device 10 transmits facial photographs of each person to the server 30. The server 30 extracts the feature amount from the facial photograph, associates the feature amount with information that can identify the person (for example, ID or name), and stores the feature amount in the face database. Here, the user may specify information that can identify a person via the client device 10. As another example, the client device 10 transmits group photo data including a plurality of people to the server 30. The server 30 performs face recognition on the group photo and presents the result of the face recognition (for example, a face image) to the user via the client device 10. For each detected face, the user specifies information that can identify the person via the client device 10. The server 30 stores facial feature amounts in a face database in association with information that can identify the person designated by the user, in accordance with the user's designation.
The server 30 then identifies the characters using the face database constructed in this way. That is, the server 30 determines, based on the facial features of the person newly detected from the photo, which of the people already registered in the face database the person is the same as. In this way, for each person registered in advance in the face database, it is possible to specify which photo the person appears in. Similarly, it is possible to specify which person registered in the face database appears in each photo associated with the album to be processed. The server 30 updates the character information in the photo database (FIG. 5) and the number-of-appearance information in the person-specific appearance number database (FIG. 6) based on the result of character identification.
登場人物の特定(S132)の第2例は、顔データベースの事前構築を要しない。具体的には、サーバ30は、新たに検出した人物(例えば、生徒、または先生を含む学校の職員)が、既知の(つまり、相異なる個人として認識され、かつ顔データベースにおいて顔の特徴量が格納されている)人物のいずれと同一であるかを顔の特徴量に基づいて判定する。ここで、サーバ30は、新たに検出した人物が既知の人物のいずれとも同一でないと判定した場合には、当該人物の顔の特徴量を、当該人物を特定可能な情報(例えばIDまたは名称)に関連付けて顔データベースに格納する。ここで、ユーザは、人物を特定可能な情報を、クライアント装置10を介して指定してもよい。このようにして、顔データベースを事前構築せずとも、相異なる個人として認識された人物毎に、当該人物がどの写真に登場するかを特定することができる。同様に、処理対象となるアルバムに関連付けられる写真毎に、顔データベースに登録されているどの人物が登場するかを特定することができる。サーバ30は、登場人物の特定結果に基づいて、写真データベース(図5)の登場人物情報と、人物別登場回数データベース(図6)の登場回数情報とを更新する。 The second example of character identification (S132) does not require prior construction of a face database. Specifically, the server 30 determines whether the newly detected person (for example, a student or a school staff member including a teacher) is a known person (that is, is recognized as a different individual, and whose facial features are in the face database). It is determined which of the stored persons the face is the same as based on the facial features. Here, if the server 30 determines that the newly detected person is not the same as any of the known persons, the server 30 converts the facial features of the person into information that can identify the person (for example, ID or name). and stored in the face database. Here, the user may specify information that can identify a person via the client device 10. In this way, it is possible to specify, for each person recognized as a different individual, which photo the person appears in, without having to construct a face database in advance. Similarly, it is possible to specify which person registered in the face database appears in each photo associated with the album to be processed. The server 30 updates the character information in the photo database (FIG. 5) and the number-of-appearance information in the person-specific appearance number database (FIG. 6) based on the result of character identification.
ステップS132の後に、サーバ30は、写真の評価(S133)を実行する。
具体的には、サーバ30は、各写真の評価を行い、評価値を算出する。サーバ30は、写真データベース(図5)の評価情報を更新する。
After step S132, the server 30 performs photo evaluation (S133).
Specifically, the server 30 evaluates each photo and calculates an evaluation value. The server 30 updates the evaluation information in the photo database (FIG. 5).
写真の評価(S133)の第1例として、サーバ30は、評価対象となる写真を、グループ間で共通の基準により評価する。
グループ間で共通の基準による評価の第1例として、サーバ30は、評価対象となる写真において被写体である人物の笑顔の度合いを判定し、当該笑顔の度合いに基づいて当該写真を評価してもよい。一例として、サーバ30は、笑顔の度合いの統計量(例えば、平均値、中央値、最頻値、最大値、最小値、第一四分位数、第三四分位数、または合計)が大きいほど、高い評価値を算出してもよい。笑顔の度合いは、例えば学習済みモデルを用いて判定することができる。
As a first example of photo evaluation (S133), the server 30 evaluates the photo to be evaluated based on a standard common to the group.
As a first example of evaluation based on a common standard among groups, the server 30 determines the degree of smile of the person who is the subject in the photo to be evaluated, and evaluates the photo based on the degree of smile. good. As an example, the server 30 may be configured to determine whether statistics (e.g., mean value, median value, mode, maximum value, minimum value, first quartile, third quartile, or sum) of the degree of smiling are The larger the value, the higher the evaluation value may be calculated. The degree of smiling can be determined using, for example, a trained model.
グループ間で共通の基準による評価の第2例として、サーバ30は、評価対象となる写真において被写体である人物のジェスチャを(例えば手の形状に基づいて)判定し、判定結果に基づいて当該写真の評価を行ってもよい。一例として、サーバ30は、写真に登場する特定のジェスチャ(例えばピースサイン)の総数が大きいほど、高い評価値を算出してもよい。ジェスチャは、例えば学習済みモデルを用いて判定することができる。 As a second example of evaluation based on a common standard among groups, the server 30 determines the gesture of the person who is the subject in the photograph to be evaluated (for example, based on the shape of the hand), and based on the determination result, the server 30 determines the gesture of the person in the photograph to be evaluated. may be evaluated. As an example, the server 30 may calculate a higher evaluation value as the total number of specific gestures (for example, peace signs) appearing in the photo is larger. Gestures can be determined using, for example, a learned model.
グループ間で共通の基準による評価の第3例として、サーバ30は、評価対象となる写真において被写体である人物の顔が収まっているか否かを判定し、当該被写体である人物の顔が収まっていない写真の評価を下げてもよい。人物の顔が写真に収まっているか否かは、例えば学習済みモデルを用いて判定することができる。ここで、サーバ30は、写真における人物の顔の大きさに基づいて、当該人物が主要な被写体であるか非主要な被写体であるかを判定し、非主要な被写体であると判定した人物(典型的には、写っている顔が非常に小さく、偶然写り込んだにすぎないと思われる人物)は、本評価において考慮の対象から除外してもよい。 As a third example of evaluation based on a common standard among groups, the server 30 determines whether or not the face of the person who is the subject is included in the photo to be evaluated, and whether the face of the person who is the subject is included or not. You can lower the rating of photos that do not. Whether or not a person's face is included in the photo can be determined using, for example, a trained model. Here, the server 30 determines whether the person in question is a main subject or a non-main subject based on the size of the face of the person in the photo, and the person ( (Typically, people whose faces are so small that they appear to have appeared only by chance) may be excluded from consideration in this evaluation.
グループ間で共通の基準による評価の第4例として、サーバ30は、上記第1例~第3例のうち複数を組み合わせることができる。 As a fourth example of evaluation based on common criteria among groups, the server 30 can combine a plurality of the first to third examples.
写真の評価(S133)の第2例として、サーバ30は、評価対象となる写真を、当該写真が属するグループの個別の基準により評価する。一例として、サーバ30は、あるグループに属する写真における被写体である人物が取っている動作(例えば、「走っている」、「投げている」、など)を判定し、判定結果と当該グループの個別の基準とに基づいて当該写真を評価する。人物の取っている動作は、例えば学習済みモデルを用いて判定することができる。例えば、グループの個別の基準として、当該グループに特徴的な動作に対して得点が割り当てられ得る。この場合に、サーバ30は写真に登場する1以上の人物が取っているとして判定された各動作に割り当てられた得点の統計量(例えば、平均値、中央値、最頻値、最大値、最小値、第一四分位数、第三四分位数、または合計)が大きいほど、当該写真に高い評価値を算出してもよい。 As a second example of photo evaluation (S133), the server 30 evaluates the photo to be evaluated based on the individual criteria of the group to which the photo belongs. As an example, the server 30 determines an action taken by a person who is a subject in a photo belonging to a certain group (for example, "running", "throwing", etc.), and uses the determination result and the individual actions of the group. Evaluate the photo based on the following criteria: The actions taken by the person can be determined using, for example, a learned model. For example, as an individual criterion for a group, scores may be assigned for behaviors characteristic of the group. In this case, the server 30 stores statistics of scores (for example, mean, median, mode, maximum, minimum value, first quartile, third quartile, or total), a higher evaluation value may be calculated for the photo.
写真の評価(S133)の第3例として、サーバ30は、上記第1例および第2例を組み合わせることができる。 As a third example of photo evaluation (S133), the server 30 can combine the first and second examples described above.
ステップS133の後に、サーバ30は、写真の選定(S134)を実行する。
具体的には、サーバ30は、ステップS131における写真の分類先に相当するグループ毎に、当該グループに対して定められた基準枚数を上限として、当該グループに属する(すなわちステップS131において当該グループに分類した)写真の少なくとも一部を当該グループの推奨写真として選定する。サーバ30は、各グループに属する写真に対するステップS133における評価(つまり、評価値)に基づいて、当該グループの推奨写真を選定してもよい。サーバ30は、推奨写真として選定した写真について、写真データベース(図5)のステータス情報を更新する。
After step S133, the server 30 executes photo selection (S134).
Specifically, for each group corresponding to the classification destination of the photos in step S131, the server 30 determines whether the photos belong to the group (i.e., are classified into the group in step S131) up to the reference number determined for the group. select at least some of the photos (received) as recommended photos for the group; The server 30 may select recommended photos for each group based on the evaluation (that is, evaluation value) of the photos belonging to each group in step S133. The server 30 updates the status information in the photo database (FIG. 5) regarding the photo selected as the recommended photo.
サーバ30は、基準枚数を、ユーザ指示に応じて決定してもよいし、自動的に決定してもよい。
基準枚数の自動決定の第1例として、サーバ30は、各グループに属する写真の総数に基づいて当該グループの基準枚数(例えば総数に所定の割合を乗じた枚数)に決定する。基準枚数の自動決定の第2例として、サーバ30は、各グループが属するイベントに対して設定されている掲載予定枚数、またはアルバム全体に対して設定されている掲載予定枚数に基づいて当該グループの基準枚数(例えば上記掲載予定枚数のいずれかに所定の割合を乗じた枚数)に決定する。基準枚数の自動決定の第3例として、サーバ30は、過去の同種のアルバム(例えば同じ学校の過去の卒業アルバム、または作成中または過去に作成した他校の卒業アルバム)における各グループに属する写真の掲載枚数の実績に基づいて、当該グループの基準枚数を決定する。基準枚数の自動決定の第4例として、サーバ30は、上記第1例~第3例のうち複数により決定した基準枚数のうち最も少ない枚数を最終的な基準枚数として決定する。
The server 30 may determine the reference number of sheets according to a user's instruction, or may determine it automatically.
As a first example of automatically determining the reference number of photos, the server 30 determines the reference number of photos for each group (eg, the total number multiplied by a predetermined ratio) based on the total number of photos belonging to each group. As a second example of automatic determination of the standard number of sheets, the server 30 determines the number of sheets to be published for each group based on the number of sheets to be published set for the event to which each group belongs or the number of sheets to be published for the entire album. The standard number of pages (for example, the number of pages multiplied by a predetermined ratio by one of the above scheduled number of pages) is determined. As a third example of automatic determination of the reference number, the server 30 determines the number of photos belonging to each group in past albums of the same type (for example, past yearbooks of the same school, or yearbooks of other schools that are being created or have been created in the past). The standard number of pages for the group will be determined based on the actual number of pages published. As a fourth example of automatic determination of the reference number of sheets, the server 30 determines the smallest number among the reference number of sheets determined in a plurality of the first to third examples as the final reference number of sheets.
一例として、サーバ30は、グループ毎に、図8に示すように写真の選定を行う。
図8に示すように、サーバ30は、写真のソート(S1341)を実行する。
具体的には、サーバ30は、処理対象のグループに属する写真を、ステップS133において算出した評価値の降順にソートする。
As an example, the server 30 selects photos for each group as shown in FIG.
As shown in FIG. 8, the server 30 performs photo sorting (S1341).
Specifically, the server 30 sorts the photos belonging to the group to be processed in descending order of the evaluation values calculated in step S133.
ステップS1341の後に、サーバ30は、対象写真の選択(S1342)を実行する。
具体的には、サーバ30は、処理対象のグループに属し、かつ本ステップにおいて未だ選択されていない写真のうち先頭の1つ(つまり、評価値が最高の写真)を、対象写真として選択する。
After step S1341, the server 30 selects a target photo (S1342).
Specifically, the server 30 selects, as the target photo, the first one (that is, the photo with the highest evaluation value) among the photos that belong to the group to be processed and have not yet been selected in this step.
ステップS1342の後に、サーバ30は、類似度の算出(S1343)を実行する。
具体的には、サーバ30は、ステップS1342において選択した対象写真と、処理対象のグループの推奨写真として選定済みの各写真との類似度を算出する。
After step S1342, the server 30 executes similarity calculation (S1343).
Specifically, the server 30 calculates the degree of similarity between the target photo selected in step S1342 and each photo already selected as a recommended photo of the group to be processed.
ステップS1343において算出した類似度の最大値が閾値未満である場合に、サーバ30は、対象写真の選定(S1344)を実行する。
具体的には、サーバ30は、ステップS1342において選択した対象写真を、処理対象のグループの推奨写真として選定する。
If the maximum similarity calculated in step S1343 is less than the threshold, the server 30 selects a target photo (S1344).
Specifically, the server 30 selects the target photo selected in step S1342 as the recommended photo for the group to be processed.
他方、ステップS1343において算出した類似度の最大値が閾値未満である場合に、サーバ30は、対象写真の選定(S1344)をスキップする。これにより、連写機能によって生成された一連の写真のように極端に似通った複数の写真が推奨写真として選定されることを防止することができる。 On the other hand, if the maximum similarity calculated in step S1343 is less than the threshold, the server 30 skips selection of the target photo (S1344). This can prevent a plurality of extremely similar photos, such as a series of photos generated by the continuous shooting function, from being selected as recommended photos.
ステップS1344の実行またはスキップ後に、推奨写真の枚数が基準枚数に到達していたならば、サーバ30は、図8の処理を終了する。また、ステップS1344の実行またはスキップ後に、推奨写真の枚数が基準枚数に到達していないが、対象写真が最後の写真である(処理対象のグループに属する全ての写真がステップS1342において選択済みである)ならば、サーバ30は、図8の処理を終了する。 After executing or skipping step S1344, if the number of recommended photos has reached the reference number, the server 30 ends the process of FIG. 8. Furthermore, after executing or skipping step S1344, the number of recommended photos has not reached the reference number, but the target photo is the last photo (all photos belonging to the group to be processed have already been selected in step S1342). ), the server 30 ends the process of FIG.
ステップS1344の実行またはスキップ後に、推奨写真の枚数が基準枚数に到達しておらず、対象写真が最後の写真でない(処理対象のグループに属し、かつステップS1342において未だ選択されていない写真が残存する)ならば、サーバ30は、ステップS1342を再実行する。 After executing or skipping step S1344, the number of recommended photos has not reached the standard number and the target photo is not the last photo (photos that belong to the group to be processed and have not yet been selected in step S1342 remain) ), the server 30 re-executes step S1342.
ステップS134の後に、サーバ30は、情報の提示(S135)を実行する。
サーバ30は、ステップS130において取得した写真と、写真データベース(図5)と、人物別登場回数データベース(図6)とに基づいて、提示対象となる情報を決定する。サーバ30は、提示対象となる情報をクライアント装置10へ送信する。クライアント装置10は、サーバ30から取得した情報に基づく画面をディスプレイ21に表示する。
After step S134, the server 30 presents information (S135).
The server 30 determines the information to be presented based on the photo acquired in step S130, the photo database (FIG. 5), and the database of number of appearances by person (FIG. 6). The server 30 transmits information to be presented to the client device 10. The client device 10 displays a screen based on the information acquired from the server 30 on the display 21.
また、クライアント装置10は、画面に対するユーザ指示を取得し、サーバ30へ送信してもよい。この場合に、サーバ30は、受信したユーザ指示に基づいて、提示対象となる情報を再決定し、提示対象となる情報をクライアント装置10へ必要に応じて送信する。クライアント装置10は、サーバ30から取得した情報に基づく画面をディスプレイ21に表示する(画面の更新)。 Further, the client device 10 may obtain a user instruction on the screen and transmit it to the server 30. In this case, the server 30 re-determines the information to be presented based on the received user instruction, and transmits the information to be presented to the client device 10 as necessary. The client device 10 displays a screen based on the information acquired from the server 30 on the display 21 (updating the screen).
一例として、クライアント装置10は、図9に示す画面をディスプレイ21に表示する。図9の画面は、オブジェクトJ20,J21,J22,J22a,J23,J24,J25,J26を含む。 As an example, the client device 10 displays the screen shown in FIG. 9 on the display 21. The screen in FIG. 9 includes objects J20, J21, J22, J22a, J23, J24, J25, and J26.
オブジェクトJ20は、選択中のイベントを表示する。図9の画面には、ステップS130において取得された写真のうち、オブジェクトJ20によって指定されているイベントに対応する写真が配置される。 Object J20 displays the selected event. On the screen of FIG. 9, among the photos acquired in step S130, photos corresponding to the event specified by object J20 are arranged.
オブジェクトJ21は、グループを切り替えるユーザ指示を受け付ける。クライアント装置10のユーザが、いずれかのオブジェクトJ21を選択する(アクティブにする)と、当該オブジェクトJ21に対応するグループに属する写真が画面に配置される。オブジェクトJ21の内容は、オブジェクトJ20によって指定されているイベントに応じて変化する。 Object J21 accepts a user instruction to switch groups. When the user of the client device 10 selects (activates) any object J21, photos belonging to the group corresponding to the object J21 are arranged on the screen. The contents of object J21 change depending on the event specified by object J20.
オブジェクトJ22は、アクティブなオブジェクトJ21に対応するグループに属し、かつステータスが「掲載予定」である写真(オブジェクト)が配置される。なお、オブジェクトJ22内に配置される写真は、評価情報(評価値)に基づいてソートされてもよい。 In the object J22, a photo (object) that belongs to the group corresponding to the active object J21 and whose status is "scheduled to be published" is placed. Note that the photos placed in the object J22 may be sorted based on evaluation information (evaluation value).
オブジェクトJ22aは、アクティブなオブジェクトJ21に対応するグループに対して設定されている掲載予定枚数の情報と、オブジェクトJ22内に配置されている(つまり、アクティブなオブジェクトJ21に対応するグループに属し、かつステータスが「掲載予定」である)写真の枚数の情報とを表示する。 The object J22a has information about the number of pages scheduled to be published set for the group corresponding to the active object J21, and information about the number of pages placed in the object J22 (that is, if it belongs to the group corresponding to the active object J21 and has a status information on the number of photos (which are scheduled to be posted).
オブジェクトJ23は、アクティブなオブジェクトJ21に対応するグループに属し、かつステータスが「おすすめ」である写真、つまりステップS134において当該グループの推奨写真として選定された(オブジェクト)が配置される。なお、ステータスが「おすすめ」かつ「掲載予定」である写真は、オブジェクトJ23に配置されなくてもよい。同様に、ステータスが「おすすめ」かつ「検討中」である写真は、オブジェクトJ23に配置されなくてもよい。また、オブジェクトJ23内に配置される写真は、評価情報(評価値)に基づいてソートされてもよい。 The object J23 is a photo that belongs to the group corresponding to the active object J21 and whose status is "recommended", that is, the (object) selected as the recommended photo for the group in step S134. Note that a photo whose status is "recommended" and "scheduled to be published" does not need to be placed in the object J23. Similarly, a photo whose status is "recommended" and "under consideration" does not need to be placed in the object J23. Further, the photos placed in the object J23 may be sorted based on evaluation information (evaluation value).
オブジェクトJ24は、アクティブなオブジェクトJ21に対応するグループに属し、かつステータスが「検討中」である写真(オブジェクト)が配置される。なお、オブジェクトJ24内に配置される写真は、評価情報(評価値)に基づいてソートされてもよい。 A photo (object) that belongs to the group corresponding to the active object J21 and whose status is "under consideration" is placed in the object J24. Note that the photos placed in the object J24 may be sorted based on evaluation information (evaluation value).
オブジェクトJ25は、アクティブなオブジェクトJ21に対応するグループに属し、かつステータスが「その他」である写真(オブジェクト)が配置される。なお、オブジェクトJ25内に配置される写真は、評価情報(評価値)に基づいてソートされてもよい。 The object J25 is a photograph (object) that belongs to the group corresponding to the active object J21 and whose status is "other". Note that the photos placed in the object J25 may be sorted based on evaluation information (evaluation value).
オブジェクトJ26は、写真(写真のサムネイルであってもよい)を表示する。また、オブジェクトJ26は、付加情報を表示し得る。付加情報は、例えば評価情報を含んでもよい。これにより、ユーザは、自己の主観評価に加えて、サーバ30による評価情報を参考にして、アルバムに掲載する写真を効率的に決定することができる。 Object J26 displays a photo (which may be a thumbnail of the photo). Object J26 can also display additional information. Additional information may include evaluation information, for example. Thereby, the user can efficiently decide which photos to post in the album by referring to the evaluation information provided by the server 30 in addition to his or her own subjective evaluation.
さらに、オブジェクトJ26は、以下の少なくとも1つのユーザ指示を受け付けてもよい。サーバ30は、受け付けたユーザ指示に応じて、提示対象の情報を変更し、または写真データベース(図5)におけるステータス情報を変更し得る。
・写真の詳細情報を表示するためのユーザ指示
・写真を拡大表示するためのユーザ指示
・写真のステータスにおいて「掲載予定」を有効化または解除するためのユーザ指示
・写真のステータスにおいて「検討中」を有効化または解除するためのユーザ指示
Furthermore, object J26 may accept at least one of the following user instructions. The server 30 may change the information to be presented or change the status information in the photo database (FIG. 5) in accordance with the received user instruction.
・User instructions for displaying detailed information about the photo ・User instructions for enlarging the photo ・User instructions for enabling or canceling "Planned to be posted" in the photo status ・User instructions for "Under consideration" in the photo status User instructions for activating or deactivating
写真の詳細情報を表示するためのユーザ指示に応じて、クライアント装置10は例えば図10に示す画面をディスプレイ21に表示してもよい。 In response to a user instruction for displaying detailed information of a photo, the client device 10 may display, for example, a screen shown in FIG. 10 on the display 21.
図10の画面は、オブジェクトJ30~J37を含む。
オブジェクトJ30は、選択中の写真が属するグループを表示する。
オブジェクトJ31は、選択中の写真(写真のサムネイルであってもよい)を表示する。
The screen in FIG. 10 includes objects J30 to J37.
Object J30 displays the group to which the selected photo belongs.
Object J31 displays the selected photo (which may be a thumbnail of the photo).
オブジェクトJ32は、選択中の写真のステータスにおいて「掲載予定」を有効化するためのユーザ指示を受け付ける。サーバ30は、受け付けたユーザ指示に応じて、写真データベース(図5)におけるステータス情報を変更する。 Object J32 accepts a user instruction to enable "scheduled publication" in the status of the selected photo. The server 30 changes the status information in the photo database (FIG. 5) according to the received user instruction.
オブジェクトJ33は、選択中の写真のステータスにおいて「検討中」を有効化するためのユーザ指示を受け付ける。サーバ30は、受け付けたユーザ指示に応じて、写真データベース(図5)におけるステータス情報を変更する。 Object J33 accepts a user instruction to enable "under consideration" in the status of the selected photo. The server 30 changes the status information in the photo database (FIG. 5) according to the received user instruction.
オブジェクトJ34は、選択中の写真において特定された人物の情報(例えば当該人物の代表的な顔画像)を表示する。オブジェクトJ34のほか、特定された人物の情報(例えば名前の情報)を表示するオブジェクトが配置されてもよい。なお、登場人物の特定(S132)の第2例のように特定された人物の情報が登録されていない場合に、ユーザは、特定された人物に対して名前(例えば実名(姓のみ、または姓と名の一部との組み合わせを含み得る)、ニックネーム、または出席番号)を付けてもよい。 Object J34 displays information about the person specified in the selected photo (for example, a representative face image of the person). In addition to the object J34, an object that displays information on the identified person (for example, name information) may be arranged. Note that when the information of the identified person is not registered as in the second example of character identification (S132), the user can provide the identified person with a name (for example, real name (last name only or last name)). and part of their first name), a nickname, or an attendance number).
オブジェクトJ35は、選択中の写真が属する(つまり、オブジェクトJ30に表示される)グループに対応するイベントで撮影され、かつ「掲載予定」のステータスを持つ写真に亘る各人物の登場回数を表示する。 Object J35 displays the number of appearances of each person in photos taken at an event corresponding to the group to which the selected photo belongs (that is, displayed in object J30) and has a status of "scheduled to be published."
オブジェクトJ36は、「掲載予定」のステータスを持つ全写真に亘る各人物の登場回数を表示する。 Object J36 displays the number of appearances of each person across all photos with the status of "scheduled to be published."
なお、オブジェクトJ35,J36は例示に過ぎず、以下の少なくとも1つの情報を表示するオブジェクトが画面に配置されてよいし、当該情報が別の画面で表示されてもよい。
・特定のステータスを持つ全写真に亘る各人物の登場回数の情報
・特定のステータスを持つ全写真の一部を構成する特定の集団(例えば、特定のイベントで撮影された写真、特定のグループに属する写真、など)に亘る各人物の登場回数の情報
・全写真に亘る各人物の登場回数の情報
・全写真の一部を構成する特定の集団(例えば、特定のイベントで撮影された写真、特定のグループに属する写真、など)に亘る各人物の登場回数の情報
Note that the objects J35 and J36 are merely examples, and an object that displays at least one of the following information may be placed on the screen, or the information may be displayed on a separate screen.
・Information on the number of appearances of each person across all photos with a specific status ・Information on the number of appearances of each person across all photos with a specific status ・Information on a specific group that forms part of all photos with a specific status (for example, photos taken at a specific event, Information on the number of appearances of each person across all photos (e.g., photos taken at a specific event, Information on the number of times each person appears in photos belonging to a specific group, etc.)
オブジェクトJ37は、各人物が登場する写真を表示するためのユーザ指示を受け付けるオブジェクトである。オブジェクトJ37のいずれかが選択されると、クライアント装置10は、当該オブジェクトJ37対応する人物が登場する写真が配置された画面をディスプレイ21に表示する。この画面において、写真は、イベント、グループ、ステータス、または撮影日時別(例えば年単位でもよい)に整理されて配置されてよい。 Object J37 is an object that accepts user instructions for displaying photos in which each person appears. When one of the objects J37 is selected, the client device 10 displays on the display 21 a screen on which a photograph in which a person corresponding to the object J37 appears is arranged. On this screen, photos may be arranged and arranged by event, group, status, or date and time of shooting (for example, by year).
(5)小括
本実施形態のサーバ30は、複数の写真を画像特徴量に基づいて複数のグループに分類し、グループ毎に、当該グループに対して定められた基準枚数を上限として、当該グループに属する写真の少なくとも一部を選定する。そして、サーバ30は、選定された写真を含む情報を提示する。これにより、情報を提示されたユーザは、アルバムに掲載する写真をバランスよく効率的に決定することができる。
(5) Summary The server 30 of this embodiment classifies a plurality of photos into a plurality of groups based on the image feature amount, and for each group, the number of photos set for the group is set as the upper limit. Select at least some of the photos belonging to. The server 30 then presents information including the selected photo. Thereby, the user who is presented with the information can efficiently decide which photos to include in the album in a well-balanced manner.
サーバ30は、複数の写真をグループ間で共通の基準により評価し、グループ毎に当該グループに属する写真の評価に基づいて写真を選定してもよい。これにより、各グループにおいて評価の低い写真は選定されにくくなるので、情報を提示されたユーザは、アルバムに掲載する写真を効率的に決定することができる。 The server 30 may evaluate a plurality of photos among groups based on common criteria, and select photos for each group based on the evaluation of photos belonging to the group. This makes it difficult for photos with low ratings to be selected in each group, so the user who is presented with the information can efficiently decide which photos to post in the album.
サーバ30は、複数の写真の各々において被写体である人物の笑顔の度合いを判定し、当該笑顔の度合いに基づいて当該写真の評価を行ってもよい。これにより、各グループにおいて笑顔の度合いが高い写真が選定されやすくなるので、情報を提示されたユーザは、アルバムに掲載する写真を効率的に決定することができる。 The server 30 may determine the degree of smile of the person who is the subject in each of the plurality of photographs, and may evaluate the photograph based on the degree of smile. This makes it easier to select photos with a high degree of smiling in each group, so the user who is presented with the information can efficiently decide which photos to post in the album.
サーバ30は、複数の写真の各々において被写体である人物の手の形状に基づいて当該人物のジェスチャを判定し、判定結果に基づいて当該写真の評価を行ってもよい。これにより、各グループにおいて特定のジェスチャを行っている被写体を含んだ写真が選定されやすくなるので、情報を提示されたユーザは、アルバムに掲載する写真を効率的に決定することができる。 The server 30 may determine the gesture of the person who is the subject in each of the plurality of photographs based on the shape of the person's hand, and may evaluate the photograph based on the determination result. This makes it easier to select photos that include a subject making a specific gesture in each group, so the user who is presented with the information can efficiently decide which photos to post in the album.
サーバ30は、複数の写真の各々において被写体である人物の顔が収まっているか否かを判定し、当該被写体である人物の顔が収まっていない写真の評価を下げてもよい。これにより、各グループにおいて被写体の顔の一部が写っていない写真が選定されにくくなるので、情報を提示されたユーザは、アルバムに掲載する写真を効率的に決定することができる。 The server 30 may determine whether or not the face of the person as the subject is included in each of the plurality of photos, and lower the evaluation of the photo in which the face of the person as the subject is not included. This makes it difficult for photos that do not include a part of the subject's face to be selected in each group, so the user who is presented with the information can efficiently decide which photos to post in the album.
サーバ30は、複数の写真を、グループの個別の基準により評価してもよい。サーバ30は、複数の写真における被写体である人物の動作を判定し、判定結果とグループの個別の基準とに基づいて当該グループに属する写真を評価し、グループ毎に当該グループに属する写真の評価に基づいて写真を選定してもよい。これにより、各グループにおいて評価の低い写真は選定されにくくなるので、情報を提示されたユーザは、アルバムに掲載する写真を効率的に決定することができる。 Server 30 may evaluate multiple photos according to individual criteria for the group. The server 30 determines the motion of the person who is the subject in a plurality of photographs, evaluates the photographs belonging to the group based on the determination results and the individual criteria of the group, and evaluates the photographs belonging to the group for each group. You may select photos based on This makes it difficult for photos with low ratings to be selected in each group, so the user who is presented with the information can efficiently decide which photos to post in the album.
サーバ30は、各グループに属する写真のうち、選定済みの写真に対する類似度が閾値以上である写真を選定しなくてもよい。これにより、各グループにおいて極端に似通った複数の写真がまとめて選定されることがないので、情報を提示されたユーザは、アルバムに掲載する写真を効率的に決定することができる。 The server 30 does not have to select, from among the photos belonging to each group, photos whose degree of similarity to already selected photos is equal to or greater than a threshold. This prevents a plurality of extremely similar photos from being selected all at once in each group, so the user who is presented with the information can efficiently decide which photos to post in the album.
サーバ30は、ユーザ指示に応じて写真のステータスを変更し、特定のステータスを持つ全写真、または当該特定のステータスを持つ全写真の一部を構成する特定の集団における各人物の登場回数の情報を提示してもよい。これにより、情報を提示されたユーザは、各人物の登場回数を考慮しながら、アルバムに掲載する写真をバランスよく効率的に決定することができる。 The server 30 changes the status of a photo in accordance with a user's instruction, and displays information on the number of appearances of each person in all photos with a specific status or in a specific group that forms part of all photos with the specific status. may be presented. Thereby, the user who is presented with the information can efficiently decide which photos to post in the album in a well-balanced manner while considering the number of appearances of each person.
サーバ30は、選定された写真を当該写真に対する評価結果とともに提示してもよい。これにより、情報を提示されたユーザは、各写真の評価結果を考慮しながら、アルバムに掲載する写真を効率的に決定することができる。 The server 30 may present the selected photo together with the evaluation results for the photo. Thereby, the user who is presented with the information can efficiently decide which photos to post in the album while considering the evaluation results of each photo.
複数の写真は、同一のイベント中に撮影されたものであってよく、複数のグループの各々は、イベントを構成する個々のシーンに対応してもよい。これにより、ユーザは、同一イベントを構成する各シーンを意識して、アルバムに掲載する写真をバランスよく決定することができる。 The multiple photos may be taken during the same event, and each of the multiple groups may correspond to an individual scene that makes up the event. Thereby, the user can decide the photos to be posted in the album in a well-balanced manner, keeping in mind each scene that constitutes the same event.
サーバ30は、ユーザ指示に応じて基準枚数を決定してもよい。これにより、ユーザは、グループごとに選定される枚数(上限)を制御し、アルバムに掲載する写真を効率的に決定することができる。 The server 30 may determine the reference number of sheets according to a user instruction. This allows the user to control the number (upper limit) of photos to be selected for each group and efficiently determine photos to be posted in the album.
(6)変形例
上記説明では、図9の画面例を示した。しかしながら、推奨写真(および他のステータスの写真)は、イベント単位で提示されてもよい。
(6) Modification In the above description, the screen example shown in FIG. 9 was shown. However, recommended photos (and other status photos) may be presented on an event by event basis.
一例として、クライアント装置10は、図11に示す画面をディスプレイ21に表示する。図11の画面は、オブジェクトJ40,J42,J42a,J43,J44,J45,J46を含む。 As an example, the client device 10 displays the screen shown in FIG. 11 on the display 21. The screen in FIG. 11 includes objects J40, J42, J42a, J43, J44, J45, and J46.
オブジェクトJ40は、選択中のイベントを表示する。図11の画面には、ステップS130において取得された写真のうち、オブジェクトJ40によって指定されているイベントに属する全グループに対応する写真が配置される。 Object J40 displays the selected event. On the screen of FIG. 11, among the photos acquired in step S130, photos corresponding to all groups belonging to the event specified by object J40 are arranged.
オブジェクトJ42は、選択中のイベントのいずれかのグループに属し、かつステータスが「掲載予定」である写真(オブジェクト)が配置される。なお、オブジェクトJ42内に配置される写真は、評価情報(評価値)に基づいてソートされてもよい。 In the object J42, a photo (object) that belongs to any group of the currently selected event and whose status is "scheduled to be posted" is placed. Note that the photos placed within the object J42 may be sorted based on evaluation information (evaluation value).
オブジェクトJ42aは、選択中のイベントに対して設定されている掲載予定枚数の情報と、オブジェクトJ42内に配置されている(つまり、選択中のイベントのいずれかのグループに属し、かつステータスが「掲載予定」である)写真の枚数の情報とを表示する。 Object J42a has information about the number of pages scheduled to be posted for the currently selected event, and is placed within object J42 (that is, it belongs to any group of the currently selected event, and the status is "published"). information on the number of photos (planned).
オブジェクトJ43は、選択中のイベントのいずれかのグループに属し、かつステータスが「おすすめ」である写真、つまりステップS134においていずれかのグループの推奨写真として選定された(オブジェクト)が配置される。なお、ステータスが「おすすめ」かつ「掲載予定」である写真は、オブジェクトJ43に配置されなくてもよい。同様に、ステータスが「おすすめ」かつ「検討中」である写真は、オブジェクトJ43に配置されなくてもよい。また、オブジェクトJ43内に配置される写真は、評価情報(評価値)に基づいてソートされてもよい。 The object J43 is a photo that belongs to any group of the selected event and has a status of "recommended", that is, a (object) selected as a recommended photo for any group in step S134. Note that a photo whose status is "recommended" and "scheduled to be published" does not need to be placed in the object J43. Similarly, a photo whose status is "recommended" and "under consideration" does not need to be placed in object J43. Further, the photos placed within the object J43 may be sorted based on evaluation information (evaluation value).
オブジェクトJ44は、選択中のイベントのいずれかのグループに属し、かつステータスが「検討中」である写真(オブジェクト)が配置される。なお、オブジェクトJ44内に配置される写真は、評価情報(評価値)に基づいてソートされてもよい。 In the object J44, a photo (object) that belongs to any group of the selected event and whose status is "under consideration" is placed. Note that the photos placed in the object J44 may be sorted based on evaluation information (evaluation value).
オブジェクトJ45は、選択中のイベントのいずれかのグループに属し、かつステータスが「その他」である写真(オブジェクト)が配置される。なお、オブジェクトJ45内に配置される写真は、評価情報(評価値)に基づいてソートされてもよい。 In the object J45, a photo (object) that belongs to any group of the selected event and whose status is "other" is placed. Note that the photos placed in the object J45 may be sorted based on evaluation information (evaluation value).
オブジェクトJ46は、図9のオブジェクトJ26と同様である。 Object J46 is similar to object J26 in FIG.
(7)その他の変形例
記憶装置11は、ネットワークNWを介して、クライアント装置10と接続されてもよい。ディスプレイ21は、クライアント装置10に内蔵されてもよい。記憶装置31は、ネットワークNWを介して、サーバ30と接続されてもよい。
(7) Other Modifications The storage device 11 may be connected to the client device 10 via the network NW. Display 21 may be built into client device 10 . The storage device 31 may be connected to the server 30 via the network NW.
上記の情報処理の各ステップは、クライアント装置10及びサーバ30の何れでも実行可能である。例えば、いずれかの装置によって行われるとして説明された処理が別の装置によって行われたり、複数の装置のやり取りによって行われるとして説明された処理が単一の装置によって行われたりしてもよい。また、上記説明では、各処理において各ステップを特定の順序で実行する例を示したが、各ステップの実行順序は、依存関係がない限りは説明した例に制限されない。 Each step of the above information processing can be executed by either the client device 10 or the server 30. For example, processing described as being performed by one device may be performed by another device, or processing described as being performed by interaction of multiple devices may be performed by a single device. Further, in the above description, an example was shown in which each step is executed in a specific order in each process, but the execution order of each step is not limited to the example described as long as there is no dependency relationship.
上記説明では、評価および類似度に基づいて、グループ毎に写真を選定する例を説明した。しかしながら、サーバ30は、人物の登場回数の統計量にさらに基づいて、グループ毎に写真を選定してもよい。これにより、選定された複数の写真に亘る人物の登場回数の統計量が制御されるので、情報を提示されたユーザは、アルバムに掲載する写真をバランスよく効率的に決定することができる。
具体的には、サーバ30は、複数のグループに亘って選定した写真における各人物の登場回数の統計量(例えば、分散、最大値、最小値、平均値、中央値、最頻値、第一四分位数、第三四分位数、または合計など)が基準を満たすように、写真を選定してもよい。第1例として、サーバ30は、複数のグループに亘って選定した写真における各人物の登場回数の分散(「散布度」の一例)が閾値以下となるように、評価値および類似度に基づく選定結果を補正してもよい。上記補正では、選定済みの第1写真の代わりに、未選定の第2写真(第1写真よりも評価値は低いが、選定した場合に分散が改善する写真)が選定され得る。第2例として、サーバ30は、複数のグループに亘って選定した写真における各人物の登場回数の最小値が閾値(例えば「1」)以上となるように、評価値および類似度に基づく選定結果を補正してもよい。上記補正では、選定済みの第1写真の代わりに、未選定の第2写真(登場回数が閾値以下の人物が写った写真)が選定され得る。第3例として、サーバ30は、複数のグループに亘って選定した写真における各人物の登場回数の最大値が閾値以下となるように、評価値および類似度に基づく選定結果を補正してもよい。上記補正では、選定済みの第1写真(登場回数が閾値以上の人物が写っている写真)の代わりに、未選定の第2写真(かかる人物が写っていない写真)が選定され得る。
In the above explanation, an example was explained in which photos are selected for each group based on evaluation and similarity. However, the server 30 may select photos for each group based further on statistics of the number of times a person appears. This controls the statistics of the number of appearances of a person across a plurality of selected photos, so the user who is presented with the information can efficiently decide which photos to post in the album in a well-balanced manner.
Specifically, the server 30 stores statistics (for example, variance, maximum value, minimum value, average value, median value, mode, first value, Photos may be selected such that they meet criteria (such as a quartile, a third quartile, or a total). As a first example, the server 30 performs selection based on evaluation values and similarity so that the variance of the number of appearances of each person in photos selected across multiple groups (an example of "dispersion") is less than or equal to a threshold. The results may be corrected. In the above correction, an unselected second photo (a photo with a lower evaluation value than the first photo, but whose dispersion would improve if selected) may be selected instead of the selected first photo. As a second example, the server 30 selects the selection results based on the evaluation value and similarity so that the minimum number of appearances of each person in the photos selected across multiple groups is equal to or greater than a threshold value (for example, "1"). may be corrected. In the above correction, an unselected second photo (a photo of a person whose number of appearances is equal to or less than a threshold value) may be selected instead of the selected first photo. As a third example, the server 30 may correct the selection result based on the evaluation value and similarity so that the maximum number of appearances of each person in photos selected across multiple groups is equal to or less than a threshold value. . In the above correction, an unselected second photo (a photo that does not include such a person) may be selected instead of the selected first photo (a photo that includes a person whose number of appearances is equal to or greater than a threshold value).
以上、本発明の実施形態について詳細に説明したが、本発明の範囲は上記の実施形態に限定されない。また、上記の実施形態は、本発明の主旨を逸脱しない範囲において、種々の改良や変更が可能である。また、上記の実施形態及び変形例は、組合せ可能である。 Although the embodiments of the present invention have been described in detail above, the scope of the present invention is not limited to the above embodiments. Moreover, various improvements and changes can be made to the embodiments described above without departing from the spirit of the present invention. Furthermore, the above embodiments and modifications can be combined.
1 :情報処理システム
10 :クライアント装置
11 :記憶装置
12 :プロセッサ
13 :入出力インタフェース
14 :通信インタフェース
21 :ディスプレイ
30 :サーバ
31 :記憶装置
32 :プロセッサ
33 :入出力インタフェース
34 :通信インタフェース
1 : Information processing system 10 : Client device 11 : Storage device 12 : Processor 13 : Input/output interface 14 : Communication interface 21 : Display 30 : Server 31 : Storage device 32 : Processor 33 : Input/output interface 34 : Communication interface
Claims (2)
複数の写真を画像特徴量に基づいて複数のグループに分類する手段、
前記複数の写真を、前記グループの個別の基準により評価する手段、
前記グループ毎に、当該グループに対して定められた基準枚数を上限として、当該グループに属する写真の少なくとも一部を選定する手段、
選定された写真を含む情報を提示する手段、
として機能させ、
前記評価する手段は、前記複数の写真における被写体である人物の動作を判定し、判定結果と前記グループの個別の基準とに基づいて当該グループに属する写真を評価し、
前記選定する手段は、前記グループ毎に、当該グループに属する写真の評価に基づいて写真を選定する、
プログラム。 computer,
means for classifying multiple photos into multiple groups based on image features;
means for evaluating the plurality of photos according to individual criteria of the group;
means for selecting, for each group, at least a portion of the photos belonging to the group, up to a reference number determined for the group;
means for presenting information including selected photographs;
function as
The evaluating means determines the motion of the person who is the subject in the plurality of photographs, and evaluates the photographs belonging to the group based on the determination result and the individual criteria of the group,
The selecting means selects photos for each group based on evaluations of photos belonging to the group.
program.
複数の写真を画像特徴量に基づいて複数のグループに分類するステップと、
前記複数の写真を、前記グループの個別の基準により評価するステップと、
前記グループ毎に、当該グループに対して定められた基準枚数を上限として、当該グループに属する写真の少なくとも一部を選定するステップと、
選定された写真を含む情報を提示するステップと
を実行し、
前記評価するステップでは、前記複数の写真における被写体である人物の動作を判定し、判定結果と前記グループの個別の基準とに基づいて当該グループに属する写真を評価し、
前記選定するステップでは、前記グループ毎に、当該グループに属する写真の評価に基づいて写真を選定する、
方法。 The computer is
classifying a plurality of photos into a plurality of groups based on image features;
evaluating the plurality of photos according to individual criteria of the group;
For each group, selecting at least some of the photos belonging to the group, up to a reference number determined for the group;
performing the steps of presenting information including the selected photo;
In the step of evaluating, the motion of the person who is the subject in the plurality of photographs is determined, and the photographs belonging to the group are evaluated based on the determination result and the individual criteria of the group;
In the selecting step, photos are selected for each group based on evaluations of photos belonging to the group.
Method.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022168749A JP7406757B1 (en) | 2022-10-21 | 2022-10-21 | methods and programs |
JP2023206562A JP2024061688A (en) | 2022-10-21 | 2023-12-07 | Information processing device, method, program, and system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022168749A JP7406757B1 (en) | 2022-10-21 | 2022-10-21 | methods and programs |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023206562A Division JP2024061688A (en) | 2022-10-21 | 2023-12-07 | Information processing device, method, program, and system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP7406757B1 true JP7406757B1 (en) | 2023-12-28 |
JP2024061060A JP2024061060A (en) | 2024-05-07 |
Family
ID=89321008
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022168749A Active JP7406757B1 (en) | 2022-10-21 | 2022-10-21 | methods and programs |
JP2023206562A Pending JP2024061688A (en) | 2022-10-21 | 2023-12-07 | Information processing device, method, program, and system |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023206562A Pending JP2024061688A (en) | 2022-10-21 | 2023-12-07 | Information processing device, method, program, and system |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP7406757B1 (en) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101256679A (en) * | 2007-02-22 | 2008-09-03 | 索尼株式会社 | Information processing apparatus, image display apparatus, control methods therefor |
WO2009090804A1 (en) * | 2008-01-18 | 2009-07-23 | Nikon Corporation | Image group title assigning device, image grouping device, representative image determination device for image group, image display device, camera and image display program |
JP2009169209A (en) * | 2008-01-18 | 2009-07-30 | Olympus Imaging Corp | Image display apparatus, image display method, and image display program |
JP2011170690A (en) * | 2010-02-19 | 2011-09-01 | Sony Corp | Information processor, information processing method and program |
JP2021152965A (en) * | 2017-12-28 | 2021-09-30 | 富士フイルム株式会社 | Information processing apparatus, image processing method, program, and recording medium |
JP2022006415A (en) * | 2020-06-24 | 2022-01-13 | 富士フイルム株式会社 | Image processing device, image processing method, program and recording medium |
-
2022
- 2022-10-21 JP JP2022168749A patent/JP7406757B1/en active Active
-
2023
- 2023-12-07 JP JP2023206562A patent/JP2024061688A/en active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101256679A (en) * | 2007-02-22 | 2008-09-03 | 索尼株式会社 | Information processing apparatus, image display apparatus, control methods therefor |
WO2009090804A1 (en) * | 2008-01-18 | 2009-07-23 | Nikon Corporation | Image group title assigning device, image grouping device, representative image determination device for image group, image display device, camera and image display program |
JP2009169209A (en) * | 2008-01-18 | 2009-07-30 | Olympus Imaging Corp | Image display apparatus, image display method, and image display program |
JP2011170690A (en) * | 2010-02-19 | 2011-09-01 | Sony Corp | Information processor, information processing method and program |
JP2021152965A (en) * | 2017-12-28 | 2021-09-30 | 富士フイルム株式会社 | Information processing apparatus, image processing method, program, and recording medium |
JP2022006415A (en) * | 2020-06-24 | 2022-01-13 | 富士フイルム株式会社 | Image processing device, image processing method, program and recording medium |
Also Published As
Publication number | Publication date |
---|---|
JP2024061060A (en) | 2024-05-07 |
JP2024061688A (en) | 2024-05-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6745857B2 (en) | Learning device, learning system, and learning method | |
US10417277B2 (en) | Ranking and selecting images for display from a set of images | |
Ghadiyaram et al. | Massive online crowdsourced study of subjective and objective picture quality | |
KR102246241B1 (en) | Automatic suggestions for sharing images | |
EP3568787A1 (en) | Automatic image sharing with designated users over a communication network | |
US20050043897A1 (en) | Biometric compatibility matching system | |
US10679041B2 (en) | Hybrid deep learning method for recognizing facial expressions | |
WO2013192199A1 (en) | Automated memory book creation | |
KR20080027237A (en) | Compatibility scoring of users in a social network | |
US20220345435A1 (en) | Automated image processing and insight presentation | |
WO2019116658A1 (en) | Information processing device, information processing method, and program | |
CN107302492A (en) | Friend-making requesting method, server, client terminal device and the system of social software | |
US20170109614A1 (en) | Automatic picture classifying system and method in a dining environment | |
JP2012078768A (en) | Person matching device, method and program | |
JP6970641B2 (en) | Emotion Guessing Method, Emotion Guessing Device and Program | |
JP7406757B1 (en) | methods and programs | |
JP2020052765A (en) | Image processing apparatus, image processing method, program, and recording medium | |
JP6367169B2 (en) | Image processing apparatus, image processing method, program, and recording medium | |
KR102258636B1 (en) | Interview Automatic Evaluation Model Learning Method, System and Computer-readable Medium | |
US20210056154A1 (en) | User information sharing apparatus, user information sharing method and user information sharing system | |
JP6998027B1 (en) | Information processing method, information processing system, imaging device, server device and computer program | |
JP6896608B2 (en) | Information presentation devices, methods and programs | |
US20220284324A1 (en) | Methods and systems for identifying and generating images of faces attractive to many people | |
JP7152357B2 (en) | Correct data creation support system and correct data creation support method | |
JP5156342B2 (en) | Image analysis apparatus and information exchange system having the image analysis apparatus. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221021 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221102 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20221102 |
|
A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20221102 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230220 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230418 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230718 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230905 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231204 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231207 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7406757 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |