JP2018077712A - Information processing device and information processing program - Google Patents
Information processing device and information processing program Download PDFInfo
- Publication number
- JP2018077712A JP2018077712A JP2016219727A JP2016219727A JP2018077712A JP 2018077712 A JP2018077712 A JP 2018077712A JP 2016219727 A JP2016219727 A JP 2016219727A JP 2016219727 A JP2016219727 A JP 2016219727A JP 2018077712 A JP2018077712 A JP 2018077712A
- Authority
- JP
- Japan
- Prior art keywords
- evaluation
- image data
- unit
- model
- evaluation model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 53
- 238000011156 evaluation Methods 0.000 claims abstract description 180
- 238000013210 evaluation model Methods 0.000 claims abstract description 160
- 230000002596 correlated effect Effects 0.000 claims abstract description 24
- 238000000605 extraction Methods 0.000 claims description 59
- 239000000284 extract Substances 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 9
- 238000010801 machine learning Methods 0.000 claims description 6
- 238000000034 method Methods 0.000 description 55
- 238000013500 data storage Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 230000000875 corresponding effect Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 3
- 238000013145 classification model Methods 0.000 description 3
- 238000003066 decision tree Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000006249 magnetic particle Substances 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
本発明は、情報処理装置及び情報処理プログラムに関する。 The present invention relates to an information processing apparatus and an information processing program.
従来、画像データから所定の特徴量を抽出し、抽出された特徴量に基づいて画像データの良否を判定し、画像データに評価値を付与する技術が知られている。例えば下記特許文献１には、画像データから抽出された特徴量を予め定められた評価式（評価モデル）に代入することで、当該画像データの評価値を算出し、評価値の高い画像データをアルバムに割り付ける画像データとして自動選択することが開示されている。 Conventionally, a technique is known in which a predetermined feature amount is extracted from image data, the quality of the image data is determined based on the extracted feature amount, and an evaluation value is assigned to the image data. For example, in Patent Document 1 below, by assigning a feature amount extracted from image data to a predetermined evaluation formula (evaluation model), an evaluation value of the image data is calculated, and image data with a high evaluation value is obtained. Automatic selection as image data to be assigned to an album is disclosed.
上記手法によれば、画像データの評価値に応じた操作（上記例では、評価値の高い画像データをアルバムに割り付ける操作）を出力することができる。しかしながら、上記手法で用いられる評価式は、一般的な画像の良否の基準に基づくものであり、画像データを評価するユーザ（例えば画像データを所有するユーザ）の特性（嗜好及び行動特性等）を反映したものではない。このため、ユーザによっては、適切な操作（上記例では、ユーザにとって適切な画像をアルバムに割り付ける操作）が出力されないおそれがある。 According to the above method, an operation according to the evaluation value of the image data (in the above example, an operation of assigning image data having a high evaluation value to the album) can be output. However, the evaluation formula used in the above method is based on general image quality criteria, and the characteristics (preference and behavior characteristics, etc.) of the user who evaluates the image data (for example, the user who owns the image data). It is not a reflection. For this reason, depending on the user, an appropriate operation (in the above example, an operation for assigning an image appropriate for the user to an album) may not be output.
そこで、本発明の一側面は、ユーザの特性に応じた画像データに対する操作を出力可能な情報処理装置及び情報処理プログラムを提供することを目的とする。 Accordingly, an object of one aspect of the present invention is to provide an information processing apparatus and an information processing program that can output an operation on image data in accordance with user characteristics.
本発明の一側面に係る情報処理装置は、画像データの所定の特徴量を入力して当該画像データの評価値を出力する評価モデルと、画像データに対するユーザの操作であって、評価モデルにより出力される評価値と相関のある操作とを関連付けた関連付け情報を生成する生成部と、評価モデルを用いて一の画像データの評価値を算出する評価部と、評価部により算出された評価値に応じて、関連付け情報において評価モデルに関連付けられた操作を示す情報を、一の画像データについて推奨される操作を示す情報として出力する出力部と、を備える。 An information processing apparatus according to an aspect of the present invention includes an evaluation model that inputs a predetermined feature amount of image data and outputs an evaluation value of the image data, and a user operation on the image data, which is output by the evaluation model A generation unit that generates association information that associates an evaluation value with a correlated operation, an evaluation unit that calculates an evaluation value of one image data using an evaluation model, and an evaluation value calculated by the evaluation unit And an output unit that outputs information indicating an operation associated with the evaluation model in the association information as information indicating an operation recommended for one image data.
本発明の一側面に係る情報処理装置によれば、一の画像データについて評価モデルにより出力された評価値に応じて、当該評価モデルの評価値と相関のあるユーザの操作（例えば、当該評価モデルの評価値が高い場合に当該ユーザにより実行される傾向がある操作）を、当該一の画像データについて推奨される操作として出力することができる。従って、上記情報処理装置によれば、ユーザの特性に応じた画像データに対する操作を出力することができる。 According to the information processing apparatus according to one aspect of the present invention, a user operation (for example, the evaluation model) correlated with the evaluation value of the evaluation model according to the evaluation value output by the evaluation model for one image data. The operation that tends to be executed by the user when the evaluation value is high) can be output as a recommended operation for the one image data. Therefore, according to the information processing apparatus, it is possible to output an operation on the image data according to the user characteristics.
本発明の一側面によれば、ユーザの特性に応じた画像データに対する操作を出力可能な情報処理装置及び情報処理プログラムを提供することができる。 According to one aspect of the present invention, it is possible to provide an information processing apparatus and an information processing program that can output an operation on image data in accordance with user characteristics.
以下、添付図面を参照して、本発明の一実施形態について詳細に説明する。なお、図面の説明において同一又は相当要素には同一符号を付し、重複する説明を省略する。 Hereinafter, an embodiment of the present invention will be described in detail with reference to the accompanying drawings. In the description of the drawings, the same or corresponding elements are denoted by the same reference numerals, and redundant description is omitted.
図１は、本発明の一実施形態に係る情報処理装置１０の機能構成を示す図である。情報処理装置１０は、評価モデルにより出力された画像データの評価値に応じて、当該評価モデルに関連付けられた操作を当該画像データについて推奨される操作として出力する装置である。本実施形態では一例として、情報処理装置１０は、スマートフォン及びタブレット端末等のユーザが所有する携帯端末に実装されている。ただし、情報処理装置１０は、これに限られず、例えばパーソナルコンピュータ及びサーバ装置等の据置型のコンピュータ装置等であってもよい。
FIG. 1 is a diagram showing a functional configuration of an
評価モデルとは、画像データの所定の特徴量を入力して当該画像データの評価値を出力するものであり、例えば一以上の特徴量を示す数値を説明変数として入力することで目的変数としての評価値が求まる関数として表現され得る。評価モデルは、例えば正例（評価値が「１」）となるべき複数の画像データ及び負例（評価値が「０」）となるべき複数の画像データを学習データとして用いた所定の機械学習を実行することにより得られる。このような評価モデルにより一の画像データについて得られる評価値が大きい（１に近い）ことは、一の画像データが正例として入力された画像データに類似する度合いが大きいことを示す。一方、上記評価値が小さい（０に近い）ことは、一の画像データが正例として入力された画像データに類似する度合いが小さいことを示す。従って、正例又は負例として用いられる画像データの特徴に応じて、生成される評価モデルの特徴も異なる。例えば写真の教科書等において良い見本として掲載されている写真（画像データ）を正例として用いて評価モデルを生成した場合、教科書的なセオリーに則って撮影された写真程高い評価値を出力する傾向のある評価モデルが得られると考えられる。また、特定の人が好きな写真を正例として用いて評価モデルを生成した場合、当該特定の人の嗜好に合致する度合いが大きい写真程高い評価値を出力する傾向のある評価モデルが得られると考えられる。 An evaluation model is a method for inputting a predetermined feature amount of image data and outputting an evaluation value of the image data. For example, by inputting a numerical value indicating one or more feature amounts as an explanatory variable, It can be expressed as a function for which an evaluation value is obtained. The evaluation model is, for example, predetermined machine learning using, as learning data, a plurality of image data to be positive examples (evaluation value is “1”) and a plurality of image data to be negative examples (evaluation value is “0”). Is obtained by executing A large evaluation value obtained for one image data by such an evaluation model (close to 1) indicates that the degree of similarity between the one image data and the image data input as a positive example is large. On the other hand, a small evaluation value (close to 0) indicates that the degree to which one image data is similar to the image data input as a positive example is small. Therefore, the characteristics of the generated evaluation model differ depending on the characteristics of the image data used as the positive example or the negative example. For example, when an evaluation model is generated using a photograph (image data) listed as a good sample in a textbook of photographs as a positive example, the tendency is to output a higher evaluation value for a photograph taken in accordance with a textbook theory It is thought that a certain evaluation model can be obtained. In addition, when an evaluation model is generated using a photograph that a specific person likes as a positive example, an evaluation model that tends to output a higher evaluation value is obtained for a photo that has a higher degree of matching with the specific person's preference. it is conceivable that.
評価モデルに関連付けられた操作とは、画像データに対するユーザの操作であって、評価モデルにより出力される評価値と相関のある操作である。評価値と相関のある操作とは、評価値についての所定の傾向（例えば、評価値が高いこと）に対応する所定の傾向（例えば、実行される確率が高いこと）を有する操作を示す。例えば、特定の評価モデルによる評価値が高い（例えば所定の閾値以上である）画像データについて、ユーザによって所定のＳＮＳ（Social Networking Service）サイトに投稿され易い傾向がある場合について考える。この場合、当該特定の評価モデルには、画像データを所定のＳＮＳサイトに投稿するというユーザの操作が、当該評価モデルにより出力される評価値と相関のある操作として関連付けられ得る。情報処理装置１０は、このような関連付けを示す関連付け情報を生成すると共に、このような関連付け情報を参照することにより、任意の画像データについて推奨される操作を示す情報を出力することができる。例えば、情報処理装置１０は、推奨される操作を示す情報を情報処理装置１０のディスプレイ等に出力することで、ユーザに提示することができる。また、情報処理装置１０は、推奨される操作を示す情報を例えば当該操作を実行する所定のアプリケーションに出力することで、当該操作を当該アプリケーションによって自動的に実行することもできる。
The operation associated with the evaluation model is a user operation on the image data and an operation correlated with the evaluation value output by the evaluation model. The operation having a correlation with the evaluation value indicates an operation having a predetermined tendency (for example, a high probability of being executed) corresponding to a predetermined tendency (for example, having a high evaluation value). For example, let us consider a case where image data having a high evaluation value according to a specific evaluation model (for example, a predetermined threshold value or more) tends to be posted on a predetermined SNS (Social Networking Service) site by a user. In this case, the user's operation of posting image data to a predetermined SNS site can be associated with the specific evaluation model as an operation correlated with the evaluation value output by the evaluation model. The
図１に示すように、情報処理装置１０は、機能的な構成要素として、データ格納部１１と、評価モデル格納部１２と、操作履歴格納部１３と、評価履歴格納部１４と、生成部１５と、関連付け情報格納部１６と、評価部１７と、出力部１８と、を備える。生成部１５は、関連付け情報を生成するための第１の処理を実行するための機能的な構成要素として、操作履歴取得部１５１と、抽出部１５２と、評価モデル生成部１５３と、第１関連付け部１５４と、を有する。また、生成部１５は、関連付け情報を生成するための第２の処理を実行するための機能的な構成要素として、上述した操作履歴取得部１５１と、評価履歴取得部１５５と、操作抽出部１５６と、第２関連付け部１５７と、を有する。
As illustrated in FIG. 1, the
データ格納部１１は、複数の画像データを格納する。画像データは、例えば予め設定された解像度（例えば４０００×３０００ピクセル）で撮像された画像の情報であり、各画素の画素値（例えば、輝度、明度、及び色彩等を数値で表現した値）を示す情報等を含む。また、画像データには、例えばＥｘｉｆ（Exchangeable image file format）情報等の補助情報が埋め込まれていてもよい。Ｅｘｉｆ情報は、例えば撮影日時、シャッター速度、及び焦点距離等のような、撮影条件及び撮影時のカメラの設定等に関する情報を含む。 The data storage unit 11 stores a plurality of image data. The image data is, for example, information of an image captured at a preset resolution (for example, 4000 × 3000 pixels), and the pixel value of each pixel (for example, a value expressing luminance, brightness, color, and the like as numerical values). Includes information to show. In addition, auxiliary information such as Exif (Exchangeable image file format) information may be embedded in the image data. Exif information includes information related to shooting conditions and camera settings at the time of shooting, such as shooting date and time, shutter speed, and focal length.
評価モデル格納部１２は、複数の評価モデルを格納する。評価モデル格納部１２に格納されている各評価モデルは、それぞれ固有の特徴を有するモデル（すなわち、互いに異なる正例又は負例のセットを用いて生成された評価モデル）である。本実施形態では一例として、評価モデル格納部１２は、プロカメラマンであるＡ氏が撮影結果に納得している写真を正例として用いて生成された評価モデル（モデルＡ）と、プロカメラマンであるＢ氏が撮影結果に納得している写真を正例として用いて生成された評価モデル（モデルＢ）と、を格納している。
The evaluation
操作履歴格納部１３は、情報処理装置１０を使用するユーザ（以下単に「ユーザ」）によって、データ格納部１１に格納された画像データに対して実行された操作の履歴（操作履歴）を格納する。例えば、操作履歴は、操作が実行された操作日時及び操作内容等を対応付けた情報である。ただし、操作履歴のデータ形式は特定の態様に限られない。例えば、操作履歴は、操作日時を含まず、各操作が実行されたか否かを示す情報であってもよい。
The operation
図２は、操作履歴格納部１３に格納される操作履歴の一例を示す図である。図２に示すように、操作履歴に含まれる個々の情報（図２に示すテーブルの１レコード分の情報）は、画像ＩＤと操作内容とを関連付けた情報である。画像ＩＤは、データ格納部１１に格納されている画像データを一意に特定するための識別情報である。操作内容は、画像ＩＤにより特定される画像データに対してユーザによって実行された操作の内容を示す情報である。図２の例は、画像ＩＤが「1000」及び「1001」の２つの画像データに対して「アルバムへ保存」という操作が実行され、画像ＩＤが「1002」及び「1003」の２つの画像データに対して「ＳＮＳへ投稿」という操作が実行されたことを示している。
FIG. 2 is a diagram illustrating an example of an operation history stored in the operation
なお、このような操作履歴の生成（すなわち、操作内容の記録）は、例えば以下のようにして行われる。すなわち、操作履歴格納部１３は、画像データに対して実行される操作を監視し、予め登録された操作内容（操作パターン等）のいずれかが画像データに対して実行されたことを検知すると、操作対象とされた画像データの画像ＩＤと検知された操作内容とを関連付けた情報（図２に示すテーブルの１レコード分の情報）を追加する。予め登録される操作内容の例としては、図２に示した例のように、「アルバムへ保存」といった特定の領域（ここでは一例としてユーザが気に入った画像データが登録されるアルバム領域）への画像データの保存、及び「ＳＮＳへ投稿」といった所定のＳＮＳサイトへの画像データの投稿等が挙げられる。ただし、予め登録される操作内容は、これらの例に限られない。予め登録される操作内容は、例えば特定の宛先（例えばユーザの母親の連絡先として設定されたメールアドレス）へのメールに画像データを添付して送信する操作等であってもよいし、このような操作よりも比較的単純なデータ操作（例えば、画像データを削除する操作等）であってもよい。
Such operation history generation (that is, operation content recording) is performed as follows, for example. That is, the operation
評価履歴格納部１４は、評価モデル格納部１２に格納された各評価モデル（本実施形態では一例としてモデルＡ及びモデルＢ）により、データ格納部１１に格納された各画像データについて出力（算出）された評価値を格納する。
The evaluation
図３は、評価履歴格納部１４に格納される評価履歴の一例を示す図である。図３に示すように、評価履歴に含まれる個々の情報（図３に示すテーブルの１レコード分の情報）は、画像ＩＤと評価モデルＩＤと評価値とを関連付けた情報である。評価モデルＩＤは、評価モデル格納部１２に格納されている評価モデルを一意に特定するための識別情報である。評価値は、評価モデルＩＤにより特定される評価モデルにより、画像ＩＤにより特定される画像データについて出力された評価値である。図３の例では、画像ＩＤが「1000」の画像データについて、モデルＡによって評価値「0.68」が出力され、モデルＢによって評価値「0.78」が出力されたこと等を示している。
FIG. 3 is a diagram illustrating an example of the evaluation history stored in the evaluation
なお、このような評価履歴は、例えば、後述する評価部１７が各評価モデルを用いて各画像データについての評価値を算出する毎に、評価履歴格納部１４に格納される。
Such an evaluation history is stored in the evaluation
生成部１５は、評価モデルと、画像データに対するユーザの操作であって、評価モデルにより出力される評価値と相関のある操作とを関連付けた関連付け情報を生成する。生成部１５は、例えば、以下に述べる第１の処理及び第２の処理等を実行することにより、関連付け情報を生成する。生成部１５は、第１の処理及び第２の処理の両方を実行してもよいし、いずれか一方のみを実行してもよい。
The production |
（第１の処理）
第１の処理においては、生成部１５は、画像データに対してユーザにより実行された操作に関連付けられる評価モデルを新たに生成し、生成された評価モデルを当該操作に関連付けることで関連付け情報を生成する。具体的には、生成部１５は、操作履歴取得部１５１と、抽出部１５２と、評価モデル生成部１５３と、第１関連付け部１５４とにより、上述の処理を実行する。
(First process)
In the first process, the
操作履歴取得部１５１は、画像データと、当該画像データに対してユーザにより実行された操作とを関連付けた操作履歴を取得する。本実施形態では、操作履歴取得部１５１は、操作履歴格納部１３を参照することにより、操作履歴格納部１３に格納された操作履歴を取得することができる。ここでは一例として、操作履歴取得部１５１は、図２に示した操作履歴を取得するものとする。
The operation
抽出部１５２は、操作履歴取得部１５１により取得された操作履歴を参照し、一の操作が実行された一又は複数の画像データを正例として抽出し、一の操作が実行されていない一又は複数の画像データを負例として抽出する。例えば、一の操作が上述した「アルバムへ保存」の操作である場合、抽出部１５２は、「アルバムへ保存」の操作が実行された画像データ（画像ＩＤが「1000」の画像データ及び画像ＩＤが「1001」の画像データ）を正例として抽出する。一方、抽出部１５２は、「アルバムへ保存」の操作が実行されていない画像データ（画像ＩＤが「1002」の画像データ及び画像ＩＤが「1003」の画像データ）を負例として抽出する。
The
評価モデル生成部１５３は、抽出部１５２により抽出された正例及び負例を用いた機械学習を実行することにより、評価モデルを生成する。評価モデル生成部１５３は、このようにして生成された評価モデルを評価モデル格納部１２に格納する。
The evaluation
評価モデル生成部１５３により実行される機械学習としては、例えば重回帰分析、Convolutional Neural Network、及びＳＶＭ（サポートベクターマシン）等の従来公知の手法が利用され得る。また、評価モデル生成部１５３により生成される評価モデルは、特定の態様に限定されないが、例えば、画像データの所定の特徴量（例えば、各画素の画素値、Ｅｘｉｆ情報に埋め込まれた各種情報（例えばシャッター速度、及び焦点距離等）等）を説明変数として入力し、当該画像データの評価値を目的変数として出力する回帰モデル等である。
As machine learning executed by the evaluation
第１関連付け部１５４は、評価モデル生成部１５３により生成された評価モデルと上記一の操作（ここでは一例として「アルバムへ保存」の操作）とを関連付けた関連付け情報を生成する。第１関連付け部１５４は、このようにして生成された関連付け情報を関連付け情報格納部１６に格納する。
The
上述した第１の処理によれば、一の操作が実行された画像データ（正例）と当該一の操作が実行されていない画像データ（負例）とを用いて新たな評価モデルを生成することで、当該評価モデルと一の操作とを関連付けた関連付け情報を生成することができる。例えば、既存の評価モデル（評価モデル格納部１２に格納された評価モデル）の中に一の操作（上記例では「アルバムへ保存」）に関連付けることが適切な評価モデルが存在しない場合等に、上記第１の処理は適している。 According to the first process described above, a new evaluation model is generated using image data (positive example) in which one operation is executed and image data (negative example) in which the one operation is not executed. Thus, the association information that associates the evaluation model with one operation can be generated. For example, when there is no evaluation model suitable for associating with one operation ("save to album" in the above example) among existing evaluation models (evaluation model stored in the evaluation model storage unit 12) The first process is suitable.
（第２の処理）
第２の処理においては、生成部１５は、既存の評価モデルにより出力された画像データについての評価値と当該画像データに対して実行されたユーザ操作とに基づいて、当該既存の評価モデルにより出力された評価値と相関のある操作を抽出する。そして、生成部１５は、当該既存の評価モデルと抽出された操作とを関連付けることで関連付け情報を生成する。具体的には、生成部１５は、上述した操作履歴取得部１５１と、評価履歴取得部１５５と、操作抽出部１５６と、第２関連付け部１５７とにより、上述の処理を実行する。
(Second process)
In the second process, the
操作履歴取得部１５１は、上述の通り、操作履歴格納部１３を参照することにより、操作履歴格納部１３に格納された操作履歴を取得する。ここでは一例として、操作履歴取得部１５１は、図２に示した操作履歴を取得するものとする。
The operation
評価履歴取得部１５５は、画像データと、評価モデルと、当該画像データについて当該評価モデルにより出力された評価値とを関連付けた評価履歴を取得する。本実施形態では、評価履歴取得部１５５は、評価履歴格納部１４を参照することにより、評価履歴格納部１４に格納された評価履歴を取得することができる。ここでは一例として、評価履歴取得部１５５は、図３に示した評価履歴を取得するものとする。
The evaluation
操作抽出部１５６は、操作履歴取得部１５１により取得された操作履歴及び評価履歴取得部１５５により取得された評価履歴に基づいて、一又は複数の評価モデルにより出力された評価値と相関のある操作を抽出する。操作を抽出する処理は特定の態様に限定されないが、操作抽出部１５６は、例えば以下に述べる第１〜第３の抽出例の処理を実行することにより、操作を抽出することができる。
The
（第１の抽出例）
操作抽出部１５６は、一の評価モデルにより出力された評価値が所定の閾値α（例えばα＝０．７）以上である画像データを抽出する。そして、操作抽出部１５６は、抽出された一以上の画像データのうち所定の閾値β（例えばβ＝５０％）以上の割合の画像データに対して特定の操作が実行されている場合に、当該特定の操作を当該一の評価モデルにより出力された評価値と相関のある操作として抽出してもよい。なお、この例における閾値α及びβは、事前の実験及び検証等によって得られた適正値であってもよいし、ユーザ等によって任意に設定された値であってもよい。
(First extraction example)
The
図２及び図３の例では、モデルＡ（一の評価モデル）により出力された評価値が０．７以上である画像データ（画像ＩＤが「1001」、「1002」、及び「1003」の３つの画像データ）について、２／３（≒66.7％）の割合で「ＳＮＳへ投稿」の操作が実行されている。従って、操作抽出部１５６は、「ＳＮＳへ投稿」の操作をモデルＡにより出力された評価値と相関のある操作として抽出する。また、モデルＢ（一の評価モデル）により出力された評価値が０．７以上である画像データ（画像ＩＤが「1000」及び「1001」の２つの画像データ）について、２／２（＝100％）の割合で「アルバムへ保存」の操作が実行されている。従って、操作抽出部１５６は、「アルバムへ保存」の操作をモデルＢにより出力された評価値と相関のある操作として抽出する。
In the example of FIGS. 2 and 3, the image data (image IDs “1001”, “1002”, and “1003”) of which the evaluation value output by the model A (one evaluation model) is 0.7 or more are used. The operation “Post to SNS” is executed at a rate of 2/3 (≈66.7%). Therefore, the
（第２の抽出例）
操作抽出部１５６は、画像データ毎に最大の評価値を出力した評価モデルを特定し、最大の評価値を出力した評価モデルとして一の評価モデルが特定された画像データを抽出する。そして、操作抽出部１５６は、抽出された一以上の画像データのうち所定の閾値γ（例えばγ＝５０％）以上の割合の画像データに対して特定の操作が実行されている場合に、当該特定の操作を当該一の評価モデルにより出力された評価値と相関のある操作として抽出してもよい。なお、この例における閾値γは、事前の実験及び検証等によって得られた適正値であってもよいし、ユーザ等によって任意に設定された値であってもよい。
(Second extraction example)
The
図２及び図３の例では、最大の評価値を出力した評価モデルがモデルＡ（一の評価モデル）である画像データ（画像ＩＤが「1002」及び「1003」の２つの画像データ）について、２／２（＝100％）の割合で「ＳＮＳへ投稿」の操作が実行されている。従って、操作抽出部１５６は、「ＳＮＳへ投稿」の操作をモデルＡにより出力された評価値と相関のある操作として抽出する。また、最大の評価値を出力した評価モデルがモデルＢ（一の評価モデル）である画像データ（画像ＩＤが「1000」及び「1001」の２つの画像データ）について、２／２（＝100％）の割合で「アルバムへ保存」の操作が実行されている。従って、操作抽出部１５６は、「アルバムへ保存」の操作をモデルＢにより出力された評価値と相関のある操作として抽出する。
In the example of FIGS. 2 and 3, for image data (two image data with image IDs “1002” and “1003”) whose evaluation model that outputs the maximum evaluation value is model A (one evaluation model), The operation “Post to SNS” is executed at a rate of 2/2 (= 100%). Therefore, the
（第３の抽出例）
一の評価モデルによる評価値だけでは、相関のある操作を一意に抽出できない場合がある。例えば、上述した第１又は第２の抽出例の手法では、一のモデル（以下「モデルＣ」）により出力された評価値が高い場合と相関のある操作として「ＳＮＳへ投稿」及び「アルバムへ保存」の２つの操作が抽出され、モデルＣにより出力された評価値が低い場合と相関のある操作として「削除」及び「アルバムへ保存」の２つの操作が抽出され、他のモデル（以下「モデルＤ」）により出力された評価値が高い場合と相関のある操作として「アルバムへ保存」及び「削除」の２つの操作が抽出され、モデルＤにより出力された評価値が低い場合と相関のある操作として「ＳＮＳへ投稿」及び「アルバムへ保存」の２つの操作が抽出されるような場合があり得る。このような場合、単一のモデル（モデルＣ又はモデルＤ）の評価値のみを考慮しただけでは、相関のある操作を一意に特定することができない。そこで、第３の抽出例では、操作抽出部１５６は、複数（ここでは２つ）の評価モデルにより出力された評価値の組み合わせに基づいて、相関のある一の操作を抽出する。
(Third extraction example)
There is a case where a correlated operation cannot be uniquely extracted only by an evaluation value based on one evaluation model. For example, in the method of the first or second extraction example described above, “Post to SNS” and “To Album” are operations correlated with the case where the evaluation value output by one model (hereinafter “model C”) is high. Two operations “save” are extracted, and two operations “delete” and “save to album” are extracted as operations correlated with the case where the evaluation value output by the model C is low. Two operations of “Save to Album” and “Delete” are extracted as operations correlated with the case where the evaluation value output by the model D ”is high, and the correlation between the case where the evaluation value output by the model D is low There are cases where two operations of “post to SNS” and “save to album” are extracted as certain operations. In such a case, a correlated operation cannot be uniquely specified only by considering only the evaluation value of a single model (model C or model D). Therefore, in the third extraction example, the
例えば、操作抽出部１５６は、複数の評価モデル（ここではモデルＣ，Ｄ）により出力された評価値の組み合わせのパターン毎に、画像データを抽出する。ここでは一例として、操作抽出部１５６は、モデルＣの評価値が所定の閾値ｔ１以上であり且つモデルＤの評価値が所定の閾値ｔ２以上であるパターンＡ、モデルＣの評価値が閾値ｔ１以上であり且つモデルＤの評価値が閾値ｔ２未満であるパターンＢ、モデルＣの評価値が閾値ｔ１未満であり且つモデルＤの評価値が閾値ｔ２以上であるパターンＣ、及びモデルＣの評価値が閾値ｔ１未満であり且つモデルＤの評価値が閾値ｔ２未満であるパターンＤの各々に対応する画像データを抽出する。
For example, the
続いて、操作抽出部１５６は、一のパターン（例えばパターンＡ）について抽出された一以上の画像データのうち所定の閾値γ（例えばγ＝５０％）以上の割合の画像データに対して特定の操作が実行されている場合に、当該特定の操作を当該一のパターンと相関のある操作として抽出する。これにより、操作抽出部１５６は、例えばパターンＡと相関のある操作として一の操作（例えば「アルバムへ保存」の操作）を抽出し得る。同様に、操作抽出部１５６は、パターンＢと相関のある操作として「ＳＮＳへ投稿」の操作、パターンＣと相関のある操作として「削除」の操作、パターンＤと相関のある操作として「アルバムへ保存」の操作をそれぞれ抽出し得る。このように、複数の評価モデルの評価値の組み合わせに基づくことにより、一の評価モデルの評価値だけでは相関のある操作を一意に特定できない場合であっても、相関のある操作を一意に特定し得る。これにより、後述する出力部１８により、推奨される操作を示す情報として一の操作を示す情報を出力することが可能となる。その結果、ユーザに対して適切な一の操作（ユーザが実行しようと思う可能性が高いと考えられる操作）をレコメンドすること等が可能になる。
Subsequently, the
第２関連付け部１５７は、一又は複数の評価モデルと操作抽出部１５６により抽出された操作とを関連付けた関連付け情報を生成する。操作抽出部１５６が上述の第１及び第２の抽出例によって操作を抽出した場合には、第２関連付け部１５７は、一の評価モデルと操作抽出部１５６により抽出された操作とを関連付けた関連付け情報を生成する。上記例においては、操作抽出部１５６は、モデルＡと「ＳＮＳへ投稿」の操作とを関連付けた関連付け情報、及びモデルＢと「アルバムへ保存」の操作とを関連付けた関連付け情報を生成する。一方、操作抽出部１５６が上述の第３の抽出例によって操作を抽出した場合には、第２関連付け部１５７は、複数（ここでは２つ）の評価モデルと操作抽出部１５６により抽出された操作とを関連付けた関連付け情報を生成する。具体的には、第２関連付け部１５７は、モデルＣ及びモデルＤの評価値の組み合わせの各パターン（本実施形態では一例として上述した４つのパターンＡ〜Ｄ）と各パターンについて抽出された操作とを関連付けた関連付け情報を生成する。上記例では、第２関連付け部１５７は、パターンＡと「アルバムへ保存」の操作とを関連付けた関連付け情報、パターンＢと「ＳＮＳへ投稿」の操作とを関連付けた関連付け情報、パターンＣと「削除」の操作とを関連付けた関連付け情報、及びパターンＤと「アルバムへ保存」の操作とを関連付けた関連付け情報を生成する。第２関連付け部１５７は、このようにして生成された関連付け情報を関連付け情報格納部１６に格納する。
The
上述した第２の処理によれば、既存の一又は複数の評価モデルにより出力される評価値と相関のある操作を抽出することで、新たな評価モデルを生成することなく、既存の一又は複数の評価モデルと抽出された操作とを関連付けた関連付け情報を生成することができる。 According to the second process described above, by extracting an operation having a correlation with an evaluation value output by one or more existing evaluation models, one or more existing ones can be generated without generating a new evaluation model. The association information that associates the evaluation model with the extracted operation can be generated.
なお、上述した第３の抽出例では、操作抽出部１５６は、３つ以上の評価モデルの評価値の組み合わせのパターン毎に、相関のある操作を抽出してもよい。この場合、第２関連付け部１５７によって、３つ以上の評価モデルの評価値の組み合わせのパターンと当該パターンについて抽出された操作とを関連付けた関連付け情報が生成される。
In the above-described third extraction example, the
また、生成部１５は、操作抽出部１５６及び第２関連付け部１５７の処理を実行する代わりに、以下の処理を実行してもよい。すなわち、生成部１５は、操作履歴取得部１５１により取得された操作履歴及び評価履歴取得部１５５により取得された評価履歴に基づいて、複数の評価モデルの各々の評価値と実行された操作とが判明している画像データを学習データ（正解データ）として取得する。そして、生成部１５は、このようにして取得された学習データを用いた機械学習（例えば決定木分析等）を実行することにより、複数の評価モデルの評価値を説明変数として入力し、一の操作を目的変数として出力する分類モデル（例えば決定木）を生成する。このようにして生成される分類モデルは、説明変数として入力される複数の評価モデルの評価値と、目的変数として出力される一の操作とを関連付けた関連付け情報に相当する。
Moreover, the
上述した第１及び第２の処理（第１及び第２の抽出例）では、評価モデルにより出力された評価値が高い場合に、当該評価モデルと特定の操作とを関連付ける例について説明したが、評価モデルにより出力された評価値が低い場合に実行され易い傾向を有する操作もあり得る。従って、例えば、第１関連付け部１５４は、上述した第１の処理において、評価モデルにより出力された評価値が所定の閾値以下の画像データを抽出し、抽出された当該画像データに基づいて上述同様の処理を実行してもよい。また、第２関連付け部１５７は、上述した第２の処理において、画像データ毎に最低の評価値を出力した評価モデルに着目して、上述同様の処理を実行してもよい。
In the first and second processes (first and second extraction examples) described above, an example in which the evaluation model is associated with a specific operation when the evaluation value output by the evaluation model is high has been described. There may be an operation having a tendency to be easily executed when the evaluation value output by the evaluation model is low. Therefore, for example, in the first process described above, the
関連付け情報格納部１６は、生成部１５（第１関連付け部１５４又は第２関連付け部１５７）により生成された関連付け情報を格納する。具体的には、関連付け情報格納部１６には、例えば評価モデルＩＤと操作内容とを互いに関連付けた一又は複数の組情報が格納される。ただし、関連付け情報格納部１６に格納される関連付け情報のデータ構造は上記例に限られない。例えば、上述した第２の処理の第３の抽出例により生成された関連付け情報は、複数の評価モデルの各々の評価値の組み合わせのパターンを示す情報と当該パターンに対応する操作内容とを互いに関連付けた情報として関連付け情報格納部１６に格納され得る。また、関連付け情報格納部１６には、生成部１５が関連付け情報として生成した分類モデル（例えば決定木）を示す情報も格納され得る。
The association
評価部１７は、評価モデル格納部１２に格納されている評価モデルを用いて一の画像データの評価値を算出する。ここで、一の画像データは、例えばユーザによって評価対象として選択された画像データである。本実施形態では一例として、評価部１７は、評価モデル格納部１２に格納されている各評価モデルにより、一の画像データについての評価モデル毎の評価値を算出し、算出結果を出力部１８に出力する。
The
出力部１８は、評価部１７により算出された評価モデル毎の評価値を取得すると共に、関連付け情報格納部１６に格納された関連付け情報を参照する。そして、出力部１８は、評価部１７により算出された評価値に応じて、関連付け情報格納部１６に格納された関連付け情報において評価モデルに関連付けられた操作を示す情報を、一の画像データについて推奨される操作を示す情報として出力する。
The
例えば、関連付け情報格納部１６に、モデルＡと「ＳＮＳへ投稿」の操作とを関連付けた関連付け情報が格納されている場合について考える。この場合、出力部１８は、例えばモデルＡにより出力された一の画像データの評価値が所定の閾値（例えば０．７）以上であるか否かを判定する。そして、出力部１８は、所定の閾値以上と判定した場合に、上記関連付け情報においてモデルＡに関連付けられた「ＳＮＳへ投稿」の操作を示す情報を一の画像データについて推奨される操作を示す情報として出力してもよい。或いは、出力部１８は、一の画像データについて最大の評価値を出力した評価モデルがモデルＡであるとき、モデルＡに関連付けられた「ＳＮＳへ投稿」の操作を示す情報を一の画像データについて推奨される操作を示す情報として出力してもよい。ただし、出力部１８が、評価部１７により算出された評価値に応じて、関連付け情報において評価モデルに関連付けられた操作を示す情報を出力するか否かを判定する手法は、上記例に限られない。例えば、出力部１８は、上記２つの判定を組み合わせた処理を実行してもよい。すなわち、出力部１８は、一の画像データについて最大の評価値を出力した評価モデルがモデルＡであり、且つ、モデルＡにより出力された一の画像データの評価値が所定の閾値（例えば０．７）以上であるとき、モデルＡに関連付けられた「ＳＮＳへ投稿」の操作を示す情報を一の画像データについて推奨される操作を示す情報として出力してもよい。また、出力部１８は、上述した第２の処理の第３の抽出例によって生成された関連付け情報（複数の評価モデルの評価値の組み合わせのパターンと一の操作とを関連付けた情報）を参照することで、一の画像データに対する複数の評価モデルの評価値の組み合わせのパターンに関連付けられた操作を示す情報を、推奨される操作を示す情報として出力してもよい。
For example, consider the case where the association information storing the association between the model A and the “post to SNS” operation is stored in the association
出力部１８が推奨される操作を示す情報を出力する対象となる出力先は、特に限定されない。例えば、出力部１８は、推奨される操作を示す情報を、情報処理装置１０のディスプレイ等に表示出力してもよい。より具体的には、出力部１８は、推奨される操作を示す情報と共に、当該操作を実行するか否かをユーザに選択させるためのメニュー画面等を表示出力してもよい。この場合、ユーザに、推奨される操作を実行するか否かを選択させることが可能となる。これにより、ユーザの意思に基づいて推奨される操作を実行することが可能となる。
The output destination to which the
一方、例えば自動実行を許可する設定等がユーザによって予め設定されている場合等には、出力部１８は、推奨される操作を示す情報を、当該操作を実行するアプリケーション等に直接出力してもよい。この場合、推奨される操作を当該アプリケーション等によって自動的に実行することが可能となる。これにより、推奨される操作を実行するか否かについてのユーザの確認の手間を省くことができる。
On the other hand, for example, when a setting for permitting automatic execution is set in advance by the user, the
図４〜図６に示すフローチャートを参照して、情報処理装置１０の動作の一例を説明する。図４は、情報処理装置１０の動作の一例を示すフローチャートである。図５は、関連付け情報を生成するための第１の処理（図４のステップＳ１の処理の第１の例）の手順を示すフローチャートである。図６は、関連付け情報を生成するための第２の処理（図４のステップＳ１の処理の第２の例）の手順を示すフローチャートである。
An example of the operation of the
図４に示すように、まず、生成部１５が、評価モデルと、画像データに対するユーザの操作であって、評価モデルにより出力される評価値と相関のある操作とを関連付けた関連付け情報を生成する（ステップＳ１）。図５及び図６を参照して、ステップＳ１において生成部１５が関連付け情報を生成するために実行する処理の例（第１の処理及び第２の処理）について説明する。
As illustrated in FIG. 4, first, the
図５を参照して、第１の処理の手順の一例について説明する。まず、操作履歴取得部１５１が、操作履歴格納部１３から操作履歴（図２参照）を取得する（ステップＳ１０１）。続いて、抽出部１５２が、関連付け情報を生成する対象となる操作（一の操作）を選択し（ステップＳ１０２）、選択された操作が実行された画像データを正例として抽出し（ステップＳ１０３）、選択された操作が実行されていない画像データを負例として抽出する（ステップＳ１０４）。例えば、図２に示す操作履歴が取得され、「アルバムへ保存」の操作が関連付け情報を生成する対象として選択された場合、画像ＩＤが「1000」及び「1001」の画像データが正例として抽出され、画像ＩＤが「1002」及び「1003」の画像データが負例として抽出される。
An example of the procedure of the first process will be described with reference to FIG. First, the operation
続いて、評価モデル生成部１５３が、抽出部１５２により抽出された正例及び負例を用いた機械学習を実行することにより、新たな評価モデルを生成する。（ステップＳ１０５）。評価モデル生成部１５３により生成された評価モデルは、評価モデル格納部１２に格納される。
Subsequently, the evaluation
続いて、第１関連付け部１５４が、評価モデル生成部１５３により生成された評価モデルと上記選択された操作（ここでは一例として「アルバムへ保存」の操作）とを関連付けた関連付け情報を生成する（ステップＳ１０６）。第１関連付け部１５４により生成された関連付け情報は、関連付け情報格納部１６に格納される。
Subsequently, the
図６を参照して、第２の処理の手順の一例について説明する。まず、操作履歴取得部１５１が、操作履歴格納部１３から操作履歴（図２参照）を取得する（ステップＳ２０１）。また、評価履歴取得部１５５が、評価履歴格納部１４から評価履歴（図３参照）を取得する（ステップＳ２０２）。
With reference to FIG. 6, an example of the procedure of the second process will be described. First, the operation
続いて、操作抽出部１５６は、操作履歴取得部１５１により取得された操作履歴及び評価履歴取得部１５５により取得された評価履歴に基づいて、一又は複数の評価モデルにより出力された評価値と相関のある操作を抽出する（ステップＳ２０３）。例えば操作抽出部１５６は、上述した第１〜第３の抽出例のいずれかの処理を実行することにより、操作を抽出する。例えば上述した第１又は第２の抽出例の処理が実行される場合、図２及び図３の操作履歴及び評価履歴の例では、操作抽出部１５６は、「ＳＮＳへ投稿」の操作をモデルＡにより出力された評価値と相関のある操作として抽出し、「アルバムへ保存」の操作をモデルＢにより出力された評価値と相関のある操作として抽出する。
Subsequently, the
続いて、第２関連付け部１５７が、一又は複数の評価モデルと操作抽出部１５６により抽出された操作とを関連付けた関連付け情報を生成する（ステップＳ２０４）。例えば上述した第１又は第２の抽出例の処理が実行される場合、第２関連付け部１５７は、モデルＡと「ＳＮＳへ投稿」の操作とを関連付けた関連付け情報、及びモデルＢと「アルバムへ保存」の操作とを関連付けた関連付け情報を生成する。第２関連付け部１５７により生成された関連付け情報は、関連付け情報格納部１６に格納される。関連付け情報格納部１６に格納された関連付け情報は、後述する出力部１８によって参照される。
Subsequently, the
図４に戻り、ステップＳ２において、評価部１７が、評価対象として選択された一の画像データの評価値を算出する。例えば、評価部１７は、一の画像データについて、評価モデル格納部１２に格納されている各評価モデルを用いて評価モデル毎の評価値を算出する。
Returning to FIG. 4, in step S <b> 2, the
続いて、出力部１８が、評価部１７により算出された評価値に応じて、関連付け情報格納部１６に格納された関連付け情報において評価モデルに関連付けられた操作を示す情報を、一の画像データについて推奨される操作を示す情報として出力する（ステップＳ３）。例えば、出力部１８は、モデルＡによる評価値が所定の閾値以上である画像データについては、関連付け情報においてモデルＡに関連付けられた「ＳＮＳへ投稿」の操作を示す情報を、推奨される操作を示す情報として出力する。例えば、出力部１８は、推奨される操作を実行するか否かをユーザに選択させるためのメニュー画面をディスプレイ等に表示出力してもよいし、推奨される操作を示す情報をアプリケーション等に出力し、当該アプリケーションに当該推奨される操作を実行させてもよい。
Subsequently, the
図７を参照して、コンピュータを情報処理装置１０として機能させるための情報処理プログラムＰについて説明する。
An information processing program P for causing a computer to function as the
情報処理プログラムＰは、メインモジュールＰ１０、データ格納モジュールＰ１１、評価モデル格納モジュールＰ１２、操作履歴格納モジュールＰ１３、評価履歴格納モジュールＰ１４、生成モジュールＰ１５、関連付け情報格納モジュールＰ１６、評価モジュールＰ１７、及び出力モジュールＰ１８を備える。メインモジュールＰ１０は、情報処理装置１０としての処理を統括的に制御する部分である。データ格納モジュールＰ１１、評価モデル格納モジュールＰ１２、操作履歴格納モジュールＰ１３、評価履歴格納モジュールＰ１４、生成モジュールＰ１５、関連付け情報格納モジュールＰ１６、評価モジュールＰ１７、及び出力モジュールＰ１８を実行することにより実現される機能は、それぞれ、情報処理装置１０のデータ格納部１１、評価モデル格納部１２、操作履歴格納部１３、評価履歴格納部１４、生成部１５、関連付け情報格納部１６、評価部１７、及び出力部１８の機能と同様である。
The information processing program P includes a main module P10, a data storage module P11, an evaluation model storage module P12, an operation history storage module P13, an evaluation history storage module P14, a generation module P15, an association information storage module P16, an evaluation module P17, and an output module. P18 is provided. The main module P10 is a part that comprehensively controls processing as the
情報処理プログラムＰは、例えば、ＣＤ−ＲＯＭ、ＤＶＤ若しくはＲＯＭ等の記録媒体又は半導体メモリによって提供される。また、情報処理プログラムＰは、搬送波に重畳されたコンピュータデータ信号としてネットワークを介して提供されてもよい。 The information processing program P is provided by a recording medium such as a CD-ROM, a DVD, or a ROM, or a semiconductor memory, for example. The information processing program P may be provided via a network as a computer data signal superimposed on a carrier wave.
以上述べた情報処理装置１０によれば、一の画像データについて評価モデルにより出力された評価値に応じて、当該評価モデルの評価値と相関のあるユーザの操作（例えば、当該評価モデルの評価値が高い場合に当該ユーザにより実行される傾向がある操作）を、当該一の画像データについて推奨される操作として出力することができる。従って、情報処理装置１０によれば、ユーザの特性（嗜好及び行動特性等）に応じた画像データに対する操作を出力することができる。
According to the
なお、上記実施形態の説明に用いたブロック図（図１）は、機能単位のブロックを示している。これらの機能ブロック（構成部）は、ハードウェア及び／又はソフトウェアの任意の組み合わせによって実現される。また、各機能ブロックの実現手段は特に限定されない。すなわち、各機能ブロックは、物理的及び／又は論理的に結合した１つの装置により実現されてもよいし、物理的及び／又は論理的に分離した２つ以上の装置を直接的及び／又は間接的に（例えば、有線及び／又は無線で）接続し、これら複数の装置により実現されてもよい。 In addition, the block diagram (FIG. 1) used for description of the said embodiment has shown the block of the functional unit. These functional blocks (components) are realized by any combination of hardware and / or software. Further, the means for realizing each functional block is not particularly limited. That is, each functional block may be realized by one device physically and / or logically coupled, and two or more devices physically and / or logically separated may be directly and / or indirectly. (For example, wired and / or wirelessly) and may be realized by these plural devices.
例えば、上記実施形態における情報処理装置１０は、上記実施形態の情報処理装置１０の処理を行うコンピュータとして機能してもよい。図８は、本実施形態に係る情報処理装置１０のハードウェア構成の一例を示す図である。上述の情報処理装置１０は、物理的には、プロセッサ１００１、メモリ１００２、ストレージ１００３、通信装置１００４、入力装置１００５、出力装置１００６、及びバス１００７等を含むコンピュータ装置として構成されてもよい。
For example, the
なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニット等に読み替えることができる。情報処理装置１０のハードウェア構成は、図８に示された各装置を１つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。
In the following description, the term “apparatus” can be read as a circuit, a device, a unit, or the like. The hardware configuration of the
情報処理装置１０における各機能は、プロセッサ１００１、メモリ１００２等のハードウェア上に所定のソフトウェア（プログラム）を読み込ませることで、プロセッサ１００１が演算を行い、通信装置１００４による通信、メモリ１００２及びストレージ１００３におけるデータの読み出し及び／又は書き込みを制御することで実現される。
Each function in the
プロセッサ１００１は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ１００１は、周辺装置とのインターフェース、制御装置、演算装置、レジスタ等を含む中央処理装置（ＣＰＵ：Central Processing Unit）で構成されてもよい。
For example, the
また、プロセッサ１００１は、プログラム（プログラムコード）、ソフトウェアモジュール、及び／又はデータを、ストレージ１００３及び／又は通信装置１００４からメモリ１００２に読み出し、これらに従って各種の処理を実行する。プログラムとしては、上述の実施の形態で説明した動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。例えば、情報処理装置１０の生成部１５は、メモリ１００２に格納され、プロセッサ１００１で動作する制御プログラムによって実現されてもよく、図１に示した他の機能ブロックについても同様に実現されてもよい。上述の各種処理は、１つのプロセッサ１００１で実行される旨を説明してきたが、２以上のプロセッサ１００１により同時又は逐次に実行されてもよい。プロセッサ１００１は、１以上のチップで実装されてもよい。なお、プログラムは、電気通信回線を介してネットワークから送信されてもよい。
Further, the
メモリ１００２は、コンピュータ読み取り可能な記録媒体であり、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable ＲＯＭ）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ＲＯＭ）、ＲＡＭ（Random Access Memory）等の少なくとも１つで構成されてもよい。メモリ１００２は、レジスタ、キャッシュ、メインメモリ（主記憶装置）等と呼ばれてもよい。メモリ１００２は、上記実施形態に係る情報処理方法（図４〜図６のフローチャートに示される手順等）を実施するために実行可能なプログラム（プログラムコード）、ソフトウェアモジュール等を保存することができる。
The
ストレージ１００３は、コンピュータ読み取り可能な記録媒体であり、例えば、ＣＤ−ＲＯＭ（Compact Disc ＲＯＭ）等の光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク（例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ−ｒａｙ（登録商標）ディスク）、スマートカード、フラッシュメモリ（例えば、カード、スティック、キードライブ）、フロッピー（登録商標）ディスク、磁気ストリップ等の少なくとも１つで構成されてもよい。ストレージ１００３は、補助記憶装置と呼ばれてもよい。上述の記憶媒体は、例えば、メモリ１００２及び／又はストレージ１００３を含むデータベース、サーバ、その他の適切な媒体であってもよい。
The
通信装置１００４は、有線及び／又は無線ネットワークを介してコンピュータ間の通信を行うためのハードウェア（送受信デバイス）であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュール等ともいう。
The
入力装置１００５は、外部からの入力を受け付ける入力デバイス（例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサ等）である。出力装置１００６は、外部への出力を実施する出力デバイス（例えば、ディスプレイ、スピーカー、ＬＥＤランプ等）である。なお、入力装置１００５及び出力装置１００６は、一体となった構成（例えば、タッチパネル）であってもよい。
The
また、プロセッサ１００１及びメモリ１００２等の各装置は、情報を通信するためのバス１００７で接続される。バス１００７は、単一のバスで構成されてもよいし、装置間で異なるバスで構成されてもよい。
The devices such as the
また、情報処理装置１０は、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ１００１は、これらのハードウェアの少なくとも１つで実装されてもよい。
The
以上、本発明について詳細に説明したが、当業者にとっては、本発明が本明細書中に説明した実施形態に限定されるものではないということは明らかである。本発明は、特許請求の範囲の記載により定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更された態様として実施することができる。従って、本明細書の記載は、例示説明を目的とするものであり、本発明に対して何ら制限的な意味を有するものではない。 Although the present invention has been described in detail above, it will be apparent to those skilled in the art that the present invention is not limited to the embodiments described herein. The present invention can be implemented as a modified and changed mode without departing from the spirit and scope of the present invention defined by the description of the scope of claims. Therefore, the description of the present specification is for illustrative purposes and does not have any limiting meaning to the present invention.
本明細書で説明した各態様／実施形態の処理手順、シーケンス、フローチャート等は、矛盾の無い限り、順序を入れ替えてもよい。例えば、本明細書で説明した方法については、例示的な順序で様々なステップの要素を提示しており、提示した特定の順序に限定されない。 The processing procedures, sequences, flowcharts, and the like of each aspect / embodiment described in this specification may be switched in order as long as there is no contradiction. For example, the methods described herein present the elements of the various steps in an exemplary order and are not limited to the specific order presented.
入出力された情報等は特定の場所（例えば、メモリ）に保存されてもよいし、管理テーブルで管理されてもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。 Input / output information or the like may be stored in a specific location (for example, a memory) or may be managed by a management table. Input / output information and the like can be overwritten, updated, or additionally written. The output information or the like may be deleted. The input information or the like may be transmitted to another device.
判定は、１ビットで表される値（０か１か）によって行われてもよいし、真偽値（Boolean：true又はfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。 The determination may be performed by a value represented by 1 bit (0 or 1), may be performed by a true / false value (Boolean: true or false), or may be compared with a numerical value (for example, a predetermined value) Comparison with the value).
本明細書で説明した各態様／実施形態は単独で用いられてもよいし、組み合わせて用いられてもよいし、実行に伴って切り替えて用いられてもよい。 Each aspect / embodiment described in the present specification may be used alone, may be used in combination, or may be used by switching according to execution.
ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能等を意味するよう広く解釈されるべきである。 Software, whether it is called software, firmware, middleware, microcode, hardware description language, or other names, instructions, instruction sets, codes, code segments, program codes, programs, subprograms, software modules , Application, software application, software package, routine, subroutine, object, executable file, execution thread, procedure, function, etc. should be interpreted broadly.
また、ソフトウェア、命令等は、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア及びデジタル加入者回線（ＤＳＬ）等の有線技術及び／又は赤外線、無線及びマイクロ波等の無線技術を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び／又は無線技術は、伝送媒体の定義内に含まれる。 Also, software, instructions, etc. may be transmitted / received via a transmission medium. For example, software may use websites, servers, or other devices using wired technology such as coaxial cable, fiber optic cable, twisted pair and digital subscriber line (DSL) and / or wireless technology such as infrared, wireless and microwave. When transmitted from a remote source, these wired and / or wireless technologies are included within the definition of transmission media.
本明細書で説明した情報及び信号等は、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップ等は、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。 Information, signals, etc. described herein may be represented using any of a variety of different technologies. For example, data, commands, commands, information, signals, bits, symbols, chips, etc. that may be referred to throughout the above description are voltages, currents, electromagnetic waves, magnetic fields or magnetic particles, light fields or photons, or any of these May be represented by a combination of
なお、本明細書で説明した用語及び／又は本明細書の理解に必要な用語については、同一の又は類似する意味を有する用語と置き換えてもよい。 Note that the terms described in this specification and / or terms necessary for understanding this specification may be replaced with terms having the same or similar meaning.
また、本明細書で説明した情報、パラメータ等は、絶対値で表されてもよいし、所定の値からの相対値で表されてもよいし、対応する別の情報で表されてもよい。 In addition, information, parameters, and the like described in this specification may be represented by absolute values, may be represented by relative values from predetermined values, or may be represented by other corresponding information. .
上述したパラメータに使用される名称はいかなる点においても限定的なものではない。さらに、これらのパラメータを使用する数式等は、本明細書で明示的に開示したものと異なる場合もある。 The names used for the above parameters are not limiting in any way. Further, mathematical formulas and the like that use these parameters may differ from those explicitly disclosed herein.
本明細書で使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」との両方を意味する。 As used herein, the phrase “based on” does not mean “based only on,” unless expressly specified otherwise. In other words, the phrase “based on” means both “based only on” and “based at least on.”
本明細書で使用する「第１の」、「第２の」等の呼称を使用した要素へのいかなる参照も、それらの要素の量又は順序を全般的に限定するものではない。これらの呼称は、２つ以上の要素間を区別する便利な方法として本明細書で使用され得る。従って、第１及び第２の要素への参照は、２つの要素のみがそこで採用され得ること、又は何らかの形で第１の要素が第２の要素に先行しなければならないことを意味しない。 Any reference to elements using the designations “first”, “second”, etc. as used herein does not generally limit the amount or order of those elements. These designations can be used herein as a convenient way to distinguish between two or more elements. Thus, a reference to the first and second elements does not mean that only two elements can be employed there, or that in some way the first element must precede the second element.
「含む（including）」、「含んでいる（including）」、及びそれらの変形が、本明細書あるいは特許請求の範囲で使用されている限り、これら用語は、用語「備える」と同様に、包括的であることが意図される。さらに、本明細書あるいは特許請求の範囲において使用されている用語「又は（or）」及び「或いは（or）」は、排他的論理和ではないことが意図される。 As long as “including”, “including”, and variations thereof, are used in the specification or claims, these terms are inclusive of the term “comprising”. Intended to be Further, the terms “or” and “or” as used herein or in the claims are not intended to be exclusive ORs.
本明細書において、文脈又は技術的に明らかに１つのみしか存在しない装置であることが示されていなければ、複数の装置をも含むものとする。 In this specification, a device is intended to include a plurality of devices unless the context or technology clearly indicates that there is only one device.
本開示の全体において、文脈から明らかに単数を示したものではなければ、複数のものを含むものとする。 Throughout this disclosure, the plural is included unless the context clearly indicates one.
１０…情報処理装置、１１…データ格納部、１２…評価モデル格納部、１３…操作履歴格納部、１４…評価履歴格納部、１５…生成部、１６…関連付け情報格納部、１７…評価部、１８…出力部、１５１…操作履歴取得部、１５２…抽出部、１５３…評価モデル生成部、１５４…第１関連付け部、１５５…評価履歴取得部、１５６…操作抽出部、１５７…第２関連付け部、１００１…プロセッサ、１００２…メモリ、１００３…ストレージ、１００４…通信装置、１００５…入力装置、１００６…出力装置、１００７…バス、Ｐ…情報処理プログラム、Ｐ１１…データ格納モジュール、Ｐ１２…評価モデル格納モジュール、Ｐ１３…操作履歴格納モジュール、Ｐ１４…評価履歴格納モジュール、Ｐ１５…生成モジュール、Ｐ１６…関連付け情報格納モジュール、Ｐ１７…評価モジュール、Ｐ１８…出力モジュール。
DESCRIPTION OF
Claims (4)
前記評価モデルを用いて一の画像データの評価値を算出する評価部と、
前記評価部により算出された評価値に応じて、前記関連付け情報において前記評価モデルに関連付けられた操作を示す情報を、前記一の画像データについて推奨される操作を示す情報として出力する出力部と、
を備える情報処理装置。 An evaluation model that inputs a predetermined feature amount of image data and outputs an evaluation value of the image data, and a user operation on the image data, and an operation correlated with the evaluation value output by the evaluation model A generation unit for generating associated association information;
An evaluation unit that calculates an evaluation value of one image data using the evaluation model;
An output unit that outputs information indicating an operation associated with the evaluation model in the association information as information indicating a recommended operation for the one image data according to the evaluation value calculated by the evaluation unit;
An information processing apparatus comprising:
画像データと、当該画像データに対して前記ユーザにより実行された操作とを関連付けた操作履歴を取得する操作履歴取得部と、
前記操作履歴を参照し、一の操作が実行された画像データを正例として抽出し、前記一の操作が実行されていない画像データを負例として抽出する抽出部と、
前記抽出部により抽出された正例及び負例を用いた機械学習を実行することにより、評価モデルを生成する評価モデル生成部と、
前記評価モデル生成部により生成された評価モデルと前記一の操作とを関連付けた前記関連付け情報を生成する第１関連付け部と、
を有する、請求項１に記載の情報処理装置。 The generator is
An operation history acquisition unit that acquires an operation history in which image data and an operation executed by the user on the image data are associated;
An extraction unit that refers to the operation history, extracts image data in which one operation is performed as a positive example, and extracts image data in which the one operation is not performed as a negative example;
An evaluation model generation unit that generates an evaluation model by executing machine learning using positive examples and negative examples extracted by the extraction unit;
A first associating unit that generates the association information associating the evaluation model generated by the evaluation model generating unit with the one operation;
The information processing apparatus according to claim 1, comprising:
画像データと、当該画像データに対して前記ユーザにより実行された操作とを関連付けた操作履歴を取得する操作履歴取得部と、
画像データと、評価モデルと、当該画像データについて当該評価モデルにより出力された評価値とを関連付けた評価履歴を取得する評価履歴取得部と、
前記操作履歴及び前記評価履歴に基づいて、一又は複数の評価モデルにより出力された評価値と相関のある操作を抽出する操作抽出部と、
前記一又は複数の評価モデルと前記操作抽出部により抽出された操作とを関連付けた前記関連付け情報を生成する第２関連付け部と、
を有する、請求項１又は２に記載の情報処理装置。 The generator is
An operation history acquisition unit that acquires an operation history in which image data and an operation executed by the user on the image data are associated;
An evaluation history acquisition unit for acquiring an evaluation history in which image data, an evaluation model, and an evaluation value output by the evaluation model for the image data are associated;
Based on the operation history and the evaluation history, an operation extraction unit that extracts an operation correlated with an evaluation value output by one or more evaluation models;
A second association unit that generates the association information that associates the one or more evaluation models with the operation extracted by the operation extraction unit;
The information processing apparatus according to claim 1, further comprising:
画像データの所定の特徴量を入力して当該画像データの評価値を出力する評価モデルと、画像データに対するユーザの操作であって、前記評価モデルにより出力される評価値と相関のある操作とを関連付けた関連付け情報を生成する生成部と、
前記評価モデルを用いて一の画像データの評価値を算出する評価部と、
前記評価部により算出された評価値に応じて、前記関連付け情報において前記評価モデルに関連付けられた操作を示す情報を、前記一の画像データについて推奨される操作を示す情報として出力する出力部と、
として機能させる情報処理プログラム。 Computer
An evaluation model that inputs a predetermined feature amount of image data and outputs an evaluation value of the image data, and a user operation on the image data, and an operation correlated with the evaluation value output by the evaluation model A generation unit for generating associated association information;
An evaluation unit that calculates an evaluation value of one image data using the evaluation model;
An output unit that outputs information indicating an operation associated with the evaluation model in the association information as information indicating a recommended operation for the one image data according to the evaluation value calculated by the evaluation unit;
Information processing program to function as.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016219727A JP6877959B2 (en) | 2016-11-10 | 2016-11-10 | Information processing equipment and information processing programs |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016219727A JP6877959B2 (en) | 2016-11-10 | 2016-11-10 | Information processing equipment and information processing programs |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018077712A true JP2018077712A (en) | 2018-05-17 |
| JP6877959B2 JP6877959B2 (en) | 2021-05-26 |
Family
ID=62149361
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016219727A Active JP6877959B2 (en) | 2016-11-10 | 2016-11-10 | Information processing equipment and information processing programs |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6877959B2 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020009114A (en) * | 2018-07-06 | 2020-01-16 | キヤノン株式会社 | Image evaluation device, system, and control method and program for image evaluation device |
| CN111724054A (en) * | 2020-06-16 | 2020-09-29 | 广州视源电子科技股份有限公司 | Evaluation method, device, terminal equipment and storage medium |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006229444A (en) * | 2005-02-16 | 2006-08-31 | Seiko Epson Corp | Technique for managing image file |
| JP2013222304A (en) * | 2012-04-16 | 2013-10-28 | Canon Inc | Image processing device, and control method and program of the same |
| JP2016001467A (en) * | 2014-05-19 | 2016-01-07 | 株式会社リコー | Image processor, image processing method, and image processing program |
| US20160253582A1 (en) * | 2014-04-04 | 2016-09-01 | Ebay Inc. | Image evaluation |
-
2016
- 2016-11-10 JP JP2016219727A patent/JP6877959B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006229444A (en) * | 2005-02-16 | 2006-08-31 | Seiko Epson Corp | Technique for managing image file |
| JP2013222304A (en) * | 2012-04-16 | 2013-10-28 | Canon Inc | Image processing device, and control method and program of the same |
| US20160253582A1 (en) * | 2014-04-04 | 2016-09-01 | Ebay Inc. | Image evaluation |
| JP2016001467A (en) * | 2014-05-19 | 2016-01-07 | 株式会社リコー | Image processor, image processing method, and image processing program |
Non-Patent Citations (1)
| Title |
|---|
| SOBHAN NADERI PARIZI他: "Reconfigurable Models for Scene Recognition", 2012 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNATION, vol. 2012, JPN6020037106, 26 July 2012 (2012-07-26), pages 2275 - 2782, ISSN: 0004358432 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020009114A (en) * | 2018-07-06 | 2020-01-16 | キヤノン株式会社 | Image evaluation device, system, and control method and program for image evaluation device |
| JP7171275B2 (en) | 2018-07-06 | 2022-11-15 | キヤノン株式会社 | Image evaluation device, system, control method and program for image evaluation device |
| CN111724054A (en) * | 2020-06-16 | 2020-09-29 | 广州视源电子科技股份有限公司 | Evaluation method, device, terminal equipment and storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6877959B2 (en) | 2021-05-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI747325B (en) | Target object matching method, target object matching device, electronic equipment and computer readable storage medium | |
| TWI419047B (en) | Apparatus and methods for controlling image sensors and computer-readable medium thereof | |
| US10181203B2 (en) | Method for processing image data and apparatus for the same | |
| KR20190092995A (en) | Terminal and image processing method thereof | |
| US10496696B2 (en) | Search method and apparatus | |
| US10223812B2 (en) | Image validation | |
| US11681411B2 (en) | Method of selecting one or more items according to user input and electronic device therefor | |
| KR102277087B1 (en) | Method of classifying contents and electronic device | |
| US20180225514A1 (en) | Identifying objects in an image | |
| CN105308648A (en) | Systems and methods to super resolve a user-selected region of interest | |
| JP2015521335A (en) | System and method for performing feature detection and determining feature scores | |
| US20150049946A1 (en) | Electronic device and method for adding data to image and extracting added data from image | |
| JP6944405B2 (en) | Building judgment system | |
| US9491402B2 (en) | Electronic device and method of processing image in electronic device | |
| JPWO2017056312A1 (en) | Image processing program and image processing apparatus | |
| US10691717B2 (en) | Method and apparatus for managing data | |
| US9904864B2 (en) | Method for recommending one or more images and electronic device thereof | |
| KR102316846B1 (en) | Method for sorting a media content and electronic device implementing the same | |
| JPWO2016006090A1 (en) | Electronic device, method and program | |
| JP2004164180A (en) | Information processor, communication processor and method and computer program | |
| US20150278207A1 (en) | Electronic device and method for acquiring image data | |
| JP6877959B2 (en) | Information processing equipment and information processing programs | |
| JP2019079167A (en) | Information processing apparatus, information processing system, information processing method and program | |
| JP2018084861A (en) | Information processing apparatus, information processing method and information processing program | |
| US9396211B2 (en) | Method and device for providing information using barcode |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191001 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200825 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201006 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201127 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210420 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210428 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6877959 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |