CN109074601A - 学得模型生成方法、学得模型生成装置以及学得模型利用装置 - Google Patents

学得模型生成方法、学得模型生成装置以及学得模型利用装置 Download PDF

Info

Publication number
CN109074601A
CN109074601A CN201780027042.6A CN201780027042A CN109074601A CN 109074601 A CN109074601 A CN 109074601A CN 201780027042 A CN201780027042 A CN 201780027042A CN 109074601 A CN109074601 A CN 109074601A
Authority
CN
China
Prior art keywords
model
learns
learn
sensing
sensitive information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780027042.6A
Other languages
English (en)
Inventor
杉浦雅贵
松本裕
松本裕一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN109074601A publication Critical patent/CN109074601A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Development Economics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Computing Systems (AREA)
  • Bioethics (AREA)
  • Human Resources & Organizations (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Game Theory and Decision Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Tourism & Hospitality (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)

Abstract

学得模型提供***(1)构成为，具备：同意获取装置(2)，其从顾客(S)获取同意在学得模型的生成中利用该顾客(S)的摄像图像的利用同意；多个摄像机(3)，其用于拍摄顾客(S)；学得模型生成装置(4)，其基于由摄像机(3)拍摄到的摄像图像，通过机器学习来生成学得模型；服务器装置(5)，其用于保管由学得模型生成装置(4)生成的学得模型；用户侧装置(6)，其从服务器装置(5)接受学得模型的提供；摄像机(7)；以及会员数据库(8)。

Description

学得模型生成方法、学得模型生成装置以及学得模型利用 装置
技术领域
本公开涉及一种通过基于感测信息的机器学习来生成学得模型的学得模型生成方法、学得模型生成装置以及学得模型利用装置，其中，该感测信息是由一个或多个感测装置对一个或多个感测对象进行感测而获取到的。
背景技术
以往，已知如下一种技术(参照专利文献1)：以在利用感测数据的传感器网络中使感测数据的流通优化为目的，通过进行传感器侧元数据与应用侧元数据的匹配，来提取能够提供满足应用要求的感测数据的传感器，该传感器侧元数据是与输出感测数据的传感器相关的信息，该应用侧元数据是与利用感测数据来提供服务的应用相关的信息。
专利文献1：日本专利第5445722号公报
发明内容
近年来，强烈要求注意保护企业等所获取的个人信息，关于学得模型，也要求注意用于在生成该学得模型时使用的感测信息中所包含的个人信息的处理。即，期望仅利用获得同意在学得模型的生成中利用的利用同意的感测对象的感测信息来生成学得模型。
本公开是鉴于这样的现有技术的问题而提出的，其主要目的在于提供一种能够在从感测对象获得利用同意的基础上生成学得模型的学得模型生成方法、学得模型生成装置以及学得模型利用装置。
本公开的学得模型生成方法是使用至少一个处理器进行的学得模型生成方法，通过基于感测信息的机器学习来生成学得模型，所述感测信息是由一个或多个感测装置对一个或多个感测对象进行感测而获取到的，所述学得模型生成方法的特征在于，所述处理器关于所述一个或多个感测对象获取表示是否存在同意在所述学得模型的生成中利用该感测对象的所述感测信息的利用同意的信息，所述处理器进行对所述一个或多个感测对象的所述感测信息中的未获得所述利用同意的所述感测对象的所述感测信息进行加工或删除的处理，来制作学习数据，所述处理器通过使用所述学习数据的机器学习来生成学得模型。
根据本公开，能够在从感测对象获得利用同意的基础上生成学得模型。
附图说明
图1是本公开的学得模型提供***的整体结构图。
图2是示出同意获取装置的概要结构的框图。
图3A是示出学得模型生成装置的概要结构的框图。
图3B是示出学得模型生成装置的存储部的概要结构的框图。
图3C是表示报酬赋予用数据库的一例的图。
图4A是示出学得模型提供装置的概要结构的框图。
图4B是示出学得模型提供装置的存储部的概要结构的框图。
图4C是表示学得模型数据库的一例的图。
图5是示出用户侧装置的概要结构的框图。
图6是表示学得模型提供***中的同意获取处理和匿名化加工处理的动作过程的序列图。
图7是表示学得模型提供***中的学得模型生成处理和电子签名赋予处理的动作过程的序列图。
图8是表示学得模型提供***中的学得模型的利用请求处理和签名验证处理的动作过程的序列图。
图9是表示学得模型提供***中的学得模型的利用报告处理和对同意者进行的报酬赋予处理的动作过程的序列图。
图10是其它实施方式所涉及的学得模型提供***的整体结构图。
图11是示出其它实施方式所涉及的同意获取装置的概要结构的框图。
具体实施方式
为了解决上述问题而完成的第一公开是一种学得模型生成方法，是使用至少一个处理器进行的学得模型生成方法，通过基于感测信息的机器学习来生成学得模型，该感测信息是由一个或多个感测装置对一个或多个感测对象进行感测而获取到的，所述学得模型生成方法的特征在于，所述处理器关于所述一个或多个感测对象获取表示是否存在同意在所述学得模型的生成中利用该感测对象的所述感测信息的利用同意的信息，所述处理器进行对所述一个或多个感测对象的所述感测信息中的未获得所述利用同意的所述感测对象的所述感测信息进行加工或删除的处理，来制作学习数据，所述处理器通过使用所述学习数据的机器学习来生成学得模型。
根据该第一公开所涉及的学得模型生成方法，能够通过使用学习数据的机器学习来生成学得模型，因此能够在从感测对象获得利用同意的基础上生成学得模型，其中，该学习数据是进行对一个或多个感测对象的感测信息中的未获得利用同意的感测对象的感测信息进行加工或删除的处理而制作出的数据。
另外，第二公开的特征在于，在上述第一公开中，对所生成的所述学得模型赋予电子签名，该电子签名用于确保在制作所述学习数据时进行了对未获得所述利用同意的所述感测对象的所述感测信息进行了加工或删除的处理。
根据该第二公开所涉及的学得模型生成方法，通过对所生成的学得模型赋予电子签名，能够确保在制作生成该学得模型所使用的学习数据时进行对未获得利用同意的感测对象的感测信息进行加工或删除的处理。
另外，第三公开的特征在于，在上述第一公开或第二公开中，所述感测对象为人物，并且所述感测信息为所述人物的面部图像，所述处理器在制作所述学习数据时，获取已获得所述利用同意的所述人物的面部图像，以确定未获得所述利用同意的所述人物的面部图像。
根据该第三公开所涉及的学得模型生成方法，在感测对象为人物、感测信息为人物的面部图像的情况下，能够使用已获得利用同意的人物的面部图像来确定未获得利用同意的人物的面部图像。
另外，第四公开的特征在于，在上述第三公开中，通过拍摄已获得所述利用同意的所述人物的面部，来获取所述面部图像。
根据该第四公开所涉及的学得模型生成方法，能够通过拍摄已获得利用同意的人物的面部来获取该人物的面部图像。
另外，第五公开的特征在于，在上述第三公开中，关于所述面部图像，通过近距离通信来从已获得所述利用同意的所述人物所持有的移动终端获取该移动终端中预先存储的该人物的面部图像。
根据该第五公开所涉及的学得模型生成方法，关于已获得利用同意的人物的面部图像，能够通过近距离通信来从已获得利用同意的人物所持有的移动终端获取该移动终端中预先存储的该人物的面部图像。
另外，第六公开的特征在于，在上述第三公开中，对所述人物预先赋予了固有的标识符，并且预先将该人物的面部图像与该标识符相关联地登记到会员数据库中，基于对已获得所述利用同意的所述人物赋予的所述标识符来检索所述会员数据库，由此获取所述面部图像。
根据该第六公开所涉及的学得模型生成方法，基于对已获得利用同意的人物赋予的标识符来检索会员数据库，由此获取已获得利用同意的人物的面部图像。
另外，第七公开的特征在于，在上述第二公开中，所述处理器在从接受了所述学得模型的提供的学得模型利用装置获取到表示对该学得模型赋予的所述电子签名的验证结果为未通过验证的意思的通知时，对该学得模型进行失效处理。
根据该第七公开所涉及的学得模型生成方法，在从接受了学得模型的提供的学得模型利用装置获取到表示对该学得模型赋予的电子签名的验证结果为未通过验证的意思的通知时，能够对该学得模型进行失效处理。
另外，第八公开的特征在于，在上述第一公开中，所述处理器在从接受了所述学得模型的提供的学得模型利用装置获取到表示利用该学得模型的意思的通知时，对在生成该学得模型时获得所述利用同意的所述感测对象或参与所述学得模型的生成的业务商赋予报酬数据。
根据该第八公开所涉及的学得模型生成方法，在从接受了学得模型的提供的学得模型利用装置获取到表示利用该学得模型的意思的通知时，能够对在生成该学得模型时获得利用同意的感测对象或参与该学得模型的生成的业务商赋予报酬数据。
另外，第九公开的特征在于，在上述第八公开中，所述处理器对已获得所述利用同意的所述感测对象赋予固有的标识符，并且事先将通过基于该感测对象的所述感测信息的机器学习而生成的学得模型与该标识符相关联地登记到报酬赋予用数据库中，所述处理器在从接受了所述学得模型的提供的学得模型利用装置获取到表示利用该学得模型的意思的通知时，基于与该学得模型相关联的所述标识符来检索所述报酬赋予用数据库，来寻找在生成该学得模型时获得所述利用同意的所述感测对象。
根据该第九公开所涉及的学得模型生成方法，在从接受了学得模型的提供的学得模型利用装置获取到表示利用该学得模型的意思的通知时，基于与该学得模型相关联的标识符来检索报酬赋予用数据库，由此能够求出在生成该学得模型时获得利用同意的感测对象。
另外，第十公开是一种学得模型生成装置，通过基于感测信息的机器学习来生成学得模型，所述感测信息是由一个或多个感测装置对一个或多个感测对象进行感测而获取到的，所述学得模型生成装置的特征在于，具备：至少一个处理器；以及通信部，其与所述一个或多个感测装置之间进行通信，其中，所述处理器关于所述一个或多个感测对象获取表示是否存在同意在所述学得模型的生成中利用该感测对象的所述感测信息的利用同意的信息，所述处理器进行对所述一个或多个感测对象的所述感测信息中的未获得所述利用同意的所述感测对象的所述感测信息进行加工或删除的处理，来制作学习数据。
根据该第十公开所涉及的学得模型生成装置，能够进行对一个或多个感测对象的感测信息中的未获得利用同意的感测对象的感测信息进行加工或删除的处理，因此能够在从感测对象获得利用同意的基础上制作学习数据。
另外，第十一公开是一种学得模型生成装置，通过基于感测信息的机器学习来生成学得模型，所述感测信息是由一个或多个感测装置对一个或多个感测对象进行感测而获取到的，所述学得模型生成装置的特征在于，具备：至少一个处理器；以及通信部，其与所述一个或多个感测装置之间进行通信，其中，所述处理器通过使用学习数据的机器学习来生成学得模型，该学习数据是进行对所述一个或多个感测对象的所述感测信息中的、未获得同意在所述学得模型的生成中利用的利用同意的所述感测对象的所述感测信息进行加工或删除的处理而制作出的数据。
根据该第十一公开所涉及的学得模型生成装置，能够通过使用学习数据的机器学习来生成学得模型，因此能够在从感测对象获得利用同意的基础上生成学得模型，该学习数据是进行对一个或多个感测对象的感测信息中的未获得利用同意的感测对象的感测信息进行加工或删除的处理而制作出的数据。
另外，第十二公开的特征在于，在上述第十一公开中，对所生成的所述学得模型赋予电子签名，该电子签名用于确保在制作所述学习数据时进行了对未获得所述利用同意的所述感测对象的所述感测信息进行加工或删除的处理。
根据该第十二公开所涉及的学得模型生成装置，通过对所生成的学得模型赋予电子签名，能够确保在制作生成该学得模型所使用的学习数据时进行了对未获得利用同意的感测对象的感测信息进行加工或删除的处理。
另外，第十三公开是一种学得模型利用装置，利用由根据第十二公开所记载的学得模型生成装置提供的所述学得模型，所述学得模型利用装置的特征在于，具备至少一个处理器，所述处理器进行对所述学得模型赋予的电子签名的验证，在所述电子签名的所述验证的结果为通过验证的情况下，利用所述学得模型构建分析引擎来执行分析处理。
下面，参照附图来说明本公开的实施方式。
近年来，在图像识别、声音识别等领域中，利用神经网络的机器学习技术的研究开发的发展异常显著。特别是，报告有使用深度学习(Deep Learning)这样的技术能够实现通过以往的基于特征量库的图像识别/声音识别技术所无法获得的识别精度的例子，还研究了在工业中的各种应用。在深度学习中，在将学习用的图像数据、声音数据输入到多层型神经网络的输入层之后，进行学习处理以使输出层输出作为正确的识别结果的输出数据(正确数据)。典型的输出数据是针对输入数据的注释、元数据，例如，如果是图像，则能够是拍摄到的对象物的名称、种类/属性等，如果是声音，则能够是说出的单词、句子等。使用已知的算法更新构建神经网络的各节点间的连接(突触连接)的权重值(例如在误差逆传播法中，对权重值进行调整/更新以使输出层中的与正确值之间的误差等减小)，由此进行深度学习的学习处理。完成了学习处理的节点间的权重值的集合体被称为“学得模型”，针对与在学习处理中使用的神经网络具有相同的结构的神经网络应用学得模型(设定为节点间连接的权重值)，由此，在将未知的输入数据、即在学习处理中没有使用的新的输入数据输入到该神经网络之后，作为输出数据(识别结果)而能够以固定的精度输出正确数据。因而，在与进行学得模型的生成(即，学习处理)的装置不同的装置中，构建使用了学得模型的神经网络来执行识别处理，由此能够以学习所得的识别精度进行图像识别、声音识别。
另一方面，近年来强烈要求注意个人信息的保护，特别是，关于图像中包含的面部图像、以声音表现的个人信息等，要求在明确利用目的的基础上进行获取且仅在预先同意的利用范围内利用。如上述那样，也设想使用不同的装置基于不同主体的意思分别执行生成学得模型的过程和利用学得模型的过程，因此还需要针对关于学习用的图像数据、声音数据等(以后称为“感测信息”)中包含的作为被摄体、说话主体的人物等(以后称为“感测对象”)的个人信息保护的对策。因此，在本公开的实施方式中，对仅利用获得了同意在学得模型的生成中利用的利用同意的感测对象的感测信息来生成/提供/利用学得模型的***和装置的实施方式进行说明。
本公开所涉及的学得模型提供***1是用于通过基于感测信息的机器学习来生成学得模型并且经由因特网等网络将所生成的该学得模型提供给用户的***，所述感测信息是由一个或多个感测装置对一个或多个感测对象进行感测而获取到的。以下，对生成用于根据商店中的顾客的摄像图像来估计/预测该顾客的人物属性(例如年龄、性别等)、购买行为倾向的学得模型的情况进行说明。
图1是本公开所涉及的学得模型提供***1的整体结构图。如图1所示，本公开所涉及的学得模型提供***1构成为，具备：同意获取装置2，其从顾客S获取同意在学得模型的生成中利用该顾客S的摄像图像的利用同意；多个摄像机3(感测装置)，其用于拍摄顾客S；学得模型生成装置4，其通过基于由摄像机3拍摄到的摄像图像进行机器学习，来生成学得模型；学得模型提供装置5(以后称为“服务器装置5”)，其用于保管由学得模型生成装置4生成的学得模型；学得模型利用装置6(以后称为“用户侧装置6”)，其从服务器装置5接受学得模型的提供；摄像机7，其在由用户侧装置6利用学得模型进行处理时被使用；以及会员数据库8。
学得模型生成装置4通过LAN(Local Area Network：局域网)等有线或无线通信而与同意获取装置2、摄像机3以及会员数据库8连接。另外，同意获取装置2通过LAN等有线或无线通信而与会员数据库8连接。学得模型生成装置4、服务器装置5以及用户侧装置6经由因特网等网络相互连接。用户侧装置6通过LAN(Local Area Network：局域网)等有线或无线通信而与摄像机7连接。此外，关于上述的各装置间的连接方式并无特别限定，能够使用通过LAN等有线或无线通信的连接、经由因特网等网络的连接、经由使用通用的接口(例如USB(Universal Serial Bus：通用串行总线)接口)的通信线缆的连接等各种连接方式。
同意获取装置2是一般的计算机装置，例如与用于通过顾客S所持有的移动终端或会员卡等对顾客S赋予到店积分的设置在店铺的入口等的到店积分赋予装置构成为一体。此外，关于同意获取装置2的构成方式并无特别限定，例如也可以与收银装置、店内向导装置等构成为一体。另外，也可以单独地构成，而不与其它的装置构成为一体。
同意获取装置2通过画面、声音、盲字等向顾客S(感测对象)提示征求同意在学得模型的生成中利用该顾客S的摄像图像(感测信息)的利用同意的意思，并从顾客S接受是否同意利用的输入。另外，同意获取装置2具备摄像机25，该摄像机25用于在从顾客S获得了利用同意的情况下拍摄该顾客S的面部。
图2是示出同意获取装置2的概要结构的框图。如图2所示，同意获取装置2具备存储部21、处理器22、提示部23、输入部24、摄像机25、通信部26以及将它们连接的总线27。
存储部21例如是ROM(Read Only Memory：只读存储器)、硬盘等存储装置(存储单元)，保存有用于实现同意获取装置2的各功能的各种程序和各种数据。处理器22例如是CPU(Central Processing Unit：中央处理器)，将各种程序和各种数据从存储部21读出到未图示的RAM(Random Access Memory：随机存取存储器)中来执行同意获取装置2的各处理。
提示部23例如由液晶显示面板等显示器、扬声器、盲字显示器等构成，用于向顾客S提示征求利用同意的意思。输入部24由液晶触摸面板等输入设备、麦克风等构成，用于供顾客S输入是否同意利用。摄像机25例如是CCD摄像机等一般的摄像装置，被配置于能够拍摄顾客S的面部的位置，来拍摄已获得利用同意的顾客S的面部。此外，摄像机25只要能够拍摄顾客S的面部即可，不特别地限定其方式、功能、配置、数量等，能够进行各种变更。通信部26通过LAN等有线或无线通信而与学得模型生成装置4及会员数据库8之间进行通信。
摄像机3例如是CCD摄像机等一般的摄像装置，被设置于店内各处的墙壁、天花板等，将店内的预先决定的监视区域按时间序列拍摄为静止图像或运动图像。在利用学得模型生成装置4进行机器学习时，将由摄像机3拍摄到的摄像图像(感测信息)作为学习数据来使用。摄像机3具备未图示的通信部，由摄像机3拍摄到的摄像图像通过所述通信部被发送到学得模型生成装置4。此外，摄像机3只要能够拍摄预先决定的监视区域即可，不特别地限定其方式、功能、配置、数量等，能够进行各种变更。
学得模型生成装置4是一般的计算机装置，通过基于从摄像机3接收到的摄像图像(感测信息)的机器学习，来生成学得模型。具体地说，基于摄像机3的摄像图像，通过使用多层构造的神经网络的深度学习来生成学得模型。
图3A是示出学得模型生成装置4的概要结构的框图，图3B是示出学得模型生成装置4的存储部的概要结构的框图。如图3A所示，学得模型生成装置4具备存储部41、处理器42、显示部43、输入部44、通信部45以及将它们连接的总线46。
存储部41例如是ROM、硬盘等存储装置(存储单元)，保存有用于实现学得模型生成装置4的各功能的各种程序和各种数据。另外，如图3B所示，存储部41保存有报酬赋予用数据库47，该报酬赋予用数据库47用于存储在进行后述的报酬赋予时使用的各种数据。
图3C是表示报酬赋予用数据库47的一例的图。对各学得模型赋予了固有的ID(学得模型ID)，对在生成该学得模型时使用的作为学习数据的图像等中包含的所有人物(以后称为“同意者”)也赋予了固有的ID(同意者ID)。而且，如图3C所示，在报酬赋予用数据库47中，与学得模型ID相关联地存储有同意者的同意者ID以及同意者在学习数据中的出现次数。
处理器42例如是CPU，将各种程序和各种数据从存储部41读出到未图示的RAM中，来执行学得模型生成装置4的各处理。显示部43由液晶显示面板等显示器等构成，用于显示处理器42的处理结果等。输入部44由键盘、鼠标等输入设备等构成，用于操作学得模型生成装置4。通信部45通过LAN等有线或无线通信而与同意获取装置2、摄像机3以及会员数据库8之间进行通信。另外，通信部45经由因特网等网络而与服务器装置5之间进行通信。
服务器装置5是一般的计算机装置，将从学得模型生成装置4接收到的一个或多个学得模型保管到后述的学得模型数据库57(参照图4B)中。而且，服务器装置5在从用户侧装置6接收到利用请求时，从学得模型数据库57中保管的一个或多个学得模型中选择符合该利用请求的学得模型并发送到用户侧装置6。这样，服务器装置5也可以构成为用于向用户侧装置6提供预先保管的学得模型的云服务器。
图4A是示出服务器装置5的概要结构的框图，图4B是示出服务器装置5的存储部的概要结构的框图。如图4A所示，服务器装置5具备存储部51、处理器52、显示部53、输入部54、通信部55以及将它们连接的总线56。
存储部51例如是ROM、硬盘等存储装置(存储单元)，保存有用于实现服务器装置5的各功能的各种程序和各种数据。另外，如图4B所示，存储部51保存有用于保管学得模型的学得模型数据库57。
图4C是表示学得模型数据库57的一例的图。如图4C所示，在学得模型数据库57中，与学得模型ID相关联地存储有该学得模型的模型属性信息、对生成/提供了该学得模型的装置或该装置的使用者赋予的ID(提供者ID)、利用该学得模型的装置或该装置的使用者的ID(利用者ID)以及表示该学得模型是否失效的失效标志。模型属性信息例如是该学得模型的学习目的、学习环境、学习数据的获取日期和时间、学习数据数量、学习数据的种类、进行机器学习时使用的装置(摄像机3和学得模型生成装置4)的资源和能力(resources andspecifications)等。
处理器52例如是CPU，将各种程序和各种数据从存储部51读出到未图示的RAM中，来执行服务器装置5的各处理。显示部53由液晶显示面板等显示器等构成，用于显示处理器52的处理结果等。输入部54由键盘、鼠标等输入设备等构成，用于操作服务器装置5。通信部55经由因特网等网络而与学得模型生成装置4及用户侧装置6之间进行通信。此外，在服务器装置5构成为云服务器的情况下，显示部53和输入部54不是必须的结构，也可以利用Web接口经由因特网在客户端PC等的浏览器上进行操作。在该情况下，客户端PC等的显示器和输入设备替代显示部53和输入部54的功能。
用户侧装置6是一般的计算机装置，在使用从服务器装置5提供的学得模型进行图像分析处理、新的机器学习等处理时被使用。在本实施方式中，用户侧装置6使用从服务器装置5提供的学得模型进行图像分析处理。如前述的那样，通过用户侧装置6对服务器装置5发送利用请求，来从服务器装置5向用户侧装置6提供学得模型。
图5是示出用户侧装置6的概要结构的框图。如图5所示，用户侧装置6具备存储部61、处理器62、显示部63、输入部64、通信部65以及将它们连接的总线66。
存储部61例如是ROM、硬盘等存储装置(存储单元)，保存有用于实现用户侧装置6的各功能的各种程序和各种数据。处理器62例如是CPU，将各种程序和各种数据从存储部61读出到未图示的RAM中，来执行用户侧装置6的各处理。显示部63由液晶显示面板等显示器等构成，用于显示处理器62的处理结果等。输入部64由键盘、鼠标等输入设备等构成，用于操作用户侧装置6。通信部65经由因特网等网络而与服务器装置5之间进行通信。另外，通信部65通过LAN等有线或无线通信而与摄像机7之间进行通信。
摄像机7例如是CCD摄像机等一般的摄像装置，用于拍摄由用户侧装置6进行的图像分析处理中使用的图像(在本实施方式中为包含人物的面部的图像)。摄像机7具备未图示的通信部，由摄像机7拍摄到的摄像图像通过所述通信部被发送到用户侧装置6。此外，摄像机7只要能够拍摄在由用户侧装置6进行的图像分析处理或新的机器学习中使用的图像即可，不特别地限定其方式、功能、配置、数量等，能够进行各种变更。
会员数据库8将该店铺的会员的属性信息(例如人物属性的信息、购买行为属性的信息)、面部图像等与该会员的会员ID相关联地进行保存。在购买行为历史记录中包含该会员过去购买过的商品的类别、该会员过去用手拿起的商品(即，表示出兴趣的商品)的类别等。因而，在顾客S是该店铺的会员的情况下，通过基于会员ID来检索会员数据库，能够获取顾客S的属性信息、面部图像。在像这样能够基于会员ID来获取顾客S的面部图像的情况下，将会员数据库中保存的面部图像用作顾客S的面部图像，来取代利用摄像机25获取顾客S的面部图像(在该情况下，摄像机25不是必须的结构)。
此外，学得模型提供***1的上述各装置不限于计算机装置，也能够使用能够发挥同样功能的其它的信息处理装置(例如服务器等)。另外，也可以通过利用其它公知的硬件进行的处理来代替学得模型提供***1的上述各装置的功能的至少一部分。
接着，参照图6-图9所示的序列图来说明学得模型提供***1中的各处理的动作过程。
图6是表示学得模型提供***1中的同意获取处理和匿名化加工处理的动作过程的序列图。由同意获取装置2和学得模型生成装置4进行同意获取处理和匿名化加工处理。下面，参照图6的序列图来说明由同意获取装置2和学得模型生成装置4进行的同意获取处理和匿名化加工处理的动作过程。
首先，在同意获取装置2的提示部23上，通过画面、音声、盲字等来提示要求同意在学得模型的生成中利用由设置于店内各处的摄像机3拍摄顾客S(感测对象)所得到的摄像图像(感测信息)的利用同意的意思(步骤ST101)。此外，该利用同意中也可以包含同意将所生成的学得模型提供给第三方的同意。
顾客S在理解了在同意获取装置2的提示部23中提示的利用同意之后，操作同意获取装置2的输入部24来输入是否同意利用(步骤ST102)。在输入部24由液晶触摸面板构成的情况下，顾客S通过触摸液晶触摸面板上显示的按钮、图标，来输入是否同意利用。在输入部24由麦克风构成的情况下，顾客S利用声音来输入是否同意利用。在从顾客S获得了利用同意的情况下，进入接下来的步骤ST103。在没有从顾客S获得利用同意的情况下，结束处理，并返回到之前的步骤ST101。
在从顾客S获得了利用同意的情况下，对该顾客S(即，同意者)赋予固有的同意者ID(步骤ST103)。此外，在本实施方式中，同意获取装置2与到店积分赋予装置构成为一体，因此在同意者S为该店铺的会员的情况下，使用在到店积分赋予装置赋予到店积分时从顾客的移动终端或会员卡获取到的会员ID来作为同意者S的同意者ID即可。
另外，在从顾客S获得了利用同意的情况下，利用同意获取装置2的摄像机25拍摄该顾客S(同意者)的面部。将由摄像机25拍摄同意者S所得到的的面部图像(以后称为“同意面部”)与同意者ID进行关联。在同意者S为该店铺的会员且事先将同意者S的面部图像与同意者S的会员ID相关联地登记在会员数据库8中的情况下，也可以基于会员ID来检索会员数据库8，来获取同意面部。
另外，对同意面部赋予同意者S的属性信息(例如人物属性的信息、购买行为属性的信息)来作为同意面部的元数据。该属性信息可以由学得模型生成装置4的使用者操作该装置4的输入部44进行输入，也可以在同意者S是该店铺的会员的情况下从会员数据库8中事先登记的会员信息中获取。
从同意获取装置2向学得模型生成装置4发送包含同意者的同意者ID、同意面部以及同意者的属性信息的同意者信息(步骤ST105)。学得模型生成装置4将从同意获取装置2接收到的同意者信息保存到存储部41中(步骤ST106)。
学得模型生成装置4从设置于店内各处的多个摄像机3接收由摄像机3拍摄到的摄像图像(步骤ST107)。将从摄像机3接收到的摄像图像保存到学得模型生成装置4的存储部41中。接着，学得模型生成装置4从摄像图像中检测人物的面部区域。然后，学得模型生成装置4通过将从摄像图像中检测出的面部区域与存储部41中保存的同意面部进行对照，来确定并提取除同意面部以外的面部区域(以后称为“非同意面部”)(步骤ST108)。像这样，由同意获取装置2获取到的同意面部被用作用于从由摄像机3拍摄到的摄像图像中提取非同意面部的对照用数据。此外，关于提取该非同意面部的处理，可以通过实时处理来进行，也可以通过批处理来进行。
接着，学得模型生成装置4对摄像图像中的非同意面部的区域进行匿名化加工(步骤ST109)。作为匿名化加工，例如能够使用面部消除处理、马赛克处理或掩蔽处理。将进行匿名化加工后的摄像图像作为用于在机器学习中使用的学习用图像(学习数据)保存到存储部41中(步骤ST110)。
通过这样，本公开所涉及的学得模型提供***1通过对未获得同意在学得模型的生成中利用的利用同意的顾客S(感测对象)的非同意面部(感测信息)进行匿名化加工，能够制作不包含非同意面部的学习数据。
图7是表示学得模型提供***1中的学得模型生成处理和电子签名赋予处理的动作过程的序列图。利用学得模型生成装置4和服务器装置5来进行学得模型生成处理和电子签名赋予处理。下面，参照图7的序列图来说明利用学得模型生成装置4和服务器装置5进行的学得模型生成处理和电子签名赋予处理的动作过程。
首先，学得模型生成装置4使用存储部41中保存的学习用图像(学习数据)以及与学习用图像对应的正确数据(教授数据)进行机器学习，来生成学得模型(步骤ST201)。正确数据例如是顾客S的人物属性(例如年龄、性别等)、购买行为属性(例如过去购买过的商品的类别、过去用手拿起的商品的类别等)，基于利用输入部44进行的手动输入、或存储部41中存储的同意者信息进行设定。具体地说，在使用多层构造的神经网络的深度学习等中，基于误差逆传播法等已知的方式不断地更新神经网络的节点间连接参数(权重值)以使同输入的学习数据对应的输出数据与正确数据之间的误差减小，由此进行学习处理，生成作为学习处理结果的学得模型(即，节点间连接参数的集合，可以通过矩阵形式来表现，也可以通过简单的数值集合来表现)。如前述的那样，在本实施方式中，生成用于在输入了由设置于店内各处的摄像机3拍摄到的摄像图像时输出顾客S的人物属性、购买行为属性来作为估计/预测结果的学得模型。通过这样生成的学得模型，能够实时地预测顾客S的人物属性、购买行为属性，因此通过推测多个顾客的购买行为属性等，还能够利用于商品的库存管理、订购管理等。对所生成的学得模型赋予固有的模型ID(学得模型ID)。将模型ID与在制作为了生成该学得模型而使用的学习数据之前获得了利用同意的同意者的同意者ID相关联地保存到报酬赋予用数据库47中(步骤ST202)。
接着，学得模型生成装置4对所生成的学得模型赋予电子签名(步骤ST203)，该电子签名用于确保在制作生成该学得模型时所使用的学习用图像(学习数据)时进行了对未获得利用同意的顾客S的非同意面部进行匿名化加工的处理的签名。基于使用公钥的公知的方法(使用了由认证机构发行的公钥证书的电子签名)来进行电子签名的赋予。
被赋予了电子签名的带签名学得模型与赋予电子签名时使用的公钥证书及学得模型的模型属性信息一起被发送到服务器装置5(步骤ST204)。如前述的那样，模型属性信息例如是该学得模型的学习目的、学习环境、学习数据的获取日期和时间、学习数据数量、学习数据的种类、机器学习中所使用的装置(摄像机3和学得模型生成装置4)的资源和能力(resources and specifications)等。
服务器装置5将从学得模型生成装置4接收到的带签名学得模型、公钥证书以及模型属性信息保存到学得模型数据库57中(步骤ST205)。
通过这样，本公开所涉及的学得模型提供***1能够根据不包含非同意面部的学习用图像(学习数据)来生成学得模型，并且能够对所生成的学得模型赋予电子签名，该电子签名用于确保在制作生成该学得模型时所使用的学习用图像(学习数据)时进行了对未获得利用同意的顾客S(感测对象)的非同意面部(感测信息)进行匿名化加工的处理(加工或删除的处理)。
图8是表示学得模型提供***1中的学得模型的利用请求处理和签名验证处理的动作过程的序列图。利用服务器装置5和用户侧装置6来进行学得模型的利用请求处理和签名验证处理。下面，参照图8的序列图来说明利用服务器装置5和用户侧装置6进行的学得模型的利用请求处理和签名验证处理的动作过程。
首先，期望从服务器装置5接受学得模型的提供的用户对用户侧装置6输入学得模型的利用请求(步骤ST301)。从用户输入了学得模型的利用请求的用户侧装置6将学得模型的利用请求与用户侧装置6的利用属性信息及学得模型的利用对价一起发送到用户侧装置6(步骤ST302)。利用属性信息例如是指用户的利用目的、用户侧装置6和摄像机7的资源和能力(resources and specifications)、在用户侧装置6中利用学得模型时的学习环境、学习数据数量等。学得模型的利用对价例如是虚拟货币、积分等。
服务器装置5当从用户侧装置6接收到学得模型的利用请求、利用属性信息以及利用对价时，利用公知的匹配方法对从用户侧装置6接收到的利用属性信息与学得模型数据库57中保存的学得模型的模型属性信息进行匹配，选择符合利用属性信息的带签名学得模型(步骤ST303)。对所选择的学得模型添附与其对应的公钥证书后将该学得模型发送到用户侧装置6(步骤ST304)。
用户侧装置6使用对学得模型添附的公钥证书的公钥来验证对学得模型赋予的电子签名的有效性，以确认从服务器装置5接收到的学得模型没有被篡改、伪造(步骤ST305)。
在验证结果为通过验证(OK)的情况下(步骤ST305：OK)，将学得模型读入到分析引擎程序(构建神经网络，执行基于该神经网络的分析处理的程序)中来构建分析引擎(步骤ST306)。在构建分析引擎之后，从摄像机7向用户侧装置6输入摄像图像(步骤ST307)，使用所输入的摄像图像执行规定的图像分析(在本实施方式中为顾客的人物属性、购买行为属性的估计/预测)(步骤ST308)，并输出其分析结果(步骤ST309)。
在验证结果为未通过验证(NG)的情况下(步骤ST305：NG)，用户侧装置6将用于请求选择其它的学得模型并再次发送的再请求通知与表示验证结果为未通过验证的信息一起发送到服务器装置5(步骤ST310)。
服务器装置5当从用户侧装置6接收到学得模型的再请求通知时，在学得模型数据库57中对验证结果为NG的学得模型写入失效标志，由此对该学得模型进行失效处理(步骤ST311)。之后，返回到步骤ST303，再次进行匹配，重新选择学得模型。
通过这样，在本公开所涉及的学得模型提供***1中，用户侧装置6能够从服务器装置5接受符合用户侧装置6的利用属性信息的学得模型的提供。另外，在对被提供到用户侧装置6的学得模型赋予的电子签名的验证结果为未通过验证的情况下，能够对该学得模型进行失效处理。
图9是表示学得模型提供***1中的学得模型的利用报告处理和向同意者赋予报酬的报酬赋予处理的动作过程的序列图。利用学得模型生成装置4、服务器装置5以及用户侧装置6来进行学得模型的利用报告处理和向同意者赋予报酬的报酬赋予处理。下面，参照图9的序列图来说明利用学得模型生成装置4、服务器装置5以及用户侧装置6进行的学得模型的利用报告处理和向同意者赋予报酬的报酬赋予处理的动作过程。
首先，在图8的序列图的步骤ST305中的签名验证的结果为OK的情况下(步骤ST305：OK)，用户侧装置6将表示确定利用该学得模型的意思的利用确定报告与确定要利用的学得模型的模型ID一起发送到服务器装置5(步骤ST401)。
服务器装置5当从用户侧装置6接收到利用确定报告时，将表示提供到用户侧装置6的学得模型已被利用的利用历史记录与该学得模型的模型ID相关联地记录到学得模型数据库57中(步骤ST402)。
接着，服务器装置5将表示提供到用户侧装置6的学得模型已被利用的利用报告与该学得模型的模型ID及报酬数据一起发送到学得模型生成装置4(步骤ST403)。报酬数据是作为报酬赋予给在生成该学得模型时获得利用同意的同意者的数据，例如是虚拟货币、积分等数据。
学得模型生成装置4当从服务器装置5接收到利用报告时，检索在生成已确定由用户侧装置6利用的学得模型时获得利用同意的同意者(步骤ST404)。具体地说，通过基于已确定由用户侧装置6利用的学得模型的模型ID来检索报酬赋予用数据库47，来寻找同意者ID。如前述的那样，模型ID与同意者ID相关联地存储在报酬赋予用数据库47中，因此能够基于模型ID来寻找同意者ID。
然后，学得模型生成装置4对同意者赋予报酬数据(例如虚拟货币、积分等数据)(步骤ST405)。关于对同意者的报酬数据的赋予，例如在同意者下一次到店时从同意获取装置2或到店积分赋予装置对同意者的移动终端或会员卡进行赋予即可。此外，对同意者赋予报酬数据的方法不限定于此，也可以是其它的各种方法。在存在多个成为报酬数据的赋予对象的同意者的情况下，对各同意者以规定的比例分配报酬数据即可。基于生成该学得模型时所使用的学习用图像中的同意者的贡献度(例如出现次数等)来决定分配的比例即可。
通过这样，在本公开所涉及的学得模型提供***1中，能够在服务器装置5从用户侧装置6接收到利用确定报告时，将该学得模型的利用历史记录记录到学得模型数据库57中，并且对在生成该学得模型时获得利用同意的同意者赋予报酬数据。
以上基于特定的实施方式对本公开进行了说明，但是这些实施方式只是例示，本公开并不限定于这些实施方式。另外，上述实施方式所示的本公开所涉及的学得模型生成方法和学得模型生成装置的各构成要素并不都是必须的，只要至少不脱离本公开的范围，就能够适当地进行取舍选择。
例如，在本实施方式中，对由设置于店内各处的摄像机3拍摄到的摄像图像中包含的面部区域中的除了由同意获取装置2的摄像机25拍摄到的同意者S的面部图像(同意面部)以外的面部区域(非同意面部)实施匿名化处理，由此生成学得模型生成装置4进行机器学习时使用的学习用图像(学习数据)，但是也可以构成为，通过近距离通信来从同意者S的移动终端获取同意者S所持有的移动终端中预先存储的同意者S的面部图像(同意面部)，基于该同意面部与摄像机3的摄影图像的对照进行匿名化处理，来生成学习用图像。在该情况下，如图10和图11所示，同意获取装置2具备近距离通信部28，通过该近距离通信部28来与同意者S的移动终端9进行近距离通信，由此获取移动终端9中预先存储的同意者S的面部图像(同意面部)。作为近距离通信，例如能够使用WiFi(注册商标)、Bluetooth(注册商标)、红外线通信等。
另外，在本实施方式中，上述的匿名化加工处理、学得模型生成处理、电子签名赋予处理以及报酬赋予处理的各处理全部由学得模型生成装置4进行，但是也可以构成为由服务器装置5进行上述各处理的至少一部分。例如，也可以构成为，由学得模型生成装置4进行匿名化加工处理和报酬赋予处理，由服务器装置5进行学得模型生成处理和签名赋予处理。
另外，本实施方式构成为对同意者赋予报酬数据，但是并不一定对同意者赋予报酬数据，也可以构成为对具备摄像机3、学得模型生成装置4的店铺业务商或参与学得模型的生成的其他业务商赋予报酬数据。
另外，本实施方式构成为，从感测对象获取同意在学得模型的生成中利用的同意，但是也可以构成为获取不同意在学得模型的生成中利用的意思(非同意)，或者在选择了同意或不同意在学得模型的生成中利用基础上对非同意的感测对象实施摄像机3的摄像图像的匿名化处理。
另外，在本实施方式中，作为感测信息，列举由摄像机拍摄到的摄像图像进行了说明，但是也可以设为基于利用麦克风获取到的声音数据、利用GPS/无线标签/Bluetooth(注册商标)信标等获取到的位置数据等来学习人物的属性/行为的结构。在该情况下，通过使用学得模型进行分析，能够基于声音、位置数据等来预测/估计人物的属性/行为。
另外，在本实施方式中，构成为通过用户侧装置6进行对学得模型赋予的电子签名的验证处理，但是也可以构成为，在服务器装置5从学得模型生成装置4接收到学得模型时，在服务器装置5中进行电子签名的验证处理。在该情况下，学得模型的失效处理能够作为在服务器装置5内部完成的处理来实施。
另外，在本实施方式中，将生成用于根据人物的摄像图像来估计该人物的属性(例如年龄、性别等)、购买行为倾向的学得模型作为机器学习的目的，但是机器学习的目的不限定于此，也可以是制造、物流、公共服务、交通、医疗、教育、金融等各种领域中的各种目的。
产业上的可利用性
本公开所涉及的学得模型生成方法、学得模型生成装置以及学得模型利用装置作为能够在从感测对象获得利用同意的基础上生成学得模型的学得模型生成方法、学得模型生成装置以及学得模型利用装置是有用的。
附图标记说明
1：学得模型提供***；2：同意获取装置；3：摄像机；4：学得模型生成装置；5：学得模型提供装置(服务器装置)；6：学得模型利用装置(用户侧装置)；7：摄像机；8：会员数据库；9：移动终端；28：近距离通信部；42：处理器；45：通信部；47：报酬赋予用数据库；52：处理器；55：通信部；57：学得模型数据库；S：顾客。

Claims (13)

1.一种学得模型生成方法，是使用至少一个处理器进行的学得模型生成方法，通过基于感测信息的机器学习来生成学得模型，所述感测信息是由一个或多个感测装置对一个或多个感测对象进行感测而获取到的，所述学得模型生成方法的特征在于，
所述处理器关于所述一个或多个感测对象获取表示是否存在同意在所述学得模型的生成中利用该感测对象的所述感测信息的利用同意的信息，
所述处理器进行对所述一个或多个感测对象的所述感测信息中的未获得所述利用同意的所述感测对象的所述感测信息进行加工或删除的处理，来制作学习数据，
所述处理器通过使用所述学习数据的机器学习来生成学得模型。
2.根据权利要求1所述的学得模型生成方法，其特征在于，
对所生成的所述学得模型赋予电子签名，该电子签名用于确保在制作所述学习数据时进行了对未获得所述利用同意的所述感测对象的所述感测信息进行加工或删除的处理。
3.根据权利要求1或2所述的学得模型生成方法，其特征在于，
所述感测对象为人物，并且所述感测信息为所述人物的面部图像，
所述处理器在制作所述学习数据时，获取已获得所述利用同意的所述人物的面部图像，以确定未获得所述利用同意的所述人物的面部图像。
4.根据权利要求3所述的学得模型生成方法，其特征在于，
通过拍摄已获得所述利用同意的所述人物的面部，来获取所述面部图像。
5.根据权利要求3所述的学得模型生成方法，其特征在于，
关于所述面部图像，通过近距离通信来从已获得所述利用同意的所述人物所持有的移动终端获取该移动终端中预先存储的该人物的面部图像。
6.根据权利要求3所述的学得模型生成方法，其特征在于，
对所述人物预先赋予了固有的标识符，并且预先将该人物的面部图像与该标识符相关联地登记到会员数据库中，
基于对已获得所述利用同意的所述人物赋予的所述标识符来检索所述会员数据库，由此获取所述面部图像。
7.根据权利要求2所述的学得模型生成方法，其特征在于，
所述处理器在从接受了所述学得模型的提供的学得模型利用装置获取到表示对该学得模型赋予的所述电子签名的验证结果为未通过验证的意思的通知时，对该学得模型进行失效处理。
8.根据权利要求1所述的学得模型生成方法，其特征在于，
所述处理器在从接受了所述学得模型的提供的学得模型利用装置获取到表示利用该学得模型的意思的通知时，对在生成该学得模型时获得所述利用同意的所述感测对象或参与所述学得模型的生成的业务商赋予报酬数据。
9.根据权利要求8所述的学得模型生成方法，其特征在于，
所述处理器对已获得所述利用同意的所述感测对象赋予固有的标识符，并且事先将通过基于该感测对象的所述感测信息的机器学习而生成的学得模型与该标识符相关联地登记到报酬赋予用数据库中，
所述处理器在从接受了所述学得模型的提供的学得模型利用装置获取到表示利用该学得模型的意思的通知时，基于与该学得模型相关联的所述标识符来检索所述报酬赋予用数据库，来寻找在生成该学得模型时获得所述利用同意的所述感测对象。
10.一种学得模型生成装置，通过基于感测信息的机器学习来生成学得模型，所述感测信息是由一个或多个感测装置对一个或多个感测对象进行感测而获取到的，所述学得模型生成装置的特征在于，具备：
至少一个处理器；以及
通信部，其与所述一个或多个感测装置之间进行通信，
其中，所述处理器关于所述一个或多个感测对象获取表示是否存在同意在所述学得模型的生成中利用该感测对象的所述感测信息的利用同意的信息，
所述处理器进行对所述一个或多个感测对象的所述感测信息中的未获得所述利用同意的所述感测对象的所述感测信息进行加工或删除的处理，来制作学习数据。
11.一种学得模型生成装置，通过基于感测信息的机器学习来生成学得模型，所述感测信息是由一个或多个感测装置对一个或多个感测对象进行感测而获取到的，所述学得模型生成装置的特征在于，具备：
至少一个处理器；以及
通信部，其与所述一个或多个感测装置之间进行通信，
其中，所述处理器通过使用学习数据的机器学习来生成学得模型，该学习数据是进行对所述一个或多个感测对象的所述感测信息中的、未获得同意在所述学得模型的生成中利用的利用同意的所述感测对象的所述感测信息进行加工或删除的处理而制作出的数据。
12.根据权利要求11所述的学得模型生成装置，其特征在于，
对所生成的所述学得模型赋予电子签名，该电子签名用于确保在制作所述学习数据时进行了对未获得所述利用同意的所述感测对象的所述感测信息进行加工或删除的处理。
13.一种学得模型利用装置，利用由根据权利要求12所述的学得模型生成装置提供的所述学得模型，所述学得模型利用装置的特征在于，
具备至少一个处理器，
所述处理器进行对所述学得模型赋予的电子签名的验证，在所述电子签名的所述验证的结果为通过验证的情况下，利用所述学得模型构建分析引擎来执行分析处理。
CN201780027042.6A 2017-02-03 2017-12-11 学得模型生成方法、学得模型生成装置以及学得模型利用装置 Pending CN109074601A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-018293 2017-02-03
JP2017018293 2017-02-03
PCT/JP2017/044295 WO2018142764A1 (ja) 2017-02-03 2017-12-11 学習済みモデル生成方法、学習済みモデル生成装置、および学習済みモデル利用装置

Publications (1)

Publication Number Publication Date
CN109074601A true CN109074601A (zh) 2018-12-21

Family

ID=63039488

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780027042.6A Pending CN109074601A (zh) 2017-02-03 2017-12-11 学得模型生成方法、学得模型生成装置以及学得模型利用装置

Country Status (5)

Country Link
US (1) US10810461B2 (zh)
EP (1) EP3579160A1 (zh)
JP (1) JP7129598B2 (zh)
CN (1) CN109074601A (zh)
WO (1) WO2018142764A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114971443A (zh) * 2021-02-20 2022-08-30 菜鸟智能物流控股有限公司 一种物流对象的处理方法及成像设备

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6398894B2 (ja) * 2015-06-30 2018-10-03 オムロン株式会社 データフロー制御装置およびデータフロー制御方法
US11410024B2 (en) * 2017-04-28 2022-08-09 Intel Corporation Tool for facilitating efficiency in machine learning
US11227170B2 (en) * 2017-07-20 2022-01-18 Panasonic Intellectual Property Management Co., Ltd. Collation device and collation method
US10417527B2 (en) * 2017-09-06 2019-09-17 Irdeto B.V. Identifying an object within content
US20190236360A1 (en) * 2018-01-30 2019-08-01 Mashgin Inc. Feedback loop for image-based recognition
US11526759B2 (en) * 2018-11-05 2022-12-13 International Business Machines Corporation Large model support in deep learning
US11004449B2 (en) * 2018-11-29 2021-05-11 International Business Machines Corporation Vocal utterance based item inventory actions
CN113614754A (zh) * 2019-03-27 2021-11-05 松下知识产权经营株式会社 信息处理***、计算机***、信息处理方法和程序
EP3757888A1 (en) * 2019-06-27 2020-12-30 Koninklijke Philips N.V. Multi-task deep learning method for a neural network for automatic pathology detection
JP7403995B2 (ja) * 2019-08-22 2023-12-25 キヤノン株式会社 情報処理装置、制御方法およびプログラム
US11704390B2 (en) 2019-10-10 2023-07-18 Baidu Usa Llc Method and system for signing an artificial intelligence watermark using a query
US11775692B2 (en) 2019-10-10 2023-10-03 Baidu Usa Llc Method and system for encrypting data using a kernel
US11637697B2 (en) 2019-10-10 2023-04-25 Baidu Usa Llc Method and system for signing output using a kernel
US11537689B2 (en) 2019-10-10 2022-12-27 Baidu Usa Llc Method and system for signing an artificial intelligence watermark using a kernel
US11436305B2 (en) * 2019-10-10 2022-09-06 Baidu Usa Llc Method and system for signing an artificial intelligence watermark using implicit data
US11457002B2 (en) 2019-10-10 2022-09-27 Baidu Usa Llc Method and system for encrypting data using a command
WO2021075091A1 (ja) * 2019-10-15 2021-04-22 日本電気株式会社 対価算出装置、制御方法、及びプログラム
JP7352645B2 (ja) * 2019-10-17 2023-09-28 オリンパス株式会社 学習支援システム及び学習支援方法
US20240169093A1 (en) * 2019-10-31 2024-05-23 Siemens Healthcare Diagnostics Inc. Methods and apparatus for protecting patient information during characterization of a specimen in an automated diagnostic analysis system
JP2021093568A (ja) * 2019-12-06 2021-06-17 キヤノン株式会社 撮像装置、情報処理装置、及びこれらの制御方法並びにプログラム、学習済みモデル選択システム
EP3840415B1 (en) * 2019-12-19 2023-08-02 GN Hearing A/S Hearing device with third party model control and related methods
JP7469912B2 (ja) * 2020-03-03 2024-04-17 キヤノン株式会社 情報処理装置、推論装置、それらの制御方法、プログラム、記憶媒体
JP7456844B2 (ja) 2020-05-13 2024-03-27 東芝ライフスタイル株式会社 情報処理システム
US20230237774A1 (en) * 2020-07-07 2023-07-27 Sony Group Corporation Data collection system, sensor device, data collection device, and data collection method
JP7481654B2 (ja) 2020-11-10 2024-05-13 日本電信電話株式会社 モデル利用制御システム、モデル利用制御方法、モデル利用制御装置、および、モデル利用制御プログラム
JP6982672B1 (ja) * 2020-11-21 2021-12-17 株式会社オプティム プログラム、方法、情報処理装置及びシステム
JP7176019B2 (ja) * 2021-01-29 2022-11-21 株式会社 みずほ銀行 認証システム、認証方法及び認証プログラム
KR20240044929A (ko) * 2022-09-29 2024-04-05 네이버랩스 주식회사 식별자 인식 기반 위치 결정 방법 및 장치
KR102663409B1 (ko) * 2023-05-30 2024-05-03 김수진 기계학습용 데이터 수집 장치 및 방법

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004318391A (ja) * 2003-04-15 2004-11-11 Mitsubishi Electric Corp 情報提供装置及び情報提供システム及び分散データベースシステム
JP2006244301A (ja) * 2005-03-04 2006-09-14 Nec Corp 画像証明システム及び証明書発行システム並びにこれらを用いた証明書発行支援システム
JP2010278482A (ja) * 2009-04-30 2010-12-09 Sony Corp 情報処理装置、電子署名生成システム、電子署名用の鍵生成方法、情報処理方法、及びプログラム
JP2015220574A (ja) * 2014-05-16 2015-12-07 ソニー株式会社 情報処理システム、記憶媒体、およびコンテンツ取得方法
WO2016035351A1 (ja) * 2014-09-04 2016-03-10 富士ゼロックス株式会社 情報処理装置、情報処理プログラム、情報処理方法及び記憶媒体
JP2016083343A (ja) * 2015-05-12 2016-05-19 グリー株式会社 情報管理システム、情報管理方法及び情報管理プログラム
JP2016085594A (ja) * 2014-10-24 2016-05-19 富士通株式会社 肖像権保護プログラム、情報通信装置及び肖像権保護方法
JP2016126597A (ja) * 2015-01-06 2016-07-11 マツダ株式会社 車両用歩行者画像取得装置
WO2016205432A1 (en) * 2015-06-16 2016-12-22 Microsoft Technology Licensing, Llc Automatic recognition of entities in media-captured events

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8351676B2 (en) * 2010-10-12 2013-01-08 Sony Corporation Digital image analysis using multi-step analysis
US20120323794A1 (en) * 2011-06-15 2012-12-20 Microsoft Corporation Monetization strategies in privacy-conscious personalization
RU2569123C1 (ru) 2012-09-12 2015-11-20 Омрон Корпорейшн Устройство генерации команды управления потоком данных и устройство управления датчиками
KR20150021280A (ko) * 2013-08-20 2015-03-02 한국전자통신연구원 영상 처리 장치 및 그 동작방법
US9147128B1 (en) * 2013-11-12 2015-09-29 214 Technologies Inc. Machine learning enhanced facial recognition
US9519408B2 (en) * 2013-12-31 2016-12-13 Google Inc. Systems and methods for guided user actions
US9672370B1 (en) * 2014-10-24 2017-06-06 Google Inc. Sharing digital media within a space
US10129477B2 (en) * 2015-08-19 2018-11-13 Google Llc Smart image sensor having integrated memory and processor
US9864901B2 (en) * 2015-09-15 2018-01-09 Google Llc Feature detection and masking in images based on color distributions
US10062133B1 (en) * 2016-01-26 2018-08-28 Google Llc Image retrieval for computing devices

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004318391A (ja) * 2003-04-15 2004-11-11 Mitsubishi Electric Corp 情報提供装置及び情報提供システム及び分散データベースシステム
JP2006244301A (ja) * 2005-03-04 2006-09-14 Nec Corp 画像証明システム及び証明書発行システム並びにこれらを用いた証明書発行支援システム
JP2010278482A (ja) * 2009-04-30 2010-12-09 Sony Corp 情報処理装置、電子署名生成システム、電子署名用の鍵生成方法、情報処理方法、及びプログラム
JP2015220574A (ja) * 2014-05-16 2015-12-07 ソニー株式会社 情報処理システム、記憶媒体、およびコンテンツ取得方法
WO2016035351A1 (ja) * 2014-09-04 2016-03-10 富士ゼロックス株式会社 情報処理装置、情報処理プログラム、情報処理方法及び記憶媒体
JP2016053869A (ja) * 2014-09-04 2016-04-14 富士ゼロックス株式会社 情報処理装置及び情報処理プログラム
JP2016085594A (ja) * 2014-10-24 2016-05-19 富士通株式会社 肖像権保護プログラム、情報通信装置及び肖像権保護方法
JP2016126597A (ja) * 2015-01-06 2016-07-11 マツダ株式会社 車両用歩行者画像取得装置
JP2016083343A (ja) * 2015-05-12 2016-05-19 グリー株式会社 情報管理システム、情報管理方法及び情報管理プログラム
WO2016205432A1 (en) * 2015-06-16 2016-12-22 Microsoft Technology Licensing, Llc Automatic recognition of entities in media-captured events

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114971443A (zh) * 2021-02-20 2022-08-30 菜鸟智能物流控股有限公司 一种物流对象的处理方法及成像设备

Also Published As

Publication number Publication date
WO2018142764A1 (ja) 2018-08-09
EP3579160A4 (en) 2019-12-11
EP3579160A1 (en) 2019-12-11
US20190095757A1 (en) 2019-03-28
US10810461B2 (en) 2020-10-20
JP7129598B2 (ja) 2022-09-02
JPWO2018142764A1 (ja) 2019-11-21

Similar Documents

Publication Publication Date Title
CN109074601A (zh) 学得模型生成方法、学得模型生成装置以及学得模型利用装置
CN109074607B (zh) 学得模型提供方法和学得模型提供装置
CN109074521A (zh) 学得模型提供方法和学得模型提供装置
CN112307472B (zh) 基于智能决策的异常用户识别方法、装置及计算机设备
KR101881630B1 (ko) 사용자 단말로부터 수집된 데이터를 이용한 유형 정보 및 평가 정보 제공 방법 및 시스템
Xiao et al. Simulation optimization using genetic algorithms with optimal computing budget allocation
Muhammad et al. GRL-LS: A learning style detection in online education using graph representation learning
Nkalo et al. Radio frequency identification (RFID) based attendance system with short message service (SMS) backup
CN112507141B (zh) 调查任务生成方法、装置、计算机设备及存储介质
CN114004639B (zh) 优惠信息的推荐方法、装置、计算机设备和存储介质
KR101738057B1 (ko) 사회감성 네트워크 구축 시스템 및 그 방법
CN117391866A (zh) 一种数据处理方法、装置、设备及其存储介质
Karimi et al. RFID-enhanced museum for interactive experience
CN116501979A (zh) 信息推荐方法、装置、计算机设备及计算机可读存储介质
CN110598124A (zh) 数值属性挖掘方法、装置、计算机设备和存储介质
Raj et al. Proposal of an efficient approach to attendance monitoring system using Bluetooth
CN114004206A (zh) 一种表单生成方法、装置、计算机设备和存储介质
CN112528140A (zh) 信息推荐方法、装置、设备、***及存储介质
CN115700693A (zh) 电子卡券发放方法、装置、计算机设备及存储介质
JP2021105838A (ja) 予測システム、予測方法、及びプログラム
Mayan et al. Facial attendance system technology using Microsoft Cognitive Services
CN112685654A (zh) 学生识别方法及装置、计算设备及可读计算机存储介质
KR102677535B1 (ko) 맞춤형 부동산 정보 제공 시스템, 장치 및 방법
CN112836732B (zh) 数据标注的校验方法、装置、电子设备及存储介质
CN108134798A (zh) 电表信息处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20181221

WD01 Invention patent application deemed withdrawn after publication