JP7129598B2 - 学習済みモデル生成方法、学習済みモデル生成装置、および学習済みモデル利用装置 - Google Patents

学習済みモデル生成方法、学習済みモデル生成装置、および学習済みモデル利用装置 Download PDF

Info

Publication number
JP7129598B2
JP7129598B2 JP2018538672A JP2018538672A JP7129598B2 JP 7129598 B2 JP7129598 B2 JP 7129598B2 JP 2018538672 A JP2018538672 A JP 2018538672A JP 2018538672 A JP2018538672 A JP 2018538672A JP 7129598 B2 JP7129598 B2 JP 7129598B2
Authority
JP
Japan
Prior art keywords
sensing
trained model
consent
person
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018538672A
Other languages
English (en)
Other versions
JPWO2018142764A1 (ja
Inventor
雅貴 杉浦
裕一 松本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JPWO2018142764A1 publication Critical patent/JPWO2018142764A1/ja
Application granted granted Critical
Publication of JP7129598B2 publication Critical patent/JP7129598B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Development Economics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Computing Systems (AREA)
  • Bioethics (AREA)
  • Human Resources & Organizations (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Game Theory and Decision Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Tourism & Hospitality (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)

Description

本開示は、１または複数のセンシング対象を１または複数のセンシング装置でセンシングして取得したセンシング情報に基づく機械学習により学習済みモデルを生成する学習済みモデル生成方法、学習済みモデル生成装置、および学習済みモデル利用装置に関する。
従来、センシングデータを利用するセンサネットワークにおいてセンシングデータの流通を適正化することを目的として、センシングデータを出力するセンサに関する情報であるセンサ側メタデータと、センシングデータを利用してサービスを提供するアプリケーションに関する情報であるアプリ側メタデータとのマッチングを行うことにより、アプリケーションの要求を満たすセンシングデータを提供可能なセンサを抽出するようにした技術が知られている（特許文献１参照）。
特許第５４４５７２２号公報
近年、企業等が取得する個人情報の保護に留意することが強く求められており、学習済みモデルについても、その生成に用いるためのセンシング情報に含まれる個人情報の扱いに関しても留意が求められる。すなわち、学習済みモデルの生成に利用されることについての利用同意が得られたセンシング対象のセンシング情報のみを利用して、学習済みモデルを生成することが望ましい。
本開示は、このような従来技術の課題を鑑みて案出されたものでありセンシング対象から利用同意を得た上で学習済みモデルを生成することができる学習済みモデル生成方法、学習済みモデル生成装置、および学習済みモデル利用装置を提供することを主目的とする。
本開示の学習済みモデル生成方法は、少なくとも１つのプロセッサを使用して行う、１または複数の人物を１または複数のセンシング装置でセンシングして取得した顔画像に基づく機械学習により学習済みモデルを生成する学習済みモデル生成方法であって、前記プロセッサは、前記１または複数の人物について、該人物の前記顔画像が前記学習済みモデルの生成に利用されることについての利用同意の有無を示す情報を取得し、前記利用同意が得られた人物が所持する携帯端末から、該携帯端末に予め記憶されている該利用同意が得られた人物の顔画像を近距離通信により取得し、前記１または複数のセンシング装置で取得した前記１または複数の顔画像の前記人物のうち、前記利用同意が得られた人物の顔画像との照合に成功した顔画像以外の顔画像を、前記利用同意が得られなかった人物の前記顔画像であるとして特定し、前記利用同意が得られなかった前記顔画像の前記顔画像を加工または削除する処理を行って学習データを作成し、前記学習データを使用した機械学習により学習済みモデルを生成することを特徴とする。
また、本開示の学習済みモデル生成方法は、少なくとも１つのプロセッサを使用して行う、１または複数のセンシング対象を１または複数のセンシング装置でセンシングして取得したセンシング情報に基づく機械学習により学習済みモデルを生成する学習済みモデル生成方法であって、前記プロセッサは、前記１または複数のセンシング対象について、該センシング対象の前記センシング情報が前記学習済みモデルの生成に利用されることについての利用同意の有無を示す情報と前記利用同意が得られたセンシング対象のセンシング情報とを取得し、前記１または複数のセンシング装置で取得した前記１または複数のセンシング対象の前記センシング情報のうち、前記利用同意が得られたセンシング対象のセンシング情報との照合に成功したセンシング情報以外のセンシング情報を、前記利用同意が得られなかったセンシング対象の前記センシング情報であるとして特定し、前記利用同意が得られなかった前記センシング対象の前記センシング情報を加工または削除する処理を行って学習データを作成し、前記学習データを使用した機械学習により学習済みモデルを生成し、前記利用同意が得られた前記センシング対象に固有の識別子を付与するとともに、該識別子に、該センシング対象の前記センシング情報に基づく機械学習により生成された学習済みモデルを紐付けて報酬付与用データベースに登録しておき、前記学習済みモデルの提供を受けた学習済みモデル利用装置から、該学習済みモデルを利用する旨の通知を取得したときに、該学習済みモデルに紐付けられている前記識別子に基づいて前記報酬付与用データベースを検索して、該学習済みモデルを生成するときに前記利用同意が得られた前記センシング対象を求め、該学習済みモデルを生成するときに前記利用同意が得られた前記センシング対象または前記学習済みモデルの生成に関与した事業者に対して報酬データを付与することを特徴とする。
本開示によれば、センシング対象から利用同意を得た上で学習済みモデルを生成することが可能となる。
図１は、本開示の学習済みモデル提供システムの全体構成図である。 図２は、同意取得装置の概略構成を示すブロック図である。 図３Ａは、学習済みモデル生成装置の概略構成を示すブロック図である。 図３Ｂは、学習済みモデル生成装置の記憶部の概略構成を示すブロック図である。 図３Ｃは、報酬付与用データベースの一例を示す図である。 図４Ａは、学習済みモデル提供装置の概略構成を示すブロック図である。 図４Ｂは、学習済みモデル提供装置の記憶部の概略構成を示すブロック図である。 図４Ｃは、学習済みモデルデータベースの一例を示す図である。 図５は、ユーザ側装置の概略構成を示すブロック図である。 図６は、学習済みモデル提供システムでの同意取得処理および匿名化加工処理の動作手順を示すシーケンス図である。 図７は、学習済みモデル提供システムでの学習済みモデル生成処理および電子署名付与処理の動作手順を示すシーケンス図である。 図８は、学習済みモデル提供システムでの学習済みモデルの利用要求処理および署名検証処理の動作手順を示すシーケンス図である。 図９は、学習済みモデル提供システムでの学習済みモデルの利用報告処理および同意者への報酬付与処理の動作手順を示すシーケンス図である。 図１０は、別の実施形態に係る学習済みモデル提供システムの全体構成図である。 図１１は、別の実施形態に係る同意取得装置の概略構成を示すブロック図である。
上記課題を解決するためになされた第１の開示は、少なくとも１つのプロセッサを使用して行う、１または複数のセンシング対象を１または複数のセンシング装置でセンシングして取得したセンシング情報に基づく機械学習により学習済みモデルを生成する学習済みモデル生成方法であって、前記プロセッサは、前記１または複数のセンシング対象について、該センシング対象の前記センシング情報が前記学習済みモデルの生成に利用されることについての利用同意の有無を示す情報を取得し、前記１または複数のセンシング対象の前記センシング情報において、前記利用同意が得られなかった前記センシング対象の前記センシング情報を加工または削除する処理を行って学習データを作成し、前記学習データを使用した機械学習により学習済みモデルを生成することを特徴とする。
この第１の開示に係る学習済みモデル生成方法によれば、１または複数のセンシング対象のセンシング情報において、利用同意が得られなかったセンシング対象のセンシング情報を加工または削除する処理を行って作成した学習データを使用した機械学習により学習済みモデルを生成することができるので、センシング対象から利用同意を得た上で学習済みモデルを生成することが可能となる。
また、第２の開示は、上記第１の開示において、前記生成された学習済みモデルに対して、前記学習データを作成するときに、前記利用同意が得られなかった前記センシング対象の前記センシング情報を加工または削除する処理がなされていることを保証する電子署名を付与することを特徴とする。
この第２の開示に係る学習済みモデル生成方法によれば、生成された学習済みモデルに対して電子署名を付与することにより、その学習済みモデルの生成に使用された学習データを作成するときに、利用同意が得られなかったセンシング対象のセンシング情報を加工または削除する処理がなされていることを保証することができる。
また、第３の開示は、上記第１または第２の開示において、前記センシング対象が人物であり、かつ前記センシング情報が前記人物の顔画像であり、前記プロセッサは、前記学習データを作成するときに、前記利用同意が得られなかった前記人物の顔画像を特定するために、前記利用同意を得られた前記人物の顔画像を取得することを特徴とする。
この第３の開示に係る学習済みモデル生成方法によれば、センシング対象が人物であり、センシング情報が人物の顔画像である場合に、利用同意が得られた人物の顔画像を使用して、利用同意が得られなかった人物の顔画像を特定することが可能となる。
また、第４の開示は、上記第３の開示において、前記顔画像は、前記利用同意が得られた前記人物の顔を撮像することにより取得することを特徴とする。
この第４の開示に係る学習済みモデル生成方法によれば、利用同意が得られた人物の顔画像は、該人物の顔を撮像することにより取得することができる。
また、第５の開示は、上記第３の開示において、前記顔画像は、前記利用同意が得られた前記人物が所持する携帯端末から、該携帯端末に予め記憶されている該人物の顔画像を近距離通信により取得することを特徴とする。
この第５の開示に係る学習済みモデル生成方法によれば、利用同意が得られた人物の顔画像は、利用同意が得られた人物が所持する携帯端末から、該携帯端末に予め記憶されている該人物の顔画像を近距離通信により取得することができる。
また、第６の開示は、上記第３の開示において、前記人物に固有の識別子が予め付与されているとともに、該識別子に該人物の顔画像が紐付けられて会員データベースに予め登録されており、前記顔画像は、前記利用同意が得られた前記人物に付与されている前記識別子に基づいて前記会員データベースを検索することにより取得することを特徴とする。
この第６の開示に係る学習済みモデル生成方法によれば、利用同意が得られた人物の顔画像は、利用同意が得られた人物に付与されている識別子に基づいて会員データベースを検索することにより取得することができる。
また、第７の開示は、上記第２の開示において、前記プロセッサは、前記学習済みモデルの提供を受けた学習済みモデル利用装置から、該学習済みモデルに付与されている前記電子署名の検証結果が不可であった旨の通知を取得したときに、該学習済みモデルに対して失効処理を行うことを特徴とする。
この第７の開示に係る学習済みモデル生成方法によれば、学習済みモデルの提供を受けた学習済みモデル利用装置からその学習済みモデルに付与されている電子署名の検証結果が不可であった旨の通知を取得したときに、その学習済みモデルに対して失効処理を行うことができる。
また、第８の開示は、上記第１の開示において前記プロセッサは、前記学習済みモデルの提供を受けた学習済みモデル利用装置から、該学習済みモデルを利用する旨の通知を取得したときに、該学習済みモデルを生成するときに前記利用同意が得られた前記センシング対象または前記学習済みモデルの生成に関与した事業者に対して報酬データを付与することを特徴とする。
この第８の開示に係る学習済みモデル生成方法によれば、学習済みモデルの提供を受けた学習済みモデル利用装置からその学習済みモデルを利用する旨の通知を取得したときに、その学習済みモデルを生成するときに利用同意が得られたセンシング対象またはその学習済みモデルの生成に関与した事業者に対して報酬データを付与することができる。
また、第９の開示は、上記第８の開示において、前記プロセッサは、前記利用同意が得られた前記センシング対象に固有の識別子を付与するとともに、該識別子に、該センシング対象の前記センシング情報に基づく機械学習により生成された学習済みモデルを紐付けて報酬付与用データベースに登録しておき、前記学習済みモデルの提供を受けた学習済みモデル利用装置から、該学習済みモデルを利用する旨の通知を取得したときに、該学習済みモデルに紐付けられている前記識別子に基づいて前記報酬付与用データベースを検索して、該学習済みモデルを生成するときに前記利用同意が得られた前記センシング対象を求めることを特徴とする。
この第９の開示に係る学習済みモデル生成方法によれば、学習済みモデルの提供を受けた学習済みモデル利用装置からその学習済みモデルを利用する旨の通知を取得したときに、その学習済みモデルに紐付けられている識別子に基づいて報酬付与用データベースから検索することにより、その学習済みモデルを生成するときに利用同意が得られたセンシング対象を求めることができる。
また、第１０の開示は、１または複数のセンシング対象を１または複数のセンシング装置でセンシングして取得したセンシング情報に基づく機械学習により学習済みモデルを生成する学習済みモデル生成装置であって、少なくとも１つのプロセッサと、前記１または複数のセンシング装置との間で通信を行う通信部とを備え、前記プロセッサは、前記１または複数のセンシング対象について、該センシング対象の前記センシング情報が前記学習済みモデルの生成に利用されることについての利用同意の有無を示す情報を取得し、前記１または複数のセンシング対象の前記センシング情報において、前記利用同意が得られなかった前記センシング対象の前記センシング情報を加工または削除する処理を行って学習データを作成することを特徴とする。
この第１０の開示に係る学習済みモデル生成装置によれば、１または複数のセンシング対象のセンシング情報において、利用同意が得られなかったセンシング対象のセンシング情報を加工または削除する処理を行うことができるので、センシング対象から利用同意を得た上で学習データを作成することが可能となる。
また、第１１の開示は、１または複数のセンシング対象を１または複数のセンシング装置でセンシングして取得したセンシング情報に基づく機械学習により学習済みモデルを生成する学習済みモデル生成装置であって、少なくとも１つのプロセッサと、前記１または複数のセンシング装置との間で通信を行う通信部とを備え、前記プロセッサは、前記１または複数のセンシング対象の前記センシング情報において、前記学習済みモデルの生成に利用されることについての利用同意が得られなかった前記センシング対象の前記センシング情報を加工または削除する処理を行って作成した学習データを使用した機械学習により学習済みモデルを生成することを特徴とする。
この第１１の開示に係る学習済みモデル生成装置によれば、１または複数のセンシング対象のセンシング情報において、利用同意が得られなかったセンシング対象のセンシング情報を加工または削除する処理を行って作成した学習データを使用した機械学習により学習済みモデルを生成することができるので、センシング対象から利用同意を得た上で学習済みモデルを生成することが可能となる。
また、第１２の開示は、上記第１１の開示において、前記生成された学習済みモデルに対して、前記学習データを作成するときに、前記利用同意が得られなかった前記センシング対象の前記センシング情報を加工または削除する処理がなされていることを保証する電子署名を付与することを特徴とする。
この第１２の開示に係る学習済みモデル生成装置によれば、生成された学習済みモデルに対して電子署名を付与することにより、その学習済みモデルの生成に使用された学習データを作成するときに、利用同意が得られなかったセンシング対象のセンシング情報を加工または削除する処理がなされていることを保証することができる。
また、第１３の開示は、請求項１２に記載の学習済みモデル生成装置から提供された前記学習済みモデルを利用する学習済みモデル利用装置であって、少なくとも１つのプロセッサを備え、前記プロセッサは、前記学習済みモデルに付与されている電子署名の検証を行い、前記電子署名の前記検証結果が可であった場合に、前記学習済みモデルを利用して解析エンジンを構成して解析処理を実行することを特徴とする。
以下、本開示の実施形態について、図面を参照しながら説明する。
近年、画像認識や音声認識等の分野においてニューラルネットワークを利用した機械学習技術の研究開発の進展が目覚ましい。特に深層学習（ディープラーニング）という技術を用いると、従来の特徴量ベースによる画像認識・音声認識技術では得られなかった認識精度を実現できる例が報告されており、様々な産業への応用も検討されている。深層学習では、学習用の画像データや音声データを多層型ニューラルネットワークの入力層に入力したときに、正しい認識結果である出力データ（正解データ）が出力層から出力されるように学習処理が行われる。出力データは、典型的には入力データに対するアノテーションやメタデータであり、例えば、画像であれば写っている対象物の名称や種類・属性など、音声であれば発声された単語や文などであり得る。深層学習の学習処理は、ニューラルネットワークを構成する各ノード間の結合（シナプス結合）の重み値を、既知のアルゴリズムを用いて更新する（例えば逆誤差伝搬法では、出力層での正解との誤差を小さくするように重み値を調整・更新する等）ことによって行われる。学習処理が完了したノード間の重み値の集合体は「学習済みモデル」と呼ばれ、学習処理で用いたニューラルネットワークと同じ構成を持つニューラルネットワークに対して学習済みモデルを適用する（ノード間結合の重み値として設定する）ことで、未知の入力データ、すなわち学習処理で用いていない新たな入力データをそのニューラルネットワークに入力した際に、出力データ（認識結果）として、一定の精度で正解データを出力させることができる。したがって、学習済みモデルの生成（すなわち学習処理）を行う装置と異なる装置において、学習済みモデルを用いたニューラルネットワークを構成して認識処理を実行することで、学習した認識精度で画像認識や音声認識を行うことが可能となる。
一方、近年では個人情報の保護に留意することが強く求められており、特に画像に含まれる顔画像や音声で表現された個人情報等については、利用目的を明示したうえで取得して予め同意した利用範囲内でのみ利用することが求められる。上述のように、学習済みモデルを生成する過程と学習済みモデルを利用する過程とは、それぞれ異なる装置を用いて、異なる主体の意思に基づき実行されることも想定されるため、学習用の画像データや音声データ等（以降、「センシング情報」と称する）に含まれる被写体や発声主体である人物等（以降、「センシング対象」と称する）についての個人情報保護への対応も必要となる。そこで本開示の実施の形態においては、学習済みモデルの生成に利用されることについての利用同意が得られたセンシング対象のセンシング情報のみを利用して、学習済みモデルを生成・提供・利用するためのシステムおよび装置について、実施の形態を説明する。
本開示に係る学習済みモデル提供システム１は、１または複数のセンシング対象を１または複数のセンシング装置でセンシングして取得したセンシング情報に基づく機械学習により学習済みモデルを生成するとともに、その生成された学習済みモデルをインターネット等のネットワークを介してユーザに提供するためのシステムである。以下では、小売店における来店者の撮像画像からその来店者の人物属性（例えば、年齢や性別等）や購買行動傾向を推定・予測するための学習済みモデルを生成する場合について説明する。
図１は、本開示に係る学習済みモデル提供システム１の全体構成図である。図１に示すように、本開示に係る学習済みモデル提供システム１は、来店者Ｓからその来店者Ｓの撮像画像が学習済みモデルの生成に利用されることについての利用同意を取得する同意取得装置２と、来店者Ｓを撮像する複数のカメラ３（センシング装置）と、カメラ３で撮像された撮像画像に基づき機械学習により学習済みモデルを生成する学習済みモデル生成装置４と、学習済みモデル生成装置４で生成された学習済みモデルを保管する学習済みモデル提供装置５（以降、「サーバ装置５」と称する）と、サーバ装置５から学習済みモデルの提供を受ける学習済みモデル利用装置６（以降、「ユーザ側装置６」と称する）と、ユーザ側装置６で学習済みモデルを利用した処理を行うときに使用されるカメラ７と、会員データベース８とを備えて構成されている。
学習済みモデル生成装置４は、同意取得装置２、カメラ３、および会員データベース８と、ＬＡＮ（Local Area Network）等の有線または無線通信を介して接続されている。また、同意取得装置２は、会員データベース８と、ＬＡＮ等の有線または無線通信を介して接続されている。学習済みモデル生成装置４、サーバ装置５、およびユーザ側装置６は、インターネット等のネットワークを介して互いに接続されている。ユーザ側装置６は、カメラ７と、ＬＡＮ（Local Area Network）等の有線または無線通信を介して接続されている。なお、上記の各装置間の接続形態は特に限定されるものではなく、ＬＡＮ等の有線または無線通信を介した接続、インターネット等のネットワークを介した接続、汎用のインターフェース（例えばＵＳＢ（Universal Serial Bus）インターフェース）を使用した通信ケーブルを介した接続等の様々な接続形態を用いることができる。
同意取得装置２は、一般的なコンピュータ装置であり、例えば、店舗の入口等に設置された、来店者Ｓが所持する携帯端末または会員カード等を介して来店者Ｓに来店ポイントを付与するための来店ポイント付与装置と一体的に構成される。なお、同意取得装置２の構成形態は特に限定されるものではなく、例えば、レジ装置や店内案内装置等と一体的に構成してもよい。また、他の装置と一体的に構成するのではなく、単独で構成してもよい。
同意取得装置２は、来店者Ｓ（センシング対象）に対して、その来店者Ｓの撮像画像（センシング情報）が学習済みモデルの生成に利用されることについての利用同意を求める旨を画面、音声、点字等により提示し、来店者Ｓから利用同意の可否の入力を受ける。また、同意取得装置２は、来店者Ｓから利用同意が得られた場合に、その来店者Ｓの顔を撮像するためのカメラ２５を備えている。
図２は、同意取得装置２の概略構成を示すブロック図である。図２に示すように、同意取得装置２は、記憶部２１、プロセッサ２２、提示部２３、入力部２４、カメラ２５、通信部２６、およびそれらを接続するバス２７を備えている。
記憶部２１は、例えばＲＯＭ（Read Only Memory）やハードディスク等の記憶装置（ストレージ）であり、同意取得装置２の各機能を実現するための各種プログラムおよび各種データを格納している。プロセッサ２２は、例えばＣＰＵ（Central Processing Unit）であり、記憶部２１から各種プログラムおよび各種データを図示しないＲＡＭ（Random Access Memory）上に読み出して、同意取得装置２の各処理を実行する。
提示部２３は、例えば、液晶表示パネル等のディスプレイ、スピーカ、点字ディスプレイなどで構成され、来店者Ｓに対し、利用同意を求める旨を提示するのに使用される。入力部２４は、液晶タッチパネルなどの入力デバイス、マイク等で構成され、来店者Ｓが利用同意の可否を入力するのに使用される。カメラ２５は、例えばＣＣＤカメラ等の一般的な撮像装置であり、来店者Ｓの顔を撮像可能な位置に配置され、利用同意が得られた来店者Ｓの顔を撮像する。なお、カメラ２５は、来店者Ｓの顔を撮像可能な限りにおいて、その形態、機能、配置、数量等については、特に限定されるものではなく種々の変更が可能である。通信部２６は、ＬＡＮ等の有線または無線通信を介して、学習済みモデル生成装置４および会員データベース８との間で通信を行う。
カメラ３は、例えばＣＣＤカメラ等の一般的な撮像装置であり、店内各所の壁や天井等に設置され、店内の予め定められた監視領域を静止画像または動画像として時系列に撮像する。カメラ３で撮像された撮像画像（センシング情報）は、学習済みモデル生成装置４で機械学習を行うときに学習データとして使用される。カメラ３は図示しない通信部を備えており、カメラ３で撮像された撮像画像は、前記通信部を介して学習済みモデル生成装置４に送信される。なお、カメラ３は、予め定められ監視領域を撮像可能な限りにおいて、その形態、機能、配置、数量等については、特に限定されるものではなく種々の変更が可能である。
学習済みモデル生成装置４は、一般的なコンピュータ装置であり、カメラ３から受信した撮像画像（センシング情報）に基づく機械学習により学習済みモデルを生成する。具体的には、カメラ３の撮像画像に基づき、多層構造のニューラルネットワークを用いた深層学習により学習済みモデルを生成する。
図３Ａは、学習済みモデル生成装置４の概略構成を示すブロック図であり、図３Ｂは、学習済みモデル生成装置４の記憶部の概略構成を示すブロック図である。図３Ａに示すように、学習済みモデル生成装置４は、記憶部４１、プロセッサ４２、表示部４３、入力部４４、通信部４５、およびそれらを接続するバス４６を備えている。
記憶部４１は、例えばＲＯＭやハードディスク等の記憶装置（ストレージ）であり、学習済みモデル生成装置４の各機能を実現するための各種プログラムおよび各種データを格納している。また、図３Ｂに示すように、記憶部４１は、後述する報酬付与に使用される各種データを記憶するための報酬付与用データベース４７を格納している。
図３Ｃは、報酬付与用データベース４７の一例を示す図である。各学習済みモデルには固有のＩＤ（学習済みモデルＩＤ）が付与されており、その学習済みモデルを生成する際に使用された学習データである画像等に含まれる全ての人物（以降、「同意者」とも称する）にも固有のＩＤ（同意者ＩＤ）が付与されている。そして、図３Ｃに示すように、報酬付与用データベース４７には、学習済みモデルＩＤに紐付けて、同意者の同意者ＩＤが、その学習データにおける出現回数とともに記憶されている。
プロセッサ４２は、例えばＣＰＵであり、記憶部４１から各種プログラムおよび各種データを図示しないＲＡＭ上に読み出して、学習済みモデル生成装置４の各処理を実行する。表示部４３は、液晶表示パネル等のディスプレイなどで構成され、プロセッサ４２での処理結果の表示等に使用される。入力部４４は、キーボードやマウス等の入力デバイスなどで構成され、学習済みモデル生成装置４の操作に使用される。通信部４５は、ＬＡＮ等の有線または無線通信を介して、同意取得装置２、カメラ３、および会員データベース８との間で通信を行う。また、通信部４５は、インターネット等のネットワークを介して、サーバ装置５との間で通信を行う。
サーバ装置５は、一般的なコンピュータ装置であり、学習済みモデル生成装置４から受信した１または複数の学習済みモデルを後述する学習済みモデルデータベース５７（図４Ｂ参照）に保管している。そして、サーバ装置５は、ユーザ側装置６から利用要求を受信したときに、その利用要求に適合する学習済みモデルを学習済みモデルデータベース５７に保管されている１または複数の学習済みモデルから選択してユーザ側装置６に送信する。このように、サーバ装置５は、予め保管されている学習済みモデルをユーザ側装置６に提供するためのクラウドサーバとして構成してもよい。
図４Ａは、サーバ装置５の概略構成を示すブロック図であり、図４Ｂは、サーバ装置５の記憶部の概略構成を示すブロック図である。図４Ａに示すように、サーバ装置５は、記憶部５１、プロセッサ５２、表示部５３、入力部５４、通信部５５、およびそれらを接続するバス５６を備えている。
記憶部５１は、例えばＲＯＭやハードディスク等の記憶装置（ストレージ）であり、サーバ装置５の各機能を実現するための各種プログラムおよび各種データを格納している。また、図４Ｂに示すように、記憶部５１は、学習済みモデルを保管するための学習済みモデルデータベース５７を格納している。
図４Ｃは、学習済みモデルデータベース５７の一例を示す図である。図４Ｃに示すように、学習済みモデルデータベース５７には、学習済みモデルＩＤに紐付けて、その学習済みモデルのモデル属性情報、その学習済みモデルを生成・提供した装置またはその装置の運用者に付与されたＩＤ（提供者ＩＤ）、その学習済みモデルを利用した装置またはその装置の運用者のＩＤ（利用者ＩＤ）、およびその学習済みモデルの失効の有無を示す失効フラグが記憶されている。モデル属性情報は、例えば、その学習済みモデルの学習目的、学習環境、学習データの所得日時、学習データ数、学習データの種類、機械学習に使用された装置（カメラ３および学習済みモデル生成装置４）の資源および能力（リソースおよびスペック）などである。
プロセッサ５２は、例えばＣＰＵであり、記憶部５１から各種プログラムおよび各種データを図示しないＲＡＭ上に読み出して、サーバ装置５の各処理を実行する。表示部５３は、液晶表示パネル等のディスプレイなどで構成され、プロセッサ５２での処理結果の表示等に使用される。入力部５４は、キーボードやマウス等の入力デバイスなどで構成され、サーバ装置５の操作に使用される。通信部５５は、インターネット等のネットワークを介して、学習済みモデル生成装置４およびユーザ側装置６との間で通信を行う。なお、サーバ装置５がクラウドサーバとして構成された場合は、表示部５３および入力部５４は必須の構成ではなく、インターネットを介してクライアントＰＣ等のブラウザ上からＷｅｂインターフェースによって操作するようにしてもよい。この場合、クライアントＰＣ等のディスプレイおよび入力デバイスが、表示部５３および入力部５４の機能を代行することとなる。
ユーザ側装置６は、一般的なコンピュータ装置であり、サーバ装置５から提供された学習済みモデルを使用した画像解析処理や新たな機械学習等の処理を行うのに使用される。本実施形態では、ユーザ側装置６は、サーバ装置５から提供された学習済みモデルを使用して画像解析処理を行う。前述したように、サーバ装置５からユーザ側装置６への学習済みモデルの提供は、ユーザ側装置６がサーバ装置５に対して利用要求を送信することによりなされる。
図５は、ユーザ側装置６の概略構成を示すブロック図である。図５に示すように、ユーザ側装置６は、記憶部６１、プロセッサ６２、表示部６３、入力部６４、通信部６５、およびそれらを接続するバス６６を備えている。
記憶部６１は、例えばＲＯＭやハードディスク等の記憶装置（ストレージ）であり、ユーザ側装置６の各機能を実現するための各種プログラムおよび各種データを格納している。プロセッサ６２は、例えばＣＰＵであり、記憶部６１から各種プログラムおよび各種データを図示しないＲＡＭ上に読み出して、ユーザ側装置６の各処理を実行する。表示部６３は、液晶表示パネル等のディスプレイなどで構成され、プロセッサ６２での処理結果の表示等に使用される。入力部６４は、キーボードやマウス等の入力デバイスなどで構成され、ユーザ側装置６の操作に使用される。通信部６５は、インターネット等のネットワークを介して、サーバ装置５との間で通信を行う。また、通信部６５は、ＬＡＮ等の有線または無線通信を介して、カメラ７との間で通信を行う。
カメラ７は、例えばＣＣＤカメラ等の一般的な撮像装置であり、ユーザ側装置６で行われる画像解析処理に使用される画像（本実施形態では、人物の顔を含む画像）を撮像する。カメラ７は図示しない通信部を備えており、カメラ７で撮像された撮像画像は、前記通信部を介してユーザ側装置６に送信される。なお、カメラ７は、ユーザ側装置６で行われる画像解析処理または新たな機械学習に使用される画像を撮像可能な限りにおいて、その形態、機能、配置、数量等については、特に限定されるものではなく種々の変更が可能である。
会員データベース８は、その店舗の会員の属性情報（例えば、人物属性の情報や、購買行動属性の情報）や顔画像などを、その会員の会員ＩＤに紐付けて格納している。購買行動履歴には、その会員が過去に購買した商品のカテゴリや、その会員が過去に手に取った商品（すなわち、興味を示した商品）のカテゴリ等が含まれる。したがって、来店者Ｓがその店舗の会員である場合は、会員ＩＤに基づいて会員データベースを検索することにより、来店者Ｓの属性情報や顔画像を取得することが可能となる。このように会員ＩＤに基づいて来店者Ｓの顔画像を取得することができる場合は、カメラ２５で来店者Ｓの顔画像を取得する代わりに、会員データベースに格納されている顔画像を来店者Ｓの顔画像として用いる（この場合、カメラ２５は必須の構成ではない）。
なお、学習済みモデル提供システム１の上記の各装置は、コンピュータ装置に限らず、同様の機能を果たすことが可能な他の情報処理装置（例えばサーバ等）を用いることもできる。また、学習済みモデル提供システム１の上記の各装置の機能の少なくとも一部を他の公知のハードウェアによる処理によって代替してもよい。
次に、学習済みモデル提供システム１での各処理の動作手順について、図６－図９に示すシーケンス図を参照して説明する。
図６は、学習済みモデル提供システム１での同意取得処理および匿名化加工処理の動作手順を示すシーケンス図である。同意取得処理および匿名化加工処理は、同意取得装置２および学習済みモデル生成装置４により行われる。以下、図６のシーケンス図を参照して、同意取得装置２および学習済みモデル生成装置４による同意取得処理および匿名化加工処理の動作手順について説明する。
まず、同意取得装置２の提示部２３に、店内各所に設置されたカメラ３で撮像された来店者Ｓ（センシング対象）の撮像画像（センシング情報）が学習済みモデルの生成に利用されることについての利用同意を求める旨を、画面、音声、点字等により提示する（ステップＳＴ１０１）。なお、この利用同意に、生成された学習済みモデルが第三者に提供されることについての同意を含めてもよい。
来店者Ｓは、同意取得装置２の提示部２３に提示された利用同意を理解した後、同意取得装置２の入力部２４を操作して利用同意の可否を入力する（ステップＳＴ１０２）。入力部２４が液晶タッチパネルで構成されている場合は、来店者Ｓは液晶タッチパネルに表示されたボタンやアイコンにタッチすることによって、利用同意の可否を入力する。入力部２４がマイクで構成されている場合は、来店者Ｓは音声によって、利用同意の可否を入力する。来店者Ｓから利用同意が得られた場合は、次のステップＳＴ１０３に進む。来店者Ｓから利用同意を得られなかった場合は、処理を終了して、先のステップＳＴ１０１に戻る。
来店者Ｓから利用同意が得られた場合は、その来店者Ｓ（すなわち、同意者）に対して、固有の同意者ＩＤを付与する（ステップＳＴ１０３）。なお、本実施形態では、同意取得装置２は来店ポイント付与装置と一体的に構成されているので、同意者Ｓがその店舗の会員である場合は、来店ポイント付与装置が来店ポイントを付与するときに来店者の携帯端末または会員カードから取得した会員ＩＤを、同意者Ｓの同意者ＩＤとして使用するとよい。
また、来店者Ｓから利用同意が得られた場合は、その来店者Ｓ（同意者）の顔を同意取得装置２のカメラ２５で撮像する。カメラ２５で撮像された同意者Ｓの顔画像（以降、「同意顔」と称する）は、同意者ＩＤに紐付けられる。同意者Ｓがその店舗の会員であり、かつ同意者Ｓの会員ＩＤに同意者Ｓの顔画像が紐付けられて会員データベース８に事前に登録されている場合は、同意顔は、会員ＩＤに基づいて会員データベース８を検索して取得してもよい。
また、同意顔には、そのメタデータとして、同意者Ｓの属性情報（例えば、人物属性の情報や、購買行動属性の情報）が付与される。この属性情報は、学習済みモデル生成装置４の使用者が該装置４の入力部４４を操作して入力してもよいし、同意者Ｓがその店舗の会員である場合は、会員データベース８に事前に登録されている会員情報から取得してもよい。
同意者の同意者ＩＤ、同意顔、および同意者の属性情報を含む同意者情報は、同意取得装置２から学習済みモデル生成装置４に送信される（ステップＳＴ１０５）。学習済みモデル生成装置４は、同意取得装置２から受信した同意者情報を、記憶部４１に保存する（ステップＳＴ１０６）。
学習済みモデル生成装置４は、店内各所に設置された複数のカメラ３から、カメラ３で撮像された撮像画像を受信する（ステップＳＴ１０７）。カメラ３から受信した撮像画像は、学習済みモデル生成装置４の記憶部４１に保存される。続いて、学習済みモデル生成装置４は、撮像画像から人物の顔領域を検出する。そして、学習済みモデル生成装置４は、撮像画像から検出された顔領域を記憶部４１に保存された同意顔と照合することにより、同意顔以外の顔領域（以降、「非同意顔」と称する）を特定して抽出する（ステップＳＴ１０８）。このように、同意取得装置２で取得された同意顔は、カメラ３で撮像された撮像画像から非同意顔を抽出するための照合用データとして使用される。なお、この非同意顔を抽出する処理は、リアルタイム処理で行ってもよいし、バッチ処理で行ってもよい。
次に、学習済みモデル生成装置４は、撮像画像中の非同意顔の領域に対して匿名化加工を行う（ステップＳＴ１０９）。匿名化加工としては、例えば、顔消去処理、モザイク処理、またはマスキング処理を用いることができる。匿名化加工された撮像画像は、機械学習に使用するための学習用画像（学習データ）として記憶部４１に保存される（ステップＳＴ１１０）。
このようにして、本開示に係る学習済みモデル提供システム１は、学習済みモデルの生成に利用されることについての利用同意が得られなかった来店者Ｓ（センシング対象）の非同意顔（センシング情報）を匿名化加工することにより、非同意顔を含まない学習データを作成することができる。
図７は、学習済みモデル提供システム１での学習済みモデル生成処理および電子署名付与処理の動作手順を示すシーケンス図である。学習済みモデル生成処理および電子署名付与処理は、学習済みモデル生成装置４およびサーバ装置５により行われる。以下、図７のシーケンス図を参照して、学習済みモデル生成装置４およびサーバ装置５による学習済みモデル生成処理および電子署名付与処理の動作手順について説明する。
まず、学習済みモデル生成装置４は、記憶部４１に保存された学習用画像（学習データ）と、学習用画像に対応する正解データ（教師データ）とを使用して機械学習を行い、学習済みモデルを生成する（ステップＳＴ２０１）。正解データは、例えば、来店者Ｓの人物属性（例えば、年齢や性別等）や購買行動属性（例えば、過去に購買した商品のカテゴリや、過去に手に取った商品のカテゴリ等）であり、入力部４４による手動の入力、または記憶部４１に記憶された同意者情報に基づいて設定される。具体的には、多層構造のニューラルネットワークを用いた深層学習等において、逆誤差伝搬法等の既知の方式に基づいて、入力される学習データに対応した出力データと正解データとの誤差が小さくなるようにニューラルネットワークのノード間結合パラメータ（重み値）を更新していくことにより学習処理を行い、学習処理結果としての学習済みモデル（すなわち、ノード間結合パラメータの集合であり、行列形式で表現してもよいし単なる数値集合で表現してもよい）を生成する。前述したように、本実施形態では、店内各所に設置されたカメラ３で撮像した撮像画像を入力した際に、来店者Ｓの人物属性や購買行動属性を推定・予測結果として出力するための学習済みモデルを生成する。このようにして生成された学習済みモデルは、来店者Ｓの人物属性や購買行動属性をリアルタイムで予測することができるので、複数の来店者の購買行動属性などを推測することにより商品の在庫管理や発注管理等にも利用することができる。生成された学習済みモデルには、固有のモデルＩＤ（学習済みモデルＩＤ）が付与される。モデルＩＤは、その学習済みモデルを生成するために用いる学習データ作成の前に利用同意が得られた同意者の同意者ＩＤに紐付けて、報酬付与用データベース４７に保存される（ステップＳＴ２０２）。
次に、学習済みモデル生成装置４は、生成された学習済みモデルに対して、その学習済みモデルを生成するときに使用された学習用画像（学習データ）を作成するときに、利用同意が得られなかった来店者Ｓの非同意顔を匿名化加工する処理がなされていることを保証する電子署名を付与する（ステップＳＴ２０３）。電子署名の付与は、公開鍵を用いた公知の方法（認証局が発行した公開鍵証明書を用いた電子署名）に基づき行われる。
電子署名が付与された署名付き学習済みモデルは、電子署名の付与に使用された公開鍵証明書、および学習済みモデルのモデル属性情報とともに、サーバ装置５に送信される（ステップＳＴ２０４）。前述したように、モデル属性情報は、例えば、その学習済みモデルの学習目的、学習環境、学習データの所得日時、学習データ数、学習データの種類、機械学習に使用された装置（カメラ３および学習済みモデル生成装置４）の資源および能力（リソースおよびスペック）などである。
サーバ装置５は、学習済みモデル生成装置４から受信した署名付き学習済みモデル、公開鍵証明書、およびモデル属性情報を、学習済みモデルデータベース５７に格納する（ステップＳＴ２０５）。
このようにして、本開示に係る学習済みモデル提供システム１は、非同意顔を含まない学習用画像（学習データ）から学習済みモデルを生成するとともに、生成された学習済みモデルに対して、その学習済みモデルを生成するときに使用された学習用画像（学習データ）を作成するときに、利用同意が得られなかった来店者Ｓ（センシング対象）の非同意顔（センシング情報）を匿名化加工する処理（加工または削除する処理）がなされていることを保証する電子署名を付与することができる。
図８は、学習済みモデル提供システム１での学習済みモデルの利用要求処理および署名検証処理の動作手順を示すシーケンス図である。学習済みモデルの利用要求処理および署名検証処理は、サーバ装置５およびユーザ側装置６により行われる。以下、図８のシーケンス図を参照して、サーバ装置５およびユーザ側装置６による学習済みモデルの利用要求処理および署名検証処理の動作手順について説明する。
まず、サーバ装置５から学習済みモデルの提供を受けることを所望するユーザは、ユーザ側装置６に学習済みモデルの利用要求を入力する（ステップＳＴ３０１）。ユーザから学習済みモデルの利用要求が入力されたユーザ側装置６は、学習済みモデルの利用要求を、ユーザ側装置６の利用属性情報および学習済みモデルの利用対価とともに、ユーザ側装置６に送信する（ステップＳＴ３０２）。利用属性情報とは、例えば、ユーザの利用目的、ユーザ側装置６およびカメラ７の資源および能力（リソースおよびスペック）、ユーザ側装置６で学習済みモデルを利用するときの学習環境や学習データ数などである。学習済みモデルの利用対価は、例えば、仮想通貨やポイントなどである。
サーバ装置５は、ユーザ側装置６から学習済みモデルの利用要求、利用属性情報、および利用対価を受信すると、公知のマッチング手法を用いて、ユーザ側装置６から受信した利用属性情報と、学習済みモデルデータベース５７に格納された学習済みモデルのモデル属性情報とのマッチングを行い、利用属性情報に適合する署名付き学習済みモデルを選択する（ステップＳＴ３０３）。選択された学習済みモデルは、それに対応する公開鍵証明書を添付して、ユーザ側装置６に送信される（ステップＳＴ３０４）。
ユーザ側装置６は、サーバ装置５から受信した学習済みモデルに改ざんや偽造が行われていないことを確認するために、学習済みモデルに付与されている電子署名の有効性を、学習済みモデルに添付された公開鍵証明書の公開鍵を用いて検証する（ステップＳＴ３０５）。
検証結果が可（ＯＫ）であった場合（ステップＳＴ３０５：ＯＫ）は、学習済みモデルを解析エンジンプログラム（ニューラルネットワークを構成し、それに基づく解析処理を実行するプログラム）に読み込ませて解析エンジンを構成する（ステップＳＴ３０６）。解析エンジンの構成後は、カメラ７からユーザ側装置６に撮像画像を入力し（ステップＳＴ３０７）、入力された撮像画像を使用して所定の画像解析（本実施形態では来店者の人物属性や購買行動属性の推定・予測）を実行し（ステップＳＴ３０８）、その解析結果を出力する（ステップＳＴ３０９）。
検証結果が不可（ＮＧ）であった場合（ステップＳＴ３０５：ＮＧ）は、ユーザ側装置６は、検証結果が不可だったことを示す情報とともに、別の学習済みモデルを選択して再送信することを要求する再要求通知をサーバ装置５に送信する（ステップＳＴ３１０）。
サーバ装置５は、ユーザ側装置６から学習済みモデルの再要求通知を受信すると、学習済みモデルデータベース５７において、検証結果がＮＧだった学習済みモデルに失効フラグを記入することにより、その学習済みモデルに対する失効処理を行う（ステップＳＴ３１１）。その後、ステップＳＴ３０３に戻り、マッチングを再度行い、学習済みモデルを新たに選択する。
このようにして、本開示に係る学習済みモデル提供システム１では、ユーザ側装置６は、サーバ装置５から、ユーザ側装置６の利用属性情報に適合する学習済みモデルの提供を受けることができる。また、ユーザ側装置６に提供された学習済みモデルに付与されている電子署名の検証結果が不可であった場合に、その学習済みモデルに対して失効処理を行うことができる。
図９は、学習済みモデル提供システム１での学習済みモデルの利用報告処理および同意者への報酬付与処理の動作手順を示すシーケンス図である。学習済みモデルの利用報告処理および同意者への報酬付与処理は、学習済みモデル生成装置４、サーバ装置５、およびユーザ側装置６により行われる。以下、図９のシーケンス図を参照して、学習済みモデル生成装置４、サーバ装置５、およびユーザ側装置６による学習済みモデルの利用報告処理および同意者への報酬付与処理の動作手順について説明する。
まず、ユーザ側装置６は、図８のシーケンス図のステップＳＴ３０５での署名検証の結果がＯＫだった場合（ステップＳＴ３０５：ＯＫ）に、その学習済みモデルを利用することを決定した旨を示す利用決定報告を、利用することが決定された学習済みモデルのモデルＩＤとともにサーバ装置５に送信する（ステップＳＴ４０１）。
サーバ装置５は、ユーザ側装置６から利用決定報告を受信すると、学習済みモデルデータベース５７に、ユーザ側装置６に提供した学習済みモデルが利用されたことを示す利用履歴をその学習済みモデルのモデルＩＤに紐付けて記録する（ステップＳＴ４０２）。
次に、サーバ装置５は、学習済みモデル生成装置４に、ユーザ側装置６に提供した学習済みモデルが利用されたことを示す利用報告を、その学習済みモデルのモデルＩＤおよび報酬データとともに送信する（ステップＳＴ４０３）。報酬データは、その学習済みモデルを生成するときに利用同意が得られた同意者に報酬として付与されるデータであり、例えば、仮想通貨やポイントなどのデータである。
学習済みモデル生成装置４は、サーバ装置５から利用報告を受信すると、ユーザ側装置６で利用することが決定された学習済みモデルを生成するときに利用同意が得られた同意者を検索する（ステップＳＴ４０４）。具体的には、ユーザ側装置６で利用することが決定された学習済みモデルのモデルＩＤに基づいて報酬付与用データベース４７を検索することにより同意者ＩＤを求める。前述したように、モデルＩＤは同意者ＩＤに紐付けて報酬付与用データベース４７に記憶されているので、モデルＩＤに基づいて同意者ＩＤを求めることができる。
そして、学習済みモデル生成装置４は、同意者に対して報酬データ（例えば、仮想通貨やポイントなどのデータ）を付与する（ステップＳＴ４０５）。同意者に対する報酬データの付与は、例えば、同意者の次回の来店時に、同意取得装置２または来店ポイント付与装置から同意者の携帯端末または会員カードに対して行うとよい。なお、同意者に対する報酬データの付与の方法は、これに限定されるものではなく他の様々な方法であってよい。報酬データの付与対象となる同意者が複数存在する場合は、報酬データは、各同意者に対して所定の割合で配分するようにするとよい。配分の割合は、その学習済みモデルの生成に使用された学習用画像における同意者の貢献度（例えば、出現回数等）に基づいて決定するとよい。
このようにして、本開示に係る学習済みモデル提供システム１では、サーバ装置５がユーザ側装置６から利用決定報告を受信したときに、その学習済みモデルの利用履歴を学習済みモデルデータベース５７に記録するとともに、その学習済みモデルを生成するときに利用同意が得られた同意者に対して報酬データを付与することができる。
以上、本開示を特定の実施形態に基づいて説明したが、これらの実施形態はあくまでも例示であって、本開示はこれらの実施形態によって限定されるものではない。また、上記実施形態に示した本開示に係る学習済みモデル生成方法および学習済みモデル生成装置の各構成要素は、必ずしも全てが必須ではなく、少なくとも本開示の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。
例えば、本実施形態では、学習済みモデル生成装置４での機械学習に使用される学習用画像（学習データ）は、店内各所に設置されたカメラ３で撮像された撮像画像に含まれる顔領域のうち、同意取得装置２のカメラ２５で撮像された同意者Ｓの顔画像（同意顔）以外の顔領域（非同意顔）に対して匿名化処理を施すことにより生成したが、同意者Ｓが所持する携帯端末に予め記憶されている同意者Ｓの顔画像（同意顔）を、同意者Ｓの携帯端末から近距離通信により取得し、その同意顔とカメラ３の撮影画像との照合に基づき匿名化処理を行って学習用画像を生成するように構成してもよい。この場合は、図１０および図１１に示すように、同意取得装置２は近距離通信部２８を備えており、この近距離通信部２８を介して同意者Ｓの携帯端末９と近距離通信を行うことにより、携帯端末９に予め記憶されている同意者Ｓの顔画像（同意顔）を取得する。近距離通信としては、例えば、ＷｉＦｉ（登録商標）、Bluetooth（登録商標）、赤外線通信等を用いることができる。
また、本実施形態では、上述した匿名化加工処理、学習済みモデル生成処理、電子署名付与処理、および報酬付与処理の各処理は全て学習済みモデル生成装置４で行ったが、上記の各処理の少なくとも一部をサーバ装置５で行うように構成してもよい。例えば、匿名化加工処理および報酬付与処理を学習済みモデル生成装置４で行い、学習済みモデル生成処理および署名付与処理をサーバ装置５で行うように構成してもよい。
また、本実施形態では、報酬データを同意者に付与するように構成したが、報酬データは必ずしも同意者に付与する必要はなく、カメラ３や学習済みモデル生成装置４を備えている店舗事業者、または学習済みモデルの生成に関与した他の事業者に付与するように構成してもよい。
また、本実施形態では、センシング対象から学習済みモデルの生成に利用されることについての同意を取得するように構成したが、学習済みモデルの生成に利用されることに同意しない意思（非同意）を取得するか、または、学習済みモデルの生成に利用されることについての同意または非同意を選択させた上で、非同意のセンシング対象について、カメラ３の撮像画像の匿名化処理を施すように構成してもよい。
また、本実施形態では、センシング情報としてカメラで撮影した撮像画像を例に挙げて説明したが、マイクで取得した音声データや、ＧＰＳ・無線タグ・Bluetooth（登録商標）ビーコン等を用いて取得した位置データ等に基づき、人物の属性・行動を学習する構成としてもよい。この場合は、学習済みモデルを用いた解析によって、音声や位置データ等から人物の属性・行動を予測・推定することが可能となる。
また、本実施形態では、学習済みモデルに付与された電子署名の検証処理をユーザ側装置６で行うように構成したが、サーバ装置５が学習済みモデル生成装置４から学習済みモデルを受信した際に、サーバ装置５において電子署名の検証処理を行うように構成してもよい。この場合は、学習済みモデルの失効処理は、サーバ装置５内部に閉じた処理として実施することが可能となる。
また、本実施形態では、人物の撮像画像からその人物の属性（例えば年齢や性別等）や購買行動傾向を推定するための学習済みモデルを生成することを機械学習の目的としたが、機械学習の目的は、これに限定されるものではなく、製造、物流、公共サービス、交通、医療、教育、金融等の様々な分野における様々な目的であってよい。
本開示に係る学習済みモデル生成方法、学習済みモデル生成装置、および学習済みモデル利用装置は、センシング対象から利用同意を得た上で学習済みモデルを生成することを可能とする学習済みモデル生成方法、学習済みモデル生成装置、および学習済みモデル利用装置として有用である。
１ 学習済みモデル提供システム
２ 同意取得装置
３ カメラ
４ 学習済みモデル生成装置
５ 学習済みモデル提供装置（サーバ装置）
６ 学習済みモデル利用装置（ユーザ側装置）
７ カメラ
８ 会員データベース
９ 携帯端末
２８ 近距離通信部
４２ プロセッサ
４５ 通信部
４７ 報酬付与用データベース
５２ プロセッサ
５５ 通信部
５７ 学習済みモデルデータベース
Ｓ 来店者

Claims (12)

  1. 少なくとも１つのプロセッサを使用して行う、１または複数の人物を１または複数のセンシング装置でセンシングして取得した前記人物の顔画像に基づく機械学習により学習済みモデルを生成する学習済みモデル生成方法であって、
    前記プロセッサは、
    前記１または複数の人物について、該人物の前記顔画像が前記学習済みモデルの生成に利用されることについての利用同意の有無を示す情報を取得し、
    前記利用同意が得られた人物が所持する携帯端末から、該携帯端末に予め記憶されている該利用同意が得られた人物の顔画像を近距離通信により取得し、
    前記１または複数のセンシング装置で取得した前記１または複数の人物の前記顔画像のうち、前記利用同意が得られた人物の顔画像との照合に成功した顔画像以外の顔画像を、前記利用同意が得られなかった人物の前記顔画像であるとして特定し、
    前記利用同意が得られなかった前記人物の前記顔画像を加工または削除する処理を行って学習データを作成し、
    前記学習データを使用した機械学習により学習済みモデルを生成する
    ことを特徴とする学習済みモデル生成方法。
  2. 前記生成された学習済みモデルに対して、前記学習データを作成するときに、前記利用同意が得られなかった前記人物の前記顔画像を加工または削除する処理がなされていることを保証する電子署名を付与することを特徴とする請求項１に記載の学習済みモデル生成方法。
  3. 前記プロセッサは、
    前記学習済みモデルの提供を受けた学習済みモデル利用装置から、該学習済みモデルに付与されている前記電子署名の検証結果が不可であった旨の通知を取得したときに、該学習済みモデルに対して失効処理を行うことを特徴とする請求項２に記載の学習済みモデル生成方法。
  4. 少なくとも１つのプロセッサを使用して行う、１または複数のセンシング対象を１または複数のセンシング装置でセンシングして取得したセンシング情報に基づく機械学習により学習済みモデルを生成する学習済みモデル生成方法であって、
    前記プロセッサは、
    前記１または複数のセンシング対象について、該センシング対象の前記センシング情報が前記学習済みモデルの生成に利用されることについての利用同意の有無を示す情報と前記利用同意が得られたセンシング対象のセンシング情報とを取得し、
    前記１または複数のセンシング装置で取得した前記１または複数のセンシング対象の前記センシング情報のうち、前記利用同意が得られたセンシング対象のセンシング情報との照合に成功したセンシング情報以外のセンシング情報を、前記利用同意が得られなかったセンシング対象の前記センシング情報であるとして特定し、
    前記利用同意が得られなかった前記センシング対象の前記センシング情報を加工または削除する処理を行って学習データを作成し、
    前記学習データを使用した機械学習により学習済みモデルを生成し、
    前記利用同意が得られた前記センシング対象に固有の識別子を付与するとともに、該識別子に、該センシング対象の前記センシング情報に基づく機械学習により生成された学習済みモデルを紐付けて報酬付与用データベースに登録しておき、
    前記学習済みモデルの提供を受けた学習済みモデル利用装置から、該学習済みモデルを利用する旨の通知を取得したときに、該学習済みモデルに紐付けられている前記識別子に基づいて前記報酬付与用データベースを検索して、該学習済みモデルを生成するときに前記利用同意が得られた前記センシング対象を求め、該学習済みモデルを生成するときに前記利用同意が得られた前記センシング対象または前記学習済みモデルの生成に関与した事業者に対して報酬データを付与することを特徴とする学習済みモデル生成方法。
  5. 前記センシング対象が人物であり、かつ前記センシング情報が前記人物の顔画像であり、
    前記プロセッサは、
    前記学習データを作成するときに、前記１または複数のセンシング装置で取得した顔画像と、前記利用同意が得られた前記人物の顔画像との照合を行い、前記照合に成功した顔画像以外の顔画像を前記利用同意が得られなかった前記人物の顔画像として特定することを特徴とする請求項４に記載の学習済みモデル生成方法。
  6. 前記顔画像は、前記利用同意が得られた前記人物の顔を撮像することにより取得することを特徴とする請求項５に記載の学習済みモデル生成方法。
  7. 前記顔画像は、前記利用同意が得られた前記人物が所持する携帯端末から、該携帯端末に予め記憶されている該利用同意が得られた人物の顔画像を近距離通信により取得することを特徴とする請求項５に記載の学習済みモデル生成方法。
  8. 前記人物に前記固有の識別子が予め付与されているとともに、該識別子に該人物の顔画像が紐付けられて会員データベースに予め登録されており、
    前記顔画像は、前記利用同意が得られた前記人物に付与されている前記識別子に基づいて前記会員データベースを検索することにより取得することを特徴とする請求項５に記載の学習済みモデル生成方法。
  9. １または複数の人物を１または複数のセンシング装置でセンシングして取得した前記人物の顔画像に基づく機械学習により学習済みモデルを生成する学習済みモデル生成装置であって、
    少なくとも１つのプロセッサと、前記１または複数のセンシング装置との間で通信を行う通信部とを備え、
    前記プロセッサは、
    前記１または複数の人物について、該人物の前記顔画像が前記学習済みモデルの生成に利用されることについての利用同意の有無を示す情報を取得し、
    前記利用同意が得られた人物が所持する携帯端末から、該携帯端末に予め記憶されている該利用同意が得られた人物の顔画像を近距離通信により取得し、
    前記１または複数のセンシング装置で取得した前記１または複数の人物の前記顔画像のうち、前記利用同意が得られた人物の顔画像との照合に成功した顔画像以外の顔画像を、前記利用同意が得られなかった人物の前記顔画像であるとして特定し、前記利用同意が得られなかった前記人物の前記顔画像を加工または削除する処理を行って学習データを作成する
    ことを特徴とする学習済みモデル生成装置。
  10. 前記生成された学習済みモデルに対して、前記学習データを作成するときに、前記利用同意が得られなかった前記人物の前記顔画像を加工または削除する処理がなされていることを保証する電子署名を付与することを特徴とする請求項９に記載の学習済みモデル生成装置。
  11. 請求項１０に記載の学習済みモデル生成装置から提供された前記学習済みモデルを利用する学習済みモデル利用装置であって、
    少なくとも１つのプロセッサを備え、
    前記プロセッサは、
    前記学習済みモデルに付与されている電子署名の検証を行い、前記電子署名の前記検証結果が可であった場合に、前記学習済みモデルを利用して解析エンジンを構成して解析処理を実行する
    ことを特徴とする学習済みモデル利用装置。
  12. １または複数のセンシング対象を１または複数のセンシング装置でセンシングして取得したセンシング情報に基づく機械学習により学習済みモデルを生成する学習済みモデル生成装置であって、
    少なくとも１つのプロセッサを備え、
    前記プロセッサは、
    前記１または複数のセンシング対象について、該センシング対象の前記センシング情報が前記学習済みモデルの生成に利用されることについての利用同意の有無を示す情報と前記利用同意が得られたセンシング対象のセンシング情報とを取得し、
    前記１または複数のセンシング装置で取得した前記１または複数のセンシング対象の前記センシング情報のうち、前記利用同意が得られたセンシング対象のセンシング情報との照合に成功したセンシング情報以外のセンシング情報を、前記利用同意が得られなかったセンシング対象の前記センシング情報であるとして特定し、
    前記利用同意が得られなかった前記センシング対象の前記センシング情報を加工または削除する処理を行って学習データを作成し、
    前記学習データを使用した機械学習により学習済みモデルを生成し、
    前記利用同意が得られた前記センシング対象に固有の識別子を付与するとともに、該識別子に、該センシング対象の前記センシング情報に基づく機械学習により生成された学習済みモデルを紐付けて報酬付与用データベースに登録しておき、
    前記学習済みモデルの提供を受けた学習済みモデル利用装置から、該学習済みモデルを利用する旨の通知を取得したときに、該学習済みモデルに紐付けられている前記識別子に基づいて前記報酬付与用データベースを検索して、該学習済みモデルを生成するときに前記利用同意が得られた前記センシング対象を求め、該学習済みモデルを生成するときに前記利用同意が得られた前記センシング対象または前記学習済みモデルの生成に関与した事業者に対して報酬データを付与することを特徴とする学習済みモデル生成装置。
JP2018538672A 2017-02-03 2017-12-11 学習済みモデル生成方法、学習済みモデル生成装置、および学習済みモデル利用装置 Active JP7129598B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017018293 2017-02-03
JP2017018293 2017-02-03
PCT/JP2017/044295 WO2018142764A1 (ja) 2017-02-03 2017-12-11 学習済みモデル生成方法、学習済みモデル生成装置、および学習済みモデル利用装置

Publications (2)

Publication Number Publication Date
JPWO2018142764A1 JPWO2018142764A1 (ja) 2019-11-21
JP7129598B2 true JP7129598B2 (ja) 2022-09-02

Family

ID=63039488

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018538672A Active JP7129598B2 (ja) 2017-02-03 2017-12-11 学習済みモデル生成方法、学習済みモデル生成装置、および学習済みモデル利用装置

Country Status (5)

Country Link
US (1) US10810461B2 (ja)
EP (1) EP3579160A1 (ja)
JP (1) JP7129598B2 (ja)
CN (1) CN109074601A (ja)
WO (1) WO2018142764A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102663409B1 (ko) * 2023-05-30 2024-05-03 김수진 기계학습용 데이터 수집 장치 및 방법

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6398894B2 (ja) * 2015-06-30 2018-10-03 オムロン株式会社 データフロー制御装置およびデータフロー制御方法
US11410024B2 (en) * 2017-04-28 2022-08-09 Intel Corporation Tool for facilitating efficiency in machine learning
JP7253691B2 (ja) * 2017-07-20 2023-04-07 パナソニックＩｐマネジメント株式会社 照合装置及び照合方法
US10417527B2 (en) * 2017-09-06 2019-09-17 Irdeto B.V. Identifying an object within content
US20190236360A1 (en) * 2018-01-30 2019-08-01 Mashgin Inc. Feedback loop for image-based recognition
US11526759B2 (en) * 2018-11-05 2022-12-13 International Business Machines Corporation Large model support in deep learning
US11004449B2 (en) * 2018-11-29 2021-05-11 International Business Machines Corporation Vocal utterance based item inventory actions
WO2020195419A1 (ja) * 2019-03-27 2020-10-01 パナソニックＩｐマネジメント株式会社 情報処理システム、コンピュータシステム、情報処理方法、及び、プログラム
EP3757888A1 (en) * 2019-06-27 2020-12-30 Koninklijke Philips N.V. Multi-task deep learning method for a neural network for automatic pathology detection
JP7403995B2 (ja) * 2019-08-22 2023-12-25 キヤノン株式会社 情報処理装置、制御方法およびプログラム
US11775692B2 (en) 2019-10-10 2023-10-03 Baidu Usa Llc Method and system for encrypting data using a kernel
US11704390B2 (en) 2019-10-10 2023-07-18 Baidu Usa Llc Method and system for signing an artificial intelligence watermark using a query
US11537689B2 (en) 2019-10-10 2022-12-27 Baidu Usa Llc Method and system for signing an artificial intelligence watermark using a kernel
US11457002B2 (en) 2019-10-10 2022-09-27 Baidu Usa Llc Method and system for encrypting data using a command
US11436305B2 (en) * 2019-10-10 2022-09-06 Baidu Usa Llc Method and system for signing an artificial intelligence watermark using implicit data
US11637697B2 (en) 2019-10-10 2023-04-25 Baidu Usa Llc Method and system for signing output using a kernel
US20220374950A1 (en) * 2019-10-15 2022-11-24 Nec Corporation Consideration calculation device, control method, and non-transitory storage medium
WO2021075023A1 (ja) * 2019-10-17 2021-04-22 オリンパス株式会社 学習支援システム及び学習支援方法
CN114586033A (zh) * 2019-10-31 2022-06-03 美国西门子医学诊断股份有限公司 用于在自动化诊断分析***中对患者进行表征期间保护患者信息的方法和装置
JP2021093568A (ja) * 2019-12-06 2021-06-17 キヤノン株式会社 撮像装置、情報処理装置、及びこれらの制御方法並びにプログラム、学習済みモデル選択システム
EP3840415B1 (en) * 2019-12-19 2023-08-02 GN Hearing A/S Hearing device with third party model control and related methods
JP7469912B2 (ja) * 2020-03-03 2024-04-17 キヤノン株式会社 情報処理装置、推論装置、それらの制御方法、プログラム、記憶媒体
JP7456844B2 (ja) 2020-05-13 2024-03-27 東芝ライフスタイル株式会社 情報処理システム
WO2022009652A1 (ja) * 2020-07-07 2022-01-13 ソニーグループ株式会社 データ収集システム、センサ装置、データ収集装置、及びデータ収集方法
WO2022101996A1 (ja) * 2020-11-10 2022-05-19 日本電信電話株式会社 モデル利用制御システム、モデル利用制御方法、モデル利用制御装置、および、モデル利用制御プログラム
JP6982672B1 (ja) * 2020-11-21 2021-12-17 株式会社オプティム プログラム、方法、情報処理装置及びシステム
JP7176019B2 (ja) * 2021-01-29 2022-11-21 株式会社 みずほ銀行 認証システム、認証方法及び認証プログラム
CN114971443A (zh) * 2021-02-20 2022-08-30 菜鸟智能物流控股有限公司 一种物流对象的处理方法及成像设备
KR20240044929A (ko) * 2022-09-29 2024-04-05 네이버랩스 주식회사 식별자 인식 기반 위치 결정 방법 및 장치

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004318391A (ja) 2003-04-15 2004-11-11 Mitsubishi Electric Corp 情報提供装置及び情報提供システム及び分散データベースシステム
JP2006244301A (ja) 2005-03-04 2006-09-14 Nec Corp 画像証明システム及び証明書発行システム並びにこれらを用いた証明書発行支援システム
JP2010278482A (ja) 2009-04-30 2010-12-09 Sony Corp 情報処理装置、電子署名生成システム、電子署名用の鍵生成方法、情報処理方法、及びプログラム
JP2015220574A (ja) 2014-05-16 2015-12-07 ソニー株式会社 情報処理システム、記憶媒体、およびコンテンツ取得方法
JP2016053869A (ja) 2014-09-04 2016-04-14 富士ゼロックス株式会社 情報処理装置及び情報処理プログラム
JP2016085594A (ja) 2014-10-24 2016-05-19 富士通株式会社 肖像権保護プログラム、情報通信装置及び肖像権保護方法
JP2016126597A (ja) 2015-01-06 2016-07-11 マツダ株式会社 車両用歩行者画像取得装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8351676B2 (en) * 2010-10-12 2013-01-08 Sony Corporation Digital image analysis using multi-step analysis
US20120323794A1 (en) * 2011-06-15 2012-12-20 Microsoft Corporation Monetization strategies in privacy-conscious personalization
BR112014017684B1 (pt) 2012-09-12 2021-09-28 Omron Corporation Aparelho de geração de ordem de controle de fluxo de dados, aparelho de gerenciamento de sensor e fluxo de dados de ordem de controle
KR20150021280A (ko) * 2013-08-20 2015-03-02 한국전자통신연구원 영상 처리 장치 및 그 동작방법
US9147128B1 (en) * 2013-11-12 2015-09-29 214 Technologies Inc. Machine learning enhanced facial recognition
US9519408B2 (en) * 2013-12-31 2016-12-13 Google Inc. Systems and methods for guided user actions
US9672370B1 (en) * 2014-10-24 2017-06-06 Google Inc. Sharing digital media within a space
JP5848481B1 (ja) * 2015-05-12 2016-01-27 グリー株式会社 情報管理システム、情報管理方法及び情報管理プログラム
US9704020B2 (en) * 2015-06-16 2017-07-11 Microsoft Technology Licensing, Llc Automatic recognition of entities in media-captured events
US10129477B2 (en) * 2015-08-19 2018-11-13 Google Llc Smart image sensor having integrated memory and processor
US9864901B2 (en) * 2015-09-15 2018-01-09 Google Llc Feature detection and masking in images based on color distributions
US10062133B1 (en) * 2016-01-26 2018-08-28 Google Llc Image retrieval for computing devices

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004318391A (ja) 2003-04-15 2004-11-11 Mitsubishi Electric Corp 情報提供装置及び情報提供システム及び分散データベースシステム
JP2006244301A (ja) 2005-03-04 2006-09-14 Nec Corp 画像証明システム及び証明書発行システム並びにこれらを用いた証明書発行支援システム
JP2010278482A (ja) 2009-04-30 2010-12-09 Sony Corp 情報処理装置、電子署名生成システム、電子署名用の鍵生成方法、情報処理方法、及びプログラム
JP2015220574A (ja) 2014-05-16 2015-12-07 ソニー株式会社 情報処理システム、記憶媒体、およびコンテンツ取得方法
JP2016053869A (ja) 2014-09-04 2016-04-14 富士ゼロックス株式会社 情報処理装置及び情報処理プログラム
JP2016085594A (ja) 2014-10-24 2016-05-19 富士通株式会社 肖像権保護プログラム、情報通信装置及び肖像権保護方法
JP2016126597A (ja) 2015-01-06 2016-07-11 マツダ株式会社 車両用歩行者画像取得装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ドリームゲート事務局，AI研究の第一人者による、学習済み人工知能を販売するベンチャー「メタデータ株式会社」，オンライン，日本，2016年11月20日，1-4，https://web.archive.org/web/20161120124912/http://www.dreamgate.gr.jp/news/4183

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102663409B1 (ko) * 2023-05-30 2024-05-03 김수진 기계학습용 데이터 수집 장치 및 방법

Also Published As

Publication number Publication date
CN109074601A (zh) 2018-12-21
WO2018142764A1 (ja) 2018-08-09
EP3579160A4 (en) 2019-12-11
US20190095757A1 (en) 2019-03-28
JPWO2018142764A1 (ja) 2019-11-21
EP3579160A1 (en) 2019-12-11
US10810461B2 (en) 2020-10-20

Similar Documents

Publication Publication Date Title
JP7129598B2 (ja) 学習済みモデル生成方法、学習済みモデル生成装置、および学習済みモデル利用装置
US10949941B2 (en) Method and system for controlling distribution of composite data of user by aggregation server
AU2017321747B2 (en) Real estate management system, method, and program
JP7149459B2 (ja) 学習済みモデル提供方法および学習済みモデル提供装置
US11580003B2 (en) Data processing system with machine learning engine to provide output generating functions
JP6273185B2 (ja) 監視情報共有システム、監視装置及びプログラム
KR20170005847A (ko) 모바일 장치와 관련된 전자 키 지급 및 액세스 관리를 위한 시스템 및 방법
US11316830B2 (en) Digital content security and communication system using anonymized account classification and analysis
US20200311136A1 (en) Measuring and increasing the quality of user-provided information
WO2019202857A1 (ja) 移動端末装置、及び管理装置
JP2023119055A (ja) 情報処理装置、情報処理方法及びプログラム
US20230081918A1 (en) Systems and Methods to Produce Customer Analytics
JP2019057011A (ja) 判定装置、判定方法及び判定プログラム
US11809537B2 (en) Methods and systems for executing a user instruction
WO2023157169A1 (ja) 情報処理システム、情報処理方法、およびプログラム
US20230376968A1 (en) Digital enrollment systems and methods
JP2023039447A (ja) プログラム、システムおよび情報処理方法
JP2023001081A (ja) 資格情報を伝達する方法及び装置
JP2024002876A (ja) 端末、端末の制御方法及びプログラム
CN116933303A (zh) 数据管理方法、装置和存储介质及电子设备
TW202016786A (zh) 提供認證數據的方法、計算機裝置及計算機程式

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20190124

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201005

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211005

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220406

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220531

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220609

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220705

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220718

R151 Written notification of patent or utility model registration

Ref document number: 7129598

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151