JP7046786B2 - 機械学習システム、ドメイン変換装置、及び機械学習方法 - Google Patents

機械学習システム、ドメイン変換装置、及び機械学習方法 Download PDF

Info

Publication number
JP7046786B2
JP7046786B2 JP2018231333A JP2018231333A JP7046786B2 JP 7046786 B2 JP7046786 B2 JP 7046786B2 JP 2018231333 A JP2018231333 A JP 2018231333A JP 2018231333 A JP2018231333 A JP 2018231333A JP 7046786 B2 JP7046786 B2 JP 7046786B2
Authority
JP
Japan
Prior art keywords
image
domain
information
model
pseudo
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018231333A
Other languages
English (en)
Other versions
JP2020095364A (ja
Inventor
亮 坂井
宣隆 木村
崇弘 三木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2018231333A priority Critical patent/JP7046786B2/ja
Priority to US16/707,647 priority patent/US11281942B2/en
Priority to CN201911256368.3A priority patent/CN111310912B/zh
Priority to EP19215006.8A priority patent/EP3667566A1/en
Publication of JP2020095364A publication Critical patent/JP2020095364A/ja
Application granted granted Critical
Publication of JP7046786B2 publication Critical patent/JP7046786B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)

Description

本発明は、機械学習システム、ドメイン変換装置、及び機械学習方法に関する。
特許文献１には、生成モデル学習方法に関し、ユーザにとって好ましくないデータの生成を抑制する技術に関して記載されている。生成モデル学習方法は、予め用意された学習データに基づき第１生成モデルを教師なし学習により学習する第１学習工程と、第１生成モデルによる生成データを生成する生成工程と、学習データとユーザにより好ましくないと判定された生成データとに基づき第２生成モデルを教師あり学習により学習する第２学習工程と、を含む。
非特許文献１には、敵対的生成ネットワーク（GAN:Generative Adversarial network）を用いて、シミュレータからのアノテーション情報を保持しつつ、実データを用いてシミュレータの出力のリアリティを改善するモデルを学習することにより、合成画像と実際の画像とのギャップを減少させる技術に関して記載されている。
特開２０１８－６３５０４号公報 "Learning from Simulated and Unsupervised Images through Adversarial Training"，"Ashish Shrivastava, Tomas Pfister, Oncel Tuzel, Josh Susskind, Wenda Wang, Russ Webb"，"Apple Inc"，インターネット，２０１８年１１月２９日検索
画像認識を行う機械学習システムにおけるモデルの学習には膨大な数の学習データが必要である。モデルの学習を効率よく行う方法として、機械学習システムが適用される現場の環境を模したシミュレーション環境における学習データを用いてモデルを学習する方法がある。
しかしこの方法による場合、シミュレーション環境と現場環境の状態の相違（ギャップ）が課題となる。上記の相違を解消する方法として、現場環境における画像を、敵対的生成ネットワーク（GAN:Generative Adversarial network）の生成モデル（Generator）に
よりシミュレーション環境の画像に似せた画像に変換（ドメイン変換）する方法があるが、この場合は生成モデルの変換精度の向上が課題となる。
特許文献１に記載の技術は、生成モデルによる、ユーザにとって好ましくないデータの生成を抑制することを目的とするものであり、生成モデルの学習データの準備等にかかるユーザの負荷軽減を目的とするものではない。
本発明は以上の課題に鑑みてなされたもので、画像のドメイン変換を行うモデルの学習を効率よく行うことが可能な、機械学習システム、ドメイン変換装置、及び機械学習方法を提供することを目的とする。
上記目的を達成するための本発明の一つは、認識対象の物体である対象物を撮影した第
１ドメインにおける画像である第１ドメイン画像を、第２ドメインにおける画像である第２ドメイン画像に似せた画像である疑似第２ドメイン画像に変換する機械学習モデルである疑似画像生成モデルの学習を行う情報処理システム（機械学習システム）であり、入力される画像が前記第２ドメイン画像であるか否かを判定する第１判定モデルと、前記入力される画像から、当該画像において対象物が存在する領域を特定する情報である領域情報に基づき抽出される画像である抽出画像が前記第２ドメイン画像から当該画像において対象物が存在する領域を特定する情報である領域情報に基づき抽出される画像であるか否かを判定する第２判定モデルと、前記抽出画像を生成して前記第２判定モデルに入力する、画像抽出部と、前記疑似第２ドメイン画像及び前記第２ドメイン画像のいずれかを選択して前記第１判定モデルに入力するとともに、前記疑似第２ドメイン画像と当該疑似第２ドメイン画像についての前記領域情報である第１領域情報との第１の組合せ、及び、前記第２ドメイン画像と当該第２ドメイン画像についての前記領域情報である第２領域情報との第２の組合せ、のいずれかを選択して前記画像抽出部に入力する、選択入力部と、前記第１判定モデルによる判定の結果と当該判定についての正解情報とを含んだ第１判定結果に基づき前記第１判定モデルの学習を行い、前記第２判定モデルの判定の結果と当該判定についての正解情報とを含んだ第２判定結果に基づき前記第２判定モデルの学習を行い、前記第１判定結果と前記第２判定結果とに基づき前記疑似画像生成モデルの学習を行う、学習処理部と、を備える。
その他、本願が開示する課題、及びその解決方法は、発明を実施するための形態の欄、及び図面により明らかにされる。
本発明によれば、画像のドメイン変換を行うモデルの学習を効率よく行うことができる。
ドメイン変換システムを説明する図である。 疑似画像生成モデルの学習を説明する図である。 疑似画像生成モデルの学習が好ましくない方向に進んでしまうのを防ぐ方法の例を説明する図である。 機械学習システムのブロック図である。 機械学習システムの動作を説明する図である。 機械学習システムの動作を説明する図である。 機械学習システムの動作を説明する図である。 機械学習システムの動作を説明する図である。 機械学習システムのブロック図である。 機械学習システムの構成に際して用いる情報処理装置の一例である。
以下、実施形態について図面を参照しつつ説明する。尚、以下の説明において、同一のまたは類似する構成について共通の符号を付して重複した説明を省略することがある。
一般に画像認識を行う機械学習システムにおける機械学習モデル（以下、「モデル」とも称する。）の学習には膨大な数の学習データが必要であり、学習データの準備のためにユーザは多大な労力と時間を要する。例えば、画像認識により物体を認識しつつロボットアームを制御するモデル（以下、「制御モデル」と称する。）の学習では、ユーザは機械学習システムが適用される現場において物体が取りうる様々な状態に対応する膨大な数の撮影画像を学習データとして用意するとともに、各撮影画像にラベル付け（正解情報の設定）を行う必要がある。
モデルの学習を効率よく行う方法として、現場環境を模したシミュレーション環境を利用する方法がある。しかしこの方法では、シミュレーション環境と現場環境の状態の相違（ドメインの相違）により、現場環境における画像（以下、「現場画像」と称する。）をそのままモデルに入力してもモデルが正しく機能しないことがある。
シミュレーション環境で学習したモデルを現場環境においても正しく機能させる方法として、現場環境において取得したデータを、機械学習モデル（以下、「疑似画像生成モデル」と称する。）を用いたドメイン変換装置によってシミュレーション環境におけるデータに似せたデータに変換する方法が考えられる。
具体的には、例えば、前述した制御モデルの場合、現場画像（以下、「第１ドメイン」画像と称する。）を、機械学習モデル（以下、「疑似画像生成モデル」と称する。）により構成したドメイン変換装置によりシミュレーション環境の画像（以下、「第２ドメイン画像」と称する。）に似せた画像（以下、「疑似第２ドメイン画像」と称する。）に変換（以下、「ドメイン変換」と称する。）し、疑似第２ドメイン画像を制御モデルに入力するようにする。
しかしこの方法では、疑似画像生成モデルの学習のために多数の学習データ（第１ドメイン画像とラベルの組）を用意しなければならないことが課題である。
疑似画像生成モデルとして敵対的生成ネットワーク（ＧＡＮ:Generative Adversarial network）の生成モデル（Generatior）を用いる方法がある。
図１は、上記の方法を実現するシステム（以下、「ドメイン変換システム５」と称する。）説明する図である。同図に示すように、ドメイン変換システム５は、ＧＡＮの生成モデルとして生成した疑似画像生成モデルＧにより、第１ドメイン画像１１を疑似第２ドメイン画像１１ｇに変換する。
図２は、疑似画像生成モデルＧの学習を説明する図である。一般的なＧＡＮの生成モデルの学習と同様、ＧＡＮの生成モデルである疑似画像生成モデルＧの学習に際しては、疑似画像生成モデルＧに加えて判定モデルＤ（Discriminator）（以下、「第１判定モデル
Ｄ１」と称する。）が用いられる。
同図に示すように、疑似画像生成モデルＧには第１ドメイン画像群１１１から選択された第１ドメイン画像１１が１つ入力される。また第１判定モデルＤ１には、疑似画像生成モデルＧが生成した疑似第２ドメイン画像１１ｇの１つ、もしくは第２ドメイン画像群２１１から選択された（真の）第２ドメイン画像２１の１つ、のいずれかがランダムに選択されて入力される。
第１判定モデルＤ１は、入力された画像が、第２ドメイン画像２１（真の第２ドメイン画像）であるか否かを判定し、その判定結果（以下、「第１判定結果Ａ１」と称する。）を出力する。第１判定結果Ａ１は、第１判定モデルＤ１の判定結果である、入力された画像が第２ドメイン画像に似ているか否かの情報（もしくは似ている度合いを示す情報）と、ラベルの情報（入力された画像が疑似第２ドメイン画像であるか第２ドメイン画像２１であるかを示す正解情報）と、を含む。
上記の第１判定結果Ａ１は、疑似画像生成モデルＧの学習と第１判定モデルＤ１の学習に用いられ、疑似画像生成モデルＧは、第１判定結果Ａ１に基づき、第１判定モデルＤ１が第２ドメイン画像２１か否かの判定を間違えるように学習し、一方、第１判定モデルＤ
１は、第１判定結果Ａ１に基づき、疑似画像生成モデルＧが生成した疑似第２ドメイン画像１１ｇを第２ドメイン画像と間違えないように学習する。このように、疑似画像生成モデルＧと第１判定モデルＤ１とが互いに競い合うように学習することで、疑似画像生成モデルＧの疑似第２ドメイン画像１１ｇの生成精度と第１判定モデルＤ１の判定精度の双方が高められていく。尚、疑似画像生成モデルＧや第１判定モデルＤ１の学習は、機械学習システムが備える機能の一つである、図示しない学習処理部が行う。
以上のように、この方法によれば、第１ドメイン画像１１にラベル付けを行うことなく、第１ドメイン画像群１１１と第２ドメイン画像群２１１を用意するだけで、疑似画像生成モデルＧの学習を行うことが可能である。
ところで、以上の方法による疑似画像生成モデルＧの学習に際しては、第１ドメイン画像群１１１からは任意に選択された第１ドメイン画像１１が、また第２ドメイン画像群２１１からは任意に選択された第２ドメイン画像２１が、夫々、学習データとして与えられる。そのため、疑似画像生成モデルＧが、例えば、第１ドメイン画像に含まれていない物体を含んだ画像を擬似第２ドメイン画像１１ｇに含めてしまう等、本来期待しない（例えば、前述した制御モデルが物体を認識する際にノイズとなるような）疑似第２ドメイン画像１１ｇを生成してしまう可能性がある。
ここでこのように疑似画像生成モデルＧの学習が好ましくない方向に進んでしまうのを防ぐ方法として、疑似画像生成モデルＧによる変換前後の画像の差分が小さくなるように疑似画像生成モデルＧの学習を行う方法がある。
図３はこの方法を説明する図である。同図に示すように、この方法では、疑似画像生成モデルＧに入力する第１ドメイン画像１１と疑似画像生成モデルＧが生成する疑似第２ドメイン画像１１ｇとの差分を検出する差分導出部ＤＦを設け、差分導出部ＤＦにより検出される上記の差分ｄｆが小さくなるよう疑似画像生成モデルＧを学習させるようにしている。しかしこの方法には、疑似画像生成モデルＧの変換前後の画像から差分ｄｆの算出に有益な情報を取り出すことや、画像から抽象的な情報の差分ｄｆを取り出すことが必ずしも容易でないといった課題がある。
そこで以上を踏まえ、本実施形態では、以下に示す方法により上記の課題の解決を図る。
図４は上記の課題を解決すべく構成した機械学習システム１の主要な構成を説明するブロック図である。機械学習システム１は、例えば、認識対象の物体である対象物の識別を行いつつロボットアームを制御する制御モデルを学習する情報処理システムである。
同図に示すように、機械学習システム１は、第１ドメイン画像群１１１、第１領域情報群１２１、第２ドメイン画像群２１１、及び第２領域情報群２２１を記憶している。
第１領域情報群１２１には、第１ドメイン画像１１について、対象物が存在する領域（対象物が存在する領域の輪郭情報）を特定する情報（以下、「第１領域情報１２」と称する。）が含まれる。尚、第１領域情報１２は、例えば、被写体までの距離（深度）に関する情報を取得可能な撮影装置（例えば、深度カメラ、ＴＯＦ距離画像カメラ、ステレオカメラ等）により取得される第１ドメイン画像１１について、上記距離について設定した閾値との比較を行うことにより取得（生成）することができる。尚、第１領域情報１２は、例えば、第１ドメイン画像１１について公知の画像処理技術を利用することにより取得（生成）することも可能である。
同図に示す疑似画像生成モデルＧは、第１ドメイン画像群１１１から選択された第１ドメイン画像１１の１つを疑似第２ドメイン画像１１ｇに変換する。
選択入力部Iには、疑似第２ドメイン画像１１ｇと、第１領域情報群１２１から選択さ
れる、当該疑似第２ドメイン画像１１ｇの変換元の第１ドメイン画像１１についての第１領域情報１２との組合せ（以下、「第１の組合せ」と称する。）が入力される。
また選択入力部Iには、第２ドメイン画像群２１１から選択された第２ドメイン画像２
１と、第２領域情報群２２１から選択される、当該第２ドメイン画像２１についての第２領域情報２２との組合せ（以下、「第２の組合せ」と称する。）が入力される。
選択入力部Iは、第１の組合せと第２の組合せのいずれかをランダムに選択し、選択し
た組合せにおける疑似第２ドメイン画像１１ｇまたは第２ドメイン画像２１を第１判定モデルＤ１に、また選択した第１の組合せまたは第２の組合せを画像抽出部Ｓに入力する。
第１の組合せを選択した場合、選択入力部Iは、当該組合せの疑似第２ドメイン画像１
１ｇを第１判定モデルＤ１に、また当該組合せの疑似第２ドメイン画像１１ｇ及び第１領域情報１２を画像抽出部Ｓに、夫々入力する。この場合、画像抽出部Ｓは、入力された疑似第２ドメイン画像１１ｇから、入力された第１領域情報１２で特定される領域（対象物が存在する領域）を抽出した画像（以下、「第１抽出画像１１ｃ」と称する。）を第２判定モデルＤ２に入力する。
また第２の組合せを選択した場合、選択入力部Iは、当該組合せにおける第２ドメイン
画像２１を第１判定モデルＤ１に、また当該組合せにおける第２ドメイン画像２１及び第２領域情報２２を画像抽出部Ｓに、夫々入力する。この場合、画像抽出部Ｓは、入力された第２ドメイン画像２１から、入力された第２領域情報２２で特定される領域（対象物が存在する領域）を抽出した画像（以下、「第２抽出画像２１ｃ」と称する。）を第２判定モデルＤ２に入力する。
第１判定モデルＤ１は、入力された画像が、第２ドメイン画像２１（真の第２ドメイン画像）であるか否かを判定して第１判定結果Ａ１を出力する。第１判定モデルＤ１は、第１判定結果Ａ１に基づき、疑似画像生成モデルＧが生成した疑似第２ドメイン画像１１ｇを第２ドメイン画像と間違えないように学習する。一方、疑似画像生成モデルＧは、第１判定結果Ａ１に基づき、第１判定モデルＤ１が判定を間違えるように（疑似第２ドメイン画像１１ｇを第２ドメイン画像であると誤って判定するように）学習する。尚、疑似画像生成モデルＧや第１～第２判定モデルＤ１～Ｄ２の学習は、機械学習システムが備える機能の一つである、図示しない学習処理部が行う。
第２判定モデルＤ２は、入力される画像が第１抽出画像１１ｃか第２抽出画像２１ｃかを判定して第２判定結果Ａ２を出力する。第２判定モデルＤ２は、第２判定結果Ａ２に基づき、入力される画像が第１抽出画像１１ｃか第２抽出画像２１ｃかを正しく判定するように学習する。一方、疑似画像生成モデルＧは、第２判定結果Ａ２に基づき、第２判定モデルＤ２が判定を間違えるように（第２判定モデルＤ２が、第１抽出画像１１ｃを第２抽出画像２１ｃであると誤って判定するように）学習する。
ここでこのように、入力される画像が第１抽出画像１１ｃか第２抽出画像２１ｃかを正しく判定するように第２判定モデルＤ２が学習することは、第２判定モデルＤ２が、第２抽出画像２１ｃに含まれている対象物の認識精度が高まる方向に学習していることに等しい。そのため、第２判定モデルＤ２の学習が進むにつれ対象物の認識精度が高まり、その結果、第１抽出画像１１ｃにノイズが含まれているか否かの判定精度が高められる。この
ように、第２判定モデルＤ２が高い精度で判定した第２判定結果Ａ２が疑似画像生成モデルＧの学習にフィードバックされ、その結果、疑似画像生成モデルＧは、物体の認識に際してノイズとなるような本来期待しない疑似第２ドメイン画像１１ｇを生成する可能性が低くなる方向に学習することになる。
図５は、図４に示した機械学習システム１の動作を説明する図であり、疑似画像生成モデルＧの学習が進んでいない段階における疑似画像生成モデルＧと第２判定モデルＤ２の動作を説明する図である。
同図に示すように、学習が進んでいない疑似画像生成モデルＧは、元の第１ドメイン画像１１にあった対象物を誤って消去した疑似第２ドメイン画像１１ｇを生成する。第２判定モデルＤ２は、第１抽出画像１１ｃや第２抽出画像２１ｃが、疑似第２ドメイン画像１１ｇであるか第２ドメイン画像２１であるかを正しく判定することができる。
図６は、図４に示した機械学習システム１の動作を説明する図であり、疑似画像生成モデルＧの学習が進んだ段階における疑似画像生成モデルＧと第２判定モデルＤ２の動作を説明する図である。
同図に示すように、学習が進んでいる疑似画像生成モデルＧは、元の第１ドメイン画像における対象物の情報を維持したまま疑似第２ドメイン画像１１ｇを生成する。第２判定モデルＤ２は、第１抽出画像１１ｃや第２抽出画像２１ｃが、疑似第２ドメイン画像１１ｇであるか第２ドメイン画像２１であるかを正しく判定することができない。
尚、図５及び図６に示した例は、画像抽出部Ｓが、元の画像（疑似第２ドメイン画像１１ｇまたは第２ドメイン画像２１）から「対象物が存在する領域」を抽出する場合であったが、画像抽出部Ｓが、元の画像から「対象物が存在しない領域」を抽出するようにしてもよい。そのようにすれば、疑似画像生成モデルＧが元の第１ドメイン画像１１に含まれていない対象物を、元の画像の「対象物が存在しない領域」に誤って描画した場合にも対応することができる。以下、その場合における機械学習システム１の構成について図面を参照しつつ説明する。
図７は、画像抽出部Ｓが、元の画像（疑似第２ドメイン画像１１ｇまたは第２ドメイン画像２１）から「対象物が存在しない領域」を抽出するようにした場合における、図４に示した機械学習システム１の動作を説明する図であり、疑似画像生成モデルＧの学習が進んでいない段階における疑似画像生成モデルＧと第２判定モデルＤ２の動作を説明する図である。
同図に示すように、学習が進んでいない疑似画像生成モデルＧは、元の第１ドメイン画像１１に存在しない対象物を誤って追加した疑似第２ドメイン画像１１ｇを生成する。第２判定モデルＤ２は、第１抽出画像１１ｃや第２抽出画像２１ｃが、疑似第２ドメイン画像１１ｇであるか第２ドメイン画像２１であるかを正しく判定することができる。
図８は、画像抽出部Ｓが、元の画像（疑似第２ドメイン画像１１ｇまたは第２ドメイン画像２１）から「対象物が存在しない領域」を抽出するようにした場合における、図４に示した機械学習システム１の動作を説明する図であり、疑似画像生成モデルＧの学習が進んだ段階における疑似画像生成モデルＧと第２判定モデルＤ２の動作を説明する図である。
同図に示すように、学習が進んでいる疑似画像生成モデルＧは、元の第１ドメイン画像１１における対象物の情報を維持したまま（対象物等を追加することなく）疑似第２ドメ
イン画像１１ｇを生成する。第２判定モデルＤ２は、疑似第２ドメイン画像１１ｇが疑似第２ドメイン画像であることを正しく判定することができない。
尚、以上では、画像抽出部Ｓが、元の画像（疑似第２ドメイン画像または第２ドメイン画像２１）から「対象物が存在する領域」を抽出する場合と、画像抽出部Ｓが「対象物が存在しない領域」を抽出する場合のいずれか一方のみを行う場合を説明したが、画像抽出部Ｓが、これらの双方を並行して行うようにしてもよい。
図９は、そのような構成とした機械学習システム１のブロック図である。同図に示すように、この機械学習システム１は、図４に示した機械学習システム１の構成に、画像抽出部Ｓが「対象物が存在しない領域」を抽出した抽出画像について判定を行う第３判定モデルＤ３を追加した構成になっている。機械学習システム１をこのような構成とすることで、疑似画像生成モデルＧはより高い精度で疑似第２ドメイン画像１１ｇを生成するようにすることができる。尚、疑似画像生成モデルＧや第１～第３判定モデルＤ１～Ｄ３の学習は、機械学習システム１が備える機能の一つである、図示しない学習処理部が行う。
追加した第３判定モデルＤ３は、第１領域情報１２で特定される領域（対象物が存在しない領域）を抽出した画像（以下、「第１抽出画像１１ｃ’」と称する。）か第２領域情報２２で特定される領域（対象物が存在しない領域）を抽出した画像（以下、「第２抽出画像２１ｃ’」と称する。）かを判定して第３判定結果Ａ３を出力する。第３判定モデルＤ３は、第３判定結果Ａ３に基づき、第１抽出画像１１ｃ’か第２抽出画像２１ｃ’かを正しく判定するように学習する。一方、疑似画像生成モデルＧは、第３判定結果に基づき、第３判定モデルＤ３が判定を間違えるように、即ち、第３判定モデルＤ３が、第１抽出画像１１ｃ’を第２抽出画像２１ｃ’であると誤って判定するように学習する。
このように、疑似画像生成モデルが、第１判定結果Ａ１に加えて、第２判定結果Ａ２と第３判定結果Ａ３とに基づき学習を行うので、物体の認識に際してノイズとなるような本来期待しない疑似第２ドメイン画像１１ｇを疑似画像生成モデルＧが生成してしまうのを確実に防ぎつつ、精度の高い疑似第２ドメイン画像１１ｇを生成するように、疑似画像生成モデルＧを効率よく学習させることができる。
図１０は、図１や図４、図９に示す構成を備えた機械学習システム１の実現に用いる情報処理装置（コンピュータ）のハードウェアの一例である。
同図に示すように、例示する情報処理装置１００は、プロセッサ１１０、主記憶装置１２０、補助記憶装置１３０、入力装置１４０、出力装置１５０、及び通信装置１６０を備える。これらは図示しないバス等の通信手段を介して互いに通信可能に接続されている。
尚、情報処理装置１００は、例えば、ロボットアーム（マニピュレータ）に実装されているマイクロコンピュータのように、当該機械学習システムが適用される他のシステムの一部を構成するものであってもよい。また情報処理装置１００は、例えば、クラウドシステムにより提供されるクラウドサーバのような仮想的な情報処理資源を用いて実現されるものであってもよい。
プロセッサ１１０は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）、ＡＩチップ等を用いて構成されている。
主記憶装置１２０は、プログラムやデータを記憶する装置であり、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、不揮発性メモリ（ＮＶＲＡＭ（No
n Volatile RAM））等である。
補助記憶装置１３０は、例えば、ハードディスクドライブ、ＳＳＤ（Solid State Drive）、光学式記憶装置（ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）等）
、ストレージシステム、ＩＣカード、ＳＤカードや光学式記録媒体等の記録媒体の読取／書込装置、クラウドサーバの記憶領域等である。補助記憶装置１３０には、記録媒体の読取装置や通信装置１６０を介してプログラムやデータを読み込むことができる。補助記憶装置１３０に記憶されているプログラムやデータは主記憶装置１２０に随時読み込まれる。
入力装置１４０は、外部からの入力を受け付けるインタフェースであり、例えば、キーボード、マウス、タッチパネル、カードリーダ、音声入力装置等である。
出力装置１５０は、処理経過や処理結果等の各種情報を出力するインタフェースである。出力装置１５０は、例えば、上記の各種情報を可視化する表示装置（液晶モニタ、ＬＣＤ（Liquid Crystal Display）、グラフィックカード等）、上記の各種情報を音声化する装置（音声出力装置（スピーカ等））、上記の各種情報を文字化する装置（印字装置等）である。尚、例えば、情報処理装置１００が通信装置１６０を介して他の装置との間で情報の入力や出力を行う構成としてもよい。
通信装置１６０は、他の装置との間の通信を実現する装置である。通信装置１６０は、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、インターネット等の通
信手段を介した他の装置との間の通信を実現する有線方式又は無線方式の通信インタフェースであり、例えば、ＮＩＣ（Network Interface Card）、無線通信モジュール、ＵＳＢ（Universal Serial Interface）モジュール、シリアル通信モジュール等である。
前述した疑似画像生成モデルＧ、選択入力部I、画像抽出部Ｓ、第１～第３判定モデル
Ｄ１～Ｄ３、及び図示しない学習処理部の機能は、例えば、情報処理装置１００のプロセッサ１１０が、主記憶装置１２０に格納されているプログラムを読み出して実行することにより実現される。
また主記憶装置１２０や補助記憶装置１３０は、疑似画像生成モデルＧや第１～第３判定モデルＤ１～Ｄ３を定義する各種パラメータ、第１ドメイン画像１１、疑似第２ドメイン画像１１ｇ、第１領域情報１２、第２領域情報２２、第１抽出画像１１ｃ、第２抽出画像２１ｃ、及び第１～第３判定結果Ａ１～Ａ３を記憶する。
以上詳細に説明したように、本実施形態の機械学習システム１によれば、疑似画像生成モデルが、第１判定結果Ａ１に加えて、第２判定結果Ａ２や第３判定結果Ａ３に基づき学習を行うので、物体の認識に際してノイズとなるような本来期待しない疑似第２ドメイン画像１１ｇを疑似画像生成モデルＧが生成してしまうのを防ぎつつ、精度の高い疑似第２ドメイン画像１１ｇを生成するように疑似画像生成モデルＧを効率よく学習させることができる。
また本実施形態の機械学習システム１によれば、学習データの準備に際してユーザはラベル付けや第１ドメイン画像１１と第２ドメイン画像２１との対応づけ等の煩雑な作業を行う必要がなく、疑似画像生成モデルの学習を効率よく行うことができる。
ところで、本発明は前述した実施形態に限定されるものではなく、添付した特許請求の範囲の趣旨内における様々な変形例及び同等の構成が含まれる。例えば、前述した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した
全ての構成を備えるものに本発明は限定されない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えてもよい。また、ある実施形態の構成に他の実施形態の構成を加えてもよい。また、各実施形態の構成の一部について、他の構成の追加、削除、又は置換をしてもよい。
前述した各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等により、ハードウェアで実現してもよく、プロセッサがそれぞれの機能を実現するプログラムを解釈し実行することにより、ソフトウェアで実現してもよい。
各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスク、ＳＳＤ（Solid State Drive）等の記憶装置、又は、ＩＣ（Integrated Circuit）カ
ード、ＳＤカード、ＤＶＤ（Digital Versatile Disc）の記録媒体に格納することができる。
制御線や情報線は説明上必要と考えられるものを示しており、実装上必要な全ての制御線や情報線を示しているとは限らない。実際には、ほとんど全ての構成が相互に接続されていると考えてよい。
１ 機械学習システム
５ ドメイン変換システム
Ｇ 疑似画像生成モデル
Ｉ 選択入力部
Ｓ 画像抽出部
Ｄ１ 第１判定モデル
Ｄ２ 第２判定モデル
Ｄ３ 第３判定モデル
１１１ 第１ドメイン画像群
１１ 第１ドメイン画像
１１ｇ 疑似第２ドメイン画像
１１ｃ 第１抽出画像
１２１ 第１領域情報群
１２ 第１領域情報
２１１ 第２ドメイン画像群
２１ 第２ドメイン画像
２１ｃ 第２抽出画像
２２１ 第２領域情報群
２２ 第２領域情報
Ａ１ 第１判定結果
Ａ２ 第２判定結果
Ａ３ 第３判定結果

Claims (14)

  1. 認識対象の物体である対象物を撮影した第１ドメインにおける画像である第１ドメイン画像を、第２ドメインにおける画像である第２ドメイン画像に似せた画像である疑似第２ドメイン画像に変換する機械学習モデルである疑似画像生成モデルの学習を行う情報処理システムであり、
    入力される画像が前記第２ドメイン画像であるか否かを判定する第１判定モデルと、
    前記入力される画像から、当該画像において対象物が存在する領域を特定する情報である領域情報に基づき抽出される画像である抽出画像が前記第２ドメイン画像から当該画像において対象物が存在する領域を特定する情報である領域情報に基づき抽出される画像であるか否かを判定する第２判定モデルと、
    前記抽出画像を生成して前記第２判定モデルに入力する、画像抽出部と、
    前記疑似第２ドメイン画像及び前記第２ドメイン画像のいずれかを選択して前記第１判定モデルに入力するとともに、前記疑似第２ドメイン画像と当該疑似第２ドメイン画像についての前記領域情報である第１領域情報との第１の組合せ、及び、前記第２ドメイン画像と当該第２ドメイン画像についての前記領域情報である第２領域情報との第２の組合せ、のいずれかを選択して前記画像抽出部に入力する、選択入力部と、
    前記第１判定モデルによる判定の結果と当該判定についての正解情報とを含んだ第１判定結果に基づき前記第１判定モデルの学習を行い、前記第２判定モデルの判定の結果と当該判定についての正解情報とを含んだ第２判定結果に基づき前記第２判定モデルの学習を行い、前記第１判定結果と前記第２判定結果とに基づき前記疑似画像生成モデルの学習を行う、学習処理部と、
    を備える、機械学習システム。
  2. 請求項１に記載の機械学習システムであって、
    前記画像抽出部は、前記入力される画像から、前記対象物が存在する領域を抽出した画像を前記抽出画像として生成する、
    機械学習システム。
  3. 請求項１に記載の機械学習システムであって、
    前記画像抽出部は、前記入力される画像から、前記対象物が存在しない領域を抽出した画像を前記抽出画像として生成する、
    機械学習システム。
  4. 請求項１に記載の機械学習システムであって、
    前記第１ドメイン画像は被写体までの距離を示す情報を取得可能な撮影装置により撮影される画像であり、前記領域情報は、前記距離に関する情報に基づき取得される情報である、
    機械学習システム。
  5. 請求項１に記載の機械学習システムであって、
    前記領域情報は、前記第１ドメイン画像を画像処理することにより取得される情報である、機械学習システム。
  6. 認識対象の物体である対象物を撮影した第１ドメインにおける画像である第１ドメイン画像を、第２ドメインにおける画像である第２ドメイン画像に似せた画像である疑似第２ドメイン画像に変換する機械学習モデルである疑似画像生成モデルの学習を行う情報処理システムであり、
    入力される画像が前記第２ドメイン画像であるか否かを判定する、第１判定モデルと、
    前記入力される画像から、当該画像において対象物が存在する領域を特定する情報であ
    る領域情報に基づき抽出される画像である第１抽出画像が前記第２ドメイン画像から当該画像において対象物が存在する領域を特定する情報である領域情報に基づき抽出される画像であるか否かを判定する第２判定モデルと、
    前記入力される画像から、前記領域情報に基づき前記対象物が存在しない領域を抽出した画像である第２抽出画像が前記第２ドメイン画像から前記領域情報に基づき前記対象物が存在しない領域を抽出した画像であるか否かを判断する第３判定モデルと、
    前記第１抽出画像を生成して前記第２判定モデルに入力し、前記第２抽出画像を生成して前記第３判定モデルに入力する、画像抽出部と、
    前記疑似第２ドメイン画像及び前記第２ドメイン画像のいずれかを選択して前記第１判定モデルに入力するとともに、前記疑似第２ドメイン画像と当該疑似第２ドメイン画像についての前記領域情報である第１領域情報との第１の組合せ、及び、前記第２ドメイン画像と当該第２ドメイン画像についての前記領域情報である第２領域情報との第２の組合せ、のいずれかの組合せを選択して前記画像抽出部に入力する選択入力部と、
    前記第１判定モデルによる判定の結果と当該判定についての正解情報とを含んだ第１判定結果に基づき前記第１判定モデルの学習を行い、前記第２判定モデルの判定の結果と当該判定についての正解情報とを含んだ第２判定結果に基づき前記第２判定モデルの学習を行い、前記第３判定モデルの判定の結果と当該判定についての正解情報とを含んだ第３判定結果に基づき前記第３判定モデルの学習を行い、前記第１判定結果、前記第２判定結果、及び前記第３判定結果に基づき前記疑似画像生成モデルの学習を行う、学習処理部と、
    を備える、機械学習システム。
  7. 請求項６に記載の機械学習システムであって、
    前記第１ドメイン画像は被写体までの距離に関する情報を取得可能な撮影装置により撮影された画像であり、前記領域情報は、前記距離に関する情報に基づき取得される情報である、機械学習システム。
  8. 請求項６に記載の機械学習システムであって、
    前記領域情報は、前記第１ドメイン画像を画像処理することにより取得される情報である、機械学習システム。
  9. 請求項１に記載の前記機械学習システムにおける前記学習処理部により学習した前記疑似画像生成モデルを備えるドメイン変換装置であって、前記疑似画像生成モデルにより前記第１ドメイン画像を前記疑似第２ドメイン画像に変換する、ドメイン変換装置。
  10. 請求項６に記載の前記機械学習システムにおける前記学習処理部により学習した前記疑似画像生成モデルを備えるドメイン変換装置であって、前記疑似画像生成モデルにより前記第１ドメイン画像を前記疑似第２ドメイン画像に変換する、ドメイン変換装置。
  11. 認識対象の物体である対象物を撮影した第１ドメインにおける画像である第１ドメイン画像を、第２ドメインにおける画像である第２ドメイン画像に似せた画像である疑似第２ドメイン画像に変換する機械学習モデルである疑似画像生成モデルの学習を行う方法であって、
    入力される画像が前記第２ドメイン画像であるか否かを判定する第１判定モデルと、
    前記入力される画像から、当該画像において対象物が存在する領域を特定する情報である領域情報に基づき抽出される画像である抽出画像が前記第２ドメイン画像から当該画像において対象物が存在する領域を特定する情報である領域情報に基づき抽出される画像であるか否かを判定する第２判定モデルと、
    前記抽出画像を生成して前記第２判定モデルに入力する、画像抽出部と、
    を備える情報処理装置が、
    前記疑似第２ドメイン画像及び前記第２ドメイン画像のいずれかを選択して前記第１判
    定モデルに入力するとともに、前記疑似第２ドメイン画像と当該疑似第２ドメイン画像についての前記領域情報である第１領域情報との第１の組合せ、及び、前記第２ドメイン画像と当該第２ドメイン画像についての前記領域情報である第２領域情報との第２の組合せ、のいずれかを選択して前記画像抽出部に入力するステップと、
    前記第１判定モデルによる判定の結果と当該判定についての正解情報とを含んだ第１判定結果に基づき前記第１判定モデルの学習を行い、前記第２判定モデルの判定の結果と当該判定についての正解情報とを含んだ第２判定結果に基づき前記第２判定モデルの学習を行い、前記第１判定結果と前記第２判定結果とに基づき前記疑似画像生成モデルの学習を行うステップと、
    を実行する、機械学習方法。
  12. 請求項１１に記載の機械学習方法であって、
    前記情報処理装置が、前記入力される画像から、前記対象物が存在する領域を抽出した画像を前記抽出画像として生成するステップ、
    をさらに実行する、機械学習方法。
  13. 請求項１１に記載の機械学習方法であって、
    前記情報処理装置が、前記入力される画像から、前記対象物が存在しない領域を抽出した画像を前記抽出画像として生成するステップ、
    をさらに実行する、機械学習方法。
  14. 認識対象の物体である対象物を撮影した第１ドメインにおける画像である第１ドメイン画像を、第２ドメインにおける画像である第２ドメイン画像に似せた画像である疑似第２ドメイン画像に変換する機械学習モデルである疑似画像生成モデルの学習を行う方法であって、
    入力される画像が前記第２ドメイン画像であるか否かを判定する、第１判定モデルと、
    前記入力される画像から、当該画像において対象物が存在する領域を特定する情報である領域情報に基づき抽出される画像である第１抽出画像が前記第２ドメイン画像から当該画像において対象物が存在する領域を特定する情報である領域情報に基づき抽出される画像であるか否かを判定する第２判定モデルと、
    前記入力される画像から、前記領域情報に基づき前記対象物が存在しない領域を抽出した画像である第２抽出画像が前記第２ドメイン画像から前記領域情報に基づき前記対象物が存在しない領域を抽出した画像であるか否かを判断する第３判定モデルと、
    前記第１抽出画像を生成して前記第２判定モデルに入力し、前記第２抽出画像を生成して前記第３判定モデルに入力する、画像抽出部と、
    を備える情報処理装置が、
    前記疑似第２ドメイン画像及び前記第２ドメイン画像のいずれかを選択して前記第１判定モデルに入力するとともに、前記疑似第２ドメイン画像と当該疑似第２ドメイン画像についての前記領域情報である第１領域情報との第１の組合せ、及び、前記第２ドメイン画像と当該第２ドメイン画像についての前記領域情報である第２領域情報との第２の組合せ、のいずれかの組合せを選択して前記画像抽出部に入力するステップと、
    前記第１判定モデルによる判定の結果と当該判定についての正解情報とを含んだ第１判定結果に基づき前記第１判定モデルの学習を行い、前記第２判定モデルの判定の結果と当該判定についての正解情報とを含んだ第２判定結果に基づき前記第２判定モデルの学習を行い、前記第３判定モデルの判定の結果と当該判定についての正解情報とを含んだ第３判定結果に基づき前記第３判定モデルの学習を行い、前記第１判定結果、前記第２判定結果、及び前記第３判定結果に基づき前記疑似画像生成モデルの学習を行うステップと、
    を実行する、機械学習方法。
JP2018231333A 2018-12-11 2018-12-11 機械学習システム、ドメイン変換装置、及び機械学習方法 Active JP7046786B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018231333A JP7046786B2 (ja) 2018-12-11 2018-12-11 機械学習システム、ドメイン変換装置、及び機械学習方法
US16/707,647 US11281942B2 (en) 2018-12-11 2019-12-09 Machine learning system, domain conversion device, and machine learning method
CN201911256368.3A CN111310912B (zh) 2018-12-11 2019-12-10 机器学习***、域变换装置、及机器学习方法
EP19215006.8A EP3667566A1 (en) 2018-12-11 2019-12-10 Machine learning system, domain conversion device, and machine learning method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018231333A JP7046786B2 (ja) 2018-12-11 2018-12-11 機械学習システム、ドメイン変換装置、及び機械学習方法

Publications (2)

Publication Number Publication Date
JP2020095364A JP2020095364A (ja) 2020-06-18
JP7046786B2 true JP7046786B2 (ja) 2022-04-04

Family

ID=68848150

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018231333A Active JP7046786B2 (ja) 2018-12-11 2018-12-11 機械学習システム、ドメイン変換装置、及び機械学習方法

Country Status (4)

Country Link
US (1) US11281942B2 (ja)
EP (1) EP3667566A1 (ja)
JP (1) JP7046786B2 (ja)
CN (1) CN111310912B (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2022064763A1 (ja) * 2020-09-28 2022-03-31
CN113128411B (zh) * 2021-04-22 2024-06-28 深圳市格灵精睿视觉有限公司 跨域抓取识别方法、装置、电子设备及存储介质
CN113658036B (zh) * 2021-08-23 2024-05-31 平安科技（深圳）有限公司 基于对抗生成网络的数据增广方法、装置、计算机及介质
JP2023123987A (ja) * 2022-02-25 2023-09-06 株式会社Ｓｃｒｅｅｎホールディングス モデル選定方法および画像処理方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009525517A (ja) 2006-01-31 2009-07-09 富士フイルム株式会社 眼鏡を自動的に検出し、削除する方法、及び装置
JP2017199278A (ja) 2016-04-28 2017-11-02 ソニーセミコンダクタソリューションズ株式会社 検出装置、検出方法、およびプログラム
JP2018192264A (ja) 2017-05-18 2018-12-06 キヤノンメディカルシステムズ株式会社 医用画像処理装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9390203B2 (en) * 2004-06-15 2016-07-12 Abb Ab Method and system for off-line programming of multiple interacting robots
JP5385176B2 (ja) * 2009-09-28 2014-01-08 富士フイルム株式会社 画像表示装置の作動方法および画像表示装置
JP2013186521A (ja) * 2012-03-06 2013-09-19 Casio Comput Co Ltd 画像処理装置、画像処理方法及びプログラム
US20170092000A1 (en) * 2015-09-25 2017-03-30 Moshe Schwimmer Method and system for positioning a virtual object in a virtual simulation environment
JP6729081B2 (ja) * 2016-06-30 2020-07-22 オムロン株式会社 画像処理システム、画像処理方法、および画像処理プログラム
JP2018063504A (ja) 2016-10-12 2018-04-19 株式会社リコー 生成モデル学習方法、装置及びプログラム
JP2018077757A (ja) * 2016-11-11 2018-05-17 横河電機株式会社 情報処理装置、情報処理方法、情報処理プログラム及び記録媒体
US10474929B2 (en) * 2017-04-25 2019-11-12 Nec Corporation Cyclic generative adversarial network for unsupervised cross-domain image generation
KR102403494B1 (ko) * 2017-04-27 2022-05-27 에스케이텔레콤 주식회사 생성적 대립 네트워크에 기반한 도메인 간 관계를 학습하는 방법
CN108881707B (zh) * 2017-11-28 2020-11-10 北京旷视科技有限公司 图像生成方法、装置、***和存储介质
US20190258953A1 (en) * 2018-01-23 2019-08-22 Ulrich Lang Method and system for determining policies, rules, and agent characteristics, for automating agents, and protection
DE102018206806A1 (de) * 2018-04-23 2019-10-24 Robert Bosch Gmbh Verfahren und Vorrichtung zur Umsetzung eines Eingangsbildes einer ersten Domäne in ein Ausgangsbild einer zweiten Domäne
WO2019210431A1 (en) * 2018-05-03 2019-11-07 The Governing Council Of The University Of Toronto Method and system for optimizing depth imaging
US20200380085A1 (en) * 2019-06-03 2020-12-03 Robert Bosch Gmbh Simulations with Realistic Sensor-Fusion Detection Estimates of Objects
US11126891B2 (en) * 2019-09-11 2021-09-21 Toyota Research Institute, Inc. Systems and methods for simulating sensor data using a generative model

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009525517A (ja) 2006-01-31 2009-07-09 富士フイルム株式会社 眼鏡を自動的に検出し、削除する方法、及び装置
JP2017199278A (ja) 2016-04-28 2017-11-02 ソニーセミコンダクタソリューションズ株式会社 検出装置、検出方法、およびプログラム
JP2018192264A (ja) 2017-05-18 2018-12-06 キヤノンメディカルシステムズ株式会社 医用画像処理装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
SATOSHI IIZUKA, 外2名，"Globally and Locally Consistent Image Completion"，ACM Transactions on Graphics ，第36巻, 第4号，米国，2017年07月，p.(107:1)-(107:14)
Yu Li, 外3名，"Unsupervised Local Facial Attributes Transfer Using Dual Discriminative Adversarial Networks"，2018 IEEE International Conference on Multimedia and Expo (ICME)，米国，IEEE，2018年07月27日
谷村朋樹, 外3名，"ＧＡＮｏｎｙｍｉｚｅｒ：物体検出と敵対的生成を統合した映像匿名化手法"，研究報告ユビキタスコンピューティングシステム（ＵＢＩ），日本，情報処理学会，2018年08月24日，第2018-UBI-59巻, 第2号，p.1-6

Also Published As

Publication number Publication date
EP3667566A1 (en) 2020-06-17
JP2020095364A (ja) 2020-06-18
US20200184269A1 (en) 2020-06-11
US11281942B2 (en) 2022-03-22
CN111310912B (zh) 2024-07-05
CN111310912A (zh) 2020-06-19

Similar Documents

Publication Publication Date Title
JP7046786B2 (ja) 機械学習システム、ドメイン変換装置、及び機械学習方法
WO2021208601A1 (zh) 基于人工智能的图像处理方法、装置、设备及存储介质
US10394579B2 (en) Automatically fixing inaccessible widgets during mobile application execution
US10108763B2 (en) Method and simulation arrangement for simulating an automated industrial plant
US11620530B2 (en) Learning method, and learning apparatus, and recording medium
JP7031685B2 (ja) モデル学習装置、モデル学習方法及びコンピュータプログラム
CN109784330B (zh) 招牌内容识别方法、装置及设备
JP2019159836A (ja) 学習プログラム、学習方法および学習装置
CN114662427A (zh) 一种逻辑***设计的调试方法及设备
US10896252B2 (en) Composite challenge task generation and deployment
JP7161979B2 (ja) 説明支援装置、および、説明支援方法
CN110135583B (zh) 标注信息的生成方法、标注信息的生成装置和电子设备
US10176436B2 (en) Extracting skill-level-based command execution patterns from CATIA command log
US11157829B2 (en) Method to leverage similarity and hierarchy of documents in NN training
US20140172369A1 (en) Computer-readable recording medium, abnormality cause estimating apparatus, and abnormality cause estimating method
US20210073580A1 (en) Method and apparatus for obtaining product training images, and non-transitory computer-readable storage medium
JP7221143B2 (ja) キーワード検出装置、及びキーワード検出方法
JP7266075B2 (ja) データ選別支援装置、データ選別支援方法及びデータ選別支援プログラム
US20230085797A1 (en) Analysis device, analysis system, analysis method, and storage medium
JP6828812B2 (ja) 情報処理装置、情報処理方法及びプログラム
KR102138980B1 (ko) 디지털 컨텐츠 생성 방법 및 장치
JP2022073635A (ja) ベクトル化プログラム、ベクトル化方法および情報処理装置
CN111381665A (zh) 一种增强现实的扫描方法、装置、终端和介质
JP2024057734A (ja) 情報処理プログラム，訓練プログラム，情報処理方法，訓練方法および情報処理装置
JP6331400B2 (ja) 検証方法、検証装置および検証プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210405

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220315

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220323

R150 Certificate of patent or registration of utility model

Ref document number: 7046786

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150