JP7324086B2 - 情報処理装置、情報処理方法 - Google Patents

情報処理装置、情報処理方法 Download PDF

Info

Publication number
JP7324086B2
JP7324086B2 JP2019149156A JP2019149156A JP7324086B2 JP 7324086 B2 JP7324086 B2 JP 7324086B2 JP 2019149156 A JP2019149156 A JP 2019149156A JP 2019149156 A JP2019149156 A JP 2019149156A JP 7324086 B2 JP7324086 B2 JP 7324086B2
Authority
JP
Japan
Prior art keywords
data
learning
information processing
input
topological
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019149156A
Other languages
English (en)
Other versions
JP2021033378A (ja
JP2021033378A5 (ja
Inventor
晃一 丹治
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2019149156A priority Critical patent/JP7324086B2/ja
Priority to US16/984,448 priority patent/US11809994B2/en
Publication of JP2021033378A publication Critical patent/JP2021033378A/ja
Publication of JP2021033378A5 publication Critical patent/JP2021033378A5/ja
Application granted granted Critical
Publication of JP7324086B2 publication Critical patent/JP7324086B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217Validation; Performance evaluation; Active pattern learning techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/40Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • G06F18/41Interactive pattern learning with a human teacher
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/235Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776Validation; Performance evaluation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/94Hardware or software architectures specially adapted for image or video understanding
    • G06V10/945User interactive design; Environments; Toolboxes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20104Interactive definition of region of interest [ROI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Description

本発明は、被検出領域の位相幾何学的性質を用いて学習を行うための技術に関するものである。
従来より、入力信号から、フィルタリング等の演算処理(モルフォロジー演算等)によって特定パターンを抽出することが行われている。このモルフォロジー演算においては、例えば入力信号が画像の場合、3×3画素といった特定のサイズの構造要素を元データに作用させて、出力を得る。また、入力信号から特定パターンを識別するために、学習データを用いて識別器を生成した上で、該識別器を用いて特定パターンを識別することも行われている。識別器の学習では、例えば学習に階層型ネットワークを用いた場合、与えた正解データ(以下、教師データ或いはGT(Ground Truth)と記す)との誤差を、階層型ネットワークにおいて逆伝播させることによって重み係数の更新を行っていく。前述したモルフォロジー演算を用いた特定パターンの抽出において得られる結果は作用させる構造要素の局所的な範囲に依存し、構造要素のサイズを大きくすれば、それが作用する範囲は大きくなるものの、得られる結果の解像度が低下するという問題がある。また、前述した識別器を用いた場合には、学習に反映されるのは、局所的な教師データとの誤差といった局所的な情報であって、特定パターンが有する大域的な形状ではなかった。
この様な問題に対処するために、これまでにいくつかの提案がなされている。例えば、テンプレートマッチングといって、あらかじめ用意した特定パターン形状とのマッチングを行うことによって、特定形状の抽出を行う方法(非特許文献1)が知られている。また、データの位相幾何学的性質に着目するTDA(Topological Data Analysis)を、特定の空間にマッピングした時系列データに適用することによって、識別器にデータを入力する段階で、データの大域的な特徴を取り込む方法(非特許文献2)なども知られている。
C. Muramatsu, et al."血管モデルのテンプレートマッチングによる眼底画像上の主幹動静脈認識精度の改善" 医用画像情報学会, Vol.30 No.3, 63-69 (2013) Y. Umeda "Time Series Classification via Topological Data Analysis"人工知能学会, Vol.32, No.3, 1-12, (2017)
しかしながら、前述したテンプレートマッチングを用いる方法においては、あらかじめ用意したテンプレートのパターンに効果が限定され、汎用的な手法としては用いることができないという問題がある。また、前述したTDAを学習に用いる方法においては、時系列データの位相幾何学的性質を特徴量として用いることのみが開示されており、データの位相幾何学的性質を、より広範な形態で多様な対象の学習に用いることは想定されていないという課題があった。本発明は、被検出領域の位相幾何学的性質を識別器の学習に用いるための技術を提供する。
本発明の一様態は、入力データに対応する教師データの位相幾何学的性質に基づいて、位相不変量に関する教師データを生成する生成手段と、
前記入力データを入力した識別器から出力される出力データにおいて一部の教師データに対応する位相不変量と、前記生成手段により生成された位相不変量に関する教師データと、に基づいて、前記識別器の学習を行う学習手段と
を備えることを特徴とする。
本発明の構成によれば、被検出領域の位相幾何学的性質を識別器の学習に用いることができる。
情報処理装置の機能構成例を示すブロック図。 情報処理装置による識別器の学習処理のフローチャート。 位相幾何学(トポロジー)概念の模式図である。 位相不変量概念の模式図である。 位相不変量を用いて学習を行う階層型ネットワークの模式図である。 注目領域を設定する過程の模式図である。 注目領域における位相不変量を導出する過程の模式図である。 情報処理装置の機能構成例を示すブロック図。 情報処理装置による識別器の学習処理のフローチャート。 位相不変量を用いて難画像収集を行う過程の模式図である。 第3の実施形態に係る学習過程の模式図である。 第4の実施形態に係る学習過程の模式図である。 第5の実施形態に係る学習過程の模式図である。 コンピュータ装置のハードウェア構成例を示すブロック図。
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
なお、本発明は、被検出領域の位相幾何学的性質を、従来手法に併用して学習を行うことによって、より好適な結果を得ることができる技術を提供することを目的とするものである。然るに、被検出領域の位相幾何学的性質を利用できる場合であれば、いかなる手法や対象にも適用可能である。
[第1の実施形態]
先ず、本実施形態に係る情報処理装置の機能構成例について、図1のブロック図を用いて説明する。なお、図1に示した構成は、以下に説明する学習処理を実現可能な構成の一例に過ぎず、同様の目的を達成できるのであれば、情報処理装置の機能構成は図1に示した構成に限らない。
記憶部101は、基本学習データを保持する。基本学習データとは、何らかの加工や変形、或いは追加の解釈を行わない元の学習データのことである。基本学習データは、入力データと、該入力データを識別器に入力した場合に該識別器から出力される出力データとして望ましいデータである教師データと、を含む。
設定部102は、基本学習データに含まれている教師データにおける部分データの位相幾何学的性質に基づいて、位相不変量に関する教師データを生成する。そして設定部102は、基本学習データと、設定部102により生成された「位相不変量に関する教師データ」と、を含む学習データである位相不変量学習データを記憶部103に格納する。
ここで、位相幾何学的性質について、図3を用いて説明する。図3(a)は事例としてコーヒーカップの輪郭を、図3(b)はドーナツの輪郭を示している。図3(a)のコーヒーカップの輪郭と図3(b)のドーナッツの輪郭とは、形態としては異なるものの、輪郭中に存在する穴の数に着目すると、図3(a)では取っ手部分の1つであり、図3(b)ではドーナツの穴の数1つであり、同一である。この様に、元の形状が連続変形(伸縮したり曲がったりはするが、切断したりはしない)したとしても、不変に保たれる性質のことを位相幾何学的性質と呼び、不変に保たれる量を位相不変量という。図4は、代表的な位相不変量を模式的に示したものである。図4(a)は連結成分の概念を、図4(b)は2次元の系における穴の概念を、図4(c)は3次元の系における空洞の概念を模式的に示しており、それぞれの数は、連続変形で不変に保たれる。
図1に戻って、学習処理部104は、記憶部103に格納されている位相不変量学習データを用いて識別器の学習処理を行う。そして学習処理部104は、識別器の学習処理が完了すると、該学習処理の結果を記憶部105に格納する。
記憶部106は、学習処理部104により学習が完了した識別器を評価するために用いるテストデータを保持する。テストデータとしては、例えば、上記のような基本学習データを用いても良い。
評価部107は、記憶部106に格納されているテストデータを用いて、学習処理部104により学習済みの識別器の評価を行う。例えば、テストデータとして上記のような基本学習データを用いた場合、評価部107は、基本学習データに含まれている入力データに対する識別器の出力と、該基本学習データに含まれている教師データと、の差分(誤差)を評価結果として求める。そして評価部107は、求めた評価結果を表示出力や音声出力などの通知方法でもってユーザに通知する。制御部199は、上記の情報処理装置の各機能部の動作を制御する。
次に、本実施形態に係る情報処理装置による識別器の学習処理について、図2のフローチャートに従って説明する。ステップS101では、設定部102は、記憶部101に格納されている基本学習データを取得する。なお、基本学習データの取得元は記憶部101に限らず、例えば、ネットワークを介して外部の装置から基本学習データを取得するようにしても良い。
ステップS102では設定部102は、ステップS101で取得した基本学習データに含まれている教師データに対し、位相幾何学的性質を表す位相不変量を求める領域を注目領域として設定し、該注目領域内の位相不変量を位相不変量教師データとして求める。
ここで、どの様な位相不変量教師データを生成するのかは、基本学習データの性質(どの様なサイズや形状、或いは位相不変量として何を用いれば最も効果的に基本学習データの位相不変量を抽出できるか等)に依存する。以下では一例として輪郭抽出(入力対象となる画像中に含まれる物体の輪郭部分を抽出する)を行う場合に適用する事例を用いて説明する。
そして設定部102は、基本学習データと、設定部102により生成された位相不変量教師データと、を含む学習データである位相不変量学習データを記憶部103に格納する。
ステップS103では、学習処理部104は、ステップS102で記憶部103に格納された位相不変量学習データを用いて識別器の学習処理を行う。識別器として階層型ニューラルネットワークを用いた場合における学習処理部104の動作について、図5を用いて説明する。図5の階層型ニューラルネットワークは、中間層群502~504(それぞれの中間層群は、例えば複数の畳み込み層やプーリング層、フルコネクト層から成る)によって構成されている。例えば、中間層群502は2つの畳み込み層から構成され、中間層群503は1つのプーリング層に続く2つの畳み込み層から構成され、中間層群504も中間層群503と同様に1つのプーリング層に続く2つの畳み込み層から構成されている。以下では、学習処理部104が、このような構成を有する階層型ニューラルネットワークの学習処理を行うケースについて説明する。
学習処理部104は、基本学習データに含まれている入力データ501を中間層群502に入力して階層型ニューラルネットワークを動作させる。これにより中間層群502は該入力された入力データ501を処理し、中間層群503は該中間層群502による処理結果を処理し、中間層群504は該中間層群503による処理結果を処理する。
そして学習処理部104は、中間層群504による処理結果としての出力データ505(入力データ501を入力した階層型ニューラルネットワークからの出力分布)と、位相不変量学習データに含まれている教師データであるGT507(出力データ505にて抽出されることが期待される輪郭の教師データ)と、の差分(誤差)をGT誤差509として求める。GT誤差509には、例えば、GT507のラベル値が0と1の2値の場合には、以下の式(1)のクロスエントロピーLGTを用いればよい。
Figure 0007324086000001
式(1)において、yjは出力データ505が表す画像におけるj番目の画素の出力値を示している。また、Y+は評価に用いるGT507においてポジティブ(ラベル値が1)である領域を示しており、Y-は評価に用いるGT507においてネガティブ(ラベル値が0)である領域を示している。Σは出力データ505が表す画像における全ての画素についての和を意味している。また、βはGT507においてポジティブなものとネガティブなものとの比率のアンバランスを補正する係数であり、例えば、全体の画素数に対する、GT507がネガティブなものの画素数の比率として定義する。なお、βの値はGT507毎に算出して設定してもよいし、全てのGT507に対する平均的な値を設定してもよい。
また学習処理部104は、出力データ505において注目領域に対応する領域における位相不変量506(穴の数)を求める。そして学習処理部104は、位相不変量506と、注目領域における位相不変量教師データ(位相不変量506として出力されることが期待される位相不変量の教師データ)である位相GT508と、の差分(誤差)を位相GT誤差510として求める。例えば、位相GT誤差510として、位相不変量506と位相GT508との二乗誤差を注目領域ごとに求める。複数の注目領域のうちk番目の注目領域に対応する位相GT誤差510には、例えば、以下の式(2)のlt_GT_kを用いればよい。
Figure 0007324086000002
式(2)において、tは、k番目の注目領域に対応する位相不変量506(穴の数)を示しており、t_GTはk番目の注目領域について設定されている位相GT508を示している。
そして学習処理部104は、式(1)を用いて求めたGT誤差509と、式(2)を用いて求めた位相GT誤差510と、に基づく全体誤差を求める。例えば、学習処理部104は、式(1)を用いて求めたGT誤差509と、式(2)を用いて求めた位相GT誤差510と、に基づく全体誤差として、GT誤差509と位相GT誤差510との積で表される総合誤差511を求める。総合誤差511には、例えば、以下の式(3)のLtotalを用いればよい。
Figure 0007324086000003
式(3)においては、各画素が存在する領域に対応する注目領域kの位相GT誤差510を、各画素で評価されるGT誤差509に掛け合わせたものの全画素についての総和をとることによって得られる。
そして学習処理部104は、このような総合誤差511を最小化するように階層型ニューラルネットワークの学習処理を行うことで、該階層型ニューラルネットワークにおける重み係数を求める。
ここで、設定部102による、教師データに対する注目領域の設定について、図6を用いて説明する。図6(a)は、基本学習データに含まれている教師データが表す画像における全画像領域を表しており、該画像における全画像領域では輪郭が抽出されている。図6(a)の画像には注目領域601が設定されている。注目領域601は、位相不変量を求めるために設定された領域である。図6(b)は、図6(a)における注目領域601の拡大図である。
注目領域をどの様なサイズ・形状で設定するかは、入力する画像の特性に依存する。例えば、注目領域における位相不変量が非常に大きい値となる場合、位相GT誤差を評価する際の応答が非常に鈍いものとなり、位相GT誤差を併用する効果が薄くなってしまう。従って、この場合には、ある程度注目領域のサイズを小さくして、あらかじめ設定した下限値(例えば、2)を目安に、評価される位相不変量の値が小さくなる様にする必要がある。また、逆に注目領域で評価される位相不変量が、設定した下限値付近で大きく変化しない場合にも、位相GT誤差を評価する際の応答が非常に鈍いものとなり、位相GT誤差を併用する効果が薄くなってしまう。従って、この場合には、ある程度注目領域のサイズを大きくして、あらかじめ設定した上限値(例えば、10)を目安に、評価される位相不変量の値が下限値付近で一定にならない様にする必要がある。また、この注目領域のサイズ・形状は、教師データが表す画像の全画像領域を表示装置等の画面に表示し、ユーザがそれを参照しながらキーボードやマウスなどのユーザインターフェースを操作して設定する様にしてもよい。図6(c)は、表示装置602の表示画面に教師データが表す画像を表示し、該画像において注目領域603~605が設定されている様子を示す図である。ユーザは該画像を確認しながら、重点的に学習を行いたい注目領域をユーザインターフェースを操作して設定する。なお、教師データが表す画像上に注目領域を設定する方法や、注目領域のサイズ、位置、形状等については特定の形態に限らない。
次に、設定部102は、教師データが表す画像上に設定した注目領域における位相不変量を、該注目領域に対応する位相GT508として求める。設定部102による注目領域の位相不変量(位相GT508)の導出について、図7(a)を用いて説明する。図7(a)は、教師データが表す画像上に設定された注目領域601の一例を表しており、該注目領域601は、領域1~3を含む。図7(d)は、注目領域601の位相幾何学的特徴を抽出したものを模式的に示した図である。注目領域601が3つの領域を有するのに対応して、該注目領域601の位相幾何学的特徴によれば図7(d)に示す如く3つの穴が存在するので、注目領域601に対応する位相不変量(穴の数)は3となる。よってこの場合、設定部102は、注目領域601に対応する位相GT508として3を求めることになる。
図7(b)は、出力データ505において注目領域601に対応する部分画像の一例を表しており、該部分画像は、図7(a)の注目領域601と同様に領域1~3を含む。図7(e)は、図7(b)の部分画像の位相幾何学的特徴を抽出したものを模式的に示した図である。図7(b)の部分画像が3つの領域を有するのに対応して、該部分画像の位相幾何学的特徴では図7(e)に示す如く3つの穴が存在するので、図7(b)の部分画像に対応する位相不変量506は3となり、位相GT508と同じ値となる。この場合、該注目領域601において非0の位相GT誤差510は生じないことになる。
図7(c)は、出力データ505において注目領域601に対応する部分画像の一例を表しており、該部分画像は領域1~2を含む。この領域2は、途切れが発生したことによって、図7(a)の領域2と領域3が合体することによって生じたものである。図7(f)は、図7(c)の部分画像の位相幾何学的特徴を抽出したものを模式的に示した図である。図7(c)の部分画像が2つの領域を有するのに対応して、該部分画像の位相幾何学的特徴では図7(f)に示す如く2つの穴が存在するので、図7(c)の部分画像に対応する位相不変量506は2となり、位相GT508とは異なる値となる。この場合、該注目領域601において非0の位相GT誤差510が生じることになる。すなわち、部分画像から抽出された輪郭に途切れが生じたことによって、非0の位相GT誤差510が生じ、それがペナルティとして、学習の際に考慮されることになる。なお、以上の過程において、位相不変量の算出には、例えばパーシステント図を用いる等の従来法を用いればよい。
図2に戻って、ステップS104では、制御部199は、学習処理部104による階層型ニューラルネットワークの学習処理を完了するか否かを判断する。例えば、評価部107が記憶部106に格納されているテストデータ(評価用のデータ)を用いて階層型ニューラルネットワークの誤認識率を求め、該求めた誤認識率が閾値以下となった場合には、階層型ニューラルネットワークの学習処理を完了すると判断する。ここで、誤認識率は、評価に用いたテストデータ全体のうち、誤った結果が得られたものの比率として定義される。なお、階層型ニューラルネットワークの学習処理を完了するか否かを判断するための指標は特定の指標に限らない。例えば制御部199は、ユーザがユーザインターフェースを操作して学習処理の終了指示を入力したことを検知した場合には、階層型ニューラルネットワークの学習処理を完了すると判断する。また例えば制御部199は、総合誤差511が閾値以下となった場合や、学習処理の繰り返し回数が閾値以上となった場合には、階層型ニューラルネットワークの学習処理を完了すると判断する。
このような判断の結果、階層型ニューラルネットワークの学習処理を完了すると判断した場合には、処理はステップS105に進み、階層型ニューラルネットワークの学習処理を完了しないと判断した場合には、処理はステップS103に進む。
ステップS105では、学習処理部104は、階層型ニューラルネットワークの学習処理の結果(階層型ニューラルネットワークにおける重み係数)を、記憶部105に格納する。
[第2の実施形態]
本実施形態を含む以下の各実施形態では第1の実施形態との差分について説明し、以下で特に触れない限りは第1の実施形態と同様であるものとする。本実施形態では、学習処理済みの階層型ニューラルネットワーク(例えば第1の実施形態に係る学習処理が完了した階層型ニューラルネットワーク)の再学習を行う際に、再学習に用いる基本学習データを選別する。そして該選別した基本学習データを用いて階層型ニューラルネットワークの再学習を行う。
本実施形態に係る情報処理装置の機能構成例について、図8のブロック図を用いて説明する。記憶部801には、第1の実施形態において説明した基本学習データが格納されている。なお、本実施形態では、記憶部801に格納されているそれぞれの基本学習データについて、該基本学習データを含む位相不変量学習データについて第1の実施形態で求めた総合誤差511が記憶部105に格納されているものとする。
収集部802は、記憶部801に格納されているそれぞれの基本学習データに対応する総合誤差511を記憶部801から取得する。そして収集部802は、記憶部801に格納されているそれぞれの基本学習データのうち総合誤差511が高い順に規定個数の基本学習データを記憶部801から収集し、該収集した基本学習データを記憶部803に格納する。
学習処理部804は、記憶部803に格納されている基本学習データを用いて階層型ニューラルネットワークの学習処理を行い、該学習処理の結果を記憶部805に格納する。記憶部806は、学習処理部804により学習が完了した階層型ニューラルネットワークを評価するために用いるテストデータを保持する。
評価部807は、記憶部806に格納されているテストデータを用いて、学習処理部804により学習済みの階層型ニューラルネットワークの評価を行う。そして評価部807は、求めた評価結果を表示出力や音声出力などの通知方法でもってユーザに通知する。
制御部899は、上記の情報処理装置の各機能部の動作を制御する。
次に、本実施形態に係る情報処理装置による識別器の学習処理について、図9のフローチャートに従って説明する。ステップS201では、収集部802は、記憶部801に格納されている全ての基本学習データを取得する。
ステップS202では、収集部802は、ステップS201で取得したそれぞれの基本学習データに対応する総合誤差511を記憶部801から取得する。そして収集部802は、ステップS201で取得したそれぞれの基本学習データのうち総合誤差511が高い順に規定個数の基本学習データを収集し、該収集した基本学習データを記憶部803に格納する。つまり、ステップS201で取得した基本学習データ群(図10(a))のうち、総合誤差511が高い順に規定個数の基本学習データ群(図10(b))を収集して記憶部803に格納する。このような処理は、例えば、学習しがたい画像である難画像を集中的に学習するために該難画像をピックアップするためのものである。なお、収集部802による基本学習データの収集法法は特定の収集方法に限らない。例えば収集部802は、ステップS201で取得したそれぞれの基本学習データに含まれている入力データを表示装置の表示画面に一覧表示させる。そして収集部802は、該表示された入力データからユーザがユーザインターフェースを操作して選択した入力データを含む基本学習データを収集する。
総合誤差511に含まれている位相GT誤差510は、局所的ではない、ある程度大域的な抽出パターンの精度を評価するものである。そのため、この様に難画像を収集し、逐次的に再学習を行うことによって、大域的な情報を正しく抽出する様な階層型ニューラルネットワークを最終的に得ることができる。
ステップS203では、学習処理部804は、ステップS202で収集部802が収集した基本学習データを用いて階層型ニューラルネットワークの学習処理を行う。ステップS204では、制御部899は、学習処理部804による階層型ニューラルネットワークの学習処理を完了するか否かを判断する。例えば、評価部807が記憶部806に格納されているテストデータ(評価用のデータ)を用いて階層型ニューラルネットワークの誤認識率を求め、該求めた誤認識率が閾値以下となった場合には、階層型ニューラルネットワークの学習処理を完了すると判断する。なお、階層型ニューラルネットワークの学習処理を完了するか否かを判断するための指標は第1の実施形態と同様に特定の指標に限らない。
このような判断の結果、階層型ニューラルネットワークの学習処理を完了すると判断した場合には、処理はステップS205に進み、階層型ニューラルネットワークの学習処理を完了しないと判断した場合には、処理はステップS203に戻る。
ステップS205では、学習処理部804は、階層型ニューラルネットワークの学習処理の結果(階層型ニューラルネットワークにおける重み係数)を、記憶部805に格納する。
[第3の実施形態]
本実施形態では、第1の実施形態に係る情報処理装置を、入力画像における輪郭抽出の問題に適用して階層型ニューラルネットワークの学習を行うケースについて説明する。
図11(a)は、ある画像において抽出される輪郭の教師データを示した図である。図11(b)は、図11(a)と同じ画像に対して、学習の途中における階層型ニューラルネットワークを適用したことで得られる、輪郭の抽出結果を示した図である。図11(b)~(d)において点線で区分された領域は、位相GT誤差を評価する際の注目領域を示している。図11(b)に示す如く、注目領域1101a、1101bでは、抽出された輪郭の途切れが発生している。
図11(c)は、図11(a)と同じ画像において、点線で区分された各注目領域に対応する位相不変量(数字)を示す図である。図11(d)は、図11(b)に示した各注目領域における位相不変量(数字)を示す図である。図11(d)に示す如く、注目領域1101a、1101bのそれぞれでは、抽出された輪郭の途切れが発生していることに対応して位相不変量は「2」、「1」となっており、図11(c)において対応する注目領域の位相不変量「3」、「2」と異なっている。つまり、注目領域1101a、1101bでは非0の位相GT誤差が発生している。この様に、輪郭の途切れが発生して非0の位相GT誤差が発生する様な領域は、誤差が大きく評価され、学習への寄与が大きくなることによって、重点的に学習されることになる。その結果、学習を進行させるにつれ、この様な輪郭の途切れが発生しない様な階層型ニューラルネットワークを生成することができる。なお、以上の事例においては、注目領域は重複や空白が生じない様に設定したが、位相不変量がより好適に評価される様に、重複や空白が生じる様に設定してもよい。
[第4の実施形態]
本実施形態では、第1の実施形態係る情報処理装置を、入力画像における領域分割の問題に適用して階層型ニューラルネットワークの学習を行うケースについて説明する。
図12(a)は、領域分割する対象となる画像の各注目領域に対する教師データを示した図である。図12(b)は、図12(a)と同じ画像に対して、学習の途中における階層型ニューラルネットワークを適用したことで得られる、領域の分割結果を示した図である。図12(b)~(d)において点線で区分された領域は、位相GT誤差を評価する際の注目領域を示している。図12(b)に示す如く、注目領域1201では、領域分割される境界について、教師データとの位置ズレが発生している。
図12(c)は、図12(a)と同じ画像において、点線で区分された各注目領域に対応する位相不変量(数字)を示す図である。図12(d)は、図12(b)と同じ画像において、点線で区分された各注目領域に対応する位相不変量(数字)を示す図である。図12(d)に示す如く注目領域1202では、領域分割される境界の位置ズレが発生していることに対応して位相不変量は「2」となっており、これは図12(c)において注目領域1202に対応する注目領域内の位相不変量「1」と異なる値となっている。つまり、注目領域1202では非0の位相GT誤差が発生している。この様に、領域分割される境界の位置ズレが発生して非0の位相GT誤差が発生する様な領域は、誤差が大きく評価され、学習への寄与が大きくなることによって、重点的に学習されることになる。その結果、学習を進行させるにつれ、この様な境界の位置ズレが発生しない様な階層型ニューラルネットワークを生成することができる。なお、以上の事例においては、注目領域は重複や空白が生じない様に設定したが、位相不変量がより好適に評価される様に、重複や空白が生じる様に設定してもよい。
[第5の実施形態]
第2の実施形態によれば、図13に示す如く、輪郭抽出の問題に適用する場合に、基本学習データの集合(図13(a))から、図13(a)の集合よりも途切れの箇所が多い様な基本学習データの集合(図13(b))が優先的に選択されることになる。この様に、輪郭抽出の問題において、途切れの箇所が多い様な難画像を収集し、逐次的に再学習を行うことによって、輪郭の途切れが発生しにくい、大域的な輪郭を正しく抽出する様な階層型ニューラルネットワークを最終的に得ることができる。
なお、上記の各実施形態では、識別器の一例として階層型ニューラルネットワークを用いて説明を行ったが、これに限らず、階層型ニューラルネットワーク以外の識別器を適用しても良い。
また、上記の各実施形態に係る情報処理装置は、単一の装置で実装しても良いし、複数の装置で実装しても良い。また、上記の各実施形態に係る情報処理装置は、ディジタルカメラや複合機などの装置に組み込む組み込み機器としても良い。
[第6の実施形態]
図1,8に示した情報処理装置の各機能部は全てハードウェアで実装しても良いが、記憶部101,103,105,106,801,803,805,806以外の各機能部をソフトウェア(コンピュータプログラム)で実装しても良い。この場合、このコンピュータプログラムを実行可能なコンピュータ装置は、上記の各実施形態に係る情報処理装置に適用可能である。上記の各実施形態に適用可能なコンピュータ装置のハードウェア構成例について、図14のブロック図を用いて説明する。
CPU1401は、RAM1402やROM1403に格納されているコンピュータプログラムやデータを用いて各種の処理を実行する。これによりCPU1401は、コンピュータ装置全体の動作制御を行うと共に、情報処理装置が行うものとして上述した各処理を実行若しくは制御する。
RAM1402は、ROM1403や外部記憶装置1406からロードされたコンピュータプログラムやデータを格納するためのエリア、I/F(インターフェース)1407を介して外部から受信したデータを格納するためのエリア、を有する。さらにRAM1402は、CPU1401が各種の処理を実行する際に用いるワークエリアを有する。このようにRAM1402は、各種のエリアを適宜提供することができる。ROM1403には、コンピュータ装置の設定データや起動プログラムなどが格納されている。
操作部1404は、キーボード、マウス、タッチパネル画面などのユーザインターフェースである。ユーザは操作部1404を操作することで、各種の指示をCPU1401に対して入力することができる。
表示部1405は、液晶画面やタッチパネル画面を有し、CPU1401による処理結果を画像や文字などでもって表示することができる。なお、表示部1405は、画像や文字を投影するプロジェクタなどの投影装置であっても良い。
例えば、表示部1405には、評価部107による評価結果を表示しても良いし、注目領域を設定するための画面を表示しても良いし、基本学習データを選択するための画面を表示しても良い。また例えば、ユーザによる注目領域の設定操作や基本学習データの選択操作はユーザインターフェースを用いて行っても良い。また、ユーザはユーザインターフェースを操作して学習処理の完了指示を入力しても良い。
外部記憶装置1406は、大容量情報記憶装置の一例である。外部記憶装置1406には、例えば、OS(オペレーティングシステム)や、情報処理装置が行うものとして上述した各処理をCPU1401に実行若しくは制御させるためのコンピュータプログラムやデータが保存されている。外部記憶装置1406に保存されているコンピュータプログラムには記憶部101,103,105,106,801,803,805,806以外の各機能部に対応する機能をCPU1401に実行/制御させるためのコンピュータプログラムが含まれている。また、外部記憶装置1406に保存されているデータには、上記の説明において既知の情報として説明したものが含まれている。
外部記憶装置1406に保存されているコンピュータプログラムやデータは、CPU1401による制御に従って適宜RAM1402にロードされ、CPU1401による処理対象となる。
なお、上記の記憶部101,103,105,106,801,803,805,806は、RAM1402、ROM1403、外部記憶装置1406などのメモリ装置を用いて実装可能である。
I/F1407は、外部装置との間のデータ通信を行うためのインターフェースとして機能するものであり、I/F1407を介して外部装置から受信したデータは、RAM1402や外部記憶装置1406に格納される。
CPU1401、RAM1402、ROM1403、操作部1404、表示部1405、外部記憶装置1406、I/F1407は何れも、バス1408に接続されている。なお、図14に示した構成は、上記の情報処理装置に適用可能なコンピュータ装置のハードウェア構成の一例に過ぎす、適宜変更/変更が可能である。
なお、上記の説明において使用した具体的な数値は、具体的な説明を行うために使用したものであって、上記の各実施形態がこれらの数値に限定されることを意図したものではない。また、以上説明した各実施形態の一部若しくは全部を適宜組み合わせても構わない。また、以上説明した各実施形態の一部若しくは全部を選択的に用いても構わない。
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
101:記憶部 102:設定部 103:記憶部 104:学習処理部 105:記憶部 106:記憶部 107:評価部 199:制御部

Claims (12)

  1. 入力データに対応する教師データの位相幾何学的性質に基づいて、位相不変量に関する教師データを生成する生成手段と、
    前記入力データを入力した識別器から出力される出力データにおいて一部の教師データに対応する位相不変量と、前記生成手段により生成された位相不変量に関する教師データと、に基づいて、前記識別器の学習を行う学習手段と
    を備えることを特徴とする情報処理装置。
  2. 前記入力データと該入力データに対応する教師データとを含む学習データの集合から、前記識別器の再学習に用いる学習データを取得する取得手段と、
    前記取得手段が取得した学習データを用いて前記識別器の再学習を行う再学習手段と
    をさらに備えることを特徴とする請求項1に記載の情報処理装置。
  3. 前記再学習手段は、前記学習手段による前記識別器の学習の結果に基づいて、前記集合から前記識別器の再学習に用いる学習データを取得することを特徴とする請求項2に記載の情報処理装置。
  4. 前記再学習手段は、前記集合を一覧表示し、該集合からユーザにより選択された学習データを、前記識別器の再学習に用いる学習データとして取得することを特徴とする請求項2に記載の情報処理装置。
  5. 前記学習手段は、前記入力データを入力した識別器から出力される出力データにおいて一部の教師データに対応する位相不変量と前記生成手段により生成された位相不変量に関する教師データとの差分と、前記出力データと前記入力データに対応する教師データとの差分と、に基づく総合誤差に基づいて前記識別器の学習を行うことを特徴とする請求項1乃至4の何れか1項に記載の情報処理装置。
  6. 前記入力データおよび前記教師データは画像データを含み、
    前記位相幾何学的性質は前記画像データにおける対象の元の形状が連続変形したとしても不変に保たれる性質のことであり、前記位相不変量は前記位相幾何学的性質のうち不変に保たれる量であることを特徴とする請求項1乃至5の何れか1項に記載の情報処理装置。
  7. 前記入力データに対応する教師データに対して、前記画像データの画像領域のうち位相不変量を求める領域を注目領域として設定し、前記注目領域の位相不変量を前記位相不変量に関する教師データとして求めることを特徴とする請求項6に記載の情報処理装置。
  8. 前記識別器は、入力データから特定パターンを識別する階層型ニューラルネットワークであることを特徴とする請求項1乃至7の何れか1項に記載の情報処理装置。
  9. 前記出力データは、入力データを入力した前記階層型ニューラルネットワークから出力される出力分布であることを特徴とする請求項8に記載の情報処理装置。
  10. さらに、
    評価用データに基づいて前記階層型ニューラルネットワークの誤認識率を推定し、該推定した誤認識率が所定の閾値以下となった場合に前記学習手段による前記階層型ニューラルネットワークの学習を終了する評価手段を備えることを特徴とする請求項8または9に記載の情報処理装置。
  11. 情報処理装置が行う情報処理方法であって、
    前記情報処理装置の生成手段が、入力データに対応する教師データの位相幾何学的性質に基づいて、位相不変量に関する教師データを生成する生成工程と、
    前記情報処理装置の学習手段が、前記入力データを入力した識別器から出力される出力データにおいて一部の教師データに対応する位相不変量と、前記生成工程で生成された位相不変量に関する教師データと、に基づいて、前記識別器の学習を行う学習工程と
    を備えることを特徴とする情報処理方法。
  12. コンピュータを、請求項1乃至10の何れか1項に記載の情報処理装置の各手段として機能させるためのコンピュータプログラム。
JP2019149156A 2019-08-15 2019-08-15 情報処理装置、情報処理方法 Active JP7324086B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019149156A JP7324086B2 (ja) 2019-08-15 2019-08-15 情報処理装置、情報処理方法
US16/984,448 US11809994B2 (en) 2019-08-15 2020-08-04 Information processing apparatus, information processing method, and non-transitory computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019149156A JP7324086B2 (ja) 2019-08-15 2019-08-15 情報処理装置、情報処理方法

Publications (3)

Publication Number Publication Date
JP2021033378A JP2021033378A (ja) 2021-03-01
JP2021033378A5 JP2021033378A5 (ja) 2022-08-24
JP7324086B2 true JP7324086B2 (ja) 2023-08-09

Family

ID=74567745

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019149156A Active JP7324086B2 (ja) 2019-08-15 2019-08-15 情報処理装置、情報処理方法

Country Status (2)

Country Link
US (1) US11809994B2 (ja)
JP (1) JP7324086B2 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011043988A (ja) 2009-08-21 2011-03-03 Kobe Univ パターン認識方法、装置及びプログラム
JP2012208597A (ja) 2011-03-29 2012-10-25 Canon Inc パターン識別装置、パターン識別方法及びプログラム
WO2014103061A1 (ja) 2012-12-28 2014-07-03 株式会社日立製作所 ボリュームデータ解析システム及びその方法
WO2017010397A1 (ja) 2015-07-15 2017-01-19 国立大学法人大阪大学 画像解析装置、画像解析方法、画像解析システム、画像解析プログラム、および記録媒体

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8526699B2 (en) * 2010-03-12 2013-09-03 Siemens Aktiengesellschaft Method and system for automatic detection and classification of coronary stenoses in cardiac CT volumes
US9092866B1 (en) * 2012-03-14 2015-07-28 Lockheed Martin Corporation Airborne mine countermeasures
WO2017053407A1 (en) * 2015-09-24 2017-03-30 Quovard Management Llc Systems and methods for localization using surface imaging
US11048935B2 (en) * 2019-01-28 2021-06-29 Adobe Inc. Generating shift-invariant neural network outputs

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011043988A (ja) 2009-08-21 2011-03-03 Kobe Univ パターン認識方法、装置及びプログラム
JP2012208597A (ja) 2011-03-29 2012-10-25 Canon Inc パターン識別装置、パターン識別方法及びプログラム
WO2014103061A1 (ja) 2012-12-28 2014-07-03 株式会社日立製作所 ボリュームデータ解析システム及びその方法
WO2017010397A1 (ja) 2015-07-15 2017-01-19 国立大学法人大阪大学 画像解析装置、画像解析方法、画像解析システム、画像解析プログラム、および記録媒体

Also Published As

Publication number Publication date
US11809994B2 (en) 2023-11-07
JP2021033378A (ja) 2021-03-01
US20210049411A1 (en) 2021-02-18

Similar Documents

Publication Publication Date Title
JP7154322B2 (ja) 医療画像処理方法及び装置、電子機器並びに記憶媒体
CN111899245A (zh) 图像分割、模型的训练方法及装置,电子设备及存储介质
US11017210B2 (en) Image processing apparatus and method
CN104049754B (zh) 实时手跟踪、姿态分类和界面控制
CN112241784A (zh) 训练生成模型和判别模型
JPWO2011086889A1 (ja) 特徴点選択システム、特徴点選択方法および特徴点選択プログラム
JP6985856B2 (ja) 情報処理装置、情報処理装置の制御方法及びプログラム
CN111460976B (zh) 一种数据驱动的基于rgb视频的实时手部动作评估方法
Veiga et al. Quality evaluation of digital fundus images through combined measures
CN116645592B (zh) 一种基于图像处理的裂缝检测方法和存储介质
KR20210042432A (ko) 방사선 치료 계획 수립을 위한 인공지능 기반의 장기 및 종양 이미지 분할 시스템 및 방법
CN113297963A (zh) 多人姿态的估计方法、装置、电子设备以及可读存储介质
KR102188649B1 (ko) 영상 처리 장치 및 방법
CN116310568A (zh) 图像异常的识别方法、装置、计算机可读存储介质及设备
KR102430743B1 (ko) 데이터 증강 기반 사물 분석 모델 학습 장치 및 방법
CN111531546B (zh) 一种机器人位姿估计方法、装置、设备及存储介质
JP7324086B2 (ja) 情報処理装置、情報処理方法
JP5337252B2 (ja) 特徴抽出装置
Hasan et al. Gesture feature extraction for static gesture recognition
US20220383616A1 (en) Information processing apparatus and image processing method
CN113486879B (zh) 图像区域建议框检测方法、装置、设备及存储介质
CN117274285A (zh) 影像扩增方法以及设备
Martinez-Seis et al. Identification of Static and Dynamic Signs of the Mexican Sign Language Alphabet for Smartphones using Deep Learning and Image Processing.
KR102430742B1 (ko) 데이터 증강 기반 공간 분석 모델 학습 장치 및 방법
CN112861689A (zh) 一种基于nas技术的坐标识别模型的搜索方法及装置

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20210103

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220815

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220815

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230630

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230630

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230728

R151 Written notification of patent or utility model registration

Ref document number: 7324086

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151