JP7085605B2 - モデル評価システム、モデル評価方法及びモデル評価プログラム - Google Patents
モデル評価システム、モデル評価方法及びモデル評価プログラム Download PDFInfo
- Publication number
- JP7085605B2 JP7085605B2 JP2020182500A JP2020182500A JP7085605B2 JP 7085605 B2 JP7085605 B2 JP 7085605B2 JP 2020182500 A JP2020182500 A JP 2020182500A JP 2020182500 A JP2020182500 A JP 2020182500A JP 7085605 B2 JP7085605 B2 JP 7085605B2
- Authority
- JP
- Japan
- Prior art keywords
- feature
- control unit
- image
- trained model
- evaluation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
Description
図1~図4に従って、モデル評価システム、モデル評価方法及びモデル評価プログラムの第1実施形態を説明する。本実施形態では、教師情報を用いた機械学習により生成され、所定のコンテンツ(画像)を入力して認識結果(テキスト)を出力する学習済みモデルを評価する。
図1に示すように、本実施形態のモデル評価システムは、ネットワークを介して接続されたユーザ端末10、支援サーバ20を用いる。
図2は、ユーザ端末10、支援サーバ20等として機能する情報処理装置H10のハードウェア構成例である。
図1のユーザ端末10は、学習済みモデルを評価する担当者が利用するコンピュータ端末である。
評価部213は、学習済みモデルを評価する処理を実行する。評価部213は、学習済みモデルにより出力された確からしさと比較するための基準値に関するデータを保持している。
認識結果データ領域には、特徴画像を、基準値以上の確からしさで認識した文字に関するデータが記録される。例えば、画像において基準値以上の確からしさで「5」を認識した場合、認識結果として数字「5」が記録される。
(特徴コンテンツ生成処理)
まず、図3を用いて、特徴コンテンツ生成処理を説明する。
例えば、図4に示すように、白黒画像500を生成する場合を想定する。
例えば、図4において、白黒画像500のピクセル501を選定する。
ここでは、図4において、黒のピクセル501を白に白黒反転することにより、白黒画像510が生成される。
例えば、図4に示すように、白黒画像510において、ピクセル502を選定し、白黒反転することにより、白黒画像520が生成される。
(1-1)本実施形態においては、支援サーバ20の制御部21は、ランダムにピクセル選定処理(ステップS102)、ピクセル反転処理(ステップS103)、予測処理(ステップS104)を実行する。これにより、画像を部分的に変化させながら、確からしさを算出して、学習済みモデルを評価することができる。
次に、モデル評価システム、モデル評価方法及びモデル評価プログラムの第2実施形態を説明する。第1実施形態では、特徴情報記憶部23に記録された特徴画像についてクラスタリングを行なう。第2実施形態では、特徴画像において特徴的な領域(特徴領域)を特定してクラスタリングを行なうように変更した特徴領域評価処理を実行する。なお、上記第1実施形態と同様の部分については、同一の符号を付し、その詳細な説明を省略する。
認識結果データ領域には、特徴領域により認識されるテキスト(ここでは数字)に関するデータが記録される。
次に、図5を用いて、特徴領域評価処理を説明する。
まず、支援サーバ20の制御部21は、特徴画像の取得処理を実行する(ステップS201)。具体的には、制御部21の画像加工部211は、特徴情報記憶部23から、すべての特徴画像管理レコードを抽出し、特徴画像管理レコードに記録された特徴画像を取得する。
図6に示すように、特徴画像600に対して、黒マスクM1を配置したマスク画像610を生成する。
そして、支援サーバ20の制御部21は、すべての特徴画像について終了するまで、上記処理を繰り返す。
ここでは、図7に示すように、特徴領域のクラスタリング処理により、グループG1~G3が生成される。
一方、マスキング処理は不要と判定した場合(ステップS202において「NO」の場合)、支援サーバ20の制御部21は、ステップS109と同様に、特徴情報記憶部23に記録された特徴画像を用いて、特徴画像のクラスタリング処理を実行する(ステップS210)。
(2-1)本実施形態においては、支援サーバ20の制御部21は、マスキング処理が必要かどうかについての判定処理を実行する(ステップS202)。これにより、特徴画像の生成状況により、特徴領域評価処理の実行の必要性を判定することができる。
・上記第1実施形態では、コンテンツとして画像に含まれる文字を認識する学習済みモデルの評価を行なう。本発明の適用対象は、画像認識に限定されるものではない。例えば、音信号をテキストに変換する音声認識や、文章に基づいて、感情を認識する学習済みモデルに適用してもよい。
また、文章から何らかの認識結果を取得する自然言語処理を行なう学習済みモデルの場合には、例えば、文章に含まれる単語を変更する。この場合には、複数のサンプルコンテンツを生成するために、単語を記録した辞書記憶部から、文章に含まれる単語を置き換えるために他の単語を取得する。
Claims (4)
- 学習済みモデルを記録する評価対象記憶部と、
前記学習済みモデルを用いて認識結果を出力する制御部とを備え、前記学習済みモデルを評価するモデル評価システムであって、
前記制御部が、
所定サイズのコンテンツの一部の領域のみをランダムに変更することにより、複数のサンプルコンテンツを生成し、
前記各サンプルコンテンツを、前記評価対象記憶部に記録された学習済みモデルに入力して、前記サンプルコンテンツの認識結果の確からしさを取得し、
前記確からしさが基準値以上の前記サンプルコンテンツを特徴コンテンツとして特定し、前記特徴コンテンツをクラスタリングした結果を、前記特徴コンテンツに関する評価結果として出力することを特徴とするモデル評価システム。 - 前記制御部が、
前記特徴コンテンツの一部をマスク領域でマスキングしたマスクコンテンツを生成し、
前記マスクコンテンツを、前記評価対象記憶部に記録された学習済みモデルに適用して確からしさを算出し、
前記特徴コンテンツの確からしさと前記マスクコンテンツの確からしさとの差分値を算出し、
前記差分値の大きさに応じて前記マスク領域を特定し、
前記マスク領域をクラスタリングした結果を、更に出力することを特徴とする請求項1に記載のモデル評価システム。 - 学習済みモデルを記録する評価対象記憶部と、
前記学習済みモデルを用いて認識結果を出力する制御部とを備え、前記学習済みモデルを評価するモデル評価システムを用いて、前記学習済みモデルを評価する方法であって、
前記制御部が、
所定サイズのコンテンツの一部の領域のみをランダムに変更することにより、複数のサンプルコンテンツを生成し、
前記各サンプルコンテンツを、前記評価対象記憶部に記録された学習済みモデルに入力して、前記サンプルコンテンツの認識結果の確からしさを取得し、
前記確からしさが基準値以上の前記サンプルコンテンツを特徴コンテンツとして特定し、前記特徴コンテンツをクラスタリングした結果を、前記特徴コンテンツに関する評価結果として出力することを特徴とするモデル評価方法。 - 学習済みモデルを記録する評価対象記憶部と、
前記学習済みモデルを用いて認識結果を出力する制御部とを備え、前記学習済みモデルを評価するモデル評価システムを用いて、前記学習済みモデルを評価するモデル評価プログラムであって、
前記制御部を、
所定サイズのコンテンツの一部の領域のみをランダムに変更することにより、複数のサンプルコンテンツを生成し、
前記各サンプルコンテンツを、前記評価対象記憶部に記録された学習済みモデルに入力して、前記サンプルコンテンツの認識結果の確からしさを取得し、
前記確からしさが基準値以上の前記サンプルコンテンツを特徴コンテンツとして特定し、前記特徴コンテンツをクラスタリングした結果を、前記特徴コンテンツに関する評価結果として出力する手段として機能させるためのモデル評価プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020182500A JP7085605B2 (ja) | 2020-10-30 | 2020-10-30 | モデル評価システム、モデル評価方法及びモデル評価プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020182500A JP7085605B2 (ja) | 2020-10-30 | 2020-10-30 | モデル評価システム、モデル評価方法及びモデル評価プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022072841A JP2022072841A (ja) | 2022-05-17 |
JP7085605B2 true JP7085605B2 (ja) | 2022-06-16 |
Family
ID=81605045
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020182500A Active JP7085605B2 (ja) | 2020-10-30 | 2020-10-30 | モデル評価システム、モデル評価方法及びモデル評価プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7085605B2 (ja) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015146075A (ja) | 2014-01-31 | 2015-08-13 | 株式会社日本デジタル研究所 | 会計データ入力支援システム、方法およびプログラム |
JP2016110373A (ja) | 2014-12-05 | 2016-06-20 | 株式会社デンソー | カーブミラー検出装置 |
JP2018109906A (ja) | 2017-01-05 | 2018-07-12 | 住友電気工業株式会社 | 画像データ作成プログラム、画像データ作成装置および画像データ作成方法 |
JP2019046390A (ja) | 2017-09-06 | 2019-03-22 | 株式会社東芝 | 学習装置、学習方法、およびプログラム |
JP2020024534A (ja) | 2018-08-07 | 2020-02-13 | 日本放送協会 | 画像分類装置及びプログラム |
JP2020061066A (ja) | 2018-10-12 | 2020-04-16 | 富士通株式会社 | 学習プログラム、検出プログラム、学習装置、検出装置、学習方法および検出方法 |
JP2020119135A (ja) | 2019-01-22 | 2020-08-06 | 株式会社日立ハイテク | 画像評価装置及び方法 |
US20200327311A1 (en) | 2019-03-18 | 2020-10-15 | Shenzhen Sensetime Technology Co., Ltd. | Image clustering method and apparatus, electronic device, and storage medium |
-
2020
- 2020-10-30 JP JP2020182500A patent/JP7085605B2/ja active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015146075A (ja) | 2014-01-31 | 2015-08-13 | 株式会社日本デジタル研究所 | 会計データ入力支援システム、方法およびプログラム |
JP2016110373A (ja) | 2014-12-05 | 2016-06-20 | 株式会社デンソー | カーブミラー検出装置 |
JP2018109906A (ja) | 2017-01-05 | 2018-07-12 | 住友電気工業株式会社 | 画像データ作成プログラム、画像データ作成装置および画像データ作成方法 |
JP2019046390A (ja) | 2017-09-06 | 2019-03-22 | 株式会社東芝 | 学習装置、学習方法、およびプログラム |
JP2020024534A (ja) | 2018-08-07 | 2020-02-13 | 日本放送協会 | 画像分類装置及びプログラム |
JP2020061066A (ja) | 2018-10-12 | 2020-04-16 | 富士通株式会社 | 学習プログラム、検出プログラム、学習装置、検出装置、学習方法および検出方法 |
JP2020119135A (ja) | 2019-01-22 | 2020-08-06 | 株式会社日立ハイテク | 画像評価装置及び方法 |
US20200327311A1 (en) | 2019-03-18 | 2020-10-15 | Shenzhen Sensetime Technology Co., Ltd. | Image clustering method and apparatus, electronic device, and storage medium |
Also Published As
Publication number | Publication date |
---|---|
JP2022072841A (ja) | 2022-05-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10242289B2 (en) | Method for analysing media content | |
RU2661750C1 (ru) | Распознавание символов с использованием искусственного интеллекта | |
US20180061439A1 (en) | Automatic audio captioning | |
CN108182437B (zh) | 一种点选验证码识别方法、装置和用户终端 | |
CN112329476B (zh) | 一种文本纠错方法及装置、设备、存储介质 | |
JP5900208B2 (ja) | 画像処理装置及び画像処理方法 | |
CN114187311A (zh) | 一种图像语义分割方法、装置、设备及存储介质 | |
CN110245620B (zh) | 一种基于注意力的非最大化抑制方法 | |
CN112861885B (zh) | 图像识别方法、装置、电子设备及存储介质 | |
CN114648681B (zh) | 一种图像生成方法、装置、设备及介质 | |
CN111612081A (zh) | 识别模型的训练方法、装置、设备及存储介质 | |
CN110263218A (zh) | 视频描述文本生成方法、装置、设备和介质 | |
CN112801085A (zh) | 一种图像中文字的识别方法、装置、介质及电子设备 | |
Tymoshenko et al. | Real-Time Ukrainian Text Recognition and Voicing. | |
CN113689514B (zh) | 一种面向主题的图像场景图生成方法 | |
CN110717407A (zh) | 基于唇语密码的人脸识别方法、装置及存储介质 | |
CN111783812A (zh) | 违禁图像识别方法、装置和计算机可读存储介质 | |
CN111488927B (zh) | 分类阈值确定方法、装置、电子设备及存储介质 | |
JP7085605B2 (ja) | モデル評価システム、モデル評価方法及びモデル評価プログラム | |
CN112465805A (zh) | 用于钢筋冲压折弯的质量检测的神经网络的训练方法 | |
CN114972910B (zh) | 图文识别模型的训练方法、装置、电子设备及存储介质 | |
CN116110066A (zh) | 票据文本的信息提取方法、装置、设备及存储介质 | |
CN115546813A (zh) | 一种文档分析方法、装置、存储介质及设备 | |
US11669949B2 (en) | Apparatus and method for inferring contrast score of an image | |
CN112686882A (zh) | 用于已架设在管道支撑架上的管道的稳定情况的检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201030 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211109 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220107 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220308 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220428 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220517 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220606 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7085605 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |