JP2019067194A - 自律学習装置、自律学習方法及びプログラム - Google Patents
自律学習装置、自律学習方法及びプログラム Download PDFInfo
- Publication number
- JP2019067194A JP2019067194A JP2017192758A JP2017192758A JP2019067194A JP 2019067194 A JP2019067194 A JP 2019067194A JP 2017192758 A JP2017192758 A JP 2017192758A JP 2017192758 A JP2017192758 A JP 2017192758A JP 2019067194 A JP2019067194 A JP 2019067194A
- Authority
- JP
- Japan
- Prior art keywords
- image
- word
- group
- word group
- true
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【課題】ウェブ検索により取得した情報から物体の認識に用いる学習データを生成するにあたり、物体の認識にとってノイズとなる情報を学習データから除去する。
【解決手段】自律学習装置１００では、関連単語群生成部１は、与えられた入力語を用いてキーワード検索を行い、検索結果から名詞を抜き出して関連単語群を生成する。真関連単語群生成部２は、関連単語群に含まれる単語と入力語との関連性を判定し、入力語と所定の関連性を有しない単語を関連単語群から除去した真関連単語群を生成する。画像検索部３は、真関連単語群に含まれる単語を用いた画像検索を行って画像を取得する。分類器生成部４は、真関連単語群に含まれる単語のそれぞれと、真関連単語群に含まれる単語のそれぞれに対応する画像と、を学習データとして分類器を生成する。
【選択図】図１
【解決手段】自律学習装置１００では、関連単語群生成部１は、与えられた入力語を用いてキーワード検索を行い、検索結果から名詞を抜き出して関連単語群を生成する。真関連単語群生成部２は、関連単語群に含まれる単語と入力語との関連性を判定し、入力語と所定の関連性を有しない単語を関連単語群から除去した真関連単語群を生成する。画像検索部３は、真関連単語群に含まれる単語を用いた画像検索を行って画像を取得する。分類器生成部４は、真関連単語群に含まれる単語のそれぞれと、真関連単語群に含まれる単語のそれぞれに対応する画像と、を学習データとして分類器を生成する。
【選択図】図１
Description
本発明は、自律学習装置、自律学習方法及びプログラムに関する。
近年、ロボット技術の発達により、人間の代わりに家事や介護などを代行する家庭用ロボットの開発が期待されている。こうしたロボットが自ら移動して指示された物を取るなどの動作を実現するためには、外界から取得した画像からその内容を理解する技術である物体認識が必要となる。
物体認識において、学習データの内容は認識性能に大きく影響することが知られている。既存のデータセットを利用する場合には、物体認識を行う必要がある環境に適したデータセットを選ぶ必要がある。また、適したデータセット自体が存在しない場合もある。データに含まれる情報と、その情報に正しく対応している物体との対応関係の全てをロボットに与えることは、大きな負担である。
ここで、未知の事柄について知りたい場合には、ウェブ（Ｗｅｂ）検索が多用されている。ウェブ検索をロボットに自律的に行わせることができれば、ロボットに情報を教える負担が減り、利用しやすいロボットの実現が可能となる。
近年、インターネットへの接続環境が整備されてきており、膨大かつ多様なデータに容易にアクセスできる状況にあることから、情報収集手段としてのウェブ検索の重要性は増しており、ロボットが外界に存在する物体を学習する上で特に有効であると考えられる。
しかし、ウェブ上の知識は人手によって構築されたグランドトゥルース（Grand Truth）とは異なり、ノイズが含まれる。ウェブ画像検索においては、収集した画像の適合率は良くても７〜８割程度と言われている。そのため、ウェブ検索結果を物体認識のための学習情報として利用するためには、ノイズの除去が重要となる。
これについて、ウェブから取得した言語情報の処理にかかる手法が提案されている。例えば、キーワード検索を用いてウェブ上の情報を収集し、得られた文章を解析して必要な情報を選別する手法が提案されている（非特許文献１）。この手法では、ウェブ上のキーワード検索とユーザの入力とに基づいて物体名と場所とを対応させ、ロボットを適切な場所へ誘導している。
画像検索を用いてウェブ上から画像情報を取得する手法も提案されている（非特許文献２、３）。これらの手法では、画像検索で得られた画像とその検索語とを対応付けて学習している。例えば「飛行機」という単語を与えると、その単語を用いた画像検索の結果に基づいて学習し、その後に与えられた画像が飛行機であるか否かを判別できる。
また、画像検索及びキーワード検索の双方を用いた手法（非特許文献４）も提案されている。この手法では、キーワード検索と画像検索とから得られたウェブ情報を学習に活用しており、ユーザが単語を１つ与えるだけで、それに関連する多様な物体を自動で学習する。この手法では、言語処理フェーズと画像処理フェーズとによって学習データを構成し、学習データに基づいて分類器が生成される。
言語処理フェーズ
まず、自律学習システムに、認識したい画像に関連する単語を入力語として与える。例えば、「犬」や「馬」の画像を認識したい場合は「動物」や「哺乳類」などの入力語を与えればよい。そして、例えば一般的なサーチエンジンにより、入力語を用いてキーワード検索を行い、得られた文章をダウンロードする。次に、キーワード検索によって得られた文章に対して形態素解析を行い、文章を単語に分解して各単語の品詞を決定する。そして、推定すべき物体名の候補となり得る単語として名詞のみを抜き出し、ＴＦ−ＩＤＦ（Term Frequency - Inverse Document Frequency）で重み付けを行い、重みが大きい上位５００語によって入力語に対する関連単語群ＲＷを生成する。
まず、自律学習システムに、認識したい画像に関連する単語を入力語として与える。例えば、「犬」や「馬」の画像を認識したい場合は「動物」や「哺乳類」などの入力語を与えればよい。そして、例えば一般的なサーチエンジンにより、入力語を用いてキーワード検索を行い、得られた文章をダウンロードする。次に、キーワード検索によって得られた文章に対して形態素解析を行い、文章を単語に分解して各単語の品詞を決定する。そして、推定すべき物体名の候補となり得る単語として名詞のみを抜き出し、ＴＦ−ＩＤＦ（Term Frequency - Inverse Document Frequency）で重み付けを行い、重みが大きい上位５００語によって入力語に対する関連単語群ＲＷを生成する。
画像処理フェーズ
関連単語群ＲＷに含まれる各単語に対してウェブ画像検索を行い、得られた画像から画像特徴量を抽出する。画像特徴量としては、例えば局所特徴量であるＳＩＦＴ（Scale-Invariant Feature Transform）を用いてもよい。このとき、１つの単語について複数の画像が得られるため、ここから適当な画像特徴量を抽出し、各単語に対応する１つの特徴量に変換する。これによって、各画像から、位置と強度の情報とを含む複数の局所特徴量ベクトルが得られる。複数の局所特徴量ベクトルを強度順にソートし、上位の局所特徴量ベクトルのみを選別する。選別した局所特徴量ベクトルは、画像認識分野で広く用いられているＢａｇ−ｏｆ−ｖｉｓｕａｌ−ｗｏｒｄｓ手法を用いてヒストグラムに変換される。
関連単語群ＲＷに含まれる各単語に対してウェブ画像検索を行い、得られた画像から画像特徴量を抽出する。画像特徴量としては、例えば局所特徴量であるＳＩＦＴ（Scale-Invariant Feature Transform）を用いてもよい。このとき、１つの単語について複数の画像が得られるため、ここから適当な画像特徴量を抽出し、各単語に対応する１つの特徴量に変換する。これによって、各画像から、位置と強度の情報とを含む複数の局所特徴量ベクトルが得られる。複数の局所特徴量ベクトルを強度順にソートし、上位の局所特徴量ベクトルのみを選別する。選別した局所特徴量ベクトルは、画像認識分野で広く用いられているＢａｇ−ｏｆ−ｖｉｓｕａｌ−ｗｏｒｄｓ手法を用いてヒストグラムに変換される。
Ｂａｇ−ｏｆ−ｖｉｓｕａｌ−ｗｏｒｄｓは、予め様々な画像から得た局所特徴量ベクトルをｋ−ｍｅａｎｓによってクラスタリングし、各クラスタの重心座標を保存する。そして、対象画像の局所特徴量ベクトルを、それと最も近い重心座標を持つクラスタに分類する。１枚の画像からはｋ−ｍｅａｎｓのクラスタ数と同数のビンを持つヒストグラムが得られる。画像から得られたヒストグラムを足し合わせて、単語に対応する特徴量ヒストグラムとする。
画像検索で得られた画像には、意図した入力語と無関係の画像が含まれていることがあり得る。例えば、複数の意味を持つ単語に対しては、複数のカテゴリの画像が混在する場合が有る。これに対処するため、得られた画像がどの程度一貫しているかを評価する係数（以下、一貫性係数と称する）を導入する。得られた画像の一貫性が高い場合、画像中の物体を代表するいくつかの中心的な局所特徴量が複数得られ、それ以外の副次的な局所特徴量が少数得られると考えられる。この場合、最終的に得られる特徴量ヒストグラムは、一部のビンだけが突出した山型になると考えられる。それに対し、得られた画像の一貫性が低い場合、様々な局所特徴量が満遍なく出現し、最終的に得られる特徴量ヒストグラムは平坦になると考えられる。
一貫性係数の計算にあたって、単語の特徴量ヒストグラムから、１以上の局所特徴量が割り当てられているビンを抽出する。そして、抽出したビンに対応している局所特徴量数の分散を計算し、式（１）に示すように一貫性係数Ｆｃｏｎｓとする。
但し、Ｎは値が１以上であるヒストグラムのビンの数であり、Ｈｉはヒストグラムのｉ番目のビンの値である。
分類器の生成
学習データを用いて、入力語に関連する様々な物体の認識を行うための分類器として、ＳＶＭ（Support Vector Machine:サポートベクターマシン）を用いた。ＳＶＭとは、教師あり学習を用いる分類器の一つで、識別関数がマージンを最大化するように構成される。ここでは、いわゆるランキングＳＶＭによって分類器を生成する。
学習データを用いて、入力語に関連する様々な物体の認識を行うための分類器として、ＳＶＭ（Support Vector Machine:サポートベクターマシン）を用いた。ＳＶＭとは、教師あり学習を用いる分類器の一つで、識別関数がマージンを最大化するように構成される。ここでは、いわゆるランキングＳＶＭによって分類器を生成する。
ランキングＳＶＭによる分類クラスの順位付けをするために、クラスの対
について、クラスｉとクラスｊとを２クラス分類するｋ（ｋ−１）／２個のＳＶＭを生成する。そして、分類されたクラスに１票ずつ投票していき、クラスｉに入った票数をｓｃｏｒｅｉとする。そして、式（２）に示すように、各単語に対応するｓｃｏｒｅｗに一貫性係数Ｆｃｏｎｓを乗じて重み付けした評価値Ｖｗを算出する。
但し、Ｆｗは、単語ｗに対応する一貫性係数である。
その後、評価値Ｖｗが小さい順に、対応する単語をソートする。このときの単語ｗに対応する評価値Ｖｗの順位を、ランクＲａｎｋｗとする。そして、Ｒａｎｋｗ≦２となるような単語ｗが、画像に適合すると推定された物体であると認識される。
Samadi, Mehdi, Thomas Kollar, and Manuela M. Veloso, "Using the Web to Interactively Learn to Find Objects", AAAI. 2012.
Fergus, Rob, et al., "Learning object categories from internet image searches", Proceedings of the IEEE 98.8 (2010), pp. 1453-1466
Antunes, Mario, and Luis Seabra Lopes, "Unsupervised Internet-Based Category Learning for Object Recognition", Image Analysis and Recognition, Springer Berlin Heidelberg, 2013, pp. 766-773
水野俊一郎、長谷川修、「画像検索とキーワード検索を組み合わせた未知物体の自動学習と認識」、研究報告コンピュータビジョンとイメージメディア(CVIM) 2015.20 (2015)、 pp. 1-6
Griffin, G. Holub, and A. D. Perona, P. The Caltech-256, Caltech Technical Report, 2012
ところが、上記で説明した非特許文献４にかかる自律学習方法には、以下で説明する問題点が存在する。上記の手法では、一貫性係数を用いてノイズを低減している。しかし、 上記の手法では、入力語を用いてウェブ検索を行い、得られた文章中の出現頻度が高い名詞を関連単語群に含まれる単語として抽出している。そのため、入力語とは関係が無い又は低い名詞であっても、単に出現頻度が高いというだけで関連単語群に含まれてしまう。こうした単語は、学習データにおいてはノイズとなってしまい、分類器による物体の認識精度を低下させてしまう。つまり、原理的に、関連単語群にノイズが含まれてしまうことを防止できない。
本発明は、上記に鑑みて成されたものであり、ウェブ検索により取得した情報から物体の認識に用いる学習データを生成するにあたり、物体の認識にとってノイズとなる情報を学習データから除去することができる自律学習を実現することを目的とする。
その他の課題と新規な特徴は、本明細書の記述及び添付図面から明らかになるであろう。
本発明の第１の態様である自律学習装置は、
与えられた入力語を用いてキーワード検索を行い、検索結果から名詞を抜き出して関連単語群を生成する関連単語群生成部と、
前記関連単語群に含まれる単語と前記入力語との関連性を判定し、前記入力語と所定の関連性を有しない単語を前記関連単語群から除去した真関連単語群を生成する真関連単語群生成部と、
前記真関連単語群に含まれる単語を用いた画像検索を行って画像を取得する画像検索部と、
前記真関連単語群に含まれる単語のそれぞれと、前記真関連単語群に含まれる単語のそれぞれに対応する画像と、を学習データとして分類器を生成する分類器生成部と、を有するものである。
与えられた入力語を用いてキーワード検索を行い、検索結果から名詞を抜き出して関連単語群を生成する関連単語群生成部と、
前記関連単語群に含まれる単語と前記入力語との関連性を判定し、前記入力語と所定の関連性を有しない単語を前記関連単語群から除去した真関連単語群を生成する真関連単語群生成部と、
前記真関連単語群に含まれる単語を用いた画像検索を行って画像を取得する画像検索部と、
前記真関連単語群に含まれる単語のそれぞれと、前記真関連単語群に含まれる単語のそれぞれに対応する画像と、を学習データとして分類器を生成する分類器生成部と、を有するものである。
本発明の第２の態様である自律学習装置は、上記の自律学習装置であって、
前記真関連単語群生成部は、
前記関連単語群の単語のそれぞれを用いてキーワード検索を行い、
キーワード検索で得られた文章を複数の単語に分解して名詞を抜き出し、
抜き出した名詞中に前記入力語が含まれない場合には、キーワード検索で用いた前記単語を、前記関連単語群から除去する、ものである。
前記真関連単語群生成部は、
前記関連単語群の単語のそれぞれを用いてキーワード検索を行い、
キーワード検索で得られた文章を複数の単語に分解して名詞を抜き出し、
抜き出した名詞中に前記入力語が含まれない場合には、キーワード検索で用いた前記単語を、前記関連単語群から除去する、ものである。
本発明の第３の態様である自律学習装置は、上記の自律学習装置であって、
前記画像検索部での画像検索で得られた前記真関連単語群に含まれる単語のそれぞれに対応する複数の画像の一貫性を判定し、前記複数の画像が所定の一貫性を有しない場合、前記複数の画像に対応する単語を前記真関連単語群から除去する単語選別部を更に有する、ものである。
前記画像検索部での画像検索で得られた前記真関連単語群に含まれる単語のそれぞれに対応する複数の画像の一貫性を判定し、前記複数の画像が所定の一貫性を有しない場合、前記複数の画像に対応する単語を前記真関連単語群から除去する単語選別部を更に有する、ものである。
本発明の第４の態様である自律学習装置は、上記の自律学習装置であって、
前記単語選別部は、
前記画像検索部での画像検索で得られた前記真関連単語群に含まれる単語のそれぞれに対応する複数の画像の画像一貫性度Ｃｗを、以下の式により算出し、
前記画像一貫性度Ｃｗが第１の値よりも小さい場合に、前記画像一貫性度Ｃｗに対応する単語を前記真関連単語群から除去する、ものである。
但し、ｎは前記真関連単語群に含まれる単語の数であり、Ｓｗ，ｗａは画像相違度である。
画像相違度Ｓｗ，ｗａは、以下の式で定義される。
但し、前記真関連単語群に含まれる単語のうち１つの単語ｗに対応する画像と、単語ｗとは異なる単語ｗａに対応する画像と、を学習データとテストデータとに分けて、単語ｗに対応する画像と単語ｗａに対応する画像とを分類する２クラスＳＶＭを生成した場合において、Ｔｗは単語ｗに対応する画像のうちで正しく分類されたものの数であり、Ｔｗａは単語ｗａに対応する画像のうちで正しく分類されたものの数であり、Ｉｗ＋ｗａは、単語ｗのテストデータの数と単語ｗａのテストデータの数との和である。
前記単語選別部は、
前記画像検索部での画像検索で得られた前記真関連単語群に含まれる単語のそれぞれに対応する複数の画像の画像一貫性度Ｃｗを、以下の式により算出し、
前記画像一貫性度Ｃｗが第１の値よりも小さい場合に、前記画像一貫性度Ｃｗに対応する単語を前記真関連単語群から除去する、ものである。
画像相違度Ｓｗ，ｗａは、以下の式で定義される。
本発明の第５の態様である自律学習装置は、上記の自律学習装置であって、
前記画像検索部での画像検索で得られた前記真関連単語群に含まれる単語のそれぞれに対応する複数の画像からなる画像群の各画像について、対応する単語に対して所定の関連性を有しない画像を前記画像群から削除する画像選別部を更に有するものである。
前記画像検索部での画像検索で得られた前記真関連単語群に含まれる単語のそれぞれに対応する複数の画像からなる画像群の各画像について、対応する単語に対して所定の関連性を有しない画像を前記画像群から削除する画像選別部を更に有するものである。
本発明の第６の態様である自律学習装置は、上記の自律学習装置であって、
前記画像選別部は、
前記画像群の各画像の特徴量を抽出し、
抽出した特徴量の強度に基づいてヒストグラムを生成し、
前記ヒストグラムのビンの値の分散を算出し、
算出した分散で重み付けしたランキングＳＶＭによって前記画像群の各画像の順位を算出し、
第２の値よりも順位が大きな画像を前記画像群から削除する、ものである。
前記画像選別部は、
前記画像群の各画像の特徴量を抽出し、
抽出した特徴量の強度に基づいてヒストグラムを生成し、
前記ヒストグラムのビンの値の分散を算出し、
算出した分散で重み付けしたランキングＳＶＭによって前記画像群の各画像の順位を算出し、
第２の値よりも順位が大きな画像を前記画像群から削除する、ものである。
本発明の第７の態様である自律学習方法は、
与えられた入力語を用いてキーワード検索を行い、検索結果から名詞を抜き出して関連単語群を生成し、
前記関連単語群に含まれる単語と前記入力語との関連性を判定し、前記入力語と所定の関連性を有しない単語を前記関連単語群から除去した真関連単語群を生成し、
前記真関連単語群に含まれる単語を用いた画像検索を行って画像を取得し、
前記真関連単語群に含まれる単語のそれぞれと、前記真関連単語群に含まれる単語のそれぞれに対応する画像と、を学習データとして分類器を生成する、ものである。
与えられた入力語を用いてキーワード検索を行い、検索結果から名詞を抜き出して関連単語群を生成し、
前記関連単語群に含まれる単語と前記入力語との関連性を判定し、前記入力語と所定の関連性を有しない単語を前記関連単語群から除去した真関連単語群を生成し、
前記真関連単語群に含まれる単語を用いた画像検索を行って画像を取得し、
前記真関連単語群に含まれる単語のそれぞれと、前記真関連単語群に含まれる単語のそれぞれに対応する画像と、を学習データとして分類器を生成する、ものである。
本発明の第８の態様であるプログラムは、
与えられた入力語を用いてキーワード検索を行い、検索結果から名詞を抜き出して関連単語群を生成する処理と、
前記関連単語群に含まれる単語と前記入力語との関連性を判定し、前記入力語と所定の関連性を有しない単語を前記関連単語群から除去した真関連単語群を生成する処理と、
前記真関連単語群に含まれる単語を用いた画像検索を行って画像を取得する処理と、
前記真関連単語群に含まれる単語のそれぞれと、前記真関連単語群に含まれる単語のそれぞれに対応する画像と、を学習データとして分類器を生成する処理と、からなる自律学習をコンピュータに実行させる、ものである。
与えられた入力語を用いてキーワード検索を行い、検索結果から名詞を抜き出して関連単語群を生成する処理と、
前記関連単語群に含まれる単語と前記入力語との関連性を判定し、前記入力語と所定の関連性を有しない単語を前記関連単語群から除去した真関連単語群を生成する処理と、
前記真関連単語群に含まれる単語を用いた画像検索を行って画像を取得する処理と、
前記真関連単語群に含まれる単語のそれぞれと、前記真関連単語群に含まれる単語のそれぞれに対応する画像と、を学習データとして分類器を生成する処理と、からなる自律学習をコンピュータに実行させる、ものである。
本発明によれば、ウェブ検索により取得した情報から物体の認識に用いる学習データを生成するにあたり、物体の認識にとってノイズとなる情報を学習データから除去することができる自律学習を実現することができる。
以下、図面を参照して本発明の実施の形態について説明する。各図面においては、同一要素には同一の符号が付されており、必要に応じて重複説明は省略される。
実施の形態１
実施の形態１にかかる自律学習装置１００の構成及び動作について説明する。実施の形態１にかかる自律学習装置１００は、入力語とは関係が無い又は低いにもかかわらず、上述した関連単語群に含まれてしまった単語を、ノイズとして除去するものである。
実施の形態１にかかる自律学習装置１００の構成及び動作について説明する。実施の形態１にかかる自律学習装置１００は、入力語とは関係が無い又は低いにもかかわらず、上述した関連単語群に含まれてしまった単語を、ノイズとして除去するものである。
図１は、実施の形態１にかかる自律学習装置１００の構成を模式的に示す図である。図２は、実施の形態１にかかる自律学習装置１００の学習動作を示すフロー図である。
ステップＳ１ 関連単語群ＲＷの生成
ここでは、自律学習装置１００の関連単語群生成部１が、与えられた入力語に基づいてウェブ検索を行い、検索結果に基づいて関連単語群ＲＷを生成する。図３は、ステップＳ１における関連単語群ＲＷの生成を示すフロー図である。
ここでは、自律学習装置１００の関連単語群生成部１が、与えられた入力語に基づいてウェブ検索を行い、検索結果に基づいて関連単語群ＲＷを生成する。図３は、ステップＳ１における関連単語群ＲＷの生成を示すフロー図である。
ステップＳ１１
まず、関連単語群生成部１に、入力語ＭＷを与える。このとき、入力語としては、１つの単語又は複数の単語を与えることができる。
まず、関連単語群生成部１に、入力語ＭＷを与える。このとき、入力語としては、１つの単語又は複数の単語を与えることができる。
ステップＳ１２
関連単語群生成部１は、与えられた入力語ＭＷを用いて、ウェブ上でキーワード検索を行い、キーワード検索によって得られた文章を取得する。このとき、例えば、自律学習装置１００は、キーワード検索によって得られた文章をダウンロードし、記憶装置に蓄積してもよい。キーワード検索は、一般的に用いられるサーチエンジン、ウィキペディア及びウェブ辞書のいずれかを用いてもよく、又は、これらを組み合わせて用いてもよい。
関連単語群生成部１は、与えられた入力語ＭＷを用いて、ウェブ上でキーワード検索を行い、キーワード検索によって得られた文章を取得する。このとき、例えば、自律学習装置１００は、キーワード検索によって得られた文章をダウンロードし、記憶装置に蓄積してもよい。キーワード検索は、一般的に用いられるサーチエンジン、ウィキペディア及びウェブ辞書のいずれかを用いてもよく、又は、これらを組み合わせて用いてもよい。
ステップＳ１３
関連単語群生成部１は、形態素解析により取得した文章を単語レベルに分解し、分解して得られた単語のそれぞれの品詞を決定する。
関連単語群生成部１は、形態素解析により取得した文章を単語レベルに分解し、分解して得られた単語のそれぞれの品詞を決定する。
ステップＳ１４
関連単語群生成部１は、分解して得られた単語の中から、名詞を選別する。
関連単語群生成部１は、分解して得られた単語の中から、名詞を選別する。
ステップＳ１５
関連単語群生成部１は、選別された名詞から所定の規則に基づいて関連単語群ＲＷに含まれるべき名詞を選択し、選択した名詞で構成される関連単語群ＲＷを生成する。例えば、自律学習装置１００は、ステップＳ１４で選別された名詞に対してＴＦ−ＩＤＦ（Term Frequency - Inverse Document Frequency）で重み付けを行い、重みが大きな上位５００語で関連単語群ＲＷを生成する。なお、名詞に対する重み付けは、ＴＦ−ＩＤＦに限られず、適宜他の方法を用いてもよい。関連単語群ＲＷに含まれる単語数は５００語に限られず、適宜５００語以外の語数としてもよい。
関連単語群生成部１は、選別された名詞から所定の規則に基づいて関連単語群ＲＷに含まれるべき名詞を選択し、選択した名詞で構成される関連単語群ＲＷを生成する。例えば、自律学習装置１００は、ステップＳ１４で選別された名詞に対してＴＦ−ＩＤＦ（Term Frequency - Inverse Document Frequency）で重み付けを行い、重みが大きな上位５００語で関連単語群ＲＷを生成する。なお、名詞に対する重み付けは、ＴＦ−ＩＤＦに限られず、適宜他の方法を用いてもよい。関連単語群ＲＷに含まれる単語数は５００語に限られず、適宜５００語以外の語数としてもよい。
ステップＳ２ 真関連単語群ＴＲＷの生成
上述のステップＳ１では、入力語ＭＷに基づいてウェブ検索を行って文章を取得した。そのため、文章によっては、入力語ＭＷに関係が無い又は低い単語が含まれていることがある。その結果、入力語に関係が無い又は低い単語であっても、ウェブ上での出現頻度が高い場合には、関連単語群ＲＷに含まれてしまう。そこで、ステップＳ２では、真関連単語群生成部２は、関連単語群ＲＷから入力語ＭＷに関係が無い又は低い単語を除去して、真関連単語群ＴＲＷを生成する。
上述のステップＳ１では、入力語ＭＷに基づいてウェブ検索を行って文章を取得した。そのため、文章によっては、入力語ＭＷに関係が無い又は低い単語が含まれていることがある。その結果、入力語に関係が無い又は低い単語であっても、ウェブ上での出現頻度が高い場合には、関連単語群ＲＷに含まれてしまう。そこで、ステップＳ２では、真関連単語群生成部２は、関連単語群ＲＷから入力語ＭＷに関係が無い又は低い単語を除去して、真関連単語群ＴＲＷを生成する。
以下、ステップＳ２について説明する。図４は、ステップＳ２における真関連単語群ＴＲＷの生成を示すフロー図である。図５は、ステップＳ２における真関連単語群ＴＲＷの生成処理を示すアルゴリズムである。
ステップＳ２１
真関連単語群生成部２は、関連単語群ＲＷから、１つの単語ｗを選択する。
真関連単語群生成部２は、関連単語群ＲＷから、１つの単語ｗを選択する。
ステップＳ２２
真関連単語群生成部２は、単語ｗを用いてウェブ検索を行い、単語ｗに対する関連単語群ｔｍｐ＿ＲＷを求める。関連単語群ｔｍｐ＿ＲＷの生成については、上述したステップＳ１において、入力語ＭＷを単語ｗに置き換えることで関連単語群ｔｍｐ＿ＲＷを得ることができるので、重複する説明については省略する。
真関連単語群生成部２は、単語ｗを用いてウェブ検索を行い、単語ｗに対する関連単語群ｔｍｐ＿ＲＷを求める。関連単語群ｔｍｐ＿ＲＷの生成については、上述したステップＳ１において、入力語ＭＷを単語ｗに置き換えることで関連単語群ｔｍｐ＿ＲＷを得ることができるので、重複する説明については省略する。
なお、単語ｗを用いてウェブ検索を行うにあたり、検索ページ数を適切に決定する必要がある。検索ページ数の決定の意義と方法については、後述する。
ステップＳ２３
真関連単語群生成部２は、関連単語群ｔｍｐ＿ＲＷに、入力語ＭＷが含まれるかを判定する。
真関連単語群生成部２は、関連単語群ｔｍｐ＿ＲＷに、入力語ＭＷが含まれるかを判定する。
ステップＳ２４
真関連単語群生成部２は、関連単語群ｔｍｐ＿ＲＷに入力語ＭＷが含まれる場合には、単語ｗを抽出し、真関連単語群ＴＲＷに追加する。
真関連単語群生成部２は、関連単語群ｔｍｐ＿ＲＷに入力語ＭＷが含まれる場合には、単語ｗを抽出し、真関連単語群ＴＲＷに追加する。
ステップＳ２５
真関連単語群生成部２は、ステップＳ２４の後、又は、ステップＳ２３において関連単語群ｔｍｐ＿ＲＷに入力語ＭＷが含まれないと判定された場合、ステップＳ２１において関連単語群ＲＷに含まれる全ての単語が選択されたかを判定する。
真関連単語群生成部２は、ステップＳ２４の後、又は、ステップＳ２３において関連単語群ｔｍｐ＿ＲＷに入力語ＭＷが含まれないと判定された場合、ステップＳ２１において関連単語群ＲＷに含まれる全ての単語が選択されたかを判定する。
ステップＳ２１において関連単語群ＲＷに含まれる全ての単語が選択されていた場合、処理を終了する。
ステップＳ２１において関連単語群ＲＷに含まれる全ての単語が選択されていない場合、すなわち、ステップＳ２１において関連単語群ＲＷに含まれる単語の中で選択されていない単語が残っている場合、ステップＳ２１に戻る。ステップＳ２５からステップＳ２１に戻った場合、ステップＳ２１では、関連単語群ＲＷに含まれる単語の中で未だ選択されていない単語から、１つの単語ｗが選択される。
ステップＳ３ 画像検索
画像検索部３は、真関連単語群ＴＲＷに含まれる単語を用いて、ウェブ上で画像検索を行う。
画像検索部３は、真関連単語群ＴＲＷに含まれる単語を用いて、ウェブ上で画像検索を行う。
ステップＳ４ 分類器の生成
分類器生成部４は、真関連単語群ＴＲＷと、ステップＳ３での画像検索により取得した画像とに基づいて、分類器を生成する。この場合、例えば、ＳＶＭ（Support Vector Machine:サポートベクターマシン）を用いて分類器を生成してもよい。また、分類器の生成については、上述したように、式（１）及び式（２）を用いて画像一貫性係数を計算し、それによる重み付けを行うことで生成してもよい。
分類器生成部４は、真関連単語群ＴＲＷと、ステップＳ３での画像検索により取得した画像とに基づいて、分類器を生成する。この場合、例えば、ＳＶＭ（Support Vector Machine:サポートベクターマシン）を用いて分類器を生成してもよい。また、分類器の生成については、上述したように、式（１）及び式（２）を用いて画像一貫性係数を計算し、それによる重み付けを行うことで生成してもよい。
本実施の形態では、上述の通り、関連単語群ＲＷから、入力語に関係が無い単語を除去して、真関連単語群ＴＲＷを生成している。これにより、非特許文献４のように単に関連単語群ＲＷを用いて分類器を生成する場合と比べて、より高精度に物体を認識することが可能となる。
検索ページ数の決定
次いで、ステップＳ１２でのキーワード検索を行うときの検索ページ数の決定方法について説明する。もし、ウェブ検索のページ数が少なすぎると、真関連単語群ＴＲＷに含まれる単語数も少なくなってしまう。一方、ウェブ検索のページ数が多すぎると、上記のステップＳ２により関連単語群ＲＷから真関連単語群ＴＲＷを抽出したとしても、真関連単語群ＴＲＷに含まれる単語数は、関連単語群ＲＷに含まれる単語数とあまり変化しない。よって、真関連単語群ＴＲＷに含まれる単語数が所望の数となり、かつ、関連単語群ＲＷから真関連単語群ＴＲＷを抽出した後の単語数を有意に減らせるように、ウェブ検索のページ数を決定する必要がある。
次いで、ステップＳ１２でのキーワード検索を行うときの検索ページ数の決定方法について説明する。もし、ウェブ検索のページ数が少なすぎると、真関連単語群ＴＲＷに含まれる単語数も少なくなってしまう。一方、ウェブ検索のページ数が多すぎると、上記のステップＳ２により関連単語群ＲＷから真関連単語群ＴＲＷを抽出したとしても、真関連単語群ＴＲＷに含まれる単語数は、関連単語群ＲＷに含まれる単語数とあまり変化しない。よって、真関連単語群ＴＲＷに含まれる単語数が所望の数となり、かつ、関連単語群ＲＷから真関連単語群ＴＲＷを抽出した後の単語数を有意に減らせるように、ウェブ検索のページ数を決定する必要がある。
以下では、入力語として「動物」及び「種類」の２語を用いた場合を例として、検索ページ数の決定方法を説明する。
関連単語群ＲＷから真関連単語群ＴＲＷを抽出するときの検索ページ数を評価するための指標Ｆ−ｍｅａｓｕｒｅを、以下の式（３）で定義する。
但し、Ｐは、関連単語群ＲＷに含まれる単語のうち、入力語と関連していると判断される単語の数である。ＴＰは、真関連単語群ＴＲＷに含まれる単語のうち、入力語と関連していると判断される単語の数である。ＦＰは、真関連単語群ＴＲＷに含まれる単語のうち、入力語には関連していないと判断される単語の数である。
そして、検索ページ数を変更しながら、式（３）を用いてＦ−ｍｅａｓｕｒｅを計算した。ここでは、検索ページ数を１、２、３にした場合と、真関連単語群ＴＲＷを生成しなかった場合（すなわち、検索ページ数が０の場合）との合計４パターンにおいて、Ｐｒｅｃｉｓｉｏｎ（適合率）、Ｒｅｃａｌｌ（再現率）、Ｆ−ｍｅａｓｕｒｅを求めた。以下の表１に、その結果を示す。
Ｆ−ｍｅａｓｕｒｅが最大の値となるときのページ数を、真関連単語群ＴＲＷを抽出するときの検索ページ数とする。表１の例では、Ｆ−ｍｅａｓｕｒｅが最大値０．５４３をとるときの検索ページ数である「１」が、真関連単語群ＴＲＷを抽出するときに用いる検索ページ数となる。
また、真関連単語群ＴＲＷを生成しなかった場合と比較すると、検索ページ数が１の場合では、Ｆ−ｍｅａｓｕｒｅが約２倍になっており、本手法の有効性が確認できる。なお、入力語が「動物」及び「種類」である場合に、本手法で抽出された単語の一例を表２に示す。
表２においては、ＴＰは、真関連単語群ＴＲＷに含まれる単語のうち、入力語と関連していると判断される単語である。ＦＰは、真関連単語群ＴＲＷに含まれる単語のうち、入力語には関連していないと判断される単語である。ＦＮは、入力語に関連しているが真関連単語群ＴＲＷに含まれない単語である。ＴＮは、真関連単語群ＴＲＷに含まれず、かつ、入力語に関連していない単語である。
実施の形態２
実施の形態２にかかる自律学習装置２００の構成及び動作について説明する。実施の形態１では、真関連単語群ＴＲＷを生成することで、学習データに含まれるノイズを低減した。しかし、図２に示したステップＳ３において真関連単語群ＴＲＷに含まれる単語を用いてウェブ上で画像検索をした場合に、単語によっては、検索で得られた複数の画像の間の一貫性が無い又は低い場合があり得る。こうした単語とこれに対応する画像が学習データに含まれてしまうと、物体の認識精度が低下してしまう。そこで、本実施の形態では、検索で得られた複数の画像の間の一貫性が無い又は低い単語を真関連単語群ＴＲＷから除去する自律学習装置２００について説明する。
実施の形態２にかかる自律学習装置２００の構成及び動作について説明する。実施の形態１では、真関連単語群ＴＲＷを生成することで、学習データに含まれるノイズを低減した。しかし、図２に示したステップＳ３において真関連単語群ＴＲＷに含まれる単語を用いてウェブ上で画像検索をした場合に、単語によっては、検索で得られた複数の画像の間の一貫性が無い又は低い場合があり得る。こうした単語とこれに対応する画像が学習データに含まれてしまうと、物体の認識精度が低下してしまう。そこで、本実施の形態では、検索で得られた複数の画像の間の一貫性が無い又は低い単語を真関連単語群ＴＲＷから除去する自律学習装置２００について説明する。
図６は、実施の形態２にかかる自律学習装置２００の構成を模式的に示す図である。自律学習装置２００は、実施の形態１にかかる自律学習装置１００に、単語選別部５を追加した構成を有する。単語選別部５は、図２に示すステップＳ４に先だって、真関連単語群ＴＲＷに含まれる単語の選別を行う。
図７は、実施の形態２にかかる自律学習装置２００の学習動作を示す図である。図７では、図２と比較して、ステップＳ３とステップＳ４との間に、ステップＳ５が挿入される。以下、単語選別部５が行う、真関連単語群ＴＲＷに含まれる単語の選別について説明する。
図８は、ステップＳ５における真関連単語群ＴＲＷに含まれる単語の選別を示すフロー図である。図９は、ステップＳ５における真関連単語群ＴＲＷに含まれる単語の選別処理を示すアルゴリズムである。実施の形態２におけるステップＳ１〜ステップＳ４については、実施の形態１と同様であるので、説明を省略する。以下、ステップＳ５１〜Ｓ５６で構成されるステップＳ５について説明する。
ステップＳ５１
単語選別部５は、真関連単語群ＴＲＷから、１つの単語ｗを選択する。
単語選別部５は、真関連単語群ＴＲＷから、１つの単語ｗを選択する。
ステップＳ５２
単語選別部５は、単語ｗによって検索された画像と、単語ｗとは別に選択された単語ｗａとの間の画像相違度Ｓｗ，ｗａを計算する。以下、画像相違度Ｓｗ，ｗａの計算方法について説明する。まず単語ｗの画像を、学習データとテストデータとに分ける。同様に、単語ｗａの画像を、学習データとテストデータとに分ける。これらの学習データを用いて、単語ｗにかかる画像と単語ｗａにかかる画像を分類する２クラスＳＶＭを生成する。ここでは、学習データとテストデータの比率が４：１になるように設定したが、この比率は例示に過ぎず、適宜他の比率としてもよい。これにより、単語ｗにかかる画像のうち、正しく分類されたものの数Ｔｗを求める。同様に、単語ｗａにかかる画像のうち、正しく分類されたものの数Ｔｗａを求める。そして、以下の式（４）によって、画像相違度Ｓｗ，ｗａを求める。
但し、Ｉｗ＋ｗａは、クラスｗ（単語ｗ）のテストデータの数とクラスｗａ（単語ｗａ）のテストデータの数との和である。
単語選別部５は、単語ｗによって検索された画像と、単語ｗとは別に選択された単語ｗａとの間の画像相違度Ｓｗ，ｗａを計算する。以下、画像相違度Ｓｗ，ｗａの計算方法について説明する。まず単語ｗの画像を、学習データとテストデータとに分ける。同様に、単語ｗａの画像を、学習データとテストデータとに分ける。これらの学習データを用いて、単語ｗにかかる画像と単語ｗａにかかる画像を分類する２クラスＳＶＭを生成する。ここでは、学習データとテストデータの比率が４：１になるように設定したが、この比率は例示に過ぎず、適宜他の比率としてもよい。これにより、単語ｗにかかる画像のうち、正しく分類されたものの数Ｔｗを求める。同様に、単語ｗａにかかる画像のうち、正しく分類されたものの数Ｔｗａを求める。そして、以下の式（４）によって、画像相違度Ｓｗ，ｗａを求める。
画像相違度Ｓｗ，ｗａの値が大きければ、単語ｗにかかる画像と単語ｗａにかかる画像とを分類することは容易である。しかし，画像相違度Ｓｗ，ｗａの値が小さければ、単語ｗにかかる画像と単語ｗａにかかる画像との区別が難しいということとなる。
画像相違度Ｓｗ，ｗａの値が小さくなる理由としては、単語ｗが示す物体と単語ｗａが示す物体とが類似しているために分類するのが困難である場合が挙げられる。また、単語ｗ及び単語ｗａのいずれか又は両方において、ウェブ画像検索をして得られた画像に一貫性がなく、ノイズが識別率に影響している場合が考えられる。
学習データを用いて、クラスｗとクラスｗａとを分類する２クラスＳＶＭを生成する。なお、特徴量や画像量子化の手法については、非特許文献４で開示された手法を用いてもよい。
ステップＳ５３
上記の画像相違度Ｓｗ，ｗａを用いて、単語ｗに対応する画像の画像一貫性度Ｃｗを求める。
但し、ｎは、真関連単語群ＴＲＷに含まれる単語数である。
上記の画像相違度Ｓｗ，ｗａを用いて、単語ｗに対応する画像の画像一貫性度Ｃｗを求める。
画像一貫性度Ｃｗの値が大きいということは、ウェブ画像検索によって得られた単語ｗに対応する画像は、ある程度一貫したものが揃っているということとなり、正確な分類器の生成が期待できる。しかし、画像一貫性度Ｃｗの値が小さい場合、単語ｗに対応する画像には一貫性がなく、１つのクラスを表している画像群であるとは言えないため、これらを学習データとして分類器を生成するのは望ましくないと考えられる。
そのため、画像一貫性度Ｃｗを閾値αと比較し、比較結果に基づいて、選択された単語を真関連単語群ＴＲＷから除去する処理を行う。なお、閾値αの値の決定方法については、後述する。以下、引き続き説明する。
ステップＳ５４
画像一貫性度Ｃｗが、閾値αよりも小さいか（Ｃｗ＜α）を判定する。
画像一貫性度Ｃｗが、閾値αよりも小さいか（Ｃｗ＜α）を判定する。
ステップＳ５５
画像一貫性度Ｃｗが閾値αよりも小さい場合には、選択された単語ｗは学習データとして相応しくないと判断し、選択された単語ｗを真関連単語群ＴＲＷから除去する。
画像一貫性度Ｃｗが閾値αよりも小さい場合には、選択された単語ｗは学習データとして相応しくないと判断し、選択された単語ｗを真関連単語群ＴＲＷから除去する。
ステップＳ５６
ステップＳ５５の後、又は、画像一貫性度Ｃｗが閾値αよりも大きい場合、ステップＳ５１において真関連単語群ＴＲＷに含まれる全ての単語が選択されたかを判定する。
ステップＳ５５の後、又は、画像一貫性度Ｃｗが閾値αよりも大きい場合、ステップＳ５１において真関連単語群ＴＲＷに含まれる全ての単語が選択されたかを判定する。
ステップＳ５１において真関連単語群ＴＲＷに含まれる全ての単語が選択されていない場合、すなわち、ステップＳ５１において真関連単語群ＴＲＷに含まれる単語の中で選択されていない単語が残っている場合、ステップＳ５１に戻る。ステップＳ５６からステップＳ５１に戻った場合、ステップＳ５１では、真関連単語群ＴＲＷに含まれる単語の中で未だ選択されていない単語から、１つの単語が選択される。
一方、ステップＳ５１において真関連単語群ＴＲＷに含まれる全ての単語が選択されていた場合、処理を終了する。
上述では、画像一貫性度Ｃｗと閾値αとを比較したが、画像一貫性度Ｃｗと閾値αとが等しい場合（Ｃｗ＝α）も考え得る。このとき、画像一貫性度Ｃｗが閾値αよりも小さい場合（Ｃｗ＜α）と、画像一貫性度Ｃｗが閾値α以上である場合（Ｃｗ≧α）とで、場合分けしてもよい。また、画像一貫性度Ｃｗが閾値α以下である場合（Ｃｗ≦α）と、画像一貫性度Ｃｗが閾値αよりも大きい場合（Ｃｗ＞α）とで、場合分けしてもよい。
本実施の形態では、実施の形態１と同様に、関連単語群ＲＷから、入力語に関係が無い又は低い単語を除去して、真関連単語群ＴＲＷを生成している。これにより、非特許文献４のように、単に関連単語群ＲＷを用いて分類器を生成する場合と比べて、より高精度に物体を認識することが可能となる。
また、本実施の形態では、真関連単語群ＴＲＷに含まれる単語のうち、画像検索を行った場合に一貫性を有する画像を取得できない単語を、学習すべき単語ではないとして、真関連単語群ＴＲＷから除去している。これにより、実施の形態１と比べて、真関連単語群ＴＲＷに含まれるノイズを除去して、より高精度に物体を認識することが可能となる。
更に、非特許文献４のような一貫性係数で重み付けを行う手法では、一貫性係数は認識対象画像がいかなるものであるかに関わりなく作用するため、別の物体画像を用いても出力される物体名が似たものとなる傾向がある。これに対し、実施の形態２にかかる学習方法によれば、単語と関係が無い又は低い画像の混入を低減することができる。
閾値αの設定
次いで、閾値αの決定方法について説明する。本実施の形態では、上述で用いた閾値αの値を適切に決定する必要がある。閾値αは、以下の方法によって決定することができる。以下では、入力語として「動物」及び「種類」の２語を用いる例について説明する。
次いで、閾値αの決定方法について説明する。本実施の形態では、上述で用いた閾値αの値を適切に決定する必要がある。閾値αは、以下の方法によって決定することができる。以下では、入力語として「動物」及び「種類」の２語を用いる例について説明する。
上述した学習すべき物体を選別する際の閾値αの設定について説明する。図１０に、閾値αを変化させながら行った物体の選別結果を示す。図１０では、選別結果をＴＰとＦＰとに分けて表示したが、どちらに含まれる物体も閾値αが大きくなるにつれて、同様の割合で減少することがわかる。そのため、閾値αを検討する評価値を決めることができず、今回は選別結果を実際に見て、学習データとして相応しくない物体が除去できていたα＝７２．０とした。
実施の形態３
実施の形態３にかかる自律学習装置３００の構成及び動作について説明する。実施の形態２では、真関連単語群ＴＲＷを生成し、かつ、真関連単語群ＴＲＷに含まれる単語を選別することで、学習データに含まれるノイズを低減した。しかし、ステップＳ３では、真関連単語群ＴＲＷに含まれる単語を用いてウェブ上で検索した画像をそのまま学習データに含めているため、用いた単語と関係が無い又は低い画像が学習データに混入するおそれがある。そこで、本実施の形態では、各単語の検索結果である複数の画像の中から、用いた単語と関係が無い又は低い画像を除去することで、学習データに含まれるノイズを低減する。
実施の形態３にかかる自律学習装置３００の構成及び動作について説明する。実施の形態２では、真関連単語群ＴＲＷを生成し、かつ、真関連単語群ＴＲＷに含まれる単語を選別することで、学習データに含まれるノイズを低減した。しかし、ステップＳ３では、真関連単語群ＴＲＷに含まれる単語を用いてウェブ上で検索した画像をそのまま学習データに含めているため、用いた単語と関係が無い又は低い画像が学習データに混入するおそれがある。そこで、本実施の形態では、各単語の検索結果である複数の画像の中から、用いた単語と関係が無い又は低い画像を除去することで、学習データに含まれるノイズを低減する。
図１１は、実施の形態３にかかる自律学習装置３００の構成を模式的に示す図である。自律学習装置３００は、実施の形態２にかかる自律学習装置２００に、画像選別部６を追加した構成を有する。画像選別部６は、図７に示すステップＳ４に先だって、真関連単語群ＴＲＷの各単語に対応する画像の選別を行う。
図１２は、実施の形態３にかかる自律学習装置３００の学習動作を示す図である。図１２では、図７と比較して、ステップＳ５とステップＳ４との間に、ステップＳ６が挿入される。以下、画像選別部６が行う画像の選別について説明する。
図１３は、ステップＳ６における画像の選別を示すフロー図である。図１４は、ステップＳ６における画像の選別処理を示すアルゴリズムである。実施の形態３におけるステップＳ１〜Ｓ５については、実施の形態２と同様であるので、説明を省略する。以下、ステップＳ６１〜Ｓ６７で構成されるステップＳ６について説明する。
ステップＳ６１
画像選別部６は、真関連単語群ＴＲＷから、１つの単語ｗを選択する。
画像選別部６は、真関連単語群ＴＲＷから、１つの単語ｗを選択する。
ステップＳ６２
画像選別部６は、単語ｗにかかる画像群Ｉｍｇｗの中から、１枚の画像ｉｍｇを選択する。
画像選別部６は、単語ｗにかかる画像群Ｉｍｇｗの中から、１枚の画像ｉｍｇを選択する。
ステップＳ６３
画像選別部６は、画像ｉｍｇの順位であるランクＲａｎｋを計算する。ランクＲａｎｋは、上述した式（２）で計算される評価値Ｖｗの順に対応する単語をソートしたときの、単語ｗに対応する評価値Ｖｗの順位であるランクを用いる。
画像選別部６は、画像ｉｍｇの順位であるランクＲａｎｋを計算する。ランクＲａｎｋは、上述した式（２）で計算される評価値Ｖｗの順に対応する単語をソートしたときの、単語ｗに対応する評価値Ｖｗの順位であるランクを用いる。
ステップＳ６４
画像選別部６は、ランクＲａｎｋが閾値βよりも大きいか（Ｒａｎｋ＞β）を判定する。
画像選別部６は、ランクＲａｎｋが閾値βよりも大きいか（Ｒａｎｋ＞β）を判定する。
ステップＳ６５
ランクＲａｎｋの値が大きい場合、その画像を学習データとして分類器を生成するのは望ましくない。よって、Ｒａｎｋ≧βの画像については学習データから取り除かれるべきである。よって、画像選別部６は、ランクＲａｎｋが閾値βよりも大きい場合、選択した画像を削除する。
ランクＲａｎｋの値が大きい場合、その画像を学習データとして分類器を生成するのは望ましくない。よって、Ｒａｎｋ≧βの画像については学習データから取り除かれるべきである。よって、画像選別部６は、ランクＲａｎｋが閾値βよりも大きい場合、選択した画像を削除する。
ステップＳ６６
画像選別部６は、ステップＳ６５の後、又は、ランクＲａｎｋが閾値βよりも小さい場合、ステップＳ６２において、画像群Ｉｍｇｗに含まれる全ての画像が選択されたかを判定する。
画像選別部６は、ステップＳ６５の後、又は、ランクＲａｎｋが閾値βよりも小さい場合、ステップＳ６２において、画像群Ｉｍｇｗに含まれる全ての画像が選択されたかを判定する。
ステップＳ６２において画像群Ｉｍｇｗに含まれる全ての画像が選択されていない場合、すなわち、ステップＳ６２において画像群Ｉｍｇｗに含まれる画像の中で選択されていない画像が残っている場合、ステップＳ６２に戻る。ステップＳ６６からステップＳ６２に戻った場合、ステップＳ６２では、画像群Ｉｍｇｗに含まれる画像の中で未だ選択されていない画像から、１つの画像が選択される。
ステップＳ６７
ステップＳ６２において画像群Ｉｍｇｗに含まれる全ての画像が選択されていた場合、ステップＳ６１において真関連単語群ＴＲＷに含まれる全ての単語が選択されたかを判定する。
ステップＳ６２において画像群Ｉｍｇｗに含まれる全ての画像が選択されていた場合、ステップＳ６１において真関連単語群ＴＲＷに含まれる全ての単語が選択されたかを判定する。
ステップＳ６１において真関連単語群ＴＲＷに含まれる全ての単語が選択されていない場合、すなわち、ステップＳ６１において真関連単語群ＴＲＷに含まれる単語の中で選択されていない単語が残っている場合、ステップＳ６１に戻る。ステップＳ６７からステップＳ６１に戻った場合、ステップＳ６１では、真関連単語群ＴＲＷに含まれる単語の中で未だ選択されていない単語から、１つの単語が選択される。
ステップＳ６１において真関連単語群ＴＲＷに含まれる全ての単語が選択されていた場合、処理を終了する。
上述では、ランクＲａｎｋと閾値βとを比較したが、ランクＲａｎｋと閾値βとが等しい場合（Ｒａｎｋ＝β）も考え得る。このとき、ランクＲａｎｋが閾値βよりも大きい場合（Ｒａｎｋ＞β）と、ランクＲａｎｋが閾値β以下である場合（Ｒａｎｋ≦β）とで、場合分けしてもよい。また、ランクＲａｎｋが閾値β以上である場合（Ｒａｎｋ≧β）と、ンクＲａｎｋが閾値βよりも小さい場合（Ｒａｎｋ＜β）とで、場合分けしてもよい。
本実施の形態では、実施の形態１と同様に、関連単語群ＲＷから、入力語に関係が無い又は低い単語を除去して、真関連単語群ＴＲＷを生成している。これにより、非特許文献４のように、単に関連単語群ＲＷを用いて分類器を生成する場合と比べて、より高精度に物体を認識することが可能となる。
また、本実施の形態では、実施の形態２と同様に、真関連単語群ＴＲＷに含まれる単語のうち、画像検索を行った場合に一貫性を有する画像を取得できない単語を、学習すべき単語ではないとして、真関連単語群ＴＲＷから除去している。これにより、実施の形態１と比べて、真関連単語群ＴＲＷに含まれるノイズを除去して、より高精度に物体を認識することが可能となる。
更に、本実施の形態では、単語選別後の真関連単語群ＴＲＷに含まれる各単語を用いて検索して取得した画像のうち、用いた単語と関係が無い又は低い画像を除去している。これにより、学習データに含まれるノイズを更に低減でき、実施の形態２と比べてより高精度に物体を認識することが可能となる。
閾値βの設定
学習すべき画像を選別する際の閾値βの設定について説明する。ここでは、意図的に学習データの中にノイズを加えて、閾値βを変化させながら学習画像の選別を行い、その結果から閾値βの最適な値を求める．
学習すべき画像を選別する際の閾値βの設定について説明する。ここでは、意図的に学習データの中にノイズを加えて、閾値βを変化させながら学習画像の選別を行い、その結果から閾値βの最適な値を求める．
ここでは、入力語を「画像」としたときの関連単語群ＲＷをウェブ画像検索したときに得られる上位１枚の合計５００枚の画像をノイズ画像として、物体の画像一貫性度Ｃｗの値が大きかった上位１０個の物体の学習データに加える。これは、Ｆ−ｍｅａｓｕｒｅを計算するときに、ノイズを加える前の学習データは全て正しいものだと仮定するため、画像一貫精度が高い物体が選択されるべきだからである。
学習データに含まれるノイズの割合が１０％、２０％及び３０％になるように生成したものを、それぞれデータＡ、データＢ及びデータＣとした。そして、それぞれのデータに対して閾値βを変化させながら学習画像の選別処理を行い、前述の式（３）を用いてＦ−ｍｅａｓｕｒｅを計算した。その結果を、以下の表３に示す。
Ｆ−ｍｅａｓｕｒｅが最大の値となるときの閾値βを、本手法で用いる閾値として設定する。表３の例では、Ｆ−ｍｅａｓｕｒｅが全てのデータにおいて最大の値をとる閾値βは３であるので、β＝３を設定する。
評価実験
次いで、実施の形態３にかかる自律学習装置３００での学習よる認識能力について検証する。以下では、本手法の適用による認識能力を検証するため、選別した学習データの精度と実環境を想定した際の認識結果について評価する。評価方法としては、本手法により学習した情報をもとに一般物体認識を行い、以下の式（６）で定義される認識率Ａｃｃｕｒａｃｙ［％］を用いた。
但し、Ｐａは正しく分類された画像の数であり、Ｐｎは全画像の数である。
次いで、実施の形態３にかかる自律学習装置３００での学習よる認識能力について検証する。以下では、本手法の適用による認識能力を検証するため、選別した学習データの精度と実環境を想定した際の認識結果について評価する。評価方法としては、本手法により学習した情報をもとに一般物体認識を行い、以下の式（６）で定義される認識率Ａｃｃｕｒａｃｙ［％］を用いた。
また、比較例として、非特許文献４にかかる学習方法による結果を併せて示した。
実施の形態３にかかる学習方法と比較例にかかる学習方法とに与える入力語として、「動物」及び「種類」の２語を用いた。実施の形態３にかかる学習方法で用いるパラメータについては、上述と同様に、検索ページ数の数を１、α＝１、β＝３とした。
テスト画像は、Ｃａｌｔｅｃｈ２５６（非特許文献５）の「陸上動物」カテゴリに含まれる２４物体の中から関連単語群ＲＷに含まれていた１６物体について、それぞれ２５枚の画像を学習データと重複しないようにウェブ上から収集したものを用いた。Ｃａｌｔｅｃｈ２５６とは、一般物体認識のタスクによく用いられるデータセットであり、２５６種類の様々なカテゴリの物体の画像が含まれている。Ｃａｌｔｅｃｈ２５６には、１つの物体につき、８０〜２００枚程度の画像が格納されている。その評価実験結果を、以下の表４に示す。
実施の形態３にかかる学習方法と比較例にかかる学習方法とを比較すると、平均認識率の点で実施の形態３にかかる学習方法が優位であることが確認できる。よって、実施の形態３にかかる学習方法は、ウェブ検索結果を自動選別するにあたって、ウェブ上のノイズ対策として優位であることがわかる。
実環境を想定した際の認識結果
上記の実験では、入力語として「動物」及び「種類」を用いた。しかし、家庭用ロボットなどの機器に本手法が実装されることを考えた場合、様々なパターンの入力語の組み合わせに対応する必要がある。ここでは、様々な入力語の組み合わせについて、認識率を用いて評価を行った。表５に、入力語の組み合わせと認識対象物体を示す。
上記の実験では、入力語として「動物」及び「種類」を用いた。しかし、家庭用ロボットなどの機器に本手法が実装されることを考えた場合、様々なパターンの入力語の組み合わせに対応する必要がある。ここでは、様々な入力語の組み合わせについて、認識率を用いて評価を行った。表５に、入力語の組み合わせと認識対象物体を示す。
そして、表５に示した計６パターンの入力語を用いて認識対象物体の認識率を求めた。表６に、その結果を示す。
なお、パラメータは予備実験のものを使用し、テスト画像は学習データと重複しないようにウェブ上から収集した各２５枚の画像を用いた。
表６より、入力語に関連する物体を正しく認識できていることが確認できる。よって、本手法は、様々な入力語に対応することができる汎化性を有するものと認められる。また、入力語が「動物」及び「種類」の場合とものと平均認識率を比較すると、表６の６パターン全てにおいて高くなっている。これは、学習クラス数が少ないことと、動物よりも道具や食材などのカテゴリの方が、物体の形状が安定していることに起因するものだと推測される。
その他の実施の形態
なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
例えば、上述の実施の形態では、ハードウェアの構成として説明したが、これに限定されるものではなく、任意の処理を、ＣＰＵ（Central Processing Unit）にコンピュータプログラムを実行させることにより実現することも可能である。この場合、コンピュータプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
実施の形態１〜３で説明した自律学習は、単に静止画の認識を行うことに用途が限定されるものではない。例えば、単一の動画から、動画の再生時間の経過につれて逐次物体認識を行うことで、動画の時間変化に伴って出現する物体の数や種類の変化を把握できるシステムを構築することができる。
例えば、ある製作物を作製する模様を撮影した動画に上記の自律学習を適用した場合、製造工程ごとに、必要な原材料や工具、製造装置等を認識することができる。これにより、動画に記録された行動の完遂に必要な物品を自動的に抽出することが可能となる。
以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は既に述べた実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において種々の変更が可能であることはいうまでもない。
１ 関連単語群生成部
２ 真関連単語群生成部
３ 画像検索部
４ 分類器生成部
５ 単語選別部
６ 画像選別部
１００ 自律学習装置
２００ 自律学習装置
３００ 自律学習装置
ＭＷ 入力語
ＲＷ 関連単語群
ｔｍｐ＿ＲＷ 関連単語群
ＴＲＷ 真関連単語群
２ 真関連単語群生成部
３ 画像検索部
４ 分類器生成部
５ 単語選別部
６ 画像選別部
１００ 自律学習装置
２００ 自律学習装置
３００ 自律学習装置
ＭＷ 入力語
ＲＷ 関連単語群
ｔｍｐ＿ＲＷ 関連単語群
ＴＲＷ 真関連単語群
Claims (8)
- 与えられた入力語を用いてキーワード検索を行い、検索結果から名詞を抜き出して関連単語群を生成する関連単語群生成部と、
前記関連単語群に含まれる単語と前記入力語との関連性を判定し、前記入力語と所定の関連性を有しない単語を前記関連単語群から除去した真関連単語群を生成する真関連単語群生成部と、
前記真関連単語群に含まれる単語を用いた画像検索を行って画像を取得する画像検索部と、
前記真関連単語群に含まれる単語のそれぞれと、前記真関連単語群に含まれる単語のそれぞれに対応する画像と、を学習データとして分類器を生成する分類器生成部と、を備える、
自律学習装置。 - 前記真関連単語群生成部は、
前記関連単語群の単語のそれぞれを用いてキーワード検索を行い、
キーワード検索で得られた文章を複数の単語に分解して名詞を抜き出し、
抜き出した名詞中に前記入力語が含まれない場合には、キーワード検索で用いた前記単語を、前記関連単語群から除去する、
請求項１に記載の自律学習装置。 - 前記画像検索部での画像検索で得られた前記真関連単語群に含まれる単語のそれぞれに対応する複数の画像の一貫性を判定し、前記複数の画像が所定の一貫性を有しない場合、前記複数の画像に対応する単語を前記真関連単語群から除去する単語選別部を更に備える、
請求項１又は２に記載の自律学習装置。 - 前記単語選別部は、
前記画像検索部での画像検索で得られた前記真関連単語群に含まれる単語のそれぞれに対応する複数の画像の画像一貫性度Ｃｗを、以下の式により算出し、
前記画像一貫性度Ｃｗが第１の値よりも小さい場合に、前記画像一貫性度Ｃｗに対応する単語を前記真関連単語群から除去する、
請求項３に記載の自律学習装置。
画像相違度Ｓｗ，ｗａは、以下の式で定義される。
- 前記画像検索部での画像検索で得られた前記真関連単語群に含まれる単語のそれぞれに対応する複数の画像からなる画像群の各画像について、対応する単語に対して所定の関連性を有しない画像を前記画像群から削除する画像選別部を更に備える、
請求項４に記載の自律学習装置。 - 前記画像選別部は、
前記画像群の各画像の特徴量を抽出し、
抽出した特徴量の強度に基づいてヒストグラムを生成し、
前記ヒストグラムのビンの値の分散を算出し、
算出した分散で重み付けしたランキングＳＶＭによって前記画像群の各画像の順位を算出し、
第２の値よりも順位が大きな画像を前記画像群から削除する、
請求項５に記載の自律学習装置。 - 与えられた入力語を用いてキーワード検索を行い、検索結果から名詞を抜き出して関連単語群を生成し、
前記関連単語群に含まれる単語と前記入力語との関連性を判定し、前記入力語と所定の関連性を有しない単語を前記関連単語群から除去した真関連単語群を生成し、
前記真関連単語群に含まれる単語を用いた画像検索を行って画像を取得し、
前記真関連単語群に含まれる単語のそれぞれと、前記真関連単語群に含まれる単語のそれぞれに対応する画像と、を学習データとして分類器を生成する、
自律学習方法。 - 与えられた入力語を用いてキーワード検索を行い、検索結果から名詞を抜き出して関連単語群を生成する処理と、
前記関連単語群に含まれる単語と前記入力語との関連性を判定し、前記入力語と所定の関連性を有しない単語を前記関連単語群から除去した真関連単語群を生成する処理と、
前記真関連単語群に含まれる単語を用いた画像検索を行って画像を取得する処理と、
前記真関連単語群に含まれる単語のそれぞれと、前記真関連単語群に含まれる単語のそれぞれに対応する画像と、を学習データとして分類器を生成する処理と、からなる自律学習をコンピュータに実行させる、
プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017192758A JP2019067194A (ja) | 2017-10-02 | 2017-10-02 | 自律学習装置、自律学習方法及びプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017192758A JP2019067194A (ja) | 2017-10-02 | 2017-10-02 | 自律学習装置、自律学習方法及びプログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2019067194A true JP2019067194A (ja) | 2019-04-25 |
Family
ID=66337913
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017192758A Pending JP2019067194A (ja) | 2017-10-02 | 2017-10-02 | 自律学習装置、自律学習方法及びプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2019067194A (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102480557B1 (ko) * | 2022-03-15 | 2022-12-23 | 주식회사 플라츠 | 사용자 입력 키워드 및 인공지능에 기반한 모델링 이미지 추천 모델 생성 장치 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007249584A (ja) * | 2006-03-15 | 2007-09-27 | Softec:Kk | クライアントデータベース構築方法、データ検索方法、データ検索システム、データ検索フィルタリングシステム、クライアントデータベース構築プログラム、データ検索プログラム、データ検索フィルタリングプログラム及びプログラムを格納したコンピュータで読み取り可能な記録媒体並びに記録した機器 |
| JP2010102690A (ja) * | 2008-09-24 | 2010-05-06 | Canon Inc | 情報処理装置及び方法 |
| US20160147894A1 (en) * | 2014-11-21 | 2016-05-26 | Institute For Information Industry | Method and system for filtering search results |
-
2017
- 2017-10-02 JP JP2017192758A patent/JP2019067194A/ja active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007249584A (ja) * | 2006-03-15 | 2007-09-27 | Softec:Kk | クライアントデータベース構築方法、データ検索方法、データ検索システム、データ検索フィルタリングシステム、クライアントデータベース構築プログラム、データ検索プログラム、データ検索フィルタリングプログラム及びプログラムを格納したコンピュータで読み取り可能な記録媒体並びに記録した機器 |
| JP2010102690A (ja) * | 2008-09-24 | 2010-05-06 | Canon Inc | 情報処理装置及び方法 |
| US20160147894A1 (en) * | 2014-11-21 | 2016-05-26 | Institute For Information Industry | Method and system for filtering search results |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102480557B1 (ko) * | 2022-03-15 | 2022-12-23 | 주식회사 플라츠 | 사용자 입력 키워드 및 인공지능에 기반한 모델링 이미지 추천 모델 생성 장치 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102252081B1 (ko) | 이미지 특성의 획득 | |
| Gonthier et al. | Weakly supervised object detection in artworks | |
| US10997256B2 (en) | Webpage classification method and apparatus, calculation device and machine readable storage medium | |
| US20200380403A1 (en) | Visually Guided Machine-learning Language Model | |
| Bai et al. | Particle swarm optimization based two-stage feature selection in text mining | |
| JP5234469B2 (ja) | 対応関係学習装置および方法ならびに対応関係学習用プログラム、アノテーション装置および方法ならびにアノテーション用プログラム、および、リトリーバル装置および方法ならびにリトリーバル用プログラム | |
| US8306315B2 (en) | Method of compiling three-dimensional object identifying image database, processing apparatus and processing program | |
| US10482146B2 (en) | Systems and methods for automatic customization of content filtering | |
| US20180341686A1 (en) | System and method for data search based on top-to-bottom similarity analysis | |
| US11928142B2 (en) | Information processing apparatus and information processing method | |
| WO2021034941A1 (en) | A method for multi-modal retrieval and clustering using deep cca and active pairwise queries | |
| US20180181837A1 (en) | Image processing system and method | |
| US10671663B2 (en) | Generation device, generation method, and non-transitory computer-readable recording medium | |
| US20180285742A1 (en) | Learning method, learning apparatus, and storage medium | |
| JP6377917B2 (ja) | 画像検索装置及び画像検索プログラム | |
| JP2019067194A (ja) | 自律学習装置、自律学習方法及びプログラム | |
| JP5971722B2 (ja) | ハッシュ関数の変換行列を定める方法、該ハッシュ関数を利用するハッシュ型近似最近傍探索方法、その装置及びそのコンピュータプログラム | |
| EP3166021A1 (en) | Method and apparatus for image search using sparsifying analysis and synthesis operators | |
| Estivill-Castro et al. | Improving binary classification of web pages using an ensemble of feature selection algorithms | |
| CN115617978A (zh) | 指标名称检索方法、装置、电子设备及存储介质 | |
| CN115049889A (zh) | 存储介质和推理方法 | |
| Nhan et al. | Score-based fusion schemes for plant identification from multi-organ images | |
| US20230281275A1 (en) | Identification method and information processing device | |
| US11769340B2 (en) | Information processing apparatus and method of inferring | |
| Nguyen-Hoang et al. | Object retrieval in past video using bag-of-words model |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20190829 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20190829 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200709 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210525 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210528 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20211116 |