JPWO2017043424A1 - 音象徴語・物理特徴情報提供装置、音象徴語・物理特徴情報提供方法および音象徴語・物理特徴情報提供プログラム - Google Patents

Abstract

音象徴語と物理特徴を定量的に対応付けて情報を提供できるようにする。音象徴語を入力する入力部と、前記音象徴語に含まれる音韻の要素を解析する形態解析部と、前記音象徴語の音韻の要素に対し、音韻の要素と物理特徴値との相関を規定した音韻物理特徴データベースに基づいて、前記音象徴語に対応する物理特徴値を推定する物理特徴推定部と、推定された物理特徴値を提示する提示部とを備える。

Description

本発明は、言語表現の解析技術に関する。

製品開発の分野では、顧客のニーズに合った製品を開発することが重要である。製品開発は、ある側面では、原料や材料の選択や配分等を試行錯誤していくことで、製品の物理特徴を決めていくことである。

顧客のニーズは、必ずしも具体的であるとは言えず、製品の物理特徴と結び付けることは困難である。例えば、顧客は「ぷちぷち感のある飲み物が欲しい」「さらふわしたタオルがいい」「きらきらはいいけど、ぎらぎらは嫌」といったオノマトペ等の音象徴語を用いた指摘を行うことが多いが、その指摘をダイレクトに製品開発に適用するのは困難である。

なお、音象徴語とは、言語音が五感（聴覚、視覚、触覚、嗅覚、味覚）印象と共感覚的に結びつく語をいう。そして、オノマトペは、音象徴語の一種であり、擬音語・擬態語の総称である。

一方、本発明者らは、オノマトペの評価および生成に関する技術の提案を行っている（特許文献１、２等を参照。）。

特許第５３５４４２５号公報 特開２０１３−３３３５１号公報

上述したように、顧客はオノマトペ等の音象徴語を用いてニーズを表明することが多いが、従来、音象徴語から製品の物理特徴に定量的に結び付ける手法は存在しなかった。

本発明は上記の従来の問題点に鑑み提案されたものであり、その目的とするところは、音象徴語と物理特徴を定量的に対応付けて情報を提供できるようにすることにある。

上記の課題を解決するため、本発明にあっては、音象徴語を入力する入力部と、前記音象徴語に含まれる音韻の要素を解析する形態解析部と、前記音象徴語の音韻の要素に対し、音韻の要素と物理特徴値との相関を規定した音韻物理特徴データベースに基づいて、前記音象徴語に対応する物理特徴値を推定する物理特徴推定部と、推定された物理特徴値を提示する提示部とを備える。

本発明にあっては、音象徴語と物理特徴を定量的に対応付けて情報を提供することができる。

第１の実施形態にかかる音象徴語・物理特徴情報提供装置の構成例を示す図である。 形態データベースのデータ構造例を示す図である。 音韻物理特徴データベースのデータ構造例を示す図（その１）である。 音韻物理特徴データベースのデータ構造例を示す図（その２）である。 音韻物理特徴データベースの生成手法の例を示す図（その１）である。 音韻物理特徴データベースの生成手法の例を示す図（その２）である。 音韻物理特徴データベースの生成手法の例を示す図（その３）である。 音韻物理特徴データベースの生成手法の例を示す図（その４）である。 音韻物理特徴データベースの生成手法の例を示す図（その５）である。 音韻物理特徴データベース生成部の構成例を示す図である。 音韻物理特徴データベース生成部の処理例を示すフローチャートである。 ネットワーク上のサイトから情報を取得する例を示す図である。 音象徴語・物理特徴情報提供装置のハードウェア構成例を示す図である。 第１の実施形態の処理例を示すフローチャートである。 形態解析部による解析項目の例を示す図である。 オノマトペ表現データのデータ構造例を示す図である。 評価尺度毎の定量評価の算出式の例を示す図である。 インタフェース画面の例を示す図である。 第２の実施形態にかかる音象徴語・物理特徴情報提供装置の構成例を示す図である。 第２の実施形態の処理例を示すフローチャートである。 第３の実施形態にかかる音象徴語・物理特徴情報提供装置の構成例を示す図である。 評価尺度の例を示す図である。 定量評価データベースのデータ構造例を示す図である。 第３の実施形態の処理例を示すフローチャートである。 第４の実施形態にかかる音象徴語・物理特徴情報提供装置の構成例を示す図である。 第４の実施形態の処理例を示すフローチャートである。 画像特徴量抽出の処理例を示す図である。 ＧＬＣＭの２ピクセル間の関係および定義を示す図（その１）である。 ＧＬＣＭの２ピクセル間の関係および定義を示す図（その２）である。 ＧＬＣＭの画像特徴量の式を示す図である。 係数生成システムの構成例を示す図である。 係数生成の処理例を示すシーケンス図である。 形容詞対評価の処理例を示すフローチャートである。 関係分析の処理例を示す図である。 係数データの例を示す図である。 画像検索システムの構成例を示す図（その１）である。 画像検索の処理例を示すシーケンス図（その１）である。 形容詞対評価値推定の処理例を示す図である。 類似度判定の処理例を示す図である。 画像検索システムの構成例を示す図（その２）である。 画像検索の処理例を示すシーケンス図（その２）である。 画像検索システムの構成例を示す図（その３）である。 画像検索の処理例を示すシーケンス図（その３）である。 音特徴語取得システムの構成例を示す図である。 音象徴語取得の処理例を示すシーケンス図である。 音象徴語生成の処理例を示すフローチャートである。

以下、本発明の好適な実施形態につき説明する。なお、音象徴語の例としてオノマトペを中心にして説明するが、オノマトペ以外の音象徴語についても適用できることはいうまでもない。ここで、音象徴語とは、言語音が五感（聴覚、視覚、触覚、嗅覚、味覚）印象と共感覚的に結びつく語をいう。そして、オノマトペは、音象徴語の一種であり、擬音語・擬態語の総称である。

＜第１の実施形態＞
［全体構成］
図１は第１の実施形態にかかる音象徴語・物理特徴情報提供装置１の構成例を示す図である。図１において、音象徴語・物理特徴情報提供装置１は、機能部として、インタフェース部１１と音象徴語解析部１２とを備えている。これらの機能部は、音象徴語・物理特徴情報提供装置１を構成するコンピュータのＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等のハードウェア資源上で実行されるコンピュータプログラムによって実現されるものである。各部は、単一のコンピュータ上に配置される必要はなく、必要に応じて複数のコンピュータ上に分散される形態であってもよい。例えば、インタフェース部１１をリモートの端末上に配置し、クライアントサーバ形式で構成することもできる。コンピュータプログラムは、ＣＤ−ＲＯＭ等の記録媒体からインストールされたものであってもよいし、インターネット等を介して通信可能に接続されたサーバ（図示せず）の記憶装置からダウンロードされ、インストールされたものであってもよい。

また、音象徴語・物理特徴情報提供装置１は、処理に際して参照・更新するデータベースとして、形態データベース１４と音韻物理特徴データベース１５とを備えている。これらのデータベースは、音象徴語・物理特徴情報提供装置１内のＨＤＤ（Hard Disk Drive）等の記憶媒体上の記憶領域に所定のデータを体系的に保持するものである。これらのデータベースは、単一のコンピュータ上に配置される必要はなく、必要に応じて複数のコンピュータ上に分散される形態であってもよい。

インタフェース部１１は、グラフィカルユーザインタフェース部１１１を備え、ユーザＵとの間で対話的に情報の入力（音象徴語の入力等）および出力（対応する物理特徴値の表示等）を行う機能を有している。

音象徴語解析部１２は、解析管理部１２１と形態解析部１２２と物理特徴評価部１２３とを備え、ユーザＵから入力された音象徴語に対応する物理特徴値を推定する機能を有している。解析管理部１２１は、音象徴語解析部１２における総合的な管理を行う機能を有している。形態解析部１２２は、ユーザＵから入力された音象徴語の文字列から、形態データベース１４を参照して形態解析を行い、音象徴語の内部表現（オノマトペ表現データ等）を生成する機能を有している。物理特徴評価部１２３は、オノマトペ表現データ等に基づき、音韻物理特徴データベース１５を参照して対応する物理特徴値を推定する機能を有している。

［データベース］
図２は形態データベース１４のデータ構造例を示す図である。形態データベース１４は、「ひらがな・カタカナ」と「音素」と「形態」とが対応付けて保持されている。なお、母音、子音、小母音の音素の例を示しているが、その他に、拗音付き子音（/ky/等）、促音（/Q/）、撥音（/N/）、長音（/R/）、「り」（/ri/）等が存在する。

図３Ａおよび図３Ｂは音韻物理特徴データベース１５のデータ構造例を示す図である。図３Ａは顧客の手に触れるような製品についてのテーブルリストの例であり、物理特徴の評価尺度「摩擦係数」「温度」「弾性率」「水分量」等と、音象徴語（オノマトペ）に含まれる音韻の要素との相関値が設定されている。図示の子音や濁音は、あくまでも一例を示しており、母音を含め、他の音韻の要素を対象とすることができる。図３Ｂはパンのような食品についてのテーブルリストの例であり、物理特徴の評価尺度「強力粉（の分量）」「薄力粉（の分量）」「砂糖（の分量）」「バター（の分量）」等と、音象徴語（オノマトペ）に含まれる音韻の要素との相関値が設定されている。テーブルリストは、図示の例に限らず、製品カテゴリや五感に対応して用意することができる。物理特徴の評価尺度としては、数値により表現できるものとしている。

［音韻物理特徴データベースの生成］
被験者実験を行い、そこで得られた結果から解析を行って音韻物理特徴データベース１５を生成する。具体的には、図３Ａに示したような顧客が手で触れる製品であれば、評価尺度の値を種々に変化させたサンプルを複数用意し、複数の被験者に目隠しの状態で触らせ、その際にイメージした音象徴語（オノマトペ）を申告してもらう。図３Ｂに示したような食品であれば、評価尺度の値を種々に変化させたサンプルを複数用意し、複数の被験者に目隠しの状態（可能であれば臭いも嗅げないようにして）で試食させ、その際にイメージした音象徴語（オノマトペ）を申告してもらう。ただし、被験者実験で、同一の音象徴語（オノマトペ）が複数の製品と結び付けられた場合は、極端なばらつきの回答を削除し、物理特徴尺度ごとの平均値で代表させる。

図４Ａは、音象徴語（オノマトペ）に含まれる音韻の要素（カテゴリ）に変数Ｘ_１〜Ｘ_１３を対応付けた例を示している。なお、「モーラ」とは、日本語リズムにおける拍数を指すものである。例えば、「ズキッ」というオノマトペの場合、「ズ」が第１モーラ、「キッ」が第２モーラに該当する。

図４Ｂは、ある評価尺度の物理特徴値Ｙを変数Ｘ_１〜Ｘ_１３により表した式であり、係数ａ_１〜ａ_１３を求めることで、音韻物理特徴データベース１５における相関値が決まる。ただし、Ｙは実験刺激の物理特徴値であるが、カテゴリの変数Ｘ_１〜Ｘ_１３は数値では表せない音韻の有無であるため、数量化理論一類（仮の数字をカテゴリに割り振ることで重回帰分析を可能にする手法）を適用することとする。

図４Ｃは、音韻に対して割り振る仮の数字の例を示している。図５Ａは、評価尺度「摩擦係数」についての実験結果に仮の数字を割り振った例を示している。図５Ｂは、評価尺度「バター」についての実験結果に仮の数字を割り振った例を示している。なお、実験によって得られなかった音韻については、その物理特徴値との関連がないとみなすことができるため、影響度は０とする。そして、図５Ａ、図５Ｂについてそれぞれ重回帰分析を行うことで、評価尺度と各カテゴリとの相関値を得ることができ、それをまとめたものが音韻物理特徴データベース１５（図３Ａ、図３Ｂ）となる。

［音韻物理特徴データベースの自動生成］
被験者実験に基づいて音韻物理特徴データベース１５を生成する場合について上述したが、例えば食品のように多数のレシピがインターネット上のサイト等に掲載されている物質（製品）の場合は、被験者実験によらず、自動的に生成することもできる。

図６は音韻物理特徴データベース生成部２の構成例を示す図であり、音象徴語・物理特徴情報提供装置１（図１）の内部に設けてもよいし、他の情報処理装置に設けてもよい。図６において、音韻物理特徴データベース生成部２は、オノマトペリスト２０と物質名入力部２１とクエリ生成部２２と検索実行部２３とページアクセス部２４と物理特徴抽出部２５と音韻特徴・物理特徴対応関係分析部２６とを備えている。

オノマトペリスト２０は、音韻を網羅する複数のオノマトペを予めリスト化したものである。物質名入力部２１は、管理者ユーザから生成対象の物質名（製品普通名称）を入力する機能を有している。クエリ生成部２２は、物質名入力部２１により管理者ユーザから入力された物質名に、オノマトペリスト２０のオノマトペを組み合わせて、複数のクエリを生成する機能を有している。検索実行部２３は、クエリ生成部２２により生成されたそれぞれのクエリにより、インターネット等のネットワーク上のサイトの検索を実行（検索エンジンに検索要求を発行）し、検索結果を取得する機能を有している。

ページアクセス部２４は、検索結果の上位について、検索結果に含まれるＵＲＬ等に基づいてページにアクセスし、掲載情報を取得する機能を有している。物理特徴抽出部２５は、取得されたページの掲載情報から、物理特徴（物理特徴の記述）を抽出する機能を有している。音韻特徴・物理特徴対応関係分析部２６は、クエリに伴われたオノマトペの音韻特徴と、抽出された物理特徴に基づいて解析を行い、音韻物理特徴データベース１５のテーブルリストを生成する機能を有している。

図７は音韻物理特徴データベース生成部２の処理例を示すフローチャートである。図７において、物質名入力部２１は、ユーザから物質名（製品普通名称）を入力する（ステップＳ１）。図８のａは、物質名として「パン」が入力された場合を示している。

図７に戻り、クエリ生成部２２は、ユーザから入力された物質名に、オノマトペリスト２０として予め設定された複数のオノマトペをそれぞれ付加したクエリを生成する（ステップＳ２）。図８のｂはオノマトペリスト２０の例を示しており、「ふわふわ」「もちもち」等が登録されているものとしており、ｃ、ｄに示す「パン ふわふわ」「パン もちもち」等のクエリが生成された場合を示している。

図７に戻り、検索実行部２３は、生成したクエリによりネットワーク上のサイトを検索する（ステップＳ３）。図８のｅは検索結果の例を示しており、ｆは画面の例を示し（自動処理において画面表示を行う必要はない）、ｇはＨＴＭＬ等のソースの例を示している。

図７に戻り、ページアクセス部２４は、検索結果の上位の所定数のページにアクセスし、掲載情報を取得する（ステップＳ４）。図８においては、ｇに示した検索結果のソースに含まれるＵＲＬに基づいて対応するｈのページにアクセスし、ｊに示すページのソースから掲載情報を取得する。ｉはページの画面例を示しているが、自動処理において画面表示を行う必要はない。

図７に戻り、物理特徴抽出部２５は、取得した掲載情報から物理特徴を抽出する（ステップＳ５）。図８においては、ｊのソースから、例えば対象が「パン」であれば「強力粉」「砂糖」等の材料の記述を検索し、その近傍に存在する分量の表示である「〜ｇ」「〜ｃｃ」等をセットにして抽出する。

図７に戻り、音韻特徴・物理特徴対応関係分析部２６は、物質名毎に、クエリに付加したオノマトペの音韻特徴と、抽出した掲載情報中の物理特徴から重回帰分析により音韻物理特徴データベース１５のテーブルリストを生成する（ステップＳ６）。なお、分析に用いる物理特徴における質量・体積等は、抽出した値をそのまま用いるのではなく、全体の質量・体積等を考慮して規格化したものとする。

［ハードウェア構成］
図９は音象徴語・物理特徴情報提供装置１のハードウェア構成例を示す図であり、一般的なコンピュータの構成である。図９において、音象徴語・物理特徴情報提供装置１は、システムバス１００１に接続されたＣＰＵ（Central Processing Unit）１００２、ＲＯＭ（Read Only Memory）１００３、ＲＡＭ（Random Access Memory）１００４、ＮＶＲＡＭ（Non-Volatile Random Access Memory）１００５を備えている。また、音象徴語・物理特徴情報提供装置１は、Ｉ／Ｆ（Interface）１００６と、Ｉ／Ｆ１００６に接続された、Ｉ／Ｏ（Input/Output Device）１００７、ＨＤＤ（Hard Disk Drive）１００８、ＮＩＣ（Network Interface Card）１００９と、Ｉ／Ｏ１００７に接続されたモニタ１０１０、キーボード１０１１、マウス１０１２等を備えている。Ｉ／Ｏ１００７にはＣＤ／ＤＶＤ（Compact Disk/Digital Versatile Disk）ドライブ等を接続することもできる。

［処理］
図１０は上記の第１の実施形態の処理例を示すフローチャートであり、ユーザＵから入力された任意のオノマトペに対応する物理特徴値を提示する処理の例を示すものである。

図１０において、インタフェース部１１のグラフィカルユーザインタフェース部１１１は、ユーザＵから任意のオノマトペを入力すると、入力したオノマトペを音象徴語解析部１２に引き渡す（ステップＳ１１）。なお、オノマトペの入力はキーボード等による文字列の入力を想定しているが、音声入力機能を用い、音声で入力して文字列を取得してもよい。

音象徴語解析部１２の形態解析部１２２は、形態データベース１４を参照してオノマトペを形態解析し、オノマトペ表現データを生成する（ステップＳ１２）。

すなわち、形態解析部１２２は、入力されたオノマトペの文字列を先頭から形態データベース１４の形態データと照合し、音素および形態を得る。

また、形態解析部１２２は、図１１に示すようなルールに従い、オノマトペの１モーラ目と２モーラ目について「子音」「濁音」「拗音」「母音」「小母音」「特殊音（２モーラ目は「特殊語尾」）」について図示のカテゴリのいずれか（例えば、「濁音」については「なし」「濁音」「半濁音」のいずれか）および反復の有無を解析し、図１２に示すような形式のオノマトペ表現データを生成する。

次いで、図１０に戻り、音象徴語解析部１２の物理特徴評価部１２３は、形態解析部１２２により生成されたオノマトペ表現データに基づき、音韻物理特徴データベース１５を参照して物理特徴推定（複数の物理特徴の評価尺度に対する推定値の算出）を行う（ステップＳ１３）。

すなわち、物理特徴評価部１２３は、図４Ａ（ａ）に示したような、音韻の項目に対応した変数Ｘ_１〜Ｘ_１３の値を図３Ａに示した音韻物理特報データから評価尺度毎に取得し、図１３に示すような数式により評価尺度毎の物理特徴値Ｙを算出する。ｎはモーラ数であり、Constは定数項である。例えば、評価尺度「摩擦係数」につき、１モーラ目の子音が「タ行」である場合、変数Ｘ_１は「0.6」となる。なお、数式において、モーラ数ｎで割り、「×２」としているのは、２モーラ以上で構成されるオノマトペが入力された場合でも、２モーラと同等に正規化され、出力される推定値の範囲を補正するためである。

次いで、図１０に戻り、インタフェース部１１のグラフィカルユーザインタフェース部１１１は、ユーザＵに対し、音象徴語解析部１２の物理特徴評価部１２３による推定結果を提示する（ステップＳ１４）。図１４はインタフェース画面の例を示す図であり、入力されたオノマトペに対する推定結果が表示されている。なお、推定前に製品カテゴリ等を特定した場合には、音韻物理特徴データベース１５のうちの該当するテーブルリストのみが推定に用いられる。特定を行わない場合は、音韻物理特徴データベース１５に用意されている全てのテーブルリストに基づく推定結果を表示することができる。

＜第２の実施形態＞
第２の実施形態は、第１の実施形態の逆引きに相当するものであり、ユーザから物理特徴値を入力させ、その物理特徴値に対応する音象徴語（オノマトペ）を提示するようにしたものである。

図１５は第２の実施形態にかかる音象徴語・物理特徴情報提供装置１の構成例を示す図である。構成としては、新たに物理特徴対応音象徴語生成部１３が設けられているほかは図１に示した構成と同様である。物理特徴対応音象徴語生成部１３は、インタフェース部１１を介してユーザＵから物理特徴値を入力すると、その物理特徴値と同等の物理特徴値を持つ音象徴語（オノマトペ）を生成し、インタフェース部１１を介してユーザＵに提示する機能を有している。

図１６は第２の実施形態の処理例を示すフローチャートである。図１６において、インタフェース部１１のグラフィカルユーザインタフェース部１１１は、ユーザＵから任意の物理特徴値を入力すると、入力した物理特徴値を物理特徴対応音象徴語生成部１３に引き渡す（ステップＳ２１）。なお、物理特徴値の入力はキーボード等による文字列の入力を想定しているが、音声入力機能を用い、音声で入力して文字列を取得してもよい。

物理特徴対応音象徴語生成部１３は、オノマトペ表現データ（図１２）の項目値をランダムに発生することで初期オノマトペ群を生成する（ステップＳ２２）。オノマトペ表現データの所定の項目値については固定の値としてもよい。

次いで、物理特徴対応音象徴語生成部１３は、生成された初期オノマトペ群の個々のオノマトペ表現データに対し、音象徴語解析部１２により物理特徴推定を行う（ステップＳ２３）。音象徴語解析部１２における物理特徴推定の処理は第１の実施形態と同様である。

次いで、物理特徴対応音象徴語生成部１３は、個々のオノマトペ表現データについて推定された物理特徴値と、ユーザＵから入力された物理特徴値との類似度を算出する（ステップＳ２４）。物理特徴値は複数の要素からなるベクトル値であるため、例えば、コサイン類似度により類似度を算出することができる。

次いで、物理特徴対応音象徴語生成部１３は、算出された類似度が所定値を超えるオノマトペが所定数以上あるか否か判断し、存在しない場合は最適化を行う（ステップＳ２５）。最適化は、例えば、交叉、突然変異、淘汰の過程を経る。交叉の一例としての一点交叉は、類似度の高いものほど選択される確率を高く設定した確率に基づいて、２つのオノマトペを選択し、無作為に選ばれた先頭からの位置を境に、それぞれのオノマトペの当該位置の前と後とを交換して合成して新たな２つのオノマトペを生成することで行う。突然変異は、所定の確率で発生させ（常に発生するわけではない）、オノマトペ表現データ上の無作為に決定される１もしくは複数の位置の値を無作為に変化させて新たなオノマトペを生成することで行う。淘汰は、類似度の低いオノマトペを削除することで行う。そして、再び物理特徴推定（ステップＳ２３）に戻る。

また、物理特徴対応音象徴語生成部１３は、算出された類似度が所定値を超えるオノマトペが所定数以上ある場合、インタフェース部１１のグラフィカルユーザインタフェース部１１１を介し、ユーザＵに対し、類似度の高い上位所定数のオノマトペを候補として提示する（ステップＳ２６）。提示されたオノマトペをユーザが見ることで、思いついた物理特徴がどのようなオノマトペに対応するのかを理解するために用いることができる。

＜第３の実施形態＞
第３の実施形態は、ユーザから印象値（例えば、「高級感のある」等）を入力させ、その印象値に対応する物理特徴値を提示するようにしたものである。

図１７は第３の実施形態にかかる音象徴語・物理特徴情報提供装置１の構成例を示す図である。構成としては、音象徴語解析部１２の物理特徴評価部１２３が物理特徴推定・一般尺度評価部１２３’となって新たに定量評価データベース１７を参照するようにした点と、一般尺度対応物理特徴取得部１６が設けられたほかは図１に示した構成と同様である。

物理特徴推定・一般尺度評価部１２３’は、物理特徴推定の他に、指定された音象徴語（オノマトペ）に対して定量評価データベース１７を参照して一般的な評価尺度により定量評価を行う機能を有している。図１８は定量評価に用いられる評価尺度の例を示す図であり、一般的な印象評価に用いられる４３個の形容詞対を示している。図１９は定量評価データベース１７のデータ構造例を示す図であり、評価尺度となる形容詞対（「強い−弱い」等）や形容詞（「激しい」等）に対し、オノマトペ表現データの項目（アイテム）に対応した数値が設定されている。なお、図示のデータは一部を示したものであり、評価尺度や項目は図示のものに限られず、２モーラ目についての数値も存在する。定量評価データは、想定される音素をカバーする複数のオノマトペについて、人間による心理実験を行い、各評価尺度に対する感じ方の回答から数量化理論一類等の手法により各項目のカテゴリによる影響を数値化したものである。

図１７に戻り、一般尺度対応物理特徴取得部１６は、インタフェース部１１を介してユーザＵから印象値を入力すると、その印象値と同等の印象値を持つ音象徴語（オノマトペ）の物理特徴値を推定し、インタフェース部１１を介してユーザＵに提示する機能を有している。

図２０は第３の実施形態の処理例を示すフローチャートである。図２０において、インタフェース部１１のグラフィカルユーザインタフェース部１１１は、ユーザＵから任意の印象値を入力すると、入力した印象値を一般尺度対応物理特徴取得部１６に引き渡す（ステップＳ３１）。なお、印象値の入力はキーボード等による文字列の入力を想定しているが、音声入力機能を用い、音声で入力して文字列を取得してもよい。

一般尺度対応物理特徴取得部１６は、オノマトペ表現データ（図１２）の項目値をランダムに発生することで初期オノマトペ群を生成する（ステップＳ３２）。オノマトペ表現データの所定の項目値については固定の値としてもよい。

次いで、一般尺度対応物理特徴取得部１６は、生成された初期オノマトペ群の個々のオノマトペ表現データに対し、音象徴語解析部１２により定量評価を行う（ステップＳ３３）。

すなわち、音象徴語解析部１２の物理特徴推定・一般尺度評価部１２３’は、図４Ａ（ａ）に示したような、音韻の項目に対応した変数Ｘ_１〜Ｘ_１３の値を図１９に示した定量評価データベース１７から評価尺度毎に取得し、図１３に示すような数式により評価尺度毎の評価値Ｙを算出する。ｎはモーラ数であり、Constは定数項である。例えば、図１９の例では、評価尺度「重厚な−軽快な」につき、１モーラ目の子音が「カ行」である場合、変数Ｘ_１は「0.11」となる。

次いで、図２０に戻り、一般尺度対応物理特徴取得部１６は、個々のオノマトペ表現データについて評価された評価値と、ユーザＵから入力された印象値との類似度を算出する（ステップＳ３４）。評価値や印象値は複数の要素からなるベクトル値であるため、例えば、コサイン類似度により類似度を算出することができる。

次いで、一般尺度対応物理特徴取得部１６は、算出された類似度が所定値を超えるオノマトペが所定数以上あるか否か判断し、存在しない場合は最適化を行う（ステップＳ３５）。最適化の処理は、第２の実施形態で説明したのと同様である。そして、再び定量評価（ステップＳ３３）に戻る。

次いで、一般尺度対応物理特徴取得部１６は、算出された類似度が所定値を超えるオノマトペが所定数以上ある場合、類似度の高い上位所定数のオノマトペに対し、音象徴語解析部１２により物理特徴推定を行い、平均等の統計処理を行う。そして、一般尺度対応物理特徴取得部１６は、インタフェース部１１のグラフィカルユーザインタフェース部１１１を介し、ユーザＵに対し、物理特徴値を提示する（ステップＳ３６）。各オノマトペに対する物理特徴推定は第１の実施形態で説明した処理（図１０）と同様である。

提示された物理特徴値をユーザが見ることで、思いついた印象値がどのような物理特徴値に対応するのかを理解するために用いることができる。

＜第４の実施形態＞
第４の実施形態は、第３の実施形態の逆引きに相当するものであり、ユーザから物理特徴値を入力させ、その物理特徴値に対応する印象値を提示するようにしたものである。

図２１は第４の実施形態にかかる音象徴語・物理特徴情報提供装置１の構成例を示す図である。構成としては、一般尺度対応物理特徴取得部１６に代えて物理特徴対応印象取得部１８が設けられたほかは第３の実施形態と同様である。物理特徴対応印象取得部１８は、インタフェース部１１を介してユーザＵから物理特徴値を入力すると、その物理特徴値と同等の物理特徴値を持つ音象徴語（オノマトペ）の印象値を評価し、インタフェース部１１を介してユーザＵに提示する機能を有している。

図２２は第４の実施形態の処理例を示すフローチャートである。図２２において、インタフェース部１１のグラフィカルユーザインタフェース部１１１は、ユーザＵから任意の物理特徴値を入力すると、入力した物理特徴値を物理特徴対応印象取得部１８に引き渡す（ステップＳ４１）。なお、物理特徴値の入力はキーボード等による文字列の入力を想定しているが、音声入力機能を用い、音声で入力して文字列を取得してもよい。

物理特徴対応印象取得部１８は、オノマトペ表現データ（図１２）の項目値をランダムに発生することで初期オノマトペ群を生成する（ステップＳ４２）。オノマトペ表現データの所定の項目値については固定の値としてもよい。

次いで、物理特徴対応印象取得部１８は、生成された初期オノマトペ群の個々のオノマトペ表現データに対し、音象徴語解析部１２により物理特徴推定を行う（ステップＳ４３）。音象徴語解析部１２における物理特徴推定の処理は第１の実施形態と同様である。

次いで、物理特徴対応印象取得部１８は、個々のオノマトペ表現データについて推定された物理特徴値と、ユーザＵから入力された物理特徴値との類似度を算出する（ステップＳ４４）。物理特徴値は複数の要素からなるベクトル値であるため、例えば、コサイン類似度により類似度を算出することができる。

次いで、物理特徴対応印象取得部１８は、算出された類似度が所定値を超えるオノマトペが所定数以上あるか否か判断し、存在しない場合は最適化を行う（ステップＳ４５）。最適化の処理は前述したのと同様である。そして、再び物理特徴推定（ステップＳ４３）に戻る。

また、物理特徴対応印象取得部１８は、算出された類似度が所定値を超えるオノマトペが所定数以上ある場合、類似度の高い上位所定数のオノマトペに対し、音象徴語解析部１２により定量評価を行い、平均等の統計処理を行う。そして、物理特徴対応印象取得部１８は、インタフェース部１１のグラフィカルユーザインタフェース部１１１を介し、ユーザＵに対し、定量評価による印象値を提示する（ステップＳ４６）。提示された印象値をユーザが見ることで、思いついた物理特徴値がどのような印象値に対応するのかを理解するために用いることができる。

＜第５の実施形態＞
物理特徴として、「摩擦係数」「温度」「弾性率」「水分量」等（図３Ａ）や、「強力粉（の分量）」「薄力粉（の分量）」「砂糖（の分量）」「バター（の分量）」等（図３Ｂ）について例示したが、画像特徴を物理特徴とすることもできる。すなわち、人は物質の画像から、その物質が、滑らかであるとか、光沢があるとかの物理特徴を把握することができるため、画像特徴は物理特徴の一種であるといえる。

［画像特徴量抽出］
図２３は画像特徴量抽出の処理例を示す図である。図２３においては、画像データから、一例として、ＧＬＣＭ（Gray-Level Co-occurrence Matrix：同時生起行列）による画像特徴量データを抽出する例を示している。ＧＬＣＭの画像特徴量データには、
・Angular Second Moment（均一性）
・Auto Correlation
・Cluster Prominence（明暗の変化の強さ，エッジの強さ）
・Cluster Shade（エッジの強さ）
・Contrast（コントラスト）
・Correlation（複雑さや周期性）
・Dissimilarity
・Entropy（乱雑さ）
・Homogeneity（不均一性，局所一様性）
・Inverse Difference Moment（局所一様性）
等が含まれており、多次元のベクトル量となる。なお、後の解析においては、質感等の判断に有効なものだけを用いることができ、用いないデータについては抽出しなくてもよい。

ＧＬＣＭは、図２４Ａに示すように、画像の濃度ｉの点（ピクセル）から一定の変位δ＝（ｒ，θ）だけ離れた点（ピクセル）の濃度がｊである確率ｐ（ｉ，ｊ），（ｉ，ｊ＝０，１，２，・・，ｎ−１。ｎは１以上の自然数。）を要素とする同時生起行列を求め、その同時生起行列から特徴量を計算し、それらの値によってテクスチャを特徴付ける手法である。

角度θは一般的には４５°とし、距離ｒは適切な値を設定する。この場合、μ_ｘ、μ_ｙ、σ_ｘ、σ_ｙを図２４Ｂのように定義することで、ＧＬＣＭの各特徴量は図２５に示す式によって算出される。なお、Ｎ_ｇは画素値である。

なお、ＧＬＣＭによる画像特徴量データの抽出について説明したが、画像から質感等に係る特徴量を抽出できる手法であれば利用することができる。例えば、ＳＩＦＴ（Scale Invariant Feature Transform）やＨＯＧ（Histograms of Oriented Gradients）を用いることもできる。

［画像特徴を用いた処理］
画像特徴と音韻特徴との関係を重回帰分析により対応付けて音韻物理特徴データベース１５に保持することにより、図１、図１５および図２１の仕組により前述したのと同様の処理を行うことができる。

＜第６の実施形態＞
これまで説明した実施形態では、物理特徴（画像特徴を含む）を音韻特徴と直接に対応付けてきたが、物理特徴（画像特徴を含む）を一般的な印象評価値である形容詞対評価値に直接に対応付けることもできる。以下では、物理特徴として画像特徴に適用した場合の例について説明するが、その他の物理特徴に適用することもできる。

［係数生成］
係数生成は、任意の画像特徴量と任意の形容詞対評価値との間の数値関係を示す係数データを事前に生成する処理である。

図２６は係数生成システムの構成例を示す図である。図２６において、端末装置３と係数生成装置４はインターネットやＬＡＮ（Local Area Network）等のネットワークを介して相互に通信が行えるようになっている。本実施形態では、処理を高速に行うため、端末装置３は入力を行うためのタブレットのようなもので、処理負担がかかる係数生成装置４はサーバのようなもので構成している。また、クライアントとサーバによるシステム構成をとることにより、効果として、携帯端末のような処理能力が小さい端末装置３を使用する者からもユーザを募って係数生成が行える利点がある。更に、本実施形態では、端末装置３と係数生成装置４がネットワークにより接続される例を示しているが、端末装置３の機能と係数生成装置４の機能を１台のコンピュータで構成することもできる。なお、係数生成は、係数生成装置４の運用者側が行うものであるため、端末装置３のユーザとしては、運用者側の者または運用者側に協力する者が中心となる。

端末装置３は、画像表示部３０１と着目箇所入力部３０２と画像表示部３０３と音象徴語入力部３０４とを備えている。係数生成装置４は、対象画像データ保持部４０１と画像提供部４０２と画像切出部４０３と評価用画像データ保持部４０４と画像提供部４０５と音象徴語登録部４０６と音象徴語入力データ保持部４０７と画像特徴量抽出部４０８と画像特徴量データ保持部４０９と形容詞対評価部４１０と形容詞対評価値データ保持部４１１と関係分析部４１２と係数データ保持部４１３とを備えている。

端末装置３の画像表示部３０１は、係数生成装置４側で用意された対象画像（質感等の評価に用いる評価用画像の他に背景等の他の画像が含まれている可能性のある画像）をユーザに対して表示する機能を有している。着目箇所入力部３０２は、表示された対象画像のうち質感等の判断においてユーザが重要と考えた着目箇所の指定の入力を受け付け、着目箇所を示すデータを係数生成装置４に送信する機能を有している。なお、予め質感等の判断において重要と考えられる部分の画像を評価用画像として用意できる場合には、画像表示部３０１と着目箇所入力部３０２は不要となる。画像表示部３０３は、評価用画像をユーザに対して表示する機能を有している。音象徴語入力部３０４は、表示された評価用画像に対してユーザが想起した音象徴語の入力を受け付け、音象徴語のデータを係数生成装置４に送信する機能を有している。

係数生成装置４の対象画像データ保持部４０１は、係数の生成のための被験者実験に用いる種々の対象画像データを保持するものである。対象画像データは、多様な質感等をカバーするものを用意する。なお、対象画像データは、質感等を評価する評価用画像以外の背景等の画像を含んでいてもよいものとする。画像提供部４０２は、対象画像データ保持部４０１に保持されている対象画像データを端末装置３の画像表示部３０１に提供する機能を有している。画像切出部４０３は、端末装置３の着目箇所入力部３０２から入力した着目箇所のデータに基づいて対象画像データから切り出し処理を行い、評価用画像データを画像ＩＤを付して評価用画像データ保持部４０４に登録する機能を有している。

なお、画像切出部４０３の機能を端末装置３側に設け、端末装置３側で着目箇所に基づいて対象画像データから切り出し処理を行うようにしてもよい。また、予め質感等の判断において重要と考えられる部分の画像を評価用画像として用意できる場合には、対象画像データ保持部４０１、画像提供部４０２および画像切出部４０３は不要となる。

画像提供部４０５は、評価用画像データ保持部４０４に保持されている評価用画像データを端末装置３の画像表示部３０３に提供する機能を有している。音象徴語登録部４０６は、端末装置３の音象徴語入力部３０４から入力した音象徴語データを画像ＩＤと対応付けて音象徴語入力データ保持部４０７に登録する機能を有している。画像特徴量抽出部４０８は、所定のタイミング（例えば、被験者実験が完了した時点等）において、評価用画像データ保持部４０４に登録されている評価用画像データのそれぞれについて画像特徴量抽出を行い、画像ＩＤと対応付けて画像特徴量データを画像特徴量データ保持部４０９に登録する機能を有している。

形容詞対評価部４１０は、所定のタイミングにおいて、音象徴語入力データ保持部４０７に登録されている音象徴語データのそれぞれについて形容詞対評価を行い、画像ＩＤと対応付けて形容詞対評価値データを形容詞対評価値データ保持部４１１に登録する機能を有している。関係分析部４１２は、所定のタイミングにおいて、画像特徴量データ保持部４０９に登録されている複数の画像特徴量データと形容詞対評価値データ保持部４１１に登録されている複数の形容詞対評価値データから、任意の画像特徴量と任意の形容詞対評価値との間の数値関係を示す係数データを生成し、係数データを係数データ保持部４１３に登録する機能を有している。

端末装置３、係数生成装置４のハードウェア構成は、図９に示したのと同様に、一般的な情報処理装置の構成要素を有している。図２６に示した端末装置３の画像表示部３０１、着目箇所入力部３０２、画像表示部３０３および音象徴語入力部３０４は、図９のＣＰＵ１００２におけるコンピュータプログラムの実行により実現される。同様に、図２６に示した係数生成装置４の画像提供部４０２、画像切出部４０３、画像提供部４０５、音象徴語登録部４０６、画像特徴量抽出部４０８、形容詞対評価部４１０および関係分析部４１２は、図９のＣＰＵ１００２におけるコンピュータプログラムの実行により実現される。図２６に示した係数生成装置４の対象画像データ保持部４０１、評価用画像データ保持部４０４、音象徴語入力データ保持部４０７、画像特徴量データ保持部４０９、形容詞対評価値データ保持部４１１および係数データ保持部４１３は、図９のＨＤＤ／フラッシュメモリ１００８等により実現される。

図２７は係数生成の処理例を示すシーケンス図である。図２７において、係数生成装置４の画像提供部４０２は、対象画像データ保持部４０１に保持されている対象画像データを端末装置３の画像表示部３０１に提供する（ステップＳ１０１）。端末装置３の画像表示部３０１は、係数生成装置４の画像提供部４０２から対象画像データを取得すると、ユーザに対して対象画像の表示を行う（ステップＳ１０２）。

端末装置３の着目箇所入力部３０２は、表示された対象画像のうち質感等の判断においてユーザが重要と考えた着目箇所の入力（ステップＳ１０３）を受け付け、受け付けた着目箇所の指定のデータを係数生成装置４に送信する（ステップＳ１０４）。係数生成装置４の画像切出部４０３は、端末装置３の着目箇所入力部３０２から着目部分の指定のデータを受信すると、対象画像データから切り出し処理を行い（ステップＳ１０５）、切り出された評価用画像データを画像ＩＤを付して評価用画像データ保持部４０４に登録する（ステップＳ１０６）。

なお、ここまでの処理は、予め質感等の判断において重要と考えられる部分の画像を評価用画像として評価用画像データ保持部４０４に用意できる場合には、不要となる。

次いで、係数生成装置４の画像提供部４０５は、評価用画像データ保持部４０４に保持されている評価用画像データを端末装置３の画像表示部３０３に提供する（ステップＳ１０７）。端末装置３の画像表示部３０３は、係数生成装置４の画像提供部４０５から評価用画像データを取得すると、ユーザに対して評価用画像の表示を行う（ステップＳ１０８）。

端末装置３の音象徴語入力部３０４は、表示された評価用画像に対してユーザが想起した音象徴語の入力（ステップＳ１０９）を受け付け、入力された音象徴語のデータを係数生成装置４に送信する（ステップＳ１１０）。係数生成装置４の音象徴語登録部４０６は、端末装置３の音象徴語入力部３０４から音象徴語のデータを受信すると、音象徴語データを画像ＩＤと対応付けて音象徴語入力データ保持部４０７に登録する（ステップＳ１１１）。

各ユーザに対し、過度な負担とならない範囲で、複数の画像に対して上記の処理を繰り返す。なお、対象画像を用いる場合に、着目箇所を入力させて評価用画像の切り出しを行い、続いて評価用画像について音象徴語の入力を行わせるものとして説明したが、着目箇所以外の画像がユーザの印象形成に与える影響をなくすため、着目箇所を入力させる処理と、切り出し処理の行われた評価用画像について音象徴語を入力させる処理とを分離し、異なるユーザまたは異なるタイミングで処理を行うようにしてもよい。

その後、所定のタイミング（例えば、被験者実験が完了した時点等）で、係数生成装置４の画像特徴量抽出部４０８は、評価用画像データ保持部４０４に登録されている評価用画像データのそれぞれについて画像特徴量抽出を行い、画像ＩＤと対応付けて画像特徴量データを画像特徴量データ保持部４０９に登録する（ステップＳ１１２）。処理の詳細については後述する。

次いで、形容詞対評価部４１０は、音象徴語入力データ保持部４０７に登録されている音象徴語データのそれぞれについて形容詞対評価を行い、画像ＩＤと対応付けて形容詞対評価値データを形容詞対評価値データ保持部４１１に登録する（ステップＳ１１３）。処理の詳細については後述する。

次いで、関係分析部４１２は、画像特徴量データ保持部４０９に登録されている画像特徴量データと形容詞対評価値データ保持部４１１に登録されている形容詞対評価値データから、任意の画像特徴量と任意の形容詞対評価値との間の数値関係を示す係数データを生成し、係数データを係数データ保持部４１３に登録する（ステップＳ１１４）。処理の詳細については後述する。

［形容詞対評価］
図２８は係数生成装置４の形容詞対評価部４１０による形容詞対評価の処理例を示すフローチャートである。なお、ここでは音象徴語をオノマトペとして説明する。

図２８において、形容詞対評価部４１０は、音象徴語入力データ保持部４０７から取得したオノマトペのそれぞれに対し、形態データベースを参照して各オノマトペを形態解析し、オノマトペ表現データを生成する（ステップＳ１２１）。形態解析に用いる形態データベースは図２に示したものと同様である。形容詞対評価部４１０は、各オノマトペの文字列を先頭から形態データベースの形態データと照合し、音素および形態を得る。

また、形容詞対評価部４１０は、図１１に示したものと同様の解析項目に従い、オノマトペの１モーラ目と２モーラ目について「子音」「濁音」「拗音」「母音」「小母音」「特殊音（２モーラ目は「特殊語尾」）」について図示のカテゴリのいずれか（例えば、「濁音」については「なし」「濁音」「半濁音」のいずれか）および反復の有無を解析し、図１２に示したものと同様の形式のオノマトペ表現データを生成する。

次いで、図２８に戻り、形容詞対評価部４１０は、生成された各オノマトペ表現データに基づき、定量評価データベースを参照して定量評価（複数の形容詞対評価尺度に対する形容詞対評価値の算出）を行う（ステップＳ１２２）。定量評価データベースは、図１９に示したものと同様である。

そして、形容詞対評価部４１０は、図４Ａに示したような、音韻の項目に対応した変数Ｘ_１〜Ｘ_１３の値を図１９に示したような定量評価データから評価尺度毎に取得し、図１３に示したような数式により評価尺度毎の評価値Ｙを算出する。ｎはモーラ数であり、Constは定数項である。例えば、評価尺度「暖かい−冷たい」につき、１モーラ目の子音が「カ行」である場合、変数Ｘ_１は「0.16」となる。なお、数式において、モーラ数ｎで割り、「×２」としているのは、２モーラ以上で構成されるオノマトペが入力された場合でも、２モーラと同等に正規化され、出力される評価値の範囲を補正するためである。評価値は、図１８に示したような４３個の形容詞対（評価尺度）に対応付けられる。

［関係分析］
図２９は係数生成装置４の関係分析部４１２による関係分析の処理例を示す図である。図２９において、関係分析部４１２は、画像ＩＤにより対応付けられた画像毎の画像特徴量データと形容詞対評価値データの複数の組に基づき、一例として、重回帰分析により、任意の画像特徴量と任意の形容詞対評価値との間の数値関係を示す係数データを生成する。

ここでは、図２３に示したＧＬＣＭによる画像特徴量のうち、
・Angular Second Moment（均一性）
・Contrast（コントラスト）
・Dissimilarity
・Entropy（乱雑さ）
・Homogeneity（不均一性，局所一様性）
・Inverse Difference Moment（局所一様性）
を用いる場合について示しており、それらに対応する係数ａ_１〜ａ_６と定数Constantが係数データとなる。

図３０は係数データの例を示す図であり、４３個の形容詞対について、係数ａ_１〜ａ_６と定数Const.が算出された状態を示している。

なお、重回帰分析を用いる場合について説明したが、多次元のベクトル量の間の関係を分析し、一方のベクトル量から他方のベクトル量に変換するための係数を得られる手法であれば利用することができる。

また、後段で形容詞対評価値同士による類似度判定を行うことに対応して、画像特徴量から形容詞対評価値を求める係数を算出しているが、後段の類似度判定を画像特徴量により行う場合には、求める係数は、形容詞対評価値から画像特徴量を求める係数となる。

［画像特徴以外の物理特徴への拡張］
前述したように、物理特徴（画像特徴を含む）を一般的な印象評価値である形容詞対評価値に直接に対応付けることができる。これにより、オノマトペに代表される音象徴語の音韻特徴から形容詞対評価値を推定し、その形容詞対評価値から物理特徴を推定することができる。逆に、物理特徴から形容詞対評価値を推定し、その形容詞対評価値に対応する音韻特徴を持つ音象徴語の候補を求めることもできる。

同様に、印象値である形容詞対評価値から物理特徴を推定することもできる。逆に、物理特徴から印象値である形容詞対評価値を推定することもできる。

＜第７の実施形態＞
以下、画像特徴を形容詞対評価値に対応付けた係数データを利用した画像検索について説明する。

［音象徴語による画像検索（その１）］
図３１は画像検索システムの構成例を示す図であり、上述した処理により生成された係数データを用い、オノマトペ等の音象徴語による画像検索を可能としたものである。

図３１において、端末装置３と画像検索装置５はネットワークを介して相互に通信が行えるようになっている。本実施形態では、処理を高速に行うため、端末装置３は入力を行うためのタブレットのようなもので、処理負担がかかる画像検索装置５はサーバのようなもので構成している。また、クライアントとサーバによるシステム構成をとることにより、効果として、携帯端末のような処理能力が小さい端末装置３でも画像検索を行える利点がある。更に、本実施形態では、端末装置３と画像検索装置５がネットワークにより接続される例を示しているが、端末装置３の機能と画像検索装置５の機能を１台のコンピュータで構成することもできる。なお、音象徴語による画像検索は、一般ユーザに対して提供されるサービスであるため、端末装置３のユーザとしては、一般ユーザが中心となる。

端末装置３は、クエリ入力部３０５と結果表示部３０６とを備えている。画像検索装置５は、係数データ保持部５０１と検索対象画像データ保持部５０２と画像特徴量抽出部５０３と形容詞対評価値推定部５０４と検索対象形容詞対評価値データ保持部５０５と形容詞対評価部５０６と類似度判定部５０７と結果提供部５０８とを備えている。

端末装置３のクエリ入力部３０５は、ユーザから音象徴語を含むクエリ（検索条件）の入力を受け付け、クエリのデータを画像検索装置５に送信する機能を有している。結果表示部３０６は、画像検索装置５から応答される画像検索結果をユーザに対して表示する機能を有している。

画像検索装置５の係数データ保持部５０１は、図２６における係数生成装置４の係数データ保持部４１３に対応しており、係数生成装置４と画像検索装置５を同一の情報処理装置で構成する場合には共用することができる。係数生成装置４と画像検索装置５を別の情報処理装置で構成する場合には、係数生成装置４の係数データ保持部４１３から複製された係数データが係数データ保持部５０１に保持される。

図３１において、検索対象画像データ保持部５０２は、検索対象画像データを保持するものである。検索対象画像データは、検索の対象となる画像のデータを予め収集したものである。画像特徴量抽出部５０３は、所定のタイミング（例えば、所定の期間が経過した時点等）で、検索対象画像データ保持部５０２に登録されている検索対象画像データのそれぞれについて画像特徴量抽出を行う機能を有している。形容詞対評価値推定部５０４は、画像特徴量抽出部５０３によって抽出された画像特徴量データに係数データ保持部５０１の係数データを適用して形容詞対評価値を推定（算出）し、画像ＩＤと対応付けて形容詞対評価値データを検索対象形容詞対評価値データ保持部５０５に登録する機能を有している。

形容詞対評価部５０６は、端末装置３のクエリ入力部３０５から受信したクエリに含まれる音象徴語について形容詞対評価を行い、形容詞対評価値データを類似度判定部５０７に引き渡す機能を有している。類似度判定部５０７は、形容詞対評価部５０６により生成されたクエリの形容詞対評価データと、検索対象形容詞対評価値データ保持部５０５に登録されている複数（多数）の検索対象形容詞対評価値データとの間で類似度を判定し、類似度が上位の所定数の検索対象画像に対応する画像ＩＤを結果提供部５０８に出力する機能を有している。結果提供部５０８は、類似度判定部５０７により判定された上位の所定数の検索対象画像を含む画像検索結果を生成し、端末装置３の結果表示部３０６に提供する機能を有している。

画像検索装置５のハードウェア構成は図９に示したものと同様である。図３１に示した画像検索装置５の画像特徴量抽出部５０３、形容詞対評価値推定部５０４、形容詞対評価部５０６、類似度判定部５０７および結果提供部５０８は、図９のＣＰＵ１００２におけるコンピュータプログラムの実行により実現される。図３１に示した係数データ保持部５０１、検索対象画像データ保持部５０２および検索対象形容詞対評価値データ保持部５０５は、図９のＨＤＤ／フラッシュメモリ１００８等により実現される。

図３２は画像検索の処理例を示すシーケンス図である。図３２において、画像検索装置５の画像特徴量抽出部５０３は、所定のタイミング（例えば、所定の期間が経過した時点等）で、検索対象画像データ保持部５０２に登録されている検索対象画像データのそれぞれについて画像特徴量抽出を行い、画像特徴量データを形容詞対評価値推定部５０４に引き渡す（ステップＳ２０１）。画像特徴量抽出の詳細は、図２３〜図２５で説明したのと同様である。

図３２において、形容詞対評価値推定部５０４は、画像特徴量抽出部５０３によって抽出された画像特徴量データに係数データ保持部５０１の係数データを適用して形容詞対評価値を推定（算出）し、画像ＩＤと対応付けて形容詞対評価値データを検索対象形容詞対評価値データ保持部５０５に登録する（ステップＳ２０２）。

図３３は形容詞対評価値推定部５０４による形容詞対評価値推定の処理例を示す図である。形容詞対評価値推定部５０４は、一例として、図２９に示した重回帰分析による係数の生成の際の定義式に、検索対象画像データのそれぞれに対応する画像特徴量データと係数データ保持部５０１に登録されている係数データを代入することで、形容詞対評価値データを算出している。形容詞対評価値データは、図１８に示した複数の形容詞対に評価値が対応付けられたものである。

図３２に戻り、その後、画像検索サービスの提供中において、端末装置３のクエリ入力部３０５は、ユーザによる音象徴語を含むクエリの入力（ステップＳ２０３）を受け付け、クエリのデータを画像検索装置５に送信する（ステップＳ２０４）。

画像検索装置５の形容詞対評価部５０６は、端末装置３のクエリ入力部３０５から受信したクエリのデータから、クエリに含まれる音象徴語について形容詞対評価を行い、生成した形容詞対評価値データを類似度判定部５０７に引き渡す（ステップＳ２０５）。形容詞対評価の詳細は、図２８で説明したのと同様である。

図３２において、類似度判定部５０７は、形容詞対評価部５０６により生成されたクエリの形容詞対評価データと、検索対象形容詞対評価値データ保持部５０５に登録されている複数（多数）の検索対象形容詞対評価値データとの間で類似度を判定し、上位の所定数の検索対象画像に対応する画像ＩＤを結果提供部５０８に出力する（ステップＳ２０６）。

図３４は類似度判定部５０７による類似度判定の処理例を示す図であり、クエリに含まれる音象徴語から生成された形容詞対評価値データと、検索対象形容詞対評価値データ保持部５０５に登録されている複数（多数）の検索対象形容詞対評価値データとの間でコサイン類似度（ベクトルの内積）を算出することにより類似度データを取得している。

図３２に戻り、結果提供部５０８は、類似度判定部５０７により判定された類似度が上位の所定数の検索対象画像を含む画像検索結果を生成し（ステップＳ２０７）、端末装置３の結果表示部３０６に提供する（ステップＳ２０８）。これを受け、結果表示部３０６は、ユーザに対して画像検索結果を表示する（ステップＳ２０９）。

以上の処理により、端末装置３のユーザは、オノマトペ等の音象徴語をクエリとして、その音象徴語が表す質感等に合致した画像を検索することができる。

［音象徴語による画像検索（その２）］
図３５は画像検索システムの他の構成例を示す図であり、予め検索対象画像データの全てについて形容詞対評価値データを生成しておくのではなく、ユーザからのクエリに基づいて特定される範囲内の検索対象画像について形容詞対評価値データを生成するようにしたものである。これにより、予め想定される検索対象画像データを収集する必要がなくなるとともに、形容詞対評価値データの事前の生成も不要となる。

図３５の画像検索装置５の構成は、図３１の構成と比較して、検索対象画像データ保持部５０２、画像特徴量抽出部５０３、形容詞対評価値推定部５０４および検索対象形容詞対評価値データ保持部５０５が除去されている。また、新たに、検索インデックスデータ保持部５０９、検索部５１０、画像取得部５１１、画像特徴量抽出部５１２および形容詞対評価値推定部５１３が追加されている。その他の構成は図３１と同様である。検索部５１０、画像取得部５１１、画像特徴量抽出部５１２および形容詞対評価値推定部５１３は、図９のＣＰＵ１００２におけるコンピュータプログラムの実行により実現される。検索インデックスデータ保持部５０９は、図９のＨＤＤ／フラッシュメモリ１００８等により実現される。

図３５において、画像検索装置５の検索インデックスデータ保持部５０９は、ユーザが入力したクエリに含まれるキーワードと、当該キーワードを含んだ記事等が存在するアドレス情報（ＵＲＩ等）を対応付けて保持するものである。検索部５１０は、ユーザが入力したクエリに含まれる、主に音象徴語以外の一般用語（例えば、クエリ「ふわふわした布団」について「布団」の部分等）に基づいて検索インデックスデータ保持部５０９から検索を行う機能を有している。

画像取得部５１１は、検索部５１０による検索で特定される範囲内から、ネットワークを介して画像データ（一般的には複数）を取得する機能を有している。画像特徴量抽出部５１２は、画像取得部５１１により取得された画像データのそれぞれについて画像特徴量抽出を行う機能を有している。形容詞対評価値推定部５１３は、画像特徴量抽出部５１２によって抽出されたそれぞれの画像特徴量データに係数データ保持部５０１の係数データを適用して形容詞対評価値を推定（算出）する機能を有している。

図３６は画像検索の処理例を示すシーケンス図である。図３６において、画像検索サービスの提供中において、端末装置３のクエリ入力部３０５は、ユーザによる音象徴語を含むクエリの入力（ステップＳ２１１）を受け付け、クエリのデータを画像検索装置５に送信する（ステップＳ２１２）。

画像検索装置５の形容詞対評価部５０６は、端末装置３のクエリ入力部３０５から受信したクエリのデータから、クエリに含まれる音象徴語について形容詞対評価を行い、生成した形容詞対評価値データを類似度判定部５０７に引き渡す（ステップＳ２１３）。形容詞対評価の詳細は、図２８で説明したのと同様である。

図３６において、検索部５１０は、ユーザが入力したクエリに含まれる、主に音象徴語以外の一般用語に基づいて検索インデックスデータ保持部５０９から検索を行い、検索確度の高い所定数の検索結果（アドレス情報）を画像取得部５１１に引き渡す（ステップＳ２１４）。

画像取得部５１１は、検索部５１０による検索で特定される範囲内から、ネットワークを介して画像データ（一般的には複数）を取得し、取得した画像データを画像特徴量抽出部５１２に引き渡す（ステップＳ２１５）。

画像特徴量抽出部５１２は、画像取得部５１１により取得された画像データのそれぞれについて画像特徴量抽出を行い、生成した画像特徴量データを形容詞対評価値推定部５１３に引き渡す（ステップＳ２１６）。画像特徴量抽出の詳細は、図２３〜図２５で説明したのと同様である。

図３６において、形容詞対評価値推定部５１３は、画像特徴量抽出部５１２によって抽出されたそれぞれの画像特徴量データに係数データ保持部５０１の係数データを適用して形容詞対評価値を推定（算出）し、類似度判定部５０７に引き渡す（ステップＳ２１７）。形容詞対評価値推定の詳細は、図３３で説明したのと同様である。なお、いったん生成した形容詞対評価値データは、再利用のために画像検索装置５内に保持しておき、既に形容詞対評価値データが生成されている画像については形容詞対評価値データの生成を省略することができる。

図３６において、類似度判定部５０７は、形容詞対評価部５０６により生成されたクエリの形容詞対評価データと、形容詞対評価値推定部５１３から取得した複数の形容詞対評価値データとの間で類似度を判定し、類似度が上位の所定数の検索対象画像を特定する情報を結果提供部５０８に出力する（ステップＳ２１８）。類似度判定の詳細は、図３４で説明したのと同様である。

図３６において、結果提供部５０８は、類似度判定部５０７により判定された上位の所定数の検索対象画像を含む画像検索結果を生成し（ステップＳ２１９）、端末装置３の結果表示部３０６に提供する（ステップＳ２２０）。これを受け、結果表示部３０６は、ユーザに対して画像検索結果を表示する（ステップＳ２２１）。

［音象徴語による画像検索（その３）］
図３７は画像検索システムの更に他の構成例を示す図であり、画像検索の延長として、ユーザに特徴範囲や評価の入力をしてもらい、それに基づいて係数データの更新を行うようにしたものである。これにより、ユーザの利用を通じて、係数データをより正確なものとし、画像検索の精度を高めることができる。

図３７の端末装置３は、図３１の構成と比較して、新たに、画像選択部３０７、特徴範囲選択部３０８および評価選択部３０９が追加されている。また、図３７の画像検索装置５は、図３１の構成と比較して、新たに、更新可否判定部５１４、選択画像取得部５１５、画像切出部５１６、画像特徴量抽出部５１７、画像特徴量データ保持部５１８、形容詞対評価値取得部５１９、形容詞対評価値データ保持部５２０、関係分析部５２１および係数更新部５２２が追加されている。

図３７において、端末装置３の画像選択部３０７は、検索結果として提供された検索対象画像の中からユーザによる画像の選択を受け付け、画像検索装置５の選択画像取得部５１５に送信する機能を有している。特徴範囲選択部３０８は、ユーザが選択した画像について、クエリの音象徴語との関連が高い特徴的な部分がある場合に、ユーザから特徴範囲の選択を受け付け、画像検索装置５の画像切出部５１６に送信する機能を有している。

評価選択部３０９は、ユーザが選択した画像について、検索条件との整合性に関するユーザによる評価を受け付け、画像検索装置５の更新可否判定部５１４に送信する機能を有している。

画像検索装置５の更新可否判定部５１４は、端末装置３の評価選択部３０９から取得したユーザの評価が所定以上（例えば、５段階の場合は上位の２段階以上）の場合に、係数データの更新を行うと判定する機能を有している。

選択画像取得部５１５は、更新可否判定部５１４により係数データの更新を行うと判定された場合に、端末装置３の画像選択部３０７から取得した画像の選択に基づき、検索対象画像データ保持部５０２から該当する画像データを取得する機能を有している。画像切出部５１６は、端末装置３の特徴範囲選択部３０８から取得した特徴範囲に基づき、選択画像取得部５１５により取得した画像データから切出処理を行う機能を有している。

画像特徴量抽出部５１７は、画像切出部５１６により切り出された画像データについて画像特徴量抽出を行い、画像ＩＤと対応付けて画像特徴量データを画像特徴量データ保持部５１８に登録する機能を有している。なお、画像特徴量データ保持部５１８は、図２６の画像特徴量データ保持部４０９に対応するものであり、現在の係数データの算出の基礎になった画像特徴量データが蓄積されたものである。係数生成装置４と画像検索装置５を同一の情報処理装置で構成する場合には共用することができる。係数生成装置４と画像検索装置５を別の情報処理装置で構成する場合には、係数生成装置４の画像特徴量データ保持部４０９から複製された画像特徴量データが画像特徴量データ保持部５１８に保持される。

形容詞対評価値取得部５１９は、選択された画像の検索において用いられたクエリに含まれる音象徴語についての形容詞対評価値データを形容詞対評価部５０６から取得し、画像ＩＤと対応付けて形容詞対評価値データを形容詞対評価値データ保持部５２０に登録する機能を有している。なお、形容詞対評価値データ保持部５２０は、図２６の形容詞対評価値データ保持部４１１に対応するものであり、現在の係数データの算出の基礎になった形容詞対評価値データが蓄積されたものである。係数生成装置４と画像検索装置５を同一の情報処理装置で構成する場合には共用することができる。係数生成装置４と画像検索装置５を別の情報処理装置で構成する場合には、係数生成装置４の形容詞対評価値データ保持部４１１から複製された形容詞対評価値データが形容詞対評価値データ保持部５２０に保持される。

関係分析部５２１は、画像特徴量データ保持部５１８に登録されている画像特徴量データと形容詞対評価値データ保持部５２０に登録されている形容詞対評価値データから、任意の画像特徴量と任意の形容詞対評価値との間の数値関係を示す係数データを生成する機能を有している。係数更新部５２２は、関係分析部５２１により新たに生成された係数データに基づき、係数データ保持部５０１の係数データを更新する機能を有している。

図３８は画像検索の処理例を示すシーケンス図である。図３８において、ステップＳ２３１〜Ｓ２３９の処理は、図３２のステップＳ２０１〜Ｓ２０９の処理と同様であるため、その説明は省略する。

図３８において、端末装置３の画像選択部３０７、特徴範囲選択部３０８および評価選択部３０９は、検索結果として提供された検索対象画像の中からユーザによる画像の選択、ユーザから特徴範囲の選択（選択された場合に限る）、および検索条件との整合性に関するユーザによる評価を受け付け（ステップＳ２４０）、画像検索装置５の選択画像取得部５１５に該当するデータを送信する（ステップＳ２４１）。

画像検索装置５の更新可否判定部５１４は、端末装置３の評価選択部３０９から取得したユーザの評価が所定以上（例えば、５段階の場合は上位の２段階以上）の場合に、係数データの更新を行うと判定する（ステップＳ２４２）。更新を行わないと判定した場合は、以下の処理は行わない。ここでは、更新を行うと判定したものとして、続く処理について説明する。

選択画像取得部５１５は、端末装置３の画像選択部３０７から取得した画像の選択に基づき、検索対象画像データ保持部５０２から該当する画像データを取得する（ステップＳ２４３）。

画像切出部５１６は、端末装置３の特徴範囲選択部３０８から取得した特徴範囲に基づき、選択画像取得部５１５により取得した画像データから切出処理を行う（ステップＳ２４４）。なお、特徴範囲が選択されていない場合、切出処理は行わない。

画像特徴量抽出部５１７は、画像切出部５１６により切り出された画像データ（切出処理が行われない場合は元の画像データ）について画像特徴量抽出を行い、画像ＩＤと対応付けて画像特徴量データを画像特徴量データ保持部５１８に登録する（ステップＳ２４５）。画像特徴量抽出の詳細は、図２３〜図２５で説明したのと同様である。

図３８において、形容詞対評価値取得部５１９は、選択された画像の検索において用いられたクエリに含まれる音象徴語についての形容詞対評価値データを形容詞対評価部５０６から取得し、画像ＩＤと対応付けて形容詞対評価値データを形容詞対評価値データ保持部５２０に登録する（ステップＳ２４６）。

関係分析部５２１は、画像特徴量データ保持部５１８に登録されている画像特徴量データと形容詞対評価値データ保持部５２０に登録されている形容詞対評価値データから、任意の画像特徴量と任意の形容詞対評価値との間の数値関係を示す係数データを生成する（ステップＳ２４７）。係数データ生成の詳細は、図２９および図３０で説明したのと同様である。

図３８において、係数更新部５２２は、関係分析部５２１により新たに生成された係数データに基づき、係数データ保持部５０１の係数データを更新する（ステップＳ２４８）。

なお、図３１に示した画像検索装置５に適用した例について説明したが、同様の機能を図３５の画像検索装置５に適用してもよい。なお、ユーザには本実施形態の画像検索システムを利用する際にユーザ固有のログインＩＤが与えられる場合、そのログインＩＤに紐付けてユーザ毎に更新された係数データが作成されるようにすることで、利用すればするほど、そのユーザの印象に合った結果が検索されるようになる。

［画像からの音象徴語取得］
図３９は音特徴語取得システムの構成例を示す図であり、端末装置３のユーザが、任意の画像に対し、その画像が表す質感等に合致したオノマトペ等の音象徴語を取得することができるようにしたものである。

図３９において、端末装置３と音特徴語取得装置６はネットワークを介して相互に通信が行えるようになっている。本実施形態では、処理を高速に行うため、端末装置３は入力を行うためのタブレットのようなもので、処理負担がかかる音特徴語取得装置６はサーバのようなもので構成している。また、クライアントとサーバによるシステム構成をとることにより、効果として、携帯端末のような処理能力が小さい端末装置３でも音象徴語の取得を行える利点がある。更に、本実施形態では、端末装置３と音特徴語取得装置６がネットワークにより接続される例を示しているが、端末装置３の機能と音特徴語取得装置６の機能を１台のコンピュータで構成することもできる。なお、画像からの音象徴語取得は、製品開発を行う者に対して提供されるサービスが中心となるため、端末装置３のユーザとしては、製品開発を行う者が中心となる。ただし、一般ユーザに提供されるサービスとしてもよいことはいうまでもない。

端末装置３は、画像入力部３１０と結果表示部３１１とを備えている。音特徴語取得装置６は、係数データ保持部６０１と画像特徴量抽出部６０２と形容詞対評価値推定部６０３と音象徴語生成部６０４と結果提供部６０５とを備えている。

端末装置３の画像入力部３１０は、ユーザが質感等を表す音象徴語を取得したいと考える対象となる画像データの入力を受け付け、画像データを音特徴語取得装置６の画像特徴量抽出部６０２に送信する機能を有している。結果表示部３１１は、音特徴語取得装置６の結果提供部６０５からの、対応する音象徴語を含む取得結果を受信し、ユーザに対して表示する機能を有している。

音特徴語取得装置６の係数データ保持部６０１は、図２６における係数生成装置４の係数データ保持部４１３に対応しており、係数生成装置４と音特徴語取得装置６を同一の情報処理装置で構成する場合には共用することができる。係数生成装置４と音特徴語取得装置６を別の情報処理装置で構成する場合には、係数生成装置４の係数データ保持部４１３から複製された係数データが係数データ保持部６０１に保持される。

画像特徴量抽出部６０２は、端末装置３の画像入力部３１０から取得した画像データについて画像特徴量抽出を行う機能を有している。形容詞対評価値推定部６０３は、画像特徴量抽出部６０２によって抽出された画像特徴量データに係数データ保持部６０１の係数データを適用して形容詞対評価値を推定（算出）する機能を有している。

音象徴語生成部６０４は、形容詞対評価値推定部６０３によって推定された形容詞対評価値に基づいて音象徴語（一般的には複数）を生成する機能を有している。結果提供部６０５は、音象徴語生成部６０４によって生成された音象徴語から取得結果を生成し、端末装置３の結果表示部３１１に送信する機能を有している。

端末装置３のハードウェア構成は図９に示した通りであり、画像入力部３１０および結果表示部３１１は図９のＣＰＵ１００２におけるコンピュータプログラムの実行により実現される。音特徴語取得装置６のハードウェア構成も図９に示したものと同様である。図３９に示した画像特徴量抽出部６０２、形容詞対評価値推定部６０３、音象徴語生成部６０４および結果提供部６０５は、図９のＣＰＵ１００２におけるコンピュータプログラムの実行により実現される。図３９に示した係数データ保持部６０１は、図９のＨＤＤ／フラッシュメモリ１００８等により実現される。

図４０は音象徴語取得の処理例を示すシーケンス図である。図４０において、端末装置３の画像入力部３１０は、ユーザが質感等を表す音象徴語を取得したいと考える、対象となる画像データの入力（ステップＳ３０１）を受け付け、画像データを音特徴語取得装置６の画像特徴量抽出部６０２に送信する（ステップＳ３０２）。

音特徴語取得装置６の画像特徴量抽出部６０２は、端末装置３の画像入力部３１０から取得した画像データについて画像特徴量抽出を行う（ステップＳ３０３）。画像特徴量抽出の詳細は、図２３〜図２５で説明したのと同様である。

図４０において、形容詞対評価値推定部６０３は、画像特徴量抽出部６０２によって抽出された画像特徴量データに係数データ保持部６０１の係数データを適用して形容詞対評価値を推定（算出）する（ステップＳ３０４）。形容詞対評価の詳細は、図２８で説明したのと同様である。

図４０において、音象徴語生成部６０４は、形容詞対評価値推定部６０３によって推定された形容詞対評価値に基づいて音象徴語（一般的には複数）を生成する（ステップＳ３０５）。音象徴語生成の詳細については後述する。

結果提供部６０５は、音象徴語生成部６０４によって生成された音象徴語から取得結果を生成し（ステップＳ３０６）、端末装置３の結果表示部３１１に送信する（ステップＳ３０７）。端末装置３の結果表示部３１１は、音特徴語取得装置６の結果提供部６０５からの、対応する音象徴語を含む取得結果を受信し、ユーザに対して表示する（ステップＳ３０８）。

図４１は音象徴語生成部６０４による音象徴語生成の処理例を示すフローチャートである。なお、ここでは音象徴語をオノマトペとして説明する。

図４１において、音象徴語生成部６０４は、オノマトペ表現データ（図１２）の項目値をランダムに発生させることで初期オノマトペ群を生成する（ステップＳ３１１）。オノマトペ表現データの所定の項目値については固定の値としてもよい。これにより、生成されるオノマトペの範囲に制約を設けることができる。

次いで、音象徴語生成部６０４は、生成された初期オノマトペ群のそれぞれのオノマトペ表現データに基づき、定量評価データベース（図１９）を参照して形容詞対評価を行う（ステップＳ３１２）。形容詞対評価の詳細は、図２８で説明したのと同様である。

図４１において、音象徴語生成部６０４は、予め形容詞対評価値推定部６０３から取得したユーザの入力した画像に対応する形容詞対評価値と、オノマトペ表現データから生成された形容詞対評価値に基づき、両者間で類似度を算出する（ステップＳ３１３）。類似度算出の詳細は、図３４で説明したのと同様である。

図４１において、音象徴語生成部６０４は、算出された類似度が所定値を超えるオノマトペが所定数以上あるか否か判断し、存在しない場合は最適化を行う（ステップＳ３１４）。最適化は、例えば、交叉、突然変異、淘汰の過程を経る。交叉の一例としての一点交叉は、類似度の高いものほど選択される確率を高く設定した確率に基づいて、２つのオノマトペを選択し、無作為に選ばれた先頭からの位置を境に、それぞれのオノマトペの当該位置の前と後とを交換して合成して新たな２つのオノマトペを生成することで行う。突然変異は、所定の確率で発生させ（常に発生するわけではない）、オノマトペ表現データ上の無作為に決定される１もしくは複数の位置の値を無作為に変化させて新たなオノマトペを生成することで行う。淘汰は、類似度の低いオノマトペを削除することで行う。そして、再び形容詞対評価（ステップＳ３１２）に戻る。

また、音象徴語生成部６０４は、算出された類似度が所定値を超えるオノマトペが所定数以上ある場合は処理を終了し、類似度の高い上位所定数のオノマトペを出力する（ステップＳ３１５）。

第７の実施形態によれば、オノマトペ等の音象徴語を介在させることで、商品・製品の画像から、見た目の質感等を容易にかつ客観的に取り扱うことができる。より具体的には、「つるつる」「きらきら」「ふわふわ」「もちもち」「ぱふぱふ」といった多様なオノマトペで直感的に表現される見た目や手触りに関する所望の質感等をもつ商品の検索が可能になり、インターネット市場での購買行動の活性効果が期待される。また、見た目や手触りのみならず、「さくさくした食感」「ふわーっとした香」のように味や匂いもオノマトペで表されることが多いが、香りや味、食感が重要な商品の購買行為も促進することができる。

ものづくりの現場において、試作した製品の画像に対応するオノマトペを知ることができるため、消費者が直感的にオノマトペで求める質感等の実現において貢献が期待できる。消費者が何を求めているかを把握する消費者とのコミュニケーションの円滑化や、製品開発者間でのコミュニケーションの円滑化も図ることができる。

画像特徴量を用いた実施形態について以下に要点をまとめておく。
（項１）
ａ）検索対象画像から画像特徴量を抽出し、任意の画像特徴量と任意の形容詞対評価値との間の数値関係を示す係数に基づき、前記検索対象画像から抽出した画像特徴量から前記検索対象画像毎に形容詞対評価値を生成する工程と、
ｂ）ユーザから音象徴語を含む検索条件の入力を受け付け、前記音象徴語から形容詞対評価値を生成する工程と、
を順不同に含み、
前記音象徴語について生成された形容詞対評価値と、前記検索対象画像毎に生成された形容詞対評価値との類似度を判定する工程と、
前記類似度に基づいて対応する前記検索対象画像を検索結果として提供する工程と
を備えたことを特徴とする画像検索方法。
（項２）
項１に記載の画像検索方法において、
前記検索対象画像から画像特徴量を抽出する処理は、全ての検索対象画像について画像特徴量を抽出する
ことを特徴とする画像検索方法。
（項３）
項１に記載の画像検索方法において、
前記検索対象画像から画像特徴量を抽出する処理は、前記検索条件により特定される範囲内の検索対象画像について画像特徴量を抽出する
ことを特徴とする画像検索方法。
（項４）
項１乃至３のいずれか一項に記載の画像検索方法において、
前記検索結果として提供された前記検索対象画像の中からユーザによる画像の選択を受け付ける工程と、
選択を受け付けた前記画像について検索条件との整合性に関するユーザによる評価を受け付ける工程と、
前記評価が所定以上である場合に、前記画像から画像特徴量を抽出する工程と、
前記形容詞対評価値および前記画像から抽出した画像特徴量に基づいて前記係数を更新する工程と
を備えたことを特徴とする画像検索方法。
（項５）
項４に記載の画像検索方法において、
前記係数を更新する工程は、ユーザ毎に前記係数を更新し、ユーザ毎に固有の前記係数を生成する
ことを特徴とする画像検索方法。
（項６）
ユーザから画像の入力を受け付ける工程と、
前記画像から画像特徴量を抽出する工程と、
任意の画像特徴量と任意の形容詞対評価値との間の数値関係を示す係数に基づき、前記画像から抽出した画像特徴量から形容詞対評価値を生成する工程と、
前記画像から画像特徴量を経て抽出した形容詞対評価値から音象徴語を生成する工程と
を備えたことを特徴とする音象徴語取得方法。
（項７）
評価用画像に対してユーザが想起した音象徴語の入力を受け付ける工程と、
前記評価用画像から画像特徴量を抽出する工程と、
前記音象徴語から形容詞対評価値を生成する工程と、
前記画像特徴量および前記形容詞対評価値から、任意の画像特徴量と任意の形容詞対評価値との間の数値関係を示す係数を生成する工程と
を備えたことを特徴とする係数生成方法。
（項８）
コンピュータを、
検索対象画像から画像特徴量を抽出する手段、
任意の画像特徴量と任意の形容詞対評価値との間の数値関係を示す係数に基づき、前記検索対象画像から抽出した画像特徴量から前記検索対象画像毎に形容詞対評価値を生成する手段、
ユーザから音象徴語を含む検索条件の入力を受け付ける手段、
前記音象徴語から形容詞対評価値を生成する手段、
前記音象徴語について生成された形容詞対評価値と、前記検索対象画像毎に生成された形容詞対評価値との類似度を判定する手段、
前記類似度に基づいて対応する前記検索対象画像を検索結果として提供する手段
として機能させる画像検索プログラム。
（項９）
コンピュータを、
ユーザから画像の入力を受け付ける手段、
前記画像から画像特徴量を抽出する手段、
任意の画像特徴量と任意の形容詞対評価値との間の数値関係を示す係数に基づき、前記画像から抽出した画像特徴量から形容詞対評価値を生成する手段、
前記画像から画像特徴量を経て抽出した形容詞対評価値から音象徴語を生成する手段
として機能させる音象徴語取得プログラム。
（項１０）
コンピュータを、
評価用画像に対してユーザが想起した音象徴語の入力を受け付ける手段、
前記評価用画像から画像特徴量を抽出する手段、
前記音象徴語から形容詞対評価値を生成する手段、
前記画像特徴量および前記形容詞対評価値から、任意の画像特徴量と任意の形容詞対評価値との間の数値関係を示す係数を生成する手段
として機能させる係数生成プログラム。
（項１１）
検索対象画像から画像特徴量を抽出する手段と、
任意の画像特徴量と任意の形容詞対評価値との間の数値関係を示す係数に基づき、前記検索対象画像から抽出した画像特徴量から前記検索対象画像毎に形容詞対評価値を生成する手段と、
ユーザから音象徴語を含む検索条件の入力を受け付ける手段と、
前記音象徴語から形容詞対評価値を生成する手段と、
前記音象徴語について生成された形容詞対評価値と、前記検索対象画像毎に生成された形容詞対評価値との類似度を判定する手段と、
前記類似度に基づいて対応する前記検索対象画像を検索結果として提供する手段と
を備えたことを特徴とする画像検索装置。
（項１２）
ユーザから画像の入力を受け付ける手段と、
前記画像から画像特徴量を抽出する手段と、
任意の画像特徴量と任意の形容詞対評価値との間の数値関係を示す係数に基づき、前記画像から抽出した画像特徴量から形容詞対評価値を生成する手段と、
前記画像から画像特徴量を経て抽出した形容詞対評価値から音象徴語を生成する手段と
を備えたことを特徴とする音象徴語取得装置。
（項１３）
評価用画像に対してユーザが想起した音象徴語の入力を受け付ける手段と、
前記評価用画像から画像特徴量を抽出する手段と、
前記音象徴語から形容詞対評価値を生成する手段と、
前記画像特徴量および前記形容詞対評価値から、任意の画像特徴量と任意の形容詞対評価値との間の数値関係を示す係数を生成する手段と
を備えたことを特徴とする係数生成装置。

＜総括＞
以上説明したように、本実施形態によれば、音象徴語と物理特徴を定量的に対応付けて情報を提供することができ、製品の開発等を有効に支援することができる。

以上、本発明の好適な実施の形態により本発明を説明した。ここでは特定の具体例を示して本発明を説明したが、特許請求の範囲に定義された本発明の広範な趣旨および範囲から逸脱することなく、これら具体例に様々な修正および変更を加えることができることは明らかである。すなわち、具体例の詳細および添付の図面により本発明が限定されるものと解釈してはならない。

本国際出願は、２０１５年９月１０日に出願した日本国特許出願第２０１５−１７８３７９号に基づく優先権を主張するものであり、日本国特許出願第２０１５−１７８３７９号の全内容を本国際出願に援用する。

１ 音象徴語・物理特徴情報提供装置
１１ インタフェース部
１１１ グラフィカルユーザインタフェース部
１２ 音象徴語解析部
１２１ 解析管理部
１２２ 形態解析部
１２３ 物理特徴評価部
１２３’ 物理特徴推定・一般尺度評価部
１３ 物理特徴対応音象徴語生成部
１４ 形態データベース
１５ 音韻物理特徴データベース
１６ 一般尺度対応物理特徴取得部
１７ 定量評価データベース
１８ 物理特徴対応印象取得部
２ 音韻物理特徴データベース生成部
２０ オノマトペリスト
２１ 物質名入力部
２２ クエリ生成部
２３ 検索実行部
２４ ページアクセス部
２５ 物理特徴抽出部
２６ 音韻特徴・物理特徴対応関係分析部
Ｕ ユーザ

Claims (12)

1. 音象徴語を入力する入力部と、
   前記音象徴語に含まれる音韻の要素を解析する形態解析部と、
   前記音象徴語の音韻の要素に対し、音韻の要素と物理特徴値との相関を規定した音韻物理特徴データベースに基づいて、前記音象徴語に対応する物理特徴値を推定する物理特徴推定部と、
   推定された物理特徴値を提示する提示部と
   を備えたことを特徴とする音象徴語・物理特徴情報提供装置。
2. 物理特徴値を入力する入力部と、
   初期の音象徴語を生成する生成部と、
   前記音象徴語に含まれる音韻の要素を解析する形態解析部と、
   前記音象徴語の音韻の要素に対し、音韻の要素と物理特徴値との相関を規定した音韻物理特徴データベースに基づいて、前記音象徴語に対応する物理特徴値を推定する物理特徴推定部と、
   推定された物理特徴値と前記入力された物理特徴値との類似度に基づいて前記音象徴語に変形を行い、前記形態解析部および前記物理特徴推定部の処理を繰り返して最適化を行う最適化部と、
   最適化された音象徴語を提示する提示部と
   を備えたことを特徴とする音象徴語・物理特徴情報提供装置。
3. 印象値を入力する入力部と、
   初期の音象徴語を生成する生成部と、
   前記音象徴語に含まれる音韻の要素を解析する形態解析部と、
   前記音象徴語の音韻の要素に対し、音韻の要素と印象評価尺度との相関を規定した定量評価データベースに基づいて、前記音象徴語に対応する印象評価値を評価する定量評価部と、
   前記印象評価値と前記入力された印象値との類似度に基づいて前記音象徴語に変形を行い、前記形態解析部および前記定量評価部の処理を繰り返して最適化を行う最適化部と、
   最適化された音象徴語に含まれる音韻の要素を解析する第２の形態解析部と、
   前記最適化された音象徴語の音韻の要素に対し、音韻の要素と物理特徴値との相関を規定した音韻物理特徴データベースに基づいて、前記最適化された音象徴語に対応する物理特徴値を推定する物理特徴推定部と、
   推定された物理特徴値を提示する提示部と
   を備えたことを特徴とする音象徴語・物理特徴情報提供装置。
4. 物理特徴値を入力する入力部と、
   初期の音象徴語を生成する生成部と、
   前記音象徴語に含まれる音韻の要素を解析する形態解析部と、
   前記音象徴語の音韻の要素に対し、音韻の要素と物理特徴値との相関を規定した音韻物理特徴データベースに基づいて、前記音象徴語に対応する物理特徴値を推定する物理特徴推定部と、
   推定された物理特徴値と前記入力された物理特徴値との類似度に基づいて前記音象徴語に変形を行い、前記形態解析部および前記物理特徴推定部の処理を繰り返して最適化を行う最適化部と、
   最適化された音象徴語に含まれる音韻の要素を解析する第２の形態解析部と、
   前記最適化された音象徴語の音韻の要素に対し、音韻の要素と印象評価尺度との相関を規定した定量評価データベースに基づいて、前記音象徴語に対応する印象評価値を評価する定量評価部と、
   前記印象評価値を提示する提示部と
   を備えたことを特徴とする音象徴語・物理特徴情報提供装置。
5. コンピュータが実行する方法であって、
   音象徴語を入力する入力工程と、
   前記音象徴語に含まれる音韻の要素を解析する形態解析工程と、
   前記音象徴語の音韻の要素に対し、音韻の要素と物理特徴値との相関を規定した音韻物理特徴データベースに基づいて、前記音象徴語に対応する物理特徴値を推定する物理特徴推定工程と、
   推定された物理特徴値を提示する提示工程と
   を備えたことを特徴とする音象徴語・物理特徴情報提供方法。
6. コンピュータが実行する方法であって、
   物理特徴値を入力する入力工程と、
   初期の音象徴語を生成する生成工程と、
   前記音象徴語に含まれる音韻の要素を解析する形態解析工程と、
   前記音象徴語の音韻の要素に対し、音韻の要素と物理特徴値との相関を規定した音韻物理特徴データベースに基づいて、前記音象徴語に対応する物理特徴値を推定する物理特徴推定工程と、
   推定された物理特徴値と前記入力された物理特徴値との類似度に基づいて前記音象徴語に変形を行い、前記形態解析工程および前記物理特徴推定工程の処理を繰り返して最適化を行う最適化工程と、
   最適化された音象徴語を提示する提示工程と
   を備えたことを特徴とする音象徴語・物理特徴情報提供方法。
7. コンピュータが実行する方法であって、
   印象値を入力する入力工程と、
   初期の音象徴語を生成する生成工程と、
   前記音象徴語に含まれる音韻の要素を解析する形態解析工程と、
   前記音象徴語の音韻の要素に対し、音韻の要素と印象評価尺度との相関を規定した定量評価データベースに基づいて、前記音象徴語に対応する印象評価値を評価する定量評価工程と、
   前記印象評価値と前記入力された印象値との類似度に基づいて前記音象徴語に変形を行い、前記形態解析工程および前記定量評価工程の処理を繰り返して最適化を行う最適化工程と、
   最適化された音象徴語に含まれる音韻の要素を解析する第２の形態解析工程と、
   前記最適化された音象徴語の音韻の要素に対し、音韻の要素と物理特徴値との相関を規定した音韻物理特徴データベースに基づいて、前記最適化された音象徴語に対応する物理特徴値を推定する物理特徴推定工程と、
   推定された物理特徴値を提示する提示工程と
   を備えたことを特徴とする音象徴語・物理特徴情報提供方法。
8. コンピュータが実行する方法であって、
   物理特徴値を入力する入力工程と、
   初期の音象徴語を生成する生成工程と、
   前記音象徴語に含まれる音韻の要素を解析する形態解析工程と、
   前記音象徴語の音韻の要素に対し、音韻の要素と物理特徴値との相関を規定した音韻物理特徴データベースに基づいて、前記音象徴語に対応する物理特徴値を推定する物理特徴推定工程と、
   推定された物理特徴値と前記入力された物理特徴値との類似度に基づいて前記音象徴語に変形を行い、前記形態解析工程および前記物理特徴推定工程の処理を繰り返して最適化を行う最適化工程と、
   最適化された音象徴語に含まれる音韻の要素を解析する第２の形態解析工程と、
   前記最適化された音象徴語の音韻の要素に対し、音韻の要素と印象評価尺度との相関を規定した定量評価データベースに基づいて、前記音象徴語に対応する印象評価値を評価する定量評価工程と、
   前記印象評価値を提示する提示工程と
   を備えたことを特徴とする音象徴語・物理特徴情報提供方法。
9. コンピュータを、
   音象徴語を入力する入力手段、
   前記音象徴語に含まれる音韻の要素を解析する形態解析手段、
   前記音象徴語の音韻の要素に対し、音韻の要素と物理特徴値との相関を規定した音韻物理特徴データベースに基づいて、前記音象徴語に対応する物理特徴値を推定する物理特徴推定手段、
   推定された物理特徴値を提示する提示手段
   として機能させる音象徴語・物理特徴情報提供プログラム。
10. コンピュータを、
    物理特徴値を入力する入力手段、
    初期の音象徴語を生成する生成手段、
    前記音象徴語に含まれる音韻の要素を解析する形態解析手段、
    前記音象徴語の音韻の要素に対し、音韻の要素と物理特徴値との相関を規定した音韻物理特徴データベースに基づいて、前記音象徴語に対応する物理特徴値を推定する物理特徴推定手段、
    推定された物理特徴値と前記入力された物理特徴値との類似度に基づいて前記音象徴語に変形を行い、前記形態解析手段および前記物理特徴推定手段の処理を繰り返して最適化を行う最適化手段、
    最適化された音象徴語を提示する提示手段
    として機能させる音象徴語・物理特徴情報提供プログラム。
11. コンピュータを、
    印象値を入力する入力手段、
    初期の音象徴語を生成する生成手段、
    前記音象徴語に含まれる音韻の要素を解析する形態解析手段、
    前記音象徴語の音韻の要素に対し、音韻の要素と印象評価尺度との相関を規定した定量評価データベースに基づいて、前記音象徴語に対応する印象評価値を評価する定量評価手段、
    前記印象評価値と前記入力された印象値との類似度に基づいて前記音象徴語に変形を行い、前記形態解析手段および前記定量評価手段の処理を繰り返して最適化を行う最適化手段、
    最適化された音象徴語に含まれる音韻の要素を解析する第２の形態解析手段、
    前記最適化された音象徴語の音韻の要素に対し、音韻の要素と物理特徴値との相関を規定した音韻物理特徴データベースに基づいて、前記最適化された音象徴語に対応する物理特徴値を推定する物理特徴推定手段、
    推定された物理特徴値を提示する提示手段
    として機能させる音象徴語・物理特徴情報提供プログラム。
12. コンピュータを、
    物理特徴値を入力する入力手段、
    初期の音象徴語を生成する生成手段、
    前記音象徴語に含まれる音韻の要素を解析する形態解析手段、
    前記音象徴語の音韻の要素に対し、音韻の要素と物理特徴値との相関を規定した音韻物理特徴データベースに基づいて、前記音象徴語に対応する物理特徴値を推定する物理特徴推定手段、
    推定された物理特徴値と前記入力された物理特徴値との類似度に基づいて前記音象徴語に変形を行い、前記形態解析手段および前記物理特徴推定手段の処理を繰り返して最適化を行う最適化手段、
    最適化された音象徴語に含まれる音韻の要素を解析する第２の形態解析手段、
    前記最適化された音象徴語の音韻の要素に対し、音韻の要素と印象評価尺度との相関を規定した定量評価データベースに基づいて、前記音象徴語に対応する印象評価値を評価する定量評価手段、
    前記印象評価値を提示する提示手段
    として機能させる音象徴語・物理特徴情報提供プログラム。

Images