JP2007316803A - 操作支援装置および操作支援方法 - Google Patents
操作支援装置および操作支援方法 Download PDFInfo
- Publication number
- JP2007316803A JP2007316803A JP2006143835A JP2006143835A JP2007316803A JP 2007316803 A JP2007316803 A JP 2007316803A JP 2006143835 A JP2006143835 A JP 2006143835A JP 2006143835 A JP2006143835 A JP 2006143835A JP 2007316803 A JP2007316803 A JP 2007316803A
- Authority
- JP
- Japan
- Prior art keywords
- user
- word
- operation support
- vector
- concept
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
【課題】困惑しているユーザに対して適切な操作支援が可能な操作支援装置を提供すること。
【解決手段】操作支援装置は、選択された項目中の単語を抽出する選択単語抽出手段103と、テキストコーパスから作成されたユーザの単語間の意味的な類似性を表現した単語意味ベクトルを保存するユーザ単語概念記憶手段107と、単語意味ベクトルより計算された各機能を特徴付ける機能概念ベクトルを保存する機能概念記憶手段108と、抽出した単語集合の単語意味ベクトルよりユーザ操作意図ベクトルを計算するユーザ意図計算手段110と、ユーザ操作意図ベクトルと機能概念ベクトルの距離からユーザの目的を推定するユーザ目的推定手段110と、推定結果を基に操作支援を決定する操作支援決定手段111とを備える。
【選択図】図1
【解決手段】操作支援装置は、選択された項目中の単語を抽出する選択単語抽出手段103と、テキストコーパスから作成されたユーザの単語間の意味的な類似性を表現した単語意味ベクトルを保存するユーザ単語概念記憶手段107と、単語意味ベクトルより計算された各機能を特徴付ける機能概念ベクトルを保存する機能概念記憶手段108と、抽出した単語集合の単語意味ベクトルよりユーザ操作意図ベクトルを計算するユーザ意図計算手段110と、ユーザ操作意図ベクトルと機能概念ベクトルの距離からユーザの目的を推定するユーザ目的推定手段110と、推定結果を基に操作支援を決定する操作支援決定手段111とを備える。
【選択図】図1
Description
本発明は、選択型インタフェースを持つコンピュータ・アプリケーション、家電製品などにおいて、ユーザの操作を支援する装置に関し、特にユーザが選択した項目名に含まれる単語の意味情報を利用してユーザの目的機能を推定する操作支援装置に関する。
近年のコンピュータ・アプリケーションや電化製品等の操作は多様な機能の実装と共に複雑化しており、操作方法が分からなくなったユーザに対する操作支援が重要となっている。
このようなユーザの支援に関する従来技術として、ユーザのキー入力操作と関連性の高い機能を検索して、その機能に関する操作説明を提示するヘルプ表示装置(特許文献1)が開示されている。この装置では、システム開発者が予め各キーとシステムの各機能の説明文を特徴単語により構成されたベクトルを用いてユーザによって入力されたキー操作に対応する機能を検索し、ユーザに提示すべき操作説明を選択することができる。
特開平10−31856号公報
前記従来の手法では、「カーソルキー」「スペース」「削除」などの各キーと各機能の説明文を特徴付けるベクトルをシステム設計者が予め定義した特徴単語(移動, 上, 下, 右, 削除, 挿入等)をもとに作成する。具体的には「センタリング」キーは移動要素と左右運動を表すものだとシステム開発者が想定し、前記特徴単語の「移動」「右」「左」の要素を持ったベクトルを作成する。このように作成されたベクトルを用いて、例えば文章を編集している時にユーザがヘルプボタンを押すと、ヘルプボタンを押されるまでに入力されたキー入力操作の履歴から、キー入力操作の特徴を表すキー入力操作ベクトルを作成し、各機能の特徴を表すベクトルとの距離を計算することでユーザがどのような編集作業を行いたいのかを推定する。
しかし、従来の手法ではキー操作を特徴付ける特徴単語は設計者が決定しているので、キーの数が増え、各キーが様々な意味を持つようになると、特徴単語と各キーの表現の決定は非常に困難な作業となる。さらに、キー入力操作に対する解釈は、システム設計者が想定した範囲に限定されており、その限定された解釈に沿ってユーザが入力操作を行わなかった場合には、ユーザの目的を推定することができない。
一方、近年の機能数の増加に伴い、階層構造を持つ選択型のインタフェースが増えている。選択型インタフェースでは複数の選択項目の中からユーザが最もユーザの目的に近い選択項目を選び続けることで目的を達成する。ここで、ユーザが選択項目を選ぶ際、自分の目的に最も近い単語が含まれる選択項目を選ぶ傾向があるが、単語には意味が複数あるため、ユーザが選択項目をシステム設計者が想定したものと異なる意味に解釈し、選んだ場合には、ユーザは期待通りの結果が得られずに困惑状態に陥ってしまう。例えば、「録画した番組の一覧を見たい」と思うユーザが、システム設計者がその機能に到達できる項目として定義した「再生ナビ」という選択項目ではなく、目的の機能に到達できない「番組表」という選択項目を選んでしまうことがある。これはユーザにとって「録画した番組の一覧が見たい」という目的に含まれる単語とその機能に達する選択項目に含まれる「再生」や「ナビ」という単語の意味は遠く、逆に目的の機能に到達できない選択項目に含まれる「番組」や「表」という単語の意味が近いと感じるために生じる問題である。
このような、選択項目で使われる単語の意味の捉え方の違いによるユーザの困惑状態に対して操作支援を行うには、従来のように選択項目に関して予めシステム設計者が特徴単語を用いて表現した手法で支援を行うのは難しく、選択項目で使われている単語をユーザがどのような意味で捉えているか、すなわちユーザが持つ単語間の意味的なつながり(以後ユーザの単語概念と記述)を考慮した操作支援が必要となる。
本発明は、このような従来の課題を解決するためになされたものであって、その目的は設計による限定された単語概念とは独立したユーザの単語概念を表す知識データを自動で作成し、これを用いてユーザの目的を推定し、ユーザを支援する操作支援方法および操作支援装置を実現することである。
本発明に記載の操作支援装置は、ユーザに対して選択肢を提示する選択肢提示手段と、前記選択肢からユーザが選択した項目にある単語を抽出する選択単語抽出手段と、テキストコーパスから作成されたユーザの単語間の意味的な類似性を表現できる単語意味ベクトルを保存するするユーザ単語概念記憶手段と、目的となる各機能、又は各コンテンツの各々に対し、前記単語意味ベクトルを用いて計算された各機能又はコンテンツを特徴付ける意味ベクトルである機能概念ベクトルを保存する機能概念記憶手段と、前記抽出された単語の集合から前記単語意味ベクトルを用いてユーザの操作意図を表すユーザ操作意図ベクトルを計算するユーザ意図計算部と、前記ユーザ操作意図ベクトルと、前記機能概念ベクトルの距離を計算することで、ユーザの目的を推定するユーザ目的推定手段と、前記推定された目的をもとに操作支援を決定する操作支援決定手段とを有する。本構成によりユーザが選択した項目の単語の意味からユーザの単語概念を考慮した目的推定が可能となるため、選択項目で使われる単語の意味をシステムで定義された意味ではなく、ユーザの単語概念で選択してしまうことによって生じるユーザの困惑状態に対して適切な操作支援が実現可能となる。
また、本発明の別の態様は、上記記載の操作支援装置において、さらにテキストコーパス取得手段を備え、ユーザが利用しているテキストコーパスを動的に取得し、取得したテキストコーパスからユーザ単語概念を作成し、作成されたユーザ単語概念を用いて目的推定を行う。本構成によりユーザの現在持っている単語意味概念に近いユーザ単語概念が構築可能となり、より高精度な目的推定が可能となり、ユーザに適した操作支援を実現できる。
また、本発明の別の態様は、上記記載の操作支援装置において、さらにユーザ単語概念取得手段を備え、既に外部で作成したユーザ単語概念を取得し、取得したユーザ単語概念を用いて目的推定を行う。本構成により外部で作成されたユーザ単語概念を利用可能となるため、自ら作る必要なく、外部にある自分に適したユーザ単語概念を選び利用することができるため、より簡単に高精度なユーザ単語概念が獲得できるため、より高精度な目的推定が可能となり、ユーザに適した操作支援を実現できる。
また、本発明の別の態様は、上記記載の操作支援装置において、ユーザ指定入力手段と、ユーザ情報記憶手段を備え、ユーザに応じて前記ユーザ意図単語概念を切り替えることができる。本構成により複数のユーザが一つの機器を使う場合でも各ユーザに応じたユーザ単語概念が構築できるため、各ユーザに適した目的推定が可能となり、各ユーザに適した操作支援を実現できる。
本発明による操作支援装置によれば、システム設計者が選択項目を設計するときに用いた単語概念とは独立したユーザの単語概念を表す知識データを用いてユーザの目的を推定するため、ユーザの選択意図を十分反映させた目的推定が可能となり、ユーザに適した操作支援を実現できる。
以下本発明の実施の形態について、図面を参照しながら説明する。
(実施の形態1)
図1は本発明の実施の形態1における操作支援装置の構成を示す図である。図1において、101はユーザからの入力を受け付ける入力手段、102は入力手段一つである選択入力手段、103は選択肢選択手段で選択された選択肢から選択単語を抽出する選択単語抽出手段、104は操作支援装置の全般的な制御処理を行う制御手段、105は操作履歴を保存する操作履歴記憶手段、106はユーザ単語概念を作成するために必要なテキストコーパスが記憶されているテキストコーパス記憶手段、107はユーザの単語概念が記憶されているユーザ単語概念手段、108はシステムの各機能の説明と各機能を107に記憶されるユーザ単語概念を基に表現した各機能概念が記憶されている機能概念記憶手段、109はユーザの操作意図を105に記憶されているユーザの操作履歴と107に記憶されているユーザ単語概念を用いてユーザの意図を計算するユーザ意図計算手段、110は108に記憶されている機能概念と109で計算されたユーザの意図を比較することで、ユーザの目的の機能を推定するユーザ目的推定手段、111はユーザ目的推定手段110で推定されたユーザの目的の機能に応じてユーザへの操作支援方法を決定する操作支援決定手段、112はディスプレイ等の出力手段、113は出力手段の一つであり、ユーザへの選択肢を提示する選択肢提示手段、114は出力手段の一つであり、操作支援決定部111により決定された操作支援をユーザに提供する操作支援提示手段、115はタイマーである。
図1は本発明の実施の形態1における操作支援装置の構成を示す図である。図1において、101はユーザからの入力を受け付ける入力手段、102は入力手段一つである選択入力手段、103は選択肢選択手段で選択された選択肢から選択単語を抽出する選択単語抽出手段、104は操作支援装置の全般的な制御処理を行う制御手段、105は操作履歴を保存する操作履歴記憶手段、106はユーザ単語概念を作成するために必要なテキストコーパスが記憶されているテキストコーパス記憶手段、107はユーザの単語概念が記憶されているユーザ単語概念手段、108はシステムの各機能の説明と各機能を107に記憶されるユーザ単語概念を基に表現した各機能概念が記憶されている機能概念記憶手段、109はユーザの操作意図を105に記憶されているユーザの操作履歴と107に記憶されているユーザ単語概念を用いてユーザの意図を計算するユーザ意図計算手段、110は108に記憶されている機能概念と109で計算されたユーザの意図を比較することで、ユーザの目的の機能を推定するユーザ目的推定手段、111はユーザ目的推定手段110で推定されたユーザの目的の機能に応じてユーザへの操作支援方法を決定する操作支援決定手段、112はディスプレイ等の出力手段、113は出力手段の一つであり、ユーザへの選択肢を提示する選択肢提示手段、114は出力手段の一つであり、操作支援決定部111により決定された操作支援をユーザに提供する操作支援提示手段、115はタイマーである。
前記のように構成された操作支援装置の例として、DVDレコーダにおける操作支援装置を用いた具体的な動作説明を図2および図3に示すフローチャートを中心して説明する。
まずオフラインでの処理について図2のフローチャートを用いて説明する。
なお、以降説明するオフラインの処理はユーザ単語概念と機能概念を作成するための処理であり、ユーザ単語概念を作成するために利用するテキストコーパスが変化しない場合、一度の処理でよい。よってオンラインの処理の前であればいつ行ってもよい。
ステップ201において、制御手段104はテキストコーパス記憶手段106に保存されるテキストコーパスを用いてユーザの単語概念を構築する。なお、本実施の形態でのユーザ単語概念を作成するために利用するテキストコーパスとして一般的なユーザの単語概念を構築するために、新聞記事やマニュアル、インターネット上のホームページなどの一般的な文章の集合を利用する。
本実施例ではおけるテキストコーパスからユーザの単語意味概念を作成する手法として潜在的意味解析(Latent Semantic Analysis;LSA)を用いる。
潜在意味解析では、さまざまな文脈において語の意味がどのように使用されているかを大規模なテキストコーパスに現れるすべての語や語の集合に対し統計的な計算(特異値分解)と次元縮約を施すことによって導出し意味空間として表現する理論であり、各語や文脈をある次元のベクトルでの表現が可能となる。このようにして作成される意味空間が人間の知識を反映していることは、さまざまな方面で検証されている(日本知能情報ファジイ学会誌「用語解説」2005年2月号掲載)。
上記意味空間を作成した結果、各語や文脈がベクトルで表現されるため、各語や文脈の類似性をベクトルの内積により求めることができる。以後このようにして作られた意味空間を上での単語ベクトルを単語意味ベクトルと表現し、単語間の内積で求められる距離を単語間の意味的な近さと表現する。また、作成された意味空間をユーザの単語概念と表現する。
具体的にあるテキストコーパスより作成したより作成された単語意味ベクトルを用いて単語「番組」と単語「ダビング」「録画」「変更」「設定」「停止」との単語間の意味的近さを求めた結果を図4に示す。なお図4における意味的距離は値が大きいほど単語1と単語2の意味的距離が近いことを示す。このコーパスで作成した単語間の意味の近さとしては「番組」という単語に対し「ダビング」や「録画」は意味的に近いが、「止める」は遠いという結果になっている。
ステップ202において、制御手段104は機能概念記憶手段108に記憶される図5に示すようなシステムの機能を説明する文章から各機能を特徴付ける単語を抽出する。
なお図5において項目501は機能を管理するのに利用する機能ナンバーであり、項目502は機能名であり、項目503は各機能の説明や、操作方法、コメントなどが記されている機能説明であり、項目504は機能を実現するための選択すべき項目が記されている操作手順である。この各機能の説明情報の内容はマニュアルをそのまま利用してもよいし、別途作成してもよい。
具体的な各機能を特徴付ける単語の抽出方法としては、機能名や機能説明の文書を形態素解析し、形態素に分割する。分割された形態素のうち、特定のひとつもしくは複数の形態素を連結したものを機能を特徴付ける単語として抽出する。より具体的には、各機能を特徴付ける単語として機能名や機能説明に出てく形態素の品詞(名詞と動詞など)をもとに決めてもよいし、形態素の出現頻度情報を利用して決定してもよい。出現頻度の利用方法としてはある機能の機能名や説明文において出現頻度が高くかつ他の機能の機能名や説明文にはおいては出現頻度が低い形態素を機能を特徴付ける単語とする方法などがある。
ステップ203において、制御手段104はステップ202で抽出した各機能を特徴付ける単語をユーザ単語概念記憶手段107から検索し、各単語の単語意味ベクトルを取得する。
ステップ204において、ステップ203で抽出された各機能を特徴付ける単語の意味ベクトルを足すことで、各機能を特徴付ける意味ベクトルを作成する。以後この機能を特徴付ける意味ベクトルを単に機能概念ベクトルと表現する。
例えば図5の機能ナンバー1の機能(以後単に機能1と記述)においてステップ202で抽出され、ステップ203でユーザ単語概念上に射影してベクトル化された機能を特徴付ける単語が「録画」「時間」「指定」「予約」「タイマー」であったとする。ステップ204ではこれらの単語ベクトルを足すことで機能1の機能概念ベクトルを作成する。作成された機能1の機能概念ベクトルは前記機能を特徴付ける単語の意味ベクトルの和で構成されるので、各機能を特徴付ける単語に近い単語と比較すると意味的に近いと判断される。より具体的には、「録画」や「予約」に近い単語である「番組」や、「時間」や「タイマー」に近い単語である「設定」という単語に対して、機能1は意味的に近いと判断される可能性が高い。
なお、各単語意味ベクトルを足すときに、前記機能を特徴付ける単語の抽出方法に基づいて重み付けを行って足してもよい。具体的には品詞で機能を特徴付ける単語を抽出した場合、例えば動詞の方を名詞より高い重みをつけて足してもよいし、単語の出現頻度で機能を特徴付ける単語を抽出する場合は、例えば機能名や機能の説明文に含まれる出現頻度が高い単語や他の機能の機能名や説明文において出現頻度の低い単語に高い重みをつける方法などが考えられる。
このように求められた機能概念ベクトルを機能概念記憶手段108に各機能に対応した形で保存する。図6に保存された例を示す。図6において項目601は図5の項目501に対応する機能ナンバーであり、項目602は前記方法により抽出された機能名や機能説明から抽出した機能を特徴付ける単語(特徴単語)であり、項目603は前記特徴単語をユーザ単語概念を利用して意味ベクトル化し、各単語の意味ベクトルを足すことで作成された機能概念ベクトルである。
次にオンラインでの処理について図3のフローチャートを用いて説明する。
ステップ301において、ユーザが入力手段101の選択入力手段102にて選択した結果は選択単語抽出手段103で選択された項目の特徴単語抽出を行い、制御部104に渡される。制御部104ではこの入力結果を操作履歴記憶部105に保存すると共に、システムの動作制御に利用する。なお、選択項目からの特徴単語抽出は前記ステップ202で説明したように品詞の情報や出現頻度の情報をもとに決定する。
図7に操作履歴記憶手段105に保存される操作履歴の具体例を示す。図7に示す操作履歴は機能「キーワード検索を行って予約」を目的とするユーザの操作履歴の例である。本操作履歴の例では、ユーザが「戻る」以外の選択肢を選んだときの情報を操作履歴として保存する例について具体例を示したが、システムの動作に必要であれば他の情報を保存してもよい。図7において項目701は履歴ナンバーであり、項目702は選択時の時間、項目703は選択時の停滞時間であり選択項目上にカーソルが移動してから選択項目が押されるまでの時間である。項目704は表示画面名(メニュー画面名)であり、項目705は項目704で示される表示画面の中からユーザが選んだ選択項目名であり、項目706は項目705で示されるユーザが選択した選択項目から前記選択単語抽出手段で抽出された選択項目の特徴単語である(以後これを単に選択単語と記述する)。なお、この例では例えば選択項目「機能選択」に対し特徴単語として「機能」「選択」というように選択項目名の形態素解析結果から名詞と動詞を選択単語として項目705に保存する例を示したが、どのような形態素を選択単語として保存するかは設計者の意図に応じて変更してもよい。
図7に示される操作履歴の具体的な操作シーケンスを図8に示される表示画面を使って説明する。まずユーザはトップメニューの画面である図8のメニュー画面1(トップメニュー)から選択項目「機能選択」を選択する(履歴ナンバー1)。「機能選択」が選択された結果、図8のメニュー画面2(機能選択画面)が表示され、ユーザはその選択肢の中から「その他の機能」を選択する(履歴ナンバー2)。「その他の機能」が選択された結果、図8のメニュー画面3(その他の機能画面)が表示され、ユーザはその選択肢の中から「メール/情報」を選択する(履歴ナンバー3)。ここで、ユーザは「メール/情報」の画面を見て、ユーザの目的機能では無いと判断し、「戻る」を選択する。本システムでは「戻る」を選択するとトップメニューである図8のメニュー画面1(トップメニュー)に戻る設計であるため、ユーザは図8のメニュー画面1(トップメニュー)から再び「機能選択」を選択する(履歴ナンバー4)。「機能選択」を選択した結果、再び図8のメニュー画面2(機能選択画面)が表示され、ユーザはその選択肢の中から今度は「再生ナビ」を選択する(履歴ナンバー5)。しかし、ここでやはり、ユーザの目的機能では無いと判断し、「戻る」を選択して図8のメニュー画面1(トップメニュー)に戻る。次にユーザは図8のメニュー画面1(トップメニュー)において「予約確認」を選択する(履歴ナンバー6)。しかし、ここでもユーザの目的機能では無いと判断し、「戻る」を選択して図8のメニュー画面1(トップメニュー)に戻るが、再度「予約確認」を選択する(履歴ナンバー7)。
ステップ302において、制御部104はユーザに対して操作支援が必要か否かの判断を行う。これは操作履歴から停滞時間や特定パターンの検出により自動で判断してもよいし、入力手段101からの操作支援要求の入力により判断してもよい。具体的には、10秒以上選択項目上で停滞した場合に操作支援が必要と判断し、図7の履歴ナンバー7の時点で操作支援を行ったり、同じ選択項目を選ぶパターンを検出して、図7の履歴ナンバー4や7の時点で操作支援を行ったり、図8の各画面にある「ヘルプ」という項目をユーザが選択した時点で操作支援を行ってもよい。
ステップ302で操作支援の必要が無いと判断された場合、ステップ302のNO、即ちステップ303へ進む。ステップ303では制御部104が入力操作に応じた制御を行い、ステップ308へ進む。ステップ308において、制御部104は操作の終了か否かを判断する。もし、操作の終了ではなく、引き続き入力が必要な場合はステップ308のNO、即ちステップ301へ進み、再びユーザからの操作入力を受け付ける。もし、操作の終了であると判断された場合、エンドに進む。
一方、ステップ302で操作支援が必要であると判断された場合、ステップ302のYES、即ちステップ304へ進む。
ステップ304からステップ307にかけて行われる処理の具体例を図7で示される操作履歴の例を用いて説明する。
まず、ステップ304およびステップ305において、ユーザ意図計算手段109はユーザの操作履歴からユーザの操作意図が含まれる意味ベクトルを作成する。
具体的には、ステップ304において、ユーザ意図計算手段109は操作履歴記憶手段105に保存されている操作履歴から選択単語を抽出し、各選択単語についてユーザ単語概念記憶部107で対応する意味ベクトルを取得する。例えば、図7の項目706に保存される各選択単語「機能」「選択」「情報」「メール」「予約」「確認」「再生」「ナビ」についての各々の意味ベクトルを抽出する。
ステップ305において、ステップ304で取得された選択単語の各意味ベクトルを足すことでユーザの操作を特徴付ける意味ベクトルを作成する。より具体的には図7の各履歴ナンバーで取得した選択単語をベクトル化し順次足していく。よって最終的には「機能」を意味する意味ベクトルは計3回足されることになり、同様に「選択」や「予約」や「確認」はそれぞれ2回ずつ足されることになる。なお、このようにして作成されたベクトルはユーザが選択した単語をユーザの単語概念を基に作成するので、ユーザの意図を十分に反映したベクトルであるといえる。以後このユーザの意図を十分に反映した意味ベクトルをユーザ操作意図ベクトルと記述する。
次に、ステップ306において、ユーザ目的推定手段110はステップ305で作成したユーザ操作意図ベクトルとオフラインで作成した機能概念ベクトルの距離を求めることによりユーザの行いたい機能を推定する。具体的には、ユーザ操作意図ベクトルと最も距離の近い機能概念ベクトルに対応する機能をユーザの最も行いたい機能と推定する。なお各機能概念ベクトルとユーザ操作意図ベクトルとの距離は両ベクトルの内積で計算され、その結果はスカラーとなるため、ベクトル間の距離を目的推定スコアとして順位付けが可能であり、スコアの大きさや差を利用した操作支援が可能である。前記図7に示される操作履歴を入力例としたときのユーザ目的推定手段110が出力する目的推定結果の一例を図9に示す。項目901は推定順位であり、項目902は推定された機能の機能名、項目903は前記目的推定スコアである。なおこの具体例において、ユーザの目的機能である「キーワード検索を行って予約」が上位にあるのは、ユーザの単語概念上において「情報」や「メール」や「ナビ」という単語の意味が「検索」という単語の意味と近い距離にあるためである。このように、一見関係の無さそうな選択項目に対してユーザが選択した単語の意味をユーザの単語概念を利用して解釈を行うことで、正しいユーザの目的が推定可能となる。
そして、ステップ307において、操作支援決定部111はステップ308で計算された推定結果と機能概念記憶手段108に記憶されている各機能に関する詳細な情報や操作手順などを基にユーザの操作支援方法を決定する。決定した操作支援に必要な画面や音声などを操作支援提示部114に提示する。
操作支援の具体的な一例を図10に示す。項目1001は機能の予測順位であり、項目1002は予測結果であり、項目1003は操作手順・詳細説明表示のボタンであり、項目1004はユーザが選択した操作の順番に準じた番号であり、項目1005はユーザが操作支援を必要とするまでに選択した項目から抽出された選択単語であり、項目1006は項目1005で示される選択単語に関して単語間の意味的距離が近い単語であり、1007はキーワード検索の単語入力ボックスである。
本操作支援画面例において、表示された予測機能の中にユーザの行いたかった機能がる場合は、項目1002内の「GO」ボタンを押すことで直接その操作画面に遷移することができる。もし直接遷移するのではなく操作手順やこの操作によってどんなことができるのか等、操作に関する情報が知りたい場合は項目1003に示される「操作手順」ボタンを押すことで、操作手順や関連情報を知ることができる。また、予測順位5位の「ダウンロード予約の方法を選ぶ」のように予測機能の結果がある操作の一部であったり、操作ではなく説明である場合は項目1002には「GO」ボタンは表示されず、項目1003には「詳細説明」ボタンが表示される。この「詳細説明」ボタンを押すと、予測機能に書かれている内容について詳細な説明が提示される。また、本操作支援画面例で示される操作支援においてはキーワード検索も可能である。1007のキーワード検索用単語入力ボックスには直接キーワードを入力してもよいが、本操作支援例では、項目1005にユーザが実際選択した選択項目から抽出した単語を表示し、項目1006に項目1005に表示される単語に意味的距離が近い単語をユーザ単語概念記憶手段107を利用して計算した結果を表示する。ユーザが項目1005及び項目1006に表示される単語を選択すると選択された単語が自動的にキーワード検索用単語入力ボックスに入力される。このような入力インタフェースを持つことで、単にキーワードの入力操作が楽になるだけではなく、キーワードを思いつかないユーザにとっても、関連単語が表示されるため容易にキーワード検索が可能となる。さらに、この関連単語はユーザの単語概念上の単語の意味ベクトルを用いて計算するため、予め全ての単語に対してシステム開発者が用意する必要が無く、しかもユーザの単語概念に合った関連単語の表示が可能となる。なお、キーワード検索は1007に入力された1つもしくは複数の単語を利用したキーワードマッチングの検索でもよいし、入力された単語の意味ベクトルを足し合わせて作成されるベクトルと機能概念ベクトルとの距離を内積を用いて計算してもよい。
ステップ307以降は前記ユーザに支援が無い処理と同じ処理を行う。
以上の動作により、ユーザが選択した項目の単語の意味からユーザの単語概念を考慮し、目的機能の推定を行うため、選択項目で使われる単語の意味をシステムで定義された意味ではなくユーザの単語概念で選択してしまうことによって生じるユーザの困惑状態に対して適切な操作支援が実現可能となる。
(実施の形態2)
上記実施の形態1によれば、選択項目の単語の意味をユーザの単語概念により表現し、目的推定を行うことで、ユーザにとって適切な操作支援を実現している。
上記実施の形態1によれば、選択項目の単語の意味をユーザの単語概念により表現し、目的推定を行うことで、ユーザにとって適切な操作支援を実現している。
本実施の形態では、さらに、ユーザ単語概念における単語間の意味的距離をより実際のユーザの持つ意味的距離に近づけるため、ユーザごとにユーザ単語概念を作成した操作支援の実現方法について述べる。
図11は本発明の実施の形態2における操作支援装置の構成を示す図である。
実施の形態2と上記実施の形態1との相違点は、ユーザ指定入力手段1116およびテキストコーパス取得手段1117およびユーザ単語概念取得手段1118およびユーザ情報記憶手段1119が追加されたことと、テキストコーパス記憶手段1106とユーザ単語概念記憶手段1107の記憶方法が登録ユーザごとにデータを記憶するという点で異なるというものであり、他は実施の形態と同一である。従って本実施の形態においては、その相違点を中心に説明する。
まず、オフラインについて図12を用いて説明する。
本実施の形態におけるオフライン処理において、上記実施の形態1との相違点は、図2の処理において、ステップ201の処理が異なる点である。そこでステップ202からステップ204の処理であるステップ1205の詳細な説明は省略する。
ステップ1201において、テキストコーパス取得手段1117はユーザ情報記憶手段1119に登録されている各ユーザがある一定期間で利用したテキストコーパスを取得する。ここでいうユーザが利用したテキストコーパスとは、例えばインターネットの閲覧やメール、電子ブック、ユーザが持っている他の機器のマニュアルなどテキスト化された電子情報であり、それを保持する機器から取得する。
ステップ1202において、制御部1104は取得したテキストコーパスを、予めテキストコーパス手段に記憶されているテキストコーパスと比較し、追加情報があるか否かを判断する。なお、ステップ1201において、テキストコーパスを取得するのではなく、各テキストコーパス提供機器から、差分があるか無いかの判断を受け取り、ステップ1202ではその情報を基に追加情報があるか否かの判断を行ってもよい。より具体的には、例えばステップ1201において、インターネットの閲覧ページのテキストコーパスを取得している機器からインターネットの閲覧の履歴が前回取得時から変更されていないとの情報を受け取った場合、ステップ1202ではNOに進む。
ステップ1202でユーザが利用したテキストコーパスに追加情報が無い場合、ステップ1202のNO、即ちステップ1203に進み各機能概念ベクトルがすでに構築されているかの判断を行う。もし構築済みならステップ1203のYES即ち処理は終了であり、もし構築がまだであればステップ1203のNO即ちステップ1205へ進み上記実施例1のステップ202からステップ204までの処理を行い、機能概念ベクトルを構築する。
一方ステップ1202でユーザが利用したテキストコーパスに追加情報がある場合、ステップ1202のYES、即ちステップ1204へ進み、制御部1104は追加されたテキストコーパスを反映させてユーザ単語概念の構築を行う。なお、常にテキストコーパスを追加していると、処理するテキストコーパスが限りなく増えていくので、追加情報を保存しておき、ある一定時間以上以前に追加されたテキストコーパスは消去し、ユーザ単語概念の構築に利用しないなどの処理をしてもよい。なお、前記一定時間はテキストコーパスの種類やテキストコーパスを取得しているシステムによって変更させてもよい。具体的には、メールやインターネットのような毎日変化するようなコーパスに対しては、追加テキストコーパスの量が大きくなるため、前記テキストを消去するのに利用する一定時間は短くし、使用機器のマニュアルなど時間に対して変化の少ないコーパスに対しては前記テキストを消去するのに利用する一定時間を長くする。
ステップ1204でのユーザ単語概念の構築が終わるとステップ1205へ進み上記実施例1のステップ202からステップ204までの処理を行い、機能概念ベクトルを構築する。
なお、上記例ではテキストコーパス取得手段1117を使ってテキストコーパスを取得し、ユーザ単語概念を構築する例について述べたが、ユーザ単語概念取得手段1118を使って既に構築されたユーザ単語概念を取得し、それをユーザ単語概念記憶手段1107に保存してもよい。これにより例えば自分の単語の利用感覚に似た友人や家族のユーザ単語概念を利用したり、自分に適したユーザ単語概念を構築してくれるサービス会社から購入したデータを利用したりすることで、より自分にあった操作支援を受けることが可能となる。
次にオンラインでの処理について図11の構成図と図13のフローチャートを用いて説明する。
本実施の形態におけるオンライン処理の上記実施の形態1との相違点としては、図3の処理において、ステップ301の処理の前に図13の処理が行われる点である。そこで、図11の構成図と13のフローチャートを用いて相違点のみ説明する。
ステップ1301では、ユーザ指定入力手段1116からユーザの指定が行われたか否かの判断を制御部1104が行う。もし利用するユーザの指定に関する入力がない場合、ステップ1301のNO、即ちステップ1302へ進む。ステップ1302では現在設定されているユーザ単語概念を操作支援に利用するユーザ単語概念としてセットする。なお現在設定されているユーザ単語概念ではなく初期値のユーザ単語概念を設定してもよい。
一方ユーザ指定入力手段1116からユーザの指定が行われた場合、ステップ1301のYES、即ちステップ1303へ進む。ステップ1303では、指定されたユーザのユーザ単語概念を操作支援に利用するユーザ単語概念としてセットする。
これ以降の処理の説明は上記実施例の図3ステップ301以降で行われる処理と同様であるので省略する。
以上の動作により、ユーザが利用しているテキストコーパスを用いてユーザの単語概念を構築し、さらにユーザ単語概念をユーザ毎に構築し目的推定に利用するため、より高精度な目的推定が可能となり、適切な操作支援が実現可能となる。
本発明は、選択型インタフェースを持つ多くの装置に対して利用可能であり、携帯電話やDVDレコーダなどの装置やコンテンツを検索するための選択型検索装置など、選択肢に意味を持つ単語が含まれる装置には特に有用であり、その利用可能性は非常に大きい。
101 入力手段
102 選択入力手段
103 選択単語抽出手段
104 制御手段
105 操作履歴記憶手段
106 テキストコーパス記憶手段
107 ユーザ単語概念記憶手段
108 機能概念記憶手段
109 ユーザ意図計算手段
110 ユーザ目的推定手段
111 操作支援決定手段
112 出力手段
113 選択肢提示手段
114 操作支援提示手段
115 タイマー
1101 入力手段
1102 選択入力手段
1103 選択単語抽出手段
1104 制御手段
1105 操作履歴記憶手段
1106 テキストコーパス記憶手段
1107 ユーザ単語概念記憶手段
1108 機能概念記憶手段
1109 ユーザ意図計算手段
1110 ユーザ目的推定手段
1111 操作支援決定手段
1112 出力手段
1113 選択肢提示手段
1114 操作支援提示手段
1115 タイマー
1116 ユーザ指定入力手段
1117 テキストコーパス取得手段
1118 ユーザ単語概念取得手段
1119 ユーザ情報記憶手段
102 選択入力手段
103 選択単語抽出手段
104 制御手段
105 操作履歴記憶手段
106 テキストコーパス記憶手段
107 ユーザ単語概念記憶手段
108 機能概念記憶手段
109 ユーザ意図計算手段
110 ユーザ目的推定手段
111 操作支援決定手段
112 出力手段
113 選択肢提示手段
114 操作支援提示手段
115 タイマー
1101 入力手段
1102 選択入力手段
1103 選択単語抽出手段
1104 制御手段
1105 操作履歴記憶手段
1106 テキストコーパス記憶手段
1107 ユーザ単語概念記憶手段
1108 機能概念記憶手段
1109 ユーザ意図計算手段
1110 ユーザ目的推定手段
1111 操作支援決定手段
1112 出力手段
1113 選択肢提示手段
1114 操作支援提示手段
1115 タイマー
1116 ユーザ指定入力手段
1117 テキストコーパス取得手段
1118 ユーザ単語概念取得手段
1119 ユーザ情報記憶手段
Claims (6)
- ユーザの操作入力よりユーザの目的を推定し、操作支援を行うことが可能な操作支援装置であって、
ユーザに対して選択肢を提示する選択肢提示手段と、
前記選択肢からユーザが選択した項目にある単語を抽出する選択単語抽出手段と、
テキストコーパスから作成されたユーザの単語間の意味的な類似性を表現できる単語意味ベクトルを保存するするユーザ単語概念記憶手段と、
目的となる各機能、又は各コンテンツの各々に対し、前記単語意味ベクトルを用いて計算された各機能又はコンテンツを特徴付ける意味ベクトルである機能概念ベクトルを保存する機能概念記憶手段と、
前記抽出された単語の集合から前記単語意味ベクトルを用いてユーザの操作意図を表すユーザ操作意図ベクトルを計算するユーザ意図計算手段と、
前記ユーザ操作意図ベクトルと、前記機能概念ベクトルの距離を計算することで、ユーザの目的を推定するユーザ目的推定手段と、
前記推定された目的をもとに操作支援を決定する操作支援決定手段と、
を備える操作支援装置。 - 請求項1記載の操作支援装置において、
さらにテキストコーパス取得部を備え、ユーザが利用しているテキストコーパスを動的に取得し、取得したテキストコーパスからユーザ単語概念を作成する操作支援装置。 - 請求項1記載の操作支援装置において、
さらにユーザ単語概念取得手段を備え、既に外部で作成したユーザ単語概念を取得し、取得したユーザ単語概念を用いて目的推定および操作支援を行う操作支援装置。 - 請求項2および請求項3記載の操作支援装置において、
ユーザ指定入力手段と、ユーザ情報記憶手段を備え、ユーザに応じて前記ユーザ意図単語概念を切り替える操作支援装置。 - ユーザの操作入力よりユーザの目的を推定し操作支援を行うことが可能な操作支援方法であって、
ユーザに対して選択肢を提示する選択肢提ステップと、
前記選択肢からユーザが選択した項目にある単語を抽出する選択単語抽出ステップと、
テキストコーパスから作成されたユーザの単語間の意味的な類似性を表現できる単語意味ベクトルを保存するするユーザ単語概念記憶データベースから、前記抽出された単語の集合から前記単語意味ベクトルを選択し、ユーザの操作意図を表すユーザ操作意図ベクトルを計算するユーザ意図計算ステップと、
目的となる各機能、又は各コンテンツの各々に対し、前記単語意味ベクトルを用いて計算された各機能又はコンテンツを特徴付ける意味ベクトルである機能概念ベクトルを保存する機能概念記憶データベースから選択された機能概念ベクトルと前記ユーザ操作意図ベクトルとの距離を計算することで、ユーザの目的を推定するユーザ目的推定ステップと、
前記推定された目的をもとに操作支援を決定する操作支援決定ステップと、
を含む操作支援方法。 - ユーザの操作入力よりユーザの目的を推定し操作支援を行うことが可能な操作支援方法をコンピュータに実行させるプログラムであって、
ユーザに対して選択肢を提示する選択肢提ステップと、
前記選択肢からユーザが選択した項目にある単語を抽出する選択単語抽出ステップと、
テキストコーパスから作成されたユーザの単語間の意味的な類似性を表現できる単語意味ベクトルを保存するするユーザ単語概念記憶データベースから、前記抽出された単語の集合から前記単語意味ベクトルを選択し、ユーザの操作意図を表すユーザ操作意図ベクトルを計算するユーザ意図計算ステップと、
目的となる各機能、又は各コンテンツの各々に対し、前記単語意味ベクトルを用いて計算された各機能又はコンテンツを特徴付ける意味ベクトルである機能概念ベクトルを保存する機能概念記憶データベースから選択された機能概念ベクトルと前記ユーザ操作意図ベクトルとの距離を計算することで、ユーザの目的を推定するユーザ目的推定ステップと、
前記推定された目的をもとに操作支援を決定する操作支援決定ステップと、
をコンピュータに実行させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006143835A JP2007316803A (ja) | 2006-05-24 | 2006-05-24 | 操作支援装置および操作支援方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006143835A JP2007316803A (ja) | 2006-05-24 | 2006-05-24 | 操作支援装置および操作支援方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007316803A true JP2007316803A (ja) | 2007-12-06 |
Family
ID=38850623
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006143835A Pending JP2007316803A (ja) | 2006-05-24 | 2006-05-24 | 操作支援装置および操作支援方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007316803A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010198191A (ja) * | 2009-02-24 | 2010-09-09 | Nec Corp | 操作支援システム、操作支援方法、プログラム及び記録媒体 |
CN101952812A (zh) * | 2008-02-26 | 2011-01-19 | 松下电器产业株式会社 | 操作支援装置以及操作支援方法 |
JP2019525272A (ja) * | 2016-06-20 | 2019-09-05 | ロヴィ ガイズ, インコーポレイテッド | 自然言語クエリのための近似的テンプレート照合 |
JP2019212321A (ja) * | 2015-06-17 | 2019-12-12 | パナソニックIpマネジメント株式会社 | 意味情報生成方法、意味情報生成装置、およびプログラム |
-
2006
- 2006-05-24 JP JP2006143835A patent/JP2007316803A/ja active Pending
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101952812A (zh) * | 2008-02-26 | 2011-01-19 | 松下电器产业株式会社 | 操作支援装置以及操作支援方法 |
US8145753B2 (en) | 2008-02-26 | 2012-03-27 | Panasonic Corporation | Operation supporting device and method for supporting operation |
JP2010198191A (ja) * | 2009-02-24 | 2010-09-09 | Nec Corp | 操作支援システム、操作支援方法、プログラム及び記録媒体 |
JP2019212321A (ja) * | 2015-06-17 | 2019-12-12 | パナソニックIpマネジメント株式会社 | 意味情報生成方法、意味情報生成装置、およびプログラム |
JP2019525272A (ja) * | 2016-06-20 | 2019-09-05 | ロヴィ ガイズ, インコーポレイテッド | 自然言語クエリのための近似的テンプレート照合 |
US11200243B2 (en) | 2016-06-20 | 2021-12-14 | Rovi Guides, Inc. | Approximate template matching for natural language queries |
JP7016802B2 (ja) | 2016-06-20 | 2022-02-07 | ロヴィ ガイズ, インコーポレイテッド | 自然言語クエリのための近似的テンプレート照合 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4130846B2 (ja) | 操作支援装置および操作支援方法 | |
EP3053009B1 (en) | Emoji for text predictions | |
CN110770694B (zh) | 获得来自多个语料库的响应信息 | |
JP4203967B1 (ja) | 情報探索支援方法および情報探索支援装置 | |
US20210192134A1 (en) | Natural query completion for a real-time morphing interface | |
WO2013134871A1 (en) | System and method for conversation-based information search | |
KR101751113B1 (ko) | 기억 능력을 이용하는 다중 사용자 기반의 대화 관리 방법 및 이를 수행하는 장치 | |
Arguello | Aggregated search | |
CA2711400A1 (en) | Process and apparatus for selecting an item from a database | |
JP2015511746A5 (ja) | ||
CN105653134A (zh) | 应用切换方法及其*** | |
JP4308315B2 (ja) | 目的推定装置および目的推定方法 | |
WO2014204701A1 (en) | Providing web-based alternate text options | |
JP4542206B2 (ja) | 操作支援装置及び操作支援方法 | |
CN112631437A (zh) | 信息推荐方法、装置及电子设备 | |
JP2007316803A (ja) | 操作支援装置および操作支援方法 | |
JP5494493B2 (ja) | 情報検索装置、情報検索方法、及びプログラム | |
JP5962256B2 (ja) | 入力支援装置及び入力支援プログラム | |
JP6305630B2 (ja) | 文書検索装置、方法及びプログラム | |
Brown et al. | Design of multimodal mobile interfaces | |
JP2010020531A (ja) | 会話装置および会話方法 | |
JP5428622B2 (ja) | 電子機器及びプログラム | |
JP5289468B2 (ja) | 回答検索装置、方法、及びプログラム | |
US20220036887A1 (en) | Information processing device, information processing method, and program | |
JP2009059290A (ja) | 外国語文書作成支援装置、外国語文書作成支援方法および外国語文書作成支援プログラム |