JP5332908B2 - Operation guidance method - Google Patents
Operation guidance method Download PDFInfo
- Publication number
- JP5332908B2 JP5332908B2 JP2009127448A JP2009127448A JP5332908B2 JP 5332908 B2 JP5332908 B2 JP 5332908B2 JP 2009127448 A JP2009127448 A JP 2009127448A JP 2009127448 A JP2009127448 A JP 2009127448A JP 5332908 B2 JP5332908 B2 JP 5332908B2
- Authority
- JP
- Japan
- Prior art keywords
- user
- behavior
- information
- history
- action
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Description
本発明は、Webアプリ・パソコン・携帯電話・情報家電等のUI(ユーザインタフェース)においてユーザに操作を誘導する技術に関する。 The present invention relates to a technique for guiding an operation to a user in a UI (user interface) such as a web application, a personal computer, a mobile phone, and an information appliance.
近年、情報技術の発達によって機器やユーザに提供されるサービスが多様な機能を備えるようになってきており、ユーザがその操作を習得するのに手間がかかり結果として操作がうまくできないという問題が顕在化している。例えば、仕事や生活の場面でショッピングや各種申請などをWebページで提供されるUIを操作してネットワーク経由で行う場面が急増している。このような場面では、どのようにUIを操作してタスクを達成すればよいかが習得できず、そのたびに使い方を手間をかけて調べたりあるいは結局操作がわらずタスクが達成できないといった問題が発生している。また別の例としては、パソコンや情報家電(HDDレコーダ・携帯電話など)のたまにしか変更しない設定を変え、しばらく時間が経過した場合などに、その設定を再び変更しようとしても、どのメニューからたどりどのように変更すればよいかを忘れてしまい、やはり使い方を手間をかけて調べたり、あるいは結局操作がわからずタスクが達成できないなどの問題である。 In recent years, with the development of information technology, devices and services provided to users have become equipped with various functions, and there has been a problem that it is difficult for users to learn the operations and consequently the operations cannot be performed successfully. It has become. For example, there is an increasing number of scenes where shopping and various applications are performed via the network by operating the UI provided on the Web page in the scene of work or life. In such a situation, it is not possible to learn how to achieve the task by operating the UI, and each time it takes time to investigate how to use it, or after all, there is a problem that the task can not be achieved without operation ing. As another example, if you change a setting that only changes occasionally, such as a personal computer or information appliance (HDD recorder, mobile phone, etc.), and you try to change that setting again after a while, you can follow from which menu Forgetting how to make changes, too, it is a problem that, after all, it takes time to investigate how to use it, or after all, it does not know the operation and can not achieve the task.
このような問題に対して、ユーザが過去に自分で行った操作を記録しておき、その操作を再現表示することで操作の仕方をユーザ自身で思い出す方式が提案されている。このような方式として例えば、特許文献1や特許文献2で開示されている、ユーザが機器を操作しているときにそのユーザの過去の操作履歴(操作画面など)を、ユーザの求めに応じて再現表示する技術が開示されている。 In response to such a problem, a method has been proposed in which an operation performed by the user himself / herself in the past is recorded, and the operation is recalled by the user himself / herself by reproducing and displaying the operation. As such a method, for example, when the user is operating the device, the user's past operation history (such as an operation screen) disclosed in Patent Document 1 or Patent Document 2 can be obtained according to the user's request. A technique for reproducing and displaying is disclosed.
操作履歴をユーザに提示することで操作を誘導するこれらの方法は、以前に自分が行った操作履歴さえ再現表示されれば大抵の人は操作の方法を理解できるあるいは操作の方法を思い出せることを前提としている。しかし、以前の操作の時には、操作の仕方を人に聞いたりマニュアルなどで調べる等して理解していたが、その後に忘れてしまったような場合、操作履歴の再現表示だけでは操作で要求されている情報の意味がわからず、操作の仕方を正確に思い出せない状況はしばしば起こることである。 These methods of guiding the operation by presenting the operation history to the user are that most people can understand the operation method or remember the operation method as long as the operation history that they have performed before is reproduced and displayed. It is assumed. However, at the time of previous operation, it was understood by listening to the person how to operate it or examining it with a manual etc., but if it is forgotten after that, it is required for the operation only by reproducing the operation history. It often happens that you don't know the meaning of the information you have and you can't remember exactly how to operate it.
本発明の目的は、ユーザが機器に対して行った過去の操作の方法をより正確に思い出せるようにすることにある。 An object of the present invention is to enable a user to more accurately remember past operation methods performed on a device.
本発明の操作誘導装置は、ユーザがある機器に対して行った過去の操作履歴を記録する操作履歴記憶手段と、前記機器に対する操作以外のユーザの行動を観測するユーザ行動観測手段と、前記ユーザ行動観測手段で観測されたユーザの行動を記憶するユーザ行動記憶手段と、前記操作履歴記憶手段に記憶されている操作履歴の中から一つまたは複数の操作履歴を選択する表示履歴決定手段と、前記ユーザ行動記憶手段に記録されているユーザ行動の中で、前記表示履歴決定手段で選択された操作履歴と関連する行動である関連行動を抽出する関連行動情報抽出手段とを備える。 The operation guidance device of the present invention includes an operation history storage unit that records a history of past operations performed on a device by a user, a user behavior observation unit that observes user behavior other than the operation on the device, and the user User behavior storage means for storing user behavior observed by the behavior observation means, display history determination means for selecting one or more operation histories from the operation histories stored in the operation history storage means, And a related behavior information extracting unit that extracts a related behavior that is a behavior related to the operation history selected by the display history determination unit among the user behaviors recorded in the user behavior storage unit.
本発明によれば、抽出された関連行動によって、ユーザは機器に対して行った過去の操作の方法をより正確に思い出せるようになる。 According to the present invention, the extracted related behavior enables the user to more accurately remember the past operation methods performed on the device.
次に、本発明の第1の実施の形態について図面を参照して詳細に説明する。
[構成の説明]
図1を参照すると、本発明の第1の実施の形態は、ユーザが機器201に対して行った過去の操作履歴を記録する操作履歴記憶手段101と、ユーザの行動を観測するユーザ行動観測手段102と、ユーザ行動観測手段102で観測されたユーザの行動を記憶するユーザ行動記憶手段103と、操作履歴記憶手段101に記憶されている操作履歴の中から表示する操作履歴を決定する表示履歴決定手段104と、ユーザ行動記憶手段103に記録されているユーザ行動の中で、表示履歴決定手段104で決定された操作履歴と関連する行動である関連行動を抽出する関連行動情報抽出手段105と、関連行動情報抽出手段105で抽出した関連行動と操作履歴とを対応付けた表示内容を生成する表示生成手段106とからなる。
Next, a first embodiment of the present invention will be described in detail with reference to the drawings.
[Description of configuration]
Referring to FIG. 1, according to the first embodiment of the present invention, an operation
図2に示されるように、上記構成に加えて表示生成部106で生成された表示内容をユーザに対して提示する提示手段202を操作支援装置の構成に含めるようにしてもよい。提示手段202は液晶やブラウン管その他のディスプレイやその他の表示装置を用いることができる。
As shown in FIG. 2, in addition to the above configuration, a
操作履歴記憶手段101は、機器201に対するユーザの過去の操作履歴を記録する。ここで記録される操作履歴とは、1.ユーザが機器201に対して入力した情報、2.操作時に機器201がユーザに提供した情報、3.ユーザが操作している状況に関する情報、4.機器201内部の情報などである。これらの情報をそれぞれが入力や出力された時刻とともに記憶する。例えば機器201のGUI(グラフィカルユーザインターフェース)に対してユーザが行った操作を例に、以下に具体例を示す。
The operation
GUIにおいて「1.ユーザが機器に対して入力した情報」とは、メニュー選択ではユーザがどのメニューを選択したか、文字列の入力を促すためのスロットに対してユーザが入力した内容(文字列など)、ユーザの入力がなされた後の画面イメージなどである。また「2.操作時に機器がユーザに提供した情報」とは例えば、画面のタイトル名、画面に含まれる文字列、ボタンのラベル名、スロットの項目名、表示された画面イメージなどである。また「3.ユーザが操作している状況に関する情報」とは例えば、ユーザが画面を操作している様子を撮影した映像と音声であるとか、画面でのメニュー選択やマウスの動きといった状況の情報である。また「4.機器内部の情報」とは例えば、ユーザが操作している画面の画面名であるとか、実行しようとしているタスクのタスク名など機器やUI内部に定義されている情報である。1.2.に関してこれらの情報が入力または出力された時刻をあわせて記録する。3.4.に関してそれぞれの状況が発生した時刻をあわせて記憶する。なお、機器201に対するユーザの操作履歴を取得して操作履歴記憶手段101に記録する手段は、機器201内に例えばプログラムモジュール(図示せず)として実装されている。
In the GUI, “1. Information input by the user to the device” means what menu the user has selected in the menu selection, and what the user has input to the slot for prompting input of the character string (character string Etc.) and a screen image after the user input. The “2. Information provided to the user by the device during operation” includes, for example, a screen title name, a character string included in the screen, a button label name, a slot item name, a displayed screen image, and the like. Further, “3. Information on the situation that the user is operating” is, for example, video and audio that captures the situation where the user is operating the screen, or information on the situation such as menu selection or mouse movement on the screen. It is. Further, “4. Information inside the device” is information defined in the device or the UI such as the screen name of the screen operated by the user or the task name of the task to be executed. 1.2. The time when these pieces of information are input or output is recorded together. 3.4. The time at which each situation occurred is stored together. The means for acquiring the user's operation history for the
ユーザ行動観測手段102は、ユーザの行動を観測する手段である。ユーザの行動とは操作対象の機器201に対して行った操作(機器201を通じてアクセスするWebサービス等のサービスに対して行った操作を含む)以外でユーザが行った行動である。ユーザ行動観測手段102の目的はそのユーザの行動の中に含まれる、ユーザが対象とする機器やサービスの使い方に関する情報を得たときの行動および外部から得た情報を観測することにある。この目的のために具体的には以下のように構成される。 User behavior observation means 102 is means for observing user behavior. The user action is an action performed by the user other than an operation performed on the operation target device 201 (including an operation performed on a service such as a Web service accessed through the device 201). The purpose of the user behavior observation means 102 is to observe behavior and information obtained from the outside when information on how to use a device or service targeted by the user is included in the behavior of the user. Specifically, for this purpose, it is configured as follows.
例えば、ユーザが操作の仕方を対面で人から聞いて獲得する場合に好適はものとして、ユーザ行動観測手段102は以下に例示するようなものを用いることができる。
1.ユーザの位置やユーザが対面して話を聞いた人の位置を認識するための手段である、RFID・赤外線タグ・超音波タグなどのタグによる位置同定方式や、画像からの顔や人物検出や、電話やパソコンによる在席管理管理システムなど、
2.ユーザと対面した人の会話を録音録画するためのマイクやカメラ
For example, the user behavior observing means 102 may be the one exemplified below, which is suitable for the case where the user obtains the method of operation by hearing from a person face-to-face.
1. Position identification methods using tags such as RFID, infrared tag, and ultrasonic tag, which are means for recognizing the position of the user and the position of the person who talked to the user face-to-face, , Presence management system by phone or computer,
2. Microphone and camera for recording and recording conversations between people
また、ユーザが操作の仕方を電話で人に問い合わせて獲得する場合に好適はものとして、ユーザ行動観測手段102は以下に例示するようなものを用いることができる。
1.ユーザの通話記録(誰と通話したか、通話開始時刻と終了時刻など)を取得する手段。例えば構内電話システムやそこから情報を得るシステムなど。
2.通話内容の音声や映像を取得する手段。電話の受話装置にマイクを設置するとかあるいは受話装置で受信した音声情報を取得する手段など。
Further, the user behavior observation means 102 may be the one exemplified below as a preferable method when the user obtains the user by inquiring about how to operate by telephone.
1. Means for acquiring a user's call record (who the call was made, call start time and end time, etc.). For example, a local telephone system or a system that obtains information from it.
2. Means for acquiring the audio and video of the call content. Means such as installing a microphone in the telephone receiver or acquiring voice information received by the receiver.
また、ユーザが操作の仕方をメールで人に問い合わせて獲得する場合に好適はものとして、ユーザ行動観測手段102は以下に例示するようなものを用いることができる。
1.ユーザのメール送受信記録(誰に対してメールを送信したか、誰からメールを受信したか、それぞれのメールの送受信時刻など)を取得する手段。例えばメールサーバから情報を得るシステムやユーザのメーラーから情報を得るシステムなど。
2.メールで送受信した内容を取得する手段。
In addition, as a case where the user preferably obtains the user by inquiring about how to perform the operation by e-mail, the user
1. Means for obtaining a user's mail transmission / reception record (who sent the mail, who received the mail, the time of sending / receiving each mail, etc.). For example, a system that obtains information from a mail server or a system that obtains information from a user mailer.
2. Means to acquire the contents sent and received by e-mail.
また、ユーザが操作の仕方をマニュアルやドキュメントを参照して獲得する場合に好適はものとして、ユーザ行動観測手段102は以下に例示するようなものを用いることができる。
1.ユーザがマニュアルやドキュメントのどの部分をいつ参照したかを獲得するために電子マニュアルや電子ドキュメントであればそれぞれを閲覧するためのソフトウェアの動作ログを取得する手段。
2.ユーザが閲覧したマニュアルやドキュメントの内容
In addition, as a preferable method when the user obtains the operation method by referring to a manual or a document, the user behavior observation means 102 can be as exemplified below.
1. Means for obtaining an operation log of software for viewing each part of an electronic manual or electronic document in order to obtain when the user refers to which part of the manual or document.
2. Contents of manuals and documents viewed by users
ユーザ行動記憶手段103は、ユーザ行動観測手段102で観測されたユーザの行動を記憶するもので、ハードディスクやメモリなどの記録媒体と記録されている情報の検索を可能にするインタフェースを有している。
The user
表示履歴決定手段104は、ユーザに対して表示する履歴を決定する手段であり、具体的には、ユーザ自身にユーザインタフェースを通じて表示する履歴を選択させる手段であってもよいし、ユーザが現在操作している部分を以前に操作した履歴を表示すると決定する手段であってもよい。
The display
関連行動情報抽出手段105は、ユーザ行動記憶手段103に記録されているユーザ行動の中で、表示履歴決定手段104で決定された操作履歴と関連する行動である関連行動を抽出する。関連する行動かどうかを推定する方法としては、決定された操作履歴が実行された時刻以前の近い時刻に行われたユーザ行動であるか否か、ユーザ履歴にあるユーザが入力した情報やユーザに提示された情報やそのときの機器内部の情報やユーザが操作している状況の情報に含まれている音声やテキストや単語や映像などに近い内容を含むユーザ行動であるか否かの、何れか一方または双方を考慮する方法がある。以下、具体的な例を挙げて説明する。
The related behavior
ユーザが操作の仕方を対面で人から聞いて獲得した場合に好適な推定方式としては、
方法1:操作した時刻より以前で近い時刻に人に接近し交わした会話を推定結果とする。
方法2:ユーザが行った会話の音声を音声認識しその結果に操作履歴に存在する語が含まれている会話を推定結果とする。
などの方法がある。方法1と方法2のそれぞれの推定結果を組合せて、例えばそれらの積集合となる会話を推定結果とするなどの方法をとっても良い。
As a suitable estimation method when the user acquires the operation method from a person in person,
Method 1: An estimated result is a conversation that approaches and exchanges with a person at a time before and before the operation time.
Method 2: The speech of the conversation performed by the user is recognized as a speech, and the conversation in which the word included in the operation history is included in the result is used as the estimation result.
There are methods. For example, the estimation results of the method 1 and the method 2 may be combined and, for example, a conversation that is a product set of them may be used as the estimation result.
また、ユーザが操作の仕方を電話で人に問い合わせて獲得した場合に好適な推定方式としては、
方法1:操作した時刻より以前で近い時刻に通話した会話を推定結果とする。
方法2:ユーザが行った通話の音声を音声認識しその結果に操作履歴に存在する語が含まれている会話を推定結果とする。
などの方法がある。方法1と方法2のそれぞれの推定結果を組合せて、例えばそれらの積集合となる会話や音声を推定結果とするなどの方法をとっても良い。
In addition, as a suitable estimation method when the user obtains by inquiring about how to operate by phone,
Method 1: A conversation made at a time earlier than the operated time is used as an estimation result.
Method 2: The speech of the call made by the user is recognized as a speech, and the conversation in which the words included in the operation history are included in the result is used as the estimation result.
There are methods. A combination of the estimation results of the method 1 and the method 2 may be used, for example, a conversation or speech that is a product set of them is used as an estimation result.
また、ユーザが操作の仕方をメールで人に問い合わせて獲得した場合に好適な推定方式としては、
方法1:操作した時刻より以前で近い時刻に送受信したメール群を推定結果とする。
方法2:ユーザが送受信したメールのうち操作履歴に存在する語が含まれているメールを推定結果とする。
などの方法がある。方法1と方法2のそれぞれの推定結果を組合せて、例えばそれらの積集合となるメールを推定結果とするなどの方法をとっても良い。またこれらの条件を満たすものの中でさらに覧している時間が長いメールを推定結果とする方法をとっても良い。
In addition, as a suitable estimation method when the user obtains by inquiring about how to operate by mail,
Method 1: A mail group transmitted / received at a time before and before the operated time is used as an estimation result.
Method 2: Out of mails sent and received by the user, mails containing words that exist in the operation history are used as the estimation results.
There are methods. For example, the estimation results of the method 1 and the method 2 may be combined and, for example, a mail that is a product set of them may be used as the estimation result. Further, it is possible to adopt a method in which an e-mail that has been viewed for a long time among those satisfying these conditions is used as an estimation result.
また、ユーザが操作の仕方をマニュアルやドキュメントを参照して獲得した場合に好適な推定方式としては、
方法1:操作した時刻より以前で近い時刻に閲覧していたマニュアルやドキュメントを推定結果とする。
方法2:ユーザが閲覧したマニュアルやドキュメントのうち操作履歴に存在する語が含まれているマニュアルやドキュメントを推定結果とする。
などの方法がある。方法1と方法2のそれぞれの推定結果を組合せて、例えばそれらの積集合となるマニュアルやドキュメントを推定結果とするなどの方法をとっても良い。またこれらの条件を満たすものの中でさらに閲覧している時間が長いマニュアルやドキュメントを推定結果とする方法をとっても良い。
In addition, as a suitable estimation method when the user acquires the operation method with reference to a manual or a document,
Method 1: A manual or document that was browsed at a time earlier than the operated time is used as the estimation result.
Method 2: Among manuals and documents browsed by the user, manuals and documents that include words that exist in the operation history are used as estimation results.
There are methods. A combination of the estimation results of the method 1 and the method 2 may be used, for example, a manual or a document that is a product set of them may be used as the estimation result. Further, among those satisfying these conditions, a method may be used in which a manual or document that is browsed for a long time is used as an estimation result.
表示生成手段106は、関連行動情報抽出手段105で抽出した関連行動と操作履歴とを対応付けた表示内容を生成する。具体的には、操作履歴を表示するとともに、同じ画面中に抽出した関連行動を表示するとか関連行動の候補を示すテキストやサムネイル画像等を表示しておきユーザが選択したものを表示するようにする方法などをとる。また図3のように、ボタンやテキスト入力スロットなどといった個々のGUI部品(図3中の黒または白の四角など)によって操作履歴が表示されている場合に、そのGUI部品と関連付けて、関連行動を表示するようにしてもよい。
The
[動作]
次に図4に示されたフローチャートを参照しながら本実施の形態の動作手順を説明する。本実施の形態の動作は、操作履歴やユーザ行動を蓄積するフェーズである履歴蓄積フェーズと、蓄積された履歴を元にユーザの機器やサービスの操作を支援する運用フェーズとに分けられる。
[Operation]
Next, the operation procedure of this embodiment will be described with reference to the flowchart shown in FIG. The operation of the present embodiment is divided into a history accumulation phase, which is a phase for accumulating operation histories and user actions, and an operation phase for supporting user operations of devices and services based on the accumulated history.
まず履歴蓄積フェーズの動作を説明する。履歴蓄積フェーズでは、機器201からの操作履歴を操作履歴記憶手段101で記録する(図4の1001)。これは機器201が利用されている間は全区間あるいは一部区間に対して行われる。また並行してユーザの行動をユーザ行動観測手段102で観測し(図4の2001)、ユーザ行動観測手段102で観測したユーザ行動をユーザ行動記憶手段103に記憶する(図4の2002)。これもユーザの全行動を観測して記録しても良いし、一部区間を観測して記録しても良い。このようにして操作履歴およびユーザ行動を蓄積する。
First, the operation of the history accumulation phase will be described. In the history accumulation phase, the operation history from the
次に運用フェーズでの動作を説明する。運用フェーズでは、まず表示履歴決定手段104で、表示する履歴を決定する(図4の3001)。次に、関連行動情報抽出手段105で、表示する履歴の関連行動をユーザ行動記憶手段103より抽出する(図4の3002)。そして、表示生成手段106で、操作履歴と関連行動を関連付けた表示を生成する(図4の3003)。
Next, the operation in the operation phase will be described. In the operation phase, first, the display history determination means 104 determines the history to be displayed (3001 in FIG. 4). Next, the related behavior
このように、本実施の形態によれば、ユーザに対して過去の自らの操作履歴とともに、それに関連するユーザ行動の情報を表示するため、ユーザは操作履歴を見ただけでは思い出せなかった事柄についても、関連行動がヒントあるいは参考となって自らの記憶を呼び覚ますことができる。これにより、ユーザは機器に対して行った過去の操作の方法をより正確に思い出せるようになる。 As described above, according to the present embodiment, since the user's own operation history and the related user behavior information are displayed to the user, the user can not remember only by looking at the operation history. However, related actions can be used as hints or references to awaken their own memories. As a result, the user can more accurately remember past operation methods performed on the device.
また、操作履歴を見ても機器やサービスの使い方がわからない状況は、一度何らかの外部からの情報(人に聞くなど)で操作の仕方を知ることができ、以前の操作の時には理解をしていたが、その後に忘れてしまったケースに多い。この場合、操作の仕方を知ったときの情報を再び呼び出すことができればよいが、ユーザの記憶にのみ頼ってその情報を探し出す方法では、多様な情報源(人に聞く・メール・メモなど)のどこでそれを得たのかを正確に思い出すことが困難であることから、効率よく情報を探し出しアクセスすることが困難である。本実施の形態では、ユーザが操作の仕方を知ったときのユーザの行動とそのときアクセスしていた情報にはその操作に関連するテキストやその他の属性を含んでいる可能性が高く、またユーザが操作した時刻に近い時刻にその情報にアクセスしている可能性が高いという性質を利用して、ユーザ行動の中から操作履歴に関連するテキストや時間的近さやその他の属性が近いユーザ行動を抽出することで、ユーザが操作の仕方を知ったときの行動を同定することができる。そしてその行動をとったときに参照していた情報にアクセスすることができ操作の方法を思い出すことができる。 Also, if you do not know how to use the device or service even if you look at the operation history, you can know how to operate with some external information (such as listening to people) once and understood it at the previous operation However, there are many cases that have been forgotten. In this case, it is only necessary to be able to recall the information when knowing how to operate, but in the method of searching for the information by relying only on the user's memory, various information sources (listening to people, emails, memos, etc.) Because it is difficult to remember exactly where you got it, it is difficult to find and access information efficiently. In the present embodiment, the user's behavior when the user knows how to operate and the information accessed at that time are likely to contain text and other attributes related to the operation, and the user Using the property that there is a high possibility that the information is accessed at a time close to the time when the user operated, the user behavior is similar to the text related to the operation history, the temporal proximity and other attributes that are close By extracting, it is possible to identify the behavior when the user knows how to operate. Then, the user can access the information referred to when taking the action and can remember the operation method.
(第2の実施の形態)
次に添付図面を参照しながら、関連行動判定を行い関連行動のみを厳選して保存する本発明に係る第2の実施の形態を詳細に説明する。
(Second embodiment)
Next, with reference to the attached drawings, a second embodiment according to the present invention will be described in detail, in which relevant behavior determination is performed and only relevant behavior is carefully selected and stored.
(構成の説明)
本発明に係る第2の実施の形態は図5に示すように、第1の実施の形態の構成に加えてさらに、ユーザ行動観測手段102で観測されたユーザ行動が現在ユーザが機器201において実行している操作と関連する行動であるかどうかを判定する関連行動判定手段108を備え、ユーザ行動記憶手段107では、関連行動判定手段108で関連行動であると判定されたユーザ行動に対してどの操作履歴の関連行動であると判定されたかの情報とともに保存し、関連行動情報抽出手段105は、ユーザ行動記憶手段107に記録されているユーザ行動の中で、表示履歴決定手段104で決定された操作履歴と関連すると関連行動判定手段108で判定されたユーザ行動を関連行動として抽出するようにしている。
(Description of configuration)
In the second embodiment according to the present invention, as shown in FIG. 5, in addition to the configuration of the first embodiment, the user behavior observed by the user
図6に示されるように、上記構成に加えて表示生成部106で生成された表示内容をユーザに対して提示する提示手段202を操作支援装置の構成に含めるようにしてもよい。提示手段202は液晶やブラウン管その他のディスプレイやその他の表示装置を用いることができる。
As shown in FIG. 6, in addition to the above configuration, a
関連行動判定手段108は、現在ユーザが操作しているタスクの操作履歴を操作履歴記憶手段101から受け取り、その操作履歴と関連するユーザ行動を抽出する。例えば現在ユーザが機器201に対して或る操作をしている場合、当該操作の直近のユーザ行動を当該操作の関連行動として抽出する構成を取ることができる。また関連行動判定手段108はその内部にユーザ行動観測手段102の出力であるユーザ行動を蓄積しておき、蓄積したユーザ行動群に対して関連行動を判定する。蓄積する区間は一定時刻区間でもよいしその他の基準で選択的に蓄積しても良いし観測されたすべてのユーザ行動を蓄積しておいても良い。これらのユーザ行動に対する関連行動の判定は、第1の実施の形態で述べた関連行動情報抽出手段105での推定方法と同様の方法を用いることができる。具体的には、関連行動判定手段108は、ユーザ行動観測手段102で観測されたユーザ行動のうち、機器201に対して現在実行されている操作の時刻以前の近い時刻に行われたユーザ行動を当該操作の関連行動として推定する。また、関連行動判定手段108は、ユーザ行動観測手段102で観測されたユーザ行動のうち、機器201に対して現在実行されている操作の履歴にあるユーザが入力した情報、ユーザに提示された情報、そのときの機器内部の情報、またはユーザが操作している状況の情報に含まれている音声、テキスト、単語、または映像に近い内容を含むユーザ行動を当該操作の関連行動として推定する。さらに、関連行動判定手段108は、ユーザ行動観測手段102で観測されたユーザ行動のうち、機器201に対して現在実行されている操作の時刻以前の近い時刻に行われたユーザ行動であって、かつ、機器201に対して現在実行されている操作の履歴にあるユーザが入力した情報、ユーザに提示された情報、そのときの機器内部の情報、またはユーザが操作している状況の情報に含まれている音声、テキスト、単語、または映像に近い内容を含むユーザ行動を当該操作の関連行動として推定するようにしてもよい。
The related
また関連行動判定手段108は、判定対象のユーザ行動が関連情報であるかどうかをユーザに問い合わせ、ユーザから関連情報であるとの応答を入力した場合にそのユーザ行動を関連情報であると判定するようにしてもよい。ユーザとのやり取りはGUIや音声対話やその他のユーザインタフェースを通じて行われる。
The related
そして、関連行動判定手段108は、関連行動であると判定されたユーザ行動に対して、どこの操作履歴に対して関連行動であると判定されたかの情報を付与してユーザ行動記憶手段107で保持する。この情報は、例えば時刻でもよいし操作履歴と一意でひも付けをするためのIDをつけるなどして実現してもよい。
Then, the related
ユーザ行動記憶手段107は、関連行動判定手段105で関連行動であると判定されたユーザ行動に対してどの操作履歴の関連行動であると判定されたかの情報とともに保存する。さらに関連行動判定手段105で関連行動であると判定されたユーザ行動のみを保存する構成を取ることもできる。
The user
関連行動情報抽出手段105は、ユーザ行動記憶手段107に記録されているユーザ行動の中で、表示履歴決定手段104で決定された操作履歴と関連すると関連行動判定手段108で判定されたユーザ行動を関連行動として抽出する。なお、関連行動判定手段108で判定されたユーザ行動に対して第1の実施の形態で示した方法を用いてユーザ行動全体から関連行動の候補を抽出する構成をとっても良い。
The related behavior
[動作]
次に図7に示されたフローチャートを参照しながら本実施の形態の動作手順を説明する。本実施の形態の動作は、操作履歴やユーザ行動を蓄積するフェーズである履歴蓄積フェーズと、蓄積された履歴を元にユーザの機器やサービスの操作を支援する運用フェーズとに分けられる。まず履歴蓄積フェーズの動作を説明する。
[Operation]
Next, the operation procedure of this embodiment will be described with reference to the flowchart shown in FIG. The operation of the present embodiment is divided into a history accumulation phase, which is a phase for accumulating operation histories and user actions, and an operation phase for supporting user operations of devices and services based on the accumulated history. First, the operation of the history accumulation phase will be described.
履歴蓄積フェーズでは、機器201からの操作履歴を操作履歴記憶手段101で記録する(図7の1001)。これは機器201が利用されている間は全区間あるいは一部区間に対して行われる。また並行してユーザの行動をユーザ行動観測手段102で観測し(図7の2001)、関連行動判定手段108で、現在ユーザが操作しているタスクの操作履歴を操作履歴記憶手段101から受け取り、その操作履歴と関連するユーザ関連行動を抽出する(図7の2002)。そして、関連行動判定手段108で抽出されたユーザ行動が少なくとも含まれルように、ユーザ行動観測手段102で観測したユーザ行動をユーザ行動記憶手段107に記憶する(図7の2003)。
In the history accumulation phase, the operation history from the
次に運用フェーズでの動作を説明する。運用フェーズでは、まず表示履歴決定手段104で、表示する履歴を決定する(図7の3001)。次に、関連行動情報抽出手段105で、表示する履歴の関連行動をユーザ行動記憶手段107より抽出する(図7の3002)。そして、表示生成手段106で、操作履歴と関連行動を関連付けた表示を生成する(図7の3001)。
Next, the operation in the operation phase will be described. In the operation phase, the display
このように、本実施の形態によれば、第1の実施の形態と同様の理由により、ユーザは機器に対して行った過去の操作の方法をより正確に思い出せるようになる。 As described above, according to the present embodiment, the user can more accurately remember the past operation method performed on the device for the same reason as in the first embodiment.
さらに、関連行動判定手段108でユーザに対して関連行動であるかどうかを質問することでユーザは行動を行ってから比較的短い時間で関連行動であるかどうかを質問されるので関連行動であるかどうかをすぐ思い出すことができ、ユーザの負担無く関連行動の抽出精度を高めることができる効果もある。 Further, the related behavior determination means 108 asks the user whether the behavior is related behavior, so that the user is asked whether the behavior is related behavior in a relatively short time after performing the behavior. It is possible to immediately remember whether or not, and there is an effect that the extraction accuracy of related actions can be improved without burden on the user.
また関連行動判定手段108でユーザ行動が関連行動であるかどうかを判定されたもののみをユーザ行動記憶手段107で記憶する構成をとることもでき、この場合、ユーザ行動記憶手段107で記憶しておくユーザ行動の量を減らすことができ、少ない記憶領域でシステムを構成できる効果がある。
In addition, it is possible to adopt a configuration in which the user
以上本発明の実施の形態について説明したが、本発明は以上の実施の形態にのみ限定されず、その他各種の付加変更が可能である。また、本発明の操作誘導装置は、その有する機能をハードウェア的に実現することは勿論、コンピュータとプログラムとで実現することができる。プログラムは、磁気ディスクや半導体メモリ等のコンピュータ可読記録媒体に記録されて提供され、コンピュータの立ち上げ時などにコンピュータに読み取られ、そのコンピュータの動作を制御することにより、そのコンピュータを前述した各実施の形態における操作履歴記憶手段、ユーザ行動観測手段、ユーザ行動記憶手段、表示履歴決定手段、関連行動情報抽出手段、表示生成手段、関連行動判定手段として機能させる。 Although the embodiment of the present invention has been described above, the present invention is not limited to the above embodiment, and various other additions and modifications can be made. In addition, the operation guidance device of the present invention can be realized by a computer and a program as well as by realizing the functions of the operation guidance device by hardware. The program is provided by being recorded on a computer-readable recording medium such as a magnetic disk or a semiconductor memory, and is read by the computer at the time of starting up the computer, etc. In the form of operation history storage means, user behavior observation means, user behavior storage means, display history determination means, related behavior information extraction means, display generation means, and related behavior determination means.
本発明は、機器やシステム、例えば携帯電話・パソコン上のアプリケーションソフトウェア・Webアプリケーション・カーナビゲーション・電話応答システム・DVDレコーダ・ハードディスクレコーダ・テレビ・ゲーム機等や情報家電などその他の機器の使用方法をユーザに誘導する技術に適用可能である。 The present invention relates to a method of using other devices such as devices and systems, such as application software on mobile phones, personal computers, web applications, car navigation, telephone answering systems, DVD recorders, hard disk recorders, televisions, game machines, and information appliances. The present invention can be applied to a technique for guiding the user.
101…操作履歴記憶手段
102…ユーザ行動観測手段
103…ユーザ行動記憶手段
104…表示履歴決定手段
105…関連行動情報抽出手段
106…表示生成手段
107…ユーザ行動記憶手段
108…関連行動判定手段
201…機器
202…提示手段
101 ... Operation history storage means
102 ... User behavior observation means
103 ... User action storage means
104 ... Display history determination means
105 ... Related action information extraction means
106: Display generation means
107: User action storage means
108 ... Related action judgment means
201 ... Equipment
202 ... presentation means
Claims (33)
前記機器に対する操作以外のユーザの行動を観測するユーザ行動観測手段と、
前記ユーザ行動観測手段で観測されたユーザの行動を記憶するユーザ行動記憶手段と、
前記操作履歴記憶手段に記憶されている操作履歴の中から一つまたは複数の操作履歴を選択する表示履歴決定手段と、
前記ユーザ行動記憶手段に記録されているユーザ行動の中で、前記表示履歴決定手段で選択された操作履歴と関連する行動である関連行動を抽出する関連行動情報抽出手段と、
を備えることを特徴とする操作誘導装置。 Operation history storage means for recording a past operation history performed on a device by a user;
User behavior observation means for observing user behavior other than operation on the device;
User behavior storage means for storing user behavior observed by the user behavior observation means;
Display history determination means for selecting one or a plurality of operation histories from the operation histories stored in the operation history storage means;
Among the user actions recorded in the user action storage means, related action information extracting means for extracting related actions that are actions related to the operation history selected by the display history determining means;
An operation guidance device comprising:
さらに、前記ユーザ行動観測手段で観測されたユーザ行動が現在ユーザによって前記機器に対して実行されている操作と関連する行動であるかどうかを判定する関連行動判定手段を備え、
前記ユーザ行動記憶手段は、前記関連行動判定手段で関連行動であると判定されたユーザ行動に対してどの操作履歴の関連行動であると判定されたかの情報を付加して保存し、
前記関連行動情報抽出手段は、前記ユーザ行動記憶手段に記録されているユーザ行動の中で、前記表示履歴決定手段で選択された操作履歴と関連すると前記関連行動判定手段で判定されたユーザ行動を関連行動として抽出することを特徴とする操作誘導装置。 The operation guidance device according to claim 1,
Furthermore, it comprises related behavior determining means for determining whether the user behavior observed by the user behavior observing means is a behavior related to an operation currently being performed on the device by the user,
The user behavior storage means adds and stores information on which operation history is determined to be related behavior to the user behavior determined to be related behavior by the related behavior determination means,
The related behavior information extraction unit is configured to determine a user behavior determined by the related behavior determination unit as being related to the operation history selected by the display history determination unit among the user behaviors recorded in the user behavior storage unit. An operation guidance device that is extracted as a related action.
前記関連行動判定手段は、判定対象のユーザ行動が関連情報であるかどうかをユーザに問い合わせ、ユーザから関連情報であるとの応答を入力した場合にそのユーザ行動を関連情報であると判定することを特徴とする操作誘導装置。 The operation guidance device according to claim 2,
The related behavior determination means inquires of the user whether or not the user behavior to be determined is related information, and determines that the user behavior is related information when a response indicating that the user behavior is related information is input from the user. An operation guidance device characterized by the above.
前記関連行動判定手段は、前記ユーザ行動観測手段で観測されたユーザ行動のうち、前記機器に対して現在実行されている操作の操作時刻以前の近い時刻に行われたユーザ行動を関連行動として推定することを特徴とする操作誘導装置。 The operation guidance device according to claim 2,
The related behavior determining unit estimates a user behavior performed at a time before the operation time of the operation currently being performed on the device as the related behavior among the user behaviors observed by the user behavior observation unit. An operation guidance device characterized by:
前記関連行動判定手段は、前記ユーザ行動観測手段で観測されたユーザ行動のうち、前記機器に対して現在実行されている操作の履歴にあるユーザが入力した情報、ユーザに提示された情報、そのときの機器内部の情報、またはユーザが操作している状況の情報に含まれている音声、テキスト、単語、または映像に近い内容を含むユーザ行動を関連行動として推定することを特徴とする操作誘導装置。 The operation guidance device according to claim 2,
The related behavior determining means includes information inputted by a user in a history of operations currently being performed on the device, information presented to the user, among user behaviors observed by the user behavior observing means, Operation guidance characterized by estimating user behavior including content similar to voice, text, words, or video included in information inside the device at the time or information on the situation that the user is operating apparatus.
前記関連行動判定手段は、前記ユーザ行動観測手段で観測されたユーザ行動のうち、前記機器に対して現在実行されている操作の操作時刻以前の近い時刻に行われたユーザ行動であって、且つ、前記機器に対して現在実行されている操作の履歴にあるユーザが入力した情報、ユーザに提示された情報、そのときの機器内部の情報、またはユーザが操作している状況の情報に含まれている音声、テキスト、単語、または映像に近い内容を含むユーザ行動を関連行動として推定することを特徴とする操作誘導装置。 The operation guidance device according to claim 2,
The related behavior determining unit is a user behavior performed at a time before the operation time of the operation currently being performed on the device among the user behaviors observed by the user behavior observation unit, and Included in the information input by the user in the history of operations currently being performed on the device, information presented to the user, information inside the device at that time, or information on the situation in which the user is operating An operation guidance device that estimates user behavior including content close to a voice, text, word, or video as related behavior.
前記関連行動情報抽出手段は、前記ユーザ行動観測手段で観測されたユーザ行動のうち、前記表示履歴決定手段で選択された操作履歴が実行された時刻以前の近い時刻に行われたユーザ行動を関連行動として推定することを特徴とする操作誘導装置。 The operation guidance device according to claim 1,
The related behavior information extraction unit relates to user behaviors performed at a time close to the time before the operation history selected by the display history determination unit is executed among the user behaviors observed by the user behavior observation unit. An operation guidance device characterized by estimating as an action.
前記関連行動情報抽出手段は、前記ユーザ行動観測手段で観測されたユーザ行動のうち、前記表示履歴決定手段で選択された操作履歴にあるユーザが入力した情報、ユーザに提示された情報、そのときの機器内部の情報、またはユーザが操作している状況の情報に含まれている音声、テキスト、単語、または映像に近い内容を含むユーザ行動を関連行動として推定することを特徴とする操作誘導装置。 The operation guidance device according to claim 1,
The related behavior information extracting means includes information inputted by the user in the operation history selected by the display history determining means among the user behaviors observed by the user behavior observing means, information presented to the user, An operation guiding device for estimating a user action including content close to voice, text, word, or video contained in information inside the device or information on a situation in which the user is operating as a related action .
前記関連行動情報抽出手段は、前記ユーザ行動観測手段で観測されたユーザ行動のうち、前記表示履歴決定手段で選択された操作履歴が実行された時刻以前の近い時刻に行われたユーザ行動であって、且つ、前記表示履歴決定手段で選択された操作履歴にあるユーザが入力した情報、ユーザに提示された情報、そのときの機器内部の情報、またはユーザが操作している状況の情報に含まれている音声、テキスト、単語、または映像に近い内容を含むユーザ行動を関連行動として推定することを特徴とする操作誘導装置。 The operation guidance device according to claim 1,
The related behavior information extracting unit is a user behavior performed at a time before the time when the operation history selected by the display history determination unit is executed among the user behaviors observed by the user behavior observation unit. And the information input by the user in the operation history selected by the display history determining means, the information presented to the user, the information inside the device at that time, or the information on the situation in which the user is operating An operation guidance device that estimates a user action including content close to a voice, text, word, or video as a related action.
前記ユーザ観測手段は、ユーザの位置、ユーザが対面して話を聞いた人の位置、ユーザと対面した人との会話内容、ユーザの電話通話記録、ユーザの電話による通話内容、ユーザのメール送受信記録、ユーザのメールによる送受信内容、ユーザの参照したマニュアルまたはドキュメントの参照記録、ユーザの参照したマニュアルまたはドキュメントの内容、のうちの一つまたは複数を観測することを特徴とする操作誘導装置。 In the operation guidance device according to any one of claims 1 to 9,
The user observing means includes the position of the user, the position of the person who the user has faced and listened to, the conversation content with the person who has faced the user, the telephone call record of the user, the content of the telephone call of the user, and the user's mail transmission / reception An operation guidance device for observing one or more of a record, contents transmitted / received by a user's mail, a reference record of a manual or document referred to by a user, and a content of a manual or document referred to by a user.
さらに、前記選択された操作履歴と前記抽出された関連行動とを対応付けた表示内容を生成する表示生成手段を備えることを特徴とする操作誘導装置。 The operation guidance device according to any one of claims 1 to 10,
The operation guidance device further comprises display generation means for generating display contents in which the selected operation history and the extracted related behavior are associated with each other.
前記機器に対する操作以外のユーザの行動を観測するユーザ行動観測手段と、
前記ユーザ行動観測手段で観測されたユーザの行動を記憶するユーザ行動記憶手段と、
前記ユーザ行動観測手段で観測されたユーザ行動が現在ユーザによって前記機器に対して実行されている操作と関連する行動であるかどうかを判定する関連行動判定手段とを備え、
前記ユーザ行動記憶手段は、前記関連行動判定手段で関連行動であると判定されたユーザ行動に対してどの操作履歴の関連行動であると判定されたかの情報を付加して保存する
、ことを特徴とする操作履歴とユーザ行動の記録装置。 Operation history storage means for recording a past operation history performed on a device by a user;
User behavior observation means for observing user behavior other than operation on the device;
User behavior storage means for storing user behavior observed by the user behavior observation means;
A related behavior determining unit that determines whether the user behavior observed by the user behavior observing unit is a behavior related to an operation currently being performed on the device by a user;
The user behavior storage means adds and stores information indicating which operation history is determined to be related behavior to the user behavior determined to be related behavior by the related behavior determination means.
The recording device of the user behavior and operation history, characterized in that.
前記機器に対する操作以外について観測されたユーザの行動を記憶するユーザ行動記憶手段と、
前記操作履歴記憶手段に記憶されている操作履歴の中から一つまたは複数の操作履歴を選択する表示履歴決定手段と、
前記ユーザ行動記憶手段に記録されているユーザ行動の中で、前記表示履歴決定手段で選択された操作履歴と関連する行動である関連行動を抽出する関連行動情報抽出手段と、
を備えることを特徴とする操作誘導装置。 Operation history storage means for recording a past operation history performed on a device by a user;
User behavior storage means for storing user behaviors observed for operations other than operations on the device;
Display history determination means for selecting one or a plurality of operation histories from the operation histories stored in the operation history storage means;
Among the user actions recorded in the user action storage means, related action information extracting means for extracting related actions that are actions related to the operation history selected by the display history determining means;
An operation guidance device comprising:
b)ユーザ行動観測手段が、前記機器に対する操作以外のユーザの行動を観測して、ユーザ行動記憶手段に記憶するステップと、
c)表示履歴決定手段が、前記操作履歴記憶手段に記憶されている操作履歴の中から一つまたは複数の操作履歴を選択するステップと、
d)関連行動情報抽出手段が、前記ユーザ行動記憶手段に記録されているユーザ行動の中で、前記ステップcで選択された操作履歴と関連する行動である関連行動を抽出するステップと、
を含むことを特徴とする操作誘導方法。 a) a step in which an operation history acquisition unit acquires a past operation history performed on a device by a user and records it in an operation history storage unit;
b) a step in which the user behavior observing means observes a user behavior other than the operation on the device, and stores it in the user behavior storage means;
c) a display history determination unit selecting one or a plurality of operation histories from the operation histories stored in the operation history storage unit;
d) a step in which the related behavior information extracting unit extracts a related behavior that is a behavior related to the operation history selected in the step c among the user behaviors recorded in the user behavior storage unit;
An operation guiding method comprising:
b)ユーザ行動観測手段が、前記機器に対する操作以外のユーザの行動を観測するステップと、
c)関連行動判定手段が、前記ステップbで観測されたユーザ行動が現在ユーザによって前記機器に対して実行されている操作と関連する行動であるかどうかを判定し、関連行動であると判定されたユーザ行動に対してどの操作履歴の関連行動であると判定されたかの情報を付加してユーザ行動記憶手段に記憶するステップと、
d)表示履歴決定手段が、前記操作履歴記憶手段に記憶されている操作履歴の中から一つまたは複数の操作履歴を選択するステップと、
e)関連行動情報抽出手段が、前記ユーザ行動記憶手段に記録されているユーザ行動の中で、前記ステップdで選択された操作履歴と関連する行動である関連行動を抽出するステップと、
を含むことを特徴とする操作誘導方法。 a) a step in which an operation history acquisition unit acquires a past operation history performed on a device by a user and records it in an operation history storage unit;
b) a step of observing a user behavior other than an operation on the device;
c) The related behavior determining means determines whether the user behavior observed in step b is a behavior related to the operation currently being performed on the device by the user, and is determined to be the related behavior. Adding information on which operation history is determined to be related to the user action to be stored in the user action storage means;
d) a step of the display history determining means selecting one or a plurality of operation histories from the operation histories stored in the operation history storage means;
e) a step of extracting related behavior information that is related to the operation history selected in step d, among the user behaviors recorded in the user behavior storage unit;
An operation guiding method comprising:
前記ステップcにおいては、判定対象のユーザ行動が関連情報であるかどうかをユーザに問い合わせ、ユーザから関連情報であるとの応答を入力した場合にそのユーザ行動を関連情報であると判定することを特徴とする操作誘導方法。 The operation guidance method according to claim 15 ,
In step c, when the user's action to be determined is related information, the user is inquired, and when a response indicating that the user's action is related information is input, the user action is determined to be related information. A characteristic operation guidance method.
前記ステップcにおいては、前記ステップbで観測されたユーザ行動のうち、前記機器に対して現在実行されている操作の操作時刻以前の近い時刻に行われたユーザ行動を関連行動として推定することを特徴とする操作誘導方法。 The operation guidance method according to claim 15 ,
In the step c, the user behavior performed at a time before the operation time of the operation currently being performed on the device among the user behaviors observed in the step b is estimated as a related behavior. A characteristic operation guidance method.
前記ステップcにおいては、前記ステップbで観測されたユーザ行動のうち、前記機器に対して現在実行されている操作の履歴にあるユーザが入力した情報、ユーザに提示された情報、そのときの機器内部の情報、またはユーザが操作している状況の情報に含まれている音声、テキスト、単語、または映像に近い内容を含むユーザ行動を関連行動として推定することを特徴とする操作誘導方法。 The operation guidance method according to claim 15 ,
In step c, among the user behaviors observed in step b, information input by the user in the history of operations currently being performed on the device, information presented to the user, and the device at that time An operation guidance method characterized by estimating a user action including content close to voice, text, words, or video included in internal information or information on a situation in which the user is operating as a related action.
前記ステップcにおいては、前記ステップbで観測されたユーザ行動のうち、前記機器に対して現在実行されている操作の操作時刻以前の近い時刻に行われたユーザ行動であって、且つ、前記機器に対して現在実行されている操作の履歴にあるユーザが入力した情報、ユーザに提示された情報、そのときの機器内部の情報、またはユーザが操作している状況の情報に含まれている音声、テキスト、単語、または映像に近い内容を含むユーザ行動を関連行動として推定することを特徴とする操作誘導方法。 The operation guidance method according to claim 15 ,
In the step c, among the user behaviors observed in the step b, the user behaviors performed at a time before the operation time of the operation currently being performed on the device, and the device The information entered by the user in the history of operations currently being performed on the information, the information presented to the user, the information inside the device at that time, or the voice included in the information on the situation in which the user is operating An operation guiding method characterized by estimating a user action including content close to text, a word, or a video as a related action.
前記ステップdにおいては、前記ステップbで観測されたユーザ行動のうち、前記ステップcで選択された操作履歴が実行された時刻以前の近い時刻に行われたユーザ行動を関連行動として推定することを特徴とする操作誘導方法。 The operation guidance method according to claim 14 , wherein
In the step d, it is estimated that, among the user behaviors observed in the step b, user behaviors performed at a time before the time when the operation history selected in the step c is executed are estimated as related behaviors. A characteristic operation guidance method.
前記ステップdにおいては、前記ステップbで観測されたユーザ行動のうち、前記ステップcで選択された操作履歴にあるユーザが入力した情報、ユーザに提示された情報、そのときの機器内部の情報、またはユーザが操作している状況の情報に含まれている音声、テキスト、単語、または映像に近い内容を含むユーザ行動を関連行動として推定することを特徴とする操作誘導方法。 The operation guidance method according to claim 14 , wherein
In step d, among the user actions observed in step b, information input by the user in the operation history selected in step c, information presented to the user, information inside the device at that time, Alternatively, an operation guiding method characterized by estimating a user action including a content close to voice, text, word, or video included in information on a situation in which the user is operating as a related action.
前記ステップdにおいては、前記ステップbで観測されたユーザ行動のうち、前記ステップcで選択された操作履歴が実行された時刻以前の近い時刻に行われたユーザ行動であって、且つ、前記ステップcで選択された操作履歴にあるユーザが入力した情報、ユーザに提示された情報、そのときの機器内部の情報、またはユーザが操作している状況の情報に含まれている音声、テキスト、単語、または映像に近い内容を含むユーザ行動を関連行動として推定することを特徴とする操作誘導方法。 The operation guidance method according to claim 14 , wherein
In step d, among the user behaviors observed in step b, the user behaviors performed at a time before the time when the operation history selected in step c was executed, and the step Voice, text, words included in information entered by the user in the operation history selected in c, information presented to the user, information inside the device at that time, or information on the situation in which the user is operating Or a user behavior including content close to a video is estimated as a related behavior.
前記ステップbにおいては、ユーザの位置、ユーザが対面して話を聞いた人の位置、ユーザと対面した人との会話内容、ユーザの電話通話記録、ユーザの電話による通話内容、ユーザのメール送受信記録、ユーザのメールによる送受信内容、ユーザの参照したマニュアルまたはドキュメントの参照記録、ユーザの参照したマニュアルまたはドキュメントの内容、のうちの一つまたは複数を観測することを特徴とする操作誘導方法。 The operation guiding method according to any one of claims 14 to 22 ,
In step b, the position of the user, the position of the person who the user met and heard, the content of the conversation with the person who met the user, the telephone call record of the user, the content of the telephone call of the user, the user's mail transmission and reception An operation guidance method characterized by observing one or more of a record, contents transmitted / received by a user's mail, a reference record of a manual or document referred to by a user, and a manual or document content referred to by a user.
前記機器に対する操作以外のユーザの行動を観測し、該観測したユーザの行動を前記ユーザ行動記憶手段に記憶するユーザ行動記憶手段と、
前記操作履歴記憶手段に記憶されている操作履歴の中から一つまたは複数の操作履歴を選択する表示履歴決定手段と、
前記ユーザ行動記憶手段に記録されているユーザ行動の中で、前記表示履歴決定手段で選択された操作履歴と関連する行動である関連行動を抽出する関連行動情報抽出手段と、
して機能させるためのプログラム。 A computer comprising an operation history storage means for recording past operation history performed on a device by a user, and a user action storage means for storing user actions,
User behavior storage means for observing user behavior other than operation on the device and storing the observed user behavior in the user behavior storage means;
Display history determination means for selecting one or a plurality of operation histories from the operation histories stored in the operation history storage means;
Among the user actions recorded in the user action storage means, related action information extracting means for extracting related actions that are actions related to the operation history selected by the display history determining means;
Program to make it function.
前記コンピュータを、さらに、前記ユーザ行動観測手段で観測されたユーザ行動が現在ユーザによって前記機器に対して実行されている操作と関連する行動であるかどうかを判定する関連行動判定手段として機能させるプログラムであって、
前記ユーザ行動記憶手段は、前記関連行動判定手段で関連行動であると判定されたユーザ行動に対してどの操作履歴の関連行動であると判定されたかの情報を付加して保存し、
前記関連行動情報抽出手段は、前記ユーザ行動記憶手段に記録されているユーザ行動の中で、前記表示履歴決定手段で選択された操作履歴と関連すると前記関連行動判定手段で判定されたユーザ行動を関連行動として抽出することを特徴とするプログラム。 The program according to claim 24 ,
A program for causing the computer to further function as related behavior determination means for determining whether or not the user behavior observed by the user behavior observation means is behavior related to an operation currently being performed on the device by the user. Because
The user behavior storage means adds and stores information on which operation history is determined to be related behavior to the user behavior determined to be related behavior by the related behavior determination means,
The related behavior information extraction unit is configured to determine a user behavior determined by the related behavior determination unit as being related to the operation history selected by the display history determination unit among the user behaviors recorded in the user behavior storage unit. A program characterized by extracting as related actions.
前記関連行動判定手段は、判定対象のユーザ行動が関連情報であるかどうかをユーザに問い合わせ、ユーザから関連情報であるとの応答を入力した場合にそのユーザ行動を関連情報であると判定することを特徴とするプログラム。 The program according to claim 25 ,
The related behavior determination means inquires of the user whether or not the user behavior to be determined is related information, and determines that the user behavior is related information when a response indicating that the user behavior is related information is input from the user. A program characterized by
前記関連行動判定手段は、前記ユーザ行動観測手段で観測されたユーザ行動のうち、前記機器に対して現在実行されている操作の操作時刻以前の近い時刻に行われたユーザ行動を関連行動として推定することを特徴とするプログラム。 The program according to claim 25 ,
The related behavior determining unit estimates a user behavior performed at a time before the operation time of the operation currently being performed on the device as the related behavior among the user behaviors observed by the user behavior observation unit. The program characterized by doing.
前記関連行動判定手段は、前記ユーザ行動観測手段で観測されたユーザ行動のうち、前記機器に対して現在実行されている操作の履歴にあるユーザが入力した情報、ユーザに提示された情報、そのときの機器内部の情報、またはユーザが操作している状況の情報に含まれている音声、テキスト、単語、または映像に近い内容を含むユーザ行動を関連行動として推定することを特徴とするプログラム。 The program according to claim 25 ,
The related behavior determining means includes information inputted by a user in a history of operations currently being performed on the device, information presented to the user, among user behaviors observed by the user behavior observing means, A program that estimates a user action including content close to voice, text, words, or video included in information inside the device at the time or information on a situation that the user is operating as a related action.
前記関連行動判定手段は、前記ユーザ行動観測手段で観測されたユーザ行動のうち、前記機器に対して現在実行されている操作の操作時刻以前の近い時刻に行われたユーザ行動であって、且つ、前記機器に対して現在実行されている操作の履歴にあるユーザが入力した情報、ユーザに提示された情報、そのときの機器内部の情報、またはユーザが操作している状況の情報に含まれている音声、テキスト、単語、または映像に近い内容を含むユーザ行動を関連行動として推定することを特徴とするプログラム。 The program according to claim 25 ,
The related behavior determining unit is a user behavior performed at a time before the operation time of the operation currently being performed on the device among the user behaviors observed by the user behavior observation unit, and Included in the information input by the user in the history of operations currently being performed on the device, information presented to the user, information inside the device at that time, or information on the situation in which the user is operating A program characterized by estimating a user action including content close to a sound, text, word, or video as a related action.
前記関連行動情報抽出手段は、前記ユーザ行動観測手段で観測されたユーザ行動のうち、前記表示履歴決定手段で選択された操作履歴が実行された時刻以前の近い時刻に行われたユーザ行動を関連行動として推定することを特徴とするプログラム。 The program according to claim 24 ,
The related behavior information extraction unit relates to user behaviors performed at a time close to the time before the operation history selected by the display history determination unit is executed among the user behaviors observed by the user behavior observation unit. A program characterized by estimation as an action.
前記関連行動情報抽出手段は、前記ユーザ行動観測手段で観測されたユーザ行動のうち、前記表示履歴決定手段で選択された操作履歴にあるユーザが入力した情報、ユーザに提示された情報、そのときの機器内部の情報、またはユーザが操作している状況の情報に含まれている音声、テキスト、単語、または映像に近い内容を含むユーザ行動を関連行動として推定することを特徴とするプログラム。 The program according to claim 24 ,
The related behavior information extracting means includes information inputted by the user in the operation history selected by the display history determining means among the user behaviors observed by the user behavior observing means, information presented to the user, A program that estimates a user action including content close to voice, text, words, or video included in information inside the device or information on a situation that the user is operating as a related action.
前記関連行動情報抽出手段は、前記ユーザ行動観測手段で観測されたユーザ行動のうち、前記表示履歴決定手段で選択された操作履歴が実行された時刻以前の近い時刻に行われたユーザ行動であって、且つ、前記表示履歴決定手段で選択された操作履歴にあるユーザが入力した情報、ユーザに提示された情報、そのときの機器内部の情報、またはユーザが操作している状況の情報に含まれている音声、テキスト、単語、または映像に近い内容を含むユーザ行動を関連行動として推定することを特徴とするプログラム。 The program according to claim 24 ,
The related behavior information extracting unit is a user behavior performed at a time before the time when the operation history selected by the display history determination unit is executed among the user behaviors observed by the user behavior observation unit. And the information input by the user in the operation history selected by the display history determining means, the information presented to the user, the information inside the device at that time, or the information on the situation in which the user is operating A program characterized by estimating a user action including content similar to a voice, text, word, or video as a related action.
前記ユーザ観測手段は、ユーザの位置、ユーザが対面して話を聞いた人の位置、ユーザと対面した人との会話内容、ユーザの電話通話記録、ユーザの電話による通話内容、ユーザのメール送受信記録、ユーザのメールによる送受信内容、ユーザの参照したマニュアルまたはドキュメントの参照記録、ユーザの参照したマニュアルまたはドキュメントの内容、のうちの一つまたは複数を観測することを特徴とするプログラム。
The program according to any one of claims 24 to 32 ,
The user observing means includes the position of the user, the position of the person who the user has faced and listened to, the conversation content with the person who has faced the user, the telephone call record of the user, the content of the telephone call of the user, and the user's mail transmission / reception A program characterized by observing one or more of a record, contents transmitted / received by a user's mail, a reference record of a manual or document referred to by a user, and a content of a manual or document referred to by a user.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009127448A JP5332908B2 (en) | 2009-05-27 | 2009-05-27 | Operation guidance method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009127448A JP5332908B2 (en) | 2009-05-27 | 2009-05-27 | Operation guidance method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010277229A JP2010277229A (en) | 2010-12-09 |
JP5332908B2 true JP5332908B2 (en) | 2013-11-06 |
Family
ID=43424155
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009127448A Expired - Fee Related JP5332908B2 (en) | 2009-05-27 | 2009-05-27 | Operation guidance method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5332908B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5773915B2 (en) * | 2012-03-14 | 2015-09-02 | 三菱電機ビルテクノサービス株式会社 | Operation analysis system and management center |
JP6786892B2 (en) | 2016-06-09 | 2020-11-18 | 富士ゼロックス株式会社 | Server equipment, information processing systems and programs |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3935388B2 (en) * | 2002-03-29 | 2007-06-20 | 株式会社東芝 | Related information providing method, related information providing apparatus, program, and recording medium |
JP4544847B2 (en) * | 2003-11-20 | 2010-09-15 | ソニー・エリクソン・モバイルコミュニケーションズ株式会社 | Electronic equipment and system |
JP2007316876A (en) * | 2006-05-25 | 2007-12-06 | Hitachi Ltd | Document retrieval program |
JP5114994B2 (en) * | 2007-03-27 | 2013-01-09 | 日本電気株式会社 | Automatic collection system, communication terminal, server, automatic collection method, and program |
JP2008283669A (en) * | 2007-04-13 | 2008-11-20 | Seiko Epson Corp | Remote control signal generation device, and remote control system |
JP2009020865A (en) * | 2007-06-14 | 2009-01-29 | Ntt Docomo Inc | Character input assist method, character input assist system, character input assist program, user terminal, character conversion method and character conversion program |
-
2009
- 2009-05-27 JP JP2009127448A patent/JP5332908B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2010277229A (en) | 2010-12-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR20160132047A (en) | Communication event history | |
CN103780731A (en) | Method and device for obtaining privacy contacts | |
CN105491048A (en) | Account management method and apparatus | |
CN105159524A (en) | Interface display method and apparatus | |
CN113259226B (en) | Information synchronization method and device, electronic equipment and storage medium | |
CN106534562A (en) | File deletion method and apparatus | |
US20120237006A1 (en) | Apparatus and method for providing caller information | |
KR20140132427A (en) | Method and apparatus for providing call log in electronic device | |
US20110197148A1 (en) | Apparatus and method for providing network community service | |
CN105872686A (en) | Information display method of television programs, information display apparatus of television programs and terminal | |
CN111510556B (en) | Call information processing method and device and computer storage medium | |
CN105872573A (en) | Video playing method and apparatus | |
CN103516712A (en) | Apparatus, information processing method and program | |
CN105242837A (en) | Application page acquisition method and terminal | |
TW200824408A (en) | Methods and systems for information retrieval during communication, and machine readable medium thereof | |
CN104333641A (en) | Calling method and device | |
JP5332908B2 (en) | Operation guidance method | |
CN106453774A (en) | Method and apparatus for displaying contact information | |
CN114464186A (en) | Keyword determination method and device | |
CN115002501B (en) | Information display method and device, electronic equipment and storage medium | |
CN105262905A (en) | Method and device for management of contact persons | |
CN114666175A (en) | Message processing method and device, electronic equipment and storage medium | |
JP4814753B2 (en) | Method and system for linking data information and voice information | |
CN105930525A (en) | Content search method and apparatus | |
KR20170140714A (en) | Advertisement output system using the call waiting time |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120409 |
|
RD07 | Notification of extinguishment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7427 Effective date: 20120723 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130118 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130326 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130521 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130702 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130715 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |