JP5332908B2

JP5332908B2 - Operation guidance method

Info

Publication number: JP5332908B2
Application number: JP2009127448A
Authority: JP
Inventors: 純一船田
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2009-05-27
Filing date: 2009-05-27
Publication date: 2013-11-06
Anticipated expiration: 2029-05-27
Also published as: JP2010277229A

Description

本発明は、Webアプリ・パソコン・携帯電話・情報家電等のUI（ユーザインタフェース）においてユーザに操作を誘導する技術に関する。 The present invention relates to a technique for guiding an operation to a user in a UI (user interface) such as a web application, a personal computer, a mobile phone, and an information appliance.

近年、情報技術の発達によって機器やユーザに提供されるサービスが多様な機能を備えるようになってきており、ユーザがその操作を習得するのに手間がかかり結果として操作がうまくできないという問題が顕在化している。例えば、仕事や生活の場面でショッピングや各種申請などをWebページで提供されるUIを操作してネットワーク経由で行う場面が急増している。このような場面では、どのようにUIを操作してタスクを達成すればよいかが習得できず、そのたびに使い方を手間をかけて調べたりあるいは結局操作がわらずタスクが達成できないといった問題が発生している。また別の例としては、パソコンや情報家電(HDDレコーダ・携帯電話など)のたまにしか変更しない設定を変え、しばらく時間が経過した場合などに、その設定を再び変更しようとしても、どのメニューからたどりどのように変更すればよいかを忘れてしまい、やはり使い方を手間をかけて調べたり、あるいは結局操作がわからずタスクが達成できないなどの問題である。 In recent years, with the development of information technology, devices and services provided to users have become equipped with various functions, and there has been a problem that it is difficult for users to learn the operations and consequently the operations cannot be performed successfully. It has become. For example, there is an increasing number of scenes where shopping and various applications are performed via the network by operating the UI provided on the Web page in the scene of work or life. In such a situation, it is not possible to learn how to achieve the task by operating the UI, and each time it takes time to investigate how to use it, or after all, there is a problem that the task can not be achieved without operation ing. As another example, if you change a setting that only changes occasionally, such as a personal computer or information appliance (HDD recorder, mobile phone, etc.), and you try to change that setting again after a while, you can follow from which menu Forgetting how to make changes, too, it is a problem that, after all, it takes time to investigate how to use it, or after all, it does not know the operation and can not achieve the task.

このような問題に対して、ユーザが過去に自分で行った操作を記録しておき、その操作を再現表示することで操作の仕方をユーザ自身で思い出す方式が提案されている。このような方式として例えば、特許文献１や特許文献２で開示されている、ユーザが機器を操作しているときにそのユーザの過去の操作履歴（操作画面など）を、ユーザの求めに応じて再現表示する技術が開示されている。 In response to such a problem, a method has been proposed in which an operation performed by the user himself / herself in the past is recorded, and the operation is recalled by the user himself / herself by reproducing and displaying the operation. As such a method, for example, when the user is operating the device, the user's past operation history (such as an operation screen) disclosed in Patent Document 1 or Patent Document 2 can be obtained according to the user's request. A technique for reproducing and displaying is disclosed.

特開2004-185240号公報JP 2004-185240 A 特開2005-297488号公報JP 2005-297488 A

操作履歴をユーザに提示することで操作を誘導するこれらの方法は、以前に自分が行った操作履歴さえ再現表示されれば大抵の人は操作の方法を理解できるあるいは操作の方法を思い出せることを前提としている。しかし、以前の操作の時には、操作の仕方を人に聞いたりマニュアルなどで調べる等して理解していたが、その後に忘れてしまったような場合、操作履歴の再現表示だけでは操作で要求されている情報の意味がわからず、操作の仕方を正確に思い出せない状況はしばしば起こることである。 These methods of guiding the operation by presenting the operation history to the user are that most people can understand the operation method or remember the operation method as long as the operation history that they have performed before is reproduced and displayed. It is assumed. However, at the time of previous operation, it was understood by listening to the person how to operate it or examining it with a manual etc., but if it is forgotten after that, it is required for the operation only by reproducing the operation history. It often happens that you don't know the meaning of the information you have and you can't remember exactly how to operate it.

本発明の目的は、ユーザが機器に対して行った過去の操作の方法をより正確に思い出せるようにすることにある。 An object of the present invention is to enable a user to more accurately remember past operation methods performed on a device.

本発明の操作誘導装置は、ユーザがある機器に対して行った過去の操作履歴を記録する操作履歴記憶手段と、前記機器に対する操作以外のユーザの行動を観測するユーザ行動観測手段と、前記ユーザ行動観測手段で観測されたユーザの行動を記憶するユーザ行動記憶手段と、前記操作履歴記憶手段に記憶されている操作履歴の中から一つまたは複数の操作履歴を選択する表示履歴決定手段と、前記ユーザ行動記憶手段に記録されているユーザ行動の中で、前記表示履歴決定手段で選択された操作履歴と関連する行動である関連行動を抽出する関連行動情報抽出手段とを備える。 The operation guidance device of the present invention includes an operation history storage unit that records a history of past operations performed on a device by a user, a user behavior observation unit that observes user behavior other than the operation on the device, and the user User behavior storage means for storing user behavior observed by the behavior observation means, display history determination means for selecting one or more operation histories from the operation histories stored in the operation history storage means, And a related behavior information extracting unit that extracts a related behavior that is a behavior related to the operation history selected by the display history determination unit among the user behaviors recorded in the user behavior storage unit.

本発明によれば、抽出された関連行動によって、ユーザは機器に対して行った過去の操作の方法をより正確に思い出せるようになる。 According to the present invention, the extracted related behavior enables the user to more accurately remember the past operation methods performed on the device.

本発明の第１の実施の形態の構成を示すブロック図The block diagram which shows the structure of the 1st Embodiment of this invention 本発明の第１の実施の形態の変形例を示すブロック図The block diagram which shows the modification of the 1st Embodiment of this invention 本発明の第１の実施の形態の動作を示す図The figure which shows the operation | movement of the 1st Embodiment of this invention 本発明の第１の実施の形態の動作を示す流れ図The flowchart which shows the operation | movement of the 1st Embodiment of this invention. 本発明の第２の実施の形態の構成を示すブロック図The block diagram which shows the structure of the 2nd Embodiment of this invention. 本発明の第２の実施の形態の変形例を示すブロック図The block diagram which shows the modification of the 2nd Embodiment of this invention 本発明の第２の実施の形態の動作を示す流れ図The flowchart which shows the operation | movement of the 2nd Embodiment of this invention.

次に、本発明の第１の実施の形態について図面を参照して詳細に説明する。
［構成の説明]
図１を参照すると、本発明の第１の実施の形態は、ユーザが機器201に対して行った過去の操作履歴を記録する操作履歴記憶手段101と、ユーザの行動を観測するユーザ行動観測手段102と、ユーザ行動観測手段102で観測されたユーザの行動を記憶するユーザ行動記憶手段103と、操作履歴記憶手段101に記憶されている操作履歴の中から表示する操作履歴を決定する表示履歴決定手段104と、ユーザ行動記憶手段103に記録されているユーザ行動の中で、表示履歴決定手段104で決定された操作履歴と関連する行動である関連行動を抽出する関連行動情報抽出手段105と、関連行動情報抽出手段105で抽出した関連行動と操作履歴とを対応付けた表示内容を生成する表示生成手段106とからなる。 Next, a first embodiment of the present invention will be described in detail with reference to the drawings.
[Description of configuration]
Referring to FIG. 1, according to the first embodiment of the present invention, an operation history storage unit 101 that records a past operation history performed on a device 201 by a user, and a user behavior observation unit that observes a user's behavior. 102, user action storage means 103 for storing user actions observed by the user action observation means 102, and display history determination for determining an operation history to be displayed from among operation histories stored in the operation history storage means 101 Means 104 and related action information extracting means 105 for extracting related actions that are actions related to the operation history determined by the display history determining means 104 among the user actions recorded in the user action storage means 103; The display generating means 106 generates display content in which the related action extracted by the related action information extracting means 105 is associated with the operation history.

図２に示されるように、上記構成に加えて表示生成部106で生成された表示内容をユーザに対して提示する提示手段202を操作支援装置の構成に含めるようにしてもよい。提示手段202は液晶やブラウン管その他のディスプレイやその他の表示装置を用いることができる。 As shown in FIG. 2, in addition to the above configuration, a presentation unit 202 that presents the display content generated by the display generation unit 106 to the user may be included in the configuration of the operation support apparatus. The presenting means 202 can use a liquid crystal, a cathode ray tube, other displays, or other display devices.

操作履歴記憶手段101は、機器201に対するユーザの過去の操作履歴を記録する。ここで記録される操作履歴とは、１．ユーザが機器201に対して入力した情報、２．操作時に機器201がユーザに提供した情報、３．ユーザが操作している状況に関する情報、４．機器201内部の情報などである。これらの情報をそれぞれが入力や出力された時刻とともに記憶する。例えば機器201のGUI（グラフィカルユーザインターフェース）に対してユーザが行った操作を例に、以下に具体例を示す。 The operation history storage unit 101 records a user's past operation history for the device 201. The operation history recorded here is as follows: 1. Information input to the device 201 by the user. 2. Information provided to the user by the device 201 during operation; 3. information on the situation that the user is operating; Information inside the device 201. These pieces of information are stored together with the time when each is input or output. For example, a specific example is shown below by taking an operation performed by a user on a GUI (graphical user interface) of the device 201 as an example.

GUIにおいて「１．ユーザが機器に対して入力した情報」とは、メニュー選択ではユーザがどのメニューを選択したか、文字列の入力を促すためのスロットに対してユーザが入力した内容（文字列など）、ユーザの入力がなされた後の画面イメージなどである。また「２．操作時に機器がユーザに提供した情報」とは例えば、画面のタイトル名、画面に含まれる文字列、ボタンのラベル名、スロットの項目名、表示された画面イメージなどである。また「３．ユーザが操作している状況に関する情報」とは例えば、ユーザが画面を操作している様子を撮影した映像と音声であるとか、画面でのメニュー選択やマウスの動きといった状況の情報である。また「４．機器内部の情報」とは例えば、ユーザが操作している画面の画面名であるとか、実行しようとしているタスクのタスク名など機器やUI内部に定義されている情報である。１．２．に関してこれらの情報が入力または出力された時刻をあわせて記録する。３．４．に関してそれぞれの状況が発生した時刻をあわせて記憶する。なお、機器201に対するユーザの操作履歴を取得して操作履歴記憶手段101に記録する手段は、機器201内に例えばプログラムモジュール（図示せず）として実装されている。 In the GUI, “1. Information input by the user to the device” means what menu the user has selected in the menu selection, and what the user has input to the slot for prompting input of the character string (character string Etc.) and a screen image after the user input. The “2. Information provided to the user by the device during operation” includes, for example, a screen title name, a character string included in the screen, a button label name, a slot item name, a displayed screen image, and the like. Further, “3. Information on the situation that the user is operating” is, for example, video and audio that captures the situation where the user is operating the screen, or information on the situation such as menu selection or mouse movement on the screen. It is. Further, “4. Information inside the device” is information defined in the device or the UI such as the screen name of the screen operated by the user or the task name of the task to be executed. 1.2. The time when these pieces of information are input or output is recorded together. 3.4. The time at which each situation occurred is stored together. The means for acquiring the user's operation history for the device 201 and recording it in the operation history storage means 101 is implemented in the device 201 as a program module (not shown), for example.

ユーザ行動観測手段102は、ユーザの行動を観測する手段である。ユーザの行動とは操作対象の機器201に対して行った操作（機器201を通じてアクセスするWebサービス等のサービスに対して行った操作を含む）以外でユーザが行った行動である。ユーザ行動観測手段102の目的はそのユーザの行動の中に含まれる、ユーザが対象とする機器やサービスの使い方に関する情報を得たときの行動および外部から得た情報を観測することにある。この目的のために具体的には以下のように構成される。 User behavior observation means 102 is means for observing user behavior. The user action is an action performed by the user other than an operation performed on the operation target device 201 (including an operation performed on a service such as a Web service accessed through the device 201). The purpose of the user behavior observation means 102 is to observe behavior and information obtained from the outside when information on how to use a device or service targeted by the user is included in the behavior of the user. Specifically, for this purpose, it is configured as follows.

例えば、ユーザが操作の仕方を対面で人から聞いて獲得する場合に好適はものとして、ユーザ行動観測手段102は以下に例示するようなものを用いることができる。
１．ユーザの位置やユーザが対面して話を聞いた人の位置を認識するための手段である、RFID・赤外線タグ・超音波タグなどのタグによる位置同定方式や、画像からの顔や人物検出や、電話やパソコンによる在席管理管理システムなど、
２．ユーザと対面した人の会話を録音録画するためのマイクやカメラ For example, the user behavior observing means 102 may be the one exemplified below, which is suitable for the case where the user obtains the method of operation by hearing from a person face-to-face.
1. Position identification methods using tags such as RFID, infrared tag, and ultrasonic tag, which are means for recognizing the position of the user and the position of the person who talked to the user face-to-face, , Presence management system by phone or computer,
2. Microphone and camera for recording and recording conversations between people

また、ユーザが操作の仕方を電話で人に問い合わせて獲得する場合に好適はものとして、ユーザ行動観測手段102は以下に例示するようなものを用いることができる。
１．ユーザの通話記録（誰と通話したか、通話開始時刻と終了時刻など）を取得する手段。例えば構内電話システムやそこから情報を得るシステムなど。
２．通話内容の音声や映像を取得する手段。電話の受話装置にマイクを設置するとかあるいは受話装置で受信した音声情報を取得する手段など。 Further, the user behavior observation means 102 may be the one exemplified below as a preferable method when the user obtains the user by inquiring about how to operate by telephone.
1. Means for acquiring a user's call record (who the call was made, call start time and end time, etc.). For example, a local telephone system or a system that obtains information from it.
2. Means for acquiring the audio and video of the call content. Means such as installing a microphone in the telephone receiver or acquiring voice information received by the receiver.

また、ユーザが操作の仕方をメールで人に問い合わせて獲得する場合に好適はものとして、ユーザ行動観測手段102は以下に例示するようなものを用いることができる。
１．ユーザのメール送受信記録（誰に対してメールを送信したか、誰からメールを受信したか、それぞれのメールの送受信時刻など）を取得する手段。例えばメールサーバから情報を得るシステムやユーザのメーラーから情報を得るシステムなど。
２．メールで送受信した内容を取得する手段。 In addition, as a case where the user preferably obtains the user by inquiring about how to perform the operation by e-mail, the user behavior observing unit 102 may be as exemplified below.
1. Means for obtaining a user's mail transmission / reception record (who sent the mail, who received the mail, the time of sending / receiving each mail, etc.). For example, a system that obtains information from a mail server or a system that obtains information from a user mailer.
2. Means to acquire the contents sent and received by e-mail.

また、ユーザが操作の仕方をマニュアルやドキュメントを参照して獲得する場合に好適はものとして、ユーザ行動観測手段102は以下に例示するようなものを用いることができる。
１．ユーザがマニュアルやドキュメントのどの部分をいつ参照したかを獲得するために電子マニュアルや電子ドキュメントであればそれぞれを閲覧するためのソフトウェアの動作ログを取得する手段。
２．ユーザが閲覧したマニュアルやドキュメントの内容 In addition, as a preferable method when the user obtains the operation method by referring to a manual or a document, the user behavior observation means 102 can be as exemplified below.
1. Means for obtaining an operation log of software for viewing each part of an electronic manual or electronic document in order to obtain when the user refers to which part of the manual or document.
2. Contents of manuals and documents viewed by users

ユーザ行動記憶手段103は、ユーザ行動観測手段102で観測されたユーザの行動を記憶するもので、ハードディスクやメモリなどの記録媒体と記録されている情報の検索を可能にするインタフェースを有している。 The user behavior storage unit 103 stores the user behavior observed by the user behavior observation unit 102, and has a recording medium such as a hard disk or a memory and an interface that enables retrieval of recorded information. .

表示履歴決定手段104は、ユーザに対して表示する履歴を決定する手段であり、具体的には、ユーザ自身にユーザインタフェースを通じて表示する履歴を選択させる手段であってもよいし、ユーザが現在操作している部分を以前に操作した履歴を表示すると決定する手段であってもよい。 The display history determination unit 104 is a unit that determines a history to be displayed to the user. Specifically, the display history determination unit 104 may be a unit that allows the user to select a history to be displayed through the user interface. It may be a means for deciding to display a history of previously operating a portion that has been operated.

関連行動情報抽出手段105は、ユーザ行動記憶手段103に記録されているユーザ行動の中で、表示履歴決定手段104で決定された操作履歴と関連する行動である関連行動を抽出する。関連する行動かどうかを推定する方法としては、決定された操作履歴が実行された時刻以前の近い時刻に行われたユーザ行動であるか否か、ユーザ履歴にあるユーザが入力した情報やユーザに提示された情報やそのときの機器内部の情報やユーザが操作している状況の情報に含まれている音声やテキストや単語や映像などに近い内容を含むユーザ行動であるか否かの、何れか一方または双方を考慮する方法がある。以下、具体的な例を挙げて説明する。 The related behavior information extraction unit 105 extracts a related behavior that is a behavior related to the operation history determined by the display history determination unit 104 from the user behaviors recorded in the user behavior storage unit 103. As a method of estimating whether or not the action is related, whether or not it is a user action performed at a time before the time when the determined operation history is executed, whether the information entered by the user in the user history or the user Whether the user action includes content similar to the voice, text, words, video, etc. included in the presented information, information inside the device at that time, and information on the situation that the user is operating There are ways to consider one or both. Hereinafter, a specific example will be described.

ユーザが操作の仕方を対面で人から聞いて獲得した場合に好適な推定方式としては、
方法１：操作した時刻より以前で近い時刻に人に接近し交わした会話を推定結果とする。
方法２：ユーザが行った会話の音声を音声認識しその結果に操作履歴に存在する語が含まれている会話を推定結果とする。
などの方法がある。方法１と方法２のそれぞれの推定結果を組合せて、例えばそれらの積集合となる会話を推定結果とするなどの方法をとっても良い。 As a suitable estimation method when the user acquires the operation method from a person in person,
Method 1: An estimated result is a conversation that approaches and exchanges with a person at a time before and before the operation time.
Method 2: The speech of the conversation performed by the user is recognized as a speech, and the conversation in which the word included in the operation history is included in the result is used as the estimation result.
There are methods. For example, the estimation results of the method 1 and the method 2 may be combined and, for example, a conversation that is a product set of them may be used as the estimation result.

また、ユーザが操作の仕方を電話で人に問い合わせて獲得した場合に好適な推定方式としては、
方法１：操作した時刻より以前で近い時刻に通話した会話を推定結果とする。
方法２：ユーザが行った通話の音声を音声認識しその結果に操作履歴に存在する語が含まれている会話を推定結果とする。
などの方法がある。方法１と方法２のそれぞれの推定結果を組合せて、例えばそれらの積集合となる会話や音声を推定結果とするなどの方法をとっても良い。 In addition, as a suitable estimation method when the user obtains by inquiring about how to operate by phone,
Method 1: A conversation made at a time earlier than the operated time is used as an estimation result.
Method 2: The speech of the call made by the user is recognized as a speech, and the conversation in which the words included in the operation history are included in the result is used as the estimation result.
There are methods. A combination of the estimation results of the method 1 and the method 2 may be used, for example, a conversation or speech that is a product set of them is used as an estimation result.

また、ユーザが操作の仕方をメールで人に問い合わせて獲得した場合に好適な推定方式としては、
方法１：操作した時刻より以前で近い時刻に送受信したメール群を推定結果とする。
方法２：ユーザが送受信したメールのうち操作履歴に存在する語が含まれているメールを推定結果とする。
などの方法がある。方法１と方法２のそれぞれの推定結果を組合せて、例えばそれらの積集合となるメールを推定結果とするなどの方法をとっても良い。またこれらの条件を満たすものの中でさらに覧している時間が長いメールを推定結果とする方法をとっても良い。 In addition, as a suitable estimation method when the user obtains by inquiring about how to operate by mail,
Method 1: A mail group transmitted / received at a time before and before the operated time is used as an estimation result.
Method 2: Out of mails sent and received by the user, mails containing words that exist in the operation history are used as the estimation results.
There are methods. For example, the estimation results of the method 1 and the method 2 may be combined and, for example, a mail that is a product set of them may be used as the estimation result. Further, it is possible to adopt a method in which an e-mail that has been viewed for a long time among those satisfying these conditions is used as an estimation result.

また、ユーザが操作の仕方をマニュアルやドキュメントを参照して獲得した場合に好適な推定方式としては、
方法１：操作した時刻より以前で近い時刻に閲覧していたマニュアルやドキュメントを推定結果とする。
方法２：ユーザが閲覧したマニュアルやドキュメントのうち操作履歴に存在する語が含まれているマニュアルやドキュメントを推定結果とする。
などの方法がある。方法１と方法２のそれぞれの推定結果を組合せて、例えばそれらの積集合となるマニュアルやドキュメントを推定結果とするなどの方法をとっても良い。またこれらの条件を満たすものの中でさらに閲覧している時間が長いマニュアルやドキュメントを推定結果とする方法をとっても良い。 In addition, as a suitable estimation method when the user acquires the operation method with reference to a manual or a document,
Method 1: A manual or document that was browsed at a time earlier than the operated time is used as the estimation result.
Method 2: Among manuals and documents browsed by the user, manuals and documents that include words that exist in the operation history are used as estimation results.
There are methods. A combination of the estimation results of the method 1 and the method 2 may be used, for example, a manual or a document that is a product set of them may be used as the estimation result. Further, among those satisfying these conditions, a method may be used in which a manual or document that is browsed for a long time is used as an estimation result.

表示生成手段106は、関連行動情報抽出手段105で抽出した関連行動と操作履歴とを対応付けた表示内容を生成する。具体的には、操作履歴を表示するとともに、同じ画面中に抽出した関連行動を表示するとか関連行動の候補を示すテキストやサムネイル画像等を表示しておきユーザが選択したものを表示するようにする方法などをとる。また図３のように、ボタンやテキスト入力スロットなどといった個々のGUI部品（図３中の黒または白の四角など）によって操作履歴が表示されている場合に、そのGUI部品と関連付けて、関連行動を表示するようにしてもよい。 The display generation unit 106 generates display content in which the related behavior extracted by the related behavior information extraction unit 105 is associated with the operation history. Specifically, the operation history is displayed, and the related action extracted in the same screen is displayed, or the text or thumbnail image indicating the candidate for the related action is displayed, and the user's selection is displayed. Take a method to do. In addition, as shown in FIG. 3, when an operation history is displayed by individual GUI parts (such as black or white squares in FIG. 3) such as buttons and text input slots, the related behavior is associated with the GUI parts. May be displayed.

[動作]
次に図４に示されたフローチャートを参照しながら本実施の形態の動作手順を説明する。本実施の形態の動作は、操作履歴やユーザ行動を蓄積するフェーズである履歴蓄積フェーズと、蓄積された履歴を元にユーザの機器やサービスの操作を支援する運用フェーズとに分けられる。 [Operation]
Next, the operation procedure of this embodiment will be described with reference to the flowchart shown in FIG. The operation of the present embodiment is divided into a history accumulation phase, which is a phase for accumulating operation histories and user actions, and an operation phase for supporting user operations of devices and services based on the accumulated history.

まず履歴蓄積フェーズの動作を説明する。履歴蓄積フェーズでは、機器201からの操作履歴を操作履歴記憶手段101で記録する(図４の1001)。これは機器201が利用されている間は全区間あるいは一部区間に対して行われる。また並行してユーザの行動をユーザ行動観測手段102で観測し(図４の2001)、ユーザ行動観測手段102で観測したユーザ行動をユーザ行動記憶手段103に記憶する(図４の2002)。これもユーザの全行動を観測して記録しても良いし、一部区間を観測して記録しても良い。このようにして操作履歴およびユーザ行動を蓄積する。 First, the operation of the history accumulation phase will be described. In the history accumulation phase, the operation history from the device 201 is recorded by the operation history storage means 101 (1001 in FIG. 4). This is performed for all or some sections while the device 201 is being used. In parallel, the user behavior is observed by the user behavior observation means 102 (2001 in FIG. 4), and the user behavior observed by the user behavior observation means 102 is stored in the user behavior storage means 103 (2002 in FIG. 4). In this case, all the actions of the user may be observed and recorded, or a partial section may be observed and recorded. In this way, the operation history and user behavior are accumulated.

次に運用フェーズでの動作を説明する。運用フェーズでは、まず表示履歴決定手段104で、表示する履歴を決定する(図４の3001)。次に、関連行動情報抽出手段105で、表示する履歴の関連行動をユーザ行動記憶手段103より抽出する(図４の3002)。そして、表示生成手段106で、操作履歴と関連行動を関連付けた表示を生成する(図４の3003)。 Next, the operation in the operation phase will be described. In the operation phase, first, the display history determination means 104 determines the history to be displayed (3001 in FIG. 4). Next, the related behavior information extraction unit 105 extracts the related behavior of the history to be displayed from the user behavior storage unit 103 (3002 in FIG. 4). Then, the display generating means 106 generates a display in which the operation history is associated with the related action (3003 in FIG. 4).

このように、本実施の形態によれば、ユーザに対して過去の自らの操作履歴とともに、それに関連するユーザ行動の情報を表示するため、ユーザは操作履歴を見ただけでは思い出せなかった事柄についても、関連行動がヒントあるいは参考となって自らの記憶を呼び覚ますことができる。これにより、ユーザは機器に対して行った過去の操作の方法をより正確に思い出せるようになる。 As described above, according to the present embodiment, since the user's own operation history and the related user behavior information are displayed to the user, the user can not remember only by looking at the operation history. However, related actions can be used as hints or references to awaken their own memories. As a result, the user can more accurately remember past operation methods performed on the device.

また、操作履歴を見ても機器やサービスの使い方がわからない状況は、一度何らかの外部からの情報（人に聞くなど）で操作の仕方を知ることができ、以前の操作の時には理解をしていたが、その後に忘れてしまったケースに多い。この場合、操作の仕方を知ったときの情報を再び呼び出すことができればよいが、ユーザの記憶にのみ頼ってその情報を探し出す方法では、多様な情報源(人に聞く・メール・メモなど)のどこでそれを得たのかを正確に思い出すことが困難であることから、効率よく情報を探し出しアクセスすることが困難である。本実施の形態では、ユーザが操作の仕方を知ったときのユーザの行動とそのときアクセスしていた情報にはその操作に関連するテキストやその他の属性を含んでいる可能性が高く、またユーザが操作した時刻に近い時刻にその情報にアクセスしている可能性が高いという性質を利用して、ユーザ行動の中から操作履歴に関連するテキストや時間的近さやその他の属性が近いユーザ行動を抽出することで、ユーザが操作の仕方を知ったときの行動を同定することができる。そしてその行動をとったときに参照していた情報にアクセスすることができ操作の方法を思い出すことができる。 Also, if you do not know how to use the device or service even if you look at the operation history, you can know how to operate with some external information (such as listening to people) once and understood it at the previous operation However, there are many cases that have been forgotten. In this case, it is only necessary to be able to recall the information when knowing how to operate, but in the method of searching for the information by relying only on the user's memory, various information sources (listening to people, emails, memos, etc.) Because it is difficult to remember exactly where you got it, it is difficult to find and access information efficiently. In the present embodiment, the user's behavior when the user knows how to operate and the information accessed at that time are likely to contain text and other attributes related to the operation, and the user Using the property that there is a high possibility that the information is accessed at a time close to the time when the user operated, the user behavior is similar to the text related to the operation history, the temporal proximity and other attributes that are close By extracting, it is possible to identify the behavior when the user knows how to operate. Then, the user can access the information referred to when taking the action and can remember the operation method.

(第2の実施の形態)
次に添付図面を参照しながら、関連行動判定を行い関連行動のみを厳選して保存する本発明に係る第２の実施の形態を詳細に説明する。 (Second embodiment)
Next, with reference to the attached drawings, a second embodiment according to the present invention will be described in detail, in which relevant behavior determination is performed and only relevant behavior is carefully selected and stored.

(構成の説明)
本発明に係る第２の実施の形態は図５に示すように、第１の実施の形態の構成に加えてさらに、ユーザ行動観測手段102で観測されたユーザ行動が現在ユーザが機器201において実行している操作と関連する行動であるかどうかを判定する関連行動判定手段108を備え、ユーザ行動記憶手段107では、関連行動判定手段108で関連行動であると判定されたユーザ行動に対してどの操作履歴の関連行動であると判定されたかの情報とともに保存し、関連行動情報抽出手段105は、ユーザ行動記憶手段107に記録されているユーザ行動の中で、表示履歴決定手段104で決定された操作履歴と関連すると関連行動判定手段108で判定されたユーザ行動を関連行動として抽出するようにしている。 (Description of configuration)
In the second embodiment according to the present invention, as shown in FIG. 5, in addition to the configuration of the first embodiment, the user behavior observed by the user behavior observing means 102 is executed by the current user in the device 201. And a related behavior determining unit 108 for determining whether the behavior is related to the operation being performed. The user behavior storage unit 107 determines which user behavior is determined to be the related behavior by the related behavior determining unit 108. The operation history is stored together with information indicating whether or not the action is determined to be related, and the related action information extraction unit 105 performs the operation determined by the display history determination unit 104 among the user actions recorded in the user action storage unit 107. The user action determined by the related action determination means 108 as being related to the history is extracted as the related action.

図６に示されるように、上記構成に加えて表示生成部106で生成された表示内容をユーザに対して提示する提示手段202を操作支援装置の構成に含めるようにしてもよい。提示手段202は液晶やブラウン管その他のディスプレイやその他の表示装置を用いることができる。 As shown in FIG. 6, in addition to the above configuration, a presentation unit 202 that presents the display content generated by the display generation unit 106 to the user may be included in the configuration of the operation support apparatus. The presenting means 202 can use a liquid crystal, a cathode ray tube, other displays, or other display devices.

関連行動判定手段108は、現在ユーザが操作しているタスクの操作履歴を操作履歴記憶手段101から受け取り、その操作履歴と関連するユーザ行動を抽出する。例えば現在ユーザが機器201に対して或る操作をしている場合、当該操作の直近のユーザ行動を当該操作の関連行動として抽出する構成を取ることができる。また関連行動判定手段108はその内部にユーザ行動観測手段102の出力であるユーザ行動を蓄積しておき、蓄積したユーザ行動群に対して関連行動を判定する。蓄積する区間は一定時刻区間でもよいしその他の基準で選択的に蓄積しても良いし観測されたすべてのユーザ行動を蓄積しておいても良い。これらのユーザ行動に対する関連行動の判定は、第１の実施の形態で述べた関連行動情報抽出手段105での推定方法と同様の方法を用いることができる。具体的には、関連行動判定手段108は、ユーザ行動観測手段102で観測されたユーザ行動のうち、機器201に対して現在実行されている操作の時刻以前の近い時刻に行われたユーザ行動を当該操作の関連行動として推定する。また、関連行動判定手段108は、ユーザ行動観測手段102で観測されたユーザ行動のうち、機器201に対して現在実行されている操作の履歴にあるユーザが入力した情報、ユーザに提示された情報、そのときの機器内部の情報、またはユーザが操作している状況の情報に含まれている音声、テキスト、単語、または映像に近い内容を含むユーザ行動を当該操作の関連行動として推定する。さらに、関連行動判定手段108は、ユーザ行動観測手段102で観測されたユーザ行動のうち、機器201に対して現在実行されている操作の時刻以前の近い時刻に行われたユーザ行動であって、かつ、機器201に対して現在実行されている操作の履歴にあるユーザが入力した情報、ユーザに提示された情報、そのときの機器内部の情報、またはユーザが操作している状況の情報に含まれている音声、テキスト、単語、または映像に近い内容を含むユーザ行動を当該操作の関連行動として推定するようにしてもよい。 The related behavior determining unit 108 receives the operation history of the task currently operated by the user from the operation history storage unit 101, and extracts the user behavior related to the operation history. For example, when the user is currently performing a certain operation on the device 201, it is possible to take a configuration in which the user behavior that is most recent to the operation is extracted as the related behavior of the operation. In addition, the related behavior determining unit 108 stores therein the user behavior that is the output of the user behavior observing unit 102, and determines the related behavior for the stored user behavior group. The interval to be accumulated may be a fixed time interval, may be selectively accumulated according to other criteria, or all observed user actions may be accumulated. The determination of the related behavior with respect to these user behaviors can use the same method as the estimation method in the related behavior information extraction unit 105 described in the first embodiment. Specifically, the related behavior determining unit 108 includes user behaviors performed at a time before the time of the operation currently being performed on the device 201 among the user behaviors observed by the user behavior observation unit 102. Estimated as a related action of the operation. Further, the related behavior determining unit 108 includes information input by the user in the history of operations currently being performed on the device 201 among the user behaviors observed by the user behavior observing unit 102, and information presented to the user. Then, the user behavior including content close to the voice, text, word, or video included in the information inside the device at that time or the status information operated by the user is estimated as the related behavior of the operation. Further, the related behavior determining means 108 is a user behavior performed at a time before the time of the operation currently being performed on the device 201 among the user behaviors observed by the user behavior observing means 102, Also included in information input by the user in the history of operations currently being performed on the device 201, information presented to the user, information inside the device at that time, or information on the status of the user operating A user action including content close to the voice, text, word, or video that is being recorded may be estimated as a related action of the operation.

また関連行動判定手段108は、判定対象のユーザ行動が関連情報であるかどうかをユーザに問い合わせ、ユーザから関連情報であるとの応答を入力した場合にそのユーザ行動を関連情報であると判定するようにしてもよい。ユーザとのやり取りはGUIや音声対話やその他のユーザインタフェースを通じて行われる。 The related behavior determining means 108 inquires of the user whether the user behavior to be determined is related information, and determines that the user behavior is related information when a response indicating that the user behavior is related information is input from the user. You may do it. Interaction with the user is performed through a GUI, voice interaction, and other user interfaces.

そして、関連行動判定手段108は、関連行動であると判定されたユーザ行動に対して、どこの操作履歴に対して関連行動であると判定されたかの情報を付与してユーザ行動記憶手段107で保持する。この情報は、例えば時刻でもよいし操作履歴と一意でひも付けをするためのIDをつけるなどして実現してもよい。 Then, the related behavior determining means 108 gives information on which operation history is determined to be related behavior to the user behavior determined to be related behavior, and holds it in the user behavior storage means 107 To do. This information may be realized, for example, by time or by attaching an ID for uniquely linking the operation history.

ユーザ行動記憶手段107は、関連行動判定手段105で関連行動であると判定されたユーザ行動に対してどの操作履歴の関連行動であると判定されたかの情報とともに保存する。さらに関連行動判定手段105で関連行動であると判定されたユーザ行動のみを保存する構成を取ることもできる。 The user behavior storage unit 107 stores the operation history of the user behavior that is determined to be related behavior by the related behavior determination unit 105 together with information about which operation history is determined to be related behavior. Furthermore, it is possible to adopt a configuration in which only the user behavior determined to be related behavior by the related behavior determination means 105 is stored.

関連行動情報抽出手段105は、ユーザ行動記憶手段107に記録されているユーザ行動の中で、表示履歴決定手段104で決定された操作履歴と関連すると関連行動判定手段108で判定されたユーザ行動を関連行動として抽出する。なお、関連行動判定手段108で判定されたユーザ行動に対して第１の実施の形態で示した方法を用いてユーザ行動全体から関連行動の候補を抽出する構成をとっても良い。 The related behavior information extraction unit 105 is configured to display the user behavior determined by the related behavior determination unit 108 as being related to the operation history determined by the display history determination unit 104 among the user behaviors recorded in the user behavior storage unit 107. Extract as related actions. It should be noted that a configuration may be adopted in which related behavior candidates are extracted from the entire user behavior using the method described in the first embodiment for the user behavior determined by the related behavior determination means 108.

[動作]
次に図７に示されたフローチャートを参照しながら本実施の形態の動作手順を説明する。本実施の形態の動作は、操作履歴やユーザ行動を蓄積するフェーズである履歴蓄積フェーズと、蓄積された履歴を元にユーザの機器やサービスの操作を支援する運用フェーズとに分けられる。まず履歴蓄積フェーズの動作を説明する。 [Operation]
Next, the operation procedure of this embodiment will be described with reference to the flowchart shown in FIG. The operation of the present embodiment is divided into a history accumulation phase, which is a phase for accumulating operation histories and user actions, and an operation phase for supporting user operations of devices and services based on the accumulated history. First, the operation of the history accumulation phase will be described.

履歴蓄積フェーズでは、機器201からの操作履歴を操作履歴記憶手段101で記録する(図７の1001)。これは機器201が利用されている間は全区間あるいは一部区間に対して行われる。また並行してユーザの行動をユーザ行動観測手段102で観測し(図７の2001)、関連行動判定手段108で、現在ユーザが操作しているタスクの操作履歴を操作履歴記憶手段101から受け取り、その操作履歴と関連するユーザ関連行動を抽出する(図７の2002)。そして、関連行動判定手段108で抽出されたユーザ行動が少なくとも含まれルように、ユーザ行動観測手段102で観測したユーザ行動をユーザ行動記憶手段107に記憶する(図７の2003)。 In the history accumulation phase, the operation history from the device 201 is recorded by the operation history storage means 101 (1001 in FIG. 7). This is performed for all or some sections while the device 201 is being used. In parallel, the user behavior is observed by the user behavior observation means 102 (2001 in FIG. 7), and the related behavior determination means 108 receives the operation history of the task currently operated by the user from the operation history storage means 101. User-related behaviors related to the operation history are extracted (2002 in FIG. 7). Then, the user behavior observed by the user behavior observation means 102 is stored in the user behavior storage means 107 so that at least the user behavior extracted by the related behavior determination means 108 is included (2003 in FIG. 7).

次に運用フェーズでの動作を説明する。運用フェーズでは、まず表示履歴決定手段104で、表示する履歴を決定する(図７の3001)。次に、関連行動情報抽出手段105で、表示する履歴の関連行動をユーザ行動記憶手段107より抽出する(図７の3002)。そして、表示生成手段106で、操作履歴と関連行動を関連付けた表示を生成する(図７の3001)。 Next, the operation in the operation phase will be described. In the operation phase, the display history determination unit 104 first determines the history to be displayed (3001 in FIG. 7). Next, the related behavior information extraction unit 105 extracts the related behavior of the history to be displayed from the user behavior storage unit 107 (3002 in FIG. 7). Then, the display generating means 106 generates a display in which the operation history and the related action are associated (3001 in FIG. 7).

このように、本実施の形態によれば、第１の実施の形態と同様の理由により、ユーザは機器に対して行った過去の操作の方法をより正確に思い出せるようになる。 As described above, according to the present embodiment, the user can more accurately remember the past operation method performed on the device for the same reason as in the first embodiment.

さらに、関連行動判定手段108でユーザに対して関連行動であるかどうかを質問することでユーザは行動を行ってから比較的短い時間で関連行動であるかどうかを質問されるので関連行動であるかどうかをすぐ思い出すことができ、ユーザの負担無く関連行動の抽出精度を高めることができる効果もある。 Further, the related behavior determination means 108 asks the user whether the behavior is related behavior, so that the user is asked whether the behavior is related behavior in a relatively short time after performing the behavior. It is possible to immediately remember whether or not, and there is an effect that the extraction accuracy of related actions can be improved without burden on the user.

また関連行動判定手段108でユーザ行動が関連行動であるかどうかを判定されたもののみをユーザ行動記憶手段107で記憶する構成をとることもでき、この場合、ユーザ行動記憶手段107で記憶しておくユーザ行動の量を減らすことができ、少ない記憶領域でシステムを構成できる効果がある。 In addition, it is possible to adopt a configuration in which the user behavior storage unit 107 stores only the user behavior determined by the related behavior determination unit 108 as to whether or not the user behavior is a related behavior. In this case, the user behavior storage unit 107 stores the user behavior. The amount of user action to be placed can be reduced, and the system can be configured with a small storage area.

以上本発明の実施の形態について説明したが、本発明は以上の実施の形態にのみ限定されず、その他各種の付加変更が可能である。また、本発明の操作誘導装置は、その有する機能をハードウェア的に実現することは勿論、コンピュータとプログラムとで実現することができる。プログラムは、磁気ディスクや半導体メモリ等のコンピュータ可読記録媒体に記録されて提供され、コンピュータの立ち上げ時などにコンピュータに読み取られ、そのコンピュータの動作を制御することにより、そのコンピュータを前述した各実施の形態における操作履歴記憶手段、ユーザ行動観測手段、ユーザ行動記憶手段、表示履歴決定手段、関連行動情報抽出手段、表示生成手段、関連行動判定手段として機能させる。 Although the embodiment of the present invention has been described above, the present invention is not limited to the above embodiment, and various other additions and modifications can be made. In addition, the operation guidance device of the present invention can be realized by a computer and a program as well as by realizing the functions of the operation guidance device by hardware. The program is provided by being recorded on a computer-readable recording medium such as a magnetic disk or a semiconductor memory, and is read by the computer at the time of starting up the computer, etc. In the form of operation history storage means, user behavior observation means, user behavior storage means, display history determination means, related behavior information extraction means, display generation means, and related behavior determination means.

本発明は、機器やシステム、例えば携帯電話・パソコン上のアプリケーションソフトウェア・Webアプリケーション・カーナビゲーション・電話応答システム・ＤＶＤレコーダ・ハードディスクレコーダ・テレビ・ゲーム機等や情報家電などその他の機器の使用方法をユーザに誘導する技術に適用可能である。 The present invention relates to a method of using other devices such as devices and systems, such as application software on mobile phones, personal computers, web applications, car navigation, telephone answering systems, DVD recorders, hard disk recorders, televisions, game machines, and information appliances. The present invention can be applied to a technique for guiding the user.

101…操作履歴記憶手段
102…ユーザ行動観測手段
103…ユーザ行動記憶手段
104…表示履歴決定手段
105…関連行動情報抽出手段
106…表示生成手段
107…ユーザ行動記憶手段
108…関連行動判定手段
201…機器
202…提示手段 101 ... Operation history storage means
102 ... User behavior observation means
103 ... User action storage means
104 ... Display history determination means
105 ... Related action information extraction means
106: Display generation means
107: User action storage means
108 ... Related action judgment means
201 ... Equipment
202 ... presentation means

Claims

ユーザがある機器に対して行った過去の操作履歴を記録する操作履歴記憶手段と、
前記機器に対する操作以外のユーザの行動を観測するユーザ行動観測手段と、
前記ユーザ行動観測手段で観測されたユーザの行動を記憶するユーザ行動記憶手段と、
前記操作履歴記憶手段に記憶されている操作履歴の中から一つまたは複数の操作履歴を選択する表示履歴決定手段と、
前記ユーザ行動記憶手段に記録されているユーザ行動の中で、前記表示履歴決定手段で選択された操作履歴と関連する行動である関連行動を抽出する関連行動情報抽出手段と、
を備えることを特徴とする操作誘導装置。 Operation history storage means for recording a past operation history performed on a device by a user;
User behavior observation means for observing user behavior other than operation on the device;
User behavior storage means for storing user behavior observed by the user behavior observation means;
Display history determination means for selecting one or a plurality of operation histories from the operation histories stored in the operation history storage means;
Among the user actions recorded in the user action storage means, related action information extracting means for extracting related actions that are actions related to the operation history selected by the display history determining means;
An operation guidance device comprising:

請求項１記載の操作誘導装置において、
さらに、前記ユーザ行動観測手段で観測されたユーザ行動が現在ユーザによって前記機器に対して実行されている操作と関連する行動であるかどうかを判定する関連行動判定手段を備え、
前記ユーザ行動記憶手段は、前記関連行動判定手段で関連行動であると判定されたユーザ行動に対してどの操作履歴の関連行動であると判定されたかの情報を付加して保存し、
前記関連行動情報抽出手段は、前記ユーザ行動記憶手段に記録されているユーザ行動の中で、前記表示履歴決定手段で選択された操作履歴と関連すると前記関連行動判定手段で判定されたユーザ行動を関連行動として抽出することを特徴とする操作誘導装置。 The operation guidance device according to claim 1,
Furthermore, it comprises related behavior determining means for determining whether the user behavior observed by the user behavior observing means is a behavior related to an operation currently being performed on the device by the user,
The user behavior storage means adds and stores information on which operation history is determined to be related behavior to the user behavior determined to be related behavior by the related behavior determination means,
The related behavior information extraction unit is configured to determine a user behavior determined by the related behavior determination unit as being related to the operation history selected by the display history determination unit among the user behaviors recorded in the user behavior storage unit. An operation guidance device that is extracted as a related action.

請求項２記載の操作誘導装置において、
前記関連行動判定手段は、判定対象のユーザ行動が関連情報であるかどうかをユーザに問い合わせ、ユーザから関連情報であるとの応答を入力した場合にそのユーザ行動を関連情報であると判定することを特徴とする操作誘導装置。 The operation guidance device according to claim 2,
The related behavior determination means inquires of the user whether or not the user behavior to be determined is related information, and determines that the user behavior is related information when a response indicating that the user behavior is related information is input from the user. An operation guidance device characterized by the above.

請求項２記載の操作誘導装置において、
前記関連行動判定手段は、前記ユーザ行動観測手段で観測されたユーザ行動のうち、前記機器に対して現在実行されている操作の操作時刻以前の近い時刻に行われたユーザ行動を関連行動として推定することを特徴とする操作誘導装置。 The operation guidance device according to claim 2,
The related behavior determining unit estimates a user behavior performed at a time before the operation time of the operation currently being performed on the device as the related behavior among the user behaviors observed by the user behavior observation unit. An operation guidance device characterized by:

請求項２記載の操作誘導装置において、
前記関連行動判定手段は、前記ユーザ行動観測手段で観測されたユーザ行動のうち、前記機器に対して現在実行されている操作の履歴にあるユーザが入力した情報、ユーザに提示された情報、そのときの機器内部の情報、またはユーザが操作している状況の情報に含まれている音声、テキスト、単語、または映像に近い内容を含むユーザ行動を関連行動として推定することを特徴とする操作誘導装置。 The operation guidance device according to claim 2,
The related behavior determining means includes information inputted by a user in a history of operations currently being performed on the device, information presented to the user, among user behaviors observed by the user behavior observing means, Operation guidance characterized by estimating user behavior including content similar to voice, text, words, or video included in information inside the device at the time or information on the situation that the user is operating apparatus.

請求項２記載の操作誘導装置において、
前記関連行動判定手段は、前記ユーザ行動観測手段で観測されたユーザ行動のうち、前記機器に対して現在実行されている操作の操作時刻以前の近い時刻に行われたユーザ行動であって、且つ、前記機器に対して現在実行されている操作の履歴にあるユーザが入力した情報、ユーザに提示された情報、そのときの機器内部の情報、またはユーザが操作している状況の情報に含まれている音声、テキスト、単語、または映像に近い内容を含むユーザ行動を関連行動として推定することを特徴とする操作誘導装置。 The operation guidance device according to claim 2,
The related behavior determining unit is a user behavior performed at a time before the operation time of the operation currently being performed on the device among the user behaviors observed by the user behavior observation unit, and Included in the information input by the user in the history of operations currently being performed on the device, information presented to the user, information inside the device at that time, or information on the situation in which the user is operating An operation guidance device that estimates user behavior including content close to a voice, text, word, or video as related behavior.

請求項１記載の操作誘導装置において、
前記関連行動情報抽出手段は、前記ユーザ行動観測手段で観測されたユーザ行動のうち、前記表示履歴決定手段で選択された操作履歴が実行された時刻以前の近い時刻に行われたユーザ行動を関連行動として推定することを特徴とする操作誘導装置。 The operation guidance device according to claim 1,
The related behavior information extraction unit relates to user behaviors performed at a time close to the time before the operation history selected by the display history determination unit is executed among the user behaviors observed by the user behavior observation unit. An operation guidance device characterized by estimating as an action.

請求項１記載の操作誘導装置において、
前記関連行動情報抽出手段は、前記ユーザ行動観測手段で観測されたユーザ行動のうち、前記表示履歴決定手段で選択された操作履歴にあるユーザが入力した情報、ユーザに提示された情報、そのときの機器内部の情報、またはユーザが操作している状況の情報に含まれている音声、テキスト、単語、または映像に近い内容を含むユーザ行動を関連行動として推定することを特徴とする操作誘導装置。 The operation guidance device according to claim 1,
The related behavior information extracting means includes information inputted by the user in the operation history selected by the display history determining means among the user behaviors observed by the user behavior observing means, information presented to the user, An operation guiding device for estimating a user action including content close to voice, text, word, or video contained in information inside the device or information on a situation in which the user is operating as a related action .

請求項１記載の操作誘導装置において、
前記関連行動情報抽出手段は、前記ユーザ行動観測手段で観測されたユーザ行動のうち、前記表示履歴決定手段で選択された操作履歴が実行された時刻以前の近い時刻に行われたユーザ行動であって、且つ、前記表示履歴決定手段で選択された操作履歴にあるユーザが入力した情報、ユーザに提示された情報、そのときの機器内部の情報、またはユーザが操作している状況の情報に含まれている音声、テキスト、単語、または映像に近い内容を含むユーザ行動を関連行動として推定することを特徴とする操作誘導装置。 The operation guidance device according to claim 1,
The related behavior information extracting unit is a user behavior performed at a time before the time when the operation history selected by the display history determination unit is executed among the user behaviors observed by the user behavior observation unit. And the information input by the user in the operation history selected by the display history determining means, the information presented to the user, the information inside the device at that time, or the information on the situation in which the user is operating An operation guidance device that estimates a user action including content close to a voice, text, word, or video as a related action.

請求項１乃至９の何れか１項に記載の操作誘導装置において、
前記ユーザ観測手段は、ユーザの位置、ユーザが対面して話を聞いた人の位置、ユーザと対面した人との会話内容、ユーザの電話通話記録、ユーザの電話による通話内容、ユーザのメール送受信記録、ユーザのメールによる送受信内容、ユーザの参照したマニュアルまたはドキュメントの参照記録、ユーザの参照したマニュアルまたはドキュメントの内容、のうちの一つまたは複数を観測することを特徴とする操作誘導装置。 In the operation guidance device according to any one of claims 1 to 9,
The user observing means includes the position of the user, the position of the person who the user has faced and listened to, the conversation content with the person who has faced the user, the telephone call record of the user, the content of the telephone call of the user, and the user's mail transmission / reception An operation guidance device for observing one or more of a record, contents transmitted / received by a user's mail, a reference record of a manual or document referred to by a user, and a content of a manual or document referred to by a user.

請求項１乃至１０の何れか１項に記載の操作誘導装置において、
さらに、前記選択された操作履歴と前記抽出された関連行動とを対応付けた表示内容を生成する表示生成手段を備えることを特徴とする操作誘導装置。 The operation guidance device according to any one of claims 1 to 10,
The operation guidance device further comprises display generation means for generating display contents in which the selected operation history and the extracted related behavior are associated with each other.

ユーザがある機器に対して行った過去の操作履歴を記録する操作履歴記憶手段と、
前記機器に対する操作以外のユーザの行動を観測するユーザ行動観測手段と、
前記ユーザ行動観測手段で観測されたユーザの行動を記憶するユーザ行動記憶手段と、
前記ユーザ行動観測手段で観測されたユーザ行動が現在ユーザによって前記機器に対して実行されている操作と関連する行動であるかどうかを判定する関連行動判定手段とを備え、
前記ユーザ行動記憶手段は、前記関連行動判定手段で関連行動であると判定されたユーザ行動に対してどの操作履歴の関連行動であると判定されたかの情報を付加して保存する
、ことを特徴とする操作履歴とユーザ行動の記録装置。 Operation history storage means for recording a past operation history performed on a device by a user;
User behavior observation means for observing user behavior other than operation on the device;
User behavior storage means for storing user behavior observed by the user behavior observation means;
A related behavior determining unit that determines whether the user behavior observed by the user behavior observing unit is a behavior related to an operation currently being performed on the device by a user;
The user behavior storage means adds and stores information indicating which operation history is determined to be related behavior to the user behavior determined to be related behavior by the related behavior determination means.
The recording device of the user behavior and operation history, characterized in that.

ユーザがある機器に対して行った過去の操作履歴を記録する操作履歴記憶手段と、
前記機器に対する操作以外について観測されたユーザの行動を記憶するユーザ行動記憶手段と、
前記操作履歴記憶手段に記憶されている操作履歴の中から一つまたは複数の操作履歴を選択する表示履歴決定手段と、
前記ユーザ行動記憶手段に記録されているユーザ行動の中で、前記表示履歴決定手段で選択された操作履歴と関連する行動である関連行動を抽出する関連行動情報抽出手段と、
を備えることを特徴とする操作誘導装置。 Operation history storage means for recording a past operation history performed on a device by a user;
User behavior storage means for storing user behaviors observed for operations other than operations on the device;
Display history determination means for selecting one or a plurality of operation histories from the operation histories stored in the operation history storage means;
Among the user actions recorded in the user action storage means, related action information extracting means for extracting related actions that are actions related to the operation history selected by the display history determining means;
An operation guidance device comprising:

ａ）操作履歴取得手段が、ユーザがある機器に対して行った過去の操作履歴を取得して、操作履歴記憶手段に記録するステップと、
ｂ）ユーザ行動観測手段が、前記機器に対する操作以外のユーザの行動を観測して、ユーザ行動記憶手段に記憶するステップと、
ｃ）表示履歴決定手段が、前記操作履歴記憶手段に記憶されている操作履歴の中から一つまたは複数の操作履歴を選択するステップと、
ｄ）関連行動情報抽出手段が、前記ユーザ行動記憶手段に記録されているユーザ行動の中で、前記ステップｃで選択された操作履歴と関連する行動である関連行動を抽出するステップと、
を含むことを特徴とする操作誘導方法。 a) a step in which an operation history acquisition unit acquires a past operation history performed on a device by a user and records it in an operation history storage unit;
b) a step in which the user behavior observing means observes a user behavior other than the operation on the device, and stores it in the user behavior storage means;
c) a display history determination unit selecting one or a plurality of operation histories from the operation histories stored in the operation history storage unit;
d) a step in which the related behavior information extracting unit extracts a related behavior that is a behavior related to the operation history selected in the step c among the user behaviors recorded in the user behavior storage unit;
An operation guiding method comprising:

ａ）操作履歴取得手段が、ユーザがある機器に対して行った過去の操作履歴を取得して、操作履歴記憶手段に記録するステップと、
ｂ）ユーザ行動観測手段が、前記機器に対する操作以外のユーザの行動を観測するステップと、
ｃ）関連行動判定手段が、前記ステップｂで観測されたユーザ行動が現在ユーザによって前記機器に対して実行されている操作と関連する行動であるかどうかを判定し、関連行動であると判定されたユーザ行動に対してどの操作履歴の関連行動であると判定されたかの情報を付加してユーザ行動記憶手段に記憶するステップと、
ｄ）表示履歴決定手段が、前記操作履歴記憶手段に記憶されている操作履歴の中から一つまたは複数の操作履歴を選択するステップと、
ｅ）関連行動情報抽出手段が、前記ユーザ行動記憶手段に記録されているユーザ行動の中で、前記ステップｄで選択された操作履歴と関連する行動である関連行動を抽出するステップと、
を含むことを特徴とする操作誘導方法。 a) a step in which an operation history acquisition unit acquires a past operation history performed on a device by a user and records it in an operation history storage unit;
b) a step of observing a user behavior other than an operation on the device;
c) The related behavior determining means determines whether the user behavior observed in step b is a behavior related to the operation currently being performed on the device by the user, and is determined to be the related behavior. Adding information on which operation history is determined to be related to the user action to be stored in the user action storage means;
d) a step of the display history determining means selecting one or a plurality of operation histories from the operation histories stored in the operation history storage means;
e) a step of extracting related behavior information that is related to the operation history selected in step d, among the user behaviors recorded in the user behavior storage unit;
An operation guiding method comprising:

請求項１５記載の操作誘導方法において、
前記ステップｃにおいては、判定対象のユーザ行動が関連情報であるかどうかをユーザに問い合わせ、ユーザから関連情報であるとの応答を入力した場合にそのユーザ行動を関連情報であると判定することを特徴とする操作誘導方法。 The operation guidance method according to claim 15 ,
In step c, when the user's action to be determined is related information, the user is inquired, and when a response indicating that the user's action is related information is input, the user action is determined to be related information. A characteristic operation guidance method.

請求項１５記載の操作誘導方法において、
前記ステップｃにおいては、前記ステップｂで観測されたユーザ行動のうち、前記機器に対して現在実行されている操作の操作時刻以前の近い時刻に行われたユーザ行動を関連行動として推定することを特徴とする操作誘導方法。 The operation guidance method according to claim 15 ,
In the step c, the user behavior performed at a time before the operation time of the operation currently being performed on the device among the user behaviors observed in the step b is estimated as a related behavior. A characteristic operation guidance method.

請求項１５記載の操作誘導方法において、
前記ステップｃにおいては、前記ステップｂで観測されたユーザ行動のうち、前記機器に対して現在実行されている操作の履歴にあるユーザが入力した情報、ユーザに提示された情報、そのときの機器内部の情報、またはユーザが操作している状況の情報に含まれている音声、テキスト、単語、または映像に近い内容を含むユーザ行動を関連行動として推定することを特徴とする操作誘導方法。 The operation guidance method according to claim 15 ,
In step c, among the user behaviors observed in step b, information input by the user in the history of operations currently being performed on the device, information presented to the user, and the device at that time An operation guidance method characterized by estimating a user action including content close to voice, text, words, or video included in internal information or information on a situation in which the user is operating as a related action.

請求項１５記載の操作誘導方法において、
前記ステップｃにおいては、前記ステップｂで観測されたユーザ行動のうち、前記機器に対して現在実行されている操作の操作時刻以前の近い時刻に行われたユーザ行動であって、且つ、前記機器に対して現在実行されている操作の履歴にあるユーザが入力した情報、ユーザに提示された情報、そのときの機器内部の情報、またはユーザが操作している状況の情報に含まれている音声、テキスト、単語、または映像に近い内容を含むユーザ行動を関連行動として推定することを特徴とする操作誘導方法。 The operation guidance method according to claim 15 ,
In the step c, among the user behaviors observed in the step b, the user behaviors performed at a time before the operation time of the operation currently being performed on the device, and the device The information entered by the user in the history of operations currently being performed on the information, the information presented to the user, the information inside the device at that time, or the voice included in the information on the situation in which the user is operating An operation guiding method characterized by estimating a user action including content close to text, a word, or a video as a related action.

請求項１４記載の操作誘導方法において、
前記ステップｄにおいては、前記ステップｂで観測されたユーザ行動のうち、前記ステップｃで選択された操作履歴が実行された時刻以前の近い時刻に行われたユーザ行動を関連行動として推定することを特徴とする操作誘導方法。 The operation guidance method according to claim 14 , wherein
In the step d, it is estimated that, among the user behaviors observed in the step b, user behaviors performed at a time before the time when the operation history selected in the step c is executed are estimated as related behaviors. A characteristic operation guidance method.

請求項１４記載の操作誘導方法において、
前記ステップｄにおいては、前記ステップｂで観測されたユーザ行動のうち、前記ステップｃで選択された操作履歴にあるユーザが入力した情報、ユーザに提示された情報、そのときの機器内部の情報、またはユーザが操作している状況の情報に含まれている音声、テキスト、単語、または映像に近い内容を含むユーザ行動を関連行動として推定することを特徴とする操作誘導方法。 The operation guidance method according to claim 14 , wherein
In step d, among the user actions observed in step b, information input by the user in the operation history selected in step c, information presented to the user, information inside the device at that time, Alternatively, an operation guiding method characterized by estimating a user action including a content close to voice, text, word, or video included in information on a situation in which the user is operating as a related action.

請求項１４記載の操作誘導方法において、
前記ステップｄにおいては、前記ステップｂで観測されたユーザ行動のうち、前記ステップｃで選択された操作履歴が実行された時刻以前の近い時刻に行われたユーザ行動であって、且つ、前記ステップｃで選択された操作履歴にあるユーザが入力した情報、ユーザに提示された情報、そのときの機器内部の情報、またはユーザが操作している状況の情報に含まれている音声、テキスト、単語、または映像に近い内容を含むユーザ行動を関連行動として推定することを特徴とする操作誘導方法。 The operation guidance method according to claim 14 , wherein
In step d, among the user behaviors observed in step b, the user behaviors performed at a time before the time when the operation history selected in step c was executed, and the step Voice, text, words included in information entered by the user in the operation history selected in c, information presented to the user, information inside the device at that time, or information on the situation in which the user is operating Or a user behavior including content close to a video is estimated as a related behavior.

請求項１４乃至２２の何れか１項に記載の操作誘導方法において、
前記ステップｂにおいては、ユーザの位置、ユーザが対面して話を聞いた人の位置、ユーザと対面した人との会話内容、ユーザの電話通話記録、ユーザの電話による通話内容、ユーザのメール送受信記録、ユーザのメールによる送受信内容、ユーザの参照したマニュアルまたはドキュメントの参照記録、ユーザの参照したマニュアルまたはドキュメントの内容、のうちの一つまたは複数を観測することを特徴とする操作誘導方法。 The operation guiding method according to any one of claims 14 to 22 ,
In step b, the position of the user, the position of the person who the user met and heard, the content of the conversation with the person who met the user, the telephone call record of the user, the content of the telephone call of the user, the user's mail transmission and reception An operation guidance method characterized by observing one or more of a record, contents transmitted / received by a user's mail, a reference record of a manual or document referred to by a user, and a manual or document content referred to by a user.

ユーザがある機器に対して行った過去の操作履歴を記録する操作履歴記憶手段と、ユーザの行動を記憶するユーザ行動記憶手段とを備えたコンピュータを、
前記機器に対する操作以外のユーザの行動を観測し、該観測したユーザの行動を前記ユーザ行動記憶手段に記憶するユーザ行動記憶手段と、
前記操作履歴記憶手段に記憶されている操作履歴の中から一つまたは複数の操作履歴を選択する表示履歴決定手段と、
前記ユーザ行動記憶手段に記録されているユーザ行動の中で、前記表示履歴決定手段で選択された操作履歴と関連する行動である関連行動を抽出する関連行動情報抽出手段と、
して機能させるためのプログラム。 A computer comprising an operation history storage means for recording past operation history performed on a device by a user, and a user action storage means for storing user actions,
User behavior storage means for observing user behavior other than operation on the device and storing the observed user behavior in the user behavior storage means;
Display history determination means for selecting one or a plurality of operation histories from the operation histories stored in the operation history storage means;
Among the user actions recorded in the user action storage means, related action information extracting means for extracting related actions that are actions related to the operation history selected by the display history determining means;
Program to make it function.

請求項２４記載のプログラムにおいて、
前記コンピュータを、さらに、前記ユーザ行動観測手段で観測されたユーザ行動が現在ユーザによって前記機器に対して実行されている操作と関連する行動であるかどうかを判定する関連行動判定手段として機能させるプログラムであって、
前記ユーザ行動記憶手段は、前記関連行動判定手段で関連行動であると判定されたユーザ行動に対してどの操作履歴の関連行動であると判定されたかの情報を付加して保存し、
前記関連行動情報抽出手段は、前記ユーザ行動記憶手段に記録されているユーザ行動の中で、前記表示履歴決定手段で選択された操作履歴と関連すると前記関連行動判定手段で判定されたユーザ行動を関連行動として抽出することを特徴とするプログラム。 The program according to claim 24 ,
A program for causing the computer to further function as related behavior determination means for determining whether or not the user behavior observed by the user behavior observation means is behavior related to an operation currently being performed on the device by the user. Because
The user behavior storage means adds and stores information on which operation history is determined to be related behavior to the user behavior determined to be related behavior by the related behavior determination means,
The related behavior information extraction unit is configured to determine a user behavior determined by the related behavior determination unit as being related to the operation history selected by the display history determination unit among the user behaviors recorded in the user behavior storage unit. A program characterized by extracting as related actions.

請求項２５記載のプログラムにおいて、
前記関連行動判定手段は、判定対象のユーザ行動が関連情報であるかどうかをユーザに問い合わせ、ユーザから関連情報であるとの応答を入力した場合にそのユーザ行動を関連情報であると判定することを特徴とするプログラム。 The program according to claim 25 ,
The related behavior determination means inquires of the user whether or not the user behavior to be determined is related information, and determines that the user behavior is related information when a response indicating that the user behavior is related information is input from the user. A program characterized by

請求項２５記載のプログラムにおいて、
前記関連行動判定手段は、前記ユーザ行動観測手段で観測されたユーザ行動のうち、前記機器に対して現在実行されている操作の操作時刻以前の近い時刻に行われたユーザ行動を関連行動として推定することを特徴とするプログラム。 The program according to claim 25 ,
The related behavior determining unit estimates a user behavior performed at a time before the operation time of the operation currently being performed on the device as the related behavior among the user behaviors observed by the user behavior observation unit. The program characterized by doing.

請求項２５記載のプログラムにおいて、
前記関連行動判定手段は、前記ユーザ行動観測手段で観測されたユーザ行動のうち、前記機器に対して現在実行されている操作の履歴にあるユーザが入力した情報、ユーザに提示された情報、そのときの機器内部の情報、またはユーザが操作している状況の情報に含まれている音声、テキスト、単語、または映像に近い内容を含むユーザ行動を関連行動として推定することを特徴とするプログラム。 The program according to claim 25 ,
The related behavior determining means includes information inputted by a user in a history of operations currently being performed on the device, information presented to the user, among user behaviors observed by the user behavior observing means, A program that estimates a user action including content close to voice, text, words, or video included in information inside the device at the time or information on a situation that the user is operating as a related action.

請求項２５記載のプログラムにおいて、
前記関連行動判定手段は、前記ユーザ行動観測手段で観測されたユーザ行動のうち、前記機器に対して現在実行されている操作の操作時刻以前の近い時刻に行われたユーザ行動であって、且つ、前記機器に対して現在実行されている操作の履歴にあるユーザが入力した情報、ユーザに提示された情報、そのときの機器内部の情報、またはユーザが操作している状況の情報に含まれている音声、テキスト、単語、または映像に近い内容を含むユーザ行動を関連行動として推定することを特徴とするプログラム。 The program according to claim 25 ,
The related behavior determining unit is a user behavior performed at a time before the operation time of the operation currently being performed on the device among the user behaviors observed by the user behavior observation unit, and Included in the information input by the user in the history of operations currently being performed on the device, information presented to the user, information inside the device at that time, or information on the situation in which the user is operating A program characterized by estimating a user action including content close to a sound, text, word, or video as a related action.

請求項２４記載のプログラムにおいて、
前記関連行動情報抽出手段は、前記ユーザ行動観測手段で観測されたユーザ行動のうち、前記表示履歴決定手段で選択された操作履歴が実行された時刻以前の近い時刻に行われたユーザ行動を関連行動として推定することを特徴とするプログラム。 The program according to claim 24 ,
The related behavior information extraction unit relates to user behaviors performed at a time close to the time before the operation history selected by the display history determination unit is executed among the user behaviors observed by the user behavior observation unit. A program characterized by estimation as an action.

請求項２４記載のプログラムにおいて、
前記関連行動情報抽出手段は、前記ユーザ行動観測手段で観測されたユーザ行動のうち、前記表示履歴決定手段で選択された操作履歴にあるユーザが入力した情報、ユーザに提示された情報、そのときの機器内部の情報、またはユーザが操作している状況の情報に含まれている音声、テキスト、単語、または映像に近い内容を含むユーザ行動を関連行動として推定することを特徴とするプログラム。 The program according to claim 24 ,
The related behavior information extracting means includes information inputted by the user in the operation history selected by the display history determining means among the user behaviors observed by the user behavior observing means, information presented to the user, A program that estimates a user action including content close to voice, text, words, or video included in information inside the device or information on a situation that the user is operating as a related action.

請求項２４記載のプログラムにおいて、
前記関連行動情報抽出手段は、前記ユーザ行動観測手段で観測されたユーザ行動のうち、前記表示履歴決定手段で選択された操作履歴が実行された時刻以前の近い時刻に行われたユーザ行動であって、且つ、前記表示履歴決定手段で選択された操作履歴にあるユーザが入力した情報、ユーザに提示された情報、そのときの機器内部の情報、またはユーザが操作している状況の情報に含まれている音声、テキスト、単語、または映像に近い内容を含むユーザ行動を関連行動として推定することを特徴とするプログラム。 The program according to claim 24 ,
The related behavior information extracting unit is a user behavior performed at a time before the time when the operation history selected by the display history determination unit is executed among the user behaviors observed by the user behavior observation unit. And the information input by the user in the operation history selected by the display history determining means, the information presented to the user, the information inside the device at that time, or the information on the situation in which the user is operating A program characterized by estimating a user action including content similar to a voice, text, word, or video as a related action.

請求項２４乃至３２の何れか１項に記載のプログラムにおいて、
前記ユーザ観測手段は、ユーザの位置、ユーザが対面して話を聞いた人の位置、ユーザと対面した人との会話内容、ユーザの電話通話記録、ユーザの電話による通話内容、ユーザのメール送受信記録、ユーザのメールによる送受信内容、ユーザの参照したマニュアルまたはドキュメントの参照記録、ユーザの参照したマニュアルまたはドキュメントの内容、のうちの一つまたは複数を観測することを特徴とするプログラム。
The program according to any one of claims 24 to 32 ,
The user observing means includes the position of the user, the position of the person who the user has faced and listened to, the conversation content with the person who has faced the user, the telephone call record of the user, the content of the telephone call of the user, and the user's mail transmission / reception A program characterized by observing one or more of a record, contents transmitted / received by a user's mail, a reference record of a manual or document referred to by a user, and a content of a manual or document referred to by a user.