JP2013232071A - 情報処理装置および情報処理方法、プログラム、並びに、情報処理システム - Google Patents

Abstract

【課題】ユーザによる操作を効率良く把握する。
【解決手段】第１の端末は、ユーザにより行われた操作に応じて表示された操作画面を記録して操作画面履歴を取得する。サーバは、ユーザによる操作に応じて取得された操作情報の履歴である操作情報履歴に基づいて、ユーザの操作意図を推定し、ユーザにより行われた操作に応じて表示された操作画面の履歴である操作画面履歴に、推定された操作意図に対応する操作が行われたタイミングに対応付けて、操作意図を付加する。第２の端末は、操作画面履歴に付加されている操作意図に従って、操作意図単位で操作画面履歴を再生する。本技術は、例えば、持ち運び可能で高性能な情報処理機器およびサーバからなるシステムに適用できる。
【選択図】図１

Description

本開示は、情報処理装置および情報処理方法、プログラム、並びに、情報処理システムに関し、特に、ユーザによる操作を効率良く把握することができるようにした情報処理装置および情報処理方法、プログラム、並びに、情報処理システムに関する。

一般的に、パーソナルコンピュータなどの操作の履歴を記録しておき、その記録の通りに他のパーソナルコンピュータを操作することにより、記録したときと同じ結果を得ることができる。

例えば、特許文献１には、指定操作の手順と実行内容とを操作情報履歴として記憶し、記憶された操作情報履歴を任意の範囲についてプレイバックさせ、指定操作の手順と実行内容とを項目別にディスプレイに表示させる画像処理システムが開示されている。この画像処理システムでは、操作情報履歴の項目別にプレイバックの実行を途中で一時停止し、一時停止中に、操作者に指定操作を促すメッセージを出力し、指定操作に応じた処理を行ったり、一時停止中に提示されるメッセージの編集を行うことができる。

特開平８−３６６５０号公報

ところで、特許文献１で開示されている画像処理システムは、機器の使用環境が安定していることが前提とされ、機器の使用環境が安定している場合には、同じように再現することが期待できる。

これに対し、例えば、モバイル機器のような使用環境が安定的でない場合には、キー操作の履歴を時間通りに再現したとしても、結果が同じになるとは限らない。さらに、操作の再現時における範囲を指定する際に単なる操作履歴の羅列を用いただけでは、特に操作が長い場合には、操作履歴の羅列を見て、どのような操作が行われたのかを把握することは困難であった。

本開示は、このような状況に鑑みてなされたものであり、ユーザによる操作を効率良く把握することができるようにするものである。

本開示の一側面の情報処理装置は、ユーザによる操作に応じて取得された操作情報の履歴である操作情報履歴に基づいて、前記ユーザの操作意図を推定する操作意図推定部と、前記ユーザにより行われた操作に応じて表示された操作画面の履歴である操作画面履歴に、前記操作意図推定部により推定された前記操作意図に対応する操作が行われたタイミングに対応付けて、前記操作意図を付加する操作意図付加部とを備える。

本開示の一側面の情報処理方法またはプログラムは、ユーザによる操作に応じて取得された操作情報の履歴である操作情報履歴に基づいて、前記ユーザの操作意図を推定し、前記ユーザにより行われた操作に応じて表示された操作画面の履歴である操作画面履歴に、推定された前記操作意図に対応する操作が行われたタイミングに対応付けて、前記操作意図を付加するステップを含む。

本開示の一側面の情報処理システムは、ユーザにより行われた操作に応じて表示された操作画面を記録して操作画面履歴を取得する履歴取得部を有する第１の情報処理装置と、前記ユーザによる操作に応じて取得された操作情報の履歴である操作情報履歴に基づいて、前記ユーザの操作意図を推定する操作意図推定部と、前記ユーザにより行われた操作に応じて表示された操作画面の履歴である操作画面履歴に、前記操作意図推定部により推定された前記操作意図に対応する操作が行われたタイミングに対応付けて、前記操作意図を付加する操作意図付加部とを有する第２の情報処理装置と、前記操作画面履歴に付加されている前記操作意図に従って、前記操作意図単位で前記操作画面履歴を再生する再生処理部を有する第３の情報処理装置とを備える。

本開示の一側面においては、ユーザによる操作に応じて取得された操作情報の履歴である操作情報履歴に基づいて、ユーザの操作意図が推定され、ユーザにより行われた操作に応じて表示された操作画面の履歴である操作画面履歴に、推定された操作意図に対応する操作が行われたタイミングに対応付けて操作意図が付加される。

本開示の一側面によれば、ユーザによる操作を効率良く把握することができる。

本技術を適用した情報処理システムの一実施の形態の構成例を示すブロック図である。 操作記録の例を示す図である。 システム状況提示画面の表示例を示す図である。 第１の端末が実行する処理を説明するフローチャートである。 サーバが実行する処理を説明するフローチャートである。 第２の端末が実行する処理を説明するフローチャートである。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。

以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。

図１は、本技術を適用した情報処理システムの一実施の形態の構成例を示すブロック図である。なお、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

図１において、情報処理システム１１は、第１の端末１２、サーバ１３、および第２の端末１４を備えて構成される。

情報処理システム１１において、第１の端末１２および第２の端末１４は、持ち運び可能で高性能な情報処理機器（いわゆるスマートフォンなど）であり、第１の端末１２は、一般のユーザＡにより使用される。また、第２の端末１４は、例えば、一般のユーザよりも情報処理機器に関して詳細な知識を備えたユーザＢ（具体的には、第１の端末１２を提供している企業のコールセンターなどに所属する者）により使用される。

そして、情報処理システム１１では、例えば、ユーザＡが第１の端末１２を操作して、所望のアプリケーション（プログラム）を実行させているときに不具合が発生すると、操作記録をサーバ１３に送信し、その旨をユーザＢに報告することができる。そして、ユーザＢは、サーバ１３に記憶されている第１の端末１２の操作履歴に基づいて、第２の端末１４において操作およびシステム環境を再現して、第１の端末１２で発生した不具合の原因を確認することができる。

第１の端末１２は、操作部２１、動作処理部２２、表示部２３、履歴取得部２４、記録制御部２５、記憶部２６、および通信部２７を備えて構成される。

操作部２１は、例えば、第１の端末１２の筐体に設けられたボタンや、表示部２３の表面に積層されたタッチパネルなどを有して構成され、ボタンやタッチパネルなどに対するユーザＡの操作を受け付け、その操作に応じた操作情報を動作処理部２２に供給する。

動作処理部２２は、操作部２１から供給される操作情報に従って、ユーザＡが行った操作に対応する動作を実行するように第１の端末１２の各部を制御する。例えば、ユーザＡが音楽を再生させる操作を行うと、動作処理部２２は、音楽を再生する音楽再生アプリケーションを起動して音楽の再生を実行させ、音楽を出力部（例えば、図示しないスピーカ）から出力させる。また、例えば、ユーザＡが、操作記録を報告するためのアプリケーションを実行するように操作すると、動作処理部２２は、そのアプリケーションに従って第１の端末１２の各部に対する処理を実行する。

表示部２３は、例えば、液晶パネルや有機ＥＬ（Electro Luminescence）パネルなどを有して構成され、動作処理部２２により実行される動作に応じた操作画面を表示する。例えば、動作処理部２２が音楽再生アプリケーションを起動して音楽が再生されているとき、表示部２３には、音楽の再生に対する操作に必要なユーザインタフェースなどが配置された操作画面が表示される。また、例えば、動作処理部２２により第１の端末１２の操作記録を報告するためのアプリケーションが実行されたとき、表示部２３には、操作記録の送信を指示する送信ボタンが表示される。

履歴取得部２４は、動作処理部２２により操作記録を報告するためのアプリケーションが実行されると、第１の端末１２の操作記録を取得する。第１の端末１２の操作記録には、ユーザＡが第１の端末１２を操作した履歴である操作情報履歴、第１の端末１２のシステム状況が変化した履歴であるシステム状況履歴、および、表示部２３に表示される操作画面を動画像的に記録した操作画面履歴が含まれる。

例えば、履歴取得部２４は、操作記録を報告するためのアプリケーションが実行されると、表示部２３に表示される画面を連続的に取得して、操作画面履歴を作成する。また、履歴取得部２４は、操作部２１から動作処理部２２に供給される操作情報を取得して、その操作情報を操作情報履歴に順次登録する。また、履歴取得部２４は、操作情報を取得すると、第１の端末１２のシステム状況を取得し、動作処理部２２が操作情報に従った処理を実行したことによって変化した第１の端末１２のシステム状況を、システム状況履歴に順次登録する。例えば、履歴取得部２４は、第１の端末１２のシステム状況として、第１の端末１２が内蔵するRAM（Random Access Memory）などのメモリの使用状況や、第１の端末１２が内蔵するフラッシュメモリ（EEPROM：Electrically Erasable Programmable Read Only Memory）などのストレージの空き容量、第１の端末１２が接続しているネットワークの強度、第１の端末１２から音声を出力する際のボリュームのレベルなどを取得する。

記録制御部２５は、履歴取得部２４が作成した操作画面履歴を記憶部２６に記憶させる制御を行う。また、記録制御部２５は、履歴取得部２４が操作情報およびシステム状況を取得すると、記憶部２６に記憶されている操作情報履歴およびシステム状況履歴に記録する制御を行う。さらに、記録制御部２５は、ユーザＡが表示部２３に表示されている送信ボタンに対する操作を行うと、操作情報履歴、システム状況履歴、および操作画面履歴を記憶部２６から読み出して、通信部２７に供給してサーバ１３に送信させる。

記憶部２６は、第１の端末１２の操作記録として、ユーザＡが第１の端末１２を操作した履歴である操作情報履歴、第１の端末１２のシステム状況が変化した履歴であるシステム状況履歴、および、表示部２３に表示される操作画面を動画像的に記録した操作画面履歴を記憶する。

通信部２７は、サーバ１３との通信を行い、記録制御部２５から供給された操作情報履歴、システム状況履歴、および操作画面履歴をサーバ１３に送信する。また、このとき、通信部２７はサーバ１３を介して第２の端末１４に、操作記録をサーバ１３に送信した旨の報告を送信する。

サーバ１３は、通信部３１、操作意図生成部３２、記憶部３３、問い合わせ応答部３４を備えて構成される。

通信部３１は、第１の端末１２および第２の端末１４との通信を行う。例えば、第１の端末１２の通信部２７から、第１の端末１２の操作記録、即ち、操作情報履歴、システム状況履歴、および操作画面履歴がサーバ１３に送信されてくると、通信部３１は、それらを受信して、操作意図生成部３２に供給する。

操作意図生成部３２は、第１の端末１２の操作情報履歴に基づいて、ユーザＡの操作意図を推測し、第１の端末１２の操作記録にユーザＡの操作意図を示す情報を付加する。例えば、操作意図生成部３２は、多数の操作情報と、それらの操作が行われたときの操作意図とが対応付けられたデータベースを参照し、因果関係を確率により記述するグラフィカルモデルの１つであるベイジアンネットワークに基づき、操作意図を推測することができる。具体的には、操作意図生成部３２は、第１の端末１２が接続する対象となるネットワークの設定の確認、第１の端末１２が再生する音楽の開始および停止、並びに、ブラウザ（ウェブページを閲覧するためのアプリケーションプログラム）の起動などを操作意図として推測する。

また、操作記録には、操作が行われたタイミング、即ち、操作情報が取得されたタイミングを示す情報である操作タイミング（図２参照）が含まれており、同一の操作意図と推測された一連の操作情報ごとに、操作意図を付加する。また、操作情報履歴に含まれている操作タイミングは、操作画面履歴（動画像）のタイムスタンプと連動しており、操作意図生成部３２は、操作タイミングに従って、操作画面履歴に操作意図ごとのキャプションを付与する。

記憶部３３には、操作意図生成部３２が生成した操作意図が付加された第１の端末１２の操作記録が記憶される。

問い合わせ応答部３４は、第２の端末１４からの問い合わせに応答して、記憶部３３に記憶されている操作記録の中から、第２の端末１４から送信することを要求されたものを読み出して、通信部３１を介して第２の端末１４に送信する。

第２の端末１４は、操作部４１、動作処理部４２、表示部４３、通信部４４、再生処理部４５、環境構築部４６、および差分提示部４７を備えて構成される。

操作部４１、動作処理部４２、および表示部４３は、第１の端末１２の操作部２１、動作処理部２２、および表示部２３とそれぞれ同様に、ユーザＢの操作を受け付けて、操作に対応する動作を実行し、動作に応じた操作画面を表示する。例えば、ユーザＢが、ユーザＡが操作記録をサーバ１３に送信した旨の報告を受けて、その操作記録を確認するためのアプリケーションを実行するように操作すると、動作処理部２２は、そのアプリケーションに従って第２の端末１４の各部に対する処理を実行する。

通信部４４は、サーバ１３との通信を行い、動作処理部２２から指示された操作記録を送信するようにサーバ１３に対して要求する。そして、例えば、サーバ１３から操作画面履歴が送信されてくると、通信部４４は、操作画面履歴を受信して再生処理部４５に供給する。また、通信部４４は、サーバ１３から操作情報が送信されてくると、操作情報を受信して環境構築部４６に供給し、サーバ１３からシステム状況が送信されてくると、システム状況を受信して差分提示部４７に供給する。

再生処理部４５は、通信部４４から供給される操作画面履歴を再生して、表示部４３に出力して表示させる。例えば、再生処理部４５は、操作画面履歴の全てを先頭から順番に再生する他、操作画面履歴に付与されているキャプションを利用して操作意図ごとに操作画面履歴を再生することができる。例えば、ユーザＢは、表示部４３で再生されている第１の端末１２の操作画面を見ながら、操作意図単位で操作画面記録をスキップさせることができる。

環境構築部４６は、操作画面履歴の任意の時刻における第１の端末１２のシステム状況を、第２の端末１４において再現する。例えば、環境構築部４６は、通信部４４を介して、サーバ１３の記憶部３３に記憶されている操作情報履歴から、ユーザＢが指定した操作タイミングまでの操作情報を取得する。そして、環境構築部４６は、取得した操作情報に基づいた操作を実行することにより、第２の端末１４のシステム状況を構築して、第１の端末１２のシステム状況を第２の端末１４で再現する。

差分提示部４７は、通信部４４を介して、サーバ１３の記憶部３３に記憶されているシステム状況履歴から、ユーザＢが指定した操作タイミングの第１の端末１２のシステム状況を取得する。そして、差分提示部４７は、環境構築部４６が第２の端末１４で再現したシステム状況と、サーバ１３から取得した第１の端末１２のシステム状況とを対比して提示するシステム状況提示画面（後述する図３参照）を表示部４３に出力して表示させる。

このように情報処理システム１１は構成されており、ユーザＢは、操作意図ごとに操作画面履歴を再生することで、ユーザＡによる操作を効率良く把握することができる。また、ユーザＢは、環境構築部４６が第２の端末１４で再現したシステム状況と、サーバ１３から取得した第１の端末１２のシステム状況との差分に基づいて、例えば、ユーザＡが行っていなかった設定などにより不具合が発生したなどということを容易に認識することができる。

そして、ユーザＢは、環境構築部４６が構築したシステム状況の下で、第２の端末１４に対する操作を行って、例えば、ユーザＡが行っていなかった設定を行い、その後の動作を確認して、不具合が発生しないことを認識することができる。つまり、ユーザＢは、ユーザＡが行っていた操作の途中から、その操作に介入して、動作を実行させることができる。

次に、図２には、サーバ１３の記憶部３３に記憶される操作記録の例を示す図である。

図２に示すように、操作記録５１には、操作タイミングに対応付けられて、操作情報履歴、システム状況履歴、および操作意図が記録される。

図２の例では、操作記録５１には、操作タイミング「Ｎ＋０」に対応付けられて、システム状況履歴「ホーム画面」が記録されている。また、操作記録５１には、操作タイミング「Ｎ＋１」に対応付けられて、操作情報履歴「DOWN（X₁,Y₁）」およびシステム状況履歴「音楽アプリ起動」が記録されている。操作情報履歴「DOWN（X₁,Y₁）」は、例えば、第１の端末１２の操作部２１であるタッチパネルがタッチされた座標を示す情報である。

同様に、操作記録５１には、操作タイミング「Ｎ＋２」に対応付けられて、操作情報履歴「DOWN（X₂,Y₂）」およびシステム状況履歴「マイアルバム表示」が記録されている。また、操作記録５１には、操作タイミング「Ｎ＋３」に対応付けられて、操作情報履歴「DOWN（X₃,Y₃）」およびシステム状況履歴「（変化なし）」が記録されている。システム状況履歴「（変化なし）」は、操作情報履歴「DOWN（X₃,Y₃）」に応じた操作によって第１の端末１２のシステム状況に変化が生じなかったことを表している。また、操作記録５１には、操作タイミング「Ｎ＋ｎ」に対応付けられて、操作情報履歴「DOWN（X_ｎ,Y_ｎ）」およびシステム状況履歴「音楽再生／ボリュームレベル ０→３」が記録されている。

さらに、操作記録５１には、操作タイミング「Ｎ＋１」から操作タイミング「Ｎ＋ｎ」までの一連の操作情報に基づいて、サーバ１３の操作意図生成部３２が生成した操作意図「音楽を再生開始」が記録されている。このように、サーバ１３の記憶部３３には、操作意図生成部３２が生成した操作意図が付加された操作記録が記憶されている。

次に、図３には、第２の端末１４の表示部４３に表示されるシステム状況提示画面の表示例が示されている。

図３に示すように、システム状況提示画面５２では、メモリの使用状況、ストレージの空き容量、ネットワークの強度、およびボリュームのレベルについて、第１の端末１２および第２の端末１４で対比して提示される。

図３の表示例では、システム状況提示画面５２により、第１の端末１２のメモリの使用状況が「４０％」であり、第２の端末１４のメモリの使用状況が「３０％」であって、差分が発生していることが示されている。また、システム状況提示画面５２により、第１の端末１２のストレージの空き容量が「７０％」であり、第２の端末１４のストレージの空き容量が「７０％」であって、差分が発生していないことが示されている。

同様に、システム状況提示画面５２により、第１の端末１２のネットワークの強度が「レベル１」であり、第２の端末１４のネットワークの強度が「レベル３」であって、差分が発生していることが示されている。また、システム状況提示画面５２により、第１の端末１２のボリュームのレベルが「レベル０」であり、第２の端末１４のボリュームのレベルが「レベル３」であって、差分が発生していることが示されている。

次に、図４のフローチャートを参照して、第１の端末１２が実行する処理について説明する。

例えば、ユーザＡが、第１の端末１２に不具合が発生したときなど、操作記録を報告するためのアプリケーションを実行すると処理が開始される。

ステップＳ１１において、動作処理部２２は、操作記録を開始するように履歴取得部２４に対する制御を行う。これに応じて、履歴取得部２４は、表示部２３に表示される操作画面の連続的な取得を開始するとともに、操作部２１から動作処理部２２に供給される操作情報の監視を開始する。

ステップＳ１２において、履歴取得部２４は、ユーザＡにより第１の端末１２が操作されたか否かを判定し、ユーザＡにより第１の端末１２が操作されるまで処理を待機する。例えば、操作部２１から動作処理部２２に操作情報が供給されると、ステップＳ１２において、履歴取得部２４は、ユーザＡにより第１の端末１２が操作されたと判定し、処理はステップＳ１３に進む。

ステップＳ１３において、履歴取得部２４は、操作部２１から動作処理部２２に供給された操作情報を取得し、記録制御部２５を介して記憶部２６に記憶されている操作情報履歴に記録する。さらに、履歴取得部２４は、第１の端末１２のシステム状況を取得し、動作処理部２２が操作情報に従った処理を実行したことによって変化した第１の端末１２のシステム状況を、記録制御部２５を介して記憶部２６に記憶されているシステム状況履歴に記録する。

ステップＳ１４において、履歴取得部２４は、操作記録を終了するか否かを判定する。例えば、ユーザＡが操作記録を終了するように操作を行うと、動作処理部２２は、操作記録を終了するように履歴取得部２４に対する制御を行い、操作記録を終了すると判定する。

ステップＳ１４において、履歴取得部２４が操作記録を終了しないと判定した場合、処理はステップＳ１２に戻って以下同様の処理が繰り返され、履歴取得部２４が操作記録を終了すると判定した場合、処理はステップＳ１５に進む。

ステップＳ１５において、履歴取得部２４は、表示部２３に表示される操作画面の取得を終了するとともに、操作部２１から動作処理部２２に供給される操作情報の監視を終了する。そして、履歴取得部２４は、ステップＳ１１から連続的に取得した操作画面からなる操作画面履歴を作成して、記録制御部２５を介して記憶部２６に記憶させる。

ステップＳ１６において、記録制御部２５は、第１の端末１２の操作記録、即ち、記憶部２６に記憶されている操作情報履歴、システム状況履歴、および操作画面履歴を、サーバ１３に送信するか否かを判定する。例えば、ユーザＡが、表示部２３に表示されている操作記録の送信を指示する送信ボタンに対する操作を行うと、記録制御部２５は、第１の端末１２の操作記録を送信すると判定する。

ステップＳ１６において、第１の端末１２の操作記録を送信すると判定された場合、処理はステップＳ１７に進み、記録制御部２５は、記憶部２６から操作情報履歴、システム状況履歴、および操作画面履歴を読み出して通信部２７に供給する。そして、通信部２７は、操作情報履歴、システム状況履歴、および操作画面履歴をサーバ１３に送信する。

ステップＳ１７の処理後、または、ステップＳ１６において第１の端末１２の操作記録を送信しないと判定された場合、処理は終了される。

次に、図５のフローチャートを参照して、サーバ１３が実行する処理について説明する。

サーバ１３は、適宜、第１の端末１２および第２の端末１４と通信を行っており、ステップＳ２１において、通信部３１は、第１の端末１２から操作記録が送信されてきたか否かを判定する。例えば、図４のステップＳ１７で、第１の端末１２の通信部２７が操作情報履歴、システム状況履歴、および操作画面履歴を送信すると、通信部３１は、第１の端末１２から操作記録が送信されてきたと判定する。

ステップＳ２２において、通信部３１は、第１の端末１２から送信されてきた操作情報履歴、システム状況履歴、および操作画面履歴を受信して、操作意図生成部３２に供給する。

ステップＳ２３において、操作意図生成部３２は、第１の端末１２の操作情報履歴に基づいて、ユーザＡの操作意図を推測して操作意図を生成する。

ステップＳ２４において、操作意図生成部３２は、ステップＳ２３で生成した操作意図ごとのキャプションを操作画面履歴に付加する。

ステップＳ２４の処理後、または、ステップＳ２１で第１の端末１２から操作記録が送信されてきていないと判定された場合、処理はステップＳ２５に進み、通信部３１は、第２の端末１４から操作記録の問い合わせがあったか否かを判定する。

ステップＳ２５において、通信部３１が第２の端末１４から操作記録の問い合わせがあったと判定した場合、処理はステップＳ２６に進む。

ステップＳ２６において、通信部３１は、第２の端末１４からの操作記録の問い合わせを問い合わせ応答部３４に供給し、問い合わせ応答部３４は、その問い合わせに応じ、第２の端末１４から要求された操作記録を、通信部３１を介して第２の端末１４に送信する。

例えば、第１の端末１２の操作画面履歴を送信するように問い合わせがあった場合、問い合わせ応答部３４は、記憶部３３に記憶されている操作記録の中から、第１の端末１２の操作画面履歴を読み出して、第２の端末１４に送信する。また、例えば、所定の操作タイミングまでの第１の端末１２の操作情報を送信するように問い合わせがあった場合、問い合わせ応答部３４は、その操作タイミングまでの第１の端末１２の操作情報を第２の端末１４に送信する。同様に、例えば、所定の操作タイミングにおける第１の端末１２のシステム状況を送信するように問い合わせがあった場合、問い合わせ応答部３４は、所定の操作タイミングにおける第１の端末１２のシステム状況を第２の端末１４に送信する。

ステップＳ２６の処理後、または、ステップＳ２５で第２の端末１４から通信記録の問い合わせがなかったと判定された場合、処理はステップＳ２１に戻り、以下、同様の処理が繰り返される。

次に、図６のフローチャートを参照して、第２の端末１４が実行する処理について説明する。

例えば、ユーザＢが、第１の端末１２の操作記録をサーバ１３に送信した旨の報告をユーザＡから受け、その操作記録を確認するためのアプリケーションを実行すると処理が開始される。

ステップＳ３１において、動作処理部４２は、通信部４４を介してサーバ１３に対し、第１の端末１２の操作画面履歴を送信するように問い合わせる。この問い合わせに応じて、サーバ１３の問い合わせ応答部３４が操作画面履歴を送信すると、通信部４４は、操作画面履歴を受信して再生処理部４５に供給する。

ステップＳ３２において、再生処理部４５は、ステップＳ３１で取得した操作画面履歴に基づいて、第１の端末１２の操作画面を再生して表示部４３に表示する。このとき、再生処理部４５は、例えば、第１の端末１２の操作画面に重ね合わせて、再生中の操作画面に対応する操作意図を表示したり、操作画面のスキップを指示するボタンなどを表示することができる。そして、ユーザＢが、操作画面のスキップを指示するボタンに対する操作を行うと、再生処理部４５は、操作画面履歴に付加されているキャプションに従って、次または前のキャプションが開始する時点まで再生をスキップして、操作意図単位で操作画面を再生する。

ステップＳ３３において、動作処理部４２は、操作情報およびシステム状況の取得が指示されたか否かを判定する。ステップＳ３３において、動作処理部４２が操作情報およびシステム状況の取得が指示されていないと判定した場合、処理はステップＳ３２に戻り、第１の端末１２の操作画面の再生が継続して行われる。例えば、ユーザＢは、表示部４３に再生される第１の端末１２の操作画面を確認しながら所望のタイミングで、第１の端末１２のシステム状況を第２の端末１４で再現するように操作することができる。

ユーザＢが第１の端末１２のシステム状況を第２の端末１４で再現するように操作すると、ステップＳ３３において、動作処理部４２は、操作情報およびシステム状況の取得が指示されたと判定し、処理はステップＳ３４に進む。

ステップＳ３４において、動作処理部４２は、通信部４４を介してサーバ１３に対し、ユーザＢにより指定された操作タイミングまでの操作情報と、その操作タイミングでの第１の端末１２のシステム状況とを送信するように問い合わせる。この問い合わせに応じて、サーバ１３の問い合わせ応答部３４が操作情報およびシステム状況を送信すると、通信部４４は、操作情報を受信して環境構築部４６に供給し、システム状況を受信して差分提示部４７に供給する。

ステップＳ３５において、環境構築部４６は、ステップＳ３４で取得した操作情報に基づいた操作を実行することにより、第２の端末１４のシステム状況を構築して、第１の端末１２のシステム状況を第２の端末１４で再現する。

ステップＳ３６において、差分提示部４７は、ステップＳ３４で取得した第１の端末１２のシステム状況と、ステップＳ３５で第２の端末１４において再現された第１の端末１２のシステム状況との差分が示されたシステム状況提示画面を表示部４３に出力して表示させる。

ステップＳ３７において、動作処理部４２は、第２の端末１４で再現された第１の端末１２のシステム状況の下で、ユーザＢが行う操作に応じた動作を実行する。これにより、ユーザＢは、指定した操作タイミングまでのユーザＡの操作に介入して、続きの操作を行って動作を実行させることができる。ステップＳ３７の処理後、処理は終了される。

以上のように、情報処理システム１１では、第２の端末１４において、操作意図生成部３２が生成した操作意図単位で、第１の端末１２の操作画面を再生することができる。これにより、第１の端末１２の操作情報履歴が長くても、ユーザＢは、ユーザＡの操作を効率良く把握することができる。また、ユーザＢは、例えば、操作情報が単に羅列されている操作履歴からユーザＡの操作を把握するよりも、操作意図単位で操作画面を再生することにより、より確実にユーザＡの操作を把握することができる。

また、ユーザＢは、操作意図単位で再生した操作画面の中から、とくに興味のある箇所の操作情報履歴のみを再生し、より詳細にユーザＡの操作を確認することができる。

そして、情報処理システム１１では、操作画面履歴を再生させながら指定する任意の操作タイミングでの第１の端末１２のシステム状況を、第２の端末１４に再現することができる。これにより、所望の操作タイミングからの続きの操作を第２の端末１４で再開することができる。

例えば、ユーザＢは、操作情報履歴を再生させた中で、必要な設定が行われていないことに気付いたとき、その設定が必要となる前の操作意図単位に戻って、第１の端末１２のシステム状況を、第２の端末１４に再現することができる。これにより、ユーザＢは、その後の操作を続いて行って必要な設定をした後、ユーザＡが行った操作を試して、不具合が発生しないことを確認することができる。これにより、例えば、ユーザＢが、ユーザＡが実行したアプリケーションの作成者であるとき、その設定の仕方が分かりにくかったことを把握し、アプリケーションを改善することができる。

また、その操作タイミングでの第１の端末１２のシステム状況と、第２の端末１４において再現された第１の端末１２のシステム状況との差分を、ユーザＢは、視覚的に把握することができる。例えば、第２の端末１４において再現された第１の端末１２のシステム状況において、第１の端末１２で発生した不具合が発生しない場合には、その要因を特定することができる。

特に、第１の端末１２および第２の端末１４が持ち運び可能な情報処理機器であるとき、ネットワークの強度の強弱や、内蔵するセンサの出力の違いなどによって使用環境が安定的でない場合、操作履歴の通りに操作を再現しただけでは、システム状況が異なることによって不具合が再現されないことがある。情報処理システム１１では、システム状況を把握することで、不具合が再現されない場合でも、その要因を把握することができる。

なお、例えば、アプリケーションが位置情報を使用している場合には、システム状況の差分として、図３に示したシステム状況提示画面の他、システム状況を再現した結果、位置情報が異なる旨のメッセージを表示することができる。

また、情報処理システム１１では、第１の端末１２からの報告と、第２の端末１４における検証とを、サーバ１３を介して非同期で実現することができるので、例えば、ユーザＢが、一般のユーザＡよりも人数が非常に少なくても、第１の端末１２で発生した不具合を検証することができる。

さらに、ユーザＢが、ユーザＡからの不具合に関する問い合わせを受けるコールセンターに所属している場合、第１の端末１２と同等の第２の端末１４があるだけで、その場で、ユーザＢは、ユーザＡがどのような操作を行ったのかを再現することができる。これにより、不具合を解析して、その原因ごとに不具合が起こった状況を検証することができる。

また、不具合を解析する際に、ユーザＢは、ユーザＡの操作の操作情報履歴を見るだけでなく、第２の端末１４で操作を再現することができ、その際のシステム状況の差分も確認することができるため、不具合の原因を容易に解析することができる。

なお、本実施の形態においては、第１の端末１２、サーバ１３、および第２の端末１４がネットワークで接続されて情報処理システム１１が構成されているが、例えば、これらがネットワークに非接続であってもよい。即ち、ユーザＡは、第１の端末１２の操作記録を記憶部２６に記憶させておき、不具合が発生したときにリムーバブルメディアを利用して、第１の端末１２の操作記録を直接的に第２の端末１４に提供することができる。

また、第１の端末１２において、第１の端末１２の操作情報履歴に基づいたユーザＡの操作意図を推測して、操作意図が付加された操作記録を作成してもよい。または、第２の端末１４において、第１の端末１２の操作情報履歴に基づいたユーザＡの操作意図を推測して、第１の端末１２から提供された操作記録に操作意図を付加してもよい。

さらに、ユーザＡの操作意図は、操作のレベルに応じた階層構造を有することができる。階層構造は、例えば、ユーザが所定の操作を行うまでの時間に応じて構成することができる。具体的には、メールを送受信するアプリケーションにおいて、メールを受信してから返信するまでの時間に応じて操作のレベルを設定して、メールを返信するまでの時間に応じて構成される階層構造を有するように操作意図を生成することができる。また、階層構造は、例えば、ユーザが操作を行う対象に応じて構成することができる。具体的には、音楽を再生するアプリケーションにおいて、アルバムを対象とした操作や、楽曲を対象とした操作などによって操作のレベルを設定して、操作の対象に応じて構成される階層構造を有するように操作意図を生成することができる。

なお、上述のフローチャートを参照して説明した各処理は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。また、プログラムは、１のCPUにより処理されるものであっても良いし、複数のCPUによって分散処理されるものであっても良い。

また、上述した一連の処理（情報処理方法）は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラムが記録されたプログラム記録媒体からインストールされる。

図７は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。

バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、キーボード、マウス、マイクロホンなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７、ハードディスクや不揮発性のメモリなどよりなる記憶部１０８、ネットワークインタフェースなどよりなる通信部１０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１１１を駆動するドライブ１１０が接続されている。

以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５及びバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU１０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア１１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。

そして、プログラムは、リムーバブルメディア１１１をドライブ１１０に装着することにより、入出力インタフェース１０５を介して、記憶部１０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１０９で受信し、記憶部１０８にインストールすることができる。その他、プログラムは、ROM１０２や記憶部１０８に、あらかじめインストールしておくことができる。

なお、本技術は以下のような構成も取ることができる。
（１）
ユーザによる操作に応じて取得された操作情報の履歴である操作情報履歴に基づいて、前記ユーザの操作意図を推定する操作意図推定部と、
前記ユーザにより行われた操作に応じて表示された操作画面の履歴である操作画面履歴に、前記操作意図推定部により推定された前記操作意図に対応する操作が行われたタイミングに対応付けて、前記操作意図を付加する操作意図付加部と
を備える情報処理装置。
（２）
前記操作画面履歴に付加されている前記操作意図に従って、前記操作意図単位で前記操作画面履歴を再生する再生処理部
をさらに備える上記（１）に記載の情報処理装置。
（３）
前記操作意図単位には、少なくとも前記情報処理装置が接続する対象となるネットワークの設定の確認操作が含まれる、
上記（１）または（２）に記載の情報処理装置。
（４）
前記操作意図単位には、少なくとも前記情報処理装置が再生する音楽の開始および停止操作が含まれる、
上記（１）または（２）に記載の情報処理装置。
（５）
前記操作意図単位には、少なくとも前記情報処理装置においてウェブページを閲覧するためのアプリケーションプログラムの起動が含まれる、
上記（１）または（２）に記載の情報処理装置。
（６）
前記再生処理部において再生されている前記操作画面履歴における任意のタイミングまでの前記操作情報に基づいた操作を実行することにより、前記タイミングにおける前記情報処理装置の環境を構築する環境構築部
をさらに備える上記（１）から（５）までのいずれかに記載の情報処理装置。
（７）
前記環境構築部により構築された前記環境の下で、ユーザによる操作に対応する動作を実行する動作処理部
上記（６）に記載の情報処理装置。
（８）
前記ユーザにより行われた操作に応じて表示された操作画面を記録して操作画面履歴を取得する履歴取得部
をさらに備える上記（１）から（７）までのいずれかに記載の情報処理装置。
（９）
前記履歴取得部は、前記操作情報履歴と、前記ユーザによる操作に対応する動作が実行されたことにより変化する前記情報処理装置の環境の履歴である環境履歴とをさらに取得する
上記（８）に記載の情報処理装置。
（１０）
前記情報処理装置の環境には少なくとも前記情報処理装置が内蔵するメモリの使用状況が含まれる
上記（６）から（９）までのいずれかに記載の情報処理装置。
（１１）
前記情報処理装置の環境には少なくとも前記情報処理装置が内蔵するストレージの空き容量が含まれる
上記（６）から（９）までのいずれかに記載の情報処理装置。
（１２）
前記情報処理装置の環境には少なくとも前記情報処理装置が接続しているネットワークの強度が含まれる
上記（６）から（９）までのいずれかに記載の情報処理装置。
（１３）
前記情報処理装置の環境には少なくとも前記情報処理装置から音声を出力する際のボリュームのレベルが含まれる
上記（６）から（９）までのいずれかに記載の情報処理装置。
（１４）
前記環境履歴から取得される前記タイミングで構築されていた前記環境である第１の環境と、前記環境構築部により構築された前記環境である第２の環境との差分を提示する差分提示部
をさらに備える上記（９）から（１３）までのいずれかに記載の情報処理装置。
（１５）
前記操作意図推定部が推定する前記ユーザの操作意図は、前記操作のレベルに応じた階層構造を有する
上記（１）から（１４）までのいずれかに記載の情報処理装置。
（１６）
前記階層構造は、所定の前記操作が行われるまでの時間に応じて、または、前記操作の対象に応じて構成される
上記（１５）に記載の情報処理装置。

なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

１１ 情報処理システム， １２ 第１の端末， １３ サーバ， １４ 第２の端末， ２１ 操作部， ２２ 動作処理部， ２３ 表示部， ２４ 履歴取得部， ２５ 記録制御部， ２６ 記憶部， ２７ 通信部， ３１ 通信部， ３２ 操作意図生成部， ３３ 記憶部， ３４ 問い合わせ応答部， ４１ 操作部， ４２ 動作処理部， ４３ 表示部， ４４ 通信部， ４５ 再生処理部， ４６ 環境構築部， ４７ 差分提示部

Claims (19)

1. ユーザによる操作に応じて取得された操作情報の履歴である操作情報履歴に基づいて、前記ユーザの操作意図を推定する操作意図推定部と、
   前記ユーザにより行われた操作に応じて表示された操作画面の履歴である操作画面履歴に、前記操作意図推定部により推定された前記操作意図に対応する操作が行われたタイミングに対応付けて、前記操作意図を付加する操作意図付加部と
   を備える情報処理装置。
2. 前記操作画面履歴に付加されている前記操作意図に従って、前記操作意図単位で前記操作画面履歴を再生する再生処理部
   をさらに備える請求項１に記載の情報処理装置。
3. 前記操作意図単位には、少なくとも前記情報処理装置が接続する対象となるネットワークの設定の確認操作が含まれる、
   請求項２に記載の情報処理装置。
4. 前記操作意図単位には、少なくとも前記情報処理装置が再生する音楽の開始および停止操作が含まれる、
   請求項２に記載の情報処理装置。
5. 前記操作意図単位には、少なくとも前記情報処理装置においてウェブページを閲覧するためのアプリケーションプログラムの起動が含まれる、
   請求項２に記載の情報処理装置。
6. 前記再生処理部において再生されている前記操作画面履歴における任意のタイミングまでの前記操作情報に基づいた操作を実行することにより、前記タイミングにおける前記情報処理装置の環境を構築する環境構築部
   をさらに備える請求項１に記載の情報処理装置。
7. 前記環境構築部により構築された前記環境の下で、ユーザによる操作に対応する動作を実行する動作処理部
   をさらに備える請求項６に記載の情報処理装置。
8. 前記ユーザにより行われた操作に応じて表示された操作画面を記録して操作画面履歴を取得する履歴取得部
   をさらに備える請求項１に記載の情報処理装置。
9. 前記履歴取得部は、前記操作情報履歴と、前記ユーザによる操作に対応する動作が実行されたことにより変化する前記情報処理装置の環境の履歴である環境履歴とをさらに取得する
   請求項８に記載の情報処理装置。
10. 前記情報処理装置の環境には少なくとも前記情報処理装置が内蔵するメモリの使用状況が含まれる
    請求項９に記載の情報処理装置。
11. 前記情報処理装置の環境には少なくとも前記情報処理装置が内蔵するストレージの空き容量が含まれる
    請求項９に記載の情報処理装置。
12. 前記情報処理装置の環境には少なくとも前記情報処理装置が接続しているネットワークの強度が含まれる
    請求項９に記載の情報処理装置。
13. 前記情報処理装置の環境には少なくとも前記情報処理装置から音声を出力する際のボリュームのレベルが含まれる
    請求項９に記載の情報処理装置。
14. 前記環境履歴から取得される前記タイミングで構築されていた前記環境である第１の環境と、前記環境構築部により構築された前記環境である第２の環境との差分を提示する差分提示部
    をさらに備える請求項９に記載の情報処理装置。
15. 前記操作意図推定部が推定する前記ユーザの操作意図は、前記操作のレベルに応じた階層構造を有する
    請求項１に記載の情報処理装置。
16. 前記階層構造は、所定の前記操作が行われるまでの時間に応じて、または、前記操作の対象に応じて構成される
    請求項１５に記載の情報処理装置。
17. ユーザによる操作に応じて取得された操作情報の履歴である操作情報履歴に基づいて、前記ユーザの操作意図を推定し、
    前記ユーザにより行われた操作に応じて表示された操作画面の履歴である操作画面履歴に、推定された前記操作意図に対応する操作が行われたタイミングに対応付けて、前記操作意図を付加する
    ステップを含む情報処理方法。
18. ユーザによる操作に応じて取得された操作情報の履歴である操作情報履歴に基づいて、前記ユーザの操作意図を推定し、
    前記ユーザにより行われた操作に応じて表示された操作画面の履歴である操作画面履歴に、推定された前記操作意図に対応する操作が行われたタイミングに対応付けて、前記操作意図を付加する
    ステップを含む処理をコンピュータに実行させるプログラム。
19. ユーザにより行われた操作に応じて表示された操作画面を記録して操作画面履歴を取得する履歴取得部を有する第１の情報処理装置と、
    前記ユーザによる操作に応じて取得された操作情報の履歴である操作情報履歴に基づいて、前記ユーザの操作意図を推定する操作意図推定部と、前記ユーザにより行われた操作に応じて表示された操作画面の履歴である操作画面履歴に、前記操作意図推定部により推定された前記操作意図に対応する操作が行われたタイミングに対応付けて、前記操作意図を付加する操作意図付加部とを有する第２の情報処理装置と、
    前記操作画面履歴に付加されている前記操作意図に従って、前記操作意図単位で前記操作画面履歴を再生する再生処理部を有する第３の情報処理装置と
    を備える情報処理システム。

Images