JP7278152B2 - ソフトウェア操作支援システム - Google Patents

Description

本発明は、ソフトウェア操作支援システムに関する。

従来、ソフトウェア操作支援システムが知られている。たとえば、特開２０１３－２００４４０号公報（特許文献１）には、ガイド画面による操作支援が可能な映像表示装置が開示されている。当該映像表示装置によれば、操作者の視点から、視点が静止した位置の通常画面の情報に関連付けられた補助情報を、通常画面に重ね合わせて補助画面として表示できるため、操作者は補助情報を操作の際に映像表示部にて確認することができる。

特開２０１３－２００４４０号公報

特許文献１においては、視線解析カメラから取り込んだ目線映像を判別して、操作者の視点であるアイポインタの静止位置にガイド情報が表示される。アイポインタの静止位置がマウスのカーソルの位置と異なり得るため、ガイド情報を参照しながら操作者がマウスを操作すると、マウスへのクリック操作によって選択されるＧＵＩ（Graphical User Interface）の情報とは異なる情報に基づいてソフトウェアが操作され得る。その結果、ソフトウェアを用いる作業の効率が低下し得る。

本発明は、上述のような課題を解決するためになされたものであり、その目的は、ソフトウェアを用いる作業の効率を向上させることである。

本発明に係るソフトウェア操作支援システムは、計算装置と、第１表示装置と、第２表示装置と、操作装置とを備える。計算装置は、複数のグラフィカルユーザインタフェース（ＧＵＩ）へのユーザの入力を介して操作されるソフトウェアを実行する。第１表示装置は、複数のＧＵＩおよびカーソルを表示する。操作装置は、第１表示装置の表示領域内においてカーソルを操作する。第２表示装置は、複数のＧＵＩのうちカーソルの座標を含む特定ＧＵＩがクリックされた場合に実行される機能内容を表示する。計算装置は、カーソルの座標が特定ＧＵＩに含まれることに応じて特定ＧＵＩがクリックされた場合に実行される機能内容を第２表示装置に表示する。計算装置は、操作装置に対するユーザのクリック操作に応じて特定ＧＵＩの機能を実行する。第２表示装置は、第１表示装置の表示領域に重なるように特定ＧＵＩがクリックされた場合に実行される機能内容を表示可能である。

本発明によれば、第２表示装置が第１表示装置の表示領域に重なるように特定ＧＵＩの機能に関する情報を表示可能であることにより、ソフトウェアを用いる作業の効率を向上させることができる。

実施の形態に係るソフトウェア操作支援システムをユーザが操作している様子を示す図である。 図１のソフトウェア操作支援システムの構成を示す機能ブロック図である。 特定ＧＵＩの機能に関する情報がＡＲメガネによって表示領域に重なるように表示される様子を説明するための図である。

以下、本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中同一または相当部分には同一符号を付してその説明は原則として繰り返さない。

図１は、実施の形態に係るソフトウェア操作支援システム１をユーザＵｓが操作している様子を示す図である。図１に示されるように、ソフトウェア操作支援システム１は、ディスプレイ１１（第１表示装置）と、ＡＲ（Augmented Reality）メガネ１２（第２表示装置）と、マウス２０（操作装置）と、計算装置３０とを備える。図１においては、ユーザＵｓがＡＲメガネ１２を装着して、ディスプレイ１１を見ながらマウス２０を操作している様子が示されている。

計算装置３０は、複数のＧＵＩ（Graphical User Interface）へのユーザＵｓの入力を介して操作されるソフトウェアを実行する。当該ソフトウェアは、たとえば電力系統の監視制御ソフトウェアである。ディスプレイ１１の表示領域Ｒｇには、当該ソフトウェアの複数のＧＵＩに含まれるボタンＢｎ１～Ｂｎ４、およびカーソルＣｒが表示されている。カーソルＣｒは、たとえば矢印の画像である。マウス２０は、表示領域Ｒｇ内においてカーソルＣｒを操作する。マウス２０は、作業平面（たとえば不図示の机）の上に置かれている。ユーザは、マウス２０を作業平面上で移動させることによりカーソルＣｒの位置を変えることができる。ユーザは、マウス２０へのクリック操作によって、表示領域Ｒｇ内のＧＵＩを選択することができる。クリック操作としては、たとえばマウス２０へのシングルクリックおよびダブルクリックを挙げることができる。

図２は、図１のソフトウェア操作支援システム１の構成を示す機能ブロック図である。図２に示されるように、計算装置３０は、制御部３１と、メモリ３２（記憶部）とを含む。制御部３１は、処理回路を含む。処理回路は、専用のハードウェアであってもよいし、メモリ３２に格納されるプログラムを実行するＣＰＵ（Central Processing Unit）であってもよい。処理回路が専用のハードウェアである場合、処理回路は、たとえば、単一回路、複合回路、プログラム化されたプロセッサ、並列プログラム化されたプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ(Field Programmable Gate Array)、あるいはこれらを組み合わせたものが該当する。処理回路がＣＰＵの場合、制御部３１の機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアあるいはファームウェアはプログラムとして記述され、メモリ３２に格納される。処理回路は、メモリに記憶されたプログラムを読み出して実行する。なお、ＣＰＵは、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、あるいはＤＳＰ（Digital Signal Processor）とも呼ばれる。

メモリ３２には、不揮発性または揮発性の半導体メモリ（たとえばＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、あるいはＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory））、および磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、あるいはＤＶＤ（Digital Versatile Disc）が含まれる。

メモリ３２には、画面情報３２１（第１データ）と、座標情報３２２（第２データ）と、詳細情報３２３（第３データ）とが互いに別個にモジュール化されて保存されている。画面情報３２１は、複数のＧＵＩ各々の配置に関する情報を含む。画面情報３２１においては、たとえば複数のＧＵＩ各々のＩＤ、当該ＧＵＩの画像、および当該ＧＵＩが表示される領域が関連付けられている。

座標情報３２２は、カーソルＣｒの座標に関する情報を含む。座標情報３２２においては、たとえばマウス２０の作業平面上の座標と表示領域Ｒｇ内のカーソルＣｒの座標とが関連付けられている。カーソルＣｒの座標とは、たとえばカーソルＣｒの先端Ｐ１の座標である。

詳細情報３２３は、複数のＧＵＩ各々の機能に関する情報を含む。詳細情報３２３においては、たとえば複数のＧＵＩ各々のＩＤと当該ＧＵＩの機能に関する情報とが関連付けられている。

制御部３１は、マウス２０の位置に関する情報をマウス２０から受ける。制御部３１は、座標情報３２２を参照してマウス２０の座標に関連付けられているカーソルＣｒの座標を特定する。制御部３１は、画面情報３２１を参照してカーソルＣｒの座標がディスプレイ１１に表示されているＧＵＩに含まれているか否かを判定する。制御部３１は、カーソルＣｒの座標が当該ＧＵＩに重なっていることに応じて、詳細情報３２３を参照して当該ＧＵＩの機能に関する情報をＡＲメガネ１２に送信する。

ＡＲメガネ１２は、レンズ１２１および１２２を含む。レンズ１２１および１２２は、可視光を透過させる透過性ディスプレイ１２０を形成している。ＡＲメガネ１２は、制御部３１から受けたＧＵＩの機能に関する情報を透過性ディスプレイ１２０に表示する。

なお、制御部３１とディスプレイ１１との通信は、有線通信および無線通信のいずれであってもよい。制御部３１とＡＲメガネ１２との通信は、有線通信および無線通信のいずれであってもよい。制御部３１とマウス２０との通信は、有線通信および無線通信のいずれであってもよい。

図３は、ボタンＢｎ１（特定ＧＵＩ）の機能に関する情報がＡＲメガネ１２によって表示領域Ｒｇに重なるように表示される様子を説明するための図である。図３（ａ）は、ディスプレイ１１の表示領域Ｒｇを示す。図３（ｂ）は、ＡＲメガネ１２を装着しているユーザから見た透過性ディスプレイ１２０の様子を示す。図３（ｃ）は、当該ユーザがディスプレイ１１を見た様子を示す図である。

図３（ａ）に示されるように、表示領域Ｒｇにおいて、カーソルＣｒの座標がボタンＢｎ１に含まれている。図３（ｂ）に示されるように、ＡＲメガネ１２の透過性ディスプレイ１２０には、ボタンＢｎ１の機能に関する情報Ｍｓｇが表示されている。図３（ｂ）において情報Ｍｓｇには、ボタンＢｎ１の名称、およびボタンＢｎ１がクリックされた場合に実行される機能内容が示されている。図３（ｃ）に示されるように、情報Ｍｓｇが表示領域Ｒｇに重なるように表示されている。ユーザは、表示領域Ｒｇを見ながら表示領域Ｒｇ内において情報Ｍｓｇを視認可能である。

ソフトウェア操作支援システム１によれば、ユーザＵｓは、カーソルＣｒの位置に配置されているＧＵＩの機能に関するガイド情報をリアルタイムに参照しながらソフトウェアを操作することができるため、ガイド情報とユーザＵｓの実際のマウス操作との食い違いによる操作ミスを低減することができる。その結果、ソフトウェアを用いた作業の効率を向上させることができる。また、ソフトウェアの操作に対する習熟度が比較的低いユーザの操作ミスを低減することができるともに、当該ユーザのソフトェアに対する習熟を促進することができる。

さらに、画面情報３２１と、座標情報３２２と、詳細情報３２３とが互い別個のデータとしてモジュール化されていることにより、既存のソフトウェア操作支援システムのバージョンアップとして画面情報３２１および座標情報３２２に詳細情報３２３を追加する場合に、画面情報３２１および座標情報３２２の変更が不要である。その結果、システム改変による不具合発生のリスクを低減することができるとともに、システム改変のコストを削減することができる。

なお、実施の形態に係る第２表示装置は、ＡＲメガネに限定されず、第１表示装置の表示領域に重なるようにＧＵＩの機能に関する情報を表示可能であればどのような構成でもよい。たとえば、第２表示装置は、第１表示装置の表示領域に重なるように映像を投影することが可能なプロジェクタでもよい。

以上、実施の形態に係るソフトウェア操作支援システムによれば、ソフトウェアを用いる作業の効率を向上させることができる。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１ ソフトウェア操作支援システム、１１ ディスプレイ、１２ ＡＲメガネ、２０ マウス、３０ 計算装置、３１ 制御部、３２ メモリ、１２０ 透過性ディスプレイ、１２１，１２２ レンズ、３２１ 画面情報、３２２ 座標情報、３２３ 詳細情報、Ｂｎ１～Ｂｎ４ ボタン。

Claims (4)

1. 複数のグラフィカルユーザインタフェース（ＧＵＩ）へのユーザの入力を介して操作されるソフトウェアを実行する計算装置と、
   前記複数のＧＵＩおよびカーソルを表示する第１表示装置と、
   前記第１表示装置の表示領域内において前記カーソルを操作する操作装置と、
   前記複数のＧＵＩのうち前記カーソルの座標を含む特定ＧＵＩがクリックされた場合に実行される機能内容を表示する第２表示装置とを備え、
   前記計算装置は、
   前記カーソルの座標が前記特定ＧＵＩに含まれることに応じて前記機能内容を前記第２表示装置に表示し、
   前記操作装置に対する前記ユーザのクリック操作に応じて、前記カーソルの座標が含まれる機能を実行し、
   前記第２表示装置は、前記第１表示装置の表示領域に重なるように前記機能内容を表示可能である、ソフトウェア操作支援システム。
2. 前記第２表示装置は、可視光を透過させる透過性ディスプレイを含み、前記透過性ディスプレイに前記機能内容を表示する、請求項１に記載のソフトウェア操作支援システム。
3. 前記第２表示装置は、メガネとして装着可能であり、
   前記メガネのレンズは、前記透過性ディスプレイを形成している、請求項２に記載のソフトウェア操作支援システム。
4. 前記計算装置は、
   前記ソフトウェアを実行する制御部と、
   第１データ、第２データ、および第３データとが互いに別個に保存された記憶部とを含み、
   前記第１データは、前記複数のＧＵＩ各々の配置に関する情報を含み、
   前記第２データは、前記カーソルの座標に関する情報を含み、
   前記第３データは、前記複数のＧＵＩ各々の機能に関する情報を含み、
   前記制御部は、
   前記第１データおよび前記第２データを参照して前記特定ＧＵＩを特定し、
   前記第３データを参照して、前記特定ＧＵＩの機能に関する情報を特定する、請求項１～３のいずれか１項に記載のソフトウェア操作支援システム。

Images