JP3008872B2 - Guiシステム自動操作装置および操作マクロ実行装置 - Google Patents
Guiシステム自動操作装置および操作マクロ実行装置Info
- Publication number
- JP3008872B2 JP3008872B2 JP9013121A JP1312197A JP3008872B2 JP 3008872 B2 JP3008872 B2 JP 3008872B2 JP 9013121 A JP9013121 A JP 9013121A JP 1312197 A JP1312197 A JP 1312197A JP 3008872 B2 JP3008872 B2 JP 3008872B2
- Authority
- JP
- Japan
- Prior art keywords
- operation component
- component
- execution
- program
- recorded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3688—Test management for test execution, e.g. scheduling of test suites
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3692—Test management for test results analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45504—Abstract machines for programme code execution, e.g. Java virtual machine [JVM], interpreters, emulators
- G06F9/45508—Runtime interpretation or emulation, e g. emulator loops, bytecode interpretation
- G06F9/45512—Command shells
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
- G06F11/3414—Workload generation, e.g. scripts, playback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3438—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment monitoring of user actions
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Debugging And Monitoring (AREA)
- User Interface Of Digital Computer (AREA)
- Digital Computer Display Output (AREA)
Description
【0001】
【発明の属する技術分野】本発明は、GUI(グラフィ
カルユーザインタフェース)を有するシステムの操作性
評価や動作検査、あるいは操作マクロの生成等を目的と
してGUIシステムの自動操作を行う装置に関し、ま
た、前記システムの操作マクロを実行する操作マクロ実
行装置に関する。
カルユーザインタフェース)を有するシステムの操作性
評価や動作検査、あるいは操作マクロの生成等を目的と
してGUIシステムの自動操作を行う装置に関し、ま
た、前記システムの操作マクロを実行する操作マクロ実
行装置に関する。
【0002】
【従来の技術】利用者が操作するシステムの操作性を評
価する方法として、チェックリストを用いた評価方法
が、文献1:CHI'90 Conference Proceedings 、ISBN-0
-201-50932-6、249頁〜256頁(1990年4月1
日〜5日)、文献2:" ユーザインタフェースの実践的
評価法" 、ISBN-4-303-72860-8、21頁〜27頁(19
93年)、および文献3:情報処理学会研究報告、Vol.
93、No. 80、17頁〜24頁(1993年9月17
日)に記載されている。これらのユーザインタフェース
評価方法では、評価者がシステムを操作してシステムの
表示画面を変化させながら、それぞれの画面について、
チェックリストに記載された項目(例えば、画面上の情
報は見やすく読みやすいか、など)が守られているかど
うかを調べる。これにより、チェックリスト項目を違反
している箇所を見つけることができ、その箇所のユーザ
インタフェースの設計を改良することで、システムの操
作性を向上させることができる。
価する方法として、チェックリストを用いた評価方法
が、文献1:CHI'90 Conference Proceedings 、ISBN-0
-201-50932-6、249頁〜256頁(1990年4月1
日〜5日)、文献2:" ユーザインタフェースの実践的
評価法" 、ISBN-4-303-72860-8、21頁〜27頁(19
93年)、および文献3:情報処理学会研究報告、Vol.
93、No. 80、17頁〜24頁(1993年9月17
日)に記載されている。これらのユーザインタフェース
評価方法では、評価者がシステムを操作してシステムの
表示画面を変化させながら、それぞれの画面について、
チェックリストに記載された項目(例えば、画面上の情
報は見やすく読みやすいか、など)が守られているかど
うかを調べる。これにより、チェックリスト項目を違反
している箇所を見つけることができ、その箇所のユーザ
インタフェースの設計を改良することで、システムの操
作性を向上させることができる。
【0003】また、利用者が操作するシステムを自動的
に操作する装置が、文献4:特開平7-253865、および文
献5:特開平6-95780 に記載されている。これらのシス
テム操作自動実行装置では、利用者があらかじめ操作手
順を登録して保存させておき、この操作手順を読み出し
て、個々の操作を実行する命令をシステムに対して出力
することにより、利用者が操作することなく、登録した
操作手順を自動的に実行することができる。
に操作する装置が、文献4:特開平7-253865、および文
献5:特開平6-95780 に記載されている。これらのシス
テム操作自動実行装置では、利用者があらかじめ操作手
順を登録して保存させておき、この操作手順を読み出し
て、個々の操作を実行する命令をシステムに対して出力
することにより、利用者が操作することなく、登録した
操作手順を自動的に実行することができる。
【0004】また、GUIを有するシステムの操作性を
評価する装置が、文献6:"Visual& Textual Consisten
cy Checking Tools for Graphical User Interfaces"
、Technical Report、CAR-TR-828、Human-Computer In
teraction Laboratory 、Center for Automation Resea
rch、University of Maryland(World Wide Web経由で
アドレスhttp://www.cs.umd.edu:80/projects/hcil/Res
earch/tech-report-list.html#1996から入手可能、19
96年5月)に記載されている。このGUI評価装置で
は、システムのGUI部のソースプログラムから、GU
I操作部品の1つであるボタンのラベル文字のフォント
やサイズのデータを抽出し、表形式で出力する。評価者
はこの表から、システム全体にわたってボタンのラベル
文字に使用されているフォントやサイズを比較すること
ができ、一部のボタンで他と異なるフォントやサイズの
文字が使用されていれば、システム全体での一貫性が保
たれていないことがわかる。
評価する装置が、文献6:"Visual& Textual Consisten
cy Checking Tools for Graphical User Interfaces"
、Technical Report、CAR-TR-828、Human-Computer In
teraction Laboratory 、Center for Automation Resea
rch、University of Maryland(World Wide Web経由で
アドレスhttp://www.cs.umd.edu:80/projects/hcil/Res
earch/tech-report-list.html#1996から入手可能、19
96年5月)に記載されている。このGUI評価装置で
は、システムのGUI部のソースプログラムから、GU
I操作部品の1つであるボタンのラベル文字のフォント
やサイズのデータを抽出し、表形式で出力する。評価者
はこの表から、システム全体にわたってボタンのラベル
文字に使用されているフォントやサイズを比較すること
ができ、一部のボタンで他と異なるフォントやサイズの
文字が使用されていれば、システム全体での一貫性が保
たれていないことがわかる。
【0005】また、利用者が操作するシステムの動作の
正常さを検査する装置が、文献7:特開平7-84829 、文
献8:特開平7-84765 、文献9:特開平6-28209 、およ
び文献10:特開平2-41529 に記載されている。また、
GUIを有するシステムの動作の正常さを検査する装置
として、WinRunner (米Mercury Interactive )、SQA
Robot (米SQA )、Satellite Package (米Performanc
e Awareness )およびVisualTest(米Microsoft )とい
うソフトウェア製品が市販されている(これらのGUI
検査装置は、文献11:日経オープンシステム、No. 4
0、247頁〜257頁(1996年7月)で紹介され
ている)。文献11で紹介されている市販ソフトウェア
製品のGUI検査装置では、利用者の入力操作に対する
システムの動作を検査するために、利用者の入力操作を
自動化するためのスクリプトを記述する。また、入力操
作を記録してスクリプトを作成することもできる。さら
に、記録したスクリプトを編集することもできる。この
ようなスクリプトを用いて利用者の入力操作を自動的に
実行させ、システムの動作結果を記録することで、異常
な動作を検出することが可能となっている。文献8およ
び文献10に記載のユーザインタフェース検査装置も、
文献11で紹介されている市販ソフトウェア製品のGU
I検査装置と同様に、利用者の入力操作を記録してスク
リプトを作成し、このスクリプトを用いて入力操作を再
生することで、利用者の入力操作を自動化してシステム
の動作の正常さを検査することができる。また、文献7
に記載のユーザインタフェース検査装置も、文献11で
紹介されている市販ソフトウェア製品のGUI検査装置
と同様に、利用者の入力操作に対するシステムの動作を
検査するために、利用者の入力操作を自動化するための
スクリプトを記述する。このスクリプトを用いて入力操
作を再生することで、利用者の入力操作を自動化してシ
ステムの動作の正常さを検査することができる。一方、
文献9に記載のユーザインタフェース検査装置では、利
用者の代わりにロボットにシステムを操作させること
で、利用者が操作することなく、システムを動作させ、
動作結果を記録して動作の正常さを検査することができ
る。ただし、ロボットの動作を制御するためのプログラ
ムを作成しておく必要がある。
正常さを検査する装置が、文献7:特開平7-84829 、文
献8:特開平7-84765 、文献9:特開平6-28209 、およ
び文献10:特開平2-41529 に記載されている。また、
GUIを有するシステムの動作の正常さを検査する装置
として、WinRunner (米Mercury Interactive )、SQA
Robot (米SQA )、Satellite Package (米Performanc
e Awareness )およびVisualTest(米Microsoft )とい
うソフトウェア製品が市販されている(これらのGUI
検査装置は、文献11:日経オープンシステム、No. 4
0、247頁〜257頁(1996年7月)で紹介され
ている)。文献11で紹介されている市販ソフトウェア
製品のGUI検査装置では、利用者の入力操作に対する
システムの動作を検査するために、利用者の入力操作を
自動化するためのスクリプトを記述する。また、入力操
作を記録してスクリプトを作成することもできる。さら
に、記録したスクリプトを編集することもできる。この
ようなスクリプトを用いて利用者の入力操作を自動的に
実行させ、システムの動作結果を記録することで、異常
な動作を検出することが可能となっている。文献8およ
び文献10に記載のユーザインタフェース検査装置も、
文献11で紹介されている市販ソフトウェア製品のGU
I検査装置と同様に、利用者の入力操作を記録してスク
リプトを作成し、このスクリプトを用いて入力操作を再
生することで、利用者の入力操作を自動化してシステム
の動作の正常さを検査することができる。また、文献7
に記載のユーザインタフェース検査装置も、文献11で
紹介されている市販ソフトウェア製品のGUI検査装置
と同様に、利用者の入力操作に対するシステムの動作を
検査するために、利用者の入力操作を自動化するための
スクリプトを記述する。このスクリプトを用いて入力操
作を再生することで、利用者の入力操作を自動化してシ
ステムの動作の正常さを検査することができる。一方、
文献9に記載のユーザインタフェース検査装置では、利
用者の代わりにロボットにシステムを操作させること
で、利用者が操作することなく、システムを動作させ、
動作結果を記録して動作の正常さを検査することができ
る。ただし、ロボットの動作を制御するためのプログラ
ムを作成しておく必要がある。
【0006】また、利用者が操作するシステムの操作マ
クロを生成する装置が、文献12:特開平6-348481、文
献13:特開平6-274329、文献14:特開平5-173741、
文献15:特開平5-35382 、および文献16:特開平1-
237833に記載されている。文献12〜14に記載の操作
マクロ生成装置では、利用者がシステムに対して操作を
順に入力し、この一連の操作を記録することで、操作マ
クロを作成する。一方、文献15および文献16に記載
の操作マクロ生成装置では、利用者がシステムを使用し
ている間、利用者が行った操作を監視し、回数が所定の
頻度を越えた操作の系列を自動的に操作マクロとして登
録する。以上のように、文献12〜16に記載の操作マ
クロ生成装置では、利用者が行った操作から操作マクロ
を生成することにより、利用者がよく行う操作の系列
を、操作マクロで実行することが可能となり、操作の効
率が向上する。
クロを生成する装置が、文献12:特開平6-348481、文
献13:特開平6-274329、文献14:特開平5-173741、
文献15:特開平5-35382 、および文献16:特開平1-
237833に記載されている。文献12〜14に記載の操作
マクロ生成装置では、利用者がシステムに対して操作を
順に入力し、この一連の操作を記録することで、操作マ
クロを作成する。一方、文献15および文献16に記載
の操作マクロ生成装置では、利用者がシステムを使用し
ている間、利用者が行った操作を監視し、回数が所定の
頻度を越えた操作の系列を自動的に操作マクロとして登
録する。以上のように、文献12〜16に記載の操作マ
クロ生成装置では、利用者が行った操作から操作マクロ
を生成することにより、利用者がよく行う操作の系列
を、操作マクロで実行することが可能となり、操作の効
率が向上する。
【0007】
【発明が解決しようとする課題】しかし、文献1〜文献
3に記載のユーザインタフェース評価方法では、システ
ムの画面がチェックリスト項目を遵守しているかどうか
を評価者が判定するために、評価者がシステムを順に操
作してシステムの画面を遷移させなければならない。し
たがって、システムの規模が大きくなるほど、システム
の画面を網羅的に遷移させるために実行すべき操作の数
が膨大になり、非常に手間がかかっていた。かつ、シス
テムの規模が大きくなり操作手順の構造が複雑になるほ
ど、一部の操作を実行し忘れてしまう危険が高く、シス
テムの画面すべてを網羅的に確認することができない場
合があった。
3に記載のユーザインタフェース評価方法では、システ
ムの画面がチェックリスト項目を遵守しているかどうか
を評価者が判定するために、評価者がシステムを順に操
作してシステムの画面を遷移させなければならない。し
たがって、システムの規模が大きくなるほど、システム
の画面を網羅的に遷移させるために実行すべき操作の数
が膨大になり、非常に手間がかかっていた。かつ、シス
テムの規模が大きくなり操作手順の構造が複雑になるほ
ど、一部の操作を実行し忘れてしまう危険が高く、シス
テムの画面すべてを網羅的に確認することができない場
合があった。
【0008】また、文献4および文献5に記載されてい
るシステム操作自動実行装置では、システムの操作を利
用者にかわって自動的に実行させることが可能であるの
で、この装置を利用して文献1〜文献3に記載のユーザ
インタフェース評価方法を実施することにより、評価者
がシステムを操作する手間が不要になる。しかし、文献
4および文献5に記載のシステム操作自動実行装置で
は、自動実行するシステム操作の手順をあらかじめ利用
者が記述し保存しておく必要がある。したがって、シス
テムの規模が大きくなるほど、システムの画面を網羅的
に遷移させるために実行すべき操作の数が膨大になり、
これらの操作の手順をあらかじめ記述するのに膨大な手
間が必要であった。かつ、システムの規模が大きくなり
操作手順の構造が複雑になるほど、一部の操作を記述し
忘れてしまう危険が高く、システムの画面を網羅的に遷
移させることができない場合があった。
るシステム操作自動実行装置では、システムの操作を利
用者にかわって自動的に実行させることが可能であるの
で、この装置を利用して文献1〜文献3に記載のユーザ
インタフェース評価方法を実施することにより、評価者
がシステムを操作する手間が不要になる。しかし、文献
4および文献5に記載のシステム操作自動実行装置で
は、自動実行するシステム操作の手順をあらかじめ利用
者が記述し保存しておく必要がある。したがって、シス
テムの規模が大きくなるほど、システムの画面を網羅的
に遷移させるために実行すべき操作の数が膨大になり、
これらの操作の手順をあらかじめ記述するのに膨大な手
間が必要であった。かつ、システムの規模が大きくなり
操作手順の構造が複雑になるほど、一部の操作を記述し
忘れてしまう危険が高く、システムの画面を網羅的に遷
移させることができない場合があった。
【0009】また、文献6に記載のGUI評価装置で
は、ボタンのラベル文字のフォントやサイズのデータを
得るために、システムのGUI部のソースプログラムが
必要であった。したがって、システムの実行プログラム
だけが利用可能で、ソースプログラムは利用できない場
合、文献6に記載のGUI評価装置を適用することはで
きなかった。
は、ボタンのラベル文字のフォントやサイズのデータを
得るために、システムのGUI部のソースプログラムが
必要であった。したがって、システムの実行プログラム
だけが利用可能で、ソースプログラムは利用できない場
合、文献6に記載のGUI評価装置を適用することはで
きなかった。
【0010】また、文献7、文献8および文献10に記
載のユーザインタフェース検査装置、および文献11で
紹介され、ソフトウェア製品として市販されているGU
I検査装置では、利用者の入力操作を自動化するための
スクリプトが必要であり、このスクリプトを、あらかじ
め利用者の入力操作を記録して作成するか、検査者がス
クリプトを手作業で記述して作成しなければならなかっ
た。したがって、システムの規模が大きくなるほど、シ
ステムの動作を網羅的に検査するために必要なスクリプ
トの規模も膨大になり、これらを記録もしくは記述する
のに非常に手間がかかっていた。かつ、システムの規模
が大きくなり操作手順の構造が複雑になるほど、一部の
操作を記録もしくは記述し忘れてしまう危険が高く、シ
ステムの動作を網羅的に検査することができない場合が
あった。また、文献9に記載のユーザインタフェース検
査装置では、システムを操作するためのロボットの動作
制御プログラムを作成する必要があった。したがって、
システムの規模が大きくなるほど、システムの動作を網
羅的に検査するために必要なロボットの動作制御プログ
ラムの規模も膨大になり、これらを作成するのに非常に
手間がかかっていた。かつ、システムの規模が大きくな
り操作手順の構造が複雑になるほど、一部の操作を実行
するためのプログラムを記述し忘れてしまう危険が高
く、システムの動作を網羅的に検査することができない
場合があった。
載のユーザインタフェース検査装置、および文献11で
紹介され、ソフトウェア製品として市販されているGU
I検査装置では、利用者の入力操作を自動化するための
スクリプトが必要であり、このスクリプトを、あらかじ
め利用者の入力操作を記録して作成するか、検査者がス
クリプトを手作業で記述して作成しなければならなかっ
た。したがって、システムの規模が大きくなるほど、シ
ステムの動作を網羅的に検査するために必要なスクリプ
トの規模も膨大になり、これらを記録もしくは記述する
のに非常に手間がかかっていた。かつ、システムの規模
が大きくなり操作手順の構造が複雑になるほど、一部の
操作を記録もしくは記述し忘れてしまう危険が高く、シ
ステムの動作を網羅的に検査することができない場合が
あった。また、文献9に記載のユーザインタフェース検
査装置では、システムを操作するためのロボットの動作
制御プログラムを作成する必要があった。したがって、
システムの規模が大きくなるほど、システムの動作を網
羅的に検査するために必要なロボットの動作制御プログ
ラムの規模も膨大になり、これらを作成するのに非常に
手間がかかっていた。かつ、システムの規模が大きくな
り操作手順の構造が複雑になるほど、一部の操作を実行
するためのプログラムを記述し忘れてしまう危険が高
く、システムの動作を網羅的に検査することができない
場合があった。
【0011】また、文献12〜文献16に記載の操作マ
クロ生成装置では、操作マクロを生成するためには利用
者がシステムを操作する必要があった。したがって、利
用者がシステムを操作する前に操作マクロを生成し、こ
の操作マクロを利用者に提供することはできなかった。
クロ生成装置では、操作マクロを生成するためには利用
者がシステムを操作する必要があった。したがって、利
用者がシステムを操作する前に操作マクロを生成し、こ
の操作マクロを利用者に提供することはできなかった。
【0012】本発明の目的は、システム操作の手順をあ
らかじめ利用者が記述し保存しておかなくても、システ
ムを自動的に実行することが可能なGUIシステム自動
操作装置を提供することにある。
らかじめ利用者が記述し保存しておかなくても、システ
ムを自動的に実行することが可能なGUIシステム自動
操作装置を提供することにある。
【0013】本発明の別の目的は、評価者の入力操作の
手間が不要で、システムの規模に依存せずシステムの画
面を網羅的に確認し、システムの操作性を評価すること
が可能なGUI評価機能を有するGUIシステム自動操
作装置を提供することにある。以下、GUI評価機能を
有するGUIシステム自動操作装置を、GUI評価機能
付きGUIシステム自動操作装置と呼ぶ。
手間が不要で、システムの規模に依存せずシステムの画
面を網羅的に確認し、システムの操作性を評価すること
が可能なGUI評価機能を有するGUIシステム自動操
作装置を提供することにある。以下、GUI評価機能を
有するGUIシステム自動操作装置を、GUI評価機能
付きGUIシステム自動操作装置と呼ぶ。
【0014】本発明の他の目的は、システムのGUI部
のソースプログラムは不要で、システムの実行プログラ
ムだけを用いて操作部品のシステム全体を通しての一貫
性を評価することが可能なGUI評価機能付きGUIシ
ステム自動操作装置を提供することにある。
のソースプログラムは不要で、システムの実行プログラ
ムだけを用いて操作部品のシステム全体を通しての一貫
性を評価することが可能なGUI評価機能付きGUIシ
ステム自動操作装置を提供することにある。
【0015】本発明のまた更に別の目的は、検査者のス
クリプト記録もしくは記述の手間が不要で、システムの
規模に依存せずシステムの動作を網羅的に検査すること
が可能なGUI検査機能を有するGUIシステム自動操
作装置を提供することにある。以下、GUI検査機能を
有するGUIシステム自動操作装置をGUI検査機能付
きGUIシステム自動操作装置と呼ぶ。
クリプト記録もしくは記述の手間が不要で、システムの
規模に依存せずシステムの動作を網羅的に検査すること
が可能なGUI検査機能を有するGUIシステム自動操
作装置を提供することにある。以下、GUI検査機能を
有するGUIシステム自動操作装置をGUI検査機能付
きGUIシステム自動操作装置と呼ぶ。
【0016】本発明の更に他の目的は、利用者の入力操
作が不要で、利用者がシステムを操作する前に操作マク
ロを生成することが可能な操作マクロ生成機能を有する
GUIシステム自動操作装置を提供することにある。以
下、操作マクロ生成機能を有するGUIシステム自動操
作装置を操作マクロ生成機能付きGUIシステム自動操
作装置と呼ぶ。
作が不要で、利用者がシステムを操作する前に操作マク
ロを生成することが可能な操作マクロ生成機能を有する
GUIシステム自動操作装置を提供することにある。以
下、操作マクロ生成機能を有するGUIシステム自動操
作装置を操作マクロ生成機能付きGUIシステム自動操
作装置と呼ぶ。
【0017】本発明の更に別の目的は、上記操作マクロ
を利用者に提供することが可能な操作マクロ実行装置を
提供することにある。
を利用者に提供することが可能な操作マクロ実行装置を
提供することにある。
【0018】
【課題を解決するための手段】本発明のGUIシステム
自動操作装置は、システム操作の手順をあらかじめ利用
者が記述し保存しておかなくても、システムを自動的に
実行することができるようにするために、GUIを有す
るシステムの実行プログラムの実行を制御するプログラ
ム実行手段と、前記プログラム実行手段が画面に表示さ
せている前記システムの操作部品を検出する操作部品検
出手段とに接続され、前記システムの操作を自動的に行
うGUIシステム自動操作装置であって、前記システム
の実行プログラムの実行を前記プログラム実行手段に開
始させるプログラム実行開始手段と、前記プログラム実
行手段が画面に表示させている画面のイメージを記録す
る画面イメージ記録手段と、前記操作部品検出手段が検
出した操作部品のデータから操作部品表を作成して記録
する操作部品表記録手段と、前記操作部品表の識別子の
表スタックに識別子を追加する、もしくは前記操作部品
表の識別子の表スタックから識別子を削除する表スタッ
ク管理手段と、前記操作部品表記録手段に記録された操
作部品表から操作部品のデータを選択する操作部品選択
手段と、前記システムの操作部品に対する操作を実行す
るイベントを発生させる操作イベント発生手段と、前記
プログラム実行手段で実行中の前記システムの実行プロ
グラムの実行を終了させるプログラム実行終了手段とを
備え、前記操作部品表記録手段は、前記操作部品検出手
段が検出した操作部品のデータのなかから、まだ前記操
作部品表記録手段に記録されていないデータを抽出し、
このデータを用いて前記操作部品表を作成して記録する
と共に、新規に記録した操作部品表の識別子を前記表ス
タックに追加するよう、前記表スタック管理手段に命令
し、かつ、前記操作部品検出手段が検出した操作部品の
データがすべて、前記操作部品表記録手段にすでに記録
されていた場合に、前記プログラム実行手段で実行中の
前記システムの実行プログラムの実行を終了させるよう
前記プログラム実行手段に命令し、更に、前記操作部品
検出手段が検出した操作部品のデータのなかに、前記操
作部品表記録手段にまだ記録されていないデータがあっ
た場合に、前記操作部品表記録手段に記録された操作部
品表から操作部品のデータを選択するよう前記操作部品
選択手段に命令する構成を有し、前記操作部品選択手段
は、前記表スタックの最上位にある識別子を有する操作
部品表を前記操作部品表記録手段から検索し、検索され
た操作部品表のなかから、未操作の操作部品のデータを
検索し、未操作の操作部品のデータが存在すれば、その
なかから1つを選択し、存在しなければ、前記操作部品
表記録手段に記録された操作部品表のなかから未操作の
操作部品のデータを1つ選択するか、前記表スタックか
ら識別子がすべて削除されるまで、前記表スタックの最
上位にある識別子を前記表スタックから削除するよう前
記表スタック管理手段に命令したあと、未操作の操作部
品のデータを検索する処理を繰り返し行う構成を有し、
前記操作イベント発生手段は、前記操作部品選択手段が
選択した操作部品のデータを用いて、前記システムの操
作部品に対する操作を実行するイベントを発生させて前
記プログラム実行手段に出力する構成を有し、前記プロ
グラム実行終了手段は、前記プログラム実行手段で実行
中の前記システムの実行プログラムの実行を終了させた
あと、前記プログラム実行開始手段に、前記システムの
実行プログラムの実行を前記プログラム実行手段に開始
させるよう命令する構成を有し、前記プログラム実行開
始手段は、前記プログラム実行終了手段から命令を受け
て前記システムの実行プログラムの実行を前記プログラ
ム実行手段に開始させたあと、前記操作部品選択手段
に、操作部品のデータの選択を行うよう命令する構成を
有し、更に前記操作部品選択手段は、操作部品のデータ
を選択するよう前記プログラム実行開始手段から命令を
受け、未操作の操作部品のデータを1つ選択できた場
合、前記システムの初期画面から、選択された前記デー
タの操作部品が表示される画面まで遷移するために操作
を実行しなければならない操作部品のデータを、前記操
作部品表記録手段に記録された操作部品表から検索する
構成を有することを特徴とする。
自動操作装置は、システム操作の手順をあらかじめ利用
者が記述し保存しておかなくても、システムを自動的に
実行することができるようにするために、GUIを有す
るシステムの実行プログラムの実行を制御するプログラ
ム実行手段と、前記プログラム実行手段が画面に表示さ
せている前記システムの操作部品を検出する操作部品検
出手段とに接続され、前記システムの操作を自動的に行
うGUIシステム自動操作装置であって、前記システム
の実行プログラムの実行を前記プログラム実行手段に開
始させるプログラム実行開始手段と、前記プログラム実
行手段が画面に表示させている画面のイメージを記録す
る画面イメージ記録手段と、前記操作部品検出手段が検
出した操作部品のデータから操作部品表を作成して記録
する操作部品表記録手段と、前記操作部品表の識別子の
表スタックに識別子を追加する、もしくは前記操作部品
表の識別子の表スタックから識別子を削除する表スタッ
ク管理手段と、前記操作部品表記録手段に記録された操
作部品表から操作部品のデータを選択する操作部品選択
手段と、前記システムの操作部品に対する操作を実行す
るイベントを発生させる操作イベント発生手段と、前記
プログラム実行手段で実行中の前記システムの実行プロ
グラムの実行を終了させるプログラム実行終了手段とを
備え、前記操作部品表記録手段は、前記操作部品検出手
段が検出した操作部品のデータのなかから、まだ前記操
作部品表記録手段に記録されていないデータを抽出し、
このデータを用いて前記操作部品表を作成して記録する
と共に、新規に記録した操作部品表の識別子を前記表ス
タックに追加するよう、前記表スタック管理手段に命令
し、かつ、前記操作部品検出手段が検出した操作部品の
データがすべて、前記操作部品表記録手段にすでに記録
されていた場合に、前記プログラム実行手段で実行中の
前記システムの実行プログラムの実行を終了させるよう
前記プログラム実行手段に命令し、更に、前記操作部品
検出手段が検出した操作部品のデータのなかに、前記操
作部品表記録手段にまだ記録されていないデータがあっ
た場合に、前記操作部品表記録手段に記録された操作部
品表から操作部品のデータを選択するよう前記操作部品
選択手段に命令する構成を有し、前記操作部品選択手段
は、前記表スタックの最上位にある識別子を有する操作
部品表を前記操作部品表記録手段から検索し、検索され
た操作部品表のなかから、未操作の操作部品のデータを
検索し、未操作の操作部品のデータが存在すれば、その
なかから1つを選択し、存在しなければ、前記操作部品
表記録手段に記録された操作部品表のなかから未操作の
操作部品のデータを1つ選択するか、前記表スタックか
ら識別子がすべて削除されるまで、前記表スタックの最
上位にある識別子を前記表スタックから削除するよう前
記表スタック管理手段に命令したあと、未操作の操作部
品のデータを検索する処理を繰り返し行う構成を有し、
前記操作イベント発生手段は、前記操作部品選択手段が
選択した操作部品のデータを用いて、前記システムの操
作部品に対する操作を実行するイベントを発生させて前
記プログラム実行手段に出力する構成を有し、前記プロ
グラム実行終了手段は、前記プログラム実行手段で実行
中の前記システムの実行プログラムの実行を終了させた
あと、前記プログラム実行開始手段に、前記システムの
実行プログラムの実行を前記プログラム実行手段に開始
させるよう命令する構成を有し、前記プログラム実行開
始手段は、前記プログラム実行終了手段から命令を受け
て前記システムの実行プログラムの実行を前記プログラ
ム実行手段に開始させたあと、前記操作部品選択手段
に、操作部品のデータの選択を行うよう命令する構成を
有し、更に前記操作部品選択手段は、操作部品のデータ
を選択するよう前記プログラム実行開始手段から命令を
受け、未操作の操作部品のデータを1つ選択できた場
合、前記システムの初期画面から、選択された前記デー
タの操作部品が表示される画面まで遷移するために操作
を実行しなければならない操作部品のデータを、前記操
作部品表記録手段に記録された操作部品表から検索する
構成を有することを特徴とする。
【0019】前記操作部品表記録手段が記録する操作部
品表は、本発明のGUIシステム自動操作装置の使用目
的に応じて適宜定められる。例えば、システムの画面を
網羅的に確認し、システムの操作性を評価する場合に
は、操作部品表の識別子と、操作部品の識別子と、前記
操作部品の表示領域の座標とを少なくとも含めば良い。
また、操作部品のシステム全体を通しての一貫性を評価
する場合には、操作部品表の識別子と、操作部品の識別
子と、前記操作部品の種類名と、前記操作部品のラベル
と、前記操作部品の表示領域の座標と、前記操作部品の
ラベル文字のフォント名と、前記操作部品のラベル文字
のサイズと、前記操作部品が配置されているウィンドウ
のラベルとを少なくとも含めば良い。更に、GUI検査
を行う場合や操作マクロを生成する場合には、操作部品
表の識別子と、操作部品の識別子と、前記操作部品の種
類名と、前記操作部品のラベルと、前記操作部品の表示
領域の座標と、前記操作部品が配置されているウィンド
ウのラベルとを少なくとも含めば良い。
品表は、本発明のGUIシステム自動操作装置の使用目
的に応じて適宜定められる。例えば、システムの画面を
網羅的に確認し、システムの操作性を評価する場合に
は、操作部品表の識別子と、操作部品の識別子と、前記
操作部品の表示領域の座標とを少なくとも含めば良い。
また、操作部品のシステム全体を通しての一貫性を評価
する場合には、操作部品表の識別子と、操作部品の識別
子と、前記操作部品の種類名と、前記操作部品のラベル
と、前記操作部品の表示領域の座標と、前記操作部品の
ラベル文字のフォント名と、前記操作部品のラベル文字
のサイズと、前記操作部品が配置されているウィンドウ
のラベルとを少なくとも含めば良い。更に、GUI検査
を行う場合や操作マクロを生成する場合には、操作部品
表の識別子と、操作部品の識別子と、前記操作部品の種
類名と、前記操作部品のラベルと、前記操作部品の表示
領域の座標と、前記操作部品が配置されているウィンド
ウのラベルとを少なくとも含めば良い。
【0020】このような構成のGUIシステム自動操作
装置にあっては、システム自動操作の開始時にプログラ
ム実行開始手段が、システムの実行プログラムの実行を
プログラム実行手段に開始させ、この実行プログラムの
実行によりプログラム実行手段が画面にシステムの操作
部品(メニューやボタン等)を表示すると、操作部品検
出手段がそれらの操作部品を検出し、操作部品表記録手
段が、操作部品検出手段が検出した操作部品のデータか
ら未だ記録していない操作部品のデータを抽出し、この
抽出したデータを用いて操作部品表を作成して記録した
後に操作部品選択命令を出し、表スタック管理手段が、
操作部品表記録手段が記録した操作部品表の識別子を表
スタックにて管理する。次いで、操作部品選択手段が、
表スタックにて管理されている操作部品表の識別子を参
照して操作部品表記録手段に記録された操作部品表から
システムの画面を遷移させるために次に操作すべき操作
部品のデータを選択し、操作イベント発生手段が、操作
部品選択手段で選択された操作部品のデータを用いて前
記システムの操作部品に対する操作を実行するイベント
を発生させてプログラム実行手段に出力する。これによ
り、あたかも利用者が操作部品を操作した如くにシステ
ムが振る舞い、システムの画面が次の状態に遷移する。
そして、この遷移後の状態において再び上記と同様な動
作が行われることにより、新たな操作部品の検出,操作
部品表の生成と記録,システムの画面を遷移させるため
に次に操作すべき操作部品のデータの選択,その操作部
品に対する操作の実行が行われ、システムの画面が更に
次の状態へと遷移していく。このようにして、システム
の画面を自動的に順次遷移させていき、操作部品検出手
段が検出した操作部品のデータがすべて操作部品記録手
段に記録されていれば、プログラム実行終了手段がプロ
グラム実行手段で実行中のシステムの実行プログラムの
実行を終了させる。そして、残っている未操作の操作部
品を更に操作するために、プログラム実行開始手段がシ
ステムの実行プログラムの実行をプログラム実行手段に
開始させた後、操作部品選択手段に操作部品のデータを
選択するよう命令する。これによって、前回未選択であ
った残りの操作部品の選択が行われ、システムの画面を
網羅的に遷移させていく。
装置にあっては、システム自動操作の開始時にプログラ
ム実行開始手段が、システムの実行プログラムの実行を
プログラム実行手段に開始させ、この実行プログラムの
実行によりプログラム実行手段が画面にシステムの操作
部品(メニューやボタン等)を表示すると、操作部品検
出手段がそれらの操作部品を検出し、操作部品表記録手
段が、操作部品検出手段が検出した操作部品のデータか
ら未だ記録していない操作部品のデータを抽出し、この
抽出したデータを用いて操作部品表を作成して記録した
後に操作部品選択命令を出し、表スタック管理手段が、
操作部品表記録手段が記録した操作部品表の識別子を表
スタックにて管理する。次いで、操作部品選択手段が、
表スタックにて管理されている操作部品表の識別子を参
照して操作部品表記録手段に記録された操作部品表から
システムの画面を遷移させるために次に操作すべき操作
部品のデータを選択し、操作イベント発生手段が、操作
部品選択手段で選択された操作部品のデータを用いて前
記システムの操作部品に対する操作を実行するイベント
を発生させてプログラム実行手段に出力する。これによ
り、あたかも利用者が操作部品を操作した如くにシステ
ムが振る舞い、システムの画面が次の状態に遷移する。
そして、この遷移後の状態において再び上記と同様な動
作が行われることにより、新たな操作部品の検出,操作
部品表の生成と記録,システムの画面を遷移させるため
に次に操作すべき操作部品のデータの選択,その操作部
品に対する操作の実行が行われ、システムの画面が更に
次の状態へと遷移していく。このようにして、システム
の画面を自動的に順次遷移させていき、操作部品検出手
段が検出した操作部品のデータがすべて操作部品記録手
段に記録されていれば、プログラム実行終了手段がプロ
グラム実行手段で実行中のシステムの実行プログラムの
実行を終了させる。そして、残っている未操作の操作部
品を更に操作するために、プログラム実行開始手段がシ
ステムの実行プログラムの実行をプログラム実行手段に
開始させた後、操作部品選択手段に操作部品のデータを
選択するよう命令する。これによって、前回未選択であ
った残りの操作部品の選択が行われ、システムの画面を
網羅的に遷移させていく。
【0021】次に、本発明のGUI評価機能付きGUI
システム自動操作装置は、システムの画面を網羅的に確
認し得るようにするために、上記GUIシステム自動操
作装置の構成に加えて、前記プログラム実行手段が画面
に表示させている画面のイメージを記録する画面イメー
ジ記録手段を有する。この画面イメージ記録手段は、前
記プログラム実行開始手段による1回目の前記システム
の実行プログラムの実行の開始が行われたあと、前記シ
ステムの実行プログラムの初期画面のイメージを記録
し、前記プログラム実行手段が前記操作イベント発生手
段から操作イベントを受け取るたびに、前記操作イベン
トによって実行される前記システムの実行プログラムの
動作が完了したあと、前記システムの実行プログラムの
画面のイメージを記録する構成を有する。
システム自動操作装置は、システムの画面を網羅的に確
認し得るようにするために、上記GUIシステム自動操
作装置の構成に加えて、前記プログラム実行手段が画面
に表示させている画面のイメージを記録する画面イメー
ジ記録手段を有する。この画面イメージ記録手段は、前
記プログラム実行開始手段による1回目の前記システム
の実行プログラムの実行の開始が行われたあと、前記シ
ステムの実行プログラムの初期画面のイメージを記録
し、前記プログラム実行手段が前記操作イベント発生手
段から操作イベントを受け取るたびに、前記操作イベン
トによって実行される前記システムの実行プログラムの
動作が完了したあと、前記システムの実行プログラムの
画面のイメージを記録する構成を有する。
【0022】このような構成のGUI評価機能付きGU
Iシステム自動操作装置にあっては、上記GUIシステ
ム自動操作装置によってシステムが自動的に操作されて
いる過程において、画面イメージ記録手段が、プログラ
ム実行手段が画面に表示させている画面のイメージを記
録する。このように、評価対象システムの操作を自動的
かつ網羅的に実行し、システムの画面を網羅的に遷移さ
せ、各画面イメージを自動的に記録し出力させることに
より、評価者がシステムを操作する必要がなく、つま
り、評価者の入力操作の手間が不要で、システムの規模
に依存せずシステムの画面を網羅的に確認することが可
能となる。
Iシステム自動操作装置にあっては、上記GUIシステ
ム自動操作装置によってシステムが自動的に操作されて
いる過程において、画面イメージ記録手段が、プログラ
ム実行手段が画面に表示させている画面のイメージを記
録する。このように、評価対象システムの操作を自動的
かつ網羅的に実行し、システムの画面を網羅的に遷移さ
せ、各画面イメージを自動的に記録し出力させることに
より、評価者がシステムを操作する必要がなく、つま
り、評価者の入力操作の手間が不要で、システムの規模
に依存せずシステムの画面を網羅的に確認することが可
能となる。
【0023】次に、本発明のGUI評価機能付きGUI
システム自動操作装置の他の構成は、操作部品の一貫性
を評価し得るようにするために、上記GUIシステム自
動操作装置の構成に加えて、前記操作部品表記録手段に
記録された操作部品表のなかの操作部品のデータを相互
に比較する操作部品比較手段を有する。
システム自動操作装置の他の構成は、操作部品の一貫性
を評価し得るようにするために、上記GUIシステム自
動操作装置の構成に加えて、前記操作部品表記録手段に
記録された操作部品表のなかの操作部品のデータを相互
に比較する操作部品比較手段を有する。
【0024】このような構成のGUI評価機能付きGU
Iシステム自動操作装置にあっては、上記GUIシステ
ム自動操作装置によってシステムが自動的に操作される
ことにより操作部品表記録手段に記録された操作部品の
データを、操作部品比較手段が相互に比較する。このよ
うに、評価対象システムの操作部品のデータを、システ
ムの実行プログラムだけを用いて、自動的かつ網羅的に
記録できるため、システムのGUI部のソースプログラ
ムは不要で、システムの実行プログラムだけを用いて操
作部品のシステム全体を通しての一貫性を評価すること
が可能となる。
Iシステム自動操作装置にあっては、上記GUIシステ
ム自動操作装置によってシステムが自動的に操作される
ことにより操作部品表記録手段に記録された操作部品の
データを、操作部品比較手段が相互に比較する。このよ
うに、評価対象システムの操作部品のデータを、システ
ムの実行プログラムだけを用いて、自動的かつ網羅的に
記録できるため、システムのGUI部のソースプログラ
ムは不要で、システムの実行プログラムだけを用いて操
作部品のシステム全体を通しての一貫性を評価すること
が可能となる。
【0025】次に、本発明のGUI検査機能付きGUI
システム自動操作装置は、上記GUIシステム自動操作
装置の構成に加えて、前記プログラム実行手段で実行中
の前記システムの実行プログラムに動作エラーが発生
し、入力操作が受け付けられない状態に陥った場合、こ
の動作エラーを検出して動作エラー情報を記録する動作
エラー記録手段を有する。この動作エラー記録手段は、
前記動作エラーを検出した場合、前記動作エラーが発生
する直前に操作を実行された操作部品のデータを前記操
作部品選択手段から取得し、前記操作部品のデータを動
作エラー情報として記録し、前記プログラム実行手段で
実行中の前記システムの実行プログラムの実行を終了さ
せるよう前記プログラム実行終了手段に命令する構成を
有する。
システム自動操作装置は、上記GUIシステム自動操作
装置の構成に加えて、前記プログラム実行手段で実行中
の前記システムの実行プログラムに動作エラーが発生
し、入力操作が受け付けられない状態に陥った場合、こ
の動作エラーを検出して動作エラー情報を記録する動作
エラー記録手段を有する。この動作エラー記録手段は、
前記動作エラーを検出した場合、前記動作エラーが発生
する直前に操作を実行された操作部品のデータを前記操
作部品選択手段から取得し、前記操作部品のデータを動
作エラー情報として記録し、前記プログラム実行手段で
実行中の前記システムの実行プログラムの実行を終了さ
せるよう前記プログラム実行終了手段に命令する構成を
有する。
【0026】このようなGUI検査機能付きGUIシス
テム自動操作装置にあっては、上記GUIシステム自動
操作装置によってシステムが自動的に操作されている過
程において、プログラム実行手段が実行中のシステムの
実行プログラムに動作エラーが発生し、入力操作が受け
付けられない状態に陥った場合、エラー記録手段がその
動作エラーを検出して動作エラー情報を記録する。この
ように、検査対象システムの実行プログラムだけを用い
て、検査対象システムの操作を自動的かつ網羅的に実行
し、システムの動作エラー情報を記録するので、検査者
はシステムを自動的に操作させるためのスクリプトを記
録もしくは記述する必要がない。つまり、検査者のスク
リプト記録もしくは記述の手間が不要で、システムの規
模に依存せずシステムの動作を網羅的に検査することが
可能となる。
テム自動操作装置にあっては、上記GUIシステム自動
操作装置によってシステムが自動的に操作されている過
程において、プログラム実行手段が実行中のシステムの
実行プログラムに動作エラーが発生し、入力操作が受け
付けられない状態に陥った場合、エラー記録手段がその
動作エラーを検出して動作エラー情報を記録する。この
ように、検査対象システムの実行プログラムだけを用い
て、検査対象システムの操作を自動的かつ網羅的に実行
し、システムの動作エラー情報を記録するので、検査者
はシステムを自動的に操作させるためのスクリプトを記
録もしくは記述する必要がない。つまり、検査者のスク
リプト記録もしくは記述の手間が不要で、システムの規
模に依存せずシステムの動作を網羅的に検査することが
可能となる。
【0027】次に、本発明の操作マクロ生成機能付きG
UIシステム自動操作装置は、上記GUIシステム自動
操作装置の構成に構成に加えて、前記操作部品表記録手
段に記録された操作部品表をもとに操作マクロを作成し
記録する操作マクロ記録手段を有する。この操作マクロ
記録手段は、前記操作部品表記録手段に記録された操作
部品表のなかの操作部品のデータを用いて、あらかじめ
決められた階層にある操作部品の操作を実行するための
操作手順を操作マクロとして記録する。
UIシステム自動操作装置は、上記GUIシステム自動
操作装置の構成に構成に加えて、前記操作部品表記録手
段に記録された操作部品表をもとに操作マクロを作成し
記録する操作マクロ記録手段を有する。この操作マクロ
記録手段は、前記操作部品表記録手段に記録された操作
部品表のなかの操作部品のデータを用いて、あらかじめ
決められた階層にある操作部品の操作を実行するための
操作手順を操作マクロとして記録する。
【0028】このような操作マクロ生成機能付きGUI
システム自動操作装置にあっては、上記GUIシステム
自動操作装置によってシステムが自動的に操作されて得
られた操作部品表記録手段に記録された操作部品表をも
とに、操作マクロ記録手段が操作マクロを作成し記録す
る。つまり、対象システムの操作を自動的かつ網羅的に
実行し、対象システムの操作部品のデータを自動的かつ
網羅的に記録し、さらに、記録された操作部品のデータ
をもとに、操作マクロを自動的に生成する。
システム自動操作装置にあっては、上記GUIシステム
自動操作装置によってシステムが自動的に操作されて得
られた操作部品表記録手段に記録された操作部品表をも
とに、操作マクロ記録手段が操作マクロを作成し記録す
る。つまり、対象システムの操作を自動的かつ網羅的に
実行し、対象システムの操作部品のデータを自動的かつ
網羅的に記録し、さらに、記録された操作部品のデータ
をもとに、操作マクロを自動的に生成する。
【0029】次に、本発明の操作マクロ実行装置は、G
UIを有するシステムの実行プログラムの実行を制御す
るプログラム実行手段と、前記プログラム実行手段が画
面に表示させている前記システムの操作部品を検出する
操作部品検出手段とに接続され、前記システムの操作マ
クロを実行する操作マクロ実行装置であって、操作マク
ロが記録された操作マクロ記録手段と、前記操作マクロ
記録手段に保存された操作マクロを画面に表示させる操
作マクロ表示手段と、前記システムの操作部品に対する
操作を実行するイベントを発生させる操作イベント発生
手段とを備え、前記操作部品検出手段が出力する操作部
品のデータは、前記操作部品の種類名と、前記操作部品
のラベルと、前記操作部品の表示領域の座標と、前記操
作部品が配置されているウィンドウのラベルとを少なく
とも含み、前記操作イベント発生手段は、前記操作マク
ロ記録手段に記録された操作マクロを参照し、前記操作
部品検出手段が検出した操作部品のデータのなかから、
利用者が画面上で選択した操作マクロを実行するための
操作部品のデータを抽出し、抽出された前記データを有
する操作部品に対する操作を実行するイベントを発生さ
せ、前記プログラム実行手段に出力する構成を有するこ
とを特徴とする操作マクロ実行装置。
UIを有するシステムの実行プログラムの実行を制御す
るプログラム実行手段と、前記プログラム実行手段が画
面に表示させている前記システムの操作部品を検出する
操作部品検出手段とに接続され、前記システムの操作マ
クロを実行する操作マクロ実行装置であって、操作マク
ロが記録された操作マクロ記録手段と、前記操作マクロ
記録手段に保存された操作マクロを画面に表示させる操
作マクロ表示手段と、前記システムの操作部品に対する
操作を実行するイベントを発生させる操作イベント発生
手段とを備え、前記操作部品検出手段が出力する操作部
品のデータは、前記操作部品の種類名と、前記操作部品
のラベルと、前記操作部品の表示領域の座標と、前記操
作部品が配置されているウィンドウのラベルとを少なく
とも含み、前記操作イベント発生手段は、前記操作マク
ロ記録手段に記録された操作マクロを参照し、前記操作
部品検出手段が検出した操作部品のデータのなかから、
利用者が画面上で選択した操作マクロを実行するための
操作部品のデータを抽出し、抽出された前記データを有
する操作部品に対する操作を実行するイベントを発生さ
せ、前記プログラム実行手段に出力する構成を有するこ
とを特徴とする操作マクロ実行装置。
【0030】このような操作マクロ実行装置にあって
は、操作マクロ表示手段が、操作マクロ記録手段に保存
された操作マクロを画面に表示させ、利用者が画面上で
操作マクロを選択すると、操作イベント発生手段が、前
記システムの操作部品に対する操作を実行するイベント
を発生させることで、操作マクロの実行を可能とする。
ここで、操作マクロ生成機能付きGUIシステム自動操
作装置で生成された操作マクロを使用する場合、利用者
がそれを選択すると、選択された操作マクロを自動的に
実行することになる。したがって、利用者の入力操作が
不要で、利用者がシステムを操作する前に操作マクロを
生成し、この操作マクロを利用者に提供することが可能
となる。
は、操作マクロ表示手段が、操作マクロ記録手段に保存
された操作マクロを画面に表示させ、利用者が画面上で
操作マクロを選択すると、操作イベント発生手段が、前
記システムの操作部品に対する操作を実行するイベント
を発生させることで、操作マクロの実行を可能とする。
ここで、操作マクロ生成機能付きGUIシステム自動操
作装置で生成された操作マクロを使用する場合、利用者
がそれを選択すると、選択された操作マクロを自動的に
実行することになる。したがって、利用者の入力操作が
不要で、利用者がシステムを操作する前に操作マクロを
生成し、この操作マクロを利用者に提供することが可能
となる。
【0031】
【発明の実施の形態】次に、本発明の実施の形態につい
て図面を参照して説明する。
て図面を参照して説明する。
【0032】まず、本発明のGUIシステム自動操作装
置の一実施の形態を示す構成図を図1に示す。この実施
の形態では、GUIシステムの自動操作を行い、かつそ
の過程で画面イメージを記録することで、GUI評価を
可能にしている。
置の一実施の形態を示す構成図を図1に示す。この実施
の形態では、GUIシステムの自動操作を行い、かつそ
の過程で画面イメージを記録することで、GUI評価を
可能にしている。
【0033】図1において、GUIシステム自動操作装
置1は、画面イメージ記録手段103、操作部品表記録
手段104、プログラム実行開始手段105、プログラ
ム実行終了手段106、表スタック管理手段107、操
作部品選択手段108、操作イベント発生手段109を
含み、プログラム実行手段101、操作部品検出手段1
02および出力手段110に接続されている。また、評
価対象のGUIシステムの実行プログラムは、プログラ
ム保存手段100に保存されている。
置1は、画面イメージ記録手段103、操作部品表記録
手段104、プログラム実行開始手段105、プログラ
ム実行終了手段106、表スタック管理手段107、操
作部品選択手段108、操作イベント発生手段109を
含み、プログラム実行手段101、操作部品検出手段1
02および出力手段110に接続されている。また、評
価対象のGUIシステムの実行プログラムは、プログラ
ム保存手段100に保存されている。
【0034】ここで、プログラム保存手段100は、例
えば、パーソナルコンピュータ(以下、PC)やワーク
ステーション(以下、WS)に接続されたハードディス
ク等に代表される外部記憶手段である。プログラム実行
手段101は、例えば、実行プログラムのPCやWS上
での実行を制御するオペレーティングシステムであり、
プログラム実行手段101自体もPCやWS上で動作す
る実行プログラムである。操作部品検出手段102、プ
ログラム実行開始手段105、プログラム実行終了手段
106、操作部品選択手段108および操作イベント発
生手段109は、例えば、PCやWS上で動作する実行
プログラムである。画面イメージ記録手段103は、例
えば、PCやWS上で動作する実行プログラムと、PC
やWSに接続されたハードディスク等に代表される外部
記憶手段から構成される。すなわち、実行プログラム
が、記録または管理するデータの外部記憶手段への書き
込み、外部記憶手段からの読み出し、および外部記憶手
段への書き換えを実行する。出力手段110は、例え
ば、PCやWSに接続されたプリンタ、ディスプレイ等
に代表される出力手段である。
えば、パーソナルコンピュータ(以下、PC)やワーク
ステーション(以下、WS)に接続されたハードディス
ク等に代表される外部記憶手段である。プログラム実行
手段101は、例えば、実行プログラムのPCやWS上
での実行を制御するオペレーティングシステムであり、
プログラム実行手段101自体もPCやWS上で動作す
る実行プログラムである。操作部品検出手段102、プ
ログラム実行開始手段105、プログラム実行終了手段
106、操作部品選択手段108および操作イベント発
生手段109は、例えば、PCやWS上で動作する実行
プログラムである。画面イメージ記録手段103は、例
えば、PCやWS上で動作する実行プログラムと、PC
やWSに接続されたハードディスク等に代表される外部
記憶手段から構成される。すなわち、実行プログラム
が、記録または管理するデータの外部記憶手段への書き
込み、外部記憶手段からの読み出し、および外部記憶手
段への書き換えを実行する。出力手段110は、例え
ば、PCやWSに接続されたプリンタ、ディスプレイ等
に代表される出力手段である。
【0035】プログラム実行開始手段105には、評価
対象のGUIシステムの実行プログラムの名前があらか
じめ登録されている。登録されている実行プログラム名
の例を図2に示す。プログラム実行開始手段105は、
プログラム実行手段101に、登録された実行プログラ
ムをプログラム保存手段100から読み込んで起動する
よう命令する。
対象のGUIシステムの実行プログラムの名前があらか
じめ登録されている。登録されている実行プログラム名
の例を図2に示す。プログラム実行開始手段105は、
プログラム実行手段101に、登録された実行プログラ
ムをプログラム保存手段100から読み込んで起動する
よう命令する。
【0036】画面イメージ記録手段103は、プログラ
ムの起動が終了すると、プログラムの表示画面のイメー
ジを取得して記録する。プログラムの起動後の画面イメ
ージの例を図3に示す。図3において、枠300に囲ま
れた領域が画面全体を表している。また、301は起動
されたプログラムのウィンドウであり、302の文字列
「サンプル」がウィンドウタイトルである。さらに、3
03と304はメニューを表している。画面イメージ記
録手段103は、図3の画面イメージをプログラム実行
手段101から取得して、この画面に識別子の初期値
(#0)を割り当て、画面イメージと識別子を記録して
おく。
ムの起動が終了すると、プログラムの表示画面のイメー
ジを取得して記録する。プログラムの起動後の画面イメ
ージの例を図3に示す。図3において、枠300に囲ま
れた領域が画面全体を表している。また、301は起動
されたプログラムのウィンドウであり、302の文字列
「サンプル」がウィンドウタイトルである。さらに、3
03と304はメニューを表している。画面イメージ記
録手段103は、図3の画面イメージをプログラム実行
手段101から取得して、この画面に識別子の初期値
(#0)を割り当て、画面イメージと識別子を記録して
おく。
【0037】操作部品検出手段102は、画面上に表示
されている操作部品をプログラム実行手段101から検
出する。本例では、操作部品検出手段102が検出する
操作部品の種類は、メニュー(Menu)、サブメニュー
(SubMenu )、オプションボタン(OptionButton)、お
よびプッシュボタン(PushButton )の4種類とする。例
として、プログラムの表示画面が図3の状態で操作部品
を検出した場合、操作部品検出手段102は、図4に示
す操作部品データを出力する。図4は、画面に表示され
ている操作部品として2つのメニューが検出され、これ
ら2つのメニューはどちらも「サンプル」ウィンドウ上
にあり、部品ラベルはそれぞれ「文字」と「ページ」で
あることが示されている。さらに、これら2つの部品の
画面上での配置座標(本例では、すべての操作部品は長
方形の操作領域を有し、部品の画面上での位置はこの長
方形の左上と右下の2点で示されるものとする)と、部
品ラベルの文字フォントおよび文字サイズ(文字サイズ
の単位はポイント)も記録されている。
されている操作部品をプログラム実行手段101から検
出する。本例では、操作部品検出手段102が検出する
操作部品の種類は、メニュー(Menu)、サブメニュー
(SubMenu )、オプションボタン(OptionButton)、お
よびプッシュボタン(PushButton )の4種類とする。例
として、プログラムの表示画面が図3の状態で操作部品
を検出した場合、操作部品検出手段102は、図4に示
す操作部品データを出力する。図4は、画面に表示され
ている操作部品として2つのメニューが検出され、これ
ら2つのメニューはどちらも「サンプル」ウィンドウ上
にあり、部品ラベルはそれぞれ「文字」と「ページ」で
あることが示されている。さらに、これら2つの部品の
画面上での配置座標(本例では、すべての操作部品は長
方形の操作領域を有し、部品の画面上での位置はこの長
方形の左上と右下の2点で示されるものとする)と、部
品ラベルの文字フォントおよび文字サイズ(文字サイズ
の単位はポイント)も記録されている。
【0038】操作部品表記録手段104は、操作部品検
出手段102が出力する操作部品データをもとに、新規
に検出された操作部品(まだどの操作部品表にも記録さ
れていない操作部品)のデータを操作部品表として記録
する。さらに、操作部品表記録手段104は、記録した
表の識別子を表スタックに追加するよう、表スタック管
理手段107に命令する。
出手段102が出力する操作部品データをもとに、新規
に検出された操作部品(まだどの操作部品表にも記録さ
れていない操作部品)のデータを操作部品表として記録
する。さらに、操作部品表記録手段104は、記録した
表の識別子を表スタックに追加するよう、表スタック管
理手段107に命令する。
【0039】例として、図4の操作部品データが入力さ
れる場合、操作部品表記録手段104は、図5の操作部
品表を記録する。図5は、この表の識別子が$0であ
り、識別子#0の画面に新規な操作部品が2つあり
(「文字」メニューと「ページ」メニュー)、これらに
識別子#1と#2を割り当てたことを表している。さら
に、図5の表の「実行」のカラムが「未」となっている
操作部品は、まだその部品の操作を実行していないこと
を表している。操作部品表記録手段104は、操作部品
検出手段102が部品検出を行うたびに、操作部品表を
1つ記録する。したがって、操作部品表の数は、操作部
品検出手段102が部品検出を行った回数と等しくな
る。さらに、操作部品表記録手段104は、いま記録し
た操作部品表の識別子($0)を表スタックに追加する
よう、表スタック管理手段107に命令を送る。この結
果、表スタック管理手段107が管理する表スタック
は、図6のようになる。
れる場合、操作部品表記録手段104は、図5の操作部
品表を記録する。図5は、この表の識別子が$0であ
り、識別子#0の画面に新規な操作部品が2つあり
(「文字」メニューと「ページ」メニュー)、これらに
識別子#1と#2を割り当てたことを表している。さら
に、図5の表の「実行」のカラムが「未」となっている
操作部品は、まだその部品の操作を実行していないこと
を表している。操作部品表記録手段104は、操作部品
検出手段102が部品検出を行うたびに、操作部品表を
1つ記録する。したがって、操作部品表の数は、操作部
品検出手段102が部品検出を行った回数と等しくな
る。さらに、操作部品表記録手段104は、いま記録し
た操作部品表の識別子($0)を表スタックに追加する
よう、表スタック管理手段107に命令を送る。この結
果、表スタック管理手段107が管理する表スタック
は、図6のようになる。
【0040】また、操作部品表記録手段104は、操作
部品検出手段102で検出した操作部品のなかに新規な
操作部品が存在しなかった場合、プログラム実行手段1
01で実行中のプログラムを終了させるよう、プログラ
ム実行終了手段106に命令を送る。新規な操作部品が
存在した場合は、操作部品選択手段108に、操作部品
を選択するよう命令を送る。
部品検出手段102で検出した操作部品のなかに新規な
操作部品が存在しなかった場合、プログラム実行手段1
01で実行中のプログラムを終了させるよう、プログラ
ム実行終了手段106に命令を送る。新規な操作部品が
存在した場合は、操作部品選択手段108に、操作部品
を選択するよう命令を送る。
【0041】操作部品選択手段108は、表スタック管
理手段107が管理する表スタックの最上位にある識別
子を有する操作部品表を、操作部品表記録手段104か
ら検索し、この表のなかの、まだ操作を実行していない
操作部品(「実行」のカラムが「未」の操作部品)のう
ち、識別子の番号が最も小さいものを選択する。さら
に、選択した操作部品の「実行」カラムのデータを
「未」から「済」に書き換える。例えば、表スタックが
図6の場合、表スタック中の最上位には$0が保存され
ているので、識別子$0の操作部品表が検索され、この
操作部品表が図5の場合、「実行」カラムが「未」の操
作部品のうち識別子番号が最小のものは「文字」メニュ
ー(識別子#1)であるので、この「文字」メニューが
選択される。また、「文字」メニューの「実行」カラム
のデータが「済」に書き換えられ、識別子$0の表は図
7の状態になる。
理手段107が管理する表スタックの最上位にある識別
子を有する操作部品表を、操作部品表記録手段104か
ら検索し、この表のなかの、まだ操作を実行していない
操作部品(「実行」のカラムが「未」の操作部品)のう
ち、識別子の番号が最も小さいものを選択する。さら
に、選択した操作部品の「実行」カラムのデータを
「未」から「済」に書き換える。例えば、表スタックが
図6の場合、表スタック中の最上位には$0が保存され
ているので、識別子$0の操作部品表が検索され、この
操作部品表が図5の場合、「実行」カラムが「未」の操
作部品のうち識別子番号が最小のものは「文字」メニュ
ー(識別子#1)であるので、この「文字」メニューが
選択される。また、「文字」メニューの「実行」カラム
のデータが「済」に書き換えられ、識別子$0の表は図
7の状態になる。
【0042】操作イベント発生手段109は、操作部品
選択手段108が選択した操作部品を操作するためのイ
ベントを発生させ、この操作イベントをプログラム実行
手段101に出力し、自動的に操作を実行させる。発生
させるイベントの種類は、操作部品の種類に応じて図8
のように決められているとする。図8の例では、4つの
操作部品(Menu、SubMenu 、OptionButton、PushButto
n)を操作するためのイベントはいずれも「Click(x,
y)」であることを表している。ただし、「Click(x,y)」
のイベントが対応づけられている操作部品は、部品の操
作領域内の座標(x,y) でマウスを用いてクリックすると
操作できる部品であることを表すものとする。
選択手段108が選択した操作部品を操作するためのイ
ベントを発生させ、この操作イベントをプログラム実行
手段101に出力し、自動的に操作を実行させる。発生
させるイベントの種類は、操作部品の種類に応じて図8
のように決められているとする。図8の例では、4つの
操作部品(Menu、SubMenu 、OptionButton、PushButto
n)を操作するためのイベントはいずれも「Click(x,
y)」であることを表している。ただし、「Click(x,y)」
のイベントが対応づけられている操作部品は、部品の操
作領域内の座標(x,y) でマウスを用いてクリックすると
操作できる部品であることを表すものとする。
【0043】操作イベント発生手段109の動作例とし
て、操作部品選択手段108が図5の操作部品表から識
別子#1の部品(「文字」メニュー)を選択した場合に
ついて説明する。この場合、選択された部品はMenuであ
るので、図8のイベント表から、発生させるイベントは
「Click(x,y)」と決定される。また、クリックの座標
は、「文字」メニューの操作領域を示す2つの座標(36,
60) 、(84,96) の中点を計算し、(60,78) と決定される
(ただし、中点の計算は少数点以下切り捨てとする)。
これらのデータを用いて、操作イベント発生手段109
は、利用者がマウスを用いて座標(60,78) でクリックし
た場合に発生するのと同じイベントである「Click(60,7
8)」を発生させ、プログラム実行手段101に送る。こ
の結果、プログラム実行手段101は、「文字」メニュ
ーが操作された場合の処理を実行する。処理実行後のプ
ログラムの表示画面例を図9に示す。図9は、「文字」
メニューが操作されたことにより、2つのサブメニュー
900、901が画面上に表示されたことを表してい
る。
て、操作部品選択手段108が図5の操作部品表から識
別子#1の部品(「文字」メニュー)を選択した場合に
ついて説明する。この場合、選択された部品はMenuであ
るので、図8のイベント表から、発生させるイベントは
「Click(x,y)」と決定される。また、クリックの座標
は、「文字」メニューの操作領域を示す2つの座標(36,
60) 、(84,96) の中点を計算し、(60,78) と決定される
(ただし、中点の計算は少数点以下切り捨てとする)。
これらのデータを用いて、操作イベント発生手段109
は、利用者がマウスを用いて座標(60,78) でクリックし
た場合に発生するのと同じイベントである「Click(60,7
8)」を発生させ、プログラム実行手段101に送る。こ
の結果、プログラム実行手段101は、「文字」メニュ
ーが操作された場合の処理を実行する。処理実行後のプ
ログラムの表示画面例を図9に示す。図9は、「文字」
メニューが操作されたことにより、2つのサブメニュー
900、901が画面上に表示されたことを表してい
る。
【0044】以上に示した画面イメージ記録から操作イ
ベント発生までがプログラムの自動操作の基本的な1サ
イクルである。「文字」メニューを操作してプログラム
の表示画面が図9の状態になったあと、画面イメージ記
録手段103は、図9の画面イメージを取得して、この
画面イメージに「文字」メニューの識別子(#1)を割
り当て、画面イメージと識別子を記録する。次に、操作
部品検出手段102が画面上の操作部品を検出し、図1
0の操作部品データを出力する。次に、操作部品表記録
手段104が新規な操作部品のデータ(図11)を記録
し、表スタック管理手段107に、識別子$1を表スタ
ックに追加させる(図12)。次に、操作部品表記録手
段104が操作部品選択手段108に部品選択の命令を
送り、操作部品選択手段108は、表スタックが図12
の状態にあり識別子$1の操作部品表が図11であるの
で、「フォント」サブメニューを選択する。また、図1
1の表で「フォント」サブメニューの「実行」カラムの
データを「未」から「済」に書き換える。次に、操作イ
ベント発生手段109が「フォント」サブメニューを操
作するためのイベントの種類と座標を決定し、「Click
(97,105) 」というイベントを発生させてプログラム実
行手段101に出力する。この結果、プログラム実行手
段101は、「フォント」サブメニューが操作された場
合の処理を実行する。処理実行後のプログラムの表示画
面例を図13に示す。図13は、「文字フォント」ウィ
ンドウ1300が新たに表示され、このウィンドウには
4つのオプションボタン1301〜1304と2つのプ
ッシュボタン1305、1306が配置されていること
を表している。
ベント発生までがプログラムの自動操作の基本的な1サ
イクルである。「文字」メニューを操作してプログラム
の表示画面が図9の状態になったあと、画面イメージ記
録手段103は、図9の画面イメージを取得して、この
画面イメージに「文字」メニューの識別子(#1)を割
り当て、画面イメージと識別子を記録する。次に、操作
部品検出手段102が画面上の操作部品を検出し、図1
0の操作部品データを出力する。次に、操作部品表記録
手段104が新規な操作部品のデータ(図11)を記録
し、表スタック管理手段107に、識別子$1を表スタ
ックに追加させる(図12)。次に、操作部品表記録手
段104が操作部品選択手段108に部品選択の命令を
送り、操作部品選択手段108は、表スタックが図12
の状態にあり識別子$1の操作部品表が図11であるの
で、「フォント」サブメニューを選択する。また、図1
1の表で「フォント」サブメニューの「実行」カラムの
データを「未」から「済」に書き換える。次に、操作イ
ベント発生手段109が「フォント」サブメニューを操
作するためのイベントの種類と座標を決定し、「Click
(97,105) 」というイベントを発生させてプログラム実
行手段101に出力する。この結果、プログラム実行手
段101は、「フォント」サブメニューが操作された場
合の処理を実行する。処理実行後のプログラムの表示画
面例を図13に示す。図13は、「文字フォント」ウィ
ンドウ1300が新たに表示され、このウィンドウには
4つのオプションボタン1301〜1304と2つのプ
ッシュボタン1305、1306が配置されていること
を表している。
【0045】さらに次のサイクルでは、図13の画面イ
メージが「フォント」サブメニューの識別子(#3)と
ともに記録され、操作部品の検出により、図14の操作
部品データが操作部品検出手段102から出力される。
これをもとに、新規な操作部品のデータとして図15の
操作部品表が記録される。また表スタックは図16の状
態になる。次に「明朝」オプションボタン(識別子#
5)が選択されてその「実行」カラムのデータが「済」
に書き換えられ、「Click(154,211)」というイベントが
発生されてプログラム実行手段101に送られる。この
結果、「明朝」オプションボタンが操作された場合の処
理が実行される。この場合、オプションマークは移動せ
ず、プログラムの表示画面は図13のままとなる。
メージが「フォント」サブメニューの識別子(#3)と
ともに記録され、操作部品の検出により、図14の操作
部品データが操作部品検出手段102から出力される。
これをもとに、新規な操作部品のデータとして図15の
操作部品表が記録される。また表スタックは図16の状
態になる。次に「明朝」オプションボタン(識別子#
5)が選択されてその「実行」カラムのデータが「済」
に書き換えられ、「Click(154,211)」というイベントが
発生されてプログラム実行手段101に送られる。この
結果、「明朝」オプションボタンが操作された場合の処
理が実行される。この場合、オプションマークは移動せ
ず、プログラムの表示画面は図13のままとなる。
【0046】次に、新規な操作部品が検出されなかった
場合の処理を説明する。上述の処理の続きで、図13の
状態で操作部品の検出を行うと、操作部品検出手段10
2は図14と全く同じ操作部品データを出力する。した
がって、新規な操作部品(操作部品表記録手段103が
記録した操作部品表のいずれにもまだ記録されていない
操作部品)はない。この結果、操作部品表記録手段10
4は、図17の操作部品表を記録する。また、表スタッ
クは図18の状態になる。次に、操作部品表記録手段1
04は、新規な操作部品が検出されなかったので、プロ
グラム実行終了手段106に命令を送る。プログラム実
行終了手段106は、命令を受けると、プログラム実行
手段101にて実行中の評価対象プログラムを強制的に
終了させ、プログラムを再起動させるため、プログラム
実行開始手段105に命令を送る。プログラム実行開始
手段105は、プログラム実行終了手段106から命令
を受けると、最初の起動の場合と同様に、プログラム実
行手段101に評価対象プログラムの起動を命令する。
この結果、プログラム実行手段101は、プログラム保
存手段100から評価対象プログラムを読み込んで再度
起動する。
場合の処理を説明する。上述の処理の続きで、図13の
状態で操作部品の検出を行うと、操作部品検出手段10
2は図14と全く同じ操作部品データを出力する。した
がって、新規な操作部品(操作部品表記録手段103が
記録した操作部品表のいずれにもまだ記録されていない
操作部品)はない。この結果、操作部品表記録手段10
4は、図17の操作部品表を記録する。また、表スタッ
クは図18の状態になる。次に、操作部品表記録手段1
04は、新規な操作部品が検出されなかったので、プロ
グラム実行終了手段106に命令を送る。プログラム実
行終了手段106は、命令を受けると、プログラム実行
手段101にて実行中の評価対象プログラムを強制的に
終了させ、プログラムを再起動させるため、プログラム
実行開始手段105に命令を送る。プログラム実行開始
手段105は、プログラム実行終了手段106から命令
を受けると、最初の起動の場合と同様に、プログラム実
行手段101に評価対象プログラムの起動を命令する。
この結果、プログラム実行手段101は、プログラム保
存手段100から評価対象プログラムを読み込んで再度
起動する。
【0047】次に、プログラム実行開始手段101は、
操作部品選択手段108に、まだ操作を実行していない
操作部品を選択するよう命令を送る。具体的には、まず
表スタックの最上位にある識別子を取得し、この識別子
を有する操作部品表のなかから、「実行」カラムのデー
タが「未」である操作部品のうち識別子番号が最も小さ
いものを選択する。「実行」のカラムのデータが「未」
の操作部品が表のなかに存在しない場合は、表スタック
から最上位の識別子を削除し、次に最上位になった識別
子を有する表のなかから、「実行」カラムが「未」であ
る操作部品を探す。表スタックからすべての識別子が削
除され、表スタックが空になった場合は、自動操作処理
のサイクルを終了し、画面イメージ記録手段103にて
記録された画面イメージと操作部品表記録手段104に
て記録された操作部品表を出力手段110に出力させ
る。
操作部品選択手段108に、まだ操作を実行していない
操作部品を選択するよう命令を送る。具体的には、まず
表スタックの最上位にある識別子を取得し、この識別子
を有する操作部品表のなかから、「実行」カラムのデー
タが「未」である操作部品のうち識別子番号が最も小さ
いものを選択する。「実行」のカラムのデータが「未」
の操作部品が表のなかに存在しない場合は、表スタック
から最上位の識別子を削除し、次に最上位になった識別
子を有する表のなかから、「実行」カラムが「未」であ
る操作部品を探す。表スタックからすべての識別子が削
除され、表スタックが空になった場合は、自動操作処理
のサイクルを終了し、画面イメージ記録手段103にて
記録された画面イメージと操作部品表記録手段104に
て記録された操作部品表を出力手段110に出力させ
る。
【0048】上述した「明朝」オプションボタン操作後
の初期化処理の例では、プログラムが再起動されたあ
と、操作部品選択手段108に部品選択の命令が送られ
た段階で、操作部品表記録手段108には図7、図1
7、図19、図20の4つの操作部品表が記録されてお
り、表スタックは図18の状態になっている。したがっ
て、表スタックから識別子$5が削除され、識別子$3
の表(図20)のなかから、識別子#6の「ゴシック」
オプションボタンを選択し、「ゴシック」オプションボ
タンの「実行」カラムのデータを「済」に書き換える。
の初期化処理の例では、プログラムが再起動されたあ
と、操作部品選択手段108に部品選択の命令が送られ
た段階で、操作部品表記録手段108には図7、図1
7、図19、図20の4つの操作部品表が記録されてお
り、表スタックは図18の状態になっている。したがっ
て、表スタックから識別子$5が削除され、識別子$3
の表(図20)のなかから、識別子#6の「ゴシック」
オプションボタンを選択し、「ゴシック」オプションボ
タンの「実行」カラムのデータを「済」に書き換える。
【0049】さらに、操作部品選択手段108は、プロ
グラム実行開始手段105から部品選択の命令を受けた
ときは、まだ操作していない操作部品を1つ選択したあ
と、プログラムの初期表示画面(本例では図3)からこ
の操作部品の表示画面に到達するまでに操作しなければ
ならない操作部品を、表スタックの状態をもとに、操作
部品表記録手段104が記録した操作部品表から選択す
る。具体的には、表スタック中の識別子について下の方
から順に(ただし最下層の識別子は除き、下から2番目
の識別子から始める)、その識別子を有する操作部品表
のなかの第1カラム(一番左の「識別子」カラム)の識
別子データを検索する。この識別子を有する操作部品
を、操作部品表記録手段104が記録した操作部品表の
なかから検索する。このようにして検索された操作部品
を検索された順に操作することにより、未実行の操作部
品に到達することができる。「ゴシック」オプションボ
タンが未実行の操作部品として選択された先の例では、
表スタックが図16の状態にあるので、識別子$1の操
作部品表(図19)の第1カラムから、識別子#1が検
索され、この識別子をもつ「文字」メニューが検索され
る。次に、識別子$3の操作部品表(図20)の第1カ
ラムから、識別子#3が検出され、この識別子をもつ
「フォント」サブメニューが検索される。したがって、
「文字」メニューの操作イベントと「フォント」サブメ
ニューの操作イベントをこの順に発生させてプログラム
を自動的に操作したあと、「ゴシック」オプションボタ
ンの操作イベントを発生させればよいことがわかる。
グラム実行開始手段105から部品選択の命令を受けた
ときは、まだ操作していない操作部品を1つ選択したあ
と、プログラムの初期表示画面(本例では図3)からこ
の操作部品の表示画面に到達するまでに操作しなければ
ならない操作部品を、表スタックの状態をもとに、操作
部品表記録手段104が記録した操作部品表から選択す
る。具体的には、表スタック中の識別子について下の方
から順に(ただし最下層の識別子は除き、下から2番目
の識別子から始める)、その識別子を有する操作部品表
のなかの第1カラム(一番左の「識別子」カラム)の識
別子データを検索する。この識別子を有する操作部品
を、操作部品表記録手段104が記録した操作部品表の
なかから検索する。このようにして検索された操作部品
を検索された順に操作することにより、未実行の操作部
品に到達することができる。「ゴシック」オプションボ
タンが未実行の操作部品として選択された先の例では、
表スタックが図16の状態にあるので、識別子$1の操
作部品表(図19)の第1カラムから、識別子#1が検
索され、この識別子をもつ「文字」メニューが検索され
る。次に、識別子$3の操作部品表(図20)の第1カ
ラムから、識別子#3が検出され、この識別子をもつ
「フォント」サブメニューが検索される。したがって、
「文字」メニューの操作イベントと「フォント」サブメ
ニューの操作イベントをこの順に発生させてプログラム
を自動的に操作したあと、「ゴシック」オプションボタ
ンの操作イベントを発生させればよいことがわかる。
【0050】以上のように、操作部品検出手段102に
て検出した操作部品のなかに新規な部品があればそのな
かから1つを選択して操作を実行し、新規な部品がなけ
ればいったんプログラムを初期化して未実行の操作部品
を選択して操作を実行するというサイクルを繰り返し行
う。表スタックからすべての識別子が削除され、表スタ
ックが空になった場合は、自動操作処理のサイクルを終
了し、画面イメージ記録手段103に記録された画面イ
メージと操作部品表記録手段104に記録された操作部
品表を出力手段110に出力させる。例として、自動操
作サイクルが終了した時点で操作部品表記録手段104
に記録されている操作部品表が図21〜図48の表であ
るとする。また、例えば出力手段110がプリンタの場
合、出力手段110は、画面イメージ記録手段105に
記録された画面イメージを識別子とともに紙に印刷さ
せ、さらに、操作部品表記録手段104に記録された図
21〜図48の操作部品表を紙に印刷させる。
て検出した操作部品のなかに新規な部品があればそのな
かから1つを選択して操作を実行し、新規な部品がなけ
ればいったんプログラムを初期化して未実行の操作部品
を選択して操作を実行するというサイクルを繰り返し行
う。表スタックからすべての識別子が削除され、表スタ
ックが空になった場合は、自動操作処理のサイクルを終
了し、画面イメージ記録手段103に記録された画面イ
メージと操作部品表記録手段104に記録された操作部
品表を出力手段110に出力させる。例として、自動操
作サイクルが終了した時点で操作部品表記録手段104
に記録されている操作部品表が図21〜図48の表であ
るとする。また、例えば出力手段110がプリンタの場
合、出力手段110は、画面イメージ記録手段105に
記録された画面イメージを識別子とともに紙に印刷さ
せ、さらに、操作部品表記録手段104に記録された図
21〜図48の操作部品表を紙に印刷させる。
【0051】したがって、図1に示したGUIシステム
自動操作装置1を用いれば、評価対象システムの操作を
自動的かつ網羅的に実行し、システムの画面を網羅的に
遷移させ、各画面イメージを自動的に記録し出力させる
ことができる。したがって、評価者がシステムを操作す
る必要がない。つまり、評価者の入力操作の手間が不要
で、システムの規模に依存せずシステムの画面を網羅的
に確認することが可能となる。
自動操作装置1を用いれば、評価対象システムの操作を
自動的かつ網羅的に実行し、システムの画面を網羅的に
遷移させ、各画面イメージを自動的に記録し出力させる
ことができる。したがって、評価者がシステムを操作す
る必要がない。つまり、評価者の入力操作の手間が不要
で、システムの規模に依存せずシステムの画面を網羅的
に確認することが可能となる。
【0052】次に、本発明のGUIシステム自動操作装
置の別の実施の形態を示す構成図を図49に示す。この
実施の形態では、GUIシステムの自動操作を行い、か
つその過程で得られる操作部品のデータを比較すること
で、操作部品の一貫性評価を可能にしている。
置の別の実施の形態を示す構成図を図49に示す。この
実施の形態では、GUIシステムの自動操作を行い、か
つその過程で得られる操作部品のデータを比較すること
で、操作部品の一貫性評価を可能にしている。
【0053】図49において、GUIシステム自動操作
装置49は、操作部品表記録手段104、プログラム実
行開始手段105、プログラム実行終了手段106、表
スタック管理手段107、操作部品選択手段108、操
作イベント発生手段109、操作部品比較手段4900
を含み、プログラム実行手段101、操作部品検出手段
102および出力手段110に接続されている。また、
評価対象のGUIシステムの実行プログラムは、プログ
ラム保存手段100に保存されている。図49におい
て、操作部品比較手段4900を除くブロックはすべ
て、本発明の一実施の形態を示す構成図である図1と同
じである。つまり、図1と同様に、プログラムを自動的
に操作し、操作部品表を記録する。例として、図21〜
図48の操作部品表が操作部品表記録手段104に記録
されているとする。なお、操作部品比較手段4900
は、例えば、PCやWS上で動作する実行プログラムで
実現される。
装置49は、操作部品表記録手段104、プログラム実
行開始手段105、プログラム実行終了手段106、表
スタック管理手段107、操作部品選択手段108、操
作イベント発生手段109、操作部品比較手段4900
を含み、プログラム実行手段101、操作部品検出手段
102および出力手段110に接続されている。また、
評価対象のGUIシステムの実行プログラムは、プログ
ラム保存手段100に保存されている。図49におい
て、操作部品比較手段4900を除くブロックはすべ
て、本発明の一実施の形態を示す構成図である図1と同
じである。つまり、図1と同様に、プログラムを自動的
に操作し、操作部品表を記録する。例として、図21〜
図48の操作部品表が操作部品表記録手段104に記録
されているとする。なお、操作部品比較手段4900
は、例えば、PCやWS上で動作する実行プログラムで
実現される。
【0054】操作部品比較手段4900は、自動操作の
サイクルが終了して操作部品表記録手段104から命令
を受けると、操作部品表記録手段104に記録された操
作部品表を用いて、操作部品を同じ種類ごとに1つの表
に分類する。さらに、各種類ごとに、操作部品ラベルの
フォントとサイズを相互に比較し、同じ組合せを有する
操作部品を1つの項目にまとめる。例えば、操作部品表
記録手段104に記録されている操作部品表が図21〜
図48の場合、操作部品比較手段4900は、図50〜
図53の表を出力する。これらの表から、Menu、SubMen
u 、OptionButtonの3つについては操作部品ラベルのフ
ォントもサイズも統一されているが、PushButtonについ
てはフォントとサイズの組合せが2種類存在し、プログ
ラム全体を通して一貫性がとれていないことがわかる。
サイクルが終了して操作部品表記録手段104から命令
を受けると、操作部品表記録手段104に記録された操
作部品表を用いて、操作部品を同じ種類ごとに1つの表
に分類する。さらに、各種類ごとに、操作部品ラベルの
フォントとサイズを相互に比較し、同じ組合せを有する
操作部品を1つの項目にまとめる。例えば、操作部品表
記録手段104に記録されている操作部品表が図21〜
図48の場合、操作部品比較手段4900は、図50〜
図53の表を出力する。これらの表から、Menu、SubMen
u 、OptionButtonの3つについては操作部品ラベルのフ
ォントもサイズも統一されているが、PushButtonについ
てはフォントとサイズの組合せが2種類存在し、プログ
ラム全体を通して一貫性がとれていないことがわかる。
【0055】出力手段110は、操作部品比較手段49
00が出力する表を出力させる。例えば、出力手段11
0がプリンタの場合、操作部品比較手段4900が出力
する表を紙に印刷させる。
00が出力する表を出力させる。例えば、出力手段11
0がプリンタの場合、操作部品比較手段4900が出力
する表を紙に印刷させる。
【0056】したがって、GUIシステム自動操作装置
49を用いれば、評価対象システムの操作部品のデータ
を、システムの実行プログラムだけを用いて、自動的か
つ網羅的に記録することができる。したがって、システ
ムのGUI部のソースプログラムは不要で、システムの
実行プログラムだけを用いて操作部品のシステム全体を
通しての一貫性を評価することが可能となる。
49を用いれば、評価対象システムの操作部品のデータ
を、システムの実行プログラムだけを用いて、自動的か
つ網羅的に記録することができる。したがって、システ
ムのGUI部のソースプログラムは不要で、システムの
実行プログラムだけを用いて操作部品のシステム全体を
通しての一貫性を評価することが可能となる。
【0057】次に、本発明のGUIシステム自動操作装
置の他の実施の形態を示す構成図を図54に示す。この
実施の形態では、GUIシステムの自動操作を行い、か
つその過程で動作エラーを検出すると動作エラー情報を
出力することで、GUI検査を可能としている。
置の他の実施の形態を示す構成図を図54に示す。この
実施の形態では、GUIシステムの自動操作を行い、か
つその過程で動作エラーを検出すると動作エラー情報を
出力することで、GUI検査を可能としている。
【0058】図54において、GUIシステム自動操作
装置54は、操作部品表記録手段104、プログラム実
行開始手段105、プログラム実行終了手段106、表
スタック管理手段107、操作部品選択手段108、操
作イベント発生手段109、動作エラー記録手段540
0を含み、プログラム実行手段101、操作部品検出手
段102および出力手段110に接続されている。ま
た、検査対象のGUIシステムの実行プログラムは、プ
ログラム保存手段100に保存されている。図54にお
いて、動作エラー記録手段5400を除くブロックはす
べて、本発明の一実施の形態を示す構成図である図1と
同じである。つまり、図1と同様に、プログラムを自動
的に操作する。なお、動作エラー記録手段5400は、
例えば、PCやWS上で動作する実行プログラムと、P
CやWSに接続されたハードディスク等に代表される外
部記憶手段から構成させる。すなわち、実行プログラム
が、記録または管理するデータの外部記憶手段への書き
込み、外部記憶手段からの読み出し、および外部記憶手
段への書き換えを実行する。
装置54は、操作部品表記録手段104、プログラム実
行開始手段105、プログラム実行終了手段106、表
スタック管理手段107、操作部品選択手段108、操
作イベント発生手段109、動作エラー記録手段540
0を含み、プログラム実行手段101、操作部品検出手
段102および出力手段110に接続されている。ま
た、検査対象のGUIシステムの実行プログラムは、プ
ログラム保存手段100に保存されている。図54にお
いて、動作エラー記録手段5400を除くブロックはす
べて、本発明の一実施の形態を示す構成図である図1と
同じである。つまり、図1と同様に、プログラムを自動
的に操作する。なお、動作エラー記録手段5400は、
例えば、PCやWS上で動作する実行プログラムと、P
CやWSに接続されたハードディスク等に代表される外
部記憶手段から構成させる。すなわち、実行プログラム
が、記録または管理するデータの外部記憶手段への書き
込み、外部記憶手段からの読み出し、および外部記憶手
段への書き換えを実行する。
【0059】動作エラー記録手段5400は、プログラ
ム実行手段101で動作中のプログラムが異常な動作状
態に陥り、入力操作が受け付けられなくなった場合、こ
の動作エラーを検出して、一番最後に操作を実行した操
作部品のデータを操作部品選択手段108から取得して
記録する。
ム実行手段101で動作中のプログラムが異常な動作状
態に陥り、入力操作が受け付けられなくなった場合、こ
の動作エラーを検出して、一番最後に操作を実行した操
作部品のデータを操作部品選択手段108から取得して
記録する。
【0060】例として、図1の実施の形態の説明に用い
たプログラムの「フォント」サブメニューを自動的に操
作したあと、このプログラムの動作が異常になり入力操
作を受け付けない状態になったとする。このとき、動作
エラー記録手段5400は、この動作エラーを検出する
と、「フォント」サブメニューの操作部品データ(図5
5)を記録する。さらに、動作エラー記録手段5400
は、プログラムを初期化するために、プログラム実行終
了手段106にプログラムの実行を強制的に終了させる
よう命令を送る。初期化処理の流れは図1の実施の形態
の場合と同じである。
たプログラムの「フォント」サブメニューを自動的に操
作したあと、このプログラムの動作が異常になり入力操
作を受け付けない状態になったとする。このとき、動作
エラー記録手段5400は、この動作エラーを検出する
と、「フォント」サブメニューの操作部品データ(図5
5)を記録する。さらに、動作エラー記録手段5400
は、プログラムを初期化するために、プログラム実行終
了手段106にプログラムの実行を強制的に終了させる
よう命令を送る。初期化処理の流れは図1の実施の形態
の場合と同じである。
【0061】自動操作のサイクルが終了すると、出力手
段110は、動作エラー記録手段5400に記録された
動作エラー情報(動作エラーを発生させた操作部品のデ
ータ)を出力させる。例えば、出力手段110がプリン
タの場合、動作エラー情報をそのまま表形式で紙に印刷
させる。
段110は、動作エラー記録手段5400に記録された
動作エラー情報(動作エラーを発生させた操作部品のデ
ータ)を出力させる。例えば、出力手段110がプリン
タの場合、動作エラー情報をそのまま表形式で紙に印刷
させる。
【0062】したがって、GUIシステム自動操作装置
54を用いれば、検査対象システムの実行プログラムだ
けを用いて、検査対象システムの操作を自動的かつ網羅
的に実行し、システムの動作エラー情報を記録すること
ができる。したがって、検査者はシステムを自動的に操
作させるためのスクリプトを記録もしくは記述する必要
がない。つまり、検査者のスクリプト記録もしくは記述
の手間が不要で、システムの規模に依存せずシステムの
動作を網羅的に検査することが可能となる。
54を用いれば、検査対象システムの実行プログラムだ
けを用いて、検査対象システムの操作を自動的かつ網羅
的に実行し、システムの動作エラー情報を記録すること
ができる。したがって、検査者はシステムを自動的に操
作させるためのスクリプトを記録もしくは記述する必要
がない。つまり、検査者のスクリプト記録もしくは記述
の手間が不要で、システムの規模に依存せずシステムの
動作を網羅的に検査することが可能となる。
【0063】次に、本発明のGUIシステム自動操作装
置のまた更に別の実施の形態を示す構成図を図56に示
す。この実施の形態では、GUIシステムの自動操作を
行い、かつその過程で得られた操作部品表から操作マク
ロを生成し記録する。
置のまた更に別の実施の形態を示す構成図を図56に示
す。この実施の形態では、GUIシステムの自動操作を
行い、かつその過程で得られた操作部品表から操作マク
ロを生成し記録する。
【0064】図56において、GUIシステム自動操作
装置56は、操作部品表記録手段104、プログラム実
行開始手段105、プログラム実行終了手段106、表
スタック管理手段107、操作部品選択手段108、操
作イベント発生手段109、操作マクロ記録手段560
0を含み、プログラム実行手段101および操作部品検
出手段102に接続されている。また、操作マクロ生成
対象のGUIシステムの実行プログラムは、プログラム
保存手段100に保存されている。図56において、操
作マクロ記録手段5600を除くブロックはすべて、本
発明の実施の形態を示す構成図である図1と同じであ
る。つまり、図1と同様に、プログラムを自動的に操作
する。なお、操作マクロ記録手段5600は、例えば、
PCやWS上で動作する実行プログラムと、PCやWS
に接続されたハードディスク等に代表される外部記憶手
段から構成させる。すなわち、実行プログラムが、記録
または管理するデータの外部記憶手段への書き込み、外
部記憶手段からの読み出し、および外部記憶手段への書
き換えを実行する。
装置56は、操作部品表記録手段104、プログラム実
行開始手段105、プログラム実行終了手段106、表
スタック管理手段107、操作部品選択手段108、操
作イベント発生手段109、操作マクロ記録手段560
0を含み、プログラム実行手段101および操作部品検
出手段102に接続されている。また、操作マクロ生成
対象のGUIシステムの実行プログラムは、プログラム
保存手段100に保存されている。図56において、操
作マクロ記録手段5600を除くブロックはすべて、本
発明の実施の形態を示す構成図である図1と同じであ
る。つまり、図1と同様に、プログラムを自動的に操作
する。なお、操作マクロ記録手段5600は、例えば、
PCやWS上で動作する実行プログラムと、PCやWS
に接続されたハードディスク等に代表される外部記憶手
段から構成させる。すなわち、実行プログラムが、記録
または管理するデータの外部記憶手段への書き込み、外
部記憶手段からの読み出し、および外部記憶手段への書
き換えを実行する。
【0065】操作マクロ記録手段5600は、操作部品
表記録手段104に記録された操作部品表から、あらか
じめ決められた階層の操作をマクロ操作として記録す
る。例として、操作部品表記録手段104に図21〜図
48の表が保存されており、第2階層の操作をマクロ操
作として記録する場合について説明する。この場合、識
別子$0の表(図21)の操作部品から順にたどって第
2階層にある操作部品は4つのサブメニューであるの
で、マクロ操作記録手段5600はこれらをマクロ操作
として記録する。記録された4つのマクロ操作を図57
に示す。図57は、「A:\sample\sample.exe」のプログ
ラムについて記録された操作マクロであり、番号1のマ
クロ操作は、「フォント」サブメニューのマクロ操作を
表しており、「サンプル」ウィンドウの「文字」メニュ
ーを操作したあと、同ウィンドウの「フォント」サブメ
ニューを操作することで、このマクロ操作を実行できる
ことを表している。他の番号のマクロ操作も同様であ
る。
表記録手段104に記録された操作部品表から、あらか
じめ決められた階層の操作をマクロ操作として記録す
る。例として、操作部品表記録手段104に図21〜図
48の表が保存されており、第2階層の操作をマクロ操
作として記録する場合について説明する。この場合、識
別子$0の表(図21)の操作部品から順にたどって第
2階層にある操作部品は4つのサブメニューであるの
で、マクロ操作記録手段5600はこれらをマクロ操作
として記録する。記録された4つのマクロ操作を図57
に示す。図57は、「A:\sample\sample.exe」のプログ
ラムについて記録された操作マクロであり、番号1のマ
クロ操作は、「フォント」サブメニューのマクロ操作を
表しており、「サンプル」ウィンドウの「文字」メニュ
ーを操作したあと、同ウィンドウの「フォント」サブメ
ニューを操作することで、このマクロ操作を実行できる
ことを表している。他の番号のマクロ操作も同様であ
る。
【0066】次に、本発明の操作マクロ実行装置の一実
施の形態を示す構成図を図58に示す。操作マクロ実行
装置58は、操作マクロ記録手段5600、操作マクロ
表示手段5800、操作イベント発生手段5801を含
み、プログラム実行手段101および操作部品検出手段
102に接続されている。また、操作マクロ実行対象の
GUIシステムの実行プログラムは、プログラム保存手
段100に保存されている。図58において、操作マク
ロ記録手段5600と操作マクロ表示手段5800と操
作イベント発生手段5801を除くブロックはすべて、
本発明の実施の形態を示す構成図である図1と同じであ
る。また、操作マクロ記録手段5600は、図56に示
した実施の形態におけるものと同じものである。つま
り、この例の操作マクロ実行装置58は、図56のGU
Iシステム自動操作装置56で生成された操作マクロを
実行する装置である。なお、操作マクロ表示手段580
0および操作イベント発生手段5801は、例えば、P
CやWS上で動作する実行プログラムで実現される。
施の形態を示す構成図を図58に示す。操作マクロ実行
装置58は、操作マクロ記録手段5600、操作マクロ
表示手段5800、操作イベント発生手段5801を含
み、プログラム実行手段101および操作部品検出手段
102に接続されている。また、操作マクロ実行対象の
GUIシステムの実行プログラムは、プログラム保存手
段100に保存されている。図58において、操作マク
ロ記録手段5600と操作マクロ表示手段5800と操
作イベント発生手段5801を除くブロックはすべて、
本発明の実施の形態を示す構成図である図1と同じであ
る。また、操作マクロ記録手段5600は、図56に示
した実施の形態におけるものと同じものである。つま
り、この例の操作マクロ実行装置58は、図56のGU
Iシステム自動操作装置56で生成された操作マクロを
実行する装置である。なお、操作マクロ表示手段580
0および操作イベント発生手段5801は、例えば、P
CやWS上で動作する実行プログラムで実現される。
【0067】操作マクロ表示手段5800は、操作マク
ロが記録されているプログラムを利用者が起動させた場
合、利用者が操作マクロを選択し実行させるためのウィ
ンドウを画面に表示させる。例えば、操作マクロ記録手
段5600に図57の操作マクロが記録されている場
合、この操作マクロは「A:¥sample¥sample.exe」の
プログラムについて記録されたものであるので、利用者
が「A:¥sample¥sample.exe」のプログラムを起動さ
せると、操作マクロ表示手段5800が図57の操作マ
クロを画面上にウィンドウで表示させる。操作マクロ表
示ウィンドウの例を図59に示す。図59において、5
900が操作マクロの表示ウィンドウであり、4つのオ
プションボタン5901〜5904が、図57の1〜4
番の操作マクロを表している。図59では、1番の操作
マクロのオプションボタン(5901)が選択された状
態になっており、1番の操作マクロが表形式で操作マク
ロ表示ウィンドウ5900のなかに表示されている。例
えば、利用者が2番の操作マクロのオプションボタン
(5902)を操作すると、表示画面は図60のように
なり、2番の操作マクロが表形式で操作マクロ表示ウィ
ンドウ5900のなかに表示される。
ロが記録されているプログラムを利用者が起動させた場
合、利用者が操作マクロを選択し実行させるためのウィ
ンドウを画面に表示させる。例えば、操作マクロ記録手
段5600に図57の操作マクロが記録されている場
合、この操作マクロは「A:¥sample¥sample.exe」の
プログラムについて記録されたものであるので、利用者
が「A:¥sample¥sample.exe」のプログラムを起動さ
せると、操作マクロ表示手段5800が図57の操作マ
クロを画面上にウィンドウで表示させる。操作マクロ表
示ウィンドウの例を図59に示す。図59において、5
900が操作マクロの表示ウィンドウであり、4つのオ
プションボタン5901〜5904が、図57の1〜4
番の操作マクロを表している。図59では、1番の操作
マクロのオプションボタン(5901)が選択された状
態になっており、1番の操作マクロが表形式で操作マク
ロ表示ウィンドウ5900のなかに表示されている。例
えば、利用者が2番の操作マクロのオプションボタン
(5902)を操作すると、表示画面は図60のように
なり、2番の操作マクロが表形式で操作マクロ表示ウィ
ンドウ5900のなかに表示される。
【0068】次に、利用者が操作マクロ表示ウィンドウ
5900にある「実行」プッシュボタン5905を操作
すると、その時点で選択されている操作マクロが実行さ
れる。例として、2番の操作マクロを実行する場合につ
いて説明する。表示画面が図60の状態で利用者が「実
行」プッシュボタン5905を操作すると、図58にお
いて、プログラム実行手段101が画面に表示させてい
る操作部品を操作部品検出手段102が検出する(「操
作マクロ」ウィンドウ上のオプションボタン5901〜
5904とプッシュボタン5905も検出される)。次
に、操作イベント発生手段5801は、2番の操作マク
ロの最初の操作部品が「サンプル」ウィンドウの「文
字」メニューであることから、操作部品検出手段102
が検出した操作部品のデータからこの「文字」メニュー
のデータを検索し、このメニューを操作するためのイベ
ントを発生させて、プログラム実行手段101に出力す
る。これにより、表示画面は図61のようになる。さら
に、再度操作部品検出手段102が操作部品を検出し、
操作イベント発生手段5801が、2番の操作マクロの
次の操作部品が「サンプル」ウィンドウの「文字」メニ
ューであることから、操作部品検出手段102が検出し
た操作部品のデータから「サイズ」サブメニュー701
のデータを検索し、このメニューを操作する。以上のよ
うにして、2番の操作マクロが自動的に実行される。
5900にある「実行」プッシュボタン5905を操作
すると、その時点で選択されている操作マクロが実行さ
れる。例として、2番の操作マクロを実行する場合につ
いて説明する。表示画面が図60の状態で利用者が「実
行」プッシュボタン5905を操作すると、図58にお
いて、プログラム実行手段101が画面に表示させてい
る操作部品を操作部品検出手段102が検出する(「操
作マクロ」ウィンドウ上のオプションボタン5901〜
5904とプッシュボタン5905も検出される)。次
に、操作イベント発生手段5801は、2番の操作マク
ロの最初の操作部品が「サンプル」ウィンドウの「文
字」メニューであることから、操作部品検出手段102
が検出した操作部品のデータからこの「文字」メニュー
のデータを検索し、このメニューを操作するためのイベ
ントを発生させて、プログラム実行手段101に出力す
る。これにより、表示画面は図61のようになる。さら
に、再度操作部品検出手段102が操作部品を検出し、
操作イベント発生手段5801が、2番の操作マクロの
次の操作部品が「サンプル」ウィンドウの「文字」メニ
ューであることから、操作部品検出手段102が検出し
た操作部品のデータから「サイズ」サブメニュー701
のデータを検索し、このメニューを操作する。以上のよ
うにして、2番の操作マクロが自動的に実行される。
【0069】したがって、図56のGUIシステム自動
操作装置56および図58の操作マクロ実行装置58を
用いれば、対象システムの操作を自動的かつ網羅的に実
行し、対象システムの操作部品のデータを自動的かつ網
羅的に記録し、記録された操作部品のデータをもとに、
操作マクロを自動的に生成することができる。さらに、
生成された操作マクロを利用者に選択させ、選択された
操作マクロを自動的に実行することができる。したがっ
て、利用者の入力操作が不要で、利用者がシステムを操
作する前に操作マクロを生成し、この操作マクロを利用
者に提供することが可能となる。
操作装置56および図58の操作マクロ実行装置58を
用いれば、対象システムの操作を自動的かつ網羅的に実
行し、対象システムの操作部品のデータを自動的かつ網
羅的に記録し、記録された操作部品のデータをもとに、
操作マクロを自動的に生成することができる。さらに、
生成された操作マクロを利用者に選択させ、選択された
操作マクロを自動的に実行することができる。したがっ
て、利用者の入力操作が不要で、利用者がシステムを操
作する前に操作マクロを生成し、この操作マクロを利用
者に提供することが可能となる。
【0070】
【発明の効果】以上に説明したように、本発明によれ
ば、以下のような効果を得ることができる。
ば、以下のような効果を得ることができる。
【0071】本発明のGUIシステム自動操作装置によ
れば、システム操作の手順をあらかじめ利用者が記述し
保存しておかなくても、システムを自動的に実行するこ
とが可能となる。
れば、システム操作の手順をあらかじめ利用者が記述し
保存しておかなくても、システムを自動的に実行するこ
とが可能となる。
【0072】画面イメージ記録手段を備える本発明のG
UI評価機能付きGUIシステム自動操作装置では、評
価対象システムの操作を自動的かつ網羅的に実行し、シ
ステムの画面を網羅的に遷移させ、各画面イメージを自
動的に記録し出力させる。したがって、評価者がシステ
ムを操作する必要がない。つまり、評価者の入力操作の
手間が不要で、システムの規模に依存せずシステムの画
面を網羅的に確認することが可能となる。
UI評価機能付きGUIシステム自動操作装置では、評
価対象システムの操作を自動的かつ網羅的に実行し、シ
ステムの画面を網羅的に遷移させ、各画面イメージを自
動的に記録し出力させる。したがって、評価者がシステ
ムを操作する必要がない。つまり、評価者の入力操作の
手間が不要で、システムの規模に依存せずシステムの画
面を網羅的に確認することが可能となる。
【0073】操作部品比較手段を備える本発明のGUI
評価機能付きGUIシステム自動操作装置では、評価対
象システムの操作部品のデータを、システムの実行プロ
グラムだけを用いて、自動的かつ網羅的に記録する。し
たがって、システムのGUI部のソースプログラムは不
要で、システムの実行プログラムだけを用いて操作部品
のシステム全体を通しての一貫性を評価することが可能
となる。
評価機能付きGUIシステム自動操作装置では、評価対
象システムの操作部品のデータを、システムの実行プロ
グラムだけを用いて、自動的かつ網羅的に記録する。し
たがって、システムのGUI部のソースプログラムは不
要で、システムの実行プログラムだけを用いて操作部品
のシステム全体を通しての一貫性を評価することが可能
となる。
【0074】動作エラー記録手段を備える本発明のGU
I検査機能付きGUIシステム自動操作装置では、検査
対象システムの実行プログラムだけを用いて、検査対象
システムの操作を自動的かつ網羅的に実行し、システム
の動作エラー情報を記録する。したがって、検査者はシ
ステムを自動的に操作させるためのスクリプトを記録も
しくは記述する必要がない。つまり、検査者のスクリプ
ト記録もしくは記述の手間が不要で、システムの規模に
依存せずシステムの動作を網羅的に検査することが可能
となる。
I検査機能付きGUIシステム自動操作装置では、検査
対象システムの実行プログラムだけを用いて、検査対象
システムの操作を自動的かつ網羅的に実行し、システム
の動作エラー情報を記録する。したがって、検査者はシ
ステムを自動的に操作させるためのスクリプトを記録も
しくは記述する必要がない。つまり、検査者のスクリプ
ト記録もしくは記述の手間が不要で、システムの規模に
依存せずシステムの動作を網羅的に検査することが可能
となる。
【0075】操作マクロ記録手段を備える本発明の操作
マクロ生成機能付きGUIシステム自動操作装置では、
対象システムの操作を自動的かつ網羅的に実行し、対象
システムの操作部品のデータを自動的かつ網羅的に記録
し、さらに、記録された操作部品のデータをもとに、操
作マクロを自動的に生成することができる。
マクロ生成機能付きGUIシステム自動操作装置では、
対象システムの操作を自動的かつ網羅的に実行し、対象
システムの操作部品のデータを自動的かつ網羅的に記録
し、さらに、記録された操作部品のデータをもとに、操
作マクロを自動的に生成することができる。
【0076】本発明の操作マクロ実行装置では、操作部
品に対する一連の操作手順によって構成された操作マク
ロを、システムの画面に存在する操作部品を自動的に認
識しながら、実行することができる。そして、特に、操
作マクロ生成機能付きGUIシステム自動操作装置と連
携させた構成にあっては、利用者の入力操作が不要で、
利用者がシステムを操作する前に操作マクロを生成し、
かつ、この操作マクロを利用者に提供することが可能と
なる。
品に対する一連の操作手順によって構成された操作マク
ロを、システムの画面に存在する操作部品を自動的に認
識しながら、実行することができる。そして、特に、操
作マクロ生成機能付きGUIシステム自動操作装置と連
携させた構成にあっては、利用者の入力操作が不要で、
利用者がシステムを操作する前に操作マクロを生成し、
かつ、この操作マクロを利用者に提供することが可能と
なる。
【図1】本発明のGUIシステム自動操作装置の一実施
の形態を示す構成図である。
の形態を示す構成図である。
【図2】プログラム実行開始手段に登録されている実行
プログラム名の例を示す図である。
プログラム名の例を示す図である。
【図3】実行プログラムの表示画面例を示す図である。
【図4】操作部品検出手段が検出して出力した操作部品
データの例を示す図である。
データの例を示す図である。
【図5】操作部品表記録手段で生成され記録される操作
部品表の例を示す図である。
部品表の例を示す図である。
【図6】表スタック管理手段が管理する表スタックの内
容例を示す図である。
容例を示す図である。
【図7】選択された操作部品が実行済みに変更された状
態の操作部品表の例を示す図である。
態の操作部品表の例を示す図である。
【図8】操作部品の種類と各々に対する操作イベントの
例を示す図である。
例を示す図である。
【図9】実行プログラムの表示画面例を示す図である。
【図10】操作部品検出手段が検出して出力する操作部
品データの例を示す図である。
品データの例を示す図である。
【図11】操作部品表記録手段で生成され記録される操
作部品表の例を示す図である。
作部品表の例を示す図である。
【図12】表スタック管理手段の表スタックの内容例を
示す図である。
示す図である。
【図13】実行プログラムの表示画面例を示す図であ
る。
る。
【図14】操作部品検出手段が検出し出力した操作部品
データの例を示す図である。
データの例を示す図である。
【図15】操作部品表記録手段で生成され記録される操
作部品表の例を示す図である。
作部品表の例を示す図である。
【図16】表スタック管理手段の表スタックの内容例を
示す図である。
示す図である。
【図17】操作部品表記録手段が生成し記録する操作部
品表の例を示す図である。
品表の例を示す図である。
【図18】表スタック管理手段の表スタックの内容例を
示す図である。
示す図である。
【図19】操作部品表記録手段が生成し記録する操作部
品表の例を示す図である。
品表の例を示す図である。
【図20】操作部品表記録手段が生成し記録する操作部
品表の例を示す図である。
品表の例を示す図である。
【図21】操作部品表記録手段が生成し記録する操作部
品表の例を示す図である。
品表の例を示す図である。
【図22】操作部品表記録手段が生成し記録する操作部
品表の例を示す図である。
品表の例を示す図である。
【図23】操作部品表記録手段が生成し記録する操作部
品表の例を示す図である。
品表の例を示す図である。
【図24】操作部品表記録手段が生成し記録する操作部
品表の例を示す図である。
品表の例を示す図である。
【図25】操作部品表記録手段が生成し記録する操作部
品表の例を示す図である。
品表の例を示す図である。
【図26】操作部品表記録手段が生成し記録する操作部
品表の例を示す図である。
品表の例を示す図である。
【図27】操作部品表記録手段が生成し記録する操作部
品表の例を示す図である。
品表の例を示す図である。
【図28】操作部品表記録手段が生成し記録する操作部
品表の例を示す図である。
品表の例を示す図である。
【図29】操作部品表記録手段が生成し記録する操作部
品表の例を示す図である。
品表の例を示す図である。
【図30】操作部品表記録手段が生成し記録する操作部
品表の例を示す図である。
品表の例を示す図である。
【図31】操作部品表記録手段が生成し記録する操作部
品表の例を示す図である。
品表の例を示す図である。
【図32】操作部品表記録手段が生成し記録する操作部
品表の例を示す図である。
品表の例を示す図である。
【図33】操作部品表記録手段が生成し記録する操作部
品表の例を示す図である。
品表の例を示す図である。
【図34】操作部品表記録手段が生成し記録する操作部
品表の例を示す図である。
品表の例を示す図である。
【図35】操作部品表記録手段が生成し記録する操作部
品表の例を示す図である。
品表の例を示す図である。
【図36】操作部品表記録手段が生成し記録する操作部
品表の例を示す図である。
品表の例を示す図である。
【図37】操作部品表記録手段が生成し記録する操作部
品表の例を示す図である。
品表の例を示す図である。
【図38】操作部品表記録手段が生成し記録する操作部
品表の例を示す図である。
品表の例を示す図である。
【図39】操作部品表記録手段が生成し記録する操作部
品表の例を示す図である。
品表の例を示す図である。
【図40】操作部品表記録手段が生成し記録する操作部
品表の例を示す図である。
品表の例を示す図である。
【図41】操作部品表記録手段が生成し記録する操作部
品表の例を示す図である。
品表の例を示す図である。
【図42】操作部品表記録手段が生成し記録する操作部
品表の例を示す図である。
品表の例を示す図である。
【図43】操作部品表記録手段が生成し記録する操作部
品表の例を示す図である。
品表の例を示す図である。
【図44】操作部品表記録手段が生成し記録する操作部
品表の例を示す図である。
品表の例を示す図である。
【図45】操作部品表記録手段が生成し記録する操作部
品表の例を示す図である。
品表の例を示す図である。
【図46】操作部品表記録手段が生成し記録する操作部
品表の例を示す図である。
品表の例を示す図である。
【図47】操作部品表記録手段が生成し記録する操作部
品表の例を示す図である。
品表の例を示す図である。
【図48】操作部品表記録手段が生成し記録する操作部
品表の例を示す図である。
品表の例を示す図である。
【図49】本発明のGUIシステム自動操作装置の別の
実施の形態を示す構成図である。
実施の形態を示す構成図である。
【図50】操作部品比較手段の出力例を示す図である。
【図51】操作部品比較手段の出力例を示す図である。
【図52】操作部品比較手段の出力例を示す図である。
【図53】操作部品比較手段の出力例を示す図である。
【図54】本発明のGUIシステム自動操作装置の更に
別の実施の形態を示す構成図である。
別の実施の形態を示す構成図である。
【図55】動作エラー情報の例を示す図である。
【図56】本発明のGUIシステム自動操作装置の他の
実施の形態を示す構成図である。
実施の形態を示す構成図である。
【図57】操作マクロ記録手段によって生成され記録さ
れたマクロ操作の例を示す図である。
れたマクロ操作の例を示す図である。
【図58】操作マクロ実行装置の実施の形態の例を示す
構成図である。
構成図である。
【図59】プログラムおよび操作マクロの表示画面の例
を示す図である。
を示す図である。
【図60】プログラムおよび操作マクロの表示画面の例
を示す図である。
を示す図である。
【図61】プログラムおよび操作マクロの表示画面の例
を示す図である。
を示す図である。
1 GUIシステム自動操作装置 100 プログラム保存手段 101 プログラム実行手段 102 操作部品検出手段 103 画面イメージ記録手段 104 操作部品表記録手段 105 プログラム実行開始手段 106 プログラム実行終了手段 107 表スタック管理手段 108 操作部品選択手段 109 操作イベント発生手段 110 出力手段 300 表示画面枠 301 ウィンドウ 302、1300 ウィンドウタイトル 303、304 メニュー 900、901 サブメニュー 1301〜1304 オプションボタン 1305、1306 プッシュボタン 49 GUIシステム自動操作装置 4900 操作部品比較手段 54 GUIシステム自動操作装置 5400 動作エラー記録手段 56 GUIシステム自動操作装置 5600 操作マクロ記録手段 58 操作マクロ実行装置 5800 操作マクロ表示手段 5801 操作イベント発生手段
フロントページの続き (56)参考文献 特開 平8−153022(JP,A) 特開 平7−84765(JP,A) 特開 平7−84829(JP,A) 特開 平7−253865(JP,A) 特開 平6−95780(JP,A) 特開 平7−84829(JP,A) 特開 平7−84765(JP,A) 特開 平6−28209(JP,A) 特開 平2−41529(JP,A) 特開 平6−348481(JP,A) 特開 平6−274329(JP,A) 特開 平5−173741(JP,A) 特開 平5−35382(JP,A) 特開 平1−237833(JP,A) 来住,”X Windowにおけるユ ーザ操作記録および再生ツールの再設計 “,WISS’94,pp.95− ”Visual Test4.0の世 界”,C MAGAZINE,1996/4 /1,ソフトバンク,第8巻,第4号 (通巻79号),pp.26−55 CHI’90 Conference Proceedings、ISBN−0 −201−50932−6、249頁〜256頁(199 年4月1日〜5日) ”ユーザインタフェースの実践的評価 法”、ISBN−4−303−72860−8、 21頁〜27頁(1993年) 情報処理学会研究報告、Vol.93、 No.80、17頁〜24頁(1993年9月) ”Visual & Textual Consistency Check ing Tools for Grap hical User Interfa ces”、Technical Rep ort、CAR−TR−828、Huma n−Computer Interac tion Laboratory、Ce nter for Automatio n Research、Univers ity of Maryland(Wo rld Wide Web経由でアドレ スhttp://www.cs.um d.edu:80/projects/h cil/Research/tech− report−list.html #1996から入手可能、1996年5月) 岡田英彦,旭敏之著,”GUI設計の 一貫性を評価するツール「GUIテスタ 2」の提案”,「情報処理学会研究報 告」,1997年7月11日,97−HI−73, pp.7−12 日経オープンシステム、No.40, 247頁〜257頁(1996年7月) (58)調査した分野(Int.Cl.7,DB名) G06F 9/06 - 9/46 G06F 3/00 - 3/14 G06F 11/28 - 11/34
Claims (6)
- 【請求項1】 GUIを有するシステムの実行プログラ
ムの実行を制御するプログラム実行手段と、前記プログ
ラム実行手段が画面に表示させている前記システムの操
作部品を検出する操作部品検出手段とに接続され、前記
システムの操作を自動的に行うGUIシステム自動操作
装置であって、 前記システムの実行プログラムの実行を前記プログラム
実行手段に開始させるプログラム実行開始手段と、 前記プログラム実行手段が画面に表示させている画面の
イメージを記録する画面イメージ記録手段と、 前記操作部品検出手段が検出した操作部品のデータから
操作部品表を作成して記録する操作部品表記録手段と、 前記操作部品表の識別子の表スタックに識別子を追加す
る、もしくは前記操作部品表の識別子の表スタックから
識別子を削除する表スタック管理手段と、 前記操作部品表記録手段に記録された操作部品表から操
作部品のデータを選択する操作部品選択手段と、 前記システムの操作部品に対する操作を実行するイベン
トを発生させる操作イベント発生手段と、 前記プログラム実行手段で実行中の前記システムの実行
プログラムの実行を終了させるプログラム実行終了手段
とを備え、 前記操作部品表記録手段は、前記操作部品検出手段が検
出した操作部品のデータのなかから、まだ前記操作部品
表記録手段に記録されていないデータを抽出し、このデ
ータを用いて前記操作部品表を作成して記録すると共
に、新規に記録した操作部品表の識別子を前記表スタッ
クに追加するよう、前記表スタック管理手段に命令し、
かつ、前記操作部品検出手段が検出した操作部品のデー
タがすべて、前記操作部品表記録手段にすでに記録され
ていた場合に、前記プログラム実行手段で実行中の前記
システムの実行プログラムの実行を終了させるよう前記
プログラム実行手段に命令し、更に、前記操作部品検出
手段が検出した操作部品のデータのなかに、前記操作部
品表記録手段にまだ記録されていないデータがあった場
合に、前記操作部品表記録手段に記録された操作部品表
から操作部品のデータを選択するよう前記操作部品選択
手段に命令する構成を有し、 前記操作部品選択手段は、前記表スタックの最上位にあ
る識別子を有する操作部品表を前記操作部品表記録手段
から検索し、検索された操作部品表のなかから、未操作
の操作部品のデータを検索し、未操作の操作部品のデー
タが存在すれば、そのなかから1つを選択し、存在しな
ければ、前記操作部品表記録手段に記録された操作部品
表のなかから未操作の操作部品のデータを1つ選択する
か、前記表スタックから識別子がすべて削除されるま
で、前記表スタックの最上位にある識別子を前記表スタ
ックから削除するよう前記表スタック管理手段に命令し
たあと、未操作の操作部品のデータを検索する処理を繰
り返し行う構成を有し、 前記操作イベント発生手段は、前記操作部品選択手段が
選択した操作部品のデータを用いて、前記システムの操
作部品に対する操作を実行するイベントを発生させて前
記プログラム実行手段に出力する構成を有し、 前記プログラム実行終了手段は、前記プログラム実行手
段で実行中の前記システムの実行プログラムの実行を終
了させたあと、前記プログラム実行開始手段に、前記シ
ステムの実行プログラムの実行を前記プログラム実行手
段に開始させるよう命令する構成を有し、 前記プログラム実行開始手段は、前記プログラム実行終
了手段から命令を受けて前記システムの実行プログラム
の実行を前記プログラム実行手段に開始させたあと、前
記操作部品選択手段に、操作部品のデータの選択を行う
よう命令する構成を有し、 更に前記操作部品選択手段は、操作部品のデータを選択
するよう前記プログラム実行開始手段から命令を受け、
未操作の操作部品のデータを1つ選択できた場合、前記
システムの初期画面から、選択された前記データの操作
部品が表示される画面まで遷移するために操作を実行し
なければならない操作部品のデータを、前記操作部品表
記録手段に記録された操作部品表から検索する構成を有
することを特徴とするGUIシステム自動操作装置。 - 【請求項2】 前記操作部品表記録手段が記録する操作
部品表は、操作部品表の識別子と、操作部品の識別子
と、前記操作部品の表示領域の座標とを少なくとも含
み、 前記プログラム実行手段が画面に表示させている画面の
イメージを記録する画面イメージ記録手段を備え、 前記画面イメージ記録手段は、前記プログラム実行開始
手段による1回目の前記システムの実行プログラムの実
行の開始が行われたあと、前記システムの実行プログラ
ムの初期画面のイメージを記録し、前記プログラム実行
手段が前記操作イベント発生手段から操作イベントを受
け取るたびに、前記操作イベントによって実行される前
記システムの実行プログラムの動作が完了したあと、前
記システムの実行プログラムの画面のイメージを記録す
る構成を有することを特徴とする請求項1記載のGUI
システム自動操作装置。 - 【請求項3】 前記操作部品表記録手段が記録する操作
部品表は、操作部品表の識別子と、操作部品の識別子
と、前記操作部品の種類名と、前記操作部品のラベル
と、前記操作部品の表示領域の座標と、前記操作部品の
ラベル文字のフォント名と、前記操作部品のラベル文字
のサイズと、前記操作部品が配置されているウィンドウ
のラベルとを少なくとも含み、 前記操作部品表記録手段に記録された操作部品表のなか
の操作部品のデータを相互に比較する操作部品比較手段
を備えることを特徴とする請求項1記載のGUIシステ
ム自動操作装置。 - 【請求項4】 前記操作部品表記録手段が記録する操作
部品表は、操作部品表の識別子と、操作部品の識別子
と、前記操作部品の種類名と、前記操作部品のラベル
と、前記操作部品の表示領域の座標と、前記操作部品が
配置されているウィンドウのラベルとを少なくとも含
み、 前記プログラム実行手段で実行中の前記システムの実行
プログラムに動作エラーが発生し、入力操作が受け付け
られない状態に陥った場合、この動作エラーを検出して
動作エラー情報を記録する動作エラー記録手段を備え、 前記動作エラー記録手段は、前記動作エラーを検出した
場合、前記動作エラーが発生する直前に操作を実行され
た操作部品のデータを前記操作部品選択手段から取得
し、前記操作部品のデータを動作エラー情報として記録
し、前記プログラム実行手段で実行中の前記システムの
実行プログラムの実行を終了させるよう前記プログラム
実行終了手段に命令する構成を有することを特徴とする
請求項1記載のGUIシステム自動操作装置。 - 【請求項5】 前記操作部品表記録手段が記録する操作
部品表は、操作部品表の識別子と、操作部品の識別子
と、前記操作部品の種類名と、前記操作部品のラベル
と、前記操作部品の表示領域の座標と、前記操作部品が
配置されているウィンドウのラベルとを少なくとも含
み、 前記操作部品表記録手段に記録された操作部品表をもと
に操作マクロを作成し記録する操作マクロ記録手段を備
え、 前記操作マクロ記録手段は、前記操作部品表記録手段に
記録された操作部品表のなかの操作部品のデータを用い
て、あらかじめ決められた階層にある操作部品の操作を
実行するための操作手順を操作マクロとして記録する構
成を有することを特徴とする請求項1記載のGUIシス
テム自動操作装置。 - 【請求項6】 GUIを有するシステムの実行プログラ
ムの実行を制御するプログラム実行手段と、前記プログ
ラム実行手段が画面に表示させている前記システムの操
作部品を検出する操作部品検出手段とに接続され、前記
システムの操作マクロを実行する操作マクロ実行装置で
あって、 操作マクロが記録された操作マクロ記録手段と、 前記操作マクロ記録手段に保存された操作マクロを画面
に表示させる操作マクロ表示手段と、 前記システムの操作部品に対する操作を実行するイベン
トを発生させる操作イベント発生手段とを備え、 前記操作部品検出手段が出力する操作部品のデータは、
前記操作部品の種類名と、前記操作部品のラベルと、前
記操作部品の表示領域の座標と、前記操作部品が配置さ
れているウィンドウのラベルとを少なくとも含み、 前記操作イベント発生手段は、前記操作マクロ記録手段
に記録された操作マクロを参照し、前記操作部品検出手
段が検出した操作部品のデータのなかから、利用者が画
面上で選択した操作マクロを実行するための操作部品の
データを抽出し、抽出された前記データを有する操作部
品に対する操作を実行するイベントを発生させ、前記プ
ログラム実行手段に出力する構成を有することを特徴と
する操作マクロ実行装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP9013121A JP3008872B2 (ja) | 1997-01-08 | 1997-01-08 | Guiシステム自動操作装置および操作マクロ実行装置 |
US09/004,320 US6184880B1 (en) | 1997-01-08 | 1998-01-08 | Automatic GUI system operation device and operation macro execution device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP9013121A JP3008872B2 (ja) | 1997-01-08 | 1997-01-08 | Guiシステム自動操作装置および操作マクロ実行装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH10198586A JPH10198586A (ja) | 1998-07-31 |
JP3008872B2 true JP3008872B2 (ja) | 2000-02-14 |
Family
ID=11824335
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP9013121A Expired - Fee Related JP3008872B2 (ja) | 1997-01-08 | 1997-01-08 | Guiシステム自動操作装置および操作マクロ実行装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US6184880B1 (ja) |
JP (1) | JP3008872B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20200000065A (ko) * | 2018-06-22 | 2020-01-02 | 주식회사 한글과컴퓨터 | 매크로 등록 및 실행 장치, 매크로 등록 방법 |
Families Citing this family (65)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4490577B2 (ja) * | 2000-10-02 | 2010-06-30 | 株式会社キーエンス | Plcシステム構築支援ツール |
US20050044274A1 (en) * | 2001-03-13 | 2005-02-24 | Deming Douglas R. | Methods of handling automated trading |
US20020133585A1 (en) * | 2001-03-13 | 2002-09-19 | Deming Douglas R. | Computer program for recording and selective playback of a communication involving the hypertext transfer protocol |
US20020133450A1 (en) * | 2001-03-13 | 2002-09-19 | Deming Douglas R. | Hypertext transfer protocol application programming interface between client-side trading systems and server-side stock trading systems |
US7103749B2 (en) * | 2002-02-01 | 2006-09-05 | John Fairweather | System and method for managing memory |
US7437715B2 (en) * | 2002-04-09 | 2008-10-14 | Hewlett-Packard Development Company, L.P. | System and method for generating a set of robot commands based on user entry events in a user interface |
US7408656B2 (en) * | 2003-03-10 | 2008-08-05 | Hewlett-Packard Development Company, L.P. | Controlling printer macro usage based on printer identification information |
US8954420B1 (en) | 2003-12-31 | 2015-02-10 | Google Inc. | Methods and systems for improving a search ranking using article information |
US7873907B2 (en) * | 2004-01-07 | 2011-01-18 | International Business Machines Corporation | Technique for searching for a specific object in an ISPF panel for automated testing |
US7941439B1 (en) * | 2004-03-31 | 2011-05-10 | Google Inc. | Methods and systems for information capture |
US7680888B1 (en) | 2004-03-31 | 2010-03-16 | Google Inc. | Methods and systems for processing instant messenger messages |
US8099407B2 (en) | 2004-03-31 | 2012-01-17 | Google Inc. | Methods and systems for processing media files |
US7333976B1 (en) | 2004-03-31 | 2008-02-19 | Google Inc. | Methods and systems for processing contact information |
US8631076B1 (en) | 2004-03-31 | 2014-01-14 | Google Inc. | Methods and systems for associating instant messenger events |
US8386728B1 (en) | 2004-03-31 | 2013-02-26 | Google Inc. | Methods and systems for prioritizing a crawl |
US20050234929A1 (en) * | 2004-03-31 | 2005-10-20 | Ionescu Mihai F | Methods and systems for interfacing applications with a search engine |
US8161053B1 (en) | 2004-03-31 | 2012-04-17 | Google Inc. | Methods and systems for eliminating duplicate events |
US7725508B2 (en) | 2004-03-31 | 2010-05-25 | Google Inc. | Methods and systems for information capture and retrieval |
US8346777B1 (en) | 2004-03-31 | 2013-01-01 | Google Inc. | Systems and methods for selectively storing event data |
US8275839B2 (en) * | 2004-03-31 | 2012-09-25 | Google Inc. | Methods and systems for processing email messages |
US7500145B2 (en) * | 2004-05-28 | 2009-03-03 | International Business Machines Corporation | Anomaly-driven software switch to capture event responses and automate recovery |
US7627821B2 (en) * | 2004-06-15 | 2009-12-01 | Microsoft Corporation | Recording/playback tools for UI-based applications |
US7653896B2 (en) * | 2004-06-30 | 2010-01-26 | Microsoft Corporation | Smart UI recording and playback framework |
US7653721B1 (en) | 2004-10-29 | 2010-01-26 | Sun Microsystems, Inc. | Mechanism for capturing high level events on user interface components |
US20060136847A1 (en) * | 2004-12-16 | 2006-06-22 | International Business Machines Corporation | Method and computer program product for verifying a computer renderable document for on-screen appearance |
JP2007048216A (ja) * | 2005-08-12 | 2007-02-22 | Canon Inc | 文書管理装置、文書管理方法、文書管理プログラム、記憶媒体 |
US9262446B1 (en) | 2005-12-29 | 2016-02-16 | Google Inc. | Dynamically ranking entries in a personal data book |
US20070213884A1 (en) * | 2006-03-08 | 2007-09-13 | Visteon Global Technologies, Inc. | Method of implementing PC game auto-play in vehicle applications |
JP4757762B2 (ja) * | 2006-09-29 | 2011-08-24 | 三菱電機株式会社 | ユーザインタフェース装置およびユーザインタフェース装置用プログラム |
JP5038036B2 (ja) * | 2007-06-29 | 2012-10-03 | キヤノンソフトウェア株式会社 | テスト実行システム、テスト実行装置、情報処理装置、テスト実行方法、プログラム、及び記憶媒体 |
US8001468B2 (en) * | 2007-09-19 | 2011-08-16 | Sap Ag | Method and system for accelerating test automation of software applications |
US8397207B2 (en) * | 2007-11-26 | 2013-03-12 | Microsoft Corporation | Logical structure design surface |
JP5060996B2 (ja) * | 2008-03-13 | 2012-10-31 | 株式会社アイ・エル・シー | ソフトウェア検証支援装置、ソフトウェア検証支援方法、およびソフトウェア検証支援プログラム |
US8839107B2 (en) * | 2008-05-13 | 2014-09-16 | International Business Machines Corporation | Context based script generation |
JP5402935B2 (ja) * | 2008-09-29 | 2014-01-29 | 日本電気株式会社 | Gui評価システム、gui評価方法およびgui評価用プログラム |
WO2010035387A1 (ja) * | 2008-09-29 | 2010-04-01 | 日本電気株式会社 | Gui評価システム、gui評価方法およびgui評価用プログラム |
JP5314438B2 (ja) * | 2009-01-19 | 2013-10-16 | 株式会社日立ソリューションズ | 回帰テスト自動実行システム |
JP5251863B2 (ja) * | 2009-12-15 | 2013-07-31 | 1stホールディングス株式会社 | ツリ−構造を利用した、ユ−ザ・インタフェイスの構成要素情報の記録およびユ−ザ・インタ−フェイス操作を記録再生するためのプログラム |
JP5152436B2 (ja) * | 2010-06-08 | 2013-02-27 | 三菱電機株式会社 | プログラマブル表示器の画面作成システム及びその画面作成プログラム |
JP5683156B2 (ja) * | 2010-07-12 | 2015-03-11 | 株式会社日立システムズ | 画面操作用スクリプト生成方法及びシステム |
US9092111B2 (en) * | 2010-07-26 | 2015-07-28 | International Business Machines Corporation | Capturing information on a rendered user interface including user activatable content |
TWI407764B (zh) * | 2010-08-16 | 2013-09-01 | Wistron Neweb Corp | 跳轉方法、人機界面及無線電話子機 |
US8407159B2 (en) | 2010-11-17 | 2013-03-26 | Microsoft Corporation | Automatic batching of GUI-based tasks |
US20120131456A1 (en) * | 2010-11-22 | 2012-05-24 | Microsoft Corporation | Capture and Playback for GUI-Based Tasks |
US8819631B2 (en) * | 2011-01-13 | 2014-08-26 | Hewlett-Packard Development Company, L.P. | System and method for self dependent web automation |
EP2511817A1 (en) * | 2011-04-12 | 2012-10-17 | Samsung Electronics Co., Ltd. | Display apparatus and control method thereof |
JP5143927B2 (ja) * | 2011-05-12 | 2013-02-13 | 三菱電機株式会社 | ユーザインタフェース装置 |
JP5633904B2 (ja) * | 2011-05-30 | 2014-12-03 | 日本電信電話株式会社 | 画面遷移グラフの自動生成方法およびその装置 |
US8793578B2 (en) * | 2011-07-11 | 2014-07-29 | International Business Machines Corporation | Automating execution of arbitrary graphical interface applications |
JP5713359B2 (ja) * | 2012-08-28 | 2015-05-07 | 日本電信電話株式会社 | グラフィカルユーザインタフェースの網羅的な自動操作方法及び装置 |
CN103885969B (zh) * | 2012-12-20 | 2017-03-01 | 国际商业机器公司 | 提供软件问题解决方案的方法和装置 |
JP6008372B2 (ja) * | 2013-05-30 | 2016-10-19 | 日本電信電話株式会社 | グラフィカルユーザインタフェースの自動操作方法及び装置 |
JP6361376B2 (ja) * | 2014-08-27 | 2018-07-25 | 京セラドキュメントソリューションズ株式会社 | 画像形成システム |
US9811448B2 (en) * | 2015-12-18 | 2017-11-07 | Fujitsu Limited | Event-driven software testing |
US10664404B2 (en) * | 2016-02-04 | 2020-05-26 | Sap Se | User interface state transitions |
JP2017219978A (ja) * | 2016-06-06 | 2017-12-14 | グレープシティ株式会社 | プログラム自動テストのための方法およびプログラム |
JP6514244B2 (ja) * | 2017-01-18 | 2019-05-15 | 日本電信電話株式会社 | 差異検出装置及びプログラム |
WO2018207481A1 (ja) * | 2017-05-09 | 2018-11-15 | 古野電気株式会社 | 自動検査装置 |
JP6904187B2 (ja) * | 2017-09-15 | 2021-07-14 | 日本電気株式会社 | 座標情報管理システム、方法およびプログラム |
JP7020863B2 (ja) * | 2017-10-26 | 2022-02-16 | 株式会社東芝 | プラント監視システムの試験支援装置、その試験支援方法、及びその試験支援プログラム |
JP6567125B1 (ja) * | 2018-04-17 | 2019-08-28 | KLab株式会社 | デバッグ装置、シミュレーション装置及びデバッグ用のプログラム |
JP7306022B2 (ja) * | 2019-03-29 | 2023-07-11 | 日本電気株式会社 | データ記録装置、データ記録方法およびプログラム |
JP7202571B2 (ja) * | 2019-07-12 | 2023-01-12 | 日本ノーベル株式会社 | 画面遷移情報生成装置、画面遷移情報生成方法、画面遷移情報生成用プログラム、画面遷移情報生成システム |
US11144338B2 (en) * | 2019-08-20 | 2021-10-12 | Hyland Software, Inc. | Computing system for macro generation, modification, verification, and execution |
US11204789B2 (en) | 2019-08-20 | 2021-12-21 | Hyland Software Inc. | Graphical user interface for macro generation, modification, and verification |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4696003A (en) * | 1986-03-10 | 1987-09-22 | International Business Machines Corporation | System for testing interactive software |
JPH01237833A (ja) | 1988-03-18 | 1989-09-22 | Fujitsu Ltd | コマンドマクロ自動生成装置 |
JPH0241529A (ja) | 1988-08-02 | 1990-02-09 | Fujitsu Ltd | マンマシンインタフェース機構のテスト方式 |
JPH02244316A (ja) | 1989-03-17 | 1990-09-28 | Pfu Ltd | マクロ名の登録処理方式 |
JPH0476776A (ja) | 1990-07-19 | 1992-03-11 | Fujitsu Ltd | 詳細化ルールの入力処理方法 |
JPH04302029A (ja) | 1991-03-29 | 1992-10-26 | Toshiba Corp | ユーザインタフェース評価装置 |
JPH05135002A (ja) | 1991-05-07 | 1993-06-01 | Toshiba Corp | プロセスプラントの運転操作評価システム |
JP2874138B2 (ja) | 1991-07-29 | 1999-03-24 | 日本電気ホームエレクトロニクス株式会社 | 情報処理装置 |
JPH05173741A (ja) | 1991-12-20 | 1993-07-13 | Ricoh Co Ltd | ウィンドウシステム |
JPH0628209A (ja) | 1992-07-06 | 1994-02-04 | Hitachi Ltd | プログラム検査装置 |
JP3391478B2 (ja) | 1992-09-10 | 2003-03-31 | 松下電器産業株式会社 | 操作自動実行装置 |
JP3147572B2 (ja) | 1993-03-22 | 2001-03-19 | 株式会社日立製作所 | プログラム生成方法 |
JPH06348481A (ja) | 1993-04-16 | 1994-12-22 | Hewlett Packard Co <Hp> | マクロ作成システム及び方法 |
JPH06332686A (ja) | 1993-05-20 | 1994-12-02 | Mitsubishi Electric Corp | ユーザインタフェース挙動記述方法、ならびにそれを用いたユーザインタフェース装置、ソフトウェア評価方法およびソフトウェア作成方法 |
JPH0784765A (ja) | 1993-08-06 | 1995-03-31 | Toshiba Corp | Guiテスト装置 |
JP3234059B2 (ja) | 1993-08-11 | 2001-12-04 | 株式会社東芝 | 画面デザイン評価装置 |
JP2570592B2 (ja) | 1993-09-17 | 1997-01-08 | 日本電気株式会社 | インタラクティブ型マルチウインドウプログラム自動テスト装置 |
US5487141A (en) * | 1994-01-21 | 1996-01-23 | Borland International, Inc. | Development system with methods for visual inheritance and improved object reusability |
JPH07253865A (ja) | 1994-03-16 | 1995-10-03 | Matsushita Electric Ind Co Ltd | 操作ガイダンス装置 |
JPH0829209A (ja) | 1994-07-13 | 1996-02-02 | Mitsubishi Electric Corp | 操作性評価システム |
JP2626598B2 (ja) | 1994-11-25 | 1997-07-02 | 日本電気株式会社 | グラフィカルユーザインタフェースを有する対話システムの操作性評価装置 |
US5911070A (en) * | 1995-08-07 | 1999-06-08 | Inprise Corporation | Development system with methods for bi-directional application program code generation |
-
1997
- 1997-01-08 JP JP9013121A patent/JP3008872B2/ja not_active Expired - Fee Related
-
1998
- 1998-01-08 US US09/004,320 patent/US6184880B1/en not_active Expired - Fee Related
Non-Patent Citations (8)
Title |
---|
"Visual & Textual Consistency Checking Tools for Graphical User Interfaces"、Technical Report、CAR−TR−828、Human−Computer Interaction Laboratory、Center for Automation Research、University of Maryland(World Wide Web経由でアドレスhttp://www.cs.umd.edu:80/projects/hcil/Research/tech−report−list.html#1996から入手可能、1996年5月) |
"Visual Test4.0の世界",C MAGAZINE,1996/4/1,ソフトバンク,第8巻,第4号(通巻79号),pp.26−55 |
"ユーザインタフェースの実践的評価法"、ISBN−4−303−72860−8、21頁〜27頁(1993年) |
CHI’90 Conference Proceedings、ISBN−0−201−50932−6、249頁〜256頁(199年4月1日〜5日) |
岡田英彦,旭敏之著,"GUI設計の一貫性を評価するツール「GUIテスタ2」の提案",「情報処理学会研究報告」,1997年7月11日,97−HI−73,pp.7−12 |
情報処理学会研究報告、Vol.93、No.80、17頁〜24頁(1993年9月) |
日経オープンシステム、No.40,247頁〜257頁(1996年7月) |
来住,"X Windowにおけるユーザ操作記録および再生ツールの再設計",WISS’94,pp.95− |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20200000065A (ko) * | 2018-06-22 | 2020-01-02 | 주식회사 한글과컴퓨터 | 매크로 등록 및 실행 장치, 매크로 등록 방법 |
KR102076552B1 (ko) * | 2018-06-22 | 2020-02-12 | 주식회사 한글과컴퓨터 | 매크로 등록 및 실행 장치, 매크로 등록 방법 |
Also Published As
Publication number | Publication date |
---|---|
US6184880B1 (en) | 2001-02-06 |
JPH10198586A (ja) | 1998-07-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3008872B2 (ja) | Guiシステム自動操作装置および操作マクロ実行装置 | |
JP4395761B2 (ja) | プログラムテスト支援装置およびその方法 | |
US6854089B1 (en) | Techniques for mapping graphical user interfaces of applications | |
US7627821B2 (en) | Recording/playback tools for UI-based applications | |
US8566744B2 (en) | Same-display comparison of content for different renditions of a single computer program | |
US6046741A (en) | Visual command sequence desktop agent | |
US9971471B2 (en) | Tool-tip for multimedia files | |
US6871327B2 (en) | Method and apparatus for extending coverage of GUI tests | |
US6826443B2 (en) | Systems and methods for managing interaction with a presentation of a tree structure in a graphical user interface | |
EP0785510B1 (en) | Program debugging system for debugging a program having a graphical user interface | |
US7367017B2 (en) | Method and apparatus for analyzing machine control sequences | |
KR101004493B1 (ko) | 사용자 인터페이스 구성요소를 가시화하기 위한 컴퓨터-구현된 방법, 사용자 인터페이스 오브젝트를 가시화하는 방법, 컴퓨터-판독가능 매체, 및 컴퓨터 시스템 | |
AU2005203508B2 (en) | System and method for selecting test case execution behaviors for reproducible test automation | |
US6904563B2 (en) | Editing platforms for remote user interface translation | |
JPH05346875A (ja) | コンピュータ・アプリケーション・ソフトウェアの自動化試験システム | |
EP2705441B1 (en) | Automatic classification adjustment of recorded actions for automation script | |
KR20090084905A (ko) | 그래픽 유저 인터페이스 테스팅을 위한 방법 및 시스템 | |
JP2000112784A (ja) | プログラムテスト支援装置及びプログラムテスト支援プログラムを記録した記録媒体 | |
TW200406692A (en) | Semiconductor test data analysis system | |
JP5344220B2 (ja) | 測定装置および測定装置の操作方法 | |
JPH0944379A (ja) | プログラミング支援装置及びプログラミング支援方法 | |
JP2020173570A (ja) | 解析装置、解析方法、及びプログラム | |
JPH10149301A (ja) | スクリプト作成装置 | |
JP7294609B2 (ja) | ソフトウェアの操作シナリオの生成を支援するプログラム、方法およびソフトウェアの操作シナリオの生成を支援する装置 | |
US20090273605A1 (en) | Operation Checking Method in Information System, Operation Checking Program Therefor, Recording Medium, and Operation Checking System |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071203 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081203 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091203 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091203 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101203 Year of fee payment: 11 |
|
LAPS | Cancellation because of no payment of annual fees |