JP5878505B2 - 誤入力検出装置および誤入力検出プログラム - Google Patents

Description

本発明は、コンピュータ等の画面上に表示されるインターフェースに対するユーザ操作を自動化するシステムにおいて、ユーザ操作手順をコンピュータが自動化できる形式で記録する誤入力検出装置および誤入力検出プログラムに関する。

自動化ソフトにより、人間の代わりに自動でＧＵＩに文字列を入力させることができる。人間のようにキーボードの打ち間違いによる誤投入は発生しないが、対象システムを構成する端末、ネットワーク、サーバ等のいずれか、またはすべてにおいて高負荷や不具合により、入力した文字の欠落や、意図しない文字の置き換え（いわゆる文字化け）が発生する可能性がある。また、ボタン等のマウスクリックで作動するＧＵＩ部品に対する自動操作においても、環境あるいはタイミングによって、意図したとおりにクリックが認識されない可能性がある。

一般に、自動化ソフトによる自動実行、人間による操作のいずれかによらず、対象システム側の高負荷や不具合のために、入力した文字の欠落や、文字化けが発生する可能性がある。特に、テキストの送信やキーボードやマウスの動きをエミュレートする低レベルでの自動化では、影響を受けやすい。

人間が入力している場合には、文字を入力しながら目視で意図したとおりに入力されないことを認識し、適宜入力の修正を行うことができる。一方、自動化ソフトによる自動実行の場合には、意図したとおりに入力できたかをその場で確認することができないため、誤った内容がシステムに登録されてしまう危険性がある。

自動実行による登録後に、人間による目視での確認を行う運用を行うことで誤りの検出が可能なケースもあるが、非効率である。また、システムの高負荷が原因と想定される場合には、文字を入力する速度を遅く調整することで問題の発生を抑える方法もあるが、処理速度が遅くなることで一定時間に処理できる量が減ってしまい、非効率である。

自動操作後の内部状態を取得することが可能な場合には、期待される状態と、結果の状態を比較することで、誤入力を検出することはできるが、内部状態を取得できない場合（許可されていない場合）には、この方法は適用できない。その場合、目視確認できないことで問題を見逃したり、問題の発見が遅れることになる。

「ＵＷＳＣ（Ｆｒｅｅ版）」ｈｔｔｐ：／／ｗｗｗ．ｕｗｓｃ．ｉｎｆｏ／ 「ＲｏｃｋｅｔＭｏｕｓｅ Ｐｒｏ」ｈｔｔｐ：／／ｍｏｊｏｓｏｆｔ．ｂｉｚ／ｐｒｏｄｕｃｔｓ／ｒｏｃｋｅｔｍｏｕｓｅｐｒｏ／

本発明は、誤入力の危険性を抑制し、確認作業に要する時間と手間を削減することを目的とする。

上記目的を達成するために、本願発明は、人間が自然に行っている目視しながら入力するという動作を、自動化ソフトでのＧＵＩボタンクリックや文字列の入力等においても行うことを特徴とする。

具体的には、本発明に係る誤入力検出装置は、
自動操作装置が行った自動化対象に対する自動操作の前後における前記自動化対象の変化を検出する変化検出部と、
前記変化検出部の検出した変化に基づいて、自動操作が適切に行われたか否かを判定する判定部と、
を備える。

本発明に係る誤入力検出装置は、
自動操作装置が自動化対象に対して行ったマウスクリック操作の誤入力を検出する装置であって、
前記自動化対象の画面表示のうちのマウスクリック操作を行う操作部分を画像化し、マウスクリック操作装置が行った自動化対象に対するマウスクリック操作の前後における前記自動化対象の変化を検出する変化検出部と、
マウスクリック操作の前後における画像の変化がマウスクリック操作によって定められる差異を有する場合にマウスクリック操作が適切に行われたと判定し、マウスクリック操作の前後における画像の変化がマウスクリック操作によって定められる差異と異なる場合にマウスクリック操作が適切に行われなかったと判定する判定部と、
を備える。

本発明に係る誤入力検出装置は、
自動操作装置が自動化対象に対して行った文字列入力操作の誤入力を検出する装置であって、
文字列入力操作の前後における前記自動化対象の画面表示の変化を検出し、前記自動化対象に入力されて画面に反映された文字列を取得する変化検出部と、
前記変化検出部が取得した文字列と前記自動操作装置から前記自動化対象へ送信した文字列とが一致する場合に文字列入力操作が適切に行われたと判定し、前記変化検出部が取得した文字列と前記自動操作装置から前記自動化対象へ送信した文字列とが不一致である場合に文字列入力操作が適切に行われなかったと判定する判定部と、
を備える。

本発明に係る誤入力検出装置では、
前記変化検出部は、前記自動化対象の画面表示のうちの自動操作によって入力された文字列を画像化するとともに、前記自動操作装置の入力した文字列を画像化し、
前記判定部は、前記変化検出部の画像化した文字列の画像が一致する場合に自動操作が適切に行われたと判定し、前記変化検出部の画像化した文字列の画像が不一致である場合に自動操作が適切に行われなかったと判定してもよい。

具体的には、本発明に係る誤入力検出プログラムは、
自動操作装置が行った自動化対象に対する自動操作の前後における前記自動化対象の変化を検出する変化検出ステップと、
前記変化検出ステップで検出した変化に基づいて、自動操作が適切に行われたか否かを判定する判定ステップと、
をコンピュータに実行させるための誤入力検出プログラムである。

本発明に係る誤入力検出プログラムは、
自動操作装置が自動化対象に対して行ったマウスクリック操作の誤入力を検出する誤入力検出装置が実行する誤入力検出プログラムであって、
前記自動化対象の画面表示のうちのマウスクリック操作を行う操作部分を画像化し、マウスクリック操作の前後における画像の変化を検出する変化検出ステップと、
マウスクリック操作の前後における画像の変化がマウスクリック操作によって定められる差異を有する場合にマウスクリック操作が適切に行われたと判定し、マウスクリック操作の前後における画像の変化がマウスクリック操作によって定められる差異と異なる場合にマウスクリック操作が適切に行われなかったと判定する判定ステップと、
をコンピュータに実行させるための誤入力検出プログラムである。

本発明に係る誤入力検出プログラムは、
自動操作装置が自動化対象に対して行った文字列入力操作の誤入力を検出する誤入力検出装置が実行する誤入力検出プログラムであって、
文字列入力操作の前後における前記自動化対象の画面表示の変化を検出し、前記自動化対象に入力されて画面に反映された文字列を取得する変化検出ステップと、
前記変化検出ステップで取得した文字列と前記自動操作装置から前記自動化対象へ送信した文字列とが一致する場合に文字列入力操作が適切に行われたと判定し、前記変化検出ステップで取得した文字列と前記自動操作装置から前記自動化対象へ送信した文字列とが不一致である場合に文字列入力操作が適切に行われなかったと判定する判定ステップと、
をコンピュータに実行させるための誤入力検出プログラムである。

本発明に係る誤入力検出プログラムでは、
前記変化検出ステップにおいて、前記自動化対象の画面表示のうちの自動操作によって入力された文字列を画像化するとともに、前記自動操作装置の入力した文字列を画像化し、
前記判定ステップにおいて、前記変化検出ステップで画像化した文字列の画像が一致する場合に自動操作が適切に行われたと判定し、前記変化検出ステップで画像化した文字列の画像が不一致である場合に自動操作が適切に行われなかったと判定してもよい。

本発明によれば、誤入力の危険性を抑制し、確認作業に要する時間と手間を削減することができる。

本実施形態に係る自動操作装置の構成の一例を示す。 実施形態１に係る結果確認部の構成の一例を示す。 実施形態１に係る結果確認方法のフロー図を示す。 実施形態１に係る画像の一例であり、（ａ）はマウスボタンが押し下げられる前の状態を示し、（ｂ）はマウスボタンが押し下げられた後の状態を示し、（ｃ）はマウスボタンが押し上げられた後の状態を示す。 実施形態２に係る結果確認方法のフロー図を示す。 実施形態２に係る画像の一例であり、（ａ）はマウスボタンが押し下げられる前の状態を示し、（ｂ）はマウスボタンが押し下げられた後の状態を示し、（ｃ）はマウスボタンが押し上げられた後の状態を示す。 実施形態３に係る結果確認部の構成の一例を示す。 実施形態３に係る結果確認方法のフロー図を示す。 実施形態３に係る画像の一例であり、（ａ）は文字列Ａを送信した時点の状態を示し、（ｂ）は文字列Ａを操作対象ウィンドウに入力した後の状態を示す。 実施形態４に係る結果確認部の構成の一例を示す。 実施形態４に係る結果確認方法のフロー図を示す。 実施形態４に係る画像の一例であり、（ａ）は文字列Ａを送信した時点の状態を示し、（ｂ）は文字列Ａを操作対象ウィンドウに入力した後の状態を示す。 実施形態５に係る結果確認方法のフロー図を示す。 実施形態５に係る画像の一例であり、（ａ）は文字列Ａを送信した時点の状態を示し、（ｂ）は文字列Ａを操作対象ウィンドウに入力した後の状態を示す。 実施形態６に係る結果確認方法のフロー図を示す。 実施形態６に係る画像の一例であり、（ａ）は文字列ａを送信した時点の状態を示し、（ｂ）は文字列Ａを操作対象ウィンドウに入力した後の状態を示す。

添付の図面を参照して本発明の実施形態を説明する。以下に説明する実施形態は本発明の実施の例であり、本発明は、以下の実施形態に制限されるものではない。なお、本明細書及び図面において符号が同じ構成要素は、相互に同一のものを示すものとする。

図１は本願発明の自動操作装置を示す。自動操作装置９１は、自動化した動作が自動化対象９２において正しく受け付けられたか否かを、画面に表示された内容に基づいて判断する。自動化対象９２は、自動的に動作を行う任意の装置であり、例えば、コンピュータである。自動化対象９２は、ＯＳやアプリケーションであってもよい。判断の内容は、例えば、以下のものが例示できる。
・入力したテキストが文字として一致しているか？
・入力したテキストが画像として一致しているか？
・ボタンが押下されたか？（一旦凹んで戻ったか？）
・チェックのオン／オフが変わったか？
・画面に変化があったか？
・クリック音が鳴ったか？

自動操作装置９１は、操作検出部１１と自動実行部１２と結果確認部１３を備える。操作検出部１１は、自動化対象９２から、ユーザが自動化対象９２に対して行った操作の情報を取得して記録する。自動実行部１２は、記録に従い自動化対象を自動操作する。結果確認部１３は、誤入力検出装置として機能し、自動操作が自動化対象９２により適切に受け付けられたことを確認する。

例えば、結果確認部１３は、変化検出部と、判定部と、を備える。変化検出部は、自動操作装置９１が行った自動化対象９２に対する自動操作の前後における自動化対象９２の変化を検出する。判定部は、変化検出部の検出した変化に基づいて、自動操作が適切に行われたか否かを判定する。結果確認部１３は、誤入力検出プログラムをコンピュータに実行させることで変化検出ステップ及び判定ステップを実行し、変化検出部及び判定部を実現させてもよい。

（実施形態１）
本実施形態では、自動実行部１２が自動化対象９２のマウスを自動でクリックする場合について説明する。結果確認部１３は、自動化対象９２において自動実行されたマウスクリックが正しく自動化対象９２のアプリケーションに認識されたか否かを、画像の変化により判定する。

ボタン型ＧＵＩに対する左クリックの場合、ボタンダウン前、ボタンダウン後、ボタンアップ後での画像が適切に変化していることを確認する。クリック位置付近の画像がボタンダウン後に変化し、ボタンアップ後に元に戻ることを画像の比較により検出し、ボタンが押されたことを認識する。

図２及び図３に、本実施形態に係る結果確認部の構成図及びフロー図を示す。本実施形態に係る結果確認部１３は、変化検出部として機能する画像認識部３１１及び画像記憶部３１２と、判定部として機能する画像比較部３１３と、を備える。

画像認識部３１１は、図４（ａ）に示す画像に含まれるマウスの画面表示の位置を認識する。マウスの画面表示は、例えば、画面表示における特定形状の矢印の表示である。位置は、例えば、画面上の座標である。画面上に複数のウィンドウが表示される場合は、自動化対象９２のウィンドウ内の位置である。マウス左ボタンがダウンされると（Ｓ１０１）、画像認識部３１１は、図４（ｂ）に示すマウスの画面表示（矢印）の周辺画像（Ｙ）をキャプチャーし、画像記憶部３１２に記憶する（Ｓ１０２）。マウス左ボタンがアップされると（Ｓ１０３）、画像認識部３１１は、図４（ｃ）に示すマウスの画面表示（矢印）の周辺画像（Ｚ）をキャプチャーし、画像記憶部３１２に格納する（Ｓ１０４）。画像比較部３１３は、画像（Ｙ）と画像（Ｚ）を対比し（Ｓ１０５）、画像（Ｙ）と画像（Ｚ）が異なる場合（Ｓ１０５においてＹｅｓ）には正しい操作がされたと判断し、画像（Ｙ）と画像（Ｚ）が等しい場合（Ｓ１０５おいてＮｏ）は誤入力と判断する。

（実施形態２）
本実施形態では、自動実行部１２がラジオボタン形式、あるいはチェックボックス形式の当該ＧＵＩに対する左クリックを行う場合について説明する。この場合、結果確認部１３は、ボタンダウン前、ボタンアップ後での画像が適切に変化していることを確認する。具体的には、ＯＮ／ＯＦＦの状態を表すチェックマーク、黒丸の表示／非表示の変化に注目する。

図２及び図５に、本実施形態に係る結果確認部の構成図及びフロー図を示す。画像認識部３１１は、マウスの画面表示（矢印）の位置を認識し、図６（ａ）に示すように、マウスの画面表示（矢印）の周辺画像（Ｘ）をキャプチャーして画像記憶部３１２に格納する（Ｓ２０１）。マウス左ボタンがクリック（ダウン後アップ）すると、画像認識部３１１は、マウスの画面表示（矢印）の周辺画像（Ｚ）をキャプチャーし、画像記憶部３１２に格納する（Ｓ２０２からＳ２０４）。画像比較部３１３は、画像（Ｘ）と画像（Ｚ）を対比し（Ｓ２０５）、画像（Ｘ）と画像（Ｚ）が異なる場合（Ｓ２０５においてＹｅｓ）には正しい操作がされたと判断し、画像（Ｘ）と画像（Ｚ）が等しい場合（Ｓ２０５においてＮｏ）は誤入力と判断する。

（実施形態３）
本実施形態では、自動実行部１２が自動化対象９２に文字列を入力する場合について説明する。結果確認部１３は、自動入力した文字列と、入力されて画面に反映された文字列を再取得したものとを比較し、一致していることを確認することで、正しく入力できたことを判定する。

図７及び図８に、本実施形態に係る結果確認部の構成図及びフロー図を示す。本実施形態に係る結果確認部１３は、変化検出部として機能する文字列取得部３２１及び文字列記憶部３２２と、判定部として機能する文字列比較部３２３と、を備える。

文字列取得部３２１は、自動実行部１２が図９（ａ）に示す文字列（Ａ１）を自動化対象９２へ送信後に（Ｓ３０１）、実際に画面に表示された図９（ｂ）に示す文字列（Ｂ１）を取得し、文字列記憶部３２２に格納する（Ｓ３０２）。文字列比較部３２３は、自動実行部１２が保持している文字列（Ａ１）と、文字列記憶部３２２が保持している文字列（Ｂ１）を比較し（Ｓ３０３）、等しい場合（Ｓ３０３においてＹｅｓ）には正しい操作がされたと判断し、文字列（Ａ１）と文字列（Ｂ１）が異なる場合（Ｓ３０３においてＮｏ）は誤入力と判断する。

（実施形態４）
本実施形態では、自動実行部１２が自動化対象９２に文字列を入力する。結果確認部１３は、入力された文字列が表示された画面のハードコピーから当該入力項目部分を切り出した画像と、入力しようとした文字列から別途生成した画像とを比較し、一致もしくは類似性を確認することで、文字欠け、あるいは文字化けが発生していないことを判断する。

図１０及び図１１に、本実施形態に係る結果確認部の構成図及びフロー図を示す。本実施形態に係る結果確認部１３は、変化検出部として機能する画像認識部３３１、画像記憶部３３２及び画像生成部３３３と、判定部として機能する画像比較部３３４と、を備える。

画像認識部３３１は、自動実行部１２が図１２（ａ）に示す文字列（Ａ１）を送信後に（Ｓ４０１）、実際に画面に表示された図１２（ｂ）に示す文字列Ｂ１を画像（Ｂ２）としてキャプチャーして（Ｓ４０３）、文字列（Ａ１）及び画像（Ｂ２）を画像記憶部３３２に格納する。画像生成部３３３は、画像記憶部３３２が保持している文字列（Ａ１）から画像（Ａ２）を生成して画像記憶部３３２に格納する（Ｓ４０２）。画像比較部３３４は、画像（Ａ２）と画像（Ｂ２）を比較する（Ｓ４０４）。画像（Ａ２）と画像（Ｂ２）が等しい場合には（Ｓ４０４においてＹｅｓ）正しい操作がされたと判断し、画像（Ａ２）と画像（Ｂ２）が異なる場合（Ｓ４０４においてＮｏ）は誤入力と判断する。

なお、ステップＳ４０２及びＳ４０３の順は任意である。例えば、ステップＳ４０２の後でＳ４０３を行ってもよいし、その逆でもよいし、これらを並行して行ってもよい。

（実施形態５）
本実施形態では、自動実行部１２が自動化対象９２に長めの文字列を入力する。一連の文字列が一度に表示しきれずにはみ出してしまう場合には、結果確認部１３は、一文字入力するごとに、画像での比較を行い、一致もしくは類似性を確認することで、判断する。具体的には、一文字入力前後の画像の差分により、相対位置と入力された一文字の画像を取得し、文字から別途生成した画像との一致確認を行う。

図１０及び図１３に、本実施形態に係る構成図及びフロー図を示す。画像認識部３３１は、自動実行部１２が図１４（ａ）に示す文字（ａ１）を送信後に（Ｓ５０２）、実際に画面に表示された図１４（ｂ）に示す文字を画像（ｂ２）としてキャプチャーして画像記憶部３３２に格納する（Ｓ５０４）。画像（ｂ２）の表示位置も併せて取得して格納する（Ｓ５０４）。一方で、画像生成部３３３は、画像記憶部３３２が保持している文字（ａ１）から画像（ａ２）を生成して画像記憶部３３２に格納する（Ｓ５０３）。画像比較部３３４は、画像（ａ２）と画像（ｂ２）を比較し、画像（ａ２）と画像（ｂ２）が等しい場合（Ｓ５０５においてＹｅｓ）には正しい操作がされたと判断し、画像（ａ２）と画像（ｂ２）が異なる場合（Ｓ５０５においてＮｏ）は誤入力と判断する。

ステップＳ５０２〜Ｓ５０５を送信文字列に含まれる文字数分繰り返し行う（Ｓ５０１）。その際に、ステップＳ５０５において、画像ｂ２の表示位置から、文字ａ１の並びが適切であることも確認し、不適切な並びだった場合には誤入力と判断する。

なお、ステップＳ５０３及びＳ５０４の順は任意である。例えば、ステップＳ５０３の後でＳ５０４を行ってもよいし、その逆でもよいし、これらを並行して行ってもよい。

（実施形態６）
一連の文字列を入力する際に、１文字入力するごとに、画面に何らかの変化があることで、文字欠けがなさそうであることを簡易に判定する。正確性を犠牲にして処理負荷・処理速度の向上を狙う。

図１０及び図１５に、本実施形態に係る構成図及びフロー図を示す。画像認識部３３１は、自動実行部１２が文字（ａ１）を送信前に、図１６（ａ）に示す対象の画面全体をキャプチャーし、画像（Ｘ）として画像記憶部３３２に格納する（Ｓ６０２）。文字（ａ１）送信後にも同様に、図１６（ｂ）に示す対象の画面全体をキャプチャーし、画像（Ｙ）として画像記憶部３３２に格納する。画像比較部３３４は、画像（Ｘ）と画像（Ｙ）を比較し（Ｓ６０５）、画像（Ｘ）と画像（Ｙ）が異なる場合（Ｓ６０５においてＹｅｓ）には正しい操作がされたと判断し、画像（Ｘ）と画像（Ｙ）が等しい場合（Ｓ６０５においてＮｏ）は誤入力と判断する。ステップＳ６０２〜Ｓ６０５を送信文字列に含まれる文字数分繰り返し行う（Ｓ６０１）。

（実施形態７）
本実施形態では、結果確認部１３の動作を設定するための登録部を備える（不図示）。登録部は、任意の画面変化を、画像比較部の判定条件として登録する。これにより、その他のマウス、キーボードの自動操作が、正しく対象アプリケーションに認識されたかを判定可能とする。

（実施形態８）
本実施形態では、結果確認部１３が確認音発生部（不図示）を備える。クリック音が有効になっている場合、自動実行部１２によるボタンやリンクの押下後にクリック音を発する。確認音発生部は、このクリック音を認識し、自動実行部１２によるマウス、キーボードの自動操作が、正しく自動化対象９２に認識されたかを判定する。

（実施形態９）
本実施形態では、結果確認部１３が、実施形態１〜実施形態８の条件のうちのいくつかを選択可能にする条件選択部（不図示）を備える。条件選択部は、選択されたすべての条件を満たすか否かを判定し、すべての条件を満たすすなわちＡＮＤ条件を満たす場合に正しい操作がされたと判定する。これにより、より厳密な判定を可能とする。

（実施形態１０）
本実施形態では、結果確認部１３が、実施形態１〜実施形態８の条件のうちのいくつかを選択可能にする条件選択部（不図示）を備える。条件選択部は、選択されたいずれかを満たすか否かを判定し、いずれかの条件を満たすすなわちＯＲ条件を満たす場合に正しい操作がされたと判定する。これにより、より柔軟な判定を可能とする。

以上説明したように、本発明は、結果確認部１３が人に代わって自動操作の前後の変化を照合するため、自動化ソフトによる文字列の自動入力において文字欠けや文字化けを想定した余分な確認作業を排除できる。マウスやキーボード操作についても入力の取りこぼしを想定する必要がなくなる。これらの誤入力を抑制するために処理速度を遅くするような対処も必要なくなり、確認作業に要していた時間も含め、全体の所要時間を短縮できる。誤った情報がシステムに登録されてしまう危険性を抑制できる。

本発明は情報通信産業に適用することができる。

１１：操作検出部
１２：自動実行部
１３：結果確認部
９１：自動操作装置
９２：自動化対象
３１１、３３１：画像認識部
３１２、３３２：画像記憶部
３１３、３３４：画像比較部
３２１：文字列取得部
３２２：文字列記憶部
３２３：文字列比較部

Claims (6)

1. 自動操作装置が自動化対象に対して行ったマウスクリック操作の誤入力を検出する装置であって、
   前記自動化対象の画面表示のうちのマウスクリック操作を行う操作部分を画像化し、マウスクリック操作装置が行った自動化対象に対するマウスクリック操作の前後における前記自動化対象の変化を検出する変化検出部と、
   マウスクリック操作の前後における画像の変化がマウスクリック操作によって定められる差異を有する場合にマウスクリック操作が適切に行われたと判定し、マウスクリック操作の前後における画像の変化がマウスクリック操作によって定められる差異と異なる場合にマウスクリック操作が適切に行われなかったと判定する判定部と、
   を備える誤入力検出装置。
2. 前記変化検出部は、ボタンダウン前、ボタンダウン後及びボタンアップ後における前記自動化対象の画面表示を画像化し、マウスクリック操作によるボタンダウン前、ボタンダウン後及びボタンアップ後における画像の変化を検出し、
   前記判定部は、ボタンダウン後の画像がボタンダウン前の画像から変化しかつボタンアップ後にボタンダウン前の画像に戻る場合にマウスクリック操作が適切に行われたと判定し、ボタンダウン後の画像がボタンダウン前の画像から変化しないか或いはボタンアップ後にボタンダウン前の画像に戻らない場合にマウスクリック操作が適切に行われなかったと判定する、
   請求項１に記載の誤入力検出装置。
3. 自動操作装置が自動化対象に対して行った文字列入力操作の誤入力を検出する装置であって、
   文字列入力操作の前後における前記自動化対象の画面表示の変化を検出し、前記自動化対象に入力されて画面に反映された文字列を取得する変化検出部と、
   前記変化検出部が取得した文字列と前記自動操作装置から前記自動化対象へ送信した文字列とが一致する場合に文字列入力操作が適切に行われたと判定し、前記変化検出部が取得した文字列と前記自動操作装置から前記自動化対象へ送信した文字列とが不一致である場合に文字列入力操作が適切に行われなかったと判定する判定部と、
   を備える誤入力検出装置。
4. 自動操作装置が自動化対象に対して行ったマウスクリック操作の誤入力を検出する誤入力検出装置が実行する誤入力検出プログラムであって、
   前記自動化対象の画面表示のうちのマウスクリック操作を行う操作部分を画像化し、マウスクリック操作の前後における画像の変化を検出する変化検出ステップと、
   マウスクリック操作の前後における画像の変化がマウスクリック操作によって定められる差異を有する場合にマウスクリック操作が適切に行われたと判定し、マウスクリック操作の前後における画像の変化がマウスクリック操作によって定められる差異と異なる場合にマウスクリック操作が適切に行われなかったと判定する判定ステップと、
   をコンピュータに実行させるための誤入力検出プログラム。
5. 前記変化検出ステップにおいて、ボタンダウン前、ボタンダウン後及びボタンアップ後における前記自動化対象の画面表示を画像化し、マウスクリック操作によるボタンダウン前、ボタンダウン後及びボタンアップ後における画像の変化を検出し、
   前記判定ステップにおいて、ボタンダウン後の画像がボタンダウン前の画像から変化しかつボタンアップ後にボタンダウン前の画像に戻る場合にマウスクリック操作が適切に行われたと判定し、ボタンダウン後の画像がボタンダウン前の画像から変化しないか或いはボタンアップ後にボタンダウン前の画像に戻らない場合にマウスクリック操作が適切に行われなかったと判定する、
   請求項４に記載の誤入力検出プログラム。
6. 自動操作装置が自動化対象に対して行った文字列入力操作の誤入力を検出する誤入力検出装置が実行する誤入力検出プログラムであって、
   文字列入力操作の前後における前記自動化対象の画面表示の変化を検出し、前記自動化対象に入力されて画面に反映された文字列を取得する変化検出ステップと、
   前記変化検出ステップで取得した文字列と前記自動操作装置から前記自動化対象へ送信した文字列とが一致する場合に文字列入力操作が適切に行われたと判定し、前記変化検出ステップで取得した文字列と前記自動操作装置から前記自動化対象へ送信した文字列とが不一致である場合に文字列入力操作が適切に行われなかったと判定する判定ステップと、
   をコンピュータに実行させるための誤入力検出プログラム。

Images