JP5878505B2 - 誤入力検出装置および誤入力検出プログラム - Google Patents
誤入力検出装置および誤入力検出プログラム Download PDFInfo
- Publication number
- JP5878505B2 JP5878505B2 JP2013213711A JP2013213711A JP5878505B2 JP 5878505 B2 JP5878505 B2 JP 5878505B2 JP 2013213711 A JP2013213711 A JP 2013213711A JP 2013213711 A JP2013213711 A JP 2013213711A JP 5878505 B2 JP5878505 B2 JP 5878505B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- mouse click
- character string
- change
- button
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Input From Keyboards Or The Like (AREA)
- Debugging And Monitoring (AREA)
Description
自動操作装置が行った自動化対象に対する自動操作の前後における前記自動化対象の変化を検出する変化検出部と、
前記変化検出部の検出した変化に基づいて、自動操作が適切に行われたか否かを判定する判定部と、
を備える。
自動操作装置が自動化対象に対して行ったマウスクリック操作の誤入力を検出する装置であって、
前記自動化対象の画面表示のうちのマウスクリック操作を行う操作部分を画像化し、マウスクリック操作装置が行った自動化対象に対するマウスクリック操作の前後における前記自動化対象の変化を検出する変化検出部と、
マウスクリック操作の前後における画像の変化がマウスクリック操作によって定められる差異を有する場合にマウスクリック操作が適切に行われたと判定し、マウスクリック操作の前後における画像の変化がマウスクリック操作によって定められる差異と異なる場合にマウスクリック操作が適切に行われなかったと判定する判定部と、
を備える。
自動操作装置が自動化対象に対して行った文字列入力操作の誤入力を検出する装置であって、
文字列入力操作の前後における前記自動化対象の画面表示の変化を検出し、前記自動化対象に入力されて画面に反映された文字列を取得する変化検出部と、
前記変化検出部が取得した文字列と前記自動操作装置から前記自動化対象へ送信した文字列とが一致する場合に文字列入力操作が適切に行われたと判定し、前記変化検出部が取得した文字列と前記自動操作装置から前記自動化対象へ送信した文字列とが不一致である場合に文字列入力操作が適切に行われなかったと判定する判定部と、
を備える。
前記変化検出部は、前記自動化対象の画面表示のうちの自動操作によって入力された文字列を画像化するとともに、前記自動操作装置の入力した文字列を画像化し、
前記判定部は、前記変化検出部の画像化した文字列の画像が一致する場合に自動操作が適切に行われたと判定し、前記変化検出部の画像化した文字列の画像が不一致である場合に自動操作が適切に行われなかったと判定してもよい。
自動操作装置が行った自動化対象に対する自動操作の前後における前記自動化対象の変化を検出する変化検出ステップと、
前記変化検出ステップで検出した変化に基づいて、自動操作が適切に行われたか否かを判定する判定ステップと、
をコンピュータに実行させるための誤入力検出プログラムである。
自動操作装置が自動化対象に対して行ったマウスクリック操作の誤入力を検出する誤入力検出装置が実行する誤入力検出プログラムであって、
前記自動化対象の画面表示のうちのマウスクリック操作を行う操作部分を画像化し、マウスクリック操作の前後における画像の変化を検出する変化検出ステップと、
マウスクリック操作の前後における画像の変化がマウスクリック操作によって定められる差異を有する場合にマウスクリック操作が適切に行われたと判定し、マウスクリック操作の前後における画像の変化がマウスクリック操作によって定められる差異と異なる場合にマウスクリック操作が適切に行われなかったと判定する判定ステップと、
をコンピュータに実行させるための誤入力検出プログラムである。
自動操作装置が自動化対象に対して行った文字列入力操作の誤入力を検出する誤入力検出装置が実行する誤入力検出プログラムであって、
文字列入力操作の前後における前記自動化対象の画面表示の変化を検出し、前記自動化対象に入力されて画面に反映された文字列を取得する変化検出ステップと、
前記変化検出ステップで取得した文字列と前記自動操作装置から前記自動化対象へ送信した文字列とが一致する場合に文字列入力操作が適切に行われたと判定し、前記変化検出ステップで取得した文字列と前記自動操作装置から前記自動化対象へ送信した文字列とが不一致である場合に文字列入力操作が適切に行われなかったと判定する判定ステップと、
をコンピュータに実行させるための誤入力検出プログラムである。
前記変化検出ステップにおいて、前記自動化対象の画面表示のうちの自動操作によって入力された文字列を画像化するとともに、前記自動操作装置の入力した文字列を画像化し、
前記判定ステップにおいて、前記変化検出ステップで画像化した文字列の画像が一致する場合に自動操作が適切に行われたと判定し、前記変化検出ステップで画像化した文字列の画像が不一致である場合に自動操作が適切に行われなかったと判定してもよい。
・入力したテキストが文字として一致しているか?
・入力したテキストが画像として一致しているか?
・ボタンが押下されたか?(一旦凹んで戻ったか?)
・チェックのオン/オフが変わったか?
・画面に変化があったか?
・クリック音が鳴ったか?
本実施形態では、自動実行部12が自動化対象92のマウスを自動でクリックする場合について説明する。結果確認部13は、自動化対象92において自動実行されたマウスクリックが正しく自動化対象92のアプリケーションに認識されたか否かを、画像の変化により判定する。
本実施形態では、自動実行部12がラジオボタン形式、あるいはチェックボックス形式の当該GUIに対する左クリックを行う場合について説明する。この場合、結果確認部13は、ボタンダウン前、ボタンアップ後での画像が適切に変化していることを確認する。具体的には、ON/OFFの状態を表すチェックマーク、黒丸の表示/非表示の変化に注目する。
本実施形態では、自動実行部12が自動化対象92に文字列を入力する場合について説明する。結果確認部13は、自動入力した文字列と、入力されて画面に反映された文字列を再取得したものとを比較し、一致していることを確認することで、正しく入力できたことを判定する。
本実施形態では、自動実行部12が自動化対象92に文字列を入力する。結果確認部13は、入力された文字列が表示された画面のハードコピーから当該入力項目部分を切り出した画像と、入力しようとした文字列から別途生成した画像とを比較し、一致もしくは類似性を確認することで、文字欠け、あるいは文字化けが発生していないことを判断する。
本実施形態では、自動実行部12が自動化対象92に長めの文字列を入力する。一連の文字列が一度に表示しきれずにはみ出してしまう場合には、結果確認部13は、一文字入力するごとに、画像での比較を行い、一致もしくは類似性を確認することで、判断する。具体的には、一文字入力前後の画像の差分により、相対位置と入力された一文字の画像を取得し、文字から別途生成した画像との一致確認を行う。
一連の文字列を入力する際に、1文字入力するごとに、画面に何らかの変化があることで、文字欠けがなさそうであることを簡易に判定する。正確性を犠牲にして処理負荷・処理速度の向上を狙う。
本実施形態では、結果確認部13の動作を設定するための登録部を備える(不図示)。登録部は、任意の画面変化を、画像比較部の判定条件として登録する。これにより、その他のマウス、キーボードの自動操作が、正しく対象アプリケーションに認識されたかを判定可能とする。
本実施形態では、結果確認部13が確認音発生部(不図示)を備える。クリック音が有効になっている場合、自動実行部12によるボタンやリンクの押下後にクリック音を発する。確認音発生部は、このクリック音を認識し、自動実行部12によるマウス、キーボードの自動操作が、正しく自動化対象92に認識されたかを判定する。
本実施形態では、結果確認部13が、実施形態1〜実施形態8の条件のうちのいくつかを選択可能にする条件選択部(不図示)を備える。条件選択部は、選択されたすべての条件を満たすか否かを判定し、すべての条件を満たすすなわちAND条件を満たす場合に正しい操作がされたと判定する。これにより、より厳密な判定を可能とする。
本実施形態では、結果確認部13が、実施形態1〜実施形態8の条件のうちのいくつかを選択可能にする条件選択部(不図示)を備える。条件選択部は、選択されたいずれかを満たすか否かを判定し、いずれかの条件を満たすすなわちOR条件を満たす場合に正しい操作がされたと判定する。これにより、より柔軟な判定を可能とする。
12:自動実行部
13:結果確認部
91:自動操作装置
92:自動化対象
311、331:画像認識部
312、332:画像記憶部
313、334:画像比較部
321:文字列取得部
322:文字列記憶部
323:文字列比較部
Claims (6)
- 自動操作装置が自動化対象に対して行ったマウスクリック操作の誤入力を検出する装置であって、
前記自動化対象の画面表示のうちのマウスクリック操作を行う操作部分を画像化し、マウスクリック操作装置が行った自動化対象に対するマウスクリック操作の前後における前記自動化対象の変化を検出する変化検出部と、
マウスクリック操作の前後における画像の変化がマウスクリック操作によって定められる差異を有する場合にマウスクリック操作が適切に行われたと判定し、マウスクリック操作の前後における画像の変化がマウスクリック操作によって定められる差異と異なる場合にマウスクリック操作が適切に行われなかったと判定する判定部と、
を備える誤入力検出装置。 - 前記変化検出部は、ボタンダウン前、ボタンダウン後及びボタンアップ後における前記自動化対象の画面表示を画像化し、マウスクリック操作によるボタンダウン前、ボタンダウン後及びボタンアップ後における画像の変化を検出し、
前記判定部は、ボタンダウン後の画像がボタンダウン前の画像から変化しかつボタンアップ後にボタンダウン前の画像に戻る場合にマウスクリック操作が適切に行われたと判定し、ボタンダウン後の画像がボタンダウン前の画像から変化しないか或いはボタンアップ後にボタンダウン前の画像に戻らない場合にマウスクリック操作が適切に行われなかったと判定する、
請求項1に記載の誤入力検出装置。 - 自動操作装置が自動化対象に対して行った文字列入力操作の誤入力を検出する装置であって、
文字列入力操作の前後における前記自動化対象の画面表示の変化を検出し、前記自動化対象に入力されて画面に反映された文字列を取得する変化検出部と、
前記変化検出部が取得した文字列と前記自動操作装置から前記自動化対象へ送信した文字列とが一致する場合に文字列入力操作が適切に行われたと判定し、前記変化検出部が取得した文字列と前記自動操作装置から前記自動化対象へ送信した文字列とが不一致である場合に文字列入力操作が適切に行われなかったと判定する判定部と、
を備える誤入力検出装置。 - 自動操作装置が自動化対象に対して行ったマウスクリック操作の誤入力を検出する誤入力検出装置が実行する誤入力検出プログラムであって、
前記自動化対象の画面表示のうちのマウスクリック操作を行う操作部分を画像化し、マウスクリック操作の前後における画像の変化を検出する変化検出ステップと、
マウスクリック操作の前後における画像の変化がマウスクリック操作によって定められる差異を有する場合にマウスクリック操作が適切に行われたと判定し、マウスクリック操作の前後における画像の変化がマウスクリック操作によって定められる差異と異なる場合にマウスクリック操作が適切に行われなかったと判定する判定ステップと、
をコンピュータに実行させるための誤入力検出プログラム。 - 前記変化検出ステップにおいて、ボタンダウン前、ボタンダウン後及びボタンアップ後における前記自動化対象の画面表示を画像化し、マウスクリック操作によるボタンダウン前、ボタンダウン後及びボタンアップ後における画像の変化を検出し、
前記判定ステップにおいて、ボタンダウン後の画像がボタンダウン前の画像から変化しかつボタンアップ後にボタンダウン前の画像に戻る場合にマウスクリック操作が適切に行われたと判定し、ボタンダウン後の画像がボタンダウン前の画像から変化しないか或いはボタンアップ後にボタンダウン前の画像に戻らない場合にマウスクリック操作が適切に行われなかったと判定する、
請求項4に記載の誤入力検出プログラム。 - 自動操作装置が自動化対象に対して行った文字列入力操作の誤入力を検出する誤入力検出装置が実行する誤入力検出プログラムであって、
文字列入力操作の前後における前記自動化対象の画面表示の変化を検出し、前記自動化対象に入力されて画面に反映された文字列を取得する変化検出ステップと、
前記変化検出ステップで取得した文字列と前記自動操作装置から前記自動化対象へ送信した文字列とが一致する場合に文字列入力操作が適切に行われたと判定し、前記変化検出ステップで取得した文字列と前記自動操作装置から前記自動化対象へ送信した文字列とが不一致である場合に文字列入力操作が適切に行われなかったと判定する判定ステップと、
をコンピュータに実行させるための誤入力検出プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013213711A JP5878505B2 (ja) | 2013-10-11 | 2013-10-11 | 誤入力検出装置および誤入力検出プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013213711A JP5878505B2 (ja) | 2013-10-11 | 2013-10-11 | 誤入力検出装置および誤入力検出プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015076041A JP2015076041A (ja) | 2015-04-20 |
JP5878505B2 true JP5878505B2 (ja) | 2016-03-08 |
Family
ID=53000818
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013213711A Active JP5878505B2 (ja) | 2013-10-11 | 2013-10-11 | 誤入力検出装置および誤入力検出プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5878505B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7306022B2 (ja) * | 2019-03-29 | 2023-07-11 | 日本電気株式会社 | データ記録装置、データ記録方法およびプログラム |
JP7367451B2 (ja) * | 2019-10-17 | 2023-10-24 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置、情報処理システムおよびプログラム |
US20240096055A1 (en) | 2021-02-08 | 2024-03-21 | Nippon Telegraph And Telephone Corporation | Operation log generation device and operation log generation method |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004038619A (ja) * | 2002-07-04 | 2004-02-05 | Hitachi Ltd | 応答時間自動測定方法および装置 |
JP4381436B2 (ja) * | 2007-07-27 | 2009-12-09 | 株式会社東芝 | シナリオ生成装置およびシナリオ生成プログラム |
JP2010170459A (ja) * | 2009-01-26 | 2010-08-05 | Renesas Electronics Corp | テストシステム、テスト方法およびテストプログラム |
JP2012038162A (ja) * | 2010-08-09 | 2012-02-23 | Ricoh Co Ltd | 自動テストツール・プログラム及び自動テスト方法 |
JP5540413B2 (ja) * | 2010-08-16 | 2014-07-02 | 株式会社牧エンジニアリング | ソフトウェア自動テストシステム |
-
2013
- 2013-10-11 JP JP2013213711A patent/JP5878505B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2015076041A (ja) | 2015-04-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9524293B2 (en) | Techniques for automatically swapping languages and/or content for machine translation | |
US10318152B2 (en) | Modifying key size on a touch screen based on fingertip location | |
US10175852B2 (en) | Information processing methods and electronic devices for classifying applications | |
US20120110459A1 (en) | Automated adjustment of input configuration | |
WO2019019628A1 (zh) | 移动应用的测试方法、装置、测试设备及介质 | |
JP2018515817A (ja) | 視線追跡と音声認識とを組み合わせることにより制御を改善する方法 | |
US9454243B2 (en) | Virtual optical touch screen detecting touch distance | |
JP5878505B2 (ja) | 誤入力検出装置および誤入力検出プログラム | |
US20150100254A1 (en) | Testing method of touch device and system thereof | |
KR102013657B1 (ko) | 연관된 다중 파일 정적 분석 장치 | |
JP6665493B2 (ja) | 文書点検支援装置、文書点検支援システム及びプログラム | |
CN114782627A (zh) | 一种三维模型碰撞检测方法、装置、电子设备及介质 | |
JP5637143B2 (ja) | 共同開発支援システム、共同開発支援方法及びプログラム | |
US20190018503A1 (en) | Cursor control method and cursor control system | |
TWI621052B (zh) | 用於設定和觸控面板之連接參數的觸控處理裝置、電子系統與其觸控處理方法 | |
JP5266416B1 (ja) | テストシステム及びテストプログラム | |
US20200218756A1 (en) | System and Method for Generating Digital Information and Altering Digital Models of Components With Same | |
US11995298B1 (en) | Method to identify a point intended to be selected on a touch screen | |
TWI476645B (zh) | 投影系統及其控制方法 | |
Kra et al. | VISOR | |
JP2015170031A (ja) | 対応付け方法、対応付けプログラム及び対応付け装置 | |
CN116301192A (zh) | 手柄的校准方法、装置、头戴显示设备及介质 | |
CN116030101A (zh) | 一种基于canvas的地图校准方法、装置及终端设备 | |
CN117687527A (zh) | 触控装置、触控位置的检测方法、装置、设备及介质 | |
US20160274681A1 (en) | Image processing system, the image processing device and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150317 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150512 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151110 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151216 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160126 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160128 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5878505 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |