JP2021033409A - 業務の自動実行システムおよび方法 - Google Patents
業務の自動実行システムおよび方法 Download PDFInfo
- Publication number
- JP2021033409A JP2021033409A JP2019149699A JP2019149699A JP2021033409A JP 2021033409 A JP2021033409 A JP 2021033409A JP 2019149699 A JP2019149699 A JP 2019149699A JP 2019149699 A JP2019149699 A JP 2019149699A JP 2021033409 A JP2021033409 A JP 2021033409A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- window
- image
- operation target
- desktop
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
Description
図1を用いて、第1の実施形態例における構成を説明する。操作登録部10は、操作対象記憶部11、操作内容記憶部12、操作スクリプト保存部13から構成される。特に、本実施形態例の特徴として、操作対象記憶部11の実行時に、仮想画面データ31に付加情報を与える仮想画面データ作成部14が設けられている。
「自動実行記録1:
「記録(1): アイコン1(画像データ)を、マウス装置左ボタンダブルクリックを行う」
「記録(2): ウィンドウ1のツールバー11(画像データ)を、マウス装置左ボタンクリックを行う 」」
次に、第2の実施形態例における構成を説明する。図12に示すとおり、操作登録部10は、操作対象であるアイコン画像やウィンドウ情報、ツールチップ等を記憶する操作対象記憶部11と、操作対象に対してマウス装置のクリックやダブルクリック、キーボードの文字入力等の操作内容を記憶する操作内容記憶部12と、操作対象と操作内容を紐付けて管理し、操作スクリプト30に記録する操作スクリプト保存部13とで構成される。なお、操作対象記憶部11は、操作対象のアイコンやツールバーの画像(以下、対象アイコン等を記す)を記憶するアイコン情報記憶部11aと、アイコン情報記憶部11aが記憶したアイコンを含むデスクトップ画面をデスクトップ情報として記憶すると共に、後述する仮想画面データ作成部14が作成した複数の仮想画面のうちアイコン情報記憶部11aが記憶したアイコンやツールバーを含む仮想画面を、ウィンドウ情報として記憶するウィンドウ情報記憶部11bと、アイコン情報記憶部11aが記憶したアイコンやツールバーに対応するツールチップを記憶するツールチップ情報記憶部11cで構成される。
11 操作対象記憶部
11a アイコン情報記憶部
11b ウィンドウ情報記憶部
11c ツールチップ情報記憶部
12 操作内容記憶部
13 操作スクリプト保存部
14 仮想画面データ作成部
20 操作実行部
21 操作スクリプト読取部
22 操作対象検索部
22a アイコン情報検索部
22b ウィンドウ情報検索部
22c ツールチップ情報検索部
23 操作内容実行部
30 操作スクリプト
31 仮想画面データ
100 操作登録パソコン
100a ディスプレイ装置(装置登録パソコン)
100b キーボード装置(操作登録パソコン)
100c マウス装置(操作登録パソコン)
200 操作実行パソコン
200a ディスプレイ装置(装置実行パソコン)
200b キーボード装置(操作実行パソコン)
200c マウス装置(操作実行パソコン)
Claims (9)
- パソコンを用いてユーザの操作を記録する操作登録部と、これを再実行するための操作実行部を有する業務の自動実行システムであり、
前記操作登録部は、操作対象を画像イメージとして特定し記憶する操作対象記憶部と、
前記操作対象に対する操作を記憶する操作内容記憶部と、
前記操作対象と操作内容を関連付けて操作スクリプトとして記憶する操作スクリプト保存部と、
前記操作対象の検索条件を含む画像イメージを仮想画面データとして記憶する仮想画面データ作成部を有し、
操作実行部において、記録された前記操作スクリプトを読み込み、前記画像イメージと前記仮想画面データとを参照して、操作対象を特定したうえで、前記操作対象に対する操作を実行することを特徴とする、業務の自動実行システム。 - 前記操作登録部と前記操作実行部とは異なるパソコンで動作することを特徴とする、請求項1に記載の業務の自動実行システム。
- 前記操作登録部と前記操作実行部とは異なる解像度、背景、ウィンドウ構成、フォントサイズであるパソコンで動作することを特徴とする、
請求項1または2に記載の業務の自動実行システム。 - 前記操作登録部は、前記操作対象がアイコン、ウィンドウ、ウィンドウに含まれるツールバーである場合、前記仮想画面データには、これらを区別する画像イメージに併せて種別情報を記憶する、ことを特徴とする、
請求項1乃至3のいずれか一項に記載の業務の自動実行システム。 - 前記操作登録部の前記操作対象記憶部は、操作対象がツールバーである場合に、前記ツールバーに関連してデスクトップ上に表示されるツールチップにおいて、前記ツールチップに併せて表示されるテキスト情報を、前記仮想画面データに併せて記憶し、
前記操作実行部において、操作対象がツールバーである場合に、ツールチップ情報として表示されるテキスト情報が、記憶されたテキスト情報と一致することを条件に含めて操作対象の検索を行う、ことを特徴とする、
請求項4に記載の業務の自動実行システム。 - 前記操作実行部は、操作対象がアイコンである場合に、前記アイコンの画像がデスクトップ上にない場合には、デスクトップ上のウィンドウをアイコン化した上で、前記アイコンをデスクトップ上から検索を行う、ことを特徴とする、
請求項4に記載の業務の自動実行システム。 - 前記操作実行部は、操作対象がツールバーである場合に、前記ツールバーを含むウィンドウの画像がデスクトップ上に表示されていない場合には、デスクトップ上のウィンドウを最前面に移動させた上で、前記ウィンドウをデスクトップ上から検索を行う、ことを特徴とする、
請求項4または5に記載の業務の自動実行システム。 - 前記操作実行部は、操作対象がウィンドウである場合に、前記ウィンドウの画像がデスクトップ上に表示されていない場合には、デスクトップ上のウィンドウを最前面に移動させた上で、前記ウィンドウをデスクトップ上から検索を行う、ことを特徴とする、
請求項1乃至6のいずれか一項に記載の業務の自動実行システム。 - 業務を自動実行する方法であり、
操作記録を行うパソコンにおける操作記録登録部において、
操作対象を画像イメージとして特定し記憶する操作対象記憶ステップと、
前記操作対象の検索条件を含む画像イメージを仮想画面データとして記憶する仮想画面データ作成ステップと、
前記操作対象に対する操作を記憶する操作内容記憶ステップと、
前記操作対象と操作内容を関連付けて記憶する操作スクリプトを保存するステップとを有し、
前記操作記録を実行するパソコンにおける操作実行部において、
前記操作スクリプトから操作対象をデスクトップ画面と前記仮想画面データとを併せて検索することによって特定するステップと、
記録された前記操作内容を実行する操作実行ステップと、を有する、
業務を自動実行する方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019149699A JP7092364B2 (ja) | 2019-08-19 | 2019-08-19 | 業務の自動実行システムおよび方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019149699A JP7092364B2 (ja) | 2019-08-19 | 2019-08-19 | 業務の自動実行システムおよび方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021033409A true JP2021033409A (ja) | 2021-03-01 |
JP7092364B2 JP7092364B2 (ja) | 2022-06-28 |
Family
ID=74676572
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019149699A Active JP7092364B2 (ja) | 2019-08-19 | 2019-08-19 | 業務の自動実行システムおよび方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7092364B2 (ja) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01233617A (ja) * | 1988-03-15 | 1989-09-19 | Fuji Xerox Co Ltd | 情報処理装置 |
JPH05233195A (ja) * | 1992-02-26 | 1993-09-10 | Nec Corp | マルチウィンドウ表示装置 |
JP2007304769A (ja) * | 2006-05-10 | 2007-11-22 | Fuji Xerox Co Ltd | 素材貼付装置 |
JP2012018583A (ja) * | 2010-07-08 | 2012-01-26 | Canon Inc | ソフトウェア開発支援装置及びその処理方法 |
JP2015049520A (ja) * | 2013-08-29 | 2015-03-16 | 富士通株式会社 | シナリオ生成プログラム、シナリオ実行プログラム、シナリオ生成方法、シナリオ実行方法、シナリオ生成装置、及びシナリオ実行装置 |
JP2017084188A (ja) * | 2015-10-29 | 2017-05-18 | 富士通株式会社 | 操作再生プログラム、操作再生装置及び操作再生方法 |
US20180357081A1 (en) * | 2017-06-09 | 2018-12-13 | Fuji Xerox Co., Ltd. | Information processing apparatus and non-transitory computer readable medium storing program |
JP2019021042A (ja) * | 2017-07-18 | 2019-02-07 | 株式会社富士通アドバンストエンジニアリング | 表示制御プログラム、表示制御方法および表示制御装置 |
-
2019
- 2019-08-19 JP JP2019149699A patent/JP7092364B2/ja active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01233617A (ja) * | 1988-03-15 | 1989-09-19 | Fuji Xerox Co Ltd | 情報処理装置 |
JPH05233195A (ja) * | 1992-02-26 | 1993-09-10 | Nec Corp | マルチウィンドウ表示装置 |
JP2007304769A (ja) * | 2006-05-10 | 2007-11-22 | Fuji Xerox Co Ltd | 素材貼付装置 |
JP2012018583A (ja) * | 2010-07-08 | 2012-01-26 | Canon Inc | ソフトウェア開発支援装置及びその処理方法 |
JP2015049520A (ja) * | 2013-08-29 | 2015-03-16 | 富士通株式会社 | シナリオ生成プログラム、シナリオ実行プログラム、シナリオ生成方法、シナリオ実行方法、シナリオ生成装置、及びシナリオ実行装置 |
JP2017084188A (ja) * | 2015-10-29 | 2017-05-18 | 富士通株式会社 | 操作再生プログラム、操作再生装置及び操作再生方法 |
US20180357081A1 (en) * | 2017-06-09 | 2018-12-13 | Fuji Xerox Co., Ltd. | Information processing apparatus and non-transitory computer readable medium storing program |
JP2018206288A (ja) * | 2017-06-09 | 2018-12-27 | 富士ゼロックス株式会社 | 情報処理装置及びプログラム |
JP2019021042A (ja) * | 2017-07-18 | 2019-02-07 | 株式会社富士通アドバンストエンジニアリング | 表示制御プログラム、表示制御方法および表示制御装置 |
Also Published As
Publication number | Publication date |
---|---|
JP7092364B2 (ja) | 2022-06-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11798209B1 (en) | Systems and methods for rendering a third party visualization in response to events received from search queries | |
US9383903B2 (en) | Systems and methods for providing programmable macros | |
US10747952B2 (en) | Automatic creation and server push of multiple distinct drafts | |
US7503012B2 (en) | Invoking user designated actions based upon selected computer content | |
US7493570B2 (en) | User interface options of a data lineage tool | |
US20050060653A1 (en) | Object operation apparatus, object operation method and object operation program | |
US10437779B2 (en) | Intelligent interactive screen capture | |
US20120124502A1 (en) | File management user interface | |
JP7384260B2 (ja) | 情報処理装置及びプログラム | |
US20160283083A1 (en) | Intelligent interactive screen capture | |
US10282177B2 (en) | Application user interface overlays for application lifecycle management | |
US8381104B2 (en) | Systems and methods for providing context recognition | |
US7502967B1 (en) | Identifying an object in a data file that causes an error in an application | |
JP2023107749A (ja) | ブラウザベースのロボティックプロセスオートメーション(rpa)ロボット設計インターフェース | |
CN114868109B (zh) | 用户界面自动化中的自动锚点确定和目标图形元素标识 | |
CN106815010B (zh) | 一种操作数据库的方法及装置 | |
JP7092364B2 (ja) | 業務の自動実行システムおよび方法 | |
CN115826828B (zh) | 网盘文件操作方法、装置、终端及存储介质 | |
US11586802B2 (en) | Parameterized states for customized views of resources | |
JP6739599B1 (ja) | 情報処理プログラム、情報処理方法、及び情報処理装置 | |
JP6927340B2 (ja) | 操作記録プログラム、操作記録方法、操作記録装置、操作再生プログラム、操作再生方法及び操作再生装置 | |
JP7302146B2 (ja) | 情報処理装置、情報処理システム及びプログラム | |
US12050526B2 (en) | User feedback mechanism for software applications | |
JP6813265B2 (ja) | 操作記録再生プログラム、操作記録プログラム、操作記録再生方法及び操作記録再生装置 | |
JP2022117426A (ja) | 情報処理装置、情報処理方法、及び情報処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201201 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210915 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211019 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211220 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220517 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220609 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7092364 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |