JP6452882B1 - ウェブブラウザの操作を伴う業務プロセスを自動化するためのシステム、方法及びプログラム - Google Patents
ウェブブラウザの操作を伴う業務プロセスを自動化するためのシステム、方法及びプログラム Download PDFInfo
- Publication number
- JP6452882B1 JP6452882B1 JP2018141918A JP2018141918A JP6452882B1 JP 6452882 B1 JP6452882 B1 JP 6452882B1 JP 2018141918 A JP2018141918 A JP 2018141918A JP 2018141918 A JP2018141918 A JP 2018141918A JP 6452882 B1 JP6452882 B1 JP 6452882B1
- Authority
- JP
- Japan
- Prior art keywords
- web page
- captured image
- operations
- web browser
- server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 230000008569 process Effects 0.000 title claims abstract description 18
- 230000008859 change Effects 0.000 claims description 2
- 238000003860 storage Methods 0.000 description 10
- 238000002360 preparation method Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 4
- 230000003252 repetitive effect Effects 0.000 description 3
- 238000010079 rubber tapping Methods 0.000 description 3
- BUGBHKTXTAQXES-UHFFFAOYSA-N Selenium Chemical compound [Se] BUGBHKTXTAQXES-UHFFFAOYSA-N 0.000 description 2
- 229910052711 selenium Inorganic materials 0.000 description 2
- 239000011669 selenium Substances 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004801 process automation Methods 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Landscapes
- Information Transfer Between Computers (AREA)
- Stored Programmes (AREA)
- User Interface Of Digital Computer (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
図1は、本実施形態にかかる自動化のための構成を示している。サーバシステム100は、ユーザー端末130と通信を行う第1のサーバ110と、第1のサーバ110からの命令に基づいて、対象となるウェブサイトにアクセスを行う第2のサーバ120とを備える。当該ウェブサイトは、インターネット上の第3のサーバ140により提供される。第1のサーバ110及び第2のサーバ120は、それぞれクラウド上のインスタンスとしてもよく、後述するように、第2のサーバ120に対応するインスタンスを1又は複数のロボット毎に生成してもよい。以下では、この構成を例に説明を行うものの、第2のサーバ120を第1のサーバ110と別個のサーバとすることなく、同一のサーバとしてもよく、この場合には、これらのサーバ間でのデータの授受は行われない。サーバシステム100とユーザー端末130を併せて「システム」と呼ぶことがある。
本実施形態におけるRPAデータ作成の手順を説明する。まず、ユーザーは、ユーザー端末130から、第1のサーバ110により提供されるウェブサイト300にアクセスする(S201)。アクセスの際に、必要に応じてログインが行われる。このとき、ユーザー端末130は、第1のサーバ110又はシステム100から、第1の端末130においてウェブブラウザを用いてRPAデータの作成を行うための作成プログラムを受信する。当該作成プログラムは、たとえばJavaScriptとすることができ、以後ユーザーにより行われる操作をユーザー端末130に記憶させ、また、ユーザーの操作に応じて図4以降に示すようにウェブサイト300の表示を更新させる。
{
type: 'open_url',
id: 'd0e0ff67-980f-4321-8564-458087f12515',
browser_size:
width: 1280,
height: 1024,
url: 'https://www.xxxx.co.jp/news.html'
comment:
}
[
{
type: 'open_url',
...(省略)
},
{
type: 'foreach',
...(省略)
}
]
settings:
default_error_handling: fail_and_stop
code:
- type: open_url
id: d0e0ff67-980f-4321-8564-458087f12515
browser_size:
width: 1280
height: 1024
url: https://www.xxxx.co.jp/news.html
comment:
- type: foreach
id: b0a04b57-2648-491f-8479-32fa3866690d
(以下略)
第1のサーバ110において行われる対象となるウェブページのソースコード解析は、ソースコードにおける各エレメントの位置の特定と、各エレメントの当該ウェブページにおける表示上の位置の特定を含む。また、各エレメントのタグネーム及び属性並びに表示上の高さ及び幅のうちの少なくとも一つを含むことができる。
第1の実施形態では、繰り返し現れるエレメントに対して同一の操作を繰り返したが、同一のエレメントに対して指定した異なる操作を繰り返すこともできる。たとえば、検索エンジンを開いて、あらかじめスプレッドシートに入力されたキーワードを入力フォームに入力して検索結果からテキストを取得する操作を繰り返すことができる。
110 第1のサーバ
111 通信部
112 処理部
113 記憶部
120 第2のサーバ
130 ユーザー端末
140 第3のサーバ
Claims (10)
- ウェブブラウザの操作を伴う業務プロセスを自動化するための方法であって、人間が指定した操作をコンピュータにより読み込み可能なデータとして記述するために、
ウェブブラウザに、操作の対象となるウェブページのキャプチャ画像を表示するステップと、
前記キャプチャ画像上で選択可能なエレメントに対する選択を受け取るステップと、
前記ウェブブラウザに、選択された前記エレメントに関連づけられた選択可能な1又は複数の操作を表示するステップと、
前記1又は複数の操作のうちのいずれかに対する選択を指定として受け取るステップと、
選択された1又は複数のエレメントに対して指定された操作を記述した1又は複数のデータを生成するステップと
を含み、
前記ウェブページ内の各エレメントは、各エレメントの前記ウェブページにおける表示上の位置に対応する前記キャプチャ画像上の位置に、対応するオブジェクトを配置することで選択可能とされることを特徴とする方法。 - 前記オブジェクトは、対応するエレメントを囲う矩形形状であることを特徴とする請求項1に記載の方法。
- 前記指定された操作が前記ウェブページに表示上の変化をもたらす場合、操作対象となるウェブページのキャプチャ画像を再度表示することを特徴とする請求項1又は2に記載の方法。
- 前記指定された操作は、ファイルへの出力又はファイルからの入力であることを特徴とする請求項1から3のいずれかに記載の方法。
- 同一又は異なるウェブページの複数のエレメントに対して操作が指定可能であることを特徴とする請求項1から4のいずれかに記載の方法。
- コンピュータに、ウェブブラウザの操作を伴う業務プロセスを自動化するための方法を実行させるためのプログラムであって、前記方法は、人間が指定した操作をコンピュータにより読み込み可能なデータとして記述するために、
ウェブブラウザに、操作の対象となるウェブページのキャプチャ画像を表示するステップと、
前記キャプチャ画像上で選択可能なエレメントに対する選択を受け取るステップと、
前記ウェブブラウザに、選択された前記エレメントに関連づけられた選択可能な1又は複数の操作を表示するステップと、
前記1又は複数の操作のうちのいずれかに対する選択を指定として受け取るステップと、
選択された1又は複数のエレメントに対して指定された操作を記述した1又は複数のデータを生成するステップとを含み、
前記ウェブページ内の各エレメントは、各エレメントの前記ウェブページにおける表示上の位置に対応する前記キャプチャ画像上の位置に、対応するオブジェクトを配置することで選択可能とされることを特徴とするプログラム。 - ウェブブラウザの操作を伴う業務プロセスを自動化するための方法であって、人間が指定した操作をコンピュータにより読み込み可能なデータとして記述するために、
サーバが、
操作の対象となるウェブページのキャプチャ画像及びソースコードを受信するステップと、
前記ソースコードを解析して前記ソースコードにおける各エレメントの位置を特定するステップと、
各エレメントの前記ウェブページにおける表示上の位置を特定するステップと、
前記キャプチャ画像並びに各エレメントの前記ソースコードにおける位置及び前記表示上の位置をユーザー端末に送信するステップと
を含み、
前記ユーザー端末が、
ウェブブラウザに、受信した前記キャプチャ画像を表示するステップと、
前記キャプチャ画像上で選択可能なエレメントに対する選択を受け取るステップと、
前記ウェブブラウザに、選択された前記エレメントに関連づけられた選択可能な1又は複数の操作を表示するステップと、
前記1又は複数の操作のうちのいずれかに対する選択を指定として受け取るステップと、
選択された1又は複数のエレメントに対して指定された操作を記述した1又は複数のデータを生成して前記サーバに送信するステップと
を含み、
前記ウェブページ内の各エレメントは、各エレメントの前記ウェブページにおける表示上の位置に対応する前記キャプチャ画像上の位置に、対応するオブジェクトを配置することで選択可能とされることを特徴とする方法。 - 前記サーバは、クラウド上の1又は複数のインスタンスであることを特徴とする請求項7に記載の方法。
- サーバ及びユーザー端末に、ウェブブラウザの操作を伴う業務プロセスを自動化するための方法を実行させるためのプログラムであって、前記方法は、人間が指定した操作をコンピュータにより読み込み可能なデータとして記述するために、
サーバが、
操作の対象となるウェブページのキャプチャ画像及びソースコードを受信するステップと、
前記ソースコードを解析して前記ソースコードにおける各エレメントの位置を特定するステップと、
各エレメントの前記ウェブページにおける表示上の位置を特定するステップと、
前記キャプチャ画像並びに各エレメントの前記ソースコードにおける位置及び前記表示上の位置をユーザー端末に送信するステップと
を含み、
前記ユーザー端末が、
ウェブブラウザに、受信した前記キャプチャ画像を表示するステップと、
前記キャプチャ画像上で選択可能なエレメントに対する選択を受け取るステップと、
前記ウェブブラウザに、選択された前記エレメントに関連づけられた選択可能な1又は複数の操作を表示するステップと、
前記1又は複数の操作のうちのいずれかに対する選択を指定として受け取るステップと、
選択された1又は複数のエレメントに対して指定された操作を記述した1又は複数のデータを生成して前記サーバに送信するステップと
を含み、
前記ウェブページ内の各エレメントは、各エレメントの前記ウェブページにおける表示上の位置に対応する前記キャプチャ画像上の位置に、対応するオブジェクトを配置することで選択可能とされることを特徴とするプログラム。 - ウェブブラウザの操作を伴う業務プロセスを自動化するためのシステムであって、人間が指定した操作をコンピュータにより読み込み可能なデータとして記述するために、
操作の対象となるウェブページのキャプチャ画像及びソースコードを受信し、前記ソースコードを解析して前記ソースコードにおける各エレメントの位置及び各エレメントの前記ウェブページにおける表示上の位置を特定し、前記キャプチャ画像並びに各エレメントの前記ソースコードにおける位置及び前記表示上の位置をユーザー端末に送信するサーバと、
ウェブブラウザに、受信した前記キャプチャ画像を表示し、前記キャプチャ画像上で選択可能なエレメントに対する選択を受け取り、前記ウェブブラウザに、選択された前記エレメントに関連づけられた選択可能な1又は複数の操作を表示し、前記1又は複数の操作のうちのいずれかに対する選択を指定として受け取り、選択された1又は複数のエレメントに対して指定された操作を記述した1又は複数のデータを生成して前記サーバに送信するユーザー端末と
を備え、
前記ウェブページ内の各エレメントは、前記ユーザー端末において、各エレメントの前記ウェブページにおける表示上の位置に対応する前記キャプチャ画像上の位置に、対応するオブジェクトを配置することで選択可能とされることを特徴とするシステム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018141918A JP6452882B1 (ja) | 2018-07-28 | 2018-07-28 | ウェブブラウザの操作を伴う業務プロセスを自動化するためのシステム、方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018141918A JP6452882B1 (ja) | 2018-07-28 | 2018-07-28 | ウェブブラウザの操作を伴う業務プロセスを自動化するためのシステム、方法及びプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017199890A Division JP2019074889A (ja) | 2017-10-13 | 2017-10-13 | ウェブブラウザの操作を伴う業務プロセスを自動化するためのシステム、方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6452882B1 true JP6452882B1 (ja) | 2019-01-16 |
JP2019075084A JP2019075084A (ja) | 2019-05-16 |
Family
ID=65020479
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018141918A Active JP6452882B1 (ja) | 2018-07-28 | 2018-07-28 | ウェブブラウザの操作を伴う業務プロセスを自動化するためのシステム、方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6452882B1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111428173A (zh) * | 2020-02-25 | 2020-07-17 | 泰康保险集团股份有限公司 | 一种访问第三方网站的方法及装置 |
US11379282B2 (en) | 2019-07-16 | 2022-07-05 | C-Rise Ltd. | Recording medium, recording system, recording device, analysis device, and recording method |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20230311322A1 (en) | 2022-03-31 | 2023-10-05 | UiPath Inc. | Systems and Methods for Using a Browser to Design Robotic Process Automation (RPA) Robots |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008084665A1 (ja) * | 2006-12-28 | 2008-07-17 | International Business Machines Corporation | 業務処理のためのデータ入力を支援するための方法およびプログラム |
JP2012108740A (ja) * | 2010-11-18 | 2012-06-07 | Hitachi Ltd | 入力支援方法及びプログラム |
US20170001308A1 (en) * | 2015-07-02 | 2017-01-05 | Accenture Global Solutions Limited | Robotic Process Automation |
-
2018
- 2018-07-28 JP JP2018141918A patent/JP6452882B1/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008084665A1 (ja) * | 2006-12-28 | 2008-07-17 | International Business Machines Corporation | 業務処理のためのデータ入力を支援するための方法およびプログラム |
JP2012108740A (ja) * | 2010-11-18 | 2012-06-07 | Hitachi Ltd | 入力支援方法及びプログラム |
US20170001308A1 (en) * | 2015-07-02 | 2017-01-05 | Accenture Global Solutions Limited | Robotic Process Automation |
Non-Patent Citations (1)
Title |
---|
"「RPAソリューション コールセンターで活用できる「ロボット」 成否分ける"現場主導のシナリオ設計"", コールセンタージャパン, vol. 第20巻,第9号, JPN6018044660, 20 August 2017 (2017-08-20), pages pp.72−76 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11379282B2 (en) | 2019-07-16 | 2022-07-05 | C-Rise Ltd. | Recording medium, recording system, recording device, analysis device, and recording method |
EP4002126A4 (en) * | 2019-07-16 | 2023-08-16 | C - R I S E (C-Rise Ltd.) | COMPUTER PROGRAM, RECORDING DEVICE, RECORDING SYSTEM, ANALYTICAL DEVICE AND RECORDING METHOD |
CN111428173A (zh) * | 2020-02-25 | 2020-07-17 | 泰康保险集团股份有限公司 | 一种访问第三方网站的方法及装置 |
CN111428173B (zh) * | 2020-02-25 | 2023-04-07 | 泰康保险集团股份有限公司 | 一种访问第三方网站的方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2019075084A (ja) | 2019-05-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210318851A1 (en) | Systems and Methods for Dataset Merging using Flow Structures | |
WO2019074125A1 (ja) | ウェブブラウザの操作を伴う業務プロセスを自動化するためのシステム、方法及びプログラム | |
US10324828B2 (en) | Generating annotated screenshots based on automated tests | |
CN103207853B (zh) | 提供分析报表中分析数据可视化的直接操纵的方法与*** | |
US20190303269A1 (en) | Methods and systems for testing visual aspects of a web page | |
US11093242B2 (en) | Automatically mapping data while designing process flows | |
US20150128017A1 (en) | Enabling interactive screenshots within collaborative applications | |
CA2684822C (en) | Data transformation based on a technical design document | |
JP6452882B1 (ja) | ウェブブラウザの操作を伴う業務プロセスを自動化するためのシステム、方法及びプログラム | |
US10902254B2 (en) | Converting a captured image of a layout to a structured document template | |
KR101951719B1 (ko) | 그래픽 인터페이스 기반으로 이벤트 동작을 프로그래밍 하는 웹 레포팅 디자인 시스템 | |
CN107209773B (zh) | 自动调用统一的可视化界面 | |
CN110688600A (zh) | 基于html页面的在线编辑方法、装置、设备及存储介质 | |
KR101950126B1 (ko) | 수학공식 처리방법, 장치, 설비 및 컴퓨터 저장 매체 | |
US20150135104A1 (en) | Grid designer for multiple contexts | |
EP3104279A1 (en) | Testing interactive network systems | |
CN103324567A (zh) | 一种应用引擎的调试方法和调试*** | |
US10313483B2 (en) | Method and apparatus for providing a dynamic execution environment in network communication between a client and a server | |
JP2021163504A (ja) | 情報処理プログラム、情報処理装置及び情報処理方法 | |
US11190465B2 (en) | Displaying data sets responsive to natural language messages received by chatbots | |
US20160292067A1 (en) | System and method for keyword based testing of custom components | |
US20210004524A1 (en) | Catalog file creation assistance device, catalog file creation assistance method, and catalog file creation assistance program | |
JP2016224583A (ja) | 解析サーバ装置、解析プログラム | |
JP2021015574A (ja) | コンピュータプログラム、記録装置、記録システム、解析装置及び記録方法 | |
JP6756019B1 (ja) | 情報処理プログラム、情報処理方法及び情報処理システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180728 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20180728 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20180810 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181116 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181121 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181204 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181211 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6452882 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |