JP6209626B2 - データスクレイピングシステム、方法及びコンピュータプログラム - Google Patents
データスクレイピングシステム、方法及びコンピュータプログラム Download PDFInfo
- Publication number
- JP6209626B2 JP6209626B2 JP2016008726A JP2016008726A JP6209626B2 JP 6209626 B2 JP6209626 B2 JP 6209626B2 JP 2016008726 A JP2016008726 A JP 2016008726A JP 2016008726 A JP2016008726 A JP 2016008726A JP 6209626 B2 JP6209626 B2 JP 6209626B2
- Authority
- JP
- Japan
- Prior art keywords
- scraping
- data
- information
- user
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007790 scraping Methods 0.000 title claims description 222
- 238000000034 method Methods 0.000 title claims description 51
- 238000004590 computer program Methods 0.000 title claims description 8
- 238000004891 communication Methods 0.000 claims description 31
- 230000008520 organization Effects 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 10
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 238000007726 management method Methods 0.000 description 39
- 230000015556 catabolic process Effects 0.000 description 17
- 230000008569 process Effects 0.000 description 11
- 230000010354 integration Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000012790 confirmation Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000012546 transfer Methods 0.000 description 5
- 230000036541 health Effects 0.000 description 4
- 238000012797 qualification Methods 0.000 description 4
- 238000012550 audit Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- Physics & Mathematics (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Theoretical Computer Science (AREA)
- Technology Law (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Primary Health Care (AREA)
- Development Economics (AREA)
- Information Transfer Between Computers (AREA)
Description
従来の口座統合サービスシステムは、図1に示したように、ユーザ10が口座統合サービスプログラム20にて第1〜第nの機関40−1〜40−nに登録されたウェブサービスプログラム41にインターネット網30を介して接続して、前記第1〜第nの機関40−1〜40−nの通信セキュリティーポリシーに従ってサービスを行う。このとき、前記スクリーン・スクレイピングは、前記口座統合サービスプログラム20にて行われる。
図2は、一実施例に係るデータスクレイピング(data scrapping)システムの構成を示すブロック図である。
図3に示したように、一実施例に係るデータスクレイピングシステムの管理モジュール100は、情報収集プログラム112、アップデータ部120、作業割り当てスケジューラー130、認証書分配部140、スクレイピングエンジン管理部150を含む。また、一実施例に係るスクレイピングモジュール200は、認証管理部210、スクレイピング作業管理部220、スクレイピング作業モニター230、監査用資料管理部240、スクレイピングエンジン部250、スクレイピング環境管理部260、データベース(database;DB)ファイル部270、及びメタDB280を含む。
従来は、機関で用いるセキュリティーモジュールや通信政策に従って、一つのウィンドウズ(Windows)(登録商標)OSベースのPCで1回のサービスを行う形態で口座統合サービスのためのスクレイピングが行われた。一方、本実施例におけるスクレイピングモジュールは、一台のコンピューティング装置を利用してスクレイピングエンジンが具現され、複数の機関から多重のスクレイピング情報を具現するという点において従来の技術とは差異がある。
図3及び図6を参照すると、先ず、スクレイピングモジュール200では、前記作業割り当てスケジューラー302からスクレイピングに必要な情報を受信し、スクレイピングエンジン情報の読み出しを行う(S100)。これは、スクレイピングモジュールに格納されている認証書のバージョン、スクレイピングモジュールの誤作動の有無、遂行時間、遂行作業の簡略な内容、最適化用情報、スクレイピング作業の権限情報などを確認する過程を含んでいてよい。
Claims (5)
- ユーザ情報に基づいて目的機関から情報を収集するためのデータスクレイピングシステムであって、
スクレイピングを必要とする照会または遂行を呼び出すサービスプログラムを備え、スクレイピングのためのユーザ情報をユーザ装置から受信し、内部スケジュールアルゴリズムを用いてユーザ情報と作業を割り当てる管理モジュール;及び
互いに相違する複数の機関にインターネット網を介して通信可能に接続され、前記管理モジュールによって割り当てられたユーザ情報と作業に基づき、前記複数の機関に登録されたウェブサービスプログラムから呼び出された照会または遂行に対応するデータをスクレイピングするように構成されたスクレイピングモジュールを含み、
前記スクレイピングモジュールは、
更に呼び出された照会または遂行に対応するデータをスクレイピングするために前記複数のそれぞれの機関から要求する通信セキュリティー政策及び前記各機関でデータ項目毎に異なって定義された通信セキュリティー政策に関する情報を格納しており、データをスクレイピングする前記機関の通信セキュリティー政策及びスクレイピングするデータ項目に対して定義された通信セキュリティー政策に応じた方式にてユーザ情報を処理することによって得られた認証値を前記機関に送ることで、前記機関からデータセットを受信するように構成され、
スクレイピングするデータ項目を指定するメタデータベースを含み、更に前記機関が提供する前記データセットから前記メタデータベースに基づいてスクレイピングするデータを抽出するように構成され、
前記ユーザ情報は認証書情報及び電子署名を含み、前記認証値は前記認証書情報及び前記電子署名を前記機関及び前記データ項目に応じた通信セキュリティー政策に従って暗号化することによって得られたものである、データスクレイピングシステム。 - 前記管理モジュールは、更に、呼び出された照会または遂行に対応するデータを前記ユーザ装置に提供するように構成され、前記ユーザ装置はモバイルコンピュータ装置を含む、請求項1に記載のデータスクレイピングシステム。
- ユーザ情報に基づいて目的機関から情報を収集するためのデータスクレイピングシステムを利用したデータスクレイピング方法であって、
ユーザ装置から、ユーザによって呼び出された照会または遂行の情報及びユーザ情報を含む、スクレイピングに必要な情報を受信する段階;
スクレイピングするデータ項目の情報をメタデータベースに格納する段階;
内部スケジュールアルゴリズムを用いて、互いに相違する複数の機関にインターネット網を介して通信可能に接続された前記データスクレイピングシステムのスクレイピングモジュールにユーザ情報と作業を割り当てる段階;及び
前記スクレイピングモジュールが、割り当てられた前記ユーザ情報と作業に基づいて、前記複数の機関と前記インターネット網を介して通信することで前記複数の機関に登録されたウェブサービスプログラムから呼び出された照会または遂行に対応するデータをスクレイピングする段階と;を含み、
前記スクレイピングモジュールは、呼び出された照会または遂行に対応するデータをスクレイピングするために前記複数のそれぞれの機関から要求する通信セキュリティー政策及び前記各機関でデータ項目毎に異なって定義された通信セキュリティー政策に関する情報を格納しており、前記データをスクレイピングする段階は、
データをスクレイピングする前記機関の通信セキュリティー政策及びスクレイピングするデータ項目に対して定義された通信セキュリティー政策に応じた方式にてユーザ情報を処理することによって得られた認証値を前記機関に送ることで、前記機関が提供するデータセットを受信する段階;及び
前記機関が提供する前記データセットから前記メタデータベースに基づいてスクレイピングするデータを抽出する段階を含み、
前記ユーザ情報は認証書情報及び電子署名を含み、前記認証値は前記認証書情報及び前記電子署名を前記機関及び前記データ項目に応じた通信セキュリティー政策に従って暗号化することによって得られたものである、データスクレイピング方法。 - 前記データをスクレイピングする段階の後に、更に、呼び出された照会または遂行に対応するデータを前記ユーザ装置に提供する段階を含み、前記ユーザ装置はモバイルコンピュータ装置を含む、請求項3に記載のデータスクレイピング方法。
- ハードウェアと結合され、請求項3または4に記載のデータスクレイピング方法を実行するように媒体に格納されたコンピュータプログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2015-0189547 | 2015-12-30 | ||
KR1020150189547A KR101815235B1 (ko) | 2015-12-30 | 2015-12-30 | 데이터 스크래핑 시스템, 방법 및 컴퓨터 프로그램 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017120607A JP2017120607A (ja) | 2017-07-06 |
JP6209626B2 true JP6209626B2 (ja) | 2017-10-04 |
Family
ID=59272038
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016008726A Active JP6209626B2 (ja) | 2015-12-30 | 2016-01-20 | データスクレイピングシステム、方法及びコンピュータプログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6209626B2 (ja) |
KR (1) | KR101815235B1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102625971B1 (ko) | 2018-07-02 | 2024-01-19 | 주식회사 비즈모델라인 | 기업 환경 마일리지 제공 추천 방법 |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101944776B1 (ko) | 2017-10-13 | 2019-02-01 | 한국정보통신주식회사 | 스크래핑 분석 알림 서비스 제공 방법 및 그 장치 |
KR102340474B1 (ko) * | 2018-04-25 | 2021-12-20 | 주식회사쿠콘 | 스크립트 엔진을 이용한 데이터 스크래핑 시스템, 방법 및 컴퓨터 프로그램 |
KR102009336B1 (ko) | 2018-04-25 | 2019-08-12 | 주식회사쿠콘 | 미리 스크래핑된 빅데이터를 이용한 클라우드 스크래핑 시스템 및 방법과, 이를 위한 컴퓨터 프로그램 |
KR101982085B1 (ko) * | 2018-04-25 | 2019-05-27 | 주식회사쿠콘 | 스크립트 엔진을 이용한 데이터 스크래핑 시스템, 방법 및 컴퓨터 프로그램 |
KR102179792B1 (ko) | 2018-08-22 | 2020-11-17 | 주식회사 핑거 | 웹 브라우저 기반 스크래핑 시스템 및 방법 |
JP6722735B2 (ja) * | 2018-09-14 | 2020-07-15 | クーコン カンパニー リミテッドCoocon Co.,Ltd. | スクレイピングを通じた資金振替・振込方法とそのシステム及びコンピュータプログラム |
JP7156615B2 (ja) * | 2020-06-22 | 2022-10-19 | クーコン カンパニー リミテッド | スクレイピングを通じた資金振替・振込方法とそのシステム及びコンピュータプログラム |
KR20240055224A (ko) | 2022-10-19 | 2024-04-29 | 주식회사쿠콘 | 하이브리드 스크래핑을 이용한 정보 스크래핑 방법과 시스템 및 이를 위한 컴퓨터 프로그램 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000163375A (ja) * | 1998-11-30 | 2000-06-16 | Hitachi Ltd | 複数ediシステム間でのアクセス権限管理方法 |
WO2001057716A2 (en) * | 2000-02-02 | 2001-08-09 | Ezlogin.Com, Inc. | Clipping and manipulating elements contained in a web page |
JP5576005B2 (ja) * | 2000-11-07 | 2014-08-20 | 株式会社三菱東京Ufj銀行 | 認証代行装置 |
JP2004303037A (ja) * | 2003-03-31 | 2004-10-28 | Ntt Comware Corp | 銀行統合支援システム、方法およびプログラム |
KR100624705B1 (ko) * | 2006-05-16 | 2006-09-15 | 웹케시 주식회사 | 스크래핑 머신을 이용한 스크린 스크래핑 분산처리 방법 및그 시스템 |
JP2009054166A (ja) * | 2008-09-18 | 2009-03-12 | Kazuhiro Yamamoto | 掲載データのクリッピングシステム |
JP2010176387A (ja) * | 2009-01-29 | 2010-08-12 | Nec Corp | 電子スクラップシステム、電子スクラップ方法、電子スクラップサーバ、および利用者端末 |
JP6111404B2 (ja) * | 2010-12-09 | 2017-04-12 | セールスフォース ドット コム インコーポレイティッド | アクティビティのリアルタイムモニタリングのためのシステム、および方法 |
JP2015207074A (ja) * | 2014-04-18 | 2015-11-19 | 日本電気株式会社 | 情報資産管理システム、情報資産管理装置、情報資産管理方法、及び、そのプログラム |
-
2015
- 2015-12-30 KR KR1020150189547A patent/KR101815235B1/ko active IP Right Grant
-
2016
- 2016-01-20 JP JP2016008726A patent/JP6209626B2/ja active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102625971B1 (ko) | 2018-07-02 | 2024-01-19 | 주식회사 비즈모델라인 | 기업 환경 마일리지 제공 추천 방법 |
Also Published As
Publication number | Publication date |
---|---|
KR20170080768A (ko) | 2017-07-11 |
KR101815235B1 (ko) | 2018-01-08 |
JP2017120607A (ja) | 2017-07-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6209626B2 (ja) | データスクレイピングシステム、方法及びコンピュータプログラム | |
US11843584B2 (en) | Methods and systems for securing data in the public cloud | |
CN110636492B (zh) | 使用区块链切换移动服务提供商 | |
JP6707586B2 (ja) | スクリプトエンジンを用いたデータスクレイピングシステム、方法、及びコンピュータプログラム | |
KR102340474B1 (ko) | 스크립트 엔진을 이용한 데이터 스크래핑 시스템, 방법 및 컴퓨터 프로그램 | |
EP3522089A1 (en) | Control method, controller, data structure, and electric power transaction system | |
JP2022522386A (ja) | ブロックチェーンノードへのアイデンティティ証明書の発行方法及び関連装置 | |
CN109711845B (zh) | 一种基于SaaS模式银企互联对接方法及*** | |
CN110084600B (zh) | 决议事务请求的处理、验证方法、装置、设备及介质 | |
KR102139551B1 (ko) | 유언장을 관리하는 서버 및 방법 | |
CN109766316A (zh) | 文件获取方法、装置、计算机设备和存储介质 | |
JP2019192190A (ja) | 予めスクレイプしたビッグデータを用いたクラウドスクレイピングシステム及び方法と、そのためのコンピュータプログラム | |
JP2020161180A (ja) | スクレイピングを通じた資金振替・振込方法とそのシステム及びコンピュータプログラム | |
KR20200107881A (ko) | 유언장을 관리하는 서버 및 방법 | |
JP2020166601A (ja) | 仲介サーバ、プログラム、及び情報処理方法 | |
JP2006260123A (ja) | 債権管理システム、債権管理方法及びプログラム | |
US10460116B2 (en) | Access control method, system and storage medium | |
JP2007299328A (ja) | 計算処理方法および計算処理システム | |
KR102107454B1 (ko) | 금융결제망 다중화 시스템, 이를 이용한 금융 서비스 방법 및 이를 위한 컴퓨터 프로그램 | |
KR20130006281A (ko) | 보조금 지급 제어 방법 및 서버 | |
KR100624705B1 (ko) | 스크래핑 머신을 이용한 스크린 스크래핑 분산처리 방법 및그 시스템 | |
KR20140039792A (ko) | 금융 서비스를 통합 관리하기 위한 방법, 시스템 및 컴퓨터 판독 가능 기록 매체 | |
CN106130740B (zh) | 数字证书同步方法、数字签名服务器及数字证书同步*** | |
KR102383998B1 (ko) | Ip주소를 관리하는 프록시 서버가 포함된 정보수집 대행 시스템 | |
TWI790985B (zh) | 基於區塊鏈及零知識證明機制的資料取用權限控管系統、以及相關的資料服務系統 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170407 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170516 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170816 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170905 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170911 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6209626 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |