KR100880709B1 - 자바스크립트 함수 자동 분석 방법 및 상기 방법을 이용한능동형 웹 수집 로봇 시스템 - Google Patents
자바스크립트 함수 자동 분석 방법 및 상기 방법을 이용한능동형 웹 수집 로봇 시스템 Download PDFInfo
- Publication number
- KR100880709B1 KR100880709B1 KR1020080039810A KR20080039810A KR100880709B1 KR 100880709 B1 KR100880709 B1 KR 100880709B1 KR 1020080039810 A KR1020080039810 A KR 1020080039810A KR 20080039810 A KR20080039810 A KR 20080039810A KR 100880709 B1 KR100880709 B1 KR 100880709B1
- Authority
- KR
- South Korea
- Prior art keywords
- tag
- javascript function
- module
- javascript
- web
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000006870 function Effects 0.000 claims abstract description 98
- 238000004458 analytical method Methods 0.000 claims abstract description 16
- 238000012545 processing Methods 0.000 claims description 28
- 238000012217 deletion Methods 0.000 abstract description 2
- 230000037430 deletion Effects 0.000 abstract description 2
- 239000000284 extract Substances 0.000 description 4
- 238000010586 diagram Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 241000239290 Araneae Species 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/12—Digital output to print unit, e.g. line printer, chain printer
- G06F3/1201—Dedicated interfaces to print systems
- G06F3/1223—Dedicated interfaces to print systems specifically adapted to use a particular technique
- G06F3/1237—Print job management
- G06F3/1244—Job translation or job parsing, e.g. page banding
- G06F3/1246—Job translation or job parsing, e.g. page banding by handling markup languages, e.g. XSL, XML, HTML
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45504—Abstract machines for programme code execution, e.g. Java virtual machine [JVM], interpreters, emulators
- G06F9/45529—Embedded in an application, e.g. JavaScript in a Web browser
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
- H04L63/0227—Filtering policies
- H04L63/0236—Filtering by address, protocol, port number or service, e.g. IP-address or URL
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Human Computer Interaction (AREA)
- Tourism & Hospitality (AREA)
- Human Resources & Organizations (AREA)
- General Business, Economics & Management (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Computing Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Stored Programmes (AREA)
- Information Transfer Between Computers (AREA)
Abstract
Description
Claims (5)
- 자바스크립트 함수를 자동으로 처리하기 위한 능동형 웹 수집 로봇 시스템에 있어서,수집하고자 하는 웹페이지 추가, 열람, 삭제를 제어하는 등록 GUI(10);웹페이지의 수집 결과를 화면, 이메일, SMS를 포함하는 출력 포맷으로 출력하는 출력 GUI(11);웹페이지의 수집 실행을 제어하는 수집 GUI(12);상기 등록 GUI(10), 상기 출력 GUI(11) 및 상기 수집 GUI(12)로부터 받은 명령을 통해 각 등록, 출력 및 수집 기능을 제어하는 관리 모듈(13);수집한 URL 정보를 화면, 이메일, SMS를 포함하는 출력 포맷으로 출력하는 출력 모듈(14);URL 주소 수집을 위해 임의의 웹사이트에 접근하여 수집할 페이지를 탐색하고 저장하는 웹페이지 다운로드 모듈(15);상기 웹페이지 다운로드 모듈(15)이 접근한 대상 웹페이지의 URL 링크들을 수집 처리하는 URL 수집 모듈(16);상기 웹페이지 다운로드 모듈(15)이 접근한 대상 웹페이지의 자바스크립트 함수 처리를 위해 웹페이지 소스를 HTML 소스 부분과 스크립트 소스 부분으로 분리하고, HTML 소스 부분에서 추출된 데이터 태그의 엘리먼트를 재구성하고, 스크립트 소스 부분에서 링크 호출된 자바 스크립트 함수를 추출하여, 상기 엘리먼트가 재구성된 데이터 태그 및 상기 추출된 자바 스크립트 함수를 조합하여 태그를 재구성하는 태그 재구성 모듈(17);상기 태그 재구성 모듈(17)에 의하여 재구성된 태그를 이용한 자바스크립트 함수 실행을 통해 URL 주소를 획득하는 자바 스크립트 함수 실행 모듈(18);수집하고자 하는 웹사이트 정보 및 수집된 URL 주소를 저장하는 웹페이지 수집 데이터베이스(19);를 포함하여 이루어지며, 서버 컴퓨터를 포함하는 연산처리수단에 내장되어 상기 연산처리수단에 의하여 작동되는 것을 특징으로 하는 자바스크립트 자동 분석 방법을 이용한 능동형 웹 수집 로봇 시스템.
- 다운로드받은 웹페이지 소스 내의 태그를 재구성하는 태그 재구성 모듈(17) 및 상기 태그 재구성 모듈(17)에 의하여 재구성된 태그를 이용한 자바스크립트 함수 실행을 통해 URL 주소를 획득하는 자바 스크립트 함수 실행 모듈(18)을 포함하여 이루어져 자바스크립트 함수를 자동으로 처리하는 능동형 웹 수집 로봇 시스템에 의하여 수행되는 자바스크립트 함수 자동 분석 방법에 있어서,a1) 상기 태그 재구성 모듈(17)이, 수집된 웹페이지에 포함된 자바스크립트 함수 링크를 처리하기 위해 요구되는 태그를 재구성하는 단계(S21); 및a2) 상기 자바 스크립트 함수 실행 모듈(18)이, 상기 a1) 단계(S21)에서 재구성된 태그를 웹 브라우저 객체에 삽입하고 해당 자바스크립트 함수의 실행을 통해 URL 주소를 획득하는 단계(S22);를 포함하여 이루어지되,상기 a1) 태그를 재구성하는 단계(S21)는b1) 상기 태그 재구성 모듈(17)이, 웹페이지의 소스의 HTML 소스 부분과 스크립트 소스 부분으로 분리하는 단계(S31);b2) 상기 태그 재구성 모듈(17)이, 상기 b1) 단계(S31)에서 분리된 HTML 소스 부분에서 데이터 태그를 추출하는 단계(S32);b3) 상기 태그 재구성 모듈(17)이, 상기 b1) 단계(S31)에서 분리된 HTML 소스 부분에서 추출된 데이터 태그의 엘리먼트를 재구성하는 단계(S33);b4) 상기 태그 재구성 모듈(17)이, 상기 b1) 단계(S31)에서 분리된 스크립트 소스 부분에서 링크 호출된 자바 스크립트 함수를 추출하는 단계(S34);b5) 상기 태그 재구성 모듈(17)이, 상기 b3) 단계(S33)에서 재구성된 데이터 태그 소스들과 상기 b4) 단계(S34)에서 추출된 자바스크립트 함수 소스들을 조합하는 단계(S35); 및b6) 상기 태그 재구성 모듈(17)이, 상기 b5) 단계(S35)에서 조합되어 생성된 소스 태그를 HTML 파싱을 통하여 경량화하는 단계(S36);를 포함하여 이루어지며,상기 a2) URL 주소를 획득하는 단계(S22)는c1) 상기 자바 스크립트 함수 실행 모듈(18)이, 웹 브라우저 객체를 생성하는 단계(S41);c2) 상기 자바 스크립트 함수 실행 모듈(18)이, 상기 a1) 단계(S21)에서 재구성된 태그를 상기 c1) 단계에서 생성된 웹 브라우저 객체에 삽입하는 단계(S42);c3) 상기 자바 스크립트 함수 실행 모듈(18)이, 상기 c2) 단계(S42)에서 상기 웹 브라우저 객체에 삽입된 자바스크립트 함수를 실행하는 단계(S43); 및c4) 상기 자바 스크립트 함수 실행 모듈(18)이, 상기 c3) 단계(S43)에서 실행된 자바스크립트 함수의 처리 결과로 발생된 URL을 획득하는 단계(S44);를 포함하여 이루어지는 것을 특징으로 하는 자바스크립트 함수 자동 분석 방법.
- 삭제
- 제 2항에 있어서, 상기 데이터 태그는W3C 지정 웹 표준 권고안에 정의된 태그인 <INPUT>, <FORM>, <SELECT> 및 <OPTION> 중 선택되는 어느 하나 이상인 것을 특징으로 하는 자바스크립트 함수 자동 분석 방법.
- 삭제
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020080039810A KR100880709B1 (ko) | 2008-04-29 | 2008-04-29 | 자바스크립트 함수 자동 분석 방법 및 상기 방법을 이용한능동형 웹 수집 로봇 시스템 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020080039810A KR100880709B1 (ko) | 2008-04-29 | 2008-04-29 | 자바스크립트 함수 자동 분석 방법 및 상기 방법을 이용한능동형 웹 수집 로봇 시스템 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR100880709B1 true KR100880709B1 (ko) | 2009-02-02 |
Family
ID=40680855
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020080039810A KR100880709B1 (ko) | 2008-04-29 | 2008-04-29 | 자바스크립트 함수 자동 분석 방법 및 상기 방법을 이용한능동형 웹 수집 로봇 시스템 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR100880709B1 (ko) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011065739A2 (ko) * | 2009-11-27 | 2011-06-03 | 주식회사 로그 | 로그 정보 제공 시스템 및 방법 |
CN104767803A (zh) * | 2015-03-27 | 2015-07-08 | 浪潮集团有限公司 | 互联网数据采集方法 |
WO2022089276A1 (zh) * | 2020-10-29 | 2022-05-05 | 华为技术有限公司 | 一种收藏处理的方法及相关装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR19990070968A (ko) * | 1998-02-26 | 1999-09-15 | 홍오성 | 인터넷 자료 검색 및 데이터베이스화 방법 |
KR100571302B1 (ko) * | 2005-12-30 | 2006-04-17 | (주)첫눈 | 프로그램적으로 링크된 웹 리소스의 주소정보를 수집하는방법 및 그 장치 |
-
2008
- 2008-04-29 KR KR1020080039810A patent/KR100880709B1/ko active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR19990070968A (ko) * | 1998-02-26 | 1999-09-15 | 홍오성 | 인터넷 자료 검색 및 데이터베이스화 방법 |
KR100571302B1 (ko) * | 2005-12-30 | 2006-04-17 | (주)첫눈 | 프로그램적으로 링크된 웹 리소스의 주소정보를 수집하는방법 및 그 장치 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011065739A2 (ko) * | 2009-11-27 | 2011-06-03 | 주식회사 로그 | 로그 정보 제공 시스템 및 방법 |
WO2011065739A3 (ko) * | 2009-11-27 | 2011-09-22 | 주식회사 로그 | 로그 정보 제공 시스템 및 방법 |
CN104767803A (zh) * | 2015-03-27 | 2015-07-08 | 浪潮集团有限公司 | 互联网数据采集方法 |
WO2022089276A1 (zh) * | 2020-10-29 | 2022-05-05 | 华为技术有限公司 | 一种收藏处理的方法及相关装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11113456B2 (en) | System and method for deep linking and search engine support for web sites integrating third party application and components | |
CN108304498B (zh) | 网页数据采集方法、装置、计算机设备和存储介质 | |
US10542123B2 (en) | System and method for generating and monitoring feedback of a published webpage as implemented on a remote client | |
CN102597993B (zh) | 利用统一资源标识符管理应用状态信息 | |
CN109144567B (zh) | 跨平台的网页渲染方法、装置、服务器及存储介质 | |
CN105243159A (zh) | 一种基于可视化脚本编辑器的分布式网络爬虫*** | |
KR100784273B1 (ko) | 통합문서를 이용한 웹서비스 운용 방법 | |
US8839126B1 (en) | Secure HTML components for building client-side user interface | |
JP4935399B2 (ja) | セキュリティ運用管理システム、方法およびプログラム | |
CA2951659A1 (en) | Methods for analyzing web sites using web services and devices thereof | |
Meng et al. | bring2lite: a structural concept and tool for forensic data analysis and recovery of deleted SQLite records | |
CN101763432A (zh) | 一种轻量级网页动态视图快速构建方法 | |
CN112131837A (zh) | 业务报告配置方法、装置、计算机设备和存储介质 | |
CN112612943A (zh) | 一种基于异步处理框架的具有自动测试功能的数据爬取方法 | |
KR100880709B1 (ko) | 자바스크립트 함수 자동 분석 방법 및 상기 방법을 이용한능동형 웹 수집 로봇 시스템 | |
JP5604016B1 (ja) | スクリプトのキャッシュ方法及びそれを適用した情報処理装置 | |
CN103853717A (zh) | 网络爬虫 | |
CN109542501A (zh) | 浏览器表格兼容方法、装置、计算机设备及存储介质 | |
KR101282975B1 (ko) | 문서 요소를 분리 구조화하여 표준화한 후 웹페이지를 재구성하는 웹화면 크롭 서버 장치 | |
JP2019101889A (ja) | テスト実行装置及びプログラム | |
Liu et al. | Testing of AJAX-based Web applications using hierarchical state model | |
US8639732B2 (en) | Method for storing and reading-out data handled by application operating on HTTP client, data storage program, and data read-out program | |
US12001324B2 (en) | Operation pattern generation apparatus, operation pattern generation method and program | |
TW200813761A (en) | System and method for downloading static web page | |
AU2018313995B2 (en) | Systems and methods for providing globalization features in a service management application interface |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
A302 | Request for accelerated examination | ||
E902 | Notification of reason for refusal | ||
E90F | Notification of reason for final refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20130108 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20140124 Year of fee payment: 6 |
|
FPAY | Annual fee payment |
Payment date: 20150108 Year of fee payment: 7 |
|
FPAY | Annual fee payment |
Payment date: 20160113 Year of fee payment: 8 |
|
FPAY | Annual fee payment |
Payment date: 20170110 Year of fee payment: 9 |
|
FPAY | Annual fee payment |
Payment date: 20180116 Year of fee payment: 10 |