KR20150025106A - 애플리케이션 검증결과 모니터링 서비스를 위한 검증장치, 단말장치, 시스템, 방법 및 컴퓨터로 판독 가능한 기록 매체 - Google Patents

Abstract

본 발명은 애플리케이션 검증결과 모니터링 서비스를 위한 검증장치, 단말장치, 시스템, 방법 및 컴퓨터로 판독 가능한 기록 매체에 관한 것으로, 보다 상세하게는 데이터베이스, 기준 단말장치로부터 전송된 스크립트 파일을 상기 데이터베이스에 등록하고, 상기 스크립트 파일을 적어도 하나 이상의 테스트 단말장치로 전송하며, 상기 테스트 단말장치로부터 스크립트 재생에 따른 상태 정보를 수신하는 통합 매니저, 상기 통합 매니저가 수집한 상태 정보를 분석하여 해당 서비스의 정상 구동 여부를 판단하고, 에러 발생이 감지된 경우 에러 발생 정보를 실시간으로 알리는 분석 매니저를 포함하는 애플리케이션 검증결과 모니터링 서비스를 위한 검증장치, 단말장치, 시스템, 방법 및 컴퓨터로 판독 가능한 기록 매체에 관한 것이다.

Description

애플리케이션 검증결과 모니터링 서비스를 위한 검증장치, 단말장치, 시스템, 방법 및 컴퓨터로 판독 가능한 기록 매체{Verification apparatus, terminal device, system, method and computer-readable medium for monitoring of application verification result}

본 발명은 애플리케이션 검증결과 모니터링 서비스를 위한 검증장치, 단말장치, 시스템, 방법 및 컴퓨터로 판독 가능한 기록 매체에 관한 것으로, 보다 상세하게는 단말장치의 상태 정보를 근거로 현재 실행중인 서비스의 정상 구동 여부를 판단하고, 에러 발생이 감지된 경우 에러 발생 정보를 실시간으로 알리는 애플리케이션 검증결과 모니터링 서비스를 위한 검증장치, 단말장치, 시스템, 방법 및 컴퓨터로 판독 가능한 기록 매체에 관한 것이다.

최근 스마트폰의 등장 이후 이동통신단말 소프트웨어 개발 환경이 개방화되고 있으며, 개발자 수익 모델을 갖춘 시장환경이 형성되는 것과 비례하여 많은 모바일 애플리케이션이 개발되고 있다. 또한 이렇게 개발된 모바일 애플리케이션은 통신 사업자가 제공하는 앱스토어 외 개인 블로그 또는 홈페이지 등 다양한 경로를 통해 배포되고 있다.

이렇듯 이동통신단말의 개발 및 보급이 빠른 속도로 확대되고 다양한 멀티미디어 기능이 하나의 단말기로 통합됨에 따라 애플리케이션 역시 복잡성이 증가하고 있다. 이에 최근에는 애플리케이션을 검증하는 도구 및 테스트 업무에 대한 자동화 요구가 증대되고 있으며, 나아가 테스트 업무의 자동화는 애플리케이션의 품질을 개선시키는 데에 있어서도 매우 중요한 역할을 하고 있다.

한편, 현재 대부분의 서버 시스템에서 채택하고 있는 애플리케이션 검증 모니터링 도구는 OMC(Operation and Management Console)에 기반한 시스템이며 특정 데몬이나 프로세스를 확인하는 용도로 사용된다.

그러나, 종래의 방법으로는 서버에서 구동되는 서비스나 프로세스의 정상 구동 여부를 사용자가 확인할 수 있지만, 서버에서 정상 구동하는 서비스나 프로세스가 단말장치에서 정상으로 구동하는지를 사용자가 확인하지 못하는 문제가 있다. 단말장치에서 서비스를 정상적으로 사용하기 위해서는 다양한 변수들이 존재하기 때문이다. 따라서 사용자의 단말장치에서 특정 서비스가 정상적으로 구동되는지 확인하는 방법이 필요하다.

선행기술 1 : 한국공개특허 제10-2012-0081873호 (2012.07.20. 공개)

본 발명은 상술한 종래의 문제점을 해결하기 위한 것으로, 단말장치에서 특정 서비스가 정상적으로 구동하는지를 확인하기 위한 것이다.

본 발명은 실제 서비스의 정상 구동여부를 기준 단말장치와 동일한 환경과 방법으로 확인하고, 에러 발생이 감지된 경우 즉시 알리는 것을 목적으로 한다.

본 발명은 자동검증 시스템의 스크립트 Record & Play 기능을 활용하여 사용자의 입력을 레코딩(Recording)하고 이를 통해 실제 서비스를 주기적으로 구동하여 로딩시간, 화면의 이상여부를 판정하는 것을 목적으로 한다.

상술한 과제를 해결하기 위한 검증장치는 데이터베이스, 기준 단말장치로부터 전송된 스크립트 파일을 상기 데이터베이스에 등록하고, 상기 스크립트 파일을 적어도 하나 이상의 테스트 단말장치로 전송하며, 상기 테스트 단말장치로부터 스크립트 재생에 따른 상태 정보를 수신하는 통합 매니저, 상기 통합 매니저가 수집한 상태 정보를 분석하여 해당 서비스의 정상 구동 여부를 판단하고, 에러 발생이 감지된 경우 에러 발생 정보를 실시간으로 알리는 분석 매니저를 포함할 수 있다.

본 발명의 데이터베이스에는 스크립트 파일, 테스트 단말장치의 상태정보, 테스트 단말장치에서 실행중인 서비스에 대한 자동 검증 수행 결과 중 적어도 하나가 저장되어 있고, 상기 자동 검증 수행 결과는 실행중인 서비스의 정상 구동 여부에 대한 정보를 포함할 수 있다.

본 발명의 통합 매니저는 테스트 단말장치로부터 워크 정보의 조회가 요청된 경우, 상기 데이터베이스로부터 테스트 단말장치에 할당된 워크 정보를 획득하여 테스트 단말장치로 전송할 수 있다.

상기 분석 매니저는 상기 상태 정보의 화면정보와 기 저장된 뷰 트리(view tree) 정보를 상호 비교하여 일정 비율 이상 일치하지 않으면 실패 처리하여 에러가 발생한 것으로 판단하거나, 상기 상태 정보의 로딩 시간과 기 제작된 스크립트에 정의된 로딩시간을 비교하여 일치하지 않은 경우 에러가 발생한 것으로 판단할 수 있다.

상기 에러 발생 정보는 에러 코드, 시스템 리소스 정보, 프로세스, 실행 서비스 목록, 에러가 발생한 화면 정보 중 적어도 하나를 포함할 수 있다.

한편, 본 발명의 단말장치는 할당받은 프로젝트를 수행하기 위한 대상 애플리케이션을 실행하면서 스크립트 파일을 제작하고, 상기 제작된 스크립트 파일을 저장 및 검증장치에 등록하는 스크립트 생성부, 상기 제작된 스크립트 파일을 기 설정된 일정 시간간격으로 실행하면서 실시간으로 변화하는 상태 정보를 수집하고, 상기 수집된 상태 정보를 검증 장치로 전송하는 단말 제어부, 상기 스크립트 생성부에서 제작된 스크립트 파일이 저장된 저장부를 포함할 수 있다.

또한, 본 발명의 애플리케이션 검증결과 모니터링 서비스 시스템은 할당받은 프로젝트를 수행하기 위한 대상 애플리케이션을 실행하면서 스크립트 파일을 제작하고, 상기 제작된 스크립트 파일을 저장 및 검증장치에 등록하는 기준 단말장치, 기준 단말장치로부터 전송된 스크립트 파일을 데이터베이스에 등록하고, 상기 스크립트 파일을 적어도 하나 이상의 테스트 단말장치로 전송하며, 상기 테스트 단말장치로부터 스크립트 재생에 따른 상태 정보가 수신된 경우, 상기 수신된 상태 정보를 분석하여 해당 서비스의 정상 구동 여부를 판단하고, 에러 발생이 감지된 경우 에러 발생 정보를 실시간으로 알리는 검증 장치, 상기 검증장치로부터 전송된 스크립트 파일을 기 설정된 일정 시간간격으로 실행하면서 실시간으로 변화하는 상태 정보를 수집하고, 상기 수집된 상태 정보를 검증 장치로 전송하는 적어도 하나 이상의 테스트 단말장치를 포함할 수 있다.

또한, 본 발명의 검증장치가 애플리케이션 검증결과를 모니터링하기 위한 방법에 있어서, 기준 단말장치로부터 전송된 스크립트 파일을 데이터베이스에 등록하고, 상기 스크립트 파일을 적어도 하나 이상의 테스트 단말장치로 전송하는 단계, 상기 테스트 단말장치로부터 스크립트 재생에 따른 상태 정보를 수신하는 단계, 상기 수신된 상태 정보를 분석하여 해당 서비스의 정상 구동 여부를 판단하고, 에러 발생이 감지된 경우 에러 발생 정보를 실시간으로 알리는 단계를 포함할 수 있다.

본 발명에서 다양한 실시예로 기재된 애플리케이션 검증결과 모니터링 서비스 방법은 이를 실행하기 위한 프로그램이 수록된 컴퓨터로 판독 가능한 기록 매체에 수록되어 실시될 수 있다.

본 발명에 따르면, 자동검증 시스템의 스크립트 Record & Play 기능을 활용하여 사용자의 입력을 레코딩(Recording)하고 이를 통해 실제 서비스를 주기적으로 구동하여 로딩시간, 화면의 이상여부를 판정함으로써, 단말장치에서 특정 서비스가 정상적으로 구동하는지를 확인할 수 있다.

또한, 실제 서비스의 정상 구동여부를 기준 단말장치와 동일한 환경과 방법으로 확인하고, 에러 발생이 감지된 경우 즉시 알림으로써, 서버단과 무관한 단말 레벨(level)의 에러 감지가 가능하고, 실 사용자와 동일한 환경에서의 문제점 파악이 가능하며, 에러 로그 및 이상 화면 캡쳐 전달에 의한 신속한 문제 파악을 지원할 수 있다.

본 발명의 효과는 이상에서 언급한 효과들로 제한되지 않으며, 이하에서 설명할 내용으로부터 통상의 기술자에게 자명한 범위 내에서 다양한 효과들이 포함될 수 있다.

도 1은 본 발명의 애플리케이션 검증결과 모니터링 서비스 시스템의 일 실시예를 나타낸 도면이다
도 2는 본 발명의 검증 장치(200)의 일 실시예를 나타낸 블록도이다.
도 3은 본 발명의 단말장치(100)의 일 실시예를 나타낸 블록도이다.
도 4는 본 발명의 애플리케이션 검증결과 모니터링 방법의 일 실시예를 나타낸 도면이다.
도 5는 본 발명의 스크립트 파일을 생성하는 방법의 일 실시예를 나타낸 도면이다.
도 6은 본 발명의 스크립트 자동 실행 방법의 일 실시예를 나타낸 도면이다.
도 7은 본 발명의 상태 정보를 분석하는 방법의 일 실시예를 나타낸 도면이다.

본 발명의 전술한 목적과 기술적 구성 및 그에 따른 작용 효과에 관한 자세한 사항은 본 발명의 명세서에 첨부된 도면에 의거한 이하 상세한 설명에 의해 보다 명확하게 이해될 것이다.

도 1은 본 발명의 애플리케이션 검증결과 모니터링 서비스 시스템의 일 실시예를 나타낸 도면이다.

본 발명의 애플리케이션 검증결과 모니터링 서비스 시스템은 할당받은 프로젝트를 수행하기 위한 대상 애플리케이션을 실행하면서 스크립트 파일을 제작하고, 제작된 스크립트 파일을 저장 및 검증장치(200)에 등록하는 기준 단말장치(100A), 기준 단말장치(100A)로부터 스크립트 파일을 수신 및 등록하고, 등록된 스크립트 파일을 적어도 하나 이상의 테스트 단말장치(100B)로 전송하며, 테스트 단말장치들(100B)로부터 전송된 상태 정보를 분석하여 에러 발생 시 관리자에게 알리는 검증 장치(200), 검증 장치(200)로부터 수신된 스크립트를 실행하면서 상태 정보를 수집하고, 수집된 상태 정보를 검증 장치로 전송하는 적어도 하나 이상의 테스트 단말장치(100B)를 포함한다.

테스트 단말장치(100B)는 자동 검증을 위한 스크립트 파일을 기 설정된 일정 시간간격으로 실행하면서 실시간으로 변화하는 상태 정보를 수집하고, 수집된 상태 정보를 실시간 또는 주기적으로 검증 장치(200)로 전송한다. 여기서, 상태정보는 각종 실행 정보, 화면 정보 등을 포함할 수 있고, 각종 실행정보는 단말정보, 시스템 리소스 정보 등을 포함할 수 있다. 단말정보는 단말 규격, 실행시간, 네트워크 사용량 등을 포함하고, 시스템 리소스 정보는 CPU사용량, 메모리 사용량, 네트워크 사용량, 실행 서비스 목록, 프로세스 종료 등을 포함할 수 있다.

테스트 단말장치(100B)는 검증하고자 하는 애플리케이션을 단말장치 상에 실행시키고, 애플리케이션 실행에 따른 화면정보를 상태 정보로 검증 장치(200)로 전송하는 기능을 수행한다.

한편, 복수개의 테스트 단말장치(100B)들은 각각 상이한 하드웨어 또는 소프트웨어를 구비한 것으로서, 동일한 애플리케이션을 실행시켰을 시 각각의 단말장치에서 올바르게 동작하는지를 비교할 수 있도록 함이 바람직하다.

또한, 테스트 단말장치(100B)에서 검증 장치(200)로 전송되는 상태정보는 바람직하게는 스크립트로 작성된 것으로서, 해당 애플리케이션의 컨텐츠를 구성하는 구성요소들을 개별적으로 파싱하여 구분할 수 있는 언어로 작성될 수 있다.

기준 단말장치(100A)와 테스트 단말장치(100B)는 단말장치(100)로 칭하여 도 3에서 설명하기로 한다.

검증 장치(200)는 테스트 단말장치(100B)로부터 전송된 상태 정보를 기 저장된 뷰 트리 정보와 비교하고, 그 비교결과에 따른 자동검증수행 결과를 저장한다.

즉, 검증 장치(200)는 테스트 단말장치(100B)로부터 수신한 상태정보로부터 기 정의된 뷰 트리 정보와 하나 이상의 동일한 속성을 가지는 대상 뷰를 탐색하여, 해당 뷰에 대한 검증을 실시하는 기능을 한다. 뷰(view)란 단말기의 출력창을 통해 표시되는 애플리케이션 컨텐츠의 구성요소를 표시하는 프레임으로서 버튼, 텍스트 필드, 체크박스 등의 다양한 애플리케이션 구성요소를 표시할 수 있는 단위프레임을 말한다. 본 발명을 실시함에 있어, 뷰는 애플리케이션 검증시 기준이 되는 것이며, 본 발명은 검증하고자 하는 애플리케이션의 뷰와 현재 단말장치 상의 실행되고 있는 뷰를 비교하여 가장 유사한 뷰를 탐색함으로써 애플리케이션을 검증하는 작업을 수행한다.

검증 장치(200)는 자동검증수행결과 에러 발생이 감지된 경우, 에러 발생 정보를 기 설정된 관리자 단말 또는 개발자 단말로 실시간으로 전송한다. 이때, 검증 장치(200)는 푸시(push)를 이용하여 에러 발생 정보를 전송할 수 있고, 에러 발생 정보는 에러 로그, 에러가 발생한 화면 정보 등을 포함할 수 있다. 여기서, 에러 로그는 에러 코드, 시스템 리소스 정보, 프로세스, 실행 서비스 목록 등을 포함할 수 있고, 시스템 리소스 정보는 실행시간, 네트워크 사용량, 메모리 사용량 등을 포함할 수 있다.

상기와 같은 구성으로 테스트 단말장치(100B)는 할당된 워크(work) 또는 서비스를 실행하면서 실시간으로 변화하는 상태정보를 검증 장치(200)로 전송하고, 검증 장치(200)는 테스트 단말장치(100B)로부터 전송된 상태 정보를 근거로 테스트 단말장치(100B)에서 워크 또는 서비스가 정상적으로 구동되는지를 실시간으로 판단할 수 있다.

도 2는 본 발명에 따른 검증 장치(200)의 일 실시예를 나타낸 블록도이다.

본 발명의 검증 장치(200)는 통합 매니저(210), 분석 매니저(220), 데이터베이스(230), 출력부(240)를 포함한다.

통합 매니저(210)는 기준 단말장치로부터 스크립트 파일의 등록이 요청된 경우, 스크립트 파일을 데이터베이스(230)에 등록하고, 스크립트 파일을 적어도 하나 이상의 테스트 단말장치로 전송한다. 여기서, 스크립트란 애플리케이션을 검증하기 위한 일련의 검증 시나리오를 작성한 것으로서, 스크립트는 사용자가 임의로 작성하여 생성하거나 기존에 생성되어 있던 스크립트를 타 서버로부터 다운로드(수신)하여 이용할 수 있다. 스크립트는 테스트용 명령어들의 집합으로 이루어지며, 본 발명에 따른 애플리케이션 검증은 스크립트에 포함된 검증 시나리오에 따라 이루어진다.

통합 매니저(210)는 테스트 단말장치로부터 워크(work) 정보의 조회가 요청된 경우, 데이터베이스(230)로부터 테스트 단말장치에 할당된 워크 정보를 획득하여 테스트 단말장치로 전송한다. 여기서, 워크 정보는 테스트 단말장치가 실행해야 할 서비스 등을 포함할 수 있다.

통합 매니저(210)는 테스트 단말장치의 스크립트 재생에 따른 상태 정보를 수신하고, 수신된 상태정보를 데이터베이스(230)에 저장함은 물론 분석 매니저(220)로 전송한다.

분석 매니저(220)는 통합 매니저(210)가 수집한 상태 정보를 분석하여 에러 발생 여부를 판단하고, 에러가 발생한 경우 에러 발생 정보를 기 설정된 관리자 단말 또는 개발자 단말로 실시간으로 전송한다. 예컨대, 분석 매니저(220)는 수집된 상태 정보의 화면정보와 기 저장된 뷰 트리(view tree) 정보를 상호 비교하여, 일정 비율 이상 일치하면 성공, 일정 비율 이상 일치하지 않으면 실패 처리하여 에러가 발생한 것으로 판단할 수 있다. 에러가 발생한 것으로 판단된 경우, 분석 매니저(220)는 에러가 발생한 시점의 화면 정보, 시스템 리소스 정보 등을 에러 발생 정보로 하여 기 설정된 단말장치로 전송한다. 또한, 분석 매니저(220)는 상태 정보의 로딩 시간과 기 제작된 스크립트에 정의된 로딩시간을 비교하여, 일치하지 않은 경우 에러가 발생한 것으로 판단할 수 있다. 즉, 상태 정보에는 화면 로딩 완료 시간에 대한 정보가 포함되어 있으므로, 분석 매니저(220)는 기 제작된 스크립트에 포함된 화면 로딩 완료 시간과 상태 정보에 포함된 화면 로딩 완료 시간을 비교하여, 일치하지 않은 경우 에러가 발생한 것으로 판단할 수 있다.

이처럼 분석 매니저(220)는 테스트 단말장치에서 실행 중인 서비스가 정상적으로 구동되는지를 실질적으로 검증하는 기능부로서, 해당 서비스 애플리케이션 내 특정 뷰를 탐색해 내고, 해당 뷰에 대한 테스트 항목을 검사한다.

구체적으로, 분석 매니저(220)는 테스트 단말장치로부터 전송된 상태 정보내 화면정보와 유사한 대상 뷰를 기 정의된 뷰 트리 정보로부터 탐색하고, 탐색된 대상 뷰에 대해 하나 이상의 테스트 항목 검사를 수행한다. 특히, 사용자는 화면정보 기준 설정값을 미리 설정해 둘 수 있으며, 상태정보의 화면정보와 뷰 트리 정보로부터 추출된 대상 뷰를 비교하여 기준 설정값에 비해 일치도가 낮은 경우 실패, 또는 기준 설정값에 비해 일치도가 높은 경우에는 성공한 것으로 판단하도록 설정할 수 있다.

데이터베이스(230)에는 스크립트 파일, 테스트 단말장치의 상태정보, 자동 검증 수행 결과 등이 저장되어 있다. 여기서, 자동 검증 수행 결과는 테스트 단말장치에서 실행중인 서비스의 정상 구동 여부에 대한 정보를 포함할 수 있고, 정상 구동 여부에 대한 정보는 에러 발생 여부, 에러가 발생한 경우 에러 발생 정보 등을 포함할 수 있다.

또한, 데이터베이스(230)에는 각 테스트 단말장치에 할당된 워크 정보가 저장되어 있다.

출력부(240)는 분석 매니저(220)에서 분석된 자동 검증 수행 결과를 출력할 수 있다. 출력부(240)는 시각적으로 확인 가능한 디스플레이의 형태가 될 수도 있고, 스피커 등 청각적으로 확인 가능한 형태일수도 있으며, 그 밖에 비교 결과를 확인할 수 있는 모든 형태를 포함한다.

도 3은 본 발명에 따른 단말장치(100)의 일 실시예를 나타낸 블록도이다.

본 발명의 단말장치(100)는 스크립트 생성부(110), 사용자 인터페이스부(120), 저장부(130), 단말 제어부(140)를 포함한다.

저장부(130)에는 자동 검증을 위한 스크립트가 저장되어 있다. 이 때, 스크립트란 애플리케이션을 검증하기 위한 일련의 검증 시나리오를 작성한 것으로서, 스크립트는 사용자가 임의로 작성하여 생성하거나 기존에 생성되어 있던 스크립트를 타 서버로부터 다운로드(수신)하여 이용할 수 있다. 스크립트는 테스트용 명령어들의 집합으로 이루어지며, 본 발명에 따른 애플리케이션 검증은 상기 스크립트에 포함된 검증 시나리오에 따라 이루어진다.

저장부(130)에는 앱 자동 검증 애플리케이션을 포함하는 다양한 애플리케이션들이 저장되어 있다.

사용자 인터페이스부(120)는 사용자 명령을 입력받는 입력부 또는 사용자 명령을 출력하는 출력부로 동작할 수 있다. 사용자 인터페이스부(120)가 입력부로 동작하는 경우 사용자로부터 로그인 정보, 사용자 입력 이벤트 등을 입력받는다. 사용자 인터페이스부(120)가 출력부로 동작하는 경우 출력부(600)는 시각적으로 확인 가능한 디스플레이의 형태가 될 수도 있고, 스피커 등 청각적으로 확인 가능한 형태일수도 있으며, 그 밖에 비교 결과를 확인할 수 있는 모든 형태를 포함한다.

스크립트 생성부(110)는 할당받은 프로젝트가 존재하는 경우, 그 프로젝트를 수행하기 위한 대상 애플리케이션을 실행하면서 스크립트 파일을 생성한다.

즉, 스크립트 생성부(110)는 앱 자동 검증 애플리케이션이 구동되면, 로그인 정보 입력 화면을 디스플레이한다. 사용자는 로그인 정보 입력 화면에서 아이디/비밀번호 등의 로그인 정보를 입력하고, 스크립트 생성부(110)는 로그인 정보에 대응하는 프로젝트 정보를 검증 장치로부터 수신한다. 사용자는 프로젝트 정보를 확인하고, 그 프로젝트 수행을 위한 대상 애플리케이션을 선택한 후, 테스트 케이스 및 부가 정보를 입력한다. 그러면, 스크립트 생성부(110)는 스크립트 레코딩을 시작하면서 대상 애플리케이션을 실행하고, 사용자 입력 이벤트가 발생된 경우, 사용자 입력 이벤트를 대상 애플리케이션에 적용함은 물론 스크립트에 포함시킨다. 여기서, 사용자 입력 이벤트는 애플리케이션이 외부 사용자로부터 명령을 입력받아 컨텐츠 상의 변화가 생긴 모든 경우를 일컫는 용어로서, 특히 사용자가 애플리케이션이 실행되고 있는 단말장치 상에 의도하고자 하는 동작을 수행하기 위해 애플리케이션을 조작하는 모든 행위를 단말 장치가 입력으로서 인지하여 일련의 명령으로 인식한 것을 일컫는다. 대표적인 예로서, 사용자가 단말장치의 스크린을 터치하여 애플리케이션의 특정 컨텐츠를 선택하는 경우, 단말 장치가 스크린 터치 행위를 소프트웨어 명령으로 인식한 것을 하나의 이벤트로 정의할 수 있다.

사용자가 스크립트 저장 종료 명령을 선택하면, 스크립트 생성부(110)는 스크립트 저장을 종료하고, 대상 애플리케이션의 실행을 종료한 후, 생성된 스크립트 파일을 저장한다. 위와 같이 스크립트 생성부(110)는 대상 애플리케이션 구동에 따라 화면에 표시된 뷰(view) 정보, 사용자 입력 이벤트를 포함시켜 스크립트를 생성한다.

스크립트 생성부(110)는 제작된 스크립트를 실행하고, 스크립트 실행이 종료되면 저장부(130)에 스크립트 파일을 저장함은 물론 검증 장치에 스크립트 파일을 등록한다.

단말 제어부(140)는 검증 장치에 할당된 워크 정보를 조회하고, 할당된 워크 정보를 실행하기 위한 애플리케이션이 저장부(130)에 저장되어 있는지의 여부를 확인하여, 해당 애플리케이션이 저장된 경우, 스크립트를 실행한다.

단말 제어부(140)는 스크립트 실행 시 상태 정보를 수집하고, 수집된 상태 정보를 검증 장치로 전송한다. 여기서, 상태 정보는 각종 실행 정보, 화면 정보 등을 포함할 수 있고, 각종 실행정보는 단말정보, 시스템 리소스 정보 등을 포함할 수 있다. 단말정보는 단말 규격, 실행시간, 네트워크 사용량 등을 포함하고, 시스템 리소스 정보는 CPU사용량, 메모리 사용량, 네트워크 사용량, 실행 서비스 목록, 프로세스 종료 등을 포함할 수 있다.

즉, 자동검증을 위해 기 제작된 스크립트를 재생하면, 단말 제어부(140)는 단말자체적으로 다양한 상태 정보를 수집하게 된다. 주로, activity의 뷰(view) 속성 정보를 기반으로 Hierarchy를 뷰 트리(view tree)로 저장하고 스크립트 녹화 시 사용자 입력 이벤트와 뷰 트리의 개별 화면(idx)들을 조합하여 정보를 저장한다.

단말 제어부(140)는 기 제작된 스크립트를 일정 시간 간격으로 재생하면서 실시간으로 변화하는 상태 정보를 검증 장치로 전송한다. 그러면, 검증 장치는 상태 정보를 근거로 워크 또는 서비스가 정상적으로 구동되는지를 실시간으로 판단할 수 있다.

도 4는 본 발명의 애플리케이션 검증결과 모니터링 방법의 일 실시예를 나타낸 도면이다.

도 4를 참조하면, 기준 단말장치는 스크립트 파일을 생성하고(S401), 생성된 스크립트 파일을 검증 장치로 전송한다(S403). 스크립트 파일을 생성하는 방법에 대한 상세한 설명은 도 5를 참조하기로 한다.

검증 장치는 기준 단말장치로부터 전송된 스크립트 파일을 등록하고(S405), 스크립트 파일을 테스트 단말장치들에 전송한다(S407).

테스트 단말장치는 스크립트를 실행하면서(S409), 상태 정보를 수집하고(S411), 수집된 상태 정보를 검증 장치로 전송한다(S413).

검증 장치는 테스트 단말장치로부터 전송된 상태 정보를 분석하고(S415), 분석 결과에 따른 자동 검증 수행 결과를 업데이트한다(S417). 이때, 검증 장치는 상태 정보를 분석하여 에러 발생 여부를 판단하고, 에러가 발생한 경우 에러 발생 정보를 기 설정된 관리자 단말 또는 개발자 단말로 실시간으로 전송한다. 이를 통해 관리자 또는 개발자는 테스트 단말장치에 할당된 서비스가 테스트 단말장치에서 정상적으로 구동되는지 여부를 실시간으로 확인할 수 있다.

도 5는 본 발명의 스크립트 파일을 생성하는 방법의 일 실시예를 나타낸 도면이다.

도 5를 참조하면, 기준 단말장치는 앱 자동 검증 애플리케이션을 구동하고(S501), 로그인 정보를 검증 장치로 전송한다(S503). 즉, 앱 자동 검증 애플리케이션이 구동되면, 로그인 정보 입력 화면이 디스플레이된다. 사용자는 로그인 정보 입력 화면에서 아이디/비밀번호 등의 로그인 정보를 입력하고, 기준 단말장치는 로그인 정보를 검증 장치로 전송한다.

검증 장치는 로그인 정보를 근거로 사용자가 할당받은 프로젝트 정보를 획득하여 기준 단말장치로 전송한다(S505). 즉, 검증 장치는 데이터베이스를 검색하여 로그인 정보에 대응하는 프로젝트 정보를 획득한다.

사용자는 기준 단말장치를 이용하여 레코딩 대상 애플리케이션을 선택하고(S507), 테스트 케이스의 선택 및 부가 정보를 입력한다(S509). 여기서, 부가 정보는 리소스 정보 등을 포함할 수 있다.

기준 단말장치는 대상 애플리케이션을 실행하면서 스크립트 파일을 생성한다(S511). 즉, 기준 단말장치는 대상 애플리케이션을 실행하고, 사용자 입력 이벤트가 입력된 경우, 사용자 입력 이벤트를 스크립트에 포함시켜 스크립트를 저장한다. 스크립트의 저장이 종료되면, 기준 단말장치는 대상 애플리케이션의 실행을 종료하고, 생성된 스크립트 파일을 저장한다.

사용자가 생성된 스크립트의 실행 명령을 입력하면, 기준 단말장치는 생성된 스크립트를 실행하고(S513), 스크립트 실행이 종료되면 검증 장치로 스크립트 파일 등록을 요청한다(S515).

검증 장치는 기준 단말장치에 의해 등록 요청된 스크립트 파일을 등록하고, 등록 완료 신호를 기준 단말장치로 전송한다(S517).

도 6은 본 발명에 따른 스크립트 자동 실행 방법의 일 실시예를 나타낸 도면이다.

도 6을 참조하면, 테스트 단말장치는 검증 장치에 접속하여 워크 정보를 조회하고(S601), 검증 장치는 테스트 단말 장치에 할당된 워크 정보를 테스트 단말장치로 전송한다(S603). 즉, 테스트 단말장치는 검증 장치에 접속하여 할당된 워크가 존재하는지의 여부를 확인한다. 그러면, 검증 장치는 테스트 단말장치에 할당된 워크를 조회하고, 할당된 워크 존재 유무를 테스트 단말장치로 전송한다. 테스트 단말 장치는 할당된 워크가 존재한다는 응답이 수신된 경우, 검증 장치에 할당된 워크 정보의 조회를 요청하고, 검증 장치는 할당된 워크 정보를 테스트 단말장치로 전송한다.

테스트 단말장치는 할당된 워크 정보를 실행하기 위한 대상 애플리케이션이 설치되어 있는지의 여부를 판단한다(S605). 이때, 테스트 단말장치는 대상 애플리케이션의 설치 여부는 물론 대상 애플리케이션의 실행 규칙 버전의 일치 여부도 함께 판단할 수 있다.

테스트 단말장치는 할당된 워크 정보를 실행하기 위한 대상 애플리케이션이 설치되어 있는 경우, 워크에 할당된 스크립트를 다운로드하고(S607), 다운로드된 스크립트를 실행하면서 상태 정보를 수집한다(S609). 테스트 단말장치는 스크립트 시작 명령이 입력되면, 단말 상태 변화를 검증 장치로 전송하고, 스크립트를 실행한다. 그러면, 테스트 단말장치는 대상 애플리케이션을 실행하고, 스크립트에 포함된 사용자 입력 이벤트를 대상 애플리케이션에 적용하면서 변화하는 단말 상태 정보를 수집한다. 그런 후, 스크립트가 종료되면, 테스트 단말장치는 대상 애플리케이션의 실행을 종료하고, 수집된 상태 정보를 압축한다.

테스트 단말장치는 압축된 상태 정보를 검증 장치로 업로드하고(S611), 검증 장치는 상태 정보를 업로드하고, 업로드 완료 신호를 테스트 단말장치로 전송한다(S613).

테스트 단말장치는 할당된 워크의 완료 신호를 검증 장치로 전송한다(S615). 이때, 테스트 단말장치는 단말상태 변화를 워크 완료 신호에 포함시켜 전송할 수 있다.

만약, S605에서 할당된 워크의 대상 애플리케이션이 설치되어 있지 않거나, 실행 규칙 버전이 일치하지 않은 경우, 테스트 단말장치는 대상 애플리케이션을 다운로드하거나 일치하는 실행 규칙 버전의 애플리케이션을 다운로드 할 수 있다(S617).

도 7은 본 발명의 상태 정보를 분석하는 방법의 일 실시예를 나타낸 도면이다.

도 7을 참조하면, 검증 장치는 상태 정보 추출 요청 신호를 테스트 단말장치로 전송한다(S701). 테스트 단말장치는 기 저장된 상태 정보를 추출하여(S703), 검증 장치로 전송한다(S705).

검증 장치는 상태 정보의 화면 및 로그 데이터를 분석하고(S707), 분석 결과를 업데이트한다(S709). 이때, 검증 장치는 화면 및 로그 데이터를 분석하여 에러 발생 여부를 판단하고, 에러가 발생한 경우, 에러 발생 정보를 기 설정된 관리자 단말 또는 개발자 단말로 실시간으로 전송한다.

지금까지 기술한 애플리케이션 검증결과 모니터링 서비스 방법은 이를 실행하기 위한 프로그램이 수록된 컴퓨터로 판독 가능한 기록 매체의 형태에 의해 생산, 사용, 양도될 수 있다. 뿐만 아니라, 본 발명은 상기 프로그램을 온라인 상에서 송수신하는 방식에 의해 양도되는 경우, 송수신의 주체가 되는 장치 및 송수신 행위에 대해서도 권리 범위가 미친다고 봄이 당연하다.

이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

본 발명은 애플리케이션 검증결과 모니터링 서비스를 위한 검증장치, 단말장치, 시스템 및 그 방법 를 제공함으로써 서버단과 무관한 단말 레벨(level)의 에러 감지가 가능하고, 실 사용자와 동일한 환경에서의 문제점 파악이 가능하며, 에러 로그 및 이상 화면 캡쳐 전달에 의한 신속한 문제 파악을 지원할 수 있다.

100 단말장치 110 스크립트 생성부
120 사용자 인터페이스부 130 저장부
140 단말 제어부 200 검증장치
210 통합 매니저 220 분석 매니저
230 데이터베이스 240 출력부

Claims (9)

1. 데이터베이스;
   기준 단말장치로부터 전송된 스크립트 파일을 상기 데이터베이스에 등록하고, 상기 스크립트 파일을 적어도 하나 이상의 테스트 단말장치로 전송하며, 상기 테스트 단말장치로부터 스크립트 재생에 따른 상태 정보를 수신하는 통합 매니저; 및
   상기 통합 매니저가 수집한 상태 정보를 분석하여 해당 서비스의 정상 구동 여부를 판단하고, 에러 발생이 감지된 경우 에러 발생 정보를 실시간으로 알리는 분석 매니저;
   를 포함하는 검증 장치
2. 청구항 1에 있어서, 상기 데이터베이스에는 스크립트 파일, 테스트 단말장치의 상태정보, 테스트 단말장치에서 실행중인 서비스에 대한 자동 검증 수행 결과 중 적어도 하나가 저장되어 있고, 상기 자동 검증 수행 결과는 실행중인 서비스의 정상 구동 여부에 대한 정보를 포함하는 것을 특징으로 하는 검증장치
3. 청구항 1에 있어서, 상기 통합 매니저는 테스트 단말장치로부터 워크 정보의 조회가 요청된 경우, 상기 데이터베이스로부터 테스트 단말장치에 할당된 워크 정보를 획득하여 테스트 단말장치로 전송하는 것을 특징으로 하는 검증장치
4. 청구항 1에 있어서, 상기 분석 매니저는 상기 상태 정보의 화면정보와 기 저장된 뷰 트리(view tree) 정보를 상호 비교하여 일정 비율 이상 일치하지 않으면 실패 처리하여 에러가 발생한 것으로 판단하거나, 상기 상태 정보의 로딩 시간과 기 제작된 스크립트에 정의된 로딩시간을 비교하여 일치하지 않은 경우 에러가 발생한 것으로 판단하는 것을 특징으로 하는 검증장치
5. 청구항 1에 있어서, 상기 에러 발생 정보는 에러 코드, 시스템 리소스 정보, 프로세스, 실행 서비스 목록, 에러가 발생한 화면 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 검증장치
6. 할당받은 프로젝트를 수행하기 위한 대상 애플리케이션을 실행하면서 스크립트 파일을 제작하고, 상기 제작된 스크립트 파일을 저장 및 검증장치에 등록하는 스크립트 생성부;
   상기 제작된 스크립트 파일을 기 설정된 일정 시간간격으로 실행하면서 실시간으로 변화하는 상태 정보를 수집하고, 상기 수집된 상태 정보를 검증 장치로 전송하는 단말 제어부; 및
   상기 스크립트 생성부에서 제작된 스크립트 파일이 저장된 저장부;
   를 포함하는 단말장치
7. 할당받은 프로젝트를 수행하기 위한 대상 애플리케이션을 실행하면서 스크립트 파일을 제작하고, 상기 제작된 스크립트 파일을 저장 및 검증장치에 등록하는 기준 단말장치;
   기준 단말장치로부터 전송된 스크립트 파일을 데이터베이스에 등록하고, 상기 스크립트 파일을 적어도 하나 이상의 테스트 단말장치로 전송하며, 상기 테스트 단말장치로부터 스크립트 재생에 따른 상태 정보가 수신된 경우, 상기 수신된 상태 정보를 분석하여 해당 서비스의 정상 구동 여부를 판단하고, 에러 발생이 감지된 경우 에러 발생 정보를 실시간으로 알리는 검증 장치; 및
   상기 검증장치로부터 전송된 스크립트 파일을 기 설정된 일정 시간간격으로 실행하면서 실시간으로 변화하는 상태 정보를 수집하고, 상기 수집된 상태 정보를 검증 장치로 전송하는 적어도 하나 이상의 테스트 단말장치;
   를 포함하는 애플리케이션 검증결과 모니터링 서비스 시스템
8. 검증장치가 애플리케이션 검증결과를 모니터링하기 위한 방법에 있어서,
   기준 단말장치로부터 전송된 스크립트 파일을 데이터베이스에 등록하고, 상기 스크립트 파일을 적어도 하나 이상의 테스트 단말장치로 전송하는 단계;
   상기 테스트 단말장치로부터 스크립트 재생에 따른 상태 정보를 수신하는 단계; 및
   상기 수신된 상태 정보를 분석하여 해당 서비스의 정상 구동 여부를 판단하고, 에러 발생이 감지된 경우 에러 발생 정보를 실시간으로 알리는 단계;
   를 포함하는 애플리케이션 검증결과 모니터링 서비스 방법
9. 청구항 8에 기재된 애플리케이션 검증결과 모니터링 서비스 방법을 실행하기 위한 프로그램이 수록된 컴퓨터로 판독 가능한 기록 매체

Images