KR20180035515A

KR20180035515A - 스마트 단말기용 클라이언트 및 서버의 성능 검증 방법

Info

Publication number: KR20180035515A
Application number: KR1020160125697A
Authority: KR
Inventors: 맹상영
Original assignee: (주)웰데이타시스템
Priority date: 2016-09-29
Filing date: 2016-09-29
Publication date: 2018-04-06

Abstract

본 발명은 스마트 단말기용 클라이언트 및 서버의 성능 검증 방법에 관한 것으로서, 스마트 단말기용 클라이언트 및 서버의 성능 검증 방법 인적 및 시간적 비용에 대한 문제점을 해결할 수 있는 서버 성능 검증 방법을 제공하기 위한 것이고, 테스트 생성 단계, 에이전트(Agent)에서 수집한 자료정보를 수신하고 수신한 자료정보를 그래픽화하는 테스트 모니터링 및 리포트 단계, 수집된 자료정보를 폴더 단위 또는 미리 설정된 네이밍 룰을 기초로 데이터베이스에 저장하는 테스트 이력 관리 단계를 포함하고, 네이티브 크로스 빌드툴, 유져 생성부(Vegen), 제어부, 가상 유져 전송부, 분석부를 포함하며, 네트워크, CPU, 메모리 등 물리자원의 현황 및 컨텐츠(게임)의 오류를 검출하여 작업자에게 리포트하는 데이터 마이닝 단계 및 파라미터를 통해 실제 다양한 사용자 환경과 유사하도록 부하를 발생시키는 데이터 전송 단계를 포함할 수 있다. 본 발명에 따르면, 컨텐츠(게임) 개발사 및 유통사는 컨텐츠 검증에 사용되는 QA인력, 외산 테스트 솔루션 비용 등을 절감할 수 있고, 수집된 데이터를 기반으로 컨텐츠 개발사는 효과적으로 개발 일정 및 인력을 편성할 수 있어 생산성을 높일 수 있다.

Description

스마트 단말기용 클라이언트 및 서버의 성능 검증 방법{METHOD FOR VERIFYING A PERFORMANCE OF CLIENTS AND SERVERS FOR SMART TERNIMAL}

본 발명은 성능 검증 방법에 관한 것이다. 보다 자세하게는 스마트 단말기용 클라이언트 및 서버의 성능을 검증할 수 있는 방법에 관한 것이다.

스마트폰의 공급이 확대되고 모바일 컨텐츠시장이 이동통신사 위주의 시장에서 오픈마켓으로 급전환 성장함에 따라 시장 진입 장벽은 사라지고 스마트폰용 컨텐츠 개발사들은 급격히 증가 하였다. 이에 따라 경쟁에서 살아남기 위해 방대한 컨텐츠와 네트워크 기능이 탑재된 고성능 그래픽의 고퀄리티 컨텐츠 개발에 개발사 또는 유통사 등은 앞 다투어 기술 개발 및 투자를 하고 있는 상황이다.

사용자의 높은 퀄리티에 대한 요구로 인해 오류 분석 및 검증이라는 과정은 프로젝트의 시장 성패를 가름하는 필수적인 요소가 되었다. 다만, 중·소 개발사들은 높은 비용이 발생되는 검증 과정에 예산을 사용하기 어려운 현실이다.

본 발명의 기술적 과제는 상술한 인적 및 시간적 비용에 대한 문제점을 해결할 수 있는 서버 성능 검증 방법을 제공하기 위한 것이다.

본 발명의 일 양태에 따르면, 필요한 네이티브 크로스 툴 체인을 구성함으로써 플랫폼 별로 구현된 표준 라이브러리의 바이너리 파일과 자동적으로 링크하여 Serialize/Deserialize 바이너리 통신 인터페이스 모듈을 포함하는 네이티브 크로스 빌드툴, 스크립트 로드 후 설정 정보를 셋팅하는 테스트 생성 단계, 에이전트(Agent)에서 수집한 자료정보를 수신하고 수신한 자료정보를 그래픽화하는 테스트 모니터링 및 리포트 단계, 수집된 자료정보를 폴더 단위 또는 미리 설정된 네이밍 룰을 기초로 데이터베이스에 저장하는 테스트 이력 관리 단계를 포함하고, 더 나아가 가상유져를 생성할 수 있는 Vegen(Virtual User Generator), 네트워크, CPU, 메모리 등 물리자원의 현황 및 컨텐츠(게임)의 오류를 검출하여 작업자에게 리포트하는 데이터 마이닝 단계 및 파라미터를 통해 실제 다양한 사용자 환경과 유사하도록 부하를 발생시키는 데이터 전송 단계를 포함한다.

본 발명에 따르면 컨텐츠(게임) 개발사 및 유통사는 컨텐츠 검증에 사용되는 QA인력, 외산 테스트 솔루션 비용 등을 절감할 수 있다.

또한, 본 발명에 따르면 개발 생산성이 향상될 수 있고, 개발 기간을 단축시킬 수 있다. 구체적으로, 본 발명에 따르면 수집된 데이터를 기반으로 컨텐츠 개발사는 효과적으로 개발 일정 및 인력을 편성할 수 있어 생산성이 높아질 수 있다.

도 1은 본 발명의 일 실시예에 따른 스마트 단말기용 클라이언트 및 서버의 성능 검증 방법을 개략적으로 나타낸 블록도이다.
도 2는 본 발명의 일 실시예에 따른 스마트 단말기용 클라이언트 및 서버의 성능 검증 방법의 트래픽 모니터링을 개략적으로 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 스마트 단말기용 클라이언트 및 서버의 성능 검증 방법의 구조를 개략적으로 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 스마트 단말기용 클라이언트 및 서버의 성능 검증 방법의 시나리오 템플릿을 일례로 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 스마트 단말기용 클라이언트 및 서버의 성능 검증 방법의 네이티브 크로스 빌드툴을 개략적으로 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 스마트 단말기용 클라이언트 및 서버의 성능 검증 방법의 테스트 모니터링 및 리포트 단계의 자료정보 그래픽화를 개략적으로 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 스마트 단말기용 클라이언트 및 서버의 성능 검증 방법의 테스트 이력 관리 단계를 통해 저장된 테스트 결과를 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따른 스마트 단말기용 클라이언트 및 서버의 성능 검증 방법의 가상 유져 생성 단계를 나타낸 순서도이다.

이하, 첨부된 도면을 참조하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 이하에서 개시되는 실시 예에 한정되지 않는다. 또한 도면에서 본 발명을 명확하게 개시하기 위해서 본 발명과 관계없는 부분은 생략하였으며, 도면에서 동일하거나 유사한 부호들은 동일하거나 유사한 구성요소들을 나타낸다.

본 발명의 목적 및 효과는 하기의 설명에 의해서 자연스럽게 이해되거나 보다 분명해질 수 있으며, 하기의 기재만으로 본 발명의 목적 및 효과가 제한되는 것은 아니다.

본 발명의 목적, 특징 및 장점은 다음의 상세한 설명을 통하여 보다 분명해 질 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이, 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 실시예를 상세히 설명하기로 한다.

스마트폰의 공급이 확대되고 모바일 컨텐츠 시장이 이동통신사 위주의 시장에서 오픈마켓으로 급전환 성장함에 따라 시장 진입 장벽은 사라지고 스마트폰용 컨텐츠 개발사들은 급격히 증가 하였다. 이에 따라 경쟁에서 살아남기 위해 방대한 컨텐츠와 네트워크 기능이 탑재된 고성능 그래픽의 고 퀄리티 컨텐츠 개발에 개발사 또는 유통사 등은 앞 다투어 기술 개발 및 투자를 하고 있는 상황이다. 사용자의 높은 퀄리티에 대한 요구로 인해 오류 분석 및 검증이라는 과정은 프로젝트의 시장 성패를 가름하는 필수적인 요소가 되었다. 다만, 중·소 개발사들은 높은 비용이 발생되는 검증 과정에 예산을 사용하기 어려운 현실이다. 상술한 시장의 흐름과 사용자의 만족성을 높이기 위하여 클라이언트 및 서버의 오류 분석 및 성능 검증에 대한 솔루션의 필요성이 대두 되고 있으나, 현재 시장에는 스마트 단말기용 컨텐츠를 위한 최적화된 오류 검출 및 부하 검증 방법은 존재하지 않는다. 상세하게, 스마트 단말기용 컨텐츠 개발의 일반적인 프로세스는 기획, 구현, 테스트, 상용화로 이루어진다. QA는 기획에서 테스트 단계 까지라고 할 수 있고 테스트 단계에서는 반복적인 테스트를 통해 문제점을 확인한다. 이러한 프로세스를 통해 상용화 이전에 예상하지 못한 문제를 확인하여 해결하는데 까지 많은 시간과 인력을 소모하게 된다. 특히, 테스트 단계에서 많은 시간과 인력이 필요하기 때문에 게임의 경우 대부분의 개발사 및 유통사는 사용자들을 대상으로 하는 클로즈 베타(Close Beta Service) 또는 오픈 베타서비스 (Open Beta Service)를 통해 컨텐츠의 테스트를 진행한다. 이러한 경우 사용자에게 공개된 베타 서비스가 사용자들을 만족 시키지 못하거나 심각한 문제가 발생 할 경우 게임은 정식 상용화가 되기도 전에 흥행에 큰 타격을 입는다. 또한, 대형 게임 개발사의 웹 서버 검증 솔루션(HP사의 로드러너 등)을 이용하여 검증을 하고 있다. 그러나 이 또한, 시나리오에 의한 검증이고 웹 서버 중심의 검증이기 때문에 미리 입력한 시나리오 외 상황과 클라이언트에서의 문제까지는 검증하기 어렵다. 즉, 스마트 단말기용 게임의 검증 및 분석이라기 보다 웹 서버 부하 테스트로 볼 수 있다. 또한, 중소기업의 경우 웹 서버 검증 솔루션의 이용 또한 비용적으로 매우 큰 부담이다. 때문에 기업 내 인력으로만 테스트를 진행하는 것이 현재 스마트폰 게임 업계의 상황이고 이러한 검증은 정확한 분석이 어려우며 사용되는 많은 비용이 발생한다. 한편, 이러한 문제들로 인해 중소 개발 업체들의 경우 이런 부담으로 인해 아무런 검증 없이 문제에 대한 위험을 감수하며 상용 서비스를 하고 있다. 더 나아가, 개인 개발자의 경우 제대로 된 테스트 조차 하지 못하는 것이 현실이며 참신한 아이디어를 가진 게임이 서비스 안정성 문제로 사장되는 사례까지 빈번해지고 있다. 이와 같이 고비용 비효율적인 게임 분석과 검증을 진행함에 있어 스마트 단말기용 클라이언트 및 서버 성능 검증 솔루션의 필요성이 대두 되었다. 또한, 기존의 스마트폰 게임 테스트는 데이터 중심의 시나리오 테스트로 이루어졌다. 시나리오 기반의 테스트를 하였기 때문에 사전에 정하지 않은 예외 상황에 대해 매우 취약한 상태이다. 이를 위해 인력을 사용 한다면 많은 시간과 비용을 들여야 하기 때문에 매우 비효율적이다. 다수의 사용자가 다양한 단말기와 통신망을 통해 서버에 함께 접속하여 게임을 진행하면 동시 다발적으로 클라이언트와 서버 간에 패킷 정보를 주고 받는다. 이때에 예상치 못한 문제가 발생 될 수 있다. 이와 같은 문제점으로 인해 QA(Quality Assurance), FGT(Focus Group Testing)을 대행해 주는 업체도 있으나 많은 중·소 업체에게는 비용의 부담이 따른다. 일례로, FGT의 경우 게임 테스트 전문 10인 기준 1주 플레이를 통한 검증 방법에 견적은 약 1,500만원으로서 가격적 부담으로 인해 대행 업체를 이용하기에 중소기업으로써 어렵다. 더불어 컨텐츠의 내용이 바뀔 때 마다 매번 이 비용을 들여 테스트를 진행해야만 한다. 스마트 단말기용 컨텐츠(게임)는 기본적으로 시나리오와 다양한 플로우가 존재하기 때문에 기존 웹 서버 중심의 검증은 웹 서버에 특정 접속 인원을 셋팅하고 쿼리 등의 기능이 작동하는지 또한 접속 인원에 대한 부하의 양 등을 검증하게 되어있기 때문에 컨텐츠(게임)의 시나리오와 플로우를 검증하기에는 적합하지 않다. 특정 기능별 인원과 게임 이용자의 다양한 시나리오를 분석 검증하기 위해서는 게임의 기본 구조에 적합하고 이벤트별 시나리오를 적합하게 셋팅 할 수 있도록 해야 한다. 한편, 고가의 외산 웹 서버검증 솔루션을 도입하더라도 전문 운용 인력의 부재와 컨텐츠 변화에 따른 지속적인 시나리오 업데이트의 불편으로 인해 비용과 시간이 동시에 소모되는 현실이다. 상술한 바와 같이 비용적인 어려움으로 창업 1~2년 내의 상용서비스를 아직 하지 못한 개발사가 스마트 단말기용 컨텐츠(게임)의 기능 분석 및 검증을 직접 진행하는 경우에는 상용에서 발생되는 다양한 문제점과 오픈 초기의 사용자의 집중적인 서버접속으로 인한 부하에 대해서 경험의 부족으로 인해 빠르게 대응 하기 어렵다. 컨텐츠(게임)의 출시 전 후에 수십종류의 스마트 단말기에서 발생되는 오류 사항, 초기 집중적인 부하에 대한 부하 분산 및 대응, 컨텐츠(게임)의 시나리오 기본 과 예외적인 플로우에 대한 오류 검증은 초기 기업에게 매우 어려운 일이다.

본 발명의 일 실시예에 따른 스마트 단말기용 클라이언트 및 서버의 성능 검증 방법은 서비스를 하기 위해 개발이 된 스마트 단말기용 컨텐츠의 성능(응답 속도, 처리량, 처리 속도, 지연 사항 등)에 대해 효율적으로 사용되고 있는 여부를 검증하는 솔루션이다. 스마트 단말기용 클라이언트 및 서버의 성능 검증 방법은 웹 어플리케이션 서버의 성능을 테스트하고 몇 명의 사용자에 의한 부하를 처리 할 수 있는지를 확인한다. 본 발명은 웹 어플리케이션의 오류, 데이터베이스 서버의 설정, 연결 방식, 문제점, 네트워크의 이슈를 상용 서비스 이전에 실제 환경과 유사한 형태로 검증하여 그 결과에 따른 상태를 사용자에게 리포팅할 수 있다. 또한, 본 발명은 클라이언트 오류 검출 및 보고, 클라이언트 검증용 시나리오 생성, 서버 부하 검증 및 보고, 서버 검증용 시나리오 생성, 서버 부하를 위한 가상 유저 생성, 가상 유저 관리, 보고된 오류를 축적하고 표준 테스트 시나리오를 생성하는 Agent 기능, 컨텐츠(게임) 서비스를 위한 서버 모니터링 및 클라이언트 검증 SDK를 손쉽게 적용시켜주는 빌드툴 기능을 포함할 수 있다. 이는 사용자로 하여금 관리와 모니터링, 리포팅 작업이 용이한 웹 기반의 인터페이스로 제공하여 사용자의 편의성을 제공할 수 있다. 컨텐츠(게임) 컨텐츠의 경우 검증 적용과 범위는 로그인 서버, 컨텐츠(게임) 서버, 존 서버 등 각각의 서버 부하 테스트와 네트워크 패킷 지연, 손실, 대역폭, 응답시간, 병목현상 등에 대한 네트워크 부하 테스트가 손쉽게 가능하도록 한다. 또한, 네트워크 CPU, 메모리 등 물리 자원의 현황뿐만 아니라 컨텐츠(게임)의 콘텐츠 오류들을 검출하여 인적 테스트의 범위에서 정량적인 평가가 되지 않던 영역까지 데이터화 하여 사용자에게 리포팅 한다. 추가로 기존의 웹 검증 솔루션에서 제공하지 않던 클라이언트에서 발생하는 메모리 사용량, 네트워크 경로, 성능 등의 검증을 제공하기 때문에 사용자(개발사)가 손쉽게 사용할 수 있다.

본 발명의 일 실시예에 따른 스마트 단말기용 클라이언트 및 서버의 성능 검증 방법은 사용자(개발사)가 사전 기획 된 혹은 템플릿으로 제공되는 시나리오를 셋팅 하고 Agent 상에 분석 대상 컨텐츠(게임)를 로드해 가상유저를 프로그램 상에 구동시키면 컨텐츠(게임)상의 메모리 CPU 응답 시간 등의 정보 값을 도출하고 이를 리포팅 할 수 있다. 사용자는 스크립트 템플릿을 관리하고, 로드 생성기는 준비된 스크립트를 로드하여 정보를 세팅한다. 로드 생성기에서 발생되는 테스트 목록은 agent에서 수집되어 controller로 결과를 전송한다. controller로 수집되는 데이터는 표 1과 같다.

본 발명의 일 실시예에 따른 스마트 단말기용 클라이언트 및 서버의 성능 검증 방법은 크게 분석 및 검증을 위한 사용자 환경, 가상 유저 생성 기능 및 데이터 마이닝을 위한 Agent 기능을 제공할 수 있다. 상세하게, 분석 및 검증을 위한 사용자 환경은 네이티브 크로스 툴 체인을 구성하여 플랫폼 별로 구현된 표준 라이브러리의 바이너리 파일과 자동적으로 링크하여 Serialize/Deserialize 바이너리 통신 인터페이스 모듈을 포함하는 네이티브 크로스 빌드툴 기능, 스크립트 로드 후 설정 정보 셋팅하는 테스트 생성 기능, Agent에서 수집한 자료정보를 그래픽화하는 테스트 모니터링 및 리포트 기능, 폴더 단위, 네이밍 룰을 기초로 정리되는 테스트 이력 관리 기능을 포함할 수 있다. 또한, 가상유저 생성 기능은 VuGen(Virtual User Generator)을 통해 진행하는 것이 바람직하다. 한편, 데이터 마이닝을 위한 Agent 기능은 데이터 마이닝 및 데이터 전송을 포함할 수 있다. 데이터 마이닝은 네트워크, CPU, 메모리 등 물리자원의 현황뿐만 아니라 컨텐츠(게임)의 오류 등을 검출하여 작업자에게 리포트한다. 데이터 전송은 수집된 테스트 데이터는 파라미터를 통해 실제 사용자와 유사한 부하를 발생시킨다. 일례로, 스크립트 로드 후 설정 정보를 셋팅하는 테스트 생성 단계, Agent에서 수집한 자료정보를 수신하는 단계, Agent에서 수집한 자료정보를 그래픽화하는 단계, 테스트 이력을 폴더 단위, 네이밍 룰을 정해 저장하는 단계를 포함할 수 있다.

본 발명의 일 실시예에 따른 스마트 단말기용 클라이언트 및 서버의 성능 검증 방법은 사용자 관리 모듈을 포함할 수 있다. 사용자 관리 모듈은 관리자와 일반 사용자의 컨텐츠(게임) 시나리오 작성의 초기 가이드와, 기본 규칙을 가이드하고, 데이터 통신을 위한 데이터 정의 클래스를 포함할 수 있다. 상세하게, 사용자 관리 모듈은 가상 유져 생성부, 제어부, 가상 유져 전송부, 분석부를 포함할 수 있다. 보다 상세하게, 가상 유져 생성부는 가상 사용자를 생성하기 위해 어플리케이션 비즈니스 프로세스를 레코딩하는 구성으로서 테스트 사용자 시나리오 레코드, Transactions 및 스크립트의 테스트 데이터 파라미터를 설정할 수 있다. 또한, 제어부는 작성한 스크립트를 가상시나리오로 정의하고, 가상 유져 전송부를 제어하는 모듈로서, 가상 사용자 Testscripts, Vuser정의(Vuser수,Testscripts등), 서버 시스템 자원 모니터링 설정, 부하 발생기를 할당 시킬 수 있다. 한편, 분석부는 부하 테스트 결과를 그래프로 확인하고 병목 현상을 분석하는 구성이다.

본 발명은 네이티브 크로스 빌드툴을 포함할 수 있다. 또한, 이를 위해 데이터 통신을 위한 데이터 정의 클래스를 미리 설정할 수 있다. 네이티브 크로스 플랫폼 빌드 툴은 데이터 통신을 위해 정의한 클래스 소스코드를 컴파일하여 바로 특정 플랫폼에서 실행될 수 있는 네이티브 바이너리로 만들어주는 툴을 일컫는다. 클래스 소스 코드는 네이티브 크로스 플랫폼 빌드 툴을 통해 개별 플랫폼에서 구동되는 네이티브 모듈로 컴파일 된다. 이에 필요한 네이티브 크로스 툴 체인을 구성하여 플랫폼 별로 구현된 표준 라이브러리의 바이너리 파일과 자동적으로 링크함으로써 Serialize/Deserialize 바이너리 통신 인터페이스 모듈을 작성할 수 있다.

본 발명의 테스트 생성 기능은 스크립트 로드 후 설정 정보를 셋팅할 수 있다. 설정 정보 셋팅은 다양하게 구비될 수 있다. 일례로 표 2와 같은 설정 정보를 셋팅할 수 있다.

테스트 모니터링 및 리포트 단계는 Agent에서 자료정보를 수신하고 수집한 자료정보를 그래픽화할 수 있다. 상세하게, 부하 테스트를 실시하는 동안 시스템의 리소스 사용량 및 서비스에 사용되는 어플리케이션 및 리소스 사용 상태를 실시간으로 모니터링할 수 있다.

테스트 이력 관리 단계는 테스트 결과를 관리하는 단계로서 테스트 결과를 데이터베이스에 저장하고, 저장 시 미리 설정된 네이밍 룰을 기초로 저장될 수 있다. 도 5는 미리 설정된 네이밍 룰을 기초로 저장된 테스트 결과를 나타낸 도면이다.

가상 유져 생성 단계는 도 6과 같이 가상 유져 생성부를 통해 수행될 수 있다. 일례로 가상 유져 생성 단계는 VuGen 실행 단계, 레코딩에 필요한 옵션을 설정하는 레코딩 옵션 조절단계, 레코딩 시작 단계, 대상업무의 트랜잭션을 정의하는 단계, 스크립트가 정상인이 여부를 확인하는 스크립트 확인 단계, 스크립트 수행옵션을 조절하는 런 타임 조절 단계, 스크립트 검증 로직을 추가하는 Verification 단계, 테스트 데이터를 다양화시키는 Parameter 단계, 동적 데이터를 처리하는 Correlation 단계 및 스크립트 수행 및 로그를 확인하는 런 단계를 포함할 수 있다.

데이터 마이닝을 위한 Agent 기능은 데이터 마이닝 및 데이터 전송을 포함할 수 있다. 상세하게, 데이터 마이닝은 테스트를 통해 네트워크, CPU, 메모리 등 물리 자원의 현황뿐만 아니라 컨텐츠(게임)의 오류를 검출하여 작업자에게 리포트할 수 있다. 또한, 데이터 전송은 수집된 테스트 데이터는 파라미터를 통해 실제 사용자와 유사한 부하를 발생시키는 것을 기초로 수동 파라미터 처리 단계, 자동 파라미터 처리 단계, 동적 파라미터 처리 단계를 포함할 수 있다. 구체적으로, 수동 파라미터 처리는 다양한 데이터를 통하여 실제사용자와 유사한 부하를 발생시킬 수 있다(VuGen Parameter list (파일, 날짜, 시간, 일련번호, 무작위번호)). 자동 파라미터 처리는 스크립트 내부적으로 유동적인 값을 사용하여 부하를 발생시킬 수 있다(web_reg_save_param()). 동적 파라미터 처리는 Table형태의 데이터를 유동적인 값으로 부하를 발생시킬 수 있다(Virtual Table Server (VTS) 가상 테이블 서버 (동적 파라미터)).

상술한 바와 같이 본 발명의 일 실시예에 따른 스마트 단말기용 클라이언트 및 서버의 성능 검증 방법은 비용 절감, 개발 생산성 향상과 개발 기간 단축, 해외솔루션 대체 및 비용절감으로 사용자를 확대할 수 있다. 상세하게, 저렴한 비용으로 검증을 수행할 수 있기 때문에 중소 개발사들의 비용 부담을 줄일 수 있다. 구체적으로 컨텐츠(게임) 개발사들은 컨텐츠(게임) 검증에 사용되는 QA인력, 외산 테스트 솔루션 비용을 절감 할 수 있다. 또한, 본 발명의 스마트 단말기용 클라이언트 및 서버의 성능 검증 방법을 통해 정량적인 데이터를 수집할 수 있고 수집된 데이터를 기초로 컨텐츠(게임) 개발사는 효과적인 개발 일정 및 인력으로 생산성을 높일 수 있다. 더 나아가, 문제를 수정하고 재 검증 단계를 수행하더라도 짧은 시간 재 확인이 가능하기에 반복적인 검증이 가능하며 결과적으로 검증에 소요되는 총 기간을 단축함으로써 컨텐츠(게임) 개발에 소요되는 기간을 단축할 수 있다. 또한,

상기한 본 발명의 바람직한 실시 예는 예시의 목적으로 개시된 것이고, 본 발명에 대해 통상의 지식을 가진 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경 및 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 상기의 특허청구 범위에 속하는 것으로 보아야 할 것이다.

본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서, 여러 가지 치환, 변형 및 변경이 가능하므로, 본 발명은 전술한 실시 예 및 첨부된 도면에 의해 한정되는 것이 아니다.

상술한 예시적인 시스템에서, 방법들은 일련의 단계 또는 블록으로써 순서도를 기초로 설명되고 있지만, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당업자라면 순서도에 나타낸 단계들이 배타적이지 않고, 다른 단계가 포함되거나 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.

Claims

테스트 생성 단계;
에이전트(Agent)에서 수집한 자료정보를 수신하고 수신한 자료정보를 그래픽화하는 테스트 모니터링 및 리포트 단계;
수집된 자료정보를 폴더 단위 또는 미리 설정된 네이밍 룰을 기초로 데이터베이스에 저장하는 테스트 이력 관리 단계;를 포함하고,
상기 테스트 생성 단계는,
네트워크, CPU, 메모리 등 물리자원의 현황 및 컨텐츠(게임)의 오류를 검출하여 작업자에게 리포트하는 데이터 마이닝 단계; 및
파라미터를 통해 실제 다양한 사용자 환경과 유사하도록 부하를 발생시키는 데이터 전송 단계;를 포함하는 것을 특징으로 하는 스마트 단말기용 클라이언트 및 서버의 성능 검증 방법.