KR101291817B1 - 요구사항 모델 기반 테스트 케이스 자동 생성 시스템 및 방법 - Google Patents

요구사항 모델 기반 테스트 케이스 자동 생성 시스템 및 방법 Download PDF

Info

Publication number
KR101291817B1
KR101291817B1 KR1020120044216A KR20120044216A KR101291817B1 KR 101291817 B1 KR101291817 B1 KR 101291817B1 KR 1020120044216 A KR1020120044216 A KR 1020120044216A KR 20120044216 A KR20120044216 A KR 20120044216A KR 101291817 B1 KR101291817 B1 KR 101291817B1
Authority
KR
South Korea
Prior art keywords
test case
model
coverage
input
state
Prior art date
Application number
KR1020120044216A
Other languages
English (en)
Inventor
김장복
유기원
박현상
최경희
정기현
Original Assignee
비티에스테크놀로지스(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 비티에스테크놀로지스(주) filed Critical 비티에스테크놀로지스(주)
Priority to KR1020120044216A priority Critical patent/KR101291817B1/ko
Application granted granted Critical
Publication of KR101291817B1 publication Critical patent/KR101291817B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/362—Software debugging
    • G06F11/3648—Software debugging using additional hardware
    • G06F11/3652—Software debugging using additional hardware in-circuit-emulation [ICE] arrangements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R31/00—Arrangements for testing electric properties; Arrangements for locating electric faults; Arrangements for electrical testing characterised by what is being tested not provided for elsewhere
    • G01R31/28—Testing of electronic circuits, e.g. by signal tracer
    • G01R31/317—Testing of digital circuits
    • G01R31/3181—Functional testing
    • G01R31/3183—Generation of test inputs, e.g. test vectors, patterns or sequences
    • G01R31/318307—Generation of test inputs, e.g. test vectors, patterns or sequences computer-aided, e.g. automatic test program generator [ATPG], program translations, test program debugging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R31/00—Arrangements for testing electric properties; Arrangements for locating electric faults; Arrangements for electrical testing characterised by what is being tested not provided for elsewhere
    • G01R31/28—Testing of electronic circuits, e.g. by signal tracer
    • G01R31/317—Testing of digital circuits
    • G01R31/3181—Functional testing
    • G01R31/3183—Generation of test inputs, e.g. test vectors, patterns or sequences
    • G01R31/318314—Tools, e.g. program interfaces, test suite, test bench, simulation hardware, test compiler, test program languages
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R31/00—Arrangements for testing electric properties; Arrangements for locating electric faults; Arrangements for electrical testing characterised by what is being tested not provided for elsewhere
    • G01R31/28—Testing of electronic circuits, e.g. by signal tracer
    • G01R31/317—Testing of digital circuits
    • G01R31/3181—Functional testing
    • G01R31/3183—Generation of test inputs, e.g. test vectors, patterns or sequences
    • G01R31/318342—Generation of test inputs, e.g. test vectors, patterns or sequences by preliminary fault modelling, e.g. analysis, simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Debugging And Monitoring (AREA)

Abstract

본 발명은 임베디드 소프트웨어의 요구사항을 정형적으로 기술한 정형 요구사항 모델로부터 테스트 케이스를 표준화된 방법으로 생성하기 위한 자동 테스트 케이스 생성 기술에 관한 것으로, 본 발명은 사용자가 선택한 커버리지 기준에 따라 요구사항 모델로부터 커버리지 목표를 생성하고, 테스트 케이스 생성 과정에서 커버리지 목표 달성 여부를 확인하는 커버리지 목표 관리부; 요구사항 모델의 내부 상태 변수 및 내부 상태 값을 이용하여 상태를 정의하되, 요구사항 모델의 초기 상태로부터 입력값을 인가함에 따라 요구사항 모델의 상태를 하나의 노드로 정의하고, 생성된 노드들을 트리로 관리하는 모델 상태 트리 관리부; 테스트 케이스 생성 알고리즘에서 커버리지 목표를 찾아가려고 할 때 필요한 요구사항 모델의 말단 포트별로 인가해야 하는 값을 생성하는 입력 생성부; 정형 요구사항 모델을 변경하지 않고, 블랙박스 테스트용 테스트 케이스를 입력하기 위하여 다이나믹 데이터 분석 기법을 사용하여 요구사항 모델에서 찾아낸 테스트 케이스 입력을 인가하고, 인가한 입력에 의해 실제 커버리지 목표가 달성되었는지 확인하거나 시스템 상태를 살펴보거나 예상 출력 값을 얻어내기 위한 모델 시뮬레이터; 테스트 케이스 DB; 및 커버리지 목표를 만족시키기 위한 테스트 케이스를 생성하여 생성된 테스트 케이스를 테스트 케이스 DB에 저장하는 테스트 케이스 생성 도구로 구성된다.

Description

요구사항 모델 기반 테스트 케이스 자동 생성 시스템 및 방법{TEST CASE GENERATING SYSTEM AND METHOD BASED ON REQUIREMENTS MODEL}
본 발명은 임베디드 시스템의 자동 테스트 케이스 생성 기술에 관한 것으로, 더욱 상세하게는 임베디드 소프트웨어의 요구사항을 정형적(Formal)으로 기술한 정형 요구사항 모델로부터 테스트 케이스를 표준화된 방법으로 생성하기 위한 자동 테스트 케이스 생성 시스템 및 방법에 관한 것이다.
일반적으로, 자동차, 중공업 장비, 가전제품 등과 같은 다양한 전장품(임베디드 시스템)을 개발하는 프로세스에서, 테스트 단계는 제품의 품질을 보장하기 위해서 필수적으로 요구되는 프로세스이다. 이러한 테스트 단계는 여러 단계를 걸쳐서 이루어지는데, 보통 4 단계 정도 걸쳐서 이루어진다. 먼저, 제 1 단계는 소프트웨어와 하드웨어 개발시 단위 테스트 등을 수행하는 것으로, 전장품의 특성상 하드웨어와 소프트웨어를 동시에 개발하며, 각 개발 부서에서 소프트웨어 자체 및 하드웨어 자체에 대한 테스트를 수행하는 것이다. 제 2 단계는 전장품 단위 테스트로서, 하드웨어에 소프트웨어를 설치하여, 전장 단위로 테스트를 수행한다. 이때 테스트를 위한 입/출력은 하드웨어 입/출력 포트를 이용한다. 제 3 단계는 통합 테스트로서 자동차나 중공업 장비 등은 여러 전장품과 기계장비가 개별적으로 개발되어, 조립되어 하나의 완성품이 만들어지므로, 이러한 여러 부품들을 조립하여 테스트하는 단계이다. 따라서 개발 전장품이 전체적으로 합쳐졌을 때 정상적인 기능을 수행하는지 테스트한다. 제 4 단계는 전수 테스트로서, 전수 테스트는 보통, 제품 생산 단계에서 수행하는 테스트로서, 아주 기본적인 기능들을 살펴봄으로써, 조립이나 컴포넌트 오류로 인한 품질 문제를 찾기 위해서 수행한다.
한편, 테스트를 수행하기 위해서는, 각 단계별 목적에 맞는 테스트 케이스를 생성하는 것이 중요하다. 특히, 총 4단계 중, 해당 기술과 가장 적합한 테스트 단계는 제 2 단계이며, 제 3 단계 역시 활용 가능하다. 전장품 단위 테스트에서는 반드시 해당 전장품이 처음 기획한 요구사항 대로 구현되었는지 확인하여야 한다.
종래에 알려진 자동 테스트 케이스 생성 방법으로는 등록번호 제10-0709964호로 등록된 자동 테스트 케이스 생성 방법 및 시스템이 있는데, 종래의 자동 케이스 생성 시스템은 변환규칙에 따라 판독 가능한 데이터로 표준 SDL을 변환하는 SDL 변환모듈과, 변환된 SDL을 분석하고 검증하여 그 커버리지를 계산하는 커버리지 분석모듈과, 커버리지 분석모듈의 분석 및 검증결과에 따라 변환된 SDL에 대응하는 표 결합 표기법 형식의 테스트 케이스를 생성하는 테스트 케이스 생성모듈로 이루어져 통신시스템에 사용되는 테스트 케이스를 생성하였다.
여기서, 테스트 케이스라는 것은 입력과 그에 상응하는 예상 출력을 시간 순서대로 나열한 것을 나타낸다. 따라서 테스트 케이스는 테이블 형태로 표현할 수 있다. 예를 들면, 다음 표1과 같이 세로축(열)은 시간을, 가로축(칼럼)은 입력 변수와 출력 변수로 표현하고, 그에 상응하는 값을 표현하는 식으로 나타난다. 전장품 단위 테스트는 보통 블랙박스 형태로 수행하므로 입력과 출력 변수는 실제 ECU의 입/출력에 대응되는 것으로서, 요구사항 모델에만 사용되는 내부 변수들은 사용할 수 없다.
Time(msec) I1 I2 I3 O1
0 0 0 0 0
100 1 0 0
1100 1 1 0
2000 1 1 0 1
3000 1 1 1 1
3100 1 1 1 0
따라서 전장품 단위 테스트에서 수행하여야 하는 테스트 케이스는 테스트 성공을 결정하는 주요한 요소이다. 따라서 테스트 케이스를 표준화된 방법으로 목적에 맞게 정교하게 만들 수 있어야만 한다. 특히 전장품 단위 테스트에서 사용되는 테스트 케이스는 다음의 항목을 만족해야 한다. 첫째, 전장품 단위 테스트에서는 기본적으로 요구사항에 기술되어 있는 항목들이 정확하게 구현되었는지를 모두 확인하여야 하기 때문에, 요구사항을 기초로 테스트 케이스를 생성해야 한다. 둘째, 테스트 케이스는 정형화되고, 표준화된 방법으로 만든 테스트 케이스 뿐만 아니라, 엔지니어의 경험에 의한 테스트 케이스가 동시에 필요하다. 셋째, 표준화된 방법으로 만든 테스트 케이스는 정량화가 가능하여야 테스트 결과의 신뢰성이 높아진다.
본 발명은 개발된 임베디드 시스템에서 전장품 단위나 통합 테스트에 적용할 수 있는 블랙박스 테스트를 위하여 제안된 것으로, 본 발명의 목적은 일반적인 정형 요구사항 모델(특히 Matlab Simulink/Stateflow와 도형화된 시스템 요구사항)로부터 커버리지 기반으로 테스트 케이스를 자동으로 생성하기 위한 요구사항 모델 기반 테스트 케이스 자동 생성 시스템 및 방법을 제공하는 것이다.
본 발명의 다른 목적은 Simulink/Stateflow나 도형화된 시스템 요구사항을 다른 형태로 변환하지 않고, 해당 요구사항의 내부 로직을 바로 분석하여 테스트해야 하는 항목들을 커버리지 기법을 이용하여 분석하고, 분석한 항목을 만족하기 위하여 인가하여야 하는 외부 입력을 시간 순서로 추출하고, 이때의 출력을 함께 추출하는 요구사항 모델 기반 테스트 케이스 자동 생성 시스템 및 방법을 제공하는 것이다.
이렇게 본 발명에 따라 생성된 테스트 케이스는 개발된 임베디드 시스템이 개발 초기에 구상한 요구사항대로 구현되었는지 확인하기 위하여, 블랙박스 형태로 테스트하는 용도로 사용된다.
상기와 같은 목적을 달성하기 위하여 본 발명의 시스템은, 사용자가 선택한 커버리지 기준에 따라 요구사항 모델로부터 커버리지 목표를 생성하고, 테스트 케이스 생성 과정에서 커버리지 목표 달성 여부를 확인하는 커버리지 목표 관리부; 요구사항 모델의 내부 상태 변수 및 내부 상태 값을 이용하여 상태를 정의하되, 요구사항 모델의 초기 상태로부터 입력값을 인가함에 따라 요구사항 모델의 상태를 하나의 노드로 정의하고, 생성된 노드들을 트리로 관리하는 모델 상태 트리 관리부; 테스트 케이스 생성 알고리즘에서 커버리지 목표를 찾아가려고 할 때 필요한 요구사항 모델의 말단 포트별로 인가해야 하는 값을 생성하는 입력 생성부; 정형 요구사항 모델을 변경하지 않고, 블랙박스 테스트용 테스트 케이스를 입력하기 위하여 다이나믹 데이터 분석 기법을 사용하여 요구사항 모델에서 찾아낸 테스트 케이스 입력을 인가하고, 인가한 입력에 의해 실제 커버리지 목표가 달성되었는지 확인하고 시스템 상태를 살펴보며 예상 출력 값을 얻어내기 위한 모델 시뮬레이터; 테스트 케이스 DB; 및 상기 커버리지 목표를 만족시키기 위한 테스트 케이스를 생성하여 생성된 테스트 케이스를 상기 테스트 케이스 DB에 저장하는 테스트 케이스 생성 도구를 구비하는 것을 특징으로 한다.
상기 커버리지 목표 관리부는 요구사항을 분석하여 커버리지 목표를 생성하고, 테스트 케이스가 생성됨에 따라 달성한 커버리지 목표와 달성하지 못한 커버리지 목표를 분류하여 관리하고, 통계 자료를 보여주는 역할을 수행하며, 상기 모델 시뮬레이터로부터 시스템 모델의 상태를 얻어 와서 만족하지 못한 커버리지 목표들 중 새로이 달성한 커버리지 목표를 찾아내고,상기 모델 상태 트리 관리부는 상기 테스트 케이스 생성 도구가 확장을 위한 시작 노드를 선택하고자 할 때, 노드가 골고루 선택되어 균일한 분포로 확장하고 고갈이 발생하지 않게 하기 위하여 가중치를 이용하여 무작위로 노드를 선택한다.
상기 입력 생성부는 원하는 내부 상태로 도달하기 위하여 입력과의 상관관계를 분석하여 그에 상응하는 입력을 넣는 방법과, 특정 선도에 따라 입력을 차례대로 생성하는 방법과, 수학적 통계 분포를 이용하는 방법과, 입력 값에 가중치를 두고 가중치에 따라 그 값을 생성하는 방법과, 무작위로 입력을 넣는 방법 중 어느 하나로 입력 변수에 넣어야 할 값을 결정한다.
상기 모델 시뮬레이터는 상기 테스트 케이스 생성도구에서 입력에 따라 모델을 시뮬레이션하여 출력 값을 검토하고, 입력에 따라 모델을 시뮬레이션하는 동안 내부 변수 값이나 상태가 변화하는 것을 확인한다. 이를 위하여 시간에 따라 변화하는 입력에 대응하는 출력의 변화값을 제공하거나 시간에 따라 변화하는 입력에 대응하는 내부 변수나 상태값을 제공한다. 그리고 시스템의 특정 상태로 이동하기 위하여 특정 시점의 상태를 저장하고, 저장된 시점으로 롤백하는 기능을 수행한다.
상기와 같은 목적을 달성하기 위하여 본 발명의 방법은 커버리지 목표 관리부가 사용자 설정에 따른 커버리지 목표를 생성하는 제1단계; 모델 상태 트리 관리부가 트리 확장을 위한 상태 노드를 선택하는 제2단계; 입력 생성부가 새로운 커버리지 목표를 만족하기 위하여 입력을 생성하는 제3단계; 모델 시뮬레이터에 입력을 인가하여 시뮬레이션하는 제4단계; 커버리지 목표 관리부가 상기 모델 시뮬레이터를 이용하여 시뮬레이션하는 동안 커버리지 목표가 달성되는지를 확인하여 기록하는 제5단계; 시뮬레이션이 종료되고 새로 달성한 커버리지 목표가 존재한다면, 생성한 입력은 테스트 케이스로서 유효한 것이므로, 테스트 케이스 DB에 입력 순서 및 예상 출력이 포함된 테스트 케이스를 저장하는 제6단계; 및 커버리지 목표를 모두 만족하는지 검사하여 만약 커버리지 목표 관리부에 아직 만족하지 않은 커버리지 목표가 있다면, 다시 커버리지 목표를 찾기 위해서 트리 확장을 위한 노드를 선택하는 단계로 이동하며, 그렇지 않은 경우 테스트 케이스 생성을 종료하는 제7단계로 이루어지는 것을 특징으로 한다.
상기 트리 확장을 위한 상태 노드를 선택하는 제2단계는 가중치를 이용하여 가중치 기반 무작위 선택 기법으로 노드를 선택한다. 그리고 제 6단계가 종료된 후 새로운 커버리지 목표가 달성된 경우나 출력이 변화된 경우, 내부 상태 다이어그램의 상태가 변화한 경우, 그리고 엔지니어가 지정한 주요 변수 값이 변화한 경우에 새로운 노드를 만들고 제 2단계에서 선택한 노드로부터 트리를 확장한다.
본 발명에 따른 요구사항 모델 기반 테스트 케이스 자동 생성 시스템 및 방법은 블랙박스 테스팅에 걸 맞는 시간에 따른 외부 입력 시퀀스를 찾아낸다. 이때 테스트 케이스 생성을 위하여 원본 정형 요구사항을 다른 형태의 모델로 변경하지 않고 직접 분석하여 사용하며, 정적 분석뿐만 아니라, 동적 분석 방법을 이용하여 시스템의 상태를 추적해 나간다.
그리고 본 발명은 동적 분석시 시스템의 상태를 추적하기 위하여 트리를 구성하여 시스템 상태를 추적하고, 모든 정형 요구사항을 사용할 수 있으나 바람직하게는 Matlab Simulink/Stateflow와 도형화된 시스템 요구사항으로부터 테스트 케이스를 생성할 수 있고, 테스트 케이스 생성기술은 정형 요구사항 내부 조건들의 특정한 커버리지를 만족하기 위한 입력 순서를 찾아내는 방식으로 처리할 수 있다.
도 1은 본 발명에 따른 전장품 단위 테스트 절차를 나타낸 순서도,
도 2는 본 발명에 따라 정형적인 요구사항 모델로부터 테스트 케이스를 생성하는 것을 설명하기 위한 예,
도 3은 본 발명에 따른 요구사항 모델 기반 테스트 케이스 자동 생성 시스템을 도시한 구성 블럭도,
도 4는 본 발명에 따른 테스트 케이스 생성 시스템의 테스트 케이스 생성 절차를 도시한 순서도,
도 5는 본 발명에 따라 모델 상태 관리부가 관리하기 위한 모델 상태의 트리 예시이다.
본 발명과 본 발명의 실시에 의해 달성되는 기술적 과제는 다음에서 설명하는 본 발명의 바람직한 실시 예들에 의하여 보다 명확해질 것이다. 다음의 실시 예들은 단지 본 발명을 설명하기 위하여 예시된 것에 불과하며, 본 발명의 범위를 제한하기 위한 것은 아니다.
도 1은 본 발명에 따른 전장품 단위 테스트 절차를 도시한 도면으로서, 테스트 케이스 생성 도구가 정형적으로 표현된 요구사항 모델을 입력받아 전장품 테스트용 테스트 케이스 세트를 생성하고(S1~S3), 블랙박스 테스트 실행 도구가 전장품 테스트용 테스트 케이스 세트를 입력받아 테스트 대상 시스템을 블랙박스 테스팅한다(S4,S5).
도 1을 참조하면, 테스트 케이스 생성 도구(S2)는 정형적으로 표현된 요구사항 모델로부터 표준화된 방법으로 테스트 케이스를 생성하고, 생성된 테스트 케이스는 테스트 실행 도구(S4)를 이용하여 블랙박스 테스팅을 진행한다.
이와 같이 본 발명에 따라 요구사항 기반으로 테스트 케이스를 정량화할 수 있는 표준화된 테스트 케이스 생성 방법은 커버리지 기준을 이용한 테스트 케이스 생성 방법을 사용하는데, 널리 사용되어지는 커버리지 기준들은 다음과 같다.
문장 커버리지(Statement Coverage)는 요구사항의 조건이나 행동이 문장으로 표현된다고 할 때, 문장을 한번씩 검사하거나 행해보아야 한다는 조건이다.
조건 커버리지(Condition Coverage)는 생성한 테스트 케이스가 모든 조건들을 검사해보았을 때, 해당 테스트 케이스는 조건 커버리지(Condition Coverage)를 만족하는 테스트 케이스 세트라고 부른다. 여기서, 조건이라는 것은 조건 문장에서 사용되어지는 논리적인 최소 입력 변수를 일컫는다. 예를 들어, "C1C2"문장이 있을 때, 해당 문장에는 총 2개의 조건이 C1과 C2가 존재한다. 따라서, 테스트 케이스는 반드시 각 컨디션의 모든 값을 검사해보아야 한다. 즉, C1이 'True'일때와 'False'일 때, C2가 'True' 일 때와 'False'일 때를 확인할 수 있는 테스트 케이스가 필요하다.
결정 커버리지(Decision Coverage)는 생성된 테스트 케이스가 모든 결정을 검사해보았을 때, 해당 테스트 케이스 세트는 결정 커버리지(Decision Coverage)를 만족하였다고 말한다. 여기서, 결정이라는 것은 조건 문장에서의 결과 값이다. 예를 들어, "D=C1C2" 문장이 있을 때, D값이 'True'이고 'False'인 것을 확인해보아야 한다는 것이다.
변형된 조건 및 결정 커버리지(Modified Condition and Decision Coverage (MC/DC))는 모든 테스트 케이스가 결정 커버리지와 조건 커버리지를 만족하고, 추가적으로 다른 조건의 값이 고정된 상태에서 하나의 조건의 변화로 결정이 변화하는 것을 보아야 한다는 제한 사항이 추가된 것이다. 예를 들어, "D=C1C2" 문장이 있을 때 MC/DC는 다음 표2의 진리표(Truth Table)를 만족하여야 한다.
No. C1 C2 D=C1 ∧C2
1 T T T
2 T F F
3 F T F
위 테이블에서 볼 수 있듯이, C1이 고정되었을 때, C2의 변화에 따라 결정(Decision)값이 변화하고 있으며, C2가 고정되었을 때, C1의 변화에 따라 결정(Decision)값이 변화하고 있음을 알 수 있다.
상태 커버리지(State Coverage)는 상태 다이어그램에서 상태를 모두 한 번씩 방문해보아야 하는 것을 말한다. 상태 전이 커버리지(Transition Coverage)는 상태 다이어그램에서 상태와 상태 사이의 모든 전이를 한 번씩은 방문해보아야 한다는 것을 말한다.
정형적(Formal)으로 기술된 요구사항 모델, 특히 Matlab Simulink/Stateflow 또는 도형화된 시스템 요구사항 표현 기법으로 작성된 정형 요구사항으로부터, 여러 커버리지 기준에 따라 블랙박스 테스팅을 위한 테스트 케이스를 쉽게 생성할 수 없는 이유는 다음과 같다. 첫째, 정형 요구사항 모델에 사용된 내부 변수들이나 데이터 항목들이 실제 전장품 개발시에 그대로 반영되어 지지 않는다. 실제 전장품과 동일한 데이터 항목 또는 변수는 입/출력뿐이다. 둘째, 커버리지 기준은 요구사항 모델 내부 로직들로부터 만들어진다. 그리고 그러한 로직들은 수많은 모델에서 임시로 사용하는 내부 변수 등으로 구성되어져 있다. 따라서 테스트 커버리지 항목을 뽑아낸다고 해서, 그것을 바로 개발된 전장품에 입력으로서 인가하거나 데이터 값을 볼 수 있는 것을 불가능하다. 뿐만 아니라 테스트하고자 하는 대상 전장품은 보통 외부 입/출력만을 제어하여 테스트하길 선호하고, 내부 변수를 제어하기 위한 인터페이스가 나와 있더라고 모든 항목들을 적용할 수 없다.
도 2는 정형적인 요구사항 모델로부터 테스트 케이스를 생성하는 것을 나타내기 위한 예제이다. 도 2에서, 요구사항은 n개의 입력이 I1, I2, .... In -1, In 정의되어 있으며, m개의 출력 O1, O2,.... Om-1, Om이 정의된다. 이러한 입/출력에 따라 요구사항 로직을 상태 다이어그램이나 기타 다른 방법을 이용하여 표현할 수 있다. 이때, 내부 상태를 표현하기 위한 내부 변수 "From"과 "To"라는 변수를 이용한다. 그리고 테스트 커버리지는 이러한 내부 변수를 이용하여 표현된다. 예를 들어, "To==T&&From==F"라는 전이 조건을 위해서는 다음의 조건이 만족하면 MC/DC가 만족한다.
To==T From==F To==T&&From==F
T T T
T F F
F T F
그러나 실제 구현된 전장품(ECU)에서는 To라는 변수와 From이라는 변수를 직접적으로 제어할 수 없기 때문에, 전장품의 입력 I1,....In을 시간순서에 따라 적절하게 변화시켜서 "From"과 "To" 값을 만들어 내야 한다.
도 3은 본 발명에 따른 요구사항 모델 기반 테스트 케이스 자동 생성 시스템을 도시한 구성 블럭도이다.
본 발명에 따른 테스트 케이스 자동 생성시스템(100)은 도 3에 도시된 바와 같이 테스트 케이스 생성도구(110), 커버리지 목표 관리부(120), 모델상태 트리 관리부(130), 입력 생성부(140), 모델 시뮬레이터(150), 데스트 케이스 데이터베이스(160)로 구성되어 정형적 요구사항으로부터 커버리지 기준을 적용하여 자동으로 입력 순서를 시간 순으로 생성하고, 해당 입력 순서에 따라 예상되는 출력 값을 생성한다.
도 3을 참조하면, 테스트 케이스 생성도구(110)는 후술하는 바와 같이 테스트 케이스 생성 알고리즘에 따라 커버리지 목표 관리부(120), 모델 상태 트리 관리부(130), 입력 생성부(140), 모델 시뮬레이터(150)를 이용하여 테스트 케이스를 생성한다.
커버리지 목표 관리부(120)는 사용자가 선택한 커버리지 기준에 따라, 모델로부터 커버리지 목표를 생성하고, 테스트 케이스 생성 과정에서 커버리지 목표 달성 여부를 확인하는 역할을 수행한다. 커버리지 목표(Coverage Target)라 함은, 커버리지 기준에 따라서, 만족해야만 하는 항목을 커버리지 목표라고 한다. 테스트 케이스 생성 도구(110)는 이러한 커버리지 목표를 만족시키기 위한 테스트 케이스, 즉 시간에 따른 입력 인가 순서를 생성한다.
모델 상태 트리 관리부(130)는 요구사항 모델의 구석구석을 방문하기 위하여 상태 트리를 만들고 관리하는 역할을 수행한다. 높은 커버리지를 만족하는 테스트 케이스를 생성하기 위해서는 요구사항의 많은 조건들을 확인하여야 한다. 따라서 요구사항 모델의 구석구석을 뒤져야 하는데, 이를 위하여 먼저 요구사항 모델의 내부 상태 변수 및 내부 상태 값을 이용하여 상태를 정의한다. 모델은 시스템(요구사항 모델)의 초기 상태로부터 입력 값을 인가함에 따라 시스템(요구사항 모델)의 상태가 계속해서 새로이 정의된다. 이러한 상태를 하나의 노드로 정의하고, 이러한 노드들을 도 5에서와 같이 트리로 관리한다.
입력 생성부(140)는 테스트 케이스 생성 알고리즘에서, 커버리지 목표를 찾아가려고 할 때 필요한, 시스템의 말단 포트별로 인가해야 하는 값을 생성하는 역할을 수행한다. 입력 생성부(140)는 모델을 정적분석하여 값을 생성하거나, 때에 따라 무작위로 생성하거나, 특정 선도에 따라 생성하거나, 통계적인 분포에 따라 값을 생성한다.
모델 시뮬레이터(150)는 다이나믹 데이터 분석 기법을 사용하기 위하여 모델을 시뮬레이션 한다. 정형 요구사항 모델을 변경하지 않고, 블랙박스 테스트용 테스트 케이스를 입력하기 위하여 정적 분석 기법뿐만 아니라, 다이나믹 데이터 분석 기법을 사용한다. 모델 시뮬레이터(150)를 이용하여 모델에 찾아낸 테스트 케이스 입력을 인가하고, 인가한 입력에 의해 실제 커버리지 목표가 달성되었는지 확인하거나 시스템 상태를 살펴보거나 예상 출력값을 얻어내기 위한 목적으로 사용된다.
테스트 케이스 DB(160)는 생성된 테스트 케이스를 저장하기 위한 저장 장소이다.
도 4는 본 발명에 따른 테스트 케이스 생성 시스템의 테스트 케이스 생성 절차를 도시한 순서도이다.
도 4를 참조하면, 제1 단계(S101)는 사용자 설정에 따른 커버리지 목표를 생성하는 단계이다. 커버리지 목표는 커버리지 목표 관리부(120)에서 담당하며, 해당 모듈에서 목표를 생성한다.
제2 단계(S102)는 트리 확장을 위한 상태 노드를 선택하는 단계로서, 특정 노드에서 시간이나 입력 값의 변화에 따라 새로운 노드가 생성된다. 트리가 확장을 시작하는 노드를 모델 상태 트리 관리부(130)를 이용하여 선택한다.
제3 단계(S103)는 입력 생성단계로서, 새로운 커버리지 목표를 만족하기 위하여 입력을 생성하는 단계이다. 해당 단계는 입력 생성부(140)에서 담당한다.
제4 단계(S104)는 모델 시뮬레이터(150)에 입력을 인가하여 시뮬레이션 하는 단계로서, 생성한 입력을 시뮬레이션 한다.
제5 단계(S105)는 새로 달성한 커버리지 목표를 검색하는 단계로서, 모델 시뮬레이터(150)를 이용하여 시뮬레이션 하는 동안 커버리지 목표가 달성되는지를 커버리지 목표 관리부(120)를 이용하여 확인하고 기록한다.
제6 단계(S106)는 입력 순서 및 예상 출력이 포함된 테스트 케이스 등록 단계로서, 시뮬레이션이 종료되고, 새로 달성한 커버리지 목표가 존재한다면, 생성한 입력은 테스트 케이스로서 유효한 것이므로, 테스트 케이스 DB(160)에 테스트 케이스를 저장한다.
제7 단계(S107)는 커버리지 목표를 모두 만족하는지 검사하는 단계로서, 만약 커버리지 목표 관리부(120)에 아직 만족하지 않은 커버리지 목표가 있다면, 다시 커버리지 목표를 찾기 위해서 입력 생성 파트로 이동하며, 그렇지 않은 경우 테스트 케이스 생성을 종료한다.
다시 도 3을 참조하면, 커버리지 목표 관리부(120)는 다음의 기능을 담당한다. 사용자가 지정한 커버리지 기준에 요구사항 모델을 분석하여 커버리지 목표를 생성한다. 본 발명의 실시 예에서는 다음 표 4와 같은 커버리지 기준을 지원한다.
Statement Coverage Criteria
Condition Coverage Criteria
Decision Coverage Criteria
Modified Condition and Decision Coverage(MC/DC) Criteria
State Coverage Criteria
Transition Coverage Criteria
Boundary Coverage Criteria
또한 커버리지 목표 관리부(120)는 전체 커버리지 목표를 관리하고, 테스트 케이스가 생성됨에 따라 달성한 커버리지 목표와 달성하지 못한 커버리지 목표를 분류하여 관리하며, 통계 자료를 보여주는 역할을 수행하고, 모델 시뮬레이터(150)로부터 시스템 모델의 상태를 얻어 와서, 만족하지 못한 커버리지 목표들 중 새로이 달성한 커버리지 목표를 찾아내는 기능을 수행한다. 커버리지 목표는 정형 요구사항의 내부 데이터 변수들의 조건 수식으로 표현된다. 예를 들어, 상태 커버리지(State Coverage)의 경우에 상태(State)를 표현하는 변수 v_state라는 변수가 존재한다고 가정할 때, v_state=="state_off"와 같은 형태로 표현한다.
그러나 실제 도구를 구현하는데 있어서는 위의 포멧이 Post-fix형 수식으로 표현되어져, 다이나믹 요구사항 모델로부터 커버리지 목표 달성을 검사할 때 빠르게 검사가 가능하도록 한다.
모델 상태 관리부(130)는 요구사항 모델의 내부 상태 변수 및 상태 다이어그램의 상태 값을 이용하여 모델 상태를 정의한다. 즉, 내부 변수와 상태 다이어그램의 상태 값을 이용하여 모델의 상태를 다음 수학식1과 같이 고유하게(Unique) 정의할 수 있게 된다.
Figure 112012033663514-pat00001
여기서, ValueOf(Vk)은 내부 변수 또는 상태 변수 Vk의 값을 의미한다.
그리고 이러한 모델 상태를 트리로 관리하기 위하여 하나의 모델 상태를 트리의 노드로 정의한다. 그리고 시간별 입력 변수 값 세트인 Sm(I)에 의해서 트리 노드가 도 5와 같이 확장된다. 이러한 입력 변수 값 세트 Sm(I)를 생성하는 모듈이 입력 생성부(140)이다.
도 5를 참조하면, 초기화 상태 S0에서 입력값에 따라서 트리를 확장하고 있는 모습을 보여주고 있다. 따라서 모델 상태 관리부(130)는 요구사항 모델의 상태를 도 5와 같은 트리로 관리하는 역할을 수행한다.
노드는 내부 상태가 변화하면 어떠한 입력에 의해서 도 4의 제 5단계(S105)에서 확장이 진행된다. 그러나 이렇게 무한으로 노드를 확장하게 되면, 상태가 폭발할 수 있기 때문에, 다음 표 5와 같은 경우에만 입력에 따라 노드를 확장시킨다.
새로운 커버리지 목표가 달성된 경우
출력이 변화된 경우
내부 상태다이어그램의 상태가 변화한 경우
엔지니어가 지정한 주요 변수값이 변화한 경우
또한 해당 노드를 새로이 확장할 때, 커버리지 목표 관리부(120)를 이용하여 해당 노드 확장 시 달성한 커버리지를 기록한다. 해당 정보를 이용하면, 테스트 케이스 생성이 끝나고, 새로운 커버리지를 달성한 노드를 방문하기 위한 입력 세트인 Sm(I)들을 이어 붙이면, 최종 테스트 케이스가 생성된다. 예를 들어, 도 5에서 S6가 커버리지 목표를 달성한 노드이면, 해당 커버리지 목표에 대해서 다음 수학식2의 입력 시퀀스가 테스트 케이스가 된다.
Figure 112012033663514-pat00002
마지막으로 모델 상태 트리 관리부(130)는 테스트 케이스 생성 메인 알고리즘에서 다음 확장을 위한 시작 노드를 선택하고자 할 때, 노드를 선택하여 메인 알고리즘에 전달해주는 역할을 수행한다. 트리를 확장할 때 확장하고자 하는 노드를 어떻게 선택하느냐가 중요하다. 이를 위하여 본 발명에서는 노드가 골고루 선택되어 균일한 분포로 확장하고 고갈(Starvation)이 발생하지 않게 하기 위하여 가중치를 이용하여 가중치 기반 무작위 선택 기법을 사용한다. 가중치 기반 무작위 선택 기법은 다음과 같다. 즉, 노드 선택은 무작위로 선택하되, 가중치를 둔다. 노드의 가중치 기본값은 10으로 하되, 노드가 선택되면 1씩 감소한다. 노드의 가중치가 0이 되면, 노드의 가중치는 10으로 초기화 된다. 이때 가중치의 기본 값은 엔지니어가 지정하여 튜닝을 할 수 있기 때문에 해당 부분을 제약하지는 않는다.
입력 생성부(140)는 시스템의 말단 입력 변수에 어떠한 값을 넣어야 할지를 결정하는 모듈이다. 해당 모듈에서는 새로운 커버리지 목표를 달성하기 위하여 입력을 다음의 방식으로 생성한다. 먼저, 원하는 내부 상태로 도달하기 위하여 입력과의 상관관계를 분석하여 그에 상응하는 입력을 넣는 방법과, 특정 선도에 따라 입력을 차례대로 생성하는 방법(이때 특정 선도라 함은 사용자가 그린 선도, 수식에 의한 선도 등을 포함한다)과, 수학적 통계 분포(Poisson Distribution, Exponential Distribution)를 이용하는 방법과, 입력 값에 가중치를 두고, 가중치에 따라 그 값을 생성하는 방법과, 무작위로 입력을 넣는 방법이 있다.
모델 시뮬레이터(150)는 입력에 따라 모델의 행동을 시뮬레이션 하는 역할을 담당한다. 모델 시뮬레이터(150)는 테스트 케이스 생성기에서 입력에 따라 모델을 시뮬레이션 하여 출력 값을 검토하기 위한 목적과, 입력에 따라 내부 변수 값이나 상태가 변화하는 것을 확인하기 위한 목적으로 사용된다. 이는 내부 변수 값이나 상태 변화를 확인하여야만 테스트 커버리지 목표가 달성되었는지 달성되지 않았는지 확인할 수 있기 때문이다.
이러한 모델 시뮬레이터(150)는 테스트 케이스 생성도구(110)에 다음의 기능을 제공한다. 즉, 시간에 따라 변화하는 입력에 대응하는 출력의 변화를 얻어올 수 있고, 시간에 따라 변화하는 입력에 대응하는 내부 변수나 상태 값을 얻어 올 수 있으며, 시뮬레이터의 상태를 저장하는 'Snapshot'기능과, 복구(Restore) 기능을 제공한다.
테스트 케이스 DB(160)는 테스트 커버리지 목표를 만족하는 입력 시퀀스를 저장하고 있다. 이때 저장되는 테스트 케이스는 시간에 따른 입력 시퀀스 뿐만 아니라 그에 상응하는 예상 출력 값도 모델로부터 얻어와 기록한다. 또한 해당 테스트 케이스가 달성한 테스트 커버리지 정보도 같이 저장한다.
이상에서 본 발명은 도면에 도시된 일부 실시 예를 참고로 설명되었으나, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.
100: 테스트 케이스 생성 시스템 110: 테스트 케이스 생성도구
120: 커버리지 목표 관리부 130: 모델 상태 트리 관리부
140: 입력 생성부 150: 모델 시뮬레이터
160: 테스트 케이스 DB

Claims (8)

  1. 사용자가 선택한 커버리지 기준에 따라 요구사항 모델로부터 커버리지 목표를 생성하고, 테스트 케이스 생성 과정에서 커버리지 목표 달성 여부를 확인하는 커버리지 목표 관리부;
    요구사항 모델의 내부 상태 변수 및 내부 상태 값을 이용하여 상태를 정의하되, 요구사항 모델의 초기 상태로부터 입력 값을 인가함에 따라 요구사항 모델의 상태를 하나의 노드로 정의하고, 생성된 노드들을 트리로 관리하는 모델 상태 트리 관리부;
    테스트 케이스 생성 알고리즘에서 커버리지 목표를 찾아가려고 할 때 필요한 요구사항 모델의 말단 포트별로 인가해야 하는 값을 생성하는 입력 생성부;
    정형 요구사항 모델을 변경하지 않고, 블랙박스 테스트용 테스트 케이스를 입력하기 위하여 다이나믹 데이터 분석 기법을 사용하여 요구사항 모델에서 찾아낸 테스트 케이스 입력을 인가하고, 인가한 입력에 의해 실제 커버리지 목표가 달성되었는지 확인하거나 시스템 상태를 살펴보거나 예상 출력 값을 얻어내기 위한 모델 시뮬레이터;
    테스트 케이스 DB; 및
    상기 커버리지 목표를 만족시키기 위한 테스트 케이스를 생성하여 생성된 테스트 케이스를 상기 테스트 케이스 DB에 저장하는 테스트 케이스 생성 도구를 구비하는 요구사항 모델 기반 테스트 케이스 자동 생성 시스템.
  2. 제1항에 있어서, 상기 커버리지 목표 관리부는
    테스트 케이스가 생성됨에 따라 달성한 커버리지 목표와 달성하지 못한 커버리지 목표를 분류하여 관리하고, 통계 자료를 보여주는 역할을 수행하며, 상기 모델 시뮬레이터로부터 시스템 모델의 상태를 얻어와서 만족하지 못한 커버리지 목표들 중 새로이 달성한 커버리지 목표를 찾아내는 것을 특징으로 하는 요구사항 모델 기반 테스트 케이스 자동 생성 시스템.
  3. 제1항에 있어서, 상기 모델 상태 트리 관리부는
    상기 테스트 케이스 생성 도구가 확장을 위한 시작 노드를 선택하고자 할 때, 노드가 골고루 선택되어 균일한 분포로 확장하고 고갈이 발생하지 않게 하기 위하여 가중치를 이용하여 무작위로 노드를 선택하는 것을 특징으로 하는 요구사항 모델 기반 테스트 케이스 자동 생성 시스템.
  4. 제1항에 있어서, 상기 입력 생성부는
    원하는 내부 상태로 도달하기 위하여 입력과의 상관관계를 분석하여 그에 상응하는 입력을 넣는 방법과, 특정 선도에 따라 입력을 차례대로 생성하는 방법과, 수학적 통계 분포를 이용하는 방법과, 입력 값에 가중치를 두고 가중치에 따라 그 값을 생성하는 방법과, 무작위로 입력을 넣는 방법 중 어느 하나로 입력 변수에 넣어야 할 값을 결정하는 것을 특징으로 하는 요구사항 모델 기반 테스트 케이스 자동 생성 시스템.
  5. 제1항에 있어서, 상기 모델 시뮬레이터는
    상기 테스트 케이스 생성도구에서 입력에 따라 모델을 시뮬레이션 하여 출력 값을 검토하기 위한 목적이나 입력에 따라 모델을 시뮬레이션하면 내부 변수 값이나 상태가 변화하는 것을 확인하기 위한 목적으로, 시간에 따라 변화하는 입력에 대응하는 출력의 변화 값을 제공하거나 시간에 따라 변화하는 입력에 대응하는 내부 변수나 상태 값을 제공하거나 시뮬레이터의 상태를 저장하고 롤백(Rollback)하는 것을 특징으로 하는 요구사항 모델 기반 테스트 케이스 자동 생성 시스템.
  6. 커버리지 목표 관리부가 사용자 설정에 따른 커버리지 목표를 생성하는 제1단계;
    모델 상태 트리 관리부가 트리 확장을 위한 상태 노드를 선택하는 제2단계;
    입력 생성부가 새로운 커버리지 목표를 만족하기 위하여 입력을 생성하는 제3단계;
    모델 시뮬레이터에 입력을 인가하여 시뮬레이션하는 제4단계;
    커버리지 목표 관리부가 상기 모델 시뮬레이터를 이용하여 시뮬레이션하는 동안 커버리지 목표가 달성되는지를 확인하여 기록하고 노드를 확장하는 제5단계;
    시뮬레이션이 종료되고 새로 달성한 커버리지 목표가 존재한다면, 생성한 입력은 테스트 케이스로서 유효한 것이므로, 테스트 케이스 DB에 입력 순서 및 예상 출력이 포함된 테스트 케이스를 저장하는 제6단계; 및
    커버리지 목표를 모두 만족하는지 검사하여 만약 커버리지 목표 관리부에 아직 만족하지 않은 커버리지 목표가 있다면, 다시 커버리지 목표를 찾기 위해서 입력 생성 파트로 이동하며, 그렇지 않은 경우 테스트 케이스 생성을 종료하는 제7단계로 이루어지는 요구사항 모델 기반 테스트 케이스 자동 생성 방법.
  7. 제6항에 있어서, 상기 트리 확장을 위하여, 트리 확장을 시작하는 노드를 선택하는 제 2단계는
    가중치를 이용하여 가중치 기반 무작위 선택 기법으로 노드를 선택하는 것을 특징으로 하는 요구사항 모델 기반 테스트 케이스 자동 생성 방법.
  8. 제6항에 있어서, 상기 트리 확장을 수행하는 제5단계는
    새로운 커버리지 목표가 달성된 경우나 출력이 변화된 경우나 내부 상태 다이어그램의 상태가 변화한 경우나 엔지니어가 지정한 주요 변수값이 변화한 경우에만 노드를 확장하는 것을 특징으로 하는 요구사항 모델 기반 테스트 케이스 자동 생성 방법.
KR1020120044216A 2012-04-26 2012-04-26 요구사항 모델 기반 테스트 케이스 자동 생성 시스템 및 방법 KR101291817B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120044216A KR101291817B1 (ko) 2012-04-26 2012-04-26 요구사항 모델 기반 테스트 케이스 자동 생성 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120044216A KR101291817B1 (ko) 2012-04-26 2012-04-26 요구사항 모델 기반 테스트 케이스 자동 생성 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR101291817B1 true KR101291817B1 (ko) 2013-07-31

Family

ID=48998354

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120044216A KR101291817B1 (ko) 2012-04-26 2012-04-26 요구사항 모델 기반 테스트 케이스 자동 생성 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101291817B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101773708B1 (ko) 2016-04-27 2017-08-31 엘에스산전 주식회사 인버터의 자동 테스트 방법
KR20230028846A (ko) 2021-08-23 2023-03-03 에이존테크 주식회사 블랙박스 테스트 장치 및 방법
US11599453B2 (en) 2019-07-05 2023-03-07 Hyundai Motor Company Vehicle function test apparatus and method of controlling the same
KR102558933B1 (ko) 2022-08-19 2023-07-25 델타인덱스주식회사 시간 조건을 포함한 한글 요구사항을 위한 체계적 테스트 케이스 생성 방법 및 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008519248A (ja) 2004-05-22 2008-06-05 株式会社アドバンテスト モジュール式試験システムにおける交換可能コンポーネントを制御するための方法及びシステム
KR20110115626A (ko) * 2009-01-12 2011-10-24 시놉시스, 인크. 자연어 단정문 처리 방법 및 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008519248A (ja) 2004-05-22 2008-06-05 株式会社アドバンテスト モジュール式試験システムにおける交換可能コンポーネントを制御するための方法及びシステム
KR20110115626A (ko) * 2009-01-12 2011-10-24 시놉시스, 인크. 자연어 단정문 처리 방법 및 시스템

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101773708B1 (ko) 2016-04-27 2017-08-31 엘에스산전 주식회사 인버터의 자동 테스트 방법
US11599453B2 (en) 2019-07-05 2023-03-07 Hyundai Motor Company Vehicle function test apparatus and method of controlling the same
KR20230028846A (ko) 2021-08-23 2023-03-03 에이존테크 주식회사 블랙박스 테스트 장치 및 방법
KR102558933B1 (ko) 2022-08-19 2023-07-25 델타인덱스주식회사 시간 조건을 포함한 한글 요구사항을 위한 체계적 테스트 케이스 생성 방법 및 장치

Similar Documents

Publication Publication Date Title
US7475370B2 (en) System for verification using reachability overapproximation
JP6723989B2 (ja) データ駆動型検査用フレームワーク
KR102365150B1 (ko) 생성적 적대 신경망을 이용한 상태 감시 데이터 생성 방법 및 장치
US8689069B2 (en) Multi-targeting boolean satisfiability-based test pattern generation
KR101291817B1 (ko) 요구사항 모델 기반 테스트 케이스 자동 생성 시스템 및 방법
KR101334806B1 (ko) 테스트 케이스 자동 생성 시스템에서 테스트 케이스를 구성하는 입력값의 집합을 자동으로 산출하는 방법
CN109669436B (zh) 一种基于电动汽车的功能需求的测试用例生成方法和装置
US8037447B2 (en) Identifying semiconductor system specification violations
US20160170868A1 (en) Method and apparatus for the automated testing of a subsystem of a safety critical system
JP4648386B2 (ja) 設計支援装置、設計支援方法、設計支援プログラム
CN111475402A (zh) 程序功能的测试方法及相关装置
US11409928B2 (en) Configurable digital twin
CN110069414A (zh) 回归测试方法及***
Nalla et al. The art of semi-formal bug hunting
CN110928761B (zh) 需求链及其应用的***和方法
CN115248783B (zh) 软件测试方法、***、可读存储介质及计算机设备
Geng et al. Model-based diagnosis of incomplete discrete-event system with rough set theory
KR101330141B1 (ko) 테스트 케이스 자동 생성 시스템의 노드 선택 방법
US7231619B1 (en) Extended model checking hardware verification
CN112949061B (zh) 基于可复用算子的村镇发展模型构建方法和***
Allende et al. Statistical test coverage for Linux-based next-generation autonomous safety-related systems
US7962796B2 (en) State testing device and methods thereof
US20100191710A1 (en) Network Meta-Data Libraries And Related Methods
US20030229488A1 (en) Algorithms for determining path coverages and activity
Lokan et al. Using chronological splitting to compare cross-and single-company effort models: further investigation

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160629

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170719

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180806

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190627

Year of fee payment: 7