KR101404113B1 - 상세임상모델의 질 평가도구, 평가도구 개발 방법 및 그 평가 방법 - Google Patents

상세임상모델의 질 평가도구, 평가도구 개발 방법 및 그 평가 방법 Download PDF

Info

Publication number
KR101404113B1
KR101404113B1 KR1020120049784A KR20120049784A KR101404113B1 KR 101404113 B1 KR101404113 B1 KR 101404113B1 KR 1020120049784 A KR1020120049784 A KR 1020120049784A KR 20120049784 A KR20120049784 A KR 20120049784A KR 101404113 B1 KR101404113 B1 KR 101404113B1
Authority
KR
South Korea
Prior art keywords
evaluation
dcm
index
evaluating
score
Prior art date
Application number
KR1020120049784A
Other languages
English (en)
Other versions
KR20130126041A (ko
Inventor
안선주
Original Assignee
안선주
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 안선주 filed Critical 안선주
Priority to KR1020120049784A priority Critical patent/KR101404113B1/ko
Publication of KR20130126041A publication Critical patent/KR20130126041A/ko
Application granted granted Critical
Publication of KR101404113B1 publication Critical patent/KR101404113B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명은 상세임상모델의 질을 객관적으로 평가 가능하게 함으로써, 개발자에게는 상세임상모델이 반드시 갖춰야 하는 질적, 양적 품질요건을 제시하고, 사용자에게는 상세임상모델의 정량적 평가 결과를 제시하는 효과가 있으며, 또한 상세임상모델의 개발자에게는 기준에 맞는 상세임상모델을 개발할 수 있도록 하고, 사용자에게는 상세임상모델의 질 평가에 대한 객관적인 근거를 제공함으로써 상세임상모델의 신뢰성을 향상시키는 효과가 있는 상세임상모델의 질 평가 도구, 평가 도구 개발 방법 및 그 평가 방법에 관한 것이다.

Description

상세임상모델의 질 평가도구, 평가도구 개발 방법 및 그 평가 방법{A QUALITY EVALUATION TOOL AND ITS DEVELOPMENT METHOD FOR DETAILED CLINICAL MODELS AND THE EVALUATION METHOD THEREOF}
본 발명은 상세임상모델의 질 평가도구, 평가도구 개발 방법 및 그 평가 방법에 관한 것으로, 더욱 상세하게는 상세임상모델(DCM)이 구비해야 할 평가요소를 정의하고, 그 평가요소를 이용하여 상기 상세임상모델의 질적 완성도를 평가하는 질 평가도구, 평가도구 개발 방법 및 그 평가 방법에 관한 것이다.
일반적으로 상세임상모델(DCM: Detailed Clinical Model)은 전자 건강 기록 시스템(EHR: Electronic Health Records)에서 의학 콘텐츠 또는 임상 콘텐츠(Clinical Contents)의 저장, 전송 및 임상의사결정지원에 사용할 목적으로 의학콘텐츠의 구조와 내용을 정의한 모형을 의미한다.
상기 상세임상모델(DCM)은 환자진료 및 의료정보의 활용을 위한 핵심적 모형이지만, 그 중요성에 비해 그동안 상세임상모델의 질을 객관적으로 평가할 수 있는 평가도구가 존재하지 않았다. 다시 말해 종래에는 상세임상모델을 평가하기 위한 항목들이 객관적인 질 평가도구를 얻을 수 있을 정도로 설계되지 않았을 뿐만 아니라, 타당성과 신뢰성이 입증된 상세임상모델의 질 평가도구가 없었다.
이에 따라 종래에는 사용자 및 개발자들이 상기 상세임상모델(DCM)의 질적 완성도를 파악하는데 어려움이 있었으며, 상기와 같이 상세임상모델의 완성도에 대한 사용자나 인증자의 객관적인 평가가 가능하지 않았기 때문에 상세임상모델의 실용화에도 어려운 문제점이 있었다.
본 발명은 상기와 같은 문제점을 개선하기 위해 창작된 것으로서, 상세임상모델(DCM)의 질적 완성도를 객관적으로 평가할 수 있는 상세임상모델의 질 평가도구, 평가도구 개발 방법 및 그 평가 방법을 제공하는데 그 목적이 있다.
또한 본 발명은 상기와 같은 문제점을 개선하기 위해 창작된 것으로서, 개발자에게는 상세임상모델이 반드시 갖춰야 하는 질적, 양적 품질요건을 제시하고, 사용자에게는 정량적 평가 결과를 제시할 수 있는 상세임상모델의 질 평가도구, 평가도구 개발 방법 및 그 평가 방법을 제공하는데 그 목적이 있다.
또한 본 발명은 상기와 같은 문제점을 개선하기 위해 창작된 것으로서, 개발자에게는 기준에 맞는 상세임상모델을 개발할 수 있도록 하고, 사용자에게는 상세임상모델의 질 평가에 대한 객관적인 근거를 제공할 수 있는 상세임상모델의 질 평가도구, 평가도구 개발 방법 및 그 평가 방법을 제공하는데 그 목적이 있다.
본 발명의 일 측면에 따른 상세임상모델의 질 평가도구는 평가할 적어도 하나 이상의 상세임상모델(DCM)에 관련된 정보를 입력받는 입력부; 상기 상세임상모델(DCM)의 질 평가를 위한 적어도 하나 이상의 평가항목과 그에 포함된 적어도 하나 이상의 세부 평가지표들에 대한 정보, 평가기준, 및 평가결과를 저장하는 데이터베이스; 상기 평가항목과 그 세부 평가지표 및 평가기준을 이용하여 상기 상세임상모델(DCM)의 정보를 평가하고 그에 해당하는 점수를 부여하며, 그 부여된 점수를 바탕으로 질을 평가하는 중앙처리부; 상기 중앙처리부에서 평가한 결과를 특정 장치나 매체를 통해서 출력하는 출력부;를 포함하여 구성하며, 상기 평가항목은, 제1 평가항목으로서 목적과 범위; 제2 평가항목으로서 이해관계자 참여; 제3 평가항목으로서 개발상의 엄밀성; 제4 평가항목으로서 명확성; 제5 평가항목으로서 표준준수; 제6 평가항목으로서 일반적 방법론; 제7 평가항목으로서 메타데이터; 제8 평가항목으로서 관리 및 유지; 및 이들의 조합 중 적어도 하나 이상을 포함하여 구성된 것을 특징으로 한다.
본 발명의 일 측면에 따른 상세임상모델의 질 평가 방법은 평가할 적어도 하나 이상의 상세임상모델(DCM)에 관련된 정보를 입력받는 제1 단계; 데이터베이스에 저장된 평가항목과 그 세부 평가지표 및 평가기준을 이용하여 상기 상세임상모델의 정보를 평가하고 그에 해당하는 점수를 부여하며, 그 부여된 점수를 바탕으로 상세임상모델의 질을 평가하는 제2 단계; 상기 평가한 결과를 특정 장치나 매체를 통해서 출력하는 제3 단계;를 포함하여 구성되며, 상기 평가항목은, 제1 평가항목으로서 목적과 범위; 제2 평가항목으로서 이해관계자 참여; 제3 평가항목으로서 개발상의 엄밀성; 제4 평가항목으로서 명확성; 제5 평가항목으로서 표준준수; 제6 평가항목으로서 일반적 방법론; 제7 평가항목으로서 메타데이터; 제8 평가항목으로서 관리 및 유지; 및 이들의 조합 중 적어도 하나 이상을 포함하여 구성되는 것을 특징으로 한다.
본 발명의 다른 일 측면에 따른 상세임상모델의 질 평가도구 개발 방법은 상세임상모델의 질 평가도구의 평가항목과 그 평가항목에 대한 평가지표를 정의하는 제1 단계; 상기 정의된 평가항목과 그의 평가지표들에 대한 타당도 평가를 수행하는 제2 단계; 상기 정의된 평가항목과 그의 평가지표들에 대한 신뢰도를 평가하는 제3 단계; 상기 평가 결과를 바탕으로 평가자간 평가 결과가 일치하지 않은 평가지표를 개선한 후, 그 개선된 평가지표의 타당도 평가를 재수행하여 최종 평가항목과 평가지표를 확정하는 제4 단계; 를 포함하고, 상기 최종 확정된 평가항목과 평가지표 및 평가 방법에 대한 정보를 데이터베이스에 저장하도록 구성되는 것을 특징으로 한다.
본 발명은 상세임상모델의 질을 객관적으로 평가 가능하게 함으로써, 개발자에게는 상세임상모델이 반드시 갖춰야 하는 질적, 양적 품질요건을 제시하고, 사용자에게는 상세임상모델의 정량적 평가 결과를 제시하는 효과가 있다.
또한 본 발명은 상세임상모델의 개발자에게는 기준에 맞는 상세임상모델을 개발할 수 있도록 하고, 사용자에게는 상세임상모델의 질 평가에 대한 객관적인 근거를 제공함으로써 상세임상모델의 신뢰성을 향상시키는 효과가 있다.
도 1a 내지 도 1i는 본 발명의 일 실시예에 따른 상세임상모델의 질 평가도구를 이용하여 평가하는 평가항목들 및 그의 세부적인 평가지표들을 설명하기 위한 예시도.
도 2는 본 발명의 일 실시예에 따른 상세임상모델의 질 평가도구의 구성을 설명하기 위하여 개략적으로 보인 블록도.
도 3은 본 발명의 일 실시예에 따른 상세임상모델의 질 평가도구의 동작을 설명하기 위한 흐름도.
도 4는 본 발명의 일 실시예에 따른 상세임상모델(DCM)의 질 평가도구 개발을 위한 방법을 설명하기 위한 예시도.
이하, 첨부된 도면을 참조하여 본 발명에 따른 상세임상모델의 질 평가도구 및 그 평가 방법의 일 실시예를 설명한다.
도1a 내지 도1i 는 본 발명의 일 실시예에 따른 상세임상모델의 질 평가도구를 이용하여 평가하는 평가항목들 및 그의 세부적인 평가지표들을 설명하기 위한 예시도이다.
상기 상세임상모델의 질 평가도구는, 도1a와 같이, 총 8가지의 평가항목에 대해서 평가하며, 더 구체적으로는 각 평가항목에 포함된 총 29가지의 평가지표들을 바탕으로 상세임상모델을 평가한다.
상기 8가지의 평가항목 및 그에 포함된 29가지의 평가지표들에 대한 정보(평가를 위한 기준값)는 데이터베이스(DB1)에 저장된다. 본 실시예는 상기 평가항목 및 그 평가지표들의 개수를 한정하고자 하는 것이 아니며, 더 상세한 평가를 위해서 그 개수들을 추가하거나 내용의 변경도 가능하다.
이에 따라 상기 평가도구의 중앙처리부(101)는 상기 데이터베이스(DB1)에 저장된 각 정보(각 평가항목에 대한 세부적인 평가지표)의 특정 기준값을 바탕으로 평가할 상세임상모델에 대한 점수(예 : 0 or 1)를 부여한다. 아울러 상대적으로 더 중요한 평가지표에 대해서는 더 많은 점수를 부여하도록 구성할 수도 있다. 그리고 그 점수를 합산한 후, 그 합산된 점수를 바탕으로 상기 상세임상모델에 대한 평가를 수행한다.
이하 상기 8가지의 평가항목 및 그에 포함된 29가지의 평가지표들의 의미와 내용을 설명한다.
먼저 상기 상세임상모델의 질 평가도구는 제1 평가항목으로서, 상세임상모델의 사용 목적(Purpose)과 범위(Scope)를 사용자가 이해 가능한 수준으로 명확하게 제공하고 있는가를 평가한다.
예컨대, 도1b와 같이, 상기 제1 평가항목(목적과 범위)에 대한 제1 평가지표(DCM의 목적)는 상세임상모델 콘텐츠(인스턴스)를 개발하고 사용하는 목적의 기재여부를 평가하는 것으로, 상세임상모델 콘텐츠(인스턴스)(DCM content(instance)) 혹은 상세임상모델 메타데이터(DCM metadata)를 평가대상으로 하며, 이러한 목적의 기재가 존재하는지 여부를 체크하여, 그 사용과 개발을 위한 목적이 기재되어 있으면 1, 상기 목적이 기재되어 있지 않으면 0으로 점수화하여 평가한다.
그리고 도1b와 같이, 상기 제1 평가항목에 대한 제2 평가지표(DCM의 적용 대상의 적절한 기술)는 DCM 콘텐츠(인스턴스)를 적용할 수 있는 적용대상 집단의 기재여부를 평가하는 것으로, DCM 콘텐츠(인스턴스) 혹은 DCM 메타데이터를 평가대상으로 하며, DCM 콘텐츠를 적용할 수 있는 적용대상과 적용대상 집단(target populations)에 관련된 정보가 기재되어 있는지 체크하여, 상기 적용대상과 적용대상 집단에 관련된 정보가 기재되어 있으면 1, 상기 적용대상과 적용대상 집단에 관련된 정보가 기재되어 있지 않으면 0으로 점수화하여 평가한다. 여기서, 상기 적용대상 집단은 집단에 대한 기술(혹은 기재)(descriptive)정보는 증상(symptom), 질병(disease), 성별(sex), 나이(age), 사용 진료부서(department) 및 DCM 사용자 중 적어도 어느 하나일 수 있다.
상기와 같이 제1 평가항목은 상세임상모델의 사용 목적, 적용대상 집단에 관련된 정보의 설정 유무 및 상세임상모델의 사용자에 대한 내용으로서, DCM 사용자의 학제, 전공, 적용 가능한 임상환경에 대한 기술의 여부, 적용 대상 환자 집단에 관한 내용의 유무, 적용 가능한 연령 및 성별 중 적어도 한 가지 이상의 평가지표들을 포함하여 구성되어 있는지를 평가하는 것이다.
상세임상모델의 질 평가도구는 제2 평가항목으로서, 상세임상모델의 개발 과정에서 이해관계자(예 : 임상의)의 참여(stakeholder involvement)가 있는가를 평가한다. 상기 제2 평가항목은 현장 사용자의 요구가 충분히 수렴되었는지를 평가하기 위한 것이다.
예컨대, 도1c와 같이, 상기 제2 평가항목(이해관계자의 참여)에 대한 제1 평가지표(DCM의 개발(혹은 디자인)에 포함된 임상의-참가자들)는 DCM의 개발 혹은 디자인에 참여하였고 최종 사용자 요구사항을 반영하는데 도움을 준 임상의(clinicians)가 있었는지 여부를 평가하는 것으로, DCM 콘텐츠(인스턴스) 혹은 DCM 메타데이터를 평가대상으로 하며, 상세임상모델의 디자인이나 개발에 상기 임상의(clinicians)가 참여하였는지 체크하여, 참여하였으면 1, 참여하지 않았거나 참여 여부를 알 수 없으면 0으로 점수화하여 평가한다.
그리고 도1c와 같이, 상기 제2 평가항목에 대한 제2 평가지표(DCM의 검토/승인에 포함된 임상의-참가자들의 수)는 (조직내부/외부에서) 사용패턴 정의의 적절성에 대한 검토 및/또는 승인에 참여한 임상의(clinicians)의 수를 평가하는 것으로, DCM 메타데이터(contributor, reviewer), DCM 콘텐츠(인스턴스), 언어(ADL, XML, UML, RDF 등), 개발 정책과 지침을 기술한 문서(administrative documents)를 평가대상으로 하며, 상세임상모델의 사용패턴 정의의 적절성에 대한 검토 및/또는 승인에 참여한 임상의들(clinician-participants)의 수를 체크하여, 참여한 임상의들이 있으며 1, 참여한 임상의들이 하나도 없거나 참여를 알 수 없으면 0으로 점수화하여 평가한다.
상기와 같이 제2 평가항목은 상세임상모델의 디자인(개발)을 위한 검토 및/또는 승인 과정에 임상의가 참여하였는가에 대한 평가지표들을 포함하여 구성되어 있는지를 평가하는 것이다.
상세임상모델의 질 평가도구는 제3 평가항목으로서, 상세임상모델의 모든 자료요소(혹은 콘텐츠)가 근거 기반의 임상지식을 이용하여 개발되었는가를 평가한다. 즉, 상기 제3 평가항목은 상세임상모델 개발상의 엄밀성(rigour of development)을 평가하기 위한 것이다.
예컨대, 도1d와 같이, 상기 제3 평가항목(개발상의 엄밀성)에 대한 제1 평가지표(DCM 개발에 사용된 참조(들)의 언급)는 상세임상모델 데이터 요소들이 밝혀진 소스를 언급하고 있는지 여부를 평가하는 것으로, DCM 콘텐츠(인스턴스)와 DCM 메타데이터를 평가대상으로 하며, 참조 파트(예: 임상 진료 가이드라인(clinical practice guidelines), 의학 교과서(medical textbooks), 진료 관행(current practice) 등)에 있는 콘텐츠를 평가하여, 적합한 참조에 대해서는 1, 부적합한 참조에 대해서는 0으로 점수화하여 평가한다.
그리고 도1d와 같이, 상기 제3 평가항목에 대한 제2 평가지표(정확성(사용패턴의 바람직한 사용례(embodiment)))는 상세임상모델이 현재의 보편적인 사용실태 혹은 바람직한 사용례를 반영하고 있는지, 각 데이터 요소와 그것의 가능한 값들은 세밀하게 정의되어 있어 필요한 데이터 요소가 가능한 값들을 충족하는지 여부를 평가하는 것으로, DCM 콘텐츠(인스턴스)의 데이터 요소들(data elements)을 평가대상으로 하며, DCM 컨텐츠의 데이터 요소들에서 사용패턴(또는 진료패턴)의 바람직한 사용례에 대한 임상의의 평가에 따라, 데이터 요소들에 포착된 사용패턴이 거의 없거나 전혀 없는 경우 0, 데이터 요소들에 포착된 사용패턴이 있으면 1로 점수화하여 평가한다.
상기와 같이 상세임상모델의 자료요소들은 임상진료지침, 의학교과서, 주 진료경로지침 등에서 도출되는 것이 일반적이며, 이외에도 현행 진료패턴을 반영해서 만들어지기도 하므로, 사용자가 어떤 참고자료가 활용되었는지를 파악가능한지를 평가하는 지표로 구성된다. 즉, 평가대상 상세임상모델이 현장 사용자가 임상자료요소(데이터 요소 : 명칭, 값, 객체, 속성)를 정확하고, 상세하고, 구체적으로 표현하였는가를 평가하는 지표들을 포함하여 구성된다.
상세임상모델의 질 평가도구는 제4 평가항목으로서, 상세임상모델의 언어나 포맷이 명확하게 표현되었는가를 평가한다. 다시 말해, 상기 제4 평가항목은 명확성(clarity and presentation)을 평가하기 위한 것으로, 해당 상세임상모델의 정형화된 모델링 언어의 사용여부, 자료의 컴퓨터 처리를 위한 코드화, 일관된 자료요소의 표현유지, 카디날리티(cardinality)의 정확성이 평가지표로 포함된다.
예컨대, 도1e와 같이, 상기 제4 평가항목(명확성 및 프레젠테이션)에 대한 제1 평가지표(정형화된 신택스)는 정형화된 신택스로 모호하지 않게 표현하였는지 여부를 평가하는 것으로, 언어(ADL, XML, UML, RDF 등으로 기술된 데이터 요소들의 코드들)를 평가대상으로 하며, DCM 콘텐츠가 정형화된 신택스로 모호하지 않게 표현되었는지 체크하여 정형화된 신택스를 사용하지 않았으면 0, 사용하였으면 1로 점수화하여 평가한다.
그리고 도1e와 같이, 상기 제4 평가항목에 대한 제2 평가지표는 DCM 텍스트 데이터 요소들의 코드화(codification of DCM text data elements) 여부를 평가하는 지표로서, 컴퓨터 처리를 용이하게 하는 DCM 콘텐츠의 코드화 여부에 대한 평가지표이다. 이때 개발자 이름이나 숫자값을 제외하고 아이템은 가능하면 코드화시켜야 하는 것이다. 상기 평가지표는 데이터 요소들과 언어(예: ADL, XML, UML, RDF 등으로 기술된 데이터 요소들의 코드)를 평가대상으로 하며, 각 데이터 요소의 코드가 존재하는지 체크하여, 데이터 요소들이 코드를 가지고, 그 코드가 적용 가능할 경우에는 1, 아무런 데이터 요소들도 코드를 가지고 있지 않으면 0으로 점수화하여 평가한다.
그리고 도1e와 같이, 상기 제4 평가항목에 대한 제3 평가지표는 카디날리티의 적절한 사용(appropriate use of cardinality) 여부를 평가하는 지표로서, DCM 콘텐츠에 적절한 카디날리티가 사용되었는지 여부에 대한 평가지표이다. 상기 평가지표는 DCM 콘텐츠를 평가대상으로 하며, DCM 콘텐츠의 데이터 요소들을 위해 사용된 카디날리티가 적절한지 체크하여, 적절한 경우에는 1, 적절하지 않은 카디날리티인 경우에는 0으로 점수화하여 평가한다.
그리고 도1e와 같이, 상기 제4 평가항목에 대한 제4 평가지표는 DCM 도메인의 정확한 언급(precise mention of DCM domain) 여부를 평가하는 지표로서, DCM 도메인 이름이 평가대상 DCM 콘텐츠에 대한 홈페이지 또는 DCM 저장소(DCM repositories)와 같은 장소들에 정확하게 언급되어 있는지 여부에 대한 평가지표이다. 예컨대 약물 도메인(medication domain)과 약물 처방(medication order)과 같이, 도메인 이름과 그 도메인 인스턴스가 상호 매칭되는 범위에 대하여 정확하게 언급되어 있어야 한다. 상기 평가지표는 DCM 콘텐츠(인스턴스)의 홈페이지 또는 도메인이 명시된 문서를 평가대상으로 하며, DCM 콘텐츠(인스턴스)가 무슨 도메인에 속해있는지 알기 쉬운지 체크하여, 도메인과 그 도메인의 인스턴스들이 잘 매칭될 경우에는 1, 도메인과 그 도메인의 인스턴스들이 전혀 매칭되지 않을 경우에는 0으로 점수화하여 평가한다.
상세임상모델의 질 평가도구는 제5 평가항목으로서, 상세임상모델 기반의 의료정보 교환과 재활용성 보장을 위한 핵심 요건으로서 표준의 준수여부(compliance to standard)를 평가하는 것으로, 표준용어, 표준 자료유형, 표준측정단위의 사용여부를 평가하는 평가지표들을 포함한다.
예컨대, 도1f와 같이, 상기 제5 평가항목(표준준수)에 대한 제1 평가지표는 국제 표준 용어의 사용(use of international standard terminology) 여부를 평가하기 위한 지표이다. DCM에서 국제표준 용어를 포함하는지 여부 혹은 DCM에서 국제표준 용어를 매핑 하였는지 여부(단지 적용할 수 있을 때 및 만약 적용할 수 있다면)를 평가한다. 상기 평가지표는 DCM 콘텐츠(인스턴스)의 용어 결합, 언어(예: ADL, XML, UML, RDF 등으로 기술된 데이터 요소들의 코드들)을 평가대상으로 하며, DCM 인스턴스들에서 결합된 용어들이 국제 표준 용어와 매핑되는지 여부를 체크하여, 국제 표준 용어를 사용한 경우 혹은 적용할 수 없는 경우에는 1, 국제 표준 용어를 사용하지 않은 경우에는 0으로 점수화하여 평가한다.
그리고 도1f와 같이, 상기 제5 평가항목에 대한 제2 평가지표는 국제 표준 데이터 타입의 사용(use of international standard data types) 여부를 평가하기 위한 지표로서, ISO 21090으로서 국제 표준 데이터 타입 혹은 DCM 콘텐츠(인스턴스)의 데이터 타입으로서 HL7 V3 XML 데이터 타입을 사용하는지 혹은 매핑하는지 여부를 평가한다. 상기 평가지표는 DCM 인스턴스 데이터 타입 참조들을 평가대상으로 하며, 어떤 국제표준 데이터 타입이 DCM 콘텐츠(인스턴스)에 사용되었는지 여부를 체크하여, 국제 표준 데이터 타입을 사용한 경우에는 1, 국제 표준 데이터 타입을 사용하지 않은 경우에는 0으로 점수화하여 평가한다.
그리고 도1f와 같이, 상기 제5 평가항목에 대한 제3 평가지표는 국제 표준 측정 단위의 사용 (use of international standard units of measures) 여부를 평가하기 위한 지표로서, 상세임상모델(DCM)에 UCUM과 SNOMED CT와 같은 국제 표준 측정 단위가 사용되고 있는지 여부 또는 DCM 콘텐츠(인스턴스)가 국제 측정단위에 매핑되는 측정단위를 사용하는지 여부를 평가한다. 상기 평가지표는 DCM 인스턴스측정 단위 결합을 평가대상으로 하며, 각각의 적절한 데이터 요소에 대한 코드가 존재하는지 체크하여, 국제 표준 측정 단위를 사용했을 경우에는 1, 국제 표준 측정 단위를 사용하지 않았을 경우에는 0으로 점수화하여 평가한다.
그리고 도1f와 같이, 상기 제5 평가항목에 대한 제4 평가지표는 데이터 타입의 사용 검사(examination of use of data types)를 평가하기 위한 지표로서, DCM 콘텐츠(인스턴스)에 데이터 타입이 적절히 사용되었는지를 평가한다. 상기 평가지표는 DCM 콘텐츠(인스턴스)를 평가대상으로 하며, 데이터 타입이 DCM 컨텐츠(인스턴스)에서 적절히 사용되었는지 여부를 체크하여, 데이터 타입이 잘 특정되며 적절하게 사용되었을 경우에는 1, 데이터 타입이 특정되지 않거나 적절히 사용하지 않았을 경우에는 0으로 점수화하여 평가한다.
그리고 도1f와 같이, 상기 제5 평가항목에 대한 제5 평가지표는 국제 용어들의 사용에 대한 예외 처리(handling exception(s) to the use of International terminologies)를 평가하기 위한 지표로서, 적절한 개념(들) 또는 국제 표준 용어 체계의 용어(들)이 없는 경우에는 DCM 조직(DCM organization)은 단일 DCM 보다는 조직수준에서 예외들(예: 지역 코드 제공(provision of local codes), 관심 국제 표준 용어 체계에 대한 개념 추가사항(addendum)에 대한 요청)을 처리하기 위한 방법들을 특정하여야 하는데 이를 평가한다. 상기 평가지표는 연관된 문서(예: 내부 지침이나 정책)를 평가대상으로 하며, 관련된 사람들의 문서 혹은 인터뷰들의 검토를 통하여 사용 예외가 처리되어 있으면 1, 사용 예외 처리가 되어 있지 않으면 0으로 점수화하여 평가한다.
그리고 도1f와 같이, 상기 제5 평가항목에 대한 제6 평가지표는 국제 표준 용어에 대한 매핑의 품질시험(examination of the quality of mapping to international standard terminology)을 평가하기 위한 지표로서, 조직 수준에서 국제 표준 용어로 매핑의 적합성을 시험하는 프로세스가 있는지를 평가한다. 상기 평가지표는 품질 보증 정책(가이드라인), 구현 문서(가이드라인), 홈페이지 게시물 등을 평가대상으로 하며, 매핑 품질 제어 프로세스가 평가대상들에 특정되어 있는지를 체크하여, 매핑 품질 제어 프로세스가 특정되어 있을 경우에는 1, 매핑 품질 관리 프로세스가 평가대상들에 특정되어 있지 않을 경우에는 0으로 점수화하여 평가한다.
상세임상모델의 질 평가도구는 제6 평가항목으로서, 일반적 방법론(general methodology)은 상세임상모델의 주요 속성을 분류하고 이의 충족여부를 평가한다. 다른 평가항목이 개별 상세임상모델에 관한 평가항목이라면, 상기 일반적 방법론 평가항목은 전체 모델링 방법론에 관한 평가항목에 해당하며, 수정(혹은 변경)자(modifier), 정보의 출처(sources of information), 자료요소의 부정(negation) 등에 관한 속성을 평가대상 상세임상모델이 지원하는가를 평가하는 평가지표를 포함하여 구성된다.
예컨대, 도1g와 같이, 상기 제6 평가항목(일반적 방법론)에 대한 제1 평가지표는 수정자의 사용(use of modifiers) 여부를 평가하기 위한 지표로서, 모든 DCM에 수정자가 사용되는지 여부(예: 산모 차트에 기재된 출생 전 아기, 이식된 환자의 차트에 있는 기증자의 정보)를 평가한다. 상기 평가지표는 DCM 개발자 인터뷰(관련 문서가 발견되지 않거나, 일반에 접근이 허용되지 않거나, 혹은 DCM 인스턴스들에서 발견된 예가 없는 경우에 적용할 수 있음), 문서(데이터 요소들과 속성에 대한), DCM 콘텐츠(인스턴스)를 평가대상으로 하며, 관련된 사람들의 인터뷰와 문서 검토를 통하여, 수정자가 사용되거나 적용할 수 없는 경우에는 1, 수정자가 사용되지 않았을 경우에는 0으로 점수화하여 평가한다.
그리고 도1g와 같이, 상기 제6 평가항목에 대한 제2 평가지표는 정보 출처(information provenance)를 평가하기 위한 지표로서, 환자 또는 임상의가 제공하는 정보의 출처에 대한 명세(specification) 여부를 평가한다. 상기 평가지표는 DCM 개발자 인터뷰(관련 문서가 발견되지 않거나, 일반에 접근이 허용되지 않거나, 혹은 DCM 인스턴스들에서 발견된 예가 없는 경우에 적용할 수 있음), 문서(데이터 요소들과 속성들에 대한), DCM 콘텐츠(인스턴스), 참조 모델을 평가대상으로 하며, 관련된 사람들의 인터뷰와 문서 검토를 통하여, 정보 출처 속성이 존재하거나(혹은 사용되거나) 적용할 수 없는 경우에는 1, 정보 출처 속성이 유효하지 않을 경우에는 0으로 점수화하여 평가한다.
그리고 도1g와 같이, 상기 제6 평가항목에 대한 제3 평가지표는 부정에 대한 적절한 지원(appropriate support for negation) 여부를 평가하기 위한 지표로서, 상세임상모델(DCM)에 부정 메커니즘(negation mechanism)이 지원되는지 여부를 평가한다. 상기 평가지표는 DCM 개발자 인터뷰(관련 문서가 발견되지 않거나, 일반에 접근이 허용되지 않거나, 혹은 DCM 인스턴스들에서 발견된 예가 없는 경우에 적용할 수 있음), 문서(데이터 요소들과 속성에 대한), DCM 콘텐츠(인스턴스)를 평가대상으로 하며, 관련된 사람들의 인터뷰와 문서 검토를 통하여, 부정 메커니즘이 지원되거나 적용 할 수 없는 경우에는 1, 부정 메커니즘이 지원되지 않을 경우에는 0으로 점수화하여 평가한다.
그리고 도1g와 같이, 상기 제6 평가항목에 대한 제4 평가지표는 과거력에 대한 적절한 지원(appropriate support for past history) 여부를 평가하기 위한 지표로서, 문장(statement)의 과거 특정 시간 표기를 위한 타임스탬프(historical time stamps)가 지원되는지 여부를 평가한다. 상기 평가지표는 DCM 개발자 인터뷰(관련 문서가 발견되지 않거나, 일반에 접근이 허용되지 않거나, 혹은 DCM 인스턴스들에서 발견된 예가 없는 경우에 적용할 수 있음), 문서(데이터 요소들과 속성에 대한), 상세임상모델(DCM)을 평가대상으로 하며, 관련된 사람들의 인터뷰, 홈페이지에서 검색 및 문서 검토를 통하여, 과거력(past history)이 존재하거나 과거력을 적용 할 수 없는 경우에는 1, 과거력 지원 메커니즘이 존재하지 않을 경우에는 0으로 점수화하여 평가한다.
그리고 도1g와 같이, 상기 제6 평가항목에 대한 제5 평가지표는 서술형 텍스트의 적절한 제공(appropriate provision of narrative text) 여부를 평가하기 위한 지표로서, 코드화된 값 그 자체를 대신한 것이 아니라 "코멘트"로서 코드화된 값에 부가하여, DCM 컨텐츠(인스턴스) 내의 문자코멘트들을 지원하는지 여부를 평가한다. 상기 평가지표는 문서, DCM 콘텐츠(인스턴스) 또는 언어(ADL, XML, UML, RDF 등)를 평가대상으로 하며, 허용된 값, 속성들이 존재하는지를 체크하여, 데이터 요소에 대한 서술형 텍스트가 허용되거나 서술형 텍스트가 적용될 수 없는 경우에는 1, 데이터 요소에 대한 서술형 텍스트가 허용되지 않을 경우에는 0으로 점수화하여 평가한다.
상세임상모델의 질 평가도구는 제7 평가항목으로서, 메타데이터(metadata)의 충실성을 평가한다. 상기 메타데이터는 상세임상모델의 질에 직접적인 관련은 없으나 사용자에게는 중요한 정보를 제공하며, 상세임상모델 개발자, 버전, 메타데이터의 접근성, 메타데이터의 범위 등을 평가하는 평가지표로 구성된다.
예컨대, 도1h와 같이, 상기 제7 평가항목(메타데이터)에 대한 제1 평가지표는 DCM 콘텐츠(인스턴스)의 개발자(또는 조직)에 대한 정보가 기재되어 있는지 여부를 평가한다. 상기 평가지표는 DCM 콘텐츠(인스턴스), DCM 메타데이터, 또는 언어(ADL, XML, UML, RDF 등)를 평가대상으로 하며, 개발자(혹은 조직)에 대한 기재가 있는지 여부를 체크하여, 개발자 혹은 조직 중 어느 적어도 하나에 대한 기재가 있을 경우에는 1, 개발자나 조직에 대한 기재가 없을 경우에는 0으로 점수화하여 평가한다.
그리고 도1h와 같이, 상기 제7 평가항목에 대한 제2 평가지표는 DCM 사용자의 훈련에 대한 적절한 설명(appropriate description of discipline of DCM user)이 있는지 여부를 평가하기 위한 지표로서, DCM 콘텐츠(인스턴스)에 대한 사용자(예 : 의사, 외과의사, 간호사, 약사)의 훈련에 대한 설명이 포함되어 있는지를 평가한다. 상기 평가지표는 DCM 콘텐츠(인스턴스)와 DCM 메타데이터를 평가대상으로 하며, 사용자와 그 자격(sufficiency)에 대한 기재를 체크하여, 그 기재가 있을 경우에는 1, 기재되어 있지 않을 경우에는 0으로 점수화하여 평가한다.
그리고 도1h와 같이, 상기 제7 평가항목에 대한 제3 평가지표는 DCM 콘텐츠(인스턴스)에 대한 버전 정보(DCM version)가 포함되어 있는지 평가하기 위한 지표로서, DCM 콘텐츠(인스턴스), DCM 메타데이터, 언어(ADL, XML, UML, RDF 등)를 평가대상으로 하며, 버전 정보와 그 실제 의미(예 : 출판된 것인지, 초안인지)의 존재 여부를 체크하여, 버전 넘버가 있을 경우에는 1, 버전 넘버가 없을 경우에는 0으로 점수화하여 평가한다.
그리고 도1h와 같이, 상기 제7 평가항목에 대한 제4 평가지표는 메타데이터의 접근성(accessibility of metadata)을 평가하기 위한 지표로서, DCM 콘텐츠(인스턴스)와 관련된 메타데이터가 대중에 접근 가능한지를 평가한다. 상기 평가지표는 DCM 콘텐츠(인스턴스) 또는 DCM 메타데이터를 평가대상으로 하며, 홈페이지 또는 DCM 저장소 중 적어도 하나에서 메타데이터가 공개적으로 접근 가능한지를 체크하여, 메타데이터가 공개적으로 접근 가능한 경우에는 1, 메타데이터가 공개적으로 접근 가능하지 않는 경우에는 0으로 점수화하여 평가한다.
그리고 도1h와 같이, 상기 제7 평가항목에 대한 제5 평가지표는 메타데이터의 범위(extent of metadata)를 평가하기 위한 지표로서, DCM 콘텐츠(인스턴스)에서 얼마나 많은 메타데이터가 제공되는지를 평가한다. 상기 평가지표는 DCM 콘텐츠(인스턴스) 또는 DCM 메타데이터를 평가대상으로 하며, 개발 날짜(development date), 만료 날짜(expiry date), 마지막 업데이트 날짜(last-update date), 승인 기관(approval organization), 또는 임상 키워드(clinical keyword(s))와 같은 메타데이터 요소(들)가 생성되어 있고 접근 가능한지 여부를 체크하여, 메타데이터가 충분한 (완전하게 명시되어 있는) 경우에는 1, 메타데이터가 기준 이하로 불충분한 경우에는 0으로 점수화하여 평가한다.
그리고 도1h와 같이, 상기 제7 평가항목에 대한 제6 평가지표는 DCM의 검토 및/또는 승인 결과에 대한 공개적인 접근(open access to the review and/or approval results of DCM)을 제공하는지 평가하기 위한 지표로서, DCM의 검토 및/또는 승인 결과의 대중 접근성을 평가한다. 상기 평가지표는 DCM 메타데이터 (승인자, 승인기관), 행정 문서, 홈페이지 등을 평가대상으로 하며, 결과가 접근 가능한지 아닌지 체크하여, 승인날짜, 승인(또는 승인 기관)에 대한 콘텐츠 혹은 승인 만료날짜 중에서 접근 가능한 정보가 있을 경우에는 1, 그에 대한 정보가 없을 경우에는 0으로 점수화하여 평가한다.
상세임상모델의 질 평가도구는 제8 평가항목으로서, 상세임상모델의 관리 및 유지(management and maintenance)를 위한 활동을 평가하며, 책임 있는 유지기관, 사용자의 개선 의견을 수렴할 수 있는 피드백 메커니즘 등을 평가하는 평가지표를 포함하여 구성된다.
예컨대, 도1i와 같이, 상기 제8 평가항목(관리 및 유지)에 대한 제1 평가지표(maintenance organization of DCM)는 DCM의 유지 보수 기관의 대중 접근 가능성 여부를 평가하기 위한 것이다. 상기 평가지표는 DCM 메타데이터, 행정문서(administrative documents), 홈페이지를 평가대상으로 하며, 정보가 접근 가능한지 여부를 체크하여, 유지 보수 기관의 접근이 가능할 경우에는 1, 접근이 가능하지 않을 경우에는 0으로 점수화하여 평가한다.
그리고 도1i와 같이, 상기 제8 평가항목에 대한 제2 평가지표(existence of user feedback mechanism for DCM)는 DCM에 대한 사용자의 피드백 메커니즘이 존재하는지 여부를 평가하기 위한 지표로서, 사용자들이 DCM 콘텐츠(인스턴스)의 평가 혹은 데이터 요소들의 추가사항에 대한 요구와 같은 피드백을 제공하는 것이 가능한지 여부를 평가한다. 상기 평가지표는 DCM 홈페이지 또는 저장소(repository)를 평가대상으로 하며, DCM 홈페이지 또는 저장소를 통해 피드백을 제공할 수 있는지 체크하여, 피드백 메커니즘이 유효할 경우에는 1, 피드백 메커니즘이 유효하지 않을 경우에는 0으로 점수화하여 평가한다.
상기와 같이 상기 상세임상모델의 질을 점수화하여 평가함에 있어서, 상기 점수의 판단은 미리 정해진 특정 기준에 의해서 평가지표의 만족 여부를 판단하는 것으로, 적어도 하나 이상의 평가지표에 따라 특정 값으로 점수를 부여하며, 더 세밀한 평가를 위하여 평가지표의 수를 증가시킬 수 있다.
도2는 본 발명의 일 실시예에 따른 상세임상모델의 질 평가도구의 구성을 설명하기 위하여 개략적으로 보인 블록도이다. 상기 상세임상모델의 질 평가도구는 중앙처리부(101), 입력부(102), 출력부(103) 및 데이터베이스(DB1)를 포함하여 구성된다.
상기 입력부(102)는 평가할 상세임상모델(DCM)에 관련된 데이터를 입력받기 위한 수단으로서, 문자, 도형, 음성, 숫자, 코드 형식의 데이터를 온라인 또는 오프라인 방식으로 입력 받는다.
상기 오프라인 방식은 키보드, 마우스, 조이스틱, 타블렛, 터치스크린, 광학 마크 판독기(OMR), 바코드 판독기(bar code reader), 자기잉크문자판독기(MICR), 스캐너, 화상 카메라, 저장매체(예 : USB, SD, CD-ROM, DVD-ROM), 또는 별도의 컴퓨터 시스템 중 적어도 어느 한 가지나 그 조합을 이용하여 데이터를 입력받는다. 상기 온라인 방식은 유/무선 네트워크(예 : LAN, 인터넷, WiFi, 블루투스), 방송망, 이동통신망 중 적어도 어느 한 가지나 그 조합을 이용하여 데이터를 입력받는다.
상기 입력부(102)는 상기 평가할 상세임상모델(DCM)에 관련된 데이터를 수동이나 자동으로 입력받는다.
상기 데이터를 수동으로 입력받기 위해서는 평가항목에 관련된 사용자 인터페이스 정보를 출력하고, 평가자가 상기 사용자 인터페이스 정보에 따라 평가를 진행할 수 있도록 한다. 예컨대 상기 상세임상모델(DCM)의 각 평가항목(또는 평가지표)을 입력할 수 있는 사용자 인터페이스 화면을 출력하고, 평가자(또는 개발자)가 상기 사용자 인터페이스 화면의 각 평가항목(또는 평가지표)에 해당하는 형식의 데이터를 직접 입력하는 것이다.
상기 데이터를 자동으로 입력받기 위해서는 상기 상세임상모델(DCM)의 데이터 구조를 분석한 후, 상기 평가항목에 관련된 데이터가 저장된 특정 영역(예: 데이터 헤더부, 인덱스부)에서 상기 데이터를 검출하여, 기 지정된 형식으로 자동으로 변환하여 출력한다.
상기 데이터베이스(DB1)(또는 데이터베이스 서버)는 상기 상세임상모델(DCM)의 평가를 위한 8가지의 평가항목 및 그에 포함된 29가지의 평가지표들에 대한 정보 및 평가를 위한 기준값을 저장한다. 상술한 바와 같이 상기 평가항목 및 그 평가지표들의 개수들은 상세한 평가를 위하여 더 추가할 수 있으며, 각 평가항목 및 그 평가지표들의 내용(또는 기준값)의 수정이나 삭제도 가능하다.
이때 상기 평가할 상세임상모델(DCM)에 관련된 데이터를 입력받기 위한 사용자 인터페이스 프로그램은 별도의 메모리(미도시)를 구비하여 저장하거나, 상기 데이터베이스(DB1)의 특정 영역에 저장할 수 있다.
또한 상기 상세임상모델(DCM)의 평가 데이터는 다른 상세임상모델(DCM)과 구분할 수 있도록 하기 위하여 별도의 영역(예: 폴더 또는 별도의 데이터베이스)을 만들어 관리한다. 상기 평가가 진행되는 동안 각 상세임상모델(DCM)에 부여되는 평가점수는 해당하는 상세임상모델(DCM)의 폴더에 저장된다. 또한 상기 각 상세임상모델(DCM)에 부여되는 평가점수는 평가자(또는 검토자)에 의해서 수정도 가능한다. 상기와 같이 평가점수를 수정할 경우에는 그 평가자(또는 검토자)의 이름, 평가점수를 수정한 이유, 수정한 날짜(시간)에 대한 정보도 저장한다.
상기 중앙처리부(101)는 CPU와 같은 제어장치이거나 별도의 컴퓨터 시스템일 수 있으며, 상기 데이터베이스(DB1)에 저장된 평가항목 및 그 세부적인 평가지표에 대한 기준값 및 상기 평가할 상세임상모델(DCM)에서 자동으로 검출한 데이터(또는 수동으로 입력받은 데이터)를 비교 평가한다. 예컨대 제1 평가항목의 제1 평가지표를 평가한다고 가정할 경우, 상기 상세임상모델(DCM)의 제1 평가지표에 관련된 데이터가 기 설정된 기준값을 만족하지 못할 경우에는 기 설정된 점수(예: 0)를 부여하고, 기 설정된 기준값을 만족할 경우에는 그에 해당하는 점수(예: 1)를 부여한다.
이때 상기 상세임상모델(DCM)의 더 상세한 평가를 위하여 품질에 따라 더 다양한 점수를 부여하도록 구성할 수 있다. 즉, 하나의 평가지표에 대하여 더 다양한 기준값을 설정하고, 그 기준값을 만족함에 따라 해당하는 점수를 부여하는 것이다. 예컨대 제1 평가지표에 대하여 0 ~ 3 점까지 평가한다고 가정할 경우, 제1 ~ 제3 기준값을 설정한 후, 제1 기준값을 만족하지 못할 경우에는 0 점, 제1 기준값과 제2 기준값 사이를 만족하는 경우에는 1 점, 제2 기준값과 제3 기준값 사이를 만족하는 경우에는 2점, 제3 기준값 이상을 만족하는 경우에는 3 점을 부여하는 것이다.
상기와 같이 각 평가지표들에 대하여 평가하고 점수를 부여할 때마다, 그 평가 점수들을 합산한다. 더 다양한 점수를 부여하도록 구성하였을 경우에는 평가를 위하여 평균값을 산출할 수도 있다.
그리고 평가방법에 따라 상기 합산된 평가점수가 기 설정된 기준점수 이상인 경우에는 합격으로 판정하고 그 기준점수 미만인 경우에는 불합격으로 판정한다.
이때 상기 평가방법은 단순히 합격과 불합격을 판정하는 것이 아니라, 그 품질의 수준(예: 상/중/하)을 판정하도록 구성하거나, 단지 각 평가항목 별 객관적인 평가점수만을 출력함으로써 사용자가 그 상세임상모델의 질을 판단하도록 구성할 수 있다.
상기 출력부(103)는 음성이나 화상을 출력하는 장치(예: 스피커, 모니터) 이거나 인쇄장치(예: 프린터) 또는 별도의 컴퓨터 시스템(예: 홈페이지 서버)일 수 있으며, 상기 중앙처리부(101)에서 평가한 결과를 사용자 혹은 허용된 자에게 미리 정해진 수준의 보안 정책에 따라 오프라인이나 온라인을 통해서 제공한다.
도3은 본 발명의 일 실시예에 따른 상세임상모델의 질 평가도구의 동작을 설명하기 위한 흐름도이다.
상기 상세임상모델의 질 평가도구는 평가할 상세임상모델(DCM)에 관련된 정보(예: 평가항목 및 그 평가지표에 해당하는 데이터)를 입력받는다(S101). 상기 상세임상모델(DCM)에 관련된 정보는 수동으로 입력받거나 자동으로 입력받는다.
그리고 미리 저장되어 있는 각 평가항목 및 그 세부적인 평가지표에 대한 기준값과 상기 입력받은 상세임상모델(DCM)에 관련된 정보를 각각 비교하여 그 비교 결과에 해당하는 점수를 부여하여 평가한다(S102). 상기 비교 평가는 미리 설정된 프로그램에 따라 자동으로 수행하는 것이 바람직하며 필요시에는 평가자의 의견을 개입시킬 수도 있다.
상기 모든 평가지표 들에 대해서 평가가 완료되지 않을 경우(S103의 아니오), 상기 각 평가지표에 대하여 평가한 점수를 합산한 후(S104), 다음 순서의 평가지표로 전환하여 평가할 수 있도록 한다(S105).
상기 S102 단계와 S105 단계를 반복적으로 수행하여 모든 평가지표 들에 대해서 평가가 완료되면(S103의 예), 그 합산한 평가점수와 지정된 기준점수를 비교한다(S106). 상기 비교 결과에 따라 합산 평가점수가 기준점수 이상인 경우에는 합격으로 판단하며, 또는 그 합산 점수를 바탕으로 품질 수준(예: 상/중/하)을 판단한다(S107). 그러나 상기 합산 평가점수가 기준점수 미만인 경우에는 불합격으로 판단한다(S108).
상기와 같이 합산 평가점수를 이용하여 합격/불합격 또는 품질 수준이 판단되면 그 결과(예: 평가점수, (불)합격, 품질 수준)를 특정 장치(예: 모니터, 프린터, 스피커, 다른 컴퓨터 시스템) 또는 매체(예: 홈페이지, 이-메일, 문자메시지, 방송, 인쇄물)를 통해서 출력한다(S109).
한편 합격/불합격 또는 품질 수준을 판단하지 않고, 상기 평가가 완료되면 그 평가점수를 단지 공개함으로써, 사용자가 그 평가점수를 참조하여 상세임상모델(DCM)의 질을 직접 판단하도록 구성할 수도 있다.
도4는 본 발명의 일 실시예에 따른 상세임상모델(DCM)의 질 평가도구 개발을 위한 방법을 설명하기 위한 예시도이다.
상기 상세임상모델의 질 평가도구의 개발은 실질적으로 상기 데이터베이스(또는 데이터베이스 서버)에 저장되는 질 평가항목 및 그의 세부적인 평가지표를 설정하는 것에 해당한다. 이하 상기 상세임상모델의 질 평가항목 및 그의 세부적인 평가지표를 설정하는 방법에 대해서 설명한다.
우선 제1 단계로서, 핵심문헌(또는 임의의 평가도구)을 참조하여 기존의 질 요건(또는 항목)을 바탕으로(비교 또는 참조)하여(S201) 상세임상모델(DCM)의 질 평가도구의 평가항목과 그 평가항목에 대한 하위구조로서 평가지표를 정의한다(S202). 상기 정의된 평가지표는 아직 구체화 단계를 거치지 않은 상태이기 때문에 추상적인 질 요건(또는 항목)에 해당한다.
이때 상기 질 평가항목을 정의하기 위하여 기존에 임상진료지침 평가도구(AGREE 도구)의 평가항목(또는 평가영역)을 활용한다. 여기서 상기 평가지표의 정의에 기존 질 요건 중 아키타입의 질 요건을 우선적으로 활용하는데, 그 이유는 아키타입이 상세임상모델의 국제표준모델이며, 가장 포괄적으로 질 요건을 정의하였기 때문이다. 이때 상기 평가지표의 하위 구조로 평가지표의 정의 ,평가 대상, 평가기준, 점수화 방법도 정의한다.
그리고 상기 정의된 평가지표를 측정 가능한 수준으로 구체화한다(S203). 상기 구체화를 위한 작업은 추상적인 기존의 질 요건/항목을 측정 가능한 평가지표로 변환하는 것을 말한다. 상기 작업을 통하여 상세임상모델(DCM)의 질 평가도구의 평가항목과 그 하부구조인 평가지표들을 구체화 한다(S204).
참고적으로 상기 평가지표의 구체화 작업들을 수행하기 위하여, ISO/IEC 9126 소프트웨어 품질 평가 모델의 방법론을 활용한다. 이때 기존에 추상적으로 정의되어 있던 질 요건을 평가가능 한 여러 개의 평가지표로 정의함에 있어서, 기존의 질 요건의 포함과 배제의 기준으로서,‘임상적 사용’에 관한 것은 모두 포함하고,‘임상적 사용’과 무관한 개념인 경우(예: 저장소 구축에 관한 질 요건)는 제외한다.
한편 상기와 같이 상세임상모델의 평가도구의 평가항목과 그 하부구조인 평가지표들이 정의되면, 제2 단계로서 상기 정의된 평가항목과 평가지표들에 대한 타당도 평가를 수행한다.
상기 타당도 평가를 위해서는 전문가 패널을 구성한다.
상기 전문가 패널의 구성 방법은, 첫째, 특정 검색 수단(예: Medline과 구글 스칼라)을 통해서 주제어(예: DCM, archetype, clinical model, quality criteria)를 입력하여 검색한 후, 논문의 저자를 전문가 패널로 선정한다. 이때 검색대상(예: 학회지, JAMIA, Methods of Information in Medicine)과 검색기간(예: 1990년 ~ 2010년)을 지정할 수 있다. 즉, 상기 검색 작업을 통해 소정 인원의 전문가 명단을 수집한다.
둘째, 국제표준기구(예: ISO, HL7, CEN)에서 상세임상모델과 관련된 워킹그룹에서 활동하는 전문가 명단을 확보한다. 이때 상기 첫째 방법으로 수집된 전문가와 국제표준기구에서 활동하는 전문가는 중복될 수 있다.
셋째, 상세임상모델의 대표적인 모델(예: 임상요소모델, 아키타입)의 전문가들의 패널 참여가 동일비율로 구성한다. 그리고 상기 선정된 패널을 두 개의 전문가 그룹(제1 전문가 그룹, 제2 전문가 그룹)으로 구분한다. 그 이유는 한 패널이 평가도구의 타당도, 신뢰도를 모두 평가할 경우 패널의 업무량이 과중하므로, 높은 참여를 유도하기 위한 것이었다. 제1 전문가 그룹은 표면타당도 평가를 수행하고(S205), 제2 전문가 그룹은 델파이 기법을 적용한 내용타당도 평가를 수행한다(S207).
여기서, 상기 표면타당도(face validity) 평가는 선정된 평가지표의 질 평가지표로서의 적절성, 질 향상 지표로서의 적절성, 타 상세임상모델 평가지표로서의 적용가능성 및 평가방법의 적절성을 평가대상으로 포함한다.
상기 제1 전문가 그룹에서 수행한 정성적, 정량적 타당도 평가 결과는 연구자(또는 개발자)에게 피드백 하여 평가지표를 수정한다(S206). 이때 제1 전문가 그룹에 의한 평가자(예: 2명 이상의 전문가)간 평가 결과가 일치하지 않은 평가지표의 수정 내용에 관한 타당도 평가를 위하여 표면타당도 평가를 1차와 2차로 나누어 실시한다.
상기 내용 타당도(content validity) 평가는 델파이 기법을 적용하여 2 라운드에 걸쳐서 진행한다.
우선 델파이 1 라운드는 개방형 설문지를 이용한 조사로서, 만약 광범위한 문헌 고찰에 기초하여, 구조화된 설문지 작성이 가능하다면, 수정형 델파이 1 라운드가 가능하고, 용인될 수 있다. 예컨대 특정 기간 동안에 국제적 전문가 패널들에게 전자메일로 설문지를 송부하며, 그 전문가 패널에게는 연구목적, 연구내용, 델파이 기법에 관한 정보를 제공한다. 이때 조사 내용은 총 5개의 영역(예: (1)평가지표, (2)평가지표에 관한 서술형 설명, (3)평가지표의 적절성, (4)평가지표의 질 향상 가능성, (5)타 상세임상모델에 적용가능성) 및 (6)전문가의 수정 혹은 수정 의견란을 포함한다. 그리고 설문 응답의 척도는 4점 척도(예: 척도 4 - 강한 동의, 척도 3 - 동의, 척도 2 - 비동의, 척도 1 - 강한 비동의)를 사용한다.
그리고 델파이 2 라운드는 상기 델파이 1 라운드에서 합의되지 않은 평가지표의 합의도출을 목적으로 시행한다. 이를 위해서 각 평가지표 별 1 라운드의 전체 패널의 응답의 평균값과 해당 패널의 점수를 델파이 패널에게 제공하고, 동시에 1 라운드에서 취합된 모든 패널의 의견을 포함하여 제공한다.
상기와 같이 델파이 1 라운드와 2 라운드를 통해서 평가지표를 합의한다(S208). 이때 전문가 합의 기준은 연구자 별, 합의할 특정 주제별로 다르고, 특정 분야에서는 통상 50% 이상의 패널이 동의한 항목을 의견 일치한 것으로 규정하기도 하는데, 본 실시예에서는 전문가의 합의 기준을 70% 이상이라고 가정하고, 각 평가지표에 관한 동의 분율이 ‘3’과 ‘4’로 응답한 패널의 분율의 합이 70% 이상인 경우와, ‘1’와 ‘2’로 응답한 패널의 분율의 합이 전체 패널의 70% 이상인 경우, 합의를 달성한 것으로 하며, 1 라운드에서 이 합의기준을 달성한 평가지표의 경우 2 라운드 설문지에서 제외한다.
한편, 델파이 2 라운드 결과, 합의되지 않은 평가지표가 존재할 경우(S209), 전문가 패널 간 합의되지 않은 평가지표 및 기각으로 합의된 평가지표 간 개념 매핑을 실시한다(S210). 상기 개념 매핑은 기각 평가지표의 수용 평가지표와의 중복 여부에 관해 파악하기 위한 것을 목적으로 하며, 수용/기각된 평가지표 간, 수용/논쟁 평가지표 간 개념을 매핑 한다.
상기와 같이 타당도 평가를 수행한 후에는 제3 단계로서, 상기 상세임상모델의 질 평가도구의 평가항목과 그 하부구조인 평가지표들의 신뢰도를 평가한다.
상기 상세임상모델의 질 평가도구의 신뢰도는 상기 제1 전문가 그룹에 의한 평가자(예: 2명 이상의 전문가)간 평가 결과의 일치도로 평가한다(S211). 여기서 상기 평가자간 일치도는 카파계수로 산출하며, 상기 카파계수는 평가자가 동일대상 측정 시 우연에 의한 일치 가능성을 배제한 실제 일치도 측정값을 제공한다. 본 실시예에서는 카파계수 0.60 이상을 역치로 설정하며, 이 값은 카파계수 해석기준에 따르면“good agreement level"에 속하는 것이다(S212). 여기서 평가대상은 openEHR의 아키타입을 설정하는데, 그 이유는 현재 국제표준모델이면서, 웹에서 자유롭게 접근이 가능한 모델이기 때문이다. 상기와 같이 신뢰도가 평가되면, 평가 결과가 일치하지 않은 평가지표를 확인하고(S213), 그 원인을 분석하여 평가지표를 수정(또는 개선)한다(S214, S215).
상기와 같이 평가지표가 수정되면, 제4단계로서, 상세임상모델의 질 평가도구의 평가항목과 그 하부구조인 평가지표들을 확정하는 단계를 수행한다. 예컨대 상기 수정된 평가지표는 다시 제1 전문가 그룹의 타당도 평가를 수행하여(S216) 평가도구의 평가지표를 수정하고(S217), 다시 리바이스를 통하여(S218) 그 리바이스 된 평가도구의 평가지표를 상세임상모델의 질 평가도구의 평가지표로서 최종 확정한다(S219, S220). 참고로 상기 평가도구의 평가지표 개선은 평가자 대상으로 전자메일을 이용한 설문 수행 후, 파악된 불일치 유형에 따라 평가도구의 평가지표를 개선한다.
상기와 같이 제1 단계 내지 제4 단계를 통해서 수정되거나 확정된 평가지표는 그 평가기준을 포함하여 상세임상모델의 질 평가도구의 데이터베이스에 저장한다.
본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 기술적 보호범위는 아래의 특허청구범위에 의해서 정하여져야 할 것이다.
101 : 중앙처리부 102 : 입력부
103 : 출력부 DCM : 상세임상모델
DB1 : 데이터베이스

Claims (14)

  1. 평가할 적어도 하나 이상의 상세임상모델(DCM)에 관련된 정보를 입력받는 입력부;
    상기 상세임상모델(DCM)의 질 평가를 위한 적어도 하나 이상의 평가항목과 그에 포함된 적어도 하나 이상의 세부 평가지표들에 대한 정보, 평가기준, 및 평가결과를 저장하는 데이터베이스;
    상기 평가항목과 그 세부 평가지표 및 평가기준을 이용하여 상기 상세임상모델(DCM)의 정보를 평가하고 그에 해당하는 점수를 부여하며, 그 부여된 점수를 바탕으로 질을 평가하는 중앙처리부;
    상기 중앙처리부에서 평가한 결과를 특정 장치나 매체를 통해서 출력하는 출력부;를 포함하여 구성하며,
    상기 평가항목은,
    제1 평가항목으로서 목적과 범위; 제2 평가항목으로서 이해관계자 참여; 제3 평가항목으로서 개발상의 엄밀성; 제4 평가항목으로서 명확성; 제5 평가항목으로서 표준준수; 제6 평가항목으로서 일반적 방법론; 제7 평가항목으로서 메타데이터; 제8 평가항목으로서 관리 및 유지; 또는 이들의 조합 중 적어도 하나 이상을 포함하여 구성되는 것을 특징으로 하는 상세임상모델의 질 평가도구.
  2. 청구항 1에 있어서,
    상기 제1 평가항목은,
    상세임상모델 콘텐츠를 개발하고 사용하는 목적의 기재에 대한 평가기준에 따라 점수를 부여하여 평가하는 제1-1 평가지표;
    DCM 콘텐츠를 적용할 수 있는 적용대상과 적용대상 집단(target populations)에 관련된 정보의 기재에 대한 평가기준에 따라 점수를 부여하여 평가하는 제1-2 평가지표; 또는 이들의 조합 중 적어도 하나 이상을 포함하여 구성되며;
    상기 제2 평가항목은,
    DCM의 개발 혹은 디자인에 참여하였고 최종 사용자 요구사항을 반영하는데 도움을 준 임상의가 얼마나 있었는지, 그 평가기준에 따라 점수를 부여하여 평가하는 제2-1 평가지표;
    사용패턴 정의에 대한 검토 및 승인에 참여한 임상의의 수에 대한 평가기준에 따라 점수를 부여하여 평가하는 제2-2 평가지표; 또는 이들의 조합 중 적어도 하나 이상을 포함하여 구성되는 것을 특징으로 하는 상세임상모델의 질 평가도구.
  3. 청구항 2에 있어서,
    상기 제3 평가항목은,
    상세임상모델 데이터 요소들이 밝혀진 소스를 언급하고 있는지 그 평가기준에 따라 점수를 부여하여 평가하는 제3-1 평가지표;
    DCM 컨텐츠의 데이터 요소들에서 사용패턴(또는 진료패턴)의 바람직한 사용례에 대한 임상의의 평가에 대한 평가기준에 따라 점수를 부여하여 평가하는 제3-2 평가지표; 또는 이들의 조합 중 적어도 하나 이상을 포함하여 구성되며;
    상기 제4 평가항목은,
    정형화된 신택스로 모호하지 않게 표현하였는지 여부를 평가하는 것으로, DCM 콘텐츠가 정형화된 신택스로 모호하지 않게 표현되었는지 체크하여 그 평가기준에 따라 점수를 부여하여 평가하는 제4-1 평가지표;
    DCM 텍스트 데이터 요소들의 코드화 여부를 평가하는 지표로서, 각 데이터 요소의 코드가 존재하는지 체크하여, 그 평가기준에 따라 점수를 부여하여 평가하는 제4-2 평가지표;
    카디날리티(cardinality)를 평가하는 지표로서, DCM 콘텐츠의 데이터 요소들을 위해 사용된 카디날리티를 체크하여, 그 평가기준에 따라 점수를 부여하여 평가하는 제4-3 평가지표;
    DCM 도메인의 정확한 언급 여부를 평가하는 지표로서, DCM 콘텐츠가 무슨 도메인에 속해있는지 알기 쉬운지 체크하여, 도메인과 그 도메인의 인스턴스들이 잘 매칭 되는지 그 평가기준에 따라 점수를 부여하여 평가하는 제4-4 평가지표; 또는 이들의 조합 중 적어도 하나 이상을 포함하여 구성되는 것을 특징으로 하는 상세임상모델의 질 평가도구.
  4. 청구항 3에 있어서,
    상기 제5 평가항목은,
    국제 표준 용어의 사용 여부를 평가하기 위한 지표로서, DCM 인스턴스들에서 결합된 용어들이 국제 표준 용어와 매핑되는지 그 평가기준에 따라 점수를 부여하여 평가하는 제5-1 평가지표;
    국제 표준 데이터 타입의 사용 여부를 평가하기 위한 지표로서, 어떤 국제표준 데이터 타입이 DCM 콘텐츠에 사용되었는지 그 평가기준에 따라 점수를 부여하여 평가하는 제5-2 평가지표;
    국제 표준 측정 단위의 사용 여부를 평가하기 위한 지표로서, 각각의 데이터 요소에 대한 코드가 존재하는지 체크하여, 국제 표준 측정 단위의 사용에 대한 평가기준에 따라 점수를 부여하여 평가하는 제5-3 평가지표;
    데이터 타입의 사용 검사를 평가하기 위한 지표로서, 데이터 타입이 DCM 컨텐츠에서 어떻게 사용되었는지 체크하여, 데이터 타입이 잘 특정되며 사용되었는지 그 평가기준에 따라 점수를 부여하여 평가하는 제5-4 평가지표;
    국제 용어들의 사용에 대한 예외 처리를 평가하기 위한 지표로서, 사용 예외가 처리된 정도에 대한 평가기준에 따라 점수를 부여하여 평가하는 제5-5 평가지표;
    국제 표준 용어에 대한 매핑의 품질시험을 평가하기 위한 지표로서, 매핑 품질 제어 프로세스가 평가대상들에 특정되어 있는지를 체크하여, 매핑 품질 관리 프로세스가 특정되어 있는 정도에 대한 평가기준에 따라 점수를 부여하여 평가하는 제5-6 평가지표; 또는 이들의 조합 중 적어도 하나 이상을 포함하여 구성되며;
    상기 제6 평가항목은,
    수정자의 사용 여부를 평가하기 위한 지표로서, 수정자가 사용된 정도에 대한 평가기준에 따라 점수를 부여하여 평가하는 제6-1 평가지표;
    정보 출처를 평가하기 위한 지표로서, 정보 출처 속성이 존재하거나(혹은 사용되거나) 적용한 정도에 대한 평가기준에 따라 점수를 부여하여 평가하는 제6-2 평가지표;
    부정(negation)에 대한 지원 여부를 평가하기 위한 지표로서, 상세임상모델(DCM)에 부정 메커니즘(negation mechanism)이 지원되는 정도에 대한 평가기준에 따라 점수를 부여하여 평가하는 제6-3 평가지표;
    과거력(past history)에 대한 지원 여부를 평가하기 위한 지표로서, 과거력이 존재하는 정도에 대한 평가기준에 따라 점수를 부여하여 평가하는 제6-4 평가지표;
    서술형 텍스트의 제공 여부를 평가하기 위한 지표로서, 허용된 값, 속성들이 존재하는지를 체크하여, 데이터 요소에 대한 서술형 텍스트가 허용되는 정도에 대한 평가기준에 따라 점수를 부여하여 평가하는 제6-5 평가지표; 또는 이들의 조합 중 적어도 하나 이상을 포함하여 구성되는 것을 특징으로 하는 상세임상모델의 질 평가도구.
  5. 청구항 1 내지 청구항 4 중 어느 한 항에 있어서,
    상기 제7 평가항목은,
    DCM 콘텐츠의 개발자(또는 조직)에 대한 정보가 기재되어 있는지 여부를 평가하기 위한 지표로서, 개발자(혹은 조직)에 대한 기재의 정도에 대한 평가기준에 따라 점수를 부여하여 평가하는 제7-1 평가지표;
    DCM 사용자의 훈련에 대한 설명이 있는지 여부를 평가하기 위한 지표로서, 사용자와 그 자격에 대한 기재에 대한 평가기준에 따라 점수를 부여하여 평가하는 제7-2 평가지표;
    DCM 콘텐츠에 대한 버전 정보(DCM version)가 포함되어 있는지 평가하기 위한 지표로서, 버전 정보와 그 실제 의미의 존재에 대한 평가기준에 따라 점수를 부여하여 평가하는 제7-3 평가지표;
    메타데이터의 접근성을 평가하기 위한 지표로서, 홈페이지 또는 DCM 저장소 중 적어도 하나에서 메타데이터가 공개적으로 접근 가능한지에 대한 평가기준에 따라 점수를 부여하여 평가하는 제7-4 평가지표;
    메타데이터의 범위를 평가하기 위한 지표로서, 개발 날짜, 만료 날짜, 마지막 업데이트 날짜, 승인 기관, 또는 임상 키워드와 같은 메타데이터 요소(들)가 생성되어 있고 접근 가능한지 여부에 대한 평가기준에 따라 점수를 부여하여 평가하는 제7-5 평가지표;
    DCM의 검토 결과, 승인 결과, 또는 이들의 조합 중 적어도 어느 하나에 대한 공개적인 접근을 제공하는지 평가하기 위한 지표로서, 결과가 접근 가능한지 아닌지 체크하여, 승인날짜, 승인(또는 승인 기관)에 대한 콘텐츠 혹은 승인 만료날짜 중에서 접근 가능한 정보가 있는지에 대한 평가기준에 따라 점수를 부여하여 평가하는 제7-6 평가지표; 또는 이들의 조합 중 적어도 하나 이상을 포함하여 구성되며;
    상기 제8 평가항목은,
    DCM의 유지 보수 기관의 대중 접근 가능성 여부를 평가하기 위한 지표로서, 정보 접근에 대한 평가기준에 따라 점수를 부여하여 평가하는 제8-1 평가지표;
    DCM에 대한 사용자의 피드백 메커니즘이 존재하는지 여부를 평가하기 위한 지표로서, DCM 홈페이지 또는 저장소를 통해 피드백을 제공할 수 있는지에 대한 평가기준에 따라 점수를 부여하여 평가하는 제8-2 평가지표; 또는 이들의 조합 중 적어도 하나 이상을 포함하여 구성되는 것을 특징으로 하는 상세임상모델의 질 평가도구.
  6. 상세임상모델 질 평가도구를 이용한 상세임상모델 질 평가 방법에 있어서,
    상기 평가도구가 평가할 적어도 하나 이상의 상세임상모델(DCM)에 관련된 정보를 입력받는 제1 단계;
    상기 평가도구가 데이터베이스에 저장된 평가항목과 그 세부 평가지표 및 평가기준을 이용하여 상기 상세임상모델의 정보를 평가하고 그에 해당하는 점수를 부여하며, 그 부여된 점수를 바탕으로 상세임상모델의 질을 평가하는 제2 단계;
    상기 평가도구가 상기 평가한 결과를 특정 장치나 매체를 통해서 출력하는 제3 단계;를 포함하여 구성되며,
    상기 평가항목은,
    제1 평가항목으로서 목적과 범위; 제2 평가항목으로서 이해관계자 참여; 제3 평가항목으로서 개발상의 엄밀성; 제4 평가항목으로서 명확성; 제5 평가항목으로서 표준준수; 제6 평가항목으로서 일반적 방법론; 제7 평가항목으로서 메타데이터; 제8 평가항목으로서 관리 및 유지; 또는 이들의 조합 중 적어도 하나 이상을 포함하여 구성되는 것을 특징으로 하는 상세임상모델의 질 평가 방법.
  7. 청구항 6에 있어서,
    상기 제1 평가항목은,
    상세임상모델 콘텐츠를 개발하고 사용하는 목적의 기재에 대한 평가기준에 따라 점수를 부여하여 평가하는 제1-1 평가지표;
    DCM 콘텐츠를 적용할 수 있는 적용대상과 적용대상 집단(target populations)에 관련된 정보의 기재에 대한 평가기준에 따라 점수를 부여하여 평가하는 제1-2 평가지표; 또는 이들의 조합 중 적어도 하나 이상을 포함하여 구성되며;
    상기 제2 평가항목은,
    DCM의 개발 혹은 디자인에 참여하였고 최종 사용자 요구사항을 반영하는데 도움을 준 임상의가 얼마나 있었는지, 그 평가기준에 따라 점수를 부여하여 평가하는 제2-1 평가지표;
    사용패턴 정의에 대한 검토 및 승인에 참여한 임상의의 수에 대한 평가기준에 따라 점수를 부여하여 평가하는 제2-2 평가지표; 또는 이들의 조합 중 적어도 하나 이상을 포함하여 구성되는 것을 특징으로 하는 상세임상모델의 질 평가 방법.
  8. 청구항 7에 있어서,
    상기 제3 평가항목은,
    상세임상모델 데이터 요소들이 밝혀진 소스를 언급하고 있는지 그 평가기준에 따라 점수를 부여하여 평가하는 제3-1 평가지표;
    DCM 컨텐츠의 데이터 요소들에서 사용패턴(또는 진료패턴)의 바람직한 사용례에 대한 임상의의 평가에 대한 평가기준에 따라 점수를 부여하여 평가하는 제3-2 평가지표; 또는 이들의 조합 중 적어도 하나 이상을 포함하여 구성되며;
    상기 제4 평가항목은,
    정형화된 신택스로 모호하지 않게 표현하였는지 여부를 평가하는 것으로, DCM 콘텐츠가 정형화된 신택스로 모호하지 않게 표현되었는지 체크하여 그 평가기준에 따라 점수를 부여하여 평가하는 제4-1 평가지표;
    DCM 텍스트 데이터 요소들의 코드화 여부를 평가하는 지표로서, 각 데이터 요소의 코드가 존재하는지 체크하여, 그 평가기준에 따라 점수를 부여하여 평가하는 제4-2 평가지표;
    카디날리티를 평가하는 지표로서, DCM 콘텐츠의 데이터 요소들을 위해 사용된 카디날리티를 체크하여, 그 평가기준에 따라 점수를 부여하여 평가하는 제4-3 평가지표;
    DCM 도메인의 정확한 언급 여부를 평가하는 지표로서, DCM 콘텐츠가 무슨 도메인에 속해있는지 알기 쉬운지 체크하여, 도메인과 그 도메인의 인스턴스들이 잘 매칭 되는지 그 평가기준에 따라 점수를 부여하여 평가하는 제4-4 평가지표; 또는 이들의 조합 중 적어도 하나 이상을 포함하여 구성되는 것을 특징으로 하는 상세임상모델의 질 평가 방법.
  9. 청구항 8에 있어서,
    상기 제5 평가항목은,
    국제 표준 용어의 사용 여부를 평가하기 위한 지표로서, DCM 인스턴스들에서 결합된 용어들이 국제 표준 용어와 매핑되는지 그 평가기준에 따라 점수를 부여하여 평가하는 제5-1 평가지표;
    국제 표준 데이터 타입의 사용 여부를 평가하기 위한 지표로서, 어떤 국제표준 데이터 타입이 DCM 콘텐츠에 사용되었는지 그 평가기준에 따라 점수를 부여하여 평가하는 제5-2 평가지표;
    국제 표준 측정 단위의 사용 여부를 평가하기 위한 지표로서, 각각의 데이터 요소에 대한 코드가 존재하는지 체크하여, 국제 표준 측정 단위의 사용에 대한 평가기준에 따라 점수를 부여하여 평가하는 제5-3 평가지표;
    데이터 타입의 사용 검사를 평가하기 위한 지표로서, 데이터 타입이 DCM 컨텐츠에서 어떻게 사용되었는지 체크하여, 데이터 타입이 잘 특정되며 사용되었는지 그 평가기준에 따라 점수를 부여하여 평가하는 제5-4 평가지표;
    국제 용어들의 사용에 대한 예외 처리를 평가하기 위한 지표로서, 사용 예외가 처리된 정도에 대한 평가기준에 따라 점수를 부여하여 평가하는 제5-5 평가지표;
    국제 표준 용어에 대한 매핑의 품질시험을 평가하기 위한 지표로서, 매핑 품질 제어 프로세스가 평가대상들에 특정되어 있는지를 체크하여, 매핑 품질 관리 프로세스가 특정되어 있는 정도에 대한 평가기준에 따라 점수를 부여하여 평가하는 제5-6 평가지표; 또는 이들의 조합 중 적어도 하나 이상을 포함하여 구성되며;
    상기 제6 평가항목은,
    수정자의 사용 여부를 평가하기 위한 지표로서, 수정자가 사용된 정도에 대한 평가기준에 따라 점수를 부여하여 평가하는 제6-1 평가지표;
    정보 출처를 평가하기 위한 지표로서, 정보 출처 속성이 존재하거나(혹은 사용되거나) 적용한 정도에 대한 평가기준에 따라 점수를 부여하여 평가하는 제6-2 평가지표;
    부정(negation)에 대한 지원 여부를 평가하기 위한 지표로서, 상세임상모델(DCM)에 부정 메커니즘(negation mechanism)이 지원되는 정도에 대한 평가기준에 따라 점수를 부여하여 평가하는 제6-3 평가지표;
    과거력(past history)에 대한 지원을 평가하기 위한 지표로서, 과거력이 존재하는 정도에 대한 평가기준에 따라 점수를 부여하여 평가하는 제6-4 평가지표;
    서술형 텍스트를 평가하기 위한 지표로서, 허용된 값, 속성들이 존재하는지를 체크하여, 데이터 요소에 대한 서술형 텍스트가 허용되는 정도에 대한 평가기준에 따라 점수를 부여하여 평가하는 제6-5 평가지표; 또는 이들의 조합 중 적어도 하나 이상을 포함하여 구성되는 것을 특징으로 하는 상세임상모델의 질 평가 방법.
  10. 청구항 6 내지 청구항 9 중 어느 한 항에 있어서,
    상기 제7 평가항목은,
    DCM 콘텐츠의 개발자(또는 조직)에 대한 정보가 기재되어 있는지 여부를 평가하기 위한 지표로서, 개발자(혹은 조직)에 대한 기재의 정도에 대한 평가기준에 따라 점수를 부여하여 평가하는 제7-1 평가지표;
    DCM 사용자의 훈련에 대한 설명을 평가하기 위한 지표로서, 사용자와 그 자격에 대한 기재에 대한 평가기준에 따라 점수를 부여하여 평가하는 제7-2 평가지표;
    DCM 콘텐츠에 대한 버전 정보(DCM version)가 포함되어 있는지 평가하기 위한 지표로서, 버전 정보와 그 실제 의미의 존재에 대한 평가기준에 따라 점수를 부여하여 평가하는 제7-3 평가지표;
    메타데이터의 접근성을 평가하기 위한 지표로서, 홈페이지 또는 DCM 저장소 중 적어도 하나에서 메타데이터가 공개적으로 접근 가능한지에 대한 평가기준에 따라 점수를 부여하여 평가하는 제7-4 평가지표;
    메타데이터의 범위를 평가하기 위한 지표로서, 개발 날짜, 만료 날짜, 마지막 업데이트 날짜, 승인 기관, 또는 임상 키워드와 같은 메타데이터 요소(들)가 생성되어 있고 접근 가능한지 여부에 대한 평가기준에 따라 점수를 부여하여 평가하는 제7-5 평가지표;
    DCM의 검토 결과, 승인 결과, 또는 이들의 조합 중 적어도 어느 하나에 대한 공개적인 접근을 제공하는지 평가하기 위한 지표로서, 결과가 접근 가능한지 아닌지 체크하여, 승인날짜, 승인(또는 승인 기관)에 대한 콘텐츠 혹은 승인 만료날짜 중에서 접근 가능한 정보가 있는지에 대한 평가기준에 따라 점수를 부여하여 평가하는 제7-6 평가지표; 또는 이들의 조합 중 적어도 하나 이상을 포함하여 구성되며;
    상기 제8 평가항목은,
    DCM의 유지 보수 기관의 대중 접근 가능성 여부를 평가하기 위한 지표로서, 정보 접근에 대한 평가기준에 따라 점수를 부여하여 평가하는 제8-1 평가지표;
    DCM에 대한 사용자의 피드백 메커니즘이 존재하는지 여부를 평가하기 위한 지표로서, DCM 홈페이지 또는 저장소를 통해 피드백을 제공할 수 있는지에 대한 평가기준에 따라 점수를 부여하여 평가하는 제8-2 평가지표; 또는 이들의 조합 중 적어도 하나 이상을 포함하여 구성되는 것을 특징으로 하는 상세임상모델의 질 평가 방법.
  11. 상세임상모델의 질 평가도구 개발 장치를 통한 상세임상모델 질 평가도구 개발 방법에 있어서,
    상기 상세임상모델의 질 평가도구 개발 장치가 미리 정의된 평가항목과 그의 평가지표를 입력받는 제1 단계;
    상기 상세임상모델의 질 평가도구 개발 장치가 복수의 평가자에게 상기 평가항목과 평가지표를 제공하고 상기 복수의 평가자로부터 상기 평가항목과 그의 평가지표들에 대한 타당도 평가 결과를 입력받는 제2 단계;
    상기 상세임상모델의 질 평가도구 개발 장치가 복수의 평가자에게 상기 평가항목과 평가지표를 제공하고 상기 복수의 평가자로부터 상기 평가항목과 그의 평가지표들에 대한 신뢰도 평가 결과를 입력받는 제3 단계;
    상기 상세임상모델의 질 평가도구 개발 장치가 상기 입력받은 타당도 평가의 결과를 바탕으로 평가자간 평가 결과가 일치하지 않은 경우, 개선한 평가항목, 평가지표 또는 이들의 조합을 다시 입력받은 후, 그 개선된 평가항목, 평가지표 또는 이들의 조합에 대한 타당도 평가를 제공하는 것을 반복적으로 수행하도록 하여, 평가자간 평가 결과가 일치하는 경우, 최종 평가항목과 평가지표를 확정하는 제4 단계; 및
    상기 상세임상모델의 질 평가도구 개발 장치가 상기 최종 확정된 평가항목과 평가지표에 대한 정보를 데이터베이스에 저장하며, 상기 신뢰도 평가는 평가자간 일치도를 나타내는 카파계수를 산출한 후, 그 카파계수가 0.60 이상인 평가지표를 “good agreement level"에 속하는 것으로 판단하고, 그 이하는 평가 결과가 일치하지 않는 것으로 판단하도록 평가자에게 평가 정보를 제공하는 것을 특징으로 하는 상세임상모델 질 평가도구 개발 방법.
  12. 청구항 11에 있어서,
    상기 제1 단계에서 미리 정의된 평가지표를 측정 가능한 수준으로 구체화하기 위하여, 추상적인 기존의 질 요건과 항목에서 측정 가능한 평가지표로 변환하여 입력되는 것을 특징으로 하며,
    상기 변환은 기존의 질 요건과 항목의 포함과 배제의 기준으로서, 임상적 사용에 관한 질 요건과 항목은 모두 포함하고, 임상적 사용과 무관한 질 요건과 항목은 제외하는 것을 특징으로 하는 상세임상모델 질 평가도구 개발 방법.
  13. 청구항 11에 있어서,
    상기 타당도 평가는 두 개의 전문가 그룹(제1 전문가 그룹, 제2 전문가 그룹)을 설정한 후, 제1 전문가 그룹은 표면타당도 평가를 수행하고, 제2 전문가 그룹은 델파이 기법을 적용한 내용타당도 평가를 수행하도록 지원하며;
    상기 내용타당도 평가는 개방형 설문지를 이용하여 (1)평가지표, (2)평가지표에 관한 서술형 설명, (3)평가지표의 적절성, (4)평가지표의 질 향상 가능성, (5)타 상세임상모델에 적용가능성을 조사하는 델파이 1 라운드와, (6)상기 델파이 1 라운드에서 합의되지 않은 평가지표의 합의를 도출하기 위한 델파이 2 라운드를 포함하여 수행되도록 지원하는 것을 특징으로 하는 상세임상모델 질 평가도구 개발 방법.
  14. 청구항 13에 있어서,
    상기 합의 기준을 70% 이상이라고 할 경우,
    각 평가지표에 관한 동의 분율이 특정 응답척도(동의, 강한동의)로 응답한 패널의 분율의 합이 70% 이상인 경우와, 다른 응답척도(강한 비동의, 비동의)로 응답한 패널의 분율의 합이 전체 패널의 70% 이상인 경우에 합의를 달성한 것으로 판단하도록 지원하며;
    상기 델파이 2 라운드 결과, 합의되지 않은 평가지표가 존재할 경우,
    전문가 패널 간 합의되지 않은 평가지표 및 기각으로 합의된 평가지표 간 개념 매핑을 실시하도록 지원하는 것을 특징으로 하는 상세임상모델 질 평가도구 개발 방법.
KR1020120049784A 2012-05-10 2012-05-10 상세임상모델의 질 평가도구, 평가도구 개발 방법 및 그 평가 방법 KR101404113B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120049784A KR101404113B1 (ko) 2012-05-10 2012-05-10 상세임상모델의 질 평가도구, 평가도구 개발 방법 및 그 평가 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120049784A KR101404113B1 (ko) 2012-05-10 2012-05-10 상세임상모델의 질 평가도구, 평가도구 개발 방법 및 그 평가 방법

Publications (2)

Publication Number Publication Date
KR20130126041A KR20130126041A (ko) 2013-11-20
KR101404113B1 true KR101404113B1 (ko) 2014-06-10

Family

ID=49854211

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120049784A KR101404113B1 (ko) 2012-05-10 2012-05-10 상세임상모델의 질 평가도구, 평가도구 개발 방법 및 그 평가 방법

Country Status (1)

Country Link
KR (1) KR101404113B1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101654839B1 (ko) * 2014-05-02 2016-09-06 (주)타임비 인쇄품질 관리 프로그램을 이용한 인쇄품질 자가진단 방법과 장치
US11387000B2 (en) 2016-02-08 2022-07-12 OutcomeMD, Inc. Systems and methods for determining and providing a display of a plurality of wellness scores for patients with regard to a medical condition and/or a medical treatment
WO2017139383A1 (en) 2016-02-08 2017-08-17 OutcomeMD, Inc. Determining a wellness, improvement, or effectiveness score
US10079072B2 (en) * 2016-12-20 2018-09-18 Siemens Healthcare Gmbh Biologically inspired intelligent body scanner
KR102372414B1 (ko) * 2020-05-11 2022-03-07 남부대학교산학협력단 심장호흡물리치료를 위한 환자 맞춤형 중재 결정 방법 및 장치
CN117037976A (zh) * 2023-08-08 2023-11-10 中国中医科学院中医药信息研究所 一种古籍临床效价评估方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002015061A (ja) 2000-04-28 2002-01-18 Ifusion Technologies Inc 臨床試験実施管理システム
KR20060076650A (ko) * 2004-12-29 2006-07-04 사회복지법인 삼성생명공익재단 Ｉｒｂ 심사 시스템 및 그 방법
JP2011159176A (ja) 2010-02-02 2011-08-18 Jikko Data Science Kk 臨床試験デザインの特徴マップ表示方法及び表示装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002015061A (ja) 2000-04-28 2002-01-18 Ifusion Technologies Inc 臨床試験実施管理システム
KR20060076650A (ko) * 2004-12-29 2006-07-04 사회복지법인 삼성생명공익재단 Ｉｒｂ 심사 시스템 및 그 방법
JP2011159176A (ja) 2010-02-02 2011-08-18 Jikko Data Science Kk 臨床試験デザインの特徴マップ表示方法及び表示装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
[카달로그] 대한경략경혈학회지 VOL.22 N0.4 A PILOT STUDY ON RELIABILITY OF PULSE DIAGNOSIS IN EIGHT-CONSTITUTION MEDICINE *

Also Published As

Publication number Publication date
KR20130126041A (ko) 2013-11-20

Similar Documents

Publication Publication Date Title
Lasserson et al. Starting a review
Cassidy et al. Mathematical modelling for health systems research: a systematic review of system dynamics and agent-based models
Kenett et al. Information quality: The potential of data and analytics to generate knowledge
US11562143B2 (en) Artificial intelligence (AI) based document processor
Pennel et al. Nonprofit hospitals’ approach to community health needs assessment
Kanji et al. Corporate social responsibility in a global economy
KR101404113B1 (ko) 상세임상모델의 질 평가도구, 평가도구 개발 방법 및 그 평가 방법
Garcia Clinical laboratory management
Bennett et al. The evolution of integrated environmental performance evaluation and reporting at Baxter international
Baldauf et al. Method for managing requirements in healthcare projects using building information modelling
Leong et al. Benefit-risk assessment of medicines: the development and application of a universal framework for decision-making and effective communication
CA3118095C (en) Artificial intelligence (ai) based document processor
Jokela Determining usability requirements into a call-for-tenders: a case study on the development of a healthcare system
Kemp et al. The impact of health information management professionals on patient safety: A systematic review
Woods et al. Perceived impact of digital health maturity on patient experience, population health, health care costs, and provider experience: mixed methods case study
Davidson et al. Visualizing benefits: Evaluating healthcare information system using IS-impact model
Woldesenbet Highway infrastructure data and information integration & assessment framework: A data-driven decision-making approach
Gomwe et al. Proposed framework for innovative business intelligence for competitive advantage in small, medium and micro-organisations in the North West province of South Africa
Bowen et al. Developing an enterprisewide data strategy: data integrity is a critical concern for both the clinical and financial sides of the healthcare enterprise, ensuring both quality of care provided and accurate payment for services--and that also makes it a critical concern for the CFO
Silvestre et al. Health Information Systems: Analysis of country-level strategies, indicators, and resources
Papatheocharous et al. The GRADE decision canvas for classification and reflection on architecture decisions
Xie et al. An assessment technique for information quality support in emergency response
Hendrix et al. Economic evaluations of health system strengthening activities in low-income and middle-income country settings: a methodological systematic review
Canlas et al. An ISO/IEC 25010 Based Software Quality Assessment of a Faculty Research Productivity Monitoring and Prediction System
Jayawardene A pattern based approach for data quality requirements modelling

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee