KR102210250B1 - Ai 예측 모델을 이용한 예측 결과의 시각화 방법 - Google Patents

Ai 예측 모델을 이용한 예측 결과의 시각화 방법 Download PDF

Info

Publication number
KR102210250B1
KR102210250B1 KR1020200131580A KR20200131580A KR102210250B1 KR 102210250 B1 KR102210250 B1 KR 102210250B1 KR 1020200131580 A KR1020200131580 A KR 1020200131580A KR 20200131580 A KR20200131580 A KR 20200131580A KR 102210250 B1 KR102210250 B1 KR 102210250B1
Authority
KR
South Korea
Prior art keywords
prediction
prediction result
result
value
prediction model
Prior art date
Application number
KR1020200131580A
Other languages
English (en)
Inventor
금지수
이호석
Original Assignee
주식회사 웨이센
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 웨이센 filed Critical 주식회사 웨이센
Priority to KR1020200131580A priority Critical patent/KR102210250B1/ko
Application granted granted Critical
Publication of KR102210250B1 publication Critical patent/KR102210250B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/206—Drawing of charts or graphs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/54—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

본 발명은 AI 예측 모델을 이용한 예측 결과의 시각화 방법에 관한 것이다.
본 발명에 따른 AI 예측 모델을 이용한 예측 결과의 시각화 방법은, 임의의 객체의 실제 촬영 영상에서 제1 대립이 되는 속성 A, B를 갖는 영상을 2차원 평면상의 특정 지점을 기준으로 상기 속성 A, B가 서로 대면하도록 2차원 평면상에 배치하는 단계와; 임의의 객체의 영상에서 제2 대립이 되는 속성을 갖는 영상을 제1 대립의 속성을 갖는 영상과 특정 지점을 기준으로 직교하도록 2차원 평면상에 배치하는 단계와; 2차원 평면상에서 동일 대상(target)이 검출되면, AI 예측 모델을 이용하여 점(point)의 형태 또는 다른 형태로 예측 결과를 2차원 평면상에 표시를 시작하고, 동일 대상이 사라지면 예측 결과를 저장하고 평면을 초기화(reset)하는 단계; 및 발견된 각 대상 또는 동일 대상에 대한 AI 예측 모델에 의한 예측 결과값을 최종적으로 2차원 평면의 화면에 표시하여 시각화하는 단계를 포함한다.
이와 같은 본 발명에 의하면, 실시간 예측 결과를 분석하기 편리하게 나타내어 사용할 수 있고, 평면상에 누적 분포와 평균값, 프레임 수 등의 여러 결과를 한꺼번에 나타낼 수 있는 장점이 있다.

Description

AI 예측 모델을 이용한 예측 결과의 시각화 방법{Method for visualizing result of prediction using AI(Artificial Intelligence) prediction model}
본 발명은 AI(Artificial Intelligence) 예측 모델을 이용한 예측 결과의 시각화 방법에 관한 것으로서, 더 상세하게는 2(two) 클래스로 분류되는 AI 예측 결과를 동일 대상(target) 단위로 화면에 시각화하는 AI 예측 모델을 이용한 예측 결과의 시각화 방법에 관한 것이다.
최근 프로세서 및 메모리 등의 반도체 기술이 급속히 발전함에 따라, 인공지능(AI) 기술도 발전하고 있다. 이에 따라 AI 기술을 이용한 서비스도 광범위하게 여러 분야에서 개발되고 있다. 예를 들면, 딥러닝 기술이 인공지능 기술 분야에서 주목받고 있으며, 데이터 분석, 영상 인식, 자연어 처리 등과 같은 다양한 분야에서 뛰어난 결과를 보이고 있다.
어떤 객체(사물)에 대한 영상의 예측 결과를 수치로 표시하는 경우, 다음 영상으로 지나가면 이전 영상 결과값을 확인하기 어려운 문제가 있다. 그리고 영상의 예측 결과를 평균 값으로 표시하는 경우에는 최대/최소 등 관련성을 확인하기 어렵고, 추가적인 결과 산출 방법이 필요하다. 또한, 영상의 예측 결과를 시계열 데이터로 가정하고 그래프 형태로 표시하면, 형태만 알 수 있어 2가지 속성(복합 특성)을 함께 보기에는 적합하지 않다. 또한, 영상의 예측 결과를 테이블 형태로 표시하는 경우, 수치 데이터가 많아 관련성을 시각적으로 확인하기 어려운 문제가 있다.
한편, 한국 공개특허공보 제10-2018-0108210호(특허문헌 1)에는 "의료 영상 표시 방법 및 의료 영상 표시 장치"가 개시되어 있는바, 이에 따른 의료 영상 표시 방법은, 실시간으로 촬영되는 대상체의 의료 영상 및 상기 의료 영상에 정합되는 상기 대상체의 제1 참조 영상을 표시하는 단계; 상기 의료 영상 내에서, 상기 대상체의 형태가 왜곡된 제1 영역의 인접 영역의 영상 정보를 획득하는 단계; 상기 제1 영역의 인접 영역의 영상 정보에 기초하여, 상기 제1 영역의 영상 정보를 예측하는 단계; 및 상기 예측 결과에 기초하여, 상기 제1 참조 영상에서 상기 대상체에 대응되는 영역을 재구성하여 표시하는 단계를 포함하는 것을 특징으로 한다.
이상과 같은 특허문헌 1의 경우, 실시간 의료 영상 내에서 왜곡되거나 유실된 대상체의 영역을 예측하고, 예측 결과에 기초하여 대상체의 영역을 재구성할 수 있고, 재구성된 대상체의 영상 정보에 기초하여 대상체의 참조 영상을 재구성하여 표시할 수 있는 장점이 있으나, 이는 실시간으로 촬영되는 대상체의 의료 영상을 바탕으로 대상체의 형태가 왜곡된 제1 영역의 인접 영역의 영상 정보를 획득하고, 획득된 제1 영역의 인접 영역의 영상 정보에 기초하여 제1 영역의 영상 정보를 예측하고, 예측 결과에 기초하여 대상체에 대응되는 영역을 재구성하여 표시하도록 되어 있어, 대상체의 실제 의료 영상과 가까운 영상을 표시할 수 있을지는 몰라도 대상체의 2가지 속성(복합 특성)을 표시하기는 어려운 단점이 있다.
한국 공개특허공보 제10-2018-0108210호(2018.10.04.)
본 발명은 상기와 같은 사항을 종합적으로 감안하여 창출된 것으로서, 2 클래스로 분류되는 AI 예측 결과를 동일 대상(target) 단위로 확인하기 쉽도록 화면에 시각화하는 AI 예측 모델을 이용한 예측 결과의 시각화 방법을 제공함에 그 목적이 있다.
상기의 목적을 달성하기 위하여 본 발명에 따른 AI 예측 모델을 이용한 예측 결과의 시각화 방법은,
컴퓨터 시스템을 이용하여 시각화 방법의 구현을 위해 미리 제작된 AI 예측 모델을 학습시키고, 상기 AI 예측 모델을 이용하여 대상을 촬영한 영상에 대한 결과를 예측하여, 그 예측 결과를 시각화하는 방법으로서,
a) 임의의 객체의 실제 촬영 영상에서 제1 대립이 되는 속성 A, B를 갖는 영상을 2차원 평면상의 특정 지점을 기준으로 상기 속성 A, B가 서로 대면하도록 2차원 평면상에 배치하는 단계와;
b) 상기 임의의 객체의 영상에서 제2 대립이 되는 속성을 갖는 영상을 상기 제1 대립의 속성을 갖는 영상과 상기 특정 지점을 기준으로 직교하도록 상기 2차원 평면상에 배치하는 단계와;
c) 상기 2차원 평면상에서 동일 대상(target)이 검출되면, 상기 AI 예측 모델을 이용하여 점(point)의 형태 또는 원의 형태, 대응하는 클래스를 각각 반대편에 배치하는 형태, 4분면을 각각 다른 색상으로 표시하는 형태, 4분면의 일정 영역을 그레이 존으로 표시하는 형태, 프레임수에 따른 히트맵 형태 중의 어느 하나의 형태로 예측 결과를 2차원 평면상에 표시를 시작하고, 동일 대상이 사라지면 예측 결과를 저장하고 평면을 초기화(reset)하는 단계; 및
d) 발견된 각 대상 또는 상기 동일 대상에 대한 AI 예측 모델에 의한 예측 결과값을 최종적으로 2차원 평면의 화면에 표시하여 시각화하는 단계를 포함하는 점에 그 특징이 있다.
여기서, 상기 단계 a) 및 b)에서 상기 특정 지점은 중심값과 상하좌우 최대값을 가지며, 상기 중심값은 50% 또는 0.5로 설정되고, 상기 상하좌우 최대값은 100% 또는 1로 설정될 수 있다.
또한, 상기 단계 c)에서 상기 AI 예측 모델에 의한 예측 결과를 분석을 위해 X, Y 좌표값으로 변환하여 누적 저장할 수 있다.
이때, 상기 X, Y 좌표값은 0∼100의 값을 가질 수 있다.
또한, 상기 단계 c)에서 상기 저장한 예측 결과는 추후에 "동일 대상"에 대해 예측 결과를 분석할 때 불러와서 동일 대상이 여러 번 나타난 것에 대해 다시 분석할 수 있다.
또한, 상기 단계 d)에서 상기 발견된 각 대상에 대한 AI 예측 모델에 의한 예측 결과값을 화면에 표시함에 있어서, 예측 결과값의 평균값을 화면에 표시하거나, 동일 대상에 대한 AI 예측 결과값들을 수집하여 평균값으로 화면에 표시할 수 있다.
이때, 상기 AI 예측 결과값에 대한 평균값 또는 프레임 개수나 프레임 개수를 정규화한 프레임 비율로 화면에 표시할 수 있다.
또한, 상기 단계 d)에서 AI 예측 결과값을 화면에 표시함에 있어서, AI 예측 결과값에서 노이즈(noise)를 제외하고 응집도(신뢰도) 높은 최종 예측 결과를 표시할 수 있다.
또한, 상기 단계 d)에서 AI 예측 결과값을 화면에 표시함에 있어서, 누적 저장된 예측 결과에 분석을 적용하여 아웃라이어(outlier)를 찾아내고, 그 아웃라이어를 예측 결과에서 제외하여 최종 예측 결과를 표시할 수 있다.
이때, 동일 대상의 예측 값들에 LOF(Local Outlier Factor) 분석을 적용하여 아웃라이어(outlier)를 찾아낼 수 있다.
이때, 또한 상기 아웃라이어를 제외한 예측 결과값에 대한 평균값 또는 프레임 개수나 프레임 개수를 정규화한 프레임 비율로 표시할 수 있다.
이와 같은 본 발명에 의하면, 실시간 예측 결과를 분석하기 편리하게 나타내어 사용할 수 있고, 평면상에 누적 분포와 평균값, 프레임 수 등의 여러 결과를 한꺼번에 나타낼 수 있는 장점이 있다.
또한, 실시간 검사 후 추가 학습데이터로 포함할 수 있는 대상들을 수집하는데 적용할 수 있는 장점이 있다.
도 1은 신경망 모델의 일대일 분류 모델, 2개의 일대일 분류 모델을 사용한 경우 및 일대다 분류 모델을 나타낸 도면이다.
도 2는 본 발명에 따른 AI 예측 모델을 이용한 예측 결과의 시각화 방법의 실행 과정을 나타낸 흐름도이다.
도 3은 본 발명에 따른 AI 예측 모델을 이용한 예측 결과의 시각화 방법에 따라, 제1, 제2 대립이 되는 속성을 평면상에 각각 배치한 것을 나타낸 도면이다.
도 4는 동일 대상이 검출되면 점의 형태로 예측 결과를 평면상에 표시를 시작하고, 사라지면 리셋하는 것을 나타낸 도면이다.
도 5는 발견된 각 대상에 대한 예측값의 평균과, 동일 대상에 대한 예측값들을 수집하여 평균값으로 나타낸 도면이다.
도 6은 발견된 각 대상에 대한 예측 결과값을 프레임 개수로 나타낸 도면이다.
도 7은 예측 결과에서 노이즈와 같은 결과를 제외하고 응집도(신뢰도) 높은 최종 예측 결과를 표시하는 것을 나타낸 도면이다.
도 8은 대상에 대한 예측 결과에 LOF 분석을 적용하여 아웃라이어를 찾아내고, 그것을 제외하고 응집도가 높은 예측 결과를 표시하는 것을 나타낸 도면이다.
도 9는 동일 대상의 예측 값들에 LOF 분석을 적용하여 아웃라이어를 찾아내고, 그것을 제외하고 응집도가 높은 예측 결과를 표시하는 것을 나타낸 도면이다.
도 10은 아웃라이어를 제외한 예측 결과값에 대한 평균을 표시하는 것을 나타낸 도면이다.
도 11은 아웃라이어를 제외한 예측 결과값에 대한 프레임 개수를 표시하는 것을 나타낸 도면이다.
도 12∼도 14는 본 발명에 따른 AI 예측 모델을 이용한 예측 결과의 시각화 방법에 있어서, 예측 결과를 점(point)이 아닌 다른 형태로 표시한 예를 나타낸 도면이다.
본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정되어 해석되지 말아야 하며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈", "장치" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
이하 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명한다.
여기서, 본 발명의 실시예에 대해 본격적으로 설명하기에 앞서 본 발명에 대한 이해를 돕기 위해 본 발명에 도입되는 클래스 및 복합 특성 개념과 관련하여 먼저 설명해 보기로 한다.
도 1은 신경망 모델의 일대일 분류 모델, 2개의 일대일 분류 모델을 사용한 경우 및 일대다 분류 모델을 나타낸 도면이다.
도 1을 참조하면, (a)는 종래의 신경망 모델의 일대일 분류 모델을 나타낸 것으로서, 신경망 모델은 입력층(101), 하나 이상의 컨볼루션층(102), 풀링층(103) 및 완전결합층(104)을 포함한다. 이러한 신경망 모델을 이용하여, 어떠한 입력이 있을 때, A, B, C, D의 네 가지 특성 중 하나의 결과값, 또는 각 특성에 해당하는 확률을 출력할 수 있다. 이때 결과값의 총 합은 100퍼센트일 수 있다.
그러나 어떠한 입력은 복수의 결과가 가능한 복합 특성을 가질 수 있다. 예를 들면, A는 남성, B는 여성의 특성이고, C는 동양인, D는 비동양인의 특성인 경우, 결과값으로서 A와 C가 동시에 가능할 수 있다.
그러나 종래의 신경망 모델의 경우에는 결과값의 총 합이 100퍼센트가 되도록 판단하기 때문에, 이러한 복합 특성이 제대로 반영되기 어렵다.
도 1의 (b)는 비교예에 따른 2개의 일대일 분류 모델을 사용한 경우를 나타낸 것이고, 도 1의 (c)는 본 발명에 채용되는 일대다 모델을 나타낸 것이다.
도 1에서 A와 B는 클래스 Ⅰ에 속하는 특성들을 나타내고, C와 D는 클래스 Ⅱ에 속하는 특성들을 나타낸다. 클래스 Ⅰ의 분류 기준과 클래스 Ⅱ의 분류 기준은 상이할 수 있다. 이와 같이 복수의 클래스에 속하는 특성들을 본 발명에서는 "복합 특성"이라 칭한다. 복합 특성을 갖는 입력은 복수의 특성, 즉 각 클래스별로 특성을 가질 수 있다.
도 1의 (b)를 참조하면, 2개의 일대일 분류 모델이 사용되는 경우, 특성 A와 B의 예측 확률의 합은 100퍼센트이고, 마찬가지로 특성 C와 D의 예측 확률의 합은 100퍼센트이다. 이 경우, 예측 결과는 정확할 수 있지만 2개의 모델을 학습해야 하므로 계산량이 증가할 수 있다. 또한, 2개의 모델이 독립적으로 학습되기 때문에 클래스 간의 연관성이 반영되기 어렵다.
도 1의 (c)를 참조하면, 일대다 모델에서는 일부의 층, 즉 컨볼루션층(102)과 풀링층(103)이 클래스 간에 공유되고, 완전결합층(104)은 클래스별로 제공된다. 이때, 완전결합층(104)이 클래스별로 제공되기 때문에, 특성 A와 B의 예측 확률의 합은 100퍼센트이고, 특성 C와 D의 예측 확률의 합도 100퍼센트이다. 따라서, 클래스 Ⅰ에서의 예측 결과와 클래스 Ⅱ에서의 예측 결과가 각각 제공되기 때문에 도 1의 (a)에 비해 정확한 예측 결과를 얻을 수 있다. 또한, 컨볼루션층(102)이 클래스 간에 공유되기 때문에 도 1의 (b)의 모델에 비해 계산량을 감소시키면서도 클래스 간의 연관성을 반영시킬 수 있다.
그러면, 이하에서는 이상의 사항을 바탕으로 본 발명의 실시예에 대하여 설명해 보기로 한다.
도 2는 본 발명의 실시예에 따른 AI 예측 모델을 이용한 예측 결과의 시각화 방법의 실행 과정을 나타낸 흐름도이다.
도 2를 참조하면, 본 발명에 따른 AI 예측 모델을 이용한 예측 결과의 시각화 방법은, 컴퓨터 시스템(또는 프로세서)을 이용하여 본 발명의 시각화 방법의 구현을 위해 미리 제작된 AI 예측 모델(미도시)을 학습시키고, 상기 AI 예측 모델을 이용하여 대상을 촬영한 영상에 대한 결과를 예측하여, 그 예측 결과를 시각화하는 방법으로서, 먼저 도 3에 도시된 바와 같이, 임의의 객체의 실제 촬영 영상에서 제1 대립이 되는 속성(예를 들면, A-B)을 갖는 영상을 2차원 평면상의 특정 지점을 기준으로 상기 속성 A, B가 서로 대면하도록 2차원 평면상에 배치한다(단계 S201).
그리고 상기 임의의 객체의 영상에서 제2 대립이 되는 속성(예를 들면, C-D)을 갖는 영상을 상기 제1 대립의 속성을 갖는 영상과 상기 특정 지점을 기준으로 직교하도록 상기 2차원 평면상에 배치한다(단계 S202). 여기서, 상기 단계 S201 및 S202에서 상기 특정 지점은 중심값과 상하좌우 최대값을 가지며, 상기 중심값은 50% 또는 0.5로 설정되고, 상기 상하좌우 최대값은 100% 또는 1로 설정될 수 있다. 이때, 2 클래스 분류 결과를 사용하므로 중심값은 50보다 큰 값이 결과 값이 된다. 50% 또는 0.5를 중심값으로 하면, 분류의 모호함 분석에도 도움이 될 수 있다.
이상과 같이 제1, 제2 대립이 되는 속성 영상을 2차원 평면상에 배치한 후, 상기 2차원 평면상에서 동일 대상(target)(예를 들면, 동일 객체 (object), 영상(image), 병변(lesion))이 검출되면, 도 4에 도시된 바와 같이, 상기 AI 예측 모델을 이용하여 점(point)의 형태 또는 원의 형태, 대응하는 클래스를 각각 반대편에 배치하는 형태, 4분면을 각각 다른 색상으로 표시하는 형태, 4분면의 일정 영역을 그레이 존으로 표시하는 형태, 프레임수에 따른 히트맵 형태 중의 어느 하나의 형태로 예측 결과를 2차원 평면상에 표시를 시작하고, 동일 대상이 사라지면 예측 결과를 저장하고 평면을 초기화(reset)한다(단계 S203). 여기서, 상기 AI 예측 모델에 의한 예측 결과를 분석을 위해 X, Y 좌표값으로 변환하여 누적 저장할 수 있다. 이때, 상기 X, Y 좌표값은 0∼100의 값을 가질 수 있다. 또한, 상기 저장한 예측 결과는 추후에 "동일 대상"에 대해 예측 결과를 분석할 때 불러와서 동일 대상이 여러 번 나타난 것에 대해 다시 분석할 수 있다.
이후, 발견된 각 대상 또는 상기 동일 대상에 대한 AI 예측 모델에 의한 예측 결과값을 최종적으로 2차원 평면의 화면에 표시하여 시각화한다(단계 S204).
여기서, 상기 단계 S204에서 상기 발견된 각 대상에 대한 AI 예측 모델에 의한 예측 결과값을 화면에 표시함에 있어서, 도 5에 도시된 바와 같이, 예측 결과값의 평균값을 화면에 표시하거나, 동일 대상에 대한 AI 예측 값들을 수집하여 평균값으로 화면에 표시할 수 있다. 도 5에서 (A)는 1번 대상에 대해 예측 결과값의 평균값을 나타낸 것이고, (B)는 1번과 같은 n번 대상에 대해 예측 결과값의 평균값을 나타낸 것이며, (C)는 동일 대상에 대한 AI 예측 값들을 수집하여 평균값으로 나타낸 것이다.
이때, 상기 도 5와 같이 상기 AI 예측 결과값에 대한 평균값 또는 도 6에 도시된 바와 같이, 프레임 개수나 프레임 개수를 정규화하여 프레임의 비율로(예를 들면, 1∼100으로) 화면에 나타낼 수 있다. 도 6에서 (A)는 1번 대상에 대해 예측 결과값의 프레임 개수를 나타낸 것이고, (B)는 1번과 같은 n번 대상에 대해 예측 결과값의 프레임 개수를 나타낸 것이며, (C)는 1번과 n번 대상에 대해 예측 결과값의 프레임 개수를 나타낸 것이다.
또한, 상기 단계 S204에서 AI 예측 결과값을 화면에 표시함에 있어서, AI 예측 결과값에서 노이즈(noise)를 제외하고 응집도(신뢰도) 높은 최종 예측 결과를 표시할 수 있다. 즉, 도 7의 (A)에 도시된 바와 같이, 각 클래스의 예측 결과를 계산할 수 있으나, 예측 결과에는 노이즈(noise) 같은 결과가 포함될 수 있다. 따라서 도 7의 (B)와 같이, 노이즈 같은 결과를 제외한, 응집도(신뢰도) 높은 최종 예측 결과를 표시(제공)하는 것이다.
또한, 상기 단계 S204에서 AI 예측 결과값을 화면에 표시함에 있어서, 누적 저장된 예측 결과에 분석을 적용하여 아웃라이어(outlier)를 찾아내고, 그 아웃라이어를 예측 결과에서 제외하여 최종 예측 결과를 표시할 수 있다. 이때, 동일 대상의 예측 값들에 LOF(Local Outlier Factor) 분석을 적용하여 아웃라이어(outlier)를 찾아낼 수 있다. 즉, 도 8의 (A)와 같은 대상에 대한 예측 결과에 대해 LOF(Local Outlier Factor) 분석을 적용하여, 도 8의 (B)와 같이 아웃라이어(outlier)("x"로 표시)를 찾아내고, 이와 같은 아웃라이어를 예측 결과에서 제외하여 최종적으로 응집도가 높은 예측 결과(검은 점 표시)를 표시(제공)하는 것이다.
도 9는 동일 대상의 예측 값들에 LOF 분석을 적용하여 아웃라이어(outlier)를 찾아내고 응집도가 높은 예측 결과를 표시하는 일 예를 나타낸 도면이다.
도 9를 참조하면, (A)와 같이 1번 대상 및 1번과 같은 n번 대상에 대해 각각 예측 값들에 LOF 분석을 적용하여 아웃라이어(outlier)를 찾아내고, 최종적으로 (B)와 같이 1번과 n번 대상에 대한 결과로서 응집도가 높은 예측 결과를 표시할 수 있다. 여기서, 이와 관련하여 조금 더 보충 설명을 해보기로 한다.
상기 1번, n번 대상 각각 LOF 분석이 가능하며, 1번과 n번 대상에 대한 결과는 위의 LOF 결과를 합치는 것이 아니고, 1번과 n번의 포인트 값들을 합친 후, 새롭게 LOF를 적용하게 된다. 이는 1번과 n번의 결과가 합쳐졌을 때, LOF를 적용하면 응집도가 바뀌게 되어 있기 때문이다.
이때, 도 10과 같이, 상기 아웃라이어를 제외한 예측 결과값에 대한 평균값을 표시하거나, 도 11과 같이 아웃라이어를 제외한 예측 결과값에 대한 프레임 개수나 프레임 개수를 정규화하여 프레임의 비율로(예를 들면, 1∼100으로) 나타낼 수 있다.
한편, 도 12∼도 14는 본 발명에 따른 AI 예측 모델을 이용한 예측 결과의 시각화 방법에 있어서, 예측 결과를 점(point)이 아닌 다른 형태로 표시한 예를 나타낸 도면이다.
도 12를 참조하면, 이는 본 발명에 따른 AI 예측 모델을 이용한 예측 결과의 시각화 방법에서 예측 결과를 전술한 바와 같이 점(point)으로 표시하는 것이 아닌 다른 형태로 표시하는 것으로서, 확률이 높을수록 바깥쪽으로(0.5∼1, 50∼100%) 표시되고, 프레임 수가 클수록 원의 크기도 커지며, 중요한 부분을 시각적으로 빨리 확인할 수 있도록 4분면의 색상을 달리해서 표시할 수 있다. 도 12의 (A)와 같이 두 개의 대상이 발견된 경우, 하나는 A 75%/D 75%이고 24 프레임이 나오고, 또 다른 하나는 B 62%/ D 65%이고 3 프레임이 나오는 것으로 표시될 수 있다. (B)는 (A)와 같은 표시 형태를 누적해서 표시할 경우를 나타낸 것이다.
도 13은 대응하는 클래스를 각각 반대편에 배치하는 형태로 예측 결과를 표시한 예를 나타낸 도면이다.
도 13에 도시된 바와 같이, 대응하는 클래스(A-B, C-D, E-F)를 각각 반대편에 배치하고, 처음 대상이 검출된 구간부터 1 프레임으로 시작하여 확률을 누적한다. 그리고 정규화를 위해 "(각 클래스별 누적 확률)/(해당 대상이 검출된 누적 프레임수)"를 적용한다.
예를 들어, 하나의 대상에서 10 프레임이 진행된 경우, F의 누적 확률은 8.6일 때, F는 0.86만큼 확장하고, C의 누적 확률은 7.6일 때, C는 0.76만큼 확장하며, B의 누적 확률은 5.3일 때, B는 0.53만큼 확장하는 것으로 표시될 수 있다.
도 14는 예측 결과를 4분면 색상 표시, 그레이 존 표시 및 프레임수에 따른 히트맵 표시를 각각 나타낸 도면이다.
도 14를 참조하면, (A)와 같이 예측 결과에 대해 4분면을 각각 다른 색상으로 표시할 수도 있고, (B)와 같이 4분면의 일정 영역을 그레이 존(gray zone)으로 표시할 수도 있으며, 그레이 존의 면적은 1 또는 100%의 값이 되도록 표시할 수 있다. 그리고 (C)와 같이 프레임수에 따른 히트맵으로 표시할 수도 있다.
이상의 설명과 같이, 본 발명에 따른 AI 예측 모델을 이용한 예측 결과의 시각화 방법은, 2가지 속성을 갖는 대상에 대한 예측 결과를 분석하기 쉽게 화면에 표시함으로써 실시간 예측 결과를 분석하기 편리하게 나타내어 사용할 수 있는 장점이 있다.
또한, 예측된 결과에서 노이즈와 같은 결과를 제외하여 응집도(신뢰도) 높은 예측 결과를 제공할 수 있는 장점이 있다.
또한, 중심값을 0.5, 50%로 시작하도록 하여 결과값의 모호함을 쉽게 분석할 수 있는 장점이 있다.
또한, 평면상에 누적 분포와 평균값, 프레임 수 등의 여러 결과를 한꺼번에 나타낼 수 있는 장점이 있다.
또한, 실시간 검사 후 추가 학습데이터로 포함할 수 있는 대상들을 수집하는데 적용할 수 있는 장점이 있다.
이상, 바람직한 실시예를 통하여 본 발명에 관하여 상세히 설명하였으나, 본 발명은 이에 한정되는 것은 아니며, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양하게 변경, 응용될 수 있음은 당해 기술분야의 통상의 기술자에게 자명하다. 따라서, 본 발명의 진정한 보호 범위는 다음의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술적 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.
101: 입력층 102: 컨볼루션층
103: 풀링층 104: 완전결합층

Claims (11)

  1. 컴퓨터 시스템을 이용하여 시각화 방법의 구현을 위해 미리 제작된 AI 예측 모델을 학습시키고, 상기 AI 예측 모델을 이용하여 대상을 촬영한 영상에 대한 결과를 예측하여, 그 예측 결과를 시각화하는 방법으로서,
    a) 임의의 객체의 실제 촬영 영상에서 제1 대립이 되는 속성 A, B를 갖는 영상을 2차원 평면상의 특정 지점을 기준으로 상기 속성 A, B가 서로 대면하도록 2차원 평면상에 배치하는 단계와;
    b) 상기 임의의 객체의 영상에서 제2 대립이 되는 속성을 갖는 영상을 상기 제1 대립의 속성을 갖는 영상과 상기 특정 지점을 기준으로 직교하도록 상기 2차원 평면상에 배치하는 단계와;
    c) 상기 2차원 평면상에서 동일 대상(target)이 검출되면, 상기 AI 예측 모델을 이용하여 점(point)의 형태 또는 원의 형태, 대응하는 클래스를 각각 반대편에 배치하는 형태, 4분면을 각각 다른 색상으로 표시하는 형태, 4분면의 일정 영역을 그레이 존으로 표시하는 형태, 프레임수에 따른 히트맵 형태 중의 어느 하나의 형태로 예측 결과를 2차원 평면상에 표시를 시작하고, 동일 대상이 사라지면 예측 결과를 저장하고 평면을 초기화(reset)하는 단계; 및
    d) 발견된 각 대상 또는 상기 동일 대상에 대한 AI 예측 모델에 의한 예측 결과값을 최종적으로 2차원 평면의 화면에 표시하여 시각화하는 단계를 포함하고,
    상기 단계 d)에서 상기 발견된 각 대상에 대한 AI 예측 모델에 의한 예측 결과값을 화면에 표시함에 있어서, 예측 결과값의 평균값을 화면에 표시하거나, 동일 대상에 대한 AI 예측 결과값들을 수집하여 평균값으로 화면에 표시하는 것을 특징으로 하는 AI 예측 모델을 이용한 예측 결과의 시각화 방법.
  2. 제1항에 있어서,
    상기 단계 a) 및 b)에서 상기 특정 지점은 중심값과 상하좌우 최대값을 가지며, 상기 중심값은 50% 또는 0.5로 설정되고, 상기 상하좌우 최대값은 100% 또는 1로 설정되는 것을 특징으로 하는 AI 예측 모델을 이용한 예측 결과의 시각화 방법.
  3. 제1항에 있어서,
    상기 단계 c)에서 상기 AI 예측 모델에 의한 예측 결과를 분석을 위해 X, Y 좌표값으로 변환하여 누적 저장하는 것을 특징으로 하는 AI 예측 모델을 이용한 예측 결과의 시각화 방법.
  4. 제3항에 있어서,
    상기 X, Y 좌표값은 0∼100의 값을 가지는 것을 특징으로 하는 AI 예측 모델을 이용한 예측 결과의 시각화 방법.
  5. 제1항에 있어서,
    상기 단계 c)에서 상기 저장한 예측 결과는 추후에 동일 대상에 대해 예측 결과를 분석할 때 불러와서 동일 대상이 여러 번 나타난 것에 대해 다시 분석하는 것을 특징으로 하는 AI 예측 모델을 이용한 예측 결과의 시각화 방법.
  6. 삭제
  7. 제1항에 있어서,
    상기 AI 예측 결과값에 대한 평균값 또는 프레임 개수나 프레임 개수를 정규화한 프레임 비율로 화면에 표시하는 것을 특징으로 하는 AI 예측 모델을 이용한 예측 결과의 시각화 방법.
  8. 제1항에 있어서,
    상기 단계 d)에서 AI 예측 결과값을 화면에 표시함에 있어서, AI 예측 결과값에서 노이즈(noise)를 제외하고 응집도(신뢰도) 높은 최종 예측 결과를 표시하는 것을 특징으로 하는 AI 예측 모델을 이용한 예측 결과의 시각화 방법.
  9. 제1항에 있어서,
    상기 단계 d)에서 AI 예측 결과값을 화면에 표시함에 있어서, 누적 저장된 예측 결과에 분석을 적용하여 아웃라이어(outlier)를 찾아내고, 그 아웃라이어를 예측 결과에서 제외하여 최종 예측 결과를 표시하는 것을 특징으로 하는 AI 예측 모델을 이용한 예측 결과의 시각화 방법.
  10. 제9항에 있어서,
    동일 대상의 예측 값들에 LOF(Local Outlier Factor) 분석을 적용하여 아웃라이어(outlier)를 찾아내는 것을 특징으로 하는 AI 예측 모델을 이용한 예측 결과의 시각화 방법.
  11. 제9항에 있어서,
    상기 아웃라이어를 제외한 예측 결과값에 대한 평균값 또는 프레임 개수나 프레임 개수를 정규화한 프레임 비율로 표시하는 것을 특징으로 하는 AI 예측 모델을 이용한 예측 결과의 시각화 방법.
KR1020200131580A 2020-10-13 2020-10-13 Ai 예측 모델을 이용한 예측 결과의 시각화 방법 KR102210250B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200131580A KR102210250B1 (ko) 2020-10-13 2020-10-13 Ai 예측 모델을 이용한 예측 결과의 시각화 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200131580A KR102210250B1 (ko) 2020-10-13 2020-10-13 Ai 예측 모델을 이용한 예측 결과의 시각화 방법

Publications (1)

Publication Number Publication Date
KR102210250B1 true KR102210250B1 (ko) 2021-02-01

Family

ID=74571655

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200131580A KR102210250B1 (ko) 2020-10-13 2020-10-13 Ai 예측 모델을 이용한 예측 결과의 시각화 방법

Country Status (1)

Country Link
KR (1) KR102210250B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116580127A (zh) * 2023-07-13 2023-08-11 科大讯飞股份有限公司 图像生成方法、装置、电子设备和计算机可读存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009289093A (ja) * 2008-05-30 2009-12-10 Sound-F Co Ltd 投資信託分析方法、装置、およびプログラム
KR20120040429A (ko) * 2010-10-19 2012-04-27 주식회사 라이프사이언스테크놀로지 사용자의 생체정보 분석을 통한 감정상태 분석장치 및 방법
JP2013524984A (ja) * 2010-04-28 2013-06-20 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 診断ｅｃｇにおける心筋梗塞サイズの可視化
KR101484263B1 (ko) * 2013-10-24 2015-01-16 주식회사 에스원 폭력 감지 시스템 및 폭력 감지 방법
KR20180049648A (ko) * 2016-11-03 2018-05-11 홍익대학교 산학협력단 분류모델을 이용한 객체의 다음 이동경로예측방법 및 이를 위한 장치
KR20180108210A (ko) 2017-03-24 2018-10-04 삼성메디슨 주식회사 의료 영상 표시 방법 및 의료 영상 표시 장치
KR20190050145A (ko) * 2017-11-02 2019-05-10 주식회사 씨티아이랩 딥러닝 기반 폐금속 스크랩 분류 방법 및 장치
KR20200018227A (ko) * 2018-08-10 2020-02-19 오로라 플라이트 사이언시스 코퍼레이션 객체-추적 시스템
KR102141781B1 (ko) * 2020-04-06 2020-08-06 주식회사 넥스파시스템 지역적 매칭 방법을 이용한 객체 재식별 장치 및 그 방법
CN111693658A (zh) * 2020-06-11 2020-09-22 上海交通大学 基于多种智能感官数据融合的食品品质鉴定方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009289093A (ja) * 2008-05-30 2009-12-10 Sound-F Co Ltd 投資信託分析方法、装置、およびプログラム
JP2013524984A (ja) * 2010-04-28 2013-06-20 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 診断ｅｃｇにおける心筋梗塞サイズの可視化
KR20120040429A (ko) * 2010-10-19 2012-04-27 주식회사 라이프사이언스테크놀로지 사용자의 생체정보 분석을 통한 감정상태 분석장치 및 방법
KR101484263B1 (ko) * 2013-10-24 2015-01-16 주식회사 에스원 폭력 감지 시스템 및 폭력 감지 방법
KR20180049648A (ko) * 2016-11-03 2018-05-11 홍익대학교 산학협력단 분류모델을 이용한 객체의 다음 이동경로예측방법 및 이를 위한 장치
KR20180108210A (ko) 2017-03-24 2018-10-04 삼성메디슨 주식회사 의료 영상 표시 방법 및 의료 영상 표시 장치
KR20190050145A (ko) * 2017-11-02 2019-05-10 주식회사 씨티아이랩 딥러닝 기반 폐금속 스크랩 분류 방법 및 장치
KR20200018227A (ko) * 2018-08-10 2020-02-19 오로라 플라이트 사이언시스 코퍼레이션 객체-추적 시스템
KR102141781B1 (ko) * 2020-04-06 2020-08-06 주식회사 넥스파시스템 지역적 매칭 방법을 이용한 객체 재식별 장치 및 그 방법
CN111693658A (zh) * 2020-06-11 2020-09-22 上海交通大学 基于多种智能感官数据融合的食品品质鉴定方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116580127A (zh) * 2023-07-13 2023-08-11 科大讯飞股份有限公司 图像生成方法、装置、电子设备和计算机可读存储介质
CN116580127B (zh) * 2023-07-13 2023-12-01 科大讯飞股份有限公司 图像生成方法、装置、电子设备和计算机可读存储介质

Similar Documents

Publication Publication Date Title
US10943145B2 (en) Image processing methods and apparatus, and electronic devices
US10733431B2 (en) Systems and methods for optimizing pose estimation
US10796452B2 (en) Optimizations for structure mapping and up-sampling
Zhang et al. Joint learning of image detail and transmission map for single image dehazing
Zou et al. Manhattan Room Layout Reconstruction from a Single 360^ ∘ 360∘ Image: A Comparative Study of State-of-the-Art Methods
Molnár et al. Illumination-robust variational optical flow using cross-correlation
JP2021507388A (ja) インスタンスセグメンテーション方法および装置、電子機器、プログラムならびに媒体
CN111667459B (zh) 一种基于3d可变卷积和时序特征融合的医学征象检测方法、***、终端及存储介质
CN111753698A (zh) 一种多模态三维点云分割***和方法
KR101618996B1 (ko) 호모그래피를 추정하기 위한 샘플링 방법 및 영상 처리 장치
Liu et al. Single-view 3D scene reconstruction and parsing by attribute grammar
CN110659664A (zh) 一种基于ssd的高精度识别小物体的方法
CN111881804A (zh) 基于联合训练的姿态估计模型训练方法、***、介质及终端
Moschini et al. A hybrid shared-memory parallel max-tree algorithm for extreme dynamic-range images
CN111914938B (zh) 一种基于全卷积二分支网络的图像属性分类识别方法
KR102210250B1 (ko) Ai 예측 모델을 이용한 예측 결과의 시각화 방법
CN114612902A (zh) 图像语义分割方法、装置、设备、存储介质及程序产品
Yar et al. An effective attention-based CNN model for fire detection in adverse weather conditions
KR102249623B1 (ko) Ai 예측 모델을 이용한 2개의 예측 결과의 시각화 방법
Gao et al. CI-Net: A joint depth estimation and semantic segmentation network using contextual information
Filipic et al. People counting using visible and infrared images
Amer et al. Monocular Extraction of 2.1 D Sketch.
KR102229381B1 (ko) Ai 예측 모델을 이용한 예측 결과의 학습 데이터 추가 방법
Chithra et al. 3D LiDAR point cloud image codec based on Tensor
US20240013342A1 (en) Method, electronic device, and computer program product for processing point cloud

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant