KR102020448B1 - 인공지능 기반 이상항목 감지 및 보고서 생성 방법 및 시스템 - Google Patents

Abstract

일 실시예에 따른 인공지능 기반 이상항목 감지 방법은 입력 영상을 수신하는 단계; 입력 영상에 포함된 정보의 차원(dimension)을 잠재 공간(latent space)으로 감소(reduction) 시키는 단계; 잠재 공간으로 차원 감소된 정보의 식별력(separability)을 향상시키는 단계; 및 식별력이 향상된 정보에 기초하여, 입력 영상에 이상 항목이 존재하는지 여부, 이상 항목의 종류, 및 이상 항목의 등급을 계층적으로 판단하는 단계를 포함한다.

Description

인공지능 기반 이상항목 감지 및 보고서 생성 방법 및 시스템{METHOD AND SYSTEM FOR DETECTING ABNORMAL ITEM AND GENERATING REPORT BASED ON ARTIFICIAL INTELLIGENCE}

아래 실시예들은 인공지능 기반 이상항목 감지 및 보고서 생성 방법 및 시스템에 관한 것이다.

전국에는 여러가지 용도의 상하수 관로 인프라가 설치되어 있으며 여러가지 원인에 의해 관로 손상 등 각종 물리적 문제들이 발생한다. 따라서, 국가 혹은 지자체 차원에서 이를 관리한다. 이를 관리하기 위한 절차 중 하나로써 사설 업체에 의한 관로 촬영 및 해당 관로 촬영에 대한 보고서 제출이 절차로 있으며 그 촬영 방식, 영상물의 규격, 보고서 형식 등이 법적으로 정해져 있다. 현재 업체들은 관로 촬영 후 정해진 형식의 보고서를 수동으로 작성하여 촬영한 영상과 함께 지자체에 제출하는 절차를 따르고 있다.

비슷한 방식으로, 다양한 종류의 관로 점검 촬영이 이루어지고 있으며 그 예로 대형선박의 LNG 관로 등이 있다. 다른 종류의 관로 점검 또한 마찬가지로 각각의 보고서 형식이 정해져 있으며 수동으로 그 작성이 이루어 지고 있다.

기존 시스템에 대한 소비자(보고서 작성주체)의 불편 사항

1. 보고서를 수동으로 형식에 맞춰 일일이 작성해야 함. (보고서 작성 형식은 법적규정이 있으며 이상항목관련 내용 외에도 각종 내용들이 포함됨.)

2. 촬영물을 모두 재생하여 사람이 직접 이상항목이 있는지 여부, 이상항목의 종류, 이상항목 등급과 등을 판별 해야함. 이때 판단은 정해진 규정에 따라 진행해야 하며 이는 전문가 수준의 판별능력을 요구함. 이 판별결과는 보고서에 포함됨.

3. 기존시스템에는 용량이 큰 영상 데이터를 저장하는 외장 하드가 필요하며, 이 영상물을 직접 관리 및 유관기관에 제출 해야함.

기존 시스템에 대한 국가차원(지자체)의 불편 사항

1. 영상 용량이 크기 때문에 보관 및 관리가 용이하지 않으며 관리 주체인 각 지자체 등 유관기관이 각각 영상데이터와 보고서를 관리하기 때문에 정부차원에서 데이터 통합관리의 비효율성이 발생함.

2. 기존 시스템에서는 사람이 수동으로 이상항목을 판별하기 때문에 실수가 존재할 수 있으며 그 판단이 다분히 주관적임. 또한 이를 판별할 수 있는 전문가의 수도 부족하기 때문에 실제 이상항목 판별의 객관성에 대한 의문이 제기됨.

3. 미리 규정된 범위 밖의 이상항목 사항에 대해서는 그 정의가 불가능 하며 이는 국가차원의 큰 손실을 야기하므로 이에 대한 실제적, 법적 개선이 필요한 상황임.

소비자(보고서 작성주체)의 불편 사항 개선

1. 보고서 자동 작성 시스템(이상항목 판별에 관한 내용 + 그 외 필요한 모든 내용)을 통해 자동으로 보고서 작성.

2. 이상항목 판별 인공지능 시스템을 자동보고서 시스템과 연동하여 사람이 영상을 일일이 돌려 판별하지 않아도 됨.

3. 외장하드 방식이 아닌 클라우드 저장 방식으로 자동으로 고객 계정에 영상물이 저장 및 관리되는 시스템.

국가차원(지자체)의 불편 사항 개선

1. 클라우드 상에서 영상데이터가 관리되며 모든 지자체가 연동하여 통합적으로 관리 가능하게 하여 관리의 통합성과 효율성을 제고.

2. 전문가에 준하는 판별능력을 가진 인공지능의 이상항목 판별로 인해 사람의 실수로 인한 국가 차원의 손실이 줄어들며 판별에 대한 객관성이 담보됨

3. 클라우드 상에 영상데이터가 통합관리 되기 때문에 통합적인 빅데이터 분석이 가능하며 이는 기존에 법적으로 규정되지 않은 새로운 문제에 부딪혔을 때 그 해결에 대한 직관과 객관적인 기준을 제공함.

일 측에 따른 인공지능 기반 이상항목 감지 방법은 입력 영상을 수신하는 단계; 상기 입력 영상에 포함된 정보의 차원(dimension)을 잠재 공간(latent space)으로 감소(reduction) 시키는 단계; 상기 잠재 공간으로 차원 감소된 정보의 식별력(separability)을 향상시키는 단계; 및 상기 식별력이 향상된 정보에 기초하여, 상기 입력 영상에 이상 항목이 존재하는지 여부, 상기 이상 항목의 종류, 및 상기 이상 항목의 등급을 계층적으로 판단하는 단계를 포함한다.

상기 계층적으로 판단하는 단계는 제1 방식으로 식별력이 향상된 정보에 기초하여, 상기 입력 영상에 이상 항목이 존재하는지 여부를 판단하는 단계; 및 제2 방식으로 식별력이 향상된 정보에 기초하여, 상기 입력 영상에 새로운 이상 항목이 존재하는지 여부를 판단하는 단계를 포함할 수 있다.

도 1은 일 실시예에 따른 클라우드 시스템의 구성을 설명하는 도면.
도 2는 일 실시예에 따른 개선된 프로세스를 설명하는 도면.
도 3은 일 실시예에 따른 학습단계의 인공지능 시스템의 전체 구조를 설명하는 도면.
도 4는 일 실시예에 따른 학습을 위한 데이터의 전처리에 관련된 시스템(예를 들어, Image Processing System)의 동작을 설명하는 도면.
도 5는 일 실시예에 따른 Embedding and Representation Learning System을 설명하는 도면.
도 6은 단대단 네트워크의 일 예시를 설명하는 도면.
도 7은 latent space상에서의 representation형태를 설명하는 도면.
도 8은 일 실시예에 따른 latent space 상에서의 데이터들의 chunk들을 설명하는 도면.
도 9는 일 실시예에 따른 Hierarchical-Structured Classification System을 설명하는 도면.
도 10은 일 실시예에 따른 Semantic-Segmentation System을 설명하는 도면.
도 11 내지 도 13은 실시예들에 의한 semantic-segmentation의 예시들.
도 14는 일 실시예에 따른 Output Processing System을 설명하는 도면.
도 15는 일 실시예에 따른 Inference 단계의 인공지능 시스템의 전체 구조를 설명하는 도면.

본 명세서에서 개시되어 있는 특정한 구조적 또는 기능적 설명들은 단지 기술적 개념에 따른 실시예들을 설명하기 위한 목적으로 예시된 것으로서, 실시예들은 다양한 다른 형태로 실시될 수 있으며 본 명세서에 설명된 실시예들에 한정되지 않는다.

제1 또는 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 이해되어야 한다. 예를 들어 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 표현들, 예를 들어 "~간의에"와 "바로~간의에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.

도 1은 일 실시예에 따른 클라우드 시스템의 구성을 설명하는 도면이다. 도 1을 참조하면, SaaS 개념을 통하여 고객에게 프론트 단을 통해 서버단에서 제공되는 영상 저장 및 관리, 자동보고서 작성, 이상항목 감지 및 판별시스템에 대한 통합 서비스가 제공된다. 도 2는 일 실시예에 따른 개선된 프로세스를 설명하는 도면이다.

도 3은 일 실시예에 따른 학습단계의 인공지능 시스템의 전체 구조를 설명하는 도면이다. 이하에서 상세히 설명한다.

도 4는 일 실시예에 따른 학습을 위한 데이터의 전처리에 관련된 시스템(예를 들어, Image Processing System)의 동작을 설명하는 도면이다.

도 4를 참조하면, 학습을 위한, 인풋 데이터(영상)에 대한 전처리가 수행된다. Oversampling와 Imbalanced data problem을 해결하기 위한 Data Augmentation과정을 거치며, supervised 문제뿐 아니라 semi-supervised와 unsupervised 관점에서 문제를 풀어야 할 경우가 있으므로 세 가지 경우 모두를 커버할 수 있는 전 처리 과정이 수행될 수 있다.

도 5는 일 실시예에 따른 Embedding and Representation Learning System을 설명하는 도면이다.

도 5를 참조하면, 영상 및 이미지는 고차원 데이터 이므로, 그 데이터를 정의해주는 고유한 특성들을 분석하는데 있어 계산적 비효율성 및 복잡성(computational inefficiency and complexity)이 야기되며, 데이터 분석의 관점에도 curse of dimensionality(차원이 높을수록 데이터 분석이 힘들어짐)에 의해 비효율성이 야기된다. 이와 같은 이유로 고차원 데이터를 효율적으로 처리하기 위한 특별한 처리 구조가 필요하게 되는데, 이때 필요한 기술이 바로 latent space 혹은 feature space로의 dimension reduction(차원축소) mapping이다.

한편 전술한 것과 같이, supervised, semi-supervised, unsupervised의 세 가지 경우를 모두 커버할 수 있도록 하는 네트워크 구조를 구성해야 하며, 이를 위하여 embedding and representation learning 기술이 적용될 수 있다. 예를 들어, 고차원의 데이터를 저차원으로 차원을 축소한 후, 그 축소된 저차원의 space상에서 데이터의 특정한 형태를 식별한 후, 여러가지 방법론을 통해 식별된 latent data chunk(supervised 혹은 semi-supervise문제의 경우엔 chunk가 class를 의미하고, unsupervised 문제의 경우 cluster를 의미함.)들 사이의 식별을 더 쉽게 하도록 하기 위해 chunk사이의 separability를 높이도록 학습될 수 있다.

예를 들어, supervised 및/또는 semi-supervised의 경우, 학습 과정에서 separability를 향상시키기 위한 네트워크의 중간 레이어에 추가적인 loss를 force할 수 있다. 이 경우, 해당 레이어에서 label이 존재하는 입력 데이터에 대응하여 label에 의하여 지시되는 class에 해당하는 분포를 출력하도록 학습되고, 해당 레이어에서 label이 존재하지 않는 입력 데이터에 대응하여 분류 대상들 이외의 새로운 class에 해당하는 분포를 출력하도록 학습될 수 있다.

또한, unsupervised의 경우, 분류 대상들에 기초하여 미리 정해진 클러스터의 수에 기초하여, 레이어의 출력이 가지는 분포가 원하는 형태를 가지도록 학습될 수 있다. 예를 들어, k-means clustering 방법을 이용하여 각 클러스터의 센터를 도출하고, 출력 포인트와 센터 포인트들 사이의 거리 분포를 강화하는 방식으로 학습될 수 있다.

일 실시예에 따르면, 식별력 향상을 위하여, supervised와 semi-supervised를 위한 제1 네트워크 및 unsupervised를 위한 제2 네트워크가 이용될 수 있다.

이로 인하여, 실시예들에 의한 인공신경망은 supervised 뿐만 아니라, Semi-supervised, unsupervised의 세 가지 경우들(혹은 semantic-segmentation까지를)을 모두 커버하는 기술을 제공한다.

도 6은 단대단 네트워크의 일 예시를 설명하는 도면이다.

도 6을 참조하면, 일반적으로 인공지능을 구성하는 방식은 단대단(end-to-end) 방식을 이용한다. 만약 이러한 일반적인 supervised problem만을 위한 이상항목 감지시스템을 구축하는 경우에는, 도 5의 단계(embedding and representation learning system)가 필수적이지 않을 수 있다.

도 7은 latent space상에서의 representation형태를 설명하는 도면이다. 보다 구체적으로, 도 7(a)는 supervised 경우에 생성되는 latent space상에서의 representation형태를 도시하고, 도 7(b)는 Semi-supervised, unsupervised 경우에 생성되는 latent space상에서의 representation형태를 도시한다.

Supervised 문제의 경우 이미 label을 알고 학습을 진행하기 때문에 학습과정에서 이미 latent space상의 chunk들이 이미 separability를 확보하고 있다. 다시 말해, 앞서 예시로 제시된 end-to-end 네트워크의 중간단을 일종의 latent space라고 보고 실제로 데이터를 visualization 해본다면 도 7(a)와 같이 그 class를 명확하게 classification 할 수 있는 형태일 확률이 높다.

반면 semi-supervised 혹은 unsupervised 문제의 경우 label을 일부 데이터에 대해서만 알고 학습을 진행하거나 전혀 모르는 상태에서 진행을 하기 때문에, 학습과정에서 latent space상의 chunk들의 separability가 부족한 상태이다. 다시 말해, latent space상의 데이터를 visualization 해본다면 도 7(b)와 같이 chunk끼리 겹치는 영역이 생기게 되며 이는 그 class를 명확하게 classification 할 수 없는 형태라고 볼 수 있다.

도 8은 일 실시예에 따른 latent space 상에서의 데이터들의 chunk들을 설명하는 도면이다. 보다 구체적으로, 도 8(a)는 도 5의 과정을 거치기 전의 latent space 상의서의 데이터들의 chunk들을 도시하고, 도 8(b)는 도 5의 과정을 거친 이후의 latent space 상에서의 데이터들의 chunk들(Chunk들 사이의 거리가 서로 훨씬 멀어지며 Separability가 확보됨)을 도시한다.

실시예들에 의하면, supervised, semi-supervised, unsupervised 세 가지 경우를 모두 커버하기 위해 도 5의 시스템이 도입된다. separability가 확보되기 힘든 경우에도 그것을 강제하여 도 8(a)의 형태에서 도 8(b)의 형태가 되도록 강제함으로써, 후술할 도 9의 동작을 통한 판별 성능이 향상될 수 있다.

이를 구현하는 방법론으로 Autoencoder-based, auto-regressive generative based, GAN based, hybrid-based 등 수 많은 방법론이 있으나, 기존의 방법론들 각각은 파이프 관로 영상 데이터에 적합한 구조가 아닐 수 있다.

도 9는 일 실시예에 따른 Hierarchical-Structured Classification System을 설명하는 도면이다.

도 9를 참조하면, 하나의 네트워크만으로 이상 항목이 존재하는지 여부와 그 이상 항목의 종류 및 등급을 모두 한꺼번에 판단하는 것은 성능 면에서 그 효과가 떨어질 수 있다. 따라서, 이상 항목 검출은 세 가지 계층적 단계(첫째, 이상 항목 존재 여부 판별, 둘째 이상 항목 종류 판별, 셋째 이상 항목 등급 판별)의 각 네트워크를 통과하게 함으로써 데이터 처리의 효율성과 효과성이 향상된다.

일 실시예에 따르면, 제1 방식으로(예를 들어, supervised 및/또는 semi-supervised를 위한 제1 네트워크의 출력에 기초하여), 입력 영상에 이상항목이 존재하는지 여부를 판단하는 binary classifier가 이용될 수 있다. 또한, 제2 방식으로(예를 들어, unsupervised를 위한 제2 네트워크의 출력에 기초하여), 입력 영상에 학습되지 않은, unknown 혹은 새로운 이상항목이 존재하는지 여부를 판단하는 1-class classifier가 이용될 수 있다.

일 실시예에 따르면, 각 계층마다 별도의 네트워크가 학습될 수 있다. 각 네트워크는 선행 네트워크의 출력에 기초하여 동작할 수 있다. 또한, 각 네트워크는 도 5의 동작으로 인한 출력에 기초하여 동작할 수 있다.

도 10은 일 실시예에 따른 Semantic-Segmentation System을 설명하는 도면이다.

도 10을 참조하면, 도 9의 동작을 통해 이상 항목 여부, 이상 항목의 종류, 이상 항목의 등급이 판단되면, 해당 이상 항목이 segmentation될 수 있다. 예를 들어, semantic-segmentation을 수행하는 네트워크를 통과하여 pixel 단위로 색을 칠함으로써 해당 이상 항목이 segmentation될 수 있다. 이를 통해 사람이 쉽게 식별 가능한 영상이 출력될 수 있다. 도 11 내지 도 13은 실시예들에 의한 semantic-segmentation의 예시들이다.

도 14는 일 실시예에 따른 Output Processing System을 설명하는 도면이다.

도 14를 참조하면, 기 생성된 {이상 항목 여부, 이상 항목 종류, 이상 항목 등급}에 대한 데이터와 {segmentation 된 이미지 데이터}를 정해진 형식과 규격에 맞춰 출력하고, '자동 보고서 작성 시스템＇과 내부적으로 통신하여 그 결과를 전달할 수 있다.

도 15는 일 실시예에 따른 Inference 단계의 인공지능 시스템의 전체 구조를 설명하는 도면이다.

도 15를 참조하면, Inference 단계라 함은, training을 끝낸 후 얻게 된 네트워크들의 가중치를 저장해 놓고, 그 해당 가중치를 갖는 네트워크를 통해 실제 서비스 단계의 새로운 입력데이터가 들어왔을 때 이상 항목을 판별해주는 것을 의미한다.

학습을 위한 시스템과 비교하여 첫 블록(예를 들어, Inference을 위한 데이터의 전처리에 관련된 시스템)의 구조만 상이하다. 개별 데이터에 대해 Inference를 수행하면 되므로, 판별하고자 하는 입력영상이 뉴메릭 벡터 값으로 전 처리되어, 인공신경망의 입력으로 사용될 수 있다.

일 실시예에 따르면, 입력 영상에 포함된 정보의 차원 감소 이후, 식별력이 향상될 수 있다. 경우에 따라, 차원 감소와 식별력 향상을 위한 네트워크는 단일 네트워크로 구현될 수도 있다. 또한, 서로 다른 복수의 방식들로 식별력이 향상될 수 있다. 이 경우, 방식 별 네트워크로부터 출력이 생성될 수 있다.

식별력 향상 이후, 입력 영상에 이상 항목이 존재하는지 여부, 이상 항목이 존재한다면, 이상 항목의 유형 및 등급이 계층적으로 판별될 수 있다. 이상 항목의 존재 여부 판단 시에는, 서로 다른 방식으로 식별력이 향상된 출력들에 기초하여 이상 항목의 존재 여부뿐 아니라 기존에 알려지지 않은(혹은 학습되지 않은) 새로운 이상 항목이 존재하는지 여부도 판별될 수 있다.

실시예들에 의한 인공지능 시스템을 구현하기 위한 이슈들

1. 인공지능 학습을 위한 데이터 수집 자체가 어렵다는 문제.

> over sampling을 위한 data augmentation 기법을 도입.

2. 인공지능 학습을 위한 training 데이터 구성 시 labeling의 문제 - 전문가가 이상항목인지 아닌지, 어떤 이상항목인지, 어떤 이상등급인지 일일이 라벨링 해 주어야함. 이를 모든 데이터에 대해 완벽히 수행하는 것은 시간적, 비용적 측면에서 불가능.

> 라벨링이 완벽한 supervise문제가 아닌 labeled 데이터와 unlabeled 데이터가 혼합된 semi-supervised 방식으로도 접근. 따라서 시스템 구조상에 semi-supervised 방식의 문제해결이 가능한 네트워크 구조(embedding and representation learning system)를 포함.

3. 규정된 이상항목이 아닌 새로운 형태의 이상항목이 데이터로 주어지거나, 전문가에 의해 라벨링 되지 못한 이상항목이 존재할 수 있음.

> Unsupervised 관점 혹은 one-class classification 관점에서 접근. 따라서 시스템 구조상에 또한 이러한 문제를 해결 가능하게 할 네트워크 구조 (embedding and representation learning system)를 포함.

4. 정상 데이터의 숫자가 이상항목 데이터의 숫자보다 월등이 많이 존재하기 때문에 imbalanced data classification문제가 존재함.

> 학습이 unbalance하게 진행되므로 이를 처리할 여러가지 방법론(예, Data Augmentation)을 도입.

5. 한 데이터에 여러가지 이상항목이 존재할 수 있음. 가령, 관파손과 토사퇴적이 동시에 발생하는 것도 있을 수 있음.

> 같은 데이터에 대해 하나는 관파손 라벨, 하나는 토사퇴적 라벨을 붙여 학습시킨 후, 네트워크의 분류 결과가 두 가지 항목에 대한 확률이 특정 threshold 값 보다 높게 나오게 되면 두 가지 이상항목이 동시에 존재한다고 판단하는 방식 등 다양한 방식 도입.

6. 이상항목을 판단하는데 있어 데이터의 종류가 단순한 정적인 이미지가 아닌 시간의 흐름에 따른 이미지의 형태변화가 의미가 있는 특수한 데이터임. 가령, 특정 이상항목을 포착하였을 때 시간이 지날 수록 그 절대적인 크기가 커지며, 이러한 현상은 같은 이상항목임에도 불구하고 각각의 이미지 프레임에 대한 이상항목 여부, 이상항목 종류, 이상항목 등급판단 성능에 영향을 미칠 수 있음. 즉, 절대적 크기가 아닌 관경에 대한 상대적 크기를 가지고 판단할 수 있도록 강제하여야 함.

> 이미지라는 특성과 sequential한 특성을 동시에 감안한 네트워크 구조를 구성할 필요가 있으며, 인풋 데이터를 구성하는 방식 등을 별개의 이미지가 아닌 시간에 흐름에 따라 바뀌는 이미지 묶음(같은 이상항목에 대해 시간이 다르더라도 같은 이상이라고 알려주는 방식)으로 바꾸는 등의 방식 도입.

7. 완벽한 인공지능 시스템은 불가능함. 상을 모두 정상으로, 이상항목을 모두 이상항목으로 분류하는 인공지능 시스템은 존재하지 않음. 이상항목을 정상으로 잘못 분류하거나 정상을 이상항목으로 잘못 분류하는 경우가 생길 수 있으며 이 두 오류는 일반적으로 trade-off가 존재함.

> 이에 대해 두 오류 중 어떤 오류가 비용적 측면에서 더욱 손실일지를 고려하여 좀 더 효과적인 인공지능 시스템을 구축.

이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

Claims (20)

1. 입력 영상을 수신하는 단계;
   지도 학습(supervised learning) 기반 네트워크를 이용하여 상기 입력 영상에 포함된 정보의 차원(dimension)을 제1 잠재 공간(latent space)으로 감소(reduction) 시키는 단계;
   비지도 학습(unsupervised learning) 기반 네트워크를 이용하여 상기 입력 영상에 포함된 정보의 차원을 제2 잠재 공간으로 감소시키는 단계;
   상기 잠재 공간으로 차원 감소된 정보의 식별력(separability)을 향상시키는 단계;
   상기 식별력이 향상된 정보에 기초하여, 상기 입력 영상에 이상 항목이 존재하는지 여부, 상기 이상 항목의 종류, 및 상기 이상 항목의 등급을 계층적으로 판단하는 단계; 및
   상기 이상 항목의 존재 여부, 상기 이상 항목의 종류, 및 상기 이상 항목의 등급에 기초하여, 상기 입력 영상 내 상기 이상 항목에 해당하는 영역을 표현하는 시멘틱 세그먼테이션을 수행하는 단계
   를 포함하고,
   상기 식별력을 향상시키는 단계는
   레이블(label)을 가지는 입력 데이터들에 대응하여 상기 제1 잠재 공간 내 상기 레이블에 의하여 지시되는 클래스에 해당하는 분포를 출력하도록 학습되고, 레이블을 가지지 않는 입력 데이터들에 대응하여 상기 지도 학습 기반 네트워크에 의하여 인식 가능한 클래스들 이외의 새로운 클래스에 해당하는 분포를 출력하도록 학습되는 제1 네트워크를 이용하여, 상기 클래스들에 대응하는 제1 잠재 데이터 조각(latent data chunk)들 사이의 식별력을 향상시킴으로써 상기 제1 잠재 공간으로 차원 감소된 정보의 식별력을 향상시키는 단계; 및
   입력 데이터들에 대응하여 k-평균 클러스터링 기법에 의하여 도출되는 클러스터들의 수에 따라 상기 제2 잠재 공간 내에서 미리 결정된 형태의 분포를 출력하도록 학습되는 제2 네트워크를 이용하여, 상기 클러스터들에 대응하는 제2 잠재 데이터 조각들 사이의 식별력을 향상시킴으로써 상기 제2 잠재 공간으로 차원 감소된 정보의 식별력을 향상시키는 단계
   를 포함하며,
   상기 계층적으로 판단하는 단계는
   상기 제1 네트워크의 출력에 기초하여 상기 입력 영상에 상기 이상 항목이 존재하는지 여부를 판단하는 분류기 및 상기 제2 네트워크의 출력에 기초하여 상기 입력 영상에 새로운 이상 항목이 존재하는지 여부를 판단하는 분류기를 이용하여, 상기 이상 항목 혹은 상기 새로운 이상 항목의 존재 여부를 1차적으로 판단하는 단계;
   상기 이상 항목이 존재한다는 판단에 따라, 상기 제1 네트워크의 출력에 기초하여 상기 입력 영상에 포함된 상기 이상 항목의 종류를 2차적으로 판단하는 단계; 및
   상기 판단된 이상 항목의 종류에 따라, 상기 입력 영상에 포함된 상기 이상 항목의 등급을 3차적으로 판단하는 단계
   를 포함하는, 파이프 영상 내의 이상 감지 방법.
   
2. 삭제
3. 삭제
4. 삭제
5. 삭제
6. 삭제
7. 제1항에 있어서,
   상기 이상 항목의 시멘틱 세그먼테이션을 수행하는 단계는
   상기 이상 항목의 존재 여부, 상기 이상 항목의 종류, 및 상기 이상 항목의 등급에 기초하여, 상기 입력 영상을 픽셀 단위로 색을 칠하는 단계
   를 포함하는, 파이프 영상 내의 이상 감지 방법.
   
8. 제1항에 있어서,
   상기 이상 항목의 존재 여부, 상기 이상 항목의 종류, 및 상기 이상 항목의 등급을 포함하는 데이터와 상기 시멘틱 세그먼테이션된 이미지 데이터에 기초하여, 자동으로 보고서를 작성하는 단계
   를 더 포함하는, 파이프 영상 내의 이상 감지 방법.
   
9. 제8항에 있어서,
   상기 자동으로 보고서를 작성하는 단계는
   미리 정해진 형식 및 미리 정해진 규격에 맞추어 상기 데이터 및 상기 이미지 데이터를 출력하는 단계
   를 포함하는, 파이프 영상 내의 이상 감지 방법.
   
10. 삭제
11. 하드웨어와 결합되어 제1항 및 제7항 내지 제9항 중 어느 한 항의 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램.
    
12. 삭제
13. 삭제
14. 삭제
15. 삭제
16. 삭제
17. 삭제
18. 삭제
19. 삭제
20. 삭제

Images