KR102300796B1

KR102300796B1 - 이미지 변환 모델을 사용한 x-ray 이미지 판독 지원 방법 및 이를 수행하는 시스템

Info

Publication number: KR102300796B1
Application number: KR1020200012559A
Authority: KR
Inventors: 조정현; 김익재; 조현우; 박해솔
Original assignee: 한국과학기술연구원
Priority date: 2020-02-03
Filing date: 2020-02-03
Publication date: 2021-09-13
Also published as: US11734831B2; US20210241463A1; KR20210098703A

Abstract

실시예들은 X-RAY가 투과 또는 반사되는 판독 공간에 배치된 판독 대상에 관한 정보를 수신하는 단계; 상기 판독 대상에 관한 정보에 기초하여 판독 대상의 비 X-RAY 이미지를 획득하는 단계; 및 상기 판독 대상의 비 X-RAY 이미지를 상기 이미지 변환 모델에 적용하여 상기 판독 대상의 가짜 X-RAY 이미지를 생성하는 단계를 포함하는 X-RAY 이미지 판독 지원 방법 및 이를 수행하는 시스템에 관련된다.

Description

이미지 변환 모델을 사용한 X-RAY 이미지 판독 지원 방법 및 이를 수행하는 시스템{METHOD FOR SUPPORTING X-RAY IMAGE READING USING IMAGE TRANSFORM MODEL AND SYSTEM PERFORMING THE SAME}

본 발명의 실시예들은 판독 대상을 촬영한 원본 X-RAY 이미지의 판독을 지원하기 위해 판독 공간에 배치된 객체에 관한 정보에 기초하여 판독 대상의 비 X-RAY 이미지를 획득하고, 입력 이미지를 X-RAY 이미지로 변환하도록 구성된 이미지 변환 모델을 사용하여 상기 판독 대상의 비 X-RAY 이미지를 생성하는 기술에 관련된다

현대 사회는 운송 산업 및 IT 산업의 발전으로 인해, 국내/국외의 화물 운송은 활발하게 이루어지고 있다. 국외 운송을 위한 화물은 개인의 여행에 따라서 개인이 탑승하는 운송 수단(예컨대, 항공기 또는 선박)에 함께 적재되는 개인 화물, 그리고 기업 거래에 따라 대규모로 적재되는 수출 화물을 포함한다.

국외 운송 시에는 운송 수단의 출발 국가에서 화물이 반출될 때, 및/또는 운송 수단의 도착 국가에서 화물이 반입될 때 해당 국가의 세관 기관은 세관 규정, 운송 규정, 또는 보안 규정 등과 같은 국외 화물 관련 규정에 위반되는 화물이 없는지 검사하게 된다. 예를 들어, 출발 국가의 세관 기관에서는 항공 보안을 위해 항공기에 적재 불가능한 화물(예컨대, 위험물)이 개인 화물에 포함되어 있는지를 검사할 수 있다. 또는 도착 국가의 세관 기관에서는 관세 규정에 부적합한 밀수품이 있는지를 검사할 수 있다.

이러한 화물 검사는 화물이 적재된 공간(예컨대, 컨테이너, 또는 화물칸 등)을 개방하여 세관 직원이 직접 검사하는 방식; 또는 X-RAY 검사기기를 통해 획득된 X-RAY 이미지에 기초하여 검사하는 방식이 있다. 먼저 컨테이너 등을 개방하여 검사하는 방식은 시간이 많이 걸리고 검사 비용이 많이 드는 단점이 있다. 따라서, 단위 시간 동안 많은 화물을 검사할 수 있는 X-RAY 기반 검사 방식에 의해 국외 운송의 화물 검사가 진행된다.

도 1은, 종래의 일 실시예에 따른, X-RAY 기반 검사 방식의 개념도이고, 도 2는, 도 1의 검사에 활용되는 이미지를 도시한 도면이다.

도 1을 참조하면, 외국으로부터 운송된 수출 화물에 대한 세관 검사의경우, 판독 공간은 운송수단(예컨대, 컨테이너 트럭)에서 화물이 배치된 공간(예컨대, 컨테이너)을 포함한다. 판독 공간에 X선을 방출하여 물체를 투과 또는 반사한 양을 감지하면 촬영 정보가 획득되고, 결국 도 2에 도시된 바와 같이 판독 공간의 X-RAY 이미지를 획득한다. 종래에는 세관원이 판독 공간에 포함된 화물에 관한 정보와 판독 공간을 직접 촬영하여 획득된 X-RAY 이미지를 대조하여 판독 공간의 X-RAY 이미지에서 나타난 객체가 화물목록에 포함된 물품에 해당되는지 판독한다. 즉, 원본 X-RAY 이미지에서 판독될 대상에 대한 텍스트 정보와 상기 원본 X-RAY 이미지를 대조하는 방식을 통해 검사가 진행된다.

그러나, 이러한 X-RAY 기반 검사 방식은 검사 결과가 판독자의 숙련도 또는 피로도에 의존하는 한계가 있다.

특허등록공보 제10-1917000호 (2018.11.02.)

Goodfellow, Ian J.; Pouget-Abadie, Jean; Mirza, Mehdi; Xu, Bing; Warde-Farley, David; Ozair, Sherjil; Courville, Aaron; Bengio, Yoshua (2014). "Generative Adversarial Networks"

본 발명의 실시예들은 판독 대상을 촬영한 원본 X-RAY 이미지의 판독을 지원하기 위해 판독 공간에 배치된 객체에 관한 정보에 기초하여 판독 대상의 비 X-RAY 이미지를 획득하고, 입력 이미지를 X-RAY 이미지로 변환하도록 구성된 이미지 변환 모델을 사용하여 판독 대상의 진짜 X-RAY 이미지와 구별하기 어려운 상기 판독 대상의 가짜 X-RAY 이미지를 생성하는 단계를 포함한 X-RAY 이미지 판독 지원 방법 및 이를 수행하는 시스템을 제공하고자 한다.

본 발명의 일 측면에 따른 이미지 변환 모델을 사용한 X-RAY 이미지 판독 지원 방법은 프로세서를 포함한 컴퓨팅 장치에 의해 수행되며, 상기 방법은: X-RAY가 투과 또는 반사되는 판독 공간에 배치된 판독 대상에 관한 정보를 수신하는 단계; 상기 판독 대상에 관한 정보에 기초하여 판독 대상의 비 X-RAY 이미지를 획득하는 단계; 및 상기 판독 대상의 비 X-RAY 이미지를 상기 이미지 변환 모델에 적용하여 상기 판독 대상의 가짜 X-RAY 이미지(fake X-RAY image)를 생성하는 단계를 포함할 수 있다.

일 실시예에서, 상기 판독 대상의 비 X-RAY 이미지를 획득하는 단계는, 상기 판독 대상에 관한 정보에서 상기 판독 대상의 명칭을 추출하는 단계; 상기 판독 대상의 명칭에 기초하여 검색 쿼리를 생성하는 단계; 및상기 검색 쿼리를 웹 서버에 전송하고, 상기 웹 서버가 수신한 검색 쿼리에 응답하여 검색한 이미지를 상기 판독 대상의 비 X-RAY 이미지로 수신하는 단계를 포함할 수 있다.

일 실시예에서, 상기 웹 서버는, 월드 와이드 웹을 통해 액세스 가능하며, 웹 검색 가능하도록 구성된 서버일 수 있다.

일 실시예에서, 상기 방법은: 상기 판독 대상의 비 X-RAY 이미지를 이미지 변환 모델에 적용하기 이전에, 상기 판독 대상의 비 X-RAY 이미지를 하나 이상의 세그먼트로 분할하여 분할 정보를 산출하는 단계를 더 포함할 수 있다. 여기서, 상기 세그먼트는 객체 또는 객체의 부분을 포함하며, 상기 분할 정보는 이미지 내 세그먼트의 경계 및 위치 정보 중 하나 이상을 포함한다.

일 실시예에서, 상기 분할 정보를 산출하는 단계는, 상기 판독 대상의 비 X-RAY 이미지를 세그멘테이션 모델에 적용하는 단계를 포함할 수 있다. 여기서, 상기 세그멘테이션 모델은 입력되는 이미지의 픽셀을 미리 학습된 클래스로 레이블링하도록 구성된다.

일 실시예에서, 상기 판독 대상의 가짜 X-RAY 이미지를 생성하는 단계는, 상기 판독 대상의 비 X-RAY 이미지에 대한 분할 정보를 상기 이미지 변한 모델에 더 적용할 수 있다.

일 실시예에서, 상기 이미지 변환 모델은, 입력 이미지를 X-RAY 이미지로 변환하는 생성기를 포함하며, 상기 생성기는, 데이터를 입력 받은 경우 학습에 사용된 훈련 샘플의 데이터 분포와 복원 오차가 최소가 되거나 상기 데이터 분포에 속하게 되는 출력 데이터를 생성하도록 학습된다.

일 실시예에서, 상기 이미지 변환 모델은 복수의 훈련 샘플을 포함한 훈련 데이터 세트를 통해 학습된 모델로서, 각 훈련 샘플은 훈련 객체의 비 X-RAY이미지와 분할 이미지, 그리고 X-RAY이미지와 분할 이미지를 각각 포함할 수 있다.

일 실시예에서, 상기 각 훈련 샘플은 훈련 객체의 비 X-RAY 이미지를 분할하여 획득된 분할 정보를 각각 더 포함할 수 있다. 여기서, 상기 분할 정보는 훈련 객체의 비 X-RAY 이미지에 포함된 세그먼트의 위치 정보 및 경계 정보 중 하나 이상을 포함한다.

일 실시예에서, 상기 비 X-RAY 이미지는 가시광선을 통해 획득된 이미지이다.

일 실시예에서, 상기 방법은: 상기 판독 공간이 나타난 원본 X-RAY 이미지와 상기 이미지 변환 모델에 의해 생성된 판독 대상의 가짜 X-RAY 이미지를 비교하여 상기 원본 X-RAY 이미지에서 판독 대상을 검출하는 단계를 더 포함할 수 있다.

일 실시예에서, 상기 원본 X-RAY 이미지는, X선을 상기 판독 공간에 방출하여 검출된 촬영 정보에 기초하여 생성될 수 있다.

일 실시예에서, 상기 방법은: 학습된 이미지 변환 모델을 재-학습하기 위해, 상기 판독 대상의 가짜 X-RAY 이미지를 배경의 X-RAY 이미지와 합성하여 피드백 학습 데이터를 생성하는 단계를 더 포함할 수 있다.

본 발명의 다른 일 측면에 따른 컴퓨터 판독가능 기록매체는 컴퓨팅 장치에 의해 판독가능하고, 상기 컴퓨팅 장치에 의해 동작 가능한 프로그램 명령어를 저장할 수 있다. 여기서, 상기 프로그램 명령어가 상기 컴퓨팅 장치의 프로세서에 의해 실행되는 경우 상기 프로세서가 상술한 실시예들에 따른 X-RAY 이미지 판독 지원 방법을 수행하게 한다.

본 발명의 또 다른 일 측면에 따른 시스템은: 하나 이상의 객체가 배치된 판독 공간의 원본 X-RAY 이미지를 생성하기 위해 상기 판독 공간에 X선을 방출하는 X-RAY 촬영기기; 및 상기 X선이 판독 공간을 투과 또는 반사하여 획득된 촬영 정보를 수신하여 상기 판독 공간의 원본 X-RAY 이미지를 생성하고; 상기 판독 공간에 배치된 판독 대상에 관한 정보를 수신하며; 상기 판독 대상에 관한 정보에 기초하여 판독 대상의 비 X-RAY 이미지를 획득하고; 그리고 상기 판독 대상의 비 X-RAY 이미지를 상기 이미지 변환 모델에 적용하여 상기 판독 대상의 가짜 X-RAY 이미지를 생성하도록 구성된 데이터 처리 장치를 포함할 수 있다.

일 실시예에서, 상기 데이터 처리 장치는 네트워크를 통해 웹 서버에 엑세스 가능하며, 상기 판독 대상에 관한 정보에 기초하여 검색 쿼리를 생성하고, 상기 검색 쿼리를 웹 서버에 전송하며, 상기 웹 서버가 수신한 검색 쿼리에 응답하여 검색한 이미지를 상기 판독 대상의 비 X-RAY 이미지로 수신하도록 더 구성될 수 있다.

일 실시예에서, 상기 데이터 처리 장치는, 상기 판독 대상의 비 X-RAY 이미지를 이미지 변환 모델에 적용하기 이전에, 상기 판독 대상의 비 X-RAY 이미지를 하나 이상의 세그먼트로 분할하여 분할 정보를 산출하도록 더 구성되며, 상기 세그먼트는 객체 또는 객체의 부분을 포함하며, 상기 분할 정보는 이미지 내 세그먼트의 경계 및 위치 정보 중 하나 이상을 포함할 수 있다.

일 실시예에서, 상기 데이터 처리 장치는, 상기 판독 공간이 나타난 원본 X-RAY 이미지와 상기 이미지 변환 모델에 의해 생성된 판독 대상의 가짜 X-RAY 이미지를 비교하여 상기 원본 X-RAY 이미지에서 판독 대상을 검출하도록 더 구성될 수 있다.

본 발명의 일 측면에 따른 시스템은, 웹 검색을 통해 획득된 이미지를 이용하여 기준 이미지를 생성하므로, 다양한 화물목록에 대해서 활용될 수 있다. 따라서, 저장 이미지가 상대적으로 제한적인 내부 데이터베이스를 이용하는 경우와 비교하여 무제한 범위의 화물목록에 대해서 활용될 수 있어, 높은 활용 가능성을 가진다.

또한, 이미지 변환 모델을 통해 생성된 판독 대상의 X-RAY 이미지는 판독 대상을 직접 X선으로 촬영하여 획득되는 진짜 X-RAY 이미지(real X-RAY iamge)와 구별하기 어려울 정도로 동일 또는 유사한 가짜 이미지(fake image)로서 생성된 것이다. 상기 가짜 X-RAY 이미지는 화물목록과 같은 텍스트 정보를 기반으로 생성된 판독을 위한 이미지로서, 실제 촬영된 원본 X-RAY 이미지와 비교할 수 있다. 이로 인해, 판독 대상을 판독하는 작업이 이미지와 이미지를 비교하는 방식으로 진행된다. 그 결과, 텍스트(예컨대, 화물목록)와 이미지(원본 X-RAY 이미지)를 비교하는 종래의 판독 작업과 비교하여 사용자(예컨대, 세관원)에 대해서 상대적으로 높은 판독 편의성을 제공한다.

나아가, 비 X-RAY 이미지로부터 전술한 가짜 X-RAY 이미지를 생성하는 이미지 변환 모델은 SegNet 기반의 이미지의 분할 정보로부터 GAN 기반의 이미지 생성을 학습하여 구성된다. 이러한 구성을 통해 비 X-RAY 이미지와 진짜 X-RAY 이미지를 반드시 픽셀 수준의 대응 관계가 있는 쌍으로 구성하여 이미지 변환 모델을 학습해야하는 제약 조건이 요구될 필요가 없어, 세관에 실제로 사용하기에 적합한, 높은 사용 적합성을 가진다.

본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

본 발명 또는 종래 기술의 실시예의 기술적 해결책을 보다 명확하게 설명하기 위해, 실시예에 대한 설명에서 필요한 도면이 아래에서 간단히 소개된다. 아래의 도면들은 본 명세서의 실시예를 설명하기 목적일 뿐 한정의 목적이 아니라는 것으로 이해되어야 한다. 또한, 설명의 명료성을 위해 아래의 도면들에서 과장, 생략 등 다양한 변형이 적용된 일부 요소들이 도시될 수 있다.
도 1은, 종래의 일 실시예에 따른, X-RAY 기반 검사 방식의 개념도이다.
도 2는, 도 1의 검사에 활용되는 이미지를 도시한 도면이다.
도 3은, 본 발명의 일 실시예에 따른, X-RAY 판독 시스템의 개념도이다.
도4는, 본 발명의 일 실시예에 따른, 이미지 변환 모델의 개념도이다.
도 5는, 본 발명의 일 실시예에 따른, 이미지 변환 모델을 학습하는 과정의 흐름도이다.
도 6은, 본 발명의 일 실시예에 따른, X-RAY 판독 방법의 흐름도이다.
도 7은, 본 발명의 일 실시예에 따른, 비 X-RAY 이미지를 분할 처리한 결과를 도시한 도면이다.
도 8은, 본 발명의 일 실시예에 따른, 분할된 비 X-RAY 이미지를 X-RAY 이미지로 변환한 결과를 도시한 도면이다.

여기서 사용되는 전문 용어는 단지 특정 실시예를 언급하기 위한 것이며, 본 발명을 한정하는 것을 의도하지 않는다. 여기서 사용되는 단수 형태들은 문구들이 이와 명백히 반대의 의미를 나타내지 않는 한 복수 형태들도 포함한다. 명세서에서 사용되는 "포함하는"의 의미는 특정 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분을 구체화하며, 다른 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분의 존재나 부가를 제외시키는 것은 아니다.

다르게 정의하지는 않았지만, 여기에 사용되는 기술용어 및 과학용어를 포함하는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 일반적으로 이해하는 의미와 동일한 의미를 가진다. 보통 사용되는 사전에 정의된 용어들은 관련기술문헌과 현재 개시된 내용에 부합하는 의미를 가지는 것으로 추가 해석되고, 정의되지 않는 한 이상적이거나 매우 공식적인 의미로 해석되지 않는다.

이하에서, 도면을 참조하여 본 발명의 실시예들에 대하여 상세히 살펴본다.

도 3은, 본 발명의 일 실시예에 따른, X-RAY 판독 시스템의 개념도이다.

도 3을 참조하면, X-RAY 판독 시스템(1)은 X 선을 사용하여 판독 공간을 촬영한 촬영 정보 및 객체와 관련된 정보 중 하나 이상을 수신하여 X-RAY 이미지에서 객체를 검출하는 데이터 처리 장치를 포함할 수 있다. 또한, 일부 실시예에서, X-RAY 판독 시스템(1)은 x선을 통해 촬영 범위에 존재하는 객체를 촬영하는 X-RAY 촬영기기(10)를 더 포함할 수도 있다.

실시예들에 따른 X-RAY 판독 시스템(1)은 전적으로 하드웨어이거나, 전적으로 소프트웨어이거나, 또는 부분적으로 하드웨어이고 부분적으로 소프트웨어인 측면을 가질 수 있다. 예컨대, 시스템은 데이터 처리 능력이 구비된 하드웨어 및 이를 구동시키기 위한 운용 소프트웨어를 통칭할 수 있다. 본 명세서에서 "부(unit)", “모듈(module)”“장치”, 또는 "시스템" 등의 용어는 하드웨어 및 해당 하드웨어에 의해 구동되는 소프트웨어의 조합을 지칭하는 것으로 의도된다. 예를 들어, 하드웨어는 CPU(Central Processing Unit), GPU(Graphic Processing Unit) 또는 다른 프로세서(processor)를 포함하는 데이터 처리 기기일 수 있다. 또한, 소프트웨어는 실행중인 프로세스, 객체(object), 실행파일(executable), 실행 스레드(thread of execution), 프로그램(program) 등을 지칭할 수 있다.

X-RAY 촬영기기(10)는 객체를 포함한 판독 공간으로 x선을 방출하고, 그리고 상기 판독 공간을 투과 또는 반사한 x선을 수신하여 촬영 정보를 출력하도록 구성된다. X-RAY 촬영기기(10)에 의해, 도 2에 도시된 것과 같은 X-RAY 이미지가 획득된다.

x선을 사용하여 X-RAY 이미지를 생성하게 하는 다양한 기기가 X-RAY 촬영기기(10)로서 사용될 수 있다.

일 예에서, 상기 X-RAY 촬영기기(10)는 일종의 투시기기로서 촬영 정보를 컴퓨터 등과 같은 외부의 컴퓨팅 장치에 전송하면, 상기 컴퓨팅 장치가 수신한 촬영 정보를 이미지 처리하여 도 2와 같은 X-RAY 이미지를 생성할 수 있다. 이 경우, 촬영 정보는, 투시 결과를 포함한, 도 2의 투과 또는 반사된 이미지를 생성하게 하는 기초 정보일 수도 있다.

다른 일 예에서, 상기 X-RAY 촬영기기(10)는 프로세서를 포함하며, 이미지 처리를 통해 출력 이미지를 생성하도록 더 구성될 수 있다. 그러면, 상기 X-RAY 촬영기기(10)가 자체적으로 X-RAY 이미지를 생성할 수 있다. 이 경우, 데이터 처리 장치(100)로 전송되는 촬영 정보는 X-RAY 이미지일 수 있다.

이러한 X-RAY 촬영기기(10)를 통해 도 2에 도시된 것과 같은 X-RAY 이미지는 일반적으로 흑백 또는 컬러 영상으로 표현되며 촬영되는 물체를 구성하는 원소 기호에 따라 명도 또는 색상으로 표시하게 된다.

X-RAY 이미지는 하나 이상의 객체 및 배경을 포함할 수 있다. 상기 하나 이상의 객체는 사용자가 판독을 원하는 판독 대상을 포함할 수 있다.

데이터 처리 장치(100)는 프로세서를 포함한 컴퓨팅 장치로서, 예를 들어, 랩탑 컴퓨터, 노트북 컴퓨터, 스마트폰 등을 포함할 수 있다. 데이터 처리 장치(100)는 유/무선의 전기 통신을 통해 외부 장치와 데이터를 송/수신하도록 구성된다. 일부 실시예에서, 데이터 처리 장치(100)는 X-RAY 촬영기기(10)와 전기적으로 연결되어, X-RAY 촬영기기(10)의 촬영 정보를 직접적으로 수신할 수 있다. 또는 데이터 처리 장치(100)는 X-RAY 촬영기기(10)의 촬영 정보를 간접적으로 수신할 수도 있다. 이 경우, 데이터 처리 장치(100)는 다른 컴퓨팅 장치에 의해 생성된 X-RAY 촬영기기(10)의 X-RAY 이미지를 수신할 수 있다.

데이터 처리 장치(100)는 X선에 의해 투과 또는 반사될 판독 공간에 배치된 하나 이상의 객체와 관련된 정보를 수신하고, 객체 관련 정보에 기초하여 해당 객체의 X-RAY 이미지를 생성하도록 구성된다.

판독 공간은 X-RAY 판독 시스템(1)이 설치되는 장소에 따라 다양하다. 예를 들어, X-RAY 판독 시스템(1)이 항만 부두에 적용된 경우, 판독 공간은 컨테이너가 위치 또는 통과하는 공간을 포함할 수 있다. 또는 X-RAY 판독 시스템(1)이 공항 검색대에 적용된 경우, 판독 공간은 수화물이 위치 또는 통과하는 공간을 포함할 수 있다.

일 실시예에서, 객체와 관련된 정보는 판독 공간에 배치된 적어도 일부 객체의 목록 정보일 수 있다. 판독 공간에 배치된 객체가 화물인 경우, 객체의 목록 정보는 화물목록(또는 적하목록)일 수 있다. 이 경우, 판독 공간은 화물 이외의 다른 객체(예컨대, 화물 지지 부품)를 더 포함할 수도 있다.

그러나, 객체와 관련된 정보는 이에 제한되지 않으며 판독 공간에 배치된 객체 중 적어도 하나와 관련된 정보를 갖는 다양한 정보를 포함할 수 있다. 이하, 설명의 명료성을 위해, 판독 공간에 배치된 객체와 관련된 정보는 화물목록으로 지칭하여 본 발명을 보다 상세하게 서술한다.

데이터 처리 장치(100)에 이러한 화물목록이 입력되면, 데이터 처리 장치(100)는 수신한 화물목록에 포함된 판독 대상의 비 X-RAY 이미지를 획득하도록 구성된다.

판독 대상은 사용자가 판독하길 원하는 객체로서, 예를 들어 컨테이너에 적재된 적하물, 또는 항공기에 선적 예정인 수화물 등을 포함한다. 또한, 상기 판독 대상은 물건에 제한되지 않으며, 밀입국자, 또는 방역 대상인 동물과 같은 생물을 포함할 수 있다. 데이터 처리 장치(100)는 수신한 객체 관련 정보에 미리 설정된 규칙을 적용하여 객체 관련 정보에 포함된 객체 중 적어도 일부를 판독 대상으로 결정할 수 있다.

비 X-RAY 이미지는 화물 목록 정보로부터 이미지 검색 등으로 획득한 이미지로서, 일 실시예에서, 비 X-RAY 이미지는 가시광선을 사용하여 획득된 색상 이미지일 수 있다. 그러나, 이에 제한되지 않으며 적외선 등과 같은, x선과 상이한 파장을 사용하여 획득된 이미지일 수도 있다.

일 실시예에서, 데이터 처리 장치(100)는 수신한 화물목록에 포함된 화물 중 적어도 일부를 판독 대상으로 결정하고, 결정된 판독 대상에 대한 검색 쿼리를 생성한다. 그러면, 데이터 처리 장치(100)는 검색 쿼리를 웹 서버에 전송한다.

웹 서버는 네트워크 통신망을 통해 데이터 처리 장치(100)와 연결된다. 상기 네트워크 통신망은 유선 및/또는 무선 등과 같은 그 통신 양태를 가리지 않고 구성될 수 있다. 일 실시예에서, 네트워크 통신망은 공지의 월드 와이드 웹(WWW; World Wide Web)일 수 있다.

월드 와이드 웹을 통해 연결된 웹 서버는 이미지를 검색 가능하도록 구성된 웹 페이지를 갖는 서버로서, 일 예로서 포털 사이트의 운영 서버일 수 있다. 웹 서버는 웹 페이지를 실행하는 검색 엔진을 통해 데이터 처리 장치(100)의 검색 쿼리에 응답하여 검색을 수행한다.

데이터 처리 장치(100)는 전송할 웹 서버에 대응하는 검색 쿼리를 생성한다. 일 실시예에서, 웹 서버가 월드 와이드 웹을 통해 연결된 경우, 상기 데이터 처리 장치(100)는 데이터 처리 장치(100)는 화물목록 내 객체의 명칭을 기초로 검색 쿼리를 생성하고, 상기 검색 쿼리를 월드 와이드 웹을 통해 웹 서버로 전송한다.

이를 위해, 데이터 처리 장치(100)는 객체의 명칭을 표현하는 텍스트, 또는 명칭에 연관된 코드 등을 입력하게 하는 필드를 포함한 UI를 표시하도록 구성될 수 있다. 데이터 처리 장치(100)는 해당 필드에 입력된 데이터에 기초하여 객체의 명칭을 결정하고, 결정된 객체의 명칭을 포함한 검색 쿼리를 생성한다.

예를 들어, 데이터 처리 장치(100)는 수신한 화물목록에 포함된 화물 자체의 명칭 또는 화물의 유형의 명칭을 판독 대상의 명칭으로 추출하고, 추출된 판독 대상의 명칭에 기초하여 검색 쿼리를 생성할 수 있다.

그러면, 웹 서버는, 데이터 처리 장치(100)로부터 수신한 검색 쿼리에 기초하여 웹 서버의 데이터베이스에 저장된 비 X-RAY 이미지에서 판독 대상의 비 X-RAY 이미지를 검색하고, 검색된 판독 대상의 비 X-RAY 이미지를 검색 쿼리에 대한 응답으로 데이터 처리 장치(100)로 전송하는, 웹 검색 동작을 수행할 수 있다. 이러한 웹 검색 동작은 이러한 월드 와이드 웹을 통한 비 X-RAY 이미지 검색은, 예를 들어, 화물목록에 포함된 객체 자체의 명칭 텍스트 또는 유형 텍스트를 검색 포탈에 입력하여 해당 객체와 동일 또는 유사 이미지를 검색하는 것과 같이, 검색 엔진에 검색어를 입력하여 이미지를 획득하는 검색 과정으로 진행될 수 있다.

또한, 데이터 처리 장치(100)는 화물목록 내 객체의 명칭과 같은 텍스트를 획득한 이후에, 검색의 효율성을 높이기 위해 객체의 명칭의 표현을 수정하도록 더 구성될 수 있다. 일 실시예에서, 데이터 처리 장치(100)는 추가 검색 조건을 객체의 명칭의 표현에 부가할 수 있다. 상기 추가 검색 조건은 비 X-RAY 이미지의 속성을 포함한다. 상기 이미지 속성은 예를 들어 '측면 이미지'와 같은 뷰어 조건, 및/또는 '해상도 크기'와 같은 해상도 조건 등을 포함한, 다양한 이미지의 속성을 포함한다.

다른 일 실시예에서, 네트워크 통신망은 로컬 네트워크일 수 있다. 이 경우, 웹 서버는 복수의 객체에 각각 연관된 하나 이상의 비 X-RAY 이미지를 미리 구축하도록 구성된다. 또한, 데이터 처리 장치(100)는 상기 로컬 네트워크에 대해 미리 지정된 프로토콜에 따라 검색 쿼리를 생성하고, 상기 검색 쿼리를 로컬 네트워크를 통해 웹 서버로 전송한다.

데이터 처리 장치(100)는 판독 대상의 획득된 비 X-RAY 이미지를 판독 대상의 진짜 X-RAY 이미지와 구분하기 어려운 가짜 X-RAY 이미지로 변환한다. 여기서, 진짜 X-RAY 이미지는 대상을 X-RAY 촬영기기(10)에 의해 직접 촬영하면 획득될 이미지를 나타낸다. 아래에서 서술될 원본 X-RAY 이미지가 이에 해당한다. 가짜 X-RAY 이미지는 판독 대상으로부터 직접적으로 획득된 것이 아닌 이미지를 의미한다. 데이터 처리 장치(100)는 입력 데이터의 이미지를 가짜 X-RAY 이미지로 변환하도록 미리 학습된 이미지 변환 모델을 포함한다.

일 실시예에서, 데이터 처리 장치(100)는 판독 대상의 비 X-RAY 이미지를 하나 이상의 세그먼트로 분할하여 분할 정보를 산출하고; 분할 정보 및 판독 대상의 비 X-RAY 이미지를 이미지 변환 모델에 적용하도록 구성된다.

검색 엔진을 통해 검색되는 이미지의 거의 대부분은 객체만을 포함하도록 구성되지 않는다. 검색되는 이미지는 해당 객체 및 배경의 조합, 또는 해당 객체, 다른 객체 및 배경의 조합을 포함한다.

데이터 처리 장치(100)는 이미지에서 특징을 추출하여 이미지에 포함된 객체를 세그먼트로 분할하도록 구성된다. 이를 위해, 데이터 처리 장치(100)는 세그멘테이션 모델을 포함할 수 있다.

상기 세그멘테이션 모델은 이미지에 포함된 각 픽셀을 해당되는 클래스로 레이블링하도록 구성된다. 상기 클래스는, 예를 들어 자동차 등과 같은 객체 또는 상기 자동차의 바퀴, 몸체 등과 같은, 객체의 부분을 포함한다. 세그멘테이션 모델이 레이블링 가능한 클래스의 수는 세그멘테이션 모델의 학습 데이터 세트에 의존하여 설정된다.

일 실시예에서, 세그멘테이션 모델은 복수의 학습 샘플을 통해 학습된다. 각 학습 샘플은 후보 판독 대상의 비 X-RAY 이미지와 상기 비 X-RAY 이미지 내 세그먼트 정보를 포함한다.

세그멘테이션 모델은 컨볼루션 필터 등을 포함한 다양한 네트워크 아키텍처를 가질 수 있다. 세그멘테이션 모델은 예를 들어, FCN, SegNet, DeepLab 구조에 기초하여 구성될 수 있다.

데이터 처리 장치(100)는 세그멘테이션 모델에 의해 판독 대상의 비 X-RAY 이미지에 포함된 각 픽셀을 해당 클래스로 레이블링하여 하나 이상의 세그먼트로 분할함으로써, 분할 정보를 산출할 수 있다. 상기 분할 정보는 검색 이미지(즉, 비 X-RAY 이미지)에서 세그먼트의 경계 및/또는 위치 정보 등을 포함한다.

이러한 분할 처리에 따라 획득된 판독 대상의 위치 및/또는 경계로 인해, 검색된 이미지에 포함된 판독 대상의 영역을 보다 효율적으로 이미지 변환할 수 있다.

또한, 데이터 처리 장치(100)는 분할 처리를 통해 검색된 이미지에서 배경을 제거할 수 있다. 배경이 제거된 이미지에서 기존의 배경 영역은, 예를 들어 흑색 처리될 수 있으나, 이에 제한되진 않으며, 다른 색상(예컨대, 하얀색)으로 처리될 수도 있다. 배경이 제거된 이미지에서 판독 대상은 적어도 하나의 세그먼트로 구성된다. 예를 들어, 판독 대상이 자동차인 경우, 바퀴는 제1 세그먼트, 본체는 제2 세그먼트, 창문은 제3 세그먼트로 분할되며, 판독 대상은 3개의 세그먼트를 포함할 수 있다. 일부 실시예에서, 데이터 처리 장치(100)는 배경이 제거된 이미지에 대해서 사용자에게 확인을 유도하는 UI를 제공하도록 더 구성될 수 있다. 이 경우, 데이터 처리 장치(100)는 사용자 입력에 따라서 이미지에서 배경 영역을 설정하고, 설정된 영역을 제거하도록 더 구성될 수 있다.

또한, 데이터 처리 장치(100)는 판독 대상의 비 X-RAY 이미지에 각 픽셀을 연관된 레이블을 나타내도록 표시 처리된 이미지를 추가로 생성할 수 있다.

또한, 데이터 처리 장치(100)는 분할 처리로 인한 세그먼트에 대하여 세그먼트 특성 정보를 생성할 수 있다. 이 경우 상기 분할 정보는 세그먼트 특성 정보를 더 포함한다.

일 실시예에서, 상기 세그먼트의 특성 정보는 화물목록에 기초하여 생성된다. 상기 세그먼트의 특성 정보는 분할 처리에 의해 비 X-RAY 이미지로부터 도출되기는 어려우나, X-RAY 이미지를 판독하는데 영향을 미칠 수 있는 (예컨대, 오차를 유발하는) 화물의 제품 특성 등을 포함한다.

예를 들어 자동차와 같은 제품의 경우 바디, 라이트, 타이어, 휠, 윈도우 등을 구분하여 세그먼트의 특성 정보로 삼는다.

데이터 처리 장치(100)는 판독 대상의 비 X-RAY 이미지 및 분할 정보를 이미지 변환 모델에 적용하여 판독 대상의 가짜 X-RAY 이미지를 생성할 수 있다. 상기 판독 대상의 비 X-RAY 이미지는 검색 이미지 또는 검색 이미지에 기초한 다른 이미지일 수 있다. 일부 실시예에서, 이미지 변환 모델에 적용되는 판독 대상의 비 X-RAY 이미지는 레이블이 표시 처리된 이미지일 수 있다.

이미지 변환 모델은 입력 데이터에 기초하여 이미지를 생성하는 기계학습 모델로서, 예를 들어 AE(Auto-Encoder), VAE(Variational Auto-Encoder), GAN(Generative Adversarial Network) 등을 포함한 이미지 생성 구조를 가진다.

도4는, 본 발명의 일 실시예에 따른, 이미지 변환 모델의 개념적인 네트워크 아키텍처(network architecture) 도면이다.

도 4를 참조하면, 이미지 변환 모델은 GAN 기반 구조를 갖도록 구성될 수 있다. 도 4의 이미지 변환 모델은 생성기(generator, G) 및 판별기(discriminator, D)를 포함한다. 상기 생성기는 입력 데이터에 노이즈를 적용하여 새로운 데이터를 출력하도록 구성된다. 일부 실시예에서, 상기 생성기는 스킵 연결을 사용한 인코더-디코더 구조를 가진다.

상기 생성기는 실제 데이터와 가까운 데이터를 생성함으로써 판별기를 속여 그 가까운 데이터를 실제 데이터로 판별하게 하는 것을 목표로 가진다. 판별기는 상기 실제 데이터와 생성기의 출력 데이터를 식별하는 것을 목표로 가진다. 예를 들어, 상기 생성기는 판독 대상의 실제 X-RAY 이미지와 가까운 이미지를 생성하는 것을 목표로 가지며, 판별기는 생성기가 출력한 가짜 X-RAY 이미지와 실제 판독대상을 직접 촬영하여 획득된 진짜 X-RAY 이미지를 판별하는 것을 목표로 가진다.

일 실시예에서, 이미지 변환 모델은 복수의 훈련 샘플를 포함한 훈련 데이터 세트에 의해 학습된다. 일부 실시예에서, 훈련 객체는 후보 판독 대상일 수 있다.

상기 실시예에서, 각 훈련 샘플은 훈련 객체의 비 X-RAY 이미지와 상기 비 X-RAY 이미지의 분할 이미지, 그리고 해당 훈련 객체의 X-RAY 이미지와 상기 X-RAY 이미지의 분할 이미지를 포함할 수 있다. 이러한 훈련 샘플 세트를 통해 이미지 변환 모델은 비 X-RAY 이미지와 상기 비 X-RAY 이미지에 대한 분할 이미지, 그리고 진짜 X-RAY 이미지와 상기 진짜 X-RAY 이미지에 대한 분할 이미지 각각을 학습하여, 비 X-RAY 이미지로부터 상기 진짜 X-RAY 이미지와 구분하기 어려운, 동일 또는 유사한 가짜 X-RAY 이미지를 생성할 수 있다.

비 X-RAY 이미지와 X-RAY 이미지를 훈련 샘플로 직접 사용할 경우 이미지 간 픽셀 수준의 대응 관계가 있어야 이미지 변환 모델이 학습된다. 또한, 비 X-RAY 이미지와 진짜 C-RAY 이미지의 정확한 쌍을 구하는 것이 현실적으로 매우 어렵다.

반면에 상기 실시예와 같이 분할 이미지와 X-RAY 이미지를 훈련 샘플로 사용할 경우, 이러한 훈련 샘플에 의해 학습된 이미지 변환 모델은 비 X-RAY이미지에서 세그먼트를 계산하고 계산된 세그먼트에서 X-RAY 이미지를 생성하므로, 비 X-RAY 이미지와 X-RAY 이미지의 직접적인 대응 관계가 없이도 이미지 변환을 수행할 수 있다.

도 5는, 본 발명의 일 실시예에 따른, 훈련 데이터 세트를 획득하여 이미지 변환 모델을 학습하는 과정의 흐름도이다.

도 5를 참조하면, 훈련 객체의 비 X-RAY 이미지 및 X-RAY 이미지를 준비한다(S510). 상기 훈련 객체의 비 X-RAY 이미지는 가시광선을 통해 직접 촬영하거나, 또는 웹 검색을 통해 준비될 수 있다. 상기 훈련 객체의 X-RAY 이미지는 X선을 통해 직접 촬영된 이미지일 수 있으나, 이에 제한되진 않는다.

준비된 훈련 객체의 비 X-RAY 이미지는 하나 이상의 세그먼트로 분할 처리된다(S530). 그러면, 훈련 객체의 비 X-RAY 이미지에 포함된 객체 또는 객체의 일부가 세그먼트로 레이블링되며, 상기 훈련 객체의 비 X-RAY 이미지에 대한 분할 정보가 산출된다. 상기 분할 정보는 세그먼트의 위치 및/또는 경계 정보를 포함한다.

단계(S510 및 S530)를 통해, 이미지 변환을 위한 훈련 데이터 세트가 형성된다(S550). 형성된 훈련 데이터 세트는 도 4와 같은 이미지 변환 모델을 학습하는데 사용된다(S570).

학습이 진행되면, 생성기와 판별기는 각각의 목표를 달성하기 위해 모델 내 파라미터를 갱신한다(S570). 상기 판별기는 실수할 확률을 낮추기 위해 학습하고, 생성기는 임의의 노이즈로부터 출력한 데이터에 대해서 판별기가 실수할 확률을 높이기 위해 학습한다. 즉, 상기 생성기와 판별기는 minimax problem을 풀기 위해 학습된다. Minimax problem을 풀기위한 학습과정은 비특허문헌 1(Goodfellow, Ian J.; Pouget-Abadie, Jean; Mirza, Mehdi; Xu, Bing; Warde-Farley, David; Ozair, Sherjil; Courville, Aaron; Bengio, Yoshua (2014). "Generative Adversarial Networks") 등에 개시되어 있는 바, 본 명세서에서 자세한 설명은 생략한다.

이러한 학습 과정(S570)에서 판별기는 입력 값의 정답(즉, 훈련 데이터)로부터 피드백을 받고, 생성기는 판별기로부터 피드백을 받는다. 충분히 학습되어 학습 완료된 생성기는 입력 데이터와 최대한 가까운 데이터를 출력하도록 구성된다. 여기서, 가까운 데이터란 두 데이터가 따르는 확률 분포가 유사하다는 (예를 들어, 두 데이터의 확률 분포의 차이가 소정의 임계치 이하) 의미이다.

상기 이미지 변환 모델은 데이터 처리 장치(10)에 의해 생성된 모델일 수 있다. 또는, 상기 이미지 변환 모델은 시스템(1)의 외부 구성요소에 의해 생성된 모델일 수 있다. 이 경우, 상기 이미지 변환 모델은 데이터 처리 장치(10)에 원격 위치한 외부 컴퓨팅 장치에 의해 미리 생성된 이미지 변환 모델을 변환 동작 이전에 수신하여 저장하고 X-RAY 이미지를 생성하기 위해 사용할 수 있다. 이를 위해, 데이터 처리 장치(10)는 이미지 변환 모델을 저장하기 위한 저장 장치(미도시)를 더 포함할 수 있다. 상기 저장 장치는 휘발성 메모리(미도시), 비휘발성 메모리(미도시) 및 외장형 메모리(미도시) 중 적어도 하나를 포함하여 구성될 수 있다. 예를 들어, 휘발성 메모리는 읽기 전용 메모리(RAM) 또는 동기 동적 읽기 전용 메모리(synchronous DRAM, SDRAM), 2배속(DDR) SDRAM, 또는 램버스 DRAM(RDRAM) 등과 같은 동적 임의 접근 메모리 중 어느 하나일 수도 있고, 비휘발성 메모리는 읽기 전용 메모리(ROM), 플래시 메모리 중 어느 하나일 수도 있으며, 외장형 메모리는 MMC형, SD형, 및 CF형 메모리 카드 중 어느 하나일 수도 있다.

일 실시예에서, 데이터 처리 장치(10)는 전원 공급의 차단 등으로 인해 리셋이 수행되더라도 저장된 데이터가 소실되지 않는 비휘말성 메모리에 미리 학습된 모델을 다시 전원 공급이 시작된 이후에도 활용할 수 있도록 비휘말성 메모리에 미리 학습된 모델을 저장할 수 있다.

이와 같이 확습이 완료된 이미지 변환 모델은 입력 이미지를 X-RAY 이미지로 변환할 수 있다. 예를 들어, 이미지 변환 모델은 판독 대상의 이미지를 X선으로 투과 또는 반사한 이미지로 변환할 수 있다. 일부 실시 예에서, 이미지 변환 모델은 판독 대상이 아닌 객체를 배경으로 변환할 수 있다. 그러면, 이미지 변환 모델에 의해 출력된 X-RAY 이미지는 실제 배경(즉, 비 X-RAY 이미지의 배경) 및/또는 객체의 X-RAY 이미지를 X-RAY 도메인에서 배경으로 포함한다.

일 실시예에서, 데이터 처리 장치(100)는 이미지 변환 모델에 의해 출력된 이미지를 후처리하도록 더 구성될 수 있다. 예를 들어, 출력된 이미지가 더 실제와 유사하도록 실제 X-RAY 이미지의 노이즈 패턴을 추가할 수 있다.

X-RAY 판독 시스템(1)은 이러한 이미지 변환 동작을 통해, 종래에는 사용자가 수행하던, 판독 대상이 배치될 수 있는 판독 공간을 직접 촬영한 원본 X-RAY 이미지를 판독하는 업무를 지원할 수 있다.

데이터 처리 장치(100)는 이미지 변환 모델에 의해 생성된, 판독 대상의 가짜 X-RAY 이미지를 X-RAY 촬영기기(10)를 통해 획득된 원본 X-RAY 이미지와 비교하여 상기 원본 X-RAY 이미지에서 상기 판독 대상을 검출할 수 있다. 상기 원본 X-RAY 이미지는 판독 대상의 실제 X-RAY 이미지를 포함한다.

데이터 처리 장치(100)는 원본 X-RAY 이미지에 나타난 객체 중에서 화물목록에 포함된 화물에 해당하는 판독 대상이 있는지를 검출하는, 판독 동작을 자체적으로 수행할 수 있다.

또한, 데이터 처리 장치(100)는 이미지 변환 모델에 의해 생성된 판독 대상의 가짜 X-RAY 이미지를 이미 학습된 이미지 변환 모델을 재-학습하기 위한 피드백 학습 데이터로 생성할 수 있다.

일 실시예에서, 데이터 처리 장치(100)는 판독 대상의 가짜 X-RAY 이미지 및 배경의 X-RAY 이미지와 합성하여 피드백 학습 데이터를 생성할 수 있다. 일부 실시예에서, 상기 배경의 X-RAY 이미지는 상기 판독 대상의 비 X-RAY 이미지에 포함된 배경 또는 상기 판독 대상의 변환된 X-RAY 이미지에 포함된 배경일 수 있다.

상기 X-RAY 판독 시스템(1) 또는 일부 구성요소가 본 명세서에 서술되지 않은 다른 구성요소를 포함할 수도 있다는 것이 통상의 기술자에게 명백할 것이다. 예를 들어, 상기 X-RAY 판독 시스템(1)은 네트워크 인터페이스, 데이터 엔트리를 위한 입력 장치, 데이터를 저장하는 메모리, 및 디스플레이, 인쇄 또는 다른 데이터 표시를 위한 출력 장치를 포함하는, 본 명세서에 서술된 동작에 필요한 다른 하드웨어 요소를 포함할 수도 있다.

본 발명의 다른 일 측면에 따른 X-RAY 이미지 판독 지원 방법은 프로세서를 포함한 컴퓨팅 장치에 의해 수행된다. 상기 프로세서를 포함한 컴퓨팅 장치는, 예를 들어 X-RAY 판독 시스템(1) 또는 일부 구성요소(예컨대, 데이터 처리 장치(100))에 의해 수행되거나, 또는 다른 컴퓨팅 장치에 의해 수행될 수도 있다.

도 6은, 본 발명의 일 실시예에 따른, X-RAY 판독 방법의 흐름도이다.

도 6을 참조하면, 컴퓨팅 장치(예컨대, 데이터 처리 장치(100))에 의해 화물목록을 수신한다(S610). 상기 화물목록은 하나 이상의 객체의 명칭을 포함한다.

단계(S610)에서, 수신된 화물목록에 기초하여 판독 대상이 결정된다. 상기 판독 대상은 수신된 화물목록에 포함된 화물(즉, 객체 자체)일 수 있다. 또는 상기 화물목록에 포함된 객체(즉, 화물)에 연관된 카테고리(예컨대, 객체의 유형)이 판독 대상으로 결정될 수 있다. 예를 들어, 화물목록이 10개의 서로 다른 자동차를 포함한 경우, 판독 대상은 객체에 연관된 카테고리인 객체 유형으로서 자동차로 결정된다.

컴퓨터 장치(예컨대, 데이터 처리 장치(100))에 의해, 판독 대상의 비 X-RAY 이미지가 획득된다(S620).

일 실시예에서, 화물목록에서 판독 대상의 명칭을 추출하고, 추출된 판독 대상의 명칭에 기초하여 검색 쿼리를 생성하고; 검색 쿼리를 유/무선의 전기 통신을 통해 웹 서버에 전송하며; 그리고 상기 웹 서버가 검색 쿼리에 응답하여 검색한 이미지를 상기 판독 대상의 비 X-RAY 이미지로 수신한다(S620).

컴퓨팅 장치(예컨대, 데이터 처리 장치(100))에 의해 비 X-RAY 이미지를 하나 이상의 세그먼트로 분할하여 분할 정보를 산출한다(S630). 일 실시예에서, 검색을 통해 획득한 판독 대상의 비 X-RAY 이미지를 세그멘테이션 모델에 적용하여 분할 정보를 산출할 수 있다(S630). 상기 세그멘테이션 모델은 예를 들어, SegNet 등을 기반으로 구성되나, 이에 제한되진 않는다.

또한, 단계(S630)에서, 세그멘테이션 모델에 입력된, 판독 대상의 비 X-RAY 이미지에 세그먼트가 표시된 분할 처리 이미지가 생성될 수 있다.

도 7은, 본 발명의 일 실시예에 따른, 비 X-RAY 이미지를 분할 처리하여 획득된 분할 처리 이미지를 도시한 도면이다.

도 7을 참조하면, 판독 대상의 부분을 세그먼트로 분할하도록 구성된 세그멘테이션 모델이 사용될 수 있다(S630). 상기 세그멘테이션 모델에 판독 대상으로서 자동차의 비 X-RAY 이미지가 입력되는 경우, 도 7에 도시된 바와 같이, 본체는 제1 세그먼트, 바퀴는 제2 세그먼트, 및 창문은 제3 세그먼트로 분할되고, 각 세그먼트가 구분되도록 표시된 분할 처리 이미지가 생성될 수 있다.

컴퓨팅 장치(예컨대, 데이터 처리 장치(100))에 의해, 상기 판독 대상의 비 X-RAY 이미지를 상기 이미지 변환 모델에 적용하여 상기 판독 대상의 변환된 X-RAY 이미지를 생성한다(S640). 상기 이미지 변환 모델에는 상기 판독 대상의 비 X-RAY 이미지의 분할 정보가 더 적용되어 상기 판독 대상의 가짜 X-RAY 이미지를 생성할 수 있다(S640).

일 실시예에서, 상기 이미지 변환 모델에 적용될 상기 판독 대상의 비 X-RAY 이미지는 단계(S620)에서 검색된 판독 대상의 비 X-RAY 이미지가 분할 처리된 결과가 표시된 분할 처리 이미지일 수 있다.

상기 이미지 변환 모델은 이미지, 그리고 이미지 변환 대상인 판독 대상의 경계 정보 및/또는 위치 정보를 수신하여 입력된 이미지를 X-RAY 이미지로 변환하도록 구성된 생성기를 포함한다. 상기 이미지 변환 모델의 생성기는 복수의 훈련 샘플을 포함한 훈련 데이터 세트를 통해 학습된 것으로서, 각 훈련 샘플은 훈련 객체의 비 X-RAY 이미지, 및 X-RAY 이미지를 각각 포함한다. 또한, 일부 실시예에서, 각 훈련 샘플은 훈련 객체의 분할 정보를 각각 더 포함할 수도 있다. 이미지 변환 모델의 구조 및 학습 과정에 대해서는 도 4를 참조하여 위에서 서술하였는 바, 자세한 설명은 생략한다.

단계(S640)에서 판독 대상의 비 X-RAY 이미지가 변환되어 판독 대상의 가짜 X-RAY 이미지가 생성된다. 단계(S640)의 가짜 X-RAY 이미지는 상기 판독 대상을 방사선을 통해 실제로 촬영한 이미지가 아닌, X-RAY 이미지이다.

도 8은, 본 발명의 일 실시예에 따른, 세그먼트가 표시된 비 X-RAY 이미지를 X-RAY 이미지로 변환한 결과를 도시한 도면이다.

도 8을 참조하면, 도 7의 분할 처리 이미지 및 분할 정보가 이미지 변환 모델에 입력된 경우, 판독 대상인 자동차의 X-RAY 이미지가 가상으로 생성된다(S640).

단계(S640)에서 이미지 변환 모델에 의해 생성된 가짜X-RAY 이미지는 판독 대상을 실제로 X선을 통해 실제로 촬영한 진짜 X-RAY 이미지와 비교되는데 사용되어, 사용자가 판독 대상의 원본 X-RAY 이미지를 판독하는 것을 지원할 수 있다.

또한, 상기 방법은: 컴퓨팅 장치(예컨대, 데이터 처리 장치(100))에 의해

단계(S640)에서 생성된 판독 대상의 가짜 X-RAY 이미지를 판독 대상을 포함한 판독 공간을 촬영하여 획득된 원본 X-RAY 이미지와 비교하여 상기 원본 X-RAY 이미지에서 판독 대상을 검출하는 단계(S650)를 더 포함할 수 있다. 상기 원본 X-RAY 이미지는 판독 대상의 진짜 X-RAY 이미지를 포함한다.

전술한 바와 같이, 이미지 변환 모델에 의해 생성된 가짜 X-RAY 이미지는 상기 판독 대상의 진짜 X-RAY 이미지와 동일 또는 유사한 이미지이다. 그러면, 컴퓨팅 장치에 의해 자동으로 원본 X-RAY 이미지가 판독될 수 있다. 단계(S650)는 검출 결과를 판독 결과로 사용자에게 제공하는 단계를 포함할 수 있다.

단계(S650)에서 판독 대상의 적어도 일부가 나타난 원본 X-RAY 이미지는 외부의 X-RAY 촬영기기로부터 수신한 촬영 정보에 기초하여 생성된 X-RAY 이미지로서, 컴퓨팅 장치에 의해 생성되거나, 또는 외부 컴퓨터 장치에 의해 생성된 완성 이미지를 수신하여 획득할 수 있다.

또한, 상기 방법은: 컴퓨팅 장치(예컨대, 데이터 처리 장치(100))에 의해, 미리 학습되어 판독 대상의 가짜 X-RAY 이미지를 생성한 단계(S640)의 이미지 변환 모델을 재-학습하는데 사용될 피드백 학습 데이터를 생성할 수 있다. 상기 피드백 학습 데이터는 판독 대상의 가짜 X-RAY 이미지 및 배경의 X-RAY 이미지와 합성하여 피드백 학습 데이터를 생성할 수 있다. 예를 들어, 상기 피드백 학습 데이터는 단계(S640)에서 변환된, 판독 대상의 가짜 X-RAY 이미지와 배경의 X-RAY 이미지를 합성하여 생성될 수 있다.

일부 실시예에서, 상기 배경의 X-RAY 이미지는 상기 판독 대상의 비 X-RAY 이미지에 포함된 배경 또는 상기 판독 대상의 변환된 X-RAY 이미지에 포함된 배경일 수 있다. 예를 들어, 상기 배경 X-RAY 이미지는 단계(S620) 또는 단계(S640)의 배경의 X-RAY 이미지일 수 있다.

다른 일부 실시예에서, 상기 배경 X-RAY 이미지는 사용자 입력 또는 선택에 따라 피드백 학습 데이터의 배경으로 지정된 X-RAY 이미지일 수 있다.

이러한 X-RAY 이미지 판독 지원 방법 및 이를 수행하는 시스템(1)을 사용하면, 화물목록과 같은 텍스트 정보를 기반으로 생성된 판독을 위한 가상의 기준 이미지(즉, 이미지 변환 모델을 통해 생성된 판독 대상의 가짜 X-RAY 이미지)를 실제 촬영된 원본 X-RAY 이미지와 비교할 수 있어, 판독 작업이 이미지와 이미지를 비교하는 방식으로 진행된다. 그 결과, 텍스트(예컨대, 화물목록)와 이미지(원본 X-RAY 이미지)를 비교하는 종래의 판독 작업과 비교하여 사용자(예컨대, 세관원)에 대해서 상대적으로 높은 판독 편의성을 제공한다.

또한, 웹 검색을 통해 획득된 이미지를 이용하여 기준 이미지를 생성하므로, 다양한 화물목록에 대해서 활용될 수 있다. 따라서, 저장 이미지가 상대적으로 제한적인 내부 데이터베이스를 이용하는 경우와 비교하여 무제한 범위의 화물목록에 대해서 활용될 수 있어, 높은 활용 가능성을 가진다.

나아가, SegNet 기반의 이미지의 부분 정보(즉, 분할 정보) 및/또는 GAN 기반의 이미지 생성을 통해 일반적인 이미지 처리에 비해 보다 빠르게 가상의 기준 이미지를 생성할 수 있어 신속한 판독이 가능하며, 결국 세관에 실제로 사용되기에 적합한, 높은 사용 적합성을 가진다.

이상에서 설명한 실시예들에 따른 X-RAY 이미지 판독 지원 방법 및 이를 수행하는 시스템에 의한 동작은 적어도 부분적으로 컴퓨터 프로그램으로 구현되어, 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 예를 들어, 프로그램 코드를 포함하는 컴퓨터-판독가능 매체로 구성되는 프로그램 제품과 함께 구현되고, 이는 기술된 임의의 또는 모든 단계, 동작, 또는 과정을 수행하기 위한 프로세서에 의해 실행될 수 있다.

상기 컴퓨터는 데스크탑 컴퓨터, 랩탑 컴퓨터, 노트북, 스마트 폰, 또는 이와 유사한 것과 같은 컴퓨팅 장치일 수도 있고 통합될 수도 있는 임의의 장치일 수 있다. 컴퓨터는 하나 이상의 대체적이고 특별한 목적의 프로세서, 메모리, 저장공간, 및 네트워킹 구성요소(무선 또는 유선 중 어느 하나)를 가지는 장치다. 상기 컴퓨터는 예를 들어, 마이크로소프트의 윈도우와 호환되는 운영 체제, 애플 OS X 또는 iOS, 리눅스 배포판(Linux distribution), 또는 구글의 안드로이드 OS와 같은 운영체제(operating system)를 실행할 수 있다.

상기 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록신원확인 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장신원확인 장치 등을 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 또한, 본 실시예를 구현하기 위한 기능적인 프로그램, 코드 및 코드 세그먼트(segment)들은 본 실시예가 속하는 기술 분야의 통상의 기술자에 의해 용이하게 이해될 수 있을 것이다.

이상에서 살펴본 본 발명은 도면에 도시된 실시예들을 참고로 하여 설명하였으나 이는 예시적인 것에 불과하며 당해 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 실시예의 변형이 가능하다는 점을 이해할 것이다. 그러나, 이와 같은 변형은 본 발명의 기술적 보호범위 내에 있다고 보아야 한다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해서 정해져야 할 것이다.

본 발명의 일 측면에 따른 X-RAY 판독 시스템은 4차 산업 기술 중 하나인 기계학습 기술이 적용되어 비 X-RAY 이미지를 X-RAY로 변환하도록 구성된 이미지 변환 모델을 사용하여 인터넷 등을 통해 획득한 다양한 X-RAY 이미지를 X-RAY로 변환한 뒤, 원본 X-RAY 이미지를 판독할 수 있어, X-RAY 판독 기술이 사용되는 검사 관련 기술 분야에서 매우 높은 이용 가능성을 가진다.

Claims

프로세서를 포함한 컴퓨팅 장치에 의해 수행되는, 이미지 변환 모델을 사용한 X-RAY 이미지 판독 지원 방법에 있어서,
X-RAY가 투과 또는 반사되는 판독 공간에 배치된 판독 대상에 관한 정보를 수신하는 단계 - 상기 판독 대상에 관한 정보는 검출될 객체의 목록 정보임;
상기 판독 대상에 관한 정보에 기초하여 상기 객체의 비 X-RAY 이미지를 웹 서버로부터 획득하는 단계;
상기 객체의 비 X-RAY 이미지를 상기 이미지 변환 모델에 적용하여 상기 판독 대상의 가짜 X-RAY 이미지(fake X-RAY image)로 사용될 상기 객체의 가짜 X-RAY 이미지를 생성하는 단계; 및
상기 판독 대상이 상기 객체의 목록에 포함된 객체인지 판독하기 위해, 상기 판독 대상의 원본 X-RAY 이미지와 상기 이미지 변환 모델에 의해 생성된 상기 객체의 가짜 X-RAY 이미지를 비교하여 상기 원본 X-RAY 이미지에서 상기 판독 대상에 해당한 객체를 검출하는 단계를 포함하는 X-RAY 이미지 판독 지원 방법.
제1항에 있어서, 상기 판독 대상의 비 X-RAY 이미지를 획득하는 단계는,
상기 판독 대상에 관한 정보에서 상기 객체의 명칭을 추출하는 단계;
상기 객체의 명칭에 기초하여 검색 쿼리를 생성하는 단계; 및
상기 검색 쿼리를 상기 웹 서버에 전송하고, 상기 웹 서버가 수신한 검색 쿼리에 응답하여 검색한 이미지를 상기 객체의 비 X-RAY 이미지로 수신하는 단계를 포함하는 X-RAY 이미지 판독 지원 방법.
제2항에 있어서, 상기 웹 서버는,
월드 와이드 웹을 통해 액세스 가능하며, 웹 검색 가능하도록 구성된 서버인 것을 특징으로 하는 X-RAY 이미지 판독 지원 방법.
제1항에 있어서,
상기 객체의 비 X-RAY 이미지를 이미지 변환 모델에 적용하기 이전에, 상기 객체의 비 X-RAY 이미지를 하나 이상의 세그먼트로 분할하여 분할 정보를 산출하는 단계를 더 포함하며,
상기 세그먼트는 상기 비 X-RAY 이미지 내 객체 또는 객체의 부분을 포함하며, 상기 분할 정보는 이미지 내 세그먼트의 경계 및 위치 정보 중 하나 이상을 포함하는 것을 특징으로 하는 X-RAY 이미지 판독 지원 방법.
제4항에 있어서, 상기 분할 정보를 산출하는 단계는,
상기 판독 대상의 비 X-RAY 이미지를 세그멘테이션 모델에 적용하는 단계를 포함하며,
상기 세그멘테이션 모델은 입력되는 이미지의 픽셀을 미리 학습된 클래스로 레이블링하도록 구성된 것을 특징으로 하는 X-RAY 이미지 판독 지원 방법.
제4항에 있어서, 상기 판독 대상의 가짜 X-RAY 이미지를 생성하는 단계는,
상기 객체의 비 X-RAY 이미지에 대한 분할 정보를 상기 이미지 변환 모델에 더 적용하는 것을 특징으로 하는 X-RAY 이미지 판독 지원 방법.
제1항에 있어서, 상기 이미지 변환 모델은,
입력 이미지를 X-RAY 이미지로 변환하는 생성기를 포함하며,
상기 생성기는, 데이터를 입력 받은 경우 학습에 사용된 훈련 샘플의 데이터 분포와 복원 오차가 최소가 되거나 상기 데이터 분포에 속하게 되는 출력 데이터를 생성하도록 학습된 것을 특징으로 하는 X-RAY 이미지 판독 지원 방법.
제7항에 있어서,
상기 이미지 변환 모델은 복수의 훈련 샘플을 포함한 훈련 데이터 세트를 통해 학습된 모델로서, 각 훈련 샘플은 훈련 객체의 비 X-RAY이미지와 분할 이미지, 그리고 X-RAY이미지와 분할 이미지를 각각 포함하는 것을 특징으로 하는 X-RAY 이미지 판독 지원 방법.
제8항에 있어서,
상기 각 훈련 샘플은 훈련 객체의 비 X-RAY 이미지를 분할하여 획득된 분할 정보를 각각 더 포함하며,
상기 분할 정보는 훈련 객체의 비 X-RAY 이미지에 포함된 세그먼트의 위치 정보 및 경계 정보 중 하나 이상을 포함하는 것을 특징으로 하는 X-RAY 이미지 판독 지원 방법.
제1항에 있어서, 상기 비 X-RAY 이미지는
가시광선을 통해 획득된 이미지인 것을 특징으로 하는 X-RAY 이미지 판독 지원 방법.
삭제
제1항에 있어서, 상기 원본 X-RAY 이미지는,
X선을 상기 판독 공간에 방출하여 검출된 촬영 정보에 기초하여 생성된 것을 특징으로 하는 X-RAY 이미지 판독 지원 방법.
제1항에 있어서,
학습된 이미지 변환 모델을 재-학습하기 위해, 상기 판독 대상의 가짜 X-RAY 이미지를 배경의 X-RAY 이미지와 합성하여 피드백 학습 데이터를 생성하는 단계를 더 포함하는 X-RAY 이미지 판독 지원 방법.
컴퓨팅 장치에 의해 판독가능하고, 상기 컴퓨팅 장치에 의해 동작 가능한 프로그램 명령어를 저장하는 컴퓨터 판독가능 기록매체로서, 상기 프로그램 명령어가 상기 컴퓨팅 장치의 프로세서에 의해 실행되는 경우 상기 프로세서가 제1항 내지 제10항, 제12항, 제13항 중 어느 하나의 항에 따른 X-RAY 이미지 판독 지원 방법을 수행하게 하는 컴퓨터 판독가능 기록매체.
하나 이상의 객체가 배치된 판독 공간의 원본 X-RAY 이미지를 생성하기 위해 상기 판독 공간에 X선을 방출하는 X-RAY 촬영기기; 및
상기 X선이 판독 공간을 투과 또는 반사하여 획득된 촬영 정보를 수신하여 상기 판독 공간의 원본 X-RAY 이미지를 생성하고; 상기 판독 공간에 배치된 판독 대상에 관한 정보를 수신하며 - 상기 판독 대상에 관한 정보는 검출될 객체의 목록 정보임; 상기 판독 대상에 관한 정보에 기초하여 상기 객체의 비 X-RAY 이미지를 웹 서버로부터 획득하고; 상기 객체의 비 X-RAY 이미지를 이미지 변환 모델에 적용하여 상기 판독 대상의 가짜 X-RAY 이미지로 사용될 상기 객체의 가짜 X-RAY 이미지를 생성하며, 그리고 상기 판독 대상이 상기 객체의 목록에 포함된 객체인지 판독하기 위해, 상기 판독 대상의 원본 X-RAY 이미지와 상기 이미지 변환 모델에 의해 생성된 상기 객체의 가짜 X-RAY 이미지를 비교하여 상기 원본 X-RAY 이미지에서 상기 판독 대상에 해당한 객체를 검출하도록 구성된 데이터 처리 장치를 포함하는 시스템.
제15항에 있어서, 상기 데이터 처리 장치는 네트워크를 통해 상기 웹 서버에 엑세스 가능하며,
상기 판독 대상에 관한 정보의 목록에 기초하여 검색 쿼리를 생성하고, 상기 검색 쿼리를 상기 웹 서버에 전송하며, 상기 웹 서버가 수신한 검색 쿼리에 응답하여 검색한 이미지를 상기 객체의 비 X-RAY 이미지로 수신하도록 더 구성되는 것을 특징으로 하는 시스템.
제15항에 있어서, 상기 이미지 변환 모델은,
입력 이미지를 X-RAY 이미지로 변환하는 생성기를 포함하며,
상기 생성기는, 데이터를 입력 받은 경우 학습에 사용된 훈련 샘플의 데이터 분포와 복원 오차가 최소가 되거나 상기 데이터 분포에 속하게 되는 출력 데이터를 생성하도록 학습된 것을 특징으로 하는 시스템.
제15항에 있어서, 상기 데이터 처리 장치는,
상기 객체의 비 X-RAY 이미지를 이미지 변환 모델에 적용하기 이전에, 상기 객체의 비 X-RAY 이미지를 하나 이상의 세그먼트로 분할하여 분할 정보를 산출하도록 더 구성되며,
상기 세그먼트는 상기 비X-RAY 이미지 내 객체 또는 객체의 부분을 포함하며, 상기 분할 정보는 이미지 내 세그먼트의 경계 및 위치 정보 중 하나 이상을 포함하는 것을 특징으로 하는 시스템.
삭제