KR20160011535A - 영상 처리 장치 및 방법 - Google Patents

영상 처리 장치 및 방법 Download PDF

Info

Publication number
KR20160011535A
KR20160011535A KR1020140092812A KR20140092812A KR20160011535A KR 20160011535 A KR20160011535 A KR 20160011535A KR 1020140092812 A KR1020140092812 A KR 1020140092812A KR 20140092812 A KR20140092812 A KR 20140092812A KR 20160011535 A KR20160011535 A KR 20160011535A
Authority
KR
South Korea
Prior art keywords
feature value
frame image
region
color
image
Prior art date
Application number
KR1020140092812A
Other languages
English (en)
Inventor
강효아
전주혁
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140092812A priority Critical patent/KR20160011535A/ko
Priority to US14/803,415 priority patent/US9947095B2/en
Publication of KR20160011535A publication Critical patent/KR20160011535A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20101—Interactive definition of point of interest, landmark or seed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

영상 처리 장치 및 방법이 개시된다. 일 양상에 따른 영상 처리 장치는, 프레임 영상의 특징값을 산출하는 영상 분석부와, 프레임 영상의 특징값을 이전 프레임 영상의 특징값과 비교하여 프레임 영상에서 특징값 변화 영역 및 특징값 변화 정도를 판단하는 특징값 비교부와, 특징값 변화 영역을 특징값 변화 정도에 따라 컬러 코딩(color coding)하고 컬러 코딩된 프레임 영상을 표시하는 표시부를 포함할 수 있다.

Description

영상 처리 장치 및 방법{Apparatus and Method for image processing}
의료 영상 처리 기술에 관한 것으로, 특히, 영상 처리 장치 및 방법과 관련된다.
현재 병원에서 널리 사용되고 있는 초음파 진단 장치의 디스플레이 방식은 촬영된 영상을 단순히 디스플레이하는 수준에 그치고 있다. 따라서, 사용자는 연속하여 출력되는 초음파 영상을 직접 눈으로 보고 판단하여 질병을 감별/진단하기 때문에 대용량의 데이터를 직접 처리하여야 한다. 결과적으로, 사용자의 숙련도와 피로도는 진단 결과에 큰 영향을 미친다.
한편, 초음파 영상을 이용한 진단 시 사용자는 이전 프레임 영상에 대한 기억을 기반으로 이전 프레임 영상과 현재 프레임 영상의 차이를 인지하여 관심 영역을 분석한다. 따라서, 사용자가 이전 프레임 영상과 현재 프레임 영상의 차이를 쉽고 정확하게 인지할 수 있는 방법이 필요하다.
영상 처리 장치 및 방법을 제공하는 것을 목적으로 한다.
일 양상에 따른 영상 처리 장치는, 프레임 영상의 특징값을 산출하는 영상 분석부와, 프레임 영상의 특징값을 이전 프레임 영상의 특징값과 비교하여 프레임 영상에서 특징값 변화 영역 및 특징값 변화 정도를 판단하는 특징값 비교부와, 특징값 변화 영역을 특징값 변화 정도에 따라 컬러 코딩(color coding)하고 컬러 코딩된 프레임 영상을 표시하는 표시부를 포함할 수 있다.
여기서, 영상 분석부는, 이전 프레임 영상의 관심 영역을 추적하여 프레임 영상의 관심 영역을 설정할 수 있다.
여기서, 영상 분석부는, 설정된 관심 영역에는 제1 특징값 산출 기법을 이용하고 나머지 영역에는 제2 특징값 산출 기법을 이용하여 프레임 영상의 특징값을 산출할 수 있다.
이때, 제1 특징값 산출 기법은 상대적으로 복잡한 연산을 포함하고, 제2 특징값 산출 기법은 상대적으로 간단한 연산을 포함할 수 있다.
여기서, 표시부는, 특정 기호, 특정 선, 및 특정 색 중 적어도 하나를 이용하여 프레임 영상의 관심 영역을 표시할 수 있다.
여기서, 표시부는, 특징값 변화 정도가 미리 설정된 임계값 이상인 특징값 변화 영역을 컬러 코딩할 수 있다.
여기서, 표시부는, 프레임 영상 및 이전 프레임 영상 간의 프레임 거리에 따라 색, 색의 농도 또는 투명도를 달리하여 특징값 변화 영역을 컬러 코딩할 수 있다.
추가적 양상에 따르면, 영상 처리 장치는, 특징값 변화 정도가 미리 설정된 임계값 이상인 경우, 프레임 영상 및 컬러 코딩된 프레임 영상을 저장하는 저장부를 더 포함할 수 있다.
또한, 추가적 양상에 따르면, 영상 처리 장치는, 특징값 변화 영역 중 특징값 변화 정도가 설정된 임계값 이상인 영역을 관심 영역으로 설정하는 관심 영역 설정부를 더 포함할 수 있다.
일 양상에 따른 영상 처리 방법은, 프레임 영상의 특징값을 산출하는 단계와, 프레임 영상의 특징값을 이전 프레임 영상의 특징값과 비교하여 프레임 영상에서 특징값 변화 영역 및 특징값 변화 정도를 판단하는 단계와, 특징값 변화 영역을 특징값 변화 정도에 따라 컬러 코딩(color coding)하는 단계와, 컬러 코딩된 프레임 영상을 표시하는 단계를 포함할 수 있다.
추가적 양상에 따르면, 영상 처리 방법은, 산출하는 단계 이전에, 이전 프레임 영상의 관심 영역을 추적하여 프레임 영상의 관심 영역을 설정하는 단계를 더 포함할 수 있다.
여기서, 산출하는 단계는, 설정된 관심 영역에는 제1 특징값 산출 기법을 이용하고 나머지 영역에는 제2 특징값 산출 기법을 이용하여 프레임 영상의 특징값을 산출할 수 있다.
이때, 제1 특징값 산출 기법은 상대적으로 복잡한 연산을 포함하고, 제2 특징값 산출 기법은 상대적으로 간단한 연산을 포함할 수 있다.
여기서, 표시하는 단계는, 특정 기호, 특정 선, 및 특정 색 중 적어도 하나를 이용하여 프레임 영상의 관심 영역을 표시할 수 있다.
여기서, 컬러 코딩하는 단계는, 특징값 변화 정도가 미리 설정된 임계값 이상인 특징값 변화 영역을 컬러 코딩할 수 있다.
여기서, 컬러 코딩하는 단계는, 프레임 영상 및 이전 프레임 영상 간의 프레임 거리에 따라 색, 색의 농도 또는 투명도를 달리하여 특징값 변화 영역을 컬러 코딩할 수 있다.
추가적 양상에 따르면, 영상 처리 방법은, 특징값 변화 정도가 미리 설정된 임계값 이상인 경우, 프레임 영상 및 컬러 코딩된 프레임 영상을 저장하는 단계를 더 포함할 수 있다.
또한 추가적 양상에 따르면, 영상 처리 방법은, 특징값 변화 영역 중 상기 특징값 변화 정도가 설정된 임계값 이상인 영역을 관심 영역으로 설정하는 단계를 더 포함할 수 있다.
앵커 포인트 또는 관심 영역에서는 복잡한 연산을 수행하고 나머지 영역에서는 비교적 간단한 연산을 수행함으로써, 영상 분석 시간을 줄여 실시간으로 관심 영역을 검출 및 표시할 수 있다.
또한, 특징 변화 영역을 컬러 코딩하여 표시함으로써, 사용자가 관심 영역을 놓치는 것을 방지할 수 있다.
도 1은 영상 처리 장치의 일 실시예를 도시한 블록도이다.
도 2는 영상 처리 장치의 다른 실시예를 도시한 블록도이다.
도 3a 내지 도 3c는 프레임 영상을 컬러 코딩하는 방법을 설명하기 위한 예시도이다.
도 4a 및 도 4b는 컬러 코딩된 프레임 영상을 표시한 화면의 예시도이다.
도 5는 영상 처리 방법의 일 실시예를 도시한 흐름도이다.
이하, 첨부된 도면을 참조하여 본 발명의 일 실시예를 상세하게 설명한다. 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로, 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 영상 처리 장치의 일 실시예를 도시한 블록도이다.
도 1을 참조하면, 일 실시예에 따른 영상 처리 장치(100)는 앵커 포인트 설정부(110), 영상 분석부(120), 특징값 비교부(130) 및 표시부(140)를 포함할 수 있다.
앵커 포인트 설정부(110)는 사용자의 입력 또는 영상 분석부(120)의 영상 분석 결과에 따라 기준 영상에 앵커 포인트(anchor point)를 설정할 수 있다.
여기서, 앵커 포인트는 후술하는 제1 특징값 산출 기법을 이용하여 영상 분석을 시작하는 지점을 의미한다.
예를 들면, 앵커 포인트 설정부(110)는 기준 영상에서 사용자가 선택한 지점을 앵커 포인트로 설정할 수 있다. 사용자가 앵커 포인트를 설정함으로써 제1 특징값 산출 기법을 이용한 영상 분석의 시작 지점을 임의적으로 설정하는 것이 가능하다.
다른 예를 들면, 앵커 포인트 설정부(110)는 영상 분석부(120)에서 기준 영상을 분석하여 추출한 병변 영역의 중심을 앵커 포인트로 설정할 수 있다.
영상 분석부(120)는 기준 영상 및 프레임 영상을 분석할 수 있다. 이를 위해 영상 분석부(120)는 기준 영상 분석부(121) 및 프레임 영상 분석부(122)를 포함할 수 있다.
기준 영상 분석부(121)는 기준 영상에 관심 영역을 설정할 수 있다.
예를 들면, 기준 영상 분석부(121)는 자동 병변 검출 알고리즘(예컨대, AdaBoost, DPM(deformable Part Models), DNN(Deep Neural Network), CNN(Convolutional Neural Network) 및 Sparse Coding 등)을 이용하여 기준 영상에서 병변을 검출하고 검출된 병변을 포함하는 영역을 관심 영역으로 설정할 수 있다.
다른 예를 들면, 앵커 포인트 설정부(110)가 사용자의 입력에 따라 기준 영상에 앵커 포인트를 설정한 경우, 기준 영상 분석부(121)는 기준 영상에 설정된 앵커 포인트를 기준으로 관심 영역을 설정할 수 있다. 즉, 기준 영상 분석부(121)는 설정된 앵커 포인트를 기준으로 일정 반경 또는 일정 범위 내의 영역을 관심 영역으로 설정할 수 있다.
기준 영상 분석부(121)는 제1 특징값 산출 기법을 이용하여 기준 영상의 특징값을 산출할 수 있다. 이때, 특징은 종양의 유무, 종양의 위치, 영상 내 강도(intensity)의 분포, 조직 분포, 이상 조직 영역, 질감(texture), 정상인의 조직 분포와의 차이 등을 포함할 수 있다.
제1 특징값 산출 기법은 후술하는 제2 특징값 산출 기법에 비하여 상대적으로 복잡한 연산을 포함할 수 있다. 예컨대, 제1 특징값 산출 기법은 영상 세그먼테이션(segmentation), 및 영상으로부터 FFT(Fast Fourier Transforms), HOG(Histogram Of Gradient), raw value, deep learning 등을 통하여 추출한 값을 입력으로 하는 데이터 마이닝(data mining), 규칙 마이닝(rule mining) 및 회귀분석(regression analysis) 등을 포함할 수 있다. 그러나, 이에 한정되는 것은 아니며, 제1 특징값 산출 기법은 후술하는 제2 특징값 산출 기법에 비하여 상대적으로 복잡한 연산을 통하여 특징값을 산출하는 다양한 기법들을 포함할 수 있다.
프레임 영상 분석부(122)는 기준 영상 분석이 완료된 후에 입력된 실시간 프레임 영상에 대하여, 객체 추적 알고리즘을 이용하여 기준 영상에 설정된 관심 영역 또는 이전 프레임 영상에 설정된 관심 영역을 추적하여, 프레임 영상의 관심 영역을 설정할 수 있다.
프레임 영상 분석부(122)는 제1 특징값 산출 기법 및 제2 특징값 산출 기법을 이용하여 프레임 영상의 특징값을 산출할 수 있다. 여기서, 제2 특징값 산출 기법은 제1 특징값 산출 기법에 비하여 상대적으로 간단한 연산을 포함할 수 있다. 예컨대, 제2 특징값 산출 기법은 FFT(Fast Fourier Transforms), HOG(Histogram Of Gradient), 강도(intensity)의 차이(difference) 등을 포함할 수 있다. 그러나, 이에 한정되는 것은 아니며, 제2 특징값 산출 기법은 제1 특징값 산출 기법에 비하여 상대적으로 간단한 연산을 통하여 특징값을 산출하는 다양한 기법들을 포함할 수 있다.
일 실시예에 따르면, 프레임 영상 분석부(122)는 프레임 영상의 관심 영역에는 제1 특징값 산출 기법을 이용하고, 프레임 영상의 나머지 영역에는 제2 특징값 산출 기법을 이용하여 프레임 영상의 특징값을 산출할 수 있다.
특징값 비교부(130)는 프레임 영상의 특징값을 기준 영상의 특징값과 비교할 수 있다. 또한, 특징값 비교부(130)는 프레임 영상의 특징값을 이전 프레임 영상의 특징값과 비교할 수 있다. 즉, 프레임 영상의 비교 대상은 기준 영상 또는 이전 프레임 영상(예컨대, 프레임 영상이 n번째 프레임 영상인 경우, n-1번째 프레임 영상, n-2번째 프레임 영상 및 n-3번째 프레임 영상 등)일 수 있다.
특징값 비교부(130)는 비교 결과를 기반으로 프레임 영상의 특징값 변화 영역을 추출하고 해당 영역의 특징값 변화 정도를 판단할 수 있다.
일 실시예에 따르면, 특징값 비교부(130)는 특징값 변화 영역을 추출할 때, 특징값 변화 정도가 미리 설정된 임계값 이상인 영역만을 추출할 수 있다.
다른 실시예에 따르면, 특징값 비교부(130)는 특징값 변화 영역을 추출할 때, 특징값 변화 정도를 다수의 레벨로 구분하여, 레벨별 특징값 변화 영역을 추출할 수 있다. 이때, 레벨은 시스템의 용도에 따라 다양하게 변경될 수 있다.
표시부(140)는 추출된 특징값 변화 영역을 특징값 변화 정도에 따라 컬러 코딩(color coding)하고 컬러 코딩된 프레임 영상을 표시할 수 있다.
예를 들면, 표시부(140)는 프레임 영상을 컬러 코딩할 때, 프레임 영상의 각 특징값 변화 영역에 대하여 해당 영역의 특징값 변화 정도에 따라 색, 색의 농도 또는 투명도 등을 다르게 표시할 수 있다.
다른 예를 들면, 표시부(140)는 프레임 영상을 컬러 코딩할 때, 프레임 영상과 비교 대상이 되는 이전 프레임과의 프레임 거리에 따라 색, 색의 농도 또는 투명도를 조절하여 특징값 변화 영역을 표시할 수 있다.
표시부(140)는 컬러 코딩된 프레임 영상을 표시할 때, 프레임 영상에 설정된 관심 영역을 다른 영역과 구분하기 위하여, 관심 영역을 특정 기호, 특정 선, 특정 색 등을 이용하여 표시할 수 있다.
이에 관한 자세한 설명은 도3a 내지 도 3c를 참조하여 후술하기로 한다.
한편, 일 실시예에 따르면, 영상 처리 장치(100)는 기준 영상의 분석이 완료되면, 이를 음향, 영상, 진동 등을 통하여 기준 영상의 분석이 완료되었음을 사용자에게 알려줄 수 있다.
도 2는 영상 처리 장치의 다른 실시예를 도시한 블록도이다.
도 2를 참조하면, 영상 처리 장치(200)는 도 1의 영상 처리 장치(100)에서 저장부(250) 및 관심 영역 설정부(260)를 더 포함할 수 있다.
저장부(250)는 특징값 변화 정도가 미리 설정된 임계값 이상인 경우, 프레임 영상 및 컬러 코딩된 프레임 영상을 저장할 수 있다.
저장부(250)는 플래시 메모리 타입(flash memory type), 하드 디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예컨대, SD 또는 XD 메모리 등), 램(Random Access Memory: RAM), SRAM(Static Random Access Memory), 롬(Read Only Memory: ROM), EEPROM(Electrically Erasable Programmable Read Only Momory), PROM(Programmable Read Only Memory), 자기 메모리, 자기 디스크, 광디스크 등을 포함할 수 있다.
관심 영역 설정부(260)는 특징값 변화 정도가 미리 설정된 임계값 이상인 영역을 프레임 영상의 관심 영역으로 설정할 수 있다. 예를 들면, 관심 영역 설정부(260)는 영상 분석부(120)에서 설정된 프레임 영상의 관심 영역 이외의 영역 중 특징값 변화 정도가 미리 설정된 임계값 이상인 영역을 프레임 영상의 관심 영역으로 추가 설정할 수 있다.
도 3a 내지 도 3c는 프레임 영상을 컬러 코딩하는 방법을 설명하기 위한 예시도이다. 자세하게는, 도 3a는 기준 영상의 예시도이고, 도 3b는 컬러 코딩된 1번째 프레임 영상의 예시도이고, 도 3c는 컬러 코딩된 2번째 프레임 영상의 예시도이다.
도 3a 내지 도 3c를 설명함에 있어, 강도(intensity)를 대표 특징값으로 이용하였다고 가정한다.
도 3a를 참조하면, 영상 처리 장치(100, 200)는 기준 영상(310)을 분석하여 병변을 검출하고, 검출된 병변을 포함하는 영역을 관심 영역으로 설정한다. 이때, 관심 영역의 중심에는 십자 마크(311)가 표시된다. 그러나, 십자 마크(311)는 관심 영역을 표시하기 위한 방법의 예일 뿐, 이에 한정되는 것은 아니며, 다양한 방법으로 관심 영역을 표시하는 것이 가능하다.
이와 달리, 영상 처리 장치(100, 200)는 사용자가 설정한 앵커 포인트를 중심으로 관심 영역을 설정할 수도 있다.
도 3b를 참조하면, 영상 처리 장치(100, 200)는 기준 영상(310)의 관심 영역을 추적하여 1번째 프레임 영상(320)의 관심 영역을 설정한다. 이때, 1번째 프레임 영상(320)의 관심 영역 중심에는 십자 마크(321)가 표시된다.
영상 처리 장치(100, 200)는 기준 영상(310)의 강도와 1번째 프레임 영상(320)의 강도를 비교하여, 강도 변화 정도 및 강도 변화 영역을 판단하고, 강도 변화 정도에 따라 강도 변화 영역의 색을 달리하여 표시한다. 도 3b의 예에서, 붉은 색 영역(322)는 기준 영상(310)에 비하여 강도가 의미 있게 감소한 영역을 나타내고, 파란색 영역(323)은 기준 영상(310)에 비하여 강도가 의미 있게 증가한 영역을 나타낸다.
도 3c를 참조하면, 영상 처리 장치(100, 200)는 기준 영상(310) 또는 1번째 프레임 영상(320)의 관심 영역을 추적하여 2번째 프레임 영상(330)의 관심 영역을 설정한다. 이때, 2번째 프레임 영상(330)의 관심 영역 중심에는 십자 마크(331)가 표시된다.
영상 처리 장치(100, 200)는 1번째 프레임 영상(320)의 강도와 2번째 프레임 영상(330)의 강도를 비교하여, 강도 변화 정도 및 강도 변화 영역을 판단하고, 강도 변화 정도에 따라 강도 변화 영역의 색을 달리하여 표시한다. 또한, 영상 처리 장치(100, 200)는 기준 영상(310)의 강도와 2번째 프레임 영상(330)의 강도를 비교하여, 강도 변화 정도 및 강도 변화 영역을 판단하고, 강도 변화 정도에 따라 강도 변화 영역의 색을 달리하여 표시한다. 이때, 1번째 프레임 영상(320)과의 비교 결과와 기준 영상(310)과의 비교 결과는 서로 구별되도록 표시한다.
도 3c의 예에서, 붉은 색이 진한 영역(334)은 바로 이전 영상인 1번째 프레임 영상(320)과 비교한 결과 강도가 의미 있게 감소한 영역을 나타내고, 붉은 색이 옅은 영역(332)은 기준 영상(310)과 비교한 결과 강도가 의미 있게 감소한 영역을 나타낸다. 파란색 영역(333)은 바로 이전 영상인 1번째 프레임 영상(320)에 비하여 강도가 의미 있게 증가한 영역을 나타낸다.
도 3c에 도시된 바와 같이 프레임 간격에 따른 컬러 코딩을 통하여, 사용자는 관심 영역 또는 종양의 모양(shape)을 유추할 수 있다.
도 4a 및 도 4b는 컬러 코딩된 프레임 영상을 표시한 화면의 예시도이다. 자세하게는 도 4a는 컬러 코딩된 프레임 영상을 원본 프레임 영상과 함께 표시한 화면의 예시도이고, 도 4b는 컬러 코딩된 프레임 영상만을 표시한 화면의 예시도이다.
도 4a를 참조하면, 컬러 코딩된 프레임 영상을 표시할 때, 하나의 화면을 두개의 영역으로 구분하여, 한 영역에는 실시간 영상인 현재의 프레임 영상(410a)을, 나머지 영역에는 컬러 코딩된 프레임 영상(420a)를 표시할 수 있다.
한편, 도 4a는 두개의 영상(410a, 420a)가 동일한 크기로 표시된 예를 도시하나, 두개의 영상(410a, 420a)는 서로 다른 크기로 표시될 수도 있다.
도 4b를 참조하면, 컬러 코딩된 프레임 영상을 표시할 때, 영상 처리 장치(100, 200)는 사용자의 선택에 따라 현재의 프레임 영상(410a)은 표시하지 않고, 단순히 컬러 코딩된 프레임 영상(420b)만을 표시할 수 있다.
도 5는 영상 처리 방법의 일 실시예를 도시한 흐름도이다.
도 5를 참조하면, 영상 처리 방법은 먼저, 사용자의 입력에 따라 기준 영상에 앵커 포인트를 설정한다(510).
그 후, 기준 영상을 분석한다(520).
예컨대, 영상 처리 장치(100)는 기준 영상을 분석하여 관심 영역을 설정하고, 특징값을 산출할 수 있다. 이때, 영상 처리 장치(100)는 설정된 앵커 포인트를 기준으로 일정 반경 또는 일정 범위 내의 영역을 관심 영역으로 설정될 수 있다.
또한, 영상 처리 장치(100)는 제1 특징값 산출 기법을 이용하여 기준 영상의 특징값을 산출할 수 있다. 이때, 특징은 종양의 유무, 종양의 위치, 영상 내 강도(intensity)의 분포, 조직 분포, 이상 조직 영역, 질감(texture), 정상인의 조직 분포와의 차이 등을 포함할 수 있다.
제1 특징값 산출 기법은 제2 특징값 산출 기법에 비하여 상대적으로 복잡한 연산을 포함할 수 있다. 예컨대, 제1 특징값 산출 기법은 영상 세그먼테이션(segmentation), 및 영상으로부터 FFT(Fast Fourier Transforms), HOG(Histogram Of Gradient), raw value, deep learning 등을 통하여 추출한 값을 입력으로 하는 데이터 마이닝(data mining), 규칙 마이닝(rule mining) 및 회귀분석(regression analysis) 등을 포함할 수 있다.
한편, 단계 510은 사용자의 입력에 따라 앵커 포인트를 설정하는 것으로 설명하였으나, 단계 520에서 기준 영상을 분석하여 추출된 병변 영역의 중심을 앵커 포인트로 설정하는 하는 것도 가능하다.
그 후, 기준 영상의 분석이 완료되면, 분석 완료 신호를 생성하여 음향, 진동, 또는 영상 등을 통하여 기준 영상의 분석이 완료되었음을 사용자에게 알려준다(530).
그 후, 실시간 프레임 영상을 입력받아, 입력받은 프레임 영상을 분석한다(540). 예컨대, 영상 처리 장치(100)는 객체 추적 알고리즘을 이용하여 기준 영상 또는 이전 프레임 영상에 설정된 관심 영역을 추적하여, 프레임 영상의 관심 영역을 설정할 수 있다. 또한, 영상 처리 장치(100)는 제1 특징값 산출 기법 및 제2 특징값 산출 기법을 이용하여 프레임 영상의 특징값을 산출할 수 있다. 여기서, 제2 특징값 산출 기법은 제1 특징값 산출 기법에 비하여 상대적으로 간단한 연산을 포함할 수 있다. 예컨대, 제2 특징값 산출 기법은 FFT(Fast Fourier Transforms), HOG(Histogram Of Gradient), 강도(intensity)의 차이(difference) 등을 포함할 수 있다.
일 실시예에 따르면, 영상 처리 장치(100)는 프레임 영상의 관심 영역에는 제1 특징값 산출 기법을 이용하고, 프레임 영상의 나머지 영역에는 제2 특징값 산출 기법을 이용하여 프레임 영상의 특징값을 산출할 수 있다.
그 후, 프레임 영상의 특징값을 기준 영상의 특징값 및/또는 이전 프레임 영상의 특징값과 비교하여 특징값 변화 영역 및 특징값 변화 정도를 판단한다(550).
그 후, 프레임 영상의 특징값 변화 영역을 해당 영역의 특징값 변화 정도에 따라 컬러 코딩한다(560). 예를 들면, 영상 처리 장치(100)는 프레임 영상의 각 특징값 변화 영역에 대하여 해당 영역의 특징값 변화 정도에 따라 색, 색의 농도 또는 투명도 등을 달리하여 컬러 코딩할 수 있다. 다른 예를 들면, 영상 처리 장치(100)는 프레임 영상과 비교 대상이 되는 이전 프레임 영상 또는 기준 영상과의 프레임 거리에 따라 색, 색의 농도 또는 투명도 등을 달리하여 특징값 변화 영역을 컬러 코딩할 수 있다.
일 실시예에 따르면, 단계 560에서, 특징값 변화 정도가 미리 설정된 임계값 이상인 특징값 변화 영역만을 컬러 코딩할 수 있다.
그 후, 컬러 코딩된 프레임 영상을 표시한다(570). 이때, 컬러 코딩된 프레임 영상을 원본 프레임 영상과 함께 표시하는 것도 가능하며, 컬러 코딩된 프레임 영상만을 표시하는 것도 가능하다.
한편, 추가적 실시예에 따르면, 영상 처리 방법은 특징값 변화 정도가 미리 설정된 임계값 이상인 특징값 변화 영역을 프레임 영상의 관심 영역으로 설정하는 단계(555)를 더 포함할 수 있다.
또한, 추가적 실시예에 따르면, 영상 처리 방법은 특징값 변화 정도가 미리 설정된 임계값 이상인 경우, 컬러 코딩된 프레임 영상 및 원본 프레임 영상을 저장하는 단계(575)를 더 포함할 수 있다.
본 발명의 일 양상은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있다. 상기의 프로그램을 구현하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함할 수 있다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 디스크 등을 포함할 수 있다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드로 작성되고 실행될 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명의 범위는 전술한 실시 예에 한정되지 않고 특허 청구범위에 기재된 내용과 동등한 범위 내에 있는 다양한 실시 형태가 포함되도록 해석되어야 할 것이다.
100: 영상 처리 장치
110: 앵커 포인트 설정부
120: 영상 분석부
130: 특징값 비교부
140: 표시부
121: 기준 영상 분석부
122: 프레임 영상 분석부

Claims (18)

  1. 프레임 영상의 특징값을 산출하는 영상 분석부;
    상기 프레임 영상의 특징값을 이전 프레임 영상의 특징값과 비교하여 상기 프레임 영상에서 특징값 변화 영역 및 특징값 변화 정도를 판단하는 특징값 비교부; 및
    상기 특징값 변화 영역을 상기 특징값 변화 정도에 따라 컬러 코딩(color coding)하고 컬러 코딩된 프레임 영상을 표시하는 표시부; 를 포함하는 영상 처리 장치.
  2. 제1 항에 있어서,
    상기 영상 분석부는, 상기 이전 프레임 영상의 관심 영역을 추적하여 상기 프레임 영상의 관심 영역을 설정하는 영상 처리 장치.
  3. 제2 항에 있어서,
    상기 영상 분석부는, 상기 설정된 관심 영역에는 제1 특징값 산출 기법을 이용하고 나머지 영역에는 제2 특징값 산출 기법을 이용하여 상기 프레임 영상의 특징값을 산출하는 영상 처리 장치.
  4. 제3 항에 있어서,
    상기 제1 특징값 산출 기법은 상대적으로 복잡한 연산을 포함하고,
    상기 제2 특징값 산출 기법은 상대적으로 간단한 연산을 포함하는 영상 처리 장치.
  5. 제2 항에 있어서,
    상기 표시부는, 특정 기호, 특정 선, 및 특정 색 중 적어도 하나를 이용하여 상기 프레임 영상의 관심 영역을 표시하는 영상 처리 장치.
  6. 제1 항에 있어서,
    상기 표시부는, 상기 특징값 변화 정도가 미리 설정된 임계값 이상인 특징값 변화 영역을 컬러 코딩하는 영상 처리 장치.
  7. 제1 항에 있어서,
    상기 표시부는, 상기 프레임 영상 및 상기 이전 프레임 영상 간의 프레임 거리에 따라 색, 색의 농도 또는 투명도를 달리하여 상기 특징값 변화 영역을 컬러 코딩하는 영상 처리 장치.
  8. 제1 항에 있어서,
    상기 특징값 변화 정도가 미리 설정된 임계값 이상인 경우, 상기 프레임 영상 및 상기 컬러 코딩된 프레임 영상을 저장하는 저장부; 를 더 포함하는 영상 처리 장치.
  9. 제1 항에 있어서,
    상기 특징값 변화 영역 중 상기 특징값 변화 정도가 설정된 임계값 이상인 영역을 관심 영역으로 설정하는 관심 영역 설정부; 를 더 포함하는 영상 처리 장치.
  10. 프레임 영상의 특징값을 산출하는 단계;
    상기 프레임 영상의 특징값을 이전 프레임 영상의 특징값과 비교하여 상기 프레임 영상에서 특징값 변화 영역 및 특징값 변화 정도를 판단하는 단계;
    상기 특징값 변화 영역을 상기 특징값 변화 정도에 따라 컬러 코딩(color coding)하는 단계; 및
    상기 컬러 코딩된 프레임 영상을 표시하는 단계; 를 포함하는 영상 처리 방법.
  11. 제10 항에 있어서,
    상기 산출하는 단계 이전에,
    상기 이전 프레임 영상의 관심 영역을 추적하여 상기 프레임 영상의 관심 영역을 설정하는 단계; 를 더 포함하는 영상 처리 방법.
  12. 제11 항에 있어서,
    상기 산출하는 단계는, 상기 설정된 관심 영역에는 제1 특징값 산출 기법을 이용하고 나머지 영역에는 제2 특징값 산출 기법을 이용하여 상기 프레임 영상의 특징값을 산출하는 영상 처리 방법.
  13. 제12 항에 있어서,
    상기 제1 특징값 산출 기법은 상대적으로 복잡한 연산을 포함하고,
    상기 제2 특징값 산출 기법은 상대적으로 간단한 연산을 포함하는 영상 처리 방법.
  14. 제11 항에 있어서,
    상기 표시하는 단계는, 특정 기호, 특정 선, 및 특정 색 중 적어도 하나를 이용하여 상기 프레임 영상의 관심 영역을 표시하는 영상 처리 방법.
  15. 제10 항에 있어서,
    상기 컬러 코딩하는 단계는, 상기 특징값 변화 정도가 미리 설정된 임계값 이상인 특징값 변화 영역을 컬러 코딩하는 영상 처리 방법.
  16. 제10 항에 있어서,
    상기 컬러 코딩하는 단계는, 상기 프레임 영상 및 상기 이전 프레임 영상 간의 프레임 거리에 따라 색, 색의 농도 또는 투명도를 달리하여 상기 특징값 변화 영역을 컬러 코딩하는 영상 처리 방법.
  17. 제10 항에 있어서,
    상기 특징값 변화 정도가 미리 설정된 임계값 이상인 경우, 상기 프레임 영상 및 상기 컬러 코딩된 프레임 영상을 저장하는 단계; 를 더 포함하는 영상 처리 방법.
  18. 제10 항에 있어서,
    상기 특징값 변화 영역 중 상기 특징값 변화 정도가 설정된 임계값 이상인 영역을 관심 영역으로 설정하는 단계; 를 더 포함하는 영상 처리 방법.
KR1020140092812A 2014-07-22 2014-07-22 영상 처리 장치 및 방법 KR20160011535A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140092812A KR20160011535A (ko) 2014-07-22 2014-07-22 영상 처리 장치 및 방법
US14/803,415 US9947095B2 (en) 2014-07-22 2015-07-20 Image processing apparatus for providing image analysis and a method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140092812A KR20160011535A (ko) 2014-07-22 2014-07-22 영상 처리 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20160011535A true KR20160011535A (ko) 2016-02-01

Family

ID=55167113

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140092812A KR20160011535A (ko) 2014-07-22 2014-07-22 영상 처리 장치 및 방법

Country Status (2)

Country Link
US (1) US9947095B2 (ko)
KR (1) KR20160011535A (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108540338B (zh) * 2018-03-08 2021-08-31 西安电子科技大学 基于深度循环神经网络的应用层通信协议识别的方法
US11665379B2 (en) * 2019-11-26 2023-05-30 Photo Sensitive Cinema (PSC) Rendering image content as time-spaced frames
JP7473893B2 (ja) 2020-03-24 2024-04-24 株式会社ブレイン 診断支援方法及びそのシステム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3794721B2 (ja) 1994-07-08 2006-07-12 株式会社日立メディコ 超音波診断装置
JP2001212138A (ja) 2000-02-02 2001-08-07 Mitsubishi Plastics Ind Ltd 画像処理システム
US6824514B2 (en) 2002-10-11 2004-11-30 Koninklijke Philips Electronics N.V. System and method for visualizing scene shift in ultrasound scan sequence
JP5583128B2 (ja) 2008-10-01 2014-09-03 コーニンクレッカ フィリップス エヌ ヴェ 医用画像シーケンスのスナップショットの選択
JP5765823B2 (ja) * 2010-03-26 2015-08-19 国立大学法人徳島大学 頸動脈プラークのエコー画像生成方法及び評価装置
US9401047B2 (en) * 2010-04-15 2016-07-26 Siemens Medical Solutions, Usa, Inc. Enhanced visualization of medical image data
WO2013003826A1 (en) * 2011-06-29 2013-01-03 The Regents Of The University Of Michigan Analysis of temporal changes in registered tomographic images

Also Published As

Publication number Publication date
US20160027174A1 (en) 2016-01-28
US9947095B2 (en) 2018-04-17

Similar Documents

Publication Publication Date Title
US10966602B2 (en) Automatically detecting eye type in retinal fundus images
US9532762B2 (en) Apparatus and method for lesion detection
US8270688B2 (en) Method for intelligent qualitative and quantitative analysis assisting digital or digitized radiography softcopy reading
JP5712774B2 (ja) 物体検知方法及び装置
US9662040B2 (en) Computer-aided diagnosis apparatus and method
KR102294194B1 (ko) 관심영역의 시각화 장치 및 방법
US20160022238A1 (en) Apparatus and method for aiding imaging dignosis
US9959622B2 (en) Method and apparatus for supporting diagnosis of region of interest by providing comparison image
US10255673B2 (en) Apparatus and method for detecting object in image, and apparatus and method for computer-aided diagnosis
US20180121739A1 (en) Setting apparatus, output method, and non-transitory computer-readable storage medium
KR20160066927A (ko) 컴퓨터 보조 진단 지원 장치 및 방법
US20150248592A1 (en) Method and device for identifying target object in image
KR20160063128A (ko) 컴퓨터 보조 진단 장치 및 방법
US9990710B2 (en) Apparatus and method for supporting computer aided diagnosis
CN108431876A (zh) 入侵检测设备、设置辅助设备、入侵检测方法、设置辅助方法和程序记录介质
KR20160011535A (ko) 영상 처리 장치 및 방법
JPWO2020054604A1 (ja) 情報処理装置、制御方法、及びプログラム
EP2608152B1 (en) Medical imaging diagnosis apparatus and medical imaging diagnosis method for providing diagnostic basis
US11769322B2 (en) Program creation device, object detection system, anchor setting method, and anchor setting program
KR102471937B1 (ko) X선 영상을 이용한 치아 우식 가능성 판단 방법
CN108229368B (zh) 一种视频显示方法及装置
US9934584B2 (en) Line-of-movement generating apparatus, line-of-movement generating method, and non-transitory computer readable medium
WO2023195924A2 (en) Method and system for facilitating analysis of a skin condition
JP2011250812A (ja) 医用画像処理装置及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application