KR20140066584A - 니들의 가이드 라인을 제공하는 초음파 시스템 - Google Patents

니들의 가이드 라인을 제공하는 초음파 시스템 Download PDF

Info

Publication number
KR20140066584A
KR20140066584A KR20120134005A KR20120134005A KR20140066584A KR 20140066584 A KR20140066584 A KR 20140066584A KR 20120134005 A KR20120134005 A KR 20120134005A KR 20120134005 A KR20120134005 A KR 20120134005A KR 20140066584 A KR20140066584 A KR 20140066584A
Authority
KR
South Korea
Prior art keywords
needle
ultrasound
input
image
mask image
Prior art date
Application number
KR20120134005A
Other languages
English (en)
Inventor
이재근
백지혜
Original Assignee
삼성메디슨 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성메디슨 주식회사 filed Critical 삼성메디슨 주식회사
Priority to KR20120134005A priority Critical patent/KR20140066584A/ko
Priority to EP20130191054 priority patent/EP2735271A1/en
Priority to US14/081,595 priority patent/US20140148689A1/en
Publication of KR20140066584A publication Critical patent/KR20140066584A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/0841—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating instruments
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13—Tomography
    • A61B8/14—Echo-tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5246—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B8/469—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means for selection of a region of interest
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20101—Interactive definition of point of interest, landmark or seed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30021—Catheter; Guide wire
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

니들의 가이드 라인을 제공하는 초음파 시스템 및 방법이 개시된다. 본 발명에 따른 초음파 시스템은, 니들이 삽입되는 생체에 초음파 신호를 송신하고 생체로부터 반사되는 초음파 에코신호를 수신하여 복수의 초음파 영상 각각에 해당하는 초음파 데이터를 획득하도록 동작하는 초음파 데이터 획득부; 사용자로부터 초음파 영상에 포인트를 설정하기 위한 입력정보를 수신하도록 동작하는 사용자 입력부; 및 초음파 데이터를 이용하여 복수의 초음파 영상을 형성하고, 복수의 초음파 영상을 이용하여 니들의 입력 위치를 검출하기 위한 마스크 영상을 형성하고, 마스크 영상을 이용하여 입력 위치를 검출하고, 입력 위치 및 상기 입력정보에 기초하여 초음파 영상에 상기 니들의 가이드 라인을 설정하도록 동작하는 프로세서를 포함한다.

Description

니들의 가이드 라인을 제공하는 초음파 시스템{ULTRASOUND SYSTEM AND METHOD FOR PROVIDING GUIDE LINE OF NEEDLE}
본 발명은 초음파 시스템에 관한 것으로, 특히 니들의 가이드 라인을 제공하는 초음파 시스템 및 방법에 관한 것이다.
의료 기술이 발달함에 따라 생체를 직접 절개하지 않고 생체에 최소 크기의 구멍을 낸 뒤 생체 내부 영상을 보면서 병변이 있는 부위에 애블레이터(ablator) 또는 바이옵시(biopsy) 등의 의료용 니들(needle)을 삽입하여 치료나 검사하는 기술이 이용되고 있다. 이러한 방법은 CT(computerized tomography) 또는 MRI(magnetic resonance imager) 등의 의학 영상 장비를 이용하여 생체 내부를 관찰하면서 시술을 행하기 때문에 "영상을 이용하는 시술법" 또는 "중재적 시술법"이라 한다. 즉, 중재적 시술은 CT 또는 MRI 등으로부터 얻은 영상을 시술 중에 보면서 피부를 통하여 의료용 니들을 검사 또는 치료에 필요한 병변에 직접 도달시켜 진단이나 치료를 하는 시술을 말한다. 이 중재적 시술법은 일반적으로 절개가 필요한 외과 치료와 비교할 때, 전신 마취가 필요 없고, 생체의 신체적 부담이 적고, 통증이나 고통이 적으며, 입원 기간도 단축되고, 시술 후 일상으로 빠르게 복귀할 수 있어 의료 비용과 효과 면에서도 많은 이득이 되고 있다.
그러나, CT 또는 MRI를 이용하는 경우, 실시간으로 생체의 영상을 얻기 어렵다. 또한, CT를 이용하여 중재적 시술을 하는 경우, 시술자나 생체 모두 장시간 방사선에 노출되는 위험이 있다. 이에 비해, 초음파 시스템을 이용하는 경우 실시간으로 초음파 영상을 얻을 수 있을 뿐만 아니라 생체에 거의 무해하다.
본 발명은 초음파 영상을 이용하여 니들의 입력 위치를 검출하고, 사용자에 의해 초음파 영상에 설정되는 포인트와 니들의 입력 위치에 기초하여 니들의 가이드 라인을 설정하는 초음파 시스템 및 방법을 제공한다.
본 발명에 따른 초음파 시스템은, 초음파 시스템은, 니들이 삽입되는 생체에 초음파 신호를 송신하고 상기 생체로부터 반사되는 초음파 에코신호를 수신하여 복수의 초음파 영상 각각에 해당하는 초음파 데이터를 획득하도록 동작하는 초음파 데이터 획득부; 사용자로부터 초음파 영상에 포인트를 설정하기 위한 입력정보를 수신하도록 동작하는 사용자 입력부; 및 상기 초음파 데이터를 이용하여 상기 복수의 초음파 영상을 형성하고, 상기 복수의 초음파 영상을 이용하여 상기 니들의 입력 위치를 검출하기 위한 마스크 영상을 형성하고, 상기 마스크 영상을 이용하여 상기 입력 위치를 검출하고, 상기 입력 위치 및 상기 입력정보에 기초하여 상기 니들의 가이드 라인을 설정하도록 동작하는 프로세서를 포함한다.
또한 본 발명에 따른 니들 가이드 라인 제공 방법은, a) 니들이 삽입되는 생체에 초음파 신호를 송신하고 상기 생체로부터 반사되는 초음파 에코신호를 수신하여 복수의 초음파 영상 각각에 해당하는 초음파 데이터를 획득하는 단계; b) 상기 초음파 데이터를 이용하여 상기 복수의 초음파 영상을 형성하는 단계; c) 사용자로부터 초음파 영상에 포인트를 설정하기 위한 입력정보를 수신하는 단계; d) 상기 복수의 초음파 영상을 이용하여 상기 니들의 입력 위치를 검출하기 위한 마스크 영상을 형성하는 단계; e) 상기 마스크 영상을 이용하여 상기 입력 위치를 검출하는 단계; 및 f) 상기 입력 위치 및 상기 입력정보에 기초하여 상기 초음파 영상에 상기 니들의 가이드 라인을 설정하는 단계를 포함한다.
본 발명은 니들 키트(needle kit), 센서 등의 부가 장치를 이용하지 않는 프리핸드(freehand) 방식에서 실시간으로 니들의 가이드 라인을 제공할 수 있어, 사용자에게 방향성과 더불어, 각도 및 거리 표시 등의 정량적인 수치 정보를 알려줄 수 있어, 니들을 이용한 중재적 시술의 정확도를 높일 수 있을 뿐만 아니라, 중재적 시술의 시간을 단축시킬 수 있다.
도 1은 본 발명의 실시예에 따른 초음파 시스템의 구성을 보이는 블록도.
도 2는 본 발명의 실시예에 따른 초음파 데이터 획득부의 구성을 보이는 블록도.
도 3은 시간에 따른 복수의 초음파 영상을 보이는 예시도.
도 4는 본 발명의 실시예에 따라 니들의 가이드 라인을 설정하는 절차를 보이는 플로우차트.
도 5는 본 발명의 실시예에 따른 마스크 영상 및 제1 관심영역을 보이는 예시도.
도 6은 본 발명의 실시예에 따른 깊이에 따른 밝기 누적값 및 니들 입력 위치를 보이는 예시도.
도 7은 본 발명의 실시예에 따른 니들 가이드 라인을 보이는 예시도.
도 8은 본 발명의 실시예에 따른 니들의 입력 각도를 산출하기 위한 제1 평균값, 제2 평균값, 시작점, 종점 및 길이를 보이는 예시도.
도 9는 본 발명의 실시예에 따른 니들의 입력 각도를 산출하기 위한 제2 관심영역, 복수의 각도 및 라인을 보이는 예시도.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 설명한다.
도 1은 본 발명의 실시예에 따른 초음파 시스템의 구성을 보이는 블록도이다. 도 1을 참조하면, 초음파 시스템(100)은 초음파 데이터 획득부(110), 사용자 입력부(120), 프로세서(130), 저장부(140) 및 디스플레이부(150)를 포함한다. 또한, 초음파 시스템(100)은 프리핸드(freehand) 방식으로 생체내에 입력(삽입)하기 위한 의료용 도구(도시하지 않음)를 포함한다. 의료용 도구는 니들(needle)을 포함한다. 그러나, 의료용 도구는 반드시 이에 한정되지 않는다.
초음파 데이터 획득부(110)는 초음파 신호를 생체에 송신한다. 생체는 대상체(예를 들어, 병변, 심장, 간 등)를 포함한다. 또한, 초음파 데이터 획득부(110)는 생체로부터 반사되는 초음파 신호(즉, 초음파 에코신호)를 수신하여 초음파 영상에 대응하는 초음파 데이터를 획득한다.
도 2는 본 발명의 실시예에 따른 초음파 데이터 획득부(110)의 구성을 보이는 블록도이다. 도 2를 참조하면, 초음파 데이터 획득부(110)는 초음파 프로브(210), 송신부(220), 수신부(230) 및 초음파 데이터 획득부(240)를 포함한다.
초음파 프로브(210)는 전기적 신호와 초음파 신호를 상호 변환하도록 동작하는 복수의 변환소자(transducer element)(도시하지 않음)를 포함한다. 초음파 프로브(210)는 초음파 신호를 생체에 송신하고 생체로부터 반사되는 초음파 에코신호를 수신하여 전기적 신호(이하, 수신신호라 함)를 형성한다. 수신신호는 아날로그 신호이다. 초음파 프로브(210)는 리니어 프로브(linear probe), 컨벡스 프로브(convex probe), 3D 프로브(three-dimensional probe) 등을 포함한다.
송신부(220)는 초음파 신호의 송신을 제어한다. 또한, 송신부(220)는 변환소자 및 집속점을 고려하여, 초음파 영상을 얻기 위한 전기적 신호(이하, 송신신호라 함)를 형성한다. 본 실시예에 있어서, 송신부(220)는 도 3에 도시된 바와 같이 복수의 초음파 영상(UIN(N≥1)) 각각을 얻기 위한 송신신호를 순차적으로 형성한다. 도 3에 있어서, 도면부호 LE는 병변을 나타내고, 도면부호 NE는 의료용 도구, 즉 니들을 나타낸다. 따라서, 초음파 프로브(210)는 송신부(220)로부터 순차적으로 제공되는 송신신호를 초음파 신호로 변환하고, 변환된 초음파 신호를 생체에 송신하고, 생체로부터 반사되는 초음파 에코신호를 수신하여 수신신호를 형성한다.
수신부(230)는 초음파 프로브(210)로부터 제공되는 수신신호를 아날로그 디지털 변환하여 디지털 신호를 형성한다. 또한, 수신부(230)는 변환소자 및 집속점을 고려하여, 디지털 신호에 수신 빔 포밍을 수행하여 수신집속신호를 형성한다. 수신 빔 포밍은 공지된 다양한 방법이 이용될 수 있으므로 본 실시예에서 상세하게 설명하지 않는다. 본 실시예에 있어서, 수신부(230)는 초음파 프로브(210)로부터 순차적으로 제공되는 수신신호를 아날로그 디지털 변환하여 디지털 신호를 형성하고, 변환소자 및 집속점을 고려하여 디지털 신호에 수신 빔 포밍을 수행하여 수신집속신호를 형성한다.
초음파 데이터 형성부(240)는 수신부(230)로부터 제공되는 수신집속신호를 이용하여 초음파 영상에 대응하는 초음파 데이터를 형성한다. 초음파 데이터는 Rf(radio frequency) 데이터를 포함한다. 그러나, 초음파 데이터는 반드시 이에 한정되지 않는다. 본 실시예에 있어서, 초음파 데이터 형성부(240)는 수신부(230)로부터 순차적으로 제공되는 수신집속신호를 이용하여 복수의 초음파 영상(UIN(N≥1)) 각각에 대응하는 초음파 데이터를 형성한다. 또한, 초음파 데이터 형성부(240)는 초음파 데이터를 형성하는데 필요한 다양한 신호 처리(예를 들어, 이득(gain) 조절 등)를 수신집속신호에 수행할 수도 있다.
다시 도 1을 참조하면, 사용자 입력부(120)는 사용자의 입력정보를 수신한다. 본 실시예에 있어서, 입력정보는 초음파 영상에 포인트를 설정하기 위한 포인트 설정정보를 포함한다. 즉, 포인트 설정정보는 초음파 영상의 병변에 설정되는 포인트의 크기 및 위치 정보를 포함한다. 그러나, 입력정보는 반드시 이에 한정되지 않는다. 사용자 입력부(120)는 컨트롤 패널(control panel), 트랙볼(trackball), 터치 스크린(touch screen), 키보드(keyboard), 마우스(mouse) 등을 포함한다.
프로세서(130)는 초음파 데이터 획득부(110) 및 사용자 입력부(120)에 연결된다. 프로세서(130)는 CPU(central processing unit), 마이크로프로세서(microprocessor), GPU(graphic processing unit) 등을 포함한다.
도 4는 본 발명의 실시예에 따라 의료용 도구(즉, 니들)의 가이드 라인을 설정하는 절차를 보이는 플로우차트이다. 도 4를 참조하면, 프로세서(130)는 초음파 데이터 획득부(110)로부터 순차적으로 제공되는 초음파 데이터를 이용하여 초음파 영상(UIN(N≥1))을 형성한다(S402).
프로세서(130)는 초음파 영상의 처리 시간 및 저장 공간을 감소시키기 위해, 초음파 영상(UIN(N≥1))에 다운 샘플링 처리를 수행하여 다운 샘플링된 초음파 영상(CUIN(N≥1))(이하, 사본 초음파 영상이라 함)을 형성한다(S404). 다운 샘플링은 공지된 다양한 방법이 이용될 수 있으므로 본 실시예에서 상세하게 설명하지 않는다.
프로세서(130)는 소정 개수의 사본 초음파 영상을 이용하여 니들의 움직임 영상(이하, 니들 움직임 영상이라 함)을 형성한다(S406). 본 실시예에 있어서, 프로세서(130)는 사본 초음파 영상(CUIi)을 기준으로 탬퍼럴(temporal) 방향으로 소정 개수(예를 들어, 5개)의 사본 초음파 영상(CUIi -2, CUIi -1, CUIi, CUIi +1, CUIi +2)을 이용하여 니들 움직임 영상을 형성한다. 예를 들면, 프로세서(130)는 아래의 수학식 1을 통해 니들 움직임 영상(NMIi)을 형성한다.
Figure pat00001
프로세서(130)는 초음파 영상(UIi) 및 니들 움직임 영상(NMIi)을 이용하여 마스크 영상을 형성한다(S408). 마스크 영상은 초음파 영상(UIi)에서 니들 부분을 강조하기 위한 영상이다. 본 실시예에 있어서, 프로세서(130)는 아래의 수학식 2를 통해 마스크 영상(MIi)을 형성한다.
Figure pat00002
수학식 2에 있어서, α는 가중치로서 사전 설정된 값 또는 사용자에 의해 설정되는 값이다.
프로세서(130)는 마스크 영상(MIi)을 이용하여 니들의 입력 위치(삽입 위치)를 검출한다(S410). 본 실시예에 있어서, 프로세서(130)는 니들의 입력 방향을 고려하여 마스크 영상(MIi)에 사전 설정된 크기의 관심영역을 설정한다. 니들의 입력 방향은 사용자에 의해 수동으로 설정되거나 시스템에 의해 자동으로 설정될 수 있다. 예를 들면, 프로세서(130)는 도 5에 도시된 바와 같이, 니들(NE)이 마스크 영상(MIi)을 기준으로 좌측에서 우측으로 입력되는 입력 방향을 고려하여, 마스크 영상(MIi)의 좌측에서부터 (0.2×마스크 영상(MIi)의 폭(W))의 크기를 갖는 관심영역(ROI)을 설정한다. 프로세서(130)는 도 6에 도시된 바와 같이, 관심영역(ROI)내의 픽셀들에 대해, 각 깊이에 존재하는 픽셀들의 픽셀값(즉, 밝기값)을 마스크 영상(MIi)의 폭 방향으로 누적하여, 각 깊이에 대한 밝기 누적값을 산출한다. 프로세서(130)는 산출된 밝기 누적값에서 최대 밝기 누적값을 검출하고, 검출된 최대 밝기 누적값에 해당하는 깊이를 니들의 입력 위치(NIP)로서 검출한다.
프로세서(130)는 니들의 입력 위치(NIP) 및 입력정보(즉, 사용자 입력부(120)로부터 제공되는 입력정보)에 기초하여 초음파 영상(UIN(N≥1))에 니들의 입력 위치(NIP) 및 포인트를 설정한다(S412). 프로세서(130)는 니들의 입력 위치(NIP) 및 포인트에 기초하여, 니들이 입력되어야 하는 경로를 나타내는 가이드 라인을 초음파 영상(UIN(N≥1))에 설정한다(S414).
본 실시예에 있어서, 프로세서(130)는 니들의 입력 위치(NIP) 및 입력정보에 기초하여, 도 7에 도시된 바와 같이 초음파 영상(UIi)에 니들의 입력 위치(NIP) 및 포인트(PO)를 설정한다. 프로세서(130)는 니들의 입력 위치(NIP)와 포인트(PO)를 연결하는 라인을 니들의 가이드 라인(NGL)으로 설정한다.
전술한 실시예에서는 초음파 영상에 다운 샘플링 처리를 수행하고, 다운 샘플링된 영상을 이용하여 니들 움직임 영상을 형성하는 것으로 설명하였지만, 다른 실시예에서는 초음파 영상에 다운 샘플링 처리를 수행하지 않고, 초음파 영상을 이용하여 니들 움직임 영상을 형성할 수도 있다.
선택적으로, 프로세서(130)는 초음파 영상들에 설정되는 포인트를 기준으로 인접하는 초음파 영상간에 모션 트래킹(motion tracking)을 수행하여 포인트의 움직임을 검출하고, 검출된 포인트의 움직임을 반영하여 니들이 입력되어야 하는 경로를 나타내는 가이드 라인을 초음파 영상(UIN(N≥1))에 설정할 수도 있다.
또한 선택적으로, 프로세서(130)는 니들의 입력 위치 및 포인트 간의 거리를 측정하고, 측정된 거리를 포함하는 부가 정보를 형성할 수도 있다. 거리는 공지된 다양한 방법을 이용하여 측정될 수 있으므로 본 실시예에서 상세하게 설명하지 않는다.
또한 선택적으로, 프로세서(130)는 도 7에 도시된 바와 같이 니들의 입력 위치(NIP)를 기준으로 가이드 라인(NGL)의 각도(즉, 니들이 입력되어야 하는 경로의 기울어진 정도를 나타내는 각도)를 산출하고, 산출된 각도를 포함하는 부가 정보를 형성할 수도 있다. 각도는 공지된 다양한 방법을 이용하여 산출될 수 있으므로 본 실시예에서 상세하게 설명하지 않는다.
또한 선택적으로, 프로세서(130)는 니들의 입력 위치(NIP)에 기초하여 니들의 입력 각도(삽입 각도)를 산출하고, 산출된 니들의 입력 각도를 포함하는 부가 정보를 형성할 수도 있다.
일실시예에 있어서, 프로세서(130)는 도 8에 도시된 바와 같이, 밝기 누적값의 제1 평균값(m1)을 산출한다. 프로세서(130)는 도 8에 도시된 바와 같이, 밝기 누적값에서 제1 평균값(m1)을 뺀 밝기 누적값의 제2 평균값(m2)을 산출한다. 프로세서(130)는 도 8에 도시된 바와 같이, 제2 평균값(m2)과 밝기 누적값의 교차점을시작점(nStart) 및 종점(nEnd)으로서 검출한다. 프로세서(130)는 검출된 시작점(nStart) 및 종점(nEnd) 간의 길이(nNDLength)를 산출한다. 프로세서(130)는 산출된 길이(nNDLength)에 기초하여 니들의 입력 각도를 산출한다. 예를 들면, 프로세서(130)는 아래의 수학식 3을 이용하여 니들의 입력 각도(θIA)를 산출할 수 있다.
Figure pat00003
다른 실시예에 있어서, 프로세서(130)는 도 9에 도시된 바와 같이, 니들의 입력 위치(NIP)를 기준으로 복수의 각도(θi(1≤i≤N))를 설정하고, 니들의 입력 위치(NIP)로부터 복수의 각도(θi(1≤i≤N)) 각각에 해당하는 라인(Li(1≤i≤N))을 설정한다. 프로세서(130)는 라인(Li(1≤i≤N)) 각각에 해당하는 픽셀들의 밝기 누적값을 산출한다. 프로세서(130)는 산출된 밝기 누적값에서 최대 밝기 누적값을 검출하고, 검출된 최대 밝기 누적값에 해당하는 각도를 니들의 입력 각도로서 검출한다.
다시 도 1을 참조하면, 저장부(140)는 초음파 데이터 획득부(110)에서 획득된 초음파 데이터를 저장한다. 또한, 저장부(140)는 사용자 입력부(120)에서 수신된 입력정보를 저장한다. 또한, 저장부(140)는 프로세서(130)에서 형성된 초음파 영상 및 사본 초음파 영상을 저장한다. 또한, 저장부(140)는 프로세서(130)에서 형성된 부가 정보(니들의 입력 위치, 니들의 입력 각도 및 가이드 라인의 각도)를 저장한다.
디스플레이부(150)는 프로세서(130)에서 형성된 초음파 영상 및/또는 사본 초음파 영상을 디스플레이한다. 또한, 디스플레이부(150)는 프로세서(130)에서 설정된 가이드 라인을 디스플레이한다. 또한, 디스플레이부(150)는 프로세서(130)에서 형성된 부가 정보(니들의 입력 위치, 니들의 입력 각도 및 가이드 라인의 각도)를 디스플레이한다.
본 발명은 바람직한 실시예를 통해 설명되고 예시되었으나, 당업자라면 첨부된 특허청구범위의 사항 및 범주를 벗어나지 않고 여러 가지 변경 및 변형이 이루어질 수 있음을 알 수 있을 것이다.
100: 초음파 시스템 110: 초음파 데이터 획득부
120: 사용자 입력부 130: 프로세서
140: 저장부 150: 디스플레이부
210: 초음파 프로브 220: 송신부
230: 수신부 240: 초음파 데이터 형성부
UIN: 초음파 영상 CUIN: 사본 초음파 영상
MIi: 마스크 영상 ROI: 관심영역
W: 폭 M1: 제1 평균값
M2: 제2 평균값 NIP: 니들 입력 위치
NGL: 니들 가이드 라인 NE: 의료용 도구

Claims (32)

  1. 초음파 시스템으로서,
    니들이 삽입되는 생체에 초음파 신호를 송신하고 상기 생체로부터 반사되는 초음파 에코신호를 수신하여 복수의 초음파 영상 각각에 해당하는 초음파 데이터를 획득하도록 동작하는 초음파 데이터 획득부;
    사용자로부터 초음파 영상에 포인트를 설정하기 위한 입력정보를 수신하도록 동작하는 사용자 입력부; 및
    상기 초음파 데이터를 이용하여 상기 복수의 초음파 영상을 형성하고, 상기 복수의 초음파 영상을 이용하여 상기 니들의 입력 위치를 검출하기 위한 마스크 영상을 형성하고, 상기 마스크 영상을 이용하여 상기 입력 위치를 검출하고, 상기 입력 위치 및 상기 입력정보에 기초하여 상기 초음파 영상에 상기 니들의 가이드 라인을 설정하도록 동작하는 프로세서
    를 포함하는 초음파 시스템.
  2. 제1항에 있어서, 상기 프로세서는, 상기 복수의 초음파 영상에 다운 샘플링 처리를 수행하여 복수의 사본 초음파 영상을 형성하도록 동작하는 초음파 시스템.
  3. 제2항에 있어서, 상기 프로세서는, 상기 복수의 사본 초음파 영상에서 소정 개수의 사본 초음파 영상을 이용하여 상기 니들의 움직임 영상을 형성하도록 동작하는 초음파 시스템.
  4. 제3항에 있어서, 상기 프로세서는, 상기 복수의 사본 초음파 영상 각각을 기준으로 템퍼럴(temporal) 방향으로 소정 개수의 사본 초음파 영상을 선택하도록 동작하는 초음파 시스템.
  5. 제4항에 있어서, 상기 프로세서는,
    (수학식 1)
    Figure pat00004

    상기 수학식 1을 통해 상기 니들의 움직임 영상을 형성하고, 상기 수학식 1에 있어서, NMIi는 상기 니들의 움직임 영상을 나타내고, CUIi -2 내지 CUIi +2는 상기 선택된 사본 초음파 영상을 나타내는 초음파 시스템.
  6. 제3항에 있어서, 상기 프로세서는, 상기 초음파 영상 및 상기 니들 움직임 영상을 이용하여 상기 초음파 영상에서 상기 니들을 강조하기 위한 상기 마스크 영상을 형성하도록 동작하는 초음파 시스템.
  7. 제6항에 있어서, 상기 프로세서는,
    (수학식 2)
    Figure pat00005

    상기 수학식 2를 통해 상기 마스크 영상을 형성하고, 상기 수학식 2에 있어서, MI는 상기 마스크 영상을 나타내고, UI는 상기 초음파 영상을 나타내고, α는 가중치를 나타내는 초음파 시스템.
  8. 제6항에 있어서, 상기 프로세서는,
    상기 니들의 입력 방향을 고려하여 상기 마스크 영상에 사전 설정된 크기의 관심영역을 설정하고,
    상기 관심영역내의 픽셀들에 대해, 상기 마스크 영상의 각 깊이에 존재하는 픽셀의 밝기값을 상기 마스크 영상의 폭 방향으로 누적하여 밝기 누적값을 산출하고,
    상기 밝기 누적값에서 최대 밝기 누적값을 검출하고,
    상기 검출된 최대 밝기 누적값에 해당하는 깊이를 상기 니들의 입력 위치로서 검출하도록 동작하는 초음파 시스템.
  9. 제8항에 있어서, 상기 프로세서는,
    상기 니들의 입력 위치 및 상기 입력 정보에 기초하여 상기 초음파 영상에 상기 입력 위치 및 상기 포인트를 설정하고,
    상기 입력 위치와 상기 포인트를 연결하는 라인을 상기 가이드 라인으로 설정하도록 동작하는 초음파 시스템.
  10. 제9항에 있어서, 상기 프로세서는, 상기 초음파 영상에 설정된 포인트를 기준으로 상기 초음파 영상 간에 모션 트래킹(motion tracking)을 수행하여 상기 포인트의 움직임을 검출하도록 더 동작하는 초음파 시스템.
  11. 제9항에 있어서, 상기 프로세서는, 상기 입력 위치와 상기 포인트 간의 거리를 측정하도록 더 동작하는 초음파 시스템.
  12. 제9항에 있어서, 상기 프로세서는, 상기 입력 위치를 기준으로 상기 가이드 라인의 각도를 검출하도록 더 동작하는 초음파 시스템.
  13. 제9항에 있어서, 상기 프로세서는, 상기 입력 위치에 기초하여 상기 니들의 입력 각도를 검출하도록 더 동작하는 초음파 시스템.
  14. 제13항에 있어서, 상기 프로세서는,
    상기 밝기 누적값의 제1 평균값을 산출하고,
    상기 밝기 누적값에서 상기 제1 평균값을 뺀 밝기 누적값의 제2 평균값을 산출하고,
    상기 밝기 누적값 및 상기 제2 평균값의 교차점을 시작점 및 종점으로서 검출하고,
    상기 시작점 및 종점간의 길이를 산출하고,
    상기 산출된 길이에 기초하여 상기 니들의 입력 각도를 산출하도록 동작하는 초음파 시스템.
  15. 제13항에 있어서, 상기 프로세서는,
    (수학식 3)
    Figure pat00006

    상기 수학식 3을 통해 상기 니들의 입력 각도를 산출하고, 상기 수학식 3에서, θ는 상기 니들의 입력 각도를 나타내고, nNDLength는 상기 길이를 나타내고, W는 상기 마스크 영상의 폭을 나타내는 초음파 시스템.
  16. 제13항에 있어서, 상기 프로세서는,
    상기 니들의 입력 위치를 기준으로 복수의 각도를 설정하고,
    상기 니들의 입력 위치로부터 상기 복수의 각도 각각에 해당하는 라인을 상기 마스크 영상에 설정하고,
    상기 복수의 각도 각각에 대응하는 라인의 픽셀들의 밝기 누적값을 산출하고,
    상기 산출된 밝기 누적값에서 최대 밝기 누적값을 산출하고,
    상기 검출된 최대 밝기 누적값에 해당하는 각도를 상기 니들의 입력 각도로서 검출하도록 동작하는 초음파 시스템.
  17. 니들 가이드 라인을 제공하는 방법으로서,
    a) 니들이 삽입되는 생체에 초음파 신호를 송신하고 상기 생체로부터 반사되는 초음파 에코신호를 수신하여 복수의 초음파 영상 각각에 해당하는 초음파 데이터를 획득하는 단계;
    b) 상기 초음파 데이터를 이용하여 상기 복수의 초음파 영상을 형성하는 단계;
    c) 사용자로부터 초음파 영상에 포인트를 설정하기 위한 입력정보를 수신하는 단계;
    d) 상기 복수의 초음파 영상을 이용하여 상기 니들의 입력 위치를 검출하기 위한 마스크 영상을 형성하는 단계;
    e) 상기 마스크 영상을 이용하여 상기 입력 위치를 검출하는 단계; 및
    f) 상기 입력 위치 및 상기 입력정보에 기초하여 상기 초음파 영상에 상기 니들의 가이드 라인을 설정하는 단계
    를 포함하는 니들 가이드 라인 제공 방법.
  18. 제17항에 있어서, 상기 단계 d)는,
    d1) 상기 복수의 초음파 영상에 다운 샘플링 처리를 수행하여 복수의 사본 초음파 영상을 형성하는 단계
    를 포함하는 니들 가이드 라인 제공 방법.
  19. 제17항에 있어서, 상기 단계 d)는,
    d2) 상기 복수의 사본 초음파 영상에서 소정 개수의 사본 초음파 영상을 이용하여 상기 니들의 움직임 영상을 형성하는 단계
    를 포함하는 니들 가이드 라인 제공 방법.
  20. 제19항에 있어서, 상기 단계 d2)는,
    상기 복수의 사본 초음파 영상 각각을 기준으로 템퍼럴(temporal) 방향으로 소정 개수의 사본 초음파 영상을 선택하는 단계
    를 포함하는 니들 가이드 라인 제공 방법.
  21. 제20항에 있어서, 상기 니들의 움직임 영상 형성 단계는,
    (수학식 1)
    Figure pat00007

    상기 수학식 1을 통해 상기 니들의 움직임 영상을 형성하는 단계
    를 포함하고, 상기 수학식 1에 있어서, NMIi는 상기 니들의 움직임 영상을 나타내고, CUIi-2 내지 CUIi +2는 상기 선택된 사본 초음파 영상을 나타내는 니들 가이드 라인 제공 방법.
  22. 제19항에 있어서, 상기 단계 d)는,
    d3) 상기 초음파 영상 및 상기 니들 움직임 영상을 이용하여 상기 초음파 영상에서 상기 니들을 강조하기 위한 상기 마스크 영상을 형성하는 단계
    를 포함하는 니들 가이드 라인 제공 방법.
  23. 제22항에 있어서, 상기 단계 d3)은,
    (수학식 2)
    Figure pat00008

    상기 수학식 2를 통해 상기 마스크 영상을 형성하는 단계
    를 포함하고, 상기 수학식 2에 있어서, MI는 상기 마스크 영상을 나타내고, UI는 상기 초음파 영상을 나타내고, α는 가중치를 나타내는 니들 가이드 라인 제공 방법.
  24. 제22항에 있어서, 상기 단계 e)는,
    상기 니들의 입력 방향을 고려하여 상기 마스크 영상에 사전 설정된 크기의 관심영역을 설정하는 단계;
    상기 관심영역내의 픽셀들에 대해, 상기 마스크 영상의 각 깊이에 존재하는 픽셀의 밝기값을 상기 마스크 영상의 폭 방향으로 누적하여 밝기 누적값을 산출하는 단계;
    상기 밝기 누적값에서 최대 밝기 누적값을 검출하는 단계; 및
    상기 검출된 최대 밝기 누적값에 해당하는 깊이를 상기 니들의 입력 위치로서 검출하는 단계
    를 포함하는 니들 가이드 라인 제공 방법.
  25. 제24항에 있어서, 상기 단계 f)는,
    상기 니들의 입력 위치 및 상기 입력 정보에 기초하여 상기 초음파 영상에 상기 입력 위치 및 상기 포인트를 설정하는 단계; 및
    상기 입력 위치와 상기 포인트를 연결하는 라인을 상기 가이드 라인으로 설정하는 단계
    를 포함하는 니들 가이드 라인 제공 방법.
  26. 제25항에 있어서, 상기 단계 f)는,
    상기 초음파 영상에 설정된 포인트를 기준으로 상기 초음파 영상 간에 모션 트래킹을 수행하여 상기 포인트의 움직임을 검출하는 단계
    를 더 포함하는 니들 가이드 라인 제공 방법.
  27. 제24항에 있어서,
    g) 상기 입력 위치와 상기 포인트 간의 거리를 측정하는 단계
    를 더 포함하는 니들 가이드 라인 제공 방법.
  28. 제24항에 있어서,
    g) 상기 입력 위치를 기준으로 상기 가이드 라인의 각도를 검출하는 단계
    를 더 포함하는 니들 가이드 라인 제공 방법.
  29. 제24항에 있어서,
    g) 상기 입력 위치에 기초하여 상기 니들의 입력 각도를 검출하는 단계
    를 더 포함하는 니들 가이드 라인 제공 방법.
  30. 제29항에 있어서, 상기 단계 g)는,
    상기 밝기 누적값의 제1 평균값을 산출하는 단계;
    상기 밝기 누적값에서 상기 제1 평균값을 뺀 밝기 누적값의 제2 평균값을 산출하는 단계;
    상기 밝기 누적값 및 상기 제2 평균값에 기초하여 시작점 및 종점을 검출하는 단계;
    상기 시작점 및 종점간의 길이를 산출하는 단계; 및
    상기 산출된 길이에 기초하여 상기 니들의 입력 각도를 산출하는 단계
    를 포함하는 니들 가이드 라인 제공 방법.
  31. 제30항에 있어서, 상기 니들의 입력 각도 산출 단계는,
    (수학식 3)
    Figure pat00009

    상기 수학식 3을 통해 상기 니들의 입력 각도를 산출하는 단계
    를 포함하고, 상기 수학식 3에서, θ는 상기 니들의 입력 각도를 나타내고, nNDLength는 상기 길이를 나타내고, W는 상기 마스크 영상의 폭을 나타내는 니들 가이드 라인 제공 방법.
  32. 제29항에 있어서, 상기 단계 g)는,
    상기 니들의 입력 위치를 기준으로 복수의 각도를 설정하는 단계;
    상기 니들의 입력 위치로부터 상기 복수의 각도 각각에 해당하는 라인을 상기 마스크 영상에 설정하는 단계;
    상기 복수의 각도 각각에 대응하는 라인의 픽셀들의 밝기 누적값을 산출하는 단계;
    상기 산출된 밝기 누적값에서 최대 밝기 누적값을 산출하는 단계; 및
    상기 검출된 최대 밝기 누적값에 해당하는 각도를 상기 니들의 입력 각도로서 검출하는 단계
    를 포함하는 니들 가이드 라인 제공 방법.
KR20120134005A 2012-11-23 2012-11-23 니들의 가이드 라인을 제공하는 초음파 시스템 KR20140066584A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR20120134005A KR20140066584A (ko) 2012-11-23 2012-11-23 니들의 가이드 라인을 제공하는 초음파 시스템
EP20130191054 EP2735271A1 (en) 2012-11-23 2013-10-31 Ultrasound system and method for providing guideline of needle
US14/081,595 US20140148689A1 (en) 2012-11-23 2013-11-15 Ultrasound system and method for providing guideline of needle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20120134005A KR20140066584A (ko) 2012-11-23 2012-11-23 니들의 가이드 라인을 제공하는 초음파 시스템

Publications (1)

Publication Number Publication Date
KR20140066584A true KR20140066584A (ko) 2014-06-02

Family

ID=49518739

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20120134005A KR20140066584A (ko) 2012-11-23 2012-11-23 니들의 가이드 라인을 제공하는 초음파 시스템

Country Status (3)

Country Link
US (1) US20140148689A1 (ko)
EP (1) EP2735271A1 (ko)
KR (1) KR20140066584A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160088616A (ko) 2015-01-16 2016-07-26 지멘스 메디컬 솔루션즈 유에스에이, 인크. 대상체의 영상을 형성하는 방법 및 초음파 시스템
KR20190096085A (ko) * 2018-02-08 2019-08-19 지멘스 메디컬 솔루션즈 유에스에이, 인크. 검침 도구 삽입 위치를 제공하기 위한 방법 및 초음파 시스템

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101478623B1 (ko) * 2012-11-07 2015-01-02 삼성메디슨 주식회사 니들의 가이드 라인을 제공하는 초음파 시스템 및 방법
JP6447071B2 (ja) * 2013-12-11 2019-01-09 コニカミノルタ株式会社 超音波診断装置、超音波画像処理方法、および、プログラム
JP6546826B2 (ja) 2015-10-08 2019-07-17 株式会社日立パワーソリューションズ 欠陥検査方法、及びその装置
US11638569B2 (en) 2018-06-08 2023-05-02 Rutgers, The State University Of New Jersey Computer vision systems and methods for real-time needle detection, enhancement and localization in ultrasound
EP3836843A4 (en) * 2018-08-13 2022-02-16 Rutgers, the State University of New Jersey ARTIFICIAL VISION SYSTEMS AND METHODS FOR REAL-TIME LOCATION OF NEEDLES IN ULTRASOUND IMAGES
TWI768288B (zh) * 2020-02-10 2022-06-21 中國醫藥大學 腎臟功能評估方法、腎臟功能評估系統及腎臟照護裝置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8556814B2 (en) * 2007-10-04 2013-10-15 Siemens Medical Solutions Usa, Inc. Automated fetal measurement from three-dimensional ultrasound data
US8398549B2 (en) * 2010-02-16 2013-03-19 Duke University Ultrasound methods, systems and computer program products for imaging contrasting objects using combined images
US8861822B2 (en) * 2010-04-07 2014-10-14 Fujifilm Sonosite, Inc. Systems and methods for enhanced imaging of objects within an image
JP6000569B2 (ja) * 2011-04-01 2016-09-28 東芝メディカルシステムズ株式会社 超音波診断装置及び制御プログラム
CN102961166A (zh) * 2011-08-31 2013-03-13 通用电气公司 用于检测和跟踪针的方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160088616A (ko) 2015-01-16 2016-07-26 지멘스 메디컬 솔루션즈 유에스에이, 인크. 대상체의 영상을 형성하는 방법 및 초음파 시스템
KR20190096085A (ko) * 2018-02-08 2019-08-19 지멘스 메디컬 솔루션즈 유에스에이, 인크. 검침 도구 삽입 위치를 제공하기 위한 방법 및 초음파 시스템

Also Published As

Publication number Publication date
US20140148689A1 (en) 2014-05-29
EP2735271A1 (en) 2014-05-28

Similar Documents

Publication Publication Date Title
KR101478623B1 (ko) 니들의 가이드 라인을 제공하는 초음파 시스템 및 방법
KR20140066584A (ko) 니들의 가이드 라인을 제공하는 초음파 시스템
EP3013244B1 (en) System and method for mapping ultrasound shear wave elastography measurements
JP4758355B2 (ja) 患者の体内に医療用機器を案内するためのシステム
EP3340918B1 (en) Apparatus for determining a motion relation
EP3013243B1 (en) Elastography measurement system and method
KR101182880B1 (ko) 영상 지시자를 제공하는 초음파 시스템 및 방법
US20170095226A1 (en) Ultrasonic diagnostic apparatus and medical image diagnostic apparatus
KR20110095211A (ko) 초음파 진단 장치
US10390728B2 (en) Medical image diagnosis apparatus
JP6018411B2 (ja) 画像ガイド下手技のための超音波撮像システム
KR20100117698A (ko) 초음파 영상을 정렬시키는 초음파 시스템 및 방법
JP2014161598A (ja) 超音波診断装置及びその制御プログラム
KR20150026614A (ko) 초음파 진단 장치 및 초음파 진단 장치의 동작 방법
JP2018134197A (ja) 医用手技ナビゲーションシステムおよび方法
KR100875620B1 (ko) 초음파 영상 시스템 및 방법
KR101983389B1 (ko) 초음파 진단 장치 및 그의 방법
KR101614374B1 (ko) 3차원 마커를 제공하는 의료 시스템, 의료 영상 장치 및 방법
JP6224341B2 (ja) 固定具及び超音波診断装置
KR102035991B1 (ko) 대상체의 영상을 형성하는 방법 및 초음파 시스템
KR102096045B1 (ko) 관심영역의 깊이 정보를 제공하는 초음파 시스템 및 방법
EP2454996A1 (en) Providing an optimal ultrasound image for interventional treatment in a medical system

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application