KR20160134585A - 화상처리장치, 화상처리방법 및 프로그램 - Google Patents
화상처리장치, 화상처리방법 및 프로그램 Download PDFInfo
- Publication number
- KR20160134585A KR20160134585A KR1020160059508A KR20160059508A KR20160134585A KR 20160134585 A KR20160134585 A KR 20160134585A KR 1020160059508 A KR1020160059508 A KR 1020160059508A KR 20160059508 A KR20160059508 A KR 20160059508A KR 20160134585 A KR20160134585 A KR 20160134585A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- unit
- findings
- display
- information
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0016—Operational features thereof
- A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0016—Operational features thereof
- A61B3/0033—Operational features thereof characterised by user input arrangements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0016—Operational features thereof
- A61B3/0041—Operational features thereof characterised by display arrangements
- A61B3/0058—Operational features thereof characterised by display arrangements for multiple images
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/102—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for optical coherence tomography [OCT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
- A61B3/1225—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes using coherent radiation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/14—Arrangements specially adapted for eye photography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Ophthalmology & Optometry (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Pathology (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Physiology (AREA)
- Psychiatry (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Eye Examination Apparatus (AREA)
Abstract
화상처리장치는, 취득부에 의해 취득된 단층화상에 대하여 구조 해석을 실행하고 피검안의 이상부위를 검출하는 검출부; 및 상기 검출부에 의해 검출된 이상부위의 소견을 문장 또는 단어로서 상기 단층화상에 중첩해서 표시부에 표시시키는 표시 제어부를 구비한다.
Description
개시된 기술은, 화상처리장치, 화상처리방법 및 프로그램에 관한 것이다.
일본 특허공개 2010-268916호 공보에는, 전안부의 단층화상으로부터 소견(형태의 이상)을 자동추출하고, 이상의 내용을 표시하는, 전안부(anterior ocular segment) 관찰장치가 개시되어 있다.
그렇지만, 일본 특허공개 2010-268916호 공보에는 이상의 내용과 단층화상을 어떻게 관련시켜서 표시할지에 대해서 개시되어 있지 않다. 의사는 이상의 내용과 단층화상간의 관계를 용이하게 파악하는 것이 곤란할 수도 있다.
개시된 기술은, 종래기술의 상기 단점을 해결하기 위한 것이고, 소견과 단층화상간의 관계를 용이하게 파악할 수 있는 표시를 제공한다.
본 개시내용은, 피검안의 단층화상을 취득하는 취득부; 상기 취득부에 의해 취득한 단층화상에 대하여 구조해석을 실행하고 상기 피검안의 이상부위를 검출하는 검출부; 및 상기 검출부에 의해 검출된 이상부위의 소견을 문장 혹은 단어로서 상기 단층화상에 중첩해서 표시부에 표시시키는 표시 제어부를 구비한 화상처리장치를 제공한다.
또한, 상기 개시된 기술은, (후술하는) 발명을 실시하기 위한 실시예들의 각 구성에 의해 도출되는 이로운 효과를 달성할 수도 있지만, 종래의 기술로는 제공되지 않는다.
본 발명의 또 다른 특징들은, 첨부도면을 참조하여 이하의 실시예들의 설명으로부터 명백해질 것이다.
도 1은 의료진단 지원 장치의 기능 구성의 일례를 도시한 도면이다.
도 2a 및 2b는 의료진단 지원 장치의 하드웨어 구성의 예들을 도시한 도면을 제공한다.
도 3a 및 3b는 의료진단 지원 장치의 처리의 예들을 도시한 흐름도를 제공한다.
도 4a 내지 4c는 화상처리의 예들을 도시한 도면을 제공한다.
도 5a 및 5b는 테이블 정보의 예들을 도시한 도면을 제공한다.
도 6은 화상처리 및 위치 특정의 일례를 도시한 도면이다.
도 7은 제1 실시예에 따른 표시부의 표시의 일례를 도시한 도면이다.
도 8은 제1 실시예에 따른 표시부의 표시의 일례를 도시한 도면이다.
도 9는 의료진단 지원 장치의 기능 구성의 일례를 도시한 도면이다.
도 10은 의료진단 지원 장치의 처리의 일례를 도시한 흐름도다.
도 11은 제2 실시예에 따른 표시부의 표시의 일례를 도시한 도면이다.
도 12는 의료진단 지원 장치의 처리의 일례를 도시한 흐름도다.
도 13은 의료진단 지원 장치의 처리의 일례를 도시한 흐름도다.
도 14는 제3 실시예에 따른 표시부의 표시의 일례를 도시한 도면이다.
도 15a 및 15b는 광간섭 단층촬영장치의 촬영 방법의 예들을 도시한 도면을 제공한다.
도 16은 제4 실시예에 따른 표시부의 표시의 일례를 도시한 도면이다.
도 17은 제4 실시예에 따른 표시부의 표시의 일례를 도시한 도면이다.
도 18은 의료진단 지원 장치의 기능 구성의 일례를 도시한 도면이다.
도 19는 의료진단 지원 장치의 처리의 일례를 도시한 흐름도다.
도 20a 내지 20d는 제5 실시예에 따른 추정 처리를 설명하기 위한 도다.
도 21은 제5 실시예에 따른 표시부의 표시의 일례를 도시한 도면이다.
도 2a 및 2b는 의료진단 지원 장치의 하드웨어 구성의 예들을 도시한 도면을 제공한다.
도 3a 및 3b는 의료진단 지원 장치의 처리의 예들을 도시한 흐름도를 제공한다.
도 4a 내지 4c는 화상처리의 예들을 도시한 도면을 제공한다.
도 5a 및 5b는 테이블 정보의 예들을 도시한 도면을 제공한다.
도 6은 화상처리 및 위치 특정의 일례를 도시한 도면이다.
도 7은 제1 실시예에 따른 표시부의 표시의 일례를 도시한 도면이다.
도 8은 제1 실시예에 따른 표시부의 표시의 일례를 도시한 도면이다.
도 9는 의료진단 지원 장치의 기능 구성의 일례를 도시한 도면이다.
도 10은 의료진단 지원 장치의 처리의 일례를 도시한 흐름도다.
도 11은 제2 실시예에 따른 표시부의 표시의 일례를 도시한 도면이다.
도 12는 의료진단 지원 장치의 처리의 일례를 도시한 흐름도다.
도 13은 의료진단 지원 장치의 처리의 일례를 도시한 흐름도다.
도 14는 제3 실시예에 따른 표시부의 표시의 일례를 도시한 도면이다.
도 15a 및 15b는 광간섭 단층촬영장치의 촬영 방법의 예들을 도시한 도면을 제공한다.
도 16은 제4 실시예에 따른 표시부의 표시의 일례를 도시한 도면이다.
도 17은 제4 실시예에 따른 표시부의 표시의 일례를 도시한 도면이다.
도 18은 의료진단 지원 장치의 기능 구성의 일례를 도시한 도면이다.
도 19는 의료진단 지원 장치의 처리의 일례를 도시한 흐름도다.
도 20a 내지 20d는 제5 실시예에 따른 추정 처리를 설명하기 위한 도다.
도 21은 제5 실시예에 따른 표시부의 표시의 일례를 도시한 도면이다.
이하, 첨부도면을 참조하여, 본 실시예에 따른 화상처리장치에 대해서 설명한다. 이때, 이하의 실시예에서 기재된 구성은 예들에 지나지 않고, 본 발명은 본 명세서 및 도면에 개시된 구성에 한정되는 것이 아니다.
제1 실시예
제1 실시예에 따른 진단 지원 장치(화상처리장치)는, 진단의 대상이 되는 피검체 또는 그 일부의 의료용 화상을 취득하고, 취득된 의료용 화상의 화상처리 결과를 사용해서 의료용 화상 위에 지원 정보를 제시함에 의해 해당 의료용 화상에 관한 정보에 근거하여 상기 피검체의 진단을 지원한다.
본 실시예에서는, 안과영역에 있어서의 광간섭 단층화상(이하, 간단히 단층화상이라고 칭한다)에 대하여 화상처리를 행하는 경우의 예를 설명한다. 본 예에 있어서, 화상처리장치는, 화상처리 결과를 기초로 소견을 동정하고, 그 소견의 정보를 단층화상 위에 제시한다. 본 실시예에서는, 단층화상은 시신경유두와 중심와(황반부)를 통과하는 방향으로 촬영한 1매의 안저의 2차원 화상인 것으로 한다. 이하, 시신경유두와 중심와를 통과하는 방향으로 촬영한 화상을 H스캔 상이라고 칭하는 경우가 있다. 물론, 화상처리의 대상은 상술한 대상에 한정되는 것이 아니다. 예를 들면, 단층화상은 시신경유두 및 황반부 중 적어도 한쪽을 포함하는 화상이여도 좋거나, 시신경유두나 황반부를 포함하지 않는 화상이여도 된다. 또한, 이하에 나타낸 소견 등은, 모두 진단 지원 장치의 수순을 설명하기 위한 일례에 지나지 않는다. 이하에 나타낸 실시예에 있어서는, 의료용 화상으로서 주로 안저의 단층화상에 대한 화상처리에 대해서 설명을 행하지만, 전안부의 단층화상에 대하여 이하에 나타낸 화상처리를 적용하여도 된다.
도 1은, 제1 실시예에 따른 진단 지원 장치(100)의 기능 구성의 일례를 도시한 도면이다. 또한, 진단 지원 장치(100)는, 예를 들면 데스크탑형 퍼스널 컴퓨터(PC), 노트북형 PC 또는 타블렛형 PC이다. 본 실시예에 따른 진단 지원 장치(화상처리장치)(100)는, 광간섭 단층촬영(OCT)장치(200)와 유선 또는 무선으로 접속되어 있다. 광간섭 단층촬영장치(200)는, 예를 들면 스펙트럴 도메인 OCT(SD-OCT), 파장 소인 OCT(SS-OCT) 또는 편광 민감 OCT(PS-OCT)로 형성된다. 광간섭 단층촬영장치(200)가 기지의 장치이므로, 그 상세한 설명은 생략한다. 광간섭 단층촬영장치(200)는, 안저에 근적외선광을 조사하는 것에 의해 얻어진 귀환광과 참조 광간의 간섭을 이용해서 망막의 단면을 나타내는 단층화상(즉, 의료용 화상)을 취득한다. 그리고, 광간섭 단층촬영장치(200)는, 취득한 의료용 화상과, 촬영 정보(화상의 종류, 촬영 부위, 촬영 사이즈, 스캔 패턴 등)에 관한 데이터를, 범용 시리얼 버스(USB)나 근거리 통신망(LAN) 등의 통신을 통해 진단 지원 장치(100)에 출력한다. 촬영 정보에는, 예를 들면, 화상의 종류는 "OCT", 촬영 부위는 "황반부", 촬영 사이즈는 "12mm", 스캔 패턴은 "라인 스캔"등이라고 하는 정보가 포함된다. 다른 예를 고려하면, 촬영 정보에는, 화상의 종류는 "OCT", 촬영 부위는 "시신경 유두부", 촬영 사이즈는 "6mm", 스캔 패턴은 "3D스캔"등이라고 하는 정보가 포함된다. 그 촬영 정보는 이것에 한정되는 것이 아니고, 상기에 기재한 모든 정보가 필요하지 않다. 화상의 종류는 OCT만을 갖는 것이 아니고, SD-OCT, SS-OCT나 PS-OCT등 OCT의 종류가 그 정보에 포함되어도 된다. 또한, 촬영 사이즈의 단위는 길이가 아니고 각도 또는 영역이어도 된다. 화상의 종류는, 예를 들면, OCT상(상기 광간섭 단층촬영장치에 의해 얻어진 단층화상), 단순 방사선상, 또는 컴퓨터 단층촬영(CT)상 등의 모달리티에 따른 의료용 화상의 종류다.
진단 지원 장치(100)는, 의료용 화상취득부(102), 기억부(104), 해석 정보취득부(106), 화상처리부(108), 판정부(110), 위치 취득부(112), 표시 제어부(116) 및 표시부(118)를 구비한다. 도 2a 및 2b에 도시된 CPU(1001)는, 의료용 화상취득부(102), 해석 정보취득부(106), 화상처리부(108), 판정부(110), 위치 취득부(112) 및 표시 제어부(116)로서 기능한다.
의료용 화상취득부(102)는, 광간섭 단층촬영장치(200)로부터 진단 지원 장치(100)에 송신된 의료용 화상과, 그 의료용 화상의 촬영 정보에 관한 데이터를 취득한다. 의료용 화상 및 그 의료용 화상의 촬영 정보를, 기억부(104)에 기억해두고, 유저로부터의 요구에 응답해서 기억부(104)로부터 판독하여도 된다. 혹은, 진단 지원 장치(100)에 솔리드 스테이트 디스크(SSD), 하드 디스크 드라이브(HDD), 플로피 디스크 드라이브(FDD), USB메모리, 컴팩트 디스크(CD)드라이브, 디지털 다기능 디스크(DVD)드라이브, 광자기(MO) 디스크 드라이브, 또는 집 드라이브 등의 (도시되지 않은) 외부 기억장치를 접속하고, 의료용 화상취득부(102)는 외부 기억장치로부터 상기 정보를 취득해도 된다. 본 실시예에서는, 일례로서, 의료용 화상취득부(102)는 광간섭 단층촬영장치(200)로부터 단층화상 및 그 단층화상의 촬영 정보에 관한 데이터를 취득하는 것으로 한다. 즉, 의료용 화상취득부(102)는 피검안의 단층화상을 취득하는 취득부의 일례에 해당한다.
의료용 화상취득부(102)는, 취득된 의료용 화상을 화상처리부(108)와 표시 제어부(116)에 출력하고, 촬영된 의료용 화상의 촬영 정보를 상기 해석 정보취득부(106)에 출력한다.
기억부(104)는, 진단 대상이 되는 의료용 화상의 부위에 각각 적용되는 복수의 소견 후보를 포함하는 제1의 테이블 정보와, 각각 그 소견 후보에 대응하는 화상처리 파라미터를 포함하는 제2의 테이블 정보를 기억하고 있다. 이 화상처리 파라미터 각각은, 복수의 소견 후보의 각각을 특정하기 위한 화상처리에 사용된 파라미터다. 상기 제1의 테이블 정보와 제2의 테이블 정보의 상세에 대해서는 도 5a 및 5b를 참조하여 후술한다.
해석 정보취득부(106)는, 의료용 화상취득부(102)가 취득한 의료용 화상의 종류와 부위에 관한 정보에 근거하여, 기억부(104)로부터 해석 정보(화상처리 파라미터)를 취득한다. 구체적으로는, 해석 정보취득부(106)는, 기억부(104)에 기억된 제1의 테이블 정보로부터, 의료용 화상취득부(102)로부터 취득된 의료용 화상의 종류 및 부위에 대응하는 복수의 소견 후보를 취득한다. 한층 더, 해석 정보취득부(106)는, 그 취득된 복수의 소견 후보에 근거하여, 기억부(104)에 기억된 제2의 테이블 정보로부터, 그 후보에 각각 대응하는 화상처리 파라미터를 취득한다. 해석 정보취득부(106)는, 복수의 소견 후보를 판정부(110)에 출력하고, 화상처리 파라미터를 화상처리부(108)에 출력한다.
화상처리부(108)는, 의료용 화상취득부(102)가 취득한 의료용 화상과, 해석 정보취득부(106)가 취득한 화상처리 파라미터에 근거하여, 의료용 화상에 대하여 화상 처리를 실행한다. 화상처리부(108)는, 화상처리의 결과를 판정부(110) 및 위치 취득부(112)에 출력한다.
판정부(110)는, 해석 정보취득부(106)가 취득한 복수의 소견 후보와, 화상처리부(108)가 실행한 화상처리의 결과에 근거하여, 복수의 소견 후보 중 어느 소견 후보가 의료용 화상에 존재하는 것인가 아닌가를 판정한다. 즉, 판정부(110)는, 어느 소견 후보가 의료용 화상에 해당하는 소견인가 아닌가를 판정한다. 판정부(110)는, 판정 결과를 위치 취득부(112)에 출력한다.
위치 취득부(112)는, 화상처리부(108)가 실행한 화상처리의 결과와, 판정부(110)에서 해당하는 소견으로서 판정된 소견 후보에 근거하여, 소견에 대응하는 의료용 화상에 있어서의 병으로 병변 또는 질환의 위치(이상부위)를 나타내는 정보를 취득한다. 그 위치를 나타내는 정보의 취득에 대해서는 후술한다. 위치 취득부(112)는, 취득한 위치를 나타내는 정보를, 판정부(110)에서 해당하는 소견으로서 판정된 소견 후보와 관련지어, 표시 제어부(116)에 출력한다.
표시 제어부(116)는, 의료용 화상취득부(102)가 취득한 의료용 화상과, 위치 취득부(112)가 취득한 의료용 화상에 있어서의 그 위치를 나타내고 상기 해당하는 소견으로서 판정된 소견 후보와 관련지어진 정보에 근거하여, 표시를 제어한다. 상기 소견 후보와 관련지어진 의료용 화상에 있어서의 위치는, 소견에 대응하는 병변(이상부위)의 의료용 화상에 있어서의 위치다. 구체적으로는, 표시 제어부(116)는, 의료용 화상을 표시부(118)에 표시시켜, 표시된 의료용 화상에, 상기 해당하는 소견으로서 판정된 소견 후보를 중첩시킨다. 표시 제어부(116)는, 소견의 위치를 나타내는 표시(후술하는 마커 등)를 표시부(118)에 표시시켜도 된다.
표시부(118)는, 표시 제어부(116)에 의해 제어된 표시 내용을 표시한다. 표시부(118)는 진단 지원 장치(100)에 구비되어 있지만, 이것에 한정되는 것이 아니다. 표시부(118)는 진단 지원 장치(100)로부터 따로 설치되어도 된다.
도 1에 나타낸 진단 지원 장치(100)의 각 부의 적어도 일부는 독립적인 장치로서 실현되어도 된다. 이와는 달리, 각 부는 각각의 기능을 실현하는 소프트웨어로서 실현되어도 된다. 본 실시예에서는, 각 부는 각각 소프트웨어에 의해 실현되어 있는 것으로 한다.
도 2a 및 2b는, 진단 지원 장치(100)의 하드웨어 구성의 예들을 도시한 도면을 제공한다. 중앙처리장치(CPU)(1001)는, 주로 각 구성 요소의 동작을 제어한다. 주 메모리(1002)는, CPU(1001)가 실행한 제어 프로그램을 기억하거나, CPU(1001)에 의한 프로그램의 실행시에 작업 영역을 제공한다. 자기 디스크(1003)는, 오퍼레이팅 시스템(OS), 주변기기의 디바이스 드라이버, (후술하는) 처리 등을 행하기 위한 프로그램을 포함하는 각종 애플리케이션 소프트웨어를 실현하기 위한 프로그램을 기억한다. CPU(1001)는, 주 메모리(1002) 및/또는 자기 디스크(1003)에 기억된 프로그램을 실행하기 때문에, 도 1에 나타낸 진단 지원 장치(100)의 기능(소프트웨어) 및 (후술하는) 흐름도에 있어서의 처리를 실현한다.
표시 메모리(1004)는, 표시용 데이터를 일시 기억한다. 모니터(1005)는, 표시부(118)의 일례이며, 예를 들면 음극선관(CRT) 모니터나 액정 모니터 등이다. 모니터(1005)는, 표시 메모리(1004)로부터의 데이터에 근거해서 화상이나 텍스트 등을 표시한다. 마우스(1006) 및 키보드(1007)는, 유저에 의한 포인팅 입력 및 문자들의 입력을 각각 접수한다. 상기 구성 요소들은, 공통 버스(1008)에 의해 구성 요소들간에 통신가능하게 서로 접속되어 있다.
또한, 도 2a에 있어서의 모니터(1005), 마우스(1006) 및 키보드(1007)는, 도 2b에 도시한 바와 같이 터치패널 모니터(1015)로 바꿔 놓아도 된다. 이 터치패널 모니터(1015)는, 예를 들면, 터치패널 액정 디스플레이(LCD) 모니터다. 그 터치패널 모니터(1015)는, 표시 메모리(1004)로부터의 데이터에 근거해서 화상과 텍스트를 표시함과 아울러, 유저에 의한 포인팅 입력 및 문자의 입력을 접수한다. 또한, 터치패널 모니터(1015)와 아울러, 마우스(1006) 및 키보드(1007)를 설치하여도 된다. 터치패널 모니터(1015)를 구비하는 상기 장치로 환자를 선택할 경우, 표시부(118)에 표시된 복수의 환자정보(환자 신원(ID)) 중 하나의 환자정보를 조작자가 탭 함으로써 소망의 환자정보가 가선택된다. 그리고, 가선택이 행해진 후에, 조작자가 스와이프(swipe)를 행하는 것으로 환자정보가 선택된다. 스와이프를 행하는 터치패널상의 위치는, 원하는 환자정보가 표시된 위치와는 다른 위치이여도 된다. CPU(1001)는 상기 탭 및 스와이프의 동작을 검출해서 원하는 환자정보를 선택한다. 즉, CPU(1001)는, 표시부에 리스트 형으로 표시된 복수의 환자정보 중 하나의 환자정보가 탭 되었을 경우에 상기 하나의 환자정보를 가선택하고, 상기 탭후 스와이프가 행해졌을 경우에 상기 하나의 환자정보를 선택하는 선택부의 일례다. 환자정보가 선택되면 의료용 화상취득부(102)는, 그 선택부에 의해 선택된 환자정보에 대응하는 단층화상을 취득한다. 이러한 환자정보의 선택 방법을 채용함으로써, 작은 문자로 표시된 복수의 환자정보로부터 조작자의 의도에 해당한 환자정보를 용이하게 선택할 수 있다. 예를 들면, 더블 탭으로 환자정보를 선택할 경우에는, 같은 위치를 더블 탭 하는 것이 어렵기 때문에, 원하는 환자정보를 신속하게 선택하는 것이 어려울 수도 있다. 상술한 환자정보를 탭 하고 스와이프 하는 선택 방법은, 같은 위치를 더블 탭 하는 곤란함을 해결한다.
다음에, 도 3a의 흐름도를 참조하여, 진단 지원 장치(100)가 실행한 처리의 일례를 설명한다. 도 3a는, 진단 지원 장치(100)가 실행한 처리의 일례를 도시한 흐름도다. 본 실시예에서는, CPU(1001)가 주 메모리(1002)에 기억된, 진단 지원 장치(100)의 각 부의 기능을 실현하는 프로그램을 실행함에 의해 도 3a에 나타낸 처리가 실현된다.
단계S3000에 있어서, 의료용 화상취득부(102)는, 광간섭 단층촬영장치(200)로부터 송신된 의료용 화상과, 촬영한 의료용 화상의 종류에 관한 정보와, 의료용 화상의 부위에 관한 정보를 취득한다. 본 실시예의 예에서는, 의료용 화상은 광간섭 단층촬영장치(200)로 촬영한 단층화상(H스캔 상)이므로, 의료용 화상취득부(102)는, 의료용 화상의 종류에 관한 정보로서 "OCT"를, 의료용 화상의 부위에 관한 정보로서 "황반부"를 취득한다. 이때, 의료용 화상의 부위에 관한 정보는 "황반부"에 한정되는 것이 아니다.
단계S3010에 있어서, 해석 정보취득부(106)는, 단계S3000에서 취득한 의료용 화상의 종류에 관한 정보와 의료용 화상의 부위에 관한 정보에 근거하여, 기억부(104)에 기억된 제1의 테이블 정보로부터 대응하는 복수의 소견 후보를 취득한다.
도 5a는, 기억부(104)에 기억된 제1의 테이블 정보의 일례를 도시한 도면이다. 이 테이블 정보에는, 피검안의 안저의 부위와 화상의 종류의 정보가 관련되고, 화상의 종류의 정보와 복수의 소견 후보가 관련되게 기억되어 있다. 본 실시예의 예에 있어서, 부위가 "황반부"이고 화상의 종류가 "OCT"이므로, 해석 정보취득부(106)는 중심와 낭포모양 구멍, 섬유층 낭포모양 구멍, 및 황반원 구멍 등의 복수의 소견 후보를 취득한다. 이것은, 부위 및 화상의 종류에 따라서 판단할 수 있는 소견이 다르기 때문이다. 또한, 화상의 종류에 관련된 소견 후보는 반드시 복수일 필요는 없다. 예를 들면, 부위가 보다 작은 섹션으로 분류되는 경우, 화상의 종류에 관련되는 소견 후보의 수는 1개이어도 된다. 또한, 도 5a의 예에 있어서, 화상의 종류를 생략하고, 부위에 소견을 관련시켜도 된다. 즉, 제1의 테이블 정보는 도 5a에 나타낸 예에 한정되지 않는다.
단계S3020에 있어서, 해석 정보취득부(106)는, 단계S3010에서 취득한 복수의 소견 후보에 근거하여, 기억부(104)의 제2의 테이블 정보로부터, 복수의 소견 후보를 각각 특정하는데 필요한 화상처리 파라미터를 취득한다. 본 실시예에서는, 해석 정보취득부(106)는, 화상처리 파라미터를 취득하기 위해서, 소견 후보의 정보의 이외에, 단계S3000에서 취득한 의료용 화상의 종류에 관한 정보도 사용하는 것으로 한다.
도 5b는, 기억부(104)에 기억된 제2의 테이블 정보의 일례를 도시한 도면이다. 예를 들면, 소견이 "섬유층 낭포모양 구멍"이며, 화상의 종류가 "OCT"일 경우는, "X:25%∼75%, Z:30%∼70%, 화소값:10이하"의 화상처리 파라미터가 그 소견과 관련되어 있다. 해석 정보취득부(106)는, 이러한 화상처리 파라미터를, 단계S3010에서 취득한 복수의 소견 후보 각각에 관해서 취득한다. 이 경우에, Z:30%∼70%는, 예를 들면, 단층화상에 있어서의 망막영역을 나타내고 있다.
본 실시예의 예에서는, 의료용 화상의 종류가 "OCT"이므로, 단계S3010에서 소견 후보로서 "중심와 낭포모양 구멍"이 취득되어 있다. 따라서, 해석 정보취득부(106)는, 제2의 테이블 정보로부터 "X:40%∼60%, Z:30%∼70%, 화소값:10이하"의 화상처리 파라미터를 취득한다.
또한, 도 5b의 예에 있어서, 화상의 종류를 생략하고, 소견을 화상처리 파라미터에 관련시켜도 된다. 즉, 제2의 테이블 정보는 도 5b에 나타낸 예에 한정되지 않는다.
단계S3030에 있어서, 화상처리부(108)는, 단계S3000에서 취득된 의료용 화상과, 단계S3020에서 취득된 화상처리 파라미터에 근거하여, 의료용 화상에 대하여 화상 처리를 실행한다. 이하에 기재된 예에서는, 256계조의 모노크롬 화상의 배경에 해당하는 저반사 영역은 블랙(화소값은 0)으로 가정한다.
화상처리는, 도 3b의 흐름도와 도 4a 내지 4c를 참조하여 설명된다. 도 3b는 단계S3030의 처리의 일례의 상세설명을 나타내는 흐름도다. 도 4a는 단층화상의 일례를 도시한 도면이다. 도 4a에 있어서, 참조부호 400은 단층화상, 401은 망막층 영역, 402는 황반부, 403은 내경계막(ILM) 혹은 신경섬유층(NFL)의 상부, 404는 망막색소상피층(RPE)을 나타낸다. 한층 더, 도 4a에 있어서, 참조부호 405는 후유리체 박리, 406은 덮개, 410은 배경영역, 420은 시신경 유두부 영역, 421은 시신경 유두부, 430의 망막층 상부의 사선영역은 유리체를 나타낸다. 도 4a에 도시한 바와 같이, 단층화상에는 망막을 나타내는 영역과 배경영역(410)(망막이외의 영역)이 포함되어 있다.
단계S3031에 있어서, 화상처리부(108)는 단층화상으로부터 노이즈를 감소시킨다. OCT촬영에 있어서, 라인 스캔 또는 크로스 스캔시에, 광간섭 단층촬영장치(200)는 눈의 트랙킹을 실행하고, 공간적으로 동일한 위치에서 복수회 촬영한다. 그리고, 그 동일 위치에서 촬영한 복수의 단층화상을 위치 맞추고(정렬하고), 그 단층화상간에 대응한 복수의 화소에서 평균화처리를 실행한다. 이에 따라, 단층화상에 대해 노이즈 감소의 처리를 실행한다. 이 경우에, 화상처리부(108)에 의해 이미 단층화상의 위치 맞춤과 평균화처리가 실행된 것으로 가정한다. 상술한 것 같이, 화상처리부(108)가, 복수회 촬영된 단층화상의 위치 맞춤을 행하고 평균화처리를 실행하므로, 랜덤 노이즈가 감소된다. 그러나, 촬영시에 피검안의 상태(고시불량)에 따라, 위치 맞춤시의 단층화상간의 유사도가 저하한다. 이 때문에, 유사도가 소정의 역치보다도 낮은 소정의 매수의 단층화상에 대해 평균화처리를 실행하지 못할 수도 있다. 이 경우, 평균화에 사용된 단층화상의 매수에 따라 화상의 노이즈 레벨이 다르기도 하다. 예를 들면, 도 4a의 영역 410의 히스토그램을 도 4b와 4c에 나타낸다. 도 4b는 평균화처리의 화상의 매수가 적은(예를 들면, 1∼3매) 히스토그램411의 일례다. 도 4c는 평균화처리의 화상의 매수가 많은(예를 들면, 10매 이상) 히스토그램412의 일례다. 도 4b, 4c의 검은 부분이 영역 410의 히스토그램을 나타내고 있다. 도 4b, 4c 각각의 종축은 빈도, 횡축은 휘도를 나타내고 있다. 도면에 도시된 바와 같이, 평균화처리에 사용된 단층화상의 매수에 따라 노이즈가 다르다. 이 때문에, 화상처리부(108)는, 노이즈의 레벨에 따라서 노이즈 감소의 파라미터를 변경한다. 단층화상으로부터 노이즈를 감소하는 방법으로서, 예를 들면, 우선, 화상처리부(108)는, 단층화상의 망막내층의 배경에 해당하는 영역 410(유리체 및 공막의 적어도 한쪽)으로부터 노이즈를 추정한다. 그리고, 화상처리부(108)는, 노이즈량에 따라서 노이즈 감소에 사용하는 메디안 필터나 가우시안 필터 등의 필터 사이즈를 변경한다. 화상처리부(108)는, 노이즈량이 많을 경우에는 필터 사이즈를 크게 하고, 노이즈량이 적을 경우에는 필터 사이즈를 작게 한다. 이에 따라, 노이즈 감소에 의한 화상의 흐려짐을 적게 한다. 노이즈량이 많을 경우에는 노이즈를 감소할 수 있다. 또한, 필터 사이즈의 상한치는, 화소당 물리 사이즈에 의해 결정되는 것이 바람직하다. 예를 들면, 1mm의 범위를 A스캔 100개의 라인으로 촬영했을 경우와, 1mm의 범위를 A스캔 50개의 라인으로 촬영했을 경우는, 화상의 화소에 해당하는 화상범위가 달라도 된다. 즉, X방향의 노이즈 감소 필터의 파라미터를 10이라고 설정했을 경우에, 화소당 물리 사이즈는, 100개의 라인으로 촬영하는 경우에 0.1mm정도이지만, 50개의 라인으로 촬영한 경우에는 0.2mm정도이다. 이 때문에, 동일한 범위에서 노이즈 감소를 실행하도록 파라미터를 조정한다.
단계S3032에 있어서, 화상처리부(108)는 단층화상의 농도를 정규화 한다. 이것은, 기준이 되는 단층화상과 처리의 대상이 되는 단층화상간에 휘도의 농담 레벨을 가능한 한 일치시키는 처리다. 이에 따라, 피검안마다의 화상의 밝기의 차이를 흡수한다. 농담 보정의 방법은, 기준화상과 대상화상간의 히스토그램을 일치시키는 방법 또는, 농담변환 테이블을 사용해서 농담 레벨을 일치시키는 방법이어도 된다. 또한, 배경이 화이트(화소값은 255)인 단층화상일 경우에는, 화상처리부(108)는 흑/백 반전을 실행한다. 본 화상처리에서는, 단층화상의 배경이 블랙인 경우에 대해서 설명을 하고 있다. 그렇지만, 그것은 이것에 한정되지 않는다. 단층화상의 배경이 화이트인 경우를 기준으로서 생각해도 된다. 이 경우, 화상처리 파라미터의 역치로서 화소값이 10이하로 설정된 화소값은, 245이상이 된다.
단계S3033에 있어서, 화상처리부(108)는 시신경 유두부를 검출한다. 황반질환에 관한 경우에는, 시신경 유두부 영역을 제거해서 처리를 실행한다. 시신경 유두부에 관한 경우에는, 시신경 유두부를 추출한다. 여기에서는, 예를 들면, 황반질환의 진단 지원에 대해서 설명한다. 이 경우, 화상처리부(108)는, 단층화상으로부터 시신경 유두부 영역을 제거한다. 도 4a에 도시한 바와 같이, 시신경 유두부는 단층화상에 있어서 큰 컵 형상을 하고 있다. 이 때문에, 화상처리부(108)는, 단층화상으로부터 큰 함몰 영역을 검출한다. 혹은, 화상처리부(108)는, 주사형 레이저 검안경(SLO)화상이나 안저 사진(안저화상)이 있을 경우에는, 그 화상으로부터 원형의 시신경 유두부를 검출하고, 검출된 시신경 유두부를 단층화상의 촬영 범위에 대응시킨다. 이렇게 하여, 화상처리부(108)는, 단층화상으로부터 시신경 유두부를 검출하여도 된다. 황반부 중심의 수평 스캔의 경우, 앞에서 본 것처럼 좌안의 좌측에 시신경 유두부가 있고, 앞에서 본 것처럼 우안의 우측에 시신경 유두부가 있으므로, 간단히 단층화상의 단부분(시신경 유두부측)을 무효영역으로서 결정하여도 된다. 황반부 중심의 수직 스캔의 경우에, 시신경 유두부가 촬영되지 않으므로, 본 단계의 처리를 실행할 필요는 없다.
단계S3034에 있어서, 화상처리부(108)는 망막영역을 검출한다. 구체적으로는, 화상처리부(108)는, 단층화상으로부터 ILM과 RPE를 검출하고, 이것들의 층 경계 사이에 배치된 영역을 망막영역으로서 검출한다. 또는, ILM과 RPE 사이에 배치된 영역에 한정되지 않고, 화상처리부(108)는, ILM 및 NFL의 한쪽과 RPE 및 시세포 내절/외절 경계(IS/OS)의 한쪽과의 사이에 배치된 영역을, 망막영역으로서 검출하여도 된다.
또한, 망막영역이 배경영역보다 밝으므로, 화상처리부(108)는, 판별 분석법을 사용해서 2값화를 실행하고, 그 화상으로부터 밝은 영역을 검출한다. 화상처리부(108)는, 형태학적 변환(클로징(closing)이나 오프닝(opening))을 실행해서 밝은 영역을 연결함과 아울러, 노이즈 부분을 제거한다. 화상처리부(108)는, 그 영역에 대하여 중심선을 구하고, 중심선보다 위쪽이고 그 영역내의 상부 에어리어(예를 들면, 상단)에서의 위치에 ILM의 초기 경계선을 설정하고, 그 중심선보다 아래이고 그 영역내의 하부 에어리어(예를 들면, 하단)에서의 위치에 RPE의 초기 경계선을 설정한다. 화상처리부(108)는, 그 경계선에 대하여 Snakes등의 윤곽선 추출 알고리즘을 적용해서 층 경계를 검출한다. Snakes에서는, 형상 에너지Eshape와 화상 에너지EImage를 정의하고, 반복 계산에 의해 그 에너지들을 최소화한다. 형상 에너지Eshape는, 망막층의 형상이 보다 매끄러워질수록 작아지도록 정의되고, 화상 에너지EImage는, 일부의 엣지 강도가 보다 강할수록 작아지도록 정의된다. 화상처리부(108)는, 초기값으로 설정한 경계선의 전체 검출 점을 움직이면서 에너지가 최소가 되는 부분을 찾는다. 따라서, 그 초기 경계선들은, 층의 경계(강한 엣지)와 원활한 형상을 갖는 것으로서 최종적으로 출력된다. 즉, 화상처리부(108)는, 단층화상으로부터 층 경계를 추출하는 추출부의 일례에 해당한다. 화상처리부(108)는, 상기한 예에서는, ILM(내경계막) 및 RPE(망막색소상피층)를 추출하지만, 이것에 한정되지 않는다. 예를 들면, 화상처리부(108)는, 내경계막 및 신경섬유층 경계의 적어도 한쪽 및 망막색소상피층 경계 및 시세포 내절/외절 경계 중 적어도 한쪽을 추출하여도 된다.
일반적으로, Snakes에 의해 층경계를 원활한 경계선으로서 검출하므로, 황반원 구멍으로 인해 망막층에 구멍이 생긴 경우에도, ILM의 경계선은 원활한 경계선으로서 검출된다. 망막 두께가 계측되는 경우에, 경계선정보에 근거하여 계측을 행하기 위해서, 화상처리부(108)는, 여기에서 검출한 ILM의 경계선에 근거하여, (후술하는) 단계S3037의 유리체 존재 영역이 검출될 때 ILM경계선을 보정해도 된다. 또는, 층 경계의 검출에는 기지의 각 종 수법 중 어느 한 수법을 사용해도 된다.
단계S3035에 있어서, 화상처리부(108)는 망막위치을 깊이 방향(Z방향)으로 정규화 한다. 망막위치는, 사전에 설정된 기준화상에 맞도록, 단계S3034에서 구한 중심선을 사용해서 망막의 깊이 방향의 위치를 기준화상에 있어서의 망막의 위치와 정렬하여서 정규화 된다. 그 정규화는, 소견 후보 검출시의 위치를 보다 쉽게 특정하기 위해서, 또한 단층화상에 소견을 표시하는 장소를 확보하기 위해서, 실행된다.
단계S3036에 있어서, 화상처리부(108)는 황반부의 후보영역을 검출한다. 황반부는 단층화상에 있어서 작은 컵 형상(함몰 형상)을 하고 있다. 예를 들면, 황반부의 컵은, 시신경 유두부의 컵보다 작다. 이 때문에, 화상처리부(108)는 단층화상으로부터 작은 함몰 영역을 검출한다. 혹은, SLO화상이나 안저 사진(안저화상)이 있을 경우에는, 화상처리부(108)는 그 화상으로부터 황반부를 검출하고, 검출된 황반부를 단층화상의 촬영 범위와 대응시키는 것으로 단층화상으로부터 황반부를 검출해도 된다. 혹은, 황반부 중심에서 촬영을 행했을 경우, 황반부가 단층화상의 중심부근에 위치되므로, 화상처리부(108)는 간단히 단층화상의 중심부근의 에어리어를 황반부로서 검출해도 된다. 아울러, 이와는 달리, 화상처리부(108)는 단계S3033에서 검출된 시신경 유두부의 위치를 기준으로서 황반부를 검출해도 된다. 시신경 유두 지름(DD)과, 시신경 유두의 중심으로부터 황반 중심와까지의 거리(DM)의 비율은, 통상, 2.4로부터 3.0까지의 범위에 있다. 이 때문에, 화상처리부(108)는 그 비율을 사용해서 대략적으로 황반부 영역을 특정해도 된다.
단계S3037에 있어서, 화상처리부(108)는 유리체 존재 영역(도 4a의 사선부 430)을 검출한다. 화상처리부(108)는, 단계S3034에서 검출된 망막영역(혹은 ILM)을 기준으로서 단층화상의 Z방향의 얕은 깊이측(상측)을 유리체 영역으로서 검출한다. 또한, 화상처리부(108)는, 유리체 영역내에 있어서 세선화처리를 실행하고, 후유리체 박리 후보로서 405를 추출해도 된다(도 5b 참조). 또한, 후유리체 박리 후보(405)의 추출은 단계S3038에서 실행되어도 된다. 여기에서, 유리체 존재 영역(430) 검출 후에 화상처리부(108)가 ILM의 보정을 행하는 경우에 대해서 설명한다. 황반원 구멍으로 인해 황반부에 구멍이 생긴 경우, 원활한 선으로서 검출된 ILM경계선은 유리체 존재 영역(430)을 가로 지른다. ILM경계선에 의해 유리체 존재 영역(430)이 분할되므로, 그 부분에 대해서는, ILM경계선을 재검출해도 된다.
그리고, 단계S3038에 있어서, 화상처리부(108)는 복수의 소견 후보에 각각 대응하는 화상처리 파라미터에 근거하여, 화상처리(병변후보의 영역추출)를 실행한다. 여기에서는, "섬유층 낭포모양 구멍"의 화상처리 파라미터 "X:25%∼75%, Z:30%∼70%, 화소값:10이하"를 예로 해서 설명한다. 이 경우, 사전처리에서 정규화된 단층화상으로부터, 화상처리부(108)는 상기 화상처리 파라미터에 근거하여, 단층화상의 X좌표가 25%∼75%, Z좌표가 30%∼70%의 직사각형 범위에서 화소값이 10이하인 화소를 추출한다. 이러한 처리를 복수의 소견 후보 각각에 대해서 실행한다. 본 실시예에서는 단층화상의 수는 1매이다. 그렇지만, 단층화상이 복수 존재할 경우에는, 복수의 단층화상 각각에 대하여 상기 처리를 실행한다.
처리는 도 3a의 단계S3040에 되돌아간다. 단계S3040에 있어서, 판정부(110)는, 단계S3020에서 취득된 복수의 소견 후보와, 단계S3030에서 실행한 화상처리의 결과에 근거하여, 복수의 소견 후보 각각이 대응한 소견인가 아닌가(복수의 소견 후보 각각이 단층화상에 존재하는가 아닌가)를 판정한다.
예를 들면, "섬유층 낭포모양 구멍"에 대하여는, 판정부(110)는, 추출한 화소에 있어서 인접하고 있는 화소를 하나의 영역으로서 인식하고, 각 영역의 종횡비(짧은 변/긴 변)를 계산한다. 그리고, 판정부(110)는, 예를 들면 종횡비가 0.7이하가 되는 영역을 "섬유층 낭포모양 구멍"에 해당한다고 판정한다. "후유리체 박리"일 경우에, 판정부(110)는, 세선화 처리에 의해 추출된 선의 길이가 역치이상(예를 들면, 화상의 X방향의 길이의 20%)이면 "후유리체 박리"에 해당하는 것으로서 영역을 판정한다. 즉, 화상처리부(108) 및 판정부(110)는, 취득부에 의해 취득한 단층화상에 대하여 구조해석을 실행하여서 피검안의 이상부위를 검출하는 검출부의 일례에 해당한다.
판정 기준은 제2의 테이블 정보의 일부로서 기억되어도 좋거나, 기억부(104)가 그 판정 기준을 기억하는 (도시되지 않은) 제3 테이블 정보를 포함하여도 된다.
또한, 단계S3038에 있어서, Z좌표가 30%∼70%의 영역을 처리 대상으로 삼고 있지만, 층 경계의 검출 결과를 사용해서 처리 대상의 영역을 결정하여도 된다. 예를 들면, Z좌표가 30%∼70%의 영역을 ILM과 RPE와의 사이에 배치된 영역(제1영역의 일례)으로 바꿔 놓아도 된다. 즉, 섬유층 낭포모양 구멍의 영역(제1이상부위의 일례)을 검출하기 위해서, 화상처리부(108)는 단층화상의 X좌표가 25%∼75%이고 ILM과 RPE와의 사이에 배치된 영역에 대하여 화소값이 10이하인 화소를 추출하여도 된다. 또한, 도 5b의 제2의 테이블에 도시한 바와 같이, 화상처리부(108)는, 후유리체 박리의 영역(제2이상부위의 일례)을 검출하기 위해서 층 경계의 검출 결과인 ILM보다 상측에 위치된 영역(제2영역의 일례)에서 세선화 처리를 행한다. 즉, 화상처리부(108) 및 판정부(110)는, 추출부에 의해 추출된 층 경계(예를 들면, ILM)에 의해 규정된 단층화상에 있어서의 제1영역과 제2영역에 대하여 다른 알고리즘의 구조해석을 적용하여, 제1영역으로부터 제1이상부위를 검출하고, 제2영역에서 제1이상부위와는 다른 제2이상부위를 검출한다.
또한, 내경계막 및 신경섬유층 경계의 한쪽과 망막색소상피층 경계 및 시세포 내절/외절 경계의 한쪽과의 사이에 배치된 영역은, 제1영역으로서의 역할을 하기도 한다. 또한, 내경계막과 상기 신경섬유층 경계 중 한쪽에 대해 유리체측의 영역이, 제2영역으로서의 역할을 하기도 한다. 그리고, 상기한 바와 같이 정의된 제1영역 및 제2영역에 대하여 다른 알고리즘의 구조해석을 적용함으로써 제1이상부위 및 제2이상부위를 생성해도 된다.
도 6은 단계S3030에 있어서의 화상처리 결과의 일례와, 단계S3040에 있어서의 판정 결과의 일례를 나타낸 도다. 도 6에 나타낸 RPE층(610)과 ILM(620)은, 단층화상(600)으로부터 단계S3030의 처리에 의해 추출된 층 경계다.
섬유층 낭포모양 구멍의 해당 영역 630과 섬유층 낭포모양 구멍의 비해당 영역 635는, 단계S3030에 있어서, "섬유층 낭포모양 구멍"에 대한 화상처리 파라미터를 사용하여서 추출된 영역을 나타낸다. 도 6에 도시한 바와 같이, 섬유층 낭포모양 구멍의 해당 영역 630에서는, 종횡비가 0.7이하(즉, 횡길이)이기 때문에, 판정부(110)는, 해당 영역 630이 "섬유층 낭포모양 구멍"에 해당한다고 판정한다. 이에 반해서, 섬유층 낭포모양 구멍의 비해당 영역 635에서는, 종횡비가 0.7을 초과하기 때문에, 판정부(110)는 "섬유층 낭포모양 구멍"에 해당하지 않는다고 판정한다. 마찬가지로, 후유리체 박리에 해당한 영역 640은, 단계S3030에 있어서, "후유리체 박리"에 대한 화상처리 파라미터에 의해 추출된 선을 나타낸다. 이 예의 경우에, 그 선의 X방향의 길이가 화상의 X방향의 길이의 20%를 초과하므로, 판정부(110)는 "후유리체 박리"에 해당한다고 판정한다. 이러한 판정을 복수의 소견 후보 각각에 대해서 행한다. 도 6의 예에서는, 상술한 소견의 이외에, 황반원 구멍(650)과 덮개(660)가 해당하는 소견으로서 판정된다. 본 실시예에 있어서 컴퓨터(진단 지원 장치100)가 판정한 소견을, 컴퓨터 보조 진단(CAD) 소견이라고 칭한다.
단계S3050에 있어서, 위치 취득부(112)는, 단계S3030에서 실행한 화상처리의 결과와, 단계S3040에서 해당한다고 판정한 소견 후보에 근거하여, 소견에 대응하는 의료용 화상의 위치를 나타내는 정보(소견의 위치를 나타내는 정보)를 취득한다. 그 위치를 나타내는 정보는, 위치를 특정할 수 있는 정보이면 어떤 정보이여도 된다. 본 실시예에 있어서, 위치 취득부(112)는, 소견에 해당한다고 판정된 화상영역을 내포하는 직사각형의 정보(예를 들면, 4개의 정점 좌표)를, 소견의 위치를 나타내는 정보로서 취득한다. 바꿔 말하면, 위치 취득부(112)는, 소견에 해당한다고 판정된 화상영역에 외접하는 직사각형의 정보(예를 들면, 직사각형의 4개의 정점 좌표)를, 소견의 위치를 나타내는 정보로서 취득한다. 위치 취득부(112)가 취득한 정보는, 화상영역을 내포 혹은 화상영역에 외접하는 직사각형의 정보에 한정하는 것이 아니고, 그 영역이 화상영역을 포함하고 있으면 직사각형이외의 형상이여도 된다.
도 6에 나타낸 예에서는, 위치 취득부(112)는, 단계S3040에서 "섬유층 낭포모양 구멍"이라고 판정된 영역에 대하여 섬유층 낭포모양 구멍 위치 정보(632)와, "후유리체 박리"라고 판정된 영역에 대하여 후유리체 박리 위치 정보(642)를 취득한다. 이 경우에, 섬유층 낭포모양 구멍 위치 정보(632)는 섬유층 낭포모양 구멍의 해당 영역 630에 외접하는 직사각형 영역의 위치 정보이며, 후유리체 박리 위치 정보(642)는 후유리체 박리의 해당 영역 640에 외접하는 직사각형 영역의 위치 정보다.
위치 취득부(112)는, 판정된 복수의 소견 후보 각각에 대해서 이러한 소견의 위치를 나타내는 정보를 취득한다. 도 6에 나타낸 예에서는, 황반원 구멍 위치 정보(652)와, 덮개 위치 정보(662)가 취득된다. 동일 소견의 위치를 나타내는 정보는, 각각의 영역 각각에 대해서 취득되어도 된다. 또는, 각각의 영역에 우선도를 부여하고, 우선도가 가장 높은 영역의 위치를 나타내는 정보를, 그 소견의 위치를 나타내는 정보로서 취득해도 된다. 우선도는, 예를 들면 직사각형의 면적, 화상중앙으로부터의 거리, 및 화상의 끝으로부터의 거리 중 적어도 하나에 관해 결정되어도 된다. 예를 들면, 단층화상에 있어서 동일 소견이 복수 존재할 경우에는, 직사각형 면적이 큰 소견을 높은 우선도를 부여하고, 동일 소견 중 직사각형 면적이 큰 소견의 위치를 나타내는 정보만을 취득하여도 된다.
단계S3060에 있어서, 표시 제어부(116)는, 표시부(118)에 표시시키는 내용을 제어한다. 그리고, 표시부(118)는, 표시 제어부(116)로 제어된 표시 내용을 표시한다.
구체적으로는, 표시 제어부(116)는, 단계S3050에서 취득한, 단계S3040에 있어서 해당 소견이라고 판정된 소견의 단층화상에 있어서의 위치를 나타내는 정보를 사용하고, 단계S3000에서 취득한 단층화상 위에, 해당한 소견이라고 판정된 소견의 정보를 중첩해서 표시시킨다. 보다 구체적으로는, 표시 제어부(116)는 단층화상을 표시부(118)에 표시시킴과 아울러, 소견을 문장 혹은 단어로서 중첩해서 표시시킨다. 즉, 표시 제어부(116)는, 검출부에 의해 검출된 이상부위의 소견을 문장 혹은 단어로서 단층화상에 중첩해서 표시부에 표시시키는 표시 제어부의 일례에 해당한다. 또한, 표시 제어부(116)는, 소견에 해당한다고 판정한 화상영역(이상부위)의 위치에 대응하는 단층화상상의 위치에 소견을 표시시킨다.
본 실시예에서는, 표시 제어부(116)가, 해당하는 소견에 대하여, 이하의 표시 규칙 하에 단층화상 위에 중첩의 위치를 결정하는 것으로 가정한다. (1) 해당한 소견이라고 판정된 또 다른 소견의 위치를 나타내는 정보 위에는 중첩되지 않는다. (2) 소견의 문자정보는, RPE층에 대해 Z방향 하측이나, ILM에 대해 Z방향 상측에 표시된다. 즉, 소견의 문자정보를 망막에 중첩시키지 않는다. (3) 해당한 소견이라고 판정된 소견의 위치를 나타내는 정보가 Z방향에 있어서 RPE층과 ILM과의 사이에 있을 경우에는, 해당 정보가 나타낸 소견의 위치 근방의 위치에 마커(예를 들면, 화살표)를 부여한다. 물론, 상기 표시 규칙은 상기한 예에 한정되지 않는다. 예를 들면, 상기 규칙(2)는, 소견의 문자정보가 내경계막 및 신경섬유층 경계의 한쪽과 망막색소상피층 경계 및 시세포 내절/외절 경계의 한쪽과의 사이에 배치된 영역이외의 영역에 표시되는 규칙으로 변경되어도 된다. 또는, 상기 규칙(2)는, 소견의 문자정보의 적어도 일부가 RPE층에 대해 Z방향 하측이나 ILM에 대해 Z방향 상측에 표시되는 규칙으로 변경되어도 된다. 이렇게 규칙을 변경하는 경우도, 문자정보의 모두가 단층화상에 중첩되지는 않는다. 이에 따라, 단층화상의 시인성의 저하를 막는 것이 가능하다. 상기 규칙(3)에 있어서, 마커를 표시시킴과 아울러, RPE층에 대해 Z방향 하측의 영역 및 ILM에 대해 Z방향 상측의 영역 중에서 소견에 해당하는 화상영역에 보다 가까운 영역에 소견의 문자정보를 표시시켜도 된다. 이에 따라, 도 7에 나타낸 마커(712)의 크기에 있어서 불필요한 증가로 인해 단층화상의 시인성의 저하를 막을 수 있다.
도 7은 표시부(118)가 표시하는 표시 내용의 일례를 나타낸다. 표시부(118)가 표시하는 표시 내용(700)은, 증례 정보(701), 대상이 되는 증례의 단층화상(710), 단층화상에 중첩된 소견(711), 마커(712), 대상이 되는 증례의 단층화상에 대응하는 안저화상(715), 및 안저화상(715)에 중첩된 수평 화살표(717)를 포함한다. 수평 화살표(717)는 단층화상(710)의 안저화상상에 있어서의 취득 위치를 나타내고 있다. 또한, 표시 내용(700)은, 해석 처리 결과 화상(720), 모드(730), 표시 정보(740), 옵션(750), 및 화상처리 파라미터(760)를 포함한다.
표시 제어부(116)는, 전술한 표시 규칙 및 소견(711)의 위치를 나타내는 정보에 근거해서 소견(711)의 문자정보를 단층화상에 중첩시킨다. 예를 들면, "섬유층 낭포모양 구멍"에 관해서는, 섬유층 낭포모양 구멍의 영역(713)의 위치를 나타내는 정보가, Z방향에 있어서 RPE층과 ILM과의 사이에 있고, RPE층에 대해 Z방향 하측에 소견(711)의 문자정보가 표시된다. 본 실시예에서는, 섬유층 낭포모양 구멍의 영역(713)이 ILM에 대해 Z방향 상측의 영역보다 RPE층에 대해 Z방향 하측의 영역에 가깝기 때문에, "섬유층 낭포모양 구멍"이라고 하는 단어를 RPE층에 대해 Z방향 하측의 영역에 표시시키고 있다. 한층 더, 소견(711)의 위치를 나타내는 정보의 근방에 마커(712)가 부여된다. 즉, 이상부위인 섬유층 낭포모양 구멍의 영역(713)의 근방에 마커(712)가 표시된다. 또한, "후유리체 박리"에 관해서는, "후유리체 박리"의 위치를 나타내는 정보가 ILM에 대해 Z방향 상측에 있어서, 문자정보가 ILM에 겹치지 않도록, "후유리체 박리"의 위치를 나타내는 정보의 근방에 소견(711)의 문자정보가 표시된다. 도 7에 나타낸 예에서는, 검출된 유리체 박리부분에 문자정보가 겹치지 않도록 소견(711)의 문자정보가 표시되어 있다. 또는, 문자정보의 적어도 일부가 상기 검출된 유리체 박리부분에 겹치지 않도록 소견(711)의 문자정보를 표시하여도 된다.
상기한 처리와 마찬가지로, "황반원 구멍"과 "덮개"에 대해서도, 이상부위 근방의 위치에 소견(711)의 문자정보가 표시된다. 표시되는 소견(711)의 문자정보는, "후유리체 박리"와 같은단어이어도 되거나, "후유리체에 박리가 있다"와 같은 문장이어도 된다.
해석 처리 결과 화상(720)은, 상술한 화상해석 결과를 나타내는 화상이다. 해석 처리 결과 화상(720)에는, 유리체 영역(721)(사선부분), 덮개(722), 섬유층 낭포모양 구멍(723), 후유리체 박리(724), ILM(725), 망막층 영역(726), RPE(727), 및 맥락막하 영역(728)을 나타낸다. 이것들은, 소견(711)을 출력하는 근본이 된 단층화상에 대한 화상해석의 해석 결과를 나타낸다. 본 실시예에서는, 병변부(이상부위)로서, 상기 덮개(722), 섬유층 낭포모양 구멍(723) 및 후유리체 박리(724)를 검출하는 예를 나타내고 있지만, 이것에 한정되지 않는다. 황반상 막, 망막 위축, 경성 백반 등이 존재할 경우에는, 이것들의 검출 결과를 나타낸다. 해석 처리 결과 화상(720)은, 표시되어도 좋고 표시되지 않아도 된다.
모드(730)는 표시 모드를 나타낸다. 본 실시예에서는, 진단 화상 모드(731)로서 단층화상에 소견을 표시하는 모드를 나타낸다. (후술하는, 도 11 및 도 14) 실시예에 있어서는, 상기 모드(730)로서 복수의 모드 중 하나를 선택할 수 있는 인터페이스가 표시된다.
표시 정보(740)는, 단층화상 위에 표시된 정보를 선택하는 유저 인터페이스다. 의사 등의 유저는, 표시된 유저 인터페이스를 예를 들면 클릭 또는 탭 함으로써 단층화상 위에 표시되는 정보를 전환하는 것이 가능하다. 상기 유저 인터페이스로서, 진단 화상표시(모든 정보 표시)(741)가 표시부(118)에 표시되어 있다. 진단 화상표시(741)는, 단층화상(710)에 층 검출의 결과, 의사에 의한 소견, CAD에 의한 소견, 및 손으로 쓴 메모 등, 모든 정보의 중첩을 온/오프한다. 한층 더, 유저 인터페이스로서, 중첩되는 정보를 개별로 바꾸기 위해서, 층 검출 표시(층 표시)(742)가 표시부(118)에 표시되어 있다. 층 검출 표시(742)는, 층 검출 결과의 표시를 온/오프한다. 덧붙여, 의사에 의해 확정된 소견의 표시 온/오프를 바꾸는 의사 소견 표시(743)가 표시부(118)에 표시되어 있다. 유저 인터페이스로서, CAD에 의해 검출한 소견의 표시 온/오프를 바꾸는 CAD소견 표시(744)와, 손으로 쓴 메모의 표시 온/오프를 바꾸는 손으로 쓴 메모 표시(745)가 표시부(118)에 표시되어 있다. 표시 정보(740)를 지정하기 위한 유저 인터페이스는, 예를 들면 버튼이나 체크박스다.
소견은, CAD소견뿐만 아니라 의사가 확정한 소견도 포함한다. CAD소견은, 컴퓨터에 의해 판정된 소견을 나타낸다. 의사에 의한 소견은, 컴퓨터로부터 출력되어 의사에 의해 확정된(승인된) 소견이나, CAD에 의해 검출되어 의사에 의해 수정된 소견을 나타낸다. 또한, 그 소견은, 의사가 새롭게 추가한 소견을 포함하여도 된다. CAD소견을 확정하기 위해서는, (도시되지 않은) 승인 체크박스 등을 의사 등의 조작자가 선택함으로써 CAD소견을 확정할 수 있다. 이 경우에, 복수의 CAD소견을 일괄적으로 확정하는 것이 가능하다. 마우스를 가지는 PC장치를 사용하여, 체크박스를 클릭해서 CAD소견을 선택함으로써 CAD소견을 확정하는 것이 가능하다. 예를 들면, 체크박스는 소견(711)의 각각의 근방에 표시된다. 또한, 터치패널 모니터를 사용하여, 화면의 탭에 의해 CAD소견을 선택함으로써 CAD소견을 확정하는 것이 가능하다. 일괄적으로 소견을 확정하기 위해서, 소견(711)이 존재하지 않는 단층화상(710)상의 위치를 더블 클릭이나 더블 탭하여서 상기 소견을 일괄적으로 확정하여도 된다. CAD소견의 수정 방법에서는, 의사 등이, 표시부(118)에 표시된 소견(711)을 탭 또는 클릭하는 것으로 소정의 소견(711)을 선택하고, 그 선택된 소견(711)을 키보드(1007) 등을 사용해서 수정하여도 된다.
또한, 개별적으로 소견(711)을 선택해서 확정하여도 된다. 이 경우, 소견상에서 우클릭을 해서 메뉴를 표시시켜, 메뉴에 포함된 "확정"을 선택해도 된다. 또는, 소견(711)은, 더블 클릭이나 더블 탭 되어 확정되어도 된다. 게다가, 소견(711)을 터치해서 가선택하고, 그 소견(711)을 가선택 상태로 터치패널 모니터상에 슬라이드 제스처(스와이프)하는 것에 의해 확정하여도 된다. 소견을 수정하기 위해서, 소견(711)을 선택하면, 다른 소견 이름을 리스트 박스로서 소견(711) 근방에 표시를 하고, 그 소견 중 바람직한 소견을 선택하여 확정하여도 된다. 불필요한 소견을 삭제하기 위해서는, 소견(711)을 선택하고 그 메뉴로부터 삭제를 선택하거나, 소견(711)을 단층화상(710)의 밖까지 드래그 하여서 삭제하여도 된다. 즉, 표시 제어부(116)는, 소견(711)에 대한 조작을 검지해서 소견(711)을 표시 화면에서 삭제할 수 있다.
또한, 확정의 해제 기능은, 소견의 일괄 확정과 개별 확정에 대해 제공된다. 체크박스의 경우는, 체크박스는 체크한 것을 해제하여도 된다. 더블 클릭이나 더블 탭의 경우는, 다시 같은 조작을 실행하여서 확정을 해제하여도 된다.
소견에는 의사가 확정한 소견도 포함하기 때문에, 의사가 판정한 소견을 CAD(진단 지원 장치100)가 판정한 소견의 문자의 색으로부터 다른 문자의 색으로 표시하는 것이 바람직하다. 예를 들면, CAD소견은 적색을 사용하고, 의사의 소견은 청색을 사용하여도 된다. 이에 따라, 즉시, 소견이 CAD에 의한 것인가 의사에 의한 것인가를 용이하게 파악할 수 있다. 문자의 색에 제한되지 않고, 예를 들면, 아이콘을 추가하고, 단어의 주변을 직사각형으로 둘러싸고, 문자에 그림자를 추가하거나, 문자의 폰트를 변화시켜서, CAD소견과 의사에 의한 소견과의 차이를 표시가 제공하면 어떠한 형태로 표시하여도 된다. 예를 들면, CAD소견을 키보드(1007)등을 통해 입력된 의사의 수정을 표시 제어부(116)가 접수했을 경우, 표시 제어부(116)는 소견(711)을 의사에 의한 수정 전후에 다른 표시 형태로 표시시켜도 된다. 예를 들면, 표시 제어부(116)는, 수정전의 소견(711)과 수정후의 소견(711)간에 소견(711)의 문자의 색을 변경한다. 즉, 표시 제어부(116)는, 조작자에 의한 표시부에 표시되어 소견에 대한 수정을 접수하는 접수부의 일례에 해당한다. 표시 제어부(116)는, 수정된 소견을 수정전의 소견과 다른 표시 형태로 표시부에 표시시킨다.
표시 제어부(116)가 문자의 색을 변경하는 시점은, 의사에 의해 변경이 행해진 직후이어도 되거나, (도시되지 않은) 승인 체크박스 등을 선택함으로써 수정을 확정시킨 시점이어도 된다.
또한, 소견의 종류에 따라서 표시 제어부(116)는 소견(711)의 문자의 색을 바꾼 후에 소견(711)을 표시부(118)에 표시시켜도 된다. 이 경우, CAD에 의한 소견과 의사에 의한 소견간에 아이콘이나 폰트 등을 바꾸고, 같은 소견에는 같은 색을 적용한다. 예를 들면, 황반원 구멍은 물색, 덮개는 보라색을 사용한다. CAD에 의한 소견은 사선 스타일을 사용하고, 의사에 의한 소견은 굵은 글자체를 사용한다.
또한, 손으로 쓴 메모로서 소견의 이외에 바람직한 코멘트를 기입하여도 된다. 손으로 쓴 메모와 소견 입력과의 차이에 대해서 이하에 나타낸다. 문자 입력시에, (도시되지 않은) 손으로 쓴 메모 입력인가 소견 입력인가를 선택하는 선택부를 설치하고, 의사 등에 의한 선택에 근거해서 CPU(1001)가 손으로 쓴 메모 입력인가 소견 입력인가를 판정하여도 된다. 혹은, 소견 입력의 경우는 사전에 등록된 소견 사전으로부터 소견의 단어를 선택해서 추가를 행하고, 자유입력은 손으로 쓴 메모로 한다. 혹은, 입력된 단어의 문자를 해석하고, 소견 사전에 등록된 단어는 소견으로서 판단된다. 혹은, CAD가 출력한 소견을 수정하여서 얻어진 소견이나, 의사에 의해 CAD가 출력한 소견을 확정하여서 얻어진 소견을 소견으로 하고, 자유입력은 손으로 쓴 메모로 한다.
옵션(750)은, 단층화상에 대한 처리를 실행하기 위해서, 또는 CAD의 정보를 표시하기 위한 유저 인터페이스다. 의사 등의 유저는, 표시된 유저 인터페이스를 예를 들면 클릭 또는 탭 함으로써 화상처리부(108)에 의한 단층화상에 대한 처리의 실행 또는 표시 제어부(116)에 의한 CAD의 정보의 표시를 실행하여도 된다. 옵션(750)으로서, 흑/백 반전 표시(751), 기울기 보정표시(752), 노이즈 감소(753), 농도보정(754), 및 CAD상세(755) 등의 유저 인터페이스가 표시되어 있다. 표시된 화상의 흑/백 반전을 지정하는 흑/백 반전 표시(751)는, 단층화상의 표시색을 저반사 영역을 블랙이라고 하고 고반사 영역을 화이트라고 하는 표시와, 저반사 영역을 화이트라고 하고 고반사 영역을 블랙이라고 하는 표시를 바꾸기 위한 유저 인터페이스다. 기울기 보정 표시(752)는, 망막층의 기울기를 보정하기 위한 유저 인터페이스다. 이 기울기 보정 표시(752)는, 화상처리 파라미터(760)에 근거해서 표시하는 망막층의 기울기를 보정한다. 노이즈 감소(753)는, 화상처리 파라미터(760)에 근거해서 단층화상으로부터 노이즈를 감소하기 위한 유저 인터페이스다. 농도보정(754)은, 단층화상의 윈도우 폭/윈도우 레벨(WW/WL)을 보정하기 위한 유저 인터페이스다. CAD상세(755)는, 해석 처리 결과 화상(720) 및 화상처리 파라미터(760)의 표시의 온/오프를 선택하기 위한 유저 인터페이스다. 즉, 해석 처리 결과 화상(720)과 화상처리 파라미터(760)는, CAD상세(755)가 선택되어 있을 때에 표시 제어부(116)에 의해 표시부(118)에 표시된다. 또한, 해석 처리 결과 화상(720)은, 해석 처리의 실행중의 도중 결과를 표시하여도 된다. 화상처리 파라미터(760)의 윈도우는, 화상처리에 필요한 파라미터의 항목(761)과, 그의 수치(762)를 표시한다. 그 표시된 수치에 근거해서 처리가 실행된다. 수치(762)는 마우스(1006)나, 키보드(1007) 등을 사용해서 편집되어도 된다.
도 8은 본 실시예에 따른 다른 표시 예를 나타낸다. 도 8에서, 도 7에 있어서의 해석 처리 결과 화상(720)과 화상처리 파라미터(760) 대신에, 해석 데이터(820)와 해석 값(860)이 표시된다. 그 이외의 표시는 도 7에 나타낸 예와 같다. 그 표시는, CAD상세(755)의 온/오프에 의해 바뀐다. 진단 화상 모드(731)에서는 CAD상세(755)의 온 상태가 디폴트 상태다. 그렇지만, (도시되지 않은) 설정에 의해 CAD상세(755)의 OFF 상태가 디폴트 상태이어도 되고, 해석 데이터(820)와 상기 해석 값(860)의 표시가 디폴트이어도 된다. 해석 데이터(820)는, 통계적인 정상안 데이터베이스(821)와, 표시된 단층화상(710)의 층 두께 그래프(822)를 나타내고 있다. 정상안 데이터베이스(821)는, 예를 들면, "정상값의 상한의 외측"의 범위(99%이상), "상측의 경계선"의 범위(95%∼99%), "정상값"의 범위(5%∼95%), "하측의 경계선"의 범위(1%∼5%), "정상값의 하한의 외측"의 범위(1%이하)로 색상이 입혀져 있다. 층 두께 그래프(822)는, 정상안 데이터베이스(821)와 비교함으로써, 정상값 외측의 망막층의 범위에 관해서 볼 수 있다. 화상해석 값(860)은, 단계S3030의 화상처리와 단계S3040의 소견후보의 판정의 결과에 근거하여, 판정된 병변의 사이즈와 수에 대해서 계측한 결과다.
본 실시예에 의하면, 진단 지원 장치(100)는, 의료용 화상의 부위의 정보에 근거하여 해당하는 소견 후보와 소견 후보의 도출에 관한 화상처리 파라미터를 취득한다. 그리고, 진단 지원 장치(100)는, 취득한 화상처리 파라미터에 근거하여 화상처리를 실행하고, 해당하는 소견의 판정과 위치를 특정하고, 이것들의 결과를 제시한다. 이에 따라, 의사는 의료용 화상상에서 해당한다고 판정된 소견과 그 위치, 및 해석 결과를 확인할 수 있다. 이에 따라, 의사가 현재 대상의 의료용 화상의 상태와, 진단명을 열람할 수 있으므로, 진단에 대한 부담을 경감시킬 수 있다.
보다 구체적으로는, 본 실시예에 의하면, 단층화상 위에 소견이 표시되므로, 의사 등은 단층화상과 소견과의 관계를 용이하게 파악할 수 있다. 또한, 소견은 단층화상에 있어서의 이상부위의 위치에 따라 표시되므로, 이상부위와 소견과의 관계를 의사 등은 용이하게 파악할 수 있고, 신속하게 진단할 수 있다.
한층 더, 소견을 단층화상에 있어서의 망막영역에 매우 겹치지 않도록 표시하기 때문에, 단층화상 자체의 시인성의 저하를 막으면서, 단층화상 위에 소견을 표시시킬 수 있다.
제2 실시예
상기 제1 실시예에서는, 진단의 대상이 되는 의료용 화상을 취득하고, 화상처리 결과를 사용해서 의료용 화상 위에 CAD소견 등의 지원 정보를 제시함과 아울러, 화상처리의 해석 화상과 해석 데이터를 제시했다. 본 실시예에서는, 의료용 화상 위에 지원 정보를 제시함과 아울러, 유사 증례(유사 화상)의 결과를 제시하는 경우에 대해서 설명을 한다.
도 9를 참조하여 제2 실시예에 따른 진단 지원 장치(900)의 기능 구성의 일례에 대해서 설명을 행한다. 도 1과 비교하여, 진단 지원 장치(900)에는, 검색부(914) 및 데이터베이스(300)가 기능적으로 추가된다. 데이터베이스(300)는 유선 또는 무선으로 진단 지원 장치(900)와 통신가능하게 접속되어 있다. 데이터베이스(300)는 의료용 화상과 그 화상에 대응하는 소견 및 진단명을 관련시켜 기억한다. 즉, 데이터베이스(300)는 복수의 단층화상을 각각의 소견과 관련지어 기억하는 기억부의 일례에 해당한다.
또한, 데이터베이스(300)에 기억된 의료용 화상은, 성별 및 연령 등의 환자정보와 관련되어 있다. 데이터베이스(300)는, 진단 지원 장치(900)로부터의 요구에 응답하여, 그 요구에 대응하는 의료용 화상 및 소견을 진단 지원 장치(900)에 출력한다. 이와는 달리, 데이터베이스(300)는 진단 지원 장치(900)내부의 기억부(104)에 기억되어도 된다. 검색부(914)는, 판정부(110)에 의해 해당한 소견이라고 판정된 소견 후보를 키로서 사용하여서, 데이터베이스(300)로부터, 대상의 의료용 화상과 유사한 화상의 정보를 요구한다. 검색부(914)는, 데이터베이스(300)로부터 상기 요구하는 정보를 수신한다. 검색부(914)는, 수신한 화상의 정보를 상기 대상의 의료용 화상과의 유사도와 함께 표시 제어부(116)에 출력한다. 진단 지원 장치(900)의 하드웨어 구성은 제1 실시예에 따른 도 2a 및 2b와 같다. 즉, CPU(1001)는, 주 메모리(1002)와 자기 디스크(1003)에 기억된 프로그램을 실행하기 때문에, 본 실시예에 따른 진단 지원 장치(900)의 기능(소프트웨어) 및 흐름도에 있어서의 처리를 실현한다.
도 10은, 진단 지원 장치(900)가 실행하는 처리의 일례를 설명하는 흐름도를 나타낸다. 이 흐름도는, 기본적으로 제1 실시예에 따른 도 3a의 플로우와 같지만, 그 처리의 일부가 제1 실시예와는 다르다. 구체적으로는, 이 흐름도는, 유사 화상의 검색(S10060)과, 정보의 표시(S10070)에 대해서 도 3a의 플로우와는 다르다. 이하, 도 10의 흐름도와 도 11의 표시 내용의 일례를 참조하여, 본 실시예에 따른 진단 지원 장치(900)가 실행하는 처리에 대해서, 제1 실시예와 다른 부분에 대해서만 설명한다.
도 10의 흐름도에 있어서, 단계S3000 내지 단계S3050의 처리는, 제1 실시예에 따른 처리와 같다. 이 때문에, 그 설명을 생략한다.
단계S10060에 있어서, 검색부(914)는, 단계S3040에서 해당한 소견이라고 판정된 소견 후보를 키로서 사용하여서, 데이터베이스(300)로부터 유사 화상을 취득한다. 즉, 검색부(914)는, 검출부에 의해 검출된 이상부위의 소견과 일치하는 소견과 관련된 단층화상을 상기 기억부로부터 취득하는 유사 화상 취득부의 일례에 해당한다.
검색 키는, 예를 들면, "후유리체 박리" 또는 "황반원 구멍"이다. 각기 검색 키라고 하는 소견의 수는, 복수 또는 하나이어도 된다. 데이터베이스(300)에 기억된 소견은, 예를 들면, 의사가 사전에 증례에 대하여 특정한 소견이다. 데이터베이스(300)에는 의사에 의해 특정된 소견의 위치에 관한 정보도 포함되어 있는 것으로 가정한다. 데이터베이스(300)에 포함된 소견의 정보는, 의사에 의해 사전에 특정된 정보 대신에, 교과서와 같은 문헌정보이어도 되거나, 데이터베이스용으로 수집한 증례에 대하여 의사가 특정한 소견의 정보이어도 된다.
검색부(914)에 의한 유사 화상의 취득 방법은, 검색 키가 완전히 일치하는 유사 화상만을 데이터베이스(300)로부터 취득해도 되거나, 검색 키의 일부가 일치하는 유사 화상을 취득해도 된다. 예를 들면, 복수의 소견을 검색 키라고 했을 경우에, 검색부(914)는 복수의 소견 중 일부의 소견에만 일치하는 유사 화상을 취득하기도 한다. 혹은, 어떠한 방법에 의해 유사도를 계산하고, 유사도의 내림차순으로 소정의 수만큼 화상을 취득해도 된다. 본 실시예에서는, 검색 키가 완전히 일치하는 화상만을 취득하는 것으로 가정한다. 상기 유사도를 사용한 방법에 관해서는 후술하는 변형 예로 설명한다.
단계S10070에 있어서, 표시 제어부(116)는, 표시부(118)에 표시시키는 내용을 제어한다. 그리고, 표시부(118)는, 표시 제어부(116)로 제어된 표시 내용을 표시한다. 구체적으로는, 표시 제어부(116)는, 단계S3050에서 취득된, 단계S3040에 있어서 해당한 소견이라고 판정된 소견의 의료용 화상에 있어서의 위치를 나타내는 정보를 사용하고, 단계S3000에서 취득한 의료용 화상 위에, 해당한 소견이라고 판정된 소견의 정보를 중첩시킨다. 상기 소견 정보의 표시 규칙은 제1 실시예와 마찬가지다. 게다가, 표시 제어부(116)는, 단계S10060에서 취득한 유사 화상의 정보에 근거하여, 유사 화상과, 그 유사 화상과 관련된 진단명의 정보를, 유사도의 내림차순으로 표시시킨다. 본 실시예에서는, 단계S10060에서 검색 키가 완전히 일치하는 화상만을 취득하기 때문에, 단계S3000에서 취득한 의료용 화상에 관련되는 환자정보에 관해서, 동성이고 연령이 가까운 유사 화상을 먼저 표시한다. 혹은, 촬영 정보이외에 생활 습관에 관한 정보를 취득 가능하면, 생활 습관의 항목을 검색 키에 추가해도 된다. 예를 들면, 환자의 당뇨병의 유무나 흡연의 유무 등의 정보를 사용해서 상기 검색을 실행해도 된다. 또한, 최근의 날짜에 촬영된 정보가 먼저 표시되어도 된다. 또한, 본 실시예에서는, 유사 화상과, 거기에 관련된 진단명의 정보를 리스트로 관리하고, 리스트의 정보를 표시하고, 리스트중의 하나의 증례를 단계S3000에서 취득한 의료용 화상과 대비 가능한 형태로 표시한다. 또한, 대비 가능한 형태로 표시된 하나의 증례는, 진단 지원 장치(900)가 선택해도 되거나, 진단 지원 장치(900)가 유저 입력에 의한 선택을 접수하여도 된다. 예를 들면, 유저 인터페이스로서 유사 증례의 리스트를 기억하는 리스트 박스를 준비하고, 그 리스트 박스로부터 하나의 증례를 선택하여도 된다.
본 실시예에서는, 표시 제어부(116)가 최근의 날짜에 촬영된 유사 화상을 초기의 대비 가능한 형태로 표시된 하나의 증례로서 결정하고, 그 후에, 표시 제어부(116)는 유저 입력에 의한 선택에 따라서 대비 가능한 형태로 표시된 증례를 결정하는 것으로 가정한다. 표시방법은 이것에 한정되지 않는다. 예를 들면, 복수의 유사 화상과 그것에 관련된 진단명의 정보를, 단계S3000에서 취득한 의료용 화상과 대비 가능한 형태로 표시해도 되거나, 모든 유사 화상을 대비 가능한 형태로 표시해도 된다.
도 11은 표시부(118)가 표시한 표시 내용의 일례를 나타낸다. 표시부(118)가 표시한 표시 내용(700)은, 제1 실시예의 도 7을 참조하여 설명한 도면에 기초한다. 제1 실시예와의 차이는, 유저 인터페이스로서 유사 증례 모드(1132)가 표시되어 있는 점이다. 의사 등이 유사 증례 모드(1132)를 탭 또는 클릭하는 것으로 유사 증례 모드를 선택하면, 표시 제어부(116)는 유사 증례 리스트(즉, 유사 화상이 유사도의 내림차순으로 표시된 리스트)(1160)를 표시시킨다. 표시 제어부(116)는, 유사 증례 리스트에서 하나의 증례(이 경우에, 상술한 바와 같이 최근의 날짜에 촬영된 화상)의 단층화상(1120), 소견(1121), 진단명(1122) 및 단층화상에 대응한 안저화상(1125)을 표시부(118)에 표시시킨다. 유사 증례 모드(1132)가 선택되었을 경우에는, 옵션(750)에 증례검색을 실행하는 유저 인터페이스인 증례검색(1155)이 추가된다. 의사 등의 조작자가 증례검색(1155)을 탭 또는 클릭하는 것으로, 대상의 단층화상(710)에 유사한 증례검색이 실행된다. 본 실시예에서는, 증례검색을 실행하기 위한 유저 인터페이스를 유사 증례 모드(1132)와 다른 예를 설명하였지만, 유사 증례 모드(1132)를 선택할 때 동시에 증례검색을 실행해도 된다.
소견이 중첩된 단층화상(710, 1120)에서, 전술한 표시 규칙 하에, 소견의 위치를 나타내는 정보에 근거해서 해당한 소견이라고 판정된 소견(711, 1121)의 정보는, 중첩되어 있다. 상술한 대로, 유저 입력에 의한 선택의 결과로서, 유사 증례 리스트의 다른 증례를 대비 가능한 형태로 표시하는 증례로서 결정하는 경우는, 표시 제어부(116)에 의해 표시부(118)의 표시 내용이 제어된다. 구체적으로는, 표시 제어부(116)는, 유사 증례 리스트(1160)에서 선택된 증례에 대응하는, 소견이 중첩 표시된 단층화상(1120), 진단명(1122) 및 그 단층화상에 대응하는 안저화상(1125)을 표시부(118)에 표시시킨다.
본 실시예에 의해, 진단 지원 장치(900)는, 의료용 화상의 부위의 정보에 근거하여 해당하는 소견 후보와 그 소견 후보의 도출에 관한 화상처리 파라미터를 취득한다. 그리고, 진단 지원 장치(900)는 취득한 화상처리 파라미터에 따라 화상처리를 실행하고, 해당하는 소견을 판정하고, 상기 위치를 특정하고, 해당한 소견이라고 판정된 소견에 근거하여 유사 화상을 검색하고, 이것들의 결과를 제시한다. 이에 따라, 의사는 의료용 화상상에서 해당한 소견으로서 판정된 소견과 그 위치, 및 유사 화상에 관련된 진단명을 확인할 수 있다. 이에 따라, 의사가 현재 대상인 의료용 화상의 상태와, 유사한 증례의 진단명을 열람할 수 있으므로, 진단의 부담을 경감시킬 수 있다.
또한, 디폴트 상태에 있어서는, 현재 대상인 의료용 화상에 가장 유사한 화상을 대비 가능한 형태로 표시되기 때문에, 의사 등의 조작자는 대비에 적합한 화상을 선택하는데 요하는 시간을 절약할 수 있다.
데이터베이스(300)에 기억된 정보는 상기한 예에 한정되지 않는다. 예를 들면, 데이터베이스(300)에는, 의료용 화상; 그 화상에 대응하는 소견 및 진단명; 및 해당하는 소견의 단층화상에 있어서의 위치, 진단명 및 소견을 관련되게 기억하고 있어도 된다. 이 경우, 검색부(914)는, 소견과 그 소견의 위치를 검색 키로서 사용하여서 유사 화상을 검색할 수 있다. 예를 들면, 검색부(914)는, 소견이 일치하고, 소견의 위치가 일치하거나, 또는 대상의 단층화상과 데이터베이스(300)내의 단층화상의 소견의 위치간의 차이가 소정의 역치이내의 단층화상(유사 화상)을 데이터베이스(300)로부터 취득하여도 된다. 즉, 데이터베이스(300)는, 복수의 단층화상 각각을 소견 및 해당 소견의 단층화상에 있어서의 위치와 관련지어 기억하여도 된다. 또한, 유사 화상 취득부의 일례인 검색부(914)는, 검출부에 의해 검출된 이상부위의 소견 및 해당 소견의 위치와 일치하는 소견 및 해당 소견의 위치에 관련된 단층화상을 취득한다.
이에 따라, 소견 및 소견의 위치가 일치하는 유사 화상을 취득할 수 있다. 대상의 단층화상에 보다 가까운 증상을 보이는 단층화상을 취득할 수 있다.
제1 변형 예
상기한 실시예에서는, 소견을 검색 키로서 사용하여서 소견이 일치하는 유사 증례를 검색하였다. 그러나, 유사 증례 검색의 방법은 이것에 한정되지 않는다. 예를 들면, 화상 특징값에 근거하여 유사 증례를 검색해도 된다. 이 처리에 대해서, 도 12의 흐름도를 참조하여 설명한다. 도 12는 도 10의 흐름도의 단계S10060의 처리의 상세를 나타낸다.
단계S10061에서는, 전역(global) 특징추출로서, 화상처리부(108)는 단층화상으로부터 망막층의 두께 특징을 추출한다. 망막층의 두께는, ILM과 RPE의 경계선과의 Z방향의 차이를 망막층의 두께라고 가정한다. 망막층의 두께를 계산하기 위한 영역으로서, 화상처리부(108)는, 황반부 중심영역, 황반부 중심을 제외한 좌우 영역, 및 전체 영역으로부터 특징값을 추출한다. 그 영역을 분할하는 방법으로서, 단층화상은, X방향으로 단순하게 3개의 섹션으로 분할되어도 되거나, 5개의 섹션으로 분할되어도 되고, 좌우 영역은 2/5씩으로 하고, 황반영역은 중심의 1/5로 하여도 된다. 또한, 두께를 계산할 때, 시신경 유두부 영역은, 그 두께를 계산하는 영역으로부터 제거되는 것이 바람직하다. 각 영역에 있어서의 두께의 특징값은, 평균 두께, 최대 두께, 최소 두께, 분산 혹은 표준편차 중 하나이어도 된다. 화상처리부(108)는, 이것들의 특징값으로부터 전역 특징 벡터를 작성한다. 이렇게, 전역 특징은 망막 전체의 형상특징을 나타낸다.
단계S10062에서는, 국소(local) 특징추출로서, 화상처리부(108)는 망막내층의 국소영역에 있어서 기울기 방향성 히스토그램(HOG) 특징을 계산한다. HOG특징은, 국소영역에 있어서 휘도의 경사방향과 경사강도를 산출하고, 횡축을 경사방향, 종축을 경사강도로 한 히스토그램을 작성하는 특징값이다. 망막내층이 정상이면, 망막내층은 층 구조를 하고 있다. 그러므로, 국소영역에 있어서 휘도의 경사방향이 정렬되어 있다. 그렇지만, 병변에 의해 층 구조가 흐트러지면, 휘도의 경사방향도 흐트러진다. 이렇게, 국소특징은 망막내층의 층의 정렬 상태를 나타낸다. HOG특징을 계산하는 영역은, OCT의 단층화상 전체가 아니고, 제1 실시예에 따른 단계S3034에서 나타낸 망막영역인 것이 바람직하다. 이 경우에 구해지는 국소 특징값은, 수천의 차원이 되기 때문에, (후술하는) 화상표현으로 그 차원의 수를 절감한다.
단계S10063에서는, 화상처리부(108)는 단계S10062에서 구한 국소 특징값을 Bag of Features에 의해 화상표현으로 변환한다. Bag of Features는 화상특징값의 사전(codebook)에 등록되어 있는 화상특징의 출현 빈도에 따라 화상을 분류하는 방법이다. 학습시에, 모든 학습용 화상으로부터 국소특징값을 추출하고, 추출된 국소특징값을 특징공간에 있어서 클러스터링을 실행하고, 각 클러스터의 중심을 Visual word(codebook)로 한다. 이번의 클러스터링은, K-means를 사용한다. 단계S10063의 화상 표현에 있어서, 화상처리부(108)는 단계S10062에서 구한 국소특징값을, 학습시에 작성한 Visual word에 가장 가까운 Visual word에 투표한다. 이에 따라, 화상처리부(108)는, 국소특징값을 Visual word의 출현 빈도를 카운트한 국소특징 벡터로 변환한다.
단계S10064의 검색에서는, 검색부(914)는, 단계S10061에서 구한 전역 특징 벡터와 단계S10063에서 구한 국소특징 벡터를 사용해서 유사 화상을 검색한다. 검색의 방법은, 전역 특징 벡터와 국소특징 벡터의 유사도를 계산하는 것이어도 되고, 그 종합 유사도를 사용하여서 그 검색 결과를 제공한다. 그 유사도는, 예를 들면, 코사인 유사도이어도 된다. 코사인 유사도는 이하의 식(1)로 표시된다:
여기서, Vt가 대상이 되는 화상특징 벡터이고, Vs가 데이터베이스(300)에 기억된 화상특징 벡터다.
그 유사도가 1에 가까우면, 2개의 벡터가 보다 서로 유사하다. 그 유사도가 0에 가까우면 2개의 벡터가 유사하지 않다.
유사도 계산의 방법은 이것에 한정되지 않고, 편차 패턴 유사도는 계산되어도 된다. 각 요소가 속하는 집단에 있어서의 평균값으로부터의 편차는 유사도를 나타내고, 최대치는 1이다. 즉, 편차 패턴 유사도는 특징공간에서의 데이터의 분포를 반영한 유사도다. 이러한 유사도를 사용하는 경우에, 단계S10070에서 유사도의 내림차순으로 증례 리스트에 표시하는 것이 바람직하다. 상술한 것처럼, 소견에 의거한 검색이 아니고, 화상특징값에 근거하여 유사 증례를 검색할 수 있다.
데이터베이스(300)는, 복수의 단층화상 각각을, 소견, 단층화상의 소정의 층의 두께에 근거한 정보 및 단층화상에 포함된 망막의 휘도에 근거한 정보와 관련지어 기억하여도 된다. 이 경우에, 단층화상의 소정의 층의 두께에 근거한 정보는, 예를 들면, 전역특징 벡터이며, 단층화상에 포함된 망막의 휘도에 근거한 정보는, 예를 들면 국소특징 벡터다. 데이터베이스(300)가 상술한 정보를 기억하는 경우, 검색부(914)는, 검출부에 의해 검출된 이상부위의 소견, 층의 두께에 근거한 정보 및 휘도에 근거한 정보에 대응하는, 이상부위의 소견, 층의 두께에 근거한 정보 및 휘도에 근거한 정보에 관련된 단층화상을, 기억부로부터 취득한다. 이 변형 예는 제2 실시예에 한정되지 않고 어떠한 다른 실시예에도 적용할 수도 있다.
제2 변형 예
제2 실시예에서는, 단계S3060에 있어서, 검색부(914)는, 단계S3040에서 해당한 소견이라고 판정된 소견 후보를 검색 키로서 사용하여서, 검색 키가 완전 일치하는 화상(증례)만을 데이터베이스(300)로부터 취득하였다. 그러나, 검색 키가 부분 일치하는 화상을 취득해도 되고, 검색 키의 유사도를 계산하는 방법을 사용해서 화상을 취득해도 된다.
유사도로서는, 예를 들면, 벡터의 유사도를 계산하는 코사인 유사도를 사용할 수 있다. 이하, 구체적으로 설명한다. 우선, 단계S3010에서 취득한 복수의 소견 후보와, 단계S3040에서 해당한 소견이라고 판정된 소견 후보를 사용해서, 화상처리부(108)는 소견 벡터를 작성한다. 소견 벡터는, 각 소견 후보를 벡터의 요소로서 취급하고, 소견 후보가 대상의 화상에 있는 소견에 해당하는 경우에는 1을, 해당하지 않을 경우에는 0을 주는 것으로, 생성될 수 있다. 예를 들면, 소견 후보가 20개 있을 경우에는, 20차원의 소견 벡터가 제공된다. 그리고, 화상처리부(108)는, 상기와 같이 생성된 소견 벡터와, 데이터베이스(300)에 기억된 의료용 화상의 소견 벡터를 생성한다. 검색부(914)는 이것들의 벡터의 유사도를 계산한다. 혹은, 데이터베이스(300)에는 소견 벡터를 미리 기억해두어도 된다.
Vt가 대상의 의료용 화상의 소견 벡터이고 Vs가 데이터베이스(300)에 기억된 의료용 화상의 소견 벡터이면, 코사인 유사도는 제1 변형 예에 따라 설명된 식(1)로 표시된다.
이 변형 예는, 제2 실시예에 한정되지 않고 어떠한 다른 실시예에도 적용되어도 된다. 제1 변형 예에 나타낸 화상특징의 유사도와 소견의 유사도와의 양쪽을 사용해서 유사 증례를 검색해도 된다. 구체적으로는, 각각의 유사도가 1로 정규화되므로, 유사도의 종합 합은 단순하게 최종적인 유사도를 나타내기도 하거나, 최종적인 유사도는 화상특징 유사도와 소견 유사도에 각각의 가중치를 가산하여서 계산되어도 된다.
제3 변형 예
제2 실시예에서는, 데이터베이스(300)에 기억된 증례의 해당하는 소견과 소견의 위치를 의사가 사전에 특정하였다. 그러나, 그 밖의 방법으로 소견이 특정되어도 된다. 예를 들면, 데이터베이스(300)에 기억된 증례에 대하여 단계S3010 내지 단계S3050의 처리를 실행하고, 해당하는 소견 및 소견의 위치 정보는 의료용 화상에 관련되어도 된다. 또한, 단계S10070의 처리를 행한 후에, 해당하는 증례를 데이터베이스에 기억해도 된다.
제4 변형 예
제2 실시예에서는, 검색부(914)는, 데이터베이스(300)에 기억된 증례로부터 유사 증례를 검색하였다. 그러나, 반드시 외부에 접속된 데이터베이스(300)로부터 유사 증례를 검색하지는 않는다. 예를 들면, 데이터베이스(300)와 동등한 정보를 갖는 증례정보를 기억부(104)에 기억해 두고, 검색부(914)는 기억부(104)에 기억된 증례정보로부터 유사 증례를 검색해도 된다. 이 경우, 기억부(104)에 기억된 증례정보를 유저, 설치 장소 및 시간 등의 여러 가지 조건에 따라서 바꾸어도 된다. 마찬가지로, 제1의 테이블 정보 및 제2의 테이블 정보도, 그 조건에 따라서 바꾸어도 된다.
제3 실시예
제2 실시예에서는, 진단의 대상이 되는 의료용 화상을 취득하고, 화상처리 결과를 사용해서 의료용 화상 위에 지원 정보를 제시함과 아울러, 화상처리의 해석 화상과 유사 증례를 제시했다. 본 실시예에서는, 의료용 화상 위에 CAD소견 등의 지원 정보를 제시함과 아울러, 진단을 위해 가이드라인이 되는 정보를 제시하는 예에 대해서 설명한다. 본 실시예에 따른 가이드라인은, 진단의 지원을 위한 정보다. 가이드라인은, 진단 순서를 나타내는 진단 메뉴얼, 아틀라스, 방사선 사진 검사 포인트, 같은 모달리티의 화상, 및 다른 모달리티의 화상(예를 들면, 안저사진, 플루오레세인 앤지오그래피(FA) 화상, 인도시아닌 그린 앤지오그래피(IA) 화상)등의, 텍스트나 도면 등의 정보를 포함한다. 즉, 가이드라인은 질환의 진단 순서를 나타내는 정보다. 또한, 데이터베이스(300)에는 복수의 가이드라인이 기억되어 있다. 즉, 데이터베이스(300)에는 복수의 질환의 진단 순서를 나타내는 정보가 기억되어 있다. 가이드라인은 전자서적이어도 된다.
본 실시예에 따른 진단 지원 장치(900)의 기능 구성은 제2 실시예에 따른 도 9와 같다. 데이터베이스(300)에는 의료용 화상과 그 화상에 대응하는 가이드라인과 소견이 관련되어 기억되어 있다. 즉, 데이터베이스(300)는, 복수의 질환의 진단 순서를 나타내는 정보를 각각의 소견과 관련지어 기억하고 있다. 데이터베이스(300)는, 진단 지원 장치(900)로부터의 요구에 응답하여, 그 요구에 대응하는 가이드라인 및 소견을 진단 지원 장치(900)에 출력한다. 또는, 데이터베이스(300)는 진단 지원 장치(900)내부의 기억부(104)에 기억되어도 된다. 검색부(914)는, 판정부(110)로 해당한 소견이라고 판정된 소견 후보를 검색 키로서 사용하여서, 데이터베이스(300)로부터, 대상의 의료용 화상에 대응하는 가이드라인에 대해 요구한다. 그리고, 검색부(914)는, 데이터베이스(300)로부터 가이드라인을 수신(취득)한다. 즉, 검색부(914)는, 검출부에 의해 검출된 이상부위의 소견에 근거해서 복수의 질환의 진단 순서를 나타내는 정보로부터 적어도 하나의 질환의 진단 순서를 나타내는 정보를 취득하는 정보취득부의 일례에 해당한다. 구체적으로는, 정보취득부의 일례인 검색부(914)는, 검출부에 의해 검출된 이상부위의 소견과 관련된 질환의 진단 순서를 나타내는 정보를 취득한다.
게다가, 검색부(914)는, 수신한 가이드라인을 대상의 의료용 화상과의 관련도와 함께 표시 제어부(116)에 출력한다. 그리고, 표시 제어부(116)는, 가이드라인을 표시부(118)에 표시시킨다. 즉, 표시 제어부(116)는, 정보취득부에 의해 취득된 질환의 진단 순서를 나타내는 정보를 표시부에 표시시킨다.
진단 지원 장치(900)의 하드웨어 구성은 제1 실시예에 따른 도 2a 및 2b와 같다. 즉, CPU(1001)는 주 메모리(1002)와 자기 디스크(1003)에 기억된 프로그램을 실행하기 때문에, 본 실시예에 따른 진단 지원 장치(900)의 기능(소프트웨어) 및 흐름도에 있어서의 처리를 실현한다. 도 13은, 진단 지원 장치(900)가 실행한 처리의 일례를 설명하는 흐름도를 나타낸다. 이 흐름도는 기본적으로 제1 실시예와 같지만, 그 처리의 일부는 제1 실시예와 다르다. 구체적으로는, 이 흐름도는, 가이드라인의 검색(S13060)과, 정보의 표시(S13070)에 대한 도 3a의 플로우와 다르다. 이하, 도 13의 흐름도와 도 14의 표시 내용의 일례를 참조하여, 본 실시예에 따른 진단 지원 장치(900)가 실행한 처리의 일례에 대해서, 제1 및 제2의 실시예와 다른 부분만을 설명한다.
도 13의 흐름도에 있어서, 단계S3000부터 단계S3050까지의 처리는, 제1 및 제2의 실시예에 따른 처리와 같다. 따라서, 그 설명을 생략한다.
단계S13060에 있어서, 검색부(914)는, 단계S3040에서 해당한 소견이라고 판정된 소견 후보를 검색 키로서 사용하여서, 데이터베이스(300)로부터 가이드라인을 취득한다. 검색 키는, 예를 들면, "후유리체 박리"나 "황반원 구멍"이다. 각각 검색 키인 소견의 수는 복수 또는 1개이어도 된다. 데이터베이스(300)에 기억된 소견은, 예를 들면, 의사가 사전에 증례에 대하여 특정한 소견이다. 데이터베이스(300)에는 의사에 의해 특정된 소견의 위치에 관한 정보도 포함되어 있는 것으로 가정한다. 데이터베이스(300)에 포함된 소견의 정보는, 의사에 의해 사전에 특정된 소견의 정보 대신에, 교과서와 같은 문헌정보이어도 되거나, 데이터베이스용으로 수집된 증례에 대하여 의사가 특정한 소견의 정보이어도 된다.
가이드라인의 취득 방법은, 검색 키가 완전히 일치하는 가이드라인만을 취득하는 것이어도 되거나, 검색 키가 일부 일치하는 가이드라인을 취득하는 것이어도 된다. 예를 들면, 복수의 소견을 검색 키라고 했을 경우에, 검색부(914)는 복수의 소견 중 일부에만 일치하는 가이드라인을 취득하여도 된다. 혹은, 어떠한 방법에 의해 유사도를 계산하고, 유사도의 내림차순으로 소정의 수만큼 가이드라인을 취득해도 된다. 유사도를 사용하는 방법에 대해서는, 제2 실시예의 변형 예에서 설명한 방법과 같이 특징 벡터간의 일치 정도를 사용하여서 계산할 수 있다. 본 실시예에서는, 유사도를 관련도로서 설명한다.
단계S13070에 있어서, 표시 제어부(116)는, 표시부(118)에 표시시키는 내용을 제어한다. 그리고, 표시부(118)는, 표시 제어부(116)로 제어된 표시 내용을 표시한다. 이것은, 도 14를 참조하여 설명한다.
도 14는 표시부(118)가 표시한 표시 내용의 일례를 나타낸다. 표시부(118)가 표시한 표시 내용(700)은, 제1 실시예의 도 7을 참조하여 설명한 도면에 근거한다. 제3 실시예는, 가이드라인 모드를 선택하는 유저 인터페이스로서 가이드라인 모드(1433)가 표시되어 있다는 점에서 제1 실시예와 다르다. 조작자가 가이드라인 모드(1433)를 탭 또는 클릭에 의해 가이드라인 모드를 선택하면, 표시 제어부(116)는 가이드라인 리스트(즉, 가이드라인의 관련도의 내림차순으로 증례들의 리스트)(1460)를 표시시킨다. 게다가, 표시 제어부(116)는, 가이드라인 리스트내의 증례들 중 하나의 증례의 단층화상(1420)과, 소견(1421), 그 증례의 진단명(1422), 방사선 사진 검사 포인트(1424), 및, 단층화상에 대응하는 안저화상(1425)과 안저사진(1426)을 표시부(118)에 표시시킨다. 방사선 사진 검사 포인트(1424)에는, 예를 들면, 방사선 사진 검사의 원하는 순서의 정보가 포함되어 있다. 가이드라인 리스트(1460)에는, 증례의 ID, 진단명, 및 관련도가 포함되어 있다. 관련도는 유사도와 등가이다. 본 실시예에서는, 5레벨 평가로 관련도(유사도)를 나타내고 있다. 예를 들면, 유사도는 1로 정규화하고 있으므로, 유사도가 0.9이상의 증례를 5, 유사도가 0.8-0.9의 증례를 4, 유사도가 0.6-0.8의 증례를 3, 유사도가 0.4-0.6의 증례를 2, 유사도가 0.4이하를 1로 한다. 이들 수치는 일례일 뿐이다. 유사도를 그대로 표시해도 되거나, 5레벨이 아닌 10레벨로 평가하여도 된다. 또한, 유사도를 사용해서 표시를 할 경우에는, 일정한 유사도이상의 증례를 리스트에 표시하여도 되고, 상관이 낮은 증례는 리스트에 표시하지 않아도 된다.
가이드라인 모드(1433)가 선택되는 경우에는, 옵션(750)에 가이드라인 검색을 실행하는 인터페이스인 가이드라인 검색(1455)이 추가된다. 가이드라인 검색(1455)을 탭 또는 클릭하는 것으로, 대상의 단층화상(710)에 관련되는 가이드라인 검색이 실행된다. 본 실시예에서는, 가이드라인 검색을 실행하기 위한 유저 인터페이스가 가이드라인 모드(1433)와 다른 예를 설명하였지만, 가이드라인 모드(1433)를 선택할 때 동시에 가이드라인 검색을 실행해도 된다.
소견이 중첩된 단층화상(710)은 전술한 표시 규칙 하에, 소견의 위치를 나타내는 정보에 근거해서 해당한 소견이라고 판정된 소견(711)의 정보가 중첩되어 있다. 상술한 대로, 유저 입력에 의한 선택의 결과로서 가이드라인 리스트의 다른 증례를 선택했을 경우는, 표시 제어부(116)에 의해 표시부(118)의 표시 내용이 제어된다. 구체적으로는, 표시 제어부(116)는, 가이드라인 리스트(1160)에서 선택된 증례에 대응하는, 소견이 중첩된 단층화상(1420), 그 진단명(1422), 방사선 사진 검사 포인트(1424), 및, 그 단층화상에 대응한 안저화상(1425)과 안저사진(1426)을 표시부(118)에 표시시킨다.
본 실시예에 의해, 진단 지원 장치(900)는, 의료용 화상의 부위의 정보에 근거하여 해당하는 소견 후보와 그 소견 후보의 도출에 관한 화상처리 파라미터를 취득한다. 그리고, 진단 지원 장치(900)는, 취득한 화상처리 파라미터에 따라 화상처리를 실행하고, 해당하는 소견을 판정하고 상기 위치를 특정하며, 해당한 소견이라고 판정한 소견에 근거하여 가이드라인을 검색하고, 이것들의 결과를 제시한다. 이에 따라, 의사는, 의료용 화상상에서 해당한 소견이라고 판정된 소견과 그 위치, 가이드라인과 관련된 진단명, 다른 모달리티로 촬영한 화상, 및 방사선 사진 검사 포인트를 확인할 수 있다. 이에 따라, 의사는 현재 대상으로 삼고 있는 의료용 화상의 상태와, 유사한 증례의 진단명을 열람 가능하므로, 진단에 관련되는 부담을 경감시킬 수 있다.
상기 제2 실시예에서 서술한 것처럼 유사 화상의 검색에 소견의 위치를 사용하여도 된다.
제1 변형 예
제3 실시예에서는, 소견을 검색 키로서 사용하여서, 소견이 일치하는 가이드라인을 검색하였다. 그러나, 가이드라인 검색의 방법은 이것에 한정되지 않는다. 예를 들면, 복수의 소견으로부터 임의의 소견만을 선택해서 가이드라인 검색을 실행할 수 있다. 그 가이드라인 검색을 실행할 때에, 의사 소견 표시(743)를 온으로 하고 CAD소견표시(744)를 오프로 하면서 가이드라인 검색을 실행하는 경우에는, 의사에 의해 확정된 소견만을 사용해서 가이드라인을 검색하여도 된다. 또한, 의사 소견 표시(743)를 오프로 하고 CAD소견표시(744)를 온으로 하면서 가이드라인 검색을 실행하는 경우에는, CAD소견만을 사용해서 가이드라인을 검색하여도 된다. 게다가, 단층화상에 표시된 소견(711)으로부터 임의의 소견만을 선택하여서 가이드라인 검색을 실행하는 경우, 그 선택된 임의의 소견을 사용해서 가이드라인 검색을 실행할 수 있다. 이 변형 예는, 제3 실시예에 한정되지 않고 다른 실시예에 적용되어도 된다.
제4 실시예
상기 제1 내지 제3의 실시예에서는, 촬영된 1매의 단층화상을 사용해서 CAD소견 등의 지원 정보를 제시하였다. 광간섭 단층촬영장치를 사용한 검사에서는, 단일의 검사에 있어서 복수의 방향으로 단층화상을 촬영하고 취득하여도 된다. 예를 들면, 도 15a에 도시한 바와 같이, 시신경 유두와 중심와를 통과하는 단층화상과, 중심와를 통과하고, 시신경 유두와 중심와를 통과하는 단층화상에 직교하는 단층 화상의 2개의 단층화상을 취득하는 경우가 있다. 또한, 도 15b에 도시한 바와 같이, 안저를 래스터 스캔(3D스캔)함으로써 3차원 촬영을 실행하여도 된다.
본 실시예에 따른 진단 지원 장치는, 복수의 방향 또는 복수의 위치에서 촬영된 복수의 의료용 화상을 취득하고, 취득된 의료용 화상의 화상처리 결과를 사용해서 의료용 화상 위에 지원 정보를 제시하고, 이 때문에 해당 의료용 화상에 관한 진단을 지원한다.
본 실시예에 따른 진단 지원 장치(900)의 기능 구성은 제2 실시예에 따른 도 9와 같다. 진단 지원 장치(900)의 하드웨어 구성은 제1 실시예에 따른 도 2a 및 2b와 같다. 즉, CPU(1001)는, 주 메모리(1002)와 자기 디스크(1003)에 기억된 프로그램을 실행하기 때문에, 본 실시예에 따른 진단 지원 장치(900)의 기능(소프트웨어) 및 흐름도에 있어서의 처리를 실현한다. 또한, 진단 지원 장치(900)가 실행한 처리의 일례를 설명하는 흐름도는 도 3a, 도 3b, 도 10 및 도 13 중 어느 하나와 같다. 본 실시예에서는, 도 10의 유사 증례의 검색에 대해서 설명한다. 이하, 도 10의 흐름도를 참조하여, 본 실시예에 따른 진단 지원 장치(900)가 실행한 처리에 대해서, 제1 실시예 내지 제3 실시예와 다른 부분만을 설명한다. 본 실시예에서는 도 15a에 나타낸 것 같은 2개의 단층화상을 취득하는 예와 도 15b에 나타낸 것 같은 3차원의 단층화상을 취득하는 예에 대해서 설명한다. 즉, 여기서는, 의료용 화상취득부(102)가 피검안의 다른 위치에서 복수의 단층화상을 취득하는 예를 설명한다.
먼저, 도 15a의 크로스 스캔에 대해서 설명한다. 이하의 설명에서는, 시신경유두와 중심와를 통과하는 단층화상을 H스캔 상이라고 칭하고, 중심와를 통과하고 그 H스캔 상에 직교하는 단층화상을 V스캔 상이라고 칭한다.
단계S3000에 있어서, 의료용 화상취득부(102)는, 광간섭 단층촬영장치(200)로부터 송신된 복수의 방향으로 광을 주사하여서 촬영된 복수의 의료용 화상과, 그 촬영된 의료용 화상의 종류에 관한 정보와, 그 의료용 화상의 부위에 관한 정보를 취득한다. 즉, 의료용 화상취득부(102)는, 피검안에 대하여 다른 방향으로 측정 광을 주사하여서 얻어진 복수의 단층화상을 취득한다. 본 실시예에 있어서 그 다른 방향은 직교하는 방향이다.
촬영된 의료용 화상의 종류에 관한 정보와 의료용 화상의 부위에 관한 정보는, 복수의 의료용 화상에 대하여 각각 하나의 정보에 의해 취득되어도 되거나, 각각의 의료용 화상에 대응한 다수의 정보에 의해 취득되어도 된다. 이하의 설명에서는, 복수의 의료용 화상에 대하여, 의료용 화상의 종류에 관한 단일의 정보와, 의료용 화상의 부위에 관한 단일의 정보를, 얻는다.
단계S3010의 처리는 제1 실시예에 따른 처리와 같기 때문에, 그 설명을 생략한다.
단계S3020 내지 단계S3050의 처리는, 복수의 의료용 화상의 각각에 대하여 처리를 행하는 이외는, 제1 실시예와 같기 때문에, 그 설명을 생략한다.
단계S10060에 있어서, 검색부(914)는, 단계S3040에서 해당한 소견이라고 판정된 소견 후보를 검색 키로서 사용하여서, 데이터베이스(300)로부터 유사 화상을 취득한다. 본 실시예에서는, 복수의 의료용 화상 중 하나의 의료용 화상(즉, 어떤 하나의 방향으로 촬영된 의료용 화상)에 있어서 해당한 소견이라고 판정된 소견 후보를 검색 키로서 사용하여서, 데이터베이스(300)로부터 유사 화상을 취득한다. 본 실시예에서는, H스캔 상으로부터 얻어진 소견을 사용해서 유사 화상을 취득한다. 이때, 본 실시예에 있어서는 검색의 대상이 되는 화상은, 검색원이 되는 의료용 화상이 촬영된 방향과 같은 방향으로 촬영된 의료용 화상뿐이다. 즉, 유사 화상취득부의 일례에 해당하는 검색부(914)는, 상기 검출부에 의해 이상부위가 검출된 단층화상을 얻을 때의 측정 광의 주사 방향과 동일한 방향으로 측정 광을 주사하여서 얻어진 단층화상을, 기억부로부터 취득한다.
또한, 제2 실시예와 마찬가지로, 검색 키가 완전히 일치하는 화상만을 유사 화상으로서 취득한다. 유사 화상에 대응하고, 그 유사 화상과는 다른 방향에서 촬영된 의료용 화상이 있을 경우에는, 이들 의료용 화상들을 하나의 유사 화상으로서 일괄적으로 취득한다.
단계S10070에 있어서, 표시 제어부(116)는, 표시부(118)에 표시되는 내용을 제어한다. 그리고, 표시부(118)는, 표시 제어부(116)로 제어된 표시 내용을 표시한다. 구체적으로는, 복수의 의료용 화상 중 적어도 하나의 의료용 화상을 제2 실시예와 같은 제어 하에 표시시킨다. 또한, 표시 제어부(116)는, 상기 제2 실시예와 마찬가지로, 유사 화상과 그것에 관련된 진단명의 정보를, 유사도의 내림차순으로 표시시킨다.
또한, 본 실시예에 있어서도 제2 실시예와 마찬가지로, 유사 화상과 그것에 관련된 진단명의 정보를 리스트로 관리하고, 리스트의 정보를 표시하고, 리스트 내의 하나의 증례를 단계S3000에서 취득된 복수의 의료용 화상과 대비 가능한 형태로 표시한다. 즉, 다른 방향에서 촬영된 복수의 의료용 화상이 있을 경우에는, 그 의료용 화상의 적어도 하나를 대비 가능한 형태로 표시한다. 이때 표시하는 화상은, 단계S3000에서 취득된 복수의 의료용 화상과 동일한 방향으로 촬영된 화상이다. 또는, 다른 방향에서 촬영된 화상을 표시해도 된다.
본 실시예에서는, 단계S3000에서 취득된 복수의 의료용 화상 중 하나와, 대비 가능한 형태로 표시되고 하나의 증례로서 결정된 유사 화상인 복수의 의료용 화상 중 하나가, 표시되어 있다. 표시하는 화상은, 진단 지원 장치(900) 또는 유저 입력에 의한 선택에 의해 결정된다. 유저 입력에 의한 선택은, 버튼 등의 유저 인터페이스를 사용해서 실현되어도 된다.
도 16은 표시부(118)가 표시하는 표시 내용의 일례를 나타낸다. 표시부(118)가 표시하는 표시 내용(700)은, 대상이 되는 증례의 단층화상(710), 및 대상이 되는 증례의 단층화상에 대응하는 안저화상(715)을 포함한다.
안저화상(715)에는 단층화상의 촬영된 방향을 나타내는 화살표(717)가 중첩되어 있다. 수평화살표(717)는 H스캔 상에 대응하고, 수직화살표(1619)는 V스캔 상에 대응하고 있다. 또한, 표시 내용(700)은, 유사 증례 리스트(1160)를 구비한다. 게다가, 표시 내용(700)은, 대상이 되는 증례와 마찬가지로, 유사 증례 리스트 중 결정된 하나의 증례의 단층화상(1120)과 그 진단명(1122), 및 그 단층화상에 대응하는 안저화상(1125), 수평화살표(1127) 및 수직화살표(1639)를 포함한다. 단층화상(710, 1120)에 관한 소견의 중첩, 및, 유사 증례 리스트로부터의 유저에 의한 선택은 제2 실시예와 같으므로, 그 설명은 생략한다.
단층화상(1120)의 초기 상태(즉, 유저 입력에 의한 선택이 이루어지기 전의 상태)에서, 표시 제어부(116)는, 단계S10060에서 검색에 사용한 소견을 포함하는 단층화상(710)이 촬영된 방향의 단층화상을 표시부(118)에 표시시킨다. 즉, 단층화상(710)이 H스캔 상인 경우에는, 단층화상(1120)도 H스캔 상이다. 본 실시예에서는, 상술한 대로, 유저 입력에 의한 선택으로, 복수의 의료용 화상 중 하나의 의료용 화상을 표시할 수 있다. 구체적으로는, 안저화상(715, 1125)에 중첩된 수평화살표(717, 1127)와 수직화살표(1619, 1639)를, 예를 들면 마우스의 클릭 또는 탭에 의해 선택한다. 수직화살표(1619, 1639)가 선택되면, 표시 제어부(116)는, 클릭한 화살표에 대응하는 방향에서 촬영된 의료용 화상(V스캔 화상)을, 단층화상(710, 1120)으로서 표시부(118)에 표시시킨다. 이 경우, 현재 선택된 화살표와 그 밖의 화살표를 구별하도록 표시하는 것이 바람직하다. 도 16의 예에서는, 실선으로 나타낸 화살표가 선택된 화살표이고, 일점쇄선으로 나타낸 화살표는 비선택된 화살표다. 또는, 수직화살표 1619와 1639 중 한쪽을 선택함으로써, 단층화상 710과 1120의 양쪽 단층화상이 연동해서 V스캔 상으로 변경되어도 된다.
V스캔 상의 소견과 H스캔 상의 소견 중 공통의 소견만을, 각 단층화상 위에 표시시켜도 된다. 즉, 표시 제어부(116)는, 복수의 단층화상으로부터 얻어진 복수의 이상부위에 근거하여, 상기 복수의 단층화상에 공통되는 이상부위의 소견을 표시부에 표시시켜도 된다.
다음에, 도 15b에 나타낸 3차원 스캔의 경우에 대해서 설명한다. 이하, 도 10의 흐름도를 참조하여, 본 실시예에 따른 진단 지원 장치(900)가 실행한 처리에 대해서, 제2 실시예와 다른 부분만을 설명한다. 3차원 스캔에 있어서는, 화상처리부(108) 혹은 (도시되지 않은) 위치 맞춤부에 의해, 복수의 단층화상간의 위치 맞춤 처리가 실행되었다고 가정하는 동안, 이하의 처리를 설명한다.
단계S3010의 처리는 제1 실시예에 따른 처리와 같기 때문에, 그 설명을 생략한다.
단계S3020에 있어서, 복수의 의료용 화상의 각각에 대하여 다른 실시예와 같은 처리를 실행한다. 그렇지만, 제2의 테이블 정보에 기억된 화상처리 파라미터에는 공간적인 파라미터로서 Y방향의 파라미터를 포함해도 된다. 예를 들면, 황반원 구멍이 황반부에 발생하기 때문에 황반중심에서 촬영을 실행하는 경우에는, X축과 Y축 양쪽의 중심 둘레에 황반이 존재한다. 이에 따라, 상기 영역은 X:40%∼60%와 Y:40%∼60%의 촬영 범위에 한정될 수 있다. 그 범위에 포함된 단층화상에 대하여만 화상처리 파라미터를 적용한다.
단계S3030에 있어서는, 래스터 스캔에 의해 취득된 복수의 단층화상에 대하여 구조해석을 실행하므로, 상기 피검안의 이상부위를 검출한다. 즉, 다른 실시예에서 서술한 화상처리를 복수의 단층화상의 각각에 적용한다.
단계S3030에서는, 3차원 화상처리를 실행해도 된다. 휘도는, 복수의 단층화상의 각각에 대해서 정규화되지 않는다. 복수의 단층화상에 대해 전체적으로 히스토그램이 조정된다. 또한, 화상처리에 사용된 각각의 필터는 3차원으로 정의되어도 된다.
단계S3040에서도, 소견을 3차원적으로 판정한다. 예를 들면, 판정 자체는 복수의 단층화상 각각에 대해 이루어진 후에, 인접한 단층화상에 있어서 인접하는 소견후보의 영역들에 대해 재판정을 행해도 된다. 또는, 단계3030에서 검출된 질환 후보에 대하여, 3차원적으로 연결된 영역의 사이즈비 등을 사용하여서 소견 후보를 판정해도 된다.
단계S3050에 있어서, 위치 취득부(112)는, 단계S3030에서 실행한 화상처리의 결과와, 단계S3040에서 해당한 소견이라고 판정된 소견 후보에 근거하여, 소견의 의료용 화상에 있어서의 위치를 나타내는 정보를 취득한다. 그 위치를 나타내는 정보는, 그 위치를 특정할 수 있으면 어떠한 종류의 정보이어도 된다. 본 실시예에서는, 상기 위치를 나타내는 정보가, 그 소견에 해당한다고 판정된 화상처리 영역에 인접하는 직방체 혹은 입방체의 위치를 나타내는 정보로서 취득된다.
단계S10060에 있어서, 검색부(914)는, 단계S3040에서 해당한 소견이라고 판정된 소견 후보를 검색 키로서 사용하여서, 데이터베이스(300)로부터 유사 화상을 취득한다. 본 실시예에서는, 검색부(914)는, 복수의 의료용 화상으로부터 해당한 소견이라고 판정된 소견 후보를 사용하여서, 데이터베이스(300)로부터 유사 화상을 취득한다. 또한, 제2 실시예와 마찬가지로, 검색 키가 완전히 일치하는 화상, 혹은 유사도가 높은 화상을 유사 화상으로서 취득한다. 소견특징이나 화상특징이 유사하는 유사 화상에 있어서, 다른 방향에서 촬영한 화상이나 같은 방향에서 촬영한 복수의 화상이 있을 경우에는, 검색부(914)는, 그 화상들을 하나의 유사 화상으로서 일괄적으로 취득한다.
단계S10070에 있어서, 표시 제어부(116)는, 표시부(118)에 표시시키는 내용을 제어한다. 그리고, 표시부(118)는, 표시 제어부(116)로 제어된 표시 내용을 표시한다. 구체적으로는, 복수의 의료용 화상 중 적어도 하나의 의료용 화상을 제2 실시예와 같은 제어 하에서 표시시킨다. 또한, 표시 제어부(116)는, 제2 실시예와 마찬가지로, 유사 화상과 그것에 관련된 진단명의 정보를, 유사도의 내림차순으로 표시시킨다.
또한, 본 실시예에 있어서도 제2 실시예와 마찬가지로, 유사 화상과 그것에 관련된 진단명의 정보를 리스트로 관리하고, 리스트의 정보를 표시하고, 리스트에서 하나의 증례를 단계S3000에서 취득한 복수의 의료용 화상과 대비 가능한 형태로 표시한다. 본 실시예에서는, 단계S3000에서 취득한 복수의 의료용 화상 중 하나와, 대비 가능한 형태로 표시하는 하나의 증례로서 결정된 유사 화상인 복수의 의료용 화상 중 하나를, 표시한다. 표시하는 화상은, 진단 지원 장치(900) 또는 유저 입력의 선택에 의해 결정된다. 유저 입력에 의한 선택은, 버튼 등의 유저 인터페이스를 사용해서 실현되어도 된다.
도 17은 표시부(118)가 표시하는 표시 내용의 일례를 나타낸다. 표시부(118)가 표시하는 표시 내용(700)은, 대상이 되는 증례의 단층화상(710), 및, 대상이 되는 증례의 단층화상에 대응하는 안저화상(715)을 포함한다. 안저화상(715)은, 의료용 화상취득부(102)에 의해 취득된 복수의 단층화상을 깊이 방향으로 적산함으로써 생성된 적산 화상이다. 의료용 화상취득부(102)는 적산 화상을 생성하여도 된다. 안저화상(715)이 단층화상에 근거하여 생성된 화상이므로, 단층화상의 소견의 위치는 안저화상(715) 위의 위치에 관련될 수 있다. 또한, 안저화상(715)은 SLO 또는 안저 카메라에 의해 촬영된 화상이어도 된다. 이 경우, 의료용 화상취득부(102)는 (도시되지 않은) SLO 또는 안저 카메라로부터 안저화상을 취득한다. 즉, 의료용 화상취득부(102)는, 피검안의 안저화상을 취득한다. SLO 또는 안저 카메라에 의해 얻어진 안저화상과 단층화상에 근거해서 생성된 적산 화상과의 위치 맞춤을 행하는 것으로, 단층화상의 소견을 SLO 또는 안저 카메라에 의해 얻어진 안저화상(715)에 관련될 수 있다. 상술한 바와 같이, 단층화상의 소견은 안저화상(715)에 관련될 수 있으므로, 표시 제어부(116)는, 소견을 안저화상(715) 위에 표시시킬 수 있다. 즉, 표시 제어부는, 안저화상을 표시부에 한층 더 표시시킴과 아울러, 소견을 안저화상 위에도 표시시킬 수 있다.
안저화상(715)에는, 단층화상(710)의 안저에 있어서의 위치를 나타내는 화살표(717), 소견(1711) 및 마커(1712)가 중첩되어 있다. 마커(1712)는, 단계S3050에서 취득한 소견 위치의 영역을 나타내는 직방체, 혹은 입방체의 중심위치를 지시하도록 표시한다.
본 실시예에서는, 해당한 소견이 안저화상(715)에 중첩하는 위치를, 이하의 표시 규칙 하에 해당한 소견에 대해 결정한다. 물론, 표시 규칙은 이하에 나타내는 예에 한정되지 않는다. (1) 해당한 소견이라고 판정된 다른 소견의 문자정보 위에는 중첩되지 않는다. (2) 해당한 소견이라고 판정된 소견의 위치를 나타내는 정보에 대해서, 소견의 위치를 나타내는 정보 근방의 위치에 마커(예를 들면, 화살표)를 부여한다. (3) 동일 소견이 복수 존재할 경우, 공간적으로 가까운 영역에서는, 대표 위치에서의 소견을 표시한다. (4) 동일 소견이 N보다 큰 수만큼 존재할 경우, 표시하는 소견의 수는 N이하다.
상기 규칙의 (3)에 대해서, 예를 들면, 경성 백반이 가까운 영역에 복수 존재하여도 된다. 이 경우, 공간적으로 가까운 경성 백반이 일괄적으로 표시된다. 구체적으로는, XY평면에 있어서 직경 1mm의 원내에 5개의 경성 백반이 존재할 경우, 안저화상 위에 5개의 소견이 아닌 1개의 소견만이 표시된다. 즉, 표시 제어부(116)는, 다른 단층화상으로부터 검출부에 의해 검출된 이상부위에 대응하는 소견이 동일한 소견이며, 또한, 다른 단층화상으로부터 검출된 이상부위간의 거리가 역치미만일 경우, 상기 동일한 소견을 하나의 소견으로서 안저화상 위에 표시시킨다. 소견들은 경성 백반간의 거리가 역치이하일 경우에 분류되어도 되거나, 그 소견들은 경성 백반이 검출된 복수의 단층화상간의 거리가 역치이하일 경우에 분류되어도 된다.
상기 규칙의 (4)에 대해서, 예를 들면, 비록 상기 규칙(3) 하에 공간적으로 가까운 소견들을 분류하였지만 소견들이 광범위로 나타나는 경우에도, 소견들은 N보다 큰 수만큼 표시된다. 이 경우, 같은 소견의 표시 수는 N이하가 되도록 조정된다. 예를 들면, N은 3이다. 소견의 표시 수가 3보다 큰 경우, 황반부 중심와에 공간적으로 가까운 소견이 남아도 되거나, 혹은, 황반부 중심와에 가까운 하나의 소견이 선택되고, 공간적으로 이격되는 나머지의 2개의 소견이 남아도 된다. 예를 들면, 중심에서 1개의 소견을 선택하고, 나머지의 2개의 소견을 상측 및 하측으로부터 각각 1개씩 선택한다. 중심와에 가까운 소견은, 시기능(viewing function)에 대한 영향이 다른 소견보다 높기 때문에, 그 소견은 의사 등에 필요한 정보다.
안저화상에 중첩된 소견(1711)과 마커(1712)는, 제1 실시예에서 상술한 바와 같이, 정보표시(740)의 유저 인터페이스에 의해 온/오프 될 수 있다. 또한, 의사에 의한 소견과, CAD에 의한 소견의 표시도, 온/오프될 수 있다. 이것들의 소견 표시는, 클릭하는 횟수에 따라 온/오프 되어도 된다. 예를 들면, 클릭 횟수가 증가함에 따라, 표시는, "양쪽이 온"으로부터, "단층화상의 소견이 온", "안저화상의 소견이 오프", "단층화상의 소견이 오프", "안저화상의 소견이 온", 및 "양쪽이 오프"로 변경되어도 된다. 혹은, (도시되지 않은) 유저 인터페이스에 의해 온/오프 하는 소견의 종류를 지정해도 된다. 컴퓨터가 출력한 CAD소견에 대해서 확정(승인)을 행하는 것, 혹은 CAD소견을 수정하는 것이 가능하다. 그 처리는, 단층화상(710)에 중첩되어 있는 소견 711과, 안저화상(715)에 중첩되어 있는 소견 1711 중 어느 한쪽을 사용하여서 실행될 수 있다. 소견 711 및 1711중 어느 한쪽으로 확정(또는 수정)되면, 대응하는 소견도 확정(수정)된다. 즉, CAD소견과 의사소견 사이에서 소견의 문자의 색을 변경하는 경우, 소견 1711의 "덮개"를 확정시키면, 소견 711의 "덮개"도 확정된 것으로서 생각된다. 표시 제어부(116)는 양쪽의 소견의 문자를 변경한다. 3차원으로 촬영된 데이터의 경우, 병변이 3차원적으로 연장하므로, 같은 소견이 복수의 단층화상에 표시된다. 예를 들면, "덮개"는 인접한 5매의 단층화상에 표시된다. 이 경우에, 안저화상으로 확정하는 경우나, 어느 하나의 단층화상으로 확정하는 경우에는, 표시 제어부(116)는 마찬가지로 다른 단층화상에 있어서도 확정된 소견을 나타내는 색으로 그 소견을 표시부(118)에 표시시킨다.
복수의 단층화상의 슬라이스 위치는, (도시되지 않은) 슬라이더 바나 화살표(717)를 조작하여서 변경될 수 있다. 또는, 소견(1711)을 선택하여서, 단층화상의 위치를 변경해도 된다. 즉, 안저화상상의 소견(1711)을 탭 또는 클릭하여서, 소견(1711)이 포함되는 단층화상이 표시된다. 이 경우, 그 선택된 소견(1711)에 해당한다고 판정된 화상처리 영역에 인접하는 직방체, 혹은 입방체의 중심위치에 해당하는 단층화상을 표시 제어부(116)는 표시부(118)에 표시시킨다. 이에 따라, 안저화상과 소견에 근거하여 주목하고 싶은 단층화상을 신속하게 표시시킬 수 있다.
또한, 표시 내용(700)은, 유사 증례 리스트(1160)를 포함한다. 게다가, 대상이 되는 증례와 마찬가지로, 표시 내용(700)은, 유사 증례 리스트 중에서 결정된 하나의 증례의 단층화상(1120)과 그 진단명(1122), 그 단층화상에 대응하는 안저화상(1125), 단층화상(1210)의 위치를 나타내는 화살표(1127) 및 소견(1721)을 포함한다. 단층화상(710, 1120)상의 소견의 중첩, 및, 유사 증례 리스트의 유저에 의한 선택은, 상기 제2 실시예와 같으므로, 그 설명은 생략한다.
본 실시예에서는, 상술한 대로, 유저 입력에 의한 선택으로, 복수의 의료용 화상 중 하나의 의료용 화상을 표시할 수 있다.
본 실시예에 의해, 의료용 화상이 복수의 화상으로 이루어질 경우에, 검색 대상이 되어 있었던 방향으로 촬영된 화상뿐만 아니라, 다른 방향으로 촬영된 화상에 대해서도 간단한 조작으로 확인할 수 있다. 즉, 광범위로 확산된 소견을 확인할 수 있기 때문에, 진단에 관련되는 부담을 경감시킬 수 있다.
제1 변형 예
제4 실시예에 따른 단계S10060에 있어서, 검색부(914)는, 복수의 의료용 화상 중 하나의 의료용 화상에 있어서 해당한 소견이라고 판정된 소견 후보를 검색 키로서 사용하여서, 데이터베이스(300)에서 동일 방향으로 촬영된 의료용 화상만으로부터 유사 화상을 취득하였다. 그러나, 하나의 의료용 화상에 있어서 해당한 소견이라고 판정된 소견만을 사용하지 않아도 된다. 예를 들면, 복수의 의료용 화상 중 2개이상 혹은 모든 의료용 화상 각각에 있어서 검색 키를 작성하고, 모든 방향으로 유사 화상을 취득해도 된다. 예를 들면, 검색원이 되는 복수의 의료용 화상이 H스캔 상과 V스캔 상을 포함하는 경우를 생각한다. 이 경우, 검색부(914)는, 데이터베이스(300)에 존재하는 화상 중, 검색원인 H스캔 상과 유사한 H스캔 상을 갖고, 또한 검색원이 되는 V스캔 상과 유사한 V스캔 상을 갖는, 의료용 화상을 유사 화상으로서 취득한다.
또한, 제4 실시예에서는, 검색원이 되는 의료용 화상이 촬영된 방향과 동일한 방향에서 촬영된 의료용 화상만이 데이터베이스(300)로부터 취득하는 대상이다. 그렇지만, 다른 방향에서 촬영된 의료용 화상이 데이터베이스(300)로부터 취득되는 대상이어도 된다. 예를 들면, 검색원이 되는 화상이 H스캔 상일 경우에, 데이터베이스(300)에 존재하는 V스캔 상은 유사 화상으로서 취득되어도 된다. 게다가, 검색부(914)는, 하나의 의료용 화상에 있어서 해당한 소견이라고 판정된 소견만을 사용하지 않아도 된다. 복수의 의료용 화상 중 2개이상 혹은 모든 의료용 화상에 있어서 해당한 소견이라고 판정된 소견은, AND와 OR를 취한 후 검색 키의 역할을 해도 된다.
제5 실시예
제4 실시예에서는, 복수의 방향에서 촬영된 복수의 의료용 화상을 취득하고, 취득한 의료용 화상의 화상처리 결과를 사용해서 의료용 화상 위에 CAD소견 등의 지원 정보를 제시하였다. 본 실시예에서는, 취득한 의료용 화상의 화상처리 결과를 사용해서, 의료용 화상 위에 지원 정보를 제시함과 아울러, 병명(진단명)을 추정해서 제시하는 것에 의해 해당 의료용 화상에 관한 진단 지원을 실행한다. 도 18을 참조하여 제5 실시예에 따른 진단 지원 장치(1800)의 기능 구성의 일례에 대해서 설명한다. 진단 지원 장치(1800)는, 도 9에 나타낸 기능 구성에 추정부(1811)가 추가되어 있다. CPU(1001)가 프로그램을 실행함으로써 실현된 추정부(1811)는, 단층화상으로부터 검출된 이상부위를 사용해서 병명을 추정한다. 도 19는, 진단 지원 장치(1800)가 실행한 처리의 일례를 설명하는 흐름도를 나타낸다. 이 흐름도는, 기본적으로 제1 실시예와 같지만, 그 처리의 일부가 상기 제1 실시예와는 다르다. 구체적으로는, 병명후보를 추정하는 단계S19060과, 정보를 표시하는 단계S19070이 상기 제1 실시예와는 다르다. 이하, 도 19의 흐름도, 도 20a 내지 20d, 도 21의 표시 내용의 일례를 참조하여, 본 실시예에 따른 진단 지원 장치(1800)가 실행하는 전체 처리의 일례에 대해서, 제1 실시예 내지 제4 실시예와 다른 부분만을 설명한다. 본 실시예에서는, 도 15a에 나타낸 것 같은 크로스 스캔에 대해서 설명한다. 다른 스캔 패턴에 대하여도 본 실시예는 적용가능하다.
단계S3000 내지 단계S3050의 처리는, 제4 실시예와 같으므로, 그 설명을 생략한다.
단계S19060에 있어서, 추정부(1811)는 얻어진 소견에 근거하여 병명후보를 추정한다. 즉, 추정부(1811)는, 소견에 근거해서 병명을 추정하는 추정부의 일례에 해당한다. 추정부(1811)는, 단계S3050에서 취득된 H스캔 상과 V스캔 상에 관해서, 그 상들의 소견 후보의 위치를 사용해서 병명후보를 추정한다. 즉, 추정부(1811)는 안저화상상의 위치와 소견에 근거하여 병명후보를 추정한다. 안저화상상에 있어서의 소견의 위치의 특정에 대해서 도 20a 내지 20d를 참조하여 설명한다. 도 20a 내지 20d는, 안저화상의 영역을 각각 분할하는 복수의 예를 나타낸다. 도 20a 및 20b는 황반부 중심와를 기준으로서 귀측, 상측, 코측, 하측으로 안저화상의 영역을 분할하고 있는 예이며, 황반부 중심와로부터의 거리에 따라서 섹터를 나누고 있다. 예를 들면, 섹터의 직경은 1mm, 3mm, 10mm이다. 수치는 이것들의 값에 한정되지 않는다. 도 20a는 황반부 중심와를 기준으로 한 원형영역을 분할하는 예다. 도 20b는 중심와로부터 직경 3mm의 영역 밖의 전체 영역을 분할하는 예다.
또한, 도 20c 및 20d는 안저화상의 전체를 그리드(grid)로 분할하는 예다. 도 20c는 안저화상의 촬영 범위에 수평 선 및 수직 선에 의해 안저화상의 영역을 분할한 예다. 도 20d는 시신경 유두부와 황반부 중심와를 연결한 선에 대하여 수평 선 및 수직 선에 의해 안저화상의 영역을 분할한 예다. 여기서 설명한 바와 같이, 황반부 및 시신경 유두부의 적어도 한쪽을 기준으로서 안저화상을 바람직한 영역으로 분할한다.
도 20a와 같이 안저화상의 영역이 분할되었을 경우에 대해서 설명한다. 예를 들면, 추정부(1811)는, V스캔 상의 상측이나 하측에 망막비후가 검출되고 또한 중심에서는 중심와 낭포모양 구멍이 검출되며, H스캔 상에 있어서는 중심와 낭포모양 구멍이 검출되었을 경우, 망막 정맥분지 폐색증으로서 병명후보를 추정(검출)한다. 이렇게, 추정부(1811)는, V스캔 상의 소견과 H스캔 상의 소견에 근거하여 병명을 추정한다. 즉, 추정부(1811)는 복수의 단층화상 각각으로부터 얻어진 이상부위의 소견에 근거하여 병명을 추정한다.
추정부(1811)는, 병명후보를 추정하기 위해서 Random forests와 같은 결정 트리(tree)수법이나, 서포트 벡터 머신(SVM)과 같은 식별기를 사용해도 된다. 혹은, 추정부(1811)는, 소견 또는 화상특징을 사용하여서 유사 증례 검색을 실행하고, 안저화상에 있어서 소견이 나타나는 공간적인 특징을 고려하는 검색을 실행하고, 검색 결과에 관련된 병명을 제시해도 된다. 공간적인 특징은, 크로스 스캔의 경우, 중심, 상측, 하측영역의 특징 벡터와, 중심, 코측, 귀측 영역의 특징 벡터에 대해 산출된 유사도를 나타낸다.
단계S19070에 있어서, 표시 제어부(116)는, 표시부(118)에 표시시키는 내용을 제어한다. 그리고, 표시부(118)는, 표시 제어부(116)로 제어된 표시 내용을 표시한다. 구체적으로는, 복수의 의료용 화상 중 적어도 하나의 의료용 화상을 제2 실시예와 같은 제어 하에 표시시킨다. 도 21은 표시부(118)가 표시하는 표시 내용의 일례를 나타낸다. 표시부(118)가 표시하는 표시 내용(700)은, 대상이 되는 증례의 단층화상(2110), 소견(2111), 마커(2112), 및 대상이 되는 증례인 그 단층화상에 대응하는 안저화상(2115)을 포함한다. 안저화상(2115)에는 상기 표시된 단층화상(2110)(H스캔 상)의 위치를 나타내는 화살표(2117)가 중첩되어 있다. 마찬가지로, V스캔 상에 대해서, 표시 내용(700)은, 단층화상(2120), 소견(2121), 마커(2122), 및, 대상이 되는 증례인단층화상에 대응하는 안저화상(2115)을 포함한다. 안저화상(2115)에는 상기 표시된 단층화상(2120)(V 스캔 상)의 위치를 나타내는 화살표(2119)가 중첩되어 있다. 도 21에 도시된 바와 같이, 안저화상(2115)의 하부의 광범위에 출혈 영역(2116)이 발견된다. 또한, 표시 내용(700)은, 진단명 후보 모드(2134)와, 진단명 후보 리스트(2160)를 포함한다. 진단명 후보 모드(2134)를 탭 또는 클릭에 의해 진단명 후보 모드를 선택한다. 이에 따라, 상술한 진단명 후보를 표시하는 처리가 실행된다.
본 실시예에서는, H스캔 상과 V스캔 상을 표시한다. 그렇지만, 그것은 이것에 한정되지 않는다. 예를 들면, 복수의 단층화상을, 화면의 상부(예를 들면, 단층화상 2110의 위치)에 표시해도 되고, (도시되지 않은) 유저 인터페이스에 의해 단층화상을 바꾸어서 표시해도 된다. 즉, H스캔 상(2110)과 V스캔 상(2120)의 한쪽을 표시시키고, 유저 인터페이스에 의해 표시시키는 화상을 전환하여도 된다. 또한, 화면하부에는, 제3 실시예에서 설명한 바와 같이, 진단명 후보 리스트에 대응하는 진단의 가이드라인을 표시해도 된다. 진단명 후보 리스트에 표시된 진단명의 선택을 전환하여서, 진단의 가이드라인이 전환된다.
본 실시예에 의해, 소견을 표시하고, 진단명 후보를 표시한다. 게다가, 관련되는 진단의 가이드라인을 참조할 수 있다. 의사의 진단에 관련되는 부담을 경감시킬 수 있다. 또한, 본 실시예에 의해, 직교하는 2개의 단층화상에 근거하여 병명을 추정하므로, 한층 더 정확히 병명을 추정할 수 있다.
그 밖의 실시예
상술한 모든 기능 또는 일부의 기능은 네트워크에 놓여도 된다. 이 경우, 표시 기능 또는 일부의 기능만을 로컬측에서 동작시키는, 서버 클라이언트형 구성이 이용되어도 된다. 또한, 상술한 각각의 실시예는 개별적인 실시예이어도 되거나, 조합되어도 된다.
또한, 본 발명의 실시예(들)는, 기억매체(보다 완전하게는 '비일시적 컴퓨터 판독 가능한 기억매체'라고도 함)에 레코딩된 컴퓨터 실행가능한 명령어들(예를 들면, 하나 이상의 프로그램)을 판독하고 실행하여 상술한 실시예(들)의 하나 이상의 기능을 수행하는 것 및/또는 상술한 실시예(들)의 하나 이상의 기능을 수행하기 위한 하나 이상의 회로(예를 들면, 주문형 반도체(ASIC))를 구비하는 것인, 시스템 또는 장치를 갖는 컴퓨터에 의해 실현되고, 또 예를 들면 상기 기억매체로부터 상기 컴퓨터 실행가능한 명령어를 판독하고 실행하여 상기 실시예(들)의 하나 이상의 기능을 수행하는 것 및/또는 상술한 실시예(들)의 하나 이상의 기능을 수행하는 상기 하나 이상의 회로를 제어하는 것에 의해 상기 시스템 또는 상기 장치를 갖는 상기 컴퓨터에 의해 행해지는 방법에 의해 실현될 수 있다. 상기 컴퓨터는, 하나 이상의 프로세서(예를 들면, 중앙처리장치(CPU), 마이크로처리장치(MPU))를 구비하여도 되고, 컴퓨터 실행 가능한 명령어를 판독하여 실행하기 위해 별개의 컴퓨터나 별개의 프로세서의 네트워크를 구비하여도 된다. 상기 컴퓨터 실행가능한 명령어를, 예를 들면 네트워크나 상기 기억매체로부터 상기 컴퓨터에 제공하여도 된다. 상기 기억매체는, 예를 들면, 하드 디스크, 랜덤액세스 메모리(RAM), 판독전용 메모리(ROM), 분산형 컴퓨팅 시스템의 스토리지, 광디스크(콤팩트 디스크(CD), 디지털 다기능 디스크(DVD) 또는 블루레이 디스크(BD)TM등), 플래시 메모리 소자, 메모리 카드 등 중 하나 이상을 구비하여도 된다.
본 발명을 실시예들을 참조하여 기재하였지만, 본 발명은 상기 개시된 실시예들에 한정되지 않는다는 것을 알 것이다. 아래의 청구항의 범위는, 모든 변형예, 동등한 구조 및 기능을 포함하도록 폭 넓게 해석해야 한다.
Claims (20)
- 피검안의 단층화상을 취득하는 취득부;
상기 취득부에 의해 취득된 단층화상에 대하여 구조 해석을 실행하고 상기 피검안의 이상부위를 검출하는 검출부; 및
상기 검출부에 의해 검출된 이상부위의 소견을 문장 또는 단어로서 상기 단층화상에 중첩해서 표시부에 표시시키는 표시 제어부를 구비하는, 화상처리장치.
- 제 1 항에 있어서,
상기 표시 제어부는, 상기 검출부에 의해 검출된 이상부위의 위치에 대응하는 상기 단층화상상의 위치에 상기 소견을 표시시키는, 화상처리장치.
- 제 1 항 또는 제 2 항에 있어서,
상기 표시 제어부는, 상기 단층화상에 포함되는 내경계막 및 신경섬유층 경계의 한쪽과 망막색소상피층 경계 및 시세포 내절/외절 경계의 한쪽 사이에 배치된 영역이외의 영역에 상기 소견을 표시시키는, 화상처리장치.
- 제 1 항에 있어서,
상기 단층화상으로부터 층 경계를 추출하는 추출부를 더 구비하고,
상기 검출부는, 상기 추출부에 의해 추출된 층 경계에 의해 규정된 상기 단층화상에 있어서의 제1영역과 제2영역에 대하여 다른 알고리즘의 구조해석을 적용하고, 상기 제1영역으로부터 제1이상부위를 검출하고, 상기 제2영역으로부터 상기 제1이상부위와는 다른 제2이상부위를 검출하고,
상기 표시 제어부는, 상기 제1이상부위의 소견과 상기 제2이상부위의 소견을 문장 또는 단어로서 상기 단층화상에 중첩해서 상기 표시부에 표시시키는, 화상처리장치.
- 제 4 항에 있어서,
상기 추출부는, 내경계막 및 신경섬유층 경계의 적어도 한쪽 및 망막색소상피층 경계 및 시세포 내절/외절 경계의 적어도 한쪽을 추출하고,
상기 검출부는, 상기 내경계막 및 상기 신경섬유층 경계의 한쪽과 상기 망막색소상피층 경계 및 상기 시세포 내절/외절 경계의 한쪽 사이에 배치된 영역인 상기 제1영역과, 상기 내경계막 및 상기 신경섬유층 경계의 한쪽에 대해 유리체측에서의 영역인 상기 제2영역에 대하여, 다른 알고리즘의 구조해석을 적용하고, 상기 제1이상부위 및 상기 제2이상부위를 생성하는, 화상처리장치.
- 제 1 항에 있어서,
조작자에 의한 상기 표시부에 표시된 상기 소견에 대한 수정을 접수하는 접수부를 더 구비하고,
상기 표시 제어부는, 수정된 소견을 수정전의 표시 형태와 다른 표시 형태로 상기 표시부에 표시시키는, 화상처리장치.
- 제 1 항에 있어서,
상기 검출부에 의해 검출된 이상부위의 소견에 근거해서 복수의 질병의 진단 순서를 나타내는 정보로부터 적어도 하나의 질병의 진단 순서를 나타내는 정보를 취득하는 정보취득부를 더 구비하고,
상기 정보취득부는, 상기 검출부에 의해 검출된 이상부위의 소견에 관련된 상기 질병의 진단 순서를 나타내는 정보를 취득하고,
상기 표시 제어부는, 상기 정보취득부에 의해 취득된 상기 질병의 진단 순서를 나타내는 정보를 상기 표시부에 표시시키는, 화상처리장치.
- 제 1 항에 있어서,
복수의 단층화상을 해당하는 소견과 관련지어 기억하는 기억부; 및
상기 검출부에 의해 검출된 이상부위의 소견과 일치하는 소견에 관련된 단층화상을 상기 기억부로부터 취득하는 유사 화상 취득부를 더 구비하는, 화상처리장치.
- 제 8 항에 있어서,
상기 유사 화상 취득부는, 상기 검출부에 의해 이상부위가 검출된 단층화상을 얻을 때의 측정 광의 주사 방향과 동일한 방향으로 측정 광을 주사하여서 얻어진 단층화상을 상기 기억부로부터 취득하는, 화상처리장치.
- 제 8 항에 있어서,
상기 기억부는, 상기 복수의 단층화상을 상기 단층화상에 있어서의 해당한 소견과 위치에 관련지어 기억하고,
상기 유사 화상 취득부는, 상기 검출부에 의해 검출된 이상부위의 소견 및 해당 소견의 위치와 일치하는 소견 및 해당 소견의 위치에 관련된 단층화상을, 상기 기억부로부터 취득하는, 화상처리장치.
- 제 1 항에 있어서,
상기 취득부는, 상기 피검안의 안저화상을 취득하고,
상기 표시 제어부는, 상기 안저화상을 상기 표시부에 한층 더 표시시킴과 아울러, 상기 소견을 상기 안저화상 위에 표시시키는, 화상처리장치.
- 제 11 항에 있어서,
상기 취득부는 상기 피검안의 다른 위치에서 복수의 단층화상을 취득하고,
상기 검출부는, 상기 복수의 단층화상에 대하여 구조해석을 실행하여서 상기 피검안의 이상부위를 검출하는, 화상처리장치.
- 제 12 항에 있어서,
상기 표시 제어부는, 다른 단층화상으로부터 상기 검출부에 의해 검출된 이상부위에 대응하는 소견이 동일한 소견이고, 또한, 상기 다른 단층화상으로부터 검출된 이상부위간의 거리가 역치미만일 경우, 상기 동일한 소견을 하나의 소견으로서 상기 안저화상 위에 표시시키는, 화상처리장치.
- 제 1 항에 있어서,
상기 취득부는, 상기 피검안에 대하여 다른 방향으로 측정 광을 주사하여서 얻어진 복수의 단층화상을 취득하고,
상기 검출부는, 상기 복수의 단층화상에 대하여 구조해석을 실행하여서 상기 피검안의 복수의 이상부위를 검출하고,
상기 표시 제어부는, 상기 복수의 단층화상으로부터 얻어진 상기 복수의 이상부위에 근거하여, 상기 복수의 단층화상에 공통되는 이상부위의 소견을 상기 표시부에 표시시키는, 화상처리장치.
- 제 1 항에 있어서,
상기 소견에 근거하여 병명을 추정하는 추정부를 더 구비하고,
상기 취득부는, 상기 피검안에 대하여 다른 방향으로 측정 광을 주사하여서 얻어진 복수의 단층화상을 취득하고,
상기 검출부는, 상기 복수의 단층화상에 대하여 구조해석을 실행하여서 상기 피검안의 복수의 이상부위를 검출하고,
상기 추정부는, 상기 복수의 단층화상으로부터 얻어진 상기 이상부위의 소견에 근거하여 병명을 추정하는, 화상처리장치.
- 제 14 항에 있어서,
상기 다른 방향은 직교 방향인, 화상처리장치.
- 제 1 항에 있어서,
상기 표시부는 터치패널을 구비하고,
상기 화상처리장치는, 상기 표시부에 표시된 복수의 환자정보 중 하나의 환자정보가 탭 되었을 경우에 상기 하나의 환자정보를 가선택하고, 상기 탭 후 스와이프가 행해졌을 경우에 상기 하나의 환자정보를 선택하는 선택부를 더 구비하고,
상기 취득부는, 상기 선택부에 의해 선택된 환자정보에 대응하는 상기 단층화상을 취득하는, 화상처리장치.
- 제 8 항에 있어서,
상기 기억부는, 복수의 단층화상 각각을, 소견, 단층화상의 소정의 층의 두께에 근거한 정보 및 단층화상에 포함된 망막의 휘도에 근거한 정보에 관련지어 기억하고,
상기 유사 화상 취득부는, 상기 검출부에 의해 검출된 이상부위의 소견, 상기 층의 두께에 근거한 정보 및 상기 휘도에 근거한 정보에 대응하는, 상기 이상부위의 소견, 상기 층의 두께에 근거한 정보 및 상기 휘도에 근거한 상기 정보에 관련된 단층화상을 취득하는, 화상처리장치.
- 취득부를 사용하여 피검안의 단층화상을 취득하는 단계;
상기 취득부에 의해 취득된 상기 단층화상에 대하여 구조해석을 실행하고 상기 피검안의 이상부위를 검출하는 단계; 및
상기 이상부위의 소견을 문장 또는 단어로서 상기 단층화상에 중첩해서 표시부에 표시시키는 단계를 포함하는, 화상처리방법.
- 청구항 19에 따른 화상처리방법을 컴퓨터에 실행시키기 위하여 매체에 저장된 프로그램.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JPJP-P-2015-099470 | 2015-05-14 | ||
JP2015099470A JP6594033B2 (ja) | 2015-05-14 | 2015-05-14 | 画像処理装置、画像処理方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20160134585A true KR20160134585A (ko) | 2016-11-23 |
KR102027276B1 KR102027276B1 (ko) | 2019-10-01 |
Family
ID=57275834
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020160059508A KR102027276B1 (ko) | 2015-05-14 | 2016-05-16 | 화상처리장치, 화상처리방법 및 프로그램 |
Country Status (4)
Country | Link |
---|---|
US (2) | US9826896B2 (ko) |
JP (1) | JP6594033B2 (ko) |
KR (1) | KR102027276B1 (ko) |
CN (1) | CN106157297B (ko) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20200062764A (ko) * | 2018-11-27 | 2020-06-04 | 울산대학교 산학협력단 | 딥러닝 기반 혈관 구분 방법 및 시스템 |
KR20200069209A (ko) * | 2018-12-06 | 2020-06-16 | 주식회사 메디웨일 | 안구 이미지 기반의 진단 보조 이미지 제공 장치 |
Families Citing this family (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6594033B2 (ja) * | 2015-05-14 | 2019-10-23 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
US10307051B2 (en) * | 2015-10-15 | 2019-06-04 | Sony Corporation | Image processing device, method of image processing, and surgical microscope |
US9652846B1 (en) * | 2015-10-22 | 2017-05-16 | International Business Machines Corporation | Viewpoint recognition in computer tomography images |
US10285581B2 (en) * | 2015-12-02 | 2019-05-14 | Nidek Co., Ltd. | Ophthalmologic information processing apparatus and ophthalmologic information processing method |
JP6551316B2 (ja) * | 2016-06-10 | 2019-07-31 | 京セラドキュメントソリューションズ株式会社 | 画像読取装置および画像形成装置 |
US9943225B1 (en) * | 2016-09-23 | 2018-04-17 | International Business Machines Corporation | Early prediction of age related macular degeneration by image reconstruction |
JP2020513983A (ja) * | 2017-03-23 | 2020-05-21 | ドヘニー アイ インスティテュート | 光干渉断層撮影の多重en−face血管造影平均化システム、方法および装置 |
WO2018181714A1 (ja) * | 2017-03-31 | 2018-10-04 | 株式会社ニデック | 眼科情報処理システム |
JP6862286B2 (ja) * | 2017-05-31 | 2021-04-21 | キヤノン株式会社 | 情報処理装置、情報処理方法、情報処理システム及びプログラム |
JP6899903B2 (ja) * | 2017-07-03 | 2021-07-07 | 富士フイルム株式会社 | 医療画像処理装置、内視鏡装置、診断支援装置、医療業務支援装置、及び、レポート作成支援装置 |
JP6796725B2 (ja) * | 2017-09-26 | 2020-12-09 | 富士フイルム株式会社 | 医療画像処理システム、内視鏡システム、診断支援装置、及び医療業務支援装置 |
CN107833631A (zh) * | 2017-11-20 | 2018-03-23 | 新乡医学院 | 一种医学影像计算机辅助分析方法 |
JP7185255B2 (ja) * | 2018-05-16 | 2022-12-07 | 株式会社トーメーコーポレーション | 断層画像処理装置、これを備える眼科装置、及び断像画像を処理するためのコンピュータプログラム |
JP7099925B2 (ja) * | 2018-09-27 | 2022-07-12 | 富士フイルム株式会社 | 画像処理装置、画像処理方法、プログラムおよび記録媒体 |
KR20210101271A (ko) * | 2018-12-11 | 2021-08-18 | 타스밋 가부시키가이샤 | 화상 매칭 방법, 및 화상 매칭 처리를 실행하기 위한 연산 시스템 |
US11439301B2 (en) * | 2019-01-16 | 2022-09-13 | Topcon Corporation | Ophthalmologic information processing apparatus, ophthalmologic apparatus and ophthalmologic information processing method |
US11141060B2 (en) | 2019-01-16 | 2021-10-12 | Topcon Corporation | Ophthalmologic apparatus and method of controlling the same |
US11134836B2 (en) | 2019-01-16 | 2021-10-05 | Topcon Corporation | Ophthalmologic information processing apparatus, ophthalmologic apparatus and ophthalmologic information processing method |
CN109886955A (zh) * | 2019-03-05 | 2019-06-14 | 百度在线网络技术(北京)有限公司 | 用于处理眼底图像的方法和装置 |
CN113543694B (zh) * | 2019-03-08 | 2024-02-13 | 富士胶片株式会社 | 医用图像处理装置、处理器装置、内窥镜***、医用图像处理方法、及记录介质 |
US11068052B2 (en) * | 2019-03-15 | 2021-07-20 | Microsoft Technology Licensing, Llc | Holographic image generated based on eye position |
EP3719807A1 (en) * | 2019-04-04 | 2020-10-07 | Optos PLC | Predicting a pathological condition from a medical image |
KR102108401B1 (ko) * | 2019-06-27 | 2020-05-28 | 주식회사 딥노이드 | 인공지능 판독서버, 이를 포함하는 pacs 기반 영상 처리 시스템 및 방법 |
US20220280034A1 (en) * | 2019-07-31 | 2022-09-08 | Nikon Corporation | Information processing system, information processing apparatus, information processing program, and information processing method |
CN112115888B (zh) * | 2020-09-22 | 2022-06-03 | 四川大学 | 一种基于病斑相关性的植物病害诊断*** |
JPWO2022181729A1 (ko) * | 2021-02-25 | 2022-09-01 | ||
CN114782337A (zh) * | 2022-04-08 | 2022-07-22 | 平安国际智慧城市科技股份有限公司 | 基于人工智能的oct图像推荐方法、装置、设备及介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0731591A (ja) * | 1993-07-19 | 1995-02-03 | Toshiba Corp | 読影レポート作成支援装置 |
JP2010268916A (ja) * | 2009-05-20 | 2010-12-02 | Topcon Corp | 前眼部観察装置 |
JP2012235835A (ja) * | 2011-05-10 | 2012-12-06 | Canon Inc | 画像処理装置及び方法 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002306415A (ja) * | 2001-04-13 | 2002-10-22 | Japan Science & Technology Corp | 眼科診断支援システム |
JP4638131B2 (ja) * | 2003-03-19 | 2011-02-23 | 株式会社リコー | 画像処理装置管理システムおよび画像処理装置の管理方法 |
JP5153281B2 (ja) * | 2007-09-28 | 2013-02-27 | キヤノン株式会社 | 診断支援装置及びその制御方法 |
JP5704879B2 (ja) * | 2009-09-30 | 2015-04-22 | 株式会社ニデック | 眼底観察装置 |
US9797002B2 (en) * | 2010-06-25 | 2017-10-24 | University Of Southern California | Methods and kits for genome-wide methylation of GpC sites and genome-wide determination of chromatin structure |
JP5701024B2 (ja) * | 2010-11-26 | 2015-04-15 | キヤノン株式会社 | 画像処理装置及び方法 |
JP5618787B2 (ja) * | 2010-11-29 | 2014-11-05 | キヤノン株式会社 | レポート作成支援装置及びその作成支援方法、並びにプログラム |
JP6025311B2 (ja) * | 2011-08-01 | 2016-11-16 | キヤノン株式会社 | 眼科診断支援装置および方法 |
JP5988772B2 (ja) * | 2012-01-20 | 2016-09-07 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
JP6188297B2 (ja) * | 2012-01-25 | 2017-08-30 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
JP2014083285A (ja) * | 2012-10-25 | 2014-05-12 | Canon Inc | 画像処理装置及び画像処理方法 |
JP2014155694A (ja) * | 2013-01-16 | 2014-08-28 | Canon Inc | 眼科装置及び眼科方法 |
JP6184231B2 (ja) * | 2013-07-31 | 2017-08-23 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
JP6594033B2 (ja) * | 2015-05-14 | 2019-10-23 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
-
2015
- 2015-05-14 JP JP2015099470A patent/JP6594033B2/ja not_active Expired - Fee Related
-
2016
- 2016-05-10 US US15/150,826 patent/US9826896B2/en active Active
- 2016-05-10 CN CN201610307354.XA patent/CN106157297B/zh not_active Expired - Fee Related
- 2016-05-16 KR KR1020160059508A patent/KR102027276B1/ko active IP Right Grant
-
2017
- 2017-10-27 US US15/796,384 patent/US10349826B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0731591A (ja) * | 1993-07-19 | 1995-02-03 | Toshiba Corp | 読影レポート作成支援装置 |
JP2010268916A (ja) * | 2009-05-20 | 2010-12-02 | Topcon Corp | 前眼部観察装置 |
JP2012235835A (ja) * | 2011-05-10 | 2012-12-06 | Canon Inc | 画像処理装置及び方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20200062764A (ko) * | 2018-11-27 | 2020-06-04 | 울산대학교 산학협력단 | 딥러닝 기반 혈관 구분 방법 및 시스템 |
KR20200069209A (ko) * | 2018-12-06 | 2020-06-16 | 주식회사 메디웨일 | 안구 이미지 기반의 진단 보조 이미지 제공 장치 |
Also Published As
Publication number | Publication date |
---|---|
CN106157297B (zh) | 2019-11-15 |
KR102027276B1 (ko) | 2019-10-01 |
CN106157297A (zh) | 2016-11-23 |
US20160331224A1 (en) | 2016-11-17 |
JP6594033B2 (ja) | 2019-10-23 |
US10349826B2 (en) | 2019-07-16 |
US9826896B2 (en) | 2017-11-28 |
JP2016214312A (ja) | 2016-12-22 |
US20180049635A1 (en) | 2018-02-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102027276B1 (ko) | 화상처리장치, 화상처리방법 및 프로그램 | |
US10893797B2 (en) | User interface for efficiently displaying relevant OCT imaging data | |
US10441163B2 (en) | Ophthalmic diagnosis support apparatus and ophthalmic diagnosis support method | |
US10950204B2 (en) | Diagnosis support apparatus and diagnosis support method | |
JP4850927B2 (ja) | 画像処理装置、画像処理方法及びコンピュータプログラム | |
US8699774B2 (en) | Image processing apparatus, control method thereof, and program | |
US20110137157A1 (en) | Image processing apparatus and image processing method | |
KR20130100384A (ko) | 화상처리장치, 그 제어방법 및 컴퓨터 프로그램 | |
JP2018121886A (ja) | 画像処理装置、および画像処理プログラム | |
JP5631339B2 (ja) | 画像処理装置、画像処理方法、眼科装置、眼科システム及びコンピュータプログラム | |
Oh et al. | Automatic computer-aided diagnosis of retinal nerve fiber layer defects using fundus photographs in optic neuropathy | |
JP2017099907A (ja) | 診断支援装置および診断支援方法 | |
Güven | Automatic detection of age-related macular degeneration pathologies in retinal fundus images | |
JP6825058B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP5533198B2 (ja) | 医用画像表示装置及びプログラム | |
Béouche-Hélias et al. | Neovascularization detection in diabetic retinopathy from fluorescein angiograms | |
JP5624532B2 (ja) | 画像処理装置、画像処理方法、眼科システム及びコンピュータプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |