KR101736728B1

KR101736728B1 - 정보처리장치, 정보처리방법, 및 컴퓨터 판독 가능한 기억매체

Info

Publication number: KR101736728B1
Application number: KR1020140063473A
Authority: KR
Inventors: 히로시 이마무라
Original assignee: 캐논 가부시끼가이샤
Priority date: 2013-05-27
Filing date: 2014-05-27
Publication date: 2017-05-29
Also published as: RU2595528C2; RU2014121221A; US9517004B2; JP2014226514A; CN104173023B; EP2807974A1; EP2807974B1; PH12014000147A1; CN104173023A; JP6174908B2; KR20140139438A; US20140347627A1; BR102014012709A2

Abstract

하나의 촬상영역에 있어서, 해당 촬상영역의 화각보다도 작은 화각을 가지는 복수의 고배율 화상의 촬상을 제어하는 정보처리장치는, 고배율 화상을 각각 촬상하는 위치들의 분포를 각각 나타내는 복수의 기본 패턴을, 조작자에 대하여 선택하도록 제시한다. 복수의 기본 패턴으로부터 선택된 기본 패턴에 관한 복수의 고배율 화상의 촬상조건을, 조작자의 지시에 따라 조정한다. 조정된 촬상조건에 따라, 촬상영역에 있어서 복수의 고배율 화상을 촬상장치에 촬상시킨다. 복수의 기본 패턴은 위치들의 분포에서 서로 다르다.

Description

정보처리장치, 정보처리방법, 및 컴퓨터 판독 가능한 기억매체{INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD AND COMPUTER READABLE STORAGE MEDIUM}

본 발명은, 안과진료에 사용된 정보처리장치, 정보처리방법, 및 컴퓨터 판독 가능한 기억매체에 관한 것이다.

생활 습관병이나 실명 원인의 상위를 차지하는 질병의 조기진료를 목적으로, 안부의 검사가 널리 행해지고 있다. 공초점 주사형 현미경의 원리를 이용한 안과장치로서, SLO(Scanning Laser Ophthalmoscope)가 알려져 있다. 주사형 레이저 검안경은, 측정 광인 레이저빔을 안저에 대하여 래스터(raster) 주사하고, 그 귀환광의 강도에 의거하여 고분해능 평면화상을 빠르게 얻는다. 이하, 이러한 평면화상을 촬상하는 장치를 SLO장치, 촬상한 평면화상을 SLO화상이라고 한다.

최근, SLO장치는, 측정 광의 빔 지름을 크게 함으로써 횡분해능을 향상시킨 망막의 SLO화상을 취득할 수 있다. 그러나, 측정 광의 빔 지름이 큼에 따라, 검사의 대상인 눈에서의 수차 때문에 SLO화상의 S/Ｎ비 및 분해능이 저하된다. 이것은 망막의 SLO화상을 얻을 때 문제가 되었다. 이 문제를 해결하기 위해서, 피검안에 있어서의 수차를 파면 센서로 실시간으로 측정하고, 피검안에서 발생하는 측정 광이나 그 귀환광의 수차를 파면보정 디바이스로 보정하는 적응 광학계를 갖는 적응 광학 SLO장치가 개발되어 있다. 이에 따라 횡분해능이 높은 SLO화상의 취득이 가능하게 되어 있다.

이러한 횡분해능이 높은 SLO화상은 동화상으로서 취득될 수 있다. 이 동화상을 사용해서 여러 가지 종류의 생체정보를 계측할 수 있다. 예를 들면, 혈류 동태를 비침습으로 관찰하기 위해서, 각 프레임으로부터 망막 혈관을 추출하고, 모세혈관에 있어서의 혈구의 이동 속도등이 계측된다. SLO화상을 사용해서 시기능과의 관련을 평가하기 위해서, 시세포 P를 검출하고, 시세포P의 밀도분포나 배열을 계측한다.

실제로, 적응 광학 SLO장치가 촬상 가능한 1개의 고횡분해능인 SLO화상의 화각은 일반적으로 작다. 이 때문에, 촬상대상영역이 고횡분해능인 SLO화상의 화각보다도 클 경우, 촬상대상영역에 있어서 촬상영역을 어떻게 설정할지가 문제가 된다. 이것에 대해서 도 7a 내지 도 7g를 참조해서 설명한다. 도 7a는, 피검안의 단면도를 모식적으로 나타낸 도다. 도 7b∼도 7g는, SLO화상 또는 촬상대상영역의 예들을 나타낸 도다.

도 7b는 고횡분해능인 SLO화상의 일례를 나타낸 도다. 도 7b에서는, 시세포P, 모세혈관의 위치에 대응한 저휘도 영역Q, 및 백혈구의 위치에 대응한 고휘도 영역W가 관찰되어 있다. 시세포P를 관찰하거나 시세포P의 분포를 계측하기 위해서는, 포커스 위치를 망막외층(도 7a의 Ｂ5) 부근에 설정해서 도 7b와 같은 SLO화상을 촬상한다.

한편, 망막내층(도 7a의 B2 내지 B4)에는, 망막혈관과 분기된 모세혈관이 주행하고 있다. 특히, 병에 걸린 눈에서는, 촬상대상영역이, SLO장치가 촬상가능한 1개의 SLO화상의 화각보다도 큰 경우가 종종 있다. 도 7c 및 도 7d는, 촬상대상영역이 SLO화상의 화각보다도 큰 경우의 예를 나타낸다. 도 7c는 모세혈관 병변의 호발 부위(favorite site)(파선으로 둘러싸여진 고리 형상영역)의 예를 나타낸다. 도 7d는 광범한 시세포 결손영역(흑색의 폐쇄 영역)의 예를 나타내고 있다. 도 7c 및 도 7d와 같은 경우, 촬상대상영역의 모두를 고배율하에 취득하면, 다수의 SLO화상의 촬상조건의 설정이 번잡하거나, 촬상시간이 길어져서 피험자의 부담이 증가해버리기도 한다. 촬상대상영역은, 진료하기 위해 고배율 화상을 취득할 필요성이 높은 영역과, 필요성이 낮은 영역을 포함한다. 이 때문에, 피험자에 부담이 되지 않는 검사 시간으로 고배율 화상을 취득하는데 필요한 모든 영역이 촬상할 수 있도록, 촬상영역을 적절하게 설정할 필요가 있다.

이것에 관련되어서, 일본국 공개특허공보 특개 2012-213513호에는, 복수의 고배율 화상을 취득하기 위한 파라미터 설정에 관한 기술로서, 복수의 적응 광학 SLO화상의 촬상위치를 바꾸어서 촬상하여, 파노라마 화상으로서 표시하는 구성이 기재되어 있다.

그러나, 구체적으로 관찰 혹은 계측하고 싶은 세포군, 조직, 병변 영역이 고횡분해능인 화상(고배율 화상 D_H)이 커버하는 영역보다도 넓게 분포될 경우에, 상기 세포군등의 영역을 효율적으로 촬상할 때, 종래의 구성에는, 이하의 과제가 있었다:

i) 조작자가 복수의 고배율 화상D_Hj의 취득 파라미터(예를 들면, 취득 위치, 화각, 화소 사이즈, 프레임수 및 프레임 레이트)의 값을 개별로 지정할 필요가 있고, 복수화상을 효율적으로 취득하는 것을 방해하였다;

ii) 고배율 화상D_H보다도 넓은 관찰 대상영역을 동일한 고배율 화상 취득 파라미터로 촬상하면, 고배율 화상의 수(총 프레임수)가 방대하므로(수천∼수만매), 효율적으로 화상을 취득하기 어려웠다.

일본국 공개특허공보 특개 2012-213513호의 구성에서도, 다수의 고배율 화상의 취득 파라미터를 화상마다 수동으로 결정하였다. 조작자는 취득 파라미터의 설정을 위해 번잡한 작업을 강요당하였다.

본 발명은, 상기의 과제를 감안하여 이루어진 것으로서, 고배율 화상의 화각보다도 넓은 범위에서 피검안에 따라 분포가 변화하는 조직, 세포군 혹은 병변 후보를 효율적이고 적절하게 촬상하는 기술을 제공한다.

본 발명의 일 국면에서는, 하나의 촬상영역에 있어서, 해당 촬상영역의 화각보다도 작은 화각을 가지는 복수의 고배율 화상의 촬상을 제어하는 정보처리장치로서, 상기 고배율 화상을 각각 촬상하는 위치들의 분포를 각각 나타내는 복수의 기본 패턴을, 조작자에 대하여 선택하도록 제시하는 제시부; 상기 복수의 기본 패턴으로부터 선택된 상기 기본 패턴에 관한 상기 복수의 고배율 화상의 촬상조건을, 상기 조작자의 지시에 따라 조정하는 조정부; 및 상기 조정된 촬상조건에 따라, 상기 촬상영역에 있어서 상기 복수의 고배율 화상을 촬상장치에 촬상시키는 제어부를 구비하고, 상기 복수의 기본 패턴은 상기 위치들의 분포에서 서로 다른, 정보처리장치를 제공한다.

본 발명의 또 다른 특징들은, (첨부도면을 참조하여) 이하의 예시적 실시예들의 설명으로부터 명백해질 것이다.

도 1a∼도 1c는 안과장치(10)를 포함하는 시스템의 구성 예들을 나타낸 블록도,
도 2는 안과장치(10)의 하드웨어 구성 예를 나타낸 블록도,
도 3은 안과장치(10)의 기능 구성 예를 나타낸 블록도,
도 4는 SLO 촬상장치(20)의 전체의 구성을 설명하는 도면,
도 5는 안과장치(10)가 실행하는 처리의 흐름도,
도 6a∼도 6m은 화상취득 패턴을 설명하는 도면,
도 7a∼도 7g는 화상처리의 내용을 설명하는 도면,
도 8은 고배율 화상취득 처리의 상세를 나타내는 흐름도,
도 9는 화상표시 처리의 상세를 나타내는 흐름도,
도 10은 안과장치(10)의 기능 구성 예를 나타낸 블록도,
도 11은 고배율 화상취득 처리의 상세를 나타내는 흐름도,
도 12a∼도 12c는 화상취득 패턴 및 고배율 동화상에 포함된 예외 프레임을 설명하는 도면,
도 13은 안과장치(10)의 기능 구성 예를 나타낸 블록도,
도 14는 단층상(tomography) 촬상장치(60)의 전체의 구성을 설명하는 도면,
도 15a∼도 15j는 화상취득 패턴을 설명하는 도면,
도 16은 화상표시 처리의 상세를 나타내는 흐름도다.

이하, 첨부 도면을 참조해서 본 발명의 실시예를 상세하게 설명한다.

<<제1 실시예>>

본 실시예에 따른 정보처리장치로서의 안과장치는, 복수의 고배율의 적응 광학 SLO화상을 취득할 경우에, 미리 준비된 복수의 고배율 화상 취득의 촬상조건에 관련된 파라미터의 기본 패턴을 조작자(유저)에게 제시하여, 조작자에게 선택시킨다. 다음에, 필요에 따라, 병변형상에 맞춰서 조작자에게 화상 취득 파라미터를 조절시켜, 그 조절의 내용에 따라 복수의 고배율 화상에 관한 취득 파라미터 값을 결정한다. 이하, 황반부의 광범한 시세포결손영역에 대하여 복수화상을 원판 패턴으로 취득하는 기본 패턴을 조작자가 선택하고, 각 고배율 화상의 취득 위치, 화각, 화소 사이즈, 프레임수, 프레임 레이트 및 합초위치를 결정하는 일례를 설명한다.

(전체 구성)

도 1a는, 본 실시예에 따른 안과장치(10)를 포함하는 시스템의 구성을 나타낸 블록도다. 도 1a에 나타나 있는 바와 같이, 안과장치(10)는, 촬상장치로서의 SLO 촬상장치(20) 및 데이터 서버(40)와, 광파이버, ＵSB나 ＩＥＥＥ1394등으로 구성된 ＬＡＮ(근거리 통신망)(30)을 통해서 접속되어 있다. 또한, 이것들의 기기의 접속의 형태는 도 1에 나타낸 예에 한정되지 않는다. 예를 들면, 이것들의 기기는 인터넷 등의 외부 네트워크를 거쳐서 접속되어도 좋다. 또는, 안과장치(10)는 SLO촬상장치(20)에 직접 접속되어도 좋다.

SLO촬상장치(20)는, 안저부의 광범한 화각화상D_L이나 고배율 화상D_H를 촬상(촬영)한다. SLO촬상장치(20)는, 광범한 화각화상D_L이나 고배율 화상D_H, 및 그 촬상시에 사용한 고시표 위치F_L, F_H의 정보를, 안과장치(10) 및 데이터 서버(40)에 송신한다.

또한, 각 배율의 화상을 다른 촬상위치에서 취득할 경우에는, 그 취득된 화상을 D_Li, D_Hj로 나타낸다. 보다 구체적으로, i, j는, 촬상위치를 나타내는 변수이며, i=1,2,...,ｉｍａｘ, j=1,2,...,ｊｍａｘ로 한다. 고배율 화상을 복수의 다른 배율하에서 취득할 경우에는, 배율의 내림차순으로 D_1j, D_2k,...로 표기한다. 가장 배율이 높은 화상Ｄ_1j를 고배율 화상이라 하고, D_2k,...을 중간배율화상이라고 한다.

데이터 서버(40)는, 촬상조건 데이터, 안부(eye)의 화상특징, 안부의 화상특징의 분포에 관한 정상값등을 유지한다. 촬상조건 데이터로서, SLO촬상장치(20)가 출력한, 피검안의 광범한 화각화상D_L, 고배율 화상D_H, 촬상시에 사용한 고시표 위치F_L, F_H, 안과장치(10)가 출력하는 안부의 화상특징이, 데이터 서버(40)에 보존된다. 안부의 화상특징으로서, 본 실시예에서는 시세포P, 모세혈관Q, 혈구W, 망막혈관 및 망막층 경계에 관한 화상특징을 취급한다. 안과장치(10)로부터의 요구에 따라, 데이터 서버(40)는, 광범한 화각화상D_L, 고배율 화상D_H, 안부의 화상특징 및 그 화상특징의 정상값 데이터를 안과장치(10)에 송신한다.

(안과장치)

안과장치(10)는, 내장 시스템, 퍼스널 컴퓨터(ＰＣ), 또는 타블렛 단말등의 정보처리장치에 의해 실현된다. 도 2를 참조하여 안과장치(10)의 하드웨어 구성에 관하여 설명한다. 도 2를 참조하면, ＣＰＵ(301)는 중앙처리장치이며, ＯS(오퍼레이팅 시스템)이나 애플리케이션 프로그램 등의 컴퓨터 프로그램에 근거해서 다른 구성요소와 협동하여, 안과장치 전체의 동작을 제어한다. ＲＡＭ(302)은 기록 가능 메모리이며, ＣＰＵ(301)의 워크 에어리어 등으로서 기능한다. ＲＯＭ(303)은 판독 전용 메모리이며, 기본I/O프로그램 등의 프로그램과, 기본처리에 사용하는 데이터를 기억한다. 외부 기억장치(304)는 대용량 메모리로서 기능하는 장치이며, 하드 디스크 장치나 반도체 메모리에 의해 실현된다. 모니터(305)는, 키보드(306)나 포인팅 디바이스(307)로부터 입력된 코맨드나, 그것에 응답하는 안과장치(10)의 출력 등을 표시하는 표시부으로서의 표시장치다. 키보드(306)와 포인팅 디바이스(307)는, 조작자로부터 입력된 지시나 코맨드를 접수하는 장치다. 인터페이스(308)는 외부장치와의 데이터의 교환을 중계하는 장치다.

본 실시예에 따른 화상처리기능을 실현하기 위한 제어 프로그램과, 해당 제어 프로그램이 실행될 때에 사용되는 데이터는, 외부 기억장치(304)에 기억되어 있다. 그 제어 프로그램과 데이터는, ＣＰＵ(301)에 의한 제어하에, 버스(309)를 통해서 필요에 따라 ＲＡＭ(302)에 로딩되고 ＣＰＵ(301)에 의해 실행되어, 이하에 설명하는 부들로서 기능한다.

다음에, 도 3을 참조해서 본 실시예에 따른 안과장치(10)의 기능 구성을 설명한다. 도 3은 안과장치(10)의 기능 구성을 나타내는 블록도다. 도 3과 같이, 안과장치(10)는, 데이터 취득부(110), 기억부(120), 화상처리부(130), 및 지시 취득부(140)를 구비한다.

데이터 취득부(110)는, 화상 데이터, 촬상조건 데이터 등의 데이터를 취득하는 기능 블록이다. 데이터 취득부(110)는, 광범한 화각화상을 취득하는 광범한 화각화상 취득부(111)와, 고배율 화상을 취득하는 고배율 화상 취득부(112)를 구비한다. 기억부(120)는, 데이터 취득부(110)가 취득한 데이터와, 화상 취득 패턴 세트(121)를 유지하는 기능 블록이다. 화상 취득 패턴 세트(121)는, 복수의 고배율 화상을 취득할 때의 파라미터에 관한 기본적인 설정 패턴(이하, "화상 취득 패턴"이라고 한다)의 집합이다.

화상처리부(130)는, 촬상조건의 결정, 해당 촬상조건의 설정, 촬상한 화상의 표시 등의 처리를 행하는 기능 블록이다. 화상처리부(130)는, 촬상화상의 표시 제어 등을 행하는 표시 제어부(131), 촬상조건을 결정하는 결정부(132), 및, 촬상조건에 근거해 촬상영역을 정렬하는 얼라인먼트부(133)를 구비한다. 표시 제어부(131)는, 화상 취득 패턴을 모니터에 표시해서 조작자에게 제시하는 화상 취득 패턴 제시부(1311)를 구비한다. 결정부(132)는, 촬상의 배율을 결정하는 배율결정부(1321), 촬상위치를 결정하는 위치 결정부(1322), 촬상의 타이밍 등을 결정하는 시간결정부(1323), 및 촬상의 순서를 결정하는 순서결정부(1324)를 구비한다.

(SLO촬상장치)

다음에, 도 4를 참조하여 적응 광학계를 구비한 SLO촬상장치(20)의 구성 예를 설명한다. 또한, 이하에 설명하는 SLO촬상장치의 구성은 일례일뿐이며, SLO촬상장치는 고배율의 화상을 취득 가능하면, 어떠한 촬상장치를 사용해도 구성될 수 있다.

참조번호 201은 광원을 나타낸다. 도 4는, SＬＤ(Super Luminescent Diode) 광원에 의해 실현되는 예를 나타내고 있다. 본 실시예에서는, 안저촬상에 사용된 광원과 파면측정에 사용된 광원 모두가 광원(201)에 의해 실현된다. 그렇지만, 별도의 광원을 사용하여도 되고, 광빔은 광로의 도중에 조합되어도 된다.

광원(201)에서 방출된 광은, 단일모드 광 파이버(202)를 투과하여, 콜리메이터(203)로부터 평행한 측정 광(205)으로서 사출된다. 사출된 측정 광(205)은, 빔 스플리터로 형성된 광분할부(204)를 투과하고, 적응 광학계에 도광된다.

적응 광학계는, 광분할부(206), 파면 센서(215), 파면보정 디바이스(208), 및 그것들에 도광하기 위한 반사 미러(207-1∼207-4)를 구비한다. 반사 미러(207-1∼207-4)는, 적어도 눈의 눈동자와, 파면 센서(215) 및 파면보정 디바이스(208)가 광학적으로 공역관계로 되도록 설치되어 있다. 본 실시예에서는, 광분할부(206)로서, 빔 스플리터를 사용한다. 본 실시예에서는, 파면보정 디바이스(208)로서 액정소자를 사용한 공간 위상 변조기를 사용한다. 또한, 파면보정 디바이스로서 변형 가능 미러를 사용하여도 된다. 적응 광학계를 통과한 광은, 주사 광학계(209)에 의해, 1차원 혹은 2차원으로 주사된다.

주사 광학계(209)로서, 본 실시예에서는 주주사용(안저 수평방향)과 부주사용(안저 수직방향)에 2개의 갈바노스캐너를 사용하고 있다. 보다 고속 촬상을 위해서, 주사 광학계(209)의 주주사측에 공진 스캐너를 사용해도 된다.

주사 광학계(209)에서 주사된 측정 광(205)은, 접안 렌즈(210-1 및 210-2)를 통해서 안구(211)에 조사된다. 안구(211)에 조사된 측정 광(205)은 안저에서 반사 혹은 산란된다. 접안 렌즈(210-1 및 210-2)의 위치를 조정함으로써, 안구(211)의 시도에 따라 최적의 조사를 행할 수 있다. 또한, 여기에서는 접안부로서 렌즈를 사용했지만, 구면 미러 등으로 구성해도 좋다.

안구(211)의 망막으로부터 반사 혹은 산란된 반사/산란광(귀환광)은, 입사광의 경로와 동일한 경로를 통해 반대로 진행한다. 그 광은, 광분할부(206)에 의해 부분적으로 파면 센서(215)에 반사되어, 광선의 파면을 측정하는데 사용된다. 파면 센서(215)는, 적응 광학 제어부(216)에 접속되어, 수신한 파면을 적응 광학 제어부(216)에 송신한다. 파면보정 디바이스(208)도 적응 광학 제어부(216)에 접속되고, 적응 광학 제어부(216)로부터 지시된 변조를 행한다. 적응 광학 제어부(216)는, 파면 센서(215)에 의해 측정된 파면에 근거하여, 파면보정 디바이스(208)에 도달하는 파면을 수차가 없는 파면으로 보정하는 변조량(보정량)을 계산하고, 파면보정 디바이스(208)에 파면의 변조를 지시한다. 또한, 파면의 측정과 파면보정 디바이스(208)에의 지시는 반복적으로 처리되어, 항상 최적 파면을 얻도록 피드백 제어가 행해진다.

광분할부(206)를 투과한 반사/산란광은, 광분할부(204)에 의해 일부가 반사되어, 콜리메이터(212)와 광 파이버(213)를 통해서 광강도 센서(214)에 도광된다. 광강도 센서(214)는 그 광을 전기신호로 변환한다. 제어부(217)는, 안저 화상으로서 화상을 구성하여, 디스플레이(218)에 표시한다. 또한, 도 4의 구성에서, 주사 광학계의 흔들림각(swing angle)을 크게 하고, 적응 광학 제어부(216)가 수차보정을 행하지 않도록 지시할 때, SLO촬상장치(20)는 일반적인 SLO장치로서 동작하고, 광범한 화각인 SLO화상(광범한 화각화상D_L)을 촬상할 수 있다.

(처리 순서)

안과장치(10)가 실행하는 구체적인 처리 내용에 대해서, 각 기능 블록의 역할과 관련지어 상세하게 설명한다. 도 5는, 안과장치(10)가 실행하는 처리 순서를 나타내는 흐름도다. 이하의 처리들은, ＣＰＵ(301)의 제어하에 실행된다.

<단계S510>

광범한 화각화상 취득부(111)는, SLO촬상장치(20)에 대하여, 광범한 화각화상D_L 및 고시표 위치F_L의 취득을 요구한다. 본 실시예에서는, 황반부 의 중심와(fovea centralis)에 고시표 위치F_L을 설정해서 광범한 화각화상D_L을 취득하는 일례를 설명한다. 또한, 촬상위치의 설정 방법은, 이것에 한정되지 않고, 다른 임의의 위치에 설정되어도 좋다.

SLO촬상장치(20)는, 광범한 화각화상 취득부(111)로부터의 취득 요구에 따라 광범한 화각화상D_L와 고시표 위치F_L을 취득하여, 광범한 화각화상 취득부(111)에 송신한다. 광범한 화각화상 취득부(111)는, SLO촬상장치(20)로부터 ＬＡＮ(30)을 통해 해당 광범한 화각화상D_L 및 고시표 위치F_L을 수신한다. 광범한 화각화상 취득부(111)는 수신한 광범한 화각화상D_L 및 고시표 위치F_L을 기억부(120)에 격납한다. 또한, 본 실시예의 예에서는, 광범한 화각화상D_L은, 이미 정렬된 프레임들을 갖는 동화상이다.

<단계S520>

화상 취득 패턴 제시부(1311)는, 기억부(120)로부터 화상 취득 패턴(복수의 고배율 화상을 취득할 때의 파라미터에 관한 기본적인 설정 패턴)을 적어도 1종류 취득하여, 모니터(305)에 선택적으로 표시한다. 화상 취득 패턴으로서는 임의의 패턴을 제시 가능하다. 그렇지만, 본 실시예의 예에서는, 도 6a∼도 6f에 나타나 있는 바와 같은 기본 패턴을 제시하는 경우를 설명한다. 도 6a는 선형, 도 6b는 십자형, 도 6c는 방사형, 도 6d는 사각형, 도 6e는 원판형, 도 6f는 고리형의 패턴의 예를 나타내고 있다.

지시 취득부(140)는, 조작자가 소망하는 화상 취득 패턴의 선택에 대한 지시를 외부적으로 취득한다. 이 지시는, 예를 들면, 키보드(306)나 포인팅 디바이스(307)를 통해 조작자에 의해 입력된다. 또는, 모니터(305)에 액정 터치 패널을 구비할 경우에는, 상기 지시는 그 터치 패널을 거쳐서 입력해도 좋다. 본 실시예의 예에서는, 관찰 대상이 도 7d에 나타나 있는 바와 같은 원판형의 시세포 결손 영역이므로, 도 6e에 나타낸 원판형의 화상 취득 패턴을 선택한다.

또한, 화상 취득 패턴은 도 6a∼도 6f에 나타나 있는 바와 같은, 1종류의 배율의 고배율 화상만으로 구성될 뿐만 아니라, 복수의 배율의 화상을 조합하여 형성된 화상 취득 패턴으로서 제시할 수 있다. 예를 들면, 도 6g에 나타나 있는 바와 같이, 고배율 화상D_1j뿐만 아니라, 중간배율화상D_2k도 취득 패턴에 포함시켜서 정의할 수 있다. 이하, 이러한, 고배율 화상뿐만 아니라 중간배율화상도 포함하는 취득 패턴을 "다배율형의 화상 취득 패턴"이라고 말한다. 이러한 화상 취득 패턴은, 취득 화상수를 적게 하고 싶을 경우나, 광범한 화각화상D_L과의 얼라인먼트를 더 정확하게 행하고 싶은 경우에 적합하다. 또한, 다배율형의 화상 취득 패턴에 있어서, 고배율 화상과 중간배율 화상이 형성하는 화상 취득 패턴의 형상은, 배율마다 같은 형상이나 다른 형상을 가질 수 있다. 예를 들면, 보다 배율이 낮은 중간배율화상D_2k을 사각형 패턴으로 취득해도 좋고, 고배율 화상D_1j를 원판형 패턴으로 취득해도 좋다. 다른 배율간에 화상 취득 패턴이 다른 경우에는, 본 단계에 있어서 각 배율의 화상 취득 패턴의 종류의 정보도 취득한다. 또한, 도 6g는, 고배율 화상D_1j가 형성하는 화상 취득 패턴의 형상과, 중간배율화상D_2k이 형성하는 화상 취득 패턴의 형상이 모두 십자형으로 동일한 경우를 나타낸다.

도 6h에 나타나 있는 바와 같이, 복수의 기본 패턴을 다른 위치에 배치한 패턴(이하, "다배치형의 화상 취득 패턴"이라고 한다)을 제시해도 좋다. 도 6h는, 사각형의 화상 취득 패턴을 복수배치한 패턴을 나타낸다. 이 패턴은, 병변이 복수 있는 경우나, 관찰 대상의 형태나 동태를 부위간에 비교하는 경우에 적합하다. 또한, 다배치형의 화상 취득 패턴은, 기본 패턴끼리의 합초위치를 바꾸어서 화상을 취득하는 경우도 포함한다. 도 6i에 나타나 있는 바와 같이, 기본 패턴들의 조합에 의해 정의된 화상 취득 패턴(이하, "복합형의 화상 취득 패턴"이라고 한다)을 제시해도 좋다. 복합형의 화상 취득 패턴은, 다른 목적용 화상을 일단의 검사로 효율적으로 취득하는 경우에 적합하다. 예를 들면, 도 6i의 패턴은, 도 6i의 흑점으로 나타낸 중심와(무혈관영역의 중심위치)의 무혈관영역(도 6i의 백선으로 나타낸 폐쇄 영역)의 형상을 계측할 경우(사각형 패턴)와, 중심와로부터의 일정 거리마다 시세포 밀도를 계측하는 경우(십자형 패턴)의 양쪽에 적합하다.

<단계S530>

결정부(132)는, 단계S520에 있어서 선택된 화상 취득 패턴이 가지는 복수화상의 취득 파라미터를 초기값으로서 설정하고 조작자에게 필요에 따라 화상 취득 파라미터를 조절시킴으로써 복수의 고배율 화상의 취득 파라미터를 결정해서, 화상이 취득된다. 본 단계의 처리(이하, "고배율 화상 취득 처리"라고 한다)에 대해서는, 도 8의 흐름도를 참조하여 나중에 상세하게 설명한다.

<단계S540>

얼라인먼트부(133)는, 광범한 화각화상D_L과 고배율 화상D_H를 정렬하고, 광범한 화각화상D_L상의 고배율 화상D_H의 상대 위치를 구한다. 얼라인먼트란, 광범한 화각화상D_L 및 고배율 화상D_H의 위치 관계를 자동적으로 판정해서 광범한 화각화상D_L의 대응하는 위치에 고배율 화상D_H의 위치를 설정하는 것을 의미한다. 또한, 광범한 화각화상D_L은, 미리 주어지고, 화상촬상영역의 전체를 나타내는 고배율 화상보다도 저배율을 갖는 화상이다. 고배율 화상D_Hj사이에서 중첩 영역이 있는 경우에는, 우선, 그 중첩 영역에 관해서 화상간 유사도를 산출하고, 화상간 유사도가 최대인 위치와 고배율 화상D_Hj의 위치를 정렬한다. 다음에, 단계S530에 있어서 다른 해상도의 고배율 화상이 취득되어 있는 경우에는, 보다 저배율의 화상으로부터 순차적으로 얼라인먼트를 행한다. 예를 들면, 고배율 화상D_H로서 고배율 화상D_1j와 중간배율화상D_2k이 취득되어 있는 경우에, 먼저, 광범한 화각화상D_L과 중간배율화상D_2k과의 사이에서 얼라인먼트를 행한다. 그 후, 중간배율화상D_2k과 고배율 화상D_1j와의 사이에서 얼라인먼트를 행한다. 고배율 화상의 해상도가 1종류의 경우에는, 광범한 화각화상D_L과 고배율 화상D_H와의 얼라인먼트만 행하는 것은 말할 필요도 없다.

또한, 얼라인먼트부(133)는, 기억부(120)로부터 고배율 화상D_H의 촬상시에 사용한 고시표 위치F_H를 취득하고, 광범한 화각화상D_L과 고배율 화상D_H와의 얼라인먼트에 있어서의 얼라인먼트 파라미터의 탐색 초기점으로서 설정한다. 화상간 유사도나 좌표 변환방법으로서는, 임의의 공지의 방법을 사용할 수 있다. 본 실시예에서는, 화상간 유사도로서 상관계수를 사용하고, 좌표 변환방법으로서 아핀(Ａｆｆｉｎｅ)변환을 사용해서, 얼라인먼트를 행한다.

<단계S550>

표시 제어부(131)는, 단계S540에 있어서 얻어진 얼라인먼트 파라미터의 값에 근거하여, 광범한 화각화상D_L위에 고배율 화상D_H를 표시한다. 본 단계의 처리(이하, "화상표시 처리"라고 한다)에 대해서는, 도 9의 흐름도를 참조하여 뒤에 자세하게 설명한다.

<단계S560>

지시 취득부(140)는, 광범한 화각화상D_L, 고배율 화상D_H, 고시표 위치F_L, F_H, 단계S540에 있어서 취득된 얼라인먼트 파라미터 값을 데이터 서버(40)에 보존할 것인가 아닌가의 지시를 외부적으로 취득한다. 이 지시는, 예를 들면, 키보드(306)나 포인팅 디바이스(307)를 통해 조작자에 의해 입력된다. 보존이 지시되었을 경우(단계S560에서 ＹＥS), 단계S570의 처리로 진행된다. 보존이 지시되지 않은 경우에는(단계S560에서 ＮＯ), 단계S580의 처리로 진행된다.

<단계S570>

화상처리부(130)는, 검사 일시, 피검안을 식별하는 정보, 광범한 화각화상D_L, 고배율 화상D_H, 고시표 위치F_L, F_H, 얼라인먼트 파라미터 값을 서로 관련시켜, 데이터 서버(40)에 송신한다.

<단계S580>

지시 취득부(140)는 안과장치(10)에 의한 광범한 화각화상D_L과 고배율 화상D_H에 관한 처리를 종료할 것인가 아닌가의 지시를 외부적으로 취득한다. 이 지시는, 키보드(306)나 포인팅 디바이스(307)를 통해 조작자에 의해 입력된다. 처리 종료의 지시를 취득했을 경우(단계S580에서 ＹＥS), 처리를 종료한다. 처리 계속의 지시를 취득했을 경우(단계S580에서 ＮＯ), 단계S510의 처리로 되돌아가고, 다음 피검안 또는 동일 피검안에 대한 처리를 행한다.

(고배율 화상 취득 처리)

다음에, 도 8의 흐름도를 참조하여 단계S530에서 실행된 고배율 화상 취득 처리의 상세에 관하여 설명한다.

<단계S810>

결정부(132)는, 지시 취득부(140)를 거쳐서 선택된 화상 취득 패턴의 종류와, 이 패턴이 가지는 각 고배율 화상D_H의 취득 파라미터 값을, 기억부(120)로부터 취득한다. 보다 구체적으로는, 선택된 화상 취득 패턴이 유지하는 각 고배율 화상의 취득 파라미터 중, 이하의 파라미터 값을 초기값으로서 입력한다. 즉, 결정부(132)는, 배율수, 화각 및 화소 사이즈의 값을 배율결정부(1321)에, 취득 위치 및 합초위치를 위치 결정부(1322)에, 프레임수와 프레임 레이트, 반복 취득 횟수를 시간결정부(1323)에, 취득 순서를 순서결정부(1324)에 초기값으로서 입력한다.

<단계S820>

결정부(132)는, 선택된 화상 취득 패턴을 구성하는 각 고배율 화상D_Hj의 취득 파라미터의 설정 값에 관한 제약조건을, 지시 취득부(140)를 거쳐서 취득한다. 제약조건은, 촬상조건이 취할 수 있는 범위를 규정한다. 조작자는, 임의의 화상 취득 패턴과 관련된 제약조건을 지시/설정 가능하다. 본 실시예의 예에서는, 이하의 4개의 제약조건을 조작자가 설정 가능한 경우를 설명한다:

a) 총 화상 취득 시간;

b) 배율의 종류(배율수, 화각 및 화소 사이즈);

c) 합초위치; 및

d) 인접하는 고배율 화상간의 중복 영역;

이 경우에,

a)는 피검안이 견딜 수 있는 허용 시간에 관한 제약조건,

b)는 촬상위치에 있어서 취득된다고 예상되는 화상특징의 크기에 관한 제약조건,

c)는 관찰 대상이 존재하는 심도(z축)방향의 위치에 관한 제약조건,

d)는 허용 가능한 피검안의 고시 불일치량에 관한 제약조건이다.

본 실시예에서는,

a) 15분,

b) 1 및 300[μm]×300[μm] 및 1[μm/ｐｉｘｅｌ]×1[μm/ｐｉｘｅｌ],

c) 시세포층,

d) 고배율 화상면적의 20%라고 설정하는 예를 설명한다.

<단계S830>

배율결정부(1321)는, 고배율 화상D_H의 배율의 종류(배율수, 화각 및 화소 사이즈)를 결정한다. 또한, 위치 결정부(1322)는 각 고배율 화상D_Hj의 취득 위치와 합초위치를 결정한다.

본 실시예에서는, 단계S820에서 취득된 제약조건 때문에, 화각, 화소 사이즈 및 합초위치는 고정 값이지만, 각 고배율 화상D_Hj의 취득 위치는 가변 파라미터다. 따라서, 조작자는, 우선, 화상 취득 패턴을 나타내는 점(대표 점)의 안저에 있어서의 위치를 지정한다. 본 실시예에서는, 대표 점은, 도 6e의 중심점C이며, 피검안의 중심와에서 설정된다. 다음에, 조작자는, 화상 취득 패턴 전체의 사이즈를 확대 또는 축소시킴으로써, 고배율 화상간의 중첩 영역 사이즈를 유지한 채 고배율 화상의 취득 위치수가 증가 또는 감소하고, 각 고배율 화상D_Hj의 취득 위치를 결정한다. 본 실시예에서는, 화상 취득 패턴의 단부에 위치한 (어떤 하나의) 고배율 화상의 위치를 조작자가 원판의 외측에 이동시키는 경우, 화상 취득 패턴 전체의 사이즈가 확대되어, 도 7g의 백선 사각형영역으로 나타낸 고배율 화상D_Hj의 취득 위치가 결정된다.

또한, 대표 점은 화상 취득 패턴의 중심점에 한정되는 것은 아니다. 예를 들면, 화상 취득 패턴에 포함된 특정한 고배율 화상의 위치이어도 좋다. 도 6g에 나타나 있는 바와 같은 다배율형의 화상 취득 패턴에서, 모든 배율의 화상 취득 패턴의 사이즈를 일괄 확대 혹은 축소시켜도 좋거나, 또는, 배율마다 화상 취득 패턴의 사이즈를 변경해도 좋다.

도 6h에 나타나 있는 바와 같은 다배치형의 화상 취득 패턴에서도, 모든 화상 취득 패턴의 사이즈 혹은 배치 간격을 일괄 변경시켜도 좋다. 화상 취득 패턴의 사이즈 혹은 배치 간격은, 기본 패턴간에 변경해도 좋다. 도 6i에 나타나 있는 바와 같은 복합형의 화상 취득 패턴에서도, 모든 종류의 패턴의 사이즈를 일괄 변경해도 좋거나, 화상 취득 패턴 사이즈를 화상 취득 패턴 종류간에 변경해도 좋다.

<단계S840>

시간결정부(1323)는, 각 고배율 화상의 프레임수, 프레임 레이트 및 반복 취득 횟수를 결정한다. 본 실시예의 예에서는, 프레임 레이트 및 반복 취득 횟수는 각각 32[ｆｒａｍｅ/ｓｅｃ]와 1회로 고정되고, 프레임수는 가변 파라미터다. 가변 파라미터 값의 변경 방법에 관해서는, 가변 파라미터 값은 임의의 공지의 유저 인터페이스(이하, "ＵＩ"라고 약기한다)를 사용해서 지정될 수 있다. 본 실시예의 예에서는, 도 6j에 나타나 있는 바와 같은 파라미터 값(가중치) 변경용 ＵＩ를 조작자가 조작함으로써, 효율적으로 파라미터 값을 변경한다. 이것은, 각 고배율 화상D_Hj의 프레임수에 관한 반경방향의 가중치를 조정하도록 구성된 ＵＩ다. 도 6j에서는, Ｗｃ는 배치된 원판형의 화상 취득 패턴(도 7g)의 중심측의 가중치, Ｗｏ는 외측의 가중치를 나타낸다. 그 외측의 가중치Ｗｏ를 저하시킬 때, 각 고배율 화상D_Hj의 프레임수가, 패턴 중심으로부터 외측을 향해서 단계적으로 적어지도록 자동결정된다.

도 6g와 같은 다배율 패턴에서는, 도 6k에 나타나 있는 바와 같은 파라미터 값(혹은 가중치) 조정용ＵＩ를 사용할 수 있다. 파라미터 값의 조정은, 이하의 i)∼iv)의 순서에 따라 행해진다:

i) 가변 파라미터 리스트V로부터 조정 대상의 가변 파라미터를 선택한다;

ii) 파라미터 값의 조정을 행하는 대상배율 및 대상화상을 조정용 맵으로부터 선택한다;

iii) 선택한 배율하에서 복수의 화상에 대한 파라미터 값 변경(가중치를 줌(weighting))법 R을 선택한다;

iv) 선택한 화상에 대한 파라미터 값(가중치)을 파라미터 값 변경용 ＵＩ(도 6k의 B)상에서 결정한다.

또한, i)에서는 선택된 가변 파라미터의 종류마다 도 6k의 조정용 맵이 표시된다. ii)에 대해서, 도 6k는, 대상배율을 D₁이라고 하고, 중심부의 화상D_1c을 조정 대상 화상으로서 선택했을 경우를 나타낸다.

iii)에 대해서, 도 6k는, 그 화상들에 대한 파라미터 값 설정(가중치를 줌)법 R이,

·동일배율의 복수의 화상에 대해 동일한 값을 설정할 경우(ｕｎｉｆｏｒｍ),

·단계적으로 상기 파라미터 값을 변경시킬 경우(ｇｒａｄｕａｌ), 및

·지정한 개별의 화상간에 상기 파라미터 값을 변경시킬 경우(ｉｎｄｉｖｉｄｕａｌ)중에서, 선택되는 예를 나타낸다. 도 6k에 나타낸 예에서는, 단계적으로 상기 파라미터 값을 변경시킬 경우(ｇｒａｄｕａｌ)가 선택되어 있다.

iv)에 대해서, 도 6k는, 조작자가 컬러 바(bar)B상에서 최대값(화이트)을 지정함으로써, 선택된 대상화상D_1c과 같은 배율의 화상의 파라미터 값이, 선택된 화상D_1c을 향해서 단계적으로 증가하도록 자동으로 변경하는 경우를 나타낸다.

또한, 도 6k에서는, 파라미터 값 변경용 ＵＩ로서 컬러 바B를 사용하고, 그 파라미터 값을 그레이스케일로 표현하고 있다. 그렇지만, 본 발명은 이것에 한정되는 것은 아니다. 예를 들면, 파라미터 값 변경용 ＵＩ는 슬라이더이어도 되고, (수치의) 리스트 박스이어도 된다. 파라미터 값은, 수치(파라미터 값 그 자체, 혹은 가중치)로 표시해도 좋고, 컬러로 표시해도 좋다. 또는, 파라미터 값은, 수치와 그레이스케일(색)의 양쪽을 사용해서 표시되어도 좋다.

도 6h와 같은 다배치 패턴에서는, 도 6l에 나타나 있는 바와 같이, 각 패턴내에서의 가중치(예를 들면, 도 6l의 Ｗｍ1ｄｈｉ)와, 패턴간의 가중치(Ｗｍ1 및 Ｗｍ2)의 양쪽을 조정한다. 도 6m과 같은 복합형의 화상 취득 패턴에서는, 각각의 패턴에 있어서의 파라미터 값(Ｗａｉ나 Ｗｃｉ)과, 양쪽 패턴에 공통되는 화상에 있어서의 파라미터 값(Ｗｂｉ)을 설정한다. 조정 순서는 도 6k의 다배율형의 화상 취득 패턴의 경우와 거의 같다. 보다 구체적으로, 상술한 iii)의 순서가, 선택한 배율하에서가 아니고, 선택한 패턴 혹은 공통 영역에 있어서의 복수화상에 대한 파라미터 값 변경(가중치를 줌)법 R을 선택하는 순서로 대체되는 것 뿐이다.

<단계S850>

순서결정부(1324)는, 고배율 화상D_Hj의 취득 순서를 결정한다. 본 실시예에서는, 이하의 ｉ)∼ iv) 중, i)가 최내측(최고 우선도), ii)가 2번째 내측, iii)가 3번째 내측, iv)가 최외측(최저 우선도)의 루프가 되도록 해서 반복 처리를 행한다. 보다 구체적으로는, 취득 시작 위치를 관찰을 위한 가장 중요한 위치(본 실시예에서는, 중심와)로 설정하고, 취득 배율을 최저 배율로 설정하여서, 이하의 순서를 실행한다:

i) 동일배치 패턴, 동일취득 배율, 및 동일화상 취득 위치에 있어서의 화상을 반복 취득 횟수만큼 취득한다;

ii) 동일배치 패턴과 동일취득 배율에 있어서의 화상을, 인접한 화상 취득 위치에 이동시키고, 화상을 다시 i)와 같은 순서에 따라 취득한다;

iii) ii)가 종료하면, 취득 배율의 값을 증가시키고, 다시 ii)의 조작을 실행하고, 배율 수만큼 여러 번 같은 조작을 반복한다;

iv) iii)가 종료하면, 다른 배치에서 iii)의 조작을 실행하고, 모든 배치에서 화상을 취득할 때까지 그 조작을 반복한다.

또한, 본 실시예의 예에서는, i)의 반복 취득은 없고(취득 횟수는 1회뿐)이며, 또한, 화상 취득 패턴이 도 6h와 같은 다배치형 패턴은 아니기 때문에, iv)의 처리는 생략된다. ii)의 인접화상에의 이동은 임의의 방향으로 이동시킬 수 있다. 본 실시예에서는, 중심와까지의 거리가 짧을수록 시기능에의 영향이 증가하고, 관찰시의 중요도가 높아지기 때문에, 중심와로부터 나선형으로 화상을 이동시킨다.

단계S830∼단계S850의 처리에 의해, 조작자는, 고배율 화상의 촬상조건을 나타내는 화상 취득 파라미터를 용이하게 변경하는 것이 가능하다.

<단계S860>

고배율 화상 취득부(112)는, 결정부(132)에 의해 지정된 화상 취득 파라미터를 사용해서 복수의 고배율 화상D_Hj 및 고시표 위치F_Hj를 취득하도록, SLO촬상장치(20)에 대하여 요구한다. SLO촬상장치(20)는, 이 취득 요구에 따라 고배율 화상D_Hj, 고시표 위치F_Hj를 취득해 송신한다. 고배율 화상 취득부(112)는 SLO촬상장치(20)로부터 ＬＡＮ(30)을 통해 해당 고배율 화상D_Hj 및 고시표 위치F_Hj를 수신한다. 고배율 화상 취득부(112)는 수신한 고배율 화상D_Hj 및 고시표 위치F_Hj를 기억부(120)에 격납한다. 또한, 본 실시예에서는, 고배율 화상D_Hj는, 프레임간 얼라인먼트된 동화상이다.

(화상표시 처리)

다음에, 도 9의 흐름도를 참조하여 단계S550에서 실행된 화상표시 처리의 상세에 관하여 설명한다.

<단계S910>

광범한 화각화상 취득부(111) 및 고배율 화상 취득부(112)가 취득한 각 동화상으로부터, 대표 화상을 생성한다. 본 실시예에서는, 동화상마다 중첩 화상을 생성하고, 이 중첩 화상을 대표 화상으로서 설정한다. 대표 화상의 생성법은 이에 한정되지 않는다. 예를 들면, 각 동화상의 프레임간 얼라인먼트시에 설정된 기준 프레임을, 대표 화상으로서 설정해도 좋다. 기준 프레임의 설정법으로서는, 임의의 공지의 설정법을 사용할 수 있고, 예를 들면, 선두번호의 프레임을 기준 프레임으로서 설정할 수 있다.

<단계S920>

표시 제어부(131)는, 복수의 고배율 화상D_Hj가 취득되어 있을 경우에 고배율 화상간의 농도차이를 보정한다. 이 농도차이를 보정하기 위해서는, 임의의 공지의 휘도보정법을 적용할 수 있다. 일례로서, 본 실시예에서는, 각 고배율 화상D_Hj에 있어서 히스토그램Ｈｊ를 생성하고, 히스토그램Ｈｊ의 평균과 분산이 고배율 화상D_Hj와 공통된 값을 갖도록, 각 고배율 화상D_Hj의 휘도값을 선형변환함으로써, 그 농도차이를 보정한다.

<단계S930>

표시 제어부(131)는, 각 고배율 화상D_H를 동화상으로서 광범한 화각화상D_L위에 표시시킬 경우에, 고배율 화상D_H의 재생 속도를 설정한다. 재생 속도는, 화상표시 에어리어내에 재생 속도 조정 슬라이더나, 프레임 단위의 이송 버튼을 배치해두고, 지시 취득부(140)를 거쳐서 조작자에게 재생 속도를 지정시켜서 조정된다.

또한, 본 실시예에서는, 단계S910에서 생성된 정지화상(중첩 화상)을 함께 붙여서 표시하기 때문에, 본 처리는 생략된다.

<단계S940>

표시 제어부(131)는, 각 고배율 화상D_Hj의 표시/비표시와 표시 배율을 제어한다. 화상의 표시/비표시는, 모니터(305)에 취득된 화상에 관한 리스트를 표시시키고, 이 취득 화상 리스트의 화상명 부근에 ＵＩ(본 실시예에서는, 체크 박스)를 배치하고, 지시 취득부(140)를 거쳐서 ＵＩ의 ＯＮ/ＯＦＦ를 조작자에게 지정시켜서, 설정된다. 모든 화상을 일괄 지정하는데 사용된 ＵＩ(체크 박스)나, 취득 배율별의 일괄 지정ＵＩ(체크 박스)도 준비하고, 다수의 화상에 관한 표시/비표시의 전환을 쉽게 한다.

본 단계에서는, 화상의 표시/비표시뿐만 아니라, 인접한 고배율 화상D_Hj간에 중첩 영역이 있는 경우나, 같은 고시표 위치에서 여러번 촬상하는 경우의 중첩순서도, 설정한다. 동화상의 중첩순서의 설정법으로서는, 수동설정을 포함하는 임의의 설정법을 사용할 수 있다. 본 실시예에서는, 각 화상의 화질지표나 고시 불일치량을 산출하고, 화질지표나 고시 불일치량의 선형합을 평가함수로서 사용하여 얻어진 최대 평가 값을 갖는 화상을 최상층으로서 설정하여 표시한다. 그 화질지표로서, 임의의 공지의 지표를 사용할 수 있다. 본 실시예에서는 화상 히스토그램의 평균 휘도값을 사용한다. 또한, 고시 불일치량으로서는, 인접 프레임간의 병진 이동 거리의 절대치를 프레임 전체에 걸쳐서 가산한 값을 사용한다. 또한, 고시 불일치를 평가 가능한 지표이면, 임의의 지표를 사용 가능하다. 표시 배율에 대해서는, 지시 취득부(140)를 거쳐 조작자가 지정한 고배율 화상을 확대해서, 모니터(305)에 표시한다.

또한, 상술한 예에서는 광범한 화각화상D_L이 단일의 광범한 화각SLO화상이지만, 본 발명은 이것에 한정되지 않는다. 예를 들면, 다른 취득 위치의 광범한 화각화상D_Lｉ끼리를 정렬하여서 얻어진 합성 화상을, 광범한 화각화상D_L으로서 사용해도 된다.

이상과 같이, 본 실시예에 따른 안과장치(10)는, 복수의 고배율 화상 취득 파라미터(촬상조건)에 관한 기본 패턴으로부터 조작자에게 패턴을 선택시키고, 병변형상에 따라 이 파라미터 값을 조절하고, 그 조절된 파라미터 값에 근거해 고배율 화상을 취득한다. 보다 구체적으로, 안과장치(10)는, 고배율 화상을 촬상하는 복수의 위치의 분포를 각각 나타내는 복수의 기본 패턴을, 조작자에 대하여 선택적으로 제시한다. 조작자의 선택에 따라, 그 복수의 기본 패턴으로부터 선택된 기본 패턴과 미리 관련된, 고배율 화상의 촬상에 관한 촬상조건을, 조작자의 지시에 근거해 조정한다. 촬상장치는, 그 조정된 촬상조건에 따라 촬상영역에 있어서 복수의 고배율 화상을 촬상한다. 이 때문에, 본 실시예에 의하면, 주어진 촬상영역에 있어서 해당 촬상영역의 화각보다도 작은 화각을 가지는 복수의 고배율 화상을 취득하기 위해 적절한 촬상조건을 간단하게 설정하는 것이 가능하다. 이에 따라서, 고배율 화상보다 넓은 범위에서 피검안에 따라 분포가 변경하는 조직, 세포군 혹은 병변후보를 효율적으로 촬상하는 것이 가능하다.

본 실시예에서는, 상기 선택된 기본 패턴의 대표 점의 촬상영역에 있어서의 위치와, 조작자에 의해 지정된 제약조건과, 촬상조건의 변경량 중 적어도 하나에 의거하여, 촬상조건을 조정한다. 이 때문에, 촬상 대상에 따라 적절한 촬상조건을 용이하게 설정하는 것이 가능하다. 예를 들면, 세포군, 조직 및 병변 형상이나 농도에 개인차가 있고, 상세하게 관찰 또는 계측해야 할 영역은 피검안에 따라 다르다. 본 실시예의 구성에 의하면, 피검안마다 관찰 대상의 세포, 조직, 또는 병변 영역을 특정한 후에, 이 영역의 형상이나 농도에 따라 복수의 고배율 화상D_Hj의 취득 파라미터를 자동 설정할 수 있다.

또한, 본 실시예에서는, 촬상조건으로서, 광범한 화각화상에서의 고배율 화상을 촬상하는 위치, 촬상순서, 동일한 위치에서 촬상하는 화상수, 고배율 화상의 화각 및 화소 사이즈, 촬상의 프레임수, 프레임 레이트, 및 합초위치를 예시했다. 그렇지만, 그 촬상조건은 이것들에 한정되지 않는다.

<<제2 실시예>>

본 실시예에 따른 안과장치는, 복수의 고배율의 적응 광학 SLO화상을 취득할 경우에, 고배율 화상보다도 화각이 넓은 화상으로부터 추출된 화상특징에 의거하여 상기 복수의 고배율 화상 취득에 관한 파라미터 값을 결정하도록 구성된다. 보다 구체적으로는, 중심와 부근의 모세혈관영역에 대하여 복수의 고배율 동화상D_1j를 환형 패턴으로 취득할 경우에, 이 화상특징에 의거하여 각 고배율 화상D_1j의 취득 위치, 화각, 화소 사이즈, 프레임수, 프레임 레이트, 및 반복 취득 횟수를 결정한다. 추가로, 각각 취득된 고배율 화상에 고시 불일치나 깜박거림과 같은 예외 프레임이 포함되어 있는지를 판정하고, 그 판정 결과에 근거해 고배율 화상의 재취득이 필요하다고 판정했을 경우에는, 같은 화상 취득 파라미터 값에 의거하여 고배율 화상을 재취득한다.

(전체 구성)

도 1b는 본 실시예에 따른 안과장치(10)와 접속된 기기의 구성을 나타낸다. 본 실시예는, 안과장치(10)에 대하여, SLO촬상장치(20) 및 데이터 서버(40)에 더해서, 시간 위상(time-phase) 데이터 취득 장치(50)가 접속된다는 점에서 상기 제1 실시예와 다르다. 시간 위상 데이터 취득 장치(50)는, 자율적 또한, 주기적으로 변화되는 생체신호 데이터("시간 위상 데이터"라고 한다)를 취득하고, 예를 들면, 맥파계 혹은 심전계로 구성된다. 시간 위상 데이터 취득 장치(50)는, (도면에 나타내지 않은) 조작자에 의한 조작에 따라, 고배율 화상D_Hj의 취득과 동시에 시간 위상 데이터Sｊ를 취득한다. 그 취득된 시간 위상 데이터Sｊ는, 안과장치(10)와 데이터 서버(40)에 송신된다. 본 실시예에서는, 피험자로부터 계측된 시간 위상 데이터가 나타내는 주기적 타이밍에 동기하여 고배율 화상을 취득하여, 모니터(305)에 표시시킨다. 이 때문에, 생체의 변화에 따라 적절한 타이밍에서 고배율 화상을 취득하거나 재생하는 것이 가능하다.

또한, 데이터 서버(40)는, 피검안의 광범한 화각화상D_L및 고배율 화상D_H, 및 그 취득시에 사용한 고시표 위치F_L, F_H와 같은 취득 조건 데이터이외에, 시간 위상 데이터Sｊ, 안부의 화상특징, 및 안부의 화상특징의 분포에 관한 정상값을 유지한다. 안부의 화상특징으로서, 본 실시예에서는 망막혈관, 모세혈관Q, 혈구W를 유지한다. 그렇지만, 상기 화상 특징들은, 이것들에 한정되지 않는다. 데이터 서버(40)는, 시간 위상 데이터 취득 장치(50)로부터 출력된 시간 위상 데이터Sｊ와 안과장치(10)로부터 출력된 안부의 화상특징을 보존한다. 안과장치(10)로부터의 요구에 따라, 데이터 서버(40)는, 시간 위상 데이터Sｊ, 안부의 화상특징, 및 안부의 화상특징의 분포에 관한 정상값 데이터를 안과장치(10)에 송신한다.

(안과장치)

도 10은, 본 실시예에 따른 안과장치(10)의 기능 블록을 나타낸다. 본 실시예에 따른 안과장치(10)는, 제1 실시예의 구성에 더해서, 데이터 취득부(110)에 시간 위상 데이터 취득부(113), 화상처리부(130)에 화상특징 취득부(134), 결정부(132)에 재취득 필요성 결정부(1325), 및 얼라인먼트부(133)에 예외 프레임 판정부(1331)를 구비한다. 시간 위상 데이터 취득부(113)는, 피험자의 시간 위상 데이터를 취득하는 기능 블록이다. 화상특징 취득부(134)는, 광범한 화각화상을 해석해서 그 화상특징의 정보를 취득하는 기능 블록이다. 재취득 필요성 결정부(1325)는, 고배율 화상을 다시 취득할 것인가 아닌가를 판정하는 기능 블록이다. 예외 프레임 판정부(1331)는, 고시불량에 의한 위치 어긋남이 큰 프레임 등의 검안에 부적절한 프레임을 "예외 프레임"으로서 검출하는 기능 블록이다. "예외 프레임"이 검출되었을 경우, 고배율 화상은 재취득된다.

(처리 순서)

본 실시예에 따른 화상처리 순서는 도 5와 같고, 단계S510, 단계S560, 단계S570, 및 단계S580의 처리는 제1 실시예와 같다. 단계S540는 생략된다. 본 실시예에서는, 단계S520, 단계S530, 및 단계S550의 처리에 관하여 설명한다.

<단계S520>

화상 취득 패턴 제시부(1311)는, 기억부(120)로부터 복수의 고배율 화상을 취득할 때의 화상 취득 패턴을 적어도 1종류 취득하여, 모니터(305)에 표시한다. 본 실시예에서는, 화상 취득 패턴 제시부(1311)가 선형, 십자형, 방사형, 사각형, 원판형, 고리형, 다배율형, 다배치형, 및 복합형의 기본 패턴을 제시한다.

지시 취득부(140)는, 어느 화상 취득 패턴을 선택할지의 지시를 외부적으로 취득한다. 본 실시예에서는, 관찰 대상이 도 7c에 나타나 있는 바와 같은 고리 형상의 중심와 부근의 모세혈관영역인 일례를 설명한다. 이 경우, 이 고리 형상 영역의 내측경계를 무혈관 영역에 의거하여 결정할 필요가 있다. 따라서, 조작자는 다배율형의 화상 취득 패턴을 선택한다. 다배율형의 화상 취득 패턴에서, 화상D_1j가 고리 형상 패턴을 형성하고, 화상D_2k가 사각형 패턴을 형성한다.

또한, 본 실시예에 있어서 화상 취득 패턴 선택 처리는, 필수적인 처리가 아니고, 처음부터 고배율 화상 취득 대상영역을 고리 형상영역으로 설정하, 중간배율 화상 취득 대상영역을 사각형 영역으로 설정함으로써, 본 단계의 처리를 생략해도 좋다.

<단계S530>

결정부(132)는, 고배율 화상 취득부(112)에 대하여 중간배율화상D_2k의 취득을 요구하고, 고배율 화상 취득부(112)가 중간배율화상D_2k을 취득한다. 다음에, 화상특징 취득부(134)는, 광범한 화각화상D_L 및 중간배율화상D_2k상의 화상특징을 취득한다. 이 화상특징에 의거하여 복수의 고배율 화상의 취득 파라미터를 결정하고, 고배율 화상D_1j를 취득한다. 또한, 취득된 고배율 화상D_1j에 대해서 프레임간 얼라인먼트와 예외 프레임 판정을 행한다. 예외 프레임의 판정 결과에 근거해 재촬상이 필요하다고 판정되었을 경우에는, 같은 고배율 화상D_1j를 다시 촬상한다. 중간배율화상D_2k과 고배율 화상D_1j를 광범한 화각화상D_L위에 정렬한다. 본 단계의 처리(고배율 화상 취득 처리)는, 도 11의 흐름도를 참조하여 후에 상세하게 설명한다.

<단계S550>

표시 제어부(131)는, 단계S1270(후술)에 있어서 취득된 얼라인먼트 파라미터 값에 근거하여, 도 7e에 나타나 있는 바와 같이, 광범한 화각화상D_L위에 고배율 화상D_H를 중첩해서 표시한다. 본 실시예에서는, 상기 중첩 화상의 이웃에, 중심와 부근의 모세혈관의 분포를 더 상세하게 유저가 관찰가능한 화상으로서 도 7f와 같은 모세혈관 화상을 붙여서 표시한다. 상술한 것처럼, 본 실시예에서는, 촬상된 복수의 고배율 화상을, 촬상영역의 전체를 나타내는 화상에 중첩해서 모니터(305)에 표시시키는 표시 제어를 행한다. 이 때문에, 광범한 화각화상의 필요한 부분에만 정밀한 화상을 관찰하는 것이 가능하다. 본 단계의 처리(화상표시 처리)에 대해서는, 도 9의 흐름도를 참조해서 후에 자세하게 설명한다.

(고배율 화상 취득 처리)

다음에, 도 11의 흐름도를 참조하여 단계S530에서 실행된 처리의 상세에 관하여 설명한다.

<단계S1210>

결정부(132)는, 단계S520에서 선택된 화상Ｄ_2k의 화상 취득 패턴에 의거하여 중간배율화상D_2k를 취득한다.

본 실시예에서는, 도 12a의 화상Ｄ_2k로 나타낸 것과 같은 사각형의 화상 취득 패턴을 설정한다. 해당 화상 취득 패턴의 중심점C가 중심와 근방에 위치되도록 고시표를 제시한다. 또한, 화각, 화소 사이즈, 프레임수, 및 프레임 레이트의 값으로서, 각각, 600[μm]×600[μm], 2[μm/ｐｉｘｅｌ]×2[μm/ｐｉｘｅｌ], 256매, 및 64[ｆｒａｍｅ/ｓｅｃ]가 설정되어 있다. 인접한 중간배율 화상간의 중첩 영역은, 중간배율 화상 면적에 대하여 10%이라고 한다. 본 실시예에서, 고배율 화상의 취득 순서는, 화상 취득 패턴의 중심에 있는 중간배율화상D₂₅를 제1 취득 위치로서 설정하고, 그 취득 위치를 우측의 다음 화상으로 이동 후, 반시계 회전으로 인접화상을 통해 이동시키도록, 설정된다. 얼라인먼트부(133)는, 취득된 중간배율화상D_2k의 프레임간 얼라인먼트를 행하고, 중간배율화상D_2k의 광범한 화각화상D_L위의 얼라인먼트(화상 붙이기)를 행한다. 또한, 얼라인먼트에 사용하는 좌표변환법 및 유사도 평가함수의 정도는 제1 실시예와 같고, 그에 대한 상세한 설명은 생략된다.

<단계S1220>

화상특징 취득부(134)는, 광범한 화각화상D_L또는 단계S1210에서 취득된 중간배율화상D_2k로부터 모세혈관을 검출하고, 검출된 모세혈관영역으로부터 무혈관영역의 경계를 검출한다. 무혈관영역의 근방영역을 고배율 화상의 취득 대상영역으로서 설정하기 위해서, 무혈관영역의 경계위치부터 등거리에 있는 고리 형상(도넛형)의 영역을 검출한다.

본 실시예에서는, 우선, 이하의 순서에 따라, 중간배율화상D_2k으로부터 혈구성분의 이동 범위로서 모세혈관을 특정한다.

(a) 프레임간 얼라인먼트된 각 중간배율화상D_2k의 인접 프레임간에 차분 처리를 행한다. 즉, 차분 동화상을 생성한다.

(b) (a)에서 생성한 차분 동화상의 각 x-y위치에 있어서 프레임 방향에 관한 휘도 통계량(예를 들면, 분산)을 산출한다.

(c) 차분 동화상의 각 x-y위치에 있어서 휘도분산이 역치Ｔｖ이상의 영역을 혈구가 이동한 영역, 즉 모세혈관영역으로서 특정한다.

또한, 모세혈관의 검출 처리는 이 방법에 한정되는 것이 아니고, 임의의 공지의 방법이 사용 가능하다. 예를 들면, 광범한 화각화상D_L 혹은 중간배율화상D_2k의 특정한 프레임에 대하여 선형 구조를 강조하는 필터를 적용해서 혈관을 검출해도 좋다.

다음에, 화상특징 취득부(134)는 그 취득된 모세혈관영역으로부터 무혈관영역의 경계를 검출한다. 망막의 중심와 부근에는, 도 7c의 내측파선 영역의 내부로 나타낸 것처럼, 모세혈관이 존재하지 않는 영역("무혈관영역"이라고 한다)이 존재한다. 무혈관영역의 경계의 형상은 개인차가 크고, 망막혈관의 초기 병변은 무혈관영역 경계 주위에 생기기 쉽다. 따라서, 무혈관영역 경계는 관찰 및 해석 대상으로서 중요하다.

본 실시예에서는, 화상 취득 패턴에 있어서의 고배율 화상D_1j의 화상중심을 접속하는 원(도 12a에서 파선부)보다 작은 반경Ｔｒ을 가지는 변형 가능한 모델(도 12a에서 실선부)을, 단계S1210에서 광범한 화각화상 위에 정렬된 중간배율화상D_2k의 상기 붙여진 화상 위에 배치한다. 본 실시예에서는, 상기 모델을, 이 모델의 중심이 도 12a의 중간배율화상D₂₅의 중심C와 일치하도록 배치한다. 중간배율화상D_2k의 붙여진 화상상의 화상특징에 따라 변형이 완료한 변형 가능한 모델의 위치(도 12b의 Bｉ)를 무혈관영역 경계로서 정의하고, 이 무혈관영역 경계의 중심위치C'를 결정한다. 추가로, 무혈관영역 경계에 대하여 유클리드(Euclidean) 거리변환을 행함으로써 얻어진 거리화상(그 경계로부터의 거리값을 화소값으로서 갖는 화상)을 사용해서 무혈관영역 경계로부터 외측으로 소정의 역치Ｔｏ 및 Ｔｏ/2의 거리에 떨어져 있는 위치(도 12b의 Bｏ 및 Bｍ)를 결정한다. 상기 역치Ｔｏ로서는, 임의의 값을 설정할 수 있다. 일반적으로, 정상인에 대해서는 150[μｍ]정도로 값을 설정하는 경우가 있고, 이 때문에, 본 실시예에서도 이 값을 사용한다. 상기 특정된 내측경계Bｉ 및 외측경계Bｏ를 사용해서 고리 형상(도넛형)의 고배율 촬상대상영역이 결정된다. 파선부Bｍ은 고배율 화상D_1j의 취득 위치(화상중심)의 후보를 가리킨다.

또한, 본 실시예에서는, 무혈관영역 경계로부터의 거리(고리 형상영역의 굵기)를 역치Ｔｏ에 의해 고정했다. 그렇지만, 본 발명은 이것에 한정되는 것은 아니다. 예를 들면, 당뇨병 망막증과 같은 중심와 부근의 망막 모세혈관에 병변이 생기는 질환에서는, 질환이 진행함에 따라서 모세혈관이 폐쇄하고, 무혈관영역이 커진다. 무혈관영역이 커지면, 무혈관영역주변의 보다 광범위에서 혈관병변이 생길 가능성이 있다. 따라서, 역치Ｔｏ에 대하여 무혈관영역의 면적에 비례하는 값을 곱한 값을 무혈관영역 경계로부터의 거리로서 설정해도 좋다. 또한, 이 경우에는, 단계S1230에 있어서 화각을, 가변 파라미터로서 설정해서 무혈관영역 경계로부터의 거리, 즉, 고리 형상영역의 굵기보다 훨씬 큰 값을 갖도록 결정한다.

<단계S1230>

배율결정부(1321)는, 고배율 화상D_1j의 배율수, 화각 및 화소 사이즈를 결정한다. 위치 결정부(1322)는 각 고배율 화상D_1j의 취득 위치와 합초위치를 결정한다. 본 실시예에서는, 배율수, 화각, 화소 사이즈 및 합초위치를 고정 파라미터(각각, 2, 200[μm]×200[μm], 1[μm/ｐｉｘｅｌ]×1[μm/ｐｉｘｅｌ], 모세혈관)로서 설정하고, 고배율 화상D_1j의 취득 위치를 가변 파라미터로서 설정한다. 이들 파라미터는, 다음의 방식으로 결정된다.

우선, 단계S1220에서 결정한 경계Bｍ을 동일한 간격Ｔｄ로 샘플링해서 취득된 점(도 12b의 Bｍｓ)을, 고배율 화상D_1j의 취득 위치의 후보로서 정의한다. 특정한 후보점Bｍ0로부터 고배율 화상D_1j의 취득 위치를 순차적으로 결정한다.

본 실시예에서는,

간격Ｔｄ=고배율 화상D_1j의 화각×(100-고배율 화상D_1j사이의 중첩 영역의 비율의 표준값)/100 ...(1)

무혈관영역의 중심위치의 바로 위에 있는 후보점을 Bｍ0으로 설정한다. 고배율 화상D_1j의 상세한 취득 위치는, 다음의 양쪽의 조건을 충족시키도록 결정된다:

a) 단계S1220에서 결정한 고리 형상영역의 반경방향(무혈관영역의 중심위치C´와 취득 위치 후보점Bｍｓ를 연결하는 선의 방향)에 관해서, 고리 형상영역에 공백이 생기지 않는 조건하에서 고리 형상영역외에 위치된 고배율 화상D_1j의 총 화소 수가 최소가 되는 것; 및

b) 경계위치Bｍ의 접선방향에 관해서, 이하에 설명하는 고배율 화상간의 중첩 영역의 비율과 일치하는 것.

이 경우에, 고배율 화상D_1j사이의 중첩 영역의 비율[％]로서는, 표준의 설정 값(본 실시예에서는, 예를 들면, 20%)에 대하여 단계S1220에서 특정된 무혈관영역 경계의 원형도Ｃｒ에 반비례하는 값을 곱하여 취득된 값을, 고배율 화상D_1j사이의 중첩 영역의 비율로서 설정한다. 원형도Ｃｒ은,

Ｃｒ=4πS/(L＊L) ...(2)

로 나타내어지고, 이때, S는 무혈관영역 경계의 면적이고, L은 경계 길이다. 따라서, 원형도가 낮을수록, 즉 요철이 클수록, 고배율 화상D_1j사이의 중첩 영역의 비율이 큰 값으로서 설정된다.

또한, 고배율 화상간의 중첩 영역의 결정법은 이에 한정하지 않고, 임의의 공지의 방법을 사용할 수 있다. 예를 들면, 무혈관영역 경계의 중심C'와 취득 위치 후보점Bｍｓ를 잇는 선과 무혈관영역과의 교점Bｉｓ로부터의 무혈관영역 경계를 따라 인접하는 고배율 화상의 방향으로 소정 거리의 범위내에서 곡률의 절대치를 산출하고, 그 취득된 곡률의 절대치의 평균치Ｃｈ를 산출한다. 고배율 화상간의 중첩 영역의 비율에 관한 표준 설정 값에 대하여 평균 곡률값Ｃｈ에 비례하는 값을 곱해서 가중치를 준다. 평균 곡률값Ｃｈ가 0일 경우에는, 가중치를 주지 않고 표준 설정 값을 직접 사용한다. 이러한 설정법을 사용하면, 무혈관영역 경계의 곡률의 절대치가 큰 위치의 근방에서 고배율 화상간의 중첩 영역의 비율을 크게 설정할 수 있다.

<단계S1240>

시간결정부(1323)는, 고배율 화상D_1j의 프레임수, 프레임 레이트 및 반복 취득 횟수를 결정한다. 본 실시예의 예에서는, 프레임수, 프레임 레이트 및 동일한 위치에서의 반복 취득 횟수는, 각각, 256매, 64[ｆｒａｍｅ/ｓｅｃ] 및 2회로 설정한다. 그렇지만, 본 발명은 이것에 한정되는 것이 아니고, 임의의 설정법이 사용 가능하다. 예를 들면, 단계S1220 및 단계S1230의 처리로 결정된 각 고배율 화상D_1j내의 모세혈관영역에 대하여 세선화처리를 행하고, 취득된 혈관의 중심축에 직교하는 방향으로 혈관지름을 산출한다. 이 혈관지름이 이상(abnormal)치를 나타내는 영역이 존재할 경우만, 고배율 화상D_1j의 프레임수와 반복 취득 횟수를 각각 역치Ｔｆ 및 Ｔｃ만큼 증가시켜도 된다.

<단계S1250>

순서결정부(1324)는, 고배율 화상D_Hj의 취득 순서를 결정한다. 제1 실시예의 단계S850과 같이, 이하의 i)∼iii) 중, i)가 최내측(최고 우선도), ii)가 2번째 내측, iii)이 최외측(최저 우선도)의 루프로서 설정해서 반복 처리를 행한다. 보다 구체적으로, 취득 시작 위치를 귀측, 취득 배율을 최저배율로 설정함으로써, 이하의 순서를 실행한다:

i) 동일취득 배율 및 동일화상 취득 위치의 화상을 반복 취득 횟수만큼 많이 취득한다;

ii) 동일취득 배율의 화상을, 인접한 화상 취득 위치(본 실시예에서는, 반시계방향)로부터, i)와 같이 취득한다;

iii) ii)가 종료하면, 취득 배율의 값을 증가시키고, 다시 ii)의 조작을 실행하고, 배율 수만큼 여러번 같은 조작을 반복한다.

또한, 고배율 화상의 순서 결정법은 상기의 순서에 한정되는 것이 아니고, 임의의 순서설정법이 사용 가능하다.

<단계S1260>

고배율 화상 취득부(112)는, 단계S1210 내지 단계S1250에서 결정된 고배율 화상 취득 파라미터에 따라 고배율 화상 및 시간 위상 데이터를 취득한다. 시간 위상 데이터 취득부(113)는 시간 위상 데이터 취득 장치(50)에 대하여 생체신호에 관한 시간 위상 데이터Sｊ의 취득을 요구한다. 본 실시예에서는, 시간 위상 데이터 취득 장치로서 맥파계를 사용하고, 피험자의 이수(귓불)로부터 시간 위상 데이터Sｊ를 취득한다. 시간 위상 데이터Sｊ는, 한쪽의 축을 따라 취득 시간과, 다른쪽의 축을 따라 상기 맥파계가 계측한 맥파 신호 값을 가지는 주기적인 점열로서 표현된다. 시간 위상 데이터 취득 장치(50)는, 이 취득 요구에 따라, 대응한 시간 위상 데이터Sｊ를 취득해 송신한다. 이에 따라, 시간 위상 데이터 취득부(113)는 시간 위상 데이터 취득 장치(50)로부터 ＬＡＮ(30)을 통해 해당 시간 위상 데이터Sｊ를 수신한다. 시간 위상 데이터 취득부(113)는 그 수신한 시간 위상 데이터Sｊ를 기억부(120)에 격납한다.

데이터 취득부(110)는 SLO촬상장치(20)에 대하여, 광범한 화각화상D_L과, 다른 고시표 위치Ｆｊ에서 촬상된 복수의 고배율 화상D_Hj, 및 고시표 위치Ｆｊ의 데이터의 취득을 요구한다. 여기에서, 시간 위상 데이터 취득 장치(50)가 취득한 시간 위상 데이터Sｊ의 특정 위상에 따라 데이터 취득부(110)가 고배율 화상D_Hj를 취득하기 시작하는 경우와, 고배율 화상D_Hj의 취득 요구 직후 시간 위상 데이터Sｊ와 고배율 화상D_Hj의 취득을 동시에 시작하는 경우의 2가지 경우를 생각할 수 있다. 본 실시예에서는, 고배율 화상D_Hj의 취득 요구 직후, 시간 위상 데이터Sｊ와 고배율 화상D_Hj의 취득을 시작한다.

<단계S1270>

얼라인먼트부(133)는, 취득된 고배율 화상D_1j에 관한 프레임간 얼라인먼트를 행하고, 고배율 화상D_1j를 광범한 화각화상D_L위에 정렬해서, 모니터(305)상에 표시한다. 또한, 본 실시예에서는, 각 고배율 동화상D_1j의 프레임간 얼라인먼트시에, 프레임이 이하에 서술하는 예외 프레임에 해당하는 것인가 아닌가를 판정하는 예외 프레임 판정을 행한다. 동화상마다 프레임간 얼라인먼트 방법이나, 다른 배율의 화상에 대한 얼라인먼트(화상 붙이기) 방법으로서는, 임의의 공지의 얼라인먼트 방법이 사용 가능하다. 본 실시예에서는, 양쪽의 얼라인먼트 방법을 아핀변환 및 상관함수를 사용해서 행한다.

도 12c에 나타낸 바와 같이, 예외 프레임이란, 고배율 동화상D_H에 있어서 고시불량에 의해 크게 오정렬된 프레임Ｅｓ, 깜박거림에 의해 생긴 저휘도 프레임Ｅｂ, 수차보정 오류에 의해 생긴 저화질 프레임(도면에 나타내지 않는다)을 의미한다. 예외 프레임은, 휘도 이상(abnormality)의 정도, 왜곡의 크기, 신호에 대한 잡음의 레벨, 및 기준 프레임에 대한 변위량 각각이 소정값 이상인가 아닌가에 근거해 판정될 수 있다. 보다 구체적으로는,

a) 프레임간의 얼라인먼트 파라미터 값 중 병진이 역치이상일 경우,

b) 프레임의 평균 휘도값이 역치미만일 경우,

c) 프레임의 S/Ｎ비가 역치미만일 경우에, 프레임을 예외 프레임으로서 판정한다. 예외 프레임 판정 결과, 고배율 동화상D_1j에 있어서의 예외 프레임의 발생 간격의 최대값이 역치Ｔｅ이하일 경우나, 예외 프레임의 총수가 역치Ｔｓ이상일 경우에, 재취득 필요성 결정부(1325)는 해당 고배율 화상D_1j의 재취득이 필요하다고 판정한다. 재취득 필요성 결정부(1325)는, 해당 고배율 화상D_1j의 재취득이 필요하다고 판정했을 경우에, 고배율 화상 취득부(112)에 대하여 고배율 화상D_1j의 재취득을 요구하고, 고배율 화상 취득부(112)는 이 요구에 따라서 해당 고배율 화상D_1j를 재취득한다.

또한, 프레임간 얼라인먼트, 예외 프레임 판정, 재취득 필요성 판정, 및 재취득은, 모든 고배율 화상을 취득한 후에 항상 실행할 필요는 없다. 예를 들면, 고배율 화상 취득 직후, 예외 프레임 판정과 재취득 필요성 판정을 실행해도 되고, 재취득이 필요하다고 판정되자마자, 고배율 화상을 재취득해도 된다. 또는, 단계S1210의 중간배율화상D_2k의 프레임간 얼라인먼트시에, 예외 프레임 판정 및 재취득 필요성 판정을 실행해도 되고, 재취득이 필요하다고 판정되자마자, 중간배율화상D_2k를 재취득해도 된다. 그렇지 않으면, 예외 프레임 판정은 항상 SLO동화상의 프레임간 얼라인먼트시에만 실행될 필요는 없다. 예를 들면, 전안부 카메라를 안과장치(10)에 접속해두고, 전안부 카메라의 화상처리, 예를 들면, 저휘도 프레임 검출, 눈동자 위치 검출 등을 사용해서 판정해도 좋다.

(화상표시 처리)

다음에, 도 9의 흐름도를 참조하여 단계S550에서 실행된 처리의 상세에 관하여 설명한다. 또한, 단계S910, S930이외의 처리는, 상기 제1 실시예와 같고, 본 실시예에서는 단계S910, S930의 처리에 관하여 설명한다.

<단계S910>

표시 제어부(131)는, 단계S1270에서 취득된 얼라인먼트 파라미터 값에 근거하여, 도 7e에 나타나 있는 바와 같은 광범한 화각화상D_L에의 고배율 화상D_H의 중첩 화상을 생성하기 위한 처리를 행한다. 본 실시예에서는, 단계S930에서 설명한 바와 같이, 고배율 화상D_H를 정지화상으로서가 아니고 동화상으로서 붙여 표시하므로, 대표 화상은 생성하지 않는다. 그렇지만, 프레임간 얼라인먼트후의 화상에는 화상 단부에 화소값이 0인 영역이 생겨서, 표시를 방해하기도 한다. 따라서, 상기 붙여진 화상을 표시시의 화상단부에 있어서는, 예외 프레임이외의 모든 프레임에 걸쳐서 화소값이 0보다 큰 화소만을 표시한다.

또한, 본 실시예에서는, 상기 붙여진 동화상에 인접하게, 중심와 부근의 모세혈관의 분포를 유저가 보다 상세하게 관찰할 수 있게 하기 위한 화상으로서, 도 7f와 같은 모세혈관 화상을 붙여 표시한다. 모세혈관 화상에 관해서는, 단계S1220에서 중간배율화상D_2k에 대하여 실행된 모세혈관 영역의 특정 처리를 중간배율화상D_2k뿐만 아니라 고배율 화상D_1j에 대하여도 행함으로써, 2값화상을 생성하여, 단계S1270에서 얻어진 얼라인먼트 파라미터에 근거하여 붙여 표시한다. 모세혈관 화상에서도, 동화상을 붙일 때와 같이, 예외 프레임이외의 모든 프레임에 걸쳐서 화소값이 0보다 큰 화소만을 표시한다.

<단계S930>

복수의 중간배율화상D_2k나 고배율 화상D_1j를 광범한 화각화상D_L위에 표시시킬 경우에는, 시간 위상 데이터(맥파와 같은 생체신호에 근거하는 주기 데이터)에 의거하여 각 중간배율화상D_2k과 고배율 화상D_1j의 재생 타이밍을 동기시킨다. 보다 구체적으로, 표시 제어부(131)는 시간 위상 데이터 취득부(113)로부터 동화상(즉, 고배율 화상D_1j과 중간배율화상D_2k)에 대응하는 시간 위상 데이터Sｊ, Sｋ를 취득하고, 각 시간 위상 데이터의 극(extreme)값을 검출해서, 박동 주기를 산출한다. 다음에, 표시 제어부(131)는, 각 고배율 화상D_1j, 중간배율화상D_2k에 있어서의 예외 프레임 번호 계열을 취득하고, 예외 프레임을 포함하지 않는 연속한 프레임 계열을 표시 대상으로서 선택한다. 그 선택한 프레임에 있어서의 박동 주기가 동화상(고배율 화상D_1j 또는 중간배율화상D_2k) 사이에서 다른 경우에는, 동화상간에 있어서의 표시 프레임 간격의 조정 처리("프레임 보간처리"라고 한다)를 행한다. 추가로, 각각의 동화상에 대응한 시간 위상 데이터의 극값에 대응하는 프레임의 재생 타이밍이 일치하도록 각 동화상의 재생 개시시각을 조정하면서, 박동 주기의 정수배에 대응한 프레임을 재생함으로써, 붙여진 동화상을 표시한다.

또한, 본 발명의 표시법은 이것에 한정되는 것이 아니다. 만약 시간 위상 데이터가 취득되지 않은 경우에는 본 단계는 생략되어도 되고, 동화상은 재생시각을 조정하지 않고 붙여 표시되어도 좋다.

이상과 같이, 본 실시예에 따른 안과장치(10)는, 복수의 고배율의 적응 광학 SLO화상을 취득할 경우에, 고배율 화상보다도 화각이 넓은 화상으로부터 추출된 화상특징에 의거하여 복수의 고배율 화상 취득에 관한 파라미터 값을 결정한다. 이에 따라, 고배율 화상보다도 넓은 범위에서 피검안에 따라 분포가 다른 조직, 세포군 혹은 병변후보를 효율적으로 촬상하는 것이 가능하다.

본 실시예에서는, 혈관, 혹은 혈구가 이동하는 영역에 관한 화상의 특징에 근거하여, 촬상된 고배율 화상으로부터 적어도 1개의 혈관화상을 모니터(305)에 표시시킨다. 이에 따라, 광범한 화각화상으로부터, 특히 조심스런 관찰이 필요한 부분만을 적절하게 추출하고, 정밀한 촬상/표시를 자동적으로 행하는 것이 가능하다.

<<제3 실시예>>

본 실시예에 따른 안과장치는, 복수의 고배율의 적응 광학 ＯＣＴ단층화상을 취득할 경우에, 이 고배율 화상보다도 화각이 넓은 ＯＣＴ단층화상으로부터 추출된 화상특징에 의거하여 복수의 고배율 화상 취득에 관한 파라미터 값을 결정하도록 구성된다. 보다 구체적으로는, 조작자는, 장액성 망막박리ＲＤ에 의해 망막외층이 변형한 중심와 부근의 시세포층에 대하여 복수의 고배율 화상을 원판형 패턴으로 취득하는 기본 패턴을 선택해서, 화상 취득 파라미터의 초기값을 설정한다. 다음에, 광범한 화각ＯＣＴ단층화상으로부터 취득한 층형상의 화상특징에 의거하여 복수의 고배율 화상의 취득 파라미터(취득 위치, 화각, 화소 사이즈, 코히어런스 게이트)를 변경하고, 촬상한다. 이 경우에 관하여 설명한다.

(전체 구성)

도 1c는 본 실시예에 따른 안과장치(10)와 접속된 기기의 구성을 나타낸다. 본 실시예는, 안과장치(10)가, SLO촬상장치(20)가 아닌 적응 광학계를 구비한 단층상 촬상장치(60)에 접속된다는 점에서 상기 제1 실시예와 다르다. 단층상 촬상장치(60)는 안부의 단층상을 촬상한다. 단층상 촬상장치(60)는, 예를 들면, SＤ-ＯＣＴ(Spectral Domain Optical Coherence Tomography)로서 형성된다. 단층상 촬상장치(60)는, (도면에 나타내지 않은) 조작자에 의한 조작에 따라, 피검안의 단층상을 3차원적으로 촬상한다. 촬상된 단층상은 안과장치(10)에 송신된다.

(안과장치)

도 13에는, 본 실시예에 따른 안과장치(10)의 기능 블록을 나타낸다. 이러한 구성은, 화상처리부(130)에 광범한 화각화상의 특징을 취득하는 화상특징 취득부(134)를 구비한다는 점에서 상기 제1 실시예의 구성과 다르다. 데이터 서버(40)는, 안부의 화상특징과, 안부의 화상특징의 분포에 관한 정상값 데이터를 유지하고 있다. 여기에서는, 그 데이터로서, 망막층 경계와 그 형상, 두께에 관한 정상값 데이터를 유지하는 경우를 설명한다.

(단층상 촬상장치)

다음에, 도 14를 참조하여 적응 광학계를 구비한 단층상 촬상장치(60)의 구성을 설명한다. 도 14를 참조하면, 참조번호 201은 광원이다. 본 실시예에서는, 파장 840ｎｍ의 SＬＤ를 사용한다. 광원(201)은 저간섭형이면 좋고, 파장이 30ｎｍ이상인 SＬＤ가 적절하게 사용된다. 또한, 티타늄 사파이어 레이저등의 초단 광펄스 레이저등을 광원으로서 사용 가능하다. 광원(201)으로부터 방출된 광은, 단일모드 광 파이버(202)를 통과하여, 파이버 커플러(520)까지 도광된다. 파이버 커플러(520)에 의해, 측정 광경로 (521)와 참조 광경로(522)로 분기되어진다. 파이버 커플러(520)는 10:90의 분기비를 갖는 파이버 커플러를 사용하고, 투입 광량의 10%에 해당한 광이 측정 광경로(521)에 도달하도록 구성된다. 측정 광경로(521)를 통과한 광은, 콜리메이터(203)로부터 평행한 측정 광으로서 사출된다.

콜리메이터(203) 이후의 구성은 제1 실시예에서 설명한 SLO촬상장치(20)와 같다. 보다 구체적으로, 광이 적응 광학계와 주사 광학계를 통과하고 안구(211)를 조사한다. 안구(211)로부터의 반사/산란광은, 다시 같은 경로를 통해 진행하고, 광 파이버(521)에 도광되어서 파이버 커플러(520)에 도달한다. 한편, 참조 광경로(522)를 통과한 광은, 콜리메이터(523)로부터 사출되어, 광로길이 변경부(524)로 반사되어서 다시 파이버 커플러(520)에 되돌아간다. 파이버 커플러(520)에 도달한 측정 광과 참조 광은, 합파되어, 광 파이버(525)를 거쳐서 분광기(526)에 도광된다. 분광기(526)에 의해 분광된 간섭 광 정보를 바탕으로, 제어부(217)에 의해 안부의 단층상이 구성된다. 제어부(217)는, 광로길이 변경부(524)를 제어하고, 원하는 깊이 위치의 화상을 취득할 수 있다.

또한, 도 14의 구성에서, 주사 광학계의 흔들림 각을 크게 하고, 적응 광학 제어부(216)가 수차보정을 행하지 않도록 지시하는 경우, 단층상 촬상장치(60)는 일반적인 단층상 촬상장치로서 동작하고, 광범한 화각 단층상(광범한 화각화상D_L)을 촬상할 수 있다. 본 실시예에서는, 적응 광학계를 구비한 단층상 촬상장치(60)를 SＤ-ＯＣＴ로서 구성한다. 그렇지만, SＤ-ＯＣＴ를 구성하는 것이 필수적인 것이 아니다. 예를 들면, 단층상 촬상장치는, 타임 도메인 ＯＣＴ 혹은 SS-ＯＣＴ(Swept Source Optical Coherence Tomography)로서 구성되어도 좋다. SS-ＯＣＴ에서는, 다른 파장의 광빔을 다른 타이밍에서 발생시키는 광원을 사용하고, 스펙트럼 정보를 취득하기 위한 분광 소자는 불필요하다. 추가로, SS-ＯＣＴ는, 망막뿐만 아니라 맥락막도 포함하는 깊게 침습하는 화상을 취득할 수 있다.

(처리 순서)

도 5는 본 실시예에 따른 안과장치(10)의 화상처리 순서를 나타낸다. 단계S510, S520, S530, S540, S550이외의 처리 내용은, 도 5를 참조해서 설명한 제1 실시예의 처리 내용과 같다. 본 실시예에서는, 단계S510, S520, S530, S540, S550의 처리를 설명한다.

<단계510>

화각화상 취득부(111)는, 단층상 촬상장치(60)에 대하여, 광범한 화각화상D_L 및 고시표 위치F_L의 취득을 요구한다. 본 실시예에서는, 황반부의 중심와 부근에 고시표 위치F_L을 설정해서 광범한 화각화상D_L을 취득하는 일례를 설명한다. 또한, 촬상위치의 설정 방법은 이것에 한정되지 않고, 그 촬상위치는 다른 임의의 위치에 설정되어도 된다.

단층상 촬상장치(60)는, 광범한 화각화상 취득부(111)로부터의 취득 요구에 따라, 광범한 화각화상D_L, 고시표 위치F_L을 취득하여, 광범한 화각화상 취득부(111)에 송신한다. 광범한 화각화상 취득부(111)는, 단층상 촬상장치(60)로부터 ＬＡＮ(30)을 거쳐 그 광범한 화각화상D_L 및 고시표 위치F_L을 수신한다. 광범한 화각화상 취득부(111)는 수신한 광범한 화각화상D_L 및 고시표 위치F_L을 기억부(120)에 격납한다.

<단계S520>

화상 취득 패턴 제시부(1311)는, 기억부(120)로부터 복수의 고배율 화상을 취득할 때의 파라미터에 관한 기본적인 설정 패턴(화상 취득 패턴)을 적어도 1종류 취득하여, 모니터(305)에 표시한다. 화상 취득 패턴으로서는 임의의 패턴이 설정가능하다. 본 실시예에서는, 도 15a∼도 15f에 나타나 있는 바와 같은 기본 패턴을 제시한다. 보다 구체적으로, 도 15a는 선형 패턴, 도 15b는 십자형 패턴, 도 15c는 방사형 패턴, 도 15d는 사각형 패턴, 도 15e는 원판형 패턴, 도 15f는 고리형 패턴을 나타낸다.

지시 취득부(140)는, 어느 화상 취득 패턴을 선택할지에 대한 지시를 외부적으로 취득한다. 본 실시예에서는, 관찰 대상이 도 15i에 나타나 있는 바와 같이, 장액성 망막 박리ＲＤ에 의해 망막외층이 변형해, 시세포에서 병변이 일어나는 경우를 설명하겠다. 따라서, 도 15e에 나타나 있는 바와 같은 원판형의 화상 취득 패턴을 선택한다.

또한, 제1 실시예의 경우와 같이, 3차원의 단층화상에 있어서도 다배율형, 다배치형 및 복합형의 화상 취득 패턴을 제시해도 좋다. 예를 들면, 다배율형의 화상 취득 패턴이 선택되고 배율수가 3일 경우에, 도 15h와 같은 중간배율화상D_3m의 취득 패턴, 도 15g와 같은 중간배율화상D_2k의 취득 패턴, 및 도 15e와 같은 고배율 화상D_1j의 취득 패턴을 선택할 수 있다. 다배치형의 화상 취득 패턴의 경우, 심도방향(도 15a 내지 도 15h의 ｚ축방향)으로 화상 취득 패턴을 복수 배치해서 제시해도 좋다.

<단계S530>

결정부(132)는, 단계S520에 있어서 선택된 화상 취득 패턴이 가지는 복수화상의 취득 파라미터를 초기값으로서 설정하고, 화상특징 취득부(134)가 취득한 화상특징에 의거하여 화상 취득 파라미터를 조절함으로써, 복수의 고배율 화상의 취득 파라미터를 결정한다. 본 단계의 처리(고배율 화상 취득 처리)에 대해서는, 도 16의 흐름도를 참조하여 후에 상세하게 설명한다.

<단계S540>

얼라인먼트부(133)는, 광범한 화각화상D_L과 고배율 화상D_Hj를 정렬하고, 광범한 화각화상D_L상의 고배율 화상D_Hj의 위치를 결정한다. 우선, 얼라인먼트부(133)는, 기억부(120)로부터 고배율 화상D_Hj의 촬상시에 사용한 고시표 위치F_Hj를 취득하여, 광범한 화각화상D_L과 고배율 화상D_Hj와의 얼라인먼트에 있어서의 얼라인먼트 파라미터의 탐색 초기점으로서 설정한다. 고배율 화상D_Hj사이에 중첩 영역이 존재하는 경우에는, 우선, 이 중첩 영역에 관해서 화상간 유사도를 산출하고, 화상간 유사도가 최대인 위치와 고배율 화상D_Hj의 위치를 정렬한다. 다음에, 단계S530에 있어서 해상도가 다른 고배율 화상이 취득되어 있는 경우에는, 제1 실시예의 경우와 같이, 저배율의 화상으로부터 순차적으로 얼라인먼트를 행한다. 본 실시예에서는, 고배율 화상의 해상도가 1종류이므로, 광범한 화각화상D_L과 고배율 화상D_H와의 얼라인먼트만 행한다.

또한, 화상간 유사도나 좌표변환방법으로서는, 임의의 공지의 방법을 사용할 수 있다. 본 실시예에서는, 화상간 유사도로서 3차원의 상관계수와, 좌표변환방법으로서 3차원의 아핀변환을 사용해서, 얼라인먼트를 행한다.

<단계S550>

표시 제어부(131)는, 단계S540에 있어서 취득된 얼라인먼트 파라미터의 값에 근거하여, 광범한 화각화상D_L위에 고배율 화상D_Hj를 표시한다. 본 실시예에 있어서, 광범한 화각화상D_L 및 고배율 화상D_Hj는 함께 3차원 단층상이므로, 이하의 2종류의 표시를 행한다:

i) z축방향에 관해 광범한 화각화상D_L과 고배율 화상D_Hj의 투영 화상을 생성하고, 광범한 화각화상D_L의 투영 화상 위에 고배율 화상D_H의 투영 화상을 중첩한다;

ii) 광범한 화각 3차원 단층상D_L만 취득된 위치에서는 상기 광범한 화각 3차원 단층상D_L의 화소값과, 광범한 화각 3차원 단층상D_L과 고배율 3차원 단층상D_Hj가 함께 취득된 위치에서는 고배율 3차원 단층상D_Hj의 화소값에 의해 표현한, 광범한 화각 3차원 단층상D_L"을 생성한다. 상기 광범한 화각 3차원 단층상D_L"위의 특정한 주사 위치를 i)의 중첩 화상 위에 화살표로 표시한다. 이 화살표의 위치에서 광범한 화각 3차원 단층상D_L"의 2차원 단층상을 잘라내어, i)와 같은 중첩 화상과 떨어져서 표시한다. 본 표시에서는, 광범한 화각 3차원 단층상D_L의 2차원 단층상뿐만아니라, 고배율 3차원 단층상D_Hj의 2차원 단층상도 중첩 표시된다. ii)의 표시에 있어서는, 조작자가, 지시 취득부(140)를 거쳐서 광범한 화각 단층상D_L"의 표시 위치를 나타내는 화살표를 (상하 또는 좌우방향으로) 움직일 수 있다. 이 조작에 동기해서 잘라내어 표시되는 광범한 화각화상D_L 및 고배율 화상D_Hj의 표시 슬라이스도 변화된다.

본 실시예와 같이 취득 위치가 다른 고배율 화상D_Hj가 복수 취득되는 경우에는, 제1 실시예와 같은 방법을 사용하여, 고배율 화상D_Hj의 휘도특성이 유사하도록 조정을 행한다. 고배율 화상D_Hj의 촬상위치가 서로 가까운 경우(촬상위치가 동일한 경우도 포함함)에는, 중첩 영역의 표시법을 이하의 방법 중 하나의 방법으로 설정한다. 즉, 각 화상의 화질지표치를 산출해두고, 평가 값이 가장 높은 화상을 표시시킨다. 또는, 각 고배율 화상D_Hj의 휘도를, 상술한 화질지표치에 의거하여 투명도를 가중치를 주어서, 블렌딩을 행한다. 상기 화질지표치로서, 임의의 공지의 지표를 사용할 수 있다. 본 실시예에서는, 화상 히스토그램의 평균 휘도값을 사용한다.

또한, 상기 투영 화상을 생성하는 방법은 평균치 투영에 한정되지 않고, 임의의 투영법을 사용해도 좋다. 고배율 화상D_Hj는 정지 화상에 한정되는 것이 아니고, 동화상이 사용되어도 좋다.

(고배율 화상 취득 처리)

다음에, 도 16의 흐름도를 참조하여, 단계S530에서 실행된 처리(고배율 화상 취득 처리)의 상세에 관하여 설명한다. 또한, 단계S1510은 제1 실시예의 단계S810과 같으므로, 그에 대한 설명은 생략한다.

<단계S1520>

화상특징 취득부(134)는, 기억부(120)에 격납된, 광범한 화각화상D_L, 즉, 안부의 3차원 단층상으로부터, 화상특징으로서, 내경계막B1, 신경섬유층 경계B2, 내망상층 경계B4, 시세포 내절/외절 경계B5, 망막 색소 상피 경계B6의 각 경계위치를 추출한다. 도 7a, 도 15i, 및 도 15j는, 경계위치B1∼B6을 모식적으로 나타낸다. 그 추출된 화상특징을 기억부(120)에 격납한다.

여기에서, 광범한 화각화상D_L에 대한 특징 추출 순서를 상세하게 설명한다. 먼저, 층의 경계들을 추출하기 위한 추출 순서에 관하여 설명한다. 처리 대상인 3차원 단층상을 2차원 단층상(B스캔 상)의 집합으로서 간주하고, 2차원 단층상마다 이하의 처리를 행한다. 우선, 주목하는 2차원 단층상에 평활화처리를 행하고, 노이즈 성분을 제거한다. 다음에, 2차원 단층상으로부터 엣지 성분을 검출하고, 그 성분들의 연결성에 의거하여 수개의 선분을 층경계의 후보로서 추출한다. 그 추출한 후보로부터, 최상의 선분을 내경계막B1, 위쪽에서 2번째의 선분을 신경섬유층 경계B2, 3번째의 선분을 내망상층 경계B4로서 추출한다. 내경계막B1보다도 외측(도 7a에 있어서, z좌표가 보다 큰 측)에서 콘트라스트가 최대인 선분을 시세포 내절/외절 경계B5로서 추출한다. 층경계 후보군 중 최저의 선분을 망막 색소 상피 경계B6로서 추출한다.

또한, 그 선분들을 초기값으로서 사용하여 Sｎａｋｅｓ나 레벨 세트법 등의 변형 가능한 모델을 적용하고, 보다 정밀한 추출을 행해도 된다. 그래프 커트법에 의하여 층의 경계를 추출해도 된다. 또한, 변형 가능한 모델이나 그래프 커트를 사용한 경계추출은, 3차원 단층상에 대하여 3차원적으로 실행될 수 있거나, 2차원 단층상마다 2차원적으로 실행될 수 있다. 층의 경계를 추출하는 방법으로서는, 안부의 단층상으로부터 층의 경계를 추출 가능한 방법이면, 어떤 방법을 사용하는 것도 가능하다.

<단계S1530>

배율결정부(1321)는 고배율 화상D_Hj의 배율의 종류(배율수, 화각 및 화소 사이즈)를 결정한다. 본 실시예에서는, 배율수와 화소 사이즈에 대해서는, 고정(각각 1, 1[μm]×1[μm]×1[μｍ])되어 있고, 그 상세한 설명은 생략한다. 또한, 화각과 화소 사이즈에는 z축방향의 파라미터도 포함되는 점이 상기 제1 실시예와 다르다. 화각은, 가변 파라미터다. 단계S1520에서 취득된 시세포 내절/외절 경계B5과 망막 색소 상피 경계B6간의 거리가 역치Ｔｒｄ이상인 고배율 화상에서만 화각을 역치Ｔａ[％]만큼 크게 한다. 화각은, 관찰상 중요한 영역이 고시 불일치에 의해 촬상되지 않는 것을 막기 위해서, 크게 된다. 추가로, 망막박리영역 위에 있는 시세포의 외절부분이 고드름처럼 망막 색소 상피 경계B6의 방향으로 신장할 수 있으므로, 그 화각은 시세포 전체를 고배율 화상에서 취득 가능하게 하기 위해서 크게 된다. 위치 결정부(1322)는, 각 고배율 화상D_Hj의 취득 위치와 코히어런스 게이트 위치를 결정한다. 본 실시예에서는, 모두 가변 파라미터다. 각 고배율 화상D_Hj의 취득 위치에 관해서는 이하의 순서에 따라 결정한다:

a) 화상 취득 패턴의 대표 위치의 배치 결정;

b) 화상 취득 패턴의 ｘ-ｙ평면방향의 배치 결정; 및

c) 화상 취득 패턴의 ｚ축방향의 배치 결정.

a)에서는, 화상 취득 패턴의 대표 위치를 화상 취득 패턴의 중심으로 설정한다. 화상 취득 패턴은, 이 중심이 망막 박리 영역상의 중심위치와 일치하도록 배치된다. 또한, 망막 박리 영역이란, 시세포 내절/외절 경계B5과 망막 색소 상피 경계B6간의 거리가 역치Ｔｒｄ이상의 영역을 x-y평면에 투영하여 취득된 영역을 가리킨다.

b)에서는, 화상 취득 패턴의 영역내에 망막 박리 영역이 포함되도록 하기 위해서, 이하의 순서에 따라 각 고배율 화상의 ｘ-ｙ방향의 배치를 결정한다. 보다 구체적으로, 최외주부에 있는 고배율 화상의 중심끼리를 연결하는 원을 구한다. 이 원이 망막 박리 영역의 외접원이 되는 위치까지 확대된다. 원영역내를 소정의 간격으로 채우도록 고배율 화상의 ｘ-ｙ방향의 위치를 결정한다.

c)의 ｚ축방향의 취득 위치는, 단계S1520에서 취득된 시세포 내절/외절 경계B5가 고배율 화상의 중심과 일치하도록 결정된다. 각 고배율 화상D_Hj의 코히어런스 게이트는, 설정 가능한 위치 중에서 단계S1520에서 검출된 시세포 내절/외절 경계B5에 가장 가까운 위치에 설정된다.

도 15i는, 본 실시예에 따른 화상 취득 패턴의 초기 취득 위치를 나타낸다. 도 15j는 본 단계에서 결정된 취득 위치를 나타낸다. 도 15i 및 도 15j는, 취득 패턴을 이해하기 쉽게 하기 위해서, 화상 취득 패턴의 중앙의 2열의 취득 위치만을 나타낸다. 망막 박리 영역상에서 고배율 화상의 화각이 커지는 것이나 고배율 화상들의 중첩은 나타내어 있지 않다. 또한, 가변 파라미터의 종류는 상술한 것들에 한정되지 않고, 임의의 화상 취득 파라미터는 가변 파라미터로서 설정될 수 있다.

<단계S1540>

순서결정부(1324)는, 고배율 화상D_Hj의 취득 순서를 결정한다. 본 실시예에서는, 이하의 i)∼iv) 중, i)이 최내측(최고 우선도), ii)이 2번째 내측, iii)이 3번째 내측, iv)이 최외측(최저 우선도)의 루프가 되도록 설정해서 반복 처리를 행한다. 보다 구체적으로, 취득 시작 위치(본 실시예에서는 화상 취득 패턴의 상단)를 설정하고, 취득 배율을 최저 배율로 설정해서, 이하의 i)∼iv)의 순서를 실행한다.

i) 동일배치 패턴, 동일취득 배율, 및 동일화상 취득 위치의 화상을, 반복 취득 횟수만큼 많이 취득한다;

ii) 동일배치 패턴 및 동일취득 배율의 화상을, 인접한 화상 취득 위치에 이동시키고, 다시 i)와 같은 순서에 따라 화상을 취득한다;

iii) ii)이 종료하면, 취득 배율의 값을 증가시키고, 다시 ii)의 조작을 실행하고, 배율 수만큼 여러번 같은 조작을 반복한다;

iv) iii)이 종료하면, 다른 배치에서 iii)의 조작을 실행하고, 모두의 배치에서 화상을 취득할 때까지 그 조작을 반복한다.

또한, 상기의 예에서는, i)에서 반복 취득(취득 횟수는 1회만)을 행하지 않고, 화상 취득 패턴이 다배치형 패턴이 아니기 때문에, iv)의 처리는 생략된다. ii)에서 인접한 화상 취득 위치에 대해서는 임의의 방향으로 이동할 수 있다. 본 실시예에서는, 가로방향(가로방향으로 취득 위치가 없는 경우에, 그 위치는 비스듬히 아래로 향하여 이동되고, 취득 위치가 비스듬히 아래에 없는 경우에, 그 위치는 바로 아래로 향하여 이동된다)의 인접 위치에 취득 위치를 이동시킨다. 즉, 고배율 화상 취득 위치 중 제1층에서는 오른쪽에서 왼쪽으로, 제2층에서는 왼쪽에서 오른쪽으로, 제3층에서는 오른쪽에서 왼쪽으로,...고배율 화상을 순차적으로 취득한다. 또한, 본 발명의 순서결정법은 상기의 순서에 한정되는 것이 아니고, 임의의 공지의 순서설정법이 사용 가능하다.

<단계S1550>

고배율 화상 취득부(112)는, 상기 결정부(132)에 의해 지정된 화상 취득 파라미터를 사용해서 복수의 고배율 화상D_Hj 및 고시표 위치F_Hj를 취득하도록 단층상 촬상장치(60)에 대하여 요구한다. 단층상 촬상장치(60)는, 이 취득 요구에 따라 고배율 화상D_Hj, 고시표 위치F_Hj를 취득해 송신한다. 고배율 화상 취득부(112)는, 단층상 촬상장치(60)로부터 ＬＡＮ(30)을 거쳐 해당 고배율 화상D_Hj 및 고시표 위치F_Hj를 수신한다. 고배율 화상 취득부(112)는, 수신한 고배율 화상D_Hj 및 고시표 위치F_Hj를 기억부(120)에 격납한다.

또한, 본 실시예에서는, 시세포층 경계에 관한 화상특징을 사용해서 고배율 화상D_Hj의 취득 위치를 결정한다. 그렇지만, 본 발명은 이것에 한정되지 않는다. 예를 들면, 제1 실시예의 경우와 같이, 조작자가 화상 취득 패턴의 위치를 조작(이동, 확대, 또는 축소)시켜, 그 취득 위치를 동시에 조정하여 결정해도 된다.

이상과 같이, 안과장치(10)는, 복수의 고배율의 적응 광학 ＯＣＴ단층화상을 취득할 경우에, 고배율 화상보다도 화각이 넓은 ＯＣＴ단층화상으로부터 추출된 층형상에 관한 화상특징에 의거하여 복수의 고배율 화상 취득에 관한 파라미터 값을 결정한다. 이에 따라 고배율 화상보다 넓은 범위에서 피검안에 따라 분포가 다른 조직, 세포군 혹은 병변후보를 효율적으로 촬상할 수 있다.

<<그 밖의 실시예>>

상기의 실시예들에서는, 얼라인먼트 대상화상을 SLO화상이나 안부 단층상으로서 실현했다. 그렇지만, 본 발명은 이것에 한정되지 않는다. 예를 들면, 광범한 화각화상D_L을 안저카메라 화상으로서 실현하고, 고배율 화상D_H를 적응 광학 안저카메라 화상으로서 실현해도 된다. 그 화상들은, 다른 모달리티의 화상들로서 실현되어도 된다. 예를 들면, 광범한 화각화상D_L을 광범한 화각SLO화상으로서 실현해도 되고, 고배율 화상D_H를 적응 광학 단층상의 투영 상으로서 실현해도 된다. 적응 광학 SLO촬상장치(20)와 단층상 촬상장치(60)로 이루어진 복합기가 안과장치(10)와 직접 접속된 구성을 실현해도 된다.

또한, 본 발명의 실시예들은, 기억매체(예를 들면, 비일시적 컴퓨터 판독 가능한 기억매체)에 레코딩된 컴퓨터 실행가능한 명령어를 판독하고 실행하여 본 발명의 상술한 실시예(들)의 하나 이상의 기능을 수행하는 시스템 또는 장치를 갖는 컴퓨터에 의해 실현되고, 또 예를 들면 상기 기억매체로부터 상기 컴퓨터 실행가능한 명령어를 판독하고 실행하여 상기 실시예(들)의 하나 이상의 기능을 수행하여서 상기 시스템 또는 상기 장치를 갖는 상기 컴퓨터에 의해 행해진 방법에 의해 실현될 수 있다. 상기 컴퓨터는, 중앙처리장치(CPU), 마이크로처리장치(MPU) 또는 기타 회로 중 하나 이상을 구비하여도 되고, 별개의 컴퓨터나 별개의 컴퓨터 프로세서의 네트워크를 구비하여도 된다. 상기 컴퓨터 실행가능한 명령어를, 예를 들면 네트워크나 상기 기억매체로부터 상기 컴퓨터에 제공하여도 된다. 상기 기억매체는, 예를 들면, 하드 디스크, 랜덤 액세스 메모리(RAM), 판독전용 메모리(ROM), 분산형 컴퓨팅 시스템의 스토리지, 광디스크(콤팩트 디스크(CD), 디지털 다기능 디스크(DVD) 또는 블루레이 디스크(BD)^TM등), 플래시 메모리 소자, 메모리 카드 등 중 하나 이상을 구비하여도 된다.

본 발명을 실시예들을 참조하여 기재하였지만, 본 발명은 상기 개시된 실시예들에 한정되지 않는다는 것을 알 것이다.

Claims

하나의 촬상영역에 있어서, 해당 촬상영역의 화각보다도 작은 화각을 가지는 복수의 고배율 화상의 촬상을 제어하는 정보처리장치로서,
상기 고배율 화상을 각각 촬상하는 위치들의 분포를 각각 나타내는 복수의 기본 패턴을, 조작자에 대하여 선택하도록 제시하는 제시부;
상기 복수의 기본 패턴으로부터 선택된 상기 기본 패턴에 관한 상기 복수의 고배율 화상의 촬상조건을, 상기 조작자의 지시에 따라 조정하는 조정부; 및
상기 조정된 촬상조건에 따라, 상기 촬상영역에 있어서 상기 복수의 고배율 화상을 촬상장치에 촬상시키는 제어부를 구비하고,
상기 복수의 기본 패턴은 상기 위치들의 분포에서 서로 다른, 정보처리장치.
제 1 항에 있어서,
상기 조정부는, 상기 선택된 상기 기본 패턴을 대표하는 점의 상기 촬상영역에 있어서의 위치와, 상기 촬상조건이 취할 수 있는 범위를 정하는 상기 조작자에 의해 지정된 제약조건과, 상기 조작자에 의해 지정된 상기 촬상조건의 변경량 중, 적어도 하나에 의거하여 상기 촬상조건을 조정하는, 정보처리장치.
제 1 항에 있어서,
상기 고배율 화상보다도 저배율의 상기 촬상영역의 전체를 나타내는 화상을 해석하고, 해당 화상의 특징을 나타내는 정보를 취득하는 취득부를 더 구비하고,
상기 조정부는, 상기 정보에 근거해 상기 촬상조건을 한층 더 조정하는, 정보처리장치.
제 3 항에 있어서,
상기 취득부는, 상기 촬상영역의 전체를 나타내는 화상에 있어서의 폐쇄 영역 또는 고리형 영역에 포함되는 영역의 특징을 취득하는, 정보처리장치.
제 3 항에 있어서,
촬상된 상기 복수의 고배율 화상을, 상기 촬상영역의 전체를 나타내는 화상에 중첩해서 표시부에 표시시키는 표시 제어부를 더 구비한, 정보처리장치.
제 5 항에 있어서,
상기 표시 제어부는, 상기 취득부가 취득한 혈관과 혈구가 이동한 영역 중 한쪽에 관한 상기 화상의 특징에 근거하여, 상기 촬상된 고배율 화상으로부터 적어도 1개의 혈관화상을 상기 표시부에 표시시키는, 정보처리장치.
제 5 항에 있어서,
상기 표시 제어부는, 상기 촬상된 복수의 고배율 화상을, 피험자로부터 계측된 생체신호가 나타내는 주기적 타이밍에 동기하여, 상기 표시부에 표시시키는, 정보처리장치.
제 1 항에 있어서,
상기 촬상조건은, 상기 촬상영역에 있어서의 상기 고배율 화상을 촬상하는 위치와, 촬상의 순서와, 동일한 위치에서 촬상하는 화상수와, 상기 고배율 화상의 화각과, 상기 고배율 화상의 화소 사이즈와, 촬상의 프레임수와, 프레임 레이트와, 합초위치 중, 적어도 하나를 포함하는, 정보처리장치.
제 1 항에 있어서,
상기 고배율 화상의 프레임으로부터, 휘도이상의 정도와, 왜곡의 크기와, 신호에 대한 잡음의 레벨과, 기준 프레임에 대한 변위량 중 적어도 1개가 소정값 이상의 값을 나타내는 프레임을 예외 프레임으로서 판정하는 판정부를 더 구비하고, 상기 복수의 고배율 화상의 재취득의 필요성은 상기 판정 결과에 근거하여 결정되는, 정보처리장치.
제 1 항에 있어서,
상기 제어부는, 상기 고배율 화상으로서, 상기 촬상영역에 있어서의 단층상을 상기 촬상장치에 촬상시키는, 정보처리장치.
하나의 촬상영역에 있어서, 해당 촬상영역의 화각보다도 작은 화각을 가지는 복수의 고배율 화상의 촬상을 제어하는 정보처리장치로서,
상기 고배율 화상보다도 저배율의 상기 촬상영역의 전체를 나타내는 화상을 해석하고, 해당 화상의 특징을 나타내는 정보를 취득하는 취득부;
상기 정보에 의거하여 상기 복수의 고배율 화상을 각각 촬상하는 위치들의 분포가 나타나는 기본 패턴에 미리 관련된 상기 복수의 고배율 화상의 촬상조건을 조정하는 조정부; 및
상기 조정된 촬상조건에 따라, 상기 촬상영역에 있어서 상기 복수의 고배율 화상을 촬상장치에 촬상시키는 제어부를 구비한, 정보처리장치.
제 11 항에 있어서,
상기 취득부는, 상기 촬상영역의 전체를 나타내는 화상에 있어서의 폐쇄 영역 또는 고리형 영역에 포함되는 영역의 특징을 취득하는, 정보처리장치.
제 11 항에 있어서,
촬상된 상기 복수의 고배율 화상을, 상기 촬상영역의 전체를 나타내는 화상에 중첩해서 표시부에 표시시키는 표시 제어부를 더 구비한, 정보처리장치.
제 13 항에 있어서,
상기 표시 제어부는, 상기 취득부가 취득한 혈관과 혈구가 이동한 영역 중 한쪽에 관한 화상의 특징에 근거하여, 상기 촬상된 고배율 화상으로부터 적어도 1개의 혈관화상을 상기 표시부에 표시시키는, 정보처리장치.
제 13 항에 있어서,
상기 표시 제어부는, 상기 촬상된 복수의 고배율 화상을, 피험자로부터 계측된 생체신호가 나타내는 주기적 타이밍에 동기하여, 상기 표시부에 표시시키는, 정보처리장치.
제 11 항에 있어서,
상기 촬상조건은, 상기 촬상영역에 있어서의 상기 고배율 화상을 촬상하는 위치와, 촬상의 순서와, 동일한 위치에서 촬상하는 화상수와, 상기 고배율 화상의 화각과, 상기 고배율 화상의 화소 사이즈와, 촬상의 프레임수와, 프레임 레이트와, 합초위치 중, 적어도 하나를 포함하는, 정보처리장치.
제 11 항에 있어서,
상기 고배율 화상의 프레임으로부터, 휘도이상의 정도와, 왜곡의 크기와, 신호에 대한 잡음의 레벨과, 기준 프레임에 대한 변위량 중 적어도 1개가 소정값 이상의 값을 나타내는 프레임을 예외 프레임으로서 판정하는 판정부를 더 구비하고, 상기 복수의 고배율 화상의 재취득의 필요성은 상기 판정 결과에 근거하여 결정되는, 정보처리장치.
제 11 항에 있어서,
상기 제어부는, 상기 고배율 화상으로서, 상기 촬상영역에 있어서의 단층상을 상기 촬상장치에 촬상시키는, 정보처리장치.
주어진 촬상영역에 있어서, 해당 촬상영역의 화각보다도 작은 화각을 가지는 복수의 고배율 화상의 촬상을 제어하는 정보처리장치에 의해 실행되는 정보처리방법으로서,
상기 고배율 화상을 각각 촬상하는 위치들의 분포를 각각 나타내는 복수의 기본 패턴을, 조작자에 대하여 선택하도록 제시하는 단계;
상기 복수의 기본 패턴으로부터 선택된 상기 기본 패턴에 관한 상기 복수의 고배율 화상의 촬상조건을, 상기 조작자의 지시에 따라 조정하는 단계; 및
상기 조정된 촬상조건에 따라, 상기 촬상영역에 있어서 상기 복수의 고배율 화상을 촬상장치에 촬상시키는 단계를 포함하고,
상기 복수의 기본 패턴은 상기 위치들의 분포에서 서로 다른, 정보처리방법.
주어진 촬상영역에 있어서, 해당 촬상영역의 화각보다도 작은 화각을 가지는 복수의 고배율 화상의 촬상을 제어하는 정보처리장치에 의해 실행되는 정보처리방법으로서,
상기 고배율 화상보다도 저배율의 상기 촬상영역의 전체를 나타내는 화상을 해석하고, 해당 화상의 특징을 나타내는 정보를 취득하는 단계;
상기 정보에 의거하여 상기 복수의 고배율 화상을 각각 촬상하는 위치들의 분포가 나타나는 기본 패턴에 미리 관련된 상기 복수의 고배율 화상의 촬상조건을 조정하는 단계; 및
상기 조정된 촬상조건에 따라, 상기 촬상영역에 있어서 상기 복수의 고배율 화상을 촬상장치에 촬상시키는 단계를 포함한, 정보처리방법.
컴퓨터를 청구항 1에 기재된 정보처리장치의 각 부로서 기능시키기 위한 컴퓨터 프로그램을 격납하는 비일시적 컴퓨터 판독 가능한 기억매체.