KR102199152B1

KR102199152B1 - 척주배열 추정장치, 척주배열 추정방법 및 척주배열 추정프로그램

Info

Publication number: KR102199152B1
Application number: KR1020187024830A
Authority: KR
Inventors: 모리오 마츠모토; 고타 와타나베; 요시미츠 아오키; 란 최
Original assignee: 각고호우징 게이오기주크
Priority date: 2016-02-15
Filing date: 2017-02-15
Publication date: 2021-01-06
Also published as: JPWO2017141958A1; JP6280676B2; EP3417776A4; CN108697375A; US11331039B2; KR20180105703A; WO2017141958A1; CN108697375B; US20200069243A1; EP3417776A1

Abstract

인체표면의 입체형상을 나타내는 화상으로부터 인체 내부에 존재하는 척주배열의 코브각 및 회선각의 적어도 한쪽을 추정할 수 있어, 의사에 의한 척주측만증의 진단이나, 판정원에 의한 척주의 확인 등을 용이하게 함과 동시에, 불필요한 X선 검사에 의한 의료피폭을 경감할 수 있는 척주배열 추정장치를 제공한다. 인체표면의 입체형상을 나타내는 화상을 취득하는 화상취득부(11)와, 축적된 데이터를 사용하여 인체의 척주배열을 추정하는 척주배열 추정부(12)와, 추정된 척주배열로부터 코브각 및 회선각의 적어도 한쪽을 산출하는 각도산출부(13)를 구비한다.

Description

척주배열 추정장치, 척주배열 추정방법 및 척주배열 추정프로그램

본 발명은, 척주(脊柱)배열 추정장치, 척주배열 추정방법 및 척주배열 추정프로그램에 관한 것이다.

척주측만증이라 함은, 통상은 정면에서 보면 직선적으로 배열되는 배골(背骨)(척주)가 측방이나 전후방향으로 왜곡되어 버리는 질환이다. 일본에서는, 학교보건안전법에 의해, 취학시 및 정기검진에 있어서, 척주 및 흉곽의 질병 및 이상의 유무 확인이 의무화되어 있다. 제1차검진은 자치체를 중심으로 각 학교에서 행해지고, 제1차검진의 결과, 측만증의 의심이 있는 경우에는 제2차검진으로 나아가, X선촬영을 실시하여 측만증의 진단을 확정한다.

제1차검진에서는, 측만 유무의 판정을 위해 무아레(moire) 검사를 이용하고 있는 자치체가 많다. 무아레검사에서는, 무아레무늬 측정장치를 사용하여 아동들의 배부(背部)를 촬상(撮像)하고, 얻어진 무아레 화상에 비춰지는 무아레무늬 수의 차이 등에 의해 배부의 좌우 고저차를 평가하여 측만의 유무를 판정하고 있다(비특허문헌 1 및 2 참조).

그러나 무아레 화상으로부터 측만의 유무를 판정하기 위한 전국적인 통일된 기준은 없고, 무아레검사는 각 자치체가 독자적으로 시행하고 있어, 측만의 유무 판정에는 편차가 생긴다. 예를 들면, 무아레검사의 감도는 일반적으로는 100 %, 특이도는 86 %로 보고되어 있는데(Karachalios、 Spine 1999)(Karachalios、 Spine 1999), 평성 21년도(2009년도)의 도쿄토 예방의학협회가 실시한 2차검진에서는, 제1차검진에 의한 측만증의 의심으로 2차검진의 X선촬영을 실시한 32 %의 초등학생은 측만증이 부정되고 있으며, 이와 같은 케이스에서의 X선촬영에 의한 의료피폭을 경감하는 것이 요구된다.

[비특허문헌 1] Willner S."무아레 토포그라피: 측만증의 학교검진방법(Moire´ topography: a method for school screening of scoliosis)" 정형 및 외상수술의 기록(Arch Orthop Trauma Surg), 1979년, 제95권 181~185페이지. [비특허문헌 2] : Daruwalla JS, Balasubramanian P, "측만증의 무아레 토포그라피: 커브의 위치 및 사이즈 검출에 있어서의 그 정밀도(Moire´ topography in scoliosis: its accuracy in detecting the site and size of the curve)", The Journal of Bone and Joint Surgery (J Bone Joint Surg (Br)), 1985년, 제67권; 211-213페이지

본 발명은, 인체표면의 입체형상을 나타내는 화상으로부터 인체 내부에 존재하는 척주요소의 배열을 추정할 수 있어, 의사에 의한 척주측만증의 진단이나, 판정원에 의한 척주의 확인 등을 용이하게 함과 동시에, 불필요한 X선 검사에 의한 의료피폭을 경감할 수 있는 척주배열 추정장치, 척주배열 추정방법 및 척주배열 추정프로그램을 제공하는 것을 목적으로 한다.

본 발명의 일 태양은, (a) 인체표면의 입체형상을 나타내는 화상을 취득하는 화상취득부와, (b) 축적된 데이터를 사용하여, 취득된 화상으로부터 척주배열을 추정하는 척주배열 추정부와, (c) 추정된 척주배열에 근거하여, 척주배열의 코브각(Cobb angle) 및 회선각(回旋角)의 적어도 한쪽을 산출하는 각도산출부를 구비하는 척주배열 추정장치인 것을 요지로 한다.

본 발명의 다른 태양은, (a) 인체표면의 입체형상을 나타내는 화상을 취득하는 스텝과, (b) 축적된 데이터를 사용하여 취득된 화상으로부터 척주배열을 추정하는 스텝과, (c) 추정된 척주배열에 근거하여 척주배열의 코브각 및 회선각의 적어도 한쪽을 산출하는 스텝을 포함하는 척주배열 추정방법인 것을 요지로 한다.

본 발명의 또 다른 태양은, (a) 화상취득부에, 인체표면의 입체형상을 니티내는 화상을 취득시키는 수단과, (b) 축적된 데이터를 사용하여, 취득된 화상으로부터 척주배열을 추정시키는 절차와, (c) 척주배열 추정부에, 추정된 척주배열에 근거하여 척주배열의 코브각 및 회선각의 적어도 한쪽을 산출시키는 절차를 컴퓨터에 실행시키는 척주배열 추정프로그램인 것을 요지로 한다.

본 발명에 있어서 “축적된 데이터”라 함은, 임상의 장에 있어서 취득되는 임상화상데이터로부터 기계학습된 학습데이터이다. 임상화상데이터로서는, 예를 들면 X선 화상데이터나 CT 화상데이터 등을 들 수 있으나, 이것에 한정하지 않는다. 기계학습으로서는, 예를 들면 심층학습(딥 러닝(deep learning)) 등을 들 수 있으나, 이것에 한정하지 않는다.

본 발명에 따르면, 인체표면의 입체형상을 나타내는 화상으로부터 인체 내부에 존재하는 척주요소의 배열을 추정할 수 있어, 의사에 의한 척주측만증의 진단이나, 판정원에 의한 척주의 확인 등을 용이하게 하는 동시에, 불필요한 X선 검사에 의한 의료피폭을 경감할 수 있는 척주배열 추정장치, 척주배열 추정방법 및 척주배열 추정프로그램을 제공할 수 있다.

도 1은 본 발명의 제1의 실시형태에 관계되는 척주배열 추정장치의 일례를 나타내는 개략도이다.
도 2는 척주측만증을 설명하기 위한 척주요소의 배열의 일례를 나타내는 개략도이다.
도 3은 본 발명의 제1의 실시형태에 관계되는 촬상장치의 일례를 나타내는 개략도이다.
도 4는 본 발명의 제1의 실시형태에 관계되는 기계학습용의 무아레 화상의 일례를 나타내는 개략도이다.
도 5는 본 발명의 제1의 실시형태에 관계되는 기계학습방법의 일례를 설명하기 위한 플로차트이다.
도 6은 본 발명의 제1의 실시형태에 관계되는 기계학습용의 X선 화상의 일례를 나타내는 개략도이다.
도 7은 본 발명의 제1의 실시형태에 관계되는 X선 화상의 척주의 일례를 나타내는 개략도이다.
도 8은 본 발명의 제1의 실시형태에 관계되는 X선 화상의 라벨부착의 일례를 나타내는 개략도이다.
도 9는 본 발명의 제1의 실시형태에 관계되는 무아레 화상과 X선 화상의 위치맞춤의 일례를 나타내는 개략도이다.
도 10은 본 발명의 제1의 실시형태에 관계되는 기계학습방법의 일례를 나타내는 개략도이다.
도 11은 본 발명의 제1의 실시형태에 관계되는 미지의 무아레 화상의 일례를 나타내는 개략도이다.
도 12는 본 발명의 제1의 실시형태에 관계되는 척주배열의 추정결과를 포함하는 무아레 화상의 일례를 나타내는 개략도이다.
도 13은 본 발명의 제1의 실시형태에 관계되는 코브각 산출방법의 일례를 설명하기 위한 개략도이다.
도 14는 본 발명의 제1의 실시형태에 관계되는 척주배열의 추정결과 및 코브각의 산출결과를 포함하는 무아레 화상의 일례를 나타내는 개략도이다.
도 15는 본 발명의 제1의 실시형태에 관계되는 척주배열 추정방법의 일례를 설명하기 위한 플로차트이다.
도 16(a) 및 도 16(b)는 서로 다른 방향에서 본 본 발명의 제2의 실시형태에 관계되는 기계학습용의 3D 화상의 일례를 각각 나타내는 개략도이다.
도 17은 본 발명의 제2의 실시형태에 관계되는 기계학습방법의 일례를 설명하기 위한 플로차트이다.
도 18(a)~도 18(c)는, 서로 다른 방향에서 본 본 발명의 제2의 실시형태에 관계되는 기계학습용의 CT 화상의 일례를 각각 나타내는 개략도이다.
도 19(a) 및 도 19(b)는 서로 다른 방향에서 본 본 발명의 제2의 실시형태에 관계되는 미지의 3D 화상의 일례를 각각 나타내는 개략도이다.
도 20(a) 및 도 20(b)는 서로 다른 방향에서 본 본 발명의 제2의 실시형태에 관계되는 척주배열의 추정결과를 포함하는 3D 화상의 일례를 각각 나타내는 개략도이다.
도 21은 본 발명의 제2의 실시형태에 관계되는 척주배열 추정방법의 일례를 설명하기 위한 플로차트이다.
도 22(a)는 본 발명의 제2의 실시형태의 변형예에 관계되는 추체(椎體)의 일례를 나타내는 상면도이고, 도 22(b)는 도 22(a)를 90°다른 방향에서 본 추체의 일례를 나타내는 측면도이다.
도 23은 본 발명의 제2의 실시형태의 변형예에 관계되는 추체의 회선각의 산출방법의 일례를 나타내는 개략도이다.

다음으로, 도면을 참조하여 본 발명의 제1 및 제2의 실시형태를 설명한다. 아래의 도면의 기재에 있어서, 동일 또는 유사한 부분에는 동일 또는 유사한 부호를 첩부(貼付)하고 있다. 단, 도면은 모식적인 것이며, 두께와 평면치수와의 관계, 두께의 비율 등은 현실의 것과는 다름에 유의해야 한다. 그리고 도면 상호간에 있어서도 서로의 치수의 관계나 비율이 다른 부분이 포함되어 있음은 물론이다.

그리고 아래에 나타내는 제1 및 제2의 실시형태는, 본 발명의 기술적 사상을 구체화하기 위한 장치나 방법을 예시하는 것으로서, 본 발명의 기술적 사상은, 구성부품의 재질, 형상, 구조, 배치 등을 하기의 것에 특정하는 것은 아니다. 본 발명의 기술적 사상은, 특허청구범위에 기재된 청구항이 규정하는 기술적 범위 내에서 여러 가지 변경을 가할 수 있다.

(제1의 실시형태)

<척주배열 추정장치>

본 발명의 제1의 실시형태에 관계되는 척주배열 추정장치는, 도 1에 나타내는 바와 같이 화상처리장치(10), 촬상장치(3) 및 출력장치(4)를 구비한다. 화상처리장치(10)는, 중앙연산처리장치(CPU, 1) 및 기억장치(2)를 구비하는 컴퓨터 혹은 컴퓨터에 등가인 프로세서 혹은 FPGA 등의 프로그래머블 로직 디바이스(PLD)나 집적회로 등으로 구성할 수 있다.

본 발명은 제1의 실시형태에 관계되는 척주배열 추정장치에 의해 추정되는 척주요소의 배열은, 척주의 측만 유무의 판정이나 척주측만증의 진단 등에 유효하다. 인간의 척주(배골(背骨))은, 일반적로는 두부(頭部)측에서 순서대로 7 개의 경추(頸椎), 12 개의 흉추(胸椎), 5 개의 요추(腰椎)가 척주요소로서 구성되어 있다. 척주는 인간의 정면 또는 배면에 대하여 정상인(健常者)의 경우에는 대략 직선이 되지만, 척주측만증자의 경우에는, 도 2에 나타내는 바와 같이, 뒤틀림을 수반하여 측방으로 구부러지는 증상이 현저하게 나타난다. 도 2에서는, 척주중의 12 개의 흉추 B1~B12와, 5 개의 요추 B13~B17를 예시하고 있다. 이하에서, 본 명세서에서는 척주를 구성하고 있는 요소인 “경추”, “흉추”, “요추”를 총칭해서 “척주요소”라고 부른다. 또한, 총칭으로서의 “척주요소”의 정의에, 요추보다 하측의 “선추(仙椎)”, “미추(尾椎)”를 더 포함하여도 무방하다.

도 1에 나타낸 촬상장치(3)는, 인체표면의 입체형상을 나타내는 화상을 촬상가능한 장치이다. 본 발명의 제1의 실시형태에 있어서는, 촬상장치(3)가, 인체의 배부(背部)의 입체형상을 나타내는 무아레무늬를 포함하는 무아레하상을 촬상하는 무아레 촬상장치(무아레무늬 측정장치)인 경우를 설명한다. 촬상장치(3)로서의 무아레촬상장치는, 예를 들면 도 3에 나타내는 바와 같이, 인체(100)의 배부에 패턴을 투광하는 투광부(31)와, 인체(100)의 배부를 촬영하는 카메라(32)를 구비한다. 또한, 촬상장치(3)로서는, 예를 들면 3차원(3D) 스캐너나 CCD카메라 등도 사용가능하며, 무아레 화상 혹은 무아레 화상에 등가인 2차원(2D)화상을 촬상 가능한 장치라면 특히 한정되지 않는다.

촬상장치(3)는, 예를 들면 도 4에 나타내는 무아레 화상(101)을 촬상한다. 무아레 화상(101)에는, 인체의 배부의 입체적 형상을 나타내는 무아레무늬가 비춰지고 있다. 척주측만증자의 경우에는, 인체의 배부의 고저차가 좌우로 커지고, 좌우로 무아레무늬의 개수나 형상이 달라진다.

CPU1은, 화상취득부(11), 척주배열 추정부(12), 각도산출부(13) 및 화상출력 제어부(14)를 하드웨어자원인 논리회로(모듈)로서 구비한다. 이 중, 척주배열 추정부(12)는, 심층학습(딥 러닝) 등의 기계학습을 실행하는 인공지능을 구성하는 논리회로(모듈)이고, 화상취득부(11)에 의해 취득되는 무아레 화상으로부터 자동적·직접적으로 척주배열(척주형상)을 추정하는 연산처리를 실행한다.

척주배열 추정부(12)를 구성하는 인공지능(하드웨어자원)으로서는, 예를 들면 합성곱 뉴럴 네트워크(CNN; Convolutional Neural Network) 등의 계층형의 뉴럴 네트워크나 서포트 벡터 머신(SVM; support vector machine) 등의 컴퓨터 소프트웨어 프로그램을 실행하는 하드웨어자원이 사용가능하다.

기억장치(2)로서는, 예를 들면 반도체 메모리나 자기디스크, 광디스크 등이 사용가능하다. 기억장치(2)는, 도 1에 나타내는 바와 같이, 척주배열 추정부(12)가 기계학습하기 위한 과거의 X선 화상을 다수 기억하는 X선 화상기억부(21), 척주배열 추정부(12)가 기계학습하기 위한 과거의 무아레 화상을 다수 기억하는 학습용 화상기억부(22), 척주배열 추정부(12)의 기계학습에 의해 수정된 무게 파라미터(weight parameter) 등의 학습 데이터를 기억하는 학습데이터 기억부(23), 척주배열 추정부(12)에 의한 척주요소의 추정결과 등의 추정데이터를 기억하는 추정데이터 기억부(24) 등을 가진다.

기억장치(2)는 또한, CPU1이 실행하는 척주배열 추정프로그램이나 척주배열 추정프로그램의 실행에 필요한 각종 데이터를 기억하는 CPU1 내의 레지스터, 혹은 CPU1 내이거나 CPU1에 인접한 캐시 메모리, 또는 그 밖의 가상기억장치 등을 포함하여도 무방하다. 도 1은 논리적인 표현으로서 레지스터나 캐시 메모리를 포함하는 하드웨어자원으로서, 모식적으로 기억장치(2)를 표현하고 있는 것으로서, 물리적 구성과는 반드시 일치하지 않는다.

출력장치(4)로서는, 예를 들면 퍼스널 컴퓨터(PC)나 태블릿 단말 등의 액정디스플레이(LCD) 등의 디스플레이나, 프린터, 프로젝터, 스피커 등이 사용 가능하다.

<학습단계>

여기서, 도 5의 플로차트를 참조하면서, 본 발명의 제1의 실시형태에 관계되는 척주배열 추정부(12)의 기계학습방법을 포함하는 “학습단계”의 일례를 설명한다. 여기서는, 척주배열 추정부(12)가 CNN에 의해 구성되어 있는 경우를 예시한다.

스텝 S11에 있어서, 척주배열 추정부(12)의 기계학습의 사전 준비로서, 과거에 동일 인물에 대해 촬상한 무아레 화상 및 X선 화상의 데이터 세트를 다수(예를 들면 수천 세트) 준비한다. 또한, 데이터 세트로서는, 현실적으로는 동일 인물에 대해 촬상한 무아레 화상 및 X선 화상이 호적(好適)하지만, 이것에 한정되지 않는다. 예를 들면, 체형이 유사한 다른 인물에 대해 각각 촬상한 무아레 화상 및 X선 화상을 데이터 세트로서 채용하는 것도 가능하다. 다수의 무아레 화상 및 X선 화상의 각각은, 기억장치(2)의 학습용 화상기억부(22) 및 X선 화상기억부(21)에 격납된다.

예를 들면, 도 4에 1 장(1 세트)을 예시적으로 나타내는 바와 같이 무아레 화상(101)의 다수의 세트를 학습용 화상기억부(22)에 격납하고, 도 6에 1 장(1 세트)을 예시적으로 나타내는 것과 같은 X선 화상(102)의 다수의 세트를 X선 화상기억부(21)에 격납한다. 도 6에 나타내는 바와 같이, 1 장(1 세트)의 X선 화상(102)은, 입위(立位)의 인물의 배부측에서 본 입위 X선 정면화상이다. X선 화상(102)에는, 척주요소중의 12 개의 흉추 B1~B12와, 5 개의 요추 B13~B17이 비춰지고 있다.

다음으로, 도 5의 스텝 S12에 있어서, 기계학습에 사용하는 정해 데이터의 라벨부착을 행한다. 척주배열 추정부(12)는, X선 화상기억부(21)로부터 1 장(1 세트)의 X선 화상(102)을 추출해서 판독하여, X선 화상(102) 상의 흉추 B1~B12 및 요추 B13~B17의 해부학적인 특징점(랜드마크)을 추출한다.

예를 들면, 척주배열 추정부(12)는, X선 화상(102)에 대해 엣지추출을 행하여 2치화(値化)한다. 척주배열 추정부(12)는 또한, 도 7에 나타내는 바와 같이, X선 화상(102)에 비춰지는 흉추 B1을 직사각형에 근사하게 하고, 직사각형에 근사한 흉추 B1의 4 각에 대응하는 4 점 F1~F4를 해부학적인 특징점(랜드마크)으로서 추출하고, 4 점 F1~F4의 X선 화상(102) 상의 좌표를 산출한다. 산출된 4 점 F1~F4의 X선 화상(102) 상의 좌표는, 학습데이터 기억부(23)에 격납된다. 다른 다수의 세트에 대해서도 마찬가지로 X선 화상기억부(21)로부터 X선 화상을 판독하여, 각각의 해부학적인 특징점(랜드마크)으로서의 좌표를 학습데이터 기억부(23)에 격납한다.

척주배열 추정부(12)는 또한, 특정한 세트의 4 점 F1~F4의 X선 화상(102) 상의 좌표를 학습데이터 기억부(23)로부터 판독하여, 직사각형에 근사한 흉추 B1의 중심 C1을 해부학적인 특징점(랜드마크)으로서 추출하고, 중심 C1의 X선 화상(102) 상의 좌표 (X_r1, Y_r1)를 산출한다. 산출된 중심 C1의 X선 화상(102) 상의 좌표 (X_r1, Y_r1)는, 학습데이터 기억부(23)에 격납된다.

또한, 본 발명의 제1의 실시형태에 있어서는, 척주배열 추정부(12)가 흉추 B1을 직사각형에 근사하게 하고, 직사각형 근사한 흉추 B1의 중심 C1을 해부학적인 특징점으로서 추출하고 있지만, 이것에 한정되지 않으며, 다른 해부학적인 특징점을 추출하여도 좋다.

척주배열 추정부(12)는, 도 8에 나타내는 바와 같이, 다른 흉추 B2~B12, 요추 B13~B17에 대해서도 마찬가지로 중심 C2~C17을 추출해서, 중심 C2~C17의 X선 화상(102) 상의 좌표 (X_ri, Y_ri)(i＝2~17)를 산출한다. 산출된 중심 C2~C17의 X선 화상(102) 상의 좌표 (X_ri, Y_ri)(i＝2~17)는, 학습데이터 기억부(23)에 격납된다.

척주배열 추정부(12)는 또한, 도 8에 나타내는 바와 같이, 흉추 B1~B12 및 요추 B13~B17의 중심 C1~C17의 좌표 (X_ri, Y_ri)(i＝1~17)를 사용하여, 흉추 B1~B12 및 요추 B13~B17의 중심 C1~C17을 연속시키는 곡선 L1을 산출한다. 곡선 L1으로서는, 예를 들면 B 스플라인 곡선(B-spline curve) 등이 채용가능하다. 산출된 곡선 L1은, 학습데이터 기억부(23)에 격납된다. 상술한 스텝 S12의 처리는, X선 화상기억부(21)에 기억되어 있는 다수의 X선 화상의 각각에 대하여 행해지고, 각각의 세트에 대하여 산출된 곡선 L1은 각각 학습데이터 기억부(23)에 격납된다.

다음으로, 도 5의 스텝 13에 있어서, 척주배열 추정부(12)는, 학습용 화상기억부(22) 및 X선 화상기억부(21)로부터 데이터 세트인, 예를 들면 동일 인물에 대한 무아레 화상과 X선 화상을 각각 판독하여, 무아레 화상과 X선 화상을 위치맞춤한다. 동일 인물에 대한 무아레 화상과 X선 화상은, 동시에 같은 자세로 촬상되어 있으면 이 스텝 S12의 위치맞춤의 스텝은 불필요하지만, 일반적으로는 무아레 화상과 X선 화상은 다른 타이밍에서 촬상되고, 자세에도 어긋남이 생기는 경우가 많다.

그래서, 척주배열 추정부(12)는, 예를 들면 도 8에 나타내는 바와 같이, X선 화상기억부(21)로부터 판독한 X선 화상(102)에 비춰지는 인체의 목밑의 2 점 N1, N2를 위치맞춤용의 마크로서 추출하여, 2 점 N1, N2의 X선 화상(102) 상의 좌표를 학습데이터 기억부(23)에 격납한다. 척주배열 추정부(12)는 또한, 도 9에 나타내는 바와 같이, 학습용 화상기억부(22)로부터 판독한 무아레 화상(101)에 대해서도, 인체의 목밑의 2 점 N3, N4를 위치맞춤용의 마크로서 추출하여, 2 점 N3, N4의 무아레 화상(101) 상의 좌표를 학습데이터 기억부(23)에 격납한다.

척주배열 추정부(12)는 또한, 학습데이터 기억부(23)로부터 판독한 무아레 화상(102)의 목밑의 2 점 N1, N2와, X선 화상(102)의 목밑의 2 점 N3, N4를 일치시키도록, 무아레 화상(101) 및 X선 화상(102)의 크기를 맞춰서 회전 및 평행이동 등을 한다.

그 결과, 도 9에 나타내는 바와 같이, 무아레 화상(101)과 X선 화상(102)이 위치맞춤되고, 무아레 화상(101)의 좌표계와 X선 화상(102)의 좌표계가 대응된다. 도 9에서는, 무아레 화상(101)에, 도 8에 나타낸 X선 화상(102) 상의 흉추 B1~B12 및 요추 B13~B17의 중심 C1~C17에 대응하는 곡선 L1이 중첩된 모습을 예시하고 있다. 또한, 위치맞춤용의 마크로서는, 목밑의 2 점에 한정되지 않고, 무아레 화상(101)과 X선 화상(102)을 위치맞춤 가능한, 해부학적인 특징점을 채용가능하다.

도 9에 있어서, 척주배열 추정부(12)는 또한, 흉추 B1~B12 및 요추 B13~B17의 중심 C1~C17의 무아레 화상(101) 상의 좌표 (X_mi, Y_mi)(i=1~17)를 정해데이터로서 산출한다. 산출된 중심 C1~C17의 무아레 화상(101) 상의 좌표 (X_mi, Y_mi)(i=1~17)의 정해데이터는 학습데이터 기억부(23)에 격납된다. 상술한 스텝 S13의 처리는, X선 화상기억부(21)에 기억되어 있는 다수의 X선 화상 및 학습용 화상기억부(22)에 기억되어 있는 다수의 무아레 화상의 각각의 데이터 세트에 대하여 행해지고, 각각의 데이터 세트에 대하여 산출된 정해데이터가 학습데이터 기억부(23)에 격납된다.

다음으로, 도 5의 스텝 S14에 있어서, 척주배열 추정부(12)는, 무아레 화상(101)을 학습용 화상기억부(22)로부터 판독하였을 때에, 척주요소의 배열정보가 출력되도록 기계학습을 행한다. 여기서는, 척주배열 추정부(12)의 알고리즘을 구성하는 CNN의 무게를 조정하는 경우를 설명한다.

먼저, 척주배열 추정부(12)는, 도 10에 나타내는 바와 같이, 예를 들면 학습용 화상기억부(22)로부터 판독한 640×440 화소의 무아레 화상(101)의 일부를 잘라내고, 무아레 화상(101a)으로 한다. 척주배열 추정부(12)는 또한, 무아레 화상(101a)을 220×220 화소로 리사이즈(resize) 하고, 이 리사이즈한 무아레 화상(101b)의 데이터를 CNN의 컴퓨터 소프트웨어 프로그램으로의 입력데이터로 한다. 리사이즈된 무아레 화상(101b)의 데이터는, 엣지추출 등은 행하지 않고, 그레이 스케일의 256 계조(階調)로 척주배열 추정부(12)에서 실행되는 CNN의 프로그램에 입력된다.

CPU1의 척주배열 추정부(12)에서 실행되는 CNN에서는, 무아레 화상(101b)이 입력되면, 척주요소의 배열정보가 출력되도록 네트워크의 알고리즘이 구성되어 있다. 도 10에 나타내는 바와 같이, 척주배열 추정부(12)에서 실행되는 CNN은, 학습 가능한 무게 파라미터를 가지고, 화상상의 각 위치마다 특징추출(필터처리)을 하는, 예를 들면 5 층의 합성곱층(convolution layers) CL1~CL5와, 전체 유닛을 결합하여 식별을 하는, 예를 들면 3 층의 전결합층(全結合層) FCL1~FCL3을 구비하여 계층형의 네트워크를 구성하고 있다. 합성곱층 CL1~CL5 및 전결합층 FCL1~FCL3의 데이터는 연속해서 학습데이터 기억부(23)에 격납된다.

또한, 척주배열 추정부(12)에서 실행되는 CNN은, 도시를 생략하지만, 자유 파라미터를 가지고, 국소적인 평행이동에 대해 불변인 출력을 하는 플링층(pooling layer)(부분 샘플링층) 및 출력을 국소적으로 규격화하는 국소반응정규화층을 더 갖고 있어도 좋다. 국소반응정규화층에서는 예를 들면, 근방의 값을 주사(走査)해서 자승화(自乘和)하고, 그 값을 선형 변환한 값으로 규격화하는 등의 처리를 실행한다.

도 10에 나타내는 합성곱층 CL1의 필터 사이즈는 11×11이고, 합성곱 CL2의 필터 사이즈는 5×5이고, 합성곱층 CL3~CL5의 필터 사이즈는 3×3이며, 단계적으로 스케일을 바꾸면서, 국소적인 상관 패턴을 추출한다. 합성곱층 CL1, CL2는, 55×55×48 차원, 27×27×128 차원의 데이터를 각각 출력한다. 합성곱층 CL3~CL5는 13×13×192 차원의 데이터를 각각 출력한다. 전결합층 FLC1~FCL3은 전층(前層)의 유닛에 결합무게가 모두 결합되고, 전결합층 FCL1, FLC2는, 4096 차원의 데이터를 각각 출력한다. 최후의 전결합층 FCL3이 출력층이 된다.

척주배열 추정부(12)에서 실행되는 CNN은, 도 1의 최후단에 위치하는 전결합층 FCL3으로부터 17 개의 흉추 B1~B12 및 요추 B13~B17의 중심 C1~C17의 무아레 화상(101c) 상의 좌표 (X_pi, Y_pi)(i=1~17)를 추정데이터로서 산출한다. 산출된 흉추 B1~B12 및 요추 B13~B17의 중심 C1~C17의 무아레 화상(101c) 상의 좌표 (X_pi, Y_pi)(i=1~17)은, 학습데이터 기억부(23)에 격납된다.

척주배열 추정부(12)는, 추정데이터인 흉추 B1~B12 및 요추 B13~B17의 중심 C1~C17의 무아레 화상(101c) 상의 좌표 (X_pi, Y_pi)(i=1~17)과, 정해데이터인 흉추 B1~B12 및 요추 B13~B17의 중심 C1~C17의 무아레 화상(101) 상의 좌표 (X_mi, Y_mi)(i=1~17)를 학습데이터 기억부(23)로부터 판독하여, 흉추 B1~B12 및 요추 B13~B17의 중심 C1~C17마다, 추정데이터와 정해데이터와의 오차 (X_pi-X_mi, Y_pi-Y_mi)(i=1~17)를 산출한다.

척주배열 추정부(12)는, 추정데이터와 정해데이터와의 오차 (X_pi-X_mi, Y_pi-Y_mi)(i=1~17)에 대하여, 오차역전파법(誤差逆傳播法)(BP)을 사용하여, 오차 (X_pi-X_mi, Y_pi-Y_mi)(i=1~17)를 작게 하도록 척주배열 추정부(12)에서 실행되는 CNN의 합성곱층 CL1~CL5 및 전결합층 FCL1~FCL3의 무게 파라미터를 수정한다. 오차역반파법에서는 출력층인 전결합층 FCL3으로부터 입력층인 합성곱층 CL1에 걸쳐서, 오차의 구배를 역전파시킴으로써 무게를 수정한다. 이 무게를 수정하는 오차역전파법의 학습 알고리즘에서는, 구배강하 최적화법 등이 사용 가능하다.

척주배열 추정부(12)는, 학습용 화상기억부(22) 및 X선 화상기억부(21)에 격납된 다수의 무아레 화상과 X선 화상의 데이터 세트를 사용하여 상술한 오차역전파법의 처리를 반복해서 무게를 수정해감으로써 학습한다. 그 결과, 척주배열 추정부(12)는, 미지의 무아레 화상을 학습용 화상기억부(22)로부터 판독하였을 때에, 척주요소의 배열정보를 출력하는 CNN의 알고리즘을 학습데이터(축적된 데이터)로서 획득할 수 있다.

<추정 단계>

다음으로, 본 발명의 제1의 실시형태에 관계되는 척주배열 추정장치가, 미지의 무아레 화상으로부터 척주배열을 추정하는 추정단계를 실행할 때의, 본 발명의 제1의 실시형태에 관계되는 척주배열 추정장치의 구성 및 기능을 설명한다.

도 1에 나타낸 CPU1의 화상취득부(11)는, 촬상장치(3)에 의해 촬상된 도 12에 나타내는 바와 같은 미지의 무아레 화상(103)을 취득한다. 취득된 미지의 무아레 화상(103)은 학습용 화상기억부(22)에 격납된다. 무아레 화상(103)은, 예를 들면 도 10에 나타낸 바와 같이, 640×640 화소, 그레이 스케일의 256계조로 구성되어 있다고 한다.

CPU1의 척주배열 추정부(12)는, 상술한 학습 단계를 거쳐서 기계학습을 행한 CNN을 실행한다. 척주배열 추정부(12)는, 학습용 화상기억부(22)에 격납된 무아레 화상(103)을 판독하고, 판독한 무아레 화상(103)의 일부를 잘라낸다. 그리고 잘라낸 무아레 화상(103)을 도 10에 나타낸 기계학습시와 같은 220×220 화소로 리사이즈함으로써 정규화한다. 리사이즈된 무아레 화상(103)은 추정데이터 기억부(24)에 격납된다.

척주배열 추정부(12)는, 추정데이터 기억부(24)로부터 리사이즈된 무아레 화상(103)을 판독하여, 도 13에 나타내는 바와 같이, 17 개의 흉추 B1~B12 및 요추 B13~B17의 중심 P1~P17의 무아레 화상(103) 상의 좌표 (x_mi, y_mi)(i=1~17)를 척주배열로서 추정한다. 추정된 중심 P1~P17의 무아레 화상(103) 상의 좌표 (x_mi, y_mi)(i=1~17)는 추정데이터로서 추정데이터 기억부(24)에 격납된다.

척주배열 추정부(12)는 또한, 산출한 흉추 B1~B12 및 요추 B13~B17의 중심 P1~P17의 무아레 화상(103) 상의 좌표 (x_mi, y_mi)(i=1~17)를 연속시키는 곡선 L2를 척주배열로서 산출(추정)한다. 곡선 L2로서는, 예를 들면 B스플라인곡선이나, 인접하는 중심 P1~P17을 서로 직선으로 잇는 곡선이어도 좋다. 산출된 곡선 L2는 추정데이터로서 추정데이터 기억부(24)에 격납된다.

도 1에 나타낸 CPU1의 각도산출부(13)는, 척주배열 추정부(12)에 의해 추정된 흉추 B1~B12 및 요추 B13~B17의 중심 P1~P17의 무아레 화상(103) 상의 좌표 (x_mi, y_mi)(i=1~17) 및 곡선 L2를 추정데이터 기억부(24)로부터 판독하여 코브각을 산출한다. 코브각은, 코브법에 의해 척주요소의 반전각(turning angle)으로서 정의되어 있으며, 척주측만증의 판단기준의 하나이다. 코브각은, 목적으로 하는 척주배열의 만곡(커브)에 있어서 수평면이 가장 기울어져 있는 상하의 추체(椎體)(종추(終椎))의 기울어진 수평면으로부터 직선의 연장선을 그리고, 그 2 개의 연장선이 이루는 각도로서 산출된다. 현재의 측만증치료는 주로 입위(立位) X선 정면화상으로부터 판단되고 있고, 입체 X선 정면화상에 있어서의 코브각의 크기에 의해 보존요법, 보조기치료(brace treatment) 또는 수술이 선택되고 있다.

각도산출부(13)는, 예를 들면 도 13에 나타내는 바와 같이, 척주배열 추정부(12)에 의해 추정된 흉추 B1~B12 및 요추 B13~B17의 중심 P1~P17마다, 곡선 L2에 대하여 수직이고, 중심 P1~P17을 통과하는 수직선 V1~V17을 산출한다. 각도산출부(13)는 또한, 수평방향에 대하여 기울기가 최대인 수직선 V7, V11에 대응하는 흉추 B7, B11을 기준점(종추)으로서 추출한다. 각도산출부(13)는 또한, 기준점의 흉추 B7, B11의 중심 P7, P11에 대응하는 수직선 V7, V11의 교차부분이 이루는 각도를 코브각 θ1으로서 산출한다. 산출된 코브각 θ1은, 추정데이터 기억부(24)에 격납된다.

또한, 코브각 θ1의 산출방법으로서는, 기준점인 흉추 B7, B11의 중심 P7, P11을 통과하는 수직선 V7, V11이 아닌, 흉추 B7, B11의 상단 또는 하단을 통과하는 수직선을 이용하여도 좋으나, 본 발명의 제1의 실시형태에 있어서는, 흉추 B7, B11의 중심 P7, P11을 추정하고 있기 때문에 이것으로 대체하고 있다.

도 1에 나타낸 CPU1의 화상출력 제어부(14)는, 척주배열 추정부(12)에 의해 추정된 17 개의 흉추 B1~B12 및 요추 B13~B17의 중심 P1~P17 및 곡선 L2를 추정데이터 기억부(24)로부터 판독하여, 도 13에 나타내는 바와 같이 미지의 무아레 화상(103) 상에 중첩하도록, 흉추 B1~B12 및 요추 B13~B17의 중심 P1~P17 및 곡선 L2를 척주요소의 배열정보의 추정결과로서, 출력장치(4)를 구성하는 디스플레이 등에 출력(표시)시킨다.

화상출력 제어부(14)는 또한, 각도산출부(13)에 의해 산출된 코브각 θ1을 추정데이터 기억부(24)로부터 판독하여, 도 14에 나타내는 바와 같이, 무아레 화상(103) 상에, 척주배열 추정부(12)에 의해 추정된 흉추 B1~B12 및 요추 B13~B17의 중심 P1~P17 및 곡선(L2)와 함께, 각도산출부(13)에 의해 산출된 코브각 θ1을 출력장치(4)를 구성하는 디스플레이 등에 출력(표시)시켜도 좋다. 코브각 θ1은, 각도산출부(13)에 의해 산출된 구체적인 도수(수치)를 출력장치(4)에 출력(표시)하여도 좋다.

또한, 각도산출부(13)는, 코브각 θ1을 산출후, 산출된 코브각 θ1이 소정의 임계값(예를 들면 20 도) 이상인지의 여부를 판정하여도 좋다. 코브각 θ1의 판정결과는 추정데이터 기억부(24)에 격납된다. 그리고 화상출력 제어부(14)는, 코브각 θ1의 판정결과를 추정데이터 기억부(24)로부터 판독하여, 출력장치(4)를 구성하는 디스플레이 등에 출력(표시)시켜도 좋다.

그리고 척주배열이 S자모양의 측만증인 경우에는, 1 개의 척주배열에 2 개의 만곡이 존재한다. 이 경우, 각도산출부(13)는, 2 개의 만곡의 각각에 대해 2 개의 종추를 특정하여, 코브각 θ1을 산출하여도 좋다. 2 개의 코브각 θ1의 산출결과는 추정데이터 기억부(24)에 격납된다. 그리고 화상출력 제어부(14)는, 2 개의 코브각 θ1의 판정결과를 추정데이터 기억부(24)로부터 판독하여, 출력장치(4)를 구성하는 디스플레이 등에 출력(표시)시켜도 좋다.

<척주배열 추정방법>

다음으로, 도 15의 플로차트를 참조하면서, 본 발명의 제1의 실시형태에 관계되는 척주배열 추정방법의 일례를 설명한다. 또한, 이하에 나타내는 척주배열 추정방법은 어디까지나 일례이며, 이 순서는 한정되는 것은 아니다.

스텝 S21에 있어서, 촬상장치(3)가 무아레 화상을 촬상한다. 촬상된 미지의 무아레 화상은, 기억장치(2)의 학습용 화상기억부(22)에 격납된다. 또한, 미지의 무아레 화상이, 촬상장치(3)를 개재하지 않고, 인터넷이나 인트라넷 등의 정보망 등을 개재시켜 기억장치(2)의 학습용 화상기억부(22)에 미리 격납되어 있어도 좋다. 혹은, 3D 스캐너 등으로 취득한 화상을 무아레 화상 혹은 무아레 화상에 등가인 2D 화상으로 변환하는 화상처리장치(10)를 개재시켜, 미리 학습용 화상기억부(22)에 격납되어 있어도 좋다. 화상취득부(11)는 학습용 화상기억부(22)로부터 미지의 무아레 화상을 판독하여 취득한다.

스텝 S22에 있어서, CPU1의 척주배열 추정부(12)가, 학습데이터 기억부(23)에 격납된 기계학습후의 학습데이터(축적된 데이터)를 사용하여, 화상취득부(11)가 취득한 미지의 무아레 화상으로부터 척주배열을 추정한다. 척주배열의 추정결과는 추정데이터 기억부(24)에 격납된다.

스텝 S23에 있어서, CPU1의 각도산출부(13)가, 척주배열 추정부(12)에 의해 추정된 척주배열을 추정데이터 기억부(24)로부터 판독하여 코브각을 산출한다. 산출된 코브각은 추정데이터 기억부(24)에 격납된다.

스텝 S24에 있어서, CPU1의 화상출력 제어부(14)가, 척주배열 추정부(12)에 의해 추정된 척주배열과, 각도산출부(13)에 의해 산출된 코브각을 추정데이터 기억부(24)로부터 판독하여, 예를들면 출력장치(4)인 디스플레이의 화면에 표시한다.

이상 설명한 바와 같이, 본 발명의 제1의 실시형태에 관계되는 척주배열 추정장치 및 척주배열 추정방법에 의하면, CPU1이 기계학습의 수법으로 실행하는 인공지능을 사용하여, 무아레 화상으로부터 척주요소의 배열을 정밀도 좋게 추정할 수 있다. 따라서, 의사는, 추정된 척주배열 및 코브각을 참조하여 측만증의 유무 및 정도를 정밀도 좋게 진단할 수 있고, 의사간의 진단의 편차도 저감할 수 있다. 학교검진에 있어서의 판정원에 대해서도 마찬가지로 측만의 유무 판정이 용이해진다.

더욱이, 척주요소의 배열을 정밀도 좋게 추정가능하기 때문에, 제1차검진으로 측만증의 의심이 있다고 되어, 제2차검진에서의 X선촬영에 의해 측만증을 부정하게되는 케이스와 같은, 본래적으로는 불필요한 X선 화상의 실시를 저감할 수 있어 아동 등의 의료피폭을 경감할 수 있다.

<척주배열 추정프로그램>

본 발명의 제1의 실시형태에 관계되는 척주배열 추정프로그램은, 도 15에 나타낸 척주배열 추정방법의 절차를, 화상처리장치(10)를 구성하는 컴퓨터로 실행시킨다. 즉, 본 발명의 제1의 실시형태에 관계되는 척주배열 추정프로그램은, (a) 화상취득부(11)에, 인체의 배면 측 등의 인체표면의 입체형상을 나타내는 화상(무아레 화상)을 취득시키는 절차, (b) 척주배열 추정부(12)에, 과거에 촬상된 무아레 화상 및 X선 화상의 데이터 세트로부터 기계학습한 학습데이터를 사용하여, 취득된 미지의 무아레 화상으로부터 인체의 척주배열을 추정시키는 절차, (c) 각도산출부(13)에, 추정된 척주배열을 사용하여 인체의 코브각을 산출시키는 절차, (d) 화상출력 제어부(14)에, 추정된 척주배열 및 산출된 코브각을 출력장치(4)에 표시하는 신호를 출력시키는 절차 등을 화상처리장치(10)를 구성하는 컴퓨터에 실행시킨다. 본 발명의 제1의 실시형태에 관계되는 척주배열 추정프로그램은, 예를 들면 기억장치(2)에 격납 가능하다.

(제2의 실시형태)

본 발명의 제1의 실시형태에서는, 2차원적으로 척주배열을 추정하는 경우를 예시하였는데, 척주측만증은 3 차원적인 척주의 뒤틀림을 동반한 변형이다. 그 때문에, 척주측만증의 평가는, 정면에서 본 변형(측만)뿐만 아니라, 측면에서 본 변형(전만(前彎) 및 후만(後彎))이나 추체의 뒤틀림(회선(回旋))이 중요한 요소가 된다. 그래서 본 발명의 제2의 실시형태에서는, 3차원적으로 척주배열을 추정하는 경우를 예시한다.

<척주배열 추정장치>

본 발명의 제2의 실시형태에 관계되는 척주배열 추정장치는, 본 발명의 제1의 실시형태에 관계되는 척주배열 추정장치와 마찬가지로, 도 1에 나타내는 바와 같이, 화상처리장치(10), 촬상장치(3) 및 출력장치(4)를 구비한다. 본 발명의 제2의 실시형태에서는, 촬상장치(3)가 인체표면의 입체형상을 나타내는 3차원(3D)화상을 촬상하는 3D 촬상기인 점이, 본 발명의 제1의 실시형태와는 다르다. 촬상장치(3)로서는, 예를 들면 3D 스캐너가 사용가능하고, 3D 화상을 촬상가능한 장치라면 특별히 한정되지 않는다.

예를 들면, 촬상장치(3)로서의 3D 스캐너는, 인체 배부(背部)를 주사함으로써, 인체 배부의 3D 화상(거리화상)을 촬상한다. 혹은, 촬상장치(3)로서의 3D 스캐너는, 턴테이블을 사용하여 인물을 360°회전시키면서 주사함으로써, 인체 전면, 측면 및 배면을 포함하는 360°의 3D 화상을 촬상하여도 좋다. 그리고 360°의 3D 화상으로부터 인체 배부측의 데이터를 선택적으로 사용하여도 좋다.

촬상장치(3)는, 예를 들면 도 16(a) 및 도 16(b)에 모식적으로 나타내는 바와 같은 인체표면의 3D 화상(201)을 촬상한다. 도 16(a)는 인체를 배면측에서 본 3D 화상(201)을 나타내고, 도 16(b)는 도 16(a)와 90° 다른 방향으로서, 인체를 측면측에서 보았을 때의 배부측의 3D 화상(201)을 나타내고 있다. 도 16(a) 및 도 16(b)에 나타내는 바와 같이, 3D 화상(201)은, 인체의 배면에서 보아 좌우방향인 x축 방향, 상하방향인 y축 방향, 깊이방향인 z축 방향의 3차원의 정보를 포함한다. 도 16(a) 및 도 16(b)에 있어서는 모식적으로, z축 방향의 촬상장치(3)와 인체배면과의 거리에 따라서 해칭을 단계적으로 구별하고 있다. 척주측만증자의 경우에는, 특히 인체의 배부의 고저차가 좌우로 커지고, 좌우로 z축 방향의 거리의 분포가 비대칭이 된다.

<학습단계>

여기서, 도 17의 플로차트를 참조하면서, 본 발명의 제2의 실시형태에 관계되는 척주배열 추정부(12)의 기계학습방법을 포함하는 “학습단계”의 일례를 설명한다. 여기서는, 척주배열 추정부(12)가 CNN에 의해 구성되어 있는 경우를 예시한다.

스텝 S31에 있어서, 척주배열 추정부(12)의 기계학습의 사전준비로서, 과거에 동일인물 등에 대하여 촬상한 인체배면의 입체적 형상을 나타내는 3D 화상 및 이것에 대응하는 X선 화상의 데이터 세트를 다수(예를 들면 수천 세트) 준비한다. 다수의 3D 화상 및 X선 화상의 각각은, 기억장치(2)의 학습용 화상기억부(22) 및 X선 화상기억부(21)에 격납된다.

예를 들면, 도 16(a) 및 도 16(b)에 1 장(1 세트)를 예시적으로 나타내는 바와 같은 3D 화상(201)의 다수의 세트를 학습용 화상기억부(22)에 격납하고, 도 18(a)~도 18(c)에 1 장(1 세트)을 예시적으로 나타내는 바와 같은 X선 화상으로서의 컴퓨터 단층촬영(CT) 화상(202)의 다수의 세트를 X선 화상기억부(21)에 격납한다. CT 화상(202)은, 와위(臥位)로 촬상되어 있고, 도 18(a)는 인체를 배면측에서 본 특정한 단면의 CT 화상(202)을 나타내고, 도 18(b)는 인체를 측면측에서 본 특정한 단면의 CT 화상(202)을 나타내고, 도 18(c)는 인체를 상측에서 본 특정한 단면의 CT 화상(202)을 나타내고 있다. 도 18(a)~도 18(c)에 나타내는 바와 같이, CT 화상(202)은, 인체의 배면에서 보아 좌우방향인 x축 방향, 상하방향인 y축 방향, 깊이방향인 z축 방향의 3차원 복셀 데이터(voxel data)로 구성된다.

다음으로, 도 17의 스텝 S32에 있어서, 기계학습에 사용하는 정해데이터의 라벨부착을 행한다. 척주배열 추정부(12)는, X선 화상기억부(21)로부터 1 장(1 세트)의 CT 화상(202)을 판독하여, 해부학적인 특징점을 이용하여, CT 화상(202) 상에 있어서의 척주요소의 중심의 3D좌표를 산출한다. 예를 들면, 도 18(a)~도 18(c)에 나타내는 바와 같이, 인체의 정면(z축 방향) 및 측면(x축 방향)에서 보았을 때의 요추 B14를 각각 직사각형에 근사하게 하고, 요추 B14의 중심 C14의 CT 화상(202) 상의 좌표 (X_ct14, Y_ct14, Z_ct14)를 산출한다. 요추 B14와 마찬가지로, 다른 흉추 B1~B12 및 요추 B13, B15~B17에 대해서도, CT 화상(202)의 복셀 데이터로부터 흉추 B1~B12 및 요추 B13, B15~B17을 추출하고, 흉추 B1~B12 및 요추 B13, B15~B17의 중심 C1~C13, C15~C17의 CT 화상(202) 상의 좌표 (X_cti, Y_cti, Z_cti)(i=1~17)를 산출한다. 산출된 중심 C1~C17의 CT 화상(202) 상의 좌표 (X_cti, Y_cti, Z_cti)(i=1~17)는, 학습데이터 기억부(23)에 격납된다.

다음으로, 도 17의 스텝 S33에 있어서, 척주배열 추정부(12)는, 학습용 화상기억부(22) 및 X선 화상기억부(21)로부터, 데이터 세트인 3D 화상(201)과 CT 화상(202)을 각각 판독하여, 3D 화상(201)과 CT 화상(202)을 3차원적으로 위치맞춤한다. 예를 들면, 3D 화상(201) 및 CT 화상(202)의 각각에 대하여, 인체의 정면(z축 방향)에서 보았을 때의 인체의 목의 좌우 밑의 위치와, 인체의 측면(x축 방향)에서 보았을 때의 배면측의 목밑 위치 등의 특징점을 위치맞춤용의 마크로서 각각 추출한다.

그리고 3D 화상(201) 및 CT 화상(202) 각각의 위치맞춤용의 마크를 서로 일치시키도록, 3D 화상(201) 및 CT 화상(202)의 크기를 맞추고, 회전 및 평행이동 등 한다. 이 결과, 3D 화상(201) 및 CT 화상(202)이 3차원적으로 겹쳐서, 3D 화상(201)의 좌표계와 CT 화상(202)의 좌표계가 대응된다.

척주배열 추정부(12)는 또한, 흉추 B1~B12 및 요추 B13~B17의 중심 C1~C17의 3D 화상(201) 상의 좌표 (X_3di, Y_3di, Z_3di)(i=1~17)를 정해데이터로서 산출한다. 산출된 중심 C1~C17의 3D 화상(201) 상의 좌표 (X_3di, Y_3di, Z_3di)(i=1~17)의 정해데이터는 학습데이터 기억부(23)에 격납된다. 상술한 스텝 S33의 처리는, X선 화상기억부(21)에 기억되어 있는 다수의 CT 화상 및 학습용 화상기억부(22)에 기억되어 있는 다수의 3D 화상의 각각의 데이터 세트에 대하여 행해지고, 각각의 데이터 세트에 대하여 산출된 정해데이터가 학습데이터 기억부(23)에 격납된다.

다음으로, 도 17의 스텝 S34에 있어서, 본 발명의 제1의 실시형태와 마찬가지로, 척주배열 추정부(12)는, 3D 화상(201)을 학습용 화상기억부(22)로부터 판독하였을 때에, 척주요소의 배열정보가 출력되도록 기계학습을 행한다. 척주배열 추정부(12)는, 예를 들면 학습용 화상기억부(22)로부터 판독한 3D 화상(201)의 일부를 잘라내어 리사이즈하고, 이 리사이즈한 3D 화상(201)의 데이터를 CNN의 컴퓨터 소프트웨어 프로그램에 대한 입력데이터로 한다.

CPU1의 척주배열 추정부(12)에서 실행되는 CNN에서는, 리사이즈한 3D 화상(201)이 입력되면, 3차원의 척주요소의 배열정보가 출력되도록 네트워크의 알고리즘이 구성되어 있다. 척주배열 추정부(12)에서 실행되는 CNN은, 17 개의 흉추 B1~B12 및 요추 B13~B17의 중심 C1~C17의 3D 화상(201) 상의 좌표 (X_pi, Y_pi, Z_pi)(i=1~17)를 추정데이터로서 산출한다. 산출된 흉추 B1~B12 및 요추 B13~B17의 중심 C1~C17의 3D 화상(201) 상의 좌표 (X_pi, Y_pi, Z_pi)(i=1~17)는, 학습데이터 기억부(23)에 격납된다.

척주배열 추정부(12)는, 추정데이터인 흉추 B1~B12 및 요추 B13~B17의 중심 C1~C17의 3D 화상(201) 상의 좌표 (X_pi, Y_pi, Z_pi)(i=1~17)와, 정해데이터인 흉추 B1~B12 및 요추 B13~B17의 중심 C1~C17의 3D 화상(201) 상의 좌표 (X_3di, Y_3di, Z_3di)(i=1~17)를 학습데이터 기억부(23)로부터 판독하여, 흉추 B1~B12 및 요추 B13~B17의 중심 C1~C17마다, 추정데이터와 정해데이터와의 오차 (X_pi-X_3di, Y_pi-Y_3di, Z_pi-Z_3di)(i=1~17)를 산출한다. 추정데이터와 정해데이터와의 오차 (X_pi-X_3di, Y_pi-Y_3di, Z_pi-Z_3di)(i=1~17)는, 학습데이터 기억부(23)에 격납된다.

척주배열 추정부(12)는, 추정데이터와 정해데이터와의 오차 (X_pi-X_3di, Y_pi-Y_3di, Z_pi-Z_3di)(i=1~17)를 학습데이터 기억부(23)로부터 판독하여, 오차역전파법(BP)을 사용하여, 추정데이터와 정해데이터와의 오차 (X_pi-X_3di, Y_pi-Y_3di, Z_pi-Z_3di)(i=1~17)를 작게 하도록 무게파라미터를 수정한다.

척주배열 추정부(12)는, 학습용 화상기억부(22) 및 X선 화상기억부(21)에 격납된 다수의 3D 화상과 CT 화상의 데이터 세트를 사용하여 상술한 오차역전파법의 처리를 반복해서 무게를 수정해 감으로써 학습한다. 그 결과, 척주배열 추정부(12)는, 미지의 3D 화상을 학습용 화상기억부(22)로부터 판독하였을 때에, 척주요소의 배열정보를 출력하는 CNN의 알고리즘을 학습데이터(축적된 데이터)로서 획득할 수 있다.

<추정단계>

다음으로, 본 발명의 제2의 실시형태에 관계되는 척주배열 추정장치가, 미지의 3D 화상으로부터 척주배열을 추정하는 추정단계를 실행할 때의, 본 발명의 제2의 실시형태에 관계되는 척주배열 추정장치의 구성 및 기능을 설명한다.

도 1에 나타낸 CPU1의 화상취득부(11)는, 촬상장치(3)에 의해 촬상된 도 19(a) 및 도 19(b)에 나타내는 미지의 3D 화상(203)을 취득한다. 도 19(a)는 인체를 배면측에서 본 3D 화상(203)을 나타내고, 도 19(b)는 도 19(a)와는 90°다른 방향으로서, 인체를 측면측에서 본 배부측의 3D 화상(203)을 나타내고 있다. 취득된 미지의 3D 화상(203)은 학습용 화상기억부(22)에 격납된다.

CPU1의 척주배열 추정부(12)는, 상술한 학습단계를 거쳐 기계학습을 행한 CNN을 실행한다. 척주배열 추정부(12)는, 학습용 화상기억부(22)에 격납된 3D 화상(203)을 판독하고, 판독한 3D 화상(203)의 일부를 잘라낸다. 그리고 잘라낸 3D 화상(203)을, 기계학습시와 같은 사이즈로 리사이즈함으로써 정규화한다. 리사이즈된 3D 화상(203)은 추정데이터 기억부(24)에 격납된다.

척주배열 추정부(12)는, 추정데이터 기억부(24)로부터 리사이즈된 3D 화상(203)을 판독하여, 도 20(a) 및 도 20(b)에 나타내는 바와 같이, 17 개의 흉추 B1~B12 및 요추 B13~B17의 중심 P1~P17의 3D 화상(203) 상의 좌표 (X_3di, Y_3di, Z_3di)(i=1~17)를 척주배열로서 추정한다. 추정된 중심 P1~P17의 3D 화상(203) 상의 좌표 (X_3di, Y_3di, Z_3di)(i=1~17)는 추정데이터로서 추정데이터 기억부(24)에 격납된다.

척주배열 추정부는 또한, 산출한 흉추 B1~B12 및 요추 B13~B17의 중심 P1~P17의 3D 화상(203) 상의 좌표 (X_3di, Y_3di, Z_3di)(i=1~17)를 연속시키는 3차원의 곡선 L3를 척주배열로서 산출(추정)한다. 곡선 L3로서는, 예를 들면 B스플라인곡선이나, 인접하는 중심 P1~P17을 서로 직선으로 잇는 곡선이어도 좋다. 산출된 곡선 L3은 추정데이터로서 추정데이터 기억부(24)에 격납된다.

도 1에 나타낸 CPU1의 각도산출부(13)는, 척주배열 추정부(12)에 의해 추정된 흉추 B1~B12 및 요추 B13~B17의 중심 P1~P17의 3D 화상(203) 상의 좌표 (X_3di, Y_3di, Z_3di)(i=1~17) 및 곡선 L3를 추정데이터 기억부(24)로부터 판독하여, 본 발명의 제1의 실시형태와 같은 수법으로, 코브각 θ2를 산출한다. 본 발명의 제2의 실시형태에서는, 흉추 B1~B12 및 요추 B13~B17의 중심 P1~P17의 3D 화상(203) 상의 좌표 (X_3di, Y_3di, Z_3di)(i=1~17) 및 곡선 L3이 3차원적으로 산출되고 있기 때문에, 코브각 θ2도 3차원적으로 산출된다. 산출된 코브각 θ2는, 추정데이터 기억부(24)에 격납된다.

도 1에 나타낸 CPU1의 화상출력 제어부(14)는, 척주배열 추정부(12)에 의해 추정된 17 개의 흉추 B1~B12 및 요추 B13~B17의 중심 P1~P17의 3D 화상(203) 상의 좌표 (X_3di, Y_3di, Z_3di)(i=1~17) 및 곡선 L3를 추정데이터 기억부(24)로부터 판독하여, 도 20(a) 및 도 20(b)에 나타내는 바와 같이 미지의 3D 화상(203) 상에 중첩하도록, 흉추 B1~B12 및 요추 B13~B17의 중심 P1~P17의 3D 화상(203) 상의 좌표 (X_3di, Y_3di, Z_3di)(i=1~17) 및 곡선 L3를 척주요소의 배열정보의 추정결과로서, 출력장치(4)를 구성하는 디스플레이 등에 출력(표시)시킨다.

화상출력 제어부(14)는 또한, 각도산출부(13)에 의해 산출된 코브각 θ2를 추정데이터 기억부(24)로부터 판독하여, 도 20(a) 및 도 20(b)에 나타내는 바와 같이 3D 화상(203) 상에 중첩하도록, 척주배열 추정부(12)에 의해 추정된 흉추 B1~B12 및 요추 B13~B17의 중심 P1~P17 및 곡선 L3과 함께, 코브각 θ2를 출력장치(4)를 구성하는 디스플레이 등에 출력(표시)시켜도 좋다.

<척주배열 추정방법>

다음으로, 도 21의 플로차트를 참조하면서, 본 발명의 제2의 실시형태에 관계되는 척주배열 추정방법의 일례를 설명한다. 또한, 이하에 나타내는 척주배열 추정방법은 어디까지나 일례이며, 이 순서에 한정되는 것은 아니다.

스텝 S41에 있어서, 촬상장치(3)가 인체표면의 입체적 형상을 나타내는 3D 화상을 촬상한다. 촬상된 미지의 3D 화상은, 기억장치(2)의 학습용 화상기억부(22)에 격납된다. 또한, 미지의 3D 화상이, 촬상장치(3)로 촬상된 것이 아니고, 인터넷이나 인트라넷 등의 정보망 등을 개재시켜 기억장치(2)의 학습용 화상기억부(22)에 미리 격납되어 있어도 좋다. 그리고 미지의 3D 화상은, 기계학습시의 데이터 세트의 3D 화상과 동일한 3D 촬상기를 사용하여 촬상된 것이 아니어도 무방하며, 인체표면의 입체형상을 나타내는 3D 화상이면 좋다. 화상취득부(11)는 학습용 화상기억부(22)로부터 미지의 3D 화상을 판독하여 취득한다.

스텝 S42에 있어서, CPU1의 척주배열 추정부(12)가, 학습데이터 기억부(23)에 격납된 기계학습후의 학습데이터(축적된 데이터)를 사용하여, 화상취득부(11)가 취득한 미지의 3D 화상으로부터 척주배열을 추정한다. 척주배열의 추정결과는 추정데이터 기억부(24)에 격납된다.

스텝 S43에 있어서, CPU1의 각도산출부(13)가, 척주배열 추정부(12)에 의해 추정된 척주배열을 추정데이터 기억부(24)로부터 판독하여 코브각을 산출한다. 산출된 코브각은 추정데이터 기억부(24)에 격납된다.

스텝 S44에 있어서, CPU1의 화상출력 제어부(14)가, 척주배열 추정부(12)에 의해 추정된 척주배열과, 각도산출부(13)에 의해 산출된 코브각을 추정데이터 기억부(24)로부터 판독하여, 예를 들면 출력장치(4)인 디스플레이의 화면에 표시한다.

이상 설명한 바와 같이, 본 발명의 제2의 실시형태에 관계되는 척주배열 추정장치 및 척주배열 추정방법에 의하면, 본 발명의 제1의 실시형태와 마찬가지로, CPU1이 기계학습의 수법으로 실행하는 인공지능을 사용하여, 3D 화상으로부터 척주요소의 배열을 정밀도 좋게 추정할 수 있다. 따라서, 의사는, 추정된 척주배열 및 코브각을 참조하여 측만증의 유무 및 정도를 정밀도 좋게 진단할수 있어, 의사간의 진단의 편차도 저감할 수 있다.

더욱이, 본 발명의 제2의 실시형태에 관계되는 척주배열 추정장치 및 척주배열 추정방법에 의하면, 3D 화상과 CT 화상을 데이터 세트로서 사용해서 얻어진 학습데이터를 사용하여, 3D 화상으로부터 3차원적으로 척주요소의 배열을 추정할 수 있어, 3차원적인 최대 코브각을 산출할 수 있다. 따라서, 척주배열 및 코브각을 보다 정밀도 좋게 추정할 수 있다.

그리고 무아레 화상 촬상기는 제조중지가 되어 있어, 무아레 화상 촬상기를 사용하지 않은 새로운 척주배열 추정장치가 필요해지고 있다. 이것에 대하여, 3D 촬상기로 촬상한 3D 화상으로부터 3차원적으로 척주요소의 배열을 추정할 수 있기 때문에, 새로운 척주배열 추정장치로서의 활용을 기대할 수 있다.

<척주배열 추정프로그램>

본 발명의 제2의 실시형태에 관계되는 척주배열 추정프로그램은, 도 21에 나타낸 척주배열 추정방법의 순서를, 화상처리장치(10)를 구성하는 컴퓨터에 실행시킨다. 즉, 본 발명의 제2의 실시형태에 관계되는 척주배열 추정프로그램은, (a) 화상취득부(11)에, 인체표면의 입체형상을 나타내는 미지의 3D 화상을 취득시키는 절차, (b) 척주배열 추정부(12)에, 과거에 촬상된 3D 화상 및 X선 화상(CT 화상)의 데이터 세트로부터 기계학습한 학습데이터를 사용하여, 취득된 미지의 3D 화상으로부터, 인체의 척주배열을 추정시키는 절차, (c) 각도산출부(13)에, 추정된 척주배열을 사용하여 인체의 코브각을 산출시키는 절차, (d) 화상출력 제어부(14)에, 추정된 척주배열 및 산출된 코브각을 출력장치(4)에 표시하는 신호를 출력시키는 절차 등을 화상처리장치(10)를 구성하는 컴퓨터에 실행시킨다. 본 발명의 제2의 실시형태에 관계되는 척주배열 추정프로그램은, 예를 들면 기억장치(2)에 격납 가능하다.

(제2의 실시형태의 변형예)

본 발명의 제2의 실시형태의 변형예로서, 추골의 뒤틀림(회선(回旋))을 추정하는 경우를 예시한다. 척주측만증의 평가는 주로 입위(立位) X선 화상(정면상 및 측면상)과, CT 화상으로 행하고 있다. 구체적으로는, 입위 X선 정면상을 사용하여 정면에서 본 변형(측만)을 평가하고, 입위 X선 측면상으로 전측(前側)이나 후측(後側)을 평가한다. 회선에 관해서는, Nash & Moe법 등에 의해, 입위 X선 정면상에서의 추골의 외관으로부터 회선의 정도를 평가하고 있으나, 직접적으로는 회선의 각도를 평가하고 있는 것은 아니다. 한편, CT 화상에서는, 직접적으로 추골의 회선을 평가할 수 있지만, 통상은 X선 화상의 촬상시 이상의 피폭을 일으킨다. 척주측만증의 대부분이 아동이기 때문에, 장래적인 건강피해의 가능성이 있다. 이것에 대하여, 본 발명의 제2의 실시형태의 변형예에서는, CT 화상의 촬상을 행하지 않고, 추골의 회선을 정밀도 좋게 추정하는 것이다.

<학습단계>

도 17에 나타내는 학습단계의 스텝 S31에 있어서, 척주배열 추정부(12)의 기계학습의 사전준비로서, 과거에 촬상한 인체배면의 입체적 형상을 나타내는 3D 화상 및 이것에 대응하는 X선 화상(CT 화상)의 데이터 세트를 다수(예를 들면 수천 세트) 준비한다. 다수의 3D 화상 및 X선 화상의 각각은, 기억장치(2)의 학습용 화상기억부(22) 및 X선 화상기억부(21)에 격납된다.

다음으로, 도 17의 스텝 S32에 있어서, 기계학습에 사용하는 정해데이터의 라벨부착을 행한다. 척주배열 추정부(12)는, CT 화상(202)으로부터, 17 개의 흉추 B1~B12 및 요추 B13~B17의 중심 C1~C17의 CT 화상(202) 상의 좌표 (X_cti, Y_cti, Z_cti)(i=1~17)를 산출하는 동시에, 흉추 B1~B12 및 요추 B13~B17의 각각의 극돌기(棘突起)의 3D 좌표를 산출한다. 예를 들면 도 22(a) 및 도 22(b)에 나타내는 바와 같이, 극돌기 SP1은, 추골(흉추) B1의 후단이 융기하여 돌출한 부분을 가리킨다. 극돌기(SP1)는, CT 화상(202)으로부터 특징점으로서 추정 가능하다. 척주배열 추정부(12)는, 흉추 B1의 극돌기 SP1의 CT 화상(202) 상의 3D좌표 (X_sp1, Y_sp1, Z_sp1)를 산출한다. 도시를 생략하지만, 다른 흉추 B2~B12 및 요추 B13~B17의 극돌기 SP2~SP17의 CT 화상(202) 상의 3D좌표 (X_ctspi, Y_ctspi, Z_ctspi)(i=2~17)도 마찬가지로 산출 가능하다. 산출된 중심 C1~C17의 CT 화상(202) 상의 좌표 (X_cti, Y_cti, Z_cti)(i=1~17)과, 흉추 B1~B12 및 요추 B13~B17의 극돌기 SP1~SP17의 CT 화상(202) 상의 3D좌표 (X_ctspi, Y_ctspi, Z_ctspi)(i=1~17)는, 학습데이터 기억부(23)에 격납된다.

다음으로, 도 17의 스텝 S33에 있어서, 척주배열 추정부(12)는, 학습용 화상기억부(22) 및 X선 화상기억부(21)로부터, 데이터 세트인 3D 화상(201)으로부터 화상(202)을 각각 판독하여, 3D 화상(201)과 CT 화상(202)을 3차원적으로 위치맞춤하여, 3D 화상(201)의 좌표계와 CT 화상(202)의 좌표계를 대응시킨다.

척주배열 추정부(12)는 또한, 흉추 B1~B12 및 요추 B13~B17의 중심 C1~C17의 3D 화상(203) 상의 좌표 (X_3di, Y_3di, Z_3di)(i=1~17)를 정해데이터로서 산출한다. 산출된 중심 C1~C17의 3D 화상(201) 상의 좌표 (X_3di, Y_3di, Z_3di)(i=1~17)의 정해데이터는 학습데이터 기억부(23)에 격납된다. 척주배열 추정부(12)는 또한, 흉추 B1~B12 및 요추 B13~B17의 극돌기 SP1~SP17의 3D 화상(201) 상의 3D좌표 (X_3dspi, Y_3dspi, Z_3dspi)(i=1~17)를 정해데이터로서 산출한다. 산출된 중심 C1~C17의 3D 화상(201) 상의 3D좌표 (X_3dspi, Y_3dspi, Z_3dspi)(i=1~17)의 정해데이터는 학습데이터 기억부(23)에 격납된다. 상술한 스텝 S33의 처리는, X선 화상기억부(21)에 기억되어 있는 다수의 CT 화상 및 학습용 화상기억부(22)에 기억되어 있는 다수의 3D 화상의 각각의 데이터센터에 대하여 행해지고, 각각의 데이터 세트에 대하여 산출된 정해데이터가 학습데이터 기억부(23)에 격납된다.

다음으로, 도 17의 스텝 S34에 있어서, 척주배열 추정부(12)는, 3D 화상(201)을 학습용 화상기억부(22)로부터 판독하였을 때에, 17 개의 흉추 B1~B12 및 요추 B13~B17의 중심 C1~C17의 3D 화상(201) 상의 좌표 (X_pi, Y_pi, Z_pi)(i=1~17)에 추가하여, 17 개의 흉추 B1~B12 및 요추 B13~B17의 극돌기 SP1~SP17의 3D 화상(201) 상의 3D좌표 (X_spi, Y_spi, Z_spi)(i=1~17)가 출력되도록 기계학습을 행한다.

척주배열 추정부(12)에서 실행되는 CNN은, 17 개의 흉추 B1~B12 및 요추 B13~B17의 중심 C1~C17의 3D 화상(201) 상의 좌표 (X_pi, Y_pi, Z_pi)(i=1~17)와 함께, 17 개의 흉추 B1~B12 및 요추 B13~B17의 극돌기 SP1~SP17의 3D 화상(201) 상의 3D좌표 (X_spi, Y_spi, Z_spi)(i=1~17)를 추정데이터로서 산출한다. 산출된 흉추 B1~B12 및 요추 B13~B17의 중심 C1~C17의 3D 화상(201) 상의 좌표 (X_pi, Y_pi, Z_pi)(i=1~17)와, 흉추 B1~B12 및 요추 B13~B17의 극돌기 SP1~SP17의 3D 화상(201) 상의 3D좌표 (X_spi, Y_spi, Z_spi)(i=1~17)는 학습데이터 기억부(23)에 격납된다.

척주배열 추정부(12)는, 추정데이터인 흉추 B1~B12 및 요추 B13~B17의 중심 C1~C17의 3D 화상(201) 상의 좌표 (X_pi, Y_pi, Z_pi)(i=1~17)와, 흉추 B1~B12 및 요추 B13~B17의 극돌기 SP1~SP17의 3D 화상(201) 상의 3D좌표 (X_spi, Y_spi, Z_spi)(i=1~17)를 판독하여, 오차역전파법(BP)을 사용하여, 중심 C1~C17에 대한 추정데이터와 정해데이터와의 오차 (X_pi-X_3di, Y_pi-Y_3di, Z_pi-Z_3di)(i=1~17)와, 극돌기 SP1~SP17에 대한 추정데이터와 정해데이터와의 오차 (X_spi-X_3dspi, Y_spi-Y_3dspi, Z_spi-Z_3dspi)(i=1~17)가 작아지도록, 무게 파라미터를 수정한다.

척주배열 추정부(12)는, 학습용 화상기억부(22) 및 X선 화상기억부(21)에 격납된 다수의 3D 화상과 CT 화상의 데이터 세트를 사용하여 상술한 오차역전파법의 처리를 반복하여 무게를 수정해감으로써 학습한다. 그 결과, 척주배열 추정부(12)는, 미지의 3D 화상을 학습용 화상기억부(22)로부터 판독하였을 때에, 17 개의 흉추 B1~B12 및 요추 B13~B17의 중심 C1~C17의 3D 화상(201) 상의 좌표 (X_pi, Y_pi, Z_pi)(i=1~17)에 추가하여, 17 개의 흉추 B1~B12 및 요추 B13~B17의 극돌기 SP1~SP17의 3D 화상(201) 상의 3D좌표 (X_spi, Y_spi, Z_spi)(i=1~17)를 출력하는 CNN의 알고리즘을 획득할 수 있다.

<추정단계>

다음으로, 도 21의 추정단계의 스텝 S41에 있어서, 촬상장치(3)가 인체배면의 입체적 형상을 나타내는 3D 화상을 촬상한다. 촬상된 미지의 3D 화상은, 기억장치(2)의 학습용 화상기억부(22)에 격납된다. 화상취득부(11)는 학습용 화상기억부(22)로부터 미지의 3D 화상을 판독하여 취득한다.

스텝 S42에 있어서, CPU1의 척주배열 추정부(12)가, 학습데이터 기억부(23)에 격납된 기계학습후의 학습데이터를 사용하여, 화상취득부(11)가 취득한 미지의 3D 화상으로부터 17 개의 흉추 B1~B12 및 요추 B13~B17의 중심 P1~P17의 3D좌표로 이루어지는 척주배열을 추정하는 동시에, 17 개의 흉추 B1~B12 및 요추 B13~B17의 각각의 극돌기의 3D좌표를 추정한다. 예를 들면 도 23에 나타내는 바와 같이, 척주배열 추정부(12)는, 흉추 B1의 극돌기 SP1의 위치 p1의 3D좌표를 추정한다. 또한, 다른 흉추 B2~B12 및 요추 B13~B17의 각각의 극돌기 SP2~SP17의 위치 p2~p17의 3D좌표도 마찬가지로 추정한다. 척주배열 및 극돌기의 3D좌표의 추정결과는 추정데이터 기억부(24)에 격납된다.

스텝 S43에 있어서, CPU1의 각도산출부(13)가, 척주배열 추정부(12)에 의해 추정된 척주배열을 추정데이터 기억부(24)로부터 판독하여 코브각 θ2를 산출한다. 산출된 코브각 θ2는 추정데이터 기억부(24)에 격납된다. 더욱이, CPU1의 각도산출부(13)가, 척주배열 추정부(12)에 의해 추정된 척주배열 및 극돌기의 3D좌표로부터, 흉추 B1~B12 및 요추 B13~B17의 회선각을 산출한다. 흉추 B1~B12 및 요추 B13~B17의 회선각은, 인체를 상하방향으로 수직인 평면에 있어서, 인체의 전후방향에 대하여, 흉추 B1~B12 및 요추 B13~B17의 중간선이 기우는 각도로서 산출되고, 측만증을 판단할 때의 지표가 된다.

예를 들면, 도 23에 나타내는 바와 같이, 요추 B1의 중심 P1의 3D좌표와, 극돌기 SP1의 위치 p1의 3D좌표를 통과하는 직선 L4를 중간선으로서 산출한다. 그리고 중간선 L4와 3D 화상의 z축 방향으로 평행인 직선 L5와의 이루는 각도 θ3를 회선각으로서 산출한다. 각도산출부(13)는, 다른 흉추 B2~B12 및 요추 B13~B17에 대해서도 마찬가지로 회선각 θ3을 산출한다. 산출된 흉추 B1~B12 및 요추 B13~B17의 각각의 회선각 θ3은 추정데이터 기억부(24)에 격납된다.

스텝 S44에 있어서, CPU1의 화상출력 제어부(14)가, 척주배열 추정부(12)에 의해 추정된 척주배열과, 각도산출부(13)에 의해 산출된 코브각 θ2와, 흉추 B1~B12 및 요추 B13~B17의 각각의 회선각 θ3을 추정데이터 기억부(24)로부터 판독하여, 예를 들면 출력장치(4)인 디스플레이의 화면에 표시한다.

이상 설명한 바와 같이, 본 발명의 제2의 실시형태에 관계되는 척주배열 추정장치 및 척주배열 추정방법에 의하면, 본 발명의 제1의 실시형태와 마찬가지로, CPU1이 기계학습의 수법으로 실행하는 인공지능을 사용하여, 3D 화상으로부터 척주요소의 배열을 정밀도 좋게 추정할 수 있다. 따라서, 의사는, 추정된 척주배열 및 코브각을 참조하여 측만증의 유무 및 정도를 정밀도 좋게 진단할 수 있어, 의사간의 진단의 편차도 저감할 수 있다.

더욱이, 본 발명의 제2의 실시형태의 변형예에 관계되는 척주배열 추정장치 및 척주배열 추정방법에 의하면, 3D 화상과 CT 화상을 데이터 세트로서 사용해서 얻어진 학습 데이터를 사용하여, 3D 화상으로부터 3차원적으로 척주요소의 배열을 추정할 수 있다. 그리고 3차원적인 척주요소의 배열로부터, 코브각 θ2 및 척주요소의 회선각 θ3을 산출할 수 있다. 따라서, X선 화상의 코브각의 크기라고 하는 현재의 평가기준에 더하여, 또 입위시의 3차원적인 척주배열, 3차원적인 최대 코브각, 각 추체의 회선각의 정보를 얻을 수 있게 되기 때문에, 측만의 진행 예측, 예후 예측, 병태 해명 등이 가능하게 되고, 새로운 치료법이나 치료체계가 확립될 가능성이 있다.

또한, 본 발명의 제2의 실시형태의 변형예에서는, 3차원적인 척주요소의 배열로부터 코브각 θ2 및 척주요소의 회선각 θ3을 산출하는 경우를 예시하였는데, 척주요소의 회선각 θ3만을 산출하여도 좋다. 척주요소의 회선각 θ3을 산출해서 출력(표시)함으로써, 의사에 의한 측만증의 판정시의 재료로서 활용할 수 있다.

그리고 CPU1의 각도산출부(13)가, 흉추 B1~B12 및 요추 B13~B17의 각각의 회선각 θ3을 추정데이터 기억부(24)로부터 판독하여, 흉추 B1~B12 및 요추 B13~B17의 각각의 회선각 θ3을 소정의 임계값과 비교하여 대소를 판정하거나, 흉추 B1~B12 및 요추 B13~B17 각각의 회선각 θ3 중의 최대값을 추출하거나, 흉추 B1~B12 및 요추 B13~B17 각각의 회선각 θ3을 소정의 임계값을 사용하여 단계적으로 분류하거나 하여도 좋다. 그리고 CPU1의 각도산출부(13)에 의한 연산결과는, 출력장치(4)인 디스플레이의 화면에 적절하게 표시하여도 좋다.

(기타 실시의 형태)

상기와 같이, 본 발명은 제1 및 제2의 실시형태에 의해 기재하였으나, 이 개시의 일부를 이루는 논술 및 도면은 본 발명을 한정하는 것이라고 이해해서는 안된다. 이 개시로부터 당업자에게는 여러 가지 대체 실시형태, 실시예 및 운용기술이 명백해질 것이다.

예를 들면, 본 발명의 제1 및 제2의 실시형태에 있어서, 12 개의 흉추 및 5 개의 요추로 이루어지는 17 개의 흉추 B1~B12 및 요추 B13~B17의 척주요소의 배열을 추정하는 경우를 설명하였는데, 추정하는 척주요소의 배열은 17 개의 척주요소에 한정되지 않는다. 예를 들면, 17 개 미만의 흉추나 요추를 대상으로서 하여도 좋으며, 흉추보다 상측의 경추나 요추보다 하측의 선추(仙推), 미추(尾椎)를 포함하는 17 개 보다 다수의 척주요소를 대상으로 하여도 좋다.

그리고 본 발명의 제1의 실시형태에서는, 2차원의 데이터인 무아레 화상과, X선 화상으로서의 2차원의 데이터인 입위 X선 정면화상의 데이터 세트를 사용해서 얻어진 학습데이터를 사용하여, 미지의 무아레 화상으로부터 2차원으로 척주배열 등을 추정하는 경우를 예시하였다. 그리고 본 발명의 제2의 실시형태에서는, 3차원의 데이터인 3D 화상과, X선 화상으로서의 3차원의 데이터인 CT 화상의 데이터 세트를 사용해서 얻어진 학습 데이터를 사용하여, 미지의 3D 화상으로부터 3차원으로 척주요소 등을 추정하는 경우를 예시하였다. 여기서, 본 발명의 제1 및 제2의 실시형태를 조합하여, 무아레 화상과, X선 화상으로서의 CT 화상의 데이터 세트를 사용해서 얻어진 학습 데이터를 사용하여, 미지의 무아레 화상으로부터 2차원 또는 3차원으로 척주배열 등을 추정하여도 좋다. 혹은, 3D 화상과, X선 화상으로서의 입위 X선 정면화상의 데이터 세트를 사용해서 얻어진 학습데이터를 사용하여, 미지의 3D 화상으로부터 2차원으로 척주배열 등을 추정하여도 좋다.

더욱이, 본 발명의 제2의 실시형태에서는, 3D 촬상기에 의해 촬상된 3D 화상과, X선 화상으로서의 CT 화상을 개별로 준비하는 경우를 예시하였는데, CT 화상으로부터 인체 배부 등의 인체표면의 입체적 형상을 3D 화상으로서 추출하여도 좋다. 이 추출한 3D 화상과 CT 화상을 데이터 세트로서 사용해서 얻어진 학습 데이터를 사용하여, 3D 촬상기로 얻어진 미지의 3D 화상으로부터 3차원으로 척주배열 등을 추정하는 것도 가능하다.

더욱이, 본 발명의 제1 및 제2의 실시형태에서는, 인체 배부(인체 후면측)의 입체적 형상에 착목하여 설명하였는데, 인체 후면측의 인체표면의 형상을 나타내는 3D 화상은, 인체 후면측으로부터 거리이미지센서를 사용해서 촬상한 거리화상이라도 무방하다. 또한, 척주배열 등을 추정에 필요한 3D 화상은, 인체후면측의 3D 화상에만 반드시 한정되는 것은 아니다. 척주배열이 반영되는 위치를 포함하는 3D 화상이면, 인체 전면측을 포함하는 인체의 전면을 360°방향에서 본 표면화상을 원본 데이터로 하여도 좋다. 그리고 취득된 360° 방향에서 본 표면화상의 원래의 데이터 내에서, 인체 후면측의 입체적 형상의 데이터를 선택하도록 하여도 좋다.

더욱이, 척주배열은 인체배면측에 가장 반영되기 때문에, 인체 배면측의 3D 화상을 이용하는 것이 호적하지만, 충분한 데이터의 축적이 있으면, 인체 전면측의 3D 화상을 이용하는 것도 가능하고, 인체 전면측의 3D 화상을 CT 화상 등과 데이터 세트로서 사용해서 얻어진 학습데이터를 사용하는 등에 의해, 3차원의 척주배열 등을 추정할 수 있다. 즉, 3차원의 척주배열을 반영할 수 있는 인체표면의 3D 화상의 데이터라면 척주배열 등을 추정할 수 있으므로, 인체 배부의 3D 화상에만 한정되는 것은 아니다.

그리고 본 발명의 제2의 실시형태에 관계되는 촬상장치(3)로서의, 3D 화상의 촬상에 사용하는 3D 촬상기의 파장을 적외선이나 서브밀리파로 하면, 얇은 천을 투과해서 인체표면의 3D 화상을 취득할 수 있다. 따라서, 착의상태라도 인체표면의 3D 화상을 정밀도 좋게 촬상할 수 있어, 척주배열 등을 추정할 수 있다. 그리고 적외선이나 서브밀리파 이외의 파장의 3D 촬상기라도, 노이즈를 제거함으로써 착의상태라도 인체표면의 3D 화상을 촬상하는 것은 가능하다.

[산업상의 이용가능성]

본 발명은 3D 화상이나 무아레 화상으로부터 척주요소의 배열을 추정할 수 있어, 의사에 의한 척주측만증의 진단이나, 판정원에 의한 척주의 확인 등을 용이하게 하는 동시에, 불필요한 X선검사에 의한 의료피폭을 경감할 수 있는 척주배열 추정장치, 척주배열 추정방법 및 척주배열 추정프로그램에 이용 가능하다.

1: 중안연산처리장치(CPU)
2: 기억장치
3: 촬상장치
4: 출력장치
10: 화상처리장치
11: 화상취득부
12: 척주배열 추정부
13: 각도산출부
14: 화상출력 제어부
21: X선 화상기억부
22: 학습용 화상기억부
23: 학습데이터 기억부
31: 투광부
32: 카메라
100: 인체
101, 101a, 101b, 101c, 103: 무아레 화상
102: X선 화상 (입위 X선 정면화상)
201, 203: 3D 화상
202: X선 화상 (CT 화상)
B1~B12: 척주요소 (흉추)
B13~B17: 척주요소 (요추)
C1~C17, P1~017: 중심
F1~F4: 흉추의 4각의 점
L1, L2, L3: 곡선
N1~N4: 목밑 점
V1~V17: 수직선
θ1, θ2: 코브각
θ3: 회선각

Claims

인체 표면의 입체형상을 나타내는 화상을 취득하는 화상취득부와,
축적한 데이터를 사용하여, 상기 취득된 화상으로부터 척주(脊柱)배열을 추정하는 척주배열 추정부와,
상기 추정된 척주배열에 근거하여, 상기 척주배열의 코브각(Cobb angle) 및 회선각(回旋角)의 적어도 한쪽을 산출하는 각도산출부를 구비하는 것을 특징으로 하는 척주배열 추정장치.
제1항에 있어서,
상기 척주배열 추정부는, 상기 화상이 취득되는 상기 인체의 척주를 구성하고 있는 복수의 척주요소의 중심의 좌표를 상기 척주배열로서 추정하는 것을 특징으로 하는 척주배열 추정장치.
제2항에 있어서,
상기 척주배열 추정부는, 상기 복수의 척주요소의 상기 중심의 좌표를 연속시키는 곡선을 산출하는 것을 특징으로 하는 척주배열 추정장치.
제2항 또는 제3항에 있어서,
상기 척주배열 추정부는, 상기 복수의 척주요소의 극돌기(棘突起)의 좌표를 추정하고,
상기 복수의 척주요소의 상기 중심의 좌표 및 상기 극돌기의 좌표에 근거하여, 상기 회선각을 추정하는 것을 특징으로 하는 척주배열 추정장치.
제1항 내지 제3항 중 어느 한 항에 있어서,
상기 화상취득부가 취득하는 화상이, 3차원 촬상기에 의해 촬상된 3차원화상인 것을 특징으로 하는 척주배열 추정장치.
제1항 내지 제3항 중 어느 한 항에 있어서,
상기 화상취득부가 취득하는 화상이, 무아레(moire)화상기에 의해 촬상된 인체 배면(背面)의 무아레무늬를 포함하는 무아레 화상인 것을 특징으로 하는 척주배열 추정장치.
화상처리장치가, 화상취득부, 척주배열 추정부, 각도산출부 및 기억장치를 구비하고,
상기 화상취득부가, 상기 기억장치에 기억된 인체표면의 입체형상을 나타내는 화상을 취득하는 스텝과,
상기 척주배열 추정부가, 상기 기억장치에 축적한 데이터를 사용하여, 상기 취득된 화상으로부터 척주배열을 추정하는 스텝과,
상기 각도산출부가, 상기 추정된 척주배열에 근거하여, 상기 척주배열의 코브각 및 회선각의 적어도 한쪽을 산출하는 스텝을 포함하는 것을 특징으로 하는 척주배열 추정방법.
화상처리장치가, 화상취득부, 척주배열 추정부, 각도산출부 및 기억장치를 구비하고,
상기 화상취득부에, 상기 기억장치에 기억된 인체표면의 입체형상을 나타내는 화상을 취득시키는 절차와,
상기 척주배열 추정부에, 상기 기억장치에 축적한 데이터를 사용하여, 상기 취득된 화상으로부터 척주배열을 추정시키는 절차와,
상기 각도산출부에, 상기 추정된 척주배열에 근거하여, 상기 척주배열의 코브각 및 회선각의 적어도 한쪽을 산출시키는 절차를 컴퓨터에 실행시키는 것을 특징으로 하는, 매체에 기록된 척주배열 추정프로그램.