KR20150106151A - 동적 움직임 측정을 통한 안면 신경마비의 정량화 방법 - Google Patents
동적 움직임 측정을 통한 안면 신경마비의 정량화 방법 Download PDFInfo
- Publication number
- KR20150106151A KR20150106151A KR1020140028281A KR20140028281A KR20150106151A KR 20150106151 A KR20150106151 A KR 20150106151A KR 1020140028281 A KR1020140028281 A KR 1020140028281A KR 20140028281 A KR20140028281 A KR 20140028281A KR 20150106151 A KR20150106151 A KR 20150106151A
- Authority
- KR
- South Korea
- Prior art keywords
- facial
- information processing
- image
- processing apparatus
- moving
- Prior art date
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 45
- 230000001815 facial effect Effects 0.000 title claims abstract description 22
- 208000036826 VIIth nerve paralysis Diseases 0.000 title description 54
- 208000004929 Facial Paralysis Diseases 0.000 title description 52
- 238000005259 measurement Methods 0.000 title description 15
- 238000000034 method Methods 0.000 claims abstract description 50
- 239000003550 marker Substances 0.000 claims abstract description 20
- 230000004899 motility Effects 0.000 claims abstract description 10
- 230000010365 information processing Effects 0.000 claims description 24
- 208000006373 Bell palsy Diseases 0.000 claims description 13
- 210000000256 facial nerve Anatomy 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 claims description 4
- 210000001097 facial muscle Anatomy 0.000 abstract description 21
- 230000003387 muscular Effects 0.000 abstract 1
- 238000011002 quantification Methods 0.000 description 14
- 210000001508 eye Anatomy 0.000 description 10
- 238000012360 testing method Methods 0.000 description 9
- 210000003205 muscle Anatomy 0.000 description 8
- 238000011156 evaluation Methods 0.000 description 7
- 238000012937 correction Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000007830 nerve conduction Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000004393 prognosis Methods 0.000 description 4
- 238000011282 treatment Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 238000000691 measurement method Methods 0.000 description 3
- 239000003973 paint Substances 0.000 description 3
- 206010068737 Facial asymmetry Diseases 0.000 description 2
- 208000004140 Synkinesis Diseases 0.000 description 2
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 238000002567 electromyography Methods 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 208000014674 injury Diseases 0.000 description 2
- 210000005036 nerve Anatomy 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000008733 trauma Effects 0.000 description 2
- 206010003591 Ataxia Diseases 0.000 description 1
- 208000003174 Brain Neoplasms Diseases 0.000 description 1
- 206010008111 Cerebral haemorrhage Diseases 0.000 description 1
- 206010010947 Coordination abnormal Diseases 0.000 description 1
- 201000004624 Dermatitis Diseases 0.000 description 1
- 208000007514 Herpes zoster Diseases 0.000 description 1
- 208000029578 Muscle disease Diseases 0.000 description 1
- 208000021642 Muscular disease Diseases 0.000 description 1
- 241000158526 Nasalis Species 0.000 description 1
- 206010033799 Paralysis Diseases 0.000 description 1
- 206010034972 Photosensitivity reaction Diseases 0.000 description 1
- 208000012641 Pigmentation disease Diseases 0.000 description 1
- 206010040954 Skin wrinkling Diseases 0.000 description 1
- 206010047139 Vasoconstriction Diseases 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 238000011256 aggressive treatment Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 206010012601 diabetes mellitus Diseases 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000004399 eye closure Effects 0.000 description 1
- 238000013100 final test Methods 0.000 description 1
- 208000019622 heart disease Diseases 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 208000016290 incoordination Diseases 0.000 description 1
- 208000027866 inflammatory disease Diseases 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 231100000518 lethal Toxicity 0.000 description 1
- 230000001665 lethal effect Effects 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000004398 oculomotor muscle Anatomy 0.000 description 1
- 208000021090 palsy Diseases 0.000 description 1
- 230000036211 photosensitivity Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 238000011870 unpaired t-test Methods 0.000 description 1
- 230000025033 vasoconstriction Effects 0.000 description 1
- 230000002747 voluntary effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/40—Arrangements for generating radiation specially adapted for radiation diagnosis
- A61B6/4021—Arrangements for generating radiation specially adapted for radiation diagnosis involving movement of the focal spot
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Physics & Mathematics (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- High Energy & Nuclear Physics (AREA)
- Radiology & Medical Imaging (AREA)
- Optics & Photonics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Physiology (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
본 발명에 따르면, 두 대의 영상획득장치를 이용하여 안면의 동영상을 획득하여, 안면근육의 움직임 거리와 속도를 이용하여 동적인 관점에서 안면근육의 운동성을 분석하며, 두 대의 영상획득장치를 사용하여 안면 전체의 움직임을 추적하여 영상을 보정함으로써 측정하고자 하는 안면 부위의 근운동을 제한하지 않고 정확한 측정을 할 수 있다.
Description
본 발명은 안면 신경마비의 정량화 방법에 관한 것으로서, 더 구체적으로는 컴퓨터 영상추적 기술을 통해 다양한 안면근육의 움직임 속도를 분석하여 안면마비의 정도를 객관적으로 정량화할 수 있는 방법에 관한 것이다.
안면신경은 우리 몸의 신경 중에서 가장 길고 좁은 골 조직을 통과해서 나오는 특이한 신경이며, 신경마비도 비교적 흔한 질환이다. 안면마비는 예후가 좋으면서도 가장 빈도가 높은 벨마비, 미국의 경우 전체 안면마비의 15%를 차지하는 흔한 원인인 라임질환, 특징적인 수포와 이통을 동반하는 이성대상포진과 같은 염증성 질환뿐만 아니라 선천성 기형, 뇌종양, 뇌출혈, 안면외상 등 매우 다양한 원인에 의해 발생한다. 일측성 안면마비는 고도화된 사회생활에 매우 치명적인 원인으로 작용할 수 있고 단순한 몇 개 근육의 질환이 아닌 정신적인 고통과 같은 무형의 손실이 매우 큰 질환이다. 따라서 예후가 나쁠 것으로 판단되는 경우, 적극적인 치료와 충분한 재활훈련을 조기에 권유해야 하나 국내에서는 구안와사라 하여 질환을 매우 가볍게 여기는 경향까지 있다.
안면마비 정도를 정량화하는 작업은 치료계획을 세우거나 예후를 판정하는데 중요하다. 안면신경은 23개의 쌍을 이루는 안면 근육의 움직임을 관장하기 때문에 양측의 전체적인 균형감뿐만 아니라 국소적인 평가가 필요하다.
1985년 AAO-HNS가 제시한 House-Brackmann 안면마비등급체계(House-Bracm
man grading system, HB-FGS)를 전 세계에서 공통적으로 사용하고 있으나 안면전체 평가법이면서도 안면근육 중 일부만을 측정한다는 단점과 synkinesis와 같은 변화를 반영하지 못하는 단점이 있어 Yanagihara,Sunnybrook (SFGS) 등 보완 수정된 국소평가방법들이 제시되었으나 HB-FGS과 마찬가지로 주관적 측정법이라는 제한점이 있다.
안면마비의 예후나 수술 여부를 결정함에 중요한 기준으로 사용하는 안면신경전도검사(Electroneuronography, ENoG)의 경우, 임상병기들과 상관성은 인정되더라도 HB-FGS를 포함한 주관적 검사법들과 정확히 맞지 않는 경우를 종종 접하게 된다.
최근 2000fps이상의 초고속촬영법과 다양한 3차원 렌더링기술을 이용한 안면근육의 변화 측정기술, 조명을 이용한 실시간 안면 모델링 기술 등 다양한 안면측정법들이 시도되었으나 이들 방법들은 특수 카메라 장비나 뛰어난 성능의 컴퓨터와 복잡하고 느린 프로그램 혹은 특수한 조명장치를 필요로 하여 단순한 모델링에는 적용을 할 수 있을지언정 실제 임상에서 누구나 공감하는 판정기준을 만들기에는 무리가 있다. 더군다나 synkinesis 등과 같은 안면근육의 변화를 측정하기 위해서는 아주 빠른 영상분석이 필요하지만 현재 제시된 방법들은 이를 충분히 반영할 수 있다고 보기 어렵다.
따라서 향후 발달하게 될 원격진료/ 재택진료 등과 같은 진료환경에서 더욱 간편하게 그리고 경제적이면서도 정확도를 3차원 렌더링에 준하는 수준으로 끌어올린 간편한 진단 시스템을 갖추는 것은 매우 시급하다.
또한 기존의 안면마비 정량화 방안들이 모두 정적인 상태로만 안면마비의 정도를 평가하는데 반에 실제로 치료과정에서 환자들은 동적인 안면근육의 부자연스러움에 호소하고 있으며 심지어 기존 평가법에서 정상으로 판정되더라도 주관적인 불편함이 잔존하는 경우를 쉽게 볼 수 있다. 이는 기존의 안면신경 평가법이 신경의 전도성과 기능성을 근육의 운동량으로 평가하면서도 운동량의 위치개념만 강조하고 순수한 운동성을 반영하지 않았기 때문이다.
본 발명은 상기와 같은 배경에서 고안된 것으로서, 웹캠과 컴퓨터를 이용한 영상처리를 통해 안면근육의 운동성을 측정함으로써 객관적이고 검사 간 오차가 적은 안면마비의 정량화 방법을 제공하고자 한다.
이러한 안면마비의 정량화 방법은 안면마비의 진단과 치료를 위한 정보를 제공하는 방법으로 사용될 수 있을 것이다.
본 발명은 상기와 같은 과제를 해결하기 위한 것으로서, 영상획득장치를 이용하여 안면의 동영상을 획득하여, 안면근육의 움직임 거리와 속도를 이용하여 안면근육의 운동성을 분석하되, 두 대의 영상획득장치를 사용하여 안면 전체의 움직임을 추적하여 영상을 보정한다.
즉, 본 발명의 일 면에 따른 안면 신경마비의 정량화 방법은, 두 개의 영상획득장치와 상기 두 개의 영상획득장치에 연결된 정보처리장치를 이용하여 안면 신경마비를 정량화하는 방법으로서, 상기 두 개의 영상획득장치를 이용하여 마커가 표시된 안면의 동영상을 획득하는 단계; 획득된 동영상을 상기 정보처리장치로 전달하는 단계; 상기 정보처리장치에 의하여, 상기 두 개의 영상획득장치 중 하나에 의해 획득된 동영상을 이용하여 안면 윤곽을 추적하여 상기 두 개의 영상획득장치 중 다른 하나에 의해 획득된 동영상을 보정하는 단계; 및 상기 정보처리장치에 의하여, 보정된 상기 동영상을 통해 안면 운동성을 계산하는 단계를 포함하여 이루어진다.
상기 안면 운동성을 계산하는 단계는, 상기 정보처리장치에 의하여, 상기 마커의 이동거리를 측정하는 단계; 및 상기 정보처리장치에 의하여, 측정된 상기 이동거리를 이용하여 이동속도를 계산하는 단계를 포함할 수 있다.
상기 마커의 이동거리를 측정하는 단계는, 일정시간 동안 상기 마커의 이동거리를 측정하는 단계; 및 상기 안면의 좌우에서 비율을 계산하는 단계를 포함할 수 있으며, 상기 이동속도를 계산하는 단계는 측정된 상기 이동거리를 상기 영상획득장치의 촬영속도로 나누어 계산하는 것일 수 있다.
상기 보정하는 단계는, 상기 영상획득장치와 관련된 고유 정보를 보정하는 단계; 초점 거리에 대한 정보를 보정하는 단계; 및 상기 안면의 회전과 이동을 보정하는 단계를 포함할 수 있으며, 다음의 [수학식 1] 및 [수학식 2]를 사용하여 수행되는 것이 바람직하다.
[수학식 1]
[수학식 2]
상기 안면 운동성의 계산 결과는 상기 정보처리장치를 통해 표시될 수 있다.
본 발명의 다른 면에 따른 안면 신경마비의 정량화 방법은, 영상획득장치와 상기 영상획득장치에 연결된 정보처리장치를 이용하여 안면 신경마비를 정량화하는 방법으로서, 상기 영상획득장치를 이용하여 마커가 표시된 안면의 동영상을 획득하는 단계; 획득된 동영상을 상기 정보처리장치로 전달하는 단계; 상기 정보처리장치에 의하여, 상기 마커의 이동거리를 측정하는 단계; 및 상기 정보처리장치에 의하여, 측정된 상기 이동거리를 이용하여 이동속도를 계산하는 단계를 포함한다.
이때, 상기 정보처리장치의 표시부를 통하여, 상기 안면의 움직임 전후의 정지영상, 상기 마커의 이동거리 및 계산된 상기 이동속도를 표시하는 단계를 더 포함할 수 있다.
본 발명에 의하면 매우 객관적이며 검사 간 오차가 적은 안면마비의 정량화 결과를 얻을 수 있다. 또한, 본 발명에 따른 안면마비의 정량화 결과는 환자의 주관적 불편감을 반영함과 동시에 기존의 6단계 정도의 단순한 등급이 아닌 무한등급화가 가능한 효과가 있다.
도 1은 본 발명의 실시예에 따른 안면마비의 정량화를 위한 측정 시스템을 나타내는 도면이다.
도 2는 본 발명의 실시예에 따른 안면마비 정량화 시스템에서 사용되는 눈 주위 마커의 위치를 나타낸다.
도 3은 본 발명의 실시예에 따른 안면마비 정량화 방법의 흐름도이다.
도 4는 본 발명의 실시예에 따른 안면마비 정량화 시스템의 측정예를 표시하는 화면과 운동성 계산의 알고리즘을 보여준다.
도 5는 본 발명의 실시예에 따른 안면마비 정량화 시스템의 화면 표시예로서, 안면마비의 정량화 결과를 자동으로 화면에 표시해주는 것을 보여준다.
도 6은 비교예로 사용하기 위한 건강인의 안면 움직임의 측정 결과 그래프이다.
도 7은 종래기술의 안면마비 평가 방법인 HB-FGS, 안면신경전도 검사(ENoG) 및 본 발명의 실시예에 따른 안면마비 정량화 방법에 따른 결과를 비교한 그래프이다.
도 8은 안면마비가 시작되고 14일째의 HB-FGS, ENoG 및 본 발명의 실시예에 따른 안면마비 정량화 방법의 측정 결과를 비교한 그래프이다.
도 2는 본 발명의 실시예에 따른 안면마비 정량화 시스템에서 사용되는 눈 주위 마커의 위치를 나타낸다.
도 3은 본 발명의 실시예에 따른 안면마비 정량화 방법의 흐름도이다.
도 4는 본 발명의 실시예에 따른 안면마비 정량화 시스템의 측정예를 표시하는 화면과 운동성 계산의 알고리즘을 보여준다.
도 5는 본 발명의 실시예에 따른 안면마비 정량화 시스템의 화면 표시예로서, 안면마비의 정량화 결과를 자동으로 화면에 표시해주는 것을 보여준다.
도 6은 비교예로 사용하기 위한 건강인의 안면 움직임의 측정 결과 그래프이다.
도 7은 종래기술의 안면마비 평가 방법인 HB-FGS, 안면신경전도 검사(ENoG) 및 본 발명의 실시예에 따른 안면마비 정량화 방법에 따른 결과를 비교한 그래프이다.
도 8은 안면마비가 시작되고 14일째의 HB-FGS, ENoG 및 본 발명의 실시예에 따른 안면마비 정량화 방법의 측정 결과를 비교한 그래프이다.
이하, 도면을 참조하여 본 발명의 실시예에 따른 동적 움직임 측정을 통한 안면신경마비의 정량화 방법을 설명한다. 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략한다.
도 1은 본 발명의 실시예에 따른 안면마비의 정량화를 위한 측정 시스템(이하, "안면마비 정량화 시스템"이라 한다)을 나타내는 도면이다.
도 1에 나타난 바와 같이, 본 발명의 실시예에 따른 안면마비 정량화 시스템은 측정하고자 하는 환자의 안면(10)의 정면에 배치된 두 대의 웹캠(110, 120)과 웹캠(110, 120)을 통해 측정된 동영상을 수신하여 영상처리하는 컴퓨터(도시하지 않음)를 포함한다. 그밖에 환자가 착석하기 위한 의자나 환자의 안면을 지지하기 위한 지지부, 환자의 안면과 웹캠을 정렬하기 위한 정렬부 등이 포함될 수 있지만, 이러한 구성요소들은 본 기술분야에서 일반적으로 이해될 수 있는 범위이므로 이에 대한 구체적인 설명을 생략한다.
두 대의 웹캠(110, 120) 중 하나(110)는 안면 윤곽을 추적하기 위한 것으로서 머리 전체의 흔들림을 추적하며, 다른 하나(120)는 안면근육의 움직임을 기록하기 위해 사용된다.
웹캠으로 안면운동을 측정할 때 일정한 기하학적 데이터를 얻기 위해서는 머리 고정이 필수적이라고 할 수 있다. 그러나, 머리 고정을 과도하게 하는 경우 오히려 안면근육 운동을 제한하는 요소로 작용할 가능성이 있다. 이에 따라, 본 발명의 실시예에 따른 안면마비 정량화 시스템에서는, 안면부 근육운동 측정을 방해하지 않으면서도 입을 벌리거나 말을 해도 측정점들에 영향이 가장 적은 영향을 받도록 두 개의 웹캠을 이용하여 안면 윤곽을 추적한다. 구체적으로 도 1에 나타난 실시예에서는, 안면부로부터 20cm 전방에 동일한 두 개의 웹캠을 수직으로 배열하였다.
도 2는 본 발명의 실시예에 따른 안면마비 정량화 시스템에서 사용되는 눈 주위 마커의 위치를 나타낸다.
얼굴에 표시할 마커의 위치는 한국표준연구원(http://www.kriss.re.kr)에서 제공하는 얼굴의 측정점들 중에서 안구주변 가장 큰 움직임을 반영하는 위치를 선정하였으며, 이후에 더 자세히 설명할 실험에서는 선정된 지점에 수용성의 빨간색의 페인트를 직경 2mm의 튜브형 도장으로 자국을 남겼다. 그러나, 얼굴에 표시하는 마커의 위치나 개수는 필요에 따라 달라질 수 있으며, 이를 표시하는 방법 또한 특별한 제한이 없음은 당연할 것이다.
이제, 상술한 바와 같은 시스템을 이용한 안면마비 정량화 방법과 이를 통해 실제로 실시한 실험예에 대해 상세히 설명한다.
도 3은 본 발명의 실시예에 따른 안면마비 정량화 방법의 흐름도이다.
도 3에 나타난 바와 같이, 먼저, 진단하고자 하는 환자의 안면에 마커를 표시한다(S310).
다음, 마커가 표시된 안면의 움직임에 대해서 상술한 바와 같은 두 대의 웹캠을 이용하여 동영상을 획득한다(S320).
디지털 카메라를 이용한 동영상획득은 주변조도에 따라 영상결과물의 객관적인 차이를 보일 수 있다. 따라서 일정조도를 유지하기 위해 외부 조명이 없는 실내에서 가시광파장의 LED 조명 4개를 20cm 거리에서 직선상으로 조사하였다. 안면근육 운동성검사를 위한 프로토콜은 흔히 사용하는 환자 본인이 할 수 있는 최대한 빠른 속도로 "눈 감기", "E", "O" 발음시의 안륜근과 입 주위 근육의 움직임을 녹화하였고, 정신을 집중한 상태에서 검사프로토콜을 10회 이상 반복하도록 교육한 후에 동일한 조건에서 최종검사를 수행하였다.
획득된 동영상은 컴퓨터로 전달되어 보정된다(S330).
카메라 및 분석프로그램의 보정은 1mm직경의 검은 점을 0.5cm간격의 격자형태로 A4크기의 투명필름에 인쇄하여 테스트 튜브 전면에 부착하고 이때 카메라를 통해 얻어진 영상과의 픽셀비율을 계산한 보정값을 분석용 프로그램에 대입하였다. 보정 과정은 이론상의 한 점 X, Y, Z를 실제 공간상에서의 좌표라 보면, 변환된 u, v는 카메라로부터 얻어진 영상의 픽셀 좌표라 간주하였다. 그리고 행렬 A는 camera matrix 로 카메라와 관련된 고유 정보를 보정하기 위함이고, 초점 거리에 대한 보정도 이 행렬을 통하여 이루어졌다. 그리고 [R|t]는 회전과 이동을 보정하기 위한 것으로 카메라 고유의 정보라기보다 외부 카메라 위치에 의한 영향을 반영하는 인자였다. 그러므로 보정을 통하여 위 행렬 정보들을 구한 다음 얻어진 영상들을 통해서 분석을 할 경우, 실제 3 차원 정보가 2차원으로 투영된 것에 대한 왜곡을 최소화할 수 있었다. 구체적으로 영상의 보정은 다음의 [수학식 1] 및 [수학식 2]를 사용하여 수행될 수 있다.
다음, 안면운동성을 분석하기 위하여 마커의 이동거리 및 속도를 계산한다(S340).
안면운동성을 분석하기 위한 구체적인 방법은 다음과 같다.
Open CV로 차감법을 통한 이진영상처리법과 이동픽셀을 수량화하는 방법을 사용하여 일정시간 간 이동거리를 측정하고 안면부 좌우에서 비율을 계산하였다. 여기서 얻은 양측의 비율은 정상측에 대한 비정상측의 비율의 값으로 표시하여 최종 '1'의 값을 갖는 경우 정상으로 판독하도록 한다. 이렇게 하는 이유는 마커를 찍을 때의 오차를 최소화하기 위한 것이다. 이런 방법은 ENoG에서도 동일한 방법으로 계산하는 방법이다. 이에 따라 ENoG에서 얻은 값을 100으로 나눈 값과 동일한 수치를 얻게 된다.
먼저 다음의 [수학식 3]을 이용하여, 단위시간당 이동거리를 측정하기 위해 얻어진 차영상을 Binary image로 전환시킨다.
다음, [수학식 4]와 같이, 마커가 찍혀진 점(i, j)를 차영상에서 차감하여 픽셀단위의 이동거리를 추출하고,
마커 점의 이동속도(Vmax)는 다음의 [수학식 5]에 나타난 바와 같이, 앞서 측정한 이동거리를 촬영속도인 30fps로 나누어 계산한다.
도 4는 본 발명의 실시예에 따른 안면마비 정량화 시스템의 측정예를 표시하는 화면과 운동성 계산의 알고리즘을 보여준다.
도 4에 나타난 바와 같이, 양쪽 눈 주위에 표시한 마커의 이동 거리를 구하고, 이에 따라 움직임의 속도를 계산하여, 두 값을 표시한다.
도 4의 화면예에서 오른쪽 위 부분에 오른쪽 및 왼쪽 눈에 대해 각각 거리와 속도 값이 표시되어 있으며, 오른쪽 아래 부분은 입주위 근육의 운동성을 표시하기 위한 부분이다.
도 5는 본 발명의 실시예에 따른 안면마비 정량화 시스템의 화면 표시의 다른 예로서, 안면마비의 정량화 결과를 자동으로 화면에 표시해주는 것을 보여준다.
도 5에서는 안면 근육 움직임 전후의 사진과 각 사진에 대해 눈 주위 마커 사이의 거리를 표시한 사진을 화면 상에 표시해주며, 안면 근육 움직임 전후의 거리 변화와 속도를 표시해준다.
이제, 본 발명의 실시예에 따른 안면마비 정량화 방법의 구체적인 실험예에 대해 상세히 설명한다.
본 연구는 2009년 11월부터 2010년 3월까지 인천에 소재한 3차 병원에 내원한 환자를 대상으로 임상시험심사위원회(GIRBA2304)의 허가를 받아 전향적으로 환자-대조군연구의 형태로 시행되었다. 연구에 참여한 대상은 정상 대조군 (y = 44 ± 9.68; n = 10; male/female ratio = 4/6)과 안면마비 환자군(y = 45 ± 10.51; n = 15; male/female ratio = 8/7, right-/left-side lesions = 7/8)으로 분류하였다.
안면마비 환자군은 벨마비(Bell’s palsy)이면서 발병 후 3일 이내 병원에 내원하였고 내원 전에 투약을 받지 않은 경우로 제한하였다. 내원 후 7일째에 본 발명의 실시예에 따른 웹캠을 이용한 안면근육 운동성 검사와 ENoG를 시행하였다. 대조군은 안면마비 환자군과 연령을 고려하여 건강한 성인을 대상으로 자발적 참여에 의해 동일한 검사가 시행되었다.
안면마비 환자군에서 광과민성 혹은 외상, 주름, 선천성 기형 및 얼굴 비대칭, 수성페인트에 의한 피부 알레르기, 피부 색소침착, 당뇨나 심장질환으로 인한 안면부의 변화, 중환자와 같이 수의적인 안면근육의 수축과 이완이 어려운 환자는 연구대상 선정과정에서 제외하였다.
영상획득은 웹캠(PLEOMAX® PWC-2200, Samsung, Seoul, Korea)과 WindowsO Movie Maker (Microsoft®, Redmond, WA, US)를 이용하였고, 획득된 동영상은 IBM 호환컴퓨터(Core™ 2 Quad CPU Q6600 @ 2.40GHz, Intel®, Santa Clara, CA, USA)에 2GB DDR3 RAM, Samsung, Seoul, Korea)에 저장하였다. 컴퓨터의 운영체계로는 Windows® XP SP3 (Microsoft®, Redmond, WA, USA) 를 사용하였다. 녹화를 위한 카메라 셋팅은 B/W mode, 60Hz flicker, Gamma=0.18, Contrast=1.08, Brightness=16, White balance=auto, USB bandwidth=auto, Frame rate=1fps, Time limit=3600s로 하여 800x600pixel 크기로 ‘*.avi’ 파일 형태로 저장했다. 영상처리와 자료분석을 위해 Visual Studio 6.0, OpenCV v1.0 (Microsoft®, Redmond, WA, USA), Matlab® v6.5 (MathWorks Inc, MA, US), Excel 2007 (Microsoft®, Redmond, WA, USA)를 사용하였다.
이와 같이 획득된 영상을 기반으로, 앞서 도 3을 참조하여 설명한 본 발명의 실시예에 따른 안면마비 정량화 방법에 따른 알고리즘을 사용하여 정상대조군과 안면마비 환자군에 대한 측정 결과를 얻었다.
통계처리는 Prism® 4 for windows (Graphpad software Inc., CA, USA)를 이용하여 선형회귀(linear regression & R square, Pearson r, p-value (95% confidence interval), Unpaired t-test with F-test for variances (95% confidence interval)를 시행하였다.
도 6은 비교예로 사용하기 위한 건강인의 안면 움직임의 측정 결과 그래프이다.
도 6의 A에서 ERL 및 ELL은 좌우측 안구의 눈감김 거리(화소)[(eye right length (ERL); eye left length (ELL); pixel]를 나타내며, ERV 및 ELV는 좌우측 안구의 눈감김 속도(화소/초)[eye right velocity (ERV); eye left velocity (ELV); pixel/s]를 나타낸다. 도 6의 B 및 C는 움직임 거리 및 속도의 변동계수(coefficient of variation)의 분포를 나타낸다.
ERL 및 ELL, ERV 및 ELV는 각각 65.19±2.23, 70.78±1.85과, 157.87±23.04, 164.95±23.60이었다. 눈감기에 대한 거리측정치는 좌우에서 유의한 차이를 보였으며(p=1.39E-15) 속도는 높은 편차로 인해 좌우에 유의한 차이를 보이지 않았다(p=0.24).
각 눈감김 거리와 속도에 대한 변동계수를 이용하여 데이터의 균질성과 역동성을 측정해 보았을 때, 거리에 대해서는 양의 비례함수를 얻을 수 있었고(y = 0.6021x - 0.6322; R² = 0.5258), 속도에 대해서도 역시 양의 비례함수를 얻을 수 있었다(y = 0.8721x - 0.3575, R² = 0.7249).
도 7은 종래기술의 안면마비 평가 방법인 HB-FGS, 안면신경전도 검사(ENoG) 및 본 발명의 실시예에 따른 안면마비 정량화 방법에 따른 결과를 비교한 그래프이다.
본 발명의 실시예에 따른 안면마비 정량화 방법과 비교하기 위해 기존의 안면신경 평가방법으로 가장 널리 쓰이는 House-Brackmann 등급법과 안면신경전도 검사(ENoG)를 수행하였다.
HB-FGS는 이비인후과 전문의 1명과 안면마비 환자 치료의 경험이 있는 이비인후과 전공의 3명의 의견에 따라 모든 환자에 적용하였으며, 결과는 다음의 [표 1]과 같다.
| Patient | Otologist | R1 | R2 | R3 | ENoG |
| 이0미 | IV | III | IV | IV | 75 |
| 신0님 | V | V | V | V | 100 |
| 송0화 | IV | V | IV | IV | 83.3 |
| 김0경 | IV | IV | IV | V | 56.2 |
| 김0규 | IV | VI | V | V | 21.1 |
| 한0귀 | V | V | V | V | 93.3 |
| 박0문 | V | V | V | V | 91.7 |
| 최0완 | II | II | II | II | 27.3 |
| 조0현 | V | IV | IV | IV | 42.9 |
| 김0주 | II | II | II | II | 7.7 |
| 변0완 | II | III | III | III | 40.9 |
| 최0진 | II | II | II | II | 66.6 |
| 공0순 | V | VI | V | V | 93.8 |
| 최0영 | IV | III | III | III | 40.0 |
| 홍0희 | III | IV | IV | IV | 81.3 |
그리고, 급성 안면신경 자체의 손상을 객관적으로 평가하기 위해 안면신경전도 검사(electroneuronography)와 안면근육의 침 근전도 검사(needle electromyography)를 시행하였다. 침 근전도 검사는 세침전극을 양측의 nasalis 근육과 안륜근에 삽입하여 휴지기와 수의적 수축기간 중 전위를 측정하는 방법을 이용하였다.
도 7에 나타난 바와 같이, ENoG의 결과는 HB-FGS와 높은 상관관계를 보여주며(도 7의 A), 본 발명의 실시예에 따른 안면마비 정량화 방법의 측정 결과 또한 HB-FGS와의 높은 상관관계를 나타낸다(도 7의 C).
HB-FGS는 6단계로 분류된다. 따라서 이를 눈감김 거리와 속도 좌우비율(최대값=1)로 환산하여 보았을 때, 비록 HB-FGS 보정값이 ENoG와 비례관계를 보인다 할지라도 눈감김 거리와 속도와의 상관계수가 더 좋은 상관관계를 보였고 이는 7일째뿐만 아니라 14일째 측정에서도 동일한 결과를 보였다.
도 8은 안면마비가 시작되고 14일째의 HB-FGS, ENoG 및 본 발명의 실시예에 따른 안면마비 정량화 방법의 측정 결과를 비교한 그래프이다.
도 8에 나타난 바와 같이, 본 발명의 실시예에 따른 안면마비 정량화 방법은 HB-FGS 방법에 비해 더 나은 정확도를 보여준다.
안면표정은 안면근육의 협동운동으로 완성이 되며, 이런 과정에서 여러 근육 움직임의 부조화는 표정의 결과물이 같을지라도 환자에게는 불편함으로 인식된다. 기존의 안면마비를 영상분석으로 평가하는 방법들은 머리 고정장치를 사용하며 그 자체가 일부 안면근육의 운동을 제한할 소지가 있으나, 본 발명의 실시예에 따른 안면마비 평가 시스템은 안면 전체의 움직임을 추적하여 이를 보정하는 기능이 포함되므로 온전히 측정하고자 하는 안면 부위의 근운동을 제한하지 않고 정확히 측정할 수 있다는 장점이 있다. 아울러 이번에 사용한 프로토콜을 이용하는 경우 측정시간이 5분 미만이며 측정치간 오차가 적다는 점에서 향후 충분히 임상에서 사용 가능하다는 점이 특징이다.
한편 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며 후술하는 특허청구의 범위뿐만 아니라 이 특허 청구의 범위와 균등한 것들에 의해 정해져야 한다.
Claims (9)
- 두 개의 영상획득장치와 상기 두 개의 영상획득장치에 연결된 정보처리장치를 이용하여 안면 신경마비를 정량화하는 방법으로서,
상기 두 개의 영상획득장치를 이용하여 마커가 표시된 안면의 동영상을 획득하는 단계;
획득된 동영상을 상기 정보처리장치로 전달하는 단계;
상기 정보처리장치에 의하여, 상기 두 개의 영상획득장치 중 하나에 의해 획득된 동영상을 이용하여 안면 윤곽을 추적하여 상기 두 개의 영상획득장치 중 다른 하나에 의해 획득된 동영상을 보정하는 단계; 및
상기 정보처리장치에 의하여, 보정된 상기 동영상을 통해 안면 운동성을 계산하는 단계를 포함하는 안면 신경마비의 정량화 방법.
- 제 1 항에 있어서,
상기 안면 운동성을 계산하는 단계는,
상기 정보처리장치에 의하여, 상기 마커의 이동거리를 측정하는 단계; 및
상기 정보처리장치에 의하여, 측정된 상기 이동거리를 이용하여 이동속도를 계산하는 단계를 포함하는 안면 신경마비의 정량화 방법.
- 제 2 항에 있어서,
상기 마커의 이동거리를 측정하는 단계는,
일정시간 동안 상기 마커의 이동거리를 측정하는 단계; 및
상기 안면의 좌우에서 비율을 계산하는 단계를 포함하는 안면 신경마비의 정량화 방법.
- 제 3 항에 있어서,
상기 이동속도를 계산하는 단계는,
측정된 상기 이동거리를 상기 영상획득장치의 촬영속도로 나누어 계산하는 것인 안면 신경마비의 정량화 방법.
- 제 1 항에 있어서,
상기 보정하는 단계는,
상기 영상획득장치와 관련된 고유 정보를 보정하는 단계;
초점 거리에 대한 정보를 보정하는 단계; 및
상기 안면의 회전과 이동을 보정하는 단계를 포함하는 안면 신경마비의 정량화 방법.
- 제 5 항에 있어서,
상기 보정하는 단계는,
다음의 [수학식 1] 및 [수학식 2]를 사용하여 수행되는 안면 신경마비의 정량화 방법.
[수학식 1]
[수학식 2]
- 제 1 항에 있어서,
상기 안면 운동성의 계산 결과를 상기 정보처리장치를 통해 표시하는 단계
를 더 포함하는 안면 신경마비의 정량화 방법.
- 영상획득장치와 상기 영상획득장치에 연결된 정보처리장치를 이용하여 안면 신경마비를 정량화하는 방법으로서,
상기 영상획득장치를 이용하여 마커가 표시된 안면의 동영상을 획득하는 단계;
획득된 동영상을 상기 정보처리장치로 전달하는 단계;
상기 정보처리장치에 의하여, 상기 마커의 이동거리를 측정하는 단계; 및
상기 정보처리장치에 의하여, 측정된 상기 이동거리를 이용하여 이동속도를 계산하는 단계를 포함하는 안면 신경마비의 정량화 방법.
- 제 8 항에 있어서,
상기 정보처리장치의 표시부를 통하여, 상기 안면의 움직임 전후의 정지영상, 상기 마커의 이동거리 및 계산된 상기 이동속도를 표시하는 단계
를 더 포함하는 안면 신경마비의 정량화 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140028281A KR101580038B1 (ko) | 2014-03-11 | 2014-03-11 | 동적 움직임 측정을 통한 안면 신경마비의 정량화 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140028281A KR101580038B1 (ko) | 2014-03-11 | 2014-03-11 | 동적 움직임 측정을 통한 안면 신경마비의 정량화 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20150106151A true KR20150106151A (ko) | 2015-09-21 |
| KR101580038B1 KR101580038B1 (ko) | 2015-12-23 |
Family
ID=54245102
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020140028281A KR101580038B1 (ko) | 2014-03-11 | 2014-03-11 | 동적 움직임 측정을 통한 안면 신경마비의 정량화 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101580038B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112001213A (zh) * | 2020-04-25 | 2020-11-27 | 深圳德技创新实业有限公司 | 一种基于3d点云分割的精准面瘫程度评测方法及装置 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102487700B1 (ko) | 2020-09-04 | 2023-01-11 | 인제대학교 산학협력단 | 인공지능 안면인식 알고리즘을 이용한 안면 장애 진단 시스템 |
| KR20230016379A (ko) | 2021-07-26 | 2023-02-02 | 주식회사 인텔리고 | 안면마비 재활을 위한 거울 치료 기반의 검사 시스템 및 방법 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012139272A (ja) * | 2010-12-28 | 2012-07-26 | Tottori Univ | 顔表面の運動機能の測定装置及び測定方法並びに測定用補助具 |
| JP2013059679A (ja) * | 2006-01-10 | 2013-04-04 | Toshiba Corp | 超音波診断装置 |
-
2014
- 2014-03-11 KR KR1020140028281A patent/KR101580038B1/ko active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013059679A (ja) * | 2006-01-10 | 2013-04-04 | Toshiba Corp | 超音波診断装置 |
| JP2012139272A (ja) * | 2010-12-28 | 2012-07-26 | Tottori Univ | 顔表面の運動機能の測定装置及び測定方法並びに測定用補助具 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112001213A (zh) * | 2020-04-25 | 2020-11-27 | 深圳德技创新实业有限公司 | 一种基于3d点云分割的精准面瘫程度评测方法及装置 |
| CN112001213B (zh) * | 2020-04-25 | 2024-04-12 | 深圳德技创新实业有限公司 | 一种基于3d点云分割的精准面瘫程度评测方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101580038B1 (ko) | 2015-12-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Codari et al. | Facial thirds–based evaluation of facial asymmetry using stereophotogrammetric devices: Application to facial palsy subjects | |
| de Menezes et al. | Accuracy and reproducibility of a 3-dimensional stereophotogrammetric imaging system | |
| Malkoc et al. | Reproducibility of airway dimensions and tongue and hyoid positions on lateral cephalograms | |
| Al-Anezi et al. | A new method for automatic tracking of facial landmarks in 3D motion captured images (4D) | |
| Alqattan et al. | Comparison between landmark and surface-based three-dimensional analyses of facial asymmetry in adults | |
| Munn et al. | Changes in face topography from supine-to-upright position—and soft tissue correction values for craniofacial identification | |
| Othman et al. | Validity and reproducibility of the 3D VECTRA photogrammetric surface imaging system for the maxillofacial anthropometric measurement on cleft patients | |
| Silva et al. | Reliability and validity of head posture assessment by observation and a four-category scale | |
| CN107315987B (zh) | 评估面部表观年龄、面部衰老程度的方法及其应用 | |
| Sforza et al. | A three-dimensional study of facial mimicry in healthy young adults | |
| CN114173642A (zh) | 用于诊断和跟踪人的脊柱排列的发展的设备、方法和*** | |
| Hopkins et al. | Validity and reliability of standing posture measurements using a mobile application | |
| Schimmel et al. | Distances between facial landmarks can be measured accurately with a new digital 3-dimensional video system | |
| López-de-Uralde-Villanueva et al. | Relationships between craniocervical posture and pain-related disability in patients with cervico-craniofacial pain | |
| KR101580038B1 (ko) | 동적 움직임 측정을 통한 안면 신경마비의 정량화 방법 | |
| Kowalski et al. | Objective parallel-forms reliability assessment of 3 dimension real time body posture screening tests | |
| CN114287915A (zh) | 一种基于背部彩色图像的无创脊柱侧弯筛查方法及*** | |
| Dyer et al. | Objective computer-based assessment of valleculae residue–is it useful? | |
| Gibelli et al. | Three-dimensional assessment of restored smiling mobility after reanimation of unilateral facial palsy by triple innervation technique | |
| JP2022137109A (ja) | 画像表示システム、及び画像表示方法 | |
| TWI681755B (zh) | 脊椎側彎量測系統與方法 | |
| Tamiya et al. | Measurement of chest wall motion using a motion capture system with the one-pitch phase analysis method | |
| Matsumoto et al. | Preliminary analysis of the 3-dimensional morphology of the upper lip configuration at the completion of facial expressions in healthy Japanese young adults and patients with cleft lip | |
| Kutilek et al. | Methods of measurement and evaluation of eye, head and shoulders position in neurological practice | |
| Zhang et al. | The Feasibility of An Automatical Facial Evaluation System Providing Objective and Reliable Results for Facial Palsy |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20181212 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20191205 Year of fee payment: 5 |