JP2010142285A - System and apparatus for tracking lower anterior tooth part movement and temporomandibular joint noise analyzer - Google Patents

System and apparatus for tracking lower anterior tooth part movement and temporomandibular joint noise analyzer Download PDF

Info

Publication number
JP2010142285A
JP2010142285A JP2008319959A JP2008319959A JP2010142285A JP 2010142285 A JP2010142285 A JP 2010142285A JP 2008319959 A JP2008319959 A JP 2008319959A JP 2008319959 A JP2008319959 A JP 2008319959A JP 2010142285 A JP2010142285 A JP 2010142285A
Authority
JP
Japan
Prior art keywords
image
template
subject
opening
mandibular
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008319959A
Other languages
Japanese (ja)
Other versions
JP5495415B2 (en
Inventor
Katsumi Niwa
克味 丹羽
Hisanori Nakahama
久則 中浜
Koji Hanawa
浩司 花輪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yoshida Dental Mfg Co Ltd
Original Assignee
Yoshida Dental Mfg Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yoshida Dental Mfg Co Ltd filed Critical Yoshida Dental Mfg Co Ltd
Priority to JP2008319959A priority Critical patent/JP5495415B2/en
Publication of JP2010142285A publication Critical patent/JP2010142285A/en
Application granted granted Critical
Publication of JP5495415B2 publication Critical patent/JP5495415B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a system for automatically tracking the opening/closing mouth movement of the lower jaw of a patient without attaching a mounting object such as an implement like a head set or a marker and without contacting the patient. <P>SOLUTION: The template of the first frame image is segmented for respective frame images photographed in one cycle from the mouth opening to mouth closing of a subject, image matching processing is performed to the next frame image using the template, the next template is segmented from the frame image for which the image matching processing is ended, and the image matching processing is performed to the next frame image further using the template. The processing is successively repeated to the last frame image, the trajectory of lower anterior tooth part movements in one cycle from the mouth opening to the mouth closing is automatically tracked and extracted, and diagnosing of the temporomandibular disorder is assisted using the trajectory. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は顎関節症の診断に用いられる顎関節雑音の分析並びに下顎前歯部運動軌跡を追尾するシステムおよび下顎前歯部運動追尾装置に関するものである。   The present invention relates to an analysis of temporomandibular joint noise used for diagnosis of temporomandibular disorders, a system for tracking a mandibular anterior tooth movement locus, and a mandibular anterior tooth movement tracking apparatus.

顎関節症とは「顎関節雑音」、「開口障害(運動障害)」、「疼痛」の3症状をともなう疾患である。
今日では、顎関節症の患者が増加の傾向にあるといわれている。
現代において、多くの顎関節症の患者がいるにも関わらず、顎関節症の診断装置は存在しない。ただし、顎運動を記録描記する装置は市販されており、これを用いれば顎の動きの診断は可能である。
この装置は、患者に大掛かりな測定器具を装着し、患者の下顎前歯に直接マーカとなるものを付けて、外部から測定するものである。
そこで、安価で患者への負担が少ない顎関節症専用の診断装置が開発され、市販されるようになれば、歯科医が正しく顎関節症を定量的に診断し、治療効果を判定することが出来るようになる。
Temporomandibular disorder is a disease with three symptoms of “temporomandibular joint noise”, “opening disorder (movement disorder)”, and “pain”.
Today, it is said that patients with temporomandibular disorders tend to increase.
Although there are many patients with temporomandibular disorders in modern times, there is no diagnostic device for temporomandibular disorders. However, devices for recording and drawing jaw movements are commercially available, and it is possible to diagnose jaw movements using this device.
In this apparatus, a large measurement instrument is attached to a patient, and a patient is directly attached to an anterior jaw of the patient's lower jaw, and measurement is performed from the outside.
Therefore, if a diagnostic device dedicated to temporomandibular disorders that is inexpensive and less burdensome for patients is developed and put on the market, dentists can correctly diagnose temporomandibular disorders and determine the therapeutic effect. become able to do.

顎関節症の診断には以下の要因を解析する必要がある。
1.下顎運動障害
開閉口運動を、カメラを用いて記録し、あるエリアをテンプレートと指定し、画像マッチング処理行うことにより開口から閉口までの下顎前歯部の移動軌跡を測定し、開口度・左右変位量を表示する。
2.顎関節雑音測定
顎関節雑音を、聴診器、マイクロフォンおよび骨伝導マイクロフォンのうち、少なくとも1つを用いて測定し、その雑音についてフーリエスペクトル解析を行う。
3.疼痛の定量評価
VAS(Visual Analog Scale)法を用いる。
The following factors need to be analyzed to diagnose temporomandibular disorders.
1. Mandibular movement disorder Opening and closing mouth movements are recorded using a camera, a certain area is designated as a template, and image matching processing is performed to measure the movement trajectory of the mandibular anterior teeth from the opening to the mouth. Is displayed.
2. Temporomandibular joint noise measurement Temporomandibular joint noise is measured using at least one of a stethoscope, a microphone, and a bone conduction microphone, and Fourier spectrum analysis is performed on the noise.
3. Quantitative assessment of pain
The VAS (Visual Analog Scale) method is used.

本発明は、「1.下顎運動障害」における下顎前歯部運動追尾システムを提案し、かつ「2.顎関節雑音測定」による顎関節雑音の解析を行わんとするものである。   The present invention proposes a mandibular anterior tooth movement tracking system in “1. Mandibular movement disorder” and analyzes temporomandibular joint noise by “2. Measurement of temporomandibular joint noise”.

従来の顎運動の計測では、測定位置に磁気を発生するものを取り付け、その動作に伴う磁場の変化を患者の頭部にアンテナを取り付け測定するものや、測定位置にLED光源を取り付け、光を検出するセンサを頭部に取り付け測定するようにしている。従って、位置検出に特別な装置が必要となる。   In conventional jaw movement measurement, an object that generates magnetism is attached to the measurement position, and the change in the magnetic field that accompanies the movement is measured by attaching an antenna to the patient's head, or an LED light source is attached to the measurement position, and light is emitted. A sensor to be detected is attached to the head for measurement. Therefore, a special device is required for position detection.

この場合には、装置の構成が大きくなり、従ってその設置に大きなスペースも必要となる。また測定位置の個所(例えば唇又は歯)に磁石やLED光源を取り付けるため、患者へも負担がかかってくる。(特許文献1、特許文献2参照)   In this case, the configuration of the apparatus becomes large, and thus a large space is required for the installation. In addition, since a magnet and an LED light source are attached to the measurement position (for example, lips or teeth), a burden is imposed on the patient. (See Patent Document 1 and Patent Document 2)

また、従来の顎関節雑音の分析においては、顎関節症患者の主要症状である顎機能障害と顎関節雑音の関連性を総合的に診査し、鑑別診断と原因の推定、経過の観察、治療用プレートの咬合採得を支援するようにしている。   In the conventional analysis of temporomandibular joint noise, comprehensively examine the relationship between temporomandibular dysfunction and temporomandibular joint noise, which are the main symptoms of patients with temporomandibular disorders, and perform differential diagnosis, cause estimation, follow-up observation, treatment It is designed to support the occlusal acquisition of plates.

従来技術では、顎機能障害と顎関節雑音の関連性を総合的に診査するために、デジタイザーを顎位測定用座標入力装置としたゴシックアーチ描記システムのパーソナルコンピューターと、マイクロホンをセンサーとする振動測定装置とをA/D変換器とインターフェイスを介することによって接続し、両装置を設定された咬合高径に於ける水平面上の顎位置と顎関節雑音を同時に測定するようにしている。(特許文献3参照)   In the conventional technology, in order to comprehensively examine the relationship between dysfunction of the jaw and temporomandibular joint noise, a personal computer of a Gothic arch writing system using a digitizer as a coordinate input device for jaw position measurement and vibration measurement using a microphone as a sensor The devices are connected to the A / D converter through an interface, and both devices are configured to simultaneously measure the jaw position on the horizontal plane and the temporomandibular joint noise at the set occlusal height. (See Patent Document 3)

この特許文献3においては、パーソナルコンピューターへの顎位置測定用座標入力装置としてデジタイザーを用いたゴシックアーチ描記システム(特許文献4参照)を、顎運動測定装置として使用しているが、このゴシックアーチ描記システムは構成が複雑であり、しかも、デジタイザー本体を口腔内に装着する必要があり、患者に多大な負担がかかる。そして、何よりもゴシックアーチ描記そのものはそれ程精度の良いものではない。また、このゴシックアーチ描記装置を有歯顎患者に中心咬合位を取らせた状態で設置することは不可能である。主として、特許文献4は無歯顎患者用である。また、マイクロホンにより顎関節雑音を採音するが、マイクロホンを被検者のどこに設置し、採取した波形でクリック音が抽出されたとして、これをゴシックアーチ上で位置決定されても、なんの意味もない。   In this Patent Document 3, a Gothic arch drawing system (see Patent Document 4) using a digitizer as a coordinate input device for jaw position measurement to a personal computer is used as a jaw movement measuring device. The system has a complicated structure, and it is necessary to install the digitizer body in the oral cavity, which places a great burden on the patient. And above all, the Gothic arches are not very accurate. In addition, it is impossible to install the Gothic arch drawing device in a state in which the patient has a central occlusal position. Patent Document 4 is mainly for edentulous patients. In addition, the temporomandibular joint noise is picked up by the microphone, but if the microphone is placed anywhere in the subject and the click sound is extracted with the collected waveform, it does not mean what it is positioned on the Gothic arch Nor.

更に、特許文献3においては、取得した顎関節雑音の波形分析を行っているだけで、顎関節雑音の周波数分析は行っていない。
特開2003−305065号公報 特許第4191993号公報 特開平10−137269号公報 特公平7−112476号公報
Furthermore, in patent document 3, only the waveform analysis of the acquired temporomandibular joint noise is performed, and the frequency analysis of the temporomandibular joint noise is not performed.
JP 2003-305065 A Japanese Patent No. 4191993 Japanese Patent Laid-Open No. 10-137269 Japanese Patent Publication No.7-112476

本発明の目的は、ヘッドセットのような器具・マーカ等の装着物を取付けず、患者に接触することなく、患者の下顎の開閉口運動を自動追尾するシステムを提供せんとするものである。
本発明の他の目的は顎関節症の主要症状である顎運動の異常に対してこれまで主観的に行われていた顎運動診断にかわって、定量測定ができる下顎前歯部運動追尾装置を開発し、下顎前歯部運動軌跡の解析から、顎運動異常のパラメータを抽出し、診断法の確立、更には顎関節症の病態、病因の解明を図らんとするものである。
本発明の更に他の目的は顎関節雑音のクリック音およびクレピタス音を音響学的に採取解析し、その波形解析、フーリエスペクトル解析および周波数分析を行って顎関節雑音の特徴を描出することにより顎関節雑音の発生のメカニズムを解析し、最終的に顎関節症の病因解明を図らんとするものである。
An object of the present invention is to provide a system that automatically tracks the opening / closing movement of the lower jaw of a patient without attaching an attachment such as a headset or a marker such as a headset and without contacting the patient.
Another object of the present invention is to develop a mandibular anterior tooth movement tracking device that can perform quantitative measurement instead of the jaw movement diagnosis that has been subjectively performed for abnormal jaw movement, which is a major symptom of temporomandibular disorders. From the analysis of the mandibular anterior tooth movement trajectory, the parameters of the jaw movement abnormalities are extracted to establish a diagnostic method and to elucidate the pathophysiology and pathogenesis of temporomandibular disorders.
Still another object of the present invention is to acoustically collect and analyze temporomandibular joint noise click and clepitas sounds, and perform waveform analysis, Fourier spectrum analysis and frequency analysis to depict characteristics of temporomandibular joint noise. The aim of this study is to analyze the mechanism of joint noise generation and finally elucidate the pathogenesis of temporomandibular disorders.

本発明下顎前歯部運動追尾システムは、
口腔開口器によって開口させた被検者の開閉口運動の動画像をカメラにより撮影し、
該撮影された動画像をコンピュータの記録手段に保存し、
該コンピュータの記録手段において保存された動画像を1フレーム毎の静止画像に変換し、
該変換された静止画像のうち、上下顎前歯部が僅かに離開した状態の画像をスタート画像とし、コンピュータの記録手段から読み出し、画像表示手段に表示させ、該スタート画像のうち軌跡を確認したい下顎前歯部の関心部位にマークし、
該マークした点を中心にある範囲の関心領域(ROI)をあらかじめ設定しておき、
該設定された関心領域を第1テンプレートとして抽出し、
該抽出された第1テンプレートを用いて次の2枚目のフレーム画像に対して画像マッチング処理を施し、
該2枚目のフレーム画像で最大マッチングを示す該マークした点の座標を記憶して位置測定を行い、該2枚目のフレーム画像の画像マッチング処理された画像の最大マッチングを示す該マークした点の位置を中心に第1テンプレートと同じ範囲の関心領域を切り出し、これを第2テンプレートとし、該第2テンプレートと3枚目のフレーム画像とで画像マッチング処理を行い、
かかる処理を繰り返すことによってテンプレート作成と画像マッチング処埋を最後の静止画像まで行い、全画像について関心部位の該マークした点の位置を測定し、
各静止画像から得られる画像マッチング処理された位置座標の全てから開閉口運動の全軌跡を求めるようにしたことを特徴とする。
The mandibular anterior tooth movement tracking system of the present invention,
Taking a moving image of the opening and closing movement of the subject opened by the mouth opener with a camera,
Storing the captured moving image in a recording means of a computer;
Converting a moving image stored in the recording means of the computer into a still image for each frame;
Out of the converted still images, an image in which the upper and lower jaw anterior teeth are slightly separated is used as a start image, read from the recording means of the computer, displayed on the image display means, and the lower jaw whose locus is to be confirmed in the start image Mark the area of interest in the anterior teeth,
Set a region of interest (ROI) in the range centered on the marked point,
Extracting the set region of interest as a first template;
An image matching process is performed on the next second frame image using the extracted first template,
The coordinates of the marked point indicating the maximum matching in the second frame image are stored to measure the position, and the marked point indicating the maximum matching of the image subjected to the image matching processing of the second frame image A region of interest in the same range as the first template is cut out centered on the position of, and this is used as the second template, and image matching processing is performed between the second template and the third frame image,
By repeating such processing, template creation and image matching processing are performed up to the last still image, and the position of the marked point of the region of interest is measured for all images,
It is characterized in that the entire locus of the opening / closing movement is obtained from all the position coordinates obtained from each still image and subjected to image matching processing.

本発明下顎前歯部運動追尾システムによれば、前記スタート画像とカメラによって撮影された中心咬合位の画像との間のデータ未取得部分は、直線補間とする。
中心咬合位とは、歯の最大咬合接触時における上下顎の位置関係であり、正常な中心咬合位の顎位は「安静時顎位から2〜4mmかみ込んだところに存在する。
また、安静時顎位とは、下顎頭の最も安定した位置は、上下歯の咬合しないリラックスした顎位であり、咀嚼筋や靭帯が最もリラックスした状態で上下***がかるく接したときの顎位である。
スタート画像として用いた顎位は安静時顎位に相当する。カメラによって撮影された中心咬合位の画像にある被検者の中心咬合位と安静時顎位における2mmから4mmという距離は下顎窩と下顎頭の関係に大きな影響を与えることがなく、咬んだときであっても、下顎窩と下顎頭の隙間は咬まない状態である安静時顎位の下顎窩と下顎頭の位置関係とほぼ同じであると考えられるため、中心咬合位の状態のフレーム画像から安静時顎位の状態であるスタート画像間のデータ未取得部分は直線で補間することが可能である。
According to the mandibular anterior tooth movement tracking system of the present invention, the data unacquired portion between the start image and the central occlusal image photographed by the camera is linear interpolation.
The central occlusal position is the positional relationship between the upper and lower jaws at the time of maximum occlusal contact of the teeth, and the normal central occlusal position is “located at a position 2 to 4 mm from the resting jaw position.
In the resting jaw position, the most stable position of the mandibular head is the relaxed jaw position where the upper and lower teeth do not bite, and the jaw position when the upper and lower lips touch lightly with the masticatory muscles and ligaments in the most relaxed state. It is.
The jaw position used as the start image corresponds to the resting jaw position. The distance from 2mm to 4mm in the central occlusal position and the resting jaw position in the image of the central occlusal position taken by the camera bite without significantly affecting the relationship between the mandibular fossa and the mandibular head Even if, the gap between the mandibular fossa and the mandibular head is considered to be almost the same as the positional relationship between the mandibular fossa and the mandibular head in a resting jaw position in which the bite is not bitten. From the start image, the data unacquired portion between the start images in the resting jaw position can be interpolated with a straight line.

本発明下顎前歯部運動追尾システムによれば、前記静止画像のうち軌跡を確認したい下顎前歯部の関心部位を下顎の正中線の両側にあたる中切歯の隣接面である切端隅角部、すなわち下顎前歯部中点の一点とする。   According to the mandibular anterior tooth movement tracking system of the present invention, the region of interest of the mandibular anterior tooth for which the locus is to be confirmed in the still image, the incisal corner that is the adjacent surface of the central incisor on both sides of the midline of the mandible, that is, the mandibular One point at the midpoint of the anterior teeth.

本発明下顎前歯部運動追尾システムによれば、前記動画像を正面動画像とする。   According to the mandibular anterior tooth movement tracking system of the present invention, the moving image is a front moving image.

本発明下顎前歯部運動追尾システムによれば、前記動画像を正面動画像とは直交する側面動画像とする。   According to the lower anterior tooth movement tracking system of the present invention, the moving image is a side moving image orthogonal to the front moving image.

本発明下顎前歯部運動追尾システムによれば、前記正面動画像からの画像マッチング処理と前記側面動画像からの画像マッチング処理とから三次元的に下顎前歯部の開閉口運動を追尾する。   According to the mandibular anterior tooth movement tracking system of the present invention, the opening / closing movement of the mandibular anterior tooth is tracked three-dimensionally from the image matching process from the front moving image and the image matching process from the side moving image.

本発明下顎前歯部運動追尾システムによれば、被検者の上下顎前歯部の動画像を撮影するカメラと、被検者の開閉口運動時の顎関節雑音を採音する採音器と、A/Dコンバータと、カメラからの動画像および採音器からの採音をA/D変換されたデータとして保存するコンピュータの記録手段とを備え、口腔開口器によって開口させた被検者の上下顎前歯部を露出させた状態、および、採音器を被検者の顎関節部にあてた状態で、被検者に開閉口運動を行わせ、該開閉口運動の動画像をカメラによって撮影し、該撮影された動画像をコンピュータの記録手段に保存すると同時に開閉口運動時の被検者の顎関節雑音を採音し、A/Dコンバータを経てコンピュータの記録手段にデータを保存し、該顎関節雑音発生時の静止画像と採音データとを同期させてコンピュータの記録手段に保存し、開閉口運動時の顎関節雑音の発生したフレーム画像を検知し得るようにする。   According to the mandibular anterior tooth movement tracking system of the present invention, a camera that captures a moving image of the subject's upper and lower jaw anterior teeth, a sound collector that collects temporomandibular joint noise during opening and closing movements of the subject, An A / D converter and a computer recording means for storing a moving image from the camera and a sound collection from the sound collection device as A / D converted data, and a top of the subject opened by the oral opening device With the mandibular anterior teeth exposed and with the sound collector applied to the subject's temporomandibular joint, the subject is caused to perform opening and closing movements, and a moving image of the opening and closing movements is captured by a camera The recorded moving image is stored in the computer recording means, and at the same time, the subject's temporomandibular joint noise during the opening / closing movement is sampled, and the data is stored in the computer recording means via the A / D converter, A still image and sound collection data when the temporomandibular joint noise is generated Thereby synchronize stored in the recording means of the computer, is adapted to detect a frame image generated TMJ noise during off opening movement.

顎関節雑音の採音時にクリック音やクレピタス音が発生した場合には、その部分がピークとして検出できる。このクリック音やクレピタス音のピーク音を検出し、それをトリガーとしてとらえ、その時のフレーム画像をコンピュータの記録手段に保存する。解析時には保存されたクリック音やクレピタス音発生時のフレーム画像を読み出し、抽出した静止画像のマークした点の座標を得ることで、開閉口運動の全軌跡における顎関節雑音の発生位置を特定することができる。   If a click sound or crapitas sound is generated during the temporomandibular joint noise collection, that portion can be detected as a peak. The click sound or the peak sound of the crepitas sound is detected and is used as a trigger, and the frame image at that time is stored in the recording means of the computer. To identify the position of the temporomandibular joint noise generation in the entire locus of the opening and closing movement by reading the frame image when the click sound and crepitus sound generated at the time of analysis are read and obtaining the coordinates of the marked point of the extracted still image Can do.

本発明下顎前歯部運動追尾システムによれば、前記採音器は聴診器、マイクロフォンおよび骨伝導マイクロフォンの少なくとも1つを使用する。   According to the mandibular anterior tooth movement tracking system of the present invention, the sound collector uses at least one of a stethoscope, a microphone, and a bone conduction microphone.

本発明下顎前歯部運動追尾システムによれば、前記採音器を2つ使用する。   According to the mandibular anterior tooth movement tracking system of the present invention, the two sound collectors are used.

更に、本発明下顎前歯部運動追尾装置は、口腔開口器によって開口させ、被検者に開閉口運動を行わせ、該開閉口運動をカメラによって動画像を撮影する手段と、該撮影された動画像をコンピュータの記録手段に保存する手段と、該コンピュータの記録手段において保存された動画像を1フレーム毎の静止画像に変換する手段と、該変換された静止画像のうち、上下顎前歯部が僅かに離開した状態の画像をスタート画像とし、コンピュータの記録手段から読み出し、画像表示手段に表示させる手段と、該表示された該スタート画像のうち軌跡を確認したい下顎前歯部の関心部位にマークする手段と、該スタート画像を用いて軌跡のテンプレート設定を行う手段と、該マークした点を中心にある範囲の関心領域(ROI)をあらかじめ設定する手段と、該設定された関心領域を第1テンプレートとして抽出する手段と、第1テンプレートを用いて次の2枚目のフレーム画像に対して画像マッチング処理を施す手段と、該2枚目のフレーム画像で最大マッチングを示す該マークした点の座標を記憶して位置測定を行う手段と、該2枚目のフレーム画像の画像マッチング処理された画像の最大マッチングを示す該マークした点の位置を中心に第1テンプレートと同じ範囲の関心領域を切り出し、これを第2テンプレートとする手段と、かかる処理を繰り返すことによってテンプレート作成と画像マッチング処埋を最後の静止画像まで行い、全静止画像について関心部位の該マークした点の位置を測定する手段と、各静止画像から得られる画像マッチング処理された該マークした点の位置座標の全てから開閉口運動の全軌跡を求める手段とを備えたことを特徴とする。   Further, the lower anterior tooth movement tracking device according to the present invention comprises means for opening a mouth opening device, causing the subject to perform opening / closing movement, and taking a moving image of the opening / closing movement using a camera, and the captured moving image. Means for storing an image in a recording means of a computer; means for converting a moving image stored in the recording means of the computer into a still image for each frame; An image in a slightly separated state is used as a start image, read from the recording means of the computer, displayed on the image display means, and marked on the region of interest of the anterior part of the lower jaw where the locus is to be confirmed in the displayed start image Means for setting a trajectory template using the start image, and means for presetting a region of interest (ROI) in a range centered on the marked point Means for extracting the set region of interest as a first template, means for performing an image matching process on the next second frame image using the first template, and the second frame image Means for measuring the position by storing the coordinates of the marked point indicating the maximum matching, and the position of the marked point indicating the maximum matching of the image that has been subjected to the image matching processing of the second frame image; A region of interest in the same range as one template is cut out, and this is used as a second template. By repeating such processing, template creation and image matching processing are performed up to the last still image. Means for measuring the position of the marked point, and the position coordinates of the marked point subjected to image matching processing obtained from each still image; Characterized by comprising a means for determining the total trajectory of closure motion from.

本発明下顎前歯部運動追尾装置は、前記スタート画像とカメラによって撮影された中心咬合位の画像との間のデータ未取得部分を直線補間する手段を備える。   The mandibular anterior tooth movement tracking device of the present invention includes means for linearly interpolating a data unacquired portion between the start image and the central occlusal position image taken by the camera.

本発明顎関節雑音分析装置は、被検者の顎関節部に装着した採音器と、該採音器に接続された増幅手段と、該増幅手段に接続された波形出力記録手段と、波形出力を解析する波形解析手段と、採取されたオリジナル波形に、スムージング処理を施す手段と、ウインドウ関数処理を施し、かつフーリエ変換する手段とを備え、または該採音器から採取されたオリジナル波形に、スムージング処理を施す手段と、関心領域を設定し、これを切り出す手段と、ウインドウ関数処理を施し、かつフーリエ変換する手段とを備えることを特徴とする。   The temporomandibular joint noise analyzer of the present invention includes a sound collection device attached to a temporomandibular joint of a subject, amplification means connected to the sound collection device, waveform output recording means connected to the amplification means, and waveform Waveform analyzing means for analyzing the output, means for performing smoothing processing on the collected original waveform, means for performing window function processing and Fourier transform, or the original waveform collected from the sound collector And a means for performing a smoothing process, a means for setting and extracting a region of interest, and a means for performing a window function process and performing a Fourier transform.

本発明顎関節雑音分析装置によれば、前記採音器は聴診器、マイクロフォンおよび骨伝導マイクロフォンの少なくとも1つを使用する。   According to the temporomandibular joint noise analyzer of the present invention, the sound collector uses at least one of a stethoscope, a microphone, and a bone conduction microphone.

本発明顎関節雑音分析装置によれば、前記採音器を2つ使用する。   According to the temporomandibular joint noise analyzer of the present invention, the two sound collectors are used.

上述したように、本発明によれば、患者への装着物を使用しないため患者の負担が減ると共に装着物がないことによる位置付け操作が容易となる。
更に、小型カメラを用いているため小スペース(例えば、チェアサイド) においての測定が可能となる。
As described above, according to the present invention, since the attachment to the patient is not used, the burden on the patient is reduced and the positioning operation due to the absence of the attachment is facilitated.
Furthermore, since a small camera is used, measurement in a small space (for example, a chair side) is possible.

図1に示す本発明下顎前歯部運動追尾装置1において、被検者の顔の正面に、顔正面からカメラ2までの距離を一定に保たせるための器具(鼻下点と額を支点としたもの(図示せず)) を使用し固定されたカメラ2により、***と頬を十分に覆いながら開口し、術野が広範囲に拡大される口腔開口器15によって開口された被検者の上下顎前歯部の開閉口運動の動画像を撮影し、これをカメラ2に接続されているコンピュータ3の記録手段にて記録する。このコンピュータ3の前方には、A/Dコンバータ4が設けられているが、このA/Dコンバータ4は後述する顎関節雑音の採取に使用するものである。   In the mandibular anterior tooth movement tracking device 1 of the present invention shown in FIG. 1, an instrument for keeping the distance from the front of the face to the camera 2 constant on the front of the subject's face (the lower nose point and the forehead as fulcrums) The subject's upper and lower jaws are opened by a mouth opener 15 that is opened while sufficiently covering the lips and cheeks with a camera 2 fixed using an object (not shown). A moving image of the opening / closing movement of the front tooth portion is taken and recorded by the recording means of the computer 3 connected to the camera 2. An A / D converter 4 is provided in front of the computer 3, and this A / D converter 4 is used to collect temporomandibular joint noise described later.

この下顎前歯部運動追尾装置1によって撮影される患者の下顎前歯部運動の軌跡の追跡手段を図2a−図2gにつき説明する。
まず、口腔開口器15(図1参照)によって開口させた患者5の開閉口運動の動画像の撮影をカメラ2により行い(図2a)、この動画像をコンピュータ3の記録手段に保存する。
本発明の口腔開口器15としてはオプトラゲート(Optra gate(商標名))を使用するが、被検者の上下顎前歯部を露出させることが出来るものであればこれに限定されない。
変換された静止画像のうち上下顎前歯部がわずかに離開した状態の画像をスタート画像としコンピュータ3の記録手段から読み出し、画像表示手段に表示させ、表示させたスタート画像のうち、歯科医が軌跡を確認したい下顎前歯部の関心領域を画像表示手段上にマークして、1枚目の静止画像を用いて軌跡の初期設定を行い(図2b)、このマークした点を中心にある範囲の関心領域(ROI)をあらかじめ設定しておき、そのエリアを第1テンプレートとして抽出する(図2c)。斯様にして抽出した第1テンプレートを用いて次の2枚目のフレーム画像に対して画像マッチング処理を施し、2枚目のフレーム画像の画像マッチング処理した画像の中心位置の位置座標を記憶して位置測定を行うと共に画像マッチング処理した画像の最大マッチングを示す該マークした点の位置を中心に第1テンプレートと同じ範囲の関心領域を切り出し、これを次のフレームの第2テンプレートとして使用する(図2d)。かかる処理を繰り返し、このテンプレート作成と画像マッチング処埋を最後の静止画像まで行い、全静止画像(開口から閉口まで)について関心部位の該マークした点の位置を測定し、その各画像から得られる画像マッチング処理した該マークした点の位置座標の全てから開閉口運動の全軌跡を求める(図2e、図2f)、また開口から最大開口度までと最大開口度から閉口までの軌跡の色を変えて表示する、又は矢印表示することが可能である。斯様にして全軌跡から開口度や左右への変位量を測定し、その測定結果としての下顎の運動軌跡を図2gに示す。
これら全運動軌跡から最初のマーク点を中心とし、左右への変位量や最大開口の定量測定も行うことが出来る。
The tracking means of the trajectory of the mandibular anterior tooth movement taken by the mandibular anterior tooth movement tracking apparatus 1 will be described with reference to FIGS. 2a to 2g.
First, a moving image of the opening and closing movement of the patient 5 opened by the mouth opening device 15 (see FIG. 1) is taken by the camera 2 (FIG. 2a), and this moving image is stored in the recording means of the computer 3.
As the mouth opening device 15 of the present invention, an opra gate (Optra gate (trade name)) is used. However, the present invention is not limited to this as long as it can expose the upper and lower jaw front teeth of the subject.
Of the converted still image, the image in which the upper and lower jaw anterior teeth are slightly separated is read as a start image from the recording means of the computer 3 and displayed on the image display means. The region of interest of the mandibular anterior tooth to be confirmed is marked on the image display means, the initial setting of the trajectory is performed using the first still image (FIG. 2b), and the interest in the range centered on this marked point A region (ROI) is set in advance, and the area is extracted as a first template (FIG. 2c). The image matching process is performed on the next second frame image using the first template extracted in this manner, and the position coordinates of the center position of the image subjected to the image matching process on the second frame image are stored. The region of interest is cut out in the same range as the first template around the position of the marked point indicating the maximum matching of the image subjected to the position measurement and image matching processing, and this is used as the second template of the next frame ( FIG. 2d). This process is repeated, this template creation and image matching processing are performed up to the last still image, the position of the marked point of the region of interest is measured for all still images (from the opening to the closing), and obtained from each image The entire trajectory of the opening / closing movement is obtained from all the position coordinates of the marked points subjected to image matching processing (FIGS. 2e and 2f), and the color of the trajectory from the opening to the maximum opening and from the maximum opening to the closing is changed. Display or an arrow display. Thus, the degree of opening and the amount of displacement to the left and right are measured from the entire trajectory, and the mandibular movement trajectory as a result of the measurement is shown in FIG.
Centering on the first mark point from all the motion trajectories, it is also possible to measure the displacement to the left and right and the maximum aperture quantitatively.

また、本発明によれば、正面動画像と側面動画像を組み合わせることによって三次元的な下顎前歯部運動の軌跡を得ることができる。
この場合には、1つのカメラによって、複数のミラーを用いて正面画像と該正面画像とは直交する側面画像を取得することができる(図3参照)。
斯様にして、得られた側面軌跡および正面軌跡のプロット点より三次元データを取得することで、開閉口運動を三次元的に表示することが可能となる。
In addition, according to the present invention, a three-dimensional mandibular anterior tooth movement trajectory can be obtained by combining a front moving image and a side moving image.
In this case, a front image and a side image orthogonal to the front image can be acquired by a single camera using a plurality of mirrors (see FIG. 3).
In this way, by obtaining three-dimensional data from the obtained plot points of the side and front trajectories, it is possible to display the opening / closing movement three-dimensionally.

まず、下顎前歯部運動軌跡の非接触測定法について説明する。
本発明では、被検者に非接触で測定できる装置を開発し、測定の基本原理は、画像工学で用いられる画像マッチング処理を応用する。
図4および図5にテンプレートの設定を示す。
測定方法は、被検者に口腔開口器15を用いて上下顎前歯部を露出させ、開口から閉口に到る1周期の顎運動を行わせる。この間の下顎前歯部の動きを、被検者正面に設置したカメラ2(図1参照)から規格撮影を行い、動画像を採取し、コンピュータ3の記録手段に保存する。次に保存された動画像を1フレーム毎の静止画像に変換し、変換された静止画像のうち上下顎前歯部がわずかに離開した状態の画像をスタート画像として決め、基本となるテンプレートを切り出し、次のフレーム画像の位置を画像マッチング処理によって検出する。
First, a non-contact measurement method for the mandibular anterior tooth movement locus will be described.
In the present invention, a device capable of measuring without contact with a subject is developed, and the basic principle of measurement is application of image matching processing used in image engineering.
4 and 5 show template settings.
In the measurement method, the subject exposes the upper and lower jaw anterior teeth using the mouth opening device 15 and performs one cycle of jaw movement from the opening to the closing. The movement of the anterior part of the lower jaw during this period is standardized from the camera 2 (see FIG. 1) installed in front of the subject, a moving image is collected, and stored in the recording means of the computer 3. Next, the stored moving image is converted into a still image for each frame, and an image in which the upper and lower jaw anterior teeth are slightly separated from the converted still image is determined as a start image, and a basic template is cut out. The position of the next frame image is detected by image matching processing.

本発明でのテンプレートの設定では、ある画像サイズを切り出し、その重心を基準点とし、この基準点を下顎左右中切歯切縁の中点に設定する。
画像マッチング処理は、相関係数を求めて判定する方法を採用した。
画像マッチング処理は以下に示す数式で説明する。
スタート画像をf(x,y)とし、この画像中に設定したテンプレートをt(x,y)とし、あるi時間後のフレーム画像をf(x,y)とし、f(x,y)の中のどの位置にt(x,y)があるかを見出すため、2つの画像すなわちt(x,y)とf(x,y)の相互相関係数Rを求めてマッチングの判定を行う。
In setting a template in the present invention, a certain image size is cut out, its center of gravity is used as a reference point, and this reference point is set as the midpoint of the lower left and right central incisor incisions.
The image matching process employs a method of determining and determining a correlation coefficient.
The image matching process will be described with the following mathematical formula.
Start image as f 1 (x, y), the template set in the image and t (x, y), and the frame image after a certain i times f i (x, y) and, f i (x, In order to find out where t (x, y) is in y), the cross correlation coefficient R between the two images, ie, t (x, y) and f i (x, y) is obtained. Make a decision.

これを式に表すと、次のようになる。
(数1)
R(m , n) = ΣΣt(x , y)fi(x+m , y+n) / ΣΣfi 2(x+m , y+n)‥‥ (1)
ここにRは相互相関係数、m、nはf(x,y)画像の中で、
t(x,y)の位置を表すものとする。
This can be expressed as follows.
(Equation 1)
R (m, n) = ΣΣt (x, y) f i (x + m, y + n) / ΣΣf i 2 (x + m, y + n) (1)
Here, R is a cross-correlation coefficient, m and n are f i (x, y) images,
Let us denote the position of t (x, y).

顎関節症患者の顎運動異常について、定量的な測定法の開発と診断パラメータ設定のため、以下に示すような実験項目を設定した。   In order to develop quantitative measurement methods and set diagnostic parameters for jaw movement abnormalities in patients with temporomandibular disorders, the following experimental items were set.

実験項目:
下顎前歯部運動追尾装置の作製
基礎実験
1 下顎前歯部運動追尾装置の測定精度
2 下顎前歯部運動軌跡の測定時変化
3 下顎前歯部運動軌跡の経日的変化
下顎前歯部運動軌跡の臨床応用
1 健常者の下顎前歯部運動軌跡
2 クリック音を呈する被検者の下顎前歯部運動軌跡
3 クレピタス音を呈する被検者の下顎前歯部運動軌跡
下顎前歯部運動時における顎関節のMRI解析
1 健常者の顎関節
2 クリック音を呈する顎関節
3 クレピタス音を呈する顎関節
下顎前歯部運動軌跡の三次元解析
1 三次元下顎前歯部運動追尾法の開発と装置の作製
2 三次元下顎前歯部運動軌跡の測定と診断パラメータ
Experimental items:
Basic experiment of mandibular anterior tooth movement tracking device 1 Measurement accuracy of mandibular anterior tooth movement tracking device 2 Change in measurement of mandibular anterior tooth movement trajectory 3 Daily change of mandibular anterior tooth movement trajectory Clinical application of mandibular anterior tooth movement trajectory 1 Mandibular anterior tooth movement trajectory of a healthy subject 2 Mandibular anterior tooth movement trajectory of a subject presenting a click sound 3 Mandibular anterior tooth motion trajectory of a subject presenting a crepitous sound MRI analysis of temporomandibular joint during mandibular anterior tooth movement 1 Healthy subject Temporomandibular joint 2 temporomandibular joint with click sound 3 dimensional analysis of temporomandibular mandibular anterior tooth movement trajectory with crepitous sound 1 Development of 3D mandibular anterior tooth movement tracking method and device construction 2 3D mandibular anterior tooth movement trajectory Measurement and diagnostic parameters

下顎前歯部運動追尾装置の作製
図1に、下顎前歯部運動追尾装置1のブロックダイアグラムを示す。
カメラ2にはUSBカメラを用い、カメラからの信号は、30fpsのフレームレートでコンピュータ3の記録手段であるメモリに記録した。
カメラ2から被検者の口元までの距離は、30cmとし、撮影時間は、患者の開口から閉口までの1周期を約4秒とした。すなわち採取されるフレーム枚数は約120フレームとなる。
約120枚のフレーム画像の中から、テンプレート設定内に上下顎前歯部がわずかに離開した状態で上顎前歯部が入らない最小開口度の画像をスタート画像とする。
Production of Mandibular Anterior Tooth Movement Tracking Device FIG. 1 shows a block diagram of the mandibular anterior tooth movement tracking apparatus 1.
A USB camera was used as the camera 2, and signals from the camera were recorded in a memory as a recording means of the computer 3 at a frame rate of 30 fps.
The distance from the camera 2 to the subject's mouth was 30 cm, and the imaging time was about 4 seconds in one cycle from the patient's opening to the mouth. That is, the number of frames collected is about 120 frames.
From about 120 frame images, an image having a minimum opening degree in which the maxillary anterior teeth do not enter when the upper and lower jaw anterior teeth are slightly separated within the template setting is set as a start image.

テンプレートの設定を図6に示す。図6に示すように、下顎左右中切歯切縁の中点を基準点(マークした点)として、この点を中心にX軸方向に左右50画素、Y軸方向に上下10画素のサイズをテンプレートとして自動的に切り出すようにし、テンプレートのサイズは20×100画素となった。   The template setting is shown in FIG. As shown in FIG. 6, the midpoint of the mandibular left and right central incisors is defined as a reference point (marked point). The template is automatically cut out, and the size of the template is 20 × 100 pixels.

各フレーム画像についてテンプレート作成と画像マッチング処理を最後のフレーム画像まで行い、画像マッチング処理されたマークした点の位置座標が決定した後、各座標点を撮影開始の最初の画像である中心咬合位の画像に転記し、更に前述したように中心咬合位と安静時顎位の下顎窩と下顎頭の位置関係は、ほぼ同じである為、中心咬合位のフレーム画像から安静時顎位の状態であるスタート画像間の未取得分のデータ部分は、直線で補間し、そして全ての座標点を結んで開口から閉口にいたる軌跡を下顎前歯部運動軌跡とした。
下顎前歯部運動軌跡の計測については、撮影時に図6の左端に示されるメジャーを同時撮影して、実際に動いた距離をmm単位で算出した。
Template creation and image matching processing is performed for each frame image up to the last frame image, and after the position coordinates of the marked points subjected to image matching processing are determined, each coordinate point is the first image of the central occlusion position that is the start of imaging. Since the positional relationship between the central occlusal position and the resting jaw position of the mandibular fossa and mandibular head is almost the same as described above, it is in the state of the resting jaw position from the frame image of the central occlusal position. The unacquired data portion between the start images was interpolated with a straight line, and the trajectory from the opening to the closing by connecting all the coordinate points was used as the mandibular anterior tooth movement trajectory.
For measurement of the mandibular anterior tooth movement trajectory, the measure shown at the left end of FIG. 6 was simultaneously photographed during photographing, and the distance actually moved was calculated in mm.

図7に診断パラメータの設定を示す。
下顎前歯部運動計測のため、軌跡が描記されたフレーム画像に座標を設定した。座標は、中心咬合位で下顎中切歯切縁中点である基準点を原点とし、原点を通り矢状平面に平行な縦軸をY軸、Y軸に直交する水平軸をX軸とした。
また、以下に示すような計測項目を設定した。
FIG. 7 shows the setting of diagnostic parameters.
Coordinates were set on the frame image in which the trajectory was drawn to measure the mandibular anterior tooth movement. As for the coordinates, the reference point that is the midpoint of the mandibular central incisor at the central occlusal position is the origin, the vertical axis passing through the origin and parallel to the sagittal plane is the Y axis, and the horizontal axis orthogonal to the Y axis is the X axis. .
In addition, the following measurement items were set.

即ち、
垂直的計測としてDMO(最大開口距離(Distance of Maximum Open ))とは、 Y軸上の最大の開口距離を示す。
水平的計測としてSDR(右側変移距離(Shift Distance of Right side))とは、 患者の右側(X軸上をマイナス方向)にY軸から変移した最大距離を示す。さらに、水平的計測としてSDL(左側変移距離(Shift Distance of Left side))とは、患者の左側(X軸上をプラス方向)にY軸から変位した最大距離を示す。さらに、水平的計測としてSDT(総変移距離(Shift Distance Totality))とは、左右側の総変移距離を示す。これらを基本的な検査項目とした。
That is,
As a vertical measurement, DMO (Distance of Maximum Open) is the maximum opening distance on the Y axis.
As a horizontal measurement, SDR (Shift Distance of Right side) is the maximum distance that has shifted from the Y axis to the patient's right side (on the X axis in the negative direction). Further, as a horizontal measurement, SDL (Shift Distance of Left side) indicates the maximum distance displaced from the Y axis on the patient's left side (on the X axis in the plus direction). Furthermore, as a horizontal measurement, SDT (Shift Distance Totality) indicates the total shift distance on the left and right sides. These were the basic inspection items.

基本的実験として、下顎前歯部運動追尾装置の軌跡描出の測定精度について検討した。
方法は、画像マッチング処理に用いられたフレーム画像をプリントアウトし、フレーム画像の基準点を視覚的に判断し、画像上に印記した。各フレーム画像のマークした印記点を、中心咬合位置の画像に転記して肉眼による下顎前歯部運動軌跡を描出し、標準顎運動軌跡(以後、標準軌跡と称する)とした。
As a basic experiment, we examined the measurement accuracy of trajectory drawing of the mandibular anterior tooth movement tracking device.
In the method, a frame image used in the image matching process is printed out, a reference point of the frame image is visually determined, and the frame image is marked on the image. The marked points of each frame image were transferred to the image of the central occlusal position, and the mandibular anterior tooth movement trajectory with the naked eye was drawn to obtain a standard jaw movement trajectory (hereinafter referred to as a standard trajectory).

標準軌跡と画像マッチング処理によって描出された自動軌跡から、上述した検査項目のDMOと左右に変移したSDRまたはSDLの大きい方を算出した。そして標準軌跡と自動軌跡の差に対する標準軌跡の比を以って、下顎前歯部運動追尾装置の測定誤差とした。   From the standard trajectory and the automatic trajectory drawn by the image matching process, the DMO of the above-mentioned inspection item and the larger one of the SDR or SDL shifted to the left and right were calculated. The ratio of the standard locus to the difference between the standard locus and the automatic locus was taken as the measurement error of the mandibular anterior tooth movement tracking device.

図8は、自動軌跡と、標準軌跡を示す。両者のDMOとSDLについて計測した値を表1に示す。この結果をみると、両者の測定誤差は最大で5%であり、この程度の誤差であれば、臨床に十分利用できるものと考えることができる。

Figure 2010142285
FIG. 8 shows an automatic trajectory and a standard trajectory. Table 1 shows the values measured for both DMO and SDL. Looking at this result, the measurement error between the two is 5% at the maximum, and it can be considered that this level of error can be sufficiently utilized in clinical practice.
Figure 2010142285

下顎前歯部運動軌跡の測定時変化:
下顎前歯部運動軌跡が、測定時にどの程度の違いを示すかを、あらかじめ把握しておくため、顎関節症を呈する被検者の中から最も顎運動に変化のみられた1名を選定し、下顎前歯部運動軌跡を3度連続して測定した。それらの軌跡の比較から、下顎前歯部運動の動きの変化と、代表値を決定するための条件設定について検討した。
Changes in measurement of mandibular anterior tooth movement trajectory:
In order to know in advance how much the mandibular anterior tooth movement trajectory will show at the time of measurement, select one person who had the most change in jaw movement from subjects with temporomandibular disorders, The mandibular anterior tooth movement trajectory was measured three times in succession. From the comparison of these trajectories, we examined the changes in mandibular anterior tooth movement and the condition settings for determining the representative value.

図9に3回それぞれの運動軌跡と1座標に記録したものを示し、表2に検査項目の結果を示す。

Figure 2010142285
これらの結果から、下顎前歯部の動きは測定時ごとに変動し、DMOとSDLは、極めて不安定であることが判明した。また、顎が大きく左右に変移する顎関節症の場合は、動きは不安定となることが示唆された。
従って、以後の軌跡の採取にあたっては、まず顎の最大開口度に注意を払いつつ、十分な開閉口運動の訓練を行った後に、3回軌跡を採取し2回同じ軌跡を示したものを代表値として採用した。 FIG. 9 shows the motion trajectory recorded on each of the three times and one coordinate, and Table 2 shows the results of the inspection items.
Figure 2010142285
From these results, it was found that the movement of the mandibular anterior teeth fluctuated from measurement to measurement, and DMO and SDL were extremely unstable. In the case of temporomandibular disorders in which the jaw is largely displaced from side to side, it was suggested that movement becomes unstable.
Therefore, in the subsequent collection of the trajectory, first, paying attention to the maximum degree of jaw opening, after performing sufficient opening and closing movement training, the trajectory was collected three times and represented the same trajectory twice Adopted as value.

下顎前歯部運動軌跡の経日変化を測定するために、顎関節症を呈する被検者と同じ被検者について計測を行った。
測定期間は、1週間の間隔を置き2週間にわたり観察した。下顎前歯部運動軌跡は、前実験同様、下顎前歯部運動軌跡を3回測定し2回ほぼ同じ軌跡を示したものを試料とした。
In order to measure the daily change of the mandibular anterior tooth movement trajectory, measurement was performed on the same subject as the subject exhibiting temporomandibular disorder.
The measurement period was observed over 2 weeks with an interval of 1 week. As in the previous experiment, the mandibular anterior tooth movement trajectory was measured three times as the mandibular anterior tooth movement trajectory, and a sample showing the same trajectory twice was used as a sample.

図10に2週間の経過を置いて採取した3回の下顎前歯部運動軌跡と、1座標に記録したものを示し、表3に検査項目の測定値を示す。開閉口運動の訓練を行ったため、安定した結果が得られたが、大きな顎変移を示す閉口時の下顎前歯部運動軌跡に差異を認めた。   FIG. 10 shows the movements of the mandibular anterior tooth movement taken three times after 2 weeks and those recorded in one coordinate. Table 3 shows the measured values of the inspection items. Although the opening / closing movement training was carried out, stable results were obtained, but there was a difference in the mandibular anterior tooth movement trajectory during closing, which showed a large jaw transition.

このうちSDRの誤差が30%と大きな値を示したが、SDRの実際の距離差は、表3に示すように0.5mmであった。この程度の差であれば臨床上、問題にならないと考えられ、他の測定値は極めて良い一致を得ることができた。

Figure 2010142285
これらの結果から、下顎前歯部運動軌跡の測定時に、開閉口運動の訓練を行った後に採取した軌跡は、臨床評価を行うに十分である。 Among them, the error of SDR was as large as 30%, but the actual distance difference of SDR was 0.5 mm as shown in Table 3. Such a difference is considered to be no clinical problem, and the other measured values were very good.
Figure 2010142285
From these results, when measuring the mandibular anterior tooth movement trajectory, the trajectory collected after the opening / closing movement training is sufficient for clinical evaluation.

下顎前歯部運動軌跡の臨床応用:
健常者の下顎前歯部運動軌跡;
臨床的に健常と思われる被検者3人について、下顎前歯部運動軌跡と検査項目を測定し、下顎前歯部運動軌跡の標準値を求めた。
Clinical application of mandibular anterior tooth movement trajectory:
The mandibular anterior tooth movement trajectory in healthy subjects;
For three subjects who were considered to be clinically healthy, the mandibular anterior tooth movement trajectory and examination items were measured, and the standard value of the mandibular anterior tooth movement trajectory was obtained.

図11に健常者の下顎前歯部運動軌跡を示し、表4に、検査項目の測定値を示す。

Figure 2010142285
これらの結果から、健常者といえども、開閉口運動にともない顎の動きが左右に多少変移することが判明した。 FIG. 11 shows the mandibular anterior tooth movement trajectory of a healthy person, and Table 4 shows the measured values of the inspection items.
Figure 2010142285
From these results, it was found that even in healthy subjects, the jaw movement slightly changes from side to side with the opening and closing movement.

クリック音を呈する被検者の下顎前歯部運動軌跡:
クリック音を主とする顎関節症を呈する被検者3名について下顎前歯部運動軌跡を求め、クリック音を呈する側と顎変移側を比較・測定し、健常者と比較した。
Mandibular anterior tooth movement trajectory of subject presenting click sound:
The movement trajectory of the mandibular anterior teeth was obtained for 3 subjects with temporomandibular joint disorders mainly consisting of click sounds, and the click sound side and jaw transition side were compared and measured, and compared with normal subjects.

図12にクリック音を呈する下顎前歯部運動軌跡を示し、表5に、検査項目の測定値を示す。

Figure 2010142285
この軌跡から顎の変移とクリック音を呈する側を比較した。D被検者では、クリック音と同じ左側に変移しているのに対し、E、F被検者ではクリック音とはそれぞれ反対側に変移していた。 FIG. 12 shows the mandibular anterior tooth movement trajectory that produces a click sound, and Table 5 shows the measured values of the test items.
Figure 2010142285
From this trajectory, we compared the chin transition and the click sound side. The D subject was shifted to the same left side as the click sound, whereas the E and F subjects were shifted to the opposite side from the click sound.

クレピタス音を呈する被検者の下顎前歯部運動軌跡:
クレピタス音を有する被検者3名を選び、これらの下顎前歯部運動軌跡を求め、クレピタス音を呈する側と顎変移側とを比較した。また測定値を求め、健常者とクリック音を有する被検者と比較した。
Mandibular anterior tooth movement trajectory with a crepitus sound:
Three subjects having a crepitas sound were selected, the mandibular anterior tooth movement trajectory was obtained, and the side exhibiting the clepitas sound and the jaw transition side were compared. Moreover, the measured value was calculated | required and compared with the test subject who has a clicking sound with a healthy person.

図13にクレピタス音を呈する被検者の下顎前歯部運動軌跡を示す。G被検者では、顎の変移は殆んどみられず、H、I被検者については、クレピタス音を発する側とは反対側に顎の変移がみられた。
夫々の被検者について、検査項目の一覧を表6に示す。

Figure 2010142285
FIG. 13 shows the mandibular anterior tooth movement trajectory of the subject presenting a crapita sound. In the G subject, almost no change in the jaw was seen, and in the H and I subjects, a change in the jaw was seen on the side opposite to the side that produced the crepitas sound.
Table 6 shows a list of inspection items for each subject.
Figure 2010142285

顎運動時における顎関節のMRI解析:
本実施例は、顎運動と関節円板とがどのような関係にあるかを検証するために行う。
MRI analysis of the temporomandibular joint during jaw movement:
This embodiment is performed in order to verify the relationship between jaw movement and the joint disk.

MRI(日立製Airis-mate(商標名))を使用し、撮像条件は、FOVを150mm、TRを3000ms、TEを30ms、スライス厚を4mm、積算回数を2(前頭断像も同様)とし、FSE(Fast Spin Echo)にて矢状断層を得た。さらに設定した関節円板の位置判定基準を
正常(A): 下顎頭に上部に関節円板が位置するもの
やや前方(B): 関節円板の後方端に下顎頭が位置するもの
前方転位(C): 関節円板が完全に下顎頭より前方に位置するものとし、
さらに、それぞれに外側内側転位がみられれば、それを加味する。
Using MRI (Hitachi Airis-mate (trade name)), FOV is 150 mm, TR is 3000 ms, TE is 30 ms, slice thickness is 4 mm, and the number of integration is 2 (same for frontal image) A sagittal fault was obtained by FSE (Fast Spin Echo). Furthermore, the criteria for determining the position of the joint disc is normal (A): the joint disc is located above the mandibular head slightly forward (B): the mandible is located at the rear end of the joint disc C): Assume that the joint disc is completely in front of the mandibular head,
Furthermore, if the outer dislocation is observed in each, it is taken into account.

健常者の顎関節:
本実施例では、健常者の下顎前歯部運動軌跡と同じ健常者について、中心咬合位の閉口位と、開口位とに対しMRI撮影による検査を行い、MRI画像から、関節円板の位置と顎運動変位の関係について検討した。
Healthy human temporomandibular joint:
In this example, for a healthy subject having the same movement trajectory as the mandibular anterior teeth of the healthy subject, the closed position of the central occlusal position and the open position are examined by MRI imaging. From the MRI image, the position of the joint disk and the jaw The relationship of motion displacement was examined.

表7に3名の被検者について、開閉口位で下顎頭と関節円板との位置関係を判定した結果を示し、図14にMRI画像を示す。

Figure 2010142285
A,B被検者のMRI画像をみると、閉口位では左右側ともに、関節円板はやや前方位置を呈し、開口位では、正常な位置に存在した。
従って、左右側閉口位での関節円板のやや前方転位は、運動機能に影響するものでないと判断した。 Table 7 shows the results of determining the positional relationship between the mandibular head and the joint disc in the open / closed mouth position for three subjects, and FIG. 14 shows the MRI image.
Figure 2010142285
When the MRI images of the A and B subjects were seen, the joint disk exhibited a slightly forward position on both the left and right sides in the closed position, and was in a normal position in the open position.
Therefore, it was determined that a slight forward shift of the joint disc in the left and right closed positions does not affect the motor function.

C被検者のMRI画像で関節円板の関係をみると、左側では閉口位で前方転位を認めたが、開口位は正常な位置であり、右側では閉口位でやや前方位置であるが、開口位では正常に位置した。
その動きの特徴は、前方転位側である左側顎関節の動きが良いことを意味している。したがって閉口位で関節円板の前方転位があっても、開口位に関節円板が正常位置に復帰すれば、顎運動に障害を及ぼさないことがわかる。この被検者の関節円板は復位性であり、復位性の関節円板では顎運動の障害に繋がらないと考えられる。
When looking at the relationship between the joint discs in the MRI image of the C subject, the left side showed a forward dislocation in the closed position, but the open position was a normal position, and the right side was a slightly forward position in the closed position. It was located normally in the open position.
The feature of the movement means that the movement of the left temporomandibular joint on the anterior dislocation side is good. Therefore, even if there is a forward displacement of the joint disc in the closed position, it can be seen that if the joint disc returns to the normal position in the open position, the jaw movement will not be disturbed. The subject's joint disc is reversible, and it is considered that a repositionable joint disc does not lead to disturbance of jaw movement.

クリック音を呈する顎関節
クリック音を呈する被検者3名についても同様にMRI撮像を行った。その結果を図15に示す。表8には、下顎頭と関節円板の位置関係を判定した結果を示す。図15にはMRI画像を示す。

Figure 2010142285
The temporomandibular joint presenting a click sound MRI imaging was performed in the same manner for three subjects presenting a click sound. The result is shown in FIG. Table 8 shows the result of determining the positional relationship between the mandibular head and the joint disc. FIG. 15 shows an MRI image.
Figure 2010142285

被検者DのMRI画像をみると、左側閉口位では前方転位、開口位では前外側転位であった。右側閉口位では正常であるものの、開口位に前外側転位を認め、この被検者の関節円板は、左右側とも非復位性であると判断された。
左側開閉口位とも関節円板の前方転位により、左側顎関節での運動が障害されていることが推測された。その理由は、最大開口位で右側の顎関節にエミネンス・クリックがみられるのに対し、左側では見られなかったからである。さらに右側のエミネンス・クリックと同時に顎は左側に変移する動きを示した。これらのことから左側顎関節では、運動障害が起こっていると推測することができる。
Looking at the MRI image of Subject D, it was a forward dislocation in the left closed position and an anterior-lateral dislocation in the open position. Although it was normal in the right closed position, anterior-lateral dislocation was observed in the open position, and this subject's joint disc was judged to be non-repositioning on both the left and right sides.
It was speculated that the movement of the left temporomandibular joint was hindered by the forward displacement of the joint disc in both the left and right open / closed positions. The reason is that Eminence Crick was seen in the right temporomandibular joint at the maximum open position, but not on the left side. The jaw moved to the left side at the same time as the Eminence click on the right side. From these facts, it can be inferred that movement disorders occur in the left temporomandibular joint.

この被検者の顎の動きは、左側では関節円板の前方転位のために、最大開口に至る動きが制限され、対照的に右側下顎頭の動きは関節円板前方転位がみられ、最大開口位で顎が左に変移するものと考えられる。
閉口運動に入っても、右側下顎頭はすぐに結節を後戻りすることが出来ないため、顎は左に変移したまましばらく閉口運動を行い、ある程度閉口してから元に戻るものと推測される。
The subject's jaw movement is limited to the maximum opening on the left side due to the anterior displacement of the articular disk, in contrast to the movement of the right mandibular head, which is seen as an anterior displacement of the joint disk. It is considered that the jaw shifts to the left at the open position.
Even after closing, the right mandibular head cannot immediately move back to the nodule. Therefore, it is presumed that the jaw moves to the left while moving to the left, closes for a while and then returns to its original position.

さらに下顎頭の形態を左右で比較すると、右側はほぼ正常な形であるのに対し、左側は平坦化して変形性顎関節症の状態を呈しており、これも動きを反映したものであると考えることができる。   Furthermore, when comparing the shape of the mandibular head on the left and right, the right side is almost normal, whereas the left side is flattened to show a state of degenerative temporomandibular disorder, which also reflects movement. Can think.

E被検者は、左右側共に閉口位でやや前方を呈したが、開口位では正常であった。
F被検者は、左側の関節円板は開閉口位とも正常な位置にあったが、右側では閉口位で前方転位を示し、開口位で正常な位置に戻っていた。
その動きを考えると、右側の関節円板が前方転位でありながら、最大開口時に顎が左側に変移を示した。このことは、関節円板前方転位の右側顎関節の動きが良いことになり、健常者であるC被検者の顎の動きと一致するものであった。
The E subject presented slightly forward in the closed position on both the left and right sides, but was normal in the open position.
In the F subject, the left joint disk was in a normal position in both the open / closed position, but on the right side, it showed a forward shift in the closed position and returned to the normal position in the open position.
Considering the movement, the jaw on the right side showed a shift in the left side at the time of maximum opening, while the joint disc on the right side was in an anterior dislocation. This means that the movement of the right temporomandibular joint in the joint disc anterior displacement is good, and is consistent with the movement of the jaw of the C subject who is a healthy person.

クリックを呈する被検者の解析からは、関節円板の非復位性の前方転位は、顎の動きに影響することが考えられた。   Analysis of subjects with clicks suggested that non-retroverted anterior dislocation of the articular disc may affect jaw movement.

クレピタス音を呈する顎関節
下顎前歯部運動軌跡の経日的変化でクレピタス音を発する被検者(G、H、I)の閉口位と開口位についてMRI撮影を行った。
表9に関節円板の位置関係を判定した結果を示し、図16にMRI画像を示す。

Figure 2010142285
Temporomandibular joint exhibiting crepitas sound MRI imaging was performed on the closed and open positions of subjects (G, H, and I) that produced clepitas sounds due to daily changes in the mandibular anterior tooth movement trajectory.
Table 9 shows the result of determining the positional relationship of the joint disk, and FIG. 16 shows the MRI image.
Figure 2010142285

G被検者については、左右側の開閉口位ともに、関節円板と下顎頭の関係は正常であった。
H被検者については、左側閉口位でやや前方を呈し、右側では前方転位を示した。開口位は左右側ともに正常であった。
I被検者は、左側閉口位では関節円板のやや内側転位がみられたが、開口位では正常に位置していた。右側では位置関係に異常はみられなかった。
顎の開閉運動は咀嚼筋の作用するところであり、筋の伸縮が関与の可能性も考慮する。
For G subjects, the relationship between the joint disk and the mandibular head was normal in both the left and right open / closed positions.
For the H subjects, the left closed position was slightly forward and the right side was forward dislocation. The open position was normal on both the left and right sides.
The subject I had a slightly inward dislocation of the joint disc in the left closed position, but was normally located in the open position. On the right side, there was no abnormality in the positional relationship.
Jaw opening and closing movements are where the masticatory muscles act, and the possibility of muscle expansion and contraction is also considered.

次に、本発明顎関節雑音分析装置の実施例を図17のブロック図を参照して説明する。
この装置の概要は、顎関節雑音を採音するために、例えば、聴診器10と骨伝導マイクロフォン11とを組合せた顎関節雑音採取器12(以後採音器と称す)を作製し、かかる採音器を2つ採用した。採音器12によって電気信号に変換された顎関節雑音は増幅手段13で増幅され、波形出力記録手段14で波形として記録する。波形出力記録手段14に記録された波形を波形解析手段16によって波形解析を行った。
顎関節雑音の採音条件としては開閉口運動の周期を一定にしておくことが必要である。
本発明では、採音器として聴診器と骨伝導マイクロフォンとを組み合わせたが、これに限定されることはなく、例えば、骨伝導マイクロフォン単独のものを採音器としても良い。
Next, an embodiment of the temporomandibular joint noise analysis apparatus of the present invention will be described with reference to the block diagram of FIG.
The outline of this apparatus is that, for example, a temporomandibular joint noise collector 12 (hereinafter referred to as a “sound collector”) that combines a stethoscope 10 and a bone conduction microphone 11 is produced in order to collect temporomandibular joint noise. Two sound instruments were used. The temporomandibular joint noise converted into an electrical signal by the sound collector 12 is amplified by the amplification means 13 and recorded as a waveform by the waveform output recording means 14. Waveform analysis was performed on the waveform recorded in the waveform output recording means 14 by the waveform analysis means 16.
As a condition for collecting temporomandibular joint noise, it is necessary to keep the period of the opening and closing movement constant.
In the present invention, a stethoscope and a bone conduction microphone are combined as a sound collecting device, but the present invention is not limited to this. For example, a bone conduction microphone alone may be used as the sound collecting device.

本実施例では顎関節雑音の発生メカニズムは、開閉口運動時に顎関節内で起こるインパルスによって顎顔面頭蓋内の特定部位で共振が起こり、顎関節雑音として採音されるため、1つの採音器12は顎関節雑音発生部位である被検者の顎関節部上に固定し、もう一つの採音器12は顎関節雑音発生部位の共振部位にあて、開口から閉口までの1周期を約2秒とし、スピードが安定した時点で顎関節雑音採音を行うようにした。データの採取条件としては、クリック音の場合サンプリングレートを10ms/div、クレピタス音の場合50ms/divとした。これをサンプリングピッチに変換すると、夫々50μsと117.2μsとなる。サンプリングの総数はいずれも5,120点である。   In this embodiment, the temporomandibular joint noise generation mechanism is such that resonance occurs at a specific part in the maxillofacial skull due to an impulse generated in the temporomandibular joint during opening and closing movements, and sound is collected as temporomandibular joint noise. Reference numeral 12 is fixed on the temporomandibular joint of the subject, which is the site where the temporomandibular joint noise is generated, and the other sound collector 12 is applied to the resonance part of the temporomandibular joint noise generating portion. The temporomandibular joint noise was collected when the speed stabilized. The data collection conditions were a sampling rate of 10 ms / div for click sounds and 50 ms / div for crapitas sounds. When this is converted into a sampling pitch, they become 50 μs and 117.2 μs, respectively. The total number of samplings is 5,120 points.

波形解析は図18に示すように、採音器12から採音されたオリジナル波形(S1)に、前処理としてまずスムージング処理(S2),例えば5点スムージング処理を行った。次に、波形内に関心領域(S3)を設定し、これを切り出した。ROIのサンプル数はクリック音では1,024点、クレピタス音では2,048点とした。切り出した波形についてウインドウ関数としてハミング関数処理(S4)を行い、次いで高速フーリエ変換(以後、FFTと称する)(S5)を行い、アウトプット(S6)した。フーリエスペクトルはFFTの絶対値で表示した。フーリエスペクトルは既存のFFTソフトを用いて解析した。
この解析結果から治療するにつれて数値の減少は顎関節雑音が小さくなっていることを表し、治療効果の判定に繋がる。
なお、本実施例ではオリジナル波形にスムージング処理を行ってからROI設定を行ったが、ROI設定を行った後にスムージング処理を行ってもよい。
As shown in FIG. 18, in the waveform analysis, the original waveform (S1) sampled from the sound collector 12 was first subjected to a smoothing process (S2), for example, a five-point smoothing process, as a preprocessing. Next, a region of interest (S3) was set in the waveform and cut out. The number of ROI samples was 1,024 for click sounds and 2,048 for crapitas sounds. Hamming function processing (S4) was performed as a window function on the cut out waveform, and then fast Fourier transform (hereinafter referred to as FFT) (S5) was performed and output (S6) was performed. The Fourier spectrum was displayed as the absolute value of FFT. The Fourier spectrum was analyzed using existing FFT software.
A decrease in the numerical value from the analysis result indicates that the temporomandibular joint noise is reduced, which leads to the determination of the therapeutic effect.
In this embodiment, the ROI setting is performed after performing the smoothing process on the original waveform. However, the smoothing process may be performed after the ROI setting is performed.

次に顎関節雑音発生時の静止画像と採音データとを同期保存し、開閉口運動時の顎関節雑音の発生したフレーム画像を検知する実施例を図1を用いて説明する。被検者5の口腔に口腔開口器15を装着し、開口させ、上下顎前歯部を露出させた状態での被検者5による開閉口運動の動画像をカメラ2により撮影し、該開閉口運動時の顎関節雑音を採音器12により採音して、カメラからの動画像および採音器からの採音をA/Dコンバータ4によりA/D変換して得たデータをコンピュータ3の記録手段に保存し、被検者5による開閉口運動の動画像撮影と、該開閉口運動時の顎関節雑音の採音とを同時に行い、クリック音やクレピタス音が発生した場合には、該クリック音やクレピタス音のピーク音を検出し、それをトリガーとしてとらえ、その時のフレーム画像をコンピュータ3の記録手段に保存する。解析時には保存されたクリック音やクレピタス音発生時のフレーム画像をコンピュータ3の記録手段から読み出し、抽出した静止画像のマークした点の座標を得ることで、開閉口運動の全軌跡における顎関節雑音の発生位置を特定することができる。   Next, an embodiment in which a still image at the time of temporomandibular joint noise generation and sound collection data is synchronously stored and a frame image in which the temporomandibular joint noise is generated at the time of opening / closing movement is detected will be described with reference to FIG. A mouth opening device 15 is attached to the oral cavity of the subject 5, opened, and a moving image of the opening and closing movement of the subject 5 in a state where the upper and lower jaw front teeth are exposed is photographed by the camera 2, and the opening and closing The temporomandibular joint noise during exercise is sampled by the sound collector 12, and the data obtained by A / D converting the moving image from the camera and the sound collected from the sound collector by the A / D converter 4 is stored in the computer 3. In the recording means, the moving image shooting of the opening and closing movement by the subject 5 and the sound of the temporomandibular joint noise during the opening and closing movement are simultaneously performed. The peak sound of the click sound and the crepitas sound is detected, is taken as a trigger, and the frame image at that time is stored in the recording means of the computer 3. The frame image at the time of the analysis is read out from the recording means of the computer 3 when the click sound and the crepitous sound are generated, and the coordinates of the marked point of the extracted still image are obtained. The generation position can be specified.

本発明では、関心領域の設定については、関心部位のマークした点を中心にある範囲の関心領域を自動で設定することも可能であり、さらに術者が任意に関心領域を設定することも可能である。   In the present invention, regarding the setting of the region of interest, it is possible to automatically set the region of interest in the range centered on the marked point of the region of interest, and the operator can arbitrarily set the region of interest. It is.

更に本発明では、第1テンプレートを使用して、第2テンプレートを作成し、第2テンプレートを使用して、第3テンプレートを作成していくという方法であるが、被検者の上下顎前歯部を撮影するカメラを望遠カメラにし、被検者と該望遠カメラとの距離を離すことにより、開閉口運動を行っても関心領域をほぼ平行に同形状で捉えることが可能なので、第1テンプレートだけですべてのフレーム画像の画像マッチング処理を行うことが出来る。
また望遠カメラの他、光学的処理が行えるカメラを使用することで、被検者とカメラの距離をさほど離さずに撮影及び画像マッチング処理を行うことが出来る。
Further, in the present invention, the second template is created using the first template, and the third template is created using the second template. The telephoto camera is used as the camera that captures the distance between the subject and the telephoto camera, so that the region of interest can be captured in the same shape in almost the same shape even if the opening / closing movement is performed. The image matching process can be performed for all frame images.
In addition to the telephoto camera, by using a camera capable of optical processing, it is possible to perform imaging and image matching processing without greatly separating the subject and the camera.

本発明下顎前歯部運動追尾システムに使用する下顎前歯部運動追尾装置の構成を示すブロック図である。It is a block diagram which shows the structure of the lower jaw front tooth part movement tracking apparatus used for the lower jaw front tooth part movement tracking system of this invention. 本発明下顎前歯部運動追尾システムを説明するための説明図である。It is explanatory drawing for demonstrating this invention mandibular front tooth part movement tracking system. 三次元画像を取得するための構成配置を示す説明図である。It is explanatory drawing which shows the structure arrangement | positioning for acquiring a three-dimensional image. 下顎前歯部運動軌跡の非接触測定法を説明するための説明図である。It is explanatory drawing for demonstrating the non-contact measuring method of a mandibular front tooth part movement locus | trajectory. 同じく下顎前歯部運動軌跡の非接触測定法を説明するための説明図である。It is explanatory drawing for demonstrating the non-contact measuring method of a mandibular front tooth part movement locus similarly. 同じく下顎前歯部運動軌跡の非接触測定法を説明するための説明図である。It is explanatory drawing for demonstrating the non-contact measuring method of a mandibular front tooth part movement locus similarly. 診断パメラメータの設定を示す説明図である。It is explanatory drawing which shows the setting of a diagnostic pamelameter. 下顎前歯部運動追尾装置の測定精度を示す説明図であるIt is explanatory drawing which shows the measurement accuracy of a mandibular front tooth part movement tracking apparatus. 下顎前歯部運動軌跡の測定時変化を示す説明図である。It is explanatory drawing which shows the change at the time of the measurement of a mandibular front tooth part movement locus. 下顎前歯部運動の軌跡の経日変化を示す説明図である。It is explanatory drawing which shows the daily change of the locus | trajectory of a mandibular front tooth part movement. 健常者の下顎前歯部運動軌跡を示す説明図である。It is explanatory drawing which shows the mandibular front tooth part movement locus | trajectory of a healthy person. クリック音を呈する患者の下顎前歯部運動軌跡を示す説明図である。It is explanatory drawing which shows the mandibular front tooth part movement locus | trajectory which exhibits the click sound. クレピタス音を呈する患者の下顎前歯部運動軌跡を示す説明図である。It is explanatory drawing which shows the mandibular anterior tooth | gear part movement locus | trajectory of the patient who exhibits a crepitus sound. 健常者の顎関節のMRI画像を示す説明図である。It is explanatory drawing which shows the MRI image of a healthy person's temporomandibular joint. クリック音を呈する顎関節のMRI画像を示す説明図である。It is explanatory drawing which shows the MRI image of the temporomandibular joint which exhibits a click sound. クレピタス音を呈する顎関節のMRI画像を示す説明図である。It is explanatory drawing which shows the MRI image of the temporomandibular joint which exhibits a crapita sound. 顎関節雑音測定装置の構成を示すブロック図である。It is a block diagram which shows the structure of a temporomandibular joint noise measuring apparatus. 顎関節雑音解析のフローチャートを示す説明図である。It is explanatory drawing which shows the flowchart of a temporomandibular joint noise analysis.

符号の説明Explanation of symbols

1 下顎前歯部運動測定装置
2 カメラ
3 コンピュータ
4 A/Dコンバータ
5 被検者
10 聴診器
11 骨伝動マイクロフォン
12 採音器
13 増幅器
14 デジタルオシロスコープ
15 口腔開口器
16 波形解析手段
DESCRIPTION OF SYMBOLS 1 Mandibular anterior tooth movement measuring apparatus 2 Camera 3 Computer 4 A / D converter 5 Subject 10 Stethoscope 11 Bone transmission microphone 12 Sound collection device 13 Amplifier 14 Digital oscilloscope 15 Oral opening device 16 Waveform analysis means

Claims (14)

被検者の上下顎前歯部を露出させた状態において、被検者に開閉口運動を行わせ、該開閉口運動をカメラによって動画像を撮影し、
該撮影された動画像をコンピュータの記録手段に保存し、
該記録手段において保存された動画像を1フレーム毎の静止画像に変換し、該変換された静止画像のうち、上下顎前歯部がわずかに離開した状態の画像をスタート画像としてコンピュータの記録手段から読み出し、画像表示手段に表示させ、該スタート画像のうち軌跡を確認したい下顎前歯部の関心部位にマークし、
該マークした点を中心にある範囲の関心領域(ROI)をあらかじめ設定し、該設定された関心領域を第1テンプレートとして抽出し、
該抽出された第1テンプレートを用いて次の2枚目のフレーム画像に対して画像マッチング処理を施し、
該2枚目のフレーム画像で最大マッチングを示す該マークした点の座標を記憶して位置測定を行い、
該2枚目のフレーム画像の画像マッチング処理された画像の最大マッチングを示す該マークした点の位置を中心に第1テンプレートと同じ範囲の関心領域を切り出し、
これを第2テンプレートとし、該第2テンプレートと3枚目のフレーム画像とで画像マッチング処理を行い、
かかる処理を繰り返すことによってテンプレート作成と画像マッチング処埋を最後の静止画像まで行い、
全静止画像について関心部位の該マークした点の位置を測定し、
各静止画像から得られる画像マッチング処理された該マークした点の位置座標の全てから開閉口運動の全軌跡を求めるようにしたことを特徴とする下顎前歯部運動追尾システム。
In a state where the subject's upper and lower jaw front teeth are exposed, the subject is caused to perform opening and closing movement, and the opening and closing movement is photographed by a camera,
Storing the captured moving image in a recording means of a computer;
The moving image stored in the recording means is converted into a still image for each frame, and from the converted still image, an image in which the upper and lower jaw front teeth are slightly separated is used as a start image from the recording means of the computer. Read out, display on the image display means, mark the region of interest in the anterior part of the lower jaw where you want to check the locus of the start image,
A region of interest (ROI) in a range centered on the marked point is set in advance, and the set region of interest is extracted as a first template,
An image matching process is performed on the next second frame image using the extracted first template,
Store the coordinates of the marked point showing the maximum matching in the second frame image, and perform position measurement,
Cutting out the region of interest in the same range as the first template around the position of the marked point indicating the maximum matching of the image subjected to image matching processing of the second frame image;
This is used as a second template, and image matching processing is performed between the second template and the third frame image.
By repeating such processing, template creation and image matching processing are performed until the last still image,
Measure the position of the marked point of the region of interest for all still images,
A mandibular anterior tooth movement tracking system characterized in that the entire locus of the opening and closing movement is obtained from all the position coordinates of the marked points obtained from each still image and subjected to image matching processing.
前記スタート画像とカメラによって撮影された中心咬合位の画像との間のデータ未取得部分は直線補間とすることを特徴とする請求項1に記載の下顎前歯部運動追尾システム。   The mandibular anterior tooth movement tracking system according to claim 1, wherein a data unacquired portion between the start image and an image of the central occlusion taken by the camera is linear interpolation. 前記静止画像のうち軌跡を確認したい下顎前歯部の関心部位を下顎中切歯の隣接面である切端隅角部、すなわち下顎前歯部中点の一点とすることを特徴とする請求項1及び請求項2に記載の下顎前歯部運動追尾システム。   The region of interest of the anterior mandibular portion for which the locus is to be confirmed in the still image is defined as one point of the incisal corner that is the adjacent surface of the mandibular central incisor, that is, the midpoint of the mandibular anterior portion. Item 3. The lower jaw front tooth movement tracking system according to Item 2. 前記動画像を正面動画像とすることを特徴とする請求項1及び請求項2に記載の下顎前歯部運動追尾システム。   The mandibular anterior tooth movement tracking system according to claim 1 or 2, wherein the moving image is a front moving image. 前記動画像を前記正面動画像とは直交する側面動画像とすることを特徴とする請求項1及び請求項2に記載の下顎前歯部運動追尾システム。   The mandibular anterior tooth movement tracking system according to claim 1 or 2, wherein the moving image is a side moving image orthogonal to the front moving image. 前記正面動画像からの画像マッチング処理と前記側面動画像からの画像マッチング処理とから三次元的に下顎前歯部の開閉口運動を追尾することを特徴とする請求項1乃至請求項5に記載の下顎前歯部運動追尾システム。   6. The opening / closing movement of the mandibular anterior teeth is tracked three-dimensionally from the image matching processing from the front moving image and the image matching processing from the side moving image. Mandibular anterior tooth movement tracking system. 被検者の上下顎前歯部の動画像を撮影するカメラと、被検者の開閉口運動時の顎関節雑音を採音する採音器と、A/Dコンバータと、カメラからの動画像および採音器からの採音をA/D変換されたデータとして保存するコンピュータの記録手段において、被検者の上下顎前歯部を露出させた状態、および、採音器を被検者の顎関節部にあてた状態で、被検者に開閉口運動を行わせ、該開閉口運動の動画像をカメラによって撮影し、該撮影された動画像をコンピュータの記録手段に保存し、また、同時に開閉口運動時の被検者の顎関節雑音を採音し、A/Dコンバータを経てコンピュータ記録手段にデータを保存し、該顎関節雑音発生時の静止画像と採音データとを同期させてコンピュータの記録手段に保存し、開閉口運動時の顎関節雑音の発生したフレーム画像を検知できることを特徴とする請求項1及び請求項2に記載の下顎前歯部運動追尾システム。   A camera that captures a moving image of the front and lower jaw front teeth of the subject, a sound collector that collects temporomandibular joint noise during the opening and closing movement of the subject, an A / D converter, a moving image from the camera, and In a recording means of a computer for storing sound collected from a sound collection device as A / D converted data, a state in which the upper and lower jaw front teeth of the subject are exposed, and the sound collection device for the subject's temporomandibular joint The subject is subject to the opening / closing movement, and the moving image of the opening / closing movement is captured by the camera, and the captured moving image is stored in the recording means of the computer. The temporomandibular joint noise of the subject during mouth movement is sampled, the data is stored in the computer recording means via the A / D converter, and the still image and the sampled data when the temporomandibular joint noise is generated are synchronized with the computer. Of the temporomandibular joint noise during opening and closing movements Mandibular anterior motion tracking system according to claim 1 and claim 2, characterized in that can detect the frame image without. 前記採音器は聴診器、マイクロフォンおよび骨伝導マイクロフォンの少なくとも1つを使用することを特徴とする請求項7に記載の下顎前歯部運動追尾システム。   The mandibular anterior tooth movement tracking system according to claim 7, wherein the sound collector uses at least one of a stethoscope, a microphone, and a bone conduction microphone. 前記採音器は2つ使用することを特徴とする請求項8に記載の下顎前歯部運動追尾システム。 9. The mandibular anterior tooth movement tracking system according to claim 8, wherein two sound collectors are used. 被検者の上下顎前歯部を露出させた状態において、被検者に開閉口運動を行わせ、該開閉口運動をカメラによって動画像を撮影する手段と、該撮影された動画像をコンピュータの記録手段に保存する手段と、該コンピュータの記録手段において保存された動画像を1フレーム毎の静止画像に変換する手段と、該変換された静止画像のうち、上下顎前歯部がわずかに離開した状態の画像をスタート画像とし、コンピュータの記録手段から読み出し、画像表示手段に表示させる手段と、該表示された該スタート画像のうち軌跡を確認したい下顎前歯部の関心部位にマークする手段と、該スタート画像を用いて軌跡のテンプレート設定を行う手段と、該マークした点を中心にある範囲の関心領域(ROI)をあらかじめ設定する手段と、該設定された関心領域を第1テンプレートとして抽出する手段と、第1テンプレートを用いて次の2枚目のフレーム画像に対して画像マッチング処理を施す手段と、該2枚目のフレーム画像で最大マッチングを示す該マークした点の座標を記憶して位置測定を行う手段と、該2枚目のフレーム画像の画像マッチング処理された画像の最大マッチングを示す該マークした点の位置を中心に第1テンプレートと同じ範囲の関心領域を切り出し、これを第2テンプレートとする手段と、かかる処理を繰り返すことによってテンプレート作成と画像マッチング処埋を最後の静止画像まで行い、全静止画像について関心部位の該マークした点の位置を測定する手段と、各静止画像から得られる画像マッチング処理された該マークした点の位置座標の全てから開閉口運動の全軌跡を求める手段とを備えたことを特徴とする下顎前歯部運動追尾装置。   With the subject's upper and lower jaw front teeth exposed, means for causing the subject to perform an opening and closing movement, and taking a moving image of the opening and closing movement with a camera, and the captured moving image to the computer Means for storing in the recording means, means for converting the moving image stored in the recording means of the computer into a still image for each frame, and of the converted still image, the upper and lower jaw front teeth are slightly separated A state image as a start image, read out from the recording means of the computer and displayed on the image display means, a means for marking a region of interest in the anterior part of the lower jaw where the locus is to be confirmed in the displayed start image, Means for setting a trajectory template using a start image, means for presetting a region of interest (ROI) in a range centered on the marked point, and the set function Means for extracting an area as a first template, means for performing image matching processing on the next second frame image using the first template, and the mark indicating maximum matching in the second frame image Means for memorizing the coordinates of the marked point and measuring the position, and the same range as the first template around the position of the marked point indicating the maximum matching of the image subjected to image matching processing of the second frame image By extracting the region of interest and using this as a second template, and repeating this process, template creation and image matching processing are performed up to the last still image, and the position of the marked point of the region of interest for all still images is determined. Means for measuring and opening / closing movement from all of the position coordinates of the marked points subjected to image matching processing obtained from each still image Mandibular anterior motion tracking device characterized by comprising a means for determining the total trajectory. 前記スタート画像とカメラによって撮影された中心咬合位の画像との間のデータ未取得部分を直線補間する手段を備えることを特徴とする請求項9に記載の下顎前歯部運動追尾装置。   The mandibular anterior tooth movement tracking apparatus according to claim 9, further comprising means for linearly interpolating a data unacquired portion between the start image and an image of a central occlusion taken by a camera. 被検者の顎関節部に設定された採音器と、該採音器に接続された増幅手段と、該増幅手段に接続された波形出力記録手段と、波形出力を解析する波形解析手段と、採取されたオリジナル波形に、スムージング処理を施す手段と、ウインドウ関数処理を施し、かつフーリエ変換する手段とを備え、または、該採取されたオリジナル波形に、スムージング処理を施す手段と、関心領域を設定し、これを切り出す手段と、ウインドウ関数処理を施し、かつフーリエ変換する手段とを備えることを特徴とする顎関節雑音分析装置。   A sound collector set in the temporomandibular joint of the subject, an amplifying means connected to the sound collector, a waveform output recording means connected to the amplifying means, and a waveform analyzing means for analyzing the waveform output A means for performing a smoothing process on the collected original waveform and a means for performing a Fourier transform on the collected original waveform, or a means for performing a smoothing process on the collected original waveform, and a region of interest. A temporomandibular joint noise analysis apparatus comprising: means for setting and cutting out; and means for performing window function processing and performing Fourier transform. 前記採音器は聴診器、マイクロフォンおよび骨伝導マイクロフォンの少なくとも1つを使用することを特徴とする請求項11に記載の顎関節雑音分析装置。   The apparatus for analyzing temporomandibular joint noise according to claim 11, wherein the sound collector uses at least one of a stethoscope, a microphone, and a bone conduction microphone. 前記採音器は2つ使用することを特徴とする請求項13に記載の顎関節雑音分析装置。 The temporomandibular joint noise analysis apparatus according to claim 13, wherein two sound collectors are used.
JP2008319959A 2008-12-16 2008-12-16 Mandibular anterior tooth movement tracking system, mandibular anterior tooth movement tracking device, and temporomandibular joint noise analyzer Active JP5495415B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008319959A JP5495415B2 (en) 2008-12-16 2008-12-16 Mandibular anterior tooth movement tracking system, mandibular anterior tooth movement tracking device, and temporomandibular joint noise analyzer

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008319959A JP5495415B2 (en) 2008-12-16 2008-12-16 Mandibular anterior tooth movement tracking system, mandibular anterior tooth movement tracking device, and temporomandibular joint noise analyzer

Publications (2)

Publication Number Publication Date
JP2010142285A true JP2010142285A (en) 2010-07-01
JP5495415B2 JP5495415B2 (en) 2014-05-21

Family

ID=42563348

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008319959A Active JP5495415B2 (en) 2008-12-16 2008-12-16 Mandibular anterior tooth movement tracking system, mandibular anterior tooth movement tracking device, and temporomandibular joint noise analyzer

Country Status (1)

Country Link
JP (1) JP5495415B2 (en)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010273756A (en) * 2009-05-27 2010-12-09 Yoshida Dental Mfg Co Ltd Temporomandibular arthrosis diagnosis support system and apparatus equipped with pain detector
JP2013031650A (en) * 2011-06-30 2013-02-14 Gifu Univ System and method for measuring ingesting action
JP2015501663A (en) * 2011-11-15 2015-01-19 トリスペラ デンタル インコーポレイテッド Method and system for acquiring data for creating a 3D model from a person
JP2015029815A (en) * 2013-08-06 2015-02-16 直樹 西浜 Dentition measuring device
JP2017515604A (en) * 2014-05-19 2017-06-15 シロナ・デンタル・システムズ・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング Method for generating magnetic resonance tomographic images of periodic motion
CN107405187A (en) * 2015-03-09 2017-11-28 普兰梅卡有限公司 Track the motion of jaw
US10166091B2 (en) 2014-02-21 2019-01-01 Trispera Dental Inc. Augmented reality dental design method and system
JP2020054443A (en) * 2018-09-28 2020-04-09 株式会社Nttドコモ Jaw evaluation system and jaw evaluation method
CN111920535A (en) * 2020-07-10 2020-11-13 上海交通大学医学院附属第九人民医院 All-ceramic tooth preparation method based on face and oral dentition three-dimensional scanning technology
WO2021090921A1 (en) * 2019-11-08 2021-05-14 国立大学法人大阪大学 System, program, and method for measuring jaw movement of subject
JP2021101872A (en) * 2019-12-25 2021-07-15 学校法人日本大学 Eating related proposal device and eating related proposal system
CN113143259A (en) * 2021-03-10 2021-07-23 广州医科大学附属口腔医院(广州医科大学羊城医院) Mouth joint movable opening measurer
WO2021182470A1 (en) * 2020-03-12 2021-09-16 国立大学法人大阪大学 Quantitative evaluation method based on movement quantities of facial soft tissue
CN115137519A (en) * 2022-09-06 2022-10-04 暨南大学 Intelligent robot system for oral surgery

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101802917B1 (en) 2016-05-04 2017-11-29 주식회사 메디트 Apparatus and Method for Measuring Movement of Dental Model
KR20200120010A (en) 2019-04-11 2020-10-21 재단법인 아산사회복지재단 Mouthpiece unit for photographing a medical image
CN109965881B (en) * 2019-04-29 2021-06-04 杭州雅智医疗技术有限公司 Application method and device for non-contact measurement of oral cavity openness

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61501823A (en) * 1984-04-09 1986-08-28 ゲイ,ト−マス Device for acoustic detection and analysis of joint abnormalities
JPH09171559A (en) * 1995-12-20 1997-06-30 Oki Electric Ind Co Ltd Lip tracking device
JPH09238963A (en) * 1996-03-07 1997-09-16 Nikon Corp Simulation method for motion of jaws
JPH10137269A (en) * 1996-11-11 1998-05-26 Yasuyuki Sugano Maxillary joint examination supporting device
JP2002150291A (en) * 2000-11-06 2002-05-24 Nagoya Industrial Science Research Inst Moving point locus measuring method, moving point locus measuring device, image processing method, image processing device, computer-readable recording medium with moving point locus measuring program recorded thereon, and moving point locus measuring program
JP2004272292A (en) * 1997-12-08 2004-09-30 Mitsubishi Electric Corp Sound signal processing method
JP2005526853A (en) * 2002-05-23 2005-09-08 ザ プロクター アンド ギャンブル カンパニー Teeth whitening products
JP2005349176A (en) * 2004-05-14 2005-12-22 Rise Corp Jaw movement analyzing method and jaw movement analyzing system

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61501823A (en) * 1984-04-09 1986-08-28 ゲイ,ト−マス Device for acoustic detection and analysis of joint abnormalities
JPH09171559A (en) * 1995-12-20 1997-06-30 Oki Electric Ind Co Ltd Lip tracking device
JPH09238963A (en) * 1996-03-07 1997-09-16 Nikon Corp Simulation method for motion of jaws
JPH10137269A (en) * 1996-11-11 1998-05-26 Yasuyuki Sugano Maxillary joint examination supporting device
JP2004272292A (en) * 1997-12-08 2004-09-30 Mitsubishi Electric Corp Sound signal processing method
JP2002150291A (en) * 2000-11-06 2002-05-24 Nagoya Industrial Science Research Inst Moving point locus measuring method, moving point locus measuring device, image processing method, image processing device, computer-readable recording medium with moving point locus measuring program recorded thereon, and moving point locus measuring program
JP2005526853A (en) * 2002-05-23 2005-09-08 ザ プロクター アンド ギャンブル カンパニー Teeth whitening products
JP2005349176A (en) * 2004-05-14 2005-12-22 Rise Corp Jaw movement analyzing method and jaw movement analyzing system

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010273756A (en) * 2009-05-27 2010-12-09 Yoshida Dental Mfg Co Ltd Temporomandibular arthrosis diagnosis support system and apparatus equipped with pain detector
JP2013031650A (en) * 2011-06-30 2013-02-14 Gifu Univ System and method for measuring ingesting action
JP2015501663A (en) * 2011-11-15 2015-01-19 トリスペラ デンタル インコーポレイテッド Method and system for acquiring data for creating a 3D model from a person
JP2015029815A (en) * 2013-08-06 2015-02-16 直樹 西浜 Dentition measuring device
US10912634B2 (en) 2014-02-21 2021-02-09 Trispera Dental Inc. Augmented reality dental design method and system
US10166091B2 (en) 2014-02-21 2019-01-01 Trispera Dental Inc. Augmented reality dental design method and system
JP2017515604A (en) * 2014-05-19 2017-06-15 シロナ・デンタル・システムズ・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング Method for generating magnetic resonance tomographic images of periodic motion
CN107405187A (en) * 2015-03-09 2017-11-28 普兰梅卡有限公司 Track the motion of jaw
CN107405187B (en) * 2015-03-09 2020-12-11 普兰梅卡有限公司 Device and method for tracking jaw movement
JP7090245B2 (en) 2018-09-28 2022-06-24 株式会社Nttドコモ Jaw evaluation system and jaw evaluation method
JP2020054443A (en) * 2018-09-28 2020-04-09 株式会社Nttドコモ Jaw evaluation system and jaw evaluation method
WO2021090921A1 (en) * 2019-11-08 2021-05-14 国立大学法人大阪大学 System, program, and method for measuring jaw movement of subject
JPWO2021090921A1 (en) * 2019-11-08 2021-11-25 国立大学法人大阪大学 Systems, programs, and methods for measuring a subject's jaw movements
JP7037159B2 (en) 2019-11-08 2022-03-16 国立大学法人大阪大学 Systems, programs, and methods for measuring a subject's jaw movements
JP2021101872A (en) * 2019-12-25 2021-07-15 学校法人日本大学 Eating related proposal device and eating related proposal system
JP7286093B2 (en) 2019-12-25 2023-06-05 学校法人日本大学 Eating Related Proposal Device and Eating Related Proposing System
WO2021182470A1 (en) * 2020-03-12 2021-09-16 国立大学法人大阪大学 Quantitative evaluation method based on movement quantities of facial soft tissue
CN111920535A (en) * 2020-07-10 2020-11-13 上海交通大学医学院附属第九人民医院 All-ceramic tooth preparation method based on face and oral dentition three-dimensional scanning technology
CN111920535B (en) * 2020-07-10 2022-11-25 上海交通大学医学院附属第九人民医院 All-ceramic tooth preparation method based on three-dimensional scanning technology of facial and oral dentition
CN113143259A (en) * 2021-03-10 2021-07-23 广州医科大学附属口腔医院(广州医科大学羊城医院) Mouth joint movable opening measurer
CN115137519A (en) * 2022-09-06 2022-10-04 暨南大学 Intelligent robot system for oral surgery

Also Published As

Publication number Publication date
JP5495415B2 (en) 2014-05-21

Similar Documents

Publication Publication Date Title
JP5495415B2 (en) Mandibular anterior tooth movement tracking system, mandibular anterior tooth movement tracking device, and temporomandibular joint noise analyzer
EP3453333B1 (en) Dental three-dimensional data processing device and method thereof
US4836778A (en) Mandibular motion monitoring system
JP2015517364A (en) How to create a chin virtual image
JP2011177451A (en) Dental diagnosis system and dental care system
EP0455700A1 (en) Method and apparatus for generating cephalometric images
Pinheiro et al. Measurement of jaw motion: the proposal of a simple and accurate method
JP2016513481A (en) Byte fork with void
Jeon et al. Quantitative analysis of the mouth opening movement of temporomandibular joint disorder patients according to disc position using computer vision: a pilot study
KR100972456B1 (en) Method and apparatus for estimating TMJ movement
JP5506024B2 (en) Temporomandibular disorder diagnosis support system and apparatus provided with pain detector
Lepidi et al. Preliminary clinical study of the accuracy of a digital axiographic recording system for the assessment of sagittal condylar inclination
Frisoli et al. Comparative study using video analysis and an ultrasonic measurement system to quantify mandibular movement
JP3765776B2 (en) Chewing function evaluation system
US8251927B2 (en) System and procedure for the analysis of the swallowing process in humans
JPH0566813B2 (en)
Pinheiro et al. A computational method for recording and analysis of mandibular movements
US20110191083A1 (en) System and Method for Measuring and Reporting the Relative Functions of Dental Anatomical Structures
Walker et al. Computer morphometrics in craniofacial biology
KR20160052995A (en) functional malocclusion diagnostic system
RU2102007C1 (en) Functional diagnosis method for examining maxillodental system
Brady Using State-of-the-Art Occlusion Technology to Simplify and Improve Functional Risk Assessment
JPH10137269A (en) Maxillary joint examination supporting device
EP0183713A1 (en) Method for the acoustic detection and analysis of joint disorders
Hamborg et al. Movement and signal analysis by means of a computer‐assisted system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111213

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131203

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140303

R150 Certificate of patent or registration of utility model

Ref document number: 5495415

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250