JP2011250998A - Device, method and program for determining symmetry - Google Patents
Device, method and program for determining symmetry Download PDFInfo
- Publication number
- JP2011250998A JP2011250998A JP2010126869A JP2010126869A JP2011250998A JP 2011250998 A JP2011250998 A JP 2011250998A JP 2010126869 A JP2010126869 A JP 2010126869A JP 2010126869 A JP2010126869 A JP 2010126869A JP 2011250998 A JP2011250998 A JP 2011250998A
- Authority
- JP
- Japan
- Prior art keywords
- symmetry
- difference
- image
- region
- average density
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Image Processing (AREA)
Abstract
Description
本発明は、人体の背面側から撮像されたモアレ画像に基づいて、左右の対称性を判定する対称性判定装置等に関する。 The present invention relates to a symmetry determination device and the like that determine left-right symmetry based on a moire image captured from the back side of a human body.
例えば、脊柱側彎症は、背骨(脊柱)が側方にねじれて曲がる状態の病気で、成長期の小中学生、特に女子生徒に多く見られる症状の一つである。彎曲が大きく、症状が進行した場合、臓器の圧迫による肺機能の低下、さらには心臓にも影響が出ることになるが、痛みなどの自覚症状を伴わないため、早期発見が困難で問題となっている。 For example, scoliosis is a disease in which the spine (vertebral column) is twisted to the side and bent, and is one of the most common symptoms in growing elementary and junior high school students, especially girl students. If the folds are large and the symptoms progress, the lung function will decrease due to the compression of the organs, and the heart will also be affected. However, since there are no subjective symptoms such as pain, early detection is difficult and problematic. ing.
脊柱側彎症の早期発見を目的として、医師による学校での集団検診が行われている。脊柱側彎症の診断法の一般的なものとして、前屈テストによる医師の視診が用いられている。これは、前屈姿勢をとって背部を観察し、左右の肋骨の***を比較するもので、側彎症の種類によっては背部***の差が少ない例があることや、医師の主観による診断基準に差が生じるなどの問題が生じている。 In order to detect scoliosis at an early stage, mass screening is performed by a doctor at school. As a general method for diagnosing scoliosis, a doctor's inspection by a forward bending test is used. This is a forward bending posture, where the back is observed and the ribs on the left and right ribs are compared. Depending on the type of scoliosis, there are cases where there is little difference in the back bumps, and the diagnostic criteria based on the doctor's subjectivity. There is a problem such as a difference.
また、集団検診において医師の負担が大きいことや、再現性の欠如などといった問題が医療現場から指摘されている。そこで、脊柱側彎症の診断にはモアレ法を用いた画像（以下、モアレ画像とする）が適用されるようになった。これは、人体の凹凸情報を地図における等高線のような縞模様に記録することにより、２次元画像として表現したものである。脊柱側彎症者のモアレ画像は、健常者のものと比べてモアレ縞に左右非対称なひずみが現れており、視診における肩や腰の左右の対称性と同様、医師の診断においての一つの評価指標として用いられている。モアレ画像を用いることにより、集団検診における脊柱側彎症の診断効率は格段に向上した。 In addition, problems such as a heavy burden on doctors in group screening and lack of reproducibility have been pointed out by medical sites. Therefore, an image using the moire method (hereinafter referred to as a moire image) has been applied to the diagnosis of scoliosis. This is expressed as a two-dimensional image by recording unevenness information of a human body in a striped pattern such as a contour line on a map. Moire images of scoliosis patients show asymmetrical distortions in the moire fringes compared to those of healthy individuals, as well as the left and right symmetry of the shoulders and hips in the visual inspection, one evaluation in the diagnosis of the doctor It is used as an indicator. By using moire images, the diagnostic efficiency of scoliosis in mass screening has improved remarkably.
しかし、依然として画像を用いて診断するのは医師であり、全体の僅か数パーセントしかない脊柱側彎症例を診断するために、多量のモアレ画像を処理することが医師の大きな負担となっている。これらの問題点を解決するため、画像情報からの診断の定量化や支援を行うための手法がいくつか提案されている（例えば、非特許文献１ないし４を参照）。 However, it is still a doctor who makes a diagnosis using images, and it is a heavy burden on the doctor to process a large amount of moire images in order to diagnose scoliosis cases which are only a few percent of the total. In order to solve these problems, several methods for quantifying and supporting diagnosis from image information have been proposed (see, for example, Non-Patent Documents 1 to 4).
しかしながら、上記各非特許文献に記載の技術は、複数の特徴量を算出し、それらの特徴量に基づいてモアレ画像の識別を行うことができるが、識別の精度が十分とは言えず、その向上が求められている。 However, the techniques described in each of the above non-patent documents can calculate a plurality of feature amounts and identify a moire image based on the feature amounts. However, the accuracy of the identification is not sufficient. There is a need for improvement.
そこで、本発明は、人体の背面から撮像したモアレ画像の左右の対称性を判定するための最適な特徴量を用いて、精度の高い識別を行う対称性判定装置、対称性判定方法、及び対称性判定プログラムを提供する。 Therefore, the present invention provides a symmetry determination device, a symmetry determination method, and a symmetry that perform highly accurate identification using an optimal feature amount for determining the left-right symmetry of a moire image captured from the back of a human body. A sex determination program is provided.
本願に開示する対称性判定装置は、人体の背面側から撮像されたモアレ画像に基づいて、前記人体の左右の対称性を判定する対称性判定装置において、撮像されたモアレ画像を入力する画像入力手段と、前記入力されたモアレ画像に基づいて、当該モアレ画像の左右の対称性の基準となる正中線を設定する正中線設定手段と、前記正中線を中心とする左右の重心位置の差を算出する重心位置算出手段と、前記正中線を中心とする左右の平均濃度値の差を算出する平均濃度算出手段と、前記モアレ画像に基づいて、肩甲骨領域を関心領域として設定する関心領域設定手段と、前記関心領域における前記正中線を中心とする左右の平均濃度値の差を算出する関心領域平均濃度算出手段と、前記関心領域における前記正中線を中心とする左右のモアレ縞を閉曲線として抽出し、フーリエ記述子を算出するフーリエ記述子算出手段と、前記重心位置算出手段が算出した重心位置の差、前記平均濃度算出手段が算出した平均濃度値の差、前記関心領域平均濃度算出手段が算出した関心領域における平均濃度値の差、及びフーリエ記述子算出手段が算出したフーリエ記述子の各特徴量に基づいて、前記モアレ画像の左右の対称性を判定する対称性判定手段とを備えるものである。 The symmetry determination device disclosed in the present application is an image input for inputting a captured moire image in the symmetry determination device that determines left-right symmetry of the human body based on a moire image captured from the back side of the human body. A median line setting means for setting a median line that serves as a reference for left and right symmetry of the moire image based on the input moire image, and a difference between the center-of-gravity positions of the right and left centered on the median line. A center-of-gravity position calculating means for calculating, an average density calculating means for calculating a difference between left and right average density values centered on the median line, and a region of interest setting for setting a scapula region as a region of interest based on the moire image A region of interest average density calculating means for calculating a difference between left and right average density values centered on the median line in the region of interest; and a left and right mower centered on the median line in the region of interest. A Fourier descriptor calculating unit that extracts a fringe as a closed curve and calculates a Fourier descriptor; a difference between centroid positions calculated by the centroid position calculating unit; a difference between average density values calculated by the average concentration calculating unit; the region of interest A symmetry determination for determining the left-right symmetry of the moire image based on the difference between the average density values in the region of interest calculated by the average density calculation means and the feature values of the Fourier descriptor calculated by the Fourier descriptor calculation means Means.
このように、本願に開示する対称性判定装置においては、人体の背面側全体の左右の重心位置の差、及び平均濃度値の差、並びに肩甲骨領域における左右の平均濃度値の差、及びフーリエ記述子を特徴量として算出することで、背面全体の歪みと肩甲骨領域における歪みとを医師が着目する観点と同様の観点から検出し、左右の非対称性を総合的に判定することができるため、モアレ画像を精度よく識別することができるという効果を奏する。 As described above, in the symmetry determination device disclosed in the present application, the difference between the left and right barycentric positions of the entire back side of the human body, the difference between the average density values, the difference between the left and right average density values in the scapula region, and the Fourier By calculating the descriptor as a feature value, it is possible to detect the distortion of the entire back surface and the distortion in the scapula region from the same viewpoint as the point of view of the doctor, and comprehensively determine the left-right asymmetry The moire image can be accurately identified.
また、平均濃度値、及び重心位置のような濃度的な特徴量と、フーリエ記述子のような形状的な特徴量とを総合的に判定するため、独立した観点からの総合的な識別が可能となり、識別の精度を上げることができるという効果を奏する。 In addition, since density features such as the average density value and the center of gravity position and shape features such as Fourier descriptors are comprehensively determined, comprehensive identification from an independent viewpoint is possible. As a result, the identification accuracy can be improved.
本願に開示する対称性判定装置は、前記画像入力手段が入力したモアレ画像に対して前処理を施し、新たな入力されたモアレ画像とする前処理手段を備え、当該前処理手段が、前記入力されたモアレ画像に一定分散強調処理を行うＣＶＥ手段と、前記入力されたモアレ画像にソーベルフィルタを施すソーベルフィルタ手段と、前記一定分散強調処理が行われた画像情報と前記ソーベルフィルタが施された画像情報との差分画像を生成する差分画像生成手段と、前記差分画像をバイラテラルフィルタで平滑化する平滑化処理手段とを備えるものである。 The symmetry determination apparatus disclosed in the present application includes preprocessing means for performing preprocessing on the moire image input by the image input means to obtain a newly input moire image, and the preprocessing means includes the input CVE means for performing a constant dispersion emphasis process on the input moire image, Sobel filter means for applying a Sobel filter to the input moire image, image information on which the constant dispersion emphasis process has been performed, and the Sobel filter Difference image generating means for generating a difference image with applied image information, and smoothing processing means for smoothing the difference image with a bilateral filter.
このように、本願に開示する対称性判定装置においては、モアレ画像に一定分散強調処理（ＣＶＥ：Constant Variance Enhancement）を行ったものと、モアレ画像にソーベルフィルタを施したものとの差分画像を、バイラテラルフィルタで平滑化する前処理を行うことで、照明等の環境の違い、カメラの画質、環境ノイズ等の有無に関わらず、人体の形状、及びモアレ縞を鮮明な画像で抽出することができ、正確な特徴量を算出して識別の精度を上げることができるという効果を奏する。 As described above, in the symmetry determination device disclosed in the present application, a difference image between a moiré image subjected to constant dispersion enhancement processing (CVE) and a moiré image subjected to a Sobel filter is obtained. By performing pre-processing that smoothes with a bilateral filter, the shape of the human body and moire fringes can be extracted with a clear image regardless of differences in the environment such as lighting, image quality of the camera, and environmental noise. Thus, it is possible to increase the accuracy of identification by calculating an accurate feature amount.
本願に開示する対称性判定装置は、前記モアレ画像に基づいて、左右の肩のラインの差
を算出する肩ライン算出手段を備え、前記対称性判定手段が、前記重心位置の差、前記平均濃度値の差、前記関心領域における平均濃度値の差、前記フーリエ記述子、及び前記肩ラインの差の各特徴量に基づいて、前記モアレ画像の左右の対称性を判定するものである。
The symmetry determination device disclosed in the present application includes shoulder line calculation means for calculating a difference between left and right shoulder lines based on the moire image, and the symmetry determination means includes the difference in the center of gravity position, the average density The left and right symmetry of the moire image is determined based on the feature values of the difference in value, the difference in average density value in the region of interest, the Fourier descriptor, and the difference in shoulder line.
このように、本願に開示する対称性判定装置においては、左右の肩のラインの差（例えば、水平方向に対する傾きの角度差）を特徴量として算出して判定の要素とするため、新たに肩部の形状的な特徴量が加わり、背中部や肩甲骨領域だけでは左右の対称性を正確に判定しにくいモアレ画像に対しても、識別の精度をより高くすることができるという効果を奏する。 As described above, in the symmetry determination device disclosed in the present application, the difference between the left and right shoulder lines (for example, the angle difference of the inclination with respect to the horizontal direction) is calculated as a feature amount and used as a determination element. As a result, the accuracy of identification can be increased even for a moire image in which the right / left symmetry is difficult to determine accurately only by the back portion or the scapula region.
本願に開示する対称性判定装置は、前記肩ライン算出手段が、前記モアレ画像を２値化し、ハフ変換により左右の肩のラインを直線近似して差を算出するものである。 In the symmetry determination device disclosed in the present application, the shoulder line calculation unit binarizes the moire image, and calculates a difference by linearly approximating the left and right shoulder lines by Hough transform.
このように、本願に開示する対称性判定装置においては、モアレ画像を２値化し、ハフ変換により左右の肩のラインを直線近似して差を算出するため、肩のラインを正確に算出することができ、識別の精度をより高くすることができるという効果を奏する。 As described above, in the symmetry determination device disclosed in the present application, the moire image is binarized, and the shoulder line on the left and right is linearly approximated by the Hough transform to calculate the difference. Therefore, the shoulder line is accurately calculated. Thus, the identification accuracy can be further improved.
本願に開示する対称性判定装置は、対称性判定手段が、ニューラルネットワークからなる識別器であるものである。 In the symmetry determining device disclosed in the present application, the symmetry determining means is a discriminator formed of a neural network.
このように、本願に開示する対称性判定装置においては、ニューラルネットワークからなる識別器により判定を行うため、既知のモアレ画像（正常例と脊柱側彎症例）に基づく学習により、未知のモアレ画像に対して適切な判定を行い、識別の精度を上げることができるという効果を奏する。 As described above, in the symmetry determination device disclosed in the present application, since determination is performed by a classifier including a neural network, an unknown moire image is obtained by learning based on known moire images (normal cases and scoliosis cases). For this, it is possible to make an appropriate determination and increase the accuracy of identification.
本願に開示する対称性判定装置は、前記各特徴量のうち少なくとも一以上の特徴量が、他の特徴量と比較して異常値と判断される場合に、前記一以上の特徴量の重み付けを大きく調整する重付調整手段を備えるものである。 The symmetry determination device disclosed in the present application weights the one or more feature amounts when at least one of the feature amounts is determined to be an abnormal value compared to other feature amounts. It is provided with weight adjustment means for making a large adjustment.
このように、本願に開示する対称性判定装置においては、各特徴量のうち少なくとも一以上の特徴量が、他の特徴量と比較して異常値と判断される場合に、前記一以上の特徴量の重み付けを大きく調整するため、一つでも異常な特徴量があるモアレ画像については非対称と判定する傾向になり、異常性の見落としを最小限に抑えることができるという効果を奏する。 As described above, in the symmetry determination device disclosed in the present application, when at least one or more feature amounts among the feature amounts are determined to be abnormal values compared to other feature amounts, the one or more features are included. Since the weighting of the amount is largely adjusted, a moire image having even one abnormal feature amount tends to be determined as asymmetric, and an effect of minimizing oversight of abnormality can be achieved.
以下、本発明の実施の形態を説明する。本発明は多くの異なる形態で実施可能である。従って、本実施形態の記載内容のみで本発明を解釈すべきではない。また、本実施形態の全体を通して同じ要素には同じ符号を付けている。以下の実施の形態では、主に装置について説明するが、所謂当業者であれば明らかな通り、本発明は方法、及び、コンピュータを動作させるためのプログラムとしても実施できる。 Embodiments of the present invention will be described below. The present invention can be implemented in many different forms. Therefore, the present invention should not be construed based only on the description of the present embodiment. Also, the same reference numerals are given to the same elements throughout the present embodiment. In the following embodiments, the apparatus will be mainly described. However, as is apparent to those skilled in the art, the present invention can also be implemented as a method and a program for operating a computer.
（本発明の第１の実施形態）
本実施形態に係る対称性判定装置について、図１ないし図１２を用いて説明する。図１は、本実施形態に係る対称性判定装置を適用する脊柱側彎症の診療に関する図、図２は、本実施形態に係る対称性判定装置の機能ブロック図、図３は、本実施形態に係る対称性判定装置で用いるモアレに関する説明図、図４は、本実施形態に係る対称性判定装置における前処理部の機能ブロック図、図５は、本実施形態に係る対称性判定装置における前処理部の結果を示す第１の図、図６は、本実施形態に係る対称性判定装置における前処理部の結果を示す第２の図、図７は、本実施形態に係る対称性判定装置における正中線の求め方を示す図、図８は、本実施形態に係る対称性判定装置における処理領域の設定方法に関する図、図９は、本実施形態に係る対称性判定装置における特徴量算出部の機能ブロック図、図１０は、本実施形態に係る対称性判定装置における対称度の算出方法を示す図、図１１は、本実施形態に係る対称性判定装置のハードウェア構成図、図１２は、本実施形態に係る対称性判定装置の処理を示すフローチャートである。
(First embodiment of the present invention)
The symmetry determination apparatus according to this embodiment will be described with reference to FIGS. FIG. 1 is a diagram relating to scoliosis medical treatment to which the symmetry determining apparatus according to the present embodiment is applied, FIG. 2 is a functional block diagram of the symmetry determining apparatus according to the present embodiment, and FIG. 3 is the present embodiment. FIG. 4 is a functional block diagram of a preprocessing unit in the symmetry determining apparatus according to the present embodiment, and FIG. 5 is a front view of the symmetry determining apparatus according to the present embodiment. FIG. 6 is a first diagram illustrating the result of the processing unit, FIG. 6 is a second diagram illustrating the result of the preprocessing unit in the symmetry determining device according to the present embodiment, and FIG. 7 is the symmetry determining device according to the present embodiment. FIG. 8 is a diagram showing a method for determining a median line in FIG. 8, FIG. 8 is a diagram related to a method for setting a processing region in the symmetry determining apparatus according to the present embodiment, and FIG. FIG. 10 is a functional block diagram of the present embodiment. FIG. 11 is a hardware configuration diagram of the symmetry determining device according to the present embodiment, and FIG. 12 is a diagram illustrating the processing of the symmetry determining device according to the present embodiment. It is a flowchart to show.
本実施形態においては、対称性判定装置を脊柱側彎症の診療に用いた場合を例に説明する。脊柱側彎症は、脊柱が横に曲がり、多くの場合は脊柱自体の捻れを伴うものであり、側彎が進行すると重大な障害が生じる場合がある。図１（Ａ）は脊柱側彎症者のＸ線写真の一例である。一般に正常者の脊柱は、横から見た場合にＳ字型に彎曲しているが、正面から見た場合はほぼ直線になる。しかし、脊柱側彎症の場合、図１（Ａ）に示すように、脊柱がねじれを伴って側方に曲がる症状が顕著に現れる。 In the present embodiment, an example will be described in which the symmetry determination apparatus is used for medical treatment of scoliosis. Scoliosis is a bending of the spine, often accompanied by twisting of the spine itself, and severe scoring can occur as the scoliosis progresses. FIG. 1A is an example of an X-ray photograph of a scoliosis person. In general, the spinal column of a normal person is curved in an S shape when viewed from the side, but is substantially straight when viewed from the front. However, in the case of scoliosis, as shown in FIG. 1 (A), a symptom in which the spine bends sideways with twisting appears prominently.
脊柱傾斜の角度を評価する指標として、図１（Ｂ）に示すＣｏｂｂ角が用いられており、Ｃｏｂｂ角が２０度以上の彎曲を有する場合に治療が必要となる。図１（Ｂ）に示すように、Ｃｏｂｂ角は傾いた２つの脊柱から脊柱の彎曲により生じた彎曲部分に沿って線を引き、２つの線が交わるところの角度αを計測する。 The Cobb angle shown in FIG. 1B is used as an index for evaluating the angle of the spinal column inclination, and treatment is required when the Cobb angle has a curvature of 20 degrees or more. As shown in FIG. 1 (B), the Cobb angle is drawn from two tilted vertebral columns along a curved portion generated by the curvature of the vertebral column, and an angle α where the two lines intersect is measured.
脊柱側彎症は、一般に痛みなどの自覚症状がない。したがって本人は気づかず、家族や友人らに両肩の高さの違いを指摘されたり、あるいは学校における集団検診の際に発見されたりすることが多い。そのため早期発見が難しいとされている。しかし、重度の側彎症においては、心肺機能の低下、腰痛、背部痛が生じるなど深刻な問題となる。 Scoliosis generally has no subjective symptoms such as pain. Therefore, the person himself / herself is unaware, and family members and friends often point out the difference in height between their shoulders, or they are often found during group screenings at school. Therefore, early detection is considered difficult. However, severe scoliosis causes serious problems such as reduced cardiopulmonary function, low back pain, and back pain.
側彎の程度を詳しく調べるには、図１（Ａ）に示すようなＸ線検査を行う必要がある。その際、脊柱の曲がり具合、骨の柔軟さ、成長度などを観測するため、様々な姿勢、角度でＸ線画像を撮影する。そのため、診断するにあたって何枚ものＸ線写真を撮影する必要がある。しかし、被験者の大半が成長過程にある子供であることを考慮すれば、放射線被曝を伴うＸ線撮影の対象者数は、必要最小限にとどめるべきである。そこで、診断は以下のような３段階の手順で行われる。 In order to examine the degree of scoliosis in detail, it is necessary to perform an X-ray inspection as shown in FIG. At that time, X-ray images are taken with various postures and angles in order to observe the bending state of the spinal column, the flexibility of the bone, the degree of growth, and the like. Therefore, it is necessary to take several X-ray photographs for diagnosis. However, considering that most subjects are growing children, the number of X-ray subjects with radiation exposure should be kept to a minimum. Therefore, the diagnosis is performed in the following three steps.
まず、第１次診断として、脊柱側彎症者が多く見られる成長期の小中学生を対象に集団検診を行う。ここでは、前屈テストやモアレ法による検診が行われる。この段階で脊柱側彎症の疑いのある者を対象に、第２次診断として低線量Ｘ線撮影を行う。ここでは、身体への影響を極力なくすため、低線量Ｘ線で撮影し、脊柱の大まかな形状を確認する。そして、この段階においても脊柱側彎症の疑いがあると診断された者のみ、第３次診断として、直接Ｘ線撮影が行われ、脊柱の形状が詳しく調べられる。 First, as a primary diagnosis, group screening is conducted for elementary and junior high school students who are growing up and have many scoliosis patients. Here, screening by the forward bending test and the moire method is performed. At this stage, low-dose X-ray imaging is performed as a secondary diagnosis for persons suspected of having scoliosis. Here, in order to minimize the influence on the body, a low-dose X-ray is taken and the rough shape of the spinal column is confirmed. At this stage, only those who are diagnosed as suspected of having scoliosis are directly subjected to X-ray imaging as the third diagnosis, and the shape of the spine is examined in detail.
第１次診断における集団検診では、被験者一人一人を視診することになる。これは前屈テストと呼ばれる。図１（Ｃ）に前屈テストの際、医師が最も注目する診断箇所を示しており、両肩の高さの左右不均衡（図中の１に相当）、両肩甲骨の高さ、又は凹凸の左右不均衡（図中の２に相当）、ウエストライン付近における脇線の左右非対称（図中の３に相当）、前屈テストにおけるリブ・ハンプ(rib hump:前屈姿勢での肋骨***)の存在（図中の４に相当）が診断される。 In the group screening in the first diagnosis, each subject is inspected. This is called the forward bending test. FIG. 1 (C) shows the diagnosis site most noticed by the doctor during the forward bending test, and the left / right imbalance of the heights of both shoulders (corresponding to 1 in the figure), the heights of both shoulder blades, or Unevenness of unevenness (corresponding to 2 in the figure), left-right asymmetry of the side line near the waistline (corresponding to 3 in the figure), rib hump in a forward bending test (rib hump: rib protrusion in a forward bending posture) ) (Corresponding to 4 in the figure) is diagnosed.
この第１次診断において、最も重点が置かれる注目箇所はリブ・ハンプで、治療が必要な側彎症者を効率よく発見できる。しかし、側彎症の種類によっては、リブ・ハンプが目立たない場合や、集団検診のため多数の被験者を一定時間内に診断しなければならないなどの理由から、医師の主観によって判断基準に差が生じたりすることが問題であり、その改善が求められている。また、再現性の欠如などの問題もある。本実施形態に係る対称性判定装置は、この第１次診断における診察を支援するものである。 In this primary diagnosis, ribs and humps are the most important points of attention, and scoliosis patients who need treatment can be found efficiently. However, depending on the type of scoliosis, there may be a difference in judgment criteria depending on the subjectivity of the doctor, such as when rib humps are inconspicuous or because many subjects have to be diagnosed within a certain time for mass screening. It is a problem that occurs and there is a need for improvement. There are also problems such as lack of reproducibility. The symmetry determination apparatus according to the present embodiment supports the examination in the primary diagnosis.
図２は、モアレ画像撮像装置１０と、対称性判定装置２０とを備える診断支援システムの構成を示す。モアレ画像撮像装置１０は、被験者の姿勢を保持するための姿勢保持装置１１と、モアレ画像を撮像するためのモアレカメラ１２と、モアレカメラ１２が撮像した映像を表示するモニタ１３とを備える。被験者は、姿勢保持装置１１に凭れ掛かることにより、呼吸等によるわずかな変化を抑え、一定の姿勢が保たれた状態でモアレカメラ１２により背面部分が撮像される。検査技師等の撮像者は、モニタ１３を見ながら、被験者の位置関係や撮像環境を確認し、モアレ画像の撮像を行う。 FIG. 2 shows a configuration of a diagnosis support system including the moire image capturing device 10 and the symmetry determining device 20. The moiré image capturing apparatus 10 includes a posture maintaining apparatus 11 for maintaining the posture of the subject, a moire camera 12 for capturing a moire image, and a monitor 13 for displaying an image captured by the moire camera 12. The subject leans on the posture holding device 11 to suppress slight changes due to breathing and the like, and the back portion is imaged by the moire camera 12 in a state where a constant posture is maintained. An imager such as an inspection engineer observes the monitor 13 while confirming the positional relationship and imaging environment of the subject and captures a moire image.
ここで、モアレ画像（モアレ法）について説明する。モアレは、点又は線が幾何学的に規則正しく分布したものを重ね合わせた時に生じる縞状の斑紋のことである。規則的に並んだ模様を２種類以上重ね合わせた場合に、元のパターンとは異なる模様が現れる現象のことをモアレ現象と言い、モアレ現象により現れる縞模様をモアレ縞と呼ぶ。 Here, a moire image (moire method) will be described. Moire is a striped pattern that occurs when dots or lines are distributed in a geometrically regular pattern. When two or more kinds of regularly arranged patterns are superimposed, a phenomenon in which a pattern different from the original pattern appears is called a moire phenomenon, and a stripe pattern that appears due to the moire phenomenon is called a moire stripe.
モアレ縞は、一定の幅で平行に描かれた格子を上から重ね合わせる方法で作り出すことができる。ここで、重ね合わせる側の規則的に並んだ格子のことを基準格子と言い、重ね合わされる側の格子で、表現したいものに合わせて基準格子に歪みを持たせたものを試料格子と言う。 Moire fringes can be created by superimposing lattices drawn in parallel with a certain width from above. Here, the regularly arranged lattices on the overlapping side are referred to as reference lattices, and the superposed lattices in which the reference lattice is distorted in accordance with what is desired to be expressed are referred to as sample lattices.
光を上から基準格子に当てた場合、その影を試料格子として取り出すと、その形状は図３（Ａ）のようになる。図３（Ａ）の（ａ）のように、影が映る面が平面であれば、試料格子は規則的に並ぶ格子となり、図３（Ａ）の（ｂ）のように，影が映る面が凹凸面であれば、試料格子も凹凸に沿って歪んだものとなる。このようにして作られた試料格子の上に、基準格子を重ね合わせてできるモアレ縞は、物体の等高線を表すものとなる。本実施形態で用いるモアレ画像は、これにノイズ除去、大きな被写体への対応などの工夫が施された、格子投影法により撮影されたものである。 When the light is applied to the reference grating from above, the shape is as shown in FIG. If the surface on which the shadow appears is a flat surface as shown in FIG. 3A, the sample lattice is a regularly arranged lattice, and the surface on which the shadow appears as shown in FIG. 3A. If is an uneven surface, the sample lattice is also distorted along the unevenness. Moire fringes formed by superimposing the reference grating on the sample grating thus created represent the contour lines of the object. The moire image used in the present embodiment is an image taken by the lattice projection method, which has been devised such as removing noise and dealing with a large subject.
図３（Ｂ）及び（Ｃ）に、人体背面のモアレ画像の例を示す。図３（Ｂ）は正常例で、図３（Ｃ）は脊柱側彎症例である。正常例のモアレ画像は、縞模様が背中の正中線を境に左右対称になっているのに対し、脊柱側彎症例のモアレ画像は、脊柱の彎曲が原因で縞模様に左右非対称な歪みが生じている。脊柱側彎症診断にモアレ画像を用いることの最大の利点は、画像データとして情報を記録することができる点にある。これにより、医師が現場に立ち会う必要がなくなり、後日まとめて画像診断を行うことが可能になったことから、集団検診の効率化が図られるようになった。また、医師による視診では、医師の主観によって判断基準が左右されるが、モアレ画像による診断では、背面の凹凸情報を地図の等高線のような縞模様に投影するため、より客観的な診断が可能となる。さらに、画像データとして記録するため再現性にも優れている。そのため、モアレ画像は視診に代わる第１次診断法として取り入れられている。 3B and 3C show examples of moire images on the back of the human body. FIG. 3B shows a normal case, and FIG. 3C shows a scoliosis case. In the moiré image of the normal case, the stripe pattern is symmetrical with respect to the midline of the back, whereas the moiré image of the scoliosis case has asymmetric distortion in the stripe pattern due to the curvature of the spine. Has occurred. The greatest advantage of using a moire image for scoliosis diagnosis is that information can be recorded as image data. This eliminates the need for doctors to be present at the site and enables image diagnosis at a later date to improve the efficiency of group screening. In addition, in doctors' visual inspections, the judgment criteria depend on the doctor's subjectivity, but in moire image diagnosis, the unevenness information on the back is projected onto a striped pattern such as a contour line on the map, enabling more objective diagnosis It becomes. Furthermore, since it is recorded as image data, it has excellent reproducibility. For this reason, moire images are used as a primary diagnostic method instead of visual inspection.
図２に戻って、対称性判定装置２０は、モアレカメラ１２で撮像されたモアレ画像を入力する画像入力部２１と、入力されたモアレ画像に基づいて正中線を設定する正中線設定部２４と、入力されたモアレ画像に前処理を施して新たな入力画像（処理用入力画像とする）を生成する前処理部２３と、処理用入力画像に基づいて関心領域を設定する関心領域設定部２２と、処理用入力画像、正中線、及び関心領域に基づいて特徴量を算出する特徴量算出部２５と、算出された特徴量に基づいてモアレ画像の左右の対称性を判定する判定部２６と、判定結果を出力する出力部２７とを備える。 Returning to FIG. 2, the symmetry determination device 20 includes an image input unit 21 that inputs a moire image captured by the moire camera 12, and a midline setting unit 24 that sets a midline based on the input moire image. A preprocessing unit 23 that preprocesses the input moire image to generate a new input image (processing input image), and a region of interest setting unit 22 that sets a region of interest based on the processing input image. A feature amount calculation unit 25 that calculates a feature amount based on the processing input image, the median line, and the region of interest, and a determination unit 26 that determines left-right symmetry of the moire image based on the calculated feature amount. And an output unit 27 for outputting the determination result.
画像入力部２１は、モアレカメラ１２で撮像されたモアレ画像を入力する。なお、入力方法としては、モアレカメラ１２と直接接続されて画像情報を入力してもよいし、モアレカメラ１２から記録媒体に記憶された画像情報を入力してもよいし、電気通信回線を通じて画像情報をダウンロードして入力するようにしてもよい。 The image input unit 21 inputs a moire image captured by the moire camera 12. As an input method, image information may be input directly connected to the moire camera 12, or image information stored in a recording medium may be input from the moire camera 12, or an image may be input through an electric communication line. Information may be downloaded and input.
前処理部２３は、画像入力部２１が入力した画像を前処理して、以降の処理を正確に行うための鮮明な画像を生成する。ここで、前処理について詳細に説明する。図４に前処理部の構成を示す。前処理部２３は、入力画像２３ａに対してソーベルフィルタを施すソーベルフィルタ処理部２３１と、入力画像２３ａに対して一定分散強調処理を行うＣＶＥ処理部２３２と、ソーベルフィルタ処理部２３１、及びＣＶＥ処理部２３２のそれぞれの処理部で実行されたモアレ画像の差分画像を生成する差分画像生成部２３３と、差分画像をバイラテラルフィルタで平滑化して処理用入力画像２３ｂを生成する平滑化処理部２３４とを備える。 The preprocessing unit 23 preprocesses the image input by the image input unit 21, and generates a clear image for accurately performing the subsequent processing. Here, the preprocessing will be described in detail. FIG. 4 shows the configuration of the preprocessing unit. The preprocessing unit 23 includes a Sobel filter processing unit 231 that performs a Sobel filter on the input image 23a, a CVE processing unit 232 that performs constant dispersion enhancement processing on the input image 23a, a Sobel filter processing unit 231, And a difference image generation unit 233 that generates a difference image of a moire image executed by each processing unit of the CVE processing unit 232, and a smoothing process that smoothes the difference image with a bilateral filter and generates a processing input image 23b Part 234.
モアレ画像は、撮影環境によってコントラストが大きく異なる場合がある。ソーベルフィルタ処理部２３１は、この問題を回避するための前処理としてソーベルフィルタを用いる。ソーベルフィルタは、ノイズを抑えながらエッジを効率的に抽出することが可能なフィルタで、平滑化を行う場合に中心となる画素からの距離に反比例した重みを与えて平均化を行う。図５（Ａ）に示す入力画像に対して、ソーベルフィルタを施した画像の例を図５（Ｂ）に示す。 The contrast of a moire image may vary greatly depending on the shooting environment. The Sobel filter processing unit 231 uses a Sobel filter as preprocessing for avoiding this problem. The Sobel filter is a filter that can efficiently extract edges while suppressing noise, and performs averaging by giving a weight inversely proportional to the distance from a central pixel when performing smoothing. An example of an image obtained by applying a Sobel filter to the input image shown in FIG. 5A is shown in FIG.
ＣＶＥ処理部２３２は、肩や腰部の特徴量を抽出する前処理として、入力画像２３ａに一定分散強調処理を行う。これは、画像内のどの領域内においても濃度分散と濃度平均とを均一にし、最適なコントラストを持った画像に変換する方法である。一定分散強調処理を用いる理由は、ヒストグラムを平坦化することにより、コントラストの低い画像に対してダイナミックレンジを広げ、微妙な明暗の変化も認識できるようにする必要があり、また、画像にシェーディングが存在する場合に、単純なヒストグラム変換処理では最適に平坦化することが困難な場合があるからである。そのため、変換する画素ごとにその周辺の情報を加味し、階調変換を行う必要がある。用いる変換式は、生化学検査などでよく用いられるＳＤＩ（Standard Deviation Index）と呼ばれている統計量である。 The CVE processing unit 232 performs constant dispersion emphasis processing on the input image 23a as preprocessing for extracting feature amounts of shoulders and waists. This is a method of making the density dispersion and density average uniform in any region in the image and converting it into an image having an optimum contrast. The reason for using constant dispersion emphasis processing is to flatten the histogram to expand the dynamic range for low-contrast images so that subtle changes in brightness can be recognized. This is because, when it exists, it may be difficult to flatten optimally by a simple histogram conversion process. For this reason, for each pixel to be converted, it is necessary to perform gradation conversion in consideration of peripheral information. The conversion formula to be used is a statistic called SDI (Standard Deviation Index) often used in biochemical examinations.
この変換式を式（１）に示す。ユーザーが与えるのは、局所領域（Ｍ）の大きさである。ＳＤＩは平均値０、分散１の値になるため、目的の階調になるように変換する必要がある。本実施形態では、求めたＳＤＩの値を閾値として２値画像に用いる。 This conversion formula is shown in Formula (1). The user gives the size of the local region (M). Since SDI has an average value of 0 and a variance of 1, it is necessary to convert it to a target gradation. In the present embodiment, the obtained SDI value is used as a threshold value for a binary image.
図５（Ｃ）、（Ｄ）に一定分散強調処理を行い、ＳＤＩで２値化した画像を示す。肩甲骨領域の抽出（詳細は後述する）に用いるＣＶＥ画像は、５１×５１［ｐｉｘｅｌｓ］（図５（Ｄ））、人体背面の縞の抽出(詳細は後述する)に用いるＣＶＥ画像は、２１×２１［ｐｉｘｅｌｓ］（図５（Ｃ））を用いる。 FIGS. 5C and 5D show images that have been subjected to constant dispersion emphasis processing and binarized with SDI. The CVE image used for extraction of the scapula region (details will be described later) is 51 × 51 [pixels] (FIG. 5D), and the CVE image used for extraction of stripes on the back of the human body (details will be described later) is 21. X21 [pixels] (FIG. 5C) is used.
差分画像生成部２３３は、ソーベルフィルタ、及び一定分散強調処理を施したそれぞれの画像から差分画像を作成する。これは、２種類のエッジ強調画像から差分演算を行うことにより、肩や腰部の輪郭が良好に抽出できるためである。図６（Ａ）は、図５（Ｂ）の画像と図５（Ｄ）の画像との差分画像である。図６（Ａ）から肩や腰のエッジが強調されていることが明らかである。 The difference image generation unit 233 creates a difference image from the Sobel filter and the respective images subjected to the constant dispersion enhancement process. This is because the contours of the shoulder and the waist can be satisfactorily extracted by performing the difference calculation from the two types of edge-enhanced images. FIG. 6A is a difference image between the image of FIG. 5B and the image of FIG. From FIG. 6A, it is clear that the shoulder and waist edges are emphasized.
図６（Ａ）に示すように、差分画像にはスパイク状ノイズが生じている。これらのノイズを取り除くため、平滑化処理部２３４が、バイラテラルフィルタを用いた平滑化処理を行う。バイラテラルフィルタを用いる理由として、バイラテラルフィルタはエッジを保持しながら平滑化を行うことが可能である利点が挙げられる。 As shown in FIG. 6A, spike-like noise is generated in the difference image. In order to remove these noises, the smoothing processing unit 234 performs a smoothing process using a bilateral filter. As a reason for using the bilateral filter, there is an advantage that the bilateral filter can perform smoothing while retaining an edge.
バイラテラルフィルタは、重みとしてガウス関数を用い、ガウシアンフィルタのように画素間の距離だけで重みを決めるのではなく、同時に輝度差も考慮に入れて重みを決めるフィルタである。輝度差が激しい部分では重みを小さくすることにより、輪郭をぼかすことなく平滑化を行うものである。バイラテラルフィルタの式を式（２）に示す。 The bilateral filter is a filter that uses a Gaussian function as a weight and determines a weight not only by a distance between pixels as in a Gaussian filter but also by taking a luminance difference into consideration. Smoothing is performed without blurring the outline by reducing the weight in a portion where the luminance difference is large. The expression for the bilateral filter is shown in Expression (2).
また、本実施形態においては、ガウス関数は、式（２）のように等方的なガウス関数を用いる。また、係数α、βの値を変化させることにより、フィルタの効果を調整することができる。図６（Ａ）に対し、バイラテラルフィルタを施して平滑化した画像の例を図６（Ｂ）に示す。図６（Ｂ）から、ノイズ成分が除去できていることが明らかである。 In this embodiment, an isotropic Gaussian function is used as a Gaussian function like Formula (2). Further, the effect of the filter can be adjusted by changing the values of the coefficients α and β. An example of an image smoothed by applying a bilateral filter to FIG. 6A is shown in FIG. From FIG. 6B, it is clear that the noise component can be removed.
図２に戻って、正中線設定部２４は、左右対称性を評価するための基準となる背面の正中線を設定する。ここで、正中線の設定について詳細に説明する。人体背面のモアレ画像は、正中線を境にほぼ左右対称であるとみなすことができるため、その正中線を近似的対称軸として設定する。 Returning to FIG. 2, the midline setting unit 24 sets the back midline as a reference for evaluating left-right symmetry. Here, the setting of the midline will be described in detail. Since the moire image on the back of the human body can be regarded as being almost symmetrical with respect to the midline, the midline is set as an approximate symmetry axis.
近似的対称軸は，図形とその鏡映対称図形との重ね合わせによって求まる。重ね合わせの位置は、以下の式（３）によって求まる。これは、図７に示すように、入力画像と鏡映対称図形が重なり合った部分の差分画像の１画素あたりの濃度値が最小になる位置を、最も重なり合った位置として求めることを示す。このときの入力画像の重心と、鏡映対称図形の重心との垂直二等分線が求める近似的対称軸となる。 The approximate symmetry axis is obtained by superimposing the figure and its mirror-symmetric figure. The position of superposition is obtained by the following equation (3). This indicates that, as shown in FIG. 7, the position where the density value per pixel of the difference image in the portion where the input image and the mirror symmetrical figure overlap is determined as the most overlapping position. At this time, the vertical bisector between the centroid of the input image and the centroid of the mirror-symmetric figure is an approximate symmetry axis to be obtained.
なお、本実施形態で用いるモアレ画像は、ほぼ直立で撮影されているため、同手法における回転操作は行わず、水平方向の移動のみで処理を行う。
ここで重心とは、モーメントによって求めることのできる画像特徴の一つである。画像Ｆ内における座標（ｘ，ｙ）∈Ｒにおける濃度値をｆ（ｘ，ｙ）とすると、Ｆの（ｉ＋ｊ
）次のモーメントは次式の式（４）で表される。ただし、Ｒは図形領域を示す。
Note that the moire image used in the present embodiment is taken almost upright, so that the rotation operation in this method is not performed, and the process is performed only by moving in the horizontal direction.
Here, the center of gravity is one of the image features that can be obtained by the moment. If the density value at the coordinates (x, y) ∈R in the image F is f (x, y), (i + j of F)
) The next moment is expressed by the following equation (4). Here, R indicates a graphic area.
図２に戻って、関心領域設定部２２は、特徴量算出部２５が特徴量を求める場合の対象となる処理領域を設定する。特徴量算出部２５は、背面全体の平均濃度値、及び重心位置、並びに肩甲骨領域の平均濃度値、及びフーリエ記述子を算出するため、ここでは、人体背面の処理領域と肩甲骨領域のそれぞれの処理領域を設定する。 Returning to FIG. 2, the region-of-interest setting unit 22 sets a processing region as a target when the feature amount calculation unit 25 obtains a feature amount. The feature amount calculation unit 25 calculates the average density value of the entire back surface, the center of gravity position, the average density value of the scapula region, and the Fourier descriptor. Set the processing area.
まず、人体背面の処理領域の設定について詳細に説明する。本実施形態で用いるモアレ画像は、人体背面の腰から首付近までを撮影したものである。そのため、処理対象外である腕や画像の左右に存在する背景など処理に不要な部分が存在する。そこで、これらの不要な部分を除去した処理領域を設定する。図８（Ａ）に示すように、横軸を基準とした累積ヒストグラムを作成した場合、図８（Ａ）の矢印で示す部分のような谷が生じる。そこで、中央から見て左右で値が小さくなる箇所（図８（Ａ）における矢印部分）をヒストグラム解析により求め、処理領域を設定する。 First, the setting of the processing area on the back of the human body will be described in detail. The moire image used in the present embodiment is an image taken from the waist on the back of the human body to the vicinity of the neck. Therefore, there are portions that are not necessary for processing, such as arms that are not subject to processing and backgrounds that exist on the left and right of the image. Therefore, a processing area in which these unnecessary portions are removed is set. As shown in FIG. 8A, when a cumulative histogram is created with the horizontal axis as a reference, a valley as shown by an arrow in FIG. 8A is generated. Therefore, a portion (value indicated by an arrow in FIG. 8A) where the value is small on the left and right when viewed from the center is obtained by histogram analysis, and a processing region is set.
モアレ画像内の処理領域に対し、式（５）の近似的対称性解析手法により得られる正中線を付加した画像を図８（Ｂ）に示す。この領域における正中線を境とした左右対称性を調べ、左右の非対称度として求める。このとき、以下の式（６）により左右の計算領域を設定する。 FIG. 8B shows an image obtained by adding a median line obtained by the approximate symmetry analysis method of Expression (5) to the processing area in the moire image. In this region, the left-right symmetry with respect to the midline is examined, and the left-right asymmetry is obtained. At this time, the left and right calculation areas are set by the following equation (6).
この計算領域を上から下へと移動させ、それぞれ左右領域内の特徴量を比較することにより、その画像における非対称度を算出する（図８（Ｂ））。 By moving the calculation area from top to bottom and comparing the feature values in the left and right areas, the asymmetry degree in the image is calculated (FIG. 8B).
次に、肩甲骨領域の設定について詳細に説明する。図５（Ｄ）に示す５１×５１［ｐｉｘｅｌｓ］の一定分散強調処理を施した画像と、ソーベルフィルタを施した画像との差分画像から得られる肩部および腰部の輪郭線より、肩甲骨部の関心領域を求める（図８（Ｃ））。具体的には、肩のラインをハフ変換で直線近似することにより、その輪郭を求める。ある直線に対し、ρは原点から直線におろした垂線の長さ、θはｘ軸となす角とすると、ハフ変換は、式（７）のように表すことができる。 Next, setting of the scapula region will be described in detail. From the contour lines of the shoulder and waist obtained from the difference image between the image subjected to the 51 × 51 [pixels] constant dispersion emphasis process and the image subjected to the Sobel filter shown in FIG. Is obtained (FIG. 8C). Specifically, the contour of the shoulder line is obtained by linear approximation by Hough transform. For a certain straight line, if ρ is the length of a perpendicular line drawn from the origin and θ is the angle formed with the x axis, the Hough transform can be expressed as in equation (7).
これより、極座標系の一点（ρ，θ）が求まれば一つの直線が定まる。次にヒストグラム解析により、脇上の点をもとにした矩形領域を選定し、その領域内の正中線を境とした左右の濃度差を特徴量として求める。なお、関心領域の設定には、近似的対称性解析手法を用いて求めた正中線をもとに、左右で小さい方の領域を基準とする。以上の処理により、処理領域が設定される。 From this, if one point (ρ, θ) of the polar coordinate system is obtained, one straight line is determined. Next, a rectangular area based on the side point is selected by histogram analysis, and a difference in density between the right and left bordered by the median line in the area is obtained as a feature amount. The region of interest is set based on the smaller region on the left and right based on the median line obtained using the approximate symmetry analysis method. The processing area is set by the above processing.
なお、人体背面の処理領域の設定については、必ずしも設定する必要はなく、予め処理の対象となる図８（Ｂ）のような領域を、操作者からの指示情報に基づいて抽出しておいてもよい。 Note that it is not always necessary to set the processing area on the back of the human body, and an area as shown in FIG. 8B to be processed is extracted in advance based on instruction information from the operator. Also good.
図２に戻って、特徴量算出部２５は、モアレ画像の左右の非対象度を判定するための特徴量を算出する。図９に、特徴量算出部２５の構成を示す。特徴量算出部２５は、正中線を中心にして、人体背面の左右の重心位置の差を算出する重心位置算出部２５１と、人体背面の左右の平均濃度値の差を算出する平均濃度算出部２５２と、肩甲骨領域における左右のモアレ縞のフーリエ記述子の振幅の差を算出するフーリエ記述子算出部２５３と、肩甲骨領域における左右の平均濃度値の差を算出する関心領域平均濃度算出部２５４とを備える。 Returning to FIG. 2, the feature amount calculation unit 25 calculates a feature amount for determining the left and right non-target degrees of the moire image. FIG. 9 shows the configuration of the feature amount calculation unit 25. The feature amount calculation unit 25 has a center-of-gravity position calculation unit 251 that calculates the difference between the left and right center-of-gravity positions on the back of the human body around the midline, and an average density calculation unit that calculates the difference between the left and right average density values on the back of the human body 252; a Fourier descriptor calculation unit 253 that calculates the difference between the Fourier descriptors of the left and right moire fringes in the scapula region; and a region of interest average concentration calculation unit that calculates the difference between the left and right average concentration values in the scapula region 254.
それぞれの特徴量の算出方法について説明する。抽出した人体背面の左右の計算領域に対し、各局小領域内の左右の重心位置、平均濃度値をそれぞれ求め、その差の平均、及び標準偏差を求める。図１０に、重心を用いた特徴量の算出処理の概要を示す。左側の重心をＧl（ｘl，ｙl）、右側の重心をＧr（ｘr，ｙr）とする。さらに、右側の計算領域に、正中線を軸としてＧl（ｘl，ｙl）を折り返した点をＧl’（ｘl’，ｙl’）として、左右の重心位置の差Ｅを以下の式（８）より求める。 A method for calculating each feature amount will be described. For the extracted left and right calculation areas on the back of the human body, the right and left barycentric positions and average density values in each local small area are obtained, and the average of the differences and the standard deviation are obtained. FIG. 10 shows an outline of the feature amount calculation process using the center of gravity. The center of gravity on the left side is G l (x l , y l ), and the center of gravity on the right side is G r (x r , y r ). Further, in the calculation area on the right side, the difference E between the left and right centroid positions is defined as G l '(x l ', y l ') where G l (x l , y l ) is turned around the midline as an axis. This is obtained from the equation (8).
背面上部から下部にかけて、計算領域をＮ回移動させたとき、式（８）、（９）から求まる特徴量の平均値μ1、μ2は次式となる。 When the calculation area is moved N times from the upper part to the lower part of the back surface, the average values μ 1 and μ 2 of the feature values obtained from the equations (8) and (9) are as follows.
次に、図５（Ｃ）に示す２１×２１［ｐｉｘｅｌｓ］の一定分散強調処理を施した画像と、ソーベルフィルタを施した画像との差分画像から得られる画像における肩甲骨領域を設定し、２値化を行った後、正中線を基準に画像の中心からラスタ操作を行う。境界線追跡を行い背面のモアレ縞を閉曲線として抽出し、任意の点における接線との偏角を用い、フーリエ記述子を求める。特徴量としては、フーリエ記述子を振幅Ａの形とし、左右で比較した差の２乗を用いる。以下に計算式を示す。 Next, the scapula region in the image obtained from the difference image between the image subjected to the 21 × 21 [pixels] constant dispersion emphasis process shown in FIG. 5C and the image subjected to the Sobel filter is set, After binarization, a raster operation is performed from the center of the image with reference to the midline. The boundary line is traced, the back moire fringes are extracted as a closed curve, and the Fourier descriptor is obtained by using the declination with the tangent at an arbitrary point. As the feature amount, the Fourier descriptor is in the form of amplitude A, and the square of the difference between the left and right is used. The calculation formula is shown below.
以上より、モアレ画像における重心位置の差の平均値μ1、平均濃度値の差の平均値μ2、肩甲骨領域における平均濃度値の差ｄ’、及びフーリエ記述子の振幅Ａを非対称度を表す特徴量として算出する。 As described above, the average value μ 1 of the centroid position difference in the moire image, the average value μ 2 of the average density value difference, the average density value difference d ′ in the scapula region, and the amplitude A of the Fourier descriptor are determined asymmetry. Calculated as a feature value to be expressed.
図２に戻って、判定部２６は、特徴量算出部２５が算出した特徴量データに基づいて、モアレ画像の左右の対称性を判定する。判定する際の識別器としては、例えばニューラルネットワーク、ＳＶＭ（Support Vector Machine）、マハラノビス距離等を用いることができる。出力部２７は、判定部２６の判定結果を出力し、出力された情報を医師が参照して診断を行う。 Returning to FIG. 2, the determination unit 26 determines the left-right symmetry of the moire image based on the feature amount data calculated by the feature amount calculation unit 25. For example, a neural network, SVM (Support Vector Machine), Mahalanobis distance, or the like can be used as a discriminator for determination. The output unit 27 outputs the determination result of the determination unit 26, and a doctor refers to the output information for diagnosis.
上記各処理を実現する対称性判定装置のハードウェア構成を図１１に示す。対象性判定装置２０は、オペレーティングシステムや各種プログラム（例えば、対象性判定プログラム、画像表示プログラム等）が格納されているＲＯＭ２０３と、各種データ（例えば、画像データ、設定情報、結果情報等）が格納されているＨＤ（ハードディスク）２０４と、各種プログラム等が必要に応じて読み出されるＲＡＭ２０２と、読み出されたプログラム等に基づいて実際の演算を実行するＣＰＵ２０１と、他の装置（例えば、サーバ、モアレ画像撮像装置等）と通信を行うためのインタフェースである通信Ｉ／Ｆ２０５と、キーボ
ードやマウス等の入力機器からの入力を受け付けたり、プリンタやモニタ等にデータを出力するためのインタフェースである入出力Ｉ／Ｆ２０６とを備える。この入出力Ｉ／Ｆ２０６としてＵＳＢやＲＳ２３２Ｃ等が用いられる。また、必要に応じて、光磁気ディスク、フロッピーディスク（登録商標）、ＣＤ−Ｒ、ＤＶＤ−Ｒ等のリムーバブルディスクに対応したドライブを接続することができる。
FIG. 11 shows a hardware configuration of a symmetry determining apparatus that implements the above processes. The targetity determination device 20 stores an ROM 203 in which an operating system and various programs (for example, targetability determination program, image display program, etc.) are stored, and various data (for example, image data, setting information, result information, etc.). HD (hard disk) 204, RAM 202 from which various programs and the like are read as necessary, CPU 201 that executes actual computation based on the read programs and the like, and other devices (for example, servers, moire, etc.) I / F 205 that is an interface for communicating with an image pickup apparatus or the like, and an interface for receiving input from an input device such as a keyboard or a mouse, or outputting data to a printer or a monitor I / F206. As this input / output I / F 206, USB, RS232C, or the like is used. Further, if necessary, a drive corresponding to a removable disk such as a magneto-optical disk, a floppy disk (registered trademark), a CD-R, or a DVD-R can be connected.
本実施形態に係る対称性判定装置の動作について説明する。図１２において、まず、モアレ画像撮像装置１０で被験者の背面のモアレ画像が撮像される。これは、検査技師等により行われ、撮像されたモアレ画像は画像入力部２１に入力される（Ｓ１１）。モアレ画像の入力は、撮像と同時に行われてもよいし、撮像のみを行った後に、モアレ画像の入力を別途行うようにしてもよい。モアレ画像が入力されると、正中線設定部２４が正中線を設定し（Ｓ１２）、関心領域設定部２２が人体背面の処理領域を設定する（Ｓ１３）。 The operation of the symmetry determining apparatus according to this embodiment will be described. In FIG. 12, first, the moire image capturing apparatus 10 captures a moire image on the back of the subject. This is performed by an inspection engineer or the like, and the captured moire image is input to the image input unit 21 (S11). The input of the moire image may be performed simultaneously with the imaging, or the moire image may be input separately after the imaging is performed. When the moiré image is input, the median line setting unit 24 sets a median line (S12), and the region-of-interest setting unit 22 sets a processing area on the back of the human body (S13).
また、入力されたモアレ画像に対して、前処理部２３が一定分散強調処理、及びソーベルフィルタを施す処理を行い（Ｓ１４、Ｓ１５）、それらの差分画像を作成し（Ｓ１６）、バイラテラルフィルタを施して平滑化する（Ｓ１７）。関心領域設定部２２が、平滑化された画像を２値化し（Ｓ１８）、肩甲骨領域を設定する（Ｓ１９）。特徴量抽出部２５が上記で示した各種特徴量を算出し（Ｓ２０）、判定部２６が判定処理を行う（Ｓ２１）。判定結果を、出力部２７が出力して処理を終了する。 In addition, the pre-processing unit 23 performs a constant dispersion emphasis process and a Sobel filter process on the input moire image (S14, S15), creates a difference image between them (S16), and a bilateral filter. To smooth (S17). The region-of-interest setting unit 22 binarizes the smoothed image (S18), and sets the scapula region (S19). The feature amount extraction unit 25 calculates the various feature amounts shown above (S20), and the determination unit 26 performs determination processing (S21). The determination result is output by the output unit 27 and the process is terminated.
このように、本実施形態に係る対称性判定装置によれば、各種特徴量として算出することで、背面全体の歪みと肩甲骨領域における歪みとを医師が着目する観点と同様の観点から検出し、左右の非対称性を総合的に判定することができるため、モアレ画像を精度よく識別することができる。また、平均濃度値、及び重心位置のような濃度的な特徴量と、フーリエ記述子のような形状的な特徴量とを総合的に判定するため、広い観点からの識別が可能となり、識別の精度を上げることができる。 As described above, according to the symmetry determination apparatus according to the present embodiment, by calculating as various feature amounts, the distortion of the entire back surface and the distortion in the scapula region are detected from the same viewpoint as the viewpoint of the doctor. Since the left-right asymmetry can be comprehensively determined, the moire image can be identified with high accuracy. In addition, since comprehensive feature values such as average density values and centroid positions and shape feature values such as Fourier descriptors are comprehensively determined, identification from a wide viewpoint becomes possible. The accuracy can be increased.
さらに、モアレ画像に一定分散強調処理を行ったものと、モアレ画像にソーベルフィルタを施したものとの差分画像を、バイラテラルフィルタで平滑化する前処理を行うことで、照明等の環境の違い、カメラの画質、環境ノイズ等の有無に関わらず、人体の形状、及びモアレ縞を鮮明な画像で抽出することができ、正確な特徴量を算出して識別の精度を上げることができる。さらにまた、各種特徴量をニューラルネットワークからなる識別器により判定する場合には、既知のモアレ画像に基づいて適切な判定を行い、識別の精度を上げることができる。 Furthermore, by performing pre-processing that smoothes the difference image between the image obtained by performing constant dispersion emphasis processing on the moire image and the image obtained by applying the Sobel filter to the moire image with a bilateral filter, Regardless of the image quality of the camera, the presence or absence of environmental noise, etc., the shape of the human body and the moire fringes can be extracted with a clear image, and the accurate feature amount can be calculated to increase the identification accuracy. Furthermore, when various feature amounts are determined by a discriminator made of a neural network, it is possible to make an appropriate determination based on a known moire image and improve the identification accuracy.
（本発明の第２の実施形態）
本実施形態に係る対称性判定装置について、図１３及び図１４を用いて説明する。図１３は、本実施形態に係る対称性判定装置における特徴量算出部の機能ブロック図、図１４は、本実施形態に係る対称性判定装置における肩ラインの左右差に関する図である。
(Second embodiment of the present invention)
A symmetry determination apparatus according to the present embodiment will be described with reference to FIGS. 13 and 14. FIG. 13 is a functional block diagram of a feature amount calculation unit in the symmetry determination device according to the present embodiment, and FIG. 14 is a diagram regarding a shoulder line left-right difference in the symmetry determination device according to the present embodiment.
なお、本実施形態において、前記第１の実施形態と重複する説明については省略する。 In the present embodiment, descriptions overlapping with those in the first embodiment are omitted.
図１３において図９と異なるのは、肩ライン算出部２５５を新たに備えることである。肩ライン算出部２５５は、図６（Ｂ）で得た画像に基づいて肩のラインを算出する。図８（Ｃ）で肩甲骨領域を設定した場合と同様に、一定分散強調処理を施した画像と、ソーベルフィルタを施した画像との差分画像について、平滑化し、２値化して得られた肩部の輪郭線をハフ変換で直線近似し、水平方向に対する角度の差を算出する。図１４に示すように、直線近似された左右の肩のラインと水平方向との角度θ1，θ2の差を特徴量として算出する。 13 differs from FIG. 9 in that a shoulder line calculation unit 255 is newly provided. The shoulder line calculation unit 255 calculates a shoulder line based on the image obtained in FIG. Similar to the case where the scapula region is set in FIG. 8C, the difference image between the image subjected to the constant dispersion emphasis processing and the image subjected to the Sobel filter is obtained by smoothing and binarizing. The contour of the shoulder is linearly approximated by the Hough transform, and the difference in angle with respect to the horizontal direction is calculated. As shown in FIG. 14, the difference between the angles θ 1 and θ 2 between the left and right shoulder lines approximated by a straight line and the horizontal direction is calculated as a feature amount.
判定部２６は、第１の実施形態で示した各種特徴量に、形状的な特徴量である肩のラインの左右差を加えた５つの特徴量に基づいて判定処理を行う。
なお、直線近似はハフ変換以外にも最小二乗法を用いてもよい。
The determination unit 26 performs determination processing based on the five feature amounts obtained by adding the left and right differences of the shoulder line, which is a shape feature amount, to the various feature amounts described in the first embodiment.
Note that the linear approximation may use a least square method in addition to the Hough transform.
このように、本実施形態に係る対称性判定装置によれば、左右の肩のラインの差を特徴量として算出して判定の要素とするため、人体の全体の形状的な特徴量が加わり、識別の精度をより高くすることができる。また、モアレ画像を２値化し、ハフ変換により左右の肩のラインを直線近似して差を算出するため、肩のラインを正確に算出することができ、識別の精度をより高くすることができる。 As described above, according to the symmetry determination apparatus according to the present embodiment, the difference between the left and right shoulder lines is calculated as a feature amount and used as a determination element. The accuracy of identification can be further increased. In addition, since the moire image is binarized and the difference between the left and right shoulder lines is approximated by a Hough transform to calculate the difference, the shoulder lines can be accurately calculated, and the identification accuracy can be further increased. .
（本発明の第３の実施形態）
本実施形態に係る対称性判定装置について、図１５を用いて説明する。図１５は、本実施形態に係る対称性判定装置の機能ブロック図である。
なお、本実施形態において、上記各実施形態と重複する説明については省略する。
(Third embodiment of the present invention)
The symmetry determination apparatus according to this embodiment will be described with reference to FIG. FIG. 15 is a functional block diagram of the symmetry determining apparatus according to the present embodiment.
In addition, in this embodiment, the description which overlaps with said each embodiment is abbreviate | omitted.
図１５において図２と異なるのは、調整部２８を備えることである。調整部２８は、各特徴量のうち少なくとも一以上の特徴量が、他の特徴量と比較して異常値と判断される場合に、その特徴量の重み付けを大きく調整する。つまり、４つ又は５つの特徴量において、総合的に判定した場合には、対称であると判定できるときであっても、その中の１つの特徴量が正常の範囲から大きく外れている場合には、その特徴量の重み付けを大きくし、判定部２６が非対称であると判定するように調整する。 15 differs from FIG. 2 in that an adjustment unit 28 is provided. The adjustment unit 28 greatly adjusts the weighting of the feature amount when at least one of the feature amounts is determined to be an abnormal value as compared with other feature amounts. In other words, when four or five feature values are comprehensively determined, even when it can be determined that they are symmetric, one of the feature values is significantly out of the normal range. Increases the weighting of the feature amount and adjusts so that the determination unit 26 determines that it is asymmetric.
なお、正常の範囲から大きく外れているか否かは、例えば正常と判断できる閾値を予め設定し、その閾値と比較することで判断するようにしてもよい。 Note that whether or not it is significantly out of the normal range may be determined by, for example, setting in advance a threshold value that can be determined to be normal and comparing it with the threshold value.
このように、本実施形態に係る対称性判定装置によれば、各特徴量のうち少なくとも一以上の特徴量が、他の特徴量と比較して異常値と判断される場合に、前記一以上の特徴量の重み付けを大きく調整するため、一つでも異常な特徴量があるモアレ画像については非対称と判定する傾向になり、異常性の見落としを最小限に抑えることができる。 As described above, according to the symmetry determination device according to the present embodiment, when at least one or more feature amounts among the feature amounts are determined to be abnormal values compared to other feature amounts, the one or more feature amounts are determined. Therefore, the moire image having one or more abnormal feature amounts tends to be determined as asymmetric, and the oversight of abnormalities can be minimized.
（本発明の第４の実施形態）
本実施形態に係る対称性判定装置について、図１６を用いて説明する。図１６は、本実施形態に係る対称性判定装置の出力におけるブロック図である。
なお、本実施形態において、上記各実施形態と重複する説明については省略する。
(Fourth embodiment of the present invention)
The symmetry determination apparatus according to the present embodiment will be described with reference to FIG. FIG. 16 is a block diagram at the output of the symmetry determining apparatus according to the present embodiment.
In addition, in this embodiment, the description which overlaps with said each embodiment is abbreviate | omitted.
本実施形態に係る対称性判定装置は、対称、非対称、及びその中間の少なくとも３段階以上の判定を行うものである。また、対称と非対称の中間の段階であると判定した前記モアレ画像について、再度別の識別器で対称性の判定を行う。さらに、出力部が、判定部により判定された対称性の判定結果、及び特徴量算出部により算出された各特徴量に関する情報を出力するものである。 The symmetry determination apparatus according to the present embodiment performs determination in at least three stages of symmetry, asymmetry, and the middle thereof. For the moiré image determined to be an intermediate stage between symmetry and asymmetric, the symmetry is again determined by another classifier. Further, the output unit outputs the determination result of the symmetry determined by the determination unit, and information on each feature amount calculated by the feature amount calculation unit.
図１６において、出力部２７は、判定結果データ１６０を出力する。この判定結果データ１６０は、対称、非対称、中間の３段階で示されている。中間と判定されたモアレ画像については、処理用入力画像２３ｂとして再度別の識別器１６１に入力され、再判定処理が行われる。実際の診断を行う医師は、出力部２７の出力結果である判定結果データ１６０と、特徴量算出部２５が算出した特徴量データ２５ａと、識別器１６１が再判定した結果である再判定結果データ１６２とに基づいて、総合的に診断を行う。 In FIG. 16, the output unit 27 outputs determination result data 160. The determination result data 160 is shown in three stages: symmetric, asymmetric, and intermediate. The moire image determined to be intermediate is input again to another discriminator 161 as the processing input image 23b, and re-determination processing is performed. The doctor who performs the actual diagnosis uses the determination result data 160 that is the output result of the output unit 27, the feature amount data 25 a calculated by the feature amount calculation unit 25, and the re-determination result data that is the result of re-determination by the classifier 161. Based on 162, a comprehensive diagnosis is performed.
なお、対称、非対称、中間の判定については、対称と判定されるモアレ画像のうちユークリッド距離が非対称に近いもの、非対称と判定されるモアレ画像のうちユークリッド距
離が対称に近いもの（例えば、距離の閾値を予め設定しておく）を中間として判定するようにしてもよい。また、予め対称、非対称、中間の３段階をニューラルネットワークに学習させておき、そのニューラルネットワークに基づいて、判定を行うようにしてもよい。さらに、４段階以上に判定してもよい。
Regarding the determination of symmetry, asymmetric, and intermediate, among the moiré images determined to be symmetric, those whose Euclidean distance is close to asymmetric, and among the moiré images determined to be asymmetric, those whose Euclidean distance is close to symmetry (for example, distance It may be determined that the threshold value is set in advance). Alternatively, the neural network may learn in advance three stages of symmetry, asymmetrical, and intermediate, and the determination may be performed based on the neural network. Further, it may be determined in four or more stages.
識別器１６１については、処理対象となるモアレ画像は中間と判定された、所謂グレーゾーンのモアレ画像であることから、その判定に適した学習を予め行った識別器であることが好ましい。 The discriminator 161 is a so-called gray zone moire image that is determined to be an intermediate moire image. Therefore, the discriminator is preferably a discriminator in which learning suitable for the determination is performed in advance.
また、特徴量データ２５ａについては、総合的に対称と判定されているものの特徴量にバラつきがあったり、第３の実施形態に示すように、特に正常から大きく外れた特徴量の情報等を提示することで、医師の診断を確実にし、異常の見落としをなくすことができる。また、異常と判定されたモアレ画像について、特徴量を参照することで視認しにくい異常を把握することができ、医師の診断において重要な情報となり得る。 In addition, as for the feature amount data 25a, although the feature amount is determined to be totally symmetric, the feature amount varies, and as shown in the third embodiment, the feature amount information deviating greatly from normal is presented. By doing so, the diagnosis of the doctor can be ensured and the oversight of the abnormality can be eliminated. In addition, with respect to the moire image determined to be abnormal, it is possible to grasp an abnormality that is difficult to visually recognize by referring to the feature value, which can be important information for a doctor's diagnosis.
このように、本実施形態に係る対称性判定装置によれば、対称、非対称、及びその中間の少なくとも３段階以上の判定を行うため、対称性があるかないかの微妙なグレーゾーンが判定され、より詳細な判断を必要とするモアレ画像を識別することができる。また、対称と非対称の中間の段階であると判定したモアレ画像について、再度別の識別器で対称性の判定を行うため、グレーゾーンとなったモアレ画像をさらに識別し、細かく分類して医師等にフィードバックすることができ、医師の負担を軽減することができる。さらに、対称性の判定結果だけでなく、各特徴量に関する情報も出力されるため、医師が診察する際の情報が増え、安定した診察が可能になる。 As described above, according to the symmetry determination apparatus according to the present embodiment, since the determination is performed in at least three stages of symmetry, asymmetry, and the middle thereof, a delicate gray zone for determining whether or not there is symmetry is determined. Moire images that require more detailed judgment can be identified. In addition, for the moire image determined to be an intermediate stage between symmetric and asymmetric, the determination of symmetry is performed again with another discriminator, so that the moire image that has become a gray zone is further identified and classified finely. Can be fed back and the burden on the doctor can be reduced. Furthermore, since not only the symmetry determination result but also information on each feature amount is output, information when a doctor examines increases, and a stable examination becomes possible.
なお、本実施形態に係る対称性判定装置２０が、モアレ画像撮像装置１０によるモアレ画像の撮像時に使用可能である場合、つまりモアレ画像を撮像しながら同時に左右の対称性を判定できる状態である場合には、判定部が中間と判定したモアレ画像について、基準格子及び／もしくは試料格子の格子幅の変更、基準格子及び試料格子を重ね合わせる角度の変更、光源の変更、又は、光源と被験者との距離の変更等を行うことで、撮像環境を変化させ、異なるパターンの一又は複数のモアレ画像を再度撮像するようにしてもよい。そうすることで、グレーゾーンと判定されたモアレ画像について、医師が複数のパターンから総合的に診断を行い、診断の精度と効率を向上させることができる。
以上の前記各実施形態により本発明を説明したが、本発明の技術的範囲は実施形態に記載の範囲には限定されず、これら各実施形態に多様な変更又は改良を加えることが可能である。
In addition, when the symmetry determination apparatus 20 according to the present embodiment can be used when the moire image capturing apparatus 10 captures a moire image, that is, when the left and right symmetry can be simultaneously determined while capturing the moire image. For the moire image determined by the determination unit to be intermediate, change of the grid width of the reference grid and / or sample grid, change of the angle at which the reference grid and sample grid are superimposed, change of the light source, or between the light source and the subject By changing the distance or the like, the imaging environment may be changed, and one or a plurality of moire images with different patterns may be captured again. By doing so, the doctor can comprehensively diagnose the moire image determined as the gray zone from a plurality of patterns, and the accuracy and efficiency of the diagnosis can be improved.
Although the present invention has been described with the above embodiments, the technical scope of the present invention is not limited to the scope described in the embodiments, and various modifications or improvements can be added to these embodiments. .
本発明に係る対称性判定装置を用いて、実際に人体背面を撮像したモアレ画像の対象性の判定を行った。本実施例では、人体背面における濃度平均、フーリエ記述子、人体背面における重心位置の差、及び肩甲骨領域における局所関心領域内の濃度平均の４つの特徴量を利用する。 Using the symmetry determination apparatus according to the present invention, the objectivity of the moire image obtained by actually capturing the back of the human body was determined. In the present embodiment, four feature quantities are used: density average on the back of the human body, Fourier descriptor, difference in center of gravity position on the back of the human body, and density average in the local region of interest in the scapula region.
実施例に用いるモアレ画像は、正常例６００、側彎症例６００の計１２００例で構成される。本実施例では、これらのデータ群から正常例２００、側彎症例２００で構成される計４００例の学習データとして３つのデータ群を用意する。ここで、それぞれのデータ群をＤａｔａ１、Ｄａｔａ２、Ｄａｔａ３とする。この３つのデータ群に対し、リーブ・ワン・アウト法を適用し平均識別率を求める。リーブ・ワン・アウト法とは、あるデータ群を識別器の学習サンプルとし、残り二組のデータ群に対し識別を行う。これを全ての組み合わせにおいて行うことによりデータの偏りのない評価を行う方法である。 The moire image used in the embodiment is composed of a total of 1200 cases of a normal case 600 and a scoliosis case 600. In the present embodiment, three data groups are prepared as learning data for a total of 400 examples including normal examples 200 and scoliosis cases 200 from these data groups. Here, it is assumed that the respective data groups are Data1, Data2, and Data3. For these three data groups, an average discrimination rate is obtained by applying a leave-one-out method. In the leave-one-out method, a certain data group is used as a learning sample of a discriminator, and the remaining two sets of data groups are discriminated. This is a method for performing evaluation without data bias by performing this in all combinations.
識別器は、ニューラルネットワーク、非線形ＳＶＭ（Support Vector Machine）、及びマハラノビス距離を用いた識別器を使用する。ニューラルネットワークは、階層型ニューラルネットワークを用い、階層型ニューラルネットワークの学習アルゴリズムとして、一般的に知られている誤差逆伝播学習アルゴリズム（ＢＰ：Back Propagation）を用いる。ＳＶＭは、２つのクラスのいずれかに属するデータ群をクラスタリングする識別関数を設計する手法であり、学習により得られた識別関数を同様の属性をもつ未知データに適用することにより、データの分類が可能となる。ここでは、非線形ＳＶＭを使用する。マハラノビス距離は、正規母集団と標本との距離尺度であり、正常例、側彎症例の２つの群におけるマハラノビス距離Ｄ2の比較を行うことで、正常例、側彎症例のいずれかに分類する。 The classifier uses a neural network, a non-linear SVM (Support Vector Machine), and a classifier using Mahalanobis distance. As the neural network, a hierarchical neural network is used, and a generally known error back propagation learning algorithm (BP: Back Propagation) is used as a learning algorithm for the hierarchical neural network. SVM is a technique for designing a discriminant function for clustering data groups belonging to one of two classes. By applying the discriminant function obtained by learning to unknown data having similar attributes, the classification of data can be performed. It becomes possible. Here, a non-linear SVM is used. The Mahalanobis distance is a distance measure between a normal population and a specimen, and is classified into either a normal case or a scoliosis case by comparing the Mahalanobis distance D 2 in the two groups of normal cases and scoliosis cases. .
ニューラルネットワークを用いて得られる識別結果を表１に示す。また、フーリエ記述子と他の特徴量との２次元の組み合わせで得られた結果を表２ないし４に示す。Ａｖｅｒａｇｅは各データ群から得られる平均的な識別率、Ａｖｅ．は正常例、側彎症例における識別率をそれぞれ示す。表１より、平均９０．７９（％）という高い識別率が得られ、特に側彎症例だけに関しては、９４．８０（％）という高い認識率が得られた。 The identification results obtained using the neural network are shown in Table 1. Tables 2 to 4 show results obtained by two-dimensional combinations of Fourier descriptors and other feature quantities. Average is an average discrimination rate obtained from each data group, Ave. Indicates the discrimination rate in normal cases and scoliosis cases, respectively. From Table 1, a high recognition rate of 90.79 (%) on average was obtained, and a high recognition rate of 94.80 (%) was obtained particularly for only the scoliosis case.
非線形ＳＶＭを用いて得られる識別結果を表５に示す。また、フーリエ記述子と他の特徴量との２次元の組み合わせで得られた結果を表６ないし８に示す。表５より、平均８８．８９（％）の識別率が得られ、側彎症例だけに関しては、９０．６０（％）の認識率が得られた。 Table 5 shows the identification results obtained using the non-linear SVM. Tables 6 to 8 show the results obtained by two-dimensional combinations of Fourier descriptors and other feature quantities. From Table 5, an average recognition rate of 88.89 (%) was obtained, and a recognition rate of 90.60 (%) was obtained only for scoliosis cases.
マハラノビス距離を用いて得られる識別結果を表９に示す。また、フーリエ記述子と他の特徴量との２次元の組み合わせで得られた結果を表１０ないし１２に示す。表９より、平均８５．０４（％）の識別率が得られ、側彎症例だけに関しては、８７．２５（％）の認識率が得られた。 Table 9 shows the identification results obtained using the Mahalanobis distance. Tables 10 to 12 show results obtained by two-dimensional combinations of Fourier descriptors and other feature quantities. From Table 9, an average recognition rate of 85.04 (%) was obtained, and a recognition rate of 87.25 (%) was obtained only for the scoliosis cases.
これらの結果から、ニューラルネットワーク、非線形ＳＶＭ、マハラノビス距離による正常例と側彎症例の識別率は、それぞれ平均で９０．７９％、８８．８９％、８５．０４％の識別率が得られ、ニューラルネットワークによる識別性能が一番高いという結果が得られた。また、形状特徴であるフーリエ記述子と他の濃度特徴量を組み合わせた結果では、どの識別器でも約８割の識別率を得た。このことから、４つの特徴量を組み合わせることにより互いに識別できないパターンを補っていると考えられる。さらに、全体的に正常例と側彎症例とをある程度分離することができていると考えられるため、識別関数付近にグレーゾーンを設けて医師に提示することにより、非常に有効なシステムが実装可能である。 From these results, the discrimination rates of normal cases and scoliosis cases based on the neural network, nonlinear SVM, and Mahalanobis distance are 90.79%, 88.89%, and 85.04% on average, respectively. The result that the identification performance by the network is the highest was obtained. In addition, as a result of combining the Fourier descriptor, which is a shape feature, with other density feature amounts, an identification rate of about 80% was obtained with any classifier. From this, it is considered that patterns that cannot be distinguished from each other are compensated by combining the four feature amounts. Furthermore, since it is considered that the normal case and the scoliosis case can be separated to some extent as a whole, a very effective system can be implemented by providing a gray zone near the discrimination function and presenting it to the doctor. It is.
なお、側彎症例の誤認識例として、縞模様や左右の濃度分布、縞の形状に差がほとんど見られないものが含まれていた。これらの誤認識のモアレデータに関しては、上記第２の実施形態に示す肩ラインの差を特徴量とすることで、この誤認識を解消できると考えられる。 Note that examples of misrecognition of a scoliosis case include a striped pattern, left and right density distributions, and a pattern with almost no difference in the shape of the stripe. Regarding these misrecognition moire data, it is considered that this misrecognition can be eliminated by using the shoulder line difference shown in the second embodiment as a feature amount.
１０ モアレ画像撮像装置
１１ 姿勢保持装置
１２ モアレカメラ
１３ モニタ
１６０ 判定結果データ
１６１ 識別器
１６２ 再判定結果データ
２０ 対象性判定装置
２０１ ＣＰＵ
２０２ ＲＡＭ
２０３ ＲＯＭ
２０４ ＨＤ
２０５ 通信Ｉ／Ｆ
２０６ 入出力Ｉ／Ｆ
２１ 画像入力部
２２ 関心領域設定部
２３ 前処理部
２３ａ 入力画像
２３ｂ 処理用入力画像
２３１ ソーベルフィルタ処理部
２３２ ＣＶＥ処理部
２３３ 差分画像生成部
２３４ 平滑化処理部
２４ 正中線設定部
２５ 特徴量算出部
２５ａ 特徴量データ
２５１ 重心位置算出部
２５２ 平均濃度算出部
２５３ フーリエ記述子算出部
２５４ 関心領域平均濃度算出部
２５５ 肩ライン算出部
２６ 判定部
２７ 出力部
２８ 調整部
DESCRIPTION OF SYMBOLS 10 Moire image pick-up apparatus 11 Posture holding | maintenance apparatus 12 Moire camera 13 Monitor 160 Determination result data 161 Classifier 162 Re-determination result data 20 Subjectivity determination apparatus 201 CPU
202 RAM
203 ROM
204 HD
205 Communication I / F
206 I / O I / F
DESCRIPTION OF SYMBOLS 21 Image input part 22 Region-of-interest setting part 23 Pre-processing part 23a Input image 23b Processing input image 231 Sobel filter processing part 232 CVE processing part 233 Difference image generation part 234 Smoothing processing part 24 Midline setting part 25 Feature amount calculation Unit 25a feature amount data 251 center-of-gravity position calculation unit 252 average density calculation unit 253 Fourier descriptor calculation unit 254 region of interest average density calculation unit 255 shoulder line calculation unit 26 determination unit 27 output unit 28 adjustment unit
Claims (8)
撮像されたモアレ画像を入力する画像入力手段と、
前記入力されたモアレ画像に基づいて、当該モアレ画像の左右の対称性の基準となる正中線を設定する正中線設定手段と、
前記正中線を中心とする左右の重心位置の差を算出する重心位置算出手段と、
前記正中線を中心とする左右の平均濃度値の差を算出する平均濃度算出手段と、
前記モアレ画像に基づいて、肩甲骨領域を関心領域として設定する関心領域設定手段と、
前記関心領域における前記正中線を中心とする左右の平均濃度値の差を算出する関心領域平均濃度算出手段と、
前記関心領域における前記正中線を中心とする左右のモアレ縞を閉曲線として抽出し、フーリエ記述子を算出するフーリエ記述子算出手段と、
前記重心位置算出手段が算出した重心位置の差、前記平均濃度算出手段が算出した平均濃度値の差、前記関心領域平均濃度算出手段が算出した関心領域における平均濃度値の差、及びフーリエ記述子算出手段が算出したフーリエ記述子の各特徴量に基づいて、前記モアレ画像の左右の対称性を判定する対称性判定手段とを備えることを特徴とする対称性判定装置。 In the symmetry determining device for determining the left-right symmetry of the human body based on the moire image captured from the back side of the human body,
Image input means for inputting the captured moire image;
Based on the input moire image, a median line setting means for setting a median line that serves as a reference for the left-right symmetry of the moire image;
Centroid position calculating means for calculating a difference between the left and right centroid positions around the midline;
Average density calculating means for calculating a difference between left and right average density values centered on the midline;
Region-of-interest setting means for setting a scapula region as a region of interest based on the moire image;
A region-of-interest average density calculating means for calculating a difference between left and right average density values centered on the median line in the region of interest;
Fourier descriptor calculation means for extracting left and right moire fringes centered on the median line in the region of interest as a closed curve, and calculating a Fourier descriptor;
The difference between the centroid positions calculated by the centroid position calculating means, the difference between the average density values calculated by the average density calculating means, the difference between the average density values in the region of interest calculated by the region-of-interest average density calculating means, and the Fourier descriptor A symmetry determination device comprising: symmetry determination means for determining left-right symmetry of the moire image based on each feature amount of the Fourier descriptor calculated by the calculation means.
前記画像入力手段が入力したモアレ画像に対して前処理を施し、新たな入力されたモアレ画像とする前処理手段を備え、
当該前処理手段が、
前記入力されたモアレ画像に一定分散強調処理を行うＣＶＥ手段と、
前記入力されたモアレ画像にソーベルフィルタを施すソーベルフィルタ手段と、
前記一定分散強調処理が行われた画像情報と前記ソーベルフィルタが施された画像情報との差分画像を生成する差分画像生成手段と、
前記差分画像をバイラテラルフィルタで平滑化する平滑化処理手段とを備えることを特徴とする対称性判定装置。 The symmetry determining apparatus according to claim 1,
Pre-processing the moiré image input by the image input means, and a pre-processing means for making a newly input moiré image,
The pre-processing means is
CVE means for performing constant dispersion emphasis processing on the input moire image;
Sobel filter means for applying a Sobel filter to the input moire image;
Difference image generation means for generating a difference image between the image information subjected to the constant dispersion enhancement process and the image information subjected to the Sobel filter;
A symmetry determining apparatus comprising: smoothing processing means for smoothing the difference image with a bilateral filter.
前記モアレ画像に基づいて、左右の肩のラインの差を算出する肩ライン算出手段を備え、
前記対称性判定手段が、前記重心位置の差、前記平均濃度値の差、前記関心領域における平均濃度値の差、前記フーリエ記述子、及び前記肩ラインの差の各特徴量に基づいて、前記モアレ画像の左右の対称性を判定することを特徴とする対称性判定装置。 In the symmetry determining device according to claim 1 or 2,
Shoulder line calculation means for calculating the difference between the left and right shoulder lines based on the moire image;
The symmetry determining means is based on the feature amounts of the center of gravity position difference, the average density value difference, the average density value difference in the region of interest, the Fourier descriptor, and the shoulder line difference. A symmetry determination device characterized by determining left-right symmetry of a moire image.
前記肩ライン算出手段が、前記モアレ画像を２値化し、ハフ変換により左右の肩のラインを直線近似して差を算出することを特徴とする対称性判定装置。 In the symmetry determining apparatus according to claim 3,
The symmetry determination device, wherein the shoulder line calculation means binarizes the moire image and calculates a difference by linearly approximating the left and right shoulder lines by Hough transform.
対称性判定手段が、ニューラルネットワークからなる識別器であることを特徴とする対称性判定装置。 In the symmetry determining device according to any one of claims 1 to 4,
A symmetry determining apparatus, wherein the symmetry determining means is a discriminator comprising a neural network.
前記各特徴量のうち少なくとも一以上の特徴量が、他の特徴量と比較して異常値と判断される場合に、前記一以上の特徴量の重み付けを大きく調整する重付調整手段を備える
ことを特徴とする対称性判定装置。 In the symmetry determining device according to any one of claims 1 to 5,
A weight adjustment unit configured to largely adjust the weighting of the one or more feature amounts when at least one of the feature amounts is determined to be an abnormal value compared to the other feature amounts; Symmetry determination device characterized by the above.
撮像されたモアレ画像を入力する画像入力ステップと、
前記入力されたモアレ画像に基づいて、当該モアレ画像の左右の対称性の基準となる正中線を設定する正中線設定ステップと、
前記正中線を中心とする左右の重心位置の差を算出する重心位置算出ステップと、
前記正中線を中心とする左右の平均濃度値の差を算出する平均濃度算出ステップと、
前記モアレ画像に基づいて、肩甲骨領域を関心領域として設定する関心領域設定ステップと、
前記関心領域における前記正中線を中心とする左右の平均濃度値の差を算出する関心領域平均濃度算出ステップと、
前記関心領域における前記正中線を中心とする左右のモアレ縞を閉曲線として抽出し、フーリエ記述子を算出するフーリエ記述子算出ステップと、
前記重心位置算出ステップが算出した重心位置の差、前記平均濃度算出ステップが算出した平均濃度値の差、前記関心領域平均濃度算出ステップが算出した関心領域における平均濃度値の差、及びフーリエ記述子算出ステップが算出したフーリエ記述子の各特徴量に基づいて、前記モアレ画像の左右の対称性を判定する対称性判定ステップとを含むことを特徴とする対称性判定方法。 In the symmetry determination method in which the computer determines the left-right symmetry of the human body based on the moire image captured from the back side of the human body,
An image input step for inputting the captured moire image;
Based on the input moire image, a median line setting step for setting a median line that serves as a reference for the left-right symmetry of the moire image;
A center-of-gravity position calculating step of calculating a difference between left and right center-of-gravity positions around the midline;
An average density calculating step for calculating a difference between left and right average density values centered on the midline;
A region of interest setting step for setting a scapula region as a region of interest based on the moire image;
A region of interest average density calculating step for calculating a difference between left and right average density values centered on the median line in the region of interest;
A Fourier descriptor calculation step of extracting left and right moire fringes centered on the median line in the region of interest as a closed curve, and calculating a Fourier descriptor;
The difference between the centroid positions calculated by the centroid position calculation step, the difference between the average density values calculated by the average density calculation step, the difference between the average density values in the region of interest calculated by the region of interest average density calculation step, and the Fourier descriptor A symmetry determination method comprising: a symmetry determination step of determining left and right symmetry of the moire image based on each feature amount of the Fourier descriptor calculated by the calculation step.
撮像されたモアレ画像を入力する画像入力手段、
前記入力されたモアレ画像に基づいて、当該モアレ画像の左右の対称性の基準となる正中線を設定する正中線設定手段、
前記正中線を中心とする左右の重心位置の差を算出する重心位置算出手段、
前記正中線を中心とする左右の平均濃度値の差を算出する平均濃度算出手段、
前記モアレ画像に基づいて、肩甲骨領域を関心領域として設定する関心領域設定手段、
前記関心領域における前記正中線を中心とする左右の平均濃度値の差を算出する関心領域平均濃度算出手段、
前記関心領域における前記正中線を中心とする左右のモアレ縞を閉曲線として抽出し、フーリエ記述子を算出するフーリエ記述子算出手段、
前記重心位置算出手段が算出した重心位置の差、前記平均濃度算出手段が算出した平均濃度値の差、前記関心領域平均濃度算出手段が算出した関心領域における平均濃度値の差、及びフーリエ記述子算出手段が算出したフーリエ記述子の各特徴量に基づいて、前記モアレ画像の左右の対称性を判定する対称性判定手段としてコンピュータを機能させる対称性判定プログラム。 In a symmetry determination program for causing a computer to function to determine left-right symmetry of the human body based on a moire image captured from the back side of the human body,
Image input means for inputting the captured moire image;
Based on the input moire image, a median line setting means for setting a median line that serves as a reference for the left-right symmetry of the moire image;
Centroid position calculating means for calculating a difference between the left and right centroid positions around the midline;
Average density calculating means for calculating a difference between left and right average density values centered on the midline;
Region-of-interest setting means for setting a scapula region as a region of interest based on the moire image;
Region-of-interest average density calculating means for calculating a difference between left and right average density values centered on the median line in the region of interest;
Fourier descriptor calculation means for extracting left and right moire fringes centered on the median line in the region of interest as a closed curve and calculating a Fourier descriptor;
The difference between the centroid positions calculated by the centroid position calculating means, the difference between the average density values calculated by the average density calculating means, the difference between the average density values in the region of interest calculated by the region-of-interest average density calculating means, and the Fourier descriptor A symmetry determination program for causing a computer to function as symmetry determination means for determining left-right symmetry of the moire image based on each feature amount of the Fourier descriptor calculated by the calculation means.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010126869A JP2011250998A (en) | 2010-06-02 | 2010-06-02 | Device, method and program for determining symmetry |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010126869A JP2011250998A (en) | 2010-06-02 | 2010-06-02 | Device, method and program for determining symmetry |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2011250998A true JP2011250998A (en) | 2011-12-15 |
Family
ID=45415459
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010126869A Pending JP2011250998A (en) | 2010-06-02 | 2010-06-02 | Device, method and program for determining symmetry |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2011250998A (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013248089A (en) * | 2012-05-31 | 2013-12-12 | Kitasato Institute | Scoliosis screening system, scoliosis determination program used therefor, and terminal device |
| WO2017107324A1 (en) * | 2015-12-24 | 2017-06-29 | 中兴通讯股份有限公司 | Photographing mode processing method and device |
| WO2017141958A1 (en) * | 2016-02-15 | 2017-08-24 | 学校法人慶應義塾 | Spinal column alignment assessment apparatus, spinal column alignment assessment method, and spinal column alignment assessment program |
| WO2021179230A1 (en) * | 2020-03-12 | 2021-09-16 | 南方科技大学 | Scoliosis detection model generating method and computer device |
| CN114224323A (en) * | 2021-11-25 | 2022-03-25 | 中国人民解放军空军特色医学中心 | Human body force line regulating and controlling device |
-
2010
- 2010-06-02 JP JP2010126869A patent/JP2011250998A/en active Pending
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013248089A (en) * | 2012-05-31 | 2013-12-12 | Kitasato Institute | Scoliosis screening system, scoliosis determination program used therefor, and terminal device |
| WO2017107324A1 (en) * | 2015-12-24 | 2017-06-29 | 中兴通讯股份有限公司 | Photographing mode processing method and device |
| WO2017141958A1 (en) * | 2016-02-15 | 2017-08-24 | 学校法人慶應義塾 | Spinal column alignment assessment apparatus, spinal column alignment assessment method, and spinal column alignment assessment program |
| JP6280676B2 (en) * | 2016-02-15 | 2018-02-14 | 学校法人慶應義塾 | Spine arrangement estimation device, spine arrangement estimation method, and spine arrangement estimation program |
| JPWO2017141958A1 (en) * | 2016-02-15 | 2018-03-01 | 学校法人慶應義塾 | Spine arrangement estimation device, spine arrangement estimation method, and spine arrangement estimation program |
| US11331039B2 (en) | 2016-02-15 | 2022-05-17 | Keio University | Spinal-column arrangement estimation-apparatus, spinal-column arrangement estimation method, and spinal-column arrangement estimation program |
| WO2021179230A1 (en) * | 2020-03-12 | 2021-09-16 | 南方科技大学 | Scoliosis detection model generating method and computer device |
| CN114224323A (en) * | 2021-11-25 | 2022-03-25 | 中国人民解放军空军特色医学中心 | Human body force line regulating and controlling device |
| CN114224323B (en) * | 2021-11-25 | 2023-06-13 | 中国人民解放军空军特色医学中心 | Human body force line regulating and controlling device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4634418B2 (en) | Automated method and apparatus for detecting masses and parenchymal tissue deformation in medical images using a computer | |
| Yin et al. | Vessel extraction from non-fluorescein fundus images using orientation-aware detector | |
| US8958625B1 (en) | Spiculated malignant mass detection and classification in a radiographic image | |
| US6625303B1 (en) | Method for automatically locating an image pattern in digital images using eigenvector analysis | |
| JP6545591B2 (en) | Diagnosis support apparatus, method and computer program | |
| JP6170284B2 (en) | Image processing program, recording medium, image processing apparatus, and image processing method | |
| US20120099771A1 (en) | Computer aided detection of architectural distortion in mammography | |
| WO2019116074A1 (en) | Image processing method for glaucoma detection and computer program products thereof | |
| US9808217B2 (en) | Breast cancer detection system, breast cancer detection method, breast cancer detection program, and computer-readable recording medium having breast cancer detection program recorded thereon | |
| Haleem et al. | Retinal area detector from scanning laser ophthalmoscope (SLO) images for diagnosing retinal diseases | |
| JP2011250998A (en) | Device, method and program for determining symmetry | |
| US9763636B2 (en) | Method and system for spine position detection | |
| JP2008011901A (en) | Image type discrimination device, method and program | |
| CN114693682B (en) | Spine feature identification method based on image processing | |
| WO2015040547A1 (en) | Method and system for spine position detection | |
| JP2008011900A (en) | Image type discrimination device, method and program | |
| Matsopoulos et al. | Detection of glaucomatous change based on vessel shape analysis | |
| Tan et al. | A real-time image analysis system for computer-assisted diagnosis of neurological disorders | |
| JP2017198697A (en) | Image processing program, recording medium, image processing device, and image processing method | |
| Zheng et al. | New simplified fovea and optic disc localization method for retinal images | |
| Tang et al. | Scoliosis Detection Based on Feature Extraction from Region-of-Interest. | |
| Desai et al. | Arytenoid cartilage feature point detection using laryngeal 3D CT images in Parkinson's disease | |
| Arpitha et al. | Automatic vertebral body fracture classification through PCA based angle estimation | |
| Song et al. | A novel iterative matching scheme based on homography method for X-ray image | |
| Vostatek | Blood vessel segmentation in the analysis of retinal and diaphragm images |