以下、本発明の実施形態について図面を参照しながら説明する。ただし、本発明はこれに限定されるものではない。また、図面においては、実施形態を説明するため、一部または全部を模式的に記載するとともに、一部分を大きくまたは強調して記載する等適宜縮尺を変更して表現した部分を含んでいる。以下の各図において、XYZ座標系を用いて図中の方向を説明する。このXYZ座標系においては、水平面に平行な平面をXY平面とする。このXY平面に平行な任意の方向をX方向と表記し、X方向に直交する方向をY方向と表記する。また、XY平面に垂直な方向(上下方向)はZ方向と表記する。また、各方向において、適宜、矢印の先端と同じ側を+側(例、+Z側)、矢印の先端と反対側を−側(例、−Z側)と称す。例えば、鉛直方向(Z方向)において、上方が+Z側であり、下方が−Z側である。
図1は、実施形態に係る測定装置を示す概念図である。本実施形態の測定装置1は、被験者Hの背部を撮像する撮像部2と、被験者Hの背部の3次元データを取得する3次元データ取得部3と、被験者Hの背部の特徴部位の状態を3次元データに基づいて検出する状態検出部4と、撮像部2による実画像Im1、3次元データに基づく処理画像Im2、及び状態検出部4の検出結果D1を表示する表示部5と、を備える。
図2は、実施形態に係る測定装置を示すブロック図である。測定装置1は、撮像部2と、3次元データ取得部3と、コンピュータ装置CPと、を備える。撮像部2、3次元データ取得部3(3次元センサ)、表示部5、及び入力部6は、それぞれ、コンピュータ装置CPに、有線または無線により通信可能に接続される。コンピュータ装置CPは、CPUおよびメモリを備えるパーソナルコンピュータ等である。コンピュータ装置CPは、記憶部16に記憶されているプログラムを読み出し、このプログラムに従って各種の処理を実行する。
コンピュータ装置CPは、状態検出部4と、抽出部10と、正中線検出部11と、特徴部位指定部12と、自動評価部13と、表示制御部14と、操作部15と、記憶部16と、を備える。上記のプログラムは、コンピュータを、各種の処理を行う処理部PU(状態検出部4、抽出部10、正中線検出部11、特徴部位指定部12、自動評価部13)、各種の制御を行う制御部CU(表示制御部14、操作部15)として機能させる。
図3は、本実施形態の測定装置1を示す斜視図である。図3に示す測定装置1は、立位状態の被験者Hの測定を行う状態を示している。測定装置1は、例えば、上記した撮像部2、3次元データ取得部3及びコンピュータ装置CPと、下部フレーム21と、鉛直フレーム22と、支持フレーム23と、支柱部25と、支持部26と、テーブル27と、複数の車輪28と、を備える。
下部フレーム21は、測定装置1の下部に配置される。鉛直フレーム22は、鉛直方向(Z方向)に延びており、下部フレーム21の上部に固定される。支持フレーム23は、鉛直フレーム22に固定され、支柱部25を支持する。支柱部25は、鉛直方向(Z方向)に延びており、上下方向(Z方向、鉛直方向)に伸縮可能である。支柱部25は、例えば、上下方向に伸縮可能(移動可能)な伸縮部25aと、伸縮部25aを支持する伸縮部支持部25bを備える。図2は、支柱部25が伸長した状態(伸縮部25aが上方に移動した状態)を示す。また、図3は、支柱部25が収縮した状態(伸縮部25aが下方に移動した状態)を示す。また、支柱部25は、図3に示す状態よりもさらに収縮させることができ、測定装置1のサイズをコンパクトにすることができる。伸縮部25aおよび伸縮部支持部25bには、その内部に不図示の空間部(空洞部)が設けられており、この空間部には、撮像部2及び3次元データ取得部3のそれぞれとコンピュータ装置CPとを接続するケーブル30などが収容される。伸縮部支持部25bは、その内部に伸縮部25aの一部を収容可能であり、伸縮部25aを上下方向に移動可能なように支持する。テーブル27は、鉛直フレーム22の上部に設けられる。テーブル27は、上面に物品を載置可能である。テーブル27の上面には、例えば、ノート型のコンピュータ装置CPが載置される。テーブル27には、鉛直フレーム22の上端部および支柱部25の側方に接続され、鉛直フレーム22および支柱部25に支持される。コンピュータ装置CPは、ケーブル30により3次元データ取得部3に接続される。
伸縮部25aの上側(+Z側)の端部には、支持部26が接続される。支持部26は、支持部26に撮像部2及び3次元データ取得部3を取り付けるための取り付け部32が設けられる。支持部26は、取り付け部32を介して、撮像部2及び3次元データ取得部3を支持する。撮像部2及び3次元データ取得部3は、後述すKinectセンサSをケースに収容したものであり、このケースが支持部26に支持される。支持部26は、Y方向に平行な軸AX1周りに回転可能に、支柱部25の伸縮部25aに接続される。すなわち、支持部26は、図3に示すように、支柱部25に近づく方向に移動可能である。これにより、測定装置1のサイズをコンパクトにすることができる。取り付け部32は、撮像部2及び3次元データ取得部3を、支持部26に対して回転可能に支持する。例えば、図2に示す例において、取り付け部32は、3次元データ取得部3を、X方向に平行な軸AX2周りに回転可能に支持する。これにより、撮像部2及び3次元データ取得部3の向きを変えることができる。撮像部2及び3次元データ取得部3の向きを下向きに変えることにより、測定装置1は、横臥状態の被験者Hを測定することができる。また、撮像部2及び3次元データ取得部3の向きを変えることができる場合、撮像部2及び3次元データ取得部3の向きを被験者Hに対してより正確に向けることができる。
複数の車輪28は、下部フレーム21の下部に設けられる。複数の車輪28は、撮像部2及び3次元データ取得部3を少なくとも含むユニット(下部フレーム21の上方の構造物)を移動可能である。本実施形態において、下部フレーム21に測定装置1の他の部分が支持されており、測定装置1は、その全体が床面上を走行可能である。
なお、測定装置1は、図3に示す構成は一例であり、他の構成でもよい。例えば、上記した下部フレーム21、鉛直フレーム22、支持フレーム23、支柱部25、支持部26及びテーブル27の形状、大きさ等の構成は、図3に示すものに限定されず、任意である。また、コンピュータ装置CPは、ノート型のものに限定されず、任意のものを用いることができる。例えば、コンピュータ装置CPは、デスクトップ型でもよいし、タブレット型でもよい。
次に、撮像部2及び3次元データ取得部3について説明する。図4は、本実施形態に係る撮像部2及び3次元データ取得部3を示す図である。撮像部2及び3次元データ取得部3は、例えば、Kinect(登録商標)(v2)センサS(以下、「Kinectセンサ」と略称する。)を用いている。なお、撮像部2及び3次元データ取得部3としては、例えば、レーザパターン投影方式の3次元センサ(例、Kinectセンサ(v1))を用いることもできる。
KinectセンサSは、図4に示すように、RGBカメラSa、赤外線レーザ発光部Sb、及び測定用赤外線カメラScを搭載している。KinectセンサSは、RGBカメラSaで、RGBカラーの画像(動画)を取得する。また、KinectセンサSは、物体に対して、赤外線レーザ発光部Sbでアクティブに近赤外光(LED光)を照射し、測定用赤外線カメラScで受光することにより、反射光の飛行時間を測定して、この飛行時間に基づいて物体との距離を測定する。これにより、KinectセンサSは、物体の3次元データ(3次元デプスデータ)を取得する。KinectセンサSは、いわゆる、TOF(Time of Flight)方式の3次元センサである。KinectセンサSは、当初ゲーム機用のセンサであったが、コンピュータ装置(パーソナルコンピュータ)CP(図2参照)等にもUSb端子を介して接続可能である。
また、KinectセンサSは、例えば、マイクロソフトリサーチ社が提供する「Kinect for Windows(登録商標) SDK(Software Development Kit)」を用いれば、C言語で記述したプログラムによりKinectセンサをコンピュータ装置CPから制御することできる。また、KinectセンサSが出力するデータの処理は、Point Cloud Library等のソフトウェアを用いることができる。このように、KinectセンサSを用いる場合、開発環境やデータ処理環境が整っているため、制御プログラムや解析プログラム等を容易に開発することができる。また、KinectセンサSは、装置及び制御ソフトを安価で入手可能であるため、3次元センサとしてKinectセンサSを用いる場合、測定装置1を低コストで製造することができる。
本実施形態の撮像部2は、KinectセンサSのRGBカメラSaである。これにより、撮像部2は、画像(画像データ)を取得する。また、本実施形態の3次元データ取得部3は、赤外線レーザ発光部Sb、及び測定用赤外線カメラScである。これにより、3次元データ取得部3は、物体の3次元データを取得する。
なお、撮像部2及びRGBカメラSaは、それぞれ、KinectセンサSを用いなくてもよい。例えば、撮像部2は、画像を撮像可能なビデオカメラ(デジタルビデオカメラ)などを用いてもよい。また、3次元データ取得部3は、物体の3次元データを取得可能なセンサあるいは3Dスキャナなどを用いてもよい。
また、本実施形態では、撮像部2の光の入射側に、基準部31が設けられている。なお、図4には、基準部31を点線で示している。基準部31は、撮像部2が取得した画像に基準を付与する。基準部31は、例えば、ガラス、樹脂などの透光部材の表面の中心に、基準となる十字形状の中心線31aを有している。中心線31aは、水平方向と平行な所定の長さの直線及び鉛直方向と平行な所定の長さの直線であり、これらはそれぞれの中心で直交している。基準(中心線31a)は、例えば、取得した画像あるいは3次元データの所定位置に設定される。本実施形態では、中心線31aの十字形状の交点が、撮像部2が取得する画像の中心に位置するように設定されている。これにより、撮像部2が取得した画像の中心に、中心線31a(中心線31aのデータ)が付与される。このように、撮像部2が取得した画像の中心に基準(中心線31a)が付与される場合、画像処理において、中心線31aを用いて処理を行うこともできる。なお、画像に付与された中心線31a(中心線31aのデータ)のうち、床面に対して鉛直方向と平行な線を、「上下中心線」と称すことがあり、また、床面に対して平行な線を、「左右中心線」と称すことがある。
なお、基準部31の画像上の設定位置は、上記した中心の位置に限定されず、任意である。例えば、基準部31の位置は、中心から所定の距離に、1つあるいは複数配置されてもよい。また、基準部31の形状は、上記した十字形状に限定されず、任意である。例えば、基準部31の形状は、点でもよいし、点線でもよいし、所定の形状のマークなどでもよい。また、基準部31は、撮像部2及び3次元データ取得部3のそれぞれに設けられてもよい。また、測定装置1が、基準部31を備えるか否かは任意である。また、上記した上下中心線及び左右中心線のうち少なくとも1つは、基準部31により画像に付与されたものでなくてもよい。例えば、上記した上下中心線及び左右中心線のうち少なくとも1つは、撮像部2に取得された画像に基づいて、求めたものでもよい。
撮像部2は、被験者Hの背部を撮像する。撮像部2は、被験者Hの背部を撮像して画像を取得する。3次元データ取得部3は、被験者Hの背部を撮影して背部の3次元データを取得する。この3次元データは、被験者Hの背部の3次元形状データとなる。測定装置1は、例えば、3次元データを用いて、被験者Hの背部の状態を測定することができる。
なお、背部は、被験者Hの背側部分であり、頭部から足の先端までの部分を含む。3次元データは、例えば、被験者Hの背部の表面上の複数の点の三次元座標を含むデータである。例えば、3次元データは、被験者の背部の表面における各点の相対的な座標のデータを含むデータである。例えば、相対的な座標のデータは、被験者Hの背部における所定位置(例、後頭部の所定位置)の座標を基準に対する相対的な座標である。相対的な座標を用いる場合、3次元データ取得部3から被験者Hの背部上の各点までの距離のキャリブレーション用の基準部材を用いなくても被験者Hの背部の表面形状を取得することができ、簡便に3次元データを取得することができる。なお、座標データは、被験者Hの背部の表面における各点の相対的な座標のデータ以外に、絶対座標データでもよいし、被験者Hの背部以外に配置される基準に対する相対座標データでもよい。3次元データの解像度は、例えば、1mm〜10mmの解像度である。
撮像部2が撮像した画像と3次元データ取得部3が取得した3次元データとは、関連付けられて、記憶部16に記憶され、処理部PUあるいは制御部CUにより処理される。本明細書では、撮像部2が撮像した画像を「実画像」と称す。なお、実画像は、撮像部2が撮像した画像が処理された処理された画像でもよい。
図5は、撮像部2が取得した実画像、及び3次元データ取得部3が取得した3次元データに基づく処理画像(以下、「3次元データを示す画像」と称す。)を示す図である。図5には、撮像部2が取得した画像Im1、及び3次元データを示す画像Im2を、表示部5に表示した画像である。この画像Im1は、撮像部2が取得した動画の一部である。画像Im2は、連続して取得した3次元データの一部のデータを処理した画像である。撮像部2が取得した画像Im1は、例えば、3次元データ取得部3が取得した3次元データに対応する実画像である。画像Im1は、上記した基準部31の十字状の中心線31aを含んでいる。画像Im2は、3次元データに基づいて処理された処理画像であり、3次元データを示す画像である。3次元データを示す画像Im2を生成する処理は、例えば、処理部PUにより行われる。例えば、図5に示す3次元データを示す画像Im2は、等高線に関する情報を含む等高線画像である。等高線画像は、例えば、3次元データの座標データを処理することにより、生成することができる。
なお、等高線画像は、等高線に関する情報を含んでいれば、図5に示す画像に限定されず、任意である。例えば、等高線画像は、所定の間隔の等高線を線状(例、実線、点線状)で示してもよいし、高さを示す情報を色あるいは濃度に変換してグラデーションで表してもよいし、長さあるいは高さなどの、等高線を示す情報以外の他の情報(画像)を含んでもよい。
画像Im1及び3次元データを示す画像Im2は、処理部PUあるいは制御部CUによって、所定の処理及び制御を受け、表示部5に並べて表示される。また、実画像Im1及び画像Im2は、それぞれ、隣接して表示される。また、実画像Im1及び画像Im2は、それぞれ、リアルタイムで表示される。また、図5に示す例では、実画像Im1及び画像Im2は、それぞれ、処理部PUあるいは制御部CUにより、同一の大きさになるように処理され、表示部5に表示される。
図6及び図7は、ポジショナーの一例を示す図であり、図6は正面図、図7は側面図である。測定装置1は、ポジショナー33を備える。ポジショナー33は、測定装置1による測定時に被験者Hを支持する。ポジショナー33は、支持部34、支持部材35、足部支持部36、及びスクリーン37を備える。支持部34は、被験者Hを支持する。支持部34は、被験者Hの背面あるいは被験者Hの前面を支持する。足部支持部36は、被験者Hの足を下方から支持する。支持部34は、被験者Hの上半身の左右方向の中央部分に対応する部分、及び被験者Hの足先に対応する部分に、空間部38a、38bを有している。被験者Hは、支持部34に支持される際、この空間部38a、38bに被験者Hの上半身の左右方向の中央部分及び足先をいれることができる。この場合、支持部34は、支持部34に支持される際の被験者Hの負担を軽減し、確実に被験者Hを支持することができる。
また、支持部34は、図6に示すように、支持部材35に下方から支持され、鉛直方向に対して、所定の角度で傾いて配置されている。この傾きは、例えば、鉛直方向に対して10°程度傾くように設定される。被験者Hは、測定時に、支持部34に体重をあずけて、鉛直方向に対して傾いた状態で、支持される。なお、足部支持部36も、上記した支持部34の傾きに対応して配置され、被験者Hの足部を支持する支持面が、支持部34が人体を支持する支持面に対して、直交するように配置されている。
ところで、測定装置1による測定時には、測定する項目の種類にもよるが、被験者Hは静止状態であるのが望まれる。上記のように支持部34が鉛直方向に対して所定の角度で傾いている場合、被験者Hは支持部34に体重をあずけることができるので、被験者Hが測定時に静止する際の負担を軽減することができる。また、測定装置1は、被験者Hをポジショナー33で支持して測定するので、静止状態の被験者Hを容易に測定することができる。被験者Hが子供などの場合、測定時に動いてしまうことがあるが、ポジショナー33を用いることにより、被験者Hを容易に静止させることができる。
また、支持部34の表面には、基準線40が設けられている。この基準線40は、例えば、所定の高さに配置される。基準線40は、撮像部2により撮像可能に設けられている。このような基準線40がある場合、被験者Hの伸長を容易に把握することができる。また、撮像部2は、基準線40を含んで被験者Hを撮像する場合、撮像部2が取得した画像に基準線40に関する情報が付与することができる。この場合、基準線40に関する情報を画像の処理に用いることができる。
スクリーン37は、支持部34が被験者Hを支持する面と反対側に設けられている。スクリーン37は、支持部34に対して所定の位置(距離、角度)で設けられている。スクリーン37は、撮像部2により撮像された画像においては、背景になる。スクリーン37がある場合、撮像部2により撮像した画像、あるいは3次元データ取得部3により取得した3次元データに、被験者H以外の物体の情報が含まれるのを防止することができるので、画像および3次元データの精度を向上させることができる。また、スクリーン37は、支持部34に対して所定の距離で設けられているので、3次元データ取得部3が取得した3次元データにおいて、スクリーン部分を基準とすることができ、これにより、3次元データの精度を向上させることができる。
なお、ポジショナー33の構成は、図5等に示す例に限定されず、任意である。例えば、ポジショナー33は、スクリーン37を備えなくてもよい。また、測定装置1がポジショナー33を備えるか否かは、任意である。
図2の説明に戻り、抽出部10は、3次元データ取得部3により取得した3次元データ(以下、「3次元計測データ」という)から、被験者Hの表面形状に関するデータ(以下、表面形状データという)を抽出する。例えば、抽出部10は、予め人体の背部のパターンを記憶部16等に保存しておき、そのパターンと3次元計測データとのパターンマッチング処理等を用いて人体の判定を行い、3次元計測データから表面形状データを抽出する。例えば、抽出部10は、被験者Hの外形線(エッジ)を抽出する。抽出部10は、例えば、3次元計測データあるいは撮像部2が取得した画像データ(以下、単に「画像データ」と称すこともある)が表す物体の外形線を検出することにより、被験者Hの外形線の抽出を行う。抽出部10は、抽出した外形線に基づき、3次元計測データから表面形状データを抽出する。例えば、抽出部10は、3次元計測データから、表面形状データとして被験者Hの外形線の内側部分のデータを抽出する。抽出部10が人体の判定を行う場合、以降の処理を自動化することができる。例えば、3次元データ取得部3による3次元計測データの取得状態を継続し、被験者Hが3次元データ取得部3側に背部を向けて所定の姿勢をとった際に、人体であると判定することにより、以降の処理に自動的に移行させることができ、効率的に検査を行うことができる。また、抽出部10が3次元計測データから被験者Hの表面形状に関するデータを抽出することにより、処理に用いられるデータ量を減らすことができるため、以降の処理(例、各種画像処理、状態検出部4による状態の検出(算出)、正中線検出部11による中心線の検出等)を効率的に行うことができる。
なお、抽出部10は、3次元計測データから被験者Hの表面形状に関するデータを抽出する前に、3次元計測データと画像データとの少なくとも一方から背景データを削除する処理を行ってもよい。例えば、抽出部10は、3次元計測データから被験者Hの背部の表面に対して、所定の距離以上の部分を背景データであると推定して、削除してもよい。例えば、3次元データ取得部3と被験者Hとのおおよその距離が予めわかっている場合、この距離を上記の所定の距離として用いることができる。また、抽出部10は、3次元計測データと画像データとの少なくとも一方に対して、フィルタリング等のノイズの軽減処理、コントラストや明るさなどを変更する処理等の画像処理を行ってもよい。なお、測定装置1は、抽出部10を備えなくてもよいし、抽出部10は、測定装置1の外部の装置に設けられてもよい。例えば、測定装置1は、上記の外部の装置において抽出部10により処理されたデータを用いて、各種の処理を行ってもよい。
正中線検出部11は、3次元計測データに基づいて、被験者Hの背部の正中線を検出する。正中線は、被験者Hの頭頂から縦(上下方向、身長の方向)に延びる直線であり、被験者Hの左右方向(幅方向)の中心線である。以下の説明において、正中線と平行な方向を、適宜、正中線方向という。この正中線は、例えば、被験者Hの背部を左右に分けて評価を行う基準として用いられる。正中線検出部11は、例えば、上記した被験者Hの背部の外形線に基づく背部の幅(左右方向の長さ)から正中線を検出する。例えば、正中線検出部11は、上記した被験者Hの背部の外形線に基づいて被験者Hの背部の各位置における幅を取得し、例えばその幅の1/2の位置(背部の幅方向の中心位置)を結んで正中線とする。なお、正中線検出部11で検出した正中線は、表示部5に表示してもよい。
なお、正中線検出部11が、被験者Hの背部の正中線を検出する手法は、上記した例に限定されず任意である。例えば、例えば、人体の背部において脊柱の位置は、一般的に凹状態(くぼみ)となっているため、正中線検出部11は、背部の凹凸状態のデータにおいて略中央で凹状態の底(極値)となっている位置を結んだ線、あるいはこの線を、頭頂を通る直線で近似した線を正中線としてもよい。また、正中線検出部11は、撮像部2が取得した画像データを用いて、被験者Hの背部の正中線を検出してもよい。また、正中線検出部11は、被験者Hの背部のX線撮影画像データが表す形状(画像)と、3次元計測データが表す形状(画像)とを重ね合わせて、正中線を検出するようにしてもよい。例えば、評価(検出)の精度を高める場合には、正中線検出部11は、X線撮影画像を参照して正中線を決定(検出)してもよい。また、正中線検出部11は、被験者Hの背部のモアレ画像データが表す形状(画像)と、3次元計測データが表す形状(画像)とを重ね合わせて、正中線を検出してもよい。例えば、評価(検出)の精度を高める場合には、正中線検出部11は、モアレ画像を参照して正中線を決定してもよい。また、正中線検出部11は、例えば、被験者Hの脊柱を示す位置に反射テープ等で構成したマーカを予め貼付し、撮像部2が撮像した画像からマーカの位置を検出し、正中線を決定してもよい。なお、測定装置1は、正中線検出部11を備えなくてもよいし、正中線検出部11は、測定装置1の外部の装置に設けられてもよい。例えば、測定装置1は、上記の外部の装置において正中線検出部11により処理されたデータを用いて、各種の処理を行ってもよい。
特徴部位指定部12は、被験者Hの背部における測定すべき特徴部位を指定する。特徴部位指定部12は、例えば、3次元計測データ、あるいは抽出部10により抽出された表面形状データから被験者Hの背部における測定すべき特徴部位を指定する。特徴部位指定部12は、例えば、測定すべき特徴部位を自動的に検出して指定する。例えば、特徴部位指定部12は、予め測定すべき特徴部位に関するデータを記憶部16に登録し、そのデータに基づいて特徴部位を検出する。特徴部位指定部12は、例えば、3次元計測データに基づいて被験者Hの背部の各部位を推定する処理を行う。例えば、特徴部位指定部12は、特徴部位を「第7頚椎」として、被験者Hの「第7頚椎」の位置を3次元データ、あるいは撮像部2による画像データに基づいて自動的に検出する。特徴部位指定部12は、これと同様にして、「頸椎」、「胸椎」、「腰椎」、「肩部」、「肩甲骨」、「腰部」、「骨盤」、「かかと」、「ひざ」等の各部位(各領域)を特徴部位として検出する。なお、特徴部位指定部12が検出した各部位は、各部位を示す画像を生成して、表示部5により表示してもよい。
なお、特徴部位指定部12は、これらの各部位(各領域)を特徴部位として推定してもよい。なお、特徴部位指定部12が腰部や臀部の位置を推定し、その部位を捻じれ(歪み)の基準としてもよい。一般的に、腰部や臀部は略水平面を形成すると考えることができるので、この腰部や臀部を「第7頚椎」や「肩部」等の特徴部位の捻じれ(歪み)具合の基準とすることができる。また、特徴部位指定部12は、正中線検出部11により検出した正中線に基づいて、測定すべき特徴部位を自動的に検出してもよい。なお、特徴部位指定部12が指定する被験者Hの部位は、上記に限定されず任意である。
また、特徴部位指定部12は、操作者が手動で指定した特徴部位を、測定すべき特徴部位として指定することができる。例えば、3次元計測データあるいは画像データに相当する画像を表示部5に表示し、操作者は、マウス、タッチペン等の入力部6を用いて、表示部5に表示された画像上の位置を選択する。入力部6は、ユーザが指定した特徴部位の情報を取得し、特徴部位指定部12は、この情報に基づいて特徴部位を指定(決定)する。なお、各状態検出部4における、被験者Hの背部における測定すべき特徴部位については、後に説明する。
自動評価部13は、例えば、後述する状態検出部4の各部で検出された特徴部位の状態を自動的に評価する。自動評価部13は、例えば、予め設定される閾値との比較によって、状態検出部4の各部で検出された特徴部位の状態を自動的に評価する。これにより、被験者Hの特徴部位の状態を、簡便に把握することができる。上記の閾値としては、例えば、健常者について状態検出部4の各部で検出された値等を用いることができる。自動評価部13は、例えば、被験者Hについて状態検出部4の各部で検出された値が上記の閾値を超えた場合に、被験者Hに対する検出値と閾値との差に応じて、「・・・の部分に軽度の歪みがみられます」、「・・・の部分に中度の歪みがみられ、要観察と思われます」、「・・・の部分に重度の歪みがみられ、手術等の治療が必要と思われます」等のメッセージを表示するようにしてもよい。また、自動評価部13は、被験者Hについて過去の測定により得られた特徴部位の状態を示すデータと、被験者Hについて今回の測定により得られる特徴部位の状態を示すデータとを比較して、特徴部位の状態を自動的に評価してもよい。なお、本明細書において、自動評価部13の評価結果は、状態検出部4の検出結果に含まれるものとする。
なお、体の歪み(例、脊椎側弯症)についての手術や各種治療の要否等の最終判断は、医師等(例、専門医)によって行われる。また、測定装置1は、自動評価部13を備えなくてもよいし、自動評価部13は、測定装置1の外部の装置に設けられてもよい。例えば、上記の外部の装置において自動評価部13は、測定装置1により得られる特徴部位の状態を示すデータを用いて、特徴部位の状態を自動的に評価してもよい。
次に状態検出部4について説明する。状態検出部4は、3次元データ取得部3で取得される3次元データに基づいて、特徴部位指定部12で指定された特徴部位の状態を検出する。本実施形態の状態検出部4は、脊柱の歪みを検出する。状態検出部4は、例えば、第1の脊柱検出部4a、及び第2の脊柱検出部4bを備える。なお、状態検出部4は、被験者Hの背部の歪みに関連する複数の項目(肩部、肩甲骨、腰部、下半身、骨盤、足部)を検出してもよい。
第1の脊柱検出部4aは、特徴部位の状態として、被験者Hの左右方向の体表面の凹凸状態を検出する。図8(A)〜(D)は、第1の脊柱検出部4aを説明するための図である。図8(A)は、第1の脊柱検出部4aにおける測定すべき特徴部位を示す図である。図8(A)の3次元データに基づく処理画像は、例えば表示部5に表示される。第1の脊柱検出部4aは、例えば、測定すべき特徴部位を、正中線の方向における頸椎から股間までの所定部分R1に設定し、この所定部分R1において、正中線を境にした左右のピーク位置の高低差を示す情報(以下、高低差情報)を算出する。
図8(B)は、正中線に直交する面における被験者Hの体表面の形状を示す図である。図8(B)において、符号MLは正中線であり、符号PE1は正中線MLに対して左側のピーク(例、極大)であり、符号PE2は正中線MLに対して右側のピーク(例、極小)である。第1の脊柱検出部4aは、例えば、正中線に直交する面内の所定部分R2について、正中線を境界線とする左右の領域のうち、一方の領域(例、左の領域)における高さの極大値(ピークPE1の高さ)と、他方の領域(例、右の領域)における極小値(ピークPE2の高さ)との差分を、高低差hとして算出する。高低差hは、上記の高低差情報の一例である。また、第1の脊柱検出部4aは、ピークPE1とピークPE2を通る直線L1が、水平線HLと交わる角度θ1を算出する。角度θ1は、上記の高低差情報の一例である。
また、第1の脊柱検出部4aは、被験者Hの左右方向の脊柱の歪みの程度(レベル)を定量的に検出する。第1の脊柱検出部4aは、例えば、図8(A)に示した部分R1において正中線の方向における複数の各位置において、図8(B)に示したように正中線MLに対する左右のピーク位置の高低差情報として、例えば角度θ1を算出する。図8(C)は、第1の脊柱検出部4aが算出した角度θ1の、正中線の方向における分布を示す図である。図8(C)の画像は、例えば表示部5に表示される。図8(C)において、縦軸は正中線の方向における位置であり、横軸は角度θ1である。なお、横軸の角度θ1は、図8(B)の直線L1のように左から右に向かって高さが減少する場合に正(+)とし、その反対の場合に負(−)とした値である。
また、第1の脊柱検出部4aは、例えば、部分R1における、ピーク位置の高低差を示す角度θ1において、最大値と最小値とを算出し、最大値の絶対値と最小値の絶対値との和を「弯曲度」として算出する。この「弯曲度」は、被験者Hの脊柱の左右方向の歪みの程度を定量的に示す値である。第1の脊柱検出部4aが算出した「弯曲度」を用いると、例えば、被験者Hの脊柱の左右方向の歪みの程度を簡便且つ精度よく評価することができる。
図8(C)に示す例では、正の角度(+の角度)の最大値を矢印Bで示し、負の角度(−の角度)の最小値を矢印Aで示した。なお、図8(A)において、この矢印AはA−A線の部分に相当し、矢印BはB−B線の部分に相当する。なお、このA−A線およびB−B線は、第1の脊柱検出部のAの検出結果として、撮像部2による実画像及び/又は3次元データに基づく画像に重ねられて、表示部5に表示される。また、第1の脊柱検出部4aは、図8(D)に示すように、A−A線における体表面の凹凸状態(符号Aで示す)、及びB−B線における体表面の凹凸状態を検出結果(符号Bで示す)として出力する。
図9は、第2の脊柱検出部4bを説明するための図である。図9(A)は、第2の脊柱検出部4bにおける測定すべき特徴部位を示す図である。図9(A)の画像は、例えば表示部5に表示される。第2の脊柱検出部4bは、特徴部位の状態として、被験者Hの前後方向(背腹方向)の体表面の凹凸状態を検出する。第2の脊柱検出部4bは、例えば、被験者Hの脊柱における前後方向の歪みの程度を定量的に検出する。第2の脊柱検出部4bは、例えば、測定すべき特徴部位を、被験者Hの背部の部分R3に設定し、この特徴部位における体表面の凹凸状態を検出する。部分R3は、例えば、被験者Hの背部の幅方向における中心位置を結んだ線に相当する部分である。部分R3の体表面の凹凸状態には、脊柱の前後方向の位置が反映されている。したがって、第2の脊柱検出部4bは、部分R3の体表面の凹凸状態を検出することにより、脊柱における前後方向の歪みを検出することができる。
図9(B)は、第2の脊柱検出部4bの検出結果の例を示す図である。図9(B)の画像は、例えば、表示部5に表示される。図9(B)において、横軸は正中線の方向における体表面の位置であり、横軸は前後方向における体表面の位置である。第2の脊柱検出部4bは、例えば、正中線の方向における体表面の位置に対する前後方向における体表面の位置の分布を検出結果として出力する。図9(B)の符号L2は、被験者の上下方向に対応する線を示す。この分布は、例えば、前後方向への背骨の反りを評価すること等に利用される。なお、第2の脊柱検出部4bにおける特徴部位は、被験者Hの背部の中心線の部分R3でなくてもよく、例えば、被験者Hの背部から選択される、正中線と平行な部分でもよい。
上記のように本実施形態の測定装置1は、被験者Hの脊柱の歪みを簡単かつ精度よく検出することができる。また、測定装置1は、被験者Hの脊柱における左右方向の歪みを検出することができるので、被験者Hが脊柱側弯症であることを検出することができる。また、測定装置1は、被験者Hの脊柱における前後方向の歪みを検出することができるので、被験者Hが脊柱前湾症、あるいは脊柱後湾症であることを検出することができる。このような測定装置1は、学校検診における脊柱側弯症のスクリーニング、病院・診療所での脊柱側弯症の検出、脊柱側弯症手術前後の経過観察などに好適に用いることができる。
なお、上記した第1の脊柱検出部4aおよび第2の脊柱検出部4bは、例えば静止状態の被験者Hの画像および3次元データを用いて状態の検出を行うが、所定の動作を行う被験者Hの動画を用いて、評価を総合的に行ってもよい。なお、第1の脊柱検出部4aおよび第2の脊柱検出部4bのうち少なくとも1つは、なくてもよい。
図2の説明に戻り、入力部6は、ユーザから各種操作指令の入力を受け付ける。入力部6としては、例えば、キーボード、マウス、ボタン、ジョイスティック、タッチパネル等の入力装置を用いることができる。
記憶部16は、コンピュータ装置CPの動作に必要な各種プログラム、各種データを記憶(格納)する。記憶部16としては、例えば、ハードディスク、フラッシュメモリ等の記憶装置を用いることができる。
表示部5は、各種情報を表示する。例えば、表示部5は、図5に示した撮像部2が取得した実画像Im1、3次元データを示す画像Im2、状態検出部4の検出結果、自動評価部13の評価結果、測定装置1の操作を行う操作部15、測定装置1の操作に関する情報、実画像Im1、3次元データを示す画像Im2及び状態検出部4の検出結果D1以外の被験者Hの背部に関する情報(例、正中線ML(図8(A)参照))等を表示する。なお、実画像Im1については、上記した中心線31aを含む画像が表示される。
表示部5の表示は、表示制御部14により制御される。表示制御部14は、上記したような表示部5に表示する情報を表示部5に表示させる。表示部5としては、例えば、ディスプレイ、液晶モニタ、タッチパネル等の表示装置等を用いることができる。また、表示部5は、被験者Hの3次元データ等を、ポリゴンやワイヤーフレーム等を用い3次元画像で表示するようにしてもよい。また、ボタン操作やポインティングデバイス操作により、3次元画像の視点等を切り換えるようにしてもよい。
図10は、表示部による表示例を示す図である。図10に示すように、表示部5は、表示制御部14の制御により、撮像部2が取得した実画像Im1、3次元データを示す画像Im2、状態検出部4の検出結果D1、測定日時D2、被験者Hの氏名D3、被験者Hの識別番号(ID)D4、操作メニューM1(操作部15)、被験者Hの背部に関する情報I、上記した自動評価部13の評価結果(図示せず)等を表示する。表示部5は、これらの情報をリアルタイムで表示することができる。
例えば、表示部5は、実画像Im1と3次元データを示す画像Im2とを、並べて表示する。例えば、表示部5は、実画像Im1と3次元データを示す画像Im2とを、並べて同一の大きさで表示する。また、表示部5は、実画像Im1に中心線31a(左右中心線及び上下中心線)を重ねて表示する。
状態検出部4の検出結果D1は、状態検出部4の検出結果D1は、状態検出部4(第1の脊柱検出部4a、第2の脊柱検出部4b)の検出結果を示す情報である。例えば、図10に示す例では、表示部5は、状態検出部4の検出結果D1として、図8(C)に示した第1の脊柱検出部4aが算出した角度θ1の正中線の方向における分布を示す画像Im3、及び「弯曲度」D5を表示する。このように、表示部5は、状態検出部4の検出結果D1を、実画像Im1及び3次元データを示す画像Im2に、並べて表示することができる。本実施形態では、表示部5は、図8(D)に示したA−A線における体表面の凹凸状態、B−B線における体表面の凹凸状態を検出結果、図9(B)に示した正中線の方向における体表面の位置に対する前後方向における体表面の位置の分布なども表示することができる。
被験者Hの背部に関する情報Iは、被験者Hの背部に関する情報であれば任意である。例えば、図10に示す例では、被験者Hの背部に関する情報Iは、正中線MLである。被験者Hの背部に関する情報Iは、特徴部位指定部12が検出した各部位を示す情報などが挙げられる。
また、操作メニューM1は、測定装置1の各種操作を行う操作部15として用いられる。操作メニューM1は、例えば、表示部5にボタンとして表示される。図10に示す例では、操作メニューM1は、「保存」、「再生/停止」、「比較」、「印刷」、「読み込み」、「設定表示」、及び「終了」の操作をするボタンとして表示される。例えば、「保存」は、取得した画像データおよび3次元データを保存する操作を行う。「再生/停止」は、画像Im1および画像Im2をリアルタイムによる表示と、記憶したデータを再生することによる表示の切り替え操作を行う。「比較」は、複数のデータの比較する操作を行う。「印刷」は、表示している画像をプリントアウトする操作を行う。「設定表示」は設定を表示する操作を行う。「読み込み」は記憶部16に格納される各種データ(例、実画像、3次元データ)を読み込んで、表示部5に表示させる操作を行う。「終了」は、アプリケーションを終了する操作を行う。このように、表示部5が操作部15を表示する場合、ユーザは、簡単に操作することができる。なお、操作部15は、図10に示す操作部15は、一例であり、これに限定されない。例えば、本実施形態の操作部15は、図には示さないが、各画像の縮尺の変更なども行うことができる。
以上のように、本実施形態では、表示部5は、実画像Im1、3次元データを示す画像Im2及び状態検出部4の検出結果D1を表示するので、測定結果を容易に把握することができる。また、表示部5は、実画像Im1、3次元データを示す画像Im2及び状態検出部4の検出結果D1をリアルタイムで表示するので、測定結果を、迅速かつより容易に把握することができる。
また、表示部5は、上記した実画像Im1及び3次元データを示す画像Im2を並べて表示するので、測定結果を容易に把握することができる。また、表示部5は、実画像Im1、3次元データを示す画像Im2、及び状態検出部4の検出結果D1を並べて表示するので、測定結果を、さらに容易に把握することができる。
また、表示部5は、上記した実画像Im1及び3次元データを示す画像Im2を並べて表示するので、3次元データを取得したときの被験者Hの状態(測定状態)を実画像Im1により、より簡単に把握することができる。また、この場合、測定時において、撮像部2の撮像位置が正常であったか否かなども確認することができる。また、この場合、通常、3次元データを示す画像のみでは被験者Hを識別することは困難であるが、実画像Im1により被験者Hを識別することができる。
また、表示部5は、中心線31aの左右中心線及び上下中心線を、実画像Im1に重ねて表示するので、画像あるいは3次元データが取得されたときの撮像部2による撮像位置(撮像範囲)を、簡単に確認することができる。この場合、測定時において、撮像部2の撮像位置が正常であったか否か、例えば、撮像部2が傾いたりしていないかどうか等を簡単に確認し、把握することができる。また、画像Im1に左右中心線がある場合、被験者Hの左右中心線に対する傾きを簡単に把握することができる。
なお、表示部5の表示態様は、図10、図11等に示す例に限定されず任意である。例えば、表示部5は、実画像Im1、3次元データを示す画像Im2及び状態検出部4の検出結果D1は、リアルタイムで表示しなくてもよい。また、例えば、表示部5は、実画像Im1と3次元データを示す画像Im2とを並べて表示しなくてもよいし、同一の大きさになるように表示しなくてもよい。また、表示部5は、表示部5は、中心線31aの左右中心線及び上下中心線を、実画像Im1に重ねて表示しなくてもよい。
また、測定装置1は、各種データ(例、各種検出結果(検出データ))等を外部に出力する出力部(図示せず)を備える。出力部としては、例えば、プリンター、データ出力装置(USbインターフェース、ネットワークインターフェース等のデータ出力インターフェース)等が挙げられる。
次に、本実施形態に係る測定方法を上記した測定装置1の動作に基づいて説明する。なお、以下の説明は、本実施形態に係る測定方法の一例であり、本実施形態に係る測定方法はこれに限定されない。図11及び図12は、実施形態に係る測定方法のフローチャートである。
本測定方法は、ステップS1において、被験者Hの背部を撮像する。例えば、上記のように、撮像部2により、被験者Hの背部を撮像する。撮像部2により取得した画像は、記憶部16に格納され、後の処理が行われる。
続いて、ステップS2において、被験者Hの背部の3次元データを取得する。例えば、上記のように、3次元データ取得部3により、被験者Hの背部の3次元データを取得する。3次元データ取得部3により取得した3次元データは、記憶部16に格納され、後の処理が行われる。
ステップS3において、抽出部10は、3次元計測データから被験者Hの表面形状データを抽出する。例えば、ステップS3のステップS31において、抽出部10は、3次元計測データに人体のデータが含まれるか否かを判定する。例えば、抽出部10は、3次元計測データと、予め準備した人体の3次元形状データとをパターンマッチング等を行うことにより、3次元計測データに人体のデータが含まれるか否か判定する。
抽出部10が、3次元計測データに人体のデータが含まれないと判定した場合(ステップS31;No)、ステップS1に戻り、被験者Hの背部を撮像する。抽出部10が、3次元計測データに人体のデータが含まれると判定した場合(ステップS31;Yes)、ステップS32において、3次元計測データからノイズを除去、あるいは低減する。例えば、抽出部10は、フィルタリングなどの処理により、3次元計測データからノイズを除去する。
ステップS33において、抽出部10は、3次元計測データから背景データを削除する。例えば、抽出部10は、3次元データ取得部3との距離が予め設定された所定距離よりも遠い部分を背景と推定し、背景に相当するデータを除去する。
続いて、ステップS34において、抽出部10は、人体部分の外形線を抽出する。例えば、抽出部10は、人体部分のエッジを検出する。例えば、抽出部10は、3次元計測データあるいは画像データが表す物体の外形線を検出することにより、被験者Hの外形線の抽出を行う。画像のエッジを検出して、被験者Hの背部の外形線を取得する。ステップS35において、抽出部10は、人体部分のデータを抽出する。例えば、抽出部10は、3次元計測データから、表面形状データとして被験者Hの外形線の内側部分のデータを抽出する。なお、ステップS31からステップS35を行うか否かは任意である。
ステップS4において、正中線検出部11は、抽出部10により抽出された表面形状データから被験者Hの背部の正中線を検出する。なお、ステップS4を行うか否かは任意である。
ステップS5において、特徴部位指定部12は、抽出部10により抽出された表面形状データから被験者Hの背部における測定すべき特徴部位を指定する。なお、ステップS5を行うか否かは任意である。
ステップS6において、状態検出部4は、3次元データに基づいて、指定された特徴部位の状態を検出する。図12(A)に示すステップS61において、脊柱の歪みを検出する。例えば、ステップS62において、第1の脊柱検出部4aは、特徴部位として指定される被験者の脊柱に対し、3次元データに基づいて、被験者の左右方向における脊柱の歪みを特徴部位の状態として検出する(図8参照)。ステップS62において、第2の脊柱検出部4bは、特徴部位として指定される被験者の脊柱に対し、3次元データに基づいて、被験者Hの前後方向における脊柱の歪みを特徴部位の状態として検出する(図9参照)。
続いて、図12(B)に示すステップS7において、自動評価部8は、状態検出部4で検出された特徴部位の状態を自動的に評価する。なお、ステップS8を行うか否かは任意である。
続いて、ステップS8において、実画像、3次元データを示す画像を表示する。例えば、上記のように、表示部5は、実画像Im1及び3次元データを示す画像Im2を表示する。この際、上記したように、表示部5は、実画像Im1、3次元データを示す画像Im2及び状態検出部4の検出結果D1を表示してもよい。また、表示部5は、実画像Im1、3次元データを示す画像Im2及び状態検出部4の検出結果D1をリアルタイムで表示してもよい。また、表示部5は、上記した実画像Im1及び3次元データを示す画像Im2を並べて表示してもよい。また、表示部5は、実画像Im1、3次元データを示す画像Im2、及び状態検出部4の検出結果D1を並べて表示してもよい。表示部5は、中心線31aの左右中心線及び上下中心線を、実画像Im1に重ねて表示してもよい。
以上のように、本実施形態の測定装置1及び測定方法は、測定結果を容易に把握することができる
なお、本発明の技術範囲は、上述の実施形態などで説明した態様に限定されるものではない。上述の実施形態などで説明した要件の1つ以上は、省略されることがある。また、上述の実施形態などで説明した要件は、適宜組み合わせることができる。また、法令で許容される限りにおいて、上述の実施形態などで引用した全ての文献の開示を援用して本文の記載の一部とする。
なお、計測結果の表示について、3次元計測データに基づく体表面の凹凸を強調する処理を行なって、操作者や医師が凹凸状態をより把握し易くするようにしてもよい。また、3次元計測データに基づく体表面の凹凸に適当な彩色を施す処理を行なって、操作者や医師が、凹凸状態をより把握し易くするように表示してもよい。
例えば、上述の実施形態の状態検出部4は、第1の脊柱検出部4a及び第2の脊柱検出部4bである例を説明したが、状態検出部4は、これに限定されず、任意である。例えば、本願発明者らによる国際出願PCT/JP2015/082887に記載するように、状態検出部4は、3次元データに基づいて、被験者Hの背部の正中線に対する左右の肩の傾きを検出してもよいし、被験者Hの左右の肩甲骨の歪みを検出してもよいし、被験者Hの骨盤の歪みを検出してもよいし、被験者Hの背部の所望の位置に標識がされる場合に、被験者Hにおいて前記標識が設けられる部分の位置及び高さを検出してもよい。
本発明の態様に係る測定装置は、測定時に被験者を支持するポジショナーを備え、ポジショナーに支持された被験者の背部を撮像して被験者の脊柱の歪みを検出する測定装置であって、ポジショナーは、鉛直方向に対して傾いて設定され、測定時に被験者が体重をあずけることにより被験者を鉛直方向に対して傾いた状態で支持する支持部を備える。