JP2021133005A - 聴診システム及び聴診方法 - Google Patents

Abstract

【課題】デジタル聴診器から取得した聴診音データを、機械学習を利用して良否判定を行う技術及び判定結果を可視化する聴診システム及び聴診方法を提供する。【解決手段】聴診システム１０００は、デジタル聴診器１００により取得された聴診音データから複数の特徴量を抽出する特徴量計算部４３ａと、前記特徴量を入力して、正常又は異常に分類する学習モデル４３ｂ，４３ｄと、前記聴診音データを、前記特徴量と、前記学習モデルによる分類結果と、に基づいてマッピングしたデータマップを生成するデータマップ生成部４３ｃと、を含む。【選択図】図１

Description

本発明は、聴診システム及び聴診方法に関し、特に、デジタル聴診器から取得した聴診音データを、機械学習を利用して良否判定を行う技術及び判定結果を可視化する技術に関する。

医師が聴診器を用いて取得する心音・肺音・血流音等の聴診音は、疾病の診断や身体深部の病状を観察するために非常に重要である。しかし、聴診器で取得される聴診音を正しく評価することは、定性的な判断を伴うために、医師の長年の経験と技術によるところが大きく、容易ではない。

そのため、従来から、聴診器によって取得した聴診音をデジタル方式で記録・処理し、聴診音の周波数を解析することによって、定量的に聴診音の異常を識別するためのシステムや聴診方法が開示されてきた。

例えば、特許文献１には、心音の周波数に対して複数個の信号強度閾値を設定して、波形を解析し、サポートベクターマシンによって、心臓疾患の簡易判断を行うシステムが開示されている。

特許文献２には、振幅の分散値によって心音の振幅を解析し、ニューラルネットワークの学習によって、心音と心雑音との区別を行うシステムが開示されている。

特開２００９−２４０５２７号公報 特開平５−３０９０７４号公報

しかし、従来からあるデジタル型の聴診器は、高価であることに加えて、心音を記録したり、心音の波形を表示したりする機能に留まるものが多い。

また、特許文献１や特許文献２のようなシステムも、専門的な判断を必要とするため、医師等の医学的知識がある人でないと正しく使用することが難しく、汎用性に乏しい。

ゆえに、従来の医学教育において、学生が聴診技術を学習するにあたり、定性的な評価指標が用いられることが多く、定量的な評価指標が少ないために、学習効率が上がらないという課題があった。
また、近年増加している在宅医療・介護の現場で、医学的知識を持たない人が、聴診音から簡易に健康状態を識別するためのシステムは、現在存在していない。

そこで、本発明はこのような課題を解決するためのものであり、聴診システム及び聴診方法に関し、特に、デジタル聴診器から取得した聴診音データを、機械学習を利用して良否判定を行う技術及び判定結果を可視化する技術を提供する。

一実施の形態によれば、聴診システムは、デジタル聴診器により取得された聴診音データから複数の特徴量を抽出する特徴量計算部と、前記特徴量を入力して、正常又は異常に分類する学習モデルと、前記聴診音データを、前記特徴量と、前記学習モデルによる分類結果と、に基づいてマッピングしたデータマップを生成するデータマップ生成部と、を含む。
一実施の形態によれば、前記学習モデルは、前記特徴量を入力して、正常又は異常の別と、症例と、を判定するものであり、前記データマップ生成部は、前記聴診音データを、前記特徴量と、前記学習モデルによる分類結果と、に基づいてマッピングしたデータマップを生成する。
一実施の形態によれば、前記データマップ生成部は、前記聴診音データの正常率又は異常率を計算し、前記データマップに少なくとも前記正常率又は前記異常率のいずれか一方を表示する。
一実施の形態によれば、前記正常率又は異常率は、正常音集団又は異常音集団の中心値と、前記特徴量と、の距離に基づいて計算される。
一実施の形態によれば、前記データマップ生成部は、前記聴診音データの症例率を計算し、前記データマップに表示する。
一実施の形態によれば、少なくとも２次元の散布図、又は、３次元のデータマップのいずれか一方の表示が選択可能に構成されている。
一実施の形態によれば、聴診システムは、前記聴診音データに対し、ノイズ処理、周波数調整または振幅調整を行うデータ前処理部をさらに含む。
一実施の形態によれば、聴診方法は、コンピュータが、デジタル聴診器により取得された聴診音データから複数の特徴量を抽出する特徴量計算ステップと、学習モデルに前記特徴量を入力して、正常又は異常に分類する分類ステップと、前記聴診音データを、前記特徴量と、前記学習モデルによる分類結果と、に基づいてマッピングしたデータマップを生成するデータマップ生成ステップと、を含む。

本発明により、聴診システム及び聴診方法に関し、特に、デジタル聴診器から取得した聴診音データを、機械学習を利用して良否判定を行う技術及び判定結果を可視化する技術を提供する。

聴診システム１０００の構成を示す全体図である。 聴診音判定端末４００の構成例を示すブロック図である。 聴診システム１０００の動作例を示すフローチャートである。 聴診システム１０００による判定結果（正常）を可視化した例を示す図である。 聴診システム１０００による判定結果（異常）を３次元表示で可視化した例を示す図である。 聴診システム１０００による判定結果（病名）を３次元表示で可視化した例を示す図である。 聴診システム１０００による判定結果（時系列表示）を３次元表示で可視化した例を示す図である。 聴診システム１０００による判定結果（正常及び異常）を２次元表示で可視化した例を示す図である。 図８をグルーピングして表示した例を示す図である。 聴診部の適切な位置を示すガイド及びマーカーの表示例を示す図である。

まず、本発明の説明に先立ち、本発明の前提技術について説明する。

超高齢社会の進行に伴い、膨れ上がる医療費を削減するため、政府による在宅医療・介護推進の動きが加速している。在宅医療で必要な診療機器は、聴診器、血圧計、パルスオキシメーターといった簡素な機器である。これらの機器に加えて、既存の生体情報（血圧・脈拍・体温・酸素飽和度等）を利用して診断を行っている。

このような状況で、聴診器から得られる情報は、身体深部における病状の観察や疾病の兆候の把握等に重要であり、聴診器は有効な医療機器である。それで、安価かつ小型・軽量で携帯に適している現在のアナログ聴診器は、医療従事者の必需品として活用されている。

しかしながら、聴診器が１８１６年に発明されて以来、約２００年の長き間、その原型は変わっていない。近年、デジタル聴診器が開発され、音源を固定（記録）し、医師が固定した音を再生する技術は確立されたものの、それを可視化する技術はベクトル音波の表示に留まり、より分かりやすく可視化する技術は未だ確立されていない。

そのため、従来の医学教育において、聴診音を診断する方法は、雑音があるかないか、どのような性質の音か、といった定性的な評価を基礎としており、定量的な判断材料が乏しいために、経験や知識の少ない学生が聴診技術を習得することは容易ではなく、学習効率が悪い。

また、在宅医療においても、訪問看護師が聴診を行った時に異常所見がみられても、聴診音を言語化することが難しいため、正確に医師に伝達することが出来ないという問題点がある。

さらに、在宅医療・介護の需要の増加と訪問看護師の不足を背景に、治療に至る前段階として、各家庭で簡単に異常の有無を判断できるシステムの必要性が高まっているが、この市場の要求に、技術が必ずしも追いついていないのが現状である。

そこで本発明は、タブレットやスマートフォン等の一般の人が普段使用している端末を用いて、聴診器が取得した聴診音を記録し、聴診音の簡易判定を行い、判定結果を分かりやすく可視化する。また、保存された聴診音データの時系列での変化を表示する。さらに、聴診音の計測時に、適切な聴診部の位置を誘導するガイド及びマーカーを表示する。これによって、学生や医学的知識を持たない人でも、場所を選ばずに簡易に聴診音を評価し、身体の状態を記録することができる。

次に、本発明の具体的な実施の形態について、図を用いて説明する。
＜実施の形態１＞
図１は、実施の形態１にかかる聴診システム１０００の構成を示す全体図である。聴診システム１０００は、デジタル聴診器１００、聴診音可視化端末（診察用）２００、聴診音可視化端末（教育用）３００、聴診音判定端末４００、を備える。

デジタル聴診器１００は、聴診部、通信部を備える。

聴診部は、直接人の皮膚又は服の上に当てることによって、心音、肺音、血流音等の聴診音を取得する。

通信部は、聴診音可視化端末（診察用）２００、又は聴診音可視化端末（教育用）３００と接続して、聴診部が取得した聴診音を該端末に送信する。
デジタル聴診器１００と該聴診音可視化端末は、ＵＳＢケーブル等による有線、又はＢｌｕｅｔｏｏｔｈ（登録商標）等による無線通信によって接続される。

聴診音可視化端末（診察用）２００は、不図示の制御部、記憶部、及び、通信部を備えている。

制御部は、デジタル聴診器１００から受信した聴診音を計算処理し、可視化するためのプログラムを実行する。

記憶部は、デジタル聴診器１００から受信した聴診音データ、年齢・性別等の患者属性データ、聴診音データを計算処理するためのプログラム等を格納する。

通信部は、ネットワーク５００を介して、無線（有線でもよい）通信によって聴診音判定端末４００と接続して、記憶部に格納されている聴診音データ、患者属性データ等を送信する。また、聴診音判定端末４００から、聴診音の判定結果等を受信する。

典型的には、聴診音可視化端末（診察用）２００は、医療従事者や在宅介護に携わる人が、患者や要介護者を診察する際に、デジタル聴診器１００と接続して用いる。

聴診音可視化端末（教育用）３００は、聴診音可視化端末（診察用）２００と同様の構成である。
典型的には、該端末は、学生等が聴診技術を習得するための教育用であって、詳しくは後述するが、症例別の聴診音データを再生したり、再生した聴診音が何の症例かを自己テストしたりする機能を有する。

なお、聴診音可視化端末（診察用）２００、又は聴診音可視化端末（教育用）３００は、一般的には、上記の構成に加えて、タッチパネル等の入力部、ディスプレイ等の表示部、カメラ等の撮影部を備えるスマートフォンやタブレットを用いることができる。

本システムのユーザは、該端末の入力部を用いて、聴診音を取得する患者の性別や年齢等の患者属性データを入力したり、表示部を用いて、データマップを表示したり、撮影部を用いて、患者の聴診部である胸部や背部を映し出したりする。

聴診音判定端末４００は、ネットワーク５００を介して、聴診音可視化端末（診察用）２００、又は聴診音可視化端末（教育用）３００から聴診音データを受信し、その良否を判定する機能を有する。

聴診音判定端末４００の具体的な構成について説明する。
図２は、聴診音判定端末４００の構成例を示すブロック図である。聴診音判定端末４００は、通信部４０、記憶部４１、データ前処理部４２、及び、機械学習部４３を備える。

なお、記憶部４１、データ前処理部４２、機械学習部４３が有する機能の一部又は全部は、聴診音可視化端末（診察用）２００、又は聴診音可視化端末（教育用）３００に実装されてもよいし、ネットワーク５００上に設置する図示しないサーバ、クラウドコンピューティング、フォグコンピューティング又はエッジコンピューティング環境等に実装されてもよい。

通信部４０は、ネットワーク５００を介して、聴診音可視化端末（診察用）２００、又は聴診音可視化端末（教育用）３００と接続し、聴診音データや患者属性データを受信する。また、聴診音の判定結果を該端末に送信する。

記憶部４１は、聴診音可視化端末（診察用）２００、又は聴診音可視化端末（教育用）３００から受信した聴診音データ及び患者属性データ、後述する聴診ビッグデータ、データ前処理部４２又は機械学習部４３で実行するプログラム等を格納する。

データ前処理部４２は、聴診音可視化端末（診察用）２００、又は聴診音可視化端末（教育用）３００から受信した聴診音データ、及び、記憶部４１に格納されている聴診ビッグデータの前処理を行う。データの前処理には、対象の聴診音（典型的には心音）の周波数帯とは明らかに異なる周波数帯をカットする処理（ノイズカット）、及び、対象の聴診音のサンプリング周波数を同一に設定する処理（初期設定）等が含まれる。

機械学習部４３は、特徴量計算部４３ａと、ニューラルネットワーク部４３ｂ又はＳＶＭ判定部４３ｄと、データマップ生成部４３ｃと、を備える。

特徴量計算部４３ａは、ウェーブレット変換部１と、エントロピー算出部２と、を備える。特徴量計算部４３ａは、ウェーブレット変換部１とエントロピー算出部２によって、対象の聴診音データからそれぞれ異なる性質を持った特徴量を抽出する。

ウェーブレット変換部１は、対象の聴診音データに対して、時間変化させながら周波数解析を行い、それぞれの周波数要素が最大になった値を特徴量として出力する。

エントロピー算出部２は、対象の聴診音データに対して、データ全てに一括に周波数解析を行い、それぞれの周波数要素の値と全周波数要素の値の比率を特徴量として出力する。

ニューラルネットワーク部４３ｂ又はＳＶＭ判定部４３ｄは、分類器として機能する。分類器は、多数のデータを幾つかの種類に分類する処理を実行する。種々の分類手法が公知であるが、ニューラルネットワーク部４３ｂはニューラルネットワークによる分類を行い、ＳＶＭ判定部４３ｄは、サポートベクターマシンによる分類を行うことができる。ニューラルネットワーク部４３ｂ又はＳＶＭ判定部４３ｄのいずれの分類器を採用するかは任意である。

学習フェーズにおいて、ニューラルネットワーク部４３ｂ又はＳＶＭ判定部４３ｄは、特徴量計算部４３ａによって算出された聴診音の特徴量と、聴診音が正常であるか異常であるかを示すラベルと、を少なくとも含む学習用データセットを大量に入力する。なお、ラベルとして、症例が入力されてもよい。また、聴診音の特徴量と共に、患者属性データが入力されてもよい。患者属性データは、患者の性別、年齢、血圧、脈拍、体温、酸素飽和度等の生体情報を含む。学習フェーズで用いる聴診音、患者属性データ、各種ラベル等のデータセットは、聴診ビッグデータとして記憶部４１に記憶されているものとする。

ニューラルネットワーク部４３ｂ又はＳＶＭ判定部４３ｄは、これら学習用データセットを用いた学習を繰り返していくうちに、聴診音の特徴量と、正常又は異常の別と、の相関性を示す学習モデルを獲得する。そして、形成された学習モデルは、未知の聴診音の特徴量の入力に対して、少なくとも正常又は異常を識別することができるものとなる。なお、症例をラベルとして追加した場合、学習モデルは、聴診音の特徴量と、正常又は異常の別及び症例と、の相関性を示すものとなる。また、患者属性データを学習用データセットに追加した場合、学習モデルは、患者属性に応じて、聴診音の特徴量と、正常又は異常の別及び症例と、の相関性を示すものとなる。

なお、分類器は、ニューラルネットワーク部４３ｂ又はＳＶＭ判定部４３ｄ以外の公知の機械学習手法を用いた学習モデルによって構築されてもよい。ここで示す機械学習手法、学習用データの作成方法、学習ステップ等は例示であり、他の任意の手法等を用いることが可能である。

また、ニューラルネットワーク部４３ｂ又はＳＶＭ判定部４３ｄは、機械学習手法として、上述の教師あり学習のほか、教師なし学習、強化学習、深層学習等を採用してもよい。

また、聴診ビッグデータに何らかの前処理（公知・周知の技術を含む。）を施して学習用データを作成してもよい。学習用データとしてデジタル聴診器１００により取得された聴診音データ等を利用してもよい。さらに、学習ステップはバッチで行っても良く、あるいは、オンライン学習等により随時学習を行う方式を採用しても良く、任意のタイミングで再学習を行ってもよい。

分類フェーズにおいて、ニューラルネットワーク部４３ｂ又はＳＶＭ判定部４３ｄは、デジタル聴診器１００により取得された聴診音データから特徴量計算部４３ａが算出した特徴量を学習モデルに入力する。この際、聴診音可視化端末（診察用）２００又は聴診音可視化端末（教育用）３００から入力された患者属性データをあわせて入力してもよい。学習モデルは、入力された特徴量等に相関の高いラベル、すなわち正常又は異常、あるいは症例等を分類結果として出力する。

データマップ生成部４３ｃは、ニューラルネットワーク部４３ｂ又はＳＶＭ判定部４３ｄによる出力値、すなわち聴診音の分類に基づいてデータマップを生成する。具体的には、ウェーブレット変換部１によって抽出された特徴量と、エントロピー算出部２によって抽出された特徴量と、の分布を２次元の散布図によって表す。また、該２つの特徴量に、サンプルの個数の表示を加えた、３次元のデータマップを生成することもできる。以下に述べる実施の形態では、３次元のデータマップ（単にデータマップと述べる場合もある。）を生成する。このデータマップ内には、正常音集団、異常音集団、特定の症例集団の存在範囲を描画する。

さらに、データマップ生成部４３ｃは、入力されたパラメータセット（聴診した患者の聴診音データ）の正常率又は異常率を計算することができる。具体的には、正常判定である場合には、２次元の散布図において、入力したパラメータセットのプロットが、正常音集団の中心値（典型的には、平均値、重心値、中央値などを用いる。）からどの程度離れているかを計算する（典型的には、ユークリッド距離、マハラノビス距離などを用いる。）。正常音集団からの乖離度が小さいほど、正常率は高く算出される。

これに対して、異常判定である場合は、２次元の散布図において、入力されたパラメータセットのプロットが、異常音集団の中心値（典型的には、平均値、重心値、中央値などを用いる。）からどの程度離れているかを計算する（典型的には、ユークリッド距離、マハラノビス距離などを用いる。）。異常音集団からの乖離度が小さいほど、異常率は高く算出される。

なお、正常集団の中心値、異常集団の中心値は、ｘｙ座標で示される。以下、「正常集団（又は、異常集団）の中心値からの距離」を、説明の便宜上、単に「正常集団（又は、異常集団）からの距離」という場合もある。

以下、正常率、異常率の算出方法の一例について説明する。データマップ生成部４３ｃによって、正常集団の中心値（ｘｙ座標）、及び、異常集団の中心値（ｘｙ座標）が予め算出されているものとする。まず、異常集団の中心値と正常集団の中心値との距離Ｌ１を求める。この距離は、典型的には、上述のユークリッド距離、又は、マハラノビス距離であり、好適には、マハラノビス距離である。以下、同様である。

次に、入力したパラメータセットのプロット（ｘｙ座標）と正常集団の中心値との距離Ｌ２を求める。

次に、Ｌ１に対するＬ２の比Ｌ２／Ｌ１を求める。単位はパーセントとする。このＬ２／Ｌ１×１００を異常率ＡＲとする。正常率ＮＲは、同様の計算でも求まるが、ＮＲ＝１００−ＡＲでもよい。

このようにして、入力したパラメータセットの異常率ＡＲ、正常率ＮＲを算出することができる。なお、異常音の確率上昇係数ＲＣ＝１００／Ｌ１として、異常率ＡＲ＝Ｌ２×ＲＣとして計算してもよい。

これによって、本システムは、取得した聴診音を単純に二分類するだけでなく、正常又は異常のそれぞれの度合いまでを数値化することによって、より精密な判定を行う。

次に、聴診システム１０００の動作例について説明する。図３は、聴診システム１０００の動作例を示すフローチャートである。

まず、聴診音可視化端末（診察用）２００、又は聴診音可視化端末（教育用）３００は、デジタル聴診器１００から受信した聴診音と、該端末で入力した患者属性データと、を聴診音判定端末４００に送信する。

次に、聴診音判定端末４００は、下記のステップに従って、聴診音を処理する。

Ｓ１０１：データ前処理部４２が、対象の聴診音データに対して、聴診音の周波数帯とは明らかに異なる周波数帯をカットする（ノイズカット）。例えば、聴診音が心音である場合には、０〜８０００Ｈｚ以外をカットする。

Ｓ１０２：データ前処理部４２が、対象の聴診音データのサンプリング周波数を同一（一般的には８０００Ｈｚ）に設定する（初期設定）。また、サンプリング周波数における振幅の大きさに極端な差が生じている場合には、必要に応じて、振幅の調整を行う。

Ｓ１０３：（処理Ａ）データ前処理部４２が、Ｎ点ピーク検出アルゴリズムによって、サンプリング周波数における振幅のピーク点を検出し、Ｎ点までの範囲設定を行う。

Ｓ１０４：（処理Ｂ）特徴量計算部４３ａのウェーブレット変換部１が、処理Ａで抽出した音源データに対してウェーブレット変換を行い、Ｍ個の特徴量を抽出する。ウェーブレット変換は、公知のスペクトル解析手法であるので、詳細な説明は省略する。簡潔に述べると、ウェーブレット変換部１は、対象の音源データに対して、時間変化させながら周波数解析を行い、それぞれの周波数要素が最大になった値を特徴量として出力する。

Ｓ１０５：（処理Ｃ）特徴量計算部４３ａのエントロピー算出部２が、処理Ａで抽出した音源データに対してエントロピーの算出を行い、Ｌ個の特徴量を抽出する。エントロピーの算出は、公知のスペクトル解析手法であるので、詳細な説明は省略する。簡潔に述べると、エントロピー算出部２は、対象の音源データに対して、一括に周波数解析を行い、それぞれの周波数要素の値と全周波数要素の値の比率を特徴量として出力する。

Ｓ１０６：（処理Ｄ）ニューラルネットワーク部４３ｂ又はＳＶＭ判定部４３ｄが、ウェーブレット変換部１が処理Ｂで抽出した特徴量を受け取る。そして、聴診音データの正常又は異常に分類可能に構成された学習モデルに、特徴量を入力する。

Ｓ１０７：（処理Ｅ）ニューラルネットワーク部４３ｂが、エントロピー算出部２が処理Ｃで抽出した特徴量を受け取る。そして、聴診音データの正常又は異常を分類可能に構成された学習モデルに、特徴量を入力する。

Ｓ１０８：（処理Ｆ）データマップ生成部４３ｃは、処理Ｄと処理Ｅによって分類された出力値を、データマップに変換する。具体的には、Ｘ軸をウェーブレット変換部１によって抽出された特徴量、Ｙ軸をエントロピー算出部２によって抽出された特徴量、とする２次元の散布図を生成する。そして、該Ｘ軸と該Ｙ軸に加えて、Ｚ軸をサンプルの個数、とする３次元のデータマップに変換する。この２次元散布図および３次元データマップ内には、正常音集団、異常音集団の存在範囲を描画することができる。

最後に、データマップ生成部４３ｃは、入力したパラメータセットの正常率又は異常率を算出し、データマップに付加して表示する。通信部４０は、聴診音可視化端末（診察用）２００、又は聴診音可視化端末（教育用）３００に、該データマップを送信する。そして、該端末の表示部が、該データマップを表示する。

図４は、聴診システム１０００による判定結果（正常）及び正常率を、３次元のデータマップを用いて可視化した例を示す図である。本システムによって、入力した聴診音が正常判定され、入力した聴診音のプロットと正常音集団との距離（散布図におけるｘｙ平面上の距離）に基づいて、正常率が表示されている。

図５は、聴診システム１０００による判定結果（異常）及び異常率を、３次元のデータマップを用いて可視化した例を示す図である。本システムによって、入力した聴診音が異常判定され、入力した聴診音のプロットと異常音集団との距離（散布図におけるｘｙ平面上の距離）に基づいて、異常率が表示されている。

なお、聴診音可視化端末（診察用）２００、又は聴診音可視化端末（教育用）３００の表示部にデータマップを可視化する場合、図４に示す「判定結果（正常）及び正常率」、又は、図５に示す「判定結果（異常）及び異常率」のうちの少なくともいずれか一方のデータマップを表示することができる。

次に、本発明の異なる実施の形態について説明する。
＜実施の形態２＞
本実施の形態は、本システムが聴診音を解析して正常又は異常の判定を行うだけでなく、病名の判定までを行うことを特徴とする。ここでは、実施の形態１にかかる動作例のＳ１０１からＳ１０８のうち、本実施の形態と異なる部分を説明する。

実施の形態１にかかるＳ１０６とＳ１０７では、ニューラルネットワーク部４３ｂ又はＳＶＭ判定部４３ｄは、聴診音データの正常又は異常を分類可能に構成された学習モデルを使用して分類を行った。

そして、Ｓ１０８において、データマップ生成部４３ｃは、正常音集団又は異常音集団、あるいは正常率又は異常率を示すデータマップを生成した。

本実施の形態では、このとき、ニューラルネットワーク部４３ｂ又はＳＶＭ判定部４３ｄは、特定の病気（典型的には心臓疾患）に固有の聴診音を識別する学習モデルを使用する。例えば、心臓弁膜症、虚血性心疾患、不整脈等に特有な聴診音の成分を識別することによって、それらの心臓疾患名を判定し、グルーピングする。かかる学習モデルは、学習フェーズにおいて、症例（疾病の種類等）を識別するためのラベルを学習用データセットに追加することにより生成できる。

そして、データマップ生成部４３ｃは、ニューラルネットワーク部４３ｂ又はＳＶＭ判定部４３ｄの出力値に基づいて、症例の分類結果を含むデータマップを生成する。具体的には、例えば、病名が不整脈であるならば、入力されたパラメータセットは、データマップ内の不整脈集団の中にプロットされ、該プロットと不整脈集団との距離（散布図におけるｘｙ平面上の距離）に基づいて、不整脈率が表示される。

図６は、聴診システム１０００による判定結果（病名判定）及び病名率を、３次元のデータマップを用いて可視化した例を示す図である。本システムによって、入力した聴診音が不整脈として判定され、入力した聴診音のプロットと不整脈集団との距離（散布図におけるｘｙ平面上の距離）に基づいて、不整脈率が表示されている。なお、入力した聴診音のプロットと不整脈集団との距離、不整脈率は、上述した正常率、異常率と同様の手法で求めることができる。

さらに、本発明の異なる実施の形態について説明する。
＜実施の形態３＞
本実施の形態は、本システムが聴診音を解析して正常又は異常の判定を行うだけでなく、複数の判定結果をデータマップに時系列で表示することを特徴とする。ここでは、実施の形態１にかかる動作例のうち、本実施の形態と異なる部分を説明する。

実施の形態１にかかる動作例では、まず、聴診音可視化端末（診察用）２００、又は聴診音可視化端末（教育用）３００は、デジタル聴診器１００から受信した聴診音データと、聴診した患者に関する患者属性データと、を聴診音判定端末４００に送信した。

本実施の形態では、このとき、現在デジタル聴診器１００から受信した聴診音データと、聴診した患者に関する患者属性データと、ともに、聴診音可視化端末（診察用）２００、又は聴診音可視化端末（教育用）３００の記憶部に格納されている、同一の患者についての、過去の聴診音データ、判定結果、及び聴診音を記録した日時や場所に関するデータ等を聴診音判定端末４００に送信する。

なお、同一の患者についてのそれらのデータは、聴診音判定端末４００、又はネットワーク５００上に存在するサーバ等に格納されていてもよい。

そして、聴診音判定端末４００は、現在の聴診音データを解析して正常又は異常の判定を行い、過去の聴診音データの判定結果とともに、複数の判定結果を時系列にプロットしたデータマップを生成する。

図７は、聴診システム１０００による判定結果（時系列表示）を３次元のデータマップを用いて可視化した例を示す図である。本システムによって、３月５日現在の聴診音の判定結果と、３月２日に取得した聴診音の判定結果が、３次元のデータマップ上に同時に表示されている。

これによって、本システムのユーザは、患者の健康状態の時系列変化を直感的に確認することができる。

さらに、本発明の異なる実施の形態について説明する。
＜実施の形態４＞
以上、データマップの表示は、３次元を中心に説明してきたが、２次元の散布図によって表示してもよい。また、２次元表示と３次元表示とを、ユーザが適宜切替えることができるようにしてもよい。

例えば、図８は、ニューラルネットワーク部４３ｂ又はＳＶＭ判定部４３ｄによる出力値であり、ウェーブレット変換部１によって抽出された特徴量と、エントロピー算出部２によって抽出された特徴量と、の分布を示した２次元の散布図である。

図８は、特徴量の表示数が多いので、ユーザにとって分かりにくい場合がある。そこで、特徴量を、ニューラルネットワーク部４３ｂ又はＳＶＭ判定部４３ｄによって正常又は異常に分類した上で、さらに少なくとも一つ以上のグループにグルーピングして、表示してもよい。

具体的には、ニューラルネットワーク部４３ｂ又はＳＶＭ判定部４３ｄに所定の閾値ＴＨを設定し、一定の座標範囲に一定のプロット数が存在するならば、それらのプロット集団を一つのグループとして定義する。グループ数は、必要に応じて適宜変更される。例えば、図９では、図８の正常音集団を３つのグループ（ＮＧ１〜ＮＧ３）に、図８の異常音集団を４つのグループ（ＡＧ１〜ＡＧ４）に、それぞれグルーピングした例を示している。

また、図８及び図９では、ＳＶＭ判定部４３ｄが算出した閾値（一次式）ＴＨとマージン幅ＭＷが示されている。ここで閾値ＴＨは一次式に限定されず、所定の線形又は非線形であっても良い。閾値ＴＨが線形であれば、聴診音可視化端末（診察用）２００、聴診音可視化端末（教育用）３００等の表示部に、図８及び図９に示すような閾値ＴＨ及びマージン幅をＭＷ表示してもよい。このグルーピングの技術思想は、当然、上述した３次元表示のデータマップにも適用される。

本システムにおいては、少なくとも、２次元表示、または、３次元表示のいずれか一方が表示されるように選択する手段が設けられている。例えば、聴診音可視化端末（診察用）２００、聴診音可視化端末（教育用）３００等の表示部によって表示される操作画面に切替タブを設け、ユーザが２次元表示、または、３次元表示のいずれか一方が表示されるように選択するように構成してもよい。

さらに、本発明の異なる実施の形態について説明する。
＜実施の形態５＞
本実施の形態は、本システムがデジタル聴診器１００によって聴診音を取得する際に、聴診音可視化端末（診察用）２００、又は聴診音可視化端末（教育用）３００の出力部に、適切な位置に聴診部を当てるためのガイド及びマーカーを表示することを特徴とする。

図１０は、患者の顎や肩の位置を示すガイド、及び、適切な聴診部の位置を示すマーカーの表示例を示す図である。

まず、胸部を聴診する場合、一般的には、聴診音可視化端末（診察用）２００、又は聴診音可視化端末（教育用）３００のインカメラを用いて、患者自身が自分の胸部を映し出しながら、デジタル聴診器１００の聴診部を当てる。

このとき、該端末に映し出された胸部には、顎と左右の肩の位置を示すガイドが表示される。それに合わせて、患者自身は自分の顎と左右の肩の位置を調整する。

また、胸部には、聴診部を当てるべき適切な位置にマーカーが表示されている。それに合わせて、患者自身はデジタル聴診器１００の聴診部の位置を調整する。

次に、背部を聴診する場合、一般的には、聴診音可視化端末（診察用）２００、又は聴診音可視化端末（教育用）３００のバックカメラを用いて、第三者が患者の背部を映し出しながら、デジタル聴診器１００の聴診部を当てる。

このとき、胸部の聴診と同様に、顎と左右の肩の位置を示すガイド、及び、聴診部を当てるべき適切な位置にマーカーが表示されるので、第三者はそれに合わせて位置を調整する。

具体的には、性別や年齢毎に、顎、肩等の位置のひな型を用意しておき、ひな型に応じて、ガイド及びマーカーの座標位置を指定することにより、画面上にガイド及びマーカーを表示することができる。

これによって、聴診部の位置の微妙なズレによって生じる聴診音データの誤差を軽減し、医学的知識を持たない人でも、聴診音データを正しく取得することできる。また、本システムを、体温計や血圧計と同じ感覚で日々手軽に利用することができ、各家庭での健康管理に役立てることができる。

以上の通り、本発明の実施の形態について説明したが、聴診システム及び聴診方法１０００の具体的な構成は、上述した実施に形態に限られるものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。本発明の範囲内で、実施の形態の任意の構成要素を均等物により置換したり、省略したりすることができる。また、発明の趣旨を損なわない範囲で、任意の処理を置換、省略し、又は順序を入れ替えて実行することができる。

例えば、聴診音可視化端末（診察用）２００、又は聴診音可視化端末（教育用）３００は、次のような付加機能を備えていてもよい。

（参考数値表示機能）
データマップに、正常率・異常率の表示に加えて、患者の聴診音に関わるデータの最高値、最低値、平均値等を参考数値として表示する。これによって、例えば、取得された聴診音が異常判定された場合に、それが患者自身の身体特性によるものなのか、普段とは異なる状態を示唆するものなのか、を判断する材料にすることができる。

（アラート機能）
患者の聴診音に関わるデータの最高値、最低値、平均値等を保存しておき、その値と、現在取得された聴診音の判定結果にかかる値と、が極端に異なる場合に、医療機関に受診するように促すアラート、又は、再度の聴診（ノイズの影響が想定されるため）を促すアラートを表示する。

（聴診音データ提供機能）
取得した聴診音データ、判定結果、及び聴診音を記録した日時や場所に関するデータ等を、他のシステムで再生・表示可能なファイル形式に変換し、医療機関等に提供する。これによって、電子カルテにデータ一式を添付することができ、遠隔での診療に用いることが可能になる。

（聴診音再生機能）
データマップ上の任意のプロットにかかる聴診音データ又はベクトル音波図等を再生・表示する。これによって、場所や時間を選ばずに、正常音集団及び異常音集団の聴診音データ等を手軽に再生・表示できるので、学生等が分類された聴診音の特徴を学習するのに役立つ。

（聴診技術習得用テスト機能）
データマップにプロットされている症例別の聴診音又はベクトル音波図を利用して、再生した聴診音が何の症例かを自己テストする。また、医学教育の現場で、学生等が取得する聴診音を、本システムによって教員・学生間で共有し、定量的な分析を行うことによって、聴診技術の習熟度を向上させる。

１００ デジタル聴診器
２００ 聴診音可視化端末（診察用）
３００ 聴診音可視化端末（教育用）
４００ 聴診音判定端末
４０ 通信部
４１ 記憶部
４２ データ前処理部
４３ 機械学習部
４３ａ 特徴量算出部
１ ウェーブレット変換部
２ エントロピー算出部
４３ｂ ニューラルネットワーク部
４３ｃ データマップ生成部
４３ｄ ＳＶＭ判定部
５００ ネットワーク
１０００ 聴診システム及び聴診方法
Ｌ１ 異常集団の中心値と正常集団の中心値との距離
Ｌ２ 入力したパラメータセットのプロット（ｘｙ座標）と正常集団の中心値（ｘｙ座標）との距離
ＡＲ 異常率
ＮＲ 正常率
ＲＣ 異常音の確率上昇係数
ＴＨ 閾値
ＭＷ マージン幅
ＮＧ１〜ＮＧ３ グルーピングされた正常集団のグループ
ＡＧ１〜ＡＧ４ グルーピングされた異常集団のグループ

Claims (8)

1. デジタル聴診器により取得された聴診音データから複数の特徴量を抽出する特徴量計算部と、
   前記特徴量を入力して、正常又は異常に分類する学習モデルと、
   前記聴診音データを、前記特徴量と、前記学習モデルによる分類結果と、に基づいてマッピングしたデータマップを生成するデータマップ生成部と、を含む
   聴診システム。
2. 前記学習モデルは、前記特徴量を入力して、正常又は異常の別と、症例と、を判定するものであり、
   前記データマップ生成部は、前記聴診音データを、前記特徴量と、前記学習モデルによる分類結果と、に基づいてマッピングしたデータマップを生成する
   請求項１記載の聴診システム。
3. 前記データマップ生成部は、前記聴診音データの正常率又は異常率を計算し、前記データマップに少なくとも前記正常率又は前記異常率のいずれか一方を表示する
   請求項１記載の聴診システム。
4. 前記正常率又は異常率は、正常音集団又は異常音集団の中心値と、前記特徴量と、の距離に基づいて計算される
   請求項３記載の聴診システム。
5. 前記データマップ生成部は、前記聴診音データの症例率を計算し、前記データマップに表示する
   請求項２記載の聴診システム。
6. 前記聴診音データに対し、ノイズ処理、周波数調整または振幅調整を行うデータ前処理部をさらに含む
   請求項１記載の聴診システム。
7. 少なくとも２次元の散布図、又は、３次元のデータマップのいずれか一方の表示が選択可能に構成されていることを特徴とする請求項１乃至請求項６のいずれか１項に記載の聴診システム。
8. コンピュータが、
   デジタル聴診器により取得された聴診音データから複数の特徴量を抽出する特徴量計算ステップと、
   学習モデルに前記特徴量を入力して、正常又は異常に分類する分類ステップと、
   前記聴診音データを、前記特徴量と、前記学習モデルによる分類結果と、に基づいてマッピングしたデータマップを生成するデータマップ生成ステップと、を含む
   聴診方法。
   
   

Images