以下、この実施の形態について図面を参照しながら詳細に説明する。なお、図中同一又は相当部分には同一符号を付して、説明の重複を避けるためにその説明は繰返さない。
図1は、この発明にかかる構音訓練用録画・録音装置の構成を示すブロック図であり、図2は、この発明に用いられるタブレット型パーソナルコンピュータ装置を示す模式図である。この構音訓練用録画・録音装置は、例えば、図2に示すように、タブレット型パーソナルコンピュータ装置1を用いて構成されている。このタブレット型パーソナルコンピュータ装置1は、制御部10、ディスプレイ11、入力装置12、マイク13、スピーカ14、カメラ15、通信インターフェース(I/F)16、USBインターフェース(I/F)17、ROM18及びRAM19を備えたパーソナルコンピュータ装置である。
制御部10は、タブレット型パーソナルコンピュータ装置1を統括的に制御するものであり、マイクロコンピュータで構成されている。そして、制御部10では、各部で入力された操作信号に基づいて各部で収集されたデータを処理する。制御部10には、ディスプレイ11、入力装置12、マイク13、スピーカ14、カメラ15、通信I/F16、USBI/F17、ROM18及びRAM19が接続されている。
ディスプレイ11は、制御部10で処理された画像データを表示する表示装置である。入力装置12は、操作者が入力した操作を操作信号にして、制御部10に送信する入力装置である。図2に示すように、タブレット型パーソナルコンピュータ装置1に備えられたディスプレイ11と入力装置12がタッチパネル液晶で構成される場合には、ディスプレイ11と入力装置12が一体として構成される。
マイク13は、患者が発音した音声を収集するために使用する集音装置である。スピーカ14は、制御部10が処理した音声データを再生するために使用する拡声装置である。カメラ15は、患者が発音したときの顔の動きを撮影するために使用する撮影装置である。
通信I/F16には、EPGコントローラ2が接続され、EPGコントローラ2との間でデータ等の送受信が行われる。通信I/F16とEPGコントローラ2は、例えば、ブルートゥース(Bluetooth)(登録商標)の規格に基づいた近距離無線通信により、データの送受が行われる。なお、無線通信であればブルートゥース以外の無線通信規格であっても構わない。
USBI/F17には、USBデバイスとしてのUSBコントローラ3が接続され、USBコントローラ3から各種操作信号が制御部10に与えられる。
ROM18とRAM19はともに記憶媒体であり、ROM18に記憶されている各種プログラムをRAM19に展開して、制御部10で処理することにより種々の動作を行う。ただし、タブレット型パーソナルコンピュータ装置1が制御部10によって統括的に制御されるものであればよいので、各種プログラムとROM18、RAM19との構成はどの様な構成であってもよい。
例えば、ROM18には、タブレット型パーソナルコンピュータ装置1を起動するためのOS等を格納しておき、その格納したOS等を読み出して、RAM19にOS等を展開して、各種機能を実現するように構成してもよい。
また、RAM19は、ハードディスク等の不揮発性メモリとワークRAM等で構成して、RAM19の不揮発性メモリに各種ソフトを格納して、その格納した各種ソフトを読み出して、ワークRAM等に各種ソフトを展開して、各種機能を実現するように構成してもよい。
EPGコントローラ2は、後述するEPG人工口蓋床からなるEPGデータ入力装置21からの信号をタブレット型パーソナルコンピュータ装置1に与えるために使用する。EPGコントローラ2は、EPGデータ入力装置21からのセンサ出力が入力され、このデータを無線通信により、通信I/F16を介して制御部10に与える。
図3は、EPG人工口蓋床からなるEPGデータ入力装置21の構成を示した図である。EPGデータ入力装置21は、樹脂で成形された口蓋プレート210を備える。口蓋プレート210に、複数のセンサ211が設けられている。このセンサ211は出力線212と接続して、この出力線212は出力端子21aと接続している。
出力端子21aは、EPGデータ入力装置21からの信号をEPGコントローラ2に与えるために使用する。出力端子21aの先端端子部21bをEPGコントローラ2の挿入口に差し込み、EPGコントローラ2にEPGデータ入力装置21の各センサ211の出力を与える。
制御部10は、入力されたEPGデータ入力装置21からのデータに基づき、患者が発音したときに、どのセンサ211に患者の舌が接触したかを判断した情報をRAM19に格納する。
口蓋プレート210には、患者の口蓋4に装着するために、患者の歯牙41に取り付けられるクリップ213が設けられ、このクリップ213を用いて患者の口蓋に口蓋プレート210を取り付ける。患者の舌がセンサ211に接触すると、そのセンサ211の出力が出力端子21aから出力される。
図4(a)、(b)は、EPGコントローラ2の構成を示した図である。EPGコントローラ2は、上部に出力端子21aの先端端子部21bが挿入される差し込み口20が設けられている。差し込み口20に先端端子部21bを差し込むことで、EPGデータ入力装置21からのデータをEPGコントローラ2が受け取ることができる。
側面には、EPGコントローラ2のオン・オフを操作するスイッチであるスイッチ23、EPGコントローラ2が起動していることを示すランプであるスイッチランプ24とハンドグリップ22のコネクタ22b(図5参照)が差し込まれる差し込み口25が設けられている。
図5は、ハンドグリップ22の構成を示した図である。ハンドグリップ22は、患者に通電させて、EPGデータ入力装置21が作動してEPGデータを生成させるために使用する。患者がハンドグリップ22を握ることで、センサ211の1つに舌が接触したときに、患者とセンサ211、ハンドグリップ22との間で電気回路が形成される。
即ち、EPGコントローラ2の差し込み口20に出力端子21aの先端端子部21bを差し込み、ハンドグリップ22のコネクタ22bを差し込み口25に差し込む。次に、患者がEPGデータ入力装置21を装着して、ハンドグリップ22を握る。そして、患者が発音したときにセンサ211の1つに患者の舌が接触する。舌は人体の一部であるので、センサ211との間で通電する。舌から流れた電気が人体の中を通り、患者の掌とハンドグリップ22との間で通電する。そして、患者とEPGコントローラ2、EPGデータ入力装置21、ハンドグリップ22との間で電気回路が形成される。これにより、患者が発音したときに、患者の舌がどのセンサ211に接触しているかが検出でき、その接触したセンサ211からの出力が出力端子21aからEPGコントローラ2に与えられる。
図6は、USBコントローラ3の構成を示した図である。USBコントローラ3は、ディスプレイ11に表示するプロンプトを切り替えるためや録画・録音・再生のために使用する。USBコントローラ3は、選択するプロンプトを切り替える上ボタン31、下ボタン32と録画・録音のオン・オフボタン33を有する。これらボタン31〜ボタン33を押すことで制御信号を発生して、その制御信号を制御部10へ与える。
この発明にかかる構音訓練用録画・録音装置において、録画・録音を行っていないときにこのオン・オフボタン33を押すと録画・録音が開始して、録画・録音を行っているときにこのオン・オフボタン33を押すと録画・録音が停止する。
次に、構音障害の治療を補助するための構音訓練用アプリケーションプログラム(以下、構音訓練用ソフトAPという。)について、説明する。構音訓練用ソフトAPは、この実施の形態では、ROM18に格納されている。制御部10は、ROM18に格納されている構音訓練用ソフトAPを読み出して、RAM19に展開することにより、以下のような機能を実現する。即ち、制御部10は、マイク13を用いた録音機能、スピーカ14を用いた音声再生機能、カメラ15を用いた撮影機能、マイク13で集音した音声の時間軸波形を取得する波形取得機能、後述するEPGデータ入力装置21で検出した口蓋に対する舌の接触位置を取得するEPGパターン取得機能、患者に対する舌の接触位置を教示する教示パターン機能、EPGパターン、教示パターン、音声波形等をディスプレイ11に表示する表示機能等を実現する。訓練用の構音対象となる文字又は絵は構音訓練用ソフトAPと共にROM18に格納されている。
制御部10は、マイク13を用いて録音した音声データ、カメラ15を用いて撮影した画像データ、EPGデータ入力装置21で検出した口蓋に対する舌の接触位置を取得したEPGパターンデータをRAM19に格納する。RAM19に格納された各データは、記録した日時、記録した状態等を識別可能にしておく。これにより、各データの読み出しは、日時、記録状況などに基づいて容易に選択して、再生することができる。
ところで、構音障害の治療においては、まず、患者が発音したとき音声の問題点を記録する必要がある。そして、この記録した情報に基づいて、構音訓練をどのように行っていくかを決める。このため、この実施形態では、後述するように、どのような条件で患者が発音した様子の録画・録音を行ったかが分かるように、ディスプレイ11に条件に対応した録画・録音状態を表示するようにしている。
また、この構音訓練用ソフトAPは、手本となる舌の接触位置を示す教示パターンと患者が実際に接触した舌の位置を示すEPGパターンをディスプレイ11に表示するとともに、マイク13で集音した患者が発音した音声の音声波形、カメラ15で撮影した画像をディスプレイ11に表示することができる。これにより、患者は聴覚的なフィードバックだけでなく、構音に必要な舌の接触位置などを視覚的なフィードバックが得られるため、家庭での構音訓練、また、家庭で行った構音訓練に対する適切な指導を行うことができる。
以下、ディスプレイ11に表示される具体的な表示内容とそれに伴う動作について説明する。
図7、図10〜図14は、ディスプレイ11に表示される表示画面11aの例を示す図である。患者がタッチパネルである入力装置12を操作して、構音訓練用ソフトAPを立ち上げると、図7に示すように、ディスプレイ11に表示画面11aが表示される。
表示画面11aには、ブルートゥース接続ボタン111、レコードボタン114、ストップボタン115、プレイボタン116、プロンプト選択欄118(118a〜118c)、録画・録音データ選択欄119(119a〜119c)等の操作アイコンや、顔検出ランプ112、顔検出インジケータ113、プロンプト表示欄117、教示パターン表示欄120、EPGパターン表示欄121、動画表示欄122、音声波形表示欄123、EPGパターン連続表示欄124等の画像表示欄が表示される。
ブルートゥース接続ボタン111は、タブレット型パーソナルコンピュータ装置1とEPGコントローラ2とをブルートゥースにより接続させるためのボタンである。
構音訓練用ソフトAPを立ち上げた後、EPGコントローラ2の電源をオンにする。そして、ブルートゥース接続ボタン111をタップして、タブレット型パーソナルコンピュータ装置1とEPGコントローラ2とを接続させる。このとき、タブレット型パーソナルコンピュータ装置1とEPGコントローラ2との接続を構築するときは、例えば、ブルートゥース接続ボタン111が黄色に変化して、タブレット型パーソナルコンピュータ装置1とEPGコントローラ2との接続の構築が完了したときは、例えば、ブルートゥース接続ボタン111が青色に変化する。
患者の口蓋内に口蓋プレート210を装着して、患者にEPGデータ入力装置21をセットする。EPGデータ入力装置21の出力端子21aの先端端子部21bをEPGコントローラ2の差し込み口20に差し込み、ハンドグリップ22のコネクタ22bを差し込み口25に差し込む。患者がハンドグリップ22を握ることで、EPGデータ入力装置21を用いた患者の口蓋における舌の接触位置を検出することができる。
顔検出ランプ112は、カメラ15で検出された患者の顔の位置が正常な範囲に収まっているかどうかを患者に知らせるランプである。図8は、表示画面11aに表示される顔検出ランプ112の変化の様子を示す図である。図7に示すように、構音訓練用ソフトAPを立ち上げると、表示画面11aに、顔検出ランプ112が表示される。カメラ15で検出された患者の顔の位置が正常な範囲に収まっていない場合には、顔検出ランプ112が赤色(図8に示す112aで示すハッチングの状態)になる。一方、カメラ15で検出された患者の顔の位置が正常な範囲に収まっている場合には、顔検出ランプ112が緑色(図8に示す112bで示すクロスハッチングの状態)になる。この顔検出ランプ112が赤色(112a)から緑色(112b)になるように、カメラ15を患者の顔の前で移動させる。
また、この実施の形態では、表示画面11aに、顔検出インジケータ113が表示される。図9は、表示画面11aに表示される顔検出インジケータ113の変化の様子を示す図である。顔検出インジケータ113は、カメラ15で検出された患者の顔が正常な範囲に収まっているかどうかを患者に知らせるインジケータである。図9(a)、(b)に示すように、顔検出インジケータ113には、インジケータ枠113aが表示される。インジケータ枠113aで囲まれた範囲はカメラ15で検出された患者の顔の範囲である。インジケータ枠113aが顔検出インジケータ113の中央部に収まれば、患者の顔が正常な範囲に収まっていると判断できる。即ち、インジケータ枠113aが顔検出インジケータ113の中央部に収まるようにタブレット型パーソナルコンピュータ装置1を移動させると、顔検出を正常に完了させることができる。このように、顔検出ランプ112と顔検出インジケータ113を用いることで、患者を録画するための顔位置に容易に設定することができる。
レコードボタン114は、患者が発音した様子を録画・録音するためのボタンである。録画・録音を開始する場合には、レコードボタン114をタップする。USBコントローラ3のオン・オフボタン33を押すことで録画・録音を開始することもできる。ストップボタン115は、患者が発音した様子の録画・録音を停止するためのボタンである。録画・録音を停止する場合には、ストップボタン115をタップする。USBコントローラ3のオン・オフボタン33を押すことで録画・録音を停止することもできる。
プレイボタン116は、患者が発音した様子を録画・録音したデータを再生するためのボタンである。所望する録画・録音データを選択して、選択した録画・録音データを再生する場合には、プレイボタン116をタップする。USBコントローラ3のオン・オフボタン33を押すことで録画・録音の再生を開始することができる。選択した録画・録音データの再生を停止する場合には、ストップボタン115をタップする。USBコントローラ3のオン・オフボタン33を押すことで録画・録音データの再生を停止することもできる。
プロンプト表示欄117は、プロンプトとして文字又は絵が表示される表示欄である。プロンプト選択欄118は、プロンプト表示欄117に表示させたい文字又は絵を選択する選択欄である。本実施形態では、プロンプト選択欄118a〜プロンプト選択欄118cと3個の選択欄を設けているが、プロンプト選択欄の個数は任意に増減できる。プロンプト選択欄118a〜プロンプト選択欄118cのうち、プロンプト表示欄117に表示させたい文字又は絵が表示されているプロンプト選択欄118をタップする。タップされたプロンプト選択欄118に表示されている文字又は絵がプロンプト表示欄117に表示される。このプロンプト表示欄117に表示された文字又は絵を見て患者が想起する言葉を患者が発音することにより構音訓練が行われる。
図7は、プロンプト表示欄117に文字が表示された一例であり、「あた」という文字が4個表示されている。プロンプト表示欄117に表示された文字である「あた」を患者が見て、患者が想起する言葉である「あた」を患者が発音する。患者が発音した「あた」について、マイク13で患者の発音の集音を行い、カメラ15で患者が発音したときの顔の動きの撮影を行い、EPGデータ入力装置21で患者が発音したときの口蓋に対する患者の舌の接触位置の収集を行う。
マイク13で集音した音声データ、カメラ15による患者の動画データ及びEPGデータ入力装置21からの口蓋に対する舌の接触位置のEPGデータがRAM19に記憶される。ストップボタン115のタップ又はUSBコントローラ3のオン・オフボタン33を押すことにより録画・録音を停止させることができる。
ストップボタン115のタップ又はUSBコントローラ3のオン・オフボタン33が押されていない状態、即ち、録画・録音を停止させていない状態で、所定の時間が経過した場合には、第2のプロンプト選択欄118bに移動して、第2のプロンプト選択欄118bに設定された文字等をプロンプト表示欄117に表示させることもできる。
この場合、第1のプロンプト選択欄118aから第2のプロンプト選択欄118bに移動して、第2のプロンプト選択欄118bに設定された文字等がプロンプト表示欄117に表示される。新たにプロンプト表示欄117に表示された文字等を患者が見て、患者が想起する言葉を患者が発音すると、マイク13で集音した音声データ、カメラ15による患者の動画データ及びEPGデータ入力装置21からの口蓋に対する舌の接触位置のEPGデータがRAM19に記憶される。
なお、第2のプロンプトにおける録画・録音について、ストップボタン115のタップ又はUSBコントローラ3のオン・オフボタン33が押されていない状態、即ち、録画・録音を停止させていない状態で、所定の時間が経過した場合には、第3のプロンプト選択欄118cに移動して、第3のプロンプト選択欄118cに設定された文字等をプロンプト表示欄117に表示させることもできる。
プロンプト選択欄118a〜プロンプト選択欄118cを任意に変更するときには、該当するプロンプト選択欄118a〜プロンプト選択欄118cをタップするか、USBコントローラ3の上ボタン31又は下ボタン32を押すことにより、選択されているプロンプト選択欄を変更することができる。
録画・録音データ選択欄119は、患者が発音した様子を録画・録音したデータを選択する選択欄である。録画・録音データ選択欄119は、図7に示すように、プロンプト選択欄118のそれぞれ隣の領域に丸アイコンとして設けられている。この丸アイコンの行数は、本実施形態では3行になっており、プロンプト選択欄118aに録音データ選択欄119aの丸アイコンを、プロンプト選択欄118bに録音データ選択欄119bの丸アイコンを、プロンプト選択欄118cに録音データ選択欄119cの丸アイコンというようにそれぞれ対応付けて設けているが、プロンプト選択欄118の増減に対応付けて、増減する。この丸アイコンの列数は、本実施形態では6列になっているが、任意に増減することができる。録画・録音データ選択欄119は、患者が発音した様子の録画・録音が行われると、どの条件で患者が発音した様子を録画・録音したかが分かるように、丸アイコンの色が変わるように構成されている。
例えば、後述する教示パターン表示欄120に教示パターン120aが表示されている状態で録画・録音したデータのときには、赤色に表示される。教示パターン表示欄120をマスクして、後述するEPGパターン表示欄121にEPGパターン121aを表示した状態で録画・録音したデータのときには、青色に表示される。教示パターン表示欄120とEPGパターン表示欄121の両方をマスクした状態で録画・録音したデータのときには、黒色に表示される。
録画・録音データ選択欄119の丸アイコンに付された色で、どのような条件で患者が発音した様子を録画・録音したデータかが判別することができる。色分けされた丸アイコンの中で、該当の色の丸アイコンをタップすることで、所望の条件での録画・録音されたデータを再生することができる。
教示パターン表示欄120は、プロンプト表示欄117に表示されている文字等を構音するときの舌の接触位置を教示パターン120aとして表示するための欄である。教示パターン120aにおいて、患者が発音したときに舌が接触すべき位置に対応する箇所の色が濃くなるように構成されている。プロンプト選択欄118で選択されたプロンプトに該当する教示パターン120aは、ROM18又はRAM19に保存されている。患者は、教示パターン表示欄120に表示された教示パターン120aを参考にして、口蓋への舌の接触を意識しつつ発音する。
EPGパターン表示欄121には、患者がプロンプトに表示されている文字等を構音するときに舌が接触した位置をEPGパターン121aとして表示するための欄である。図10に示すように、EPGパターン121aは、患者が発音したときに舌が接触した位置に対応する箇所の色が変わり、接触した累計が多いほど色が濃くなるように構成している。
図11に示すように、EPGパターン121aは、ディスプレイ11に表示された区間において、舌が接触したセンサ211のコマ数のパーセンテージを表示するようにも構成している。即ち、舌が接触した状態の累積状態を制御部10が算出して、そのパーセンテージに基づいて表示する。“0”は全く舌が接触しなかったセンサ211に対応する位置を示しており、数値が大きく色が濃くなるにつれて舌の接触が多かったことを示している。このように数値に基づく接触位置の確認もできる。
そして、教示パターン120a、EPGパターン121aとして表示されるパターンは、ディスプレイ11の上側が口蓋の前方部、即ち、前歯側であり、下側が口蓋の後方部である。この実施の形態は、上方の2列が前方部、前方部より下側の3列が中間部、中間部より下側の3列が後方部である。構音訓練する対象に応じて、口蓋のどこに舌を接触させるかを教示パターン120aに表示させる。この教示パターン120aとEPGパターン121aとを比較することで、構音における舌が口蓋の正しい位置に接触しているか否かが判別できる。
動画表示欄122は、カメラ15で撮影した画像を表示する表示欄である。患者が発音した様子を録画・録音するときに、カメラ15で撮影した画像をそのまま表示したり、患者が発音した様子を録画・録音したデータを再生するときに、患者が発音した様子の画像を表示したりすることができる。
また、動画表示欄122を上から下へ撫でる動作により、動画表示欄122のマスクを設定させたり、動画表示欄122を下から上へ撫でる動作により、マスクされた動画表示欄122のマスクを解除したりすることができる。動画表示欄122を表示した場合は、発音者が正確な発音をしているときの発音者の顔の動きを参照して、患者が構音訓練をすることができる。動画表示欄122をマスクした場合は、発音者の顔の動きという視覚情報が聴覚情報に影響を及ぼすというマガーク効果の影響を排除することができる。
音声波形表示欄123は、マイク13で集音した音声を制御部10が解析した音声波形を表示する欄である。患者が発音した様子を録画・録音しているとき、マイクで集音した音声の波形が音声波形表示欄123に表示される。音声波形は、画像データとして生成されており、音声波形表示欄123は、横軸が時間、縦軸がレベル(振幅)に対応している。また、音声波形表示欄123は時系列的に表示されており、音声波形表示欄123の左側から右側に向かって時間が経過しているように音声波形を表示している。
EPGパターン連続表示欄124は、EPGパターンを時系列的に表示する表示欄である。患者が発音したときの患者の舌が口蓋へ接触した位置を示すEPGパターンは、EPGデータ入力装置21から得られるEPGデータに基づきRAM19に格納される。EPGパターンのEPGデータは、例えば、1秒間に100コマ記録してRAM19に格納される。そして、口蓋への接触状態の累計をEPGパターン表示欄121にEPGパターン121aとして主に表示する。EPGパターン連続表示欄124はEPGパターンを時系列的に表示されており、EPGパターン連続表示欄124の左側から右側に向かって時間が経過しているようにEPGパターンを表示している。単位時間当たりのEPGパターンが連続してEPGパターン連続表示欄124に表示される。
再生領域選択ボタン125は、患者が発音した様子を録画・録音したデータを再生するときにおいて、再生したい範囲を選択することができるボタンである。再生したい範囲を右から左又は左から右に再生領域選択ボタン125をそれぞれなぞることにより、選択範囲を指定することで、再生したい範囲の部分再生の選択を行うことができる。
音声波形表示欄123とEPGパターン連続表示欄124は時系列的に対応して表示している。具体的には、音声波形表示欄123で表示している表示範囲の横幅とEPGパターン連続表示欄の表示範囲の横幅が同じであり、録画・録音時間に対応している。
患者が発音した様子の録画・録音につき説明する。構音障害の治療においては、患者が発音したときの問題点を記録する必要がある。そして、この記録した情報に基づき、構音訓練をどのように行うかを決める。このため、この実施形態では、3つの条件による録画・録音が行えるように構成している。
具体的には、上述したように、教示パターン表示欄120に教示パターン120aが表示されている状態で録画・録音したデータのときを第1条件として、EPGパターン表示欄121にEPGパターン121aを表示して、教示パターン表示欄120をマスクした状態で録画・録音したデータのときを第2条件として、教示パターン表示欄120とEPGパターン表示欄121の両方をマスクした状態で録画・録音したデータのときを第3条件として録画・録音が行えるように構成している。どの条件で録画・録音を行ったことが分かるように、録画・録音データ選択欄119の丸アイコンの色を変える。即ち、第1条件の場合は赤色に表示され、第2条件の場合は青色に表示され、第3条件の場合は黒色に表示される。
構音訓練を開始する前に、患者が発音したときの問題点を記録する必要がある。そのためには、図12に示すように、教示パターン表示欄120及びEPGパターン表示欄121をマスクした状態である第3条件での録画・録音を行う。
この場合には、制御部10は、図12に示すように、教示パターン表示欄120及びEPGパターン表示欄121をマスクしておき、患者が見る文字等をプロンプト表示欄117に表示するようにディスプレイ11を制御する。
制御部10は、第3条件であると判断すると、この状態で録画・録音されるデータは第3条件であることを識別するフラグを設定する。患者がプロンプト表示欄117に表示された文字等を見て、患者が想起する言葉を発音して、その患者が発音した様子の画像と音声等を制御部10は第3条件であることを識別するフラグとともにRAM19に格納する。制御部10は、このフラグに基づいて、録画・録音データ選択欄119の丸アイコンを該当する色で表示する。この実施形態では、黒色(図12においては、横線が施されている)に表示される。
練習の初期の状態では、図13に示すように、教示パターン表示欄120に教示パターン120aを表示させた状態である第1条件での録画・録音を行う。この場合には、EPGパターン表示欄121にEPGパターン121aを表示させてもよい。制御部10は、図13に示すように、教示パターン表示欄120に教示パターン120aを、EPGパターン表示欄121にEPGパターン121aを表示しておき、患者が見る文字等をプロンプト表示欄117に表示するようにディスプレイ11を制御する。
制御部10は、第1条件であると判断すると、この状態で録画・録音されるデータは第1条件であることを識別するフラグを設定する。患者がプロンプト表示欄117に表示された文字等を見て、患者が想起する言葉を発音して、その患者が発音した様子の画像と音声等を制御部10は第1条件であることを識別するフラグとともにRAM19に格納する。制御部10は、このフラグに基づいて、録画・録音データ選択欄119の丸アイコンを該当する色で表示する。この実施例では赤色(図13においては、点を施した状態)に表示される。
練習の中期の状態では、図14に示すように、教示パターン表示欄120をマスクさせた状態であって、EPGパターン表示欄121にEPGパターン121aを表示させている状態である第2条件での録画・録音を行う。この場合には、制御部10は、図14に示すように、教示パターン表示欄120をマスクしておき、EPGパターン表示欄121にEPGパターン121aを表示しておき、患者が見る文字等をプロンプト表示欄117に表示するようにディスプレイ11を制御する。
制御部10は、第2条件であると判断すると、この状態で録画・録音されるデータは第2条件であることを識別するフラグを設定する。患者がプロンプト表示欄117に表示された文字等を見て、患者が想起する言葉を発音して、その患者が発音した様子の画像と音声等を制御部10は第2条件であることを識別するフラグとともにRAM19に格納する。制御部10は、このフラグに基づいて、録画・録音データ選択欄119の丸アイコンを該当する色で表示する。この実施形態では青色(図14においては、ハッチングを施した状態)に表示される。
練習の仕上げの状態では、図12に示すように、教示パターン表示欄120及びEPGパターン表示欄121をマスクした状態である第3条件での録画・録音を行う。この場合には、制御部10は、図12に示すように、教示パターン表示欄120及びEPGパターン表示欄121をマスクしておき、患者が見る文字等をプロンプト表示欄117に表示するようにディスプレイ11を制御する。
制御部10は、第3条件であると判断すると、この状態で録画・録音されるデータは第3条件であることを識別するフラグを設定する。患者がプロンプト表示欄117に表示された文字等を見て、患者が想起する言葉を発音して、その患者が発音した様子の画像と音声等を制御部10は第3条件であることを識別するフラグとともにRAM19に格納する。制御部10は、このフラグに基づいて、録画・録音データ選択欄119の丸アイコンを該当する色で表示する。この実施形態では黒色(図12においては、横線が施されている)に表示される。
このように、患者が発音する様子を録画・録音することで、録画・録音データ選択欄119の丸アイコンの色で、どのような条件で録画・録音したデータかが判別することができる。また、色分けされた丸アイコンの中で、該当の色の丸アイコンをタップすることで、所望の条件での録画・録音されたデータを選択することができる。
次に、患者が発音した様子を録画・録音した動画の再生につき説明する。まず、再生したいデータが録画・録音された日付を指定する。日付を指定すると、制御部10は、その日付に該当する録画・録音データを検索する。
検索の結果、その日付に該当する録画・録音データをプロンプト選択欄118a〜プロンプト選択欄118cに、そのプロンプト選択欄118a〜プロンプト選択欄118cに対応するそれぞれの条件を識別する色分けされた丸アイコンが録画・録音データ選択欄119a〜録画・録音データ選択欄119cに表示される。
そして、録画・録音データ選択欄119a〜録画・録音データ選択欄119cの丸アイコンをタップして再生したい録画・録音データの丸アイコンを選択状態にする。制御部10は選択された丸アイコンに該当するRAM19に保存されている動画、音声、音声波形、教示パターン120a、EPGパターン121aを再生可能な状態にする。
プレイボタン116又は動画表示欄122をタップすると、録画・録音データ選択欄119a〜録画・録音データ選択欄119cの丸アイコンで選択されたデータに基づいて、ディスプレイ11において、表示画面11aにおけるEPGパターン表示欄121にEPGパターン121aが、表示画面11aにおける動画表示欄122に動画が、表示画面11aの音声波形表示欄123に音声波形が、表示画面11aにおけるEPGパターン連続表示欄124にEPGパターン121aの連続表示がそれぞれ表示される。
このEPGパターン121aと教示パターン120aを比較したとき、そのEPGパターン121aが教示パターン120aと形状が近いときは、所望の様に患者が口蓋に舌を当てているときであるので、所望の構音ができていることが判る。このときには、集音した音声をスピーカ14で再生して、そして、この時の口の動き等は動画表示欄122で確認することができる。
また、このEPGパターン121aと教示パターン120aが異なり、所望の構音ができていないときには、動画表示欄122の表示をなくして、音声を再生させて、音声の確認をすることができる。これは、発音者の顔の動きという視覚情報が聴覚情報に影響を及ぼすというマガーク効果の影響を生じさせずに、音声波形、音の確認を行うためである。
また、録画・録音データの全体ではなく、ある一定の範囲を再生したい場合は、再生したい範囲を指定することで部分再生を行うことができる。再生したい範囲を右から左又は左から右に再生領域選択ボタン125でそれぞれなぞることにより、部分再生する場所を特定して、プレイボタン116又は動画表示欄122をタップすることで制御部10は該当部分の動画を再生することができる。
次に、図15を参照してこの発明の制御部10の動作を説明する。図15は、制御部10の動作を説明するフローチャートである。
まず、制御部10は、患者がタッチパネルである入力装置12を操作して、構音訓練用ソフトAPを立ち上げると、図7に示すように、ディスプレイ11に表示画面11aが表示される。この表示画面11aにおいて、制御部10は、教示パターン表示欄120がマスクされているか否かを判断する(ステップS1)。
教示パターン表示欄120がマスクされていない、即ち、教示パターン表示欄120が表示されていると制御部10が判断した場合は、制御部10は、第2条件での録画・録音のフラグを設定して(ステップS2)、ステップS6に進む。
一方、教示パターン表示欄120がマスクされていると制御部10が判断した場合は、制御部10は、EPGパターン表示欄121がマスクされているか否かを判断する(ステップS3)。
EPGパターン表示欄121がマスクされていないと制御部10が判断した場合は、制御部10は、第2条件での録画・録音のフラグを設定して(ステップS4)、ステップS6に進む。
EPGパターン表示欄121がマスクされていると、制御部10が判断した場合は、制御部10は、第3条件での録画・録音のフラグを設定して(ステップS5)、ステップS6に進む。
続いて、制御部10は、患者が対象とするプロンプトの選択を受け付ける(ステップS6)。制御部10は、プロンプト選択欄118a〜プロンプト選択欄118cの中から患者が選択したプロンプトに関する教示パターンなどのROM18又はRAM19に格納されたデータを読み出す。表示画面11aのプロンプト表示欄117に、プロンプト選択欄118a〜プロンプト選択欄118cに対応する文字又は絵を表示する(ステップS7)。
そして、制御部10は、フラグを参照して、録画・録音する条件が第1条件か否かを判断する(ステップS8)。制御部10が録画・録音する条件が第1条件であると判断した場合は、制御部10は、教示パターン表示欄120、EPGパターン表示欄121の表示を行い、選択されたプロンプトに対応する教示パターン120aを教示パターン表示欄120に表示する(ステップS9)。
制御部10は、フラグを参照して、録画・録音する条件が第1条件でないと判断した場合は、ステップS10に進み、制御部10は、録画・録音する条件が第2条件であるか否かを判断する(ステップS10)。制御部10が、フラグを参照して、録画・録音する条件が第2条件であると判断した場合は、ステップS11に進み、制御部10は、教示パターン表示欄120をマスクして、EPGパターン表示欄121の表示を行う。
ステップS10において、制御部10が、フラグを参照して、録画・録音する条件が第1条件でないと判断した場合は、録画・録音する条件が第3条件であるので、制御部10は、教示パターン表示欄120及びEPGパターン表示欄121をマスクして表示を行う。
続いて、制御部10は、録画・録音開始を指示するために、レコードボタン114をタップされたか、又は、USBコントローラ3のオン・オフボタン33を押されたかを確認する(ステップS12)。レコードボタン114又はオン・オフボタン33により録画・録音開始を指示されたと制御部10が判断すると、制御部10は、録画・録音処理を行う(ステップS13)。
具体的には、制御部10は、マイク13で集音した音声を録音する録音処理と取得した音声の波形処理を行う共に、マイク13で集音した音声とその波形をどの条件で録音したものであるかを識別するフラグも関連づけてRAM19に格納する。また、制御部10は、カメラ15によって撮影された患者の動画をどの条件で録画・録音したものであるかを識別するフラグも関連づけてRAM19に記憶する。
更に、制御部10は、EPGデータ入力装置21からの口蓋に対する舌の接触位置のEPGデータを受け取り、EPGパターンをどの条件で録画・録音したものであるかを識別するフラグも関連づけてRAM19に格納する。ストップボタン115又はUSBコントローラ3のオン・オフボタン33が押されるまで、上記動作を繰り返す(ステップS14)。録画・録音終了が指示されたと制御部10が判断すると、制御部10は、録画・録音動作を終了させる。
ステップS12で、録画・録音開始以外の指示を指示されたと制御部10が判断すると、ステップS15へ進む。ステップS15において、録画・録音開始以外の指示が再生開始指示であるか否かを制御部10が判断する。録画・録音開始以外の指示が再生開始指示でないと制御部10が判断した場合には、ステップS1に戻る。
録画・録音開始以外の指示が再生開始指示であると制御部10が判断した場合には、制御部10は再生処理動作を行う(ステップS18)。再生処理動作が終了すると動作が終了する。
再生処理は、以下の手順により、実行する。再生したいデータが録画・録音された日付に該当する録画・録音データをプロンプト選択欄118a〜プロンプト選択欄118cに対応するそれぞれの条件を識別する色分けされた丸アイコンが録画・録音データ選択欄119a〜録画・録音データ選択欄119cに表示される。そして、録画・録音データ選択欄119a〜録画・録音データ選択欄119cの丸アイコンをタップして選択状態にする。
録画・録音データ選択欄119a〜録画・録音データ選択欄119cの丸アイコンの色で、どのような条件で録画したデータかが判別することができ、該当の色の丸アイコンをタップすることで、所望のデータを再生することができる。
制御部10は選択されたプロンプトに該当する第1条件〜第3条件におけるRAM19に保存されている動画、音声、音声波形、教示パターン120a、EPGパターン121aを再生可能な状態にする。教示パターン120aとEPGパターン121a、音声データ、音声波形データを制御部10がRAM19より読み出す。即ち、プロンプト選択欄118a〜プロンプト選択欄118cの丸アイコンをタップして選択状態にする。制御部10は選択されたプロンプトに該当するRAM19に保存されている動画、音声、音声波形、教示パターン120a、EPGパターン121aを再生可能な状態にする。
プレイボタン116又は動画画面をタップして、再生が行われると、ディスプレイ11の表示画面11aにおける動画表示欄122に動画で表示して、表示画面11aの音声波形表示欄123に音声波形が、EPGパターン表示欄121にEPGパターン121aが表示される。この教示パターン120aとEPGパターン121aを比較して、そのパターンが所望のパターンで患者が口蓋に舌を当てているときには、所定の構音ができていることが判る。このときには、集音した音声をスピーカ14で再生して、そして、この時の口の動き等は動画表示欄122で確認する。以上のように、録画・録音、再生処理が行われる。
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。この発明の範囲は、上記した実施の形態の説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。