JP5673989B2 - 意思伝達装置及び意思伝達用プログラム - Google Patents

Description

本発明は、発話障害のある障害者や老人や病人等が簡単に操作して意思を伝達することができる階層的入力によりメッセージを出力する意思伝達装置、方法及びプログラムに関する。

現在、ロボット工学、介護福祉機器開発、エンターテインメントの分野では、各種スイッチ、ジョイスティック、マウス、タッチパネル等よる入力操作が行われている。介護福祉機器の開発分野では、老人や病人などの複雑な入力操作が不可能な操作者のために、直観的に簡単な操作で意思を伝えることができる機器が望まれている。特に、発話障害のある患者や老人にとって、基本的な身の回りの介護や気持ち等の意思を、より簡単に介助者に伝えることのできる機器が望まれている。

従来から、文字盤あるいは絵カードなどの発話を補助するものがある。また、言語機能や聴覚に障害を持つ利用者の会話を補助する機器に関する技術は、例えば特許文献１および２に示されている。特許文献１には、五十音の文字盤に加え身体ケアのリクエストを選ぶメッセージボードを用いる技術が示されている。特許文献２には、携帯情報端末を用いるシンボル表示を選択するコミュニケーション支援システムが示されている。

特開２００４−２６８７６８号公報 特開２００３−２５５８２５号公報

従来の文字盤を用いる場合、メッセージを伝えるのに一文字ずつ指差す必要がある。同様に電子機器の場合でも、発話障害の患者などが人工音声を使って相手に意思を伝えるための装置は、通常キーボードを用いて一文字ずつ入力して発話内容を生成する必要がある。しかし、メッセージが複雑になると文字入力に時間がかかるという問題がある。特許文献１は、文字盤とメッセージボードを用いているので、同様の問題がある。

一方、メッセージ自身を表した絵を複数種類見せたり、カードあるいはボード上の各区画に選択肢として表示する従来技術では、日常生活で必要な多様なメッセージの多くを同時に表示するのはほぼ不可能である。また、特殊な電子装置が必要になるとコストがかかる。また、使用する障害者等にとって、たくさん提示される中から目標となるものを一つ見つけるのは困難であるという問題がある。また、入力装置の操作が複雑であると習得するのに時間がかかるという問題もある。これらの装置の利用者は、発話が不可能だけでなく細かな手の動作等の機能が不十分であり、また記憶や言葉の理解力も不十分であることが多いので、福祉介護用の装置はその入力方法がより分かりやすく簡便であることが要求されている。

日常的に頻度が高い多数の（数百個程度）のメッセージを効率よく管理するためにはデータベースが必要である。しかも、必要となるメッセージは、利用者の障害の程度、特性、環境、状況等に依存して変化する。同じ使用者でも、使用するメッセージは時間とともに変化する。このように、利用者に応じて、データベースにメッセージの追加や変更をする必要があり、その場合には、迅速に反映する必要がある。また、これらの条件を満たしつつ、さらに、インターネット閲覧環境にあるたくさんの介護者を含む利用者がメッセージの追加反映等を行うことのできる汎用性のある装置が望まれている。

本発明は、これらの問題を解決しようとするものであり、発話障害のある障害者や老人や病人等の操作者が簡単に操作して意思を伝達することができることを目的とする。本発明は、少ない回数の操作で迅速に意思を伝達することを目的とする。本発明は、メッセージの変更追加が可能で簡単にできるように汎用性があるとともに、利用者毎のカスタマイズが簡単であることを目的とする。

本発明は、前記目的を達成するために、以下の特徴を有するものである。

本発明の意思伝達装置は、会話の構成要素を階層的にデータベース化して蓄積する手段と、前記構成要素をシンボル表示した視覚記号を各階層の選択画面で複数表示する表示手段とを備え、各階層で選択された構成要素の組み合わせに対応するメッセージを表示するとともに音声出力することを特徴とする。

本発明の方法は、会話の構成要素を階層的にデータベース化して蓄積するとともに、前記構成要素をシンボル表示した視覚記号を各階層の選択画面で複数表示し、各階層で選択された構成要素の組み合わせに対応するメッセージを表示するとともに音声出力することを特徴とする。また、本発明のプログラムは、本発明の前記方法を実行するための意思伝達用であることを特徴とする。

本発明によれば、多様なメッセージをたった数回の選択動作によって生成することができる。また本発明によれば、発話が不十分でかつ細かな手の動作などの機能が不十分なユーザーでも利用することができる。また本発明は、ソフトおよびデータベースがＷＥＢ形式なのでインターネットブラウザで利用可能であり、メッセージの追加や変更が容易で、介護者等が障害者の状況に応じた様々なカスタマイズをすることが可能であり、汎用性が高い。

具体的には、本発明によれば、例えば８種類の選択枝から一つを選ぶ動作を３回行う簡単な入力操作で、５１２種のメッセージから１つを選ぶことができる。従来技術の文字盤入力では、一文字ずつ文字入力で３文字しか選べないことや、絵カード方式によって５１２種類のメッセージを並べるには非常に広いスペースを要するものに比して、本発明は、入力操作が簡単でかつ早くメッセージを伝えることができる。

本発明の第１の実施の形態の入力場面を説明する図。 本発明の第１の実施の形態を説明する概念図。 本発明の第１の実施の形態の第１階層の表示画面を示す図。 本発明の第１の実施の形態の第２階層の表示画面を示す図。 本発明の第１の実施の形態の第３階層の表示画面を示す図。 本発明の第１の実施の形態の最終画面を示す図。 本発明のデータベースを説明する図。

本発明は、ＷＥＢページ形式等で階層的にデータベース化された会話の構成要素を複数回連続的に選択することによって複雑な内容のメッセージを簡便に生成する装置でありその方法を実行するシステムのためのプログラムである。会話の構成要素とは、会話を構成する意味のあるかたまりを言い、動詞や名詞等の意味のある語彙から主になる。会話の構成要素をシンボル表示した視覚記号とは、絵、写真、絵文字、従来から用いられている単語的絵カードやピクトグラム等をいう。

（第１の実施の形態）
本発明の第１の実施の形態について、図１乃至図７を参照して以下説明する。図１は、本発明の装置を利用している様子を説明する図で、選択入力場面を示す。図２は、各階層での選択と、最終メッセージの関係を説明する図である。図３から図６は、表示手段の表示画面及び選択入力の様子を説明する図であり、会話の構成要素をシンボル表示した視覚記号が複数表示されている。図３は、第１階層の表示画面を示す図である。図４は、第２階層の表示画面を示す図である。図５は、第３階層の表示画面を示す図である。図６は、最終画面を説明する図である。

利用者は、図１のように、会話の構成要素がシンボル表示された表示選択画面のうちの１つのシンボル表示を選択する操作をする。図３の第１階層のシンボル表示の例は、「飲食する」「移動する」「各種活動」「気持ち」「体のケア」「時間」「遊ぶ」「テレビ」「人物」等である。中央の多方向の矢印は、選択を指示する表示であるが、特定のシンボル表示でもよい。図１に示すようにタッチパネル付きパソコン画面上で本システムを稼働させる。まず、利用者は、伝えたいメッセージを第１階層の選択肢から選ぶ。

１つのシンボル表示が選択されると、次にその動作の対象となる第２階層が図４のように表示される。例えば、図３のように第１階層で「移動する」が選択されたとき、「移動する」の対象となる第２階層の選択肢として、図４のような画面が表示される。図４のように、「洗面所」「風呂場」「他の部屋」「他の階」「病院」「公共施設」「方角」「屋外」等が表示される。

次に利用者が第２階層の選択肢の中から伝えたいものを選ぶ。第２階層の中の１つのシンボル表示が選択されると、動作の対象や目的などの会話の構成要素の詳細内容となる第３階層が、図５のように表示される。例えば、第２階層で「洗面所」が選択されると、さらにその動作の目的に関して第３階層が図５のように表示される。図５のように、「トイレ」「手洗い」「洗顔」「歯磨き」「化粧」「ひげそり」「整髪」等が表示される。

利用者が第３階層の選択肢の中から伝えたいものを選ぶ。第３階層の中の１つのシンボル表示が選択されると、第１、第２、第３の階層で選択された構成要素から１つのまとまりのあるメッセージが、最終画面に表示されるとともに音声出力される。図６は、メッセージが出力される最終画面を示している。このように、最終的にメッセージが決定され、パソコン画面上の文字とスピーカからの音声によってそのメッセージが出力される。図６では、パソコン画面上のキャラクターが音声出力する様子を示している。最終画面上のキャラクターは利用者毎に登録したアバター（ＣＧキャラクター）でもよい。また、表示画面には、図６画面上部のように各階層での選択肢も表示されると、選択内容が確認できる。

各図に示したように、選択肢が簡単なシンボル表示の視覚記号で示されている上に、各階層毎の選択画面が簡単であるように作成されているので、理解力の衰えている利用者でも分かりやすく、また細かな指の動作が困難な障害者でもキーボードを使わずに多様なメッセージを作成でき音声出力がされることから、リアルタイムの迅速な意思伝達ができる。特に、階層構造で、自然な会話をする感覚で選択入力していくことができるので、言葉を自然に話すように、ピクトグラム等の単語的絵カードを数回選んでメッセージの文章を構成することができる。さらに、構成された文章は、パソコンモニタ上のアバターの会話動作とリンクした文字表出および人工音声によって伝達可能であるので実用的である。また、患者とナースセンター等、離れた場所に出力装置を設置すれば、離れた場所間での意思伝達が容易である。

このように、本発明は、簡単な選択動作を複数回繰り返すことによって最終的に複雑なメッセージを生成し、人工音声と文字の両方によって表出する装置であり、システム（パソコン等で可動するソフトウェア）を実行するためのプログラムである。多様なメッセージを階層的なカテゴリーに分類可能であるので、各メッセージを階層的なカテゴリーに位置させておき、それを選ぶ方式を構築するものである。例えば図３乃至６に図示したような３階層の場合、「第１階層（大カテゴリー）」、「第２階層（小カテゴリー）」、「第３階層（最終選択肢）」の順序で表示し選択させるようにする。この際、最終結果にたどり着くまでの各階層での選択結果を蓄積することが可能なので、複数の階層の選択を合わせて複雑なメッセージを生成することができる。特に、階層の違いを文法的なことばの構成要素に割り当てることで、自然な言語表出に近い状況をつくることができるものである。例えば、各階層で８種類の選択肢から一つを選ぶ動作を３回行うことで、５１２種類（８の３乗）のメッセージから一つを選ぶことができる。日常的な生活動作を階層的に分類されたデータベースが本発明の装置を支えている。福祉介護の分野では、５１２種類のメッセージで、日常的な生活動作の会話をほぼ充足することができる。３階層の例を示したが、必要に応じ、４階層やそれ以上でも本発明を実施することができる。

本発明の装置のためのプログラムは、ＷＥＢページ形式で作成されており、ネット上のどのパソコンでも利用可能とすることができる。選択肢の選択および選択されたメッセージの表示を、ＷＥＢページ形式（ＨＴＭＬ言語やＪａｖａ（登録商標）スクリプト）で制御する。本発明のデータベースの例を図７に示す。データベースは、一部が共通する識別番号を用いて、全表示画面、全階層の選択肢（文字とピクトグラム）、選択肢の位置、最終メッセージの表示及び人工音声データを管理する。これらを統一的に管理するための識別番号は、マップＩＤと呼ぶことができる。新たな選択肢（文字とピクトグラム）を登録するとき、既存の選択肢の画面提示位置などの変更などのカスタマイズは、識別番号の番号付けによって容易に行うことができる。マップＩＤは、特に階層間での画面遷移の情報を表現することに優れていて、桁の違いが階層の違いを、その桁の数字の違いが所属カテゴリーの違いを表現している。

マップＩＤの具体的構造は、図７に示すように、左１桁目を「１」とし、そこから例えば２桁毎に区切って各階層の識別子とした。２桁の場合、各階層において２桁で表せる数の選択枝を設定可能である。例えば、第１階層は「１００・・・」（図７では「１００００００」）、第２階層は第１階層で選択された選択肢をａａとして「１ａａ００・・・」（図７では「１ａａ００００」）、第３階層は第１階層でａａが選ばれた後に第２階層でｂｂが選ばれた場合、「１ａａｂｂ００・・・」（図７では「１ａａｂｂ００」）となる。また、選択画面全体はＨＴＭＬ言語で作成し、マップＩＤに拡張子「．ｈｔｍｌ」をつけたファイル名にするとよい。

本システムはＷＥＢブラウザがインストールされている標準的パソコンであれば実施でき、ハードディスクに１セットのファイル群（プログラムおよびデータベース）があれば、実際にインターネットに接続されていなくてもフォルダーのコピーのみで利用可能である。

さらに、ＷＥＢサーバー上にプログラムを置くことで、個別のパソコンのハードディスク内にファイルがなくてもインターネットにアクセス可能であれば、本発明のプログラムを用いて本発明の利用が可能である。インターネット経由で本発明を利用するユーザーが多数ある場合、サーバー上のシステムにアクセスする人の利用履歴を解析することによって、各メッセージの使用頻度を調べ、頻度の高いものを残して、頻度の低いものを他のメッセージ候補と差し替えるなど、品質の維持改善を行うことが可能である。

データベースは、利用者の障害の状態、特性や環境に応じて必要だと予想されるメッセージ群を初期設定で切り替えることができる。例えば、身体機能の障害のために本発明を利用する場合でも、重病で常時病院のベッドでケアされている患者と、家庭で介護されているが車いすで移動が可能な患者には、異なるデータベースを用意する。

（第２の実施の形態）
第１の実施の形態では、表示画面をタッチパネルとして画面を選択する入力手段を例示したが、入力手段として、多様な入力が可能である。入力手段には、利用者の障害のレベルに合わせることが重要で、タッチパネルの他に、矢印キー、マウス、視線入力などがある。また、頭部の左右及び前後又は上下の動作をジョイスティック的動作として検出して、本発明の表示画面の選択肢を選択させる入力手段を用いてもよい。また、脳波を用いて入力を行うことができる。表示画面上の各シンボル表示を順にまたはランダムに光らせて光る箇所を変更しながら、利用者の脳波、特にＰ３００と呼ばれる事象関連脳波（刺激提示後３００ミリ秒後の陽性の電位変化）を計測することにより、利用者の伝えたいシンボル表示を検出してこれを入力とする。これは、着目しているシンボル表示が光った瞬間に脳波が増強される現象があることを利用するものである。

なお、上記実施の形態で示した例は、発明を理解しやすくするために記載したものであり、この形態に限定されるものではない。

本発明の装置、方法及びプログラムは、発話障害者や重度障害者や老人介護を支援する福祉機器として有用である。

Claims (2)

1. 会話の構成要素を階層的にデータベース化して蓄積する手段と、前記構成要素をシンボル表示した視覚記号を各階層の選択画面で複数表示する表示手段と、前記選択画面の選択肢を選択させる入力手段とを備え、
   前記表示手段は、第１階層の選択画面でシンボル表示された複数の構成要素のうちの一つが選択されると、該選択された構成要素の第２階層の選択画面を表示し、前記第２階層の選択画面でシンボル表示された複数の構成要素のうちの一つが選択されると、該選択された第２階層の構成要素の第３階層の選択画面を表示する表示手段であり、
   前記入力手段は、事象関連脳波の計測による入力手段であり、
   各階層で選択された構成要素の組み合わせに対応するメッセージを表示するとともに音声出力することを特徴とする意思伝達装置。
2. コンピュータを、
   会話の構成要素を階層的にデータベース化して蓄積する手段、
   前記構成要素をシンボル表示した視覚記号を各階層の選択画面で複数表示し、該表示は、第１階層の選択画面でシンボル表示された複数の構成要素のうちの一つが事象関連脳波の計測により選択されると、該選択された構成要素の第２階層の選択画面を表示し、前記第２階層の選択画面でシンボル表示された複数の構成要素のうちの一つが事象関連脳波の計測により選択されると、該選択された第２階層の構成要素の第３階層の選択画面を表示するものであり、各階層で選択された構成要素の組み合わせに対応するメッセージを表示する手段、
   前記メッセージの表示とともに音声出力する手段、
   として機能させるためのプログラム。

Images