JP2004503887A

JP2004503887A - 携帯情報端末用音声認識装置

Info

Publication number: JP2004503887A
Application number: JP2002511327A
Authority: JP
Inventors: モールト　ジェイムス　アール
Original assignee: ヘルセテック　インコーポレイテッド
Priority date: 2000-06-16
Filing date: 2001-06-18
Publication date: 2004-02-05
Also published as: AU2001272009A1; EP1305793A2; CA2413657A1; US20030163321A1; WO2001097211A2; US7392193B2; WO2001097211A3

Abstract

携帯情報端末のための音声認識モジュールは、付属品スロット等のＰＤＡの付属品機構と係合するように設計されているモジュールハウジングと；使用者からの音声コマンドを受けるためのマイクロフォンと；音声認識システムと；を備える。対応する電気的音声コマンド信号は、携帯型コンピュータ装置へ伝送され、携帯型コンピュータ装置で実行されるソフトウェアアプリケーションプログラムの作動制御が可能になる。詳細には、メニュー項目は、例えば体重管理プログラム中に、使用者のダイエット記録を作成するために選択可能である。

Description

【０００１】
（技術分野）
本発明は、コンピュータ装置の音声認識機能に関する。詳細には、本発明は、体重管理プログラムを行っている使用者のダイエット記録を作成するために音声認識を利用することに関する。
【０００２】
（背景技術）
パームパイロット、ハンドスプリング　Ｖｉｓｏｒ、ハンドヘルドＰＣ、及び同様の装置を含む携帯情報端末（ＰＤＡ）等の携帯型コンピュータ装置は、その機能性及び自由度により急速に普及している。本出願の目的において、コンピュータ装置という用語は、デスクトップ、ラップトップ、ハンドヘルド、パームトップ、及び装着型コンピュータ、並びに携帯電話、双方向ページング装置、無線機、発信機、計算機、オーガナイザー、電子書籍、ナビゲーション装置、車両電子装置、デジタル双方向テレビ制御装置、及びコンピュータ機能をもつ他の電子装置を含む、付加的な機能を有する全てのコンピュータ装置を含むことを理解されたい。しかしながら、説明を容易にするために、本出願では、ハンドヘルド装置のパームパイロット・ファミリ（パーム社、サンタクララ、カリフォルニア州）及びハンドスプリングＶｉｓｏｒ（ハンドスプリング社、マウンテンビュー、カリフォルニア州）等の携帯型コンピュータ装置に注目することとする。
【０００３】
これらの携帯情報端末（又はＰＤＡ）は、手書き文字認識及び単純なキーボードの種々の形態を含む種々の方法でのデータの入力を可能にするボタン及びタッチスクリーンを備える。特定の使用者又は用途に対しては、これらのデータ入力方法は不十分である。例えば、１日にどんな食事を摂取したか、又は旅行で何の費用がかかったか等の記録を入力しようとする使用者は、片方の手でＰＤＡを保持してもう片方の手で入力スタイラスを握る必要がある。スタイラスは、ある意味では所望の入力を表示するタッチスクリーンに触るのに利用される。このことは使用者の両手を拘束し、適度の視力及び集中を必要とする。入力が手動操作ではなく使用者の音声でできることが望ましい。
【０００４】
音声記録機能を有する幾つかのハンドヘルド装置は部分的な解決法をもたらすことができる。情報をＰＤＡに瞬時に録音したいと思う使用者は、録音ボタンを押してマイクに向かって話す。その後で録音情報を再生することができる。残念ながら、この手法は、望ましいものには程遠い。音声記録は、音声から音声だけであり、誰かが録音された音声を聞いてデータを手動で入力する必要がある。最初の録音ステップは、手動操作よりも容易であろうが、手動操作はその後に行う必要があるので避けて通れない。使用者が命令及び情報を発声し、ＰＤＡがその命令に応答してテキストの形態で情報を記録するための、音声からテキストへの音声認識機能がより望ましいであろう。しかしながら、音声からテキストへの音声認識は非常に複雑であり、高性能なコンピュータ処理装置及び大きなデータ記憶能力を必要とする。現在のＰＤＡは、僅かな必須の処理能力及び記憶装置を提供するに過ぎない。
音声認識ソフトウェア及びシステムは公知であり、例えば、引用によって本明細書に組み込まれているＭａｚｕｒｋｉｅｗｉｃｚ他の米国特許第５，７４９，０７２号及びＫｅｎｎｅｄｙＩＩＩ他の米国特許第６，１６７，２５５号に説明されている。
【０００５】
（発明の開示）
本発明によれば、現在利用可能なコンピュータ装置（ＰＤＡを含む携帯型コンピュータ装置など）及び音声認識ソフトウェアの制限は、簡略化された音声認識能力でもって機能するように設計されている簡易音声認識プログラム及びソフトウェアを提供することで解消される。音声認識ソフトェアの複雑性の多くは、所定の言語の多種多様な単語、及び多くのこれらの単語の音声の類似性に起因する。ソフトウェアは、非常に正確に発声音を捕捉できる必要がある。従って、ソフトウェアは、単語の前後関係、統計的可能性、及び特定の使用者の過去の用法を解析することによって、種々の選択対象の中からどの単語が発声されたかを決定する必要がある。また、各々の使用者は単語を一貫して発音しないので、ソフトウェアは特定の使用者を識別するように「訓練」する必要がある。音声認識の課題は、ソフトウェア及びハードウェアが解釈すべ語彙を人為的に制約することで非常に低減される。制約された語彙音声認識の例は、現在多くの電話システムに利用されており、使用者が番号０から９を押すこと又は番号を発声することのどちらかが可能になっている。この場合、音声認識ソフトェアは、区別が容易な１０個の選択対象を認識及び区別することだけを必要される。
【０００６】
本発明によれば、ＰＤＡに同様の機能を与えることができる。好適な実施形態において、ＰＤＡは、使用者が発声する０から９までの番号を認識できる。現在のＰＤＡは、このハードウェア又はソフトウェア機能をもっていない。しかしながら、多くのＰＤＡにはソフトウェアを追加することができる。また、多くのＰＤＡは、アドオン式ハードウェアモジュールを収容することができる。例えば、ハンドスプリング社のＶｉｓｏｒは、裏面に配置されたスプリングボードとして知られているスロット配列を備える。メモリモジュール等の種々のハードウェアモジュールをスプリングボードに挿入してハンドスプリング　Ｖｉｓｏｒの性能を強化することができる。同様に、パームパイロット・ファミリのハンドヘルドＰＤＡは、チップオン式ハードウェアモジュールを収容して性能を強化することができる。将来のＰＤＡは、新しい簡易ハードウェアを取付ける機能をもつことが期待されている。
【０００７】
典型的には、ＰＤＡに挿入又は取付けられるハードウェアモジュールは、更にＰＤＡの性能を強化して追加ハードウェアの利点を得るためのアプリケーションソフトウェアを備えることができる。例えば、ハンドスプリング　Ｖｉｓｏｒは、デジタルカメラモジュール、録音再生モジュール等の、多数のスプリングボード互換のハードウェアモジュールを収容する。これらのモジュールは、ハンドスプリング　Ｖｉｓｏｒのスプリングボード部と相互接続され、デジタルカメラのレンズ及び関連の電子機器、又は録音再生ハードウェア等のハードウェアを備える。このアドオン式ハードウェアは、ハンドスプリング　Ｖｉｓｏｒの既存の機能と協働してデジタルカメラ又はデジタル録音再生装置をもたらす。また、ハードウェアモジュールは、ハンドスプリング　Ｖｉｓｏｒのハードウェア及びアドオン式ハードウェアモジュールがアクセス又は使用することができる、搭載ソフトウェアを含む。このソフトウェアは、モジュール及びハンドスプリング　Ｖｉｓｏｒが通信すること及び強化された性能を提供することを可能にする。同様に、無線式モデム等のハードウェアモジュールは、パームパイロット・ファミリの幾つかと相互接続することができる。
【０００８】
携帯情報端末のための音声認識モジュールは、ＰＤＡの付属品機構と係合するように構成されているモジュールハウジングと；使用者からの音声コマンドを受信する音声受信装置と；複数の音声コマンドを識別すると共に対応する電気的音声コマンドセットをＰＤＡへ伝送する音声認識手段と；を備える。更に、携帯情報端末のための音声認識モジュールは、携帯型コンピュータ装置の付属品インタフェースと係合するように構成されているモジュールハウジングと；使用者からの音声コマンドを受信して、電気的音声信号を出力するようになっている音声受信装置と；音声受信装置からの電気的音声信号を受信して、音声コマンドを識別すると共に対応する電気的音声コマンド信号を携帯型コンピュータ装置へ伝送する音声認識システムと；を備え、電気的音声コマンド信号は、携帯型コンピュータ装置上で実行されるソフトウェアアプリケーションプログラムの作動を制御するのに使用される。音声受信装置は、マイクロフォンであってもよい。マイクロフォン信号の音声認識は、Ｍａｚｕｒｋｉｅｗｉｃｚの米国特許第５，７４９，０７２号の例えば図３に開示されている。モジュールは、食品項目識別子、及び複数の食品項目に関する関連栄養摂取データを更に含むことができる。栄養摂取データは、食品項目識別子の各々に関連するカロリーコンテンツ、脂肪コンテンツ、繊維コンテンツ、蛋白質コンテンツ、血糖値、ミネラルコンテンツ、ビタミンコンテンツ、及び栄養摂取成分を含むことができる。ソフトウェアアプリケーションプログラムは、電気的音声コマンド信号の制御の下で前記栄養摂取データベースから選択食品項目識別子を選択し、更に使用者のダイエット記録を作成できるように前記選択食品項目識別子及び前記関連栄養摂取データをメモリ内に格納できるようになっている。
【０００９】
本発明による携帯型コンピュータシステムは、表示部と；マイクロプロセッサと；メモリと；複数の食品項目識別子の各々に関連する栄養摂取データデータベースと；発話入力に相関する電気的音声コマンド信号を出力する音声認識システムと；マイクロプロセッサにより実行され、表示部上に食品項目識別子の食品メニューを表示し、音声認識システムから受信した電気的音声コマンド信号に基づいて食品メニューから食品項目識別子を選択し、選択食品項目のダイエット記録を作成できるように選択食品項目識別子に関連する栄養摂取データを格納するソフトウェアアプリケーションプログラムと；を備える。栄養摂取データベースは階層形式で配列されており、特定の食品項目は属種により特徴付けすることができ、ソフトウェアアプリケーションプログラムは、更に表示部上に属種メニューを表示し、電気的音声コマンド信号を受信すると属種メニューから属種を選択するようになっている。
【００１０】
携帯型コンピュータ装置のための改良された付属品モジュール（体重管理プログラムの一部としてダイエット記録を行うのに使用できる統合システム）は、携帯型コンピュータ装置の付属品ポートと通信するようになっている電気的インタフェースと；メモリと；メモリに格納され、関連の食品項目栄養摂取コンテンツを有する複数の食品項目識別子の各々と相関する栄養摂取データベースと；メモリに格納され、表示部上に食品項目識別子メニューを表示できるようにマイクロプロセッサによって実行可能であり、更に音声コマンド信号を受信すると食品項目識別子メニューから食品項目選択を選択するようになっており、更に使用者のダイエット記録内に食品項目選択及び相関栄養摂取コンテンツを格納するようになっているソフトウェアアプリケーションプログラムと；を備える。栄養摂取コンテンツは、カロリーコンテンツ、ダイエット成分コンテンツ、及び食品項目の他の栄養摂取成分を含むことができる。音声コマンド信号は、携帯型コンピュータ装置の付属品モジュール上、又は携帯型コンピュータ装置と通信する他の装置上に存在する音声認識システムによって与えられる。
【００１１】
使用者のダイエット記録を作成する方法であって、使用者に対して食品種類識別子メニューを示す段階と；使用者からの種類選択音声コマンドを受信する段階と；種類選択音声コマンドを選択食品種類識別子と相関させる段階と；使用者に対して選択食品種類識別子と階層的関係にある食品項目識別子メニューを示す段階と；使用者からの項目選択音声コマンドを受信する段階と；項目選択音声コマンドを選択食品項目識別子と相関させる段階と；使用者のダイエット記録を作成できるように選択食品項目識別子及び関連栄養摂取データをメモリ装置に格納する段階と；を含む。選択食品項目識別子は、栄養摂取データベースを使用して関連栄養摂取データと相関される。メニューは、使用者が携行する携帯型電子装置の表示部上に表示できるが、携帯型電子装置としては、携帯情報端末（ＰＤＡ）、他の携帯型コンピュータ装置、装着型コンピュータシステム、電子ブック、電子手帳、デジタルオーガナイザー、無線電話、デスクトップコンピュータ、ウェブテレビ、デジタル双方向テレビ、タブレットコンピュータ、バイザ装着型表示システム等が挙げられる。使用者に対して表示されるメニューは、例えば、使用者が入力するか、ローカル無線ネットワークから送信されるか、又はグローバル・ポジショニング・システム（ＧＰＳ）等の位置報告システムによって決定される、使用者の位置に基づいて選択することができる。発声コマンドを選択識別子と相関させることは、携帯型コンピュータ装置、携帯型コンピュータ装置の付属品モジュール、又は通信ネットワーク上で携帯型コンピュータ装置と通信する遠隔コンピュータシステム等の携帯型コンピュータ装置と通信する他の装置で実行されるソフトウェアアプリケーションプログラムによって実行できる。
【００１２】
別の実施形態において、発声コマンドはメモリ内に格納され、その後で解析することができる。
更に、コンピュータ装置は、別個の音声受信装置（例えばリスト装着型装置）、プロセッサモジュール（例えば、プロセッサ、メモリ、及び音声認識システムを有するプラグイン式ハードウェアモジュールを備えるベルト装着型コンピュータ）、及び表示装置（例えば、バイザー装着型表示部）等のシステムを備えることができる。各構成部品は無線通信を行い一体型装置として機能することが好ましい。
【００１３】
無線通信方法としては、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）、エリクソン社（スエーデン）及び他社が開発した無線通信プロトコル、ＩＥＥＥ８０２．１１（ｂ）等、無線イーサネット等のローカル無線ネットワーク、ＩＲ、光、及び超音波方式を挙げることができる。各装置間の無線通信方式は、利便性を高めるが、無線通信方式に代えて有線接続を使用することもできる。
２０００年６月１６日に出願されたＪａｍｅｓ　Ｒ．　Ｍａｕｌｔの米国仮出願番号６０／２１２，３１９は、引用によって本明細書に組み込まれている。
【００１４】
（発明を実施するための最良の形態）
本発明によれば、ＰＤＡ等の携帯型コンピュータ装置に相互接続するハードウェアモジュールが設けられている。ハードウェアモジュールは、音声を受けるマイクロフォンを含み、更に開閉スイッチ及び感度調整器等の他の制御装置を含むこともできる。本発明の１つの実施例は、図１及び図２に概略的に示されている。携帯型コンピュータ装置１０は、ハードウェアモジュール１２を収容するが、図示のようにハードウェアモジュール１２は、携帯型コンピュータ装置１０の裏面のスロット１６に滑り込むようになっている。ハードウェアモジュール１２は、使用時に携帯型コンピュータ装置の上側になるようにモジュールの縁部近傍に配置されているマイクロフォン１４を備える。マイクロフォンを既に備えている携帯型コンピュータ装置ではマイクロフォンをモジュールから省くことができる。モジュールは、携帯型コンピュータ装置のスロットに挿入される場合に携帯型コンピュータ装置が簡易音声認識になることができるように、ハードウェア及びソフトウェアの両方を備えることが好ましい。
【００１５】
図３は、別の実施形態を示し、モジュール２６は、携帯型コンピュータ装置２０の下側のスロット内に挿入される。モジュールの一部は露出しており、使用者がマイクロフォン２８に向かって発声できるようになっている。携帯型コンピュータ装置は、表示部２２及びデータ入力キー２４を有する。表示部は、メニュー表示領域２２及びユーザ指示領域２２ｂに分割されている。しかしながら、この分割は本発明の実施形態では重要ではない。
【００１６】
以下に図４から図６を参照して、簡易音声認識モジュールの使用例を説明する。図面において、携帯型コンピュータ装置は、複数の選択対象を与えるためのテキストメニューを表示するように示されている。ハードウェアモジュールは示されていない。本実施例において、携帯型コンピュータ装置は、食事摂取を記録するのに使用される。図４において、携帯型コンピュータ装置は、食事の種類に関する６つの選択肢のメニューを表示する。食事摂取ソフトウェアをもたらすソフトウェアは、ハードウェアモジュール、追加のモジュール、又はロードされるソフトウェアの一部であってもよく、又は既に携帯型コンピュータ装置の一部であってもよい。音声認識モジュールを使用すると、食事の種類に対する選択番号を発話するだけでよい。例えば、朝食に関する情報を入力使用とする場合、「ワン」と発声する。このことは携帯型コンピュータ装置のスタイラス又はボタンを使用して番号「１」を入力するのと同じことである。この選択により図５に示すような第２のメニューが表示される。このメニューにおいて、複数の朝食の選択対象が表示される。ホットクリームを選択したい場合は、「ツー」と発声する。これによりソフトウェアに同様に選択対象が入力され、ソフトウェアは図６に示すような第３のメニューを表示する。この第３のメニューはホットクリームに関する種々の選択対象を表示する。当業者であれば、ダイエットのための項目を選択することを可能にする、非常に簡略化された方法でもって、どのようにこのプロセスを継続できるかは明らかであろう。次に、選択項目及び関連の栄養摂取データは、個人のダイエット記録に記憶させることができる。この方法は、所要経費追跡等のデータ入力にも同様に適用できる。
【００１７】
当業者であれば理解できるように、携帯型コンピュータ装置は、多種多様なソフトウェアアプリケーションを利用できる。本発明によれば、ハードウェアモジュール及びこれが実行するソフトウェアは、多数のソフトウェアアプリケーションを取り扱うように設計されている。つまり、ハードウェア及びソフトウェアモジュールは、携帯型コンピュータ装置に組み込まれ通信するようになっている。番号を発声すると携帯型コンピュータ装置で実行されるソフトウェアに番号を入力するためにスタイラスを使用したのと同じ入力が与えられる。また、本発明によれば、同じハードウェアモジュール又は別のハードウェアモジュールに追加の語彙を与えてもよい。例えば、多くの携帯型コンピュータ装置の機能は、アップ又はダウンボタンを必要とする。この目的のために、ハードウェアモジュールは、命令「アップ」及び「ダウン」を認識できる。また、携帯型コンピュータ装置の最も一般的に使用される機能の幾つかに関するコマンドを認識できるが、データブックの「データ」、予定（ｔｏ　ｄｏ）リストの「予定（ｔｏ　ｄｏ）」、及びアドレスリストの「アドレス」又は「電話」、並びに携帯型コンピュータ装置の動作モードを変更するためのコマンドが含まれる。また、ハードウェアモジュールは、幾つかのＡからＪまでの文字又は全てのアルファベット、英数字セット、又はアルファベットＡ−Ｚに関する「ａｌｐｈａ」「ｂｒａｖｏ」等の文字に対応する単語セット等を認識できる。更に、コマンド操作を簡略化するための「戻る」「削除」「入力」等の少数の特別な単語を小規模の認識リストに追加できる。音声認識能力は、モジュールのハードウェア及びソフトウェアの複雑性に完全に依存することは明らかである。従って、特定のアプリケーションでは、非常に単純な音声認識モジュールで十分な場合もある。この場合、数字０から９までの認識で十分である。携帯型コンピュータ装置のソフトウェア及びハードウェア能力が改善されるにつれて、特定のアプリケーションに対して更に複雑なモジュールが望まれることになる。
【００１８】
ハードウェアモジュールは、携帯型コンピュータ装置に対する専用の付属品であってもよく、又はＰＣＭＣＩＡ及びミニチュアカード規格等の公知の規格に準拠するものであってもよい。音声認識システムを組み込むことで本発明で使用するために好都合に変更できる、撮像機能を備える付属品モジュールの設計は、引用によって本明細書に組み込まれているＥｒｌｄｃｉｌａ他の米国特許第６，２１９，５６０号に開示されている。
【００１９】
当業者であれば理解できるように、本発明は、データ入力に関して多くの利点をもたらす。ダイエット情報を早く入力する一例として、単純に単語「ワン」「ツー」「ワン」を素早く繰り返すことで選択対象を入力できる。このことは多くの使用者による手動入力よりも簡単でより好ましい。また、一部の使用者は器用さに欠けるので、スタイラス、キーボード、又は他の手動入力機器を扱うのが難しい場合もある。音声認識モジュールは、スタイラスを握る必要がないので、片手で又は全く手を使うことなく装置を使用することを可能にする。
【００２０】
別の実施形態において、マイクロフォン及び送信器を備える音声受信モジュールは、襟又は皮膚等の口の近くに取り付けることができ、音声信号をＰＤＡ、デスクトップコンピュータシステム、リモートサーバ、双方向テレビの通信端末等のコンピュータ装置へ送信することができる。使用者は、コンピュータ装置の表示部に表示されるメニューを見て、マイクロフォンに対する発声コマンドを用いて項目を選択することができる。更に、音声受信モジュールは、発振器を備えることができ、マイクロフォンで受信した信号は、使用者の口の形で、例えば、言葉を出す（文字、数字、食品の名前等の）行為によって修正できるので、例えば、使用者が聞こえるように発声することなく静かに発声された言葉でもってコマンドをコンピュータ装置へ入力することができる。
【００２１】
ダイエット記録
図４から図６に関連して説明したように、メニュー選択の音声制御は、ダイエット記録を作成するのに有用である。引用によって本明細書に組み込まれているＷｉｌｌｉａｍｓの米国特許第５，７０４，３５０号及び米国特許第４，８９１，７５６号には、階層化メニューシステムにより食品の項目を選択することが説明されている。この階層化手法は、ダイエット記録作成のための音声認識と好都合に組み合わせることができる。また、ダイエット記録のためのソフトウェアアプリケーションプログラムは、引用によって本明細書に組み込まれている２０００年１０月１３日に出願された米国仮出願番号６０／２４０，１８５に開示されている。このプログラムは、音声認識システムにより解釈される発声コマンドに応答するソフトウェアプログラムによって可能になるメニュー選択方法を適用することで、本発明の実施形態に用いるために好都合に変更できる。他のダイエット記録ソフトウェアは、例えば、Ｋｒｅｔｓｃｈの米国特許第５，２３３，５２０号に説明されているように本技術分野では公知である。
【００２２】
本発明の実施形態において、最初に使用者には、図７に示すメニューリストのような食品の種類に関する上層のメニューが示される。前述のように、使用者は、各々の食品の種類の識別子に関連する番号を発声する。また、使用者は、１つ又はそれ以上のメニューリストの最初の文字に対応する文字を発声する。メニューリストは、選択されることになる固有の項目に、又は各々発声文字で始まる幾つかの項目に縮小できる。使用者は、選択対象を限定するために第２の文字を発声でき、必要であれば第３の文字を発声することもできる。
【００２３】
複合単語リストが表示される場合、選択対象を限定するために、第２の（又はそれ以降の）発声文字をその文字で始まる第２の単語を有するリストに対して適用できる。例えば、パンが、ｂｒｅａｄ，ｒｙｅ；ｂｒｅａｄ，ｂｒｏｗｎ；ｂｒｅａｄ，ｐｕｍｐｅｒｎｉｃｋｅｌ等で表示される場合、使用者は、ｂｒｅａｄ，ｒｙｅを選択するために「Ｂ．．．Ｒ」と発声できる。
【００２４】
図７に関連して、使用者は、穀物（ｃｅｒｅａｌ）を選択するために「１」又は「Ｃ」と発音できる。別の実施形態において、音声認識システムの語彙は、メニュー上に表示される単語及び個数により自動的に制限される。この場合、単語「ｃｅｒｅａｌｓ」は、音声認識システムによって、他の単語選択肢から確実に区別される。この場合、最初の音節だけが他の選択対象から「ｃｅｒｅａｌｓ」を区別するのに使用できる。
【００２５】
図８は、別の食品項目識別子のメニューを示し、使用者が図７のメニューから穀物を選択した後で表示される。
図９は、食品項目識別子を選択した後で使用者に表示される摂取量メニューを示す。
【００２６】
図１０Ａは、本発明の実施形態に使用できる携帯型コンピュータ装置の概略図を示し、マイクロプロセッサ（プロセッサ）３２、メモリ３４（ＲＯＭ、ＲＡＭモジュール、及び他のメモリ形式及び組み合わせを備えることができる）、ユーザインタフェース３６（ボタン、スタイラス、及び他のデータ入力機器を備えることができる）、表示部３８（表示ドライバを備える）、周辺機器３９（別の表示部、指示部、プリンタ、ブザー、スピーカ、モデム、ドライバ等を備えることができる）、付属品インタフェース４２、及びハードウェアモジュール４４を備えている。図１０Ｂは、本発明の実施形態に使用できるハードウェアモジュール４４の可能性のある概略図を示し、マイクロフォン４６、アナログ−デジタル変換器４８、信号処理装置５０、音声解析回路５２、及び栄養摂取データベース５８を備えている。本実施例において、数値発話等のコマンドは、音声解析回路５２によって解釈され、音声解析回路５２はマイクロプロセッサ３２での解釈に備えて対応する電気信号をインタフェース４２へ送信する。また、栄養摂取データベースは、携帯型コンピュータ装置で実行されるソフトウェアアプリケーションプログラムがアクセス可能である。別の実施形態において、モジュール４４は、プロセッサ及び追加のメモリを備えることができ、ダイエット記録ソフトウェアは、モジュールで実行されて、表示部３８に情報を表示し、ダイエット記録をモジュールのメモリ上、メモリ３４内、又は通信回線上でアクセスされる遠隔コンピュータ等の遠く離れた記憶場所のいずれかに格納できる。
【００２７】
図１１は、本発明による、ダイエット記録の一部を作成する方法を示す。ボックス７０は、例えば、単語「ダイエット」を発声することによるコンピュータ装置の動作モードの選択に対応する。運動記録用の「エクササイズ」、カロリーバランス計算用の「バランス」、アドレスブック用の「アドレス」等のこの段階で認識できる別の単語を含むこともできる。ボックス７２は、「ダイエット記録へようこそ」の画面の表示に対応し、データ入力方法の概要を含むことができる。ボックス７４は、使用者へのメニューの表示を変更するための利用可能な情報の使用に対応する。ボックス７６は、例えば、時間帯に適するような食品の種類、又はステップ７４で決定された他の情報の表示に対応する。ボックス７８は、例えば音声認識方法を使用した食品の種類の選択に対応する。ボックス８０は、選択した食品の種類に基づく食品項目の表示に対応する。ボックス８２は、例えば、特定の名前又はコード等の識別子による、食品項目の選択に対応する。ボックス８４は、関連情報の表示メニューに対応する。ボックス８６は、関連情報の選択に対応する。
【００２８】
ボックス７４に関連して、利用可能な情報は、場所、購入情報、時間、既知の嗜好、体重管理会社から供給される既知の食事、ダイエット目標等を含むことができる。情報は、コンピュータ装置のメモリ内に格納されるか、通信回線上で受信されるか、予めプログラムされるか、又は以前の習性に基づくか、又は他の方法及び情報源で決定される。例えば、昼食時間に対応する時間に、昼食メニューを表示することができる。他の食事時間及び軽食時間は、以前に収集したデータを用いて特定の食品の消化に相関させることができる。使用者の場所が分かる場合（例えばＧＰＳ、携帯電話三角測量、又はローカル無線ネットワーク方式で）、メニューは、それに応じて表示することができる。特定のレストランに居る使用者には、そのレストランに応じたダイエット記録選択肢を表示できる。自宅に居る使用者には、例えば、以前の購入情報又は既知の嗜好情報を用いて自宅で知られている食品リストを表示できる。事務所に居る使用者には、そこで摂取される一般的な食品をメニューとして表示できる。使用者の場所と摂取した食品との間には大きな相関がある場合が多い。この相関は、ソフトウェアの学習プロセスで定めること、予めプログラムすること、又は使用者が入力することができる。従って、食品と場所との相関は、使用者へのメニュー表示を制限するのに利用できる。食品を自動販売機又は同様の食品販売機から調達した場合、又はこのような販売機が近くで検出された場合、入手可能な食品に関連するメニューを表示できる。また、個人支出情報を利用でき、例えばレストラン又は食品小売店との間で取引が生じた場合、この情報は、摂取した食品を決めるのに役立つように利用できる。例えばクレジットカードの取引記録から以前に購入した食事の身元が分かれば、その食品の身元をダイエット記録に入力でき、従って、本発明の方法は、例えば分量の画分とし、摂取した食品の量を記録するのに使用できる。
【００２９】
更にボックス８６に関連して、別の情報として、摂取量、調理方法、付随項目又は欠落、摂取した食事の画分等を含むことができる。例えば、使用者が食品項目識別子としてコーンフレークを選択する場合、摂取量及びミルクの量を入力することを要求されることになる。このことは選択肢メニューを押して発声選択対象を受信することで行われるが、場合によってはボックス８２で選択した食品項目に基づく２つ以上のメニューを使用して行われる。
【００３０】
図１２Ａは、受信した音声コマンドを表示するウィンドウ１０２を有するコンピュータ装置の表示部１００を示す。本実施例において、音声コマンドとして文字Ａ−Ｚを使用できるが、数字等の他の限定された語彙を使用することもできる。使用者が文字「Ｃ」を発声すると、音声認識システムはこれを認識してウィンドウ１０２の位置１０４に表示する。食品項目識別子メニュー（又は、使用中のダイエット記録方法及び階層に基づく種類）は、表示文字「Ｃ」で始まる。使用者がキャベツを食べた場合、使用者は文字「Ａ」を発声して他の表示選択肢と区別する。必要に応じて、残っている唯一のメニュー選択肢であれば、別の文字を入力して更に選択される項目を有するメニューを限定することができる。単語「戻る」（又は同義語）により、表示文字を削除して対応する食品項目識別子の限定された選択を解除することができる。
【００３１】
図１２Ｂは、ウィンドウ１０２に表示されている文字「Ｋ」、及び２つのダイエット記録選択肢、「キンカン（ｋｕｍｑｕａｔ）」及び「塩漬けキンカン（ｐｉｃｋｌｅｄ　ｋｕｍｑｕａｔ）」を示す。この場合、第２の単語の最初の文字である文字「Ｐ」を発声することで「塩漬け（ｐｉｃｋｌｅｄ）」選択肢を選択できる。この全体的な手法は、幾つかの修飾語句又は複数の修飾語句でもって単一の食品項目名を繰り返す場合が多いのでダイエット記録を行う上で有用である。この場合、基本名称の最初の文字（例えば、「ｍｉｌｋ」には「Ｍ」）及び修飾語句の最初の文字（例えば、「ｓｋｉｍ」には「Ｓ」）の発声は、迅速なダイエット記録項目の音声認識選択を行うのに使用できる。基本名称の最初の文字は、基本（非修飾）項目を選択するために繰り返すことができる。他の文字又は数字は、曖昧な語句を区別するために必要に応じて入力できる。もしくは、修飾語句は番号付けして、使用者が修飾語句に対応する番号を発声するようになっていてもよい。更に改善されたシステムでは、音声認識システムの認識語彙は、使用者に表示される選択肢に限定されており、これにより発声コマンドを多数の利用可能な語彙に一致させるための試行に比較して、音声認識システムの信頼性が非常に高くなる。特定の実施形態において、最初の発声音節のみが又は最初の２つの音節が音声認識に使用される。
【００３２】
栄養摂取データベース
前述のハードウェアモジュールは、栄養摂取データベースを格納するメモリを備えることができる。このデータベースは、例えば、食品、食事、飲料、ダイエット補助食品等の名称の食品項目識別子を含む。データは、階層方式で配列することができるので、食品項目識別子は、例えば、肉製品、乳製品、澱粉食品、好きな食事、昼食項目、朝食項目、夕食項目、食事補助食品、栄養補助食品、包装食品等の属種でグループ化できる。好都合であれば、属種は、更に高位のグループにグループ化でき、又はサブグループに分割することができる。表示メニューは、食品の種類及び特定の食品識別子の両方を含む場合もある。
【００３３】
また、栄養摂取データベースは、携帯型コンピュータ装置のメモリ内、又はメモリモジュールスロットを利用して携帯型コンピュータ装置又は前述のハードウェアモジュールに挿入できるメモリモジュール上に格納できる。
また、栄養摂取データベースは、以下に詳細に説明するように、別のコンピュータシステム、メモリモジュール、又は携帯型コンピュータ装置と通信する装置上に置くことができる。
【００３４】
食品項目は、携帯型コンピュータ装置の利用可能なデータ入力機器を使用して、又は通信ネットワーク又はメモリモジュール転送機器上で受信されるデータを使用して、栄養摂取データベースに追加できる。
【００３５】
通信ネットワーク
携帯型コンピュータ装置は、インターネット等の通信ネットワーク上で遠隔コンピュータシステムと通信できる。例えば、携帯型コンピュータ装置は、インターネット・サービス・プロバイダ（ＩＰＳ）を経由して、従ってインターネットを経由して、遠隔サーバシステムとインターネットでもって無線通信できる（ＩＰＳは、通信ネットワークの一部とみなされる）。この場合、栄養摂取データベース及び音声認識システムは、遠隔コンピュータシステム上に置くことができる。
【００３６】
別の実施形態において、例えばマイクロフォン又は他の音声受信装置から供給される音声信号は、通信ネットワーク上で音声認識システムを備えることができる遠隔コンピュータシステムへ送信できる。ダイエット記録ソフトウェアアプリケーションは、携帯型コンピュータ装置又は遠隔コンピュータシステム上で実行させることができる。メニュー表示、栄養摂取情報、ダイエット助言等は、携帯型コンピュータ装置の表示部上に表示できる。音声信号をアップロードするのに必要な通信速度は、遠隔コンピュータシステムから携帯型コンピュータ装置へ可視データをダウンロードするのに必要な通信速度よりも遅くてもよい筈である。従って、携帯型コンピュータ装置へのデータ転送、又はそこからのデータ転送を行うのに種々の通信ネットワークを使用できる。例えば、無線電話システムを遠隔コンピュータへデータを送信するのに使用でき、インターネット・サービス・プロバイダへの高速無線接続を表示部への表示データを受信するのに使用できる。
【００３７】
図１３は、インターネットであってもよい通信ネットワーク１２２上で遠隔サーバシステム１２４と通信する携帯型コンピュータ装置１２０を示す。装置１２０で受信される発声コマンドは、デジタル化された音声ファイルとしてサーバ１２０へ送信され、サーバは音声ファイルを音声認識システム１２６へ導く。次に、発声コマンドは、コンピュータ読み取り可能なコマンド（電子コマンド、又は音声コマンド信号）へ変換され、サーバのソフトウェアアプリケーションプログラムは、栄養摂取データベースからデータを選択することで、電子コマンドに応答できる。サーバのソフトウェアアプリケーションプログラムが生成したメニューは、コンピュータ装置１２０の表示部上で見ることができる。
【００３８】
製品コード
体重管理プログラムの一部として、体重管理会社は、使用者に包装済み食事を供給することができる。これらはダイエット記録への入力を容易にするための短縮コードを用いて識別できる。例えば、昼食は、音声コマンド又は他の方法でダイエット記録へ容易に入力できるＬＩ等のコードで識別できる。更に、栄養摂取データベースは、各々の製品コードと相関する栄養摂取情報をもつように、体重管理会社が提供できる。
製品識別子及び／又は栄養摂取コンテンツは、ＧｅｍｓｔｅｒＶＣＲコードと類似の数字（アルファベット数字）コードへアルゴリズム的に変換できる。これは、コード文字を発音することでこの簡略化されたデータをダイエット記録へ入力するのを容易にする。
【００３９】
運動記録
また、使用者は、類似の方法で携帯型コンピュータ装置へ運動を記録できる。運動及び活動は、携帯型コンピュータ装置、モジュール、又は携帯型コンピュータ装置と通信する他の装置のメモリに格納されている運動データベース内に階層方式でグループ化できる。携帯型コンピュータ装置は、ダイエット記録、運動記録、カロリーバランス計算、時間表示、位置表示、オーガナイザー、ワードプロセッサ等の幾つかの動作モードをもつことができ、任意の従来の方法でもって各動作モード間を切換えることができる。
【００４０】
カロリーバランス
使用者は、間接カロリーメータ等の代謝率メータを用いて安静代謝率（ＲＭＲ）を決定できる。ＲＭＲは、音声認識を用いるアラビア数字の発声等の任意の従来の方法でもって携帯型コンピュータ装置へ入力できる。次に、カロリー管理ソフトウェアは、ダイエット記録入力、運動記録入力（及び／又は推定活動レベル）、及びＲＭＲを用いてカロリーバランスを計算するのに使用できる。
【００４１】
ＰＤＡ−携帯電話
従来から知られているように、ＰＤＡ等の携帯型コンピュータ装置は、無線電話の機能性を組み合わせて、ＤＡＰ（ｄｉｇｉｔａｌ　ａｓｓｉｓｔａｎｔ−ｐｈｏｎｅ）と呼ぶこともある単一の装置にするのが容易である。この場合、マイクロフォンはＤＡＰ内にあり、ダイエット記録ソフトウェアの音声コマンド作動を実現するために使用できる。ＤＡＰのスピーカは、適切な又は不適切な音声認識を示すノイズ等の使用者へのフィードバックを与えるために使用できる。本明細書で用いる場合、携帯型コンピュータ装置という用語は、ＤＰＡ等の付加的な機能性を備える装置を含む。
【００４２】
スピーカを備える携帯型コンピュータ装置を使用すると、音声合成を利用して使用者と対話することができるので、メニューを表示するための表示部は必要なくなる。この場合、メニューは、合成音声によって提供することができる。例えば、使用者は、携帯型コンピュータ装置に単語「ダイエット」を発声する。装置は、「ダイエット記録が作動しました。現在午後１２時１０分です。昼食の食品種類は、１−ブリート、２−サンドイッチ、３−ヨーグルト、４−その他です。番号を発声してください。」と応答する。使用者が番号「１」と発声すると、装置は、「ブリートが選択されました。１−ビーン、２−ビーフ、３−ビーフ、４−チキンを選択してください。」と応答する。使用者が番号「３」と発声すると、装置は、「チキンブリートを全部食べましたか。」と応答する。使用者が「はい」と応答すると装置は「分かりました。チキンブリートがダイエット記録に入力されました。本日の午後に走るのを忘れないでください。」と応答する。
【００４３】
双方向テレビ
また、携帯型装置は、デジタル式双方向テレビ又は他の娯楽装置を遠隔操作するのに使用できる。発声コマンドは、例えば、デジタル化音声ファイルを家庭用通信端末へ無線送信する携帯型装置へ発声することで、デジタル式双方向テレビの家庭用通信端末へ送信することができる。家庭用通信端末又はこれと通信する遠隔サーバ等の他の装置は、デジタル化音声ファイルをテキスト及び／又は数字等の電子データへ変換するための音声認識システムを有する。電子データは、デジタル式双方向テレビのチャンネル選択、又はデジタル式双方向テレビに表示されている食品項目メニュー等のメニュー選択に使用できる。音声コマンドは、場合によっては携帯型装置から遠隔制御の形式（ｆｏｒｍ　ｆａｃｔｏｒ）でもって、無線電話ネットワーク上から音声認識システムを有する遠隔コンピュータへ送信でき、次に、遠隔コンピュータは、受信又は解釈コマンドに応答して、双方向テレビの表示部に対応する可視メニュー表示、選択指令、チャンネル選択、番組選択等を表示させる。
【００４４】
物理位置決定
更に、携帯型コンピュータ装置又はアドオン式ハードウェアモジュールは、グローバル・ポジショニング・システムや三角測量システム等の物理位置決定ユニットを備えることができる。位置は、食品小売データベースを使用して食品小売店の位置と、従ってメニュー及び入手可能な食品リストと相関させることができる。従って、本発明による携帯型コンピュータ装置は、食品メニューを使用者の位置に基づいて使用者へ示すことができる。使用者がレストラン内に居る場合、メニューは、携帯型コンピュータ装置の表示部に表示することができる。従って、使用者は、本明細書で説明する音声認識システムを使用して表示メニューから選択できる。従って、栄養摂取データベースは、選択項目からダイエット記録を作成するのをアシストする。
【００４５】
手首装着型装置
本発明の実施形態は、使用者の手首の周りのストラップによって腕時計の形態で支持されている携帯型装置を備えることができる。装置の表示部は、時間、他のデータ、娯楽、及び使用者への食品メニューを表示するのに利用できる。ハウジング内のマイクロフォンは、発声コマンドを聴取するのに使用できる。デジタル化音声ファイル等の音声信号は、使用者が携行するか又はそれを用いて使用者が対話できる別の装置に送信できる（例えば、ＰＤＡ、デスクトップコンピュータ、娯楽装置、遠隔コンピュータ等）。メニュー選択肢の表示は、ＰＤＡ等の他の装置の表示部に表示できる。
【００４６】
制限された表示能力
複雑な表示は、使用者にメニュー形式でもって全ての選択肢を表示するのに適さない場合もある。この場合、使用者は、必要な選択肢の最初の文字を発声して、その文字で始まる食品項目又は食品種類を制限することができる。次に、他の文字や番号を発声して更に表示を制限するか、又は項目を選択することができる。
当業者であれば、開示されている本発明の実施形態の他の変形例を理解できる筈である。これらの変形例は、本発明の精神又は範囲から逸脱するものではなく、従って、開示されている実施形態は広義に解釈されるべきである。
【図面の簡単な説明】
【図１】
携帯型コンピュータ装置に挿入中のハードウェアモジュールを示す。
【図２】
挿入済みハードウェアモジュールを有する携帯型コンピュータ装置を示す。
【図３】
挿入済みハードウェアモジュールを有する携帯型コンピュータ装置を示す。
【図４】
使用者が穀物名をダイエット記録へ追加することができる、装置表示部上のメニュー表示の例を示す。
【図５】
使用者が穀物名をダイエット記録へ追加することができる、装置表示部上のメニュー表示の例を示す。
【図６】
使用者が穀物名をダイエット記録へ追加することができる、装置表示部上のメニュー表示の例を示す。
【図７】
使用者が穀物名をダイエット記録へ追加することができる、装置表示部上のメニュー表示の他の例を示す。
【図８】
使用者が穀物名をダイエット記録へ追加することができる、装置表示部上のメニュー表示の他の例を示す。
【図９】
使用者が穀物名をダイエット記録へ追加することができる、装置表示部上のメニュー表示の他の例を示す。
【図１０Ａ】
本発明の実施形態に使用できる携帯型コンピュータ装置の概略図を示す。
【図１０Ｂ】
本発明の実施形態に使用できるハードウェアモジュールの概略図を示す。
【図１１】
ダイエット記録を行う方法を示すフローチャートである。
【図１２Ａ】
メニュー表示を制限するために認識文字を使用するようになっている、表示部上の表示を示す。
【図１２Ｂ】
メニュー表示を制限するために認識文字を使用するようになっている、表示部上の別の表示を示す。
【図１３】
遠隔サーバに対する通信リンクを使用して栄養摂取データベース及び音声認識システムにアクセスするようになったシステムの概略図を示す。

Claims

携帯型コンピュータ装置の付属品インタフェースと係合するように構成されているモジュールハウジングと、
使用者からの音声コマンドを受信して、電気的音声信号を出力するようになっている音声受信装置と、
前記音声受信装置からの前記電気的音声信号を受信し、音声コマンドを識別すると共に対応する電気的音声コマンド信号を携帯型コンピュータ装置へ伝送する音声認識システムと、
を備える携帯型コンピュータ装置のための音声認識モジュールであって、
前記電気的音声コマンド信号は、携帯型コンピュータ装置上で実行されるソフトウェアアプリケーションプログラムの作動を制御するのに使用されることを特徴とする音声認識モジュール。
栄養摂取データベースを更に備え、前記栄養摂取データベースは、食品項目識別子、及び複数の食品項目に関する関連栄養摂取データを含むことを特徴とする請求項１に記載の音声認識モジュール。
前記関連栄養摂取データは、前記食品項目識別子の各々に関連するカロリーコンテンツを含むことを特徴とする請求項２に記載の音声認識モジュール。
前記ソフトウェアアプリケーションプログラムは、前記電気的音声コマンド信号の制御の下で前記栄養摂取データベースから選択食品項目識別子を選択するようになっていることを特徴とする請求項２に記載の音声認識モジュール。
前記ソフトウェアアプリケーションプログラムは、更に使用者のダイエット記録を作成できるように、前記選択食品項目識別子及び前記関連栄養摂取データをメモリ内に格納するようになっていることを特徴とする請求項４に記載の音声認識モジュール。
表示部と、
マイクロプロセッサと、
メモリと、
複数の食品項目識別子の各々に関連する栄養摂取データデータベースと、
発話入力に相関する電気的音声コマンド信号を出力する音声認識システムと、
前記マイクロプロセッサにより実行され、前記表示部上に食品項目識別子の食品メニューを表示し、前記音声認識システムから受信した前記電気的音声コマンド信号に基づいて食品メニューから食品項目識別子を選択し、選択食品項目のダイエット記録を作成できるように、前記選択食品項目識別子に関連する栄養摂取データを格納するようになっているソフトウェアアプリケーションプログラムと、
を備えることを特徴とする携帯型コンピュータ装置。
複数の食品項目識別子の各々に関連する栄養摂取データの前記データベースは、前記食品項目識別子で表される食品項目のカロリーコンテンツを含むことを特徴とする請求項６に記載の携帯型コンピュータ装置。
前記データベースは、階層形式で配列されており、特定の食品項目は属種により特徴付けされ、前記ソフトウェアアプリケーションプログラムは、更に前記表示部上に属種メニューを表示し、前記電気的音声コマンド信号を受信すると前記属種メニューから属種を選択するようになっていることを特徴とする請求項６に記載の携帯型コンピュータ装置。
マイクロプロセッサ、表示部、及び付属品ポートを備える携帯型コンピュータ装置のための付属品モジュールであって、
前記付属品ポートと通信するようになっているインタフェースと、
メモリと、
前記メモリに格納され、関連の食品項目栄養摂取コンテンツを有する複数の食品項目識別子の各々と相関する栄養摂取データベースと、
前記メモリに格納され、前記表示部上に食品項目識別子メニューを表示できるように前記マイクロプロセッサによって実行可能であり、更に、音声コマンド信号を受信すると前記食品項目識別子メニューから食品項目選択を選択するようになっており、更に、使用者のダイエット記録内に前記食品項目選択及び相関栄養摂取コンテンツを格納するようになっているソフトウェアアプリケーションプログラムと、
を備えることを特徴とする付属品モジュール。
前記複数の食品項目識別子の各々に関する前記関連の食品項目栄養摂取コンテンツは、前記複数の食品項目識別子の各々に関するカロリーコンテンツを含むことを特徴とする請求項９に記載の付属品モジュール。
前記音声コマンド信号は、前記付属品モジュール上に存在する音声認識システムによって与えられることを特徴とする請求項９に記載の付属品モジュール。
前記音声コマンド信号は、前記携帯型コンピュータ装置上にある音声認識システムによって与えられることを特徴とする請求項９に記載の付属品モジュール。
使用者のダイエット記録を作成する方法であって、
使用者に対して食品種類識別子メニューを示す段階と、
使用者からの種類選択音声コマンドを受信する段階と、
前記種類選択音声コマンドを選択食品種類識別子と相関させる段階と、
使用者に対して前記選択食品種類識別子と階層的関係にある食品項目識別子メニューを示す段階と、
使用者からの項目選択音声コマンドを受信する段階と、
前記項目選択音声コマンドを選択食品項目識別子と相関させる段階と、
使用者のダイエット記録を作成できるように、前記選択食品項目識別子及び関連栄養摂取データをメモリ装置に格納する段階と、
を含むことを特徴とする方法。
前記選択食品項目識別子は、栄養摂取データベースを使用して、関連栄養摂取データと相関されることを特徴とする請求項１３に記載の方法。
前記メニューは、使用者が携行する携帯型コンピュータ装置の表示部上に表示されることを特徴とする請求項１３に記載の方法。
使用者に対して表示される前記メニューは、使用者の位置に基づいて選択されることを特徴とする請求項１５に記載の方法。
音声コマンドを選択識別子に相関させる前記段階は、前記携帯型コンピュータ装置で実行されるソフトウェアアプリケーションプログラムによって実行されることを特徴とする請求項１５に記載の方法。
音声コマンドを選択識別子に相関させる前記段階は、前記携帯型コンピュータ装置と通信する遠隔コンピュータシステムで実行されるソフトウェアアプリケーションプログラムによって実行されることを特徴とする請求項１５に記載の方法。