JP2004503887A - 携帯情報端末用音声認識装置 - Google Patents
携帯情報端末用音声認識装置 Download PDFInfo
- Publication number
- JP2004503887A JP2004503887A JP2002511327A JP2002511327A JP2004503887A JP 2004503887 A JP2004503887 A JP 2004503887A JP 2002511327 A JP2002511327 A JP 2002511327A JP 2002511327 A JP2002511327 A JP 2002511327A JP 2004503887 A JP2004503887 A JP 2004503887A
- Authority
- JP
- Japan
- Prior art keywords
- food item
- user
- menu
- voice command
- voice
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 235000005911 diet Nutrition 0.000 claims abstract description 52
- 230000037213 diet Effects 0.000 claims abstract description 52
- 235000013305 food Nutrition 0.000 claims description 102
- 235000016709 nutrition Nutrition 0.000 claims description 36
- 238000000034 method Methods 0.000 claims description 26
- 230000035764 nutrition Effects 0.000 claims description 16
- 235000018823 dietary intake Nutrition 0.000 claims description 12
- 230000000875 corresponding effect Effects 0.000 claims description 10
- 230000002596 correlated effect Effects 0.000 claims description 9
- 230000037221 weight management Effects 0.000 abstract description 7
- 230000007246 mechanism Effects 0.000 abstract description 2
- 238000004891 communication Methods 0.000 description 23
- 235000012054 meals Nutrition 0.000 description 11
- 235000013339 cereals Nutrition 0.000 description 10
- 230000002452 interceptive effect Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 238000013479 data entry Methods 0.000 description 6
- 235000008429 bread Nutrition 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000005236 sound signal Effects 0.000 description 4
- 230000001755 vocal effect Effects 0.000 description 4
- 241001422033 Thestylus Species 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 235000021152 breakfast Nutrition 0.000 description 3
- 235000015872 dietary supplement Nutrition 0.000 description 3
- 239000003607 modifier Substances 0.000 description 3
- 239000000047 product Substances 0.000 description 3
- 241000287828 Gallus gallus Species 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000006071 cream Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 210000004247 hand Anatomy 0.000 description 2
- 239000004615 ingredient Substances 0.000 description 2
- 230000037323 metabolic rate Effects 0.000 description 2
- 235000013336 milk Nutrition 0.000 description 2
- 239000008267 milk Substances 0.000 description 2
- 210000004080 milk Anatomy 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 241000538568 Brachydeuterus auritus Species 0.000 description 1
- 240000007124 Brassica oleracea Species 0.000 description 1
- 235000003899 Brassica oleracea var acephala Nutrition 0.000 description 1
- 235000011301 Brassica oleracea var capitata Nutrition 0.000 description 1
- 235000001169 Brassica oleracea var oleracea Nutrition 0.000 description 1
- 244000175448 Citrus madurensis Species 0.000 description 1
- 235000017317 Fortunella Nutrition 0.000 description 1
- 229920002472 Starch Polymers 0.000 description 1
- 240000008042 Zea mays Species 0.000 description 1
- 235000005824 Zea mays ssp. parviglumis Nutrition 0.000 description 1
- 235000002017 Zea mays subsp mays Nutrition 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 235000013361 beverage Nutrition 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 235000021450 burrito Nutrition 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000010411 cooking Methods 0.000 description 1
- 235000005822 corn Nutrition 0.000 description 1
- 235000013365 dairy product Nutrition 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 235000001916 dieting Nutrition 0.000 description 1
- 230000037228 dieting effect Effects 0.000 description 1
- 230000029087 digestion Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000037406 food intake Effects 0.000 description 1
- 235000012631 food intake Nutrition 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 229910052500 inorganic mineral Inorganic materials 0.000 description 1
- 235000013622 meat product Nutrition 0.000 description 1
- 239000011707 mineral Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 235000021485 packed food Nutrition 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 235000011888 snacks Nutrition 0.000 description 1
- 208000027765 speech disease Diseases 0.000 description 1
- 235000019698 starch Nutrition 0.000 description 1
- 239000008107 starch Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 229940088594 vitamin Drugs 0.000 description 1
- 229930003231 vitamin Natural products 0.000 description 1
- 235000013343 vitamin Nutrition 0.000 description 1
- 239000011782 vitamin Substances 0.000 description 1
- 150000003722 vitamin derivatives Chemical class 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick
- A61B5/749—Voice-controlled interfaces
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/053—Measuring electrical impedance or conductance of a portion of the body
- A61B5/0537—Measuring body composition by impedance, e.g. tissue hydration or fat content
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
- A61B5/083—Measuring rate of metabolism by using breath test, e.g. measuring rate of oxygen consumption
- A61B5/0833—Measuring rate of oxygen consumption
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
- A61B5/087—Measuring breath flow
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1112—Global tracking of patients, e.g. by using GPS
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/22—Ergometry; Measuring muscular strength or the force of a muscular blow
- A61B5/221—Ergometry, e.g. by using bicycle type apparatus
- A61B5/222—Ergometry, e.g. by using bicycle type apparatus combined with detection or measurement of physiological parameters, e.g. heart rate
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
- A61B5/339—Displays specially adapted therefor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4869—Determining body composition
- A61B5/4872—Body fat
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6813—Specially adapted to be attached to a specific body part
- A61B5/6814—Head
- A61B5/6815—Ear
- A61B5/6817—Ear canal
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6813—Specially adapted to be attached to a specific body part
- A61B5/6825—Hand
- A61B5/6826—Finger
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/683—Means for maintaining contact with the body
- A61B5/6838—Clamps or clips
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
- A61B5/6896—Toys
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/60—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to nutrition control, e.g. diets
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
- A61B2560/02—Operational features
- A61B2560/0295—Operational features adapted for recording user messages or annotations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
- A61B2560/04—Constructional details of apparatus
- A61B2560/0456—Apparatus provided with a docking unit
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
- A61B2560/04—Constructional details of apparatus
- A61B2560/0462—Apparatus with built-in sensors
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
- A61B2560/04—Constructional details of apparatus
- A61B2560/0462—Apparatus with built-in sensors
- A61B2560/0468—Built-in electrodes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
- A61B2560/04—Constructional details of apparatus
- A61B2560/0475—Special features of memory means, e.g. removable memory cards
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
- A61B2562/02—Details of sensors specially adapted for in-vivo measurements
- A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
- A61B5/0004—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
- A61B5/0008—Temperature signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
- A61B5/0015—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
- A61B5/0022—Monitoring a patient using a global network, e.g. telephone networks, internet
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/021—Measuring pressure in heart or blood vessels
- A61B5/022—Measuring pressure in heart or blood vessels by applying pressure to close blood vessels, e.g. against the skin; Ophthalmodynamometers
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/02438—Detecting, measuring or recording pulse rate or heart rate with portable devices, e.g. worn by the patient
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
- A61B5/14532—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue for measuring glucose, e.g. by tissue impedance measurement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
- A61B5/1455—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B7/00—Instruments for auscultation
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Physics & Mathematics (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Heart & Thoracic Surgery (AREA)
- Physiology (AREA)
- Primary Health Care (AREA)
- Otolaryngology (AREA)
- Epidemiology (AREA)
- Pulmonology (AREA)
- Cardiology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- General Business, Economics & Management (AREA)
- Physical Education & Sports Medicine (AREA)
- Radar, Positioning & Navigation (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Business, Economics & Management (AREA)
- Obesity (AREA)
- Emergency Medicine (AREA)
- Radiology & Medical Imaging (AREA)
- Nutrition Science (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- User Interface Of Digital Computer (AREA)
- Calculators And Similar Devices (AREA)
Abstract
携帯情報端末のための音声認識モジュールは、付属品スロット等のPDAの付属品機構と係合するように設計されているモジュールハウジングと;使用者からの音声コマンドを受けるためのマイクロフォンと;音声認識システムと;を備える。対応する電気的音声コマンド信号は、携帯型コンピュータ装置へ伝送され、携帯型コンピュータ装置で実行されるソフトウェアアプリケーションプログラムの作動制御が可能になる。詳細には、メニュー項目は、例えば体重管理プログラム中に、使用者のダイエット記録を作成するために選択可能である。
Description
【0001】
(技術分野)
本発明は、コンピュータ装置の音声認識機能に関する。詳細には、本発明は、体重管理プログラムを行っている使用者のダイエット記録を作成するために音声認識を利用することに関する。
【0002】
(背景技術)
パームパイロット、ハンドスプリング Visor、ハンドヘルドPC、及び同様の装置を含む携帯情報端末(PDA)等の携帯型コンピュータ装置は、その機能性及び自由度により急速に普及している。本出願の目的において、コンピュータ装置という用語は、デスクトップ、ラップトップ、ハンドヘルド、パームトップ、及び装着型コンピュータ、並びに携帯電話、双方向ページング装置、無線機、発信機、計算機、オーガナイザー、電子書籍、ナビゲーション装置、車両電子装置、デジタル双方向テレビ制御装置、及びコンピュータ機能をもつ他の電子装置を含む、付加的な機能を有する全てのコンピュータ装置を含むことを理解されたい。しかしながら、説明を容易にするために、本出願では、ハンドヘルド装置のパームパイロット・ファミリ(パーム社、サンタクララ、カリフォルニア州)及びハンドスプリングVisor(ハンドスプリング社、マウンテンビュー、カリフォルニア州)等の携帯型コンピュータ装置に注目することとする。
【0003】
これらの携帯情報端末(又はPDA)は、手書き文字認識及び単純なキーボードの種々の形態を含む種々の方法でのデータの入力を可能にするボタン及びタッチスクリーンを備える。特定の使用者又は用途に対しては、これらのデータ入力方法は不十分である。例えば、1日にどんな食事を摂取したか、又は旅行で何の費用がかかったか等の記録を入力しようとする使用者は、片方の手でPDAを保持してもう片方の手で入力スタイラスを握る必要がある。スタイラスは、ある意味では所望の入力を表示するタッチスクリーンに触るのに利用される。このことは使用者の両手を拘束し、適度の視力及び集中を必要とする。入力が手動操作ではなく使用者の音声でできることが望ましい。
【0004】
音声記録機能を有する幾つかのハンドヘルド装置は部分的な解決法をもたらすことができる。情報をPDAに瞬時に録音したいと思う使用者は、録音ボタンを押してマイクに向かって話す。その後で録音情報を再生することができる。残念ながら、この手法は、望ましいものには程遠い。音声記録は、音声から音声だけであり、誰かが録音された音声を聞いてデータを手動で入力する必要がある。最初の録音ステップは、手動操作よりも容易であろうが、手動操作はその後に行う必要があるので避けて通れない。使用者が命令及び情報を発声し、PDAがその命令に応答してテキストの形態で情報を記録するための、音声からテキストへの音声認識機能がより望ましいであろう。しかしながら、音声からテキストへの音声認識は非常に複雑であり、高性能なコンピュータ処理装置及び大きなデータ記憶能力を必要とする。現在のPDAは、僅かな必須の処理能力及び記憶装置を提供するに過ぎない。
音声認識ソフトウェア及びシステムは公知であり、例えば、引用によって本明細書に組み込まれているMazurkiewicz他の米国特許第5,749,072号及びKennedyIII他の米国特許第6,167,255号に説明されている。
【0005】
(発明の開示)
本発明によれば、現在利用可能なコンピュータ装置(PDAを含む携帯型コンピュータ装置など)及び音声認識ソフトウェアの制限は、簡略化された音声認識能力でもって機能するように設計されている簡易音声認識プログラム及びソフトウェアを提供することで解消される。音声認識ソフトェアの複雑性の多くは、所定の言語の多種多様な単語、及び多くのこれらの単語の音声の類似性に起因する。ソフトウェアは、非常に正確に発声音を捕捉できる必要がある。従って、ソフトウェアは、単語の前後関係、統計的可能性、及び特定の使用者の過去の用法を解析することによって、種々の選択対象の中からどの単語が発声されたかを決定する必要がある。また、各々の使用者は単語を一貫して発音しないので、ソフトウェアは特定の使用者を識別するように「訓練」する必要がある。音声認識の課題は、ソフトウェア及びハードウェアが解釈すべ語彙を人為的に制約することで非常に低減される。制約された語彙音声認識の例は、現在多くの電話システムに利用されており、使用者が番号0から9を押すこと又は番号を発声することのどちらかが可能になっている。この場合、音声認識ソフトェアは、区別が容易な10個の選択対象を認識及び区別することだけを必要される。
【0006】
本発明によれば、PDAに同様の機能を与えることができる。好適な実施形態において、PDAは、使用者が発声する0から9までの番号を認識できる。現在のPDAは、このハードウェア又はソフトウェア機能をもっていない。しかしながら、多くのPDAにはソフトウェアを追加することができる。また、多くのPDAは、アドオン式ハードウェアモジュールを収容することができる。例えば、ハンドスプリング社のVisorは、裏面に配置されたスプリングボードとして知られているスロット配列を備える。メモリモジュール等の種々のハードウェアモジュールをスプリングボードに挿入してハンドスプリング Visorの性能を強化することができる。同様に、パームパイロット・ファミリのハンドヘルドPDAは、チップオン式ハードウェアモジュールを収容して性能を強化することができる。将来のPDAは、新しい簡易ハードウェアを取付ける機能をもつことが期待されている。
【0007】
典型的には、PDAに挿入又は取付けられるハードウェアモジュールは、更にPDAの性能を強化して追加ハードウェアの利点を得るためのアプリケーションソフトウェアを備えることができる。例えば、ハンドスプリング Visorは、デジタルカメラモジュール、録音再生モジュール等の、多数のスプリングボード互換のハードウェアモジュールを収容する。これらのモジュールは、ハンドスプリング Visorのスプリングボード部と相互接続され、デジタルカメラのレンズ及び関連の電子機器、又は録音再生ハードウェア等のハードウェアを備える。このアドオン式ハードウェアは、ハンドスプリング Visorの既存の機能と協働してデジタルカメラ又はデジタル録音再生装置をもたらす。また、ハードウェアモジュールは、ハンドスプリング Visorのハードウェア及びアドオン式ハードウェアモジュールがアクセス又は使用することができる、搭載ソフトウェアを含む。このソフトウェアは、モジュール及びハンドスプリング Visorが通信すること及び強化された性能を提供することを可能にする。同様に、無線式モデム等のハードウェアモジュールは、パームパイロット・ファミリの幾つかと相互接続することができる。
【0008】
携帯情報端末のための音声認識モジュールは、PDAの付属品機構と係合するように構成されているモジュールハウジングと;使用者からの音声コマンドを受信する音声受信装置と;複数の音声コマンドを識別すると共に対応する電気的音声コマンドセットをPDAへ伝送する音声認識手段と;を備える。更に、携帯情報端末のための音声認識モジュールは、携帯型コンピュータ装置の付属品インタフェースと係合するように構成されているモジュールハウジングと;使用者からの音声コマンドを受信して、電気的音声信号を出力するようになっている音声受信装置と;音声受信装置からの電気的音声信号を受信して、音声コマンドを識別すると共に対応する電気的音声コマンド信号を携帯型コンピュータ装置へ伝送する音声認識システムと;を備え、電気的音声コマンド信号は、携帯型コンピュータ装置上で実行されるソフトウェアアプリケーションプログラムの作動を制御するのに使用される。音声受信装置は、マイクロフォンであってもよい。マイクロフォン信号の音声認識は、Mazurkiewiczの米国特許第5,749,072号の例えば図3に開示されている。モジュールは、食品項目識別子、及び複数の食品項目に関する関連栄養摂取データを更に含むことができる。栄養摂取データは、食品項目識別子の各々に関連するカロリーコンテンツ、脂肪コンテンツ、繊維コンテンツ、蛋白質コンテンツ、血糖値、ミネラルコンテンツ、ビタミンコンテンツ、及び栄養摂取成分を含むことができる。ソフトウェアアプリケーションプログラムは、電気的音声コマンド信号の制御の下で前記栄養摂取データベースから選択食品項目識別子を選択し、更に使用者のダイエット記録を作成できるように前記選択食品項目識別子及び前記関連栄養摂取データをメモリ内に格納できるようになっている。
【0009】
本発明による携帯型コンピュータシステムは、表示部と;マイクロプロセッサと;メモリと;複数の食品項目識別子の各々に関連する栄養摂取データデータベースと;発話入力に相関する電気的音声コマンド信号を出力する音声認識システムと;マイクロプロセッサにより実行され、表示部上に食品項目識別子の食品メニューを表示し、音声認識システムから受信した電気的音声コマンド信号に基づいて食品メニューから食品項目識別子を選択し、選択食品項目のダイエット記録を作成できるように選択食品項目識別子に関連する栄養摂取データを格納するソフトウェアアプリケーションプログラムと;を備える。栄養摂取データベースは階層形式で配列されており、特定の食品項目は属種により特徴付けすることができ、ソフトウェアアプリケーションプログラムは、更に表示部上に属種メニューを表示し、電気的音声コマンド信号を受信すると属種メニューから属種を選択するようになっている。
【0010】
携帯型コンピュータ装置のための改良された付属品モジュール(体重管理プログラムの一部としてダイエット記録を行うのに使用できる統合システム)は、携帯型コンピュータ装置の付属品ポートと通信するようになっている電気的インタフェースと;メモリと;メモリに格納され、関連の食品項目栄養摂取コンテンツを有する複数の食品項目識別子の各々と相関する栄養摂取データベースと;メモリに格納され、表示部上に食品項目識別子メニューを表示できるようにマイクロプロセッサによって実行可能であり、更に音声コマンド信号を受信すると食品項目識別子メニューから食品項目選択を選択するようになっており、更に使用者のダイエット記録内に食品項目選択及び相関栄養摂取コンテンツを格納するようになっているソフトウェアアプリケーションプログラムと;を備える。栄養摂取コンテンツは、カロリーコンテンツ、ダイエット成分コンテンツ、及び食品項目の他の栄養摂取成分を含むことができる。音声コマンド信号は、携帯型コンピュータ装置の付属品モジュール上、又は携帯型コンピュータ装置と通信する他の装置上に存在する音声認識システムによって与えられる。
【0011】
使用者のダイエット記録を作成する方法であって、使用者に対して食品種類識別子メニューを示す段階と;使用者からの種類選択音声コマンドを受信する段階と;種類選択音声コマンドを選択食品種類識別子と相関させる段階と;使用者に対して選択食品種類識別子と階層的関係にある食品項目識別子メニューを示す段階と;使用者からの項目選択音声コマンドを受信する段階と;項目選択音声コマンドを選択食品項目識別子と相関させる段階と;使用者のダイエット記録を作成できるように選択食品項目識別子及び関連栄養摂取データをメモリ装置に格納する段階と;を含む。選択食品項目識別子は、栄養摂取データベースを使用して関連栄養摂取データと相関される。メニューは、使用者が携行する携帯型電子装置の表示部上に表示できるが、携帯型電子装置としては、携帯情報端末(PDA)、他の携帯型コンピュータ装置、装着型コンピュータシステム、電子ブック、電子手帳、デジタルオーガナイザー、無線電話、デスクトップコンピュータ、ウェブテレビ、デジタル双方向テレビ、タブレットコンピュータ、バイザ装着型表示システム等が挙げられる。使用者に対して表示されるメニューは、例えば、使用者が入力するか、ローカル無線ネットワークから送信されるか、又はグローバル・ポジショニング・システム(GPS)等の位置報告システムによって決定される、使用者の位置に基づいて選択することができる。発声コマンドを選択識別子と相関させることは、携帯型コンピュータ装置、携帯型コンピュータ装置の付属品モジュール、又は通信ネットワーク上で携帯型コンピュータ装置と通信する遠隔コンピュータシステム等の携帯型コンピュータ装置と通信する他の装置で実行されるソフトウェアアプリケーションプログラムによって実行できる。
【0012】
別の実施形態において、発声コマンドはメモリ内に格納され、その後で解析することができる。
更に、コンピュータ装置は、別個の音声受信装置(例えばリスト装着型装置)、プロセッサモジュール(例えば、プロセッサ、メモリ、及び音声認識システムを有するプラグイン式ハードウェアモジュールを備えるベルト装着型コンピュータ)、及び表示装置(例えば、バイザー装着型表示部)等のシステムを備えることができる。各構成部品は無線通信を行い一体型装置として機能することが好ましい。
【0013】
無線通信方法としては、ブルートゥース(Bluetooth)、エリクソン社(スエーデン)及び他社が開発した無線通信プロトコル、IEEE802.11(b)等、無線イーサネット等のローカル無線ネットワーク、IR、光、及び超音波方式を挙げることができる。各装置間の無線通信方式は、利便性を高めるが、無線通信方式に代えて有線接続を使用することもできる。
2000年6月16日に出願されたJames R. Maultの米国仮出願番号60/212,319は、引用によって本明細書に組み込まれている。
【0014】
(発明を実施するための最良の形態)
本発明によれば、PDA等の携帯型コンピュータ装置に相互接続するハードウェアモジュールが設けられている。ハードウェアモジュールは、音声を受けるマイクロフォンを含み、更に開閉スイッチ及び感度調整器等の他の制御装置を含むこともできる。本発明の1つの実施例は、図1及び図2に概略的に示されている。携帯型コンピュータ装置10は、ハードウェアモジュール12を収容するが、図示のようにハードウェアモジュール12は、携帯型コンピュータ装置10の裏面のスロット16に滑り込むようになっている。ハードウェアモジュール12は、使用時に携帯型コンピュータ装置の上側になるようにモジュールの縁部近傍に配置されているマイクロフォン14を備える。マイクロフォンを既に備えている携帯型コンピュータ装置ではマイクロフォンをモジュールから省くことができる。モジュールは、携帯型コンピュータ装置のスロットに挿入される場合に携帯型コンピュータ装置が簡易音声認識になることができるように、ハードウェア及びソフトウェアの両方を備えることが好ましい。
【0015】
図3は、別の実施形態を示し、モジュール26は、携帯型コンピュータ装置20の下側のスロット内に挿入される。モジュールの一部は露出しており、使用者がマイクロフォン28に向かって発声できるようになっている。携帯型コンピュータ装置は、表示部22及びデータ入力キー24を有する。表示部は、メニュー表示領域22及びユーザ指示領域22bに分割されている。しかしながら、この分割は本発明の実施形態では重要ではない。
【0016】
以下に図4から図6を参照して、簡易音声認識モジュールの使用例を説明する。図面において、携帯型コンピュータ装置は、複数の選択対象を与えるためのテキストメニューを表示するように示されている。ハードウェアモジュールは示されていない。本実施例において、携帯型コンピュータ装置は、食事摂取を記録するのに使用される。図4において、携帯型コンピュータ装置は、食事の種類に関する6つの選択肢のメニューを表示する。食事摂取ソフトウェアをもたらすソフトウェアは、ハードウェアモジュール、追加のモジュール、又はロードされるソフトウェアの一部であってもよく、又は既に携帯型コンピュータ装置の一部であってもよい。音声認識モジュールを使用すると、食事の種類に対する選択番号を発話するだけでよい。例えば、朝食に関する情報を入力使用とする場合、「ワン」と発声する。このことは携帯型コンピュータ装置のスタイラス又はボタンを使用して番号「1」を入力するのと同じことである。この選択により図5に示すような第2のメニューが表示される。このメニューにおいて、複数の朝食の選択対象が表示される。ホットクリームを選択したい場合は、「ツー」と発声する。これによりソフトウェアに同様に選択対象が入力され、ソフトウェアは図6に示すような第3のメニューを表示する。この第3のメニューはホットクリームに関する種々の選択対象を表示する。当業者であれば、ダイエットのための項目を選択することを可能にする、非常に簡略化された方法でもって、どのようにこのプロセスを継続できるかは明らかであろう。次に、選択項目及び関連の栄養摂取データは、個人のダイエット記録に記憶させることができる。この方法は、所要経費追跡等のデータ入力にも同様に適用できる。
【0017】
当業者であれば理解できるように、携帯型コンピュータ装置は、多種多様なソフトウェアアプリケーションを利用できる。本発明によれば、ハードウェアモジュール及びこれが実行するソフトウェアは、多数のソフトウェアアプリケーションを取り扱うように設計されている。つまり、ハードウェア及びソフトウェアモジュールは、携帯型コンピュータ装置に組み込まれ通信するようになっている。番号を発声すると携帯型コンピュータ装置で実行されるソフトウェアに番号を入力するためにスタイラスを使用したのと同じ入力が与えられる。また、本発明によれば、同じハードウェアモジュール又は別のハードウェアモジュールに追加の語彙を与えてもよい。例えば、多くの携帯型コンピュータ装置の機能は、アップ又はダウンボタンを必要とする。この目的のために、ハードウェアモジュールは、命令「アップ」及び「ダウン」を認識できる。また、携帯型コンピュータ装置の最も一般的に使用される機能の幾つかに関するコマンドを認識できるが、データブックの「データ」、予定(to do)リストの「予定(to do)」、及びアドレスリストの「アドレス」又は「電話」、並びに携帯型コンピュータ装置の動作モードを変更するためのコマンドが含まれる。また、ハードウェアモジュールは、幾つかのAからJまでの文字又は全てのアルファベット、英数字セット、又はアルファベットA−Zに関する「alpha」「bravo」等の文字に対応する単語セット等を認識できる。更に、コマンド操作を簡略化するための「戻る」「削除」「入力」等の少数の特別な単語を小規模の認識リストに追加できる。音声認識能力は、モジュールのハードウェア及びソフトウェアの複雑性に完全に依存することは明らかである。従って、特定のアプリケーションでは、非常に単純な音声認識モジュールで十分な場合もある。この場合、数字0から9までの認識で十分である。携帯型コンピュータ装置のソフトウェア及びハードウェア能力が改善されるにつれて、特定のアプリケーションに対して更に複雑なモジュールが望まれることになる。
【0018】
ハードウェアモジュールは、携帯型コンピュータ装置に対する専用の付属品であってもよく、又はPCMCIA及びミニチュアカード規格等の公知の規格に準拠するものであってもよい。音声認識システムを組み込むことで本発明で使用するために好都合に変更できる、撮像機能を備える付属品モジュールの設計は、引用によって本明細書に組み込まれているErldcila他の米国特許第6,219,560号に開示されている。
【0019】
当業者であれば理解できるように、本発明は、データ入力に関して多くの利点をもたらす。ダイエット情報を早く入力する一例として、単純に単語「ワン」「ツー」「ワン」を素早く繰り返すことで選択対象を入力できる。このことは多くの使用者による手動入力よりも簡単でより好ましい。また、一部の使用者は器用さに欠けるので、スタイラス、キーボード、又は他の手動入力機器を扱うのが難しい場合もある。音声認識モジュールは、スタイラスを握る必要がないので、片手で又は全く手を使うことなく装置を使用することを可能にする。
【0020】
別の実施形態において、マイクロフォン及び送信器を備える音声受信モジュールは、襟又は皮膚等の口の近くに取り付けることができ、音声信号をPDA、デスクトップコンピュータシステム、リモートサーバ、双方向テレビの通信端末等のコンピュータ装置へ送信することができる。使用者は、コンピュータ装置の表示部に表示されるメニューを見て、マイクロフォンに対する発声コマンドを用いて項目を選択することができる。更に、音声受信モジュールは、発振器を備えることができ、マイクロフォンで受信した信号は、使用者の口の形で、例えば、言葉を出す(文字、数字、食品の名前等の)行為によって修正できるので、例えば、使用者が聞こえるように発声することなく静かに発声された言葉でもってコマンドをコンピュータ装置へ入力することができる。
【0021】
ダイエット記録
図4から図6に関連して説明したように、メニュー選択の音声制御は、ダイエット記録を作成するのに有用である。引用によって本明細書に組み込まれているWilliamsの米国特許第5,704,350号及び米国特許第4,891,756号には、階層化メニューシステムにより食品の項目を選択することが説明されている。この階層化手法は、ダイエット記録作成のための音声認識と好都合に組み合わせることができる。また、ダイエット記録のためのソフトウェアアプリケーションプログラムは、引用によって本明細書に組み込まれている2000年10月13日に出願された米国仮出願番号60/240,185に開示されている。このプログラムは、音声認識システムにより解釈される発声コマンドに応答するソフトウェアプログラムによって可能になるメニュー選択方法を適用することで、本発明の実施形態に用いるために好都合に変更できる。他のダイエット記録ソフトウェアは、例えば、Kretschの米国特許第5,233,520号に説明されているように本技術分野では公知である。
【0022】
本発明の実施形態において、最初に使用者には、図7に示すメニューリストのような食品の種類に関する上層のメニューが示される。前述のように、使用者は、各々の食品の種類の識別子に関連する番号を発声する。また、使用者は、1つ又はそれ以上のメニューリストの最初の文字に対応する文字を発声する。メニューリストは、選択されることになる固有の項目に、又は各々発声文字で始まる幾つかの項目に縮小できる。使用者は、選択対象を限定するために第2の文字を発声でき、必要であれば第3の文字を発声することもできる。
【0023】
複合単語リストが表示される場合、選択対象を限定するために、第2の(又はそれ以降の)発声文字をその文字で始まる第2の単語を有するリストに対して適用できる。例えば、パンが、bread,rye;bread,brown;bread,pumpernickel等で表示される場合、使用者は、bread,ryeを選択するために「B...R」と発声できる。
【0024】
図7に関連して、使用者は、穀物(cereal)を選択するために「1」又は「C」と発音できる。別の実施形態において、音声認識システムの語彙は、メニュー上に表示される単語及び個数により自動的に制限される。この場合、単語「cereals」は、音声認識システムによって、他の単語選択肢から確実に区別される。この場合、最初の音節だけが他の選択対象から「cereals」を区別するのに使用できる。
【0025】
図8は、別の食品項目識別子のメニューを示し、使用者が図7のメニューから穀物を選択した後で表示される。
図9は、食品項目識別子を選択した後で使用者に表示される摂取量メニューを示す。
【0026】
図10Aは、本発明の実施形態に使用できる携帯型コンピュータ装置の概略図を示し、マイクロプロセッサ(プロセッサ)32、メモリ34(ROM、RAMモジュール、及び他のメモリ形式及び組み合わせを備えることができる)、ユーザインタフェース36(ボタン、スタイラス、及び他のデータ入力機器を備えることができる)、表示部38(表示ドライバを備える)、周辺機器39(別の表示部、指示部、プリンタ、ブザー、スピーカ、モデム、ドライバ等を備えることができる)、付属品インタフェース42、及びハードウェアモジュール44を備えている。図10Bは、本発明の実施形態に使用できるハードウェアモジュール44の可能性のある概略図を示し、マイクロフォン46、アナログ−デジタル変換器48、信号処理装置50、音声解析回路52、及び栄養摂取データベース58を備えている。本実施例において、数値発話等のコマンドは、音声解析回路52によって解釈され、音声解析回路52はマイクロプロセッサ32での解釈に備えて対応する電気信号をインタフェース42へ送信する。また、栄養摂取データベースは、携帯型コンピュータ装置で実行されるソフトウェアアプリケーションプログラムがアクセス可能である。別の実施形態において、モジュール44は、プロセッサ及び追加のメモリを備えることができ、ダイエット記録ソフトウェアは、モジュールで実行されて、表示部38に情報を表示し、ダイエット記録をモジュールのメモリ上、メモリ34内、又は通信回線上でアクセスされる遠隔コンピュータ等の遠く離れた記憶場所のいずれかに格納できる。
【0027】
図11は、本発明による、ダイエット記録の一部を作成する方法を示す。ボックス70は、例えば、単語「ダイエット」を発声することによるコンピュータ装置の動作モードの選択に対応する。運動記録用の「エクササイズ」、カロリーバランス計算用の「バランス」、アドレスブック用の「アドレス」等のこの段階で認識できる別の単語を含むこともできる。ボックス72は、「ダイエット記録へようこそ」の画面の表示に対応し、データ入力方法の概要を含むことができる。ボックス74は、使用者へのメニューの表示を変更するための利用可能な情報の使用に対応する。ボックス76は、例えば、時間帯に適するような食品の種類、又はステップ74で決定された他の情報の表示に対応する。ボックス78は、例えば音声認識方法を使用した食品の種類の選択に対応する。ボックス80は、選択した食品の種類に基づく食品項目の表示に対応する。ボックス82は、例えば、特定の名前又はコード等の識別子による、食品項目の選択に対応する。ボックス84は、関連情報の表示メニューに対応する。ボックス86は、関連情報の選択に対応する。
【0028】
ボックス74に関連して、利用可能な情報は、場所、購入情報、時間、既知の嗜好、体重管理会社から供給される既知の食事、ダイエット目標等を含むことができる。情報は、コンピュータ装置のメモリ内に格納されるか、通信回線上で受信されるか、予めプログラムされるか、又は以前の習性に基づくか、又は他の方法及び情報源で決定される。例えば、昼食時間に対応する時間に、昼食メニューを表示することができる。他の食事時間及び軽食時間は、以前に収集したデータを用いて特定の食品の消化に相関させることができる。使用者の場所が分かる場合(例えばGPS、携帯電話三角測量、又はローカル無線ネットワーク方式で)、メニューは、それに応じて表示することができる。特定のレストランに居る使用者には、そのレストランに応じたダイエット記録選択肢を表示できる。自宅に居る使用者には、例えば、以前の購入情報又は既知の嗜好情報を用いて自宅で知られている食品リストを表示できる。事務所に居る使用者には、そこで摂取される一般的な食品をメニューとして表示できる。使用者の場所と摂取した食品との間には大きな相関がある場合が多い。この相関は、ソフトウェアの学習プロセスで定めること、予めプログラムすること、又は使用者が入力することができる。従って、食品と場所との相関は、使用者へのメニュー表示を制限するのに利用できる。食品を自動販売機又は同様の食品販売機から調達した場合、又はこのような販売機が近くで検出された場合、入手可能な食品に関連するメニューを表示できる。また、個人支出情報を利用でき、例えばレストラン又は食品小売店との間で取引が生じた場合、この情報は、摂取した食品を決めるのに役立つように利用できる。例えばクレジットカードの取引記録から以前に購入した食事の身元が分かれば、その食品の身元をダイエット記録に入力でき、従って、本発明の方法は、例えば分量の画分とし、摂取した食品の量を記録するのに使用できる。
【0029】
更にボックス86に関連して、別の情報として、摂取量、調理方法、付随項目又は欠落、摂取した食事の画分等を含むことができる。例えば、使用者が食品項目識別子としてコーンフレークを選択する場合、摂取量及びミルクの量を入力することを要求されることになる。このことは選択肢メニューを押して発声選択対象を受信することで行われるが、場合によってはボックス82で選択した食品項目に基づく2つ以上のメニューを使用して行われる。
【0030】
図12Aは、受信した音声コマンドを表示するウィンドウ102を有するコンピュータ装置の表示部100を示す。本実施例において、音声コマンドとして文字A−Zを使用できるが、数字等の他の限定された語彙を使用することもできる。使用者が文字「C」を発声すると、音声認識システムはこれを認識してウィンドウ102の位置104に表示する。食品項目識別子メニュー(又は、使用中のダイエット記録方法及び階層に基づく種類)は、表示文字「C」で始まる。使用者がキャベツを食べた場合、使用者は文字「A」を発声して他の表示選択肢と区別する。必要に応じて、残っている唯一のメニュー選択肢であれば、別の文字を入力して更に選択される項目を有するメニューを限定することができる。単語「戻る」(又は同義語)により、表示文字を削除して対応する食品項目識別子の限定された選択を解除することができる。
【0031】
図12Bは、ウィンドウ102に表示されている文字「K」、及び2つのダイエット記録選択肢、「キンカン(kumquat)」及び「塩漬けキンカン(pickled kumquat)」を示す。この場合、第2の単語の最初の文字である文字「P」を発声することで「塩漬け(pickled)」選択肢を選択できる。この全体的な手法は、幾つかの修飾語句又は複数の修飾語句でもって単一の食品項目名を繰り返す場合が多いのでダイエット記録を行う上で有用である。この場合、基本名称の最初の文字(例えば、「milk」には「M」)及び修飾語句の最初の文字(例えば、「skim」には「S」)の発声は、迅速なダイエット記録項目の音声認識選択を行うのに使用できる。基本名称の最初の文字は、基本(非修飾)項目を選択するために繰り返すことができる。他の文字又は数字は、曖昧な語句を区別するために必要に応じて入力できる。もしくは、修飾語句は番号付けして、使用者が修飾語句に対応する番号を発声するようになっていてもよい。更に改善されたシステムでは、音声認識システムの認識語彙は、使用者に表示される選択肢に限定されており、これにより発声コマンドを多数の利用可能な語彙に一致させるための試行に比較して、音声認識システムの信頼性が非常に高くなる。特定の実施形態において、最初の発声音節のみが又は最初の2つの音節が音声認識に使用される。
【0032】
栄養摂取データベース
前述のハードウェアモジュールは、栄養摂取データベースを格納するメモリを備えることができる。このデータベースは、例えば、食品、食事、飲料、ダイエット補助食品等の名称の食品項目識別子を含む。データは、階層方式で配列することができるので、食品項目識別子は、例えば、肉製品、乳製品、澱粉食品、好きな食事、昼食項目、朝食項目、夕食項目、食事補助食品、栄養補助食品、包装食品等の属種でグループ化できる。好都合であれば、属種は、更に高位のグループにグループ化でき、又はサブグループに分割することができる。表示メニューは、食品の種類及び特定の食品識別子の両方を含む場合もある。
【0033】
また、栄養摂取データベースは、携帯型コンピュータ装置のメモリ内、又はメモリモジュールスロットを利用して携帯型コンピュータ装置又は前述のハードウェアモジュールに挿入できるメモリモジュール上に格納できる。
また、栄養摂取データベースは、以下に詳細に説明するように、別のコンピュータシステム、メモリモジュール、又は携帯型コンピュータ装置と通信する装置上に置くことができる。
【0034】
食品項目は、携帯型コンピュータ装置の利用可能なデータ入力機器を使用して、又は通信ネットワーク又はメモリモジュール転送機器上で受信されるデータを使用して、栄養摂取データベースに追加できる。
【0035】
通信ネットワーク
携帯型コンピュータ装置は、インターネット等の通信ネットワーク上で遠隔コンピュータシステムと通信できる。例えば、携帯型コンピュータ装置は、インターネット・サービス・プロバイダ(IPS)を経由して、従ってインターネットを経由して、遠隔サーバシステムとインターネットでもって無線通信できる(IPSは、通信ネットワークの一部とみなされる)。この場合、栄養摂取データベース及び音声認識システムは、遠隔コンピュータシステム上に置くことができる。
【0036】
別の実施形態において、例えばマイクロフォン又は他の音声受信装置から供給される音声信号は、通信ネットワーク上で音声認識システムを備えることができる遠隔コンピュータシステムへ送信できる。ダイエット記録ソフトウェアアプリケーションは、携帯型コンピュータ装置又は遠隔コンピュータシステム上で実行させることができる。メニュー表示、栄養摂取情報、ダイエット助言等は、携帯型コンピュータ装置の表示部上に表示できる。音声信号をアップロードするのに必要な通信速度は、遠隔コンピュータシステムから携帯型コンピュータ装置へ可視データをダウンロードするのに必要な通信速度よりも遅くてもよい筈である。従って、携帯型コンピュータ装置へのデータ転送、又はそこからのデータ転送を行うのに種々の通信ネットワークを使用できる。例えば、無線電話システムを遠隔コンピュータへデータを送信するのに使用でき、インターネット・サービス・プロバイダへの高速無線接続を表示部への表示データを受信するのに使用できる。
【0037】
図13は、インターネットであってもよい通信ネットワーク122上で遠隔サーバシステム124と通信する携帯型コンピュータ装置120を示す。装置120で受信される発声コマンドは、デジタル化された音声ファイルとしてサーバ120へ送信され、サーバは音声ファイルを音声認識システム126へ導く。次に、発声コマンドは、コンピュータ読み取り可能なコマンド(電子コマンド、又は音声コマンド信号)へ変換され、サーバのソフトウェアアプリケーションプログラムは、栄養摂取データベースからデータを選択することで、電子コマンドに応答できる。サーバのソフトウェアアプリケーションプログラムが生成したメニューは、コンピュータ装置120の表示部上で見ることができる。
【0038】
製品コード
体重管理プログラムの一部として、体重管理会社は、使用者に包装済み食事を供給することができる。これらはダイエット記録への入力を容易にするための短縮コードを用いて識別できる。例えば、昼食は、音声コマンド又は他の方法でダイエット記録へ容易に入力できるLI等のコードで識別できる。更に、栄養摂取データベースは、各々の製品コードと相関する栄養摂取情報をもつように、体重管理会社が提供できる。
製品識別子及び/又は栄養摂取コンテンツは、GemsterVCRコードと類似の数字(アルファベット数字)コードへアルゴリズム的に変換できる。これは、コード文字を発音することでこの簡略化されたデータをダイエット記録へ入力するのを容易にする。
【0039】
運動記録
また、使用者は、類似の方法で携帯型コンピュータ装置へ運動を記録できる。運動及び活動は、携帯型コンピュータ装置、モジュール、又は携帯型コンピュータ装置と通信する他の装置のメモリに格納されている運動データベース内に階層方式でグループ化できる。携帯型コンピュータ装置は、ダイエット記録、運動記録、カロリーバランス計算、時間表示、位置表示、オーガナイザー、ワードプロセッサ等の幾つかの動作モードをもつことができ、任意の従来の方法でもって各動作モード間を切換えることができる。
【0040】
カロリーバランス
使用者は、間接カロリーメータ等の代謝率メータを用いて安静代謝率(RMR)を決定できる。RMRは、音声認識を用いるアラビア数字の発声等の任意の従来の方法でもって携帯型コンピュータ装置へ入力できる。次に、カロリー管理ソフトウェアは、ダイエット記録入力、運動記録入力(及び/又は推定活動レベル)、及びRMRを用いてカロリーバランスを計算するのに使用できる。
【0041】
PDA−携帯電話
従来から知られているように、PDA等の携帯型コンピュータ装置は、無線電話の機能性を組み合わせて、DAP(digital assistant−phone)と呼ぶこともある単一の装置にするのが容易である。この場合、マイクロフォンはDAP内にあり、ダイエット記録ソフトウェアの音声コマンド作動を実現するために使用できる。DAPのスピーカは、適切な又は不適切な音声認識を示すノイズ等の使用者へのフィードバックを与えるために使用できる。本明細書で用いる場合、携帯型コンピュータ装置という用語は、DPA等の付加的な機能性を備える装置を含む。
【0042】
スピーカを備える携帯型コンピュータ装置を使用すると、音声合成を利用して使用者と対話することができるので、メニューを表示するための表示部は必要なくなる。この場合、メニューは、合成音声によって提供することができる。例えば、使用者は、携帯型コンピュータ装置に単語「ダイエット」を発声する。装置は、「ダイエット記録が作動しました。現在午後12時10分です。昼食の食品種類は、1−ブリート、2−サンドイッチ、3−ヨーグルト、4−その他です。番号を発声してください。」と応答する。使用者が番号「1」と発声すると、装置は、「ブリートが選択されました。1−ビーン、2−ビーフ、3−ビーフ、4−チキンを選択してください。」と応答する。使用者が番号「3」と発声すると、装置は、「チキンブリートを全部食べましたか。」と応答する。使用者が「はい」と応答すると装置は「分かりました。チキンブリートがダイエット記録に入力されました。本日の午後に走るのを忘れないでください。」と応答する。
【0043】
双方向テレビ
また、携帯型装置は、デジタル式双方向テレビ又は他の娯楽装置を遠隔操作するのに使用できる。発声コマンドは、例えば、デジタル化音声ファイルを家庭用通信端末へ無線送信する携帯型装置へ発声することで、デジタル式双方向テレビの家庭用通信端末へ送信することができる。家庭用通信端末又はこれと通信する遠隔サーバ等の他の装置は、デジタル化音声ファイルをテキスト及び/又は数字等の電子データへ変換するための音声認識システムを有する。電子データは、デジタル式双方向テレビのチャンネル選択、又はデジタル式双方向テレビに表示されている食品項目メニュー等のメニュー選択に使用できる。音声コマンドは、場合によっては携帯型装置から遠隔制御の形式(form factor)でもって、無線電話ネットワーク上から音声認識システムを有する遠隔コンピュータへ送信でき、次に、遠隔コンピュータは、受信又は解釈コマンドに応答して、双方向テレビの表示部に対応する可視メニュー表示、選択指令、チャンネル選択、番組選択等を表示させる。
【0044】
物理位置決定
更に、携帯型コンピュータ装置又はアドオン式ハードウェアモジュールは、グローバル・ポジショニング・システムや三角測量システム等の物理位置決定ユニットを備えることができる。位置は、食品小売データベースを使用して食品小売店の位置と、従ってメニュー及び入手可能な食品リストと相関させることができる。従って、本発明による携帯型コンピュータ装置は、食品メニューを使用者の位置に基づいて使用者へ示すことができる。使用者がレストラン内に居る場合、メニューは、携帯型コンピュータ装置の表示部に表示することができる。従って、使用者は、本明細書で説明する音声認識システムを使用して表示メニューから選択できる。従って、栄養摂取データベースは、選択項目からダイエット記録を作成するのをアシストする。
【0045】
手首装着型装置
本発明の実施形態は、使用者の手首の周りのストラップによって腕時計の形態で支持されている携帯型装置を備えることができる。装置の表示部は、時間、他のデータ、娯楽、及び使用者への食品メニューを表示するのに利用できる。ハウジング内のマイクロフォンは、発声コマンドを聴取するのに使用できる。デジタル化音声ファイル等の音声信号は、使用者が携行するか又はそれを用いて使用者が対話できる別の装置に送信できる(例えば、PDA、デスクトップコンピュータ、娯楽装置、遠隔コンピュータ等)。メニュー選択肢の表示は、PDA等の他の装置の表示部に表示できる。
【0046】
制限された表示能力
複雑な表示は、使用者にメニュー形式でもって全ての選択肢を表示するのに適さない場合もある。この場合、使用者は、必要な選択肢の最初の文字を発声して、その文字で始まる食品項目又は食品種類を制限することができる。次に、他の文字や番号を発声して更に表示を制限するか、又は項目を選択することができる。
当業者であれば、開示されている本発明の実施形態の他の変形例を理解できる筈である。これらの変形例は、本発明の精神又は範囲から逸脱するものではなく、従って、開示されている実施形態は広義に解釈されるべきである。
【図面の簡単な説明】
【図1】
携帯型コンピュータ装置に挿入中のハードウェアモジュールを示す。
【図2】
挿入済みハードウェアモジュールを有する携帯型コンピュータ装置を示す。
【図3】
挿入済みハードウェアモジュールを有する携帯型コンピュータ装置を示す。
【図4】
使用者が穀物名をダイエット記録へ追加することができる、装置表示部上のメニュー表示の例を示す。
【図5】
使用者が穀物名をダイエット記録へ追加することができる、装置表示部上のメニュー表示の例を示す。
【図6】
使用者が穀物名をダイエット記録へ追加することができる、装置表示部上のメニュー表示の例を示す。
【図7】
使用者が穀物名をダイエット記録へ追加することができる、装置表示部上のメニュー表示の他の例を示す。
【図8】
使用者が穀物名をダイエット記録へ追加することができる、装置表示部上のメニュー表示の他の例を示す。
【図9】
使用者が穀物名をダイエット記録へ追加することができる、装置表示部上のメニュー表示の他の例を示す。
【図10A】
本発明の実施形態に使用できる携帯型コンピュータ装置の概略図を示す。
【図10B】
本発明の実施形態に使用できるハードウェアモジュールの概略図を示す。
【図11】
ダイエット記録を行う方法を示すフローチャートである。
【図12A】
メニュー表示を制限するために認識文字を使用するようになっている、表示部上の表示を示す。
【図12B】
メニュー表示を制限するために認識文字を使用するようになっている、表示部上の別の表示を示す。
【図13】
遠隔サーバに対する通信リンクを使用して栄養摂取データベース及び音声認識システムにアクセスするようになったシステムの概略図を示す。
(技術分野)
本発明は、コンピュータ装置の音声認識機能に関する。詳細には、本発明は、体重管理プログラムを行っている使用者のダイエット記録を作成するために音声認識を利用することに関する。
【0002】
(背景技術)
パームパイロット、ハンドスプリング Visor、ハンドヘルドPC、及び同様の装置を含む携帯情報端末(PDA)等の携帯型コンピュータ装置は、その機能性及び自由度により急速に普及している。本出願の目的において、コンピュータ装置という用語は、デスクトップ、ラップトップ、ハンドヘルド、パームトップ、及び装着型コンピュータ、並びに携帯電話、双方向ページング装置、無線機、発信機、計算機、オーガナイザー、電子書籍、ナビゲーション装置、車両電子装置、デジタル双方向テレビ制御装置、及びコンピュータ機能をもつ他の電子装置を含む、付加的な機能を有する全てのコンピュータ装置を含むことを理解されたい。しかしながら、説明を容易にするために、本出願では、ハンドヘルド装置のパームパイロット・ファミリ(パーム社、サンタクララ、カリフォルニア州)及びハンドスプリングVisor(ハンドスプリング社、マウンテンビュー、カリフォルニア州)等の携帯型コンピュータ装置に注目することとする。
【0003】
これらの携帯情報端末(又はPDA)は、手書き文字認識及び単純なキーボードの種々の形態を含む種々の方法でのデータの入力を可能にするボタン及びタッチスクリーンを備える。特定の使用者又は用途に対しては、これらのデータ入力方法は不十分である。例えば、1日にどんな食事を摂取したか、又は旅行で何の費用がかかったか等の記録を入力しようとする使用者は、片方の手でPDAを保持してもう片方の手で入力スタイラスを握る必要がある。スタイラスは、ある意味では所望の入力を表示するタッチスクリーンに触るのに利用される。このことは使用者の両手を拘束し、適度の視力及び集中を必要とする。入力が手動操作ではなく使用者の音声でできることが望ましい。
【0004】
音声記録機能を有する幾つかのハンドヘルド装置は部分的な解決法をもたらすことができる。情報をPDAに瞬時に録音したいと思う使用者は、録音ボタンを押してマイクに向かって話す。その後で録音情報を再生することができる。残念ながら、この手法は、望ましいものには程遠い。音声記録は、音声から音声だけであり、誰かが録音された音声を聞いてデータを手動で入力する必要がある。最初の録音ステップは、手動操作よりも容易であろうが、手動操作はその後に行う必要があるので避けて通れない。使用者が命令及び情報を発声し、PDAがその命令に応答してテキストの形態で情報を記録するための、音声からテキストへの音声認識機能がより望ましいであろう。しかしながら、音声からテキストへの音声認識は非常に複雑であり、高性能なコンピュータ処理装置及び大きなデータ記憶能力を必要とする。現在のPDAは、僅かな必須の処理能力及び記憶装置を提供するに過ぎない。
音声認識ソフトウェア及びシステムは公知であり、例えば、引用によって本明細書に組み込まれているMazurkiewicz他の米国特許第5,749,072号及びKennedyIII他の米国特許第6,167,255号に説明されている。
【0005】
(発明の開示)
本発明によれば、現在利用可能なコンピュータ装置(PDAを含む携帯型コンピュータ装置など)及び音声認識ソフトウェアの制限は、簡略化された音声認識能力でもって機能するように設計されている簡易音声認識プログラム及びソフトウェアを提供することで解消される。音声認識ソフトェアの複雑性の多くは、所定の言語の多種多様な単語、及び多くのこれらの単語の音声の類似性に起因する。ソフトウェアは、非常に正確に発声音を捕捉できる必要がある。従って、ソフトウェアは、単語の前後関係、統計的可能性、及び特定の使用者の過去の用法を解析することによって、種々の選択対象の中からどの単語が発声されたかを決定する必要がある。また、各々の使用者は単語を一貫して発音しないので、ソフトウェアは特定の使用者を識別するように「訓練」する必要がある。音声認識の課題は、ソフトウェア及びハードウェアが解釈すべ語彙を人為的に制約することで非常に低減される。制約された語彙音声認識の例は、現在多くの電話システムに利用されており、使用者が番号0から9を押すこと又は番号を発声することのどちらかが可能になっている。この場合、音声認識ソフトェアは、区別が容易な10個の選択対象を認識及び区別することだけを必要される。
【0006】
本発明によれば、PDAに同様の機能を与えることができる。好適な実施形態において、PDAは、使用者が発声する0から9までの番号を認識できる。現在のPDAは、このハードウェア又はソフトウェア機能をもっていない。しかしながら、多くのPDAにはソフトウェアを追加することができる。また、多くのPDAは、アドオン式ハードウェアモジュールを収容することができる。例えば、ハンドスプリング社のVisorは、裏面に配置されたスプリングボードとして知られているスロット配列を備える。メモリモジュール等の種々のハードウェアモジュールをスプリングボードに挿入してハンドスプリング Visorの性能を強化することができる。同様に、パームパイロット・ファミリのハンドヘルドPDAは、チップオン式ハードウェアモジュールを収容して性能を強化することができる。将来のPDAは、新しい簡易ハードウェアを取付ける機能をもつことが期待されている。
【0007】
典型的には、PDAに挿入又は取付けられるハードウェアモジュールは、更にPDAの性能を強化して追加ハードウェアの利点を得るためのアプリケーションソフトウェアを備えることができる。例えば、ハンドスプリング Visorは、デジタルカメラモジュール、録音再生モジュール等の、多数のスプリングボード互換のハードウェアモジュールを収容する。これらのモジュールは、ハンドスプリング Visorのスプリングボード部と相互接続され、デジタルカメラのレンズ及び関連の電子機器、又は録音再生ハードウェア等のハードウェアを備える。このアドオン式ハードウェアは、ハンドスプリング Visorの既存の機能と協働してデジタルカメラ又はデジタル録音再生装置をもたらす。また、ハードウェアモジュールは、ハンドスプリング Visorのハードウェア及びアドオン式ハードウェアモジュールがアクセス又は使用することができる、搭載ソフトウェアを含む。このソフトウェアは、モジュール及びハンドスプリング Visorが通信すること及び強化された性能を提供することを可能にする。同様に、無線式モデム等のハードウェアモジュールは、パームパイロット・ファミリの幾つかと相互接続することができる。
【0008】
携帯情報端末のための音声認識モジュールは、PDAの付属品機構と係合するように構成されているモジュールハウジングと;使用者からの音声コマンドを受信する音声受信装置と;複数の音声コマンドを識別すると共に対応する電気的音声コマンドセットをPDAへ伝送する音声認識手段と;を備える。更に、携帯情報端末のための音声認識モジュールは、携帯型コンピュータ装置の付属品インタフェースと係合するように構成されているモジュールハウジングと;使用者からの音声コマンドを受信して、電気的音声信号を出力するようになっている音声受信装置と;音声受信装置からの電気的音声信号を受信して、音声コマンドを識別すると共に対応する電気的音声コマンド信号を携帯型コンピュータ装置へ伝送する音声認識システムと;を備え、電気的音声コマンド信号は、携帯型コンピュータ装置上で実行されるソフトウェアアプリケーションプログラムの作動を制御するのに使用される。音声受信装置は、マイクロフォンであってもよい。マイクロフォン信号の音声認識は、Mazurkiewiczの米国特許第5,749,072号の例えば図3に開示されている。モジュールは、食品項目識別子、及び複数の食品項目に関する関連栄養摂取データを更に含むことができる。栄養摂取データは、食品項目識別子の各々に関連するカロリーコンテンツ、脂肪コンテンツ、繊維コンテンツ、蛋白質コンテンツ、血糖値、ミネラルコンテンツ、ビタミンコンテンツ、及び栄養摂取成分を含むことができる。ソフトウェアアプリケーションプログラムは、電気的音声コマンド信号の制御の下で前記栄養摂取データベースから選択食品項目識別子を選択し、更に使用者のダイエット記録を作成できるように前記選択食品項目識別子及び前記関連栄養摂取データをメモリ内に格納できるようになっている。
【0009】
本発明による携帯型コンピュータシステムは、表示部と;マイクロプロセッサと;メモリと;複数の食品項目識別子の各々に関連する栄養摂取データデータベースと;発話入力に相関する電気的音声コマンド信号を出力する音声認識システムと;マイクロプロセッサにより実行され、表示部上に食品項目識別子の食品メニューを表示し、音声認識システムから受信した電気的音声コマンド信号に基づいて食品メニューから食品項目識別子を選択し、選択食品項目のダイエット記録を作成できるように選択食品項目識別子に関連する栄養摂取データを格納するソフトウェアアプリケーションプログラムと;を備える。栄養摂取データベースは階層形式で配列されており、特定の食品項目は属種により特徴付けすることができ、ソフトウェアアプリケーションプログラムは、更に表示部上に属種メニューを表示し、電気的音声コマンド信号を受信すると属種メニューから属種を選択するようになっている。
【0010】
携帯型コンピュータ装置のための改良された付属品モジュール(体重管理プログラムの一部としてダイエット記録を行うのに使用できる統合システム)は、携帯型コンピュータ装置の付属品ポートと通信するようになっている電気的インタフェースと;メモリと;メモリに格納され、関連の食品項目栄養摂取コンテンツを有する複数の食品項目識別子の各々と相関する栄養摂取データベースと;メモリに格納され、表示部上に食品項目識別子メニューを表示できるようにマイクロプロセッサによって実行可能であり、更に音声コマンド信号を受信すると食品項目識別子メニューから食品項目選択を選択するようになっており、更に使用者のダイエット記録内に食品項目選択及び相関栄養摂取コンテンツを格納するようになっているソフトウェアアプリケーションプログラムと;を備える。栄養摂取コンテンツは、カロリーコンテンツ、ダイエット成分コンテンツ、及び食品項目の他の栄養摂取成分を含むことができる。音声コマンド信号は、携帯型コンピュータ装置の付属品モジュール上、又は携帯型コンピュータ装置と通信する他の装置上に存在する音声認識システムによって与えられる。
【0011】
使用者のダイエット記録を作成する方法であって、使用者に対して食品種類識別子メニューを示す段階と;使用者からの種類選択音声コマンドを受信する段階と;種類選択音声コマンドを選択食品種類識別子と相関させる段階と;使用者に対して選択食品種類識別子と階層的関係にある食品項目識別子メニューを示す段階と;使用者からの項目選択音声コマンドを受信する段階と;項目選択音声コマンドを選択食品項目識別子と相関させる段階と;使用者のダイエット記録を作成できるように選択食品項目識別子及び関連栄養摂取データをメモリ装置に格納する段階と;を含む。選択食品項目識別子は、栄養摂取データベースを使用して関連栄養摂取データと相関される。メニューは、使用者が携行する携帯型電子装置の表示部上に表示できるが、携帯型電子装置としては、携帯情報端末(PDA)、他の携帯型コンピュータ装置、装着型コンピュータシステム、電子ブック、電子手帳、デジタルオーガナイザー、無線電話、デスクトップコンピュータ、ウェブテレビ、デジタル双方向テレビ、タブレットコンピュータ、バイザ装着型表示システム等が挙げられる。使用者に対して表示されるメニューは、例えば、使用者が入力するか、ローカル無線ネットワークから送信されるか、又はグローバル・ポジショニング・システム(GPS)等の位置報告システムによって決定される、使用者の位置に基づいて選択することができる。発声コマンドを選択識別子と相関させることは、携帯型コンピュータ装置、携帯型コンピュータ装置の付属品モジュール、又は通信ネットワーク上で携帯型コンピュータ装置と通信する遠隔コンピュータシステム等の携帯型コンピュータ装置と通信する他の装置で実行されるソフトウェアアプリケーションプログラムによって実行できる。
【0012】
別の実施形態において、発声コマンドはメモリ内に格納され、その後で解析することができる。
更に、コンピュータ装置は、別個の音声受信装置(例えばリスト装着型装置)、プロセッサモジュール(例えば、プロセッサ、メモリ、及び音声認識システムを有するプラグイン式ハードウェアモジュールを備えるベルト装着型コンピュータ)、及び表示装置(例えば、バイザー装着型表示部)等のシステムを備えることができる。各構成部品は無線通信を行い一体型装置として機能することが好ましい。
【0013】
無線通信方法としては、ブルートゥース(Bluetooth)、エリクソン社(スエーデン)及び他社が開発した無線通信プロトコル、IEEE802.11(b)等、無線イーサネット等のローカル無線ネットワーク、IR、光、及び超音波方式を挙げることができる。各装置間の無線通信方式は、利便性を高めるが、無線通信方式に代えて有線接続を使用することもできる。
2000年6月16日に出願されたJames R. Maultの米国仮出願番号60/212,319は、引用によって本明細書に組み込まれている。
【0014】
(発明を実施するための最良の形態)
本発明によれば、PDA等の携帯型コンピュータ装置に相互接続するハードウェアモジュールが設けられている。ハードウェアモジュールは、音声を受けるマイクロフォンを含み、更に開閉スイッチ及び感度調整器等の他の制御装置を含むこともできる。本発明の1つの実施例は、図1及び図2に概略的に示されている。携帯型コンピュータ装置10は、ハードウェアモジュール12を収容するが、図示のようにハードウェアモジュール12は、携帯型コンピュータ装置10の裏面のスロット16に滑り込むようになっている。ハードウェアモジュール12は、使用時に携帯型コンピュータ装置の上側になるようにモジュールの縁部近傍に配置されているマイクロフォン14を備える。マイクロフォンを既に備えている携帯型コンピュータ装置ではマイクロフォンをモジュールから省くことができる。モジュールは、携帯型コンピュータ装置のスロットに挿入される場合に携帯型コンピュータ装置が簡易音声認識になることができるように、ハードウェア及びソフトウェアの両方を備えることが好ましい。
【0015】
図3は、別の実施形態を示し、モジュール26は、携帯型コンピュータ装置20の下側のスロット内に挿入される。モジュールの一部は露出しており、使用者がマイクロフォン28に向かって発声できるようになっている。携帯型コンピュータ装置は、表示部22及びデータ入力キー24を有する。表示部は、メニュー表示領域22及びユーザ指示領域22bに分割されている。しかしながら、この分割は本発明の実施形態では重要ではない。
【0016】
以下に図4から図6を参照して、簡易音声認識モジュールの使用例を説明する。図面において、携帯型コンピュータ装置は、複数の選択対象を与えるためのテキストメニューを表示するように示されている。ハードウェアモジュールは示されていない。本実施例において、携帯型コンピュータ装置は、食事摂取を記録するのに使用される。図4において、携帯型コンピュータ装置は、食事の種類に関する6つの選択肢のメニューを表示する。食事摂取ソフトウェアをもたらすソフトウェアは、ハードウェアモジュール、追加のモジュール、又はロードされるソフトウェアの一部であってもよく、又は既に携帯型コンピュータ装置の一部であってもよい。音声認識モジュールを使用すると、食事の種類に対する選択番号を発話するだけでよい。例えば、朝食に関する情報を入力使用とする場合、「ワン」と発声する。このことは携帯型コンピュータ装置のスタイラス又はボタンを使用して番号「1」を入力するのと同じことである。この選択により図5に示すような第2のメニューが表示される。このメニューにおいて、複数の朝食の選択対象が表示される。ホットクリームを選択したい場合は、「ツー」と発声する。これによりソフトウェアに同様に選択対象が入力され、ソフトウェアは図6に示すような第3のメニューを表示する。この第3のメニューはホットクリームに関する種々の選択対象を表示する。当業者であれば、ダイエットのための項目を選択することを可能にする、非常に簡略化された方法でもって、どのようにこのプロセスを継続できるかは明らかであろう。次に、選択項目及び関連の栄養摂取データは、個人のダイエット記録に記憶させることができる。この方法は、所要経費追跡等のデータ入力にも同様に適用できる。
【0017】
当業者であれば理解できるように、携帯型コンピュータ装置は、多種多様なソフトウェアアプリケーションを利用できる。本発明によれば、ハードウェアモジュール及びこれが実行するソフトウェアは、多数のソフトウェアアプリケーションを取り扱うように設計されている。つまり、ハードウェア及びソフトウェアモジュールは、携帯型コンピュータ装置に組み込まれ通信するようになっている。番号を発声すると携帯型コンピュータ装置で実行されるソフトウェアに番号を入力するためにスタイラスを使用したのと同じ入力が与えられる。また、本発明によれば、同じハードウェアモジュール又は別のハードウェアモジュールに追加の語彙を与えてもよい。例えば、多くの携帯型コンピュータ装置の機能は、アップ又はダウンボタンを必要とする。この目的のために、ハードウェアモジュールは、命令「アップ」及び「ダウン」を認識できる。また、携帯型コンピュータ装置の最も一般的に使用される機能の幾つかに関するコマンドを認識できるが、データブックの「データ」、予定(to do)リストの「予定(to do)」、及びアドレスリストの「アドレス」又は「電話」、並びに携帯型コンピュータ装置の動作モードを変更するためのコマンドが含まれる。また、ハードウェアモジュールは、幾つかのAからJまでの文字又は全てのアルファベット、英数字セット、又はアルファベットA−Zに関する「alpha」「bravo」等の文字に対応する単語セット等を認識できる。更に、コマンド操作を簡略化するための「戻る」「削除」「入力」等の少数の特別な単語を小規模の認識リストに追加できる。音声認識能力は、モジュールのハードウェア及びソフトウェアの複雑性に完全に依存することは明らかである。従って、特定のアプリケーションでは、非常に単純な音声認識モジュールで十分な場合もある。この場合、数字0から9までの認識で十分である。携帯型コンピュータ装置のソフトウェア及びハードウェア能力が改善されるにつれて、特定のアプリケーションに対して更に複雑なモジュールが望まれることになる。
【0018】
ハードウェアモジュールは、携帯型コンピュータ装置に対する専用の付属品であってもよく、又はPCMCIA及びミニチュアカード規格等の公知の規格に準拠するものであってもよい。音声認識システムを組み込むことで本発明で使用するために好都合に変更できる、撮像機能を備える付属品モジュールの設計は、引用によって本明細書に組み込まれているErldcila他の米国特許第6,219,560号に開示されている。
【0019】
当業者であれば理解できるように、本発明は、データ入力に関して多くの利点をもたらす。ダイエット情報を早く入力する一例として、単純に単語「ワン」「ツー」「ワン」を素早く繰り返すことで選択対象を入力できる。このことは多くの使用者による手動入力よりも簡単でより好ましい。また、一部の使用者は器用さに欠けるので、スタイラス、キーボード、又は他の手動入力機器を扱うのが難しい場合もある。音声認識モジュールは、スタイラスを握る必要がないので、片手で又は全く手を使うことなく装置を使用することを可能にする。
【0020】
別の実施形態において、マイクロフォン及び送信器を備える音声受信モジュールは、襟又は皮膚等の口の近くに取り付けることができ、音声信号をPDA、デスクトップコンピュータシステム、リモートサーバ、双方向テレビの通信端末等のコンピュータ装置へ送信することができる。使用者は、コンピュータ装置の表示部に表示されるメニューを見て、マイクロフォンに対する発声コマンドを用いて項目を選択することができる。更に、音声受信モジュールは、発振器を備えることができ、マイクロフォンで受信した信号は、使用者の口の形で、例えば、言葉を出す(文字、数字、食品の名前等の)行為によって修正できるので、例えば、使用者が聞こえるように発声することなく静かに発声された言葉でもってコマンドをコンピュータ装置へ入力することができる。
【0021】
ダイエット記録
図4から図6に関連して説明したように、メニュー選択の音声制御は、ダイエット記録を作成するのに有用である。引用によって本明細書に組み込まれているWilliamsの米国特許第5,704,350号及び米国特許第4,891,756号には、階層化メニューシステムにより食品の項目を選択することが説明されている。この階層化手法は、ダイエット記録作成のための音声認識と好都合に組み合わせることができる。また、ダイエット記録のためのソフトウェアアプリケーションプログラムは、引用によって本明細書に組み込まれている2000年10月13日に出願された米国仮出願番号60/240,185に開示されている。このプログラムは、音声認識システムにより解釈される発声コマンドに応答するソフトウェアプログラムによって可能になるメニュー選択方法を適用することで、本発明の実施形態に用いるために好都合に変更できる。他のダイエット記録ソフトウェアは、例えば、Kretschの米国特許第5,233,520号に説明されているように本技術分野では公知である。
【0022】
本発明の実施形態において、最初に使用者には、図7に示すメニューリストのような食品の種類に関する上層のメニューが示される。前述のように、使用者は、各々の食品の種類の識別子に関連する番号を発声する。また、使用者は、1つ又はそれ以上のメニューリストの最初の文字に対応する文字を発声する。メニューリストは、選択されることになる固有の項目に、又は各々発声文字で始まる幾つかの項目に縮小できる。使用者は、選択対象を限定するために第2の文字を発声でき、必要であれば第3の文字を発声することもできる。
【0023】
複合単語リストが表示される場合、選択対象を限定するために、第2の(又はそれ以降の)発声文字をその文字で始まる第2の単語を有するリストに対して適用できる。例えば、パンが、bread,rye;bread,brown;bread,pumpernickel等で表示される場合、使用者は、bread,ryeを選択するために「B...R」と発声できる。
【0024】
図7に関連して、使用者は、穀物(cereal)を選択するために「1」又は「C」と発音できる。別の実施形態において、音声認識システムの語彙は、メニュー上に表示される単語及び個数により自動的に制限される。この場合、単語「cereals」は、音声認識システムによって、他の単語選択肢から確実に区別される。この場合、最初の音節だけが他の選択対象から「cereals」を区別するのに使用できる。
【0025】
図8は、別の食品項目識別子のメニューを示し、使用者が図7のメニューから穀物を選択した後で表示される。
図9は、食品項目識別子を選択した後で使用者に表示される摂取量メニューを示す。
【0026】
図10Aは、本発明の実施形態に使用できる携帯型コンピュータ装置の概略図を示し、マイクロプロセッサ(プロセッサ)32、メモリ34(ROM、RAMモジュール、及び他のメモリ形式及び組み合わせを備えることができる)、ユーザインタフェース36(ボタン、スタイラス、及び他のデータ入力機器を備えることができる)、表示部38(表示ドライバを備える)、周辺機器39(別の表示部、指示部、プリンタ、ブザー、スピーカ、モデム、ドライバ等を備えることができる)、付属品インタフェース42、及びハードウェアモジュール44を備えている。図10Bは、本発明の実施形態に使用できるハードウェアモジュール44の可能性のある概略図を示し、マイクロフォン46、アナログ−デジタル変換器48、信号処理装置50、音声解析回路52、及び栄養摂取データベース58を備えている。本実施例において、数値発話等のコマンドは、音声解析回路52によって解釈され、音声解析回路52はマイクロプロセッサ32での解釈に備えて対応する電気信号をインタフェース42へ送信する。また、栄養摂取データベースは、携帯型コンピュータ装置で実行されるソフトウェアアプリケーションプログラムがアクセス可能である。別の実施形態において、モジュール44は、プロセッサ及び追加のメモリを備えることができ、ダイエット記録ソフトウェアは、モジュールで実行されて、表示部38に情報を表示し、ダイエット記録をモジュールのメモリ上、メモリ34内、又は通信回線上でアクセスされる遠隔コンピュータ等の遠く離れた記憶場所のいずれかに格納できる。
【0027】
図11は、本発明による、ダイエット記録の一部を作成する方法を示す。ボックス70は、例えば、単語「ダイエット」を発声することによるコンピュータ装置の動作モードの選択に対応する。運動記録用の「エクササイズ」、カロリーバランス計算用の「バランス」、アドレスブック用の「アドレス」等のこの段階で認識できる別の単語を含むこともできる。ボックス72は、「ダイエット記録へようこそ」の画面の表示に対応し、データ入力方法の概要を含むことができる。ボックス74は、使用者へのメニューの表示を変更するための利用可能な情報の使用に対応する。ボックス76は、例えば、時間帯に適するような食品の種類、又はステップ74で決定された他の情報の表示に対応する。ボックス78は、例えば音声認識方法を使用した食品の種類の選択に対応する。ボックス80は、選択した食品の種類に基づく食品項目の表示に対応する。ボックス82は、例えば、特定の名前又はコード等の識別子による、食品項目の選択に対応する。ボックス84は、関連情報の表示メニューに対応する。ボックス86は、関連情報の選択に対応する。
【0028】
ボックス74に関連して、利用可能な情報は、場所、購入情報、時間、既知の嗜好、体重管理会社から供給される既知の食事、ダイエット目標等を含むことができる。情報は、コンピュータ装置のメモリ内に格納されるか、通信回線上で受信されるか、予めプログラムされるか、又は以前の習性に基づくか、又は他の方法及び情報源で決定される。例えば、昼食時間に対応する時間に、昼食メニューを表示することができる。他の食事時間及び軽食時間は、以前に収集したデータを用いて特定の食品の消化に相関させることができる。使用者の場所が分かる場合(例えばGPS、携帯電話三角測量、又はローカル無線ネットワーク方式で)、メニューは、それに応じて表示することができる。特定のレストランに居る使用者には、そのレストランに応じたダイエット記録選択肢を表示できる。自宅に居る使用者には、例えば、以前の購入情報又は既知の嗜好情報を用いて自宅で知られている食品リストを表示できる。事務所に居る使用者には、そこで摂取される一般的な食品をメニューとして表示できる。使用者の場所と摂取した食品との間には大きな相関がある場合が多い。この相関は、ソフトウェアの学習プロセスで定めること、予めプログラムすること、又は使用者が入力することができる。従って、食品と場所との相関は、使用者へのメニュー表示を制限するのに利用できる。食品を自動販売機又は同様の食品販売機から調達した場合、又はこのような販売機が近くで検出された場合、入手可能な食品に関連するメニューを表示できる。また、個人支出情報を利用でき、例えばレストラン又は食品小売店との間で取引が生じた場合、この情報は、摂取した食品を決めるのに役立つように利用できる。例えばクレジットカードの取引記録から以前に購入した食事の身元が分かれば、その食品の身元をダイエット記録に入力でき、従って、本発明の方法は、例えば分量の画分とし、摂取した食品の量を記録するのに使用できる。
【0029】
更にボックス86に関連して、別の情報として、摂取量、調理方法、付随項目又は欠落、摂取した食事の画分等を含むことができる。例えば、使用者が食品項目識別子としてコーンフレークを選択する場合、摂取量及びミルクの量を入力することを要求されることになる。このことは選択肢メニューを押して発声選択対象を受信することで行われるが、場合によってはボックス82で選択した食品項目に基づく2つ以上のメニューを使用して行われる。
【0030】
図12Aは、受信した音声コマンドを表示するウィンドウ102を有するコンピュータ装置の表示部100を示す。本実施例において、音声コマンドとして文字A−Zを使用できるが、数字等の他の限定された語彙を使用することもできる。使用者が文字「C」を発声すると、音声認識システムはこれを認識してウィンドウ102の位置104に表示する。食品項目識別子メニュー(又は、使用中のダイエット記録方法及び階層に基づく種類)は、表示文字「C」で始まる。使用者がキャベツを食べた場合、使用者は文字「A」を発声して他の表示選択肢と区別する。必要に応じて、残っている唯一のメニュー選択肢であれば、別の文字を入力して更に選択される項目を有するメニューを限定することができる。単語「戻る」(又は同義語)により、表示文字を削除して対応する食品項目識別子の限定された選択を解除することができる。
【0031】
図12Bは、ウィンドウ102に表示されている文字「K」、及び2つのダイエット記録選択肢、「キンカン(kumquat)」及び「塩漬けキンカン(pickled kumquat)」を示す。この場合、第2の単語の最初の文字である文字「P」を発声することで「塩漬け(pickled)」選択肢を選択できる。この全体的な手法は、幾つかの修飾語句又は複数の修飾語句でもって単一の食品項目名を繰り返す場合が多いのでダイエット記録を行う上で有用である。この場合、基本名称の最初の文字(例えば、「milk」には「M」)及び修飾語句の最初の文字(例えば、「skim」には「S」)の発声は、迅速なダイエット記録項目の音声認識選択を行うのに使用できる。基本名称の最初の文字は、基本(非修飾)項目を選択するために繰り返すことができる。他の文字又は数字は、曖昧な語句を区別するために必要に応じて入力できる。もしくは、修飾語句は番号付けして、使用者が修飾語句に対応する番号を発声するようになっていてもよい。更に改善されたシステムでは、音声認識システムの認識語彙は、使用者に表示される選択肢に限定されており、これにより発声コマンドを多数の利用可能な語彙に一致させるための試行に比較して、音声認識システムの信頼性が非常に高くなる。特定の実施形態において、最初の発声音節のみが又は最初の2つの音節が音声認識に使用される。
【0032】
栄養摂取データベース
前述のハードウェアモジュールは、栄養摂取データベースを格納するメモリを備えることができる。このデータベースは、例えば、食品、食事、飲料、ダイエット補助食品等の名称の食品項目識別子を含む。データは、階層方式で配列することができるので、食品項目識別子は、例えば、肉製品、乳製品、澱粉食品、好きな食事、昼食項目、朝食項目、夕食項目、食事補助食品、栄養補助食品、包装食品等の属種でグループ化できる。好都合であれば、属種は、更に高位のグループにグループ化でき、又はサブグループに分割することができる。表示メニューは、食品の種類及び特定の食品識別子の両方を含む場合もある。
【0033】
また、栄養摂取データベースは、携帯型コンピュータ装置のメモリ内、又はメモリモジュールスロットを利用して携帯型コンピュータ装置又は前述のハードウェアモジュールに挿入できるメモリモジュール上に格納できる。
また、栄養摂取データベースは、以下に詳細に説明するように、別のコンピュータシステム、メモリモジュール、又は携帯型コンピュータ装置と通信する装置上に置くことができる。
【0034】
食品項目は、携帯型コンピュータ装置の利用可能なデータ入力機器を使用して、又は通信ネットワーク又はメモリモジュール転送機器上で受信されるデータを使用して、栄養摂取データベースに追加できる。
【0035】
通信ネットワーク
携帯型コンピュータ装置は、インターネット等の通信ネットワーク上で遠隔コンピュータシステムと通信できる。例えば、携帯型コンピュータ装置は、インターネット・サービス・プロバイダ(IPS)を経由して、従ってインターネットを経由して、遠隔サーバシステムとインターネットでもって無線通信できる(IPSは、通信ネットワークの一部とみなされる)。この場合、栄養摂取データベース及び音声認識システムは、遠隔コンピュータシステム上に置くことができる。
【0036】
別の実施形態において、例えばマイクロフォン又は他の音声受信装置から供給される音声信号は、通信ネットワーク上で音声認識システムを備えることができる遠隔コンピュータシステムへ送信できる。ダイエット記録ソフトウェアアプリケーションは、携帯型コンピュータ装置又は遠隔コンピュータシステム上で実行させることができる。メニュー表示、栄養摂取情報、ダイエット助言等は、携帯型コンピュータ装置の表示部上に表示できる。音声信号をアップロードするのに必要な通信速度は、遠隔コンピュータシステムから携帯型コンピュータ装置へ可視データをダウンロードするのに必要な通信速度よりも遅くてもよい筈である。従って、携帯型コンピュータ装置へのデータ転送、又はそこからのデータ転送を行うのに種々の通信ネットワークを使用できる。例えば、無線電話システムを遠隔コンピュータへデータを送信するのに使用でき、インターネット・サービス・プロバイダへの高速無線接続を表示部への表示データを受信するのに使用できる。
【0037】
図13は、インターネットであってもよい通信ネットワーク122上で遠隔サーバシステム124と通信する携帯型コンピュータ装置120を示す。装置120で受信される発声コマンドは、デジタル化された音声ファイルとしてサーバ120へ送信され、サーバは音声ファイルを音声認識システム126へ導く。次に、発声コマンドは、コンピュータ読み取り可能なコマンド(電子コマンド、又は音声コマンド信号)へ変換され、サーバのソフトウェアアプリケーションプログラムは、栄養摂取データベースからデータを選択することで、電子コマンドに応答できる。サーバのソフトウェアアプリケーションプログラムが生成したメニューは、コンピュータ装置120の表示部上で見ることができる。
【0038】
製品コード
体重管理プログラムの一部として、体重管理会社は、使用者に包装済み食事を供給することができる。これらはダイエット記録への入力を容易にするための短縮コードを用いて識別できる。例えば、昼食は、音声コマンド又は他の方法でダイエット記録へ容易に入力できるLI等のコードで識別できる。更に、栄養摂取データベースは、各々の製品コードと相関する栄養摂取情報をもつように、体重管理会社が提供できる。
製品識別子及び/又は栄養摂取コンテンツは、GemsterVCRコードと類似の数字(アルファベット数字)コードへアルゴリズム的に変換できる。これは、コード文字を発音することでこの簡略化されたデータをダイエット記録へ入力するのを容易にする。
【0039】
運動記録
また、使用者は、類似の方法で携帯型コンピュータ装置へ運動を記録できる。運動及び活動は、携帯型コンピュータ装置、モジュール、又は携帯型コンピュータ装置と通信する他の装置のメモリに格納されている運動データベース内に階層方式でグループ化できる。携帯型コンピュータ装置は、ダイエット記録、運動記録、カロリーバランス計算、時間表示、位置表示、オーガナイザー、ワードプロセッサ等の幾つかの動作モードをもつことができ、任意の従来の方法でもって各動作モード間を切換えることができる。
【0040】
カロリーバランス
使用者は、間接カロリーメータ等の代謝率メータを用いて安静代謝率(RMR)を決定できる。RMRは、音声認識を用いるアラビア数字の発声等の任意の従来の方法でもって携帯型コンピュータ装置へ入力できる。次に、カロリー管理ソフトウェアは、ダイエット記録入力、運動記録入力(及び/又は推定活動レベル)、及びRMRを用いてカロリーバランスを計算するのに使用できる。
【0041】
PDA−携帯電話
従来から知られているように、PDA等の携帯型コンピュータ装置は、無線電話の機能性を組み合わせて、DAP(digital assistant−phone)と呼ぶこともある単一の装置にするのが容易である。この場合、マイクロフォンはDAP内にあり、ダイエット記録ソフトウェアの音声コマンド作動を実現するために使用できる。DAPのスピーカは、適切な又は不適切な音声認識を示すノイズ等の使用者へのフィードバックを与えるために使用できる。本明細書で用いる場合、携帯型コンピュータ装置という用語は、DPA等の付加的な機能性を備える装置を含む。
【0042】
スピーカを備える携帯型コンピュータ装置を使用すると、音声合成を利用して使用者と対話することができるので、メニューを表示するための表示部は必要なくなる。この場合、メニューは、合成音声によって提供することができる。例えば、使用者は、携帯型コンピュータ装置に単語「ダイエット」を発声する。装置は、「ダイエット記録が作動しました。現在午後12時10分です。昼食の食品種類は、1−ブリート、2−サンドイッチ、3−ヨーグルト、4−その他です。番号を発声してください。」と応答する。使用者が番号「1」と発声すると、装置は、「ブリートが選択されました。1−ビーン、2−ビーフ、3−ビーフ、4−チキンを選択してください。」と応答する。使用者が番号「3」と発声すると、装置は、「チキンブリートを全部食べましたか。」と応答する。使用者が「はい」と応答すると装置は「分かりました。チキンブリートがダイエット記録に入力されました。本日の午後に走るのを忘れないでください。」と応答する。
【0043】
双方向テレビ
また、携帯型装置は、デジタル式双方向テレビ又は他の娯楽装置を遠隔操作するのに使用できる。発声コマンドは、例えば、デジタル化音声ファイルを家庭用通信端末へ無線送信する携帯型装置へ発声することで、デジタル式双方向テレビの家庭用通信端末へ送信することができる。家庭用通信端末又はこれと通信する遠隔サーバ等の他の装置は、デジタル化音声ファイルをテキスト及び/又は数字等の電子データへ変換するための音声認識システムを有する。電子データは、デジタル式双方向テレビのチャンネル選択、又はデジタル式双方向テレビに表示されている食品項目メニュー等のメニュー選択に使用できる。音声コマンドは、場合によっては携帯型装置から遠隔制御の形式(form factor)でもって、無線電話ネットワーク上から音声認識システムを有する遠隔コンピュータへ送信でき、次に、遠隔コンピュータは、受信又は解釈コマンドに応答して、双方向テレビの表示部に対応する可視メニュー表示、選択指令、チャンネル選択、番組選択等を表示させる。
【0044】
物理位置決定
更に、携帯型コンピュータ装置又はアドオン式ハードウェアモジュールは、グローバル・ポジショニング・システムや三角測量システム等の物理位置決定ユニットを備えることができる。位置は、食品小売データベースを使用して食品小売店の位置と、従ってメニュー及び入手可能な食品リストと相関させることができる。従って、本発明による携帯型コンピュータ装置は、食品メニューを使用者の位置に基づいて使用者へ示すことができる。使用者がレストラン内に居る場合、メニューは、携帯型コンピュータ装置の表示部に表示することができる。従って、使用者は、本明細書で説明する音声認識システムを使用して表示メニューから選択できる。従って、栄養摂取データベースは、選択項目からダイエット記録を作成するのをアシストする。
【0045】
手首装着型装置
本発明の実施形態は、使用者の手首の周りのストラップによって腕時計の形態で支持されている携帯型装置を備えることができる。装置の表示部は、時間、他のデータ、娯楽、及び使用者への食品メニューを表示するのに利用できる。ハウジング内のマイクロフォンは、発声コマンドを聴取するのに使用できる。デジタル化音声ファイル等の音声信号は、使用者が携行するか又はそれを用いて使用者が対話できる別の装置に送信できる(例えば、PDA、デスクトップコンピュータ、娯楽装置、遠隔コンピュータ等)。メニュー選択肢の表示は、PDA等の他の装置の表示部に表示できる。
【0046】
制限された表示能力
複雑な表示は、使用者にメニュー形式でもって全ての選択肢を表示するのに適さない場合もある。この場合、使用者は、必要な選択肢の最初の文字を発声して、その文字で始まる食品項目又は食品種類を制限することができる。次に、他の文字や番号を発声して更に表示を制限するか、又は項目を選択することができる。
当業者であれば、開示されている本発明の実施形態の他の変形例を理解できる筈である。これらの変形例は、本発明の精神又は範囲から逸脱するものではなく、従って、開示されている実施形態は広義に解釈されるべきである。
【図面の簡単な説明】
【図1】
携帯型コンピュータ装置に挿入中のハードウェアモジュールを示す。
【図2】
挿入済みハードウェアモジュールを有する携帯型コンピュータ装置を示す。
【図3】
挿入済みハードウェアモジュールを有する携帯型コンピュータ装置を示す。
【図4】
使用者が穀物名をダイエット記録へ追加することができる、装置表示部上のメニュー表示の例を示す。
【図5】
使用者が穀物名をダイエット記録へ追加することができる、装置表示部上のメニュー表示の例を示す。
【図6】
使用者が穀物名をダイエット記録へ追加することができる、装置表示部上のメニュー表示の例を示す。
【図7】
使用者が穀物名をダイエット記録へ追加することができる、装置表示部上のメニュー表示の他の例を示す。
【図8】
使用者が穀物名をダイエット記録へ追加することができる、装置表示部上のメニュー表示の他の例を示す。
【図9】
使用者が穀物名をダイエット記録へ追加することができる、装置表示部上のメニュー表示の他の例を示す。
【図10A】
本発明の実施形態に使用できる携帯型コンピュータ装置の概略図を示す。
【図10B】
本発明の実施形態に使用できるハードウェアモジュールの概略図を示す。
【図11】
ダイエット記録を行う方法を示すフローチャートである。
【図12A】
メニュー表示を制限するために認識文字を使用するようになっている、表示部上の表示を示す。
【図12B】
メニュー表示を制限するために認識文字を使用するようになっている、表示部上の別の表示を示す。
【図13】
遠隔サーバに対する通信リンクを使用して栄養摂取データベース及び音声認識システムにアクセスするようになったシステムの概略図を示す。
Claims (18)
- 携帯型コンピュータ装置の付属品インタフェースと係合するように構成されているモジュールハウジングと、
使用者からの音声コマンドを受信して、電気的音声信号を出力するようになっている音声受信装置と、
前記音声受信装置からの前記電気的音声信号を受信し、音声コマンドを識別すると共に対応する電気的音声コマンド信号を携帯型コンピュータ装置へ伝送する音声認識システムと、
を備える携帯型コンピュータ装置のための音声認識モジュールであって、
前記電気的音声コマンド信号は、携帯型コンピュータ装置上で実行されるソフトウェアアプリケーションプログラムの作動を制御するのに使用されることを特徴とする音声認識モジュール。 - 栄養摂取データベースを更に備え、前記栄養摂取データベースは、食品項目識別子、及び複数の食品項目に関する関連栄養摂取データを含むことを特徴とする請求項1に記載の音声認識モジュール。
- 前記関連栄養摂取データは、前記食品項目識別子の各々に関連するカロリーコンテンツを含むことを特徴とする請求項2に記載の音声認識モジュール。
- 前記ソフトウェアアプリケーションプログラムは、前記電気的音声コマンド信号の制御の下で前記栄養摂取データベースから選択食品項目識別子を選択するようになっていることを特徴とする請求項2に記載の音声認識モジュール。
- 前記ソフトウェアアプリケーションプログラムは、更に使用者のダイエット記録を作成できるように、前記選択食品項目識別子及び前記関連栄養摂取データをメモリ内に格納するようになっていることを特徴とする請求項4に記載の音声認識モジュール。
- 表示部と、
マイクロプロセッサと、
メモリと、
複数の食品項目識別子の各々に関連する栄養摂取データデータベースと、
発話入力に相関する電気的音声コマンド信号を出力する音声認識システムと、
前記マイクロプロセッサにより実行され、前記表示部上に食品項目識別子の食品メニューを表示し、前記音声認識システムから受信した前記電気的音声コマンド信号に基づいて食品メニューから食品項目識別子を選択し、選択食品項目のダイエット記録を作成できるように、前記選択食品項目識別子に関連する栄養摂取データを格納するようになっているソフトウェアアプリケーションプログラムと、
を備えることを特徴とする携帯型コンピュータ装置。 - 複数の食品項目識別子の各々に関連する栄養摂取データの前記データベースは、前記食品項目識別子で表される食品項目のカロリーコンテンツを含むことを特徴とする請求項6に記載の携帯型コンピュータ装置。
- 前記データベースは、階層形式で配列されており、特定の食品項目は属種により特徴付けされ、前記ソフトウェアアプリケーションプログラムは、更に前記表示部上に属種メニューを表示し、前記電気的音声コマンド信号を受信すると前記属種メニューから属種を選択するようになっていることを特徴とする請求項6に記載の携帯型コンピュータ装置。
- マイクロプロセッサ、表示部、及び付属品ポートを備える携帯型コンピュータ装置のための付属品モジュールであって、
前記付属品ポートと通信するようになっているインタフェースと、
メモリと、
前記メモリに格納され、関連の食品項目栄養摂取コンテンツを有する複数の食品項目識別子の各々と相関する栄養摂取データベースと、
前記メモリに格納され、前記表示部上に食品項目識別子メニューを表示できるように前記マイクロプロセッサによって実行可能であり、更に、音声コマンド信号を受信すると前記食品項目識別子メニューから食品項目選択を選択するようになっており、更に、使用者のダイエット記録内に前記食品項目選択及び相関栄養摂取コンテンツを格納するようになっているソフトウェアアプリケーションプログラムと、
を備えることを特徴とする付属品モジュール。 - 前記複数の食品項目識別子の各々に関する前記関連の食品項目栄養摂取コンテンツは、前記複数の食品項目識別子の各々に関するカロリーコンテンツを含むことを特徴とする請求項9に記載の付属品モジュール。
- 前記音声コマンド信号は、前記付属品モジュール上に存在する音声認識システムによって与えられることを特徴とする請求項9に記載の付属品モジュール。
- 前記音声コマンド信号は、前記携帯型コンピュータ装置上にある音声認識システムによって与えられることを特徴とする請求項9に記載の付属品モジュール。
- 使用者のダイエット記録を作成する方法であって、
使用者に対して食品種類識別子メニューを示す段階と、
使用者からの種類選択音声コマンドを受信する段階と、
前記種類選択音声コマンドを選択食品種類識別子と相関させる段階と、
使用者に対して前記選択食品種類識別子と階層的関係にある食品項目識別子メニューを示す段階と、
使用者からの項目選択音声コマンドを受信する段階と、
前記項目選択音声コマンドを選択食品項目識別子と相関させる段階と、
使用者のダイエット記録を作成できるように、前記選択食品項目識別子及び関連栄養摂取データをメモリ装置に格納する段階と、
を含むことを特徴とする方法。 - 前記選択食品項目識別子は、栄養摂取データベースを使用して、関連栄養摂取データと相関されることを特徴とする請求項13に記載の方法。
- 前記メニューは、使用者が携行する携帯型コンピュータ装置の表示部上に表示されることを特徴とする請求項13に記載の方法。
- 使用者に対して表示される前記メニューは、使用者の位置に基づいて選択されることを特徴とする請求項15に記載の方法。
- 音声コマンドを選択識別子に相関させる前記段階は、前記携帯型コンピュータ装置で実行されるソフトウェアアプリケーションプログラムによって実行されることを特徴とする請求項15に記載の方法。
- 音声コマンドを選択識別子に相関させる前記段階は、前記携帯型コンピュータ装置と通信する遠隔コンピュータシステムで実行されるソフトウェアアプリケーションプログラムによって実行されることを特徴とする請求項15に記載の方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US21231900P | 2000-06-16 | 2000-06-16 | |
PCT/US2001/041031 WO2001097211A2 (en) | 2000-06-16 | 2001-06-18 | Speech recognition capability for a personal digital assistant |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004503887A true JP2004503887A (ja) | 2004-02-05 |
Family
ID=22790507
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002511327A Pending JP2004503887A (ja) | 2000-06-16 | 2001-06-18 | 携帯情報端末用音声認識装置 |
Country Status (6)
Country | Link |
---|---|
US (1) | US7392193B2 (ja) |
EP (1) | EP1305793A2 (ja) |
JP (1) | JP2004503887A (ja) |
AU (1) | AU2001272009A1 (ja) |
CA (1) | CA2413657A1 (ja) |
WO (1) | WO2001097211A2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006195669A (ja) * | 2005-01-12 | 2006-07-27 | Tokyo Medical & Dental Univ | 医療支援システム |
JP2017513047A (ja) * | 2014-03-04 | 2017-05-25 | アマゾン テクノロジーズ インコーポレイテッド | 音声認識における発音予測 |
Families Citing this family (92)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8429026B1 (en) * | 1999-06-28 | 2013-04-23 | Dietfood Corp. | System and method for creating and submitting electronic shopping lists |
US7133937B2 (en) * | 1999-10-29 | 2006-11-07 | Ge Medical Systems Information Technologies | Input devices for entering data into an electronic medical record (EMR) |
WO2002023389A1 (en) | 2000-09-15 | 2002-03-21 | Robert Fish | Systems and methods for translating an item of information using a distal computer |
US7036080B1 (en) * | 2001-11-30 | 2006-04-25 | Sap Labs, Inc. | Method and apparatus for implementing a speech interface for a GUI |
KR100447316B1 (ko) * | 2002-03-20 | 2004-09-07 | (주)모컨스 | 음성인식기능을 내장한 pda |
US8126713B2 (en) * | 2002-04-11 | 2012-02-28 | Shengyang Huang | Conversation control system and conversation control method |
US20030204403A1 (en) * | 2002-04-25 | 2003-10-30 | Browning James Vernard | Memory module with voice recognition system |
US20030216915A1 (en) * | 2002-05-15 | 2003-11-20 | Jianlei Xie | Voice command and voice recognition for hand-held devices |
US7822612B1 (en) * | 2003-01-03 | 2010-10-26 | Verizon Laboratories Inc. | Methods of processing a voice command from a caller |
US7480512B2 (en) * | 2004-01-16 | 2009-01-20 | Bones In Motion, Inc. | Wireless device, program products and methods of using a wireless device to deliver services |
US20050045373A1 (en) * | 2003-05-27 | 2005-03-03 | Joseph Born | Portable media device with audio prompt menu |
US20050049858A1 (en) * | 2003-08-25 | 2005-03-03 | Bellsouth Intellectual Property Corporation | Methods and systems for improving alphabetic speech recognition accuracy |
DE10360655A1 (de) * | 2003-12-23 | 2005-07-21 | Daimlerchrysler Ag | Bediensystem für ein Fahrzeug |
US20050165322A1 (en) * | 2004-01-23 | 2005-07-28 | Bryant Terry K. | Method of improving medical apparatus in order to reduce or replace ancillary medical assistance by employing audible verbal human sounding voices which provide therapeutic instructions and encourage usage and give measurements as needed emanating from the apparatus's by using electronic technology |
US20050192808A1 (en) * | 2004-02-26 | 2005-09-01 | Sharp Laboratories Of America, Inc. | Use of speech recognition for identification and classification of images in a camera-equipped mobile handset |
US20050278065A1 (en) * | 2004-06-10 | 2005-12-15 | Alvaro Garza | Nutritional informative vending machine providing a remote nutrition informing system |
CN102938803B (zh) * | 2004-06-22 | 2015-10-28 | 语音信号技术公司 | 在移动装置上实现关于运营商业务的至少一个功能的方法 |
US20240115202A1 (en) * | 2004-09-10 | 2024-04-11 | Bt Wearables Llc | Smart watch |
US9821344B2 (en) | 2004-12-10 | 2017-11-21 | Ikan Holdings Llc | Systems and methods for scanning information from storage area contents |
TWI278762B (en) * | 2005-08-22 | 2007-04-11 | Delta Electronics Inc | Method and apparatus for speech input |
WO2007044599A2 (en) * | 2005-10-06 | 2007-04-19 | Hamilton Scott E | Pod connected data monitoring system |
US8620667B2 (en) * | 2005-10-17 | 2013-12-31 | Microsoft Corporation | Flexible speech-activated command and control |
JP4846336B2 (ja) * | 2005-10-21 | 2011-12-28 | 株式会社ユニバーサルエンターテインメント | 会話制御装置 |
JP4849663B2 (ja) | 2005-10-21 | 2012-01-11 | 株式会社ユニバーサルエンターテインメント | 会話制御装置 |
JP4849662B2 (ja) * | 2005-10-21 | 2012-01-11 | 株式会社ユニバーサルエンターテインメント | 会話制御装置 |
WO2007069118A2 (en) * | 2005-12-14 | 2007-06-21 | Koninklijke Philips Electronics N.V. | Context aware food intake logging |
US8920343B2 (en) | 2006-03-23 | 2014-12-30 | Michael Edward Sabatino | Apparatus for acquiring and processing of physiological auditory signals |
US20080066015A1 (en) * | 2006-08-26 | 2008-03-13 | Thomas Tyrone Blankenhorn | Visual display of automated telephone system menus |
US20080228040A1 (en) * | 2007-03-16 | 2008-09-18 | Arthur Solomon Thompson | International medical expert diagnosis |
US8650030B2 (en) | 2007-04-02 | 2014-02-11 | Google Inc. | Location based responses to telephone requests |
US20080270037A1 (en) * | 2007-04-30 | 2008-10-30 | Masato Nakada | System and method for measuring and displaying health information |
US9794348B2 (en) | 2007-06-04 | 2017-10-17 | Todd R. Smith | Using voice commands from a mobile device to remotely access and control a computer |
KR20090107365A (ko) * | 2008-04-08 | 2009-10-13 | 엘지전자 주식회사 | 이동 단말기 및 그 메뉴 제어방법 |
US8239201B2 (en) * | 2008-09-13 | 2012-08-07 | At&T Intellectual Property I, L.P. | System and method for audibly presenting selected text |
US20100088096A1 (en) * | 2008-10-02 | 2010-04-08 | Stephen John Parsons | Hand held speech recognition device |
US20100275122A1 (en) * | 2009-04-27 | 2010-10-28 | Microsoft Corporation | Click-through controller for mobile interaction |
US8639513B2 (en) * | 2009-08-05 | 2014-01-28 | Verizon Patent And Licensing Inc. | Automated communication integrator |
CA2781615A1 (en) * | 2009-11-25 | 2011-06-03 | The Board Of Governors For Higher Education, State Of Rhode Island And P Rovidence Plantations | Systems and methods for providing an activity monitor and analyzer with voice direction for exercise |
US8548131B1 (en) | 2010-02-03 | 2013-10-01 | Tal Lavian | Systems and methods for communicating with an interactive voice response system |
US8572303B2 (en) * | 2010-02-03 | 2013-10-29 | Tal Lavian | Portable universal communication device |
US8681951B1 (en) | 2010-02-03 | 2014-03-25 | Tal Lavian | Systems and methods for visual presentation and selection of IVR menu |
US8406388B2 (en) | 2011-07-18 | 2013-03-26 | Zvi Or-Bach | Systems and methods for visual presentation and selection of IVR menu |
US8537989B1 (en) | 2010-02-03 | 2013-09-17 | Tal Lavian | Device and method for providing enhanced telephony |
US9001819B1 (en) | 2010-02-18 | 2015-04-07 | Zvi Or-Bach | Systems and methods for visual presentation and selection of IVR menu |
US8548135B1 (en) | 2010-02-03 | 2013-10-01 | Tal Lavian | Systems and methods for visual presentation and selection of IVR menu |
US8903073B2 (en) | 2011-07-20 | 2014-12-02 | Zvi Or-Bach | Systems and methods for visual presentation and selection of IVR menu |
US8625756B1 (en) | 2010-02-03 | 2014-01-07 | Tal Lavian | Systems and methods for visual presentation and selection of IVR menu |
US8879698B1 (en) | 2010-02-03 | 2014-11-04 | Tal Lavian | Device and method for providing enhanced telephony |
US8553859B1 (en) | 2010-02-03 | 2013-10-08 | Tal Lavian | Device and method for providing enhanced telephony |
US8687777B1 (en) | 2010-02-03 | 2014-04-01 | Tal Lavian | Systems and methods for visual presentation and selection of IVR menu |
US8594280B1 (en) | 2010-02-03 | 2013-11-26 | Zvi Or-Bach | Systems and methods for visual presentation and selection of IVR menu |
US8000454B1 (en) | 2010-09-10 | 2011-08-16 | Zvi Or-Bach | Systems and methods for visual presentation and selection of IVR menu |
US8688453B1 (en) * | 2011-02-28 | 2014-04-01 | Nuance Communications, Inc. | Intent mining via analysis of utterances |
CN202014321U (zh) | 2011-03-21 | 2011-10-19 | 海尔集团公司 | 遥控器及电视机*** |
US20120260167A1 (en) * | 2011-04-07 | 2012-10-11 | Sony Corporation | User interface for audio video display device such as tv |
US20130054255A1 (en) | 2011-08-26 | 2013-02-28 | Elwha LLC, a limited liability company of the State of Delaware | Controlled substance authorization and method for ingestible product preparation system and method |
US10239256B2 (en) | 2012-06-12 | 2019-03-26 | Elwha Llc | Food printing additive layering substrate structure ingestible material preparation system and method |
US10115093B2 (en) | 2011-08-26 | 2018-10-30 | Elwha Llc | Food printing goal implementation substrate structure ingestible material preparation system and method |
US10026336B2 (en) * | 2011-08-26 | 2018-07-17 | Elwha Llc | Refuse intelligence acquisition system and method for ingestible product preparation system and method |
US9037478B2 (en) | 2011-08-26 | 2015-05-19 | Elwha Llc | Substance allocation system and method for ingestible product preparation system and method |
US9997006B2 (en) | 2011-08-26 | 2018-06-12 | Elwha Llc | Treatment system and method for ingestible product dispensing system and method |
US9947167B2 (en) | 2011-08-26 | 2018-04-17 | Elwha Llc | Treatment system and method for ingestible product dispensing system and method |
US9785985B2 (en) | 2011-08-26 | 2017-10-10 | Elwha Llc | Selection information system and method for ingestible product preparation system and method |
US10121218B2 (en) | 2012-06-12 | 2018-11-06 | Elwha Llc | Substrate structure injection treatment system and method for ingestible product system and method |
US9240028B2 (en) | 2011-08-26 | 2016-01-19 | Elwha Llc | Reporting system and method for ingestible product preparation system and method |
US9619958B2 (en) | 2012-06-12 | 2017-04-11 | Elwha Llc | Substrate structure duct treatment system and method for ingestible product system and method |
US9111256B2 (en) | 2011-08-26 | 2015-08-18 | Elwha Llc | Selection information system and method for ingestible product preparation system and method |
US10192037B2 (en) | 2011-08-26 | 2019-01-29 | Elwah LLC | Reporting system and method for ingestible product preparation system and method |
US20130330447A1 (en) | 2012-06-12 | 2013-12-12 | Elwha LLC, a limited liability company of the State of Delaware | Substrate Structure Deposition Treatment System And Method For Ingestible Product System and Method |
US8892249B2 (en) | 2011-08-26 | 2014-11-18 | Elwha Llc | Substance control system and method for dispensing systems |
US20130054384A1 (en) * | 2011-08-26 | 2013-02-28 | Elwha LLC, a limited liability company of the State of Delaware | Refuse intelligence acquisition system and method for ingestible product preparation system and method |
US8989895B2 (en) | 2011-08-26 | 2015-03-24 | Elwha, Llc | Substance control system and method for dispensing systems |
US9922576B2 (en) | 2011-08-26 | 2018-03-20 | Elwha Llc | Ingestion intelligence acquisition system and method for ingestible material preparation system and method |
US8863202B2 (en) | 2011-11-11 | 2014-10-14 | Sony Corporation | System and method for voice driven cross service search using second display |
US8867708B1 (en) | 2012-03-02 | 2014-10-21 | Tal Lavian | Systems and methods for visual presentation and selection of IVR menu |
US8731148B1 (en) | 2012-03-02 | 2014-05-20 | Tal Lavian | Systems and methods for visual presentation and selection of IVR menu |
KR20130140423A (ko) * | 2012-06-14 | 2013-12-24 | 삼성전자주식회사 | 디스플레이 장치, 대화형 서버 및 응답 정보 제공 방법 |
KR101330671B1 (ko) | 2012-09-28 | 2013-11-15 | 삼성전자주식회사 | 전자장치, 서버 및 그 제어방법 |
CN105007805B (zh) * | 2013-01-22 | 2018-10-16 | 代表亚利桑那州大学行事的亚利桑那州大学董事会 | 可携式新陈代谢分析*** |
US9576316B2 (en) * | 2013-02-09 | 2017-02-21 | Todd Christopher Adelmann | Dynamic menus |
KR101456974B1 (ko) | 2013-05-21 | 2014-10-31 | 삼성전자 주식회사 | 사용자 단말기, 음성인식 서버 및 음성인식 가이드 방법 |
WO2015063895A1 (ja) * | 2013-10-30 | 2015-05-07 | 楽天株式会社 | 管理装置、管理方法、記録媒体およびプログラム |
CN103605468A (zh) * | 2013-11-14 | 2014-02-26 | 武汉虹翼信息有限公司 | 一种电子书籍控制装置及其控制交互方法 |
US9082407B1 (en) * | 2014-04-15 | 2015-07-14 | Google Inc. | Systems and methods for providing prompts for voice commands |
US9769227B2 (en) | 2014-09-24 | 2017-09-19 | Microsoft Technology Licensing, Llc | Presentation of computing environment on multiple devices |
US10635296B2 (en) | 2014-09-24 | 2020-04-28 | Microsoft Technology Licensing, Llc | Partitioned application presentation across devices |
US10025684B2 (en) | 2014-09-24 | 2018-07-17 | Microsoft Technology Licensing, Llc | Lending target device resources to host device computing environment |
US10448111B2 (en) | 2014-09-24 | 2019-10-15 | Microsoft Technology Licensing, Llc | Content projection |
US9910840B2 (en) | 2015-04-03 | 2018-03-06 | Microsoft Technology Licensing, Llc | Annotating notes from passive recording with categories |
CN105185379B (zh) * | 2015-06-17 | 2017-08-18 | 百度在线网络技术(北京)有限公司 | 声纹认证方法和装置 |
US10229680B1 (en) * | 2016-12-29 | 2019-03-12 | Amazon Technologies, Inc. | Contextual entity resolution |
CN110853736A (zh) * | 2019-11-13 | 2020-02-28 | 漯河医学高等专科学校 | 一种调节身体机能饮食搭配***及检测装置 |
Family Cites Families (105)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US2630798A (en) * | 1953-03-10 | Respiratory quotient and metabolism meter | ||
US2826912A (en) * | 1948-12-27 | 1958-03-18 | Kritz Jack | Acoustic velocity measuring system |
US2831348A (en) * | 1953-08-14 | 1958-04-22 | Kritz Jack | Apparatus for suppressing undesirable modes in ultrasonic flowmeters |
US2869357A (en) * | 1954-06-17 | 1959-01-20 | Kritz Jack | Continuously indicating electroacoustic densitometer |
US2911825A (en) * | 1955-06-14 | 1959-11-10 | Kritz Jack | Mass flow fluid measurement |
US2920012A (en) * | 1955-09-01 | 1960-01-05 | Warner Lambert Pharmaceutical | Therapeutic compositions for inhibiting carbonic anhydrase activity |
US2838399A (en) * | 1955-10-05 | 1958-06-10 | Organic Chemical Corp | Non-gushing carbonated beverages and process for preparing the same |
US3250270A (en) * | 1962-09-19 | 1966-05-10 | Bloom Walter Lyon | Device and method for measuring the calories an individual expends |
US3213684A (en) * | 1962-11-27 | 1965-10-26 | Swiss Colony Inc | Calorimeter |
US3220255A (en) * | 1962-12-03 | 1965-11-30 | Technology Inc | Thermal mass flowmeter |
US3306283A (en) * | 1964-02-27 | 1967-02-28 | Univ Iowa State Res Found Inc | Oxygen utilization analyzer |
US3527205A (en) * | 1968-04-02 | 1970-09-08 | William C Jones | Respiration testing apparatus |
US3523529A (en) * | 1968-06-25 | 1970-08-11 | Us Air Force | Oxygen consumption computer |
US3681197A (en) * | 1969-01-02 | 1972-08-01 | Clarence T Smith | Method and solution for maintaining biological activity in enzymes |
US3726270A (en) * | 1971-09-20 | 1973-04-10 | Syst Res Labor Inc | Pulmonary information transmission system |
US4051847A (en) * | 1972-01-17 | 1977-10-04 | Melvyn Lane Henkin | Anesthesia rebreathing apparatus |
US3814091A (en) * | 1972-01-17 | 1974-06-04 | M Henkin | Anesthesia rebreathing apparatus |
US3938551A (en) * | 1972-01-17 | 1976-02-17 | Henkin Melvyn Lane | Anesthesia rebreathing apparatus |
US3834375A (en) * | 1972-04-12 | 1974-09-10 | Del Mar Eng Lab | Respiratory gas analyzer for measuring and displaying oxygen uptake in expired air |
US4003396A (en) * | 1972-08-08 | 1977-01-18 | Fleischmann Lewis W | Proportional control closed circuit gas admission system |
US3799149A (en) * | 1972-12-26 | 1974-03-26 | Nasa | Metabolic analyzer |
US3895630A (en) * | 1973-06-04 | 1975-07-22 | Del Mar Eng Lab | Respiratory gas analyzer including a carbon dioxide and respiratory quotient computer |
IT1006689B (it) * | 1973-12-28 | 1976-10-20 | Sir Soc Italiana Resine Spa | Procedimento per la polimerizza zione della formaldeide |
US3962917A (en) * | 1974-07-03 | 1976-06-15 | Minato Medical Science Co., Ltd. | Respirometer having thermosensitive elements on both sides of a hot wire |
US3972038A (en) * | 1975-03-28 | 1976-07-27 | Nasa | Accelerometer telemetry system |
US3991304A (en) * | 1975-05-19 | 1976-11-09 | Hillsman Dean | Respiratory biofeedback and performance evaluation system |
FR2324284A1 (fr) * | 1975-09-18 | 1977-04-15 | Synthelabo | Spirometre a correction de pression |
US4151668A (en) * | 1975-10-30 | 1979-05-01 | Hungerford Daniel C | Individual well-balanced meal planning device |
US4117834A (en) * | 1976-12-02 | 1978-10-03 | Mc Partland Richard J | Physiological motor activity monitoring apparatus |
US4100401A (en) * | 1977-01-13 | 1978-07-11 | Tutt Eugene F | Calorie calculator-chronometer |
DE2709081C3 (de) * | 1977-03-02 | 1979-12-20 | Eva-Maria 8061 Unterbachern Sessler | Kontrollgerät zur Kontrolle der Nahrungsmittelaufnahme |
US4101071A (en) * | 1977-04-04 | 1978-07-18 | Carl Brejnik | Electronic calorie counter |
DE2715228A1 (de) * | 1977-04-05 | 1979-02-22 | Siemens Ag | Vorrichtung zum anwaermen und befeuchten eines beatmungsgases |
US4186735A (en) * | 1977-04-21 | 1980-02-05 | Flood Michael G | Breathing apparatus |
US4353375A (en) * | 1977-04-26 | 1982-10-12 | The United States Of America As Represented By The Department Of Health & Human Services | Activity monitor for ambulatory subjects |
US4095274A (en) * | 1977-04-27 | 1978-06-13 | Carl Gordon | Apparatus for determining food content |
US4192000A (en) * | 1977-07-14 | 1980-03-04 | Calorie Counter Limited Partnership | Electronic calorie counter |
DE2739633A1 (de) * | 1977-09-02 | 1979-03-08 | Brose & Co Metallwerk Max | Vorrichtung zum anheben und absenken einer scheibe, insbesondere fuer kraftfahrzeuge |
US4188946A (en) * | 1977-10-07 | 1980-02-19 | Rayburn Robert L | Controllable partial rebreathing anesthesia circuit and respiratory assist device |
US4197857A (en) * | 1978-04-06 | 1980-04-15 | Research Development Corporation | System for measurement of oxygen uptake and respiratory quotient |
US4211239A (en) * | 1978-05-03 | 1980-07-08 | University Of Utah | Neonatal oxygen consumption monitor |
US4212079A (en) * | 1978-05-18 | 1980-07-08 | GPD, Inc. | Electronic calorie counter |
US4380802A (en) * | 1978-05-18 | 1983-04-19 | Gpd Inc. | Electronic calorie counter |
US4221224A (en) * | 1978-06-29 | 1980-09-09 | Intermountain Health Care | Non-airtight pulmonary measuring device |
US4224952A (en) * | 1978-08-07 | 1980-09-30 | Sidorenko Georgy I | Electronic ergometer |
US4244020A (en) * | 1979-01-15 | 1981-01-06 | Ratcliff Lloyd P | Caloric and/or carbohydrate calculator |
US4230108A (en) * | 1979-03-13 | 1980-10-28 | Young Sharon L | Apparatus and method for sealing esophageal entrance to trachea above and below |
CA1106500A (en) * | 1979-06-20 | 1981-08-04 | Lester Krames | Nutritional value accumulating and display device |
DK144800C (da) * | 1980-04-21 | 1982-10-25 | Forenede Bryggerier As | Fremgangsmaade til udvinding af enzymer,fortrinsvis cu,zn-superoxid-dismutase (sod),catalase og carbonsyreanhydrase,fra blod |
US4440177A (en) * | 1980-07-03 | 1984-04-03 | Medical Graphics Corporation | Respiratory analyzer system |
JPS5948106B2 (ja) * | 1980-08-27 | 1984-11-24 | 株式会社東芝 | 呼吸監視装置 |
US4359057A (en) * | 1980-09-30 | 1982-11-16 | Giovanni Manzella | Apparatus for measuring oxygen consumption and the exchange of other breathing gases |
JPS5777914A (en) * | 1980-10-31 | 1982-05-15 | Toshiba Corp | Fluid measuring apparatus |
US4368740A (en) * | 1980-11-03 | 1983-01-18 | Binder Andy S | Physiologic analyzer |
FR2494465B1 (fr) * | 1980-11-14 | 1987-02-13 | Epd Engineering Projectdevelop | Ordinateur de poche |
US4386604A (en) * | 1981-02-27 | 1983-06-07 | Daniel Hershey | Determination of the basal metabolic rate of humans with a whole-body calorimeter |
US4463764A (en) * | 1981-09-29 | 1984-08-07 | Medical Graphics Corporation | Cardiopulmonary exercise system |
US4387777A (en) * | 1981-10-26 | 1983-06-14 | Willo Partners | Calorie counting method and apparatus |
SE453255B (sv) * | 1983-01-19 | 1988-01-25 | Institutionen For Medicinsk Te | Anordning for icke-invasiv bestemning av hjertats minutvolym |
US4566461A (en) * | 1983-02-15 | 1986-01-28 | Michael Lubell | Health fitness monitor |
US4598700A (en) * | 1983-03-14 | 1986-07-08 | Tamm Ulf S | Apparatus for measuring pulse rate and pulmonary volume |
FR2544525A1 (fr) * | 1983-04-12 | 1984-10-19 | Simatec Sarl | Appareil portatif de saisie et de traitement d'informations relatives a la sante d'une personne |
US4619269A (en) * | 1983-06-29 | 1986-10-28 | Utah Medical Products, Inc. | Apparatus and method for monitoring respiratory gas |
US4572208A (en) * | 1983-06-29 | 1986-02-25 | Utah Medical Products, Inc. | Metabolic gas monitoring apparatus and method |
US4575804A (en) * | 1983-08-01 | 1986-03-11 | Ratcliff Lloyd P | Diet calculator |
US4571682A (en) * | 1983-08-22 | 1986-02-18 | Computerized Sports Equipment, Inc. | System and method for skill enhancement and behavior modification |
US4781184A (en) * | 1984-01-13 | 1988-11-01 | Fife William P | Closed circuit breathing apparatus and method of using same |
US4650218A (en) * | 1984-02-16 | 1987-03-17 | Hawke Earle M | Method and apparatus for controlling caloric intake |
US4855945A (en) * | 1984-03-27 | 1989-08-08 | Ritsuko Sakai | Portable food-constituent-amount display and calculating system, and device to operate the system |
US4709331A (en) * | 1984-05-01 | 1987-11-24 | Barkett Patricia A | Calculator-computer for calculating infusion rates over varying time intervals |
JPS60237565A (ja) * | 1984-05-10 | 1985-11-26 | Sharp Corp | メニユ−機能付計算機 |
FI78231C (fi) * | 1984-11-21 | 1989-07-10 | Instrumentarium Oy | Maetanordning foer metaboliska storheter anslutbar till en respirator. |
US4629015A (en) * | 1984-11-28 | 1986-12-16 | Cobe Asdt, Inc. | Weight monitoring system |
GB8502443D0 (en) | 1985-01-31 | 1985-03-06 | Flexigage Ltd | Monitoring physiological parameters |
SE451051B (sv) * | 1985-03-26 | 1987-08-31 | Icor Ab | Anordning for metning av en persons syreupptagning |
DE3511832C2 (de) * | 1985-03-30 | 1995-02-16 | Felix Johannes Dipl I Overbeck | Einrichtung für die Informationsvermittlung |
ATE59956T1 (de) * | 1985-04-01 | 1991-02-15 | Cosmed Srl | Tragbares atemueberwachungsgeraet zur telemetrie von messwerten einer datenverarbeitungszentrale. |
US4648396A (en) * | 1985-05-03 | 1987-03-10 | Brigham And Women's Hospital | Respiration detector |
WO1986007447A1 (en) * | 1985-06-07 | 1986-12-18 | Sentron Limited | Dietetic measurement apparatus |
US4954954A (en) | 1985-08-26 | 1990-09-04 | Madsen Lamar R | Apparatus for generating a balanced calorically limited menu |
US4853854A (en) * | 1985-12-26 | 1989-08-01 | Health Innovations, Inc. | Human behavior modification which establishes and generates a user adaptive withdrawal schedule |
US4757453A (en) * | 1986-03-25 | 1988-07-12 | Nasiff Roger E | Body activity monitor using piezoelectric transducers on arms and legs |
US4731726A (en) * | 1986-05-19 | 1988-03-15 | Healthware Corporation | Patient-operated glucose monitor and diabetes management system |
US4951197A (en) | 1986-05-19 | 1990-08-21 | Amc Of America | Weight loss management system |
US4803625A (en) * | 1986-06-30 | 1989-02-07 | Buddy Systems, Inc. | Personal health monitor |
US6149062A (en) * | 1988-01-14 | 2000-11-21 | Intermec Ip Corp. | Interface with hand-held data capture terminal, proximity and label sensing, and enhanced sensitivity and power efficiency |
FR2603402B1 (fr) * | 1986-09-01 | 1988-11-25 | Gerbaulet Claude | Dispositif pour la mise en oeuvre d'un procede d'alimentation des personnes |
US4756670A (en) * | 1986-10-17 | 1988-07-12 | Andros Analyzers Incorporated | Detecting method and apparatus using heat sensitive devices |
US4955946A (en) | 1986-12-11 | 1990-09-11 | Marquette Gas Analysis | Respiratory CO2 detector circuit with high quality waveform |
US4796182A (en) * | 1986-12-15 | 1989-01-03 | Gary Duboff | Diet monitor and display device |
NO161882C (no) * | 1987-04-24 | 1989-10-04 | Norske Stats Oljeselskap | Med ultralyd arbeidende transduseranordning for maaling avstroemningshastigheten til et fluidum i et roer. |
US4823808A (en) * | 1987-07-06 | 1989-04-25 | Clegg Charles T | Method for control of obesity, overweight and eating disorders |
US4855942A (en) * | 1987-10-28 | 1989-08-08 | Elexis Corporation | Pedometer and/or calorie measuring device and method |
US4796639A (en) * | 1987-11-05 | 1989-01-10 | Medical Graphics Corporation | Pulmonary diagnostic system |
US4986268A (en) | 1988-04-06 | 1991-01-22 | Tehrani Fleur T | Method and apparatus for controlling an artificial respirator |
US4850371A (en) * | 1988-06-13 | 1989-07-25 | Broadhurst John H | Novel endotracheal tube and mass spectrometer |
US4917108A (en) * | 1988-06-29 | 1990-04-17 | Mault James R | Oxygen consumption meter |
US4891756A (en) * | 1988-09-26 | 1990-01-02 | Williams Iii William B | Nutritional microcomputer and method |
JPH02228943A (ja) | 1989-03-01 | 1990-09-11 | Nippon Koden Corp | 2波長式呼吸ガス濃度測定装置 |
US4909259A (en) * | 1989-04-21 | 1990-03-20 | Tehrani Fleur T | Method and apparatus for determining metabolic rate ratio |
US5020107A (en) * | 1989-12-04 | 1991-05-28 | Motorola, Inc. | Limited vocabulary speech recognition system |
WO1992012490A1 (en) * | 1991-01-11 | 1992-07-23 | Health Innovations, Inc. | Method and apparatus to control diet and weight using human behavior modification techniques |
US5524169A (en) * | 1993-12-30 | 1996-06-04 | International Business Machines Incorporated | Method and system for location-specific speech recognition |
US5749072A (en) * | 1994-06-03 | 1998-05-05 | Motorola Inc. | Communications device responsive to spoken commands and methods of using same |
US6453371B1 (en) * | 1999-04-23 | 2002-09-17 | Palm, Inc. | Method, apparatus, and system for selection of a port for data exchange |
-
2001
- 2001-06-18 CA CA002413657A patent/CA2413657A1/en not_active Abandoned
- 2001-06-18 WO PCT/US2001/041031 patent/WO2001097211A2/en not_active Application Discontinuation
- 2001-06-18 AU AU2001272009A patent/AU2001272009A1/en not_active Abandoned
- 2001-06-18 US US10/311,414 patent/US7392193B2/en not_active Expired - Fee Related
- 2001-06-18 EP EP01951076A patent/EP1305793A2/en not_active Withdrawn
- 2001-06-18 JP JP2002511327A patent/JP2004503887A/ja active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006195669A (ja) * | 2005-01-12 | 2006-07-27 | Tokyo Medical & Dental Univ | 医療支援システム |
JP2017513047A (ja) * | 2014-03-04 | 2017-05-25 | アマゾン テクノロジーズ インコーポレイテッド | 音声認識における発音予測 |
US10339920B2 (en) | 2014-03-04 | 2019-07-02 | Amazon Technologies, Inc. | Predicting pronunciation in speech recognition |
Also Published As
Publication number | Publication date |
---|---|
AU2001272009A1 (en) | 2001-12-24 |
EP1305793A2 (en) | 2003-05-02 |
CA2413657A1 (en) | 2001-12-20 |
US20030163321A1 (en) | 2003-08-28 |
WO2001097211A2 (en) | 2001-12-20 |
US7392193B2 (en) | 2008-06-24 |
WO2001097211A3 (en) | 2002-06-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7392193B2 (en) | Speech recognition capability for a personal digital assistant | |
JP6265516B2 (ja) | データ駆動型自然言語イベントの検出及び分類 | |
KR102078495B1 (ko) | 지능형 목록 읽기 | |
CN114374661B (zh) | 即时消息环境中操作数字助理的方法、电子设备和计算机可读介质 | |
WO2003069427A2 (en) | Caloric management system and method with voice recognition | |
US20070038933A1 (en) | Remote coaching service and server | |
CN109313898A (zh) | 提供低声语音的数字助理 | |
CN107480161A (zh) | 用于媒体探究的智能自动化助理 | |
CN109257941A (zh) | 数字助理的同步和任务委派 | |
CN109814832A (zh) | 多任务环境中的智能数字助理 | |
CN110050303A (zh) | 基于第三方代理内容的语音到文本转换 | |
KR20150045683A (ko) | 맞춤형 식생활 서비스 제공 방법 및 맞춤형 식생활 서비스 제공 장치 | |
Teixeira et al. | Speech-centric multimodal interaction for easy-to-access online services–a personal life assistant for the elderly | |
CN109102802A (zh) | 用于处理用户话语的*** | |
US20100090835A1 (en) | System and method for taking responsive action to human biosignals | |
CN110209777A (zh) | 问答的方法及电子设备 | |
WO2019073669A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP2019164585A (ja) | 情報提供装置、情報提供方法、および情報提供プログラム | |
JP2018530082A (ja) | 1回の送出トラッキングを有するウェアラブルな食事および運動トラッキング装置 | |
JP2000067029A (ja) | 献立支援装置及び献立支援方法 | |
US20020007315A1 (en) | Methods and apparatus for voice activated audible order system | |
KR100964195B1 (ko) | 식단 제공 장치 및 방법 | |
CN112099720A (zh) | 数字助理用户界面和响应模式 | |
JP2002259806A (ja) | 店舗情報提供方法、当該方法が実行可能なサーバ及びプログラム | |
US20020069046A1 (en) | Speech communication system |