JPWO2016103415A1 - ヘッドマウントディスプレイシステム及びヘッドマウントディスプレイ装置の操作方法 - Google Patents
ヘッドマウントディスプレイシステム及びヘッドマウントディスプレイ装置の操作方法 Download PDFInfo
- Publication number
- JPWO2016103415A1 JPWO2016103415A1 JP2016565770A JP2016565770A JPWO2016103415A1 JP WO2016103415 A1 JPWO2016103415 A1 JP WO2016103415A1 JP 2016565770 A JP2016565770 A JP 2016565770A JP 2016565770 A JP2016565770 A JP 2016565770A JP WO2016103415 A1 JPWO2016103415 A1 JP WO2016103415A1
- Authority
- JP
- Japan
- Prior art keywords
- character string
- language
- utterance
- mounted display
- head
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 25
- 238000000605 extraction Methods 0.000 claims abstract description 47
- 239000000284 extract Substances 0.000 claims abstract description 4
- 230000004044 response Effects 0.000 claims description 74
- 230000004913 activation Effects 0.000 claims description 20
- 238000004891 communication Methods 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 17
- 230000003213 activating effect Effects 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 15
- 238000013519 translation Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 11
- 230000014509 gene expression Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000003203 everyday effect Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 241001122315 Polites Species 0.000 description 1
- 241000544076 Whipplea modesta Species 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
- G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/70—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
- G06F21/82—Protecting input, output or interconnection devices
- G06F21/84—Protecting input, output or interconnection devices output devices, e.g. displays or monitors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
- G06F40/53—Processing of non-Latin text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
- G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Acoustics & Sound (AREA)
- Artificial Intelligence (AREA)
- User Interface Of Digital Computer (AREA)
- Machine Translation (AREA)
Abstract
Description
第一実施形態は、HMD装置で実行されるプログラム及び動作モードの一つを、発話を基に起動・停止させる実施形態である。まず、図1乃至図2を参照してHMDシステムの概略構成について説明する。ここで図1は、本実施形態に係る起動・停止プログラムを搭載したHMD装置の外観構成例の概要を示した斜視図である。図2は、HMD装置のハードウェア構成を示す図である。
第二実施形態は、第一実施形態のプログラムとして翻訳プログラムを用いた実施形態である。まず、図6及び図7を参照して概略構成について説明する。図6は、第二実施形態に係る翻訳プログラムの制御装置(以下「翻訳制御装置」という)の機能構成を示すブロック図である。図7は、言語種類情報テーブルの一例を示す図である。
第三実施形態は、対話者の発話を、通信装置を経由して取得するHMD装置の例を説明する。図10は、第三実施形態におけるHMD装置を示すハードウェア構成図の例である。図10のHMD装置1bは、通信部710を経由して発話情報を得る点で異なる。通信部710は、対話者の発話情報を特定のフォーマットから音声情報に変換し、変換した音声情報を発話者特定部510に出力する。
一般的にHMD装置は、文字列や画像、図形を使用者の前方にある風景に重ねて表示できることが大きな特徴の一つである。このため文字や画像、図形を表示するエリアが広いと前方風景が見えづらくなってしまう。表示する文字や画像、図形は虚像を作ることで数メートル前方に大きく表示されているように錯覚させることが可能だが、その場合でも表示エリアに限界がある。また、日常使用する言語以外で他者と会話する場合には、訳文や応答リコメンド文に関して一度に見る文字情報は必要最小限にした方が使用者にとって利用しやすく、会話も円滑になる場合が多い。
Claims (15)
- 会話者の発話の入力を受け付け、音声情報を出力するマイクと、
前記音声情報を文字列に変換し、発話文字列を生成する文字列生成部と、
起動又は停止させたいプログラム及び動作モードの少なくとも一つ、及びそれらプログラム及び動作モードの其々に対し、起動又は停止させるための特定発話を関連付けた特定発話情報を格納する特定発話情報記憶部と、
前記特定発話情報を参照して、前記発話文字列に含まれる前記特定発話を抽出し、その抽出結果を示す特定発話抽出信号を生成する特定発話抽出部と、
前記特定発話抽出信号を参照し、前記プログラム又は動作モードを、起動又は停止させる制御部と、
を備えることを特徴とするヘッドマウントディスプレイシステム。 - 請求項1に記載のヘッドマウントディスプレイシステムにおいて、
ヘッドマウントディスプレイ装置の使用者を識別するために、前記使用者が予め発話した音声識別情報を記憶する使用者音声情報記憶部と、
前記マイクから出力された音声情報、及び前記音声識別情報の整合性を基に、前記会話者が前記使用者であるかを判断する発話者特定部と、を更に備え、
前記発話者特定部は、前記会話者が前記使用者であると判断した場合に、前記プログラム又は動作モードを、起動又は停止させる、
ことを特徴とするヘッドマウントディスプレイシステム。 - 請求項1に記載のヘッドマウントディスプレイシステムにおいて、
前記プログラム又は前記動作モードを起動する際の優先度を規定した起動規則情報を記憶する起動規則情報記憶部を更に備え、
前記制御部は、前記特定発話抽出信号を取得すると、前記起動規則情報において、当該特定発話抽出信号に従って前記プログラム又は前記動作モードを起動することが許容されている場合に、当該プログラム又は前記動作モードを起動する、
ことを特徴とするヘッドマウントディスプレイシステム。 - 請求項1に記載のヘッドマウントディスプレイシステムにおいて、
会話文を構成する会話辞書を記憶する会話辞書記憶部と、
前記会話辞書を参照し、前記発話文字列に対応する応答文字列を選択又は生成する応答文字列生成部と、
前記使用者の眼前に配置される表示画面、及び当該表示画面に前記応答文字列を表示するための制御を行う表示制御部と、を更に備える、
ことを特徴とするヘッドマウントディスプレイシステム。 - 請求項4に記載のヘッドマウントディスプレイシステムにおいて、
前記文字列生成部は、複数の言語の内から、前記使用者の各言語の理解力に応じて一つを選択し、選択した言語を用いて前記発話文字列を生成し、
前記応答文字列生成部は、前記複数の言語の内から、前記使用者の発言力に応じて一つを選択し、選択した言語を用いて前記応答文字列を生成する、
ことを特徴とするヘッドマウントディスプレイシステム。 - 請求項5に記載のヘッドマウントディスプレイシステムにおいて、
前記複数の言語は、前記使用者が通常会話で用いる第一言語と、文字の理解はできるが前記第一言語よりも理解度が低い第二言語と、当該第二言語よりもさらに理解度が低く文字の理解が不可能な第三言語とを含み、
前記特定発話抽出部が抽出する前記特定発話は、前記使用者が前記第二言語又は第三言語で発話された挨拶、名前、及び発話の声紋の少なくとも一つである、
ことを特徴とするヘッドマウントディスプレイシステム。 - 請求項6に記載のヘッドマウントディスプレイシステムにおいて、
前記複数の言語は、前記使用者が発言できるが、前記第一言語よりも発言力が低い第四言語と、当該第四言語よりもさらに発言力が低く、発言が不可能な第五言語とを含み、
前記発話者特定部が、前記音声情報は前記使用者とは異なる会話者である対話者によるものと判断した場合、前記文字列生成部は、前記音声情報が第二言語によるものであると判断すると前記第二言語を用いて前記発話文字列し、前記音声情報が前記第一言語又は前記第三言語によるものであると判断すると、前記第一言語を用いて前記発話文字列を生成し、前記応答文字列生成部は、前記音声情報が第四言語によるものであると判断すると前記第四言語を用いて前記応答文字列を生成し、前記音声情報が前記第五言語によるものであると判断すると、第五言語での応答発話の発音に対応した応答文字列をローマ字あるいはカタカナで生成する、
ことを特徴とするヘッドマウントディスプレイシステム。 - 請求項7記載のヘッドマウントディスプレイシステムであって、
前記文字列生成部は、前記音声情報が第二言語によるものであると判断された場合、前記対話者の発話の長さ又は発話中の単語の難易度に応じて、前記発話文字列を構成する言語を前記第二言語から第一言語に変更する、
ことを特徴とするヘッドマウントディスプレイシステム。 - 請求項7記載のヘッドマウントディスプレイシステムであって、
前記文字列生成部は、言語が異なる複数の音声情報を取得すると、当該複数の音声情報のそれぞれについて前記第一言語を用いた前記発話文字列を生成する、
ことを特徴とするヘッドマウントディスプレイシステム。 - 請求項4記載のヘッドマウントディスプレイシステムであって、
前記使用者の周辺環境を撮像し、撮像画像を生成するカメラと、
前記撮像画像に、前記使用者が装着しているヘッドマウントディスプレイ装置と同機種の他のヘッドマウントディスプレイ装置が撮像されていることを示す特徴画像を検出する画像処理部と、備え、
前記制御部は、前記特徴画像が検出された場合は、前記文字列生成部に対して前記使用者が通常会話で用いる第一言語で前記発話文字列を生成することを指示する第一言語使用信号を出力し、前記応答文字列生成部に対して、前記応答文字列の生成動作を停止させる停止信号を出力する、
ことを特徴とするヘッドマウントディスプレイシステム。 - 請求項4記載のヘッドマウントディスプレイシステムであって、
外部装置と通信接続をする通信部を更に備え、
前記通信部は、自機と同機種の他のヘッドマウントディスプレイ装置と通信が確立した場合、前記制御部は、前記文字列生成部に対して前記使用者が通常会話で用いる第一言語で前記発話文字列を生成することを指示する第一言語使用信号を出力し、前記応答文字列生成部に対して、前記応答文字列の生成動作を停止させる停止信号を出力する、
ことを特徴とするヘッドマウントディスプレイシステム。 - 請求項2に記載のヘッドマウントディスプレイシステムであって、
前記使用者の眼前に配置される表示画面、及び当該表示画面に前記応答文字列を表示するための制御を行う表示制御部と、を更に備え、
前記発話者特定部が、前記音声情報及び前記音声識別情報に基づいて、前記音声情報を発話した者が使用者として登録されていない者であると判断した場合、前記文字列生成部は、初期設定に用いる設定文字列を生成し、前記表示制御部は、前記設定文字列を前記表示画面に表示し、前記制御部は、前記使用者が前記設定文字列に対して応答して発話した音声情報に基づいて、初期設定登録を行う、
ことを特徴とするヘッドマウントディスプレイシステム。 - 請求項1に記載のヘッドマウントディスプレイシステムであって、
前記文字列生成部は、敬語及び敬称を使わない基本語により前記発話文字列を生成する、
ことを特徴とするヘッドマウントディスプレイシステム。 - 請求項4に記載のヘッドマウントディスプレイシステムであって、
前記表示制御部は、副詞及び形容詞を省略した前記発話文字列を表示する、又は前記副詞及び形容詞を構成する文字のサイズを標準文字サイズより小さくして表示する、
ことを特徴とするヘッドマウントディスプレイシステム。 - 会話者の発話の入力を受け付け、音声情報を出力するステップと、
前記音声情報を文字列に変換し、発話文字列を生成するステップと、
起動又は停止させたいプログラム及び動作モードの少なくとも一つ、及びそれらプログラム及び動作モードの其々に対し、起動又は停止させるための特定発話を関連付けた特定発話情報を参照して、前記発話文字列に含まれる前記特定発話を抽出し、その抽出結果を示す特定発話抽出信号を生成するステップと、
前記特定発話抽出信号を参照し、前記プログラム又は動作モードを、起動又は停止させるステップと、
を含むことを特徴とするヘッドマウントディスプレイ装置の操作方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2014/084372 WO2016103415A1 (ja) | 2014-12-25 | 2014-12-25 | ヘッドマウントディスプレイシステム及びヘッドマウントディスプレイ装置の操作方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2016103415A1 true JPWO2016103415A1 (ja) | 2017-11-09 |
JP6392374B2 JP6392374B2 (ja) | 2018-09-19 |
Family
ID=56149508
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016565770A Active JP6392374B2 (ja) | 2014-12-25 | 2014-12-25 | ヘッドマウントディスプレイシステム及びヘッドマウントディスプレイ装置の操作方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10613826B2 (ja) |
JP (1) | JP6392374B2 (ja) |
CN (1) | CN107003823B (ja) |
WO (1) | WO2016103415A1 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3506070B1 (en) * | 2016-08-25 | 2021-12-15 | Sony Group Corporation | Information presentation device and information presentation method |
WO2018105373A1 (ja) * | 2016-12-05 | 2018-06-14 | ソニー株式会社 | 情報処理装置、情報処理方法、および情報処理システム |
KR20190091265A (ko) | 2016-12-05 | 2019-08-05 | 소니 주식회사 | 정보 처리 장치, 정보 처리 방법, 및 정보 처리 시스템 |
WO2018185830A1 (ja) * | 2017-04-04 | 2018-10-11 | 株式会社オプティム | 情報処理システム、情報処理方法、情報処理装置、及びプログラム |
US20190333273A1 (en) * | 2018-04-25 | 2019-10-31 | Igt | Augmented reality systems and methods for assisting gaming environment operations |
CN110459211B (zh) * | 2018-05-07 | 2023-06-23 | 阿里巴巴集团控股有限公司 | 人机对话方法、客户端、电子设备及存储介质 |
CN110874201B (zh) * | 2018-08-29 | 2023-06-23 | 斑马智行网络(香港)有限公司 | 交互方法、设备、存储介质和操作*** |
JP2020194517A (ja) * | 2019-05-21 | 2020-12-03 | 雄史 高田 | 翻訳システムおよび翻訳システムセット |
JP7196122B2 (ja) * | 2020-02-18 | 2022-12-26 | 株式会社東芝 | インタフェース提供装置、インタフェース提供方法およびプログラム |
TWI816057B (zh) * | 2020-10-14 | 2023-09-21 | 財團法人資訊工業策進會 | 虛實影像融合方法、虛實影像融合系統及非暫態電腦可讀取媒體 |
KR102602513B1 (ko) * | 2021-05-28 | 2023-11-16 | 주식회사 피앤씨솔루션 | 오프라인 환경에서 음성 명령어 번역 기능을 갖는 증강현실 글라스 장치 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0981184A (ja) * | 1995-09-12 | 1997-03-28 | Toshiba Corp | 対話支援装置 |
JPH1020883A (ja) * | 1996-07-02 | 1998-01-23 | Fujitsu Ltd | ユーザ認証装置 |
JP2002507298A (ja) * | 1997-06-27 | 2002-03-05 | ルノー・アンド・オスピー・スピーチ・プロダクツ・ナームローゼ・ベンノートシャープ | 自動音声認識を有するアクセス制御コンピュータシステム |
JP2002244842A (ja) * | 2001-02-21 | 2002-08-30 | Japan Science & Technology Corp | 音声通訳システム及び音声通訳プログラム |
JP2005031150A (ja) * | 2003-07-07 | 2005-02-03 | Canon Inc | 音声処理装置および方法 |
JP2014164537A (ja) * | 2013-02-26 | 2014-09-08 | Yasuaki Iwai | 仮想現実サービス提供システム、仮想現実サービス提供方法 |
JP2014203454A (ja) * | 2013-04-02 | 2014-10-27 | 三星電子株式会社Samsung Electronics Co.,Ltd. | 電子装置及びそのデータ処理方法 |
Family Cites Families (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6415258B1 (en) * | 1999-10-06 | 2002-07-02 | Microsoft Corporation | Background audio recovery system |
US7328409B2 (en) * | 2003-04-17 | 2008-02-05 | International Business Machines Corporation | Method, system, and computer program product for user customization of menu items |
JP2005222316A (ja) | 2004-02-05 | 2005-08-18 | Toshiba Corp | 会話支援装置、会議支援システム、受付業務支援システム及びプログラム |
US7552053B2 (en) * | 2005-08-22 | 2009-06-23 | International Business Machines Corporation | Techniques for aiding speech-to-speech translation |
JP4640046B2 (ja) * | 2005-08-30 | 2011-03-02 | 株式会社日立製作所 | デジタルコンテンツ再生装置 |
JP2007280163A (ja) | 2006-04-10 | 2007-10-25 | Nikon Corp | 電子辞書 |
US8230332B2 (en) * | 2006-08-30 | 2012-07-24 | Compsci Resources, Llc | Interactive user interface for converting unstructured documents |
US20080082316A1 (en) * | 2006-09-30 | 2008-04-03 | Ms. Chun Yu Tsui | Method and System for Generating, Rating, and Storing a Pronunciation Corpus |
US8909532B2 (en) * | 2007-03-23 | 2014-12-09 | Nuance Communications, Inc. | Supporting multi-lingual user interaction with a multimodal application |
US9734858B2 (en) * | 2008-06-08 | 2017-08-15 | Utsunomiya University | Optical information recording/reproduction method and device |
US9111538B2 (en) * | 2009-09-30 | 2015-08-18 | T-Mobile Usa, Inc. | Genius button secondary commands |
JP2013521576A (ja) * | 2010-02-28 | 2013-06-10 | オスターハウト グループ インコーポレイテッド | 対話式ヘッド取付け型アイピース上での地域広告コンテンツ |
US9143729B2 (en) * | 2010-05-12 | 2015-09-22 | Blue Jeans Networks, Inc. | Systems and methods for real-time virtual-reality immersive multimedia communications |
JP5124001B2 (ja) * | 2010-09-08 | 2013-01-23 | シャープ株式会社 | 翻訳装置、翻訳方法、コンピュータプログラムおよび記録媒体 |
US9122307B2 (en) * | 2010-09-20 | 2015-09-01 | Kopin Corporation | Advanced remote control of host application using motion and voice commands |
US9098488B2 (en) * | 2011-04-03 | 2015-08-04 | Microsoft Technology Licensing, Llc | Translation of multilingual embedded phrases |
US20120310622A1 (en) * | 2011-06-02 | 2012-12-06 | Ortsbo, Inc. | Inter-language Communication Devices and Methods |
US20130021374A1 (en) * | 2011-07-20 | 2013-01-24 | Google Inc. | Manipulating And Displaying An Image On A Wearable Computing System |
EP2610862B1 (en) * | 2011-12-30 | 2015-07-08 | Samsung Electronics Co., Ltd. | Electronic apparatus and method of controlling electronic apparatus |
KR20130133629A (ko) * | 2012-05-29 | 2013-12-09 | 삼성전자주식회사 | 전자장치에서 음성명령을 실행시키기 위한 장치 및 방법 |
EP2696259B1 (en) * | 2012-08-09 | 2021-10-13 | Tobii AB | Fast wake-up in a gaze tracking system |
US8543834B1 (en) * | 2012-09-10 | 2013-09-24 | Google Inc. | Voice authentication and command |
US8761574B2 (en) * | 2012-10-04 | 2014-06-24 | Sony Corporation | Method and system for assisting language learning |
US20150199908A1 (en) * | 2013-02-08 | 2015-07-16 | Google Inc. | Translating content for learning a language |
US9262405B1 (en) * | 2013-02-28 | 2016-02-16 | Google Inc. | Systems and methods of serving a content item to a user in a specific language |
US9911421B2 (en) * | 2013-06-10 | 2018-03-06 | Panasonic Intellectual Property Corporation Of America | Speaker identification method, speaker identification apparatus, and information management method |
CN103593051B (zh) * | 2013-11-11 | 2017-02-15 | 百度在线网络技术(北京)有限公司 | 头戴式显示设备 |
US9541996B1 (en) * | 2014-02-28 | 2017-01-10 | Google Inc. | Image-recognition based game |
US9324065B2 (en) * | 2014-06-11 | 2016-04-26 | Square, Inc. | Determining languages for a multilingual interface |
US9444773B2 (en) * | 2014-07-31 | 2016-09-13 | Mimecast North America, Inc. | Automatic translator identification |
-
2014
- 2014-12-25 WO PCT/JP2014/084372 patent/WO2016103415A1/ja active Application Filing
- 2014-12-25 JP JP2016565770A patent/JP6392374B2/ja active Active
- 2014-12-25 CN CN201480083885.4A patent/CN107003823B/zh active Active
- 2014-12-25 US US15/538,830 patent/US10613826B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0981184A (ja) * | 1995-09-12 | 1997-03-28 | Toshiba Corp | 対話支援装置 |
JPH1020883A (ja) * | 1996-07-02 | 1998-01-23 | Fujitsu Ltd | ユーザ認証装置 |
JP2002507298A (ja) * | 1997-06-27 | 2002-03-05 | ルノー・アンド・オスピー・スピーチ・プロダクツ・ナームローゼ・ベンノートシャープ | 自動音声認識を有するアクセス制御コンピュータシステム |
JP2002244842A (ja) * | 2001-02-21 | 2002-08-30 | Japan Science & Technology Corp | 音声通訳システム及び音声通訳プログラム |
JP2005031150A (ja) * | 2003-07-07 | 2005-02-03 | Canon Inc | 音声処理装置および方法 |
JP2014164537A (ja) * | 2013-02-26 | 2014-09-08 | Yasuaki Iwai | 仮想現実サービス提供システム、仮想現実サービス提供方法 |
JP2014203454A (ja) * | 2013-04-02 | 2014-10-27 | 三星電子株式会社Samsung Electronics Co.,Ltd. | 電子装置及びそのデータ処理方法 |
Also Published As
Publication number | Publication date |
---|---|
US10613826B2 (en) | 2020-04-07 |
JP6392374B2 (ja) | 2018-09-19 |
US20180011687A1 (en) | 2018-01-11 |
CN107003823A (zh) | 2017-08-01 |
CN107003823B (zh) | 2020-02-07 |
WO2016103415A1 (ja) | 2016-06-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6392374B2 (ja) | ヘッドマウントディスプレイシステム及びヘッドマウントディスプレイ装置の操作方法 | |
CN110288077B (zh) | 一种基于人工智能的合成说话表情的方法和相关装置 | |
US9911418B2 (en) | Systems and methods for speech command processing | |
US9640181B2 (en) | Text editing with gesture control and natural speech | |
KR102002979B1 (ko) | 사람-대-사람 교류들을 가능하게 하기 위한 헤드 마운티드 디스플레이들의 레버리징 | |
US6377925B1 (en) | Electronic translator for assisting communications | |
KR20160109708A (ko) | 수화 번역기, 시스템 및 방법 | |
KR20200059054A (ko) | 사용자 발화를 처리하는 전자 장치, 및 그 전자 장치의 제어 방법 | |
KR101819458B1 (ko) | 음성 인식 장치 및 시스템 | |
CN109543021B (zh) | 一种面向智能机器人的故事数据处理方法及*** | |
TW201606750A (zh) | 使用外國字文法的語音辨識 | |
US20100256972A1 (en) | Automatic simultaneous interpertation system | |
EP3550449A1 (en) | Search method and electronic device using the method | |
US20180288109A1 (en) | Conference support system, conference support method, program for conference support apparatus, and program for terminal | |
KR20180116726A (ko) | 음성 데이터 처리 방법 및 이를 지원하는 전자 장치 | |
Alkhalifa et al. | Enssat: wearable technology application for the deaf and hard of hearing | |
Priya et al. | Indian and English language to sign language translator-an automated portable two way communicator for bridging normal and deprived ones | |
KR100949353B1 (ko) | 언어 장애인용 대화 보조 장치 | |
KR20210073856A (ko) | 휴대용 수화 번역기 및 수화 번역 방법 | |
KR20210037857A (ko) | 관계 설정을 이용한 실감형 인공지능기반 음성 비서시스템 | |
WO2015156443A1 (ko) | 카툰형 모바일 개인 비서 서비스 시스템 | |
JP7468360B2 (ja) | 情報処理装置および情報処理方法 | |
WO2017122657A1 (ja) | 音声翻訳装置、音声翻訳方法、及び音声翻訳プログラム | |
JP2006301967A (ja) | 会話支援装置 | |
US11657814B2 (en) | Techniques for dynamic auditory phrase completion |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170622 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20171110 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180515 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180712 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180726 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180822 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6392374 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |