JP7337699B2 - 口の画像を入力コマンドと相互に関連付けるシステム及び方法 - Google Patents
口の画像を入力コマンドと相互に関連付けるシステム及び方法 Download PDFInfo
- Publication number
- JP7337699B2 JP7337699B2 JP2019552263A JP2019552263A JP7337699B2 JP 7337699 B2 JP7337699 B2 JP 7337699B2 JP 2019552263 A JP2019552263 A JP 2019552263A JP 2019552263 A JP2019552263 A JP 2019552263A JP 7337699 B2 JP7337699 B2 JP 7337699B2
- Authority
- JP
- Japan
- Prior art keywords
- user
- voice
- mouth
- audio
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 63
- 230000033001 locomotion Effects 0.000 claims description 9
- 238000003384 imaging method Methods 0.000 claims description 7
- 230000001815 facial effect Effects 0.000 claims description 6
- 238000012544 monitoring process Methods 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 6
- 238000013475 authorization Methods 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 3
- 210000003128 head Anatomy 0.000 description 28
- 238000012545 processing Methods 0.000 description 25
- 230000000875 corresponding effect Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 18
- 238000004891 communication Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 11
- 238000004590 computer program Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 230000005236 sound signal Effects 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 6
- 238000013473 artificial intelligence Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000014616 translation Effects 0.000 description 5
- 230000002093 peripheral effect Effects 0.000 description 4
- 238000003672 processing method Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000013480 data collection Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000012634 fragment Substances 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000013178 mathematical model Methods 0.000 description 2
- 230000029058 respiratory gaseous exchange Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 206010011224 Cough Diseases 0.000 description 1
- 206010011469 Crying Diseases 0.000 description 1
- 241001282135 Poromitra oscitans Species 0.000 description 1
- 206010039740 Screaming Diseases 0.000 description 1
- 206010048232 Yawning Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000000994 depressogenic effect Effects 0.000 description 1
- 230000035622 drinking Effects 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007794 irritation Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 230000000391 smoking effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 210000001260 vocal cord Anatomy 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/24—Speech recognition using non-acoustical features
- G10L15/25—Speech recognition using non-acoustical features using position of the lips, movement of the lips or face analysis
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/28—Constructional details of speech recognition systems
- G10L15/285—Memory allocation or algorithm optimisation to reduce hardware requirements
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
- B60R2011/0003—Arrangements for holding or mounting articles, not otherwise provided for characterised by position inside the vehicle
- B60R2011/0005—Dashboard
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
- G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30268—Vehicle interior
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L2015/088—Word spotting
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/78—Detection of presence or absence of voice signals
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Mechanical Engineering (AREA)
- Image Analysis (AREA)
- User Interface Of Digital Computer (AREA)
Description
本出願は、「System and Method of Correlating Mouth Images to Input Commands」と題された2017年3月23日に出願された、同時係属中の米国仮特許出願第62/475,510号明細書の優先権を主張するものであり、その全体が参照により組み込まれる。
Claims (23)
- 車両内のエリアを監視するためのシステムであって、
コンピュータメモリと、
撮像ソフトウェア及び音響処理ソフトウェアを実行するプロセッサと、
撮像機器であって、前記車両内の視野から取得され、前記撮像機器に関連付けられた画像からのピクセルデータの複数のフレームを前記撮像ソフトウェアに送信する、撮像機器と、
音声入力の音響データストリームを前記音響処理ソフトウェアに送信する音声入力機器と、を含み、
前記プロセッサは、前記ピクセルデータの前記複数のフレーム及び前記音声入力から前記音響データストリームの発生源としてユーザを識別するように構成され、前記システムは、
前記音響データストリーム内の音声コマンドの存在を識別するために、前記音声入力及び前記音声入力間の合間期間に対応する経過時間値を前記コンピュータメモリに送信するように構成された少なくとも1つのタイマーを含み、
前記音響処理ソフトウェアは更に、音声コマンドデータのスクリーニングを提供するために、前記合間期間に対応する前記時間値を音声コマンド間の予測合間時間値と比較するように構成される、システム。 - 前記コンピュータメモリに記憶される振幅閾値を更に含み、前記音響処理ソフトウェアは更に、それぞれの音声入力の振幅を前記振幅閾値と比較して、有効な音声入力、無効な音声入力、及び前記合間期間を区別するように構成される、請求項1に記載のシステム。
- (i)時間領域で前記有効な音声入力を追跡し、(ii)無効な音声入力を破棄し、(iii)前記時間領域で前記合間期間を追跡する、ように構成されたコマンド処理ソフトウェアを更に含む、請求項2に記載のシステム。
- 前記コマンド処理ソフトウェアは、前記時間領域においてピクセルデータの前記フレームも追跡し、又、前記プロセッサ及び前記コンピュータメモリを利用して、前記時間領域において、ピクセルデータの前記フレームを、対応するタイミングにある有効な音声入力及び合間期間とグループ化して、前記音響データストリーム内の前記音声コマンドを有効にする、請求項3に記載のシステム。
- 前記撮像ソフトウェアは、ピクセルデータの連続フレームを比較し、前記連続フレーム間の画像差を判断するように構成される、請求項1に記載のシステム。
- 前記音声入力は、ユーザの口から発せられており、前記画像差は、ユーザの口が動いていること及び/又は動いていないことを決定する前記フレームにおけるピクセル差を含む、請求項5に記載のシステム。
- 前記プロセッサは、前記コンピュータメモリに記憶されたコマンド処理ソフトウェアにアクセスし、前記ピクセルデータの部分集合によって表わされる前記口の仮想位置から、前記撮像機器の前記視野に対する前記口の物理的位置を計算する、請求項6に記載のシステム。
- 前記プロセッサは、前記コンピュータメモリに記憶されたコマンド処理ソフトウェアにアクセスし、有効な音声入力の持続期間中の又は合間期間中の前記口の複数の仮想位置を決定する、請求項7に記載のシステム。
- 前記口の前記仮想位置は、前記音声入力中の音声コマンドデータの存在を検証する、請求項8に記載のシステム。
- 前記口の前記仮想位置は、前記口が、音声入力の前記音響データストリームの持続期間中は動いており、且つ/又は合間期間中は動いていないことを検証する、請求項9に記載のシステム。
- 前記コマンド処理ソフトウェアは、少なくとも1つの有効な音声入力とグループ化された前記口のそれぞれの仮想位置を表すピクセルデータの複数のフレームを識別し、前記複数のフレーム間の前記画像差を比較して、前記ユーザの口の動きから音声コマンドを解読する、請求項9に記載のシステム。
- 前記コマンド処理ソフトウェアは、前記音声コマンドを前記コンピュータメモリに送信する、請求項11に記載のシステム。
- 前記音声コマンドを認可データと照合して、前記音響データストリームの前記発生源が前記音声コマンドを発する許可を有しているかどうかを判断するための、前記認可データのデータベースを更に含む、請求項12に記載のシステム。
- 前記プロセッサは、前記音響データストリームの前記発生源として前記ユーザが前記車両の運転者であるか又は同乗者であるかを判断するように構成される、請求項13に記載のシステム。
- 前記運転者か又は前記同乗者のうちの少なくとも一方に対応する音声入力機器及び撮像機器のそれぞれの組を更に含む、請求項13に記載のシステム。
- デジタルピクセルデータを更に含み、前記撮像ソフトウェアは、前記フレームから、前記音響データストリームの物理的発生源を表す前記デジタルピクセルデータの部分集合を分離する、請求項1に記載のシステム。
- 前記メモリは、前記デジタルピクセルデータの部分集合によって表わされる一連の口の動きと、前記音声入力の部分によって表わされる発声とを照合する翻訳辞書を含む、請求項16に記載のシステム。
- 前記プロセッサは、前記車両内の前記音声入力機器の設定位置に対する前記口の仮想位置を計算して、前記音響データストリームの方向を決定する、請求項17に記載のシステム。
- 前記プロセッサは、前記音響データストリームの前記方向、前記ピクセルデータの前記フレーム、前記発声を利用して、前記音声入力の発生源を識別する、請求項18に記載のシステム。
- 前記プロセッサは、前記音声入力の前記発生源を利用して、前記発声中の音声コマンドを認証する、請求項19に記載のシステム。
- 前記音声コマンドは、前記プロセッサが前記時間領域でピクセルデータの前記フレームを追跡し、前記時間領域で、ピクセルデータの前記フレームを対応するタイミングの音声入力とグループ化することにより、更に検証される、請求項3または4に記載のシステム。
- 前記音声入力の前記発生源は、前記プロセッサが前記ピクセルデータを評価して、前記音声入力の前記発生源の顔の特徴を識別することにより、更に検証される、請求項20に記載のシステム。
- 前記音声入力の部分として記憶された音声トークンのデータベースを更に含んで、識別されたユーザについてやはり前記データベースに記憶された音声コマンドとして音声入力を評価する、請求項20に記載のシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762475510P | 2017-03-23 | 2017-03-23 | |
US62/475,510 | 2017-03-23 | ||
PCT/US2018/024136 WO2018175959A1 (en) | 2017-03-23 | 2018-03-23 | System and method of correlating mouth images to input commands |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020518844A JP2020518844A (ja) | 2020-06-25 |
JP7337699B2 true JP7337699B2 (ja) | 2023-09-04 |
Family
ID=63585792
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019552263A Active JP7337699B2 (ja) | 2017-03-23 | 2018-03-23 | 口の画像を入力コマンドと相互に関連付けるシステム及び方法 |
Country Status (5)
Country | Link |
---|---|
US (2) | US10748542B2 (ja) |
EP (1) | EP3602544A4 (ja) |
JP (1) | JP7337699B2 (ja) |
CN (1) | CN111033611A (ja) |
WO (1) | WO2018175959A1 (ja) |
Families Citing this family (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101930462B1 (ko) * | 2017-09-25 | 2018-12-17 | 엘지전자 주식회사 | 차량 제어 장치 및 그것을 포함하는 차량 |
JP2021508870A (ja) | 2017-12-21 | 2021-03-11 | サムスン エレクトロニクス カンパニー リミテッド | 生体認証によるユーザー認証のためのシステム及び方法 |
CN108154140A (zh) * | 2018-01-22 | 2018-06-12 | 北京百度网讯科技有限公司 | 基于唇语的语音唤醒方法、装置、设备及计算机可读介质 |
US20190236416A1 (en) * | 2018-01-31 | 2019-08-01 | Microsoft Technology Licensing, Llc | Artificial intelligence system utilizing microphone array and fisheye camera |
US11195141B2 (en) * | 2018-04-11 | 2021-12-07 | Shippingeasy Group, Inc. | Fulfilment management implementing physical task interaction |
DE102018212902A1 (de) * | 2018-08-02 | 2020-02-06 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren zum Bestimmen eines digitalen Assistenten zum Ausführen einer Fahrzeugfunktion aus einer Vielzahl von digitalen Assistenten in einem Fahrzeug, computerlesbares Medium, System, und Fahrzeug |
JP7117972B2 (ja) * | 2018-10-19 | 2022-08-15 | エヌ・ティ・ティ・コミュニケーションズ株式会社 | 音声認識装置、音声認識方法および音声認識プログラム |
JP7250547B2 (ja) * | 2019-02-05 | 2023-04-03 | 本田技研工業株式会社 | エージェントシステム、情報処理装置、情報処理方法、およびプログラム |
US11227610B1 (en) * | 2019-04-16 | 2022-01-18 | Wells Fargo Bank, P.A. | Computer-based systems for administering patterned passphrases |
US10812921B1 (en) | 2019-04-30 | 2020-10-20 | Microsoft Technology Licensing, Llc | Audio stream processing for distributed device meeting |
US11875796B2 (en) | 2019-04-30 | 2024-01-16 | Microsoft Technology Licensing, Llc | Audio-visual diarization to identify meeting attendees |
CN110164440B (zh) * | 2019-06-03 | 2022-08-09 | 交互未来(北京)科技有限公司 | 基于捂嘴动作识别的语音交互唤醒电子设备、方法和介质 |
CN113939871A (zh) * | 2019-06-11 | 2022-01-14 | 松下知识产权经营株式会社 | 讲话区间检测装置、讲话区间检测方法及讲话区间检测程序 |
CN110196914B (zh) * | 2019-07-29 | 2019-12-27 | 上海肇观电子科技有限公司 | 一种将人脸信息录入数据库的方法和装置 |
DE102019211584A1 (de) * | 2019-08-01 | 2021-02-04 | Robert Bosch Gmbh | System und Verfahren zur Kommunikation einer mobilen Arbeitsmaschine |
JP7237356B2 (ja) * | 2019-08-28 | 2023-03-13 | 株式会社トーアエンジニアリング | Cad制御支援システム |
KR20210035968A (ko) * | 2019-09-24 | 2021-04-02 | 엘지전자 주식회사 | 사용자의 표정이나 발화를 고려하여 마사지 동작을 제어하는 인공 지능 마사지 장치 및 그 방법 |
CN112578338B (zh) * | 2019-09-27 | 2024-05-14 | 阿里巴巴集团控股有限公司 | 声源定位方法、装置、设备及存储介质 |
CN110827823A (zh) * | 2019-11-13 | 2020-02-21 | 联想(北京)有限公司 | 语音辅助识别方法、装置、存储介质及电子设备 |
KR20210112726A (ko) * | 2020-03-06 | 2021-09-15 | 엘지전자 주식회사 | 차량의 좌석별로 대화형 비서를 제공하는 방법 |
CN111862280A (zh) * | 2020-08-26 | 2020-10-30 | 网易(杭州)网络有限公司 | 虚拟角色控制方法、***、介质及电子设备 |
KR20220059629A (ko) * | 2020-11-03 | 2022-05-10 | 현대자동차주식회사 | 차량 및 그의 제어방법 |
US11990152B2 (en) * | 2020-11-13 | 2024-05-21 | Arris Enterprises Llc | Classification of audio as originating from a human source or a non-human to avoid false wake-word detection |
US20220179615A1 (en) * | 2020-12-09 | 2022-06-09 | Cerence Operating Company | Automotive infotainment system with spatially-cognizant applications that interact with a speech interface |
US20220208185A1 (en) * | 2020-12-24 | 2022-06-30 | Cerence Operating Company | Speech Dialog System for Multiple Passengers in a Car |
CN113655938B (zh) * | 2021-08-17 | 2022-09-02 | 北京百度网讯科技有限公司 | 一种用于智能座舱的交互方法、装置、设备和介质 |
CN114093354A (zh) * | 2021-10-26 | 2022-02-25 | 惠州市德赛西威智能交通技术研究院有限公司 | 一种提高车载语音助手识别准确率的方法及*** |
CN114911381B (zh) * | 2022-04-15 | 2023-06-16 | 青岛海尔科技有限公司 | 交互的反馈方法和装置、存储介质及电子装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003308079A (ja) | 2002-04-15 | 2003-10-31 | Nissan Motor Co Ltd | 音声入力装置 |
JP2007298592A (ja) | 2006-04-28 | 2007-11-15 | Fujitsu Ten Ltd | 音声処理装置 |
JP2007329702A (ja) | 2006-06-08 | 2007-12-20 | Toyota Motor Corp | 受音装置と音声認識装置とそれらを搭載している可動体 |
WO2015029304A1 (ja) | 2013-08-29 | 2015-03-05 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 音声認識方法及び音声認識装置 |
JP2015507219A (ja) | 2011-12-26 | 2015-03-05 | インテル・コーポレーション | 搭乗者の聴覚視覚入力の乗り物ベースの決定 |
JP2017090612A (ja) | 2015-11-09 | 2017-05-25 | 三菱自動車工業株式会社 | 音声認識制御システム |
Family Cites Families (63)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01195499A (ja) * | 1988-01-30 | 1989-08-07 | Toshiba Corp | 音声入力装置 |
JPH0728488A (ja) * | 1993-06-24 | 1995-01-31 | Canon Inc | 情報処理方法及び装置 |
US6471420B1 (en) | 1994-05-13 | 2002-10-29 | Matsushita Electric Industrial Co., Ltd. | Voice selection apparatus voice response apparatus, and game apparatus using word tables from which selected words are output as voice selections |
JPH08187368A (ja) | 1994-05-13 | 1996-07-23 | Matsushita Electric Ind Co Ltd | ゲーム装置、入力装置、音声選択装置、音声認識装置及び音声反応装置 |
US6593956B1 (en) * | 1998-05-15 | 2003-07-15 | Polycom, Inc. | Locating an audio source |
US6243683B1 (en) * | 1998-12-29 | 2001-06-05 | Intel Corporation | Video control of speech recognition |
US6567775B1 (en) * | 2000-04-26 | 2003-05-20 | International Business Machines Corporation | Fusion of audio and video based speaker identification for multimedia information access |
JP2002091466A (ja) | 2000-09-12 | 2002-03-27 | Pioneer Electronic Corp | 音声認識装置 |
US7472063B2 (en) * | 2002-12-19 | 2008-12-30 | Intel Corporation | Audio-visual feature fusion and support vector machine useful for continuous speech recognition |
US20040220705A1 (en) * | 2003-03-13 | 2004-11-04 | Otman Basir | Visual classification and posture estimation of multiple vehicle occupants |
US7343289B2 (en) * | 2003-06-25 | 2008-03-11 | Microsoft Corp. | System and method for audio/video speaker detection |
EP1743323B1 (en) * | 2004-04-28 | 2013-07-10 | Koninklijke Philips Electronics N.V. | Adaptive beamformer, sidelobe canceller, handsfree speech communication device |
JP5134876B2 (ja) * | 2007-07-11 | 2013-01-30 | 株式会社日立製作所 | 音声通信装置及び音声通信方法並びにプログラム |
US20090055180A1 (en) * | 2007-08-23 | 2009-02-26 | Coon Bradley S | System and method for optimizing speech recognition in a vehicle |
US8219387B2 (en) * | 2007-12-10 | 2012-07-10 | Microsoft Corporation | Identifying far-end sound |
JP2009225379A (ja) * | 2008-03-18 | 2009-10-01 | Fujitsu Ltd | 音声処理装置、音声処理方法、音声処理プログラム |
US8624962B2 (en) * | 2009-02-02 | 2014-01-07 | Ydreams—Informatica, S.A. Ydreams | Systems and methods for simulating three-dimensional virtual interactions from two-dimensional camera images |
US20100332229A1 (en) | 2009-06-30 | 2010-12-30 | Sony Corporation | Apparatus control based on visual lip share recognition |
KR101092820B1 (ko) * | 2009-09-22 | 2011-12-12 | 현대자동차주식회사 | 립리딩과 음성 인식 통합 멀티모달 인터페이스 시스템 |
JP2011186351A (ja) * | 2010-03-11 | 2011-09-22 | Sony Corp | 情報処理装置、および情報処理方法、並びにプログラム |
US9183560B2 (en) * | 2010-05-28 | 2015-11-10 | Daniel H. Abelow | Reality alternate |
US20110311144A1 (en) * | 2010-06-17 | 2011-12-22 | Microsoft Corporation | Rgb/depth camera for improving speech recognition |
US9396385B2 (en) * | 2010-08-26 | 2016-07-19 | Blast Motion Inc. | Integrated sensor and video motion analysis method |
US8700392B1 (en) * | 2010-09-10 | 2014-04-15 | Amazon Technologies, Inc. | Speech-inclusive device interfaces |
US20130030811A1 (en) * | 2011-07-29 | 2013-01-31 | Panasonic Corporation | Natural query interface for connected car |
US8863042B2 (en) | 2012-01-24 | 2014-10-14 | Charles J. Kulas | Handheld device with touch controls that reconfigure in response to the way a user operates the device |
US8913103B1 (en) * | 2012-02-01 | 2014-12-16 | Google Inc. | Method and apparatus for focus-of-attention control |
KR102206383B1 (ko) | 2012-07-09 | 2021-01-22 | 엘지전자 주식회사 | 음성 인식 장치 및 그 방법 |
JP6100263B2 (ja) | 2012-08-10 | 2017-03-22 | 株式会社ホンダアクセス | 音声認識方法及び音声認識装置 |
US9922646B1 (en) * | 2012-09-21 | 2018-03-20 | Amazon Technologies, Inc. | Identifying a location of a voice-input device |
US9008641B2 (en) * | 2012-12-27 | 2015-04-14 | Intel Corporation | Detecting a user-to-wireless device association in a vehicle |
KR20140099702A (ko) * | 2013-02-04 | 2014-08-13 | 한국전자통신연구원 | 이동통신 단말기 및 그 동작방법 |
US9747898B2 (en) * | 2013-03-15 | 2017-08-29 | Honda Motor Co., Ltd. | Interpretation of ambiguous vehicle instructions |
US9280972B2 (en) * | 2013-05-10 | 2016-03-08 | Microsoft Technology Licensing, Llc | Speech to text conversion |
US9747900B2 (en) | 2013-05-24 | 2017-08-29 | Google Technology Holdings LLC | Method and apparatus for using image data to aid voice recognition |
US9680934B2 (en) * | 2013-07-17 | 2017-06-13 | Ford Global Technologies, Llc | Vehicle communication channel management |
US9892745B2 (en) * | 2013-08-23 | 2018-02-13 | At&T Intellectual Property I, L.P. | Augmented multi-tier classifier for multi-modal voice activity detection |
JP6148163B2 (ja) * | 2013-11-29 | 2017-06-14 | 本田技研工業株式会社 | 会話支援装置、会話支援装置の制御方法、及び会話支援装置のプログラム |
US9582246B2 (en) * | 2014-03-04 | 2017-02-28 | Microsoft Technology Licensing, Llc | Voice-command suggestions based on computer context |
US20150279364A1 (en) | 2014-03-29 | 2015-10-01 | Ajay Krishnan | Mouth-Phoneme Model for Computerized Lip Reading |
JP6403306B2 (ja) * | 2014-05-19 | 2018-10-10 | 株式会社 ミックウェア | システム |
KR102216048B1 (ko) * | 2014-05-20 | 2021-02-15 | 삼성전자주식회사 | 음성 명령 인식 장치 및 방법 |
JP6464449B2 (ja) * | 2014-08-29 | 2019-02-06 | 本田技研工業株式会社 | 音源分離装置、及び音源分離方法 |
US20160100092A1 (en) * | 2014-10-01 | 2016-04-07 | Fortemedia, Inc. | Object tracking device and tracking method thereof |
US9881610B2 (en) * | 2014-11-13 | 2018-01-30 | International Business Machines Corporation | Speech recognition system adaptation based on non-acoustic attributes and face selection based on mouth motion using pixel intensities |
US9741342B2 (en) * | 2014-11-26 | 2017-08-22 | Panasonic Intellectual Property Corporation Of America | Method and apparatus for recognizing speech by lip reading |
US9533687B2 (en) | 2014-12-30 | 2017-01-03 | Tk Holdings Inc. | Occupant monitoring systems and methods |
DE102015210430A1 (de) * | 2015-06-08 | 2016-12-08 | Robert Bosch Gmbh | Verfahren zum Erkennen eines Sprachkontexts für eine Sprachsteuerung, Verfahren zum Ermitteln eines Sprachsteuersignals für eine Sprachsteuerung und Vorrichtung zum Ausführen der Verfahren |
US10121471B2 (en) * | 2015-06-29 | 2018-11-06 | Amazon Technologies, Inc. | Language model speech endpointing |
US9764694B2 (en) * | 2015-10-27 | 2017-09-19 | Thunder Power Hong Kong Ltd. | Intelligent rear-view mirror system |
US9832583B2 (en) * | 2015-11-10 | 2017-11-28 | Avaya Inc. | Enhancement of audio captured by multiple microphones at unspecified positions |
US11437020B2 (en) * | 2016-02-10 | 2022-09-06 | Cerence Operating Company | Techniques for spatially selective wake-up word recognition and related systems and methods |
ES2713685T3 (es) * | 2016-04-26 | 2019-05-23 | Nokia Technologies Oy | Métodos, aparatos y programas informáticos relativos a la modificación de una característica asociada a una señal de audio separada |
US10089071B2 (en) * | 2016-06-02 | 2018-10-02 | Microsoft Technology Licensing, Llc | Automatic audio attenuation on immersive display devices |
US10152969B2 (en) * | 2016-07-15 | 2018-12-11 | Sonos, Inc. | Voice detection by multiple devices |
JP6631445B2 (ja) * | 2016-09-09 | 2020-01-15 | トヨタ自動車株式会社 | 車両用情報提示装置 |
US10403279B2 (en) * | 2016-12-21 | 2019-09-03 | Avnera Corporation | Low-power, always-listening, voice command detection and capture |
US20180190282A1 (en) * | 2016-12-30 | 2018-07-05 | Qualcomm Incorporated | In-vehicle voice command control |
CN110114825A (zh) * | 2016-12-30 | 2019-08-09 | 哈曼国际工业有限公司 | 语音识别*** |
WO2018147687A1 (en) * | 2017-02-10 | 2018-08-16 | Samsung Electronics Co., Ltd. | Method and apparatus for managing voice-based interaction in internet of things network system |
US20190037363A1 (en) * | 2017-07-31 | 2019-01-31 | GM Global Technology Operations LLC | Vehicle based acoustic zoning system for smartphones |
US10374816B1 (en) * | 2017-12-13 | 2019-08-06 | Amazon Technologies, Inc. | Network conference management and arbitration via voice-capturing devices |
US20190355352A1 (en) * | 2018-05-18 | 2019-11-21 | Honda Motor Co., Ltd. | Voice and conversation recognition system |
-
2018
- 2018-03-23 EP EP18772045.3A patent/EP3602544A4/en not_active Ceased
- 2018-03-23 WO PCT/US2018/024136 patent/WO2018175959A1/en unknown
- 2018-03-23 US US15/934,721 patent/US10748542B2/en active Active
- 2018-03-23 CN CN201880034575.1A patent/CN111033611A/zh active Pending
- 2018-03-23 JP JP2019552263A patent/JP7337699B2/ja active Active
-
2020
- 2020-08-17 US US16/995,167 patent/US11031012B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003308079A (ja) | 2002-04-15 | 2003-10-31 | Nissan Motor Co Ltd | 音声入力装置 |
JP2007298592A (ja) | 2006-04-28 | 2007-11-15 | Fujitsu Ten Ltd | 音声処理装置 |
JP2007329702A (ja) | 2006-06-08 | 2007-12-20 | Toyota Motor Corp | 受音装置と音声認識装置とそれらを搭載している可動体 |
JP2015507219A (ja) | 2011-12-26 | 2015-03-05 | インテル・コーポレーション | 搭乗者の聴覚視覚入力の乗り物ベースの決定 |
WO2015029304A1 (ja) | 2013-08-29 | 2015-03-05 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 音声認識方法及び音声認識装置 |
JP2017090612A (ja) | 2015-11-09 | 2017-05-25 | 三菱自動車工業株式会社 | 音声認識制御システム |
Also Published As
Publication number | Publication date |
---|---|
CN111033611A (zh) | 2020-04-17 |
EP3602544A1 (en) | 2020-02-05 |
EP3602544A4 (en) | 2020-02-05 |
US10748542B2 (en) | 2020-08-18 |
US11031012B2 (en) | 2021-06-08 |
US20180286404A1 (en) | 2018-10-04 |
JP2020518844A (ja) | 2020-06-25 |
US20210035586A1 (en) | 2021-02-04 |
WO2018175959A1 (en) | 2018-09-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7337699B2 (ja) | 口の画像を入力コマンドと相互に関連付けるシステム及び方法 | |
US10635800B2 (en) | System, device, and method of voice-based user authentication utilizing a challenge | |
US10311219B2 (en) | Device, system, and method of user authentication utilizing an optical microphone | |
US11587563B2 (en) | Determining input for speech processing engine | |
US20180233129A1 (en) | Enhanced automatic speech recognition | |
KR20190101325A (ko) | 지능적 음성 인식 방법, 음성 인식 장치 및 지능형 컴퓨팅 디바이스 | |
JP7419270B2 (ja) | ウェアラブルシステム発話処理 | |
JP2010256391A (ja) | 音声情報処理装置 | |
CA2328953A1 (en) | Speech converting device and method | |
EP4163913A1 (en) | In-vehicle voice instruction control method, and related device | |
KR20190053001A (ko) | 이동이 가능한 전자 장치 및 그 동작 방법 | |
CN112509598A (zh) | 音频检测方法及装置、存储介质 | |
CN114067782A (zh) | 音频识别方法及其装置、介质和芯片*** | |
TW200411627A (en) | Robottic vision-audition system | |
US11715330B2 (en) | Liveness detection in an interactive video session | |
US20150039314A1 (en) | Speech recognition method and apparatus based on sound mapping | |
US20240211563A1 (en) | User authentication using combination of vocalization and skin vibration | |
WO2019150708A1 (ja) | 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム | |
JP2004024863A (ja) | ***認識装置および発生区間認識装置 | |
KR20160025203A (ko) | 글라스형 웨어러블 디바이스를 이용한 당구코칭 시스템 및 방법 | |
JP7525460B2 (ja) | オーディオデータおよび画像データに基づいて人の発声を解析するコンピューティングデバイスおよび発声処理方法、ならびにプログラム | |
US20240078731A1 (en) | Avatar representation and audio generation | |
CN116095548A (zh) | 一种交互耳机及其*** | |
Anderson | Lip reading from thermal cameras | |
Prado | A new probabilistic methodology to support an emotive dialog between a human and a robot |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210301 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220412 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20220711 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220909 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230110 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230410 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230801 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230823 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7337699 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S343 | Written request for registration of root pledge or change of root pledge |
Free format text: JAPANESE INTERMEDIATE CODE: R316354 |
|
SZ02 | Written request for trust registration |
Free format text: JAPANESE INTERMEDIATE CODE: R316Z02 |