CN116670618A - 从外部可穿戴电子设备接收信息的可穿戴电子设备及其操作方法 - Google Patents

从外部可穿戴电子设备接收信息的可穿戴电子设备及其操作方法 Download PDF

Info

Publication number
CN116670618A
CN116670618A CN202280008475.8A CN202280008475A CN116670618A CN 116670618 A CN116670618 A CN 116670618A CN 202280008475 A CN202280008475 A CN 202280008475A CN 116670618 A CN116670618 A CN 116670618A
Authority
CN
China
Prior art keywords
electronic device
wearable electronic
external
audio data
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280008475.8A
Other languages
English (en)
Inventor
金汉执
姜斗锡
金胜年
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020210008797A external-priority patent/KR20220105893A/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN116670618A publication Critical patent/CN116670618A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/005—Language recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L2021/02087—Noise filtering the noise being separate speech, e.g. cocktail party

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Biomedical Technology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Dermatology (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

根据各种实施例，一种可穿戴电子设备包括：显示器；通信电路；语音输入设备；以及可操作地连接到显示器、通信电路和语音输入设备的至少一个处理器，其中，该至少一个处理器可以被配置为：经由语音输入设备获得音频数据；识别出音频数据满足预定条件；经由通信电路从外部可穿戴电子设备接收基于由外部可穿戴电子设备获得的信号的状态信息；以及基于状态信息的至少一部分来控制显示器显示与音频数据相对应的视觉信息。各种其他实施例是可能的。

Description

从外部可穿戴电子设备接收信息的可穿戴电子设备及其操作 方法
技术领域
本公开涉及从外部可穿戴电子设备接收信息的可穿戴电子设备以及其操作方法。
背景技术
增强现实(Augmented reality，AR)是用于将三维(three-dimensional，3D)(或二维(two-dimensional，2D))虚拟图像叠加在真实世界图像或背景上并且将它们显示为叠加图像的技术。将真实世界环境与虚拟对象相结合的AR技术使得用户能够观看真实世界环境，从而提供更好的现实生活感受和附加信息。用户可以连同真实世界环境一起观察图像，并且识别关于他当前正在观看的环境中的目标对象的信息。
增强现实设备可以是可穿戴电子设备。例如，可以像眼镜一样戴在脸上的AR眼镜型电子设备被广泛使用。
言语转文本(Speech to text，STT)是用于接收语音、将输入语音转换为文本形式并将其输出的技术。当可穿戴电子设备被穿戴时，在周围环境中生成的语音可能是较不易察觉的。因此，可以通过STT功能在视觉上将关于在周围环境中生成的语音的信息提供给可穿戴电子设备的用户。
发明内容
技术问题
为了根据用户的需要提供STT功能，支持STT功能的可穿戴电子设备可以确定在什么情况下支持STT功能。例如，该可穿戴电子设备可以在被穿戴在用户的身体部分上时进行操作。因此，仅利用提供STT功能的可穿戴电子设备，可能难以获得足够的数据来确定用户是否处于需要STT功能的情况下。
此外，通常，可穿戴电子设备可以具有小尺寸以穿戴在用户的身体部分上，并且因此仅可以获得局部环境中的数据。因此，STT功能的准确度可能受到限制。
根据一个实施例，可穿戴电子设备可以从外部可穿戴电子设备接收基于从外部可穿戴电子设备获得的信号的状态信息，并且在考虑该状态信息的情况下提供STT功能。
技术方案
根据一个实施例，一种可穿戴电子设备可以包括显示器、通信电路、语音输入设备、以及至少一个处理器。所述至少一个处理器可以被配置为：通过所述语音输入设备获得音频数据，识别所述音频数据是否满足预定条件，通过所述通信电路从外部可穿戴电子设备接收基于从所述外部可穿戴电子设备获得的信号的状态信息，并且基于所述状态信息的至少一部分来控制所述显示器显示与所述音频数据相对应的视觉信息。
根据一个实施例，一种可穿戴电子设备可以包括显示器、通信电路、语音输入设备、以及至少一个处理器。所述至少一个处理器可以被配置为：通过所述语音输入设备获得与外部事件相对应的第一音频数据，通过所述通信电路从外部可穿戴电子设备接收与所述外部事件相对应并且从所述外部可穿戴电子设备获得的第二音频数据，基于所述第一音频数据和所述第二音频数据识别与所述外部事件相对应的方向，并且执行与识别出的方向相对应的操作。
根据一个实施例，一种在可穿戴电子设备中执行的方法可以包括：获得音频数据；识别所述音频数据是否满足预定条件；从外部可穿戴电子设备接收基于从所述外部可穿戴电子设备获得的信号的状态信息；以及基于所述状态信息的至少一部分来显示与所述音频数据相对应的视觉信息。
有益效果
根据一个实施例，可以提供一种从外部可穿戴电子设备接收信息的可穿戴电子设备以及用于操作该可穿戴电子设备的方法。根据一个实施例，可穿戴电子设备可以从外部可穿戴电子设备接收基于从外部可穿戴电子设备获得的信号的状态信息，并且在考虑该状态信息的情况下提供STT功能。根据一个实施例，可穿戴电子设备可以在考虑基于从外部可穿戴电子设备获得的信号的状态信息的情况下来确定是否提供STT功能，并且因此可以准确地确定用户是否处于需要STT功能的条件下。此外，根据一个实施例，可穿戴电子设备基于状态信息提供STT功能，该状态信息基于从外部可穿戴电子设备获得的信号。因此，可穿戴电子设备可以提供具有高准确度的STT功能。
附图说明
图1示出了根据各种实施例的可穿戴电子设备的结构；
图2示出了根据各种实施例的可穿戴电子设备的显示器和眼睛跟踪相机的结构；
图3是示出根据各种实施例的可穿戴电子设备的框图；
图4是示出根据各种实施例的外部可穿戴电子设备的框图；
图5示出了根据各种实施例的可穿戴电子设备与外部可穿戴电子设备之间的通信；
图6是示出根据各种实施例的在可穿戴电子设备中执行的操作的流程图；
图7是示出根据各种实施例的在可穿戴电子设备中执行的操作的流程图；
图8是示出根据各种实施例的在可穿戴电子设备中执行的操作的流程图；
图9是示出根据各种实施例的在可穿戴电子设备中执行的操作的流程图；
图10是示出根据各种实施例的在可穿戴电子设备中执行的操作的流程图；
图11是示出根据各种实施例的在可穿戴电子设备中执行的操作的流程图；
图12是示出根据各种实施例的在可穿戴电子设备中执行的操作的流程图；
图13是示出根据各种实施例的在可穿戴电子设备中执行的操作的流程图；并且
图14是示出根据各种实施例的在可穿戴电子设备中执行的操作的流程图。
具体实施方式
如本领域中惯例的那样，可以按照执行所描述的一个或更多个功能的块来描述和示出实施例。如附图中所示，这些块(在本文中可以被称为单元或模块等，或被称为例如设备等)可以由模拟电路或数字电路(例如，逻辑门、集成电路、微处理器、微控制器、存储器电路、无源电子部件、有源电子部件、光学部件、或硬连线电路等)实体地实现，并且可以由固件和软件驱动。电路可以例如体现在一个或更多个半导体芯片中，或者体现在诸如印刷电路板之类的基板支撑上。包括在块中的电路可以由专用硬件、或由处理器(例如，一个或更多个编程的微处理器和相关联的电路)、或由执行块的一些功能的专用硬件和执行块的其他功能的处理器的组合来实现。实施例的每个块可以被实体地分离成两个或更多个交互且分立的块。同样，实施例的块可以被实体地组合成更复杂的块。
图1示出了根据各种实施例的可穿戴电子设备的结构。根据各种实施例，可穿戴电子设备100可以包括框架105、第一支撑部分101、第二支撑部分102、连接框架105和第一支撑部分101的第一铰链部分103、以及用于连接框架105和第二支撑部分102的第二铰链部分104。根据一个实施例，框架105可以包括：至少一个相机，例如第一相机111-1、第一相机111-2、第二相机112-1、第二相机112-2和/或第三相机113；一个或更多个发光元件，例如发光元件114-1和发光元件114-2；至少一个显示器，例如第一显示器151和第二显示器152；一个或更多个音频输入设备，例如音频输入设备162-1、音频输入设备162-2、以及音频输入设备162-3；以及一个或更多个透明构件，例如透明构件190-1和透明构件190-2。根据各种实施例，可穿戴电子设备100可以包括一个或更多个第一相机111-1和111-2、一个或更多个第二相机112-1和112-2、以及一个或更多个第三相机113。根据各种实施例，通过一个或更多个第一相机111-1和111-2获得的图像可以被用于检测用户的手势、跟踪用户的头部以及空间识别。根据各种实施例，一个或更多个第一相机111-1和111-1可以是全局快门(globalshutter，GS)相机。根据各种实施例，一个或更多个第一相机111-1和111-2可以通过深度捕获来执行同时定位和映射(simultaneous localization and mapping，SLAM)操作。根据各种实施例，一个或更多个第一相机111-1和111-2可以执行6个自由度(degrees offreedom，DoF)的空间识别。
根据各种实施例，通过一个或更多个第二相机112-1和112-2获得的图像可以被用来检测和跟踪用户的瞳孔。根据各种实施例，一个或更多个第二相机112-1和112-2可以是GS相机。根据各种实施例，一个或更多个第二相机112-1和112-2可以分别对应于左眼和右眼，并且一个或更多个第二相机112-1和112-2可以具有相同的性能。
根据各种实施例，一个或更多个第三相机113可以是高分辨率相机。根据各种实施例，一个或更多个第三相机113可以执行自动聚焦(auto-focusing，AF)功能和图像稳定功能。根据各种实施例，一个或更多个第三相机113可以是GS相机或滚动快门(rollingshutter，RS)相机。
根据各种实施例，可穿戴电子设备100可以包括一个或更多个发光元件114-1和114-2。发光元件114-1和114-2可以与下面描述的用于向显示器的屏幕输出区域照射光的光源不同。根据各种实施例，发光元件114-1和114-2可以照射光以在通过一个或更多个第二相机112-1和112-2检测和跟踪用户瞳孔时促进瞳孔检测。根据各种实施例，发光元件114-1和114-2中的每一者可以包括LED。根据各种实施例，发光元件114-1和114-2可以照射红外波段的光。根据各种实施例，发光元件114-1和114-2可以附接在可穿戴电子设备100的框架105周围。根据各种实施例，发光元件114-1和114-2可以被定位在该一个或更多个第一相机111-1和111-2周围，并且当可穿戴电子设备100在黑暗环境中使用时可以辅助一个或更多个第一相机111-1和111-2进行姿势检测、头部跟踪和/或空间识别。根据各种实施例，发光元件114-1和114-2可以被定位在一个或更多个第三相机113周围并且可以在可穿戴电子设备100在黑暗环境中使用时辅助一个或更多个第三相机113获得图像。
根据各种实施例，可穿戴电子设备100可以包括定位在框架105中的第一显示器151、第二显示器152、一个或更多个输入光学构件153-1和153-2、一个或更多个透明构件190-1和190-2、以及一个或更多个屏幕显示部分154-1和154-2。根据各种实施例，第一显示器151和第二显示器152可以包括例如液晶显示器(liquid crystal display，LCD)、数字镜设备(digital mirror device，DMD)、硅基液晶(liquid crystal on silicon，LCoS)、或有机发光二极管(organic light emitting diode，OLED)、或微发光二极管(micro LED)。根据各种实施例，当第一显示器151和第二显示器152由液晶显示设备、数字镜显示设备或硅液晶显示设备中的一者形成时，可穿戴电子设备可以包括用于向显示器的屏幕输出区域照射光的光源。根据各种实施例，当第一显示器151和第二显示器152可以自己生成光时，例如当第一显示器151和第二显示器152由有机发光二极管或微LED形成时，可穿戴电子设备100即使在不包括单独的光源时也可以向用户提供良好质量的虚拟图像。
根据各种实施例，一个或更多个透明构件190-1和190-2可以被设置为当用户穿戴可穿戴电子设备100时面对用户的眼睛。根据各种实施例，一个或更多个透明构件190-1和190-2可以包括玻璃板、塑料板和聚合物中的至少一者。根据各种实施例，当用户穿戴可穿戴电子设备100时，用户可以通过一个或更多个透明构件190-1和190-2观看外部世界。根据各种实施例，一个或更多个输入光学构件153-1和153-2可以将由第一显示器151和第二显示器152生成的光引导到用户的眼睛。根据各种实施例，基于由第一显示器151和第二显示器152生成的光的图像可以形成在一个或更多个透明构件190-1和190-2上的一个或更多个屏幕显示部分154-1和154-2上，并且用户可以观看形成在一个或更多个屏幕显示部分154-1和154-2上的图像。
根据各种实施例，可穿戴电子设备100可以包括一个或更多个光波导。光波导可以将由第一显示器151和第二显示器152生成的光传递到用户的眼睛。可穿戴电子设备100可以包括与左眼和右眼中的每一者相对应的一个光波导。根据各种实施例，光波导可以包括玻璃、塑料或聚合物中的至少一者。根据各种实施例，光波导可以包括在一个外表面上或内部形成的纳米图案，例如多边形或弯曲的光栅结构。根据各种实施例，光波导可以包括自由形式型棱镜，并且在这种情况下，光波导可以通过反射镜向用户提供入射光。根据各种实施例，光波导可以包括至少一个衍射元件(例如，衍射光学元件(diffractive opticalelement，DOE)或全息光学元件(holographic optical element，HOE))或反射元件(例如反射镜)中的至少一者，并且使用包括在光波导中的至少一个衍射元件或反射元件将从光源发射的显示光引导到用户的眼睛。根据各种实施例，衍射元件可以包括输入/输出光学元件。根据各种实施例，反射元件可以包括引起全反射的构件。
根据各种实施例，可穿戴电子设备100可以包括一个或更多个音频输入设备162-1、162-2和162-3，并且一个或更多个音频输入设备162-1、162-2和162-3可以接收用户的语音或在可穿戴电子设备100周围生成的声音。例如，一个或更多个音频输入设备162-1、162-2和162-3可以接收在周围生成的声音并且将该声音传递到处理器(例如，图3的处理器320)，使得可穿戴电子设备100可以提供言语转文本(STT)功能。
根据各种实施例，一个或更多个支撑部分(例如，第一支撑部分101和第二支撑部分102)可以包括：至少一个印刷电路板(PCB)，例如，第一PCB 170-1和第二PCB 170-2；一个或更多个音频输出设备，例如，音频输出设备163-1和音频输出设备163-2；以及一个或更多个电池，例如，电池135-1和电池135-2。第一PCB 170-1和第二PCB 170-2可以将电信号传递到包括在可穿戴电子设备100中的部件，例如，第一相机211、第二相机212、第三相机213、显示模块250、音频模块261和传感器280(下面参照图2描述)。根据各种实施例，第一PCB 170-1和第二PCB 170-2中的至少一者可以是柔性印刷电路板(flexible printed circuitboard，FPCB)。根据各种实施例，第一PCB 170-1和第二PCB 170-2中的每一者可以包括第一基板、第二基板、以及设置在第一基板与第二基板之间的内插器。根据各种实施例，可穿戴电子设备100可以包括电池135-1和135-2。电池135-1和135-2可以存储用于使可穿戴电子设备100的其余部件运行的电力。根据各种实施例，一个或更多个音频输出设备163-1和163-2可以向用户输出音频数据。例如，可以提供对用户命令(或输入)的反馈，或者可以通过音频数据向用户提供关于虚拟对象的信息。
根据各种实施例，可穿戴电子设备100可以包括一个或更多个铰链部分(例如，第一铰链部分103和第二铰链部分104)。例如，第一铰链部分103可以使得第一支撑部分101联接到框架105并且绕框架105旋转，并且第二铰链部分104可以使得第二支撑部分102联接到框架105并且绕框架105旋转。
图2示出了根据各种实施例的可穿戴电子设备的显示器和眼睛跟踪相机的结构。可穿戴电子设备200(例如，图1的可穿戴电子设备100)可以包括显示器221、输入光学构件222、显示器光波导223、输出光学构件224、眼睛跟踪相机210、第一分路器241、眼睛跟踪光波导242和第二分路器243。
在该可穿戴电子设备中，显示器221可以对应于图1所示的第一显示器151或第二显示器152。从显示器221输出的光可以通过输入光学构件222(输入光学构件222可以对应于图1的输入光学构件153-1和153-2)，并且入射到显示器光波导223上，然后可以通过显示器光波导223并且通过输出光学构件224输出。从输出光学构件224输出的光可以被用户的眼睛230看到。在下文中，在实施例中，表述“在显示器上显示对象”可以表示从显示器221输出的光可以通过输出光学构件224输出，并且用户的眼睛230可以藉由通过输出光学构件224输出的光而看到对象的形状。此外，在实施例中，表述“控制显示器显示对象”可以表示从显示器221输出的光可以通过输出光学构件224输出，并且显示器221被控制为使得用户的眼睛230藉由通过输出光学构件224输出的光看到对象的形状。
从用户的眼睛230反射的光235可以通过第一分路器241并且入射到眼睛跟踪光波导242上，然后可以通过眼睛跟踪光波导242并且通过第二分路器243输出到眼睛跟踪相机210。根据各种实施例，从用户的眼睛230反射的光235可以对应于从图1的发光元件114-1和114-2输出并且从用户的眼睛230反射的光。根据各种实施例，眼睛跟踪相机210可以对应于图2所示的一个或更多个第二相机112-1和112-1。
根据各种实施例，可穿戴电子设备300可以包括第一相机311、第二相机312、第三相机313、处理器320、电源管理集成电路(power management integrated circuit，PMIC)330、电池335、存储器340、显示器350、音频接口361、音频输入设备362、音频输出设备363、通信电路370、以及传感器380。
根据各种实施例，以上结合图1描述的一个或更多个第一相机111-1和111-2、一个或更多个第二相机112-1和112-2以及一个或更多个第三相机113的细节可以分别等同地应用于第一相机311、第二相机312和第三相机313。根据各种实施例，可穿戴电子设备300可以包括多个第一相机311、第二相机312和第三相机313中的至少一个。
根据各种实施例，处理器320可以控制可穿戴电子设备300的其他部件，例如，第一相机311、第二相机312、第三相机313、PMIC 330、存储器340、显示器350、音频接口361、通信电路370和传感器380，并且可以执行各种数据处理或计算。
根据各种实施例，PMIC 330可以将存储在电池335中的电力转换为具有可穿戴电子设备300的其他部件所需的电流或电压，并且向可穿戴电子设备300的其他部件供应电力。
根据各种实施例，存储器340可以存储由可穿戴电子设备300的至少一个部件(例如，处理器320或传感器380)使用的各种数据。
根据各种实施例，显示器350可以显示要提供给用户的画面。根据各种实施例，显示器350可以包括第一显示器151、第二显示器152、一个或更多个输入光学构件153-1和153-2、一个或更多个透明构件190-1和190-2、以及一个或更多个屏幕显示部分154-1和154-2(上文中结合图1对它们进行了描述)。
根据各种实施例，音频接口361可以连接到音频输入设备362和音频输出设备363，并且可以对通过音频输入设备362输入的数据进行转换，并且可以对要输出到音频输出设备363的数据进行转换。在实施例中，音频输入设备362可以包括麦克风，并且音频输出设备363可以包括扬声器和放大器。
根据各种实施例，通信电路370可以支持与可穿戴电子设备300外部的电子设备建立无线通信信道，并且通过所建立的通信信道进行通信。
根据各种实施例，传感器380可以包括6轴传感器381、磁性传感器382、接近传感器383和光学传感器384。根据各种实施例，传感器380可以包括用于获得生物特征信号的传感器，用于检测可穿戴电子设备300是否正用户穿戴着。例如，传感器380可以包括心率传感器、皮肤传感器和温度传感器中的至少一者。
根据各种实施例，当用户激活STT功能时，处理器320可以基于从音频接口361接收的数据生成要通过显示器350显示的基于文本和/或图像的数据。
根据各种实施例，处理器320可以通过6轴传感器381识别穿戴可穿戴电子设备300的用户的移动。例如，6轴传感器381可以通过检测用户面对的方向(例如，用户通过可穿戴电子设备300观看的方向)的改变来生成传感器值，并且可以将所生成的传感器值或传感器值的变化传递到处理器320。
根据各种实施例，当用户激活STT功能时，音频接口361可以通过音频输入设备362接收在可穿戴电子设备300(或用户)周围生成的声音，并且可以将通过对接收到的声音进行转换而获得的数据传递到处理器320。
根据各种实施例，通信电路370可以向外部电子设备(例如，诸如耳机之类的可穿戴电子设备，或诸如终端之类的外部电子设备)发送数据以及从所述外部电子设备接收数据。例如，可穿戴电子设备300可以通过通信电路370接收由外部可穿戴电子设备接收的音频数据，并且可以将接收到的音频数据传递到处理器320。作为另一个示例，可穿戴电子设备300可以通过显示器350输出基于通过通信电路370从外部电子设备接收到的数据的图像数据。
图4是示出根据各种实施例的外部可穿戴电子设备400的框图。根据各种实施例，外部可穿戴电子设备400可以是耳机型可穿戴电子设备、手表型可穿戴电子设备或项链型可穿戴电子设备中的至少一者。根据各种实施例，外部可穿戴电子设备400可以具有多个实体地分离的壳体。例如，当外部可穿戴电子设备400是耳机型可穿戴电子设备时，外部可穿戴电子设备400可以包括要穿戴在左耳上的第一壳体和要穿戴在右耳上的第二壳体。在实施例中，图4所示的部件可以包括在多个壳体中的一个或更多个壳体中。
根据各种实施例，外部可穿戴电子设备400可以包括处理器410、存储器420、通信电路430、音频接口440、传感器450和电池460。
根据各种实施例，处理器410可以从外部可穿戴电子设备400的其他部件(例如，存储器420、通信电路430、音频接口440、传感器450和电池460)接收数据，基于接收到的数据执行计算，并且将用于控制其他部件的信号传递到其他部件。根据各种实施例，处理器410可以基于存储在存储器420中的指令来进行操作。
根据各种实施例，存储器420可以存储如下指令，这些指令使得外部可穿戴电子设备400的其他组件(例如，处理器410、通信电路430、音频接口440、传感器450和电池460)能够执行指定的操作。根据各种实施例，存储器420可以存储通过音频接口440获得的音频数据。
根据各种实施例，通信电路430可以执行与另一电子设备(例如，可穿戴电子设备300)的无线通信。根据各种实施例，通信电路430可以将从外部可穿戴电子设备400获得的信息发送到可穿戴电子设备300。通信电路430支持的通信类型不受限制。
根据各种实施例，音频接口440可以包括多个麦克风和一个或更多个扬声器。根据各种实施例，多个麦克风可以包括当用户穿戴外部可穿戴电子设备400时面对用户内耳的麦克风以及当用户穿戴外部可穿戴电子设备400时背对用户的麦克风。根据各种实施例，音频接口440可以通过多个麦克风中的每一个来获得音频数据，并且可以基于通过多个麦克风获得的音频数据来执行噪声消除。
根据各种实施例，传感器450可以包括用于检测用户是否穿戴外部可穿戴电子设备400的生物特征传感器。例如，生物特征传感器可以包括心率传感器、皮肤传感器和温度传感器中的至少一者。根据各种实施例，传感器450可以包括地磁传感器。
根据各种实施例，外部可穿戴电子设备400可以通过通信电路430从可穿戴电子设备300接收数据传输请求。例如，外部可穿戴电子设备400可以接收发送通过音频接口440接收到的音频数据的请求。根据一个实施例，当可穿戴电子设备300出现指定条件(例如，检测到指定动作或指定时间)时，外部可穿戴电子设备400可以接收发送通过音频模块440接收到的音频数据的请求。
图5示出了根据各种实施例的可穿戴电子设备与外部可穿戴电子设备之间的通信。图5示出了在外部可穿戴电子设备是耳机型可穿戴电子设备并且包括要穿戴在左耳上的外部可穿戴电子设备(L)530和要穿戴在右耳上的外部可穿戴电子设备(R)520的情况下，可穿戴电子设备510、外部可穿戴电子设备(R)520和外部可穿戴电子设备(L)530之间的通信。
根据各种实施例，外部可穿戴电子设备(R)520和外部可穿戴电子设备(L)530中的一者可以作为主设备运行，而另一者可以作为从设备。图5示出了外部可穿戴电子设备(R)520作为主设备运行并且外部可穿戴电子设备(L)530作为从设备运行的示例。
在图5中，可穿戴电子设备510和外部可穿戴电子设备(R)520可以通过蓝牙通信协议彼此连接，并且外部可穿戴电子设备(R)520和外部可穿戴电子设备(L)530可以通过蓝牙通信协议彼此连接。根据各种实施例，外部可穿戴电子设备(R)520可以执行与可穿戴电子设备510的通信。外部可穿戴电子设备(L)530可以从外部可穿戴电子设备(R)520接收关于可穿戴电子设备510与外部可穿戴电子设备(R)520之间的通信链路的信息。根据各种实施例，关于可穿戴电子设备510与外部可穿戴电子设备(R)520之间的通信链路的信息可以包括地址信息、时钟信息、信道信息、会话描述协议(session description protocol，SDP)结果信息、关于所支持的功能的信息、密钥信息、或扩展查询响应(extended inquiryresponse，EIR)分组。外部可穿戴电子设备(L)530可以基于关于可穿戴电子设备510与外部可穿戴电子设备(R)520之间的通信链路的信息来监视可穿戴电子设备510与外部可穿戴电子设备(R)520之间的通信信道。例如，外部可穿戴电子设备(L)530可以接收由可穿戴电子设备510和外部可穿戴电子设备(R)520通过可穿戴电子设备510和/或外部可穿戴电子设备(R)520之间的通信信道发送/接收的数据。作为另一示例，外部可穿戴电子设备(L)530可以通过可穿戴电子设备510与外部可穿戴电子设备(R)520之间的通信信道向可穿戴电子设备510发送数据。
可穿戴电子设备510可以向外部可穿戴电子设备(R)520发送对由外部可穿戴电子设备(R)520和外部可穿戴电子设备(L)530获得的关于外部可穿戴电子设备(R)520和外部可穿戴电子设备(L)530的状态信息的请求。下面参考图6来描述状态信息的示例的细节。可穿戴电子设备510可以从外部可穿戴电子设备(R)520接收状态信息。从外部可穿戴电子设备(L)530获得的状态信息可以在外部可穿戴电子设备(R)520与可穿戴电子设备510之间的重传周期期间被发送到可穿戴电子设备510，如图5中的W1和W2所示。
图6是示出根据各种实施例的在可穿戴电子设备中执行的操作的流程图。根据一个实施例，当用户穿戴可穿戴电子设备时，可穿戴电子设备(例如，可穿戴电子设备300)可以接收在周围生成的音频数据并且可以接收激活STT功能(该STT功能基于接收到的音频数据提供文本和/或图像)的请求。根据另一实施例，当用户穿戴可穿戴电子设备时，可穿戴电子设备300可以自动地激活STT功能。根据另一实施例，当用户穿戴可穿戴电子设备时，可穿戴电子设备300可以判定用户是否正通过另一可穿戴电子设备(例如，耳机)输出音频数据，并且可以基于判定的结果激活STT功能。
根据一个实施例，在操作610中，可穿戴电子设备(例如，可穿戴电子设备300)的处理器(例如，处理器320)可以获得音频数据。根据各种实施例，处理器320可以通过可穿戴电子设备300的音频接口361获得音频数据。
在操作620中，可穿戴电子设备(例如，可穿戴电子设备300)的处理器(例如，处理器320)可以识别在操作610中获得的音频数据是否满足预定条件。根据各种实施例，当音频数据表示可穿戴电子设备300的用户可能想要接收STT功能的情况时，预定条件可以被满足。例如，预定条件可以包括以下项中至少一者：当音频数据包括与语言相关的语音时、当音频数据包括与预设字相关的语音时、当音频数据包括具有预设音量或比预设音量更高的语音时。在实施例中，预设可以是指例如预定的或在先前时间确定的。
在操作620中，可穿戴电子设备(例如，可穿戴电子设备300)的处理器(例如，处理器320)可以识别所获得的音频数据是否满足预定条件。在一个示例中，当在操作620中识别出所获得的音频数据不满足预定条件时，可穿戴电子设备(例如，可穿戴电子设备300)的处理器(例如，处理器320)可以重复操作610，直到满足预定条件的音频数据被获得。
在另一示例中，如果在操作620中识别出所获得的音频数据满足预定条件，则可穿戴电子设备(例如，可穿戴电子设备300)的处理器(例如，处理器320)可以在操作630中通过通信电路370从外部可穿戴电子设备(例如，外部可穿戴电子设备400)接收状态信息。根据各种实施例，状态信息可以是基于从外部可穿戴电子设备400获得的信号的信息。
根据各种实施例，状态信息可以表示外部可穿戴电子设备400是否被外部可穿戴电子设备400的用户穿戴着。根据各种实施例，表示外部可穿戴电子设备400是否被用户穿戴着的状态信息可以是从外部可穿戴电子设备400的传感器450获得的生物特征信号、或从外部可穿戴电子设备400的处理器410输出的基于由传感器450获得的生物特征信号的信息，并且可以表示判定外部可穿戴电子设备400是否被用户穿戴着的结果。
根据各种实施例，状态信息可以表示是否正从外部可穿戴电子设备400输出语音。根据各种实施例，状态信息可以表示正从外部可穿戴电子设备400输出的语音的音量。
根据各种实施例，在外部可穿戴电子设备400提供噪声消除功能和环境声音收听功能并且允许用户对噪声消除功能和环境声音收听功能设置优先级的情况下，状态信息可以表示噪声消除功能和环境声音收听功能中的哪一个具有较高优先级。
根据各种实施例，状态信息可以表示环境声音收听功能是否通过用户对外部可穿戴电子设备400的输入而在外部可穿戴电子设备400中激活。
根据各种实施例，状态信息可以包括通过外部可穿戴电子设备400的音频接口440获得的音频数据。
在操作640中，可穿戴电子设备(例如，可穿戴电子设备300)的处理器(例如，处理器320)可以基于状态信息的至少一部分来控制显示器(例如，显示器350)显示与音频数据相对应的视觉信息。根据各种实施例，视觉信息可以包括文本或图像中的至少一者。
根据各种实施例，处理器320基于状态信息的至少一部分来控制显示器350显示与音频数据相对应的视觉信息可以意味着处理器320基于状态信息的至少一部分来判定是否提供STT功能。
根据各种实施例，当状态信息表示外部可穿戴电子设备400的用户穿戴着外部可穿戴电子设备400时，状态信息表示外部可穿戴电子设备400被穿戴着可以被包括在处理器320控制显示器350显示与音频数据相对应的视觉信息的至少一个条件中。在实施例中，处理器320控制显示器350显示与音频数据相对应的视觉信息的至少一个条件可以称为“至少一个视觉信息显示条件”。换言之，除了外部可穿戴电子设备400被穿戴着这个条件之外，处理器320还可以具有下文将被描述为提供STT功能的条件的各种条件中的任一种。根据各种实施例，当状态信息表示外部可穿戴电子设备400没有被穿戴着时，处理器320可以不控制显示器350显示与音频数据相对应的视觉信息。
根据各种实施例，当状态信息是从外部可穿戴电子设备400的传感器450获得的生物特征信号时，处理器320可以通过可穿戴电子设备300的传感器380获得生物特征信号，并且将从外部可穿戴电子设备400接收的生物特征信号与通过可穿戴电子设备300的传感器380获得的生物特征信号进行比较，从而识别穿戴外部可穿戴电子设备400的用户是否与穿戴可穿戴电子设备300的用户相同。根据各种实施例，至少一个视觉信息显示条件可以包括以下条件：状态信息表示外部可穿戴电子设备400被穿戴着、以及穿戴外部可穿戴电子设备400的用户与穿戴可穿戴电子设备300的用户相同。根据各种实施例，当识别出穿戴外部可穿戴电子设备400的用户与穿戴可穿戴电子设备300的用户不相同时，处理器320可以不控制显示器350显示与音频数据相对应的视觉信息。
根据各种实施例，当状态信息表示外部可穿戴电子设备400是否正在输出语音时，至少一个视觉信息显示条件可以包括状态信息表示外部可穿戴电子设备400正输出语音这个条件。根据各种实施例，当状态信息表示正从外部可穿戴电子设备400输出的语音的音量时，至少一个视觉信息显示条件可以包括(由状态信息表示的)正从外部可穿戴电子设备400输出的语音的音量是预设水平或大于预设水平。根据各种实施例，当状态信息表示噪声消除功能与环境声音收听功能之间的相对优先级时，至少一个视觉信息显示条件可以包括由状态信息表示的噪声消除功能的优先级高于环境声音收听功能的优先级这个条件。根据各种实施例，当状态信息表示环境声音收听功能是否通过用户对外部可穿戴电子设备400的输入而在外部可穿戴电子设备400中激活时，至少一个视觉信息显示条件可以包括环境声音收听功能不通过用户对外部可穿戴电子设备400的输入被激活这个条件。换言之，当用户通过对外部可穿戴电子设备400的直接输入激活环境声音收听功能时，可穿戴电子设备300可以不提供STT功能。
根据各种实施例，当处理器320提供STT功能时，处理器320基于状态信息的至少一部分来控制显示器350显示与音频数据相对应的视觉信息可以意味着处理器320在确定要提供的视觉信息时考虑状态信息。
根据各种实施例，当状态信息包括通过外部可穿戴电子设备400的音频接口440获得的音频数据时，处理器320可以基于通过外部可穿戴电子设备400的音频接口440获得的音频数据来对在操作610中获得的音频数据进行处理，从而获得第三音频数据并且控制显示器350显示与第三音频数据相对应的视觉信息。根据各种实施例，用于获得第三音频数据的处理可以是用于去除除了语音会话之外的环境噪声的噪声消除处理。
根据各种实施例，当提供STT功能时，处理器320可以根据与通过外部可穿戴电子设备400的音频接口440获得的音频数据(该音频数据是作为状态信息的至少一部分而获得的)和/或在操作610中获得的音频数据相对应的语音的音量，来调整在显示器350上显示的视觉信息的视觉特征。例如，当视觉信息是文本时，文本的字体、大小或颜色中的至少一者可以根据与音频数据相对应的语音的音量来调整。作为另一示例，当视觉信息是图像时，图像的大小或颜色中的至少一者可以根据与音频数据相对应的语音的音量来调整。
图7是示出根据各种实施例的在可穿戴电子设备中执行的操作的流程图。根据一个实施例，可穿戴电子设备(例如，可穿戴电子设备300)可以执行与外部可穿戴电子设备(例如，外部可穿戴电子设备400)的通信连接。例如，当可穿戴电子设备300和外部可穿戴电子设备400定位在短距离内时，可穿戴电子设备300可以通过通信电路(例如，通信电路370)执行与外部可穿戴电子设备的通信连接(例如，蓝牙通信连接)。
根据一个实施例，在操作710中，可穿戴电子设备(例如，可穿戴电子设备300)的处理器(例如，处理器320)可以从外部可穿戴电子设备(例如，外部可穿戴电子设备400)接收状态信息。根据各种实施例，状态信息可以表示外部可穿戴电子设备400是否被用户穿戴着以及语音是否正从外部可穿戴电子设备400输出。
在操作720中，可穿戴电子设备(例如，可穿戴电子设备300)的处理器(例如，处理器320)可以基于状态信息识别外部可穿戴电子设备400是否被用户穿戴着。在一个示例中，当识别出外部可穿戴电子设备400没有被用户穿戴着时，该方法可以终止。
当在操作720中识别出外部可穿戴电子设备400正被用户穿戴时，在操作730中，可穿戴电子设备(例如，可穿戴电子设备300)的处理器(例如，处理器320)可以基于状态信息来识别语音是否正在从外部可穿戴电子设备400输出。在一个示例中，当识别出外部可穿戴电子设备400没有正输出语音时，该方法可以终止。
当在操作730中识别出外部可穿戴电子设备400正输出语音时，在操作740中，可穿戴电子设备(例如，可穿戴电子设备300)的处理器(例如，处理器320)可以控制显示器385显示与通过可穿戴电子设备300的音频接口361获得的音频数据相对应的视觉信息。根据各种实施例，视觉信息可以包括文本或图像中的至少一者。
在实施例中，可以改变操作720和操作730的顺序。例如，操作730可以在操作720之前执行。
在实施例中，可穿戴电子设备(例如，可穿戴电子设备300)的处理器(例如，处理器320)可以在执行操作710之前执行图6的操作610和620，并且响应于在操作620中识别出音频数据满足预定条件，执行操作710。换言之，除了外部可穿戴电子设备400被穿戴着这个条件和外部可穿戴电子设备400正输出语音这个条件之外，提供STT服务的条件(例如，至少一个视觉信息显示条件)还可以包括与音频数据相关的条件。
图8是示出根据各种实施例的在可穿戴电子设备中执行的操作的流程图。在操作810中，可穿戴电子设备(例如，可穿戴电子设备300)的处理器(例如，处理器320)可以从外部可穿戴电子设备(例如，外部可穿戴电子设备400)接收状态信息。在操作820中，可穿戴电子设备(例如，可穿戴电子设备300)的处理器(例如，处理器320)可以基于状态信息识别外部可穿戴电子设备400是否被用户穿戴着。在操作830中，可穿戴电子设备(例如，可穿戴电子设备300)的处理器(例如，处理器320)可以基于状态信息识别外部可穿戴电子设备400是否正输出语音。上文结合图7描述的操作710、720和730的细节可以类似地应用于操作810、820和830。
当在操作830中识别出外部可穿戴电子设备400正输出语音时，在操作840中，可穿戴电子设备(例如，可穿戴电子设备300)的处理器(例如，处理器320)可以控制显示器385显示表示STT服务可以被提供的视觉指示符。例如，视觉指示符可以是基于包括在外部可穿戴电子设备400中的音频接口440和/或包括在可穿戴电子设备300中的音频输入设备362的虚拟对象，其包括表示存在要提供给用户的信息的文本和/或图像。
在操作850中，可穿戴电子设备(例如，可穿戴电子设备300)的处理器(例如，处理器320)可以判定关于可穿戴电子设备300的用户的反应条件是否被满足。根据各种实施例，反应条件可以是与可穿戴电子设备300的用户对在操作840中显示的视觉指示符的反应有关的条件。根据各种实施例，处理器320可以通过第二相机312识别用户的目光，并且如果识别出用户的目光在视觉指示符上长达预设第一时间或更长，则可以识别出反应条件被满足。根据各种实施例，处理器320可以分析用户的发声，并且当检测到接收STT服务的预设发声时，可以识别出反应条件被满足。在这种情况下，处理器320可以将与用户语音相关的数据存储在存储器340中，并且可以基于所存储的用户的语音数据来识别预设发声是否是用户的发声。根据各种实施例，处理器320可以通过第一相机311检测姿势，并且当检测到接收STT服务的预设姿势时，可以识别出反应条件被满足。根据各种实施例，如果上述示例反应条件的任何组合被满足，则处理器320可以识别出反应条件被满足。
在操作850中，当识别出反应条件不被满足时，可穿戴电子设备(例如，可穿戴电子设备300)的处理器(例如，处理器320)可以重复操作850直到反应条件被满足。
当在操作850中识别出反应条件被满足时，在操作860中，可穿戴电子设备(例如，可穿戴电子设备300)的处理器(例如，处理器320)可以控制显示器385显示与通过可穿戴电子设备300的音频接口361获得的音频数据相对应的视觉信息。根据各种实施例，视觉信息可以包括文本或图像中的至少一者。
根据各种实施例，处理器320可以将在反应条件被满足之前收集的音频数据存储在存储器340中，并且如果识别出反应条件被满足，则在操作860中控制显示器385进一步显示与在反应条件被满足之前收集的音频数据相对应的视觉信息、以及与在反应条件被满足之后收集的音频数据相对应的视觉信息。
在实施例中，可穿戴电子设备(例如，可穿戴电子设备300)的处理器(例如，处理器320)可以在执行操作810之前执行图6的操作610和620，并且响应于在操作620中识别出音频数据满足预定条件，执行操作810。
图9是示出根据各种实施例的在可穿戴电子设备中执行的操作的流程图。在操作910中，可穿戴电子设备(例如，可穿戴电子设备300)的处理器(例如，处理器320)可以从外部可穿戴电子设备(例如，外部可穿戴电子设备400)接收状态信息。根据各种实施例，状态信息可以表示在外部可穿戴电子设备400中噪声消除功能和环境声音收听功能中的哪一个功能被设置为具有较高优先级。
在操作920中，可穿戴电子设备(例如，可穿戴电子设备300)的处理器(例如，处理器320)可以基于状态信息来识别外部可穿戴电子设备400的噪声消除功能的优先级是否高于环境声音收听功能的优先级。例如，外部可穿戴电子设备400的环境声音收听功能的优先级高于外部可穿戴电子设备400的噪声消除功能的优先级可以意味着用户期望通过外部可穿戴电子设备400收听环境声音，而不是通过可穿戴电子设备300接收基于外部声音的STT功能。
根据一个实施例，外部可穿戴电子设备400可以通过传感器450通过检测指定动作或用户的发声、或检测用户的输入(例如触摸、轻敲或长按)来检测用户激活环境声音收听功能。
当在操作920中确定外部可穿戴电子设备400的噪声消除功能的优先级高于环境声音收听功能的优先级时，在操作930中，可穿戴电子设备(例如，可穿戴电子设备300)的处理器(例如，处理器320)可以控制显示器385显示与通过可穿戴电子设备300的音频接口361获得的音频数据相对应的视觉信息。根据各种实施例，视觉信息可以包括文本或图像中的至少一者。
如果在操作920中确定外部可穿戴电子设备400的噪声消除功能的优先级低于环境声音收听功能的优先级，则可穿戴电子设备(例如，可穿戴电子设备300)的处理器(例如，处理器320)可以终止该方法。
在实施例中，当在操作920中确定外部可穿戴电子设备400的噪声消除功能的优先级高于环境声音收听功能的优先级时，可穿戴电子设备(例如，可穿戴电子设备300)的处理器(例如，处理器320)可以确定提供STT功能的条件(如下文参考图12所述)是否被满足，并且当图12的条件被满足时，在操作930中，控制显示器385显示与通过可穿戴电子设备300的音频接口361获得的音频数据相对应的视觉信息。
在实施例中，可穿戴电子设备(例如，可穿戴电子设备300)的处理器(例如，处理器320)可以在执行操作910之前执行图6的操作610和620，并且响应于在操作620中识别出音频数据满足预定条件，执行操作12。
图10是示出根据各种实施例的在可穿戴电子设备中执行的操作的流程图。在操作1010中，可穿戴电子设备(例如，可穿戴电子设备300)的处理器(例如，处理器320)可以获得第一音频数据。根据各种实施例，处理器320可以通过可穿戴电子设备300的音频接口361获得第一音频数据。
在操作1020中，可穿戴电子设备(例如，可穿戴电子设备300)的处理器(例如，处理器320)可以识别在操作1010中获得的第一音频数据是否满足预定条件。预定条件的细节可以与参考图6的操作620在上文描述的细节相同。
当在操作1020中识别出所获得的第一音频数据不满足预定条件时，可穿戴电子设备(例如，可穿戴电子设备300)的处理器(例如，处理器320)可以重复操作1010和1020，直到获得满足预定条件的第一音频数据为止。
在操作1020中，当识别出第一音频数据满足预定条件时，可穿戴电子设备(例如，可穿戴电子设备300)的处理器(例如，处理器320)可以在操作1030中从外部可穿戴电子设备(例如，外部可穿戴电子设备400)获得包括通过外部可穿戴电子设备400的音频接口440获得的第二音频数据的状态信息。例如，可穿戴电子设备300可以将包括关于第一音频数据的信息(例如，接收时间信息和/或采样数据)的数据发送到外部可穿戴电子设备400，并且从外部可穿戴电子设备400接收包括基于关于第一音频数据的信息的第二音频数据的状态信息。根据一个实施例，在确定第一音频数据是否满足预定条件之前，可穿戴电子设备300可以通过通信电路370执行与外部可穿戴电子设备400的通信连接，并且从外部可穿戴电子设备400获得包括第二音频数据的状态信息。
在操作1040中，可穿戴电子设备(例如，可穿戴电子设备300)的处理器(例如，处理器320)可以通过基于第二音频数据对第一音频数据进行处理来获得第三音频数据。根据各种实施例，在操作1040中，处理器320可以执行噪声消除处理以从第一音频数据中去除除了语音会话之外的环境噪声。
在操作1050中，可穿戴电子设备(例如，可穿戴电子设备300)的处理器(例如，处理器320)可以控制显示器350显示与在操作1040中获得的第三音频数据相对应的视觉信息。根据各种实施例，视觉信息可以包括文本或图像中的至少一者。
在实施例中，处理器320可以在操作1030中接收表示外部可穿戴电子设备400是否被用户穿戴着以及外部可穿戴电子设备400是否正输出语音的状态信息，并且在执行操作1030之后不立即执行操作1040，而执行图7的操作720和730，并且当操作720和730的条件被满足时，执行操作1040。
此外，根据各种实施例，处理器320可以在操作1030中接收表示外部可穿戴电子设备400是否被用户穿戴着以及外部可穿戴电子设备400是否正输出语音的状态信息，并且在执行操作1030之后不立即执行操作1040，而执行图8的操作820至850，并且当操作820、830和850的条件被满足时，执行操作1040。
图11是示出根据各种实施例的在可穿戴电子设备中执行的操作的流程图。在操作1110中，可穿戴电子设备(例如，可穿戴电子设备300)的处理器(例如，处理器320)可以控制显示器350显示与通过可穿戴电子设备300的音频接口361获得的音频数据相对应的视觉信息。根据各种实施例，视觉信息可以包括文本或图像中的至少一者。
在操作1120中，可穿戴电子设备(例如，可穿戴电子设备300)的处理器(例如，处理器320)可以识别停止提供视觉信息的条件是否被满足。根据各种实施例，停止提供视觉信息的条件可以是表示适于停止提供STT服务的条件。根据各种实施例，停止提供视觉信息的条件可以包括用户的目光不在操作1110中显示的视觉信息上长于或等于预设时间这个条件。根据各种实施例，停止提供视觉信息的条件可以包括检测到用户请求停止STT服务的预设姿势这个条件。根据各种实施例，停止提供视觉信息的条件可以包括在操作1110中显示的视觉信息中包括的句子的准确度小于或等于预设水平这个条件。例如，可以基于句子的完整性和/或上下文的准确度来确定包括在视觉信息中的句子的准确度。根据各种实施例，停止提供视觉信息的条件可以包括在操作1110中显示的视觉信息被显示长于指定时间这个条件。
在操作1120中，当在操作1120中识别出停止提供视觉信息的条件被满足时，在操作1130中，可穿戴电子设备(例如，可穿戴电子设备300)的处理器(例如，处理器320)可以控制显示器350不显示与音频数据相对应的视觉信息。
当在操作1120中识别出停止提供视觉信息的条件不被满足时，可穿戴电子设备(例如，可穿戴电子设备300)的处理器(例如，处理器320)可以在控制显示器350继续显示与通过音频接口361获得的音频数据相对应的视觉信息的同时重复操作1120，直到识别出停止提供视觉信息的条件被满足。
在实施例中，当停止提供视觉信息的条件包括在操作1110中显示的视觉信息中所包括的句子的准确度小于或等于预设水平并且在操作1120中识别出视觉信息中所包括的句子的准确度小于或等于预设水平这个条件时，可穿戴电子设备(例如，可穿戴电子设备300)的处理器(例如，处理器320)可以通过通信电路370将用于激活环境声音收听功能的信号发送到外部可穿戴电子设备400。图12是示出根据各种实施例的在可穿戴电子设备中执行的操作的流程图。在操作1210中，可穿戴电子设备(例如，可穿戴电子设备300)的处理器(例如，处理器320)可以通过可穿戴电子设备300的音频输入设备362获得与外部事件相对应的第一音频数据。根据各种实施例，外部事件可以包括可穿戴电子设备300的用户之外的人的发声。例如，外部事件可以包括从外部(例如，可穿戴电子设备100、200或300中的任一者的外部)生成了与指定条件相对应的声音，例如信号强度大于或等于指定信号强度的声音。
在操作1220中，可穿戴电子设备(例如，可穿戴电子设备300)的处理器(例如，处理器320)可以通过通信电路370从外部可穿戴电子设备(例如，外部可穿戴电子设备400)接收与外部事件相对应并且从外部可穿戴电子设备400获得的第二音频数据。
在操作1230中，可穿戴电子设备(例如，可穿戴电子设备300)的处理器(例如，处理器320)可以基于第一音频数据和第二音频数据来识别与外部事件相对应的方向。根据一个实施例，可穿戴电子设备300的处理器320可以基于外部可穿戴电子设备400的至少一个音频接口440的位置和可穿戴电子设备300的至少一个音频输入设备362的位置来确定与外部事件相对应的方向。例如，处理器320可以基于关于接收到第一音频数据的时间信息和关于接收到第二音频数据的时间信息来确定与外部事件相对应的方向。根据各种实施例，与外部事件相对应的方向可以是外部事件发生的位置相对于可穿戴电子设备300的相对方向。
在操作1240中，可穿戴电子设备(例如，可穿戴电子设备300)的处理器(例如，处理器320)可以执行与识别出的方向相对应的操作。
根据各种实施例，处理器320可以基于通过可穿戴电子设备300的传感器380和/或至少一个相机(例如，第一相机311或第二相机312)获得的数据，识别可穿戴电子设备300的用户的目光方向、或者用户通过可穿戴电子设备300的透明构件(例如，一个或更多个透明构件190-1和190-2)观看的方向，并且取决于识别出的用户的目光方向是否与在操作1230中识别出的方向相同来执行不同的操作。根据各种实施例，处理器320可以基于通过第二相机312获得的数据来识别可穿戴电子设备300的用户的目光方向。根据各种实施例，处理器320可以基于通过可穿戴电子设备300的传感器380获得的数据来识别可穿戴电子设备300面对的方向，并且将识别出的方向识别为用户的目光方向。根据各种实施例，当用户的目光方向和与操作1230中识别出的外部事件相对应的方向相同时，处理器320可以通过通信电路370向外部可穿戴电子设备400发送用于激活环境声音收听功能的信号。根据各种实施例，当用户的目光方向不与在操作1230中识别出的方向相同时，处理器320可以控制显示器350基于第一音频数据或第二音频数据中的至少一者来显示与外部事件相对应的视觉信息。
图13是示出根据各种实施例的在可穿戴电子设备中执行的操作的流程图。在操作1310中，可穿戴电子设备(例如，可穿戴电子设备300)的处理器(例如，处理器320)可以通过可穿戴电子设备300的音频输入设备362获得与外部事件相对应的第一音频数据。
在操作1320中，可穿戴电子设备(例如，可穿戴电子设备300)的处理器(例如，处理器320)可以识别第一音频数据是否满足预定条件。预定条件的细节可以与参考图6的操作620在上文描述的细节相同。
当在操作1320中识别出所获得的第一音频数据不满足预定条件时，可穿戴电子设备(例如，可穿戴电子设备300)的处理器(例如，处理器320)可以重复操作1310和1320，直到获得满足预定条件的第一音频数据为止。
如果在操作1320中识别出第一音频数据满足预定条件，则可穿戴电子设备(例如，可穿戴电子设备300)的处理器(例如，处理器320)可以从外部可穿戴电子设备(例如，外部可穿戴电子设备400)接收状态信息。根据各种实施例，状态信息可以表示外部可穿戴电子设备400是否被用户穿戴着以及是否正从外部可穿戴电子设备400输出语音，并且状态信息可以包括通过外部可穿戴电子设备400的音频接口440获得的第二音频数据。根据一个实施例，在判定第一音频数据是否满足预定条件之前，可穿戴电子设备300可以通过通信电路370执行与外部可穿戴电子设备400的通信连接。例如，通信可以包括短距离通信，例如蓝牙或Wi-Fi。
在操作1340中，可穿戴电子设备(例如，可穿戴电子设备300)的处理器(例如，处理器320)可以基于状态信息来识别外部可穿戴电子设备400是否被穿戴着以及外部可穿戴电子设备400是否正输出语音。根据各种实施例，如上文结合图6的操作640所述，在操作1340中，处理器320还可以识别穿戴外部可穿戴电子设备400的用户是否与穿戴可穿戴电子设备300的用户相同，并且当识别出穿戴外部可穿戴电子设备400的用户与穿戴可穿戴电子设备300的用户相同时，执行操作1350。根据一个实施例，在操作1340中，当外部可穿戴电子设备400没有被穿戴或没有正输出语音时，处理器320可以终止该方法。
当在操作1340中识别出外部可穿戴电子设备400被穿戴并且外部可穿戴电子设备400正输出语音时，可穿戴电子设备(例如，可穿戴电子设备300)的处理器(例如，处理器320)可以在操作1350中通过通信电路370从外部可穿戴电子设备(例如，外部可穿戴电子设备400)接收通过外部可穿戴电子设备400的音频接口440获得的第二音频数据。
在操作1360中，可穿戴电子设备(例如，可穿戴电子设备300)的处理器(例如，处理器320)可以基于第一音频数据和第二音频数据来识别与外部事件相对应的方向。操作1230的细节可以类似地应用于操作1360。
在操作1370中，可穿戴电子设备(例如，可穿戴电子设备300)的处理器(例如，处理器320)可以基于通过传感器380或第二相机312中的至少一者获得的数据来识别用户的目光方向、或用户通过可穿戴电子设备300的透明构件(例如，图1的一个或更多个透明构件190-1和190-2)观看的方向。根据各种实施例，处理器320可以基于通过第二相机312获得的数据来识别可穿戴电子设备300的用户的目光方向。根据各种实施例，处理器320可以基于通过可穿戴电子设备300的传感器380获得的数据来识别可穿戴电子设备300面对的方向，并且将识别出的方向识别为用户的目光方向。
在操作1380中，可穿戴电子设备(例如，可穿戴电子设备300)的处理器(例如，处理器320)可以识别与外部事件相对应的方向是否与用户的目光方向相同。
当在操作1380中识别出与外部事件相对应的方向与用户的目光方向相同时，可穿戴电子设备(例如，可穿戴电子设备300)的处理器(例如，处理器320)可以在操作1390中通过通信电路370向外部可穿戴电子设备400发送用于激活环境声音收听功能的信号。
当在操作1380中识别出与外部事件相对应的方向不与用户的目光方向相同时，可穿戴电子设备(例如，可穿戴电子设备300)的处理器(例如，处理器320)可以在操作1395中基于第一音频数据或第二音频数据中的至少一者来控制显示器350显示与外部事件相对应的视觉信息。根据各种实施例，视觉信息可以包括文本或图像中的至少一者。
图14是示出根据各种实施例的在可穿戴电子设备中执行的操作的流程图。根据一个实施例，用户穿戴可穿戴电子设备300和外部可穿戴电子设备400，并且将其配置为激活STT功能并显示与外部事件相对应的视觉信息。在操作1410中，可穿戴电子设备(例如，可穿戴电子设备300)的处理器(例如，处理器320)可以控制显示器350显示与外部事件相对应的视觉信息。例如，处理器320可以在显示器350上显示基于第三音频数据的视觉信息，该第三音频数据是基于从可穿戴电子设备300接收的第一音频数据和从外部可穿戴电子设备400接收的第二音频数据的。根据各种实施例，视觉信息可以包括文本或图像中的至少一者。
在操作1420中，可穿戴电子设备(例如，可穿戴电子设备300)的处理器(例如，处理器320)可以识别用户的第二目光方向。识别用户的第二目光方向的过程可以与图13的操作1370相同。这里，术语‘第二目光方向’可以是指在与外部事件相对应的视觉信息被显示时(即在STT功能被提供时)的用户的目光方向。术语‘第二目光方向’可以不同于图13的操作1370中的目光方向(即，在STT功能被提供之前的用户的目光方向，其可以是例如第一目光方向)。
在操作1430中，可穿戴电子设备(例如，可穿戴电子设备300)的处理器(例如，处理器320)可以识别用户的第二目光方向是否和与外部事件相对应的方向相同。根据各种实施例，类似于图13的操作1360，处理器320可以基于从外部可穿戴电子设备400接收的第二音频数据和通过音频输入设备362获得的第一音频数据，识别与外部事件相对应的方向。
当在操作1430中识别出用户的第二目光方向和不与外部事件相对应的方向相同时，可穿戴电子设备(例如，可穿戴电子设备300)的处理器(例如，处理器320)可以连续地提供STT功能，同时重复操作1410至1430，直到识别出用户的第二目光方向和与外部事件相对应的方向相同为止。
当在操作1430中识别出用户的第二目光方向和与外部事件相对应的方向相同时，在操作1440中，可穿戴电子设备(例如，可穿戴电子设备300)的处理器(例如，处理器320)可以控制显示器350停止显示与外部事件相对应的视觉信息，并且通过通信电路370向外部可穿戴电子设备400发送用于激活环境声音收听功能的信号。
根据各种实施例，可穿戴电子设备(例如，可穿戴电子设备300)可以包括：显示器(例如，显示器350)；通信电路(例如，通信电路370)；语音输入设备(例如，音频输入设备362)；以及与显示器、通信电路和语音输入设备可操作地连接的处理器(例如，处理器320)。处理器320可以被配置为通过音频输入设备362获得音频数据，识别音频数据是否满足预定条件，通过通信电路370从外部可穿戴电子设备(例如，外部可穿戴电子设备400)接收基于从外部可穿戴电子设备400获得的信号的状态信息，并且基于状态信息的至少一部分控制显示器350显示与音频数据相对应的视觉信息。
根据各种实施例，预定条件可以包括以下条件中的至少一者：音频数据包括与语言相关的语音、音频数据包括与预设字相关的语音、音频数据包括音量大于或等于预设音量的语音。
根据各种实施例，状态信息可以表示外部可穿戴电子设备400是否被用户穿戴着。
根据各种实施例，状态信息可以包括从外部可穿戴电子设备400的第一生物特征传感器(例如，传感器380)获得的第一数据。可穿戴电子设备300可以包括第二生物特征传感器(例如，传感器380)。处理器320可以被配置为：通过第二生物特征传感器获得第二数据，基于第一数据和第二数据识别穿戴外部可穿戴电子设备的用户穿戴着可穿戴电子设备400，并且基于识别出穿戴外部可穿戴电子设备400的用户穿戴着可穿戴电子设备300来控制显示器350显示与音频数据相对应的视觉信息。
根据各种实施例，状态信息可以表示外部可穿戴电子设备400是否正输出语音。处理器320可以被配置为：基于识别出外部可穿戴电子设备400正被用户穿戴并且外部可穿戴电子设备400正输出语音，控制显示器350显示与音频数据相对应的视觉信息。
根据各种实施例，处理器320可以被配置为：基于识别出外部可穿戴电子设备400正被用户穿戴并且外部可穿戴电子设备400正输出语音，控制显示器350显示表示言语转文本(STT)服务能够被提供的视觉指示符，并且响应于关于用户的反应条件被满足并且同时视觉指示符被显示在显示器350上，控制显示器350显示与音频数据相对应的视觉信息。
根据各种实施例，反应条件可以包括以下条件中的至少一者：用户的目光在视觉指示符上长于或等于预设第一时间的时间、检测到用户的预设发声、检测到用户的预设第一姿势。
根据各种实施例，处理器320可以被配置为控制显示器350进一步显示与在反应条件被满足之前的音频数据相对应的视觉信息。
根据各种实施例，状态信息可以表示外部可穿戴电子设备400的噪声消除功能的优先级高于外部可穿戴电子设备400的环境声音收听功能的优先级。处理器320可以被配置为基于识别出外部可穿戴电子设备400的噪声消除功能的优先级高于外部可穿戴电子设备400的环境声音收听功能的优先级来控制显示器350显示与音频数据相对应的视觉信息。
根据各种实施例，状态信息可以包括从外部可穿戴电子设备400获得的第二音频数据。
根据各种实施例，处理器320可以被配置为通过基于第二音频数据对音频数据进行处理来获得第三音频数据，并且控制显示器350显示与第三音频数据相对应的视觉信息。
根据各种实施例，处理器320可以被配置为根据与音频数据相对应的语音的音量来调整在显示器350上显示的视觉信息的视觉特征。
根据各种实施例，处理器320可以被配置为：在控制显示器350显示与音频数据相对应的视觉信息的同时，识别停止提供视觉信息的条件是否被满足，并且基于停止提供视觉信息的条件被满足，控制显示器350不显示与音频数据相对应的视觉信息。停止提供视觉信息的条件可以包括以下条件中的至少一者：用户的目光不在显示在显示器350上的视觉信息上的持续时间长于或等于预设的第二时间的时间、检测到用户的预设第二姿势、包括在与音频数据相对应的视觉信息中的句子的准确度的水平小于或等于预设水平。
根据各种实施例，可穿戴电子设备300可以通过通信电路370与外部电子设备(例如，智能电话)通信连接，并且外部可穿戴电子设备400可以通过通信电路430与外部电子设备通信连接。
根据一个实施例，可穿戴电子设备300可以通过通信电路370向外部电子设备发送通过至少一个相机(例如，第一相机111-1或111-2、第二相机112-1或112-2、和/或第三相机113)或一个或更多个音频输入设备162-1、162-2和162-3接收到的数据。根据一个实施例，可穿戴电子设备300可以基于从外部电子设备接收到的数据，通过至少一个显示器(例如，第一显示器151、第二显示器152或显示器350)输出视觉信息，或者通过至少一个音频输出设备363输出语音。
根据一个实施例，外部电子设备可以从可穿戴电子设备300和/或外部可穿戴电子设备400获得音频数据，并且基于所获得的音频数据提供STT功能。根据一个实施例，外部电子设备可以包括至少一个或更多个音频输入设备。外部电子设备可以通过音频输入设备获得与外部事件相对应的音频数据。当与外部事件相对应的音频数据满足指定条件时，外部电子设备可以请求可穿戴电子设备300和/或外部可穿戴电子设备400发送音频数据。外部电子设备可以从可穿戴电子设备300和/或外部可穿戴电子设备400获得音频数据，并且基于所获得的音频数据提供STT功能。
根据一个实施例，外部电子设备可以通过可穿戴电子设备300接收第一音频数据，并且通过外部可穿戴电子设备400接收第二音频数据。根据一个实施例，外部电子设备可以基于第一音频数据和第二音频数据生成第三音频数据，并且基于所生成的第三音频数据将视觉信息发送到可穿戴电子设备300以输出。
根据一个实施例，外部电子设备可以在通过可穿戴电子设备300输出基于第三音频数据的视觉信息的同时，从外部可穿戴电子设备400和/或可穿戴电子设备300接收用户的目光到与外部事件相对应的方向的重定向。例如，可穿戴电子设备300可以向外部电子设备发送从至少一个相机(例如，第一相机111-1或111-2、第二相机112-1或112-2、和/或第三相机113)和/或传感器380获得的数据。作为另一示例，外部可穿戴电子设备400可以将从传感器450获得的数据发送到外部电子设备。
根据一个实施例，外部电子设备可以基于从外部可穿戴电子设备400和/或可穿戴电子设备300接收到的数据来识别用户的目光到与外部事件相对应的方向的重定向。根据一个实施例，当用户的目光被重定向到与外部事件相对应的方向时，外部电子设备可以请求可穿戴电子设备300停止通过显示器350输出视觉信息并且请求外部可穿戴电子设备400激活环境声音收听功能。
根据各种实施例，可穿戴电子设备(例如，可穿戴电子设备300)可以包括：显示器(例如，显示器350)；通信电路(例如，通信电路370)；语音输入设备(例如，音频输入设备362)；以及可操作地与显示器350、通信电路370和音频输入设备362连接的处理器(例如，处理器320)。处理器320可被配置为通过音频输入设备362获得与外部事件相对应的第一音频数据，通过通信电路370从外部可穿戴电子设备(例如，外部可穿戴电子设备400)接收与外部事件相对应并且从外部可穿戴电子设备400获得的第二音频数据，基于第一音频数据和第二音频数据识别与外部事件相对应的方向，并且执行与识别出的方向相对应的操作。
根据各种实施例，处理器320可以被配置为基于第一音频数据满足预定第一条件来接收第二音频数据。预定条件可以包括以下条件中的至少一者：第一音频数据包括与语言相关的语音、第一音频数据包括与预设字相关的语音、第一音频数据包括音量大于或等于预设音量的语音。
根据各种实施例，处理器320可以被配置为通过通信电路370从外部可穿戴电子设备400接收状态信息，并且基于状态信息表示外部可穿戴电子设备400被穿戴着并且正输出语音来接收第二音频数据。
根据各种实施例，可穿戴电子设备300还可以包括传感器模块(例如，传感器380)。处理器320可以被配置为通过传感器380识别可穿戴电子设备300的用户的目光方向，识别与外部事件相对应的方向是否与用户的目光方向相同，并且基于与外部事件相对应的方向与用户的目光方向相同，通过通信电路370向外部可穿戴电子设备400发送用于激活环境声音收听功能的信号。
根据各种实施例，处理器320可以被配置为基于与外部事件相对应的方向不与用户的目光方向相同，控制显示器350基于第一音频数据或第二音频数据中的至少一者显示与外部事件相对应的视觉信息。
根据各种实施例，处理器320可以被配置为在视觉信息被显示在显示器350上的同时通过传感器模块识别用户的第二目光方向，识别出与外部事件相对应的方向与第二目光方向相同，并且基于与外部事件相对应的方向与第二目光方向相同，控制显示器350停止显示与外部事件相对应的视觉信息，并且通过通信电路370向外部可穿戴电子设备400发送用于激活环境声音收听功能的信号。
根据各种实施例，在可穿戴电子设备(例如，可穿戴电子设备300)中执行的方法可以包括：获得音频数据；识别音频数据是否满足预定条件；从外部可穿戴电子设备(例如，外部可穿戴电子设备400)接收基于从外部可穿戴电子设备400获得的信号的状态信息；以及基于状态信息的至少一部分来显示与音频数据相对应的视觉信息。
应该理解的是，本公开的各种实施例以及其中使用的术语并不意图将在此阐述的技术特征限制于具体实施例，而是包括针对相应实施例的各种改变、等同形式或替换形式。对于附图的描述，相似的参考标号可用来指代相似或相关的元件。将理解的是，与术语相应的单数形式的名词可包括一个或更多个事物，除非相关上下文另有明确指示。如这里所使用的，诸如“A或B”、“A和B中的至少一个”、“A或B中的至少一个”、“A、B或C”、“A、B和C中的至少一个”以及“A、B或C中的至少一个”的短语中的每一个短语可包括在与所述多个短语中的相应一个短语中一起列举出的项的任意一项或所有可能组合。如这里所使用的，诸如“第1”和“第2”或者“第一”和“第二”的术语可用于将相应部件与另一部件进行简单区分，并且不在其它方面(例如，重要性或顺序)限制所述部件。将理解的是，在使用了术语“可操作地”或“通信地”的情况下或者在不使用术语“可操作地”或“通信地”的情况下，如果一元件(例如，第一元件)被称为“与另一元件(例如，第二元件)耦接”、“耦接到另一元件(例如，第二元件)”、“与另一元件(例如，第二元件)连接”或“连接到另一元件(例如，第二元件)”，则意味着所述一元件可与所述另一元件直接(例如，有线地)耦接、与所述另一元件无线耦接、或经由第三元件与所述另一元件耦接。
如本文所使用的，术语“模块”可包括以硬件、软件或固件实现的单元，并可与其他术语(例如，“逻辑”、“逻辑块”、“部分”或“电路”)可互换地使用。模块可以是被适配为执行一个或更多个功能的单个集成部件或者是该单个集成部件的最小单元或部分。例如，根据实施例，可以以专用集成电路(ASIC)的形式来实现模块。
可将在此阐述的各种实施例实现为包括存储在存储介质(例如，内部存储器336或外部存储器338)中的可由机器(例如，电子设备301)读取的一个或更多个指令的软件(例如，程序340)。例如，在处理器的控制下，所述机器(例如，电子设备301)的处理器(例如，处理器320)可在使用或无需使用一个或更多个其它部件的情况下调用存储在存储介质中的所述一个或更多个指令中的至少一个指令并运行所述至少一个指令。这使得所述机器能够操作用于根据所调用的至少一个指令执行至少一个功能。所述一个或更多个指令可包括由编译器产生的代码或能够由解释器运行的代码。可以以非暂时性存储介质的形式来提供机器可读存储介质。其中，术语“非暂时性”仅意味着所述存储介质是有形设备，并且不包括信号(例如，电磁波)，但是该术语并不在数据被半永久性地存储在存储介质中与数据被临时存储在存储介质中之间进行区分。
根据实施例，可在计算机程序产品中包括和提供根据本公开的各种实施例的方法。计算机程序产品可作为产品在销售者和购买者之间进行交易。可以以机器可读存储介质(例如，紧凑盘只读存储器(CD-ROM))的形式来发布计算机程序产品，或者可经由应用商店(例如，PlayStoreTM)在线发布(例如，下载或上传)计算机程序产品，或者可直接在两个用户设备(例如，智能电话)之间分发(例如，下载或上传)计算机程序产品。如果是在线发布的，则计算机程序产品中的至少部分可以是临时产生的，或者可将计算机程序产品中的至少部分至少临时存储在机器可读存储介质(诸如制造商的服务器、应用商店的服务器或转发服务器的存储器)中。
根据各种实施例，上述部件中的每个部件(例如，模块或程序)可包括单个实体或多个实体。多个实体中的一些实体可分离地设置在不同的部件中。根据各种实施例，可省略上述部件中的一个或更多个部件，或者可添加一个或更多个其它部件。可选择地或者另外地，可将多个部件(例如，模块或程序)集成为单个部件。在这种情况下，根据各种实施例，该集成部件可仍旧按照与所述多个部件中的相应一个部件在集成之前执行一个或更多个功能相同或相似的方式，执行所述多个部件中的每一个部件的所述一个或更多个功能。根据各种实施例，由模块、程序或另一部件所执行的操作可顺序地、并行地、重复地或以启发式方式来执行，或者所述操作中的一个或更多个操作可按照不同的顺序来运行或被省略，或者可添加一个或更多个其它操作。

Claims (15)

1.一种可穿戴电子设备，所述可穿戴电子设备包括：
显示器，
通信电路，
语音输入设备，以及
至少一个处理器，所述至少一个处理器与所述显示器、所述通信电路和所述语音输入设备可操作地连接；其中，所述至少一个处理器被配置为：
通过所述语音输入设备获得音频数据，
识别所述音频数据是否满足预定条件，
通过所述通信电路从外部可穿戴电子设备接收状态信息，所述状态信息是基于从所述外部可穿戴电子设备获得的信号的，以及
基于所述状态信息的至少一部分，控制所述显示器显示与所述音频数据相对应的视觉信息。
2.根据权利要求1所述的可穿戴电子设备，其中，所述预定条件包括以下条件中的至少一者：所述音频数据包括与语言相关的语音、所述音频数据包括与预定字相关的语音、所述音频数据包括音量大于或等于预定音量的语音。
3.根据权利要求1所述的可穿戴电子设备，其中，所述状态信息表示所述外部可穿戴电子设备是否被用户穿戴着。
4.根据权利要求3所述的可穿戴电子设备，其中，所述状态信息包括从所述外部可穿戴电子设备的第一生物特征传感器获得的第一数据，
其中，所述可穿戴电子设备包括第二生物特征传感器，并且
其中，所述至少一个处理器还被配置为：
通过所述第二生物特征传感器获得第二数据，
基于所述第一数据和所述第二数据，识别出穿戴所述外部可穿戴电子设备的所述用户穿戴着所述可穿戴电子设备，以及
基于识别出穿戴所述外部可穿戴电子设备的所述用户穿戴着所述可穿戴电子设备，控制所述显示器显示与所述音频数据相对应的视觉信息。
5.根据权利要求3所述的可穿戴电子设备，其中，所述状态信息表示所述外部可穿戴电子设备是否正输出语音，并且
其中，所述至少一个处理器进一步被配置为：基于识别出所述外部可穿戴电子设备被所述用户穿戴着并且所述外部可穿戴电子设备正输出所述语音，控制所述显示器显示与所述音频数据相对应的视觉信息。
6.根据权利要求5所述的可穿戴电子设备，其中，所述至少一个处理器还被配置为：
基于识别出所述外部可穿戴电子设备被所述用户穿戴着并且所述外部可穿戴电子设备正输出所述语音，控制所述显示器显示表示言语转文本服务可用的视觉指示符，以及
响应于在所述视觉指示符被显示在所述显示器上时关于所述用户的反应条件被满足，控制所述显示器显示与所述音频数据相对应的视觉信息。
7.根据权利要求6所述的可穿戴电子设备，其中，所述反应条件包括以下条件中的至少一者：
所述用户的目光指向所述视觉指示符长于或等于预定第一时间，
所述用户的预定发声被检测到，
所述用户的预定第一姿势被检测到。
8.根据权利要求6所述的可穿戴电子设备，其中，所述至少一个处理器进一步被配置为：控制所述显示器还显示与在所述反应条件被满足之前的音频数据相对应的视觉信息。
9.根据权利要求1所述的可穿戴电子设备，其中，所述状态信息表示所述外部可穿戴电子设备的噪声消除功能的优先级高于所述外部可穿戴电子设备的环境声音收听功能的优先级，并且
其中，所述至少一个处理器进一步被配置为：基于识别出所述噪声消除功能的优先级高于所述环境声音收听功能的优先级，控制所述显示器显示与所述音频数据相对应的视觉信息。
10.一种可穿戴电子设备，所述可穿戴电子设备包括：
显示器；
通信电路；
语音输入设备；以及
至少一个处理器，所述至少一个处理器与所述显示器、所述通信电路和所述语音输入设备可操作地连接，
其中，所述至少一个处理器被配置为：
通过所述语音输入设备获得与外部事件相对应的第一音频数据，
通过所述通信电路从外部可穿戴电子设备接收与所述外部事件相对应并且从所述外部可穿戴电子设备获得的第二音频数据，
基于所述第一音频数据和所述第二音频数据，识别与所述外部事件相对应的方向，以及
执行与识别出的方向相对应的操作。
11.根据权利要求10所述的可穿戴电子设备，其中，所述至少一个处理器进一步被配置为基于所述第一音频数据满足预定第一条件来接收所述第二音频数据，并且
其中，所述预定第一条件包括以下条件中的至少一者：所述第一音频数据包括与语言相关的语音、所述第一音频数据包括与预定字相关的语音、所述第一音频数据包括音量大于或等于预定音量的语音。
12.根据权利要求10所述的可穿戴电子设备，其中，所述至少一个处理器还被配置为：
通过所述通信电路从所述外部可穿戴电子设备接收状态信息，以及
基于所述状态信息表示所述外部可穿戴电子设备被穿戴着并且正输出语音，接收所述第二音频数据。
13.根据权利要求10所述的可穿戴电子设备，所述可穿戴电子设备还包括传感器，
其中，所述至少一个处理器还被配置为：
使用所述传感器来识别所述可穿戴电子设备的用户的目光方向，
识别与所述外部事件相对应的方向是否与所述目光方向相同，以及
基于与所述外部事件相对应的方向与所述目光方向相同，控制所述通信电路向所述外部可穿戴电子设备发送用于激活环境声音收听功能的信号。
14.根据权利要求13所述的可穿戴电子设备，其中，所述至少一个处理器还被配置为：基于与所述外部事件相对应的方向与所述目光方向不相同，控制所述显示器基于所述第一音频数据和所述第二音频数据中的至少一者来显示与所述外部事件相对应的视觉信息。
15.根据权利要求14所述的可穿戴电子设备，其中，所述目光方向包括第一目光方向，并且
其中，所述至少一个处理器还被配置为：
在所述视觉信息被显示在所述显示器上时使用所述传感器识别第二目光方向，
识别出与所述外部事件相对应的方向与所述第二目光方向相同，以及
基于与所述外部事件相对应的方向与所述第二目光方向相同，控制所述显示器停止对与所述外部事件相对应的视觉信息的显示，并且控制所述通信电路向所述外部可穿戴电子设备发送用于激活所述环境声音收听功能的信号。
CN202280008475.8A 2021-01-21 2022-01-19 从外部可穿戴电子设备接收信息的可穿戴电子设备及其操作方法 Pending CN116670618A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020210008797A KR20220105893A (ko) 2021-01-21 2021-01-21 외부 웨어러블 전자 장치로부터 정보를 수신하는 웨어러블 전자 장치 및 그 작동 방법
KR10-2021-0008797 2021-01-21
PCT/KR2022/000998 WO2022158854A1 (ko) 2021-01-21 2022-01-19 외부 웨어러블 전자 장치로부터 정보를 수신하는 웨어러블 전자 장치 및 그 작동 방법

Publications (1)

Publication Number Publication Date
CN116670618A true CN116670618A (zh) 2023-08-29

Family

ID=82405263

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280008475.8A Pending CN116670618A (zh) 2021-01-21 2022-01-19 从外部可穿戴电子设备接收信息的可穿戴电子设备及其操作方法

Country Status (3)

Country Link
US (1) US20220230649A1 (zh)
EP (1) EP4206901A4 (zh)
CN (1) CN116670618A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240061491A1 (en) * 2022-08-17 2024-02-22 Snap Inc. Detecting wear status of wearable device

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8183997B1 (en) * 2011-11-14 2012-05-22 Google Inc. Displaying sound indications on a wearable computing system
US20210319782A1 (en) * 2018-08-23 2021-10-14 Huawei Technologies Co., Ltd. Speech recognition method, wearable device, and electronic device
US10817251B2 (en) * 2018-11-29 2020-10-27 Bose Corporation Dynamic capability demonstration in wearable audio device

Also Published As

Publication number Publication date
EP4206901A4 (en) 2024-04-10
US20220230649A1 (en) 2022-07-21
EP4206901A1 (en) 2023-07-05

Similar Documents

Publication Publication Date Title
US9424842B2 (en) Speech recognition system including an image capturing device and oral cavity tongue detecting device, speech recognition device, and method for speech recognition
US20220155910A1 (en) Method for displaying user interface and electronic device therefor
CN105009202B (zh) 分为两部分的语音识别
US20180107273A1 (en) Automatic Calibration for Reflective Lens
CN103890836B (zh) 用于头戴式显示器的具有电源管理的蓝牙或其他无线接口
US20140129207A1 (en) Augmented Reality Language Translation
KR20170137476A (ko) 모바일 디바이스 및 그 제어 방법
US20120235896A1 (en) Bluetooth or other wireless interface with power management for head mounted display
WO2019026616A1 (ja) 情報処理装置および方法
US10778826B1 (en) System to facilitate communication
CN114115515A (zh) 用于帮助用户的方法和头戴式单元
CN116670618A (zh) 从外部可穿戴电子设备接收信息的可穿戴电子设备及其操作方法
WO2021230180A1 (ja) 情報処理装置、ディスプレイデバイス、提示方法、及びプログラム
JP2007142957A (ja) 遠隔対話方法及び装置
EP4236351A1 (en) Wearable electronic device for controlling noise cancellation of external wearable electronic device, and method for operating same
KR20190142192A (ko) 전자 장치 및 전자 장치의 제어 방법
CN106031135A (zh) 可穿戴设备和通信控制方法
KR20220105893A (ko) 외부 웨어러블 전자 장치로부터 정보를 수신하는 웨어러블 전자 장치 및 그 작동 방법
KR20230141395A (ko) 정보를 제공하는 방법 및 이를 지원하는 전자 장치
KR20220141657A (ko) 외부 웨어러블 전자 장치의 노이즈 캔슬링을 제어하는 웨어러블 전자 장치 및 이의 동작 방법
KR20190108977A (ko) 화면 제어 방법 및 이를 지원하는 전자 장치
KR20190073843A (ko) 외부 전자 장치가 경사지게 결합될 수 있는 마운트 장치
US20240134492A1 (en) Digital assistant interactions in extended reality
KR20220156219A (ko) 웨어러블 전자 장치 및 웨어러블 전자 장치를 수용하는 외부 전자 장치
KR20230134961A (ko) 전자 장치 및 그의 동작 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination