CN109582976A - 一种基于语音通话的翻译方法及电子设备 - Google Patents

一种基于语音通话的翻译方法及电子设备 Download PDF

Info

Publication number
CN109582976A
CN109582976A CN201811198715.7A CN201811198715A CN109582976A CN 109582976 A CN109582976 A CN 109582976A CN 201811198715 A CN201811198715 A CN 201811198715A CN 109582976 A CN109582976 A CN 109582976A
Authority
CN
China
Prior art keywords
user
electronic equipment
voice
translation
translation result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811198715.7A
Other languages
English (en)
Inventor
张鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honor Device Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201811198715.7A priority Critical patent/CN109582976A/zh
Publication of CN109582976A publication Critical patent/CN109582976A/zh
Priority to PCT/CN2019/111120 priority patent/WO2020078330A1/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/40Processing or translation of natural language
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72433User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for voice messaging, e.g. dictaphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Environmental & Geological Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Telephone Function (AREA)

Abstract

一种基于语音通话的翻译方法及电子设备,涉及终端技术领域,该方法包括:第一电子设备与第二电子设备建立语音通话连接;当第一电子设备的语音通话翻译功能已开启时,第一电子设备采集第一用户的语音,向翻译服务器上报第一用户的语音,以及接收翻译服务器发送的第一用户的语音的翻译结果,并将第一用户的语音的翻译结果发送给第二电子设备;以及接收第二电子设备发送的第二用户的语音,向翻译服务器上报第二用户的语音,以及接收翻译服务器发送的第二用户的语音的翻译结果,并播报第二用户的语音的翻译结果。因而,这种技术方案有助于提高使用不同语言的用户的沟通效率。

Description

一种基于语音通话的翻译方法及电子设备
技术领域
本申请涉及终端技术领域,特别涉及一种基于语音通话的翻译方法及电子设备。
背景技术
手机等电子设备的普及使得人与人之间的通信不再受时间和空间的制约,为人们的生活和工作带来了极大的便利。但是,受地域的影响,通信双方可能因语言不同,而导致沟通障碍。
因此,对于如何使得使用不同语言的通信双方通过手机实现无障碍沟通的研究,具有重要的实用价值。
发明内容
本申请实施例提供一种基于语音通话的翻译方法及电子设备,有助于提高使用不同语言的用户在使用电子设备进行通信时的沟通效率。
第一方面,本申请实施例提供了一种基于语音通话的翻译方法,所述方法包括:
第一电子设备与第二电子设备建立语音通话连接;当所述第一电子设备的语音通话翻译功能已开启时,所述第一电子设备采集第一用户的语音,向翻译服务器上报所述第一用户的语音,以及接收所述翻译服务器发送的所述第一用户的语音的翻译结果,并将所述第一用户的语音的翻译结果发送给所述第二电子设备;以及接收所述第二电子设备发送的第二用户的语音,向所述翻译服务器上报所述第二用户的语音,以及接收所述翻译服务器发送的所述第二用户的语音的翻译结果,并播报所述第二用户的语音的翻译结果。
本申请实施例中由于第一电子设备能够实现对用户通话过程中双端语音的翻译,从而有助于提高使用不同语言的用户的沟通效率。
在一种可能的设计中,所述第一电子设备与所述翻译服务器通过网络通信,所述第一电子设备当网络信号强度小于或者等于预设阈值时,采集到所述第一用户的语音后,对所述第一用户的语音进行翻译,得到所述第一用户的语音的翻译结果;接收到所述第二用户的语音后,对所述第二用户的语音进行翻译,得到所述第二用户的语音的翻译结果。通过上述技术方案,有助于降低因网络信号变差,导致语音翻译失败的可能性。
在一种可能的设计中,所述第一电子设备当所述网络信号强度小于或者等于所述预设阈值时,提示所述第一用户切换网络,或者自动切换到所述第一电子设备进行语音翻译,或者自动切换到网络信号强度大于所述预设阈值的网络上。从而有助于降低因网络信号变差,导致语音翻译失败的可能性。
在一种可能的设计中,所述第一电子设备根据本端语言和对端语言,确定所述翻译服务器,然后向所述翻译服务器上报所述第一用户的语音或上报所述第二用户的语音。其中,所述本端语言为所述第一用户所使用的语言,所述对端语言为所述第二用户所使用的语言。从而有助于使得第一电子设备能够选择更合适的翻译服务器对语音进行翻译,提高语音翻译的可靠性。
在一种可能的设计中,所述第一电子设备与所述第二电子设备建立语音通话连接中或者所述第一电子设备与所述第二电子设备建立语音通话连接之后,当所述本端语言和所述对端语言不同时,自动开启语音通话翻译功能。有助于简化用户的操作。
在一种可能的设计中,所述第一电子设备响应于用户的第一操作,开启语音通话翻译功能。有助于提高第一电子设备与用户的交互。
在一种可能的设计中,所述第一电子设备向所述第二电子设备发送所述第一电子设备的语音通话翻译功能已开启的提示信息,所述提示信息所使用的语言为所述对端语言。有助于提高第一电子设备与用户的交互。
在一种可能的设计中,所述第一电子设备获取所述本端语言和所述对端语言;其中,所述本端语言为所述***语言、或者所述第一用户和所述第二用户的最近一次的通话记录中所述第一用户所使用的语言、或者所述第一用户的电话号码归属地的母语、或者所述第一电子设备接入的通信网络所在的归属地的母语、或者响应于用户操作设置的语言;所述对端语言为所述第二用户的电话号码归属地的母语、或者所述第一用户和所述第二用户的最近一次的通话记录中所述第二用户所使用的语言、或者所述第二电子设备接入的通信网络所在的归属地的母语、或者响应于用户操作设置的语言。有助于简化本端语言和对端语言的获取方式。
在一种可能的设计中,所述第一电子设备当未采集到所述第一用户的语音以及未接收到所述第二用户的语音时,播报所述第二用户的语音的翻译结果。有助于降低语音播报时的叠音或者不完整的可能性。
在一种可能的设计中,所述第一电子设备当接收到第二用户的语音、且第一时长内未接收到所述翻译服务器发送的所述第二用户的语音的翻译结果时,获取所述网络信号强度;当所述网络信号强度大于预设阈值时,提示所述第二用户降低语速。有助于降低因用户语速过快导致翻译服务器无法识别语音进行翻译的可能性。
在一种可能的设计中,所述第一电子设备在显示屏上显示第一提示信息,所述第一提示信息用于提示所述第一用户通知所述第二降低语速;或者,所述第一电子设备通过向第二电子设备发送第一语音,所述第一语音用于提示所述第二用户降低语速;或者,所述第一电子设备向所述第一用户播放第二语音,第二语音用于提示所述第一用户通知所述第二用户降低语速。有助于简化通知用户放慢语速的方式。
在一种可能的设计中,所述第一电子设备缓存的所述第二用户的语音的翻译结果超过预设数量时,播报所述第二用户的语音的翻译结果。有助于降低语音的翻译结果丢包的可能性。
在一种可能的设计中,所述第一电子设备播报所述第一用户的语音的翻译结果。
在一种可能的设计中,所述第一电子设备在显示屏上显示所述第一用户与所述第二用户的通话语音记录的文本以及语音的翻译结果的文本。有助于帮助用户理解对方所表达的意思。
在一种可能的设计中,所述第一电子设备与第二电子设备建立语音通话连接之后,使用所述本端语言播放或者显示语音通话翻译功能已开启的提示信息。有助于提示用户语音通话翻译功能已开启。
第二方面,本申请实施例提供的一种电子设备,包括:一个或多个处理器、存储器、多个应用程序、以及一个或多个计算机程序;其中,一个或多个计算机程序被存储在存储器中,当计算机程序被电子设备执行时,实现本申请实施例上述第一方面以及第一方面涉及的任一可能设计的方法。
第三方面,本申请实施例提供的一种芯片,所述芯片与电子设备中的存储器耦合,使得所述芯片在运行时调用所述存储器中存储的计算机程序,实现本申请实施例第一方面以及第一方面涉及的任一可能设计的方法。
第四方面,本申请实施例的一种计算机存储介质,该计算机存储介质存储有计算机程序,当所述计算机程序在电子设备上运行时,使得电子设备执行本申请实施例第一方面以及第一方面涉及的任一可能设计的方法。
第五方面,本申请实施例的一种计算机程序产品,当所述计算机程序产品在电子设备上运行时,使得所述电子设备执行实现本申请实施例上述第一方面以及第一方面涉及的任一可能设计的方法。
另外,第二方面至第五方面中任一种可能设计方式所带来的技术效果可参见方法部分相关中不同设计方式所带来的技术效果,此处不再赘述。
附图说明
图1为本申请实施例适用的一种通信***的架构示意图;
图2为本申请实施例提供的一种电子设备的硬件结构示意图;
图3为本申请实施例提供的一种电子设备的具体的结构示意图;
图4为本申请实施例应用场景的示意图;
图5为本申请实施例拨打电话的用户界面的示意图;
图6为本申请实施例对端语言设置的用户界面的示意图;
图7为本申请实施例***语言设置的示意图;
图8为本申请实施例的应用场景的示意图;
图9为本申请实施例的基于语音通话的翻译方法的流程示意图;
图10为本申请实施例提示用户放慢语速的用户界面的示意图;
图11为本申请实施例一种语音播报方法的流程示意图;
图12为本申请实施例一种队列的示意图;
图13为本申请实施例文本显示的用户界面的示意图;
图14为本申请实施例另一种用户界面的示意图;
图15为本申请实施例另一种用户界面的示意图;
图16为本申请实施例***设置界面的示意图;
图17为本申请实施例来电显示的用户界面的示意图;
图18为本申请实施例另一种电子设备的结构示意图。
具体实施方式
应理解,本申请实施例中“至少一个”是指一个或者多个,“多个”是指两个或两个以上。“和 /或”,描述关联对象的关联关系,表示可以存在三种关系。例如,A和/或B,可以表示以下三种关系:单独存在A,同时存在A和B,单独存在B。其中A、B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一(项)个”或其类似表达,是指的这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a、b或c中的至少一项(个),可以表示:a,b,c,a和b,a和c,b和c,或a、b和c,其中a、b、c可以是单个,也可以是多个。
为了使得使用不同语言的通信双方(例如母语不同的通信双方)通过电子设备实现无障碍沟通,本申请实施例提供了一种基于语音通话的翻译方法。
如图1所示,为本申请实施例适用的一种通信***的架构示意图。具体的,图1所示的通信***架构包括电子设备100、电子设备200和移动通信网络。电子设备100和电子设备200可以通过移动通信网络进行通信。其中,移动通信网络可以为第二代移动通信(2nd-generation, 2G)网络、或者第三代移动通信(3rd-generation,3G)网络,又可以为***移动通信 (4th-generation,4G)网络,还可以第五代移动通信(5th-generation,5G)网络等。
如图1所示,用户A使用电子设备100,用户B使用电子设备200,在用户A和用户B语言不通的情况下,例如用户A使用语言1,用户B使用语言2,为了便于用户A和用户B的沟通,本申请实施例中电子设备A可以在用户A和用户B通话过程中,将采集的用户A使用语言1发出的语音翻译为语言2,然后通过移动通信网络将翻译为语言2的语音发送给电子设备200,从而使得电子设备200能够直接向用户B播放翻译为语言2的语音。而电子设备200可以将采集的用户 B使用语言2发出的语音通过移动通信网络发送给电子设备100,电子设备100在接收到电子设备200发送的语音后,将接收到的语音翻译为语言1,然后播放给用户A,从而有助于用户A与用户B在语言不通的情况下进行沟通。
以语言1为中文,语言2为英文为例。例如,电子设备100采集的用户A的语音为“我是露西,有什么需要帮助您的吗?”,则获取的用户A的语音的翻译结果为“This is Lucyspeaking, may I help you?”,并将“This is Lucy speaking,may I help you?”的语音发送给电子设备 200,以使得电子设备200向用户B播放“This is Lucy speaking,may Ihelp you?”的语音,从而使得用户B在不懂中文的情况下,可以明白用户A所表达的意思。电子设备200在采集到用户B的语音“I want to buy a ticket”后,将用户B的语音“I wantto buy a ticket”通过移动通信网络发送给电子设备100。电子设备100在接收到电子设备200发送的“I want to buy a ticket”的语音后,获取用户B的语音的翻译结果“我想买一张票”,并将“我想买一张票”的语音播放给用户A,从而使得用户A在不懂英文的情况下,可以明白用户B所表达的意思。
在另一些实施例中,电子设备100还可以将采集的用户A使用语言1发出的语音通过移动通信网络发送给电子设备200,从而使得电子设备200能够将用户A使用语言1发出的语音播放给用户B。此外,在又一些实施例中,本申请实施例中电子设备100在通过移动通信网络接收到电子设备200发送的使用语言2的语音后,还可以向用户A播放使用语言2的语音。
为了降低对电子设备100处理性能的要求,在一些实施例中,图1所示的通信***架构还包括翻译服务器。电子设备100可以将采集到的用户A的语音或者接收到的来自电子设备200 采集的用户B的语音发送到翻译服务器上进行翻译。需要说明的是,用于翻译电子设备100采集的用户A的语音的翻译服务器和用于翻译电子设备100接收到的用户B的语音的翻译服务器可以为同一个翻译服务器,也可以为不同的翻译服务器,本申请实施例对通信***中翻译服务器的个数不作限定。应理解,电子设备100可以通过无线保真(wireless-fidelity,Wi-Fi)、蓝牙、或者移动通信网络等与翻译服务器通信。
本申请实施例中的电子设备100和电子设备200在用户A和用户B通话过程中,可以只有一方例如电子设备100支持语音通话翻译功能即可,本申请实施例中电子设备200可以支持语音通话翻译功能,也可以不支持语音通话翻译功能,对此不作限定。
应理解,本申请实施例中电子设备100可以是便携式电子设备,诸如手机、平板电脑、具备无线通讯功能的可穿戴设备(如智能手表)、车载设备等。便携式电子设备的示例性实施例包括但不限于搭载或者其它操作***的便携式电子设备。上述便携式电子设备也可以是诸如具有触敏表面(例如触控面板)的膝上型计算机(Laptop) 等。还应当理解的是,在本申请其他一些实施例中,电子设备100也可以是具有触敏表面(例如触控面板)的台式计算机。
示例性的,如图2所示为一种可能的电子设备100的硬件结构示意图。应理解,图示电子设备100的硬件结构仅是一个示例。并且,电子设备100可以具有比图中所示出的更多的或者更少的部件,可以组合两个或更多的部件,或者可以具有不同的部件配置。图中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
如图2所示,电子设备100包括处理器110、内部存储器121、外部存储器接口122、天线1、移动通信模块131、天线2、无线通信模块132、音频模块140、扬声器140A、受话器 140B、麦克风140C、耳机接口140D、显示屏151、用户标识模块(subscriber identificationmodule,SIM)卡接口152、摄像头153、按键154、传感器模块160、通用串行总线(universalserial bus,USB)接口170、充电管理模块180、电源管理模块181和电池182。在另一些实施例中,电子设备100还可以包括马达、指示器等。
其中,处理器110可以包括一个或多个处理单元。例如:处理器110可以包括应用处理器(application processor,AP)、调制解调处理器、图形处理器(graphics processingunit,GPU)、图像信号处理器(image signal processor,ISP)、控制器、视频编解码器、数字信号处理器(digital signal processor,DSP)、基带处理器、和/或神经网络处理器(neural-network processing unit, NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
在一些实施例中,处理器110中还可以设置存储器,用于存储指令和数据。示例的,处理器110中的存储器可以为高速缓冲存储器。该存储器可以用于保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从该存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了***的效率。
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,从而执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作***,至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据、电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、通用闪存存储器(universal flash storage,UFS)等。
外部存储器接口122可以用于连接外部存储卡(例如,Micro SD卡),实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口122与处理器110通信,实现数据存储功能。例如将音乐、视频等文件保存在外部存储卡中。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块131可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块131可以包括至少一个滤波器、开关、功率放大器、低噪声放大器(low noise amplifier,LNA)等。移动通信模块131可以由天线1接收电磁波信号,并对接收的电磁波信号进行滤波、放大等处理,传送至调制解调处理器进行解调。移动通信模块131还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波信号辐射出去。在一些实施例中,移动通信模块131的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块131的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。例如,移动通信模块131可以向电子设备200发送语音,也可以接收电子设备200发送的语音。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器140A、受话器140B等)输出声音信号,或通过显示屏151显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器110,与移动通信模块131或其他功能模块设置在同一个器件中。
无线通信模块132可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks,WLAN)(如Wi-Fi网络)、蓝牙(bluetooth,BT)、全球导航卫星***(global navigation satellite system,GNSS)、调频(frequency modulation,FM)、近距离无线通信技术(near field communication,NFC)、红外技术(infrared,IR)等无线通信的解决方案。无线通信模块132可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块132经由天线2接收电磁波信号,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块132还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。例如,无线通信模块132可以将电子设备100采集的用户A使用语言1的语音发送给翻译服务器,也可以将移动通信模块131接收到的电子设备200采集的用户B使用语言 2的语音发送给翻译服务器,还可以接收翻译服务器发送语音的翻译结果。应理解,在本申请实施例中语音的翻译结果为一段音频。
在一些实施例中,电子设备100的天线1和移动通信模块131耦合,天线2和无线通信模块132耦合,使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯***(global system for mobile communications,GSM)、通用分组无线服务(general packet radio service,GPRS)、码分多址接入(codedivision multiple access,CDMA)、宽带码分多址(wideband code division multipleaccess,WCDMA)、时分码分多址(time-division code division multiple access,TD-SCDMA)、长期演进(long term evolution, LTE)、BT、GNSS、WLAN、NFC、FM、和/或IR技术等。所述GNSS可以包括全球卫星定位***(global positioning system,GPS)、全球导航卫星***(global navigation satellite system, GLONASS)、北斗卫星导航***(beidounavigation satellite system,BDS)、准天顶卫星*** (quasi-zenith satellitesystem,QZSS)和/或星基增强***(satellite based augmentation systems, SBAS)。
电子设备100可以通过音频模块140、扬声器140A、受话器140B、麦克风140C、耳机接口140D以及应用处理器等实现音频功能。例如音乐播放、录音等。
音频模块140可以用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块140还可以用于对音频信号编码和解码。在一些实施例中,音频模块140可以设置于处理器110中,或将音频模块140的部分功能模块设置于处理器110 中。
扬声器140A,也称“喇叭”,用于将音频电信号转换为声音信号。电子设备100可以通过扬声器140A收听音乐、或接听免提通话。
受话器140B,也称“听筒”,用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时,可以通过将受话器140B靠近人耳接听语音。
麦克风140C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风140C发声,麦克风140C可以用于采集用户A 的声音,然后,将用户A的声音转换为电信号。电子设备100可以设置至少一个麦克风140C。在另一些实施例中,电子设备100可以设置两个麦克风140C,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,电子设备100还可以设置三个、四个或更多麦克风140C,实现声音信号采集、降噪、还可以识别声音来源,实现定向录音功能等。
耳机接口140D用于连接有线耳机。耳机接口140D可以是USB接口130,也可以是3.5mm 的开放移动电子设备平台(open mobile terminal platform,OMTP)标准接口、美国蜂窝电信工业协会(cellular telecommunications industry association of the USA,CTIA)标准接口等。
电子设备100可以通过GPU、显示屏151、以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏151和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏151可以用于显示图像、视频等。显示屏151可以包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD)、有机发光二极管(organic light-emitting diode, OLED)、有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode的,AMOLED)、柔性发光二极管(flex light-emitting diode,FLED)、Miniled、 MicroLed、Micro-oLed、量子点发光二极管(quantumdot light emitting diodes,QLED)等。在一些实施例中,电子设备100可以包括1个或N个显示屏151,N为大于1的正整数。
电子设备100可以通过摄像头153、ISP、视频编解码器、GPU、显示屏151以及应用处理器等实现拍摄功能。
ISP可以用于处理摄像头153反馈的数据。例如,拍照时,打开快门,通过摄像头153采集光信号,然后摄像头153将采集的光信号转换为电信号,并将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点、亮度、肤色进行算法优化。ISP还可以对拍摄场景的曝光、色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。
摄像头153可以用于捕获静态图像或视频。通常情况下,摄像头153包括镜头和图像传感器。其中,物体通过镜头生成光学图像投射到图像传感器。图像传感器可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。图像传感器把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB、YUV等格式的图像信号。在一些实施例中,电子设备100 可以包括1个或N个摄像头153,N为大于1的正整数。
按键154可以包括开机键、音量键等。按键154可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入,产生与电子设备100的用户设置以及功能控制有关的键信号输入。
传感器模块160可以包括一个或多个传感器。例如,触摸传感器160A、指纹传感器160B、陀螺仪传感器160C、压力传感器160D、加速度传感器160E等。在一些实施例中,传感器模块160还可以包括环境传感器、距离传感器、接近光传感器、骨传导传感器等。
触摸传感器160A,也可称为“触控面板”。触摸传感器160A可以设置于显示屏151,由触摸传感器160A与显示屏151组成触摸屏,也称“触控屏”。触摸传感器160A用于检测作用于其上或附近的触摸操作。触摸传感器160A可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏151提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器160A也可以设置于电子设备100的表面,与显示屏151所处的位置不同。
指纹传感器160可以用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁、访问应用锁、指纹拍照、指纹接听来电等。
陀螺仪传感器160C可以用于确定电子设备100的运动姿态。在一些实施例中,可以通过陀螺仪传感器160C确定电子设备100围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器160C可以用于拍摄防抖。示例性的,当按下快门,陀螺仪传感器160C检测电子设备100 抖动的角度,根据角度计算出镜头模组需要补偿的距离,让镜头通过反向运动抵消电子设备100的抖动,实现防抖。陀螺仪传感器160C还可以用于导航、体感游戏场景。
压力传感器160D用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器160D可以设置于显示屏151。压力传感器160D的种类很多,如电阻式压力传感器、电感式压力传感器、电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180A,电极之间的电容改变。电子设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194,电子设备100根据压力传感器180A检测所述触摸操作强度。电子设备100也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中,作用于相同触摸位置,但不同触摸操作强度的触摸操作,可以对应不同的操作指令。例如:当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时,执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时,执行新建短消息的指令。
加速度传感器160E可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态,应用于横竖屏切换、计步器等应用。
在另一些实施例中,处理器110还可以包括一个或多个接口。例如,接口可以为SIM卡接口152。又例如,接口还可以为USB接口170。再例如,接口还可以为集成电路(inter-integrated circuit,I2C)接口、集成电路内置音频(inter-integrated circuit sound,I2S)接口、脉冲编码调制 (pulse code modulation,PCM)接口、通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口、移动产业处理器接口(mobile industry processor interface, MIPI)、通用输入输出(general-purposeinput/output,GPIO)接口等。可以理解的是,本申请实施例处理器110可以通过接口连接电子设备100的不同模块,从而使得电子设备100能够实现不同的功能。例如拍照、处理等。需要说明的是,本申请实施例对电子设备100中接口的连接方式不作限定。
其中,SIM卡接口152可以用于连接SIM卡。SIM卡可以通过***SIM卡接口152,或从SIM卡接口152拔出,实现和电子设备100的接触和分离。电子设备100可以支持1个或 N个SIM卡接口,N为大于1的正整数。SIM卡接口152可以支持Nano SIM卡、Micro SIM 卡、SIM卡等。同一个SIM卡接口152可以同时***多张卡。所述多张卡的类型可以相同,也可以不同。SIM卡接口152也可以兼容不同类型的SIM卡。SIM卡接口152也可以兼容外部存储卡。电子设备100通过SIM卡和网络交互,实现通话以及数据通信等功能。在一些实施例中,电子设备100采用eSIM,即:嵌入式SIM卡。eSIM卡可以嵌在电子设备100中,不能和电子设备100分离。
USB接口170是符合USB标准规范的接口。例如,USB接口170可以包括Mini USB接口、Micro USB接口、USB Type C接口等。USB接口170可以用于连接充电器为电子设备 100充电,也可以用于电子设备100与***设备之间传输数据。也可以用于连接耳机,通过耳机播放音频。USB接口170还可以用于连接其他电子设备,例如增强现实技术(augmentedreality,AR)设备等。
充电管理模块180用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块180可以通过USB接口170接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块180可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池182充电的同时,还可以通过电源管理模块181为电子设备供电。
电源管理模块181用于连接电池182,充电管理模块180与处理器110。电源管理模块 181接收电池182和/或充电管理模块180的输入,为处理器110、内部存储器121、外部存储器、显示屏151、摄像头153、移动通信模块131和无线通信模块132等供电。电源管理模块181还可以用于监测电池容量、电池循环次数、电池健康状态(漏电、阻抗)等参数。在其他一些实施例中,电源管理模块181也可以设置于处理器110中。在另一些实施例中,电源管理模块181和充电管理模块180也可以设置于同一个器件中。
下面以电子设备100为例对本申请实施例中基于语音通话的翻译方法进行详细说明。
如图3所示,为本申请实施例电子设备100的一种具体的架构示意图。具体的,电子设备100包括交互模块、语音采集模块、播报模块、通信模块和翻译模块。
其中,交互模块用于实现用户与电子设备100之间的交互。例如,交互模块可以用于显示用户界面。在一些实施例中,交互模块可以通过图2所示的电子设备100的硬件架构中的显示屏151实现,也可以通过图2所示的电子设备100的硬件架构中的显示屏151和触摸传感器160A实现。语音采集模块用于采集语音。在一些实施例中,语音采集模块可以通过图2 所示的电子设备100的硬件架构中的麦克风140C实现。播报模块用于播报语音,例如通话过程中语音的翻译结果、或者未翻译的语音等。需要说明的是,播报模块可以通过图2所示的电子设备100的硬件架构中的受话器140B、或者扬声器140A、或者与耳机接口140D连接的耳机等实现。通信模块用于实现电子设备与其它电子设备或者翻译服务器的通信。例如,通信模块可以用于接收其它电子设备发送的语音,也可以用于向翻译服务器发送语音采集模块采集的语音、或者用于向翻译服务器发送通信模块接收的语音,还可以用于接收翻译服务器发送的语音的翻译结果等。示例的,通信模块可以支持的通信协议包括WiFi、蓝牙、LTE、 WCDMA、GSM、下一代无线通信(next radio,NR)等。在本申请实施例中,通信模块可以通过图2所示的电子设备100的硬件架构中的移动通信模块131和/或无线通信模块132实现。
翻译模块用于获取语音的翻译结果。在一些实施例中,如图3所示,翻译模块可以包括接入单元、本端翻译单元、对端翻译单元、协调单元、主控单元、播报控制单元和语音检测单元。示例的,接入单元可以用于实现翻译服务的选择。例如,在网络情况断开或者信号较差的情况下,接入单元采用离线翻译,通过预先配置在电子设备100中的翻译引擎进行翻译。需要说明的是,预先配置在电子设备100中的翻译引擎可以为用于实现对语音翻译的软件程序或命令等,可以存储在内部存储器121中,也可以存储在外部存储器110中,当电子设备对语音进行翻译时,调用翻译引擎,获取语音的翻译结果。又例如,在网络信号较好的情况下,接入单元采用在线翻译,进一步基于预先配置的策略选择相应的翻译服务器。本端翻译单元可以用于获取语音采集模块采集的语音、以及缓存语音采集模块采集的语音的翻译结果。对端翻译单元可以用于获取通信模块接收到的语音、以及缓存通信模块接收到的语音的翻译结果。播报控制单元可以用于控制播报模块播报翻译结果。在一些实施例中,本端翻译单元或者对端翻译单元还可以将缓存的语音的翻译结果发送给播报模块播报后,自动删除语音的翻译结果,也可以将语音的翻译结果存储到内部存储器121或者与外部存储器接口122连接的外部存储器中。语音检测单元可以用于检测当前是否有语音输入。协调单元可以用于协调翻译进程,控制语音的播放节奏。主控单元可以用于接收用户的操作指令,以及协调各个单元模块,从而实现语音通话翻译功能。需要说明的是,本申请实施例中翻译模块可以通过图 2所示的电子设备100的硬件架构中的处理器110实现。示例的,翻译模块可以通过处理器 110中的应用处理器实现。又示例的,翻译模块还可以为专用处理器,集成在处理器110中,也可不集成在处理器110中。
下面对本申请实施例提供的基于语音通话的翻译方法的应用场景进行相应的介绍。本申请实施例基于语音通话的翻译方法可以应用于电子设备100作为主叫端,电子设备200作为被叫端的应用场景中,也可以应用于电子设备100作为被叫端,电子设备200作为主叫端的应用场景中。以电子设备100作为主叫端、电子设备200作为被叫端来实现用户A与用户B 之间的通信为例,对本申请实施例基于语音通话的翻译方法进行详细说明,其中用户A使用电子设备100,用户B使用电子设备200。
本申请实施例中的电子设备100可以在采集到用户A的语音后,获取用户A的语音的翻译结果,并将用户A的语音的翻译结果发送给电子设备200,以及电子设备100可以在接收到电子设备200发送的用户B的语音后,获取用户B的语音的翻译结果,并播放用户B的语音的翻译结果。
为了便于电子设备100获取用户A的语音的翻译结果和用户B的语音的翻译结果,在一些实施例中,电子设备100确定用于进行语音翻译的设备,然后从用于进行语音翻译的设备获取用户A的语音的翻译结果和/或用户B的语音的翻译结果。需要说明的是,用于进行语音翻译的设备可以为电子设备100本身,也可以为翻译服务器。当用于进行语音翻译的设备为翻译服务器时,用于进行语音翻译的设备可以为一个翻译服务器,也可以为多个翻译服务器。另外,用于对用户A的语音进行翻译的设备和用于对用户B的语音进行翻译的设备可以为同一个设备,也可以为不同的设备。示例的,电子设备100可以在向用户B发起呼叫之前,确定用于进行语音翻译的设备。例如,电子设备100可以在确定向用户B发起呼叫,在向用户B发起呼叫之前,确定用户进行语音翻译的设备。又示例的,电子设备100也可以在向用户B发起呼叫之后,确定用于进行语音翻译的设备。
其中,本申请实施例中电子设备100可以响应于对用户B的电话号码的拨打操作,向用户B发起呼叫。
示例的,如图4所示,电子设备100的显示屏151显示用户界面400。其中,用户界面400包括电话图标401。在另一些实施例中,用户界面400还可以包括其它应用图标,例如设置图标、微信图标、图库图标、邮箱图标、相机图标等。电子设备100检测到对电话图标401的操作时,可以响应于对电话图标401的操作,在显示屏151显示用户界面410。用户界面410包括联系人列表411和功能栏412。其中联系人列表411是用户A根据自身的需要存储的。功能栏412包括新建联系人、扫名片和更多等功能按钮。例如,电子设备100响应于用户对联系人列表411中的用户B的操作,在显示屏151显示用户界面420。其中,用户界面420 可以包括用户B的名称、电话号码、邮箱等信息,以及还可以包括发送信息、添加到收藏、阻止来电号码等功能按钮。电子设备100可以响应于对电话号码12345659876的操作,向用户B发起呼叫,并在显示屏151显示用户界面430。示例的,对电话号码12345659876的操作可以为对电话号码12345659876的触摸操作。也可以为其它操作。
此外,用户A还可以通过直接在电子设备100的用户界面500上输入用户B的电话号码来向用户B发起呼叫。例如,如图5所示,电子设备100的显示屏151显示用户界面500,用户界面500包括拨号键盘、输入的电话号码“12345659876”以及拨号按钮501。当输入的电话号码为用户B的电话号码时,电子设备100响应于对拨号按钮501的操作,向用户B发起呼叫,并在显示屏151显示图4中所示的用户界面430。需要说明的是,本申请实施例中用户A还可以使用电子设备100通过其它方式向用户B发起呼叫,例如通过语音的方式向用户B发起呼叫。
在一些实施例中,电子设备100可以根据网络信号强度,确定用于进行语音翻译的设备。其中,电子设备100当网络信号强度大于预设阈值时,从预设的至少一个翻译服务器中确定用于进行语音翻译的设备。然而,不同厂商的翻译服务器对于语言翻译的准确性有不同。例如,厂商S提供的翻译服务器对于东南亚语系的语言翻译的更加准确。又例如,厂商M提供的翻译服务器对于欧洲语系的语言翻译更加准确。因此为了提高语音翻译的准确性,电子设备100在使用翻译服务器时,可以根据预先设置的本端语言和对端语言,确定用于进行语音翻译的翻译服务器,如中文与越南语相互翻译时,选择厂商S的翻译服务器。需要说明的是,本端语言为用户A使用的语言,对端语言为用户B使用的语言。电子设备100当网络信号强度小于或等于预设阈值时,确定通过预先配置在电子设备100中的翻译引擎进行语音翻译。通过上述技术方案,有助于在网络信号较差的情况下,提高获取语音翻译结果的实时性。
需要说明的是,本申请实施例中,预设阈值可以预先配置在电子设备100中,也可以由电子设备100根据预先配置的算法来确定。另外,本申请实施例中电子设备100可以通过移动通信网络(例如4G网络、5G网络等)与翻译服务器建立通信,也可以通过WiFi网络与翻译服务器建立通信。本申请实施例中当电子设备100与翻译服务器通过移动通信网络通信时,可以将预设阈值设置为第一阈值。当电子设备100与翻译服务器通过WiFi与翻译服务器通信时,可以将预设阈值设置为第二阈值。需要说明的是,第一阈值和第二阈值是根据不同网络设置的阈值,第一阈值和第二阈值的大小,在此不作限定。示例的,当电子设备100打开移动通信网络,未打开WiFi网络时,电子设备100可以在移动通信网络的信号强度大于第一阈值时,通过移动通信网络将语音发送给确定的翻译服务器。又示例的,当电子设备100既打开移动通信网络,又打开WiFi网络,当WiFi网络的网络信号强度大于第二阈值时,在一些实施例中,电子设备100采用WiFi网络与翻译服务器通信。从而有助于节省费用。又示例的,当移动通信网络的网络信号强度大于第一阈值、WiFi网络的网络信号强度小于或等于第二阈值时,在一些实施例中,电子设备100采用移动通信网络与翻译服务器通信。从而有助于降低电子设备100和翻译服务器之间的通信时延。
下面结合图3所示的电子设备100的架构对电子设备100根据网络信号强度确定用于进行语音翻译的设备进行具体说明。
示例的,电子设备100的主控单元接收到交互模块上报的向用户B发起呼叫的操作或者接收到交互模块上报的输入用户B的电话号码的操作后,向接入单元发送翻译服务接入的通知。需要说明的是,主控单元可以直接向接入单元发送翻译服务接入的通知,也可以通过协调单元将翻译服务接入的通知发送给接入单元等,对此不作限定。接入单元接收到翻译服务接入的通知后,从通信模块获取网络信号强度,并根据网络信号强度,确定用于进行语音翻译的设备。
示例的,当电子设备100打开WiFi网络和移动通信网络,电子设备100在通过WiFi网络或移动通信网络向翻译服务器发送语音的情况下,当WiFi网络的网络信号强度小于或者等于第二阈值且移动通信网络的网络信号强度小于等于第一阈值时,确定使用预先配置在电子设备100中的翻译引擎对语音进行翻译。又示例的,电子设备100可以在WiFi网络的网络信号强度大于第二阈值时,确定用于进行语音翻译的设备为翻译服务器。在具体实现时,示例的,电子设备100的接入单元在WiFi网络信号强度大于第二阈值时,获取预先设置的本端语言和对端语言,然后根据本端语言和对端语言,确定用于进行语音翻译的服务器。在一些实施例中,电子设备100可以将预先设置的本端语言和对端语言存储到公共存储空间中,接入单元可以直接从公共存储空间中获取预先设置的本端语言和对端语言,也可以通过主控单元从公共存储空间中获取预先设置的本端语言和对端语言。
其中,本端语言和对端语言可以是用户预先手动配置的,也可以为电子设备100自动配置的。
例如,如图4所示,用户A可以通过在用户界面420中的语言设置422设置对端语言。例如,用户B的母语为英语,电子设备100可以响应于用户A对语言设置422的操作,如图 6,在显示屏151显示语言列表600。电子设备100响应于选中“英文”的操作,在语言设置 422中显示英文,并隐藏语言列表600。应理解,用户A可以在语言列表600的区域内通过上下滑动显示不同的语言。还需要说明的是,语言列表600所包括的语言为能够与电子设备 100通信的翻译服务器和/或预先配置在电子设备100中的翻译引擎所支持的语言,可以是电子设备100在出厂之前预先设置在电子设备100中的,也可以为当检测首次检测到存储联系人的操作后,再从翻译服务器中获取。此外,本申请实施例中电子设备100还可以自动对语言设置422的语言进行设置。示例的,电子设备100可以基于存储的用户B的电话号码的归属地,自动设置语言设置422的语言。例如,电子设备100检测到用户B的电话号码的归属地为伦敦,则自动设置将语言设置422设置为英文。又示例的,电子设备100还可以根据用户A与用户B的通话过程中用户B使用的语言对语言设置422进行设置。再示例的,电子设备100还可以将语言设置422设置为预先配置的默认语言,例如默认语言为英文。默认语言可以为电子设备100在出厂之前配置,也可以为用户根据需要设置的。
而本申请实施例中涉及的本端语言可以为电子设备100的***语言。示例的,如图7所示,电子设备100的显示屏151显示用户界面400。用户界面400包括设置图标700。电子设备100响应于对设置图标700的操作,在显示屏151显示***设置用户界面710。***设置界面710包括语言与地区711。此外,***设置界面711还可以包括其它功能的设置按钮,例如开启云备份、屏幕锁定等。电子设备100响应于对语言与地区711的操作,在显示屏151 显示用户界面720。用户界面720包括***语言设置按钮721。另外,在一些实施例中,用户界面720还可以包括地区设置按钮。电子设备100可以响应于对***语言设置按钮721的操作,在显示屏151显示用户界面730,用户界面730包括语言列表731。语言列表731包括语言为电子设备100所支持语言。在一些实施例中,为了便于用户从语言列表731所包括的语言中查找用户需要的语言,用户界面730还可以包括搜索框732。例如,电子设备100可以响应于用户A在搜索框732中输入的“简体中文”,从语言列表731所包括的语言中查找到“简体中文”。电子设备100可以响应于从语言列表732选中“简体中文”的操作,将***语言设置为简体中文。在另一些实施例中,电子设备100还可以根据用户存储的本机号码所属的归属地自动设置。例如,电子设备100检测到本机号码的归属地为北京,则自动将***语言设置为中文。再例如,电子设备100检测到本机号码的归属地为中国台湾,则自动将***语言设置为繁体中文。需要说明的是,本申请实施例中用户可以通过在图4所示的用户界面410 上设置本机号码。
此外,在一些实施例中,用户界面430上还可以包括语音翻译按钮431。从而有助于进一步简化用户的操作。例如,电子设备100还可以响应于对语音翻译按钮431的操作,在显示屏151显示用户界面800。其中,用户界面800包括本端语言设置803和对端语言设置802。电子设备100可以响应于用户A对本端语言设置803的操作,来设置本端语言,响应于用户 A对对端语言设置802的操作,来设置对端语言。电子设备100响应于用户A对本端语言设置803的操作设置本端语言、以及响应于用户A对对端语言设置802的操作设置对端语言的具体实现方式,可以参见电子设备100响应于用户A对用户界面420上的语言设置422的操作,实现设置语言的方式,在此不再赘述。此外,本申请实施例中电子设备100还可以自动对本端语言设置803和对端语言设置802进行语言设置。例如,电子设备100可以响应于向用户B拨打电话的操作,自动将本端语言设置803设置为***语言,以及自动将对端语言设置802设置为用户界面420中语言设置422所设置的语言。又例如,电子设备100还可以基于本机号码的归属地对本端语言设置803进行语言设置。具体实现方式可参见上述***语言的自动设置方式。又例如,电子设备100还可以根据电子设备100接入的移动通信网络所在的归属地,对本端语言设置803进行语言设置。例如,电子设备100接入的移动通信网络为***,则自动将本端语言设置为中文。再例如,电子设备100还可以基于用户B的电话号码的归属地对对端语言设置802进行语言设置。又例如,电子设备100还可以根据本机号码和向用户B发起呼叫时所使用的电话号码,获取最近一次用户A与用户B的通话记录,将本端语言设置803设置为通话记录中用户A所使用的语言,将对端语言设置802为通话记录中用户B所使用的语言。又例如,电子设备100还可以根据电子设备200接入的通信网络所在的归属地,对对端语言设置803进行语言设置。例如,电子设备100获取到电子设备200 接入的通信网络所在的归属地为美国,则自动将对端语言设置为英文。
需要说明的是,为了保证自动确定的本端语言和对端语言的可靠性,在一些实施例中,电子设备100的主控单元可以响应于选中用户B或者输入用户B的电话号码的操作,向接入单元发送语言设置通知。接入单元接收到语言设置通知后,获取与用户B的通话记录。并根据与用户B的通话记录,对本端语言设置803和对端语言设置802进行相应的设置。接入单元若未获取到与用户B的通话记录,则可以通过通信模块获取用户B电话号码的归属地和用户A的电话号码的归属地,并基于用户B的电话号码的归属地对对端语言设置802进行设置,以及基于用户A的电话号码的归属地对本端语言设置803进行设置。应理解,接入单元若未获取到与用户B的通话记录时,还可以基于***语言对本端语言设置803进行设置。接入单元若无法获取到用户B电话号码的归属地,也可以将对端语言设置802设置为默认语言。需要说明的是,接入单元若无法获取到用户B电话号码的归属地时,还可以向主控单元发送自动设置对端语言设置803失败的通知。主控单元接收到自动设置对端语言设置803失败的通知后,提示用户手动对端语言设置803进行设置。例如,主控单元可以通过触发显示屏151显示提示信息,来提示用户手动对端语言设置803进行设置。又例如,主控单元还可以通过触发播报模块播放用户手动对端语言设置803进行设置的提示信息来提示用户。本申请实施例对提示用户手动对端语言设置803进行设置的方式不作限定。
还需要说明的是,为了便于用户查找,本申请实施例中本端语言设置803和对端语言设置802还可以设置在用户界面430上。
当本端语言和对端语言相同时,电子设备100可以无需对语音进行翻译操作,在一些实施例中,电子设备100可以在本端语言和对端语言相同时,直接向电子设备200发送电子设备100采集的用户A的语音,电子设备100接收到电子设备200发送的用户B的语音,播放用户B的语音。从而有助于提高简化电子设备100的处理方式。电子设备100可以在本端语言和对端语言不同时,自动开启语音通话翻译功能,执行用户A的语音和用户B的语音的翻译过程。
例如。接入单元在自动设置本端语言和对端语言、或者获取到用户设置的本端语言和对端语言后,若检测到本端语言和对端语言不同,则执行确定用于进行语音翻译的服务器的过程。具体的,接入单元执行确定用于进行语音翻译的服务器的过程可参见上述实施例,在此不再赘述。接入单元若检测到本端语言和对端语言相同,则无需执行确定用于进行语音翻译的服务器的过程。
为了提高用户体验,在另一些实施例中,电子设备100接收到电子设备200发送的用户 B的语音后,还播报用户B的语音。例如,电子设备100预先设置的本端语言为简体中文,对端语言为英文,若用户B使用电子设备200向电子设备100发送的语音为“Hello,Thisis Mike speaking.”,则电子设备100接收到“Hello,This is Mike speaking.”后,向用户A播报“Hello,This is Mike speaking.”,并在获取到“Hello,This is Mike speaking.”的翻译结果“你好,我是麦克”后,向用户A播报“你好,我是麦克”。在一些实施例中,电子设备 100还播报用户A的语音的翻译结果。例如,电子设备100采集的用户A的语音为“你好,我想买张机票。”,则在获取到“你好,我想买张机票。”的翻译结果“Hello,I want to buy aticket.”后,不仅要将翻译结果“Hello,I want to buy a ticket.”发送给电子设备200,而且向用户A播报用户A的语音的翻译结果“Hello,I want to buy a ticket.”此外,在一些实施例中,电子设备100还可以将采集的用户A的语音发送给电子设备200。电子设备200接收到电子设备100发送的用户A语音后,播报用户A的语音。电子设备200在接收到电子设备 100发送的用户A的语音的翻译结果后,播报用户A的语音翻译结果。在另一些实施例中,电子设备100还可以将用户B的语音的翻译结果发送给电子设备200。电子设备200在接收到用户B的语音的翻译结果后,还可以播报用户B的语音的翻译结果。
当电子设备100接收到电子设备200发送的用户B的语音时,直接播报用户B的语音,在这种情况下若电子设备100接收到用户A的语音翻译结果,播报用户A的语音的翻译结果,则会导致用户B的语音的播报和用户A的语音的翻译结果的播报重叠。而当电子设备100采集到用户A的语音时,若接收到用户A的语音的翻译结果,在这种情况下,播报模块播报用户A的语音翻译结果有可能导致播报的语音所表达的意思是不完整的。
因此,在一些实施例中,电子设备100在接收到语音的翻译结果后,若检测到无语音输入,则播报接收到的语音的翻译结果。在另一些实施例中,电子设备100若检测到当前有语音输入,则等待检测到无语音输入时,播报接收到的语音的翻译结果。从而有助于降低与播报用户B的语音发生冲突的可能性,以及降低播报的用户A的语音的翻译结果不完整的可能性。此外,在另一些实施例中,电子设备100在接收到的翻译结果为用户A的语音的翻译结果时,则在检测到无语音输入时,向电子设备200发送用户A的语音的翻译结果。从而有助于降低电子设备200语音播报重叠的可能性。
需要说明的是,电子设备100检测到语音输入包括两种情况:一种是电子设备100的语音采集模块采集到用户A的语音,另一种是电子设备100的通信模块接收到电子设备200采集的用户B的语音。当电子设备100检测到未有语音输入时,本申请实施例中指的是电子设备100的语音采集模块未采集到用户A的语音、且通信模块未接收到电子设备200采集的用户B的语音。
下面以图3所示的电子设备100的架构对本申请实施例中播报语音以及语音翻译结果的方式进行详细介绍。
如图9所示,电子设备100首先获取语音。例如,电子设备100可以通过语音采集模块获取用户A的语音,也可以通过通信模块接收用户B的语音,然后通过接入单元将获取的语音发送给通信模块,再由通信模块将语音上报到翻译服务器,然后由翻译服务器对语音进行翻译,并将翻译结果返回给通信模块,最后通过播报模块播报语音的翻译结果。为了保证语音获取和语音播报的节奏,在一些实施例中,电子设备100可以根据语音获取的情况和语音翻译情况,通过协同语音的获取情况和语音翻译的情况来对语音的获取和翻译结果的播报进行控制。
下面对用户A的语音的翻译结果的播报的控制方式进行具体介绍。
主控单元在检测电子设备200接听电子设备100发起的向用户B的呼叫后,通知语音检测单元监听语音采集模块是否采集到用户A的语音,以及监听通信模块是否接收到用户B的语音。本申请实施例中,语音检测单元可以实时将语音检测结果上报给协调单元,也可以每隔预设时长将语音检测结果上报给协调单元,还可以当监听到语音采集模块未采集到用户A 的语音、通信模块未接收到用户B的语音时,向协调单元发送语音检测结果。
语音采集模块将采集的用户A的语音发送给本端翻译单元。由本端翻译单元将用户A的语音发送给接入单元,然后接入单元通过通信模块将用户A的语音发送给翻译服务器。翻译服务器对用户A的语音进行翻译后,将用户A的语音的翻译结果返回给电子设备100。电子设备100由通信模块接收翻译服务器发送的用户A的语音的翻译结果,并在通信模块接收到用户A的语音的翻译结果后,通过接入单元将用户A的语音的翻译结果发送给本端翻译单元,由本端翻译单元保存用户A的语音的翻译结果。例如,本端翻译单元可以将用户A的语音的翻译结果保存到预先设置的第一队列中。
本端翻译单元在接收到用户A的语音的翻译结果后,向协调单元上报本端语音翻译结果通知,协调单元接收到本端语音翻译结果通知后,若根据语音检测单元上报的语音检测结果确定没有语音输入,则向播报控制单元发送允许播报语音翻译结果的通知。应理解,本申请实施例中协调单元可以直接向播报控制单元发送允许播报语音翻译结果的通知,也可以通过主控单元将允许播报语音翻译结果的通知发送给播报控制单元。
播报控制单元接收到允许播报语音翻译结果的通知后,通知播报模块获取用户A的语音翻译结果进行播报。此外,协调单元若根据语音检测单元上报的语音检测结果确定没有语音输入,还通知通信模块向电子设备200发送用户A的语音的翻译结果。
协调单元当接收到本端语音翻译结果通知后,若根据语音检测单元上报的语音检测结果确定有语音输入,则向播报控制单元发送暂停播报翻译结果的通知。从而使得播报控制单元可以实现对播报模块对语音的翻译结果进行播报的控制。本申请实施例中,协调单元若根据语音检测单元上报的语音检测结果确定有语音输入,可以不向播报控制单元发送通知,在协调单元根据语音检测单元上报的语音检测结果确定没有语音输入后,再向播报控制单元发送允许播报语音翻译结果的通知。此外,协调单元若根据语音检测单元上报的语音检测结果确定监听到语音输入时,通信模块不向电子设备200发送用户A的语音的翻译结果。例如,协调单元可以通过向通信模块发送暂停向电子设备200发送本端语音翻译结果的通知来实现通信模块不向电子设备200发送用户A的语音的翻译结果。又例如,通信模块还可以在未接收到允许向电子设备200发送本端语音翻译结果的通知时,不向电子设备200发送用户A的语音的翻译结果。
此外,电子设备100当通过翻译服务器实现用户A的语音翻译时,有可能会由于网络信号或者语速的原因,导致电子设备100可能无法获取到用户A的语音的翻译结果。例如若电子设备100与翻译服务器之间是通过网络建立通信连接的,有可能会由于网络信号较差时,会导致电子设备100无法将用户A的语音上传到翻译服务器,也有可能导致翻译服务器无法将用户A的语音的翻译结果及时返回给电子设备100。
在另一些实施例中,电子设备100当检测到有用户A的语音输入时,若第一时长内未接收到用户A的语音的翻译结果,获取当前电子设备100的网络信号强度,该网络信号强度为电子设备100用于与翻译服务器通信的网络的信号强度,该翻译服务器用于对用户A的语音进行翻译。需要说明的是,第一时长可以预先配置在电子设备100中,也可以由电子设备100 根据预设算法确定。以电子设备100用于与翻译服务器通信的网络为移动通信网络为例。若网络信号强度小于或等于第一阈值,则电子设备100切换到预先配置在电子设备100中的翻译引擎中进行语音翻译,切换到网络信号好的服务小区,或者提示用户切换网络,如在电子设备100预先配置有至少两个SIM卡分别使用不同的移动通信网络时,自动切换到另一移动通信网络,使用另一移动通信网络与翻译服务器通信,或者在电子设备100打开WiFi网络时,自动切换到WiFi网络信号强度大于第二阈值的WiFi网络等。因而,通过上述技术方案有助于降低因网络信号变差导致语音翻译受阻的可能性。在一些实施例中,当移动通信网络的网络信号强度大于第一阈值或WiFi网络信号强度大于第二阈值,则电子设备100提示用户A 放慢语速。示例的,如图10所示,电子设备100可以通过在显示屏151上显示提示信息1000,来提示用户降低语速。例如,提示信息900可以为“请放慢语速”等。又示例的,电子设备 100还可以在检测到电子设备100黑屏时,通过播放提示音来提示用户A放慢语速。例如提示音可以为“滴滴”的提示音,也可以为“请放慢语速”的语音等。该提示音可以预先配置在电子设备100中。因而,通过上述技术方案,有助于降低因用户语速过快导致翻译紊乱的可能性。
在具体实现时,在一些示例中,电子设备100的协调单元若根据接收到语音检测单元上报的语音检测结果确定语音采集模块有语音输入,但是协调单元若预设的第一时长内未接收到本端语音翻译结果的通知,则协调单元向接入单元发送网络信号强度检测的通知。接入单元接收到网络信号强度检测的通知后,从通信模块获取网络信号强度。应理解,接入单元从通信模块获取的网络信号强度为电子设备100用于与翻译服务器通信的网络的信号强度。该翻译服务器用于对用户A的语音进行翻译。以电子设备100用于与翻译服务器通信的网络为移动通信网络为例,若网络信号强度大于第一阈值,则向协调单元发送网络正常的通知,协调单元接收到网络正常的通知后,向主控单元发送提示用户A降低语速的通知。主控单元接收到提示用户A降低语速的通知后,向用户A提示降低语速。接入单元当从通信模块获取的网络信号强度不大于第一阈值时,可以向协调单元发送网络异常的通知,然后协调单元将网络异常的通知发送给主控单元。主控单元在接收到网络异常的通知后,提示用户切换网络,或者自动切换网络。例如,主控单元可以通过显示屏151在显示当前网络异常,提示用户切换网络的信息。另外,在一些实施例中,接入单元当从通信模块获取的网络信号强度不大于第一阈值时,还可以自动将语音翻译服务切换到预先配置在电子设备100中的翻译引擎上。当接入单元检测到网络正常后,还可以重新切换到翻译服务器上进行语音翻译。
电子设备100当检测到长时间内无语音输入,但接收到用户A的语音的翻译结果时,也有可能是因为网络信号强度较差或者用户语速过快导致的。因此,在一些实施例中,电子设备100当检测到第二时长内无语音输入,但接收到用户A的语音的翻译结果时,获取当前电子设备100的网络信号强度,该网络信号强度为电子设备100用于与翻译服务器通信的网络的信号强度,该翻译服务器用于对用户A的语音进行翻译。具体的,电子设备100根据网络信号强度实现协调的方式,可以参见电子设备100当检测到有用户A的语音输入、第一时长内未接收到用户A的语音的翻译结果时,电子设备100根据网络信号强度实现协调的方式。
在具体实现时,在一些实施例中,电子设备100的协调单元若根据语音检测单元上报的语音检测结果确定第二时长内语音采集模块未有语音输入,但是协调单元接收到本端语音翻译结果的通知,则协调单元向接入单元发送网络信号强度检测的通知。接入单元接收到网络信号强度检测的通知后的后续执行步骤,可以参见协调单元在语音采集模块有语音输入、但预设的第一时长内未接收到本端语音翻译结果的通知的情况下,接入单元接收到网络信号强度检测的通知后的后续执行步骤,在此不再赘述。
需要说明的是,当电子设备100缓存的用户A的语音的翻译结果的数量超过预设数量时,则无需考虑电子设备100当前是否采集到用户A的语音或者接收到用户B的语音,直接播报用户A的语音的翻译结果。从而有助于避免电子设备100缓存的用户A的语音翻译结果溢出,造成信息的丢失。例如,第一队列用于缓存用户A的语音的翻译结果,预设数量为第一队列的最大能够存储翻译结果的数量。示例的,在具体实现时,本端翻译单元当检测到缓存的用户A的语音的翻译结果的数量超过预设数量时,向协调单元发送优先播报翻译结果的通知。协调单元接收到优先播报本端语音翻译结果的通知后,向播报控制单元发送播报本端语音翻译结果的通知,使得播报模块播报用户A的语音的翻译结果。
下面对用户B的语音的翻译结果的播报的控制方式进行具体介绍。
通信模块用于接收电子设备200采集的用户B的语音,并将接收到的电子设备200采集的用户B的语音发送给对端翻译单元。由对端翻译单元将用户B的语音发送给接入单元。然后接入单元通过通信模块将用户B的语音发送给翻译服务器。翻译服务器对用户B的语音进行翻译后,将翻译结果返回给电子设备100。电子设备100由通信模块接收翻译服务器发送的用户B的语音翻译结果,并在通信模块接收到用户B的语音的翻译结果后,通过接入单元将用户B的语音的翻译结果发送给对端翻译单元。由对端翻译单元保存用户B的语音的翻译结果。例如,对端翻译单元可以将用户B的语音的翻译结果保存到预先设置的第二队列中。
对端翻译单元在接收到用户B的语音的翻译结果后,向协调单元上报对端语音翻译结果通知,协调单元接收到对端语音翻译结果通知后,若根据语音检测单元上报的语音检测结果确定没有语音输入,则向播报控制单元发送允许播报语音翻译结果的通知。应理解,本申请实施例中协调单元可以直接向播报控制单元发送允许播报语音翻译结果的通知,也可以通过主控单元将允许播报语音翻译结果的通知发送给播报控制单元。
播报控制单元接收到允许播报语音翻译结果的通知后,通知播报模块获取用户B的语音翻译结果进行播报。此外,协调单元若根据语音检测单元上报的语音检测结果确定没有语音输入,还通知通信模块向电子设备200发送用户B的语音的翻译结果。
协调单元当接收到对端语音翻译结果通知后,若根据语音检测单元上报的语音检测结果确定有语音输入,则向播报控制单元发送暂停播报翻译结果的通知。从而使得播报控制单元可以实现对播报模块对语音的翻译结果进行播报的控制。本申请实施例中,协调单元若根据语音检测单元上报的语音检测结果确定有语音输入,可以不向播报控制单元发送通知,再协调单元根据语音检测单元上报的语音检测结果确定没有到语音输入后,再向播报控制单元发送允许播报语音翻译结果的通知。此外,在一些实施例中,协调单元还可以当根据语音检测单元上报的语音检测结果确定有语音输入时,通信模块不向电子设备200发送用户A的语音的翻译结果。例如,协调单元可以通过向通信模块发送暂停向电子设备200发送对端语音翻译结果的通知来实现通信模块不向电子设备200发送用户B的语音的翻译结果,也可以通过通信模块未接收到允许向电子设备200发送对端语音翻译结果的通知,来实现通信模块不向电子设备200发送用户B的语音的翻译结果。
此外,电子设备100当通过翻译服务器实现用户B的语音翻译时,有可能会由于网络信号或者语速的原因,导致电子设备100可能无法获取到用户B的语音的翻译结果。例如若电子设备100与翻译服务器之间是通过网络建立通信连接的,有可能会由于网络信号较差时,会导致电子设备100无法将用户A的语音上传到翻译服务器,也有可能导致翻译服务器无法将用户B的语音的翻译结果及时返回给电子设备100。
因此,在另一些实施例中,电子设备100当接收到电子设备200发送的用户B的语音,但第三时长内未接收到用户B的语音的翻译结果时,获取当前电子设备100的网络信号强度,该网络信号强度为电子设备100用于与翻译服务器之前的通信的网络的信号强度,该翻译服务器用于对用户B的语音进行翻译。需要说明的是,第三时长可以预先配置在电子设备100 中,也可以由电子设备100根据预设算法确定。下面以电子设备100用于与翻译服务器之前的通信的网络为移动通信网络为例。电子设备100当网络信号强度小于或等于第一阈值时,则切换到预先配置在电子设备100中的翻译引擎中进行语音翻译,或者提示用户切换网络,或者自动切换到网络信号强度大于第一阈值的移动通信网络、或者自动切换到网络信号强度大于第一阈值的无线通信网络等。从而有助于降低网络信号变差导致语音翻译受阻的可能性。在另一些实施例中,电子设备100当网络信号强度大于第一阈值时,则提示用户B放慢语速。从而有助于降低因用户语速过快导致翻译紊乱的可能性。示例的,电子设备100可以通过在显示屏151上显示提示信息,来提示用户A通知用户B降低语速。由电子设备100将用户A 提示用户B的降低语速的语音的翻译结果发送给电子设备200,以达到提示用户B降低语速的目的。又示例的,电子设备100还可以在检测到电子设备100黑屏时,通过播放提示音来提示用户A通知用户B放慢语速。例如提示音可以为“滴滴”的提示音,也可以为“请放慢语速”的语音等。该提示音可以预先配置在电子设备100中。再示例的,电子设备100还可以通过自动将提示音发送给电子设备200,使得电子设备200能够播放提示音给用户B达到提示用户B降低语速的目的。
在具体实现时,在一些示例中,电子设备100的协调单元若根据接收到语音检测单元上报的语音检测结果确定通信模块接收到来自电子设备200的语音,但是协调单元若预设的第三时长内未接收到对端语音翻译结果的通知,则协调单元向接入单元发送网络信号强度检测的通知。接入单元接收到网络信号强度检测的通知后,从通信模块获取网络信号强度,若网络信号强度大于第一阈值,则向协调单元发送网络正常的通知,协调单元接收到网络正常的通知后,向主控单元发送提示用户B降低语速的通知。主控单元接收到提示用户B降低语速的通知后,提示用户B降低语速。示例的,主控单元可以接收到提示用户B降低语速的通知后,自动通过通信模块向电子设备200发送提示音,来提示用户B降低语速。又示例的,主控单元还可以通过在显示屏151上显示提示信息或通过播报模块播放提示音给用户A,提示对端用户语速过快。用户A在查看到提示信息或听到提示音后,口头提示用户B降低语速,由电子设备100将用户A提示用户B的降低语速的语音的翻译结果发送给电子设备200,以达到提示用户B降低语速的目的。接入单元当从通信模块获取的网络信号强度不大于第一阈值时,可以向协调单元发送网络异常的通知,然后协调单元将网络异常的通知发送给主控单元。主控单元在接收到网络异常的通知后,向提示切换网络。例如,主控单元可以通过显示屏151在显示当前网络异常,提示用户切换网络的信息。另外,在一些实施例中,接入单元当从通信模块获取的网络信号强度不大于第一阈值时,还可以自动将语音翻译服务切换到预先配置在电子设备100中的翻译引擎上。当接入单元检测到网络正常后,还可以将语音翻译服务重新切换到翻译服务器上。
电子设备100当检测到长时间内无语音输入,但接收到用户B的语音的翻译结果时,也有可能是因为网络信号强度较差或者用户语速过快导致的。因此,在一些实施例中,电子设备100当检测到第四时长内无语音输入,但接收到用户B的语音的翻译结果时,获取当前电子设备100的网络信号强度,该网络信号强度为电子设备100用于与翻译服务器通信的网络的信号强度。需要说明的是,第四时长可以预先配置在电子设备100中,也可以由电子设备 100根据预设算法确定。具体的,电子设备100根据网络信号强度实现协调的方式,可以参见电子设备100当检测到有用户A的语音输入、第一时长内未接收到用户A的语音的翻译结果时,电子设备100根据网络信号强度实现协调的方式。从而有助于提高通话过程中语音翻译的可靠性。
在具体实现时,在一些实施例中,电子设备100的协调单元若根据语音检测单元上报的语音检测结果确定第四时长内通信模块为未接收到来自电子设备200的语音,但是协调单元接收到对端语音翻译结果的通知,则协调单元向接入单元发送网络信号强度检测的通知。接入单元接收到网络信号强度检测的通知后的后续执行步骤,可以参见协调单元在语音采集模块有语音输入、但预设的第一时长内未接收到本端语音翻译结果的通知的情况下,接入单元接收到网络信号强度检测的通知后的后续执行步骤,在此不再赘述。
需要说明的是,当电子设备100缓存的用户B的语音的翻译结果的数量超过预设数量时,无需考虑电子设备100当前是否采集到用户A的语音或者接收到用户B的语音,直接播报用户B的语音的翻译结果。从而有助于避免电子设备100缓存的用户B的语音翻译结果溢出,造成信息的丢失。例如,第二队列用于缓存用户B的语音的翻译结果,预设数量为第二队列的最大能够存储翻译结果的数量。示例的,在具体实现时,对端翻译单元向协调单元发送优先播报对端语音翻译结果的通知,协调单元接收到优先播报对端语音翻译结果的通知后,向播报控制单元发送播报对端语音翻译结果的通知,使得播报模块播报用户B的语音的翻译结果。
示例的,如图11所示,为本申请实施例播报语音的方法的流程示意图。由电子设备100 执行以下步骤。
步骤1101,接收到新的语音的翻译结果。应理解,新的语音的翻译结果可以包括用户A 的语音的翻译结果,也可以包括用户B的语音的翻译结果。其中,用户A的语音的翻译结果为本端语音的翻译结果,用户B的语音的翻译结果为对端语音的翻译结果。
步骤1102,判断缓存的语音的翻译结果是否超过预设阈值,若是,则执行步骤1104,否则执行步骤1103。
步骤1103,判断是否有语音输入,若是则执行步骤1105,否则执行步骤1104。应理解,有语音输入指的是电子设备100采集到用户A的语音和/或电子设备100接收到电子设备200 发送的用户B的语音。无语音输入指的是,电子设备100未采集到用户A的语音,也未接收到电子设备200发送的用户B的语音。
步骤1104,播报语音的翻译结果,本流程结束。示例的,播报的语音的翻译结果为最早缓存的语音的翻译结果。
示例的,语音的翻译结果可以缓存到队列中。例如,用于缓存语音的翻译结果的队列图如图12所示,当队列为空时,电子设备100可以将先翻译好的未播报的语音的翻译结果存储到队列中的位置1,然后当在接收到新的语音的翻译结果后,若存储在队列中为位置1的语音的翻译结果还未播报,则将新的语音翻译结果存储到队列中的位置2,以此类推。电子设备从图12中所示的队列中的位置1开始播报语音翻译结果。
步骤1105,当输入的语音为对端语音时,则播报对端语音,并获取对端语音的翻译结果,重新执行步骤1101,当输入的语音为本端语音时,则获取本端语音的翻译结果,重新执行步骤1101,本流程结束。
此外,在又一些实施例中,电子设备100在用户A与用户B的通话过程中,在显示屏151 显示用户A和用户B的实时的通话记录的语音对应的文本以及对应的语音的翻译结果的文本。从而有助于用户A和用户B在语言不通的情况下的能够理解对方所表达的意思。在一些实施例中,电子设备100可以在用户界面800显示用户A和用户B的实时的通话的语音对应的文本以及对应的语音的翻译结果的文本。示例的,用户界面800可以包括通话记录文本显示区域804,通过通话记录文本显示区域804来显示用户A和用户B的实时的通话记录的文本。例如,电子设备100采集的用户A的语音为“你好,我想买张机票。”,接收到的电子设备 B的语音为“OK,which day do you prefer”以及获取的用户A的语音的翻译结果为“Hello,I want to buy a ticket”,获取的用户B的语音的翻译结果为“好的,你想订哪天的?”,则可以如图13所示,在通话记录文本显示区域804显示“你好,我想买张机票。”的文本、“Hello, I want to buy a ticket”的文本、“OK,which day do you prefer”的文本和“好的,你想订哪天的?”的文本。
需要说明的是,用户A和用户B的实时的通话记录的语音对应的文本以及对应的语音的翻译结果的文本可以由电子设备100基于语音识别获取的,也可以是电子设备100将用户A 和用户B的实时的通话记录的语音以及对应的语音的翻译结果上报给语音翻译服务器,由语音翻译服务器将语音转化为文本后发送给电子设备100的。本申请实施例对电子设备100获取文本的方式不作限定。
在另一些实施例中,为了便于用户A和用户B双方确定电子设备100开启了语音翻译服务,则预先在电子设备100中配置语音通话翻译功能已开启的提示音,例如,预先配置在电子设备100中的语音通话翻译功能已开启的提示音所使用的语言可以为***语言,也可以为设置的本端语言,当***语言或本端语言发生变化后,预先配置在电子设备100中的语音通话翻译功能已开启的提示音所使用的语言相应变化,电子设备100在检测到用户B接听用户 A的来电后,播报预先配置在电子设备100中的语音通话翻译功能已开启的提示音,以及向电子设备200发送语音通话翻译功能已开启的提示音的翻译结果。其中,语音通话翻译功能已开启的提示音的翻译结果的使用的语言为设置的对端语言。电子设备200接收到语音通话翻译功能已开启的提示音的翻译结果后,播放语音通话翻译功能已开启的提示音,以便于用户B获知电子设备100的语音通话翻译功能已开启。
电子设备100在检测到用户B接听用户A的来电后,还可以在显示屏151上显示语音通话翻译功能已开启提示音的文本。以语音通话翻译功能已开启的提示音的文本可以为“你好,欢迎使用语音通话翻译服务,请在语音播报完毕后开始通话。”为例,电子设备100在检测到用户B接听用户A的来电后,在用户界面800上下显示“你好,欢迎使用语音通话翻译服务,请在语音播报完毕后开始通话。”,如图14所示。
为了便于下次电子设备100对本端语言设置803和对端语言设置802进行设置,电子设备100在检测到与用户B的通话结束后,保存用户A和用户B本次通话对本端语言设置803 和对端语言设置802进行的设置。
本申请实施例中还可以在电子设备100上设置用于开启或关闭语音通话翻译功能的虚拟按钮。从而有助于用户能够控制开启或关闭语音通话翻译功能。用户可以通过对虚拟按钮操作开启或关闭语音通话翻译功能,也可以由电子设备100自动确定是否开启或关闭语音通话翻译服务对虚拟按钮进行设置。
示例的,如图15所示,用户界面800包括虚拟按钮1400,虚拟按钮1400用于开启或关闭语音通话翻译功能。具体的,虚拟按钮1200关闭(OFF)时,电子设备100关闭语音通话翻译功能;虚拟按钮1200开启(ON)时,电子设备100开启语音通话翻译功能。另外,还需要说明的是,虚拟按钮1200OFF时,可以在用户界面800隐藏或置灰本端语言设置803和对端语言设置。又示例的,如图16所示,还可以在***设置界面1600增加开启语音翻译设置按钮1601,其中开启语音翻译设置按钮1601用于开启或关闭语音通话翻译功能。其中,电子设备100可以响应于对设置图标操作,显示***设置界面1600。
需要说明的是,当电子设备100作为被叫端,电子设备200作为主叫端,在电子设备200 不具有语音通话翻译功能的情况下,电子设备100若具有语音通话翻译功能,则电子设备100 接收到用户B的来电后,可以执行基于语音通话的翻译过程。具体的,电子设备100执行基于语音通话的翻译方法,可参见电子设备100作为主叫端,电子设备200作为被叫端时执行基于语音通话的翻译方法,在此不再赘述。
例如,如图17所示,电子设备100接收到用户B的来电后,可以在显示屏151显示用户界面1700。用户界面1700上包括语音翻译按钮1701。电子设备100可以响应于对语音翻译按钮1701的操作,在显示屏151显示图8所示的用户界面800。又例如,电子设备100还可以响应于对语音翻译按钮1701的操作,开启或关闭语音通话翻译功能。从而有助于用户开启语音通话翻译功能。
此外,本申请实施例基于语音通话的翻译方法还可应用于其它可以进行实时语音通信的应用中,例如微信等。另外,本申请上述实施例仅以两人通话为进行的说明,本申请实施例还可以应用于多人通话的应用场景,例如电话会议等。
本申请涉及的各个实施例可以单独使用,也可以相互结合使用,以实现不同的技术效果。
上述本申请提供的实施例中,从电子设备作为执行主体的角度对本申请实施例提供的方法进行了介绍。为了实现上述本申请实施例提供的方法中的各功能,电子设备可以包括硬件结构和/或软件模块,以硬件结构、软件模块、或硬件结构加软件模块的形式来实现上述各功能。上述各功能中的某个功能以硬件结构、软件模块、还是硬件结构加软件模块的方式来执行,取决于技术方案的特定应用和设计约束条件。
基于相同的构思,图18所示为本申请提供的一种电子设备1800。电子设备1800包括至少一个处理器1810、存储器1820和收发器1830。其中,处理器1810与存储器1820和收发器1830耦合,本申请实施例中的耦合是装置、单元或模块之间的间接耦合或通信连接,可以是电性,机械或其它的形式,用于装置、单元或模块之间的信息交互。
具体的,存储器1820用于存储程序指令。
收发器1830用于接收或发送数据。
处理器1810用于调用存储器1820中存储的程序指令,使得电子设备1800执行本申请实施例提供的基于语音通话的翻译方法。
应理解,该电子设备1800可以用于实现本申请实施例基于语音通话的翻译方法,相关特征可以参照上文,此处不再赘述。
所属领域的技术人员可以清楚地了解到本申请实施例可以用硬件实现,或固件实现,或它们的组合方式来实现。当使用软件实现时,可以将上述功能存储在计算机可读介质中或作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质,其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是计算机能够存取的任何可用介质。以此为例但不限于:计算机可读介质可以包括RAM、ROM、电可擦可编程只读存储器(electrically erasableprogrammable read only memory,EEPROM)、只读光盘(compact disc read-Only memory,CD-ROM)或其他光盘存储、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质。此外。任何连接可以适当的成为计算机可读介质。例如,如果软件是使用同轴电缆、光纤光缆、双绞线、数字用户线(digital subscriber line,DSL)或者诸如红外线、无线电和微波之类的无线技术从网站、服务器或者其他远程源传输的,那么同轴电缆、光纤光缆、双绞线、DSL或者诸如红外线、无线和微波之类的无线技术包括在所属介质的定影中。如本申请实施例所使用的,盘(disk)和碟(disc) 包括压缩光碟(compact disc,CD)、激光碟、光碟、数字通用光碟(digital video disc,DVD)、软盘和蓝光光碟,其中盘通常磁性的复制数据,而碟则用激光来光学的复制数据。上面的组合也应当包括在计算机可读介质的保护范围之内。
总之,以上所述仅为本申请的实施例而已,并非用于限定本申请的保护范围。凡根据本申请的揭露,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (14)

1.一种基于语音通话的翻译方法,其特征在于,所述方法包括:
第一电子设备与第二电子设备建立语音通话连接;
所述第一电子设备当语音通话翻译功能已开启时,采集第一用户的语音,向翻译服务器上报所述第一用户的语音,以及接收所述翻译服务器发送的所述第一用户的语音的翻译结果,并将所述第一用户的语音的翻译结果发送给所述第二电子设备,接收所述第二电子设备发送的第二用户的语音,向所述翻译服务器上报所述第二用户的语音,以及接收所述翻译服务器发送的所述第二用户的语音的翻译结果,并播报所述第二用户的语音的翻译结果。
2.如权利要求1所述的方法,其特征在于,所述第一电子设备与所述翻译服务器通过网络通信,所述方法还包括:
所述第一电子设备当网络信号强度小于或者等于预设阈值时,采集到所述第一用户的语音后,对所述第一用户的语音进行翻译,得到所述第一用户的语音的翻译结果;接收到所述第二用户的语音后,对所述第二用户的语音进行翻译,得到所述第二用户的语音的翻译结果。
3.如权利要求1或2所述的方法,其特征在于,所述第一电子设备向翻译服务器上报所述第一用户的语音或上报所述第二用户的语音之前,所述方法还包括:
所述第一电子设备根据本端语言和对端语言,确定所述翻译服务器,所述本端语言为所述第一用户所使用的语言,所述对端语言为所述第二用户所使用的语言。
4.如权利要求3所述的方法,其特征在于,所述方法还包括:
所述第一电子设备与所述第二电子设备建立语音通话连接中或者所述第一电子设备与所述第二电子设备建立语音通话连接之后,当所述本端语言和所述对端语言不同时,自动开启所述语音通话翻译功能。
5.如权利要求1至3任一所述的方法,其特征在于,所述方法还包括:
所述第一电子设备响应于用户的第一操作,开启所述语音通话翻译功能。
6.如权利要求4或5所述的方法,其特征在于,所述方法还包括:
所述第一电子设备向所述第二电子设备发送所述第一电子设备的语音通话翻译功能已开启的提示信息,所述提示信息所使用的语言为所述对端语言。
7.如权利要求3至6任一所述的方法,其特征在于,所述方法还包括:
所述第一电子设备获取所述本端语言和所述对端语言;
其中,所述本端语言为所述***语言、或者所述第一用户和所述第二用户的最近一次的通话记录中所述第一用户所使用的语言、或者所述第一用户的电话号码归属地的母语、或者所述第一电子设备接入的通信网络所在的归属地的母语、或者响应于用户操作设置的语言;
所述对端语言为所述第二用户的电话号码归属地的母语、或者所述第一用户和所述第二用户的最近一次的通话记录中所述第二用户所使用的语言、或者所述第二电子设备接入的通信网络所在的归属地的母语、或者响应于用户操作设置的语言。
8.如权利要求1至7任一所述的方法,其特征在于,所述第一电子设备播报所述第二用户的语音的翻译结果,包括:
所述第一电子设备当未采集到所述第一用户的语音以及未接收到所述第二用户的语音时,播报所述第二用户的语音的翻译结果。
9.如权利要求2所述的方法,其特征在于,所述方法还包括:
所述第一电子设备当接收到所述第二用户的语音、且第一时长内未接收到所述翻译服务器发送的所述第二用户的语音的翻译结果时,获取所述网络信号强度;
所述第一电子设备当所述网络信号强度大于所述预设阈值时,提示所述第二用户降低语速。
10.如权利要求9所述的方法,其特征在于,所述第一电子设备提示所述第二用户降低语速,包括:
所述第一电子设备在显示屏上显示第一提示信息,所述第一提示信息用于提示所述第一用户通知所述第二降低语速;或者,
所述第一电子设备通过向第二电子设备发送第一语音,所述第一语音用于提示所述第二用户降低语速;或者,
所述第一电子设备向所述第一用户播放第二语音,第二语音用于提示所述第一用户通知所述第二用户降低语速。
11.如权利要求1至10所述的方法,其特征在于,所述第一电子设备播报所述第二用户的语音的翻译结果,包括:
所述第一电子设备缓存的所述第二用户的语音的翻译结果超过预设数量时,播报所述第二用户的语音的翻译结果。
12.一种电子设备,其特征在于,包括:一个或多个处理器和存储器;
多个应用程序;
以及一个或多个计算机程序,其中所述一个或多个计算机程序被存储在所述存储器中,当所述计算机程序被所述电子设备执行时,使得所述电子设备实现如权利要求1至11任一所述的方法。
13.一种芯片,其特征在于,所述芯片与电子设备中的存储器耦合,使得所述芯片在运行时调用所述存储器中存储的计算机程序,实现如权利要求1至11任一所述的方法。
14.一种计算机存储介质,其特征在于,所述计算机可读存储介质包括计算机程序,当计算机程序在电子设备上运行时,使得所述电子设备执行如权利要求1至11任一所述的方法。
CN201811198715.7A 2018-10-15 2018-10-15 一种基于语音通话的翻译方法及电子设备 Pending CN109582976A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201811198715.7A CN109582976A (zh) 2018-10-15 2018-10-15 一种基于语音通话的翻译方法及电子设备
PCT/CN2019/111120 WO2020078330A1 (zh) 2018-10-15 2019-10-15 一种基于语音通话的翻译方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811198715.7A CN109582976A (zh) 2018-10-15 2018-10-15 一种基于语音通话的翻译方法及电子设备

Publications (1)

Publication Number Publication Date
CN109582976A true CN109582976A (zh) 2019-04-05

Family

ID=65920108

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811198715.7A Pending CN109582976A (zh) 2018-10-15 2018-10-15 一种基于语音通话的翻译方法及电子设备

Country Status (2)

Country Link
CN (1) CN109582976A (zh)
WO (1) WO2020078330A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110267309A (zh) * 2019-06-26 2019-09-20 广州三星通信技术研究有限公司 对通话语音进行实时翻译的方法及设备
CN110765787A (zh) * 2019-10-21 2020-02-07 深圳传音控股股份有限公司 一种信息交互的实时翻译方法、介质及终端
CN110956950A (zh) * 2019-12-02 2020-04-03 联想(北京)有限公司 一种数据处理方法、装置和电子设备
WO2020078330A1 (zh) * 2018-10-15 2020-04-23 华为技术有限公司 一种基于语音通话的翻译方法及电子设备
WO2020078332A1 (zh) * 2018-10-15 2020-04-23 华为技术有限公司 一种基于语音通话翻译能力的协商方法及电子设备
CN111415665A (zh) * 2020-04-07 2020-07-14 浙江国贸云商控股有限公司 视频通话的语音处理方法、装置及电子设备
CN114095906A (zh) * 2021-10-14 2022-02-25 华为技术有限公司 一种短距离通信方法及***

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104754536A (zh) * 2013-12-27 2015-07-01 ***通信集团公司 一种不同语言间实现通信的方法和***
WO2015183707A1 (en) * 2014-05-27 2015-12-03 Microsoft Technology Licensing, Llc In-call translation
CN106657543A (zh) * 2016-10-31 2017-05-10 北京小米移动软件有限公司 语音信息处理方法及装置
US20170149961A1 (en) * 2015-11-25 2017-05-25 Samsung Electronics Co., Ltd. Electronic device and call service providing method thereof
CN107343113A (zh) * 2017-06-26 2017-11-10 深圳市沃特沃德股份有限公司 语音通话方法和装置
CN107465816A (zh) * 2017-07-25 2017-12-12 广西定能电子科技有限公司 一种通话即时原声语音翻译的通话终端及方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107247711B (zh) * 2017-06-28 2020-10-02 河南拓恒电子科技有限公司 一种双向翻译方法、移动终端以及计算机可读存储介质
CN109582976A (zh) * 2018-10-15 2019-04-05 华为技术有限公司 一种基于语音通话的翻译方法及电子设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104754536A (zh) * 2013-12-27 2015-07-01 ***通信集团公司 一种不同语言间实现通信的方法和***
WO2015183707A1 (en) * 2014-05-27 2015-12-03 Microsoft Technology Licensing, Llc In-call translation
US20170149961A1 (en) * 2015-11-25 2017-05-25 Samsung Electronics Co., Ltd. Electronic device and call service providing method thereof
CN106657543A (zh) * 2016-10-31 2017-05-10 北京小米移动软件有限公司 语音信息处理方法及装置
CN107343113A (zh) * 2017-06-26 2017-11-10 深圳市沃特沃德股份有限公司 语音通话方法和装置
CN107465816A (zh) * 2017-07-25 2017-12-12 广西定能电子科技有限公司 一种通话即时原声语音翻译的通话终端及方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020078330A1 (zh) * 2018-10-15 2020-04-23 华为技术有限公司 一种基于语音通话的翻译方法及电子设备
WO2020078332A1 (zh) * 2018-10-15 2020-04-23 华为技术有限公司 一种基于语音通话翻译能力的协商方法及电子设备
US11886830B2 (en) 2018-10-15 2024-01-30 Huawei Technologies Co., Ltd. Voice call translation capability negotiation method and electronic device
CN110267309A (zh) * 2019-06-26 2019-09-20 广州三星通信技术研究有限公司 对通话语音进行实时翻译的方法及设备
CN110267309B (zh) * 2019-06-26 2022-09-23 广州三星通信技术研究有限公司 对通话语音进行实时翻译的方法及设备
CN110765787A (zh) * 2019-10-21 2020-02-07 深圳传音控股股份有限公司 一种信息交互的实时翻译方法、介质及终端
WO2021077659A1 (zh) * 2019-10-21 2021-04-29 深圳传音控股股份有限公司 一种信息交互的实时翻译方法、介质及终端
CN110956950A (zh) * 2019-12-02 2020-04-03 联想(北京)有限公司 一种数据处理方法、装置和电子设备
CN111415665A (zh) * 2020-04-07 2020-07-14 浙江国贸云商控股有限公司 视频通话的语音处理方法、装置及电子设备
CN114095906A (zh) * 2021-10-14 2022-02-25 华为技术有限公司 一种短距离通信方法及***

Also Published As

Publication number Publication date
WO2020078330A1 (zh) 2020-04-23

Similar Documents

Publication Publication Date Title
CN110138937B (zh) 一种通话方法、设备及***
CN109582976A (zh) 一种基于语音通话的翻译方法及电子设备
US20220039179A1 (en) Bluetooth Connection Method and Device
CN110087012B (zh) 一种摄像头的控制方法及电子设备
CN109327613B (zh) 一种基于语音通话翻译能力的协商方法及电子设备
CN110290262B (zh) 一种通话方法及终端设备
EP3852348A1 (en) Translation method and terminal
CN113660650B (zh) 设备回连的方法及相关装置
CN114115770B (zh) 显示控制的方法及相关装置
CN113395685A (zh) 蓝牙通信***和无线通信***
CN112335294B (zh) 一种紧急呼叫方法及用户终端
CN114466097A (zh) 防漏音的移动终端及移动终端的声音输出方法
CN109729475A (zh) 蓝牙耳机充电方法、电路、终端及计算机可读存储介质
CN112882622A (zh) 数据处理方法及装置、终端、存储介质
CN113905128B (zh) 呼叫提醒方法及终端
CN116056064B (zh) 一种双卡通信的方法和终端设备
CN109618062B (zh) 语音交互方法、装置、设备以及计算机可读存储介质
CN110138965B (zh) 一种可穿戴设备及其号码格式化的方法、装置及存储介质
CN107613236B (zh) 一种音像录制方法及终端、存储介质
WO2024001735A1 (zh) 网络连接方法、电子设备及存储介质
CN114006971B (zh) 一种投屏窗口音频控制方法、设备及计算机可读存储介质
CN117135266B (zh) 一种信息处理方法、装置及计算机可读存储介质
CN116981108B (zh) 无线投屏连接方法、移动终端及计算机可读存储介质
CN114697438B (zh) 一种利用智能设备进行通话的方法、装置、设备及存储介质
CN114691066A (zh) 一种应用的显示方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20210429

Address after: Unit 3401, unit a, building 6, Shenye Zhongcheng, No. 8089, Hongli West Road, Donghai community, Xiangmihu street, Futian District, Shenzhen, Guangdong 518040

Applicant after: Honor Device Co.,Ltd.

Address before: 518129 Bantian HUAWEI headquarters office building, Longgang District, Guangdong, Shenzhen

Applicant before: HUAWEI TECHNOLOGIES Co.,Ltd.

TA01 Transfer of patent application right
RJ01 Rejection of invention patent application after publication

Application publication date: 20190405

RJ01 Rejection of invention patent application after publication