CN108023934B - 电子装置及其控制方法 - Google Patents

电子装置及其控制方法 Download PDF

Info

Publication number
CN108023934B
CN108023934B CN201711058027.6A CN201711058027A CN108023934B CN 108023934 B CN108023934 B CN 108023934B CN 201711058027 A CN201711058027 A CN 201711058027A CN 108023934 B CN108023934 B CN 108023934B
Authority
CN
China
Prior art keywords
electronic device
user
data
speaking
utterance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711058027.6A
Other languages
English (en)
Other versions
CN108023934A (zh
Inventor
崔弼植
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN108023934A publication Critical patent/CN108023934A/zh
Application granted granted Critical
Publication of CN108023934B publication Critical patent/CN108023934B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H04L67/125Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/02Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H04L67/025Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/06Position of source determined by co-ordinating a plurality of position lines defined by path-difference measurements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/0252Radio frequency fingerprinting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803Home automation networks
    • H04L12/2816Controlling appliance services of a home automation network by calling their functionalities
    • H04L12/282Controlling appliance services of a home automation network by calling their functionalities based on user interaction within the home
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/51Discovery or management thereof, e.g. service location protocol [SLP] or web services
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04QSELECTING
    • H04Q9/00Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/0009Transmission of position information to remote stations
    • G01S5/0081Transmission between base stations
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/52Network services specially adapted for the location of the user terminal

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • General Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供了一种电子装置及其控制方法。所述电子装置包括:存储器;收发器,与至少一个外部装置进行通信;至少一个处理器,与存储器和收发器电连接。所述至少一个处理器被配置为:通过使用收发器从一个或更多个其他电子装置接收说话位置候选组和用于控制与说话位置相关联的***装置的命令,并且将接收到的说话位置候选组以及接收到的命令存储在存储器中;基于接收到的说话位置候选组来选择至少一个说话位置;向与选择的说话位置相关联的***装置发送用于控制***装置的命令。

Description

电子装置及其控制方法
本申请要求于2016年11月1日在韩国知识产权局提交且被分配序列号10-2016-0144536的韩国专利申请的优先权,上述申请的全部公开内容通过引用合并于此。
技术领域
本公开涉及一种用于控制***装置的电子装置。更具体地,本公开涉及一种用于执行以下操作的方法和设备:接收说话位置候选组以及用于控制与说话位置相关联的***装置的命令;选择至少一个说话位置;发送用于控制***装置的命令。
背景技术
互联网将诸如个人计算机(PC)、移动装置等的计算装置进行互连,从而使得可在装置之间交换信息。如今,根据相关技术,通过不具有计算功能的物体(例如,传感器、家用电器和仪表)与互联网以及计算装置的连接来试图交换各种信息或数据。如此,将物体连接到互联网的机制被统称为“物联网(IoT)”。
为了实现IoT环境,需要建立用于各种种类的IoT装置的通信、其他装置之间的通信、数据收集等的协议。
上述信息作为背景信息被呈现仅用于帮助理解本公开。对于任何的以上内容是否可用作针对本公开的现有技术,尚未作出确定,也未作出断言。
发明内容
本公开的各方面在于至少解决上述问题和/或缺点,并至少提供下述优点。因此,本公开的一方面在于提供一种用于通过使用IoT技术来控制物联网(IoT)装置的设备和方法,用户需要指定IoT装置并引导控制。例如,当用户通过语音来控制IoT装置时,需要准确地说话使得存在于特定位置的IoT装置被指定。
因此,每当用户控制存在于特定位置的特定IoT装置时,用户需要将特定位置与其他位置相区分。然而,这样的限制可能妨碍针对IoT的用户体验。
根据本公开的一方面,提供了一种电子装置。所述电子装置包括:存储器;收发器(例如,通信模块),与至少一个外部装置进行通信;至少一个处理器,与存储器和收发器电连接。所述至少一个处理器可被配置为:通过使用收发器从一个或更多个其他电子装置接收说话位置候选组和用于控制与说话位置相关联的***装置的命令,并且将接收到的说话位置候选组以及接收到的命令存储在存储器中;基于接收到的说话位置候选组来选择至少一个说话位置;向与选择的说话位置相关联的***装置发送用于控制***装置的命令。
根据本公开的另一方面,提供了一种用于控制电子装置的方法。所述方法包括:从一个或更多个其他电子装置接收说话位置候选组和用于控制与说话位置相关联的***装置的命令;基于接收到的说话位置候选组来选择至少一个说话位置;向与选择的说话位置相关联的***装置发送用于控制***装置的命令。
根据本公开的另一方面,提供了一种非暂时性计算机可读存储介质。所述存储介质存储当被执行时使至少一个处理器执行包括以下步骤的方法的指令:接收并存储来自一个或更多个其他电子装置的说话位置候选组和用于控制与说话位置相关联的***装置的命令;基于接收到的说话位置候选组来选择至少一个说话位置;向与选择的说话位置相关联的***装置发送用于控制***装置的命令。
根据本公开的各种实施例,电子装置可基于从多个其他电子装置接收到的信息来选择说话位置。
根据本公开的各种实施例,电子装置可通过向与说话位置相关联的***装置发送用于控制***装置的命令来控制与用户邻近的IoT装置。
从以下结合附图公开了本公开的各种实施例的详细描述中,本公开的其它方面、优点和显着特征对于本领域技术人员将变得显而易见。
附图说明
从以下结合附图进行的描述中,本公开的特定实施例的上述和其它方面、特征和优点将变得更加清楚,其中:
图1是示出根据本公开的实施例的网络环境中的电子装置的示图;
图2是根据本公开的实施例的电子装置的框图;
图3是根据本公开的实施例的程序模块的框图;
图4是用于描述根据本公开的实施例的通过使用电子装置来控制设置在房屋中的多个***装置的***的示图;
图5是示出根据本公开的实施例的电子装置的结构的框图;
图6是描述根据本公开的实施例的用于在用户装置中识别语音的方法的示图;
图7是用于描述根据本公开的实施例的电子装置创建用于获得(或确定)用户的说话位置的查找表的处理的流程图;
图8是用于描述根据本公开的实施例的电子装置建立用于获得(或确定)用户位置的查找表的情况的示图;
图9是用于描述根据本公开的实施例的为了获得(或确定)用户位置的目的而电子装置通过使用用户界面建立查找表的情况的示图;
图10是用于描述根据本公开的实施例的电子装置基于用户的话语来控制与用户邻近的***装置的处理的流程图;
图11是用于描述根据本公开的实施例的电子装置基于用户的话语来控制与用户邻近的***装置的处理的示图;
图12是用于描述根据本公开的实施例的当电子装置基于用户的话语来控制与用户邻近的***装置时另外地获取用户的确认的处理的流程图;
图13是用于描述根据本公开的实施例的当电子装置基于用户的话语控制与用户邻近的***装置时另外地获取用户的确认的情况的示图;以及
图14是用于描述根据本公开的实施例的电子装置基于用户的话语来控制与用户邻近的***装置的处理的流程图。
贯穿附图,应当注意,相同的标号用于描述相同或相似的元件、特征和结构。
具体实施方式
以下参照附图的描述被提供以帮助全面理解由权利要求和它们的等同物限定的本公开的各种实施例。所述描述包括各种具体细节以帮助进行理解,但是这些细节将被视为仅是示例性的。因此,本领域普通技术人员将意识到,在不脱离本公开的范围和精神的情况下,可以对本文所述的各种实施例进行各种改变和修改。此外,为了清楚和简明,可以省略对公知功能和构造的描述。
在以下描述和权利要求中使用的术语和词语不限于书面含义,而是仅由发明人使用以使得能够清楚和一致地理解本公开。因此,本领域技术人员应当清楚,本公开的各种实施例的以下描述仅是为了说明目的,而不是为了限制由所附权利要求和它们的等同物限定的本公开的目的。
将理解,除非上下文另外明确指出,否则单数形式包括复数指代。因此,例如,提到“组件表面”包括提到一个或更多个这样的表面。
除非另外指明,否则单数形式的术语可包括复数形式。在本公开中,表述“A或B”、“A或/和B中的至少一个”或者“A或/和B中的一个或更多个”等可包括相关列出项中的一个或更多个的任意组合或所有组合。诸如“第一”、“第二”等的术语可不管顺序和/或优先级被用于表示各种元素以及将相关元素与其他元素相区分,但不限制元素。当元件(例如,第一元件)被称为“(可操作地或通信地)与另一元件(例如,第二元件)耦接或(可操作地或通信地)耦接到另一元件(例如,第二元件)”或者“连接到”另一元件(例如,第二元件)时,所述元件可直接与所述另一元件耦接或直接耦接到所述另一元件或者直接连接到所述另一元件,或者可存在中间元件(例如,第三元件)。
根据该情况,在本公开中使用的表述“被配置为”可被用作例如表述“适合于”、“具有…的能力”、“适应于”、“被制造为”或“能够…”、或者以硬件或软件“设计为”。表述“被配置为的装置”可表示装置“能够”与另一装置或其他组件一起操作。例如,“被配置为(或设置为)执行A、B和C的处理器”可以是用于执行相应的操作的专用处理器(例如,嵌入式处理器)或通过执行存储在存储装置中的一个或更多个软件程序来执行相应的操作的通用处理器(例如,中央处理器(CPU)或应用处理器(AP))。
根据各种实施例的电子装置可包括例如以下项中的至少一个:智能电话、平板个人计算机(PC)、移动电话、视频电话、电子书阅读器、台式PC、膝上型计算机、上网本计算机、工作站、服务器、个人数字助理(PDA)、便携式多媒体播放器(PMP)、运动图像专家组(MPEG-1或MPEG-2)音频层3(MP3)播放器、医疗装置、相机或可穿戴装置。根据各种实施例,可穿戴装置可包括以下项中的至少一个:配件类型(例如,手表、戒指、手镯、脚镯、项链、眼镜、隐形眼镜或头戴装置(HMD))、织物或服装-集成类型(例如,电子服装)、身体附着类型(例如,皮肤垫或纹身)或者生物可植入类型(例如,可植入电路)。根据各种实施例,电子装置可包括例如以下项中的至少一个:电视(TV)、数字通用盘(DVD)播放器、音响、冰箱、空调、清洁器、烤箱、微波炉、洗衣机、空气净化器、机顶盒、家庭自动控制面板,安全控制面板、媒体盒(例如,三星HomeSyncTM,苹果TVTM或谷歌TVTM)、游戏机(例如XboxTM或PlayStationTM)、电子词典、电子钥匙、摄像机、电子相框等。
根据另一实施例,电子装置可包括以下项中的至少一个:各种医疗装置(例如,各种便携式医疗测量装置(例如,血糖监测装置、心跳测量装置、血压测量装置、体温测量装置等)、磁共振血管造影(MRA)、磁共振成像(MRI)、计算机断层摄影(CT)、扫描仪和超声装置)、导航装置、全球导航卫星***(GNSS)、事件数据记录器(EDR)、飞行数据记录器(FDR)、车辆信息娱乐装置、船用电子装备(例如,导航***和陀螺仪)、航空电子设备、安全装置、车用头部单元、工业或家用机器人、无人机、自动柜员机(ATM)、商店的销售点(POS)或物联网(例如,灯泡、各种传感器、洒水装置、火灾警报器、恒温器、路灯、烤面包机、运动装备、热水箱、加热器、锅炉等)。根据实施例,电子装置可包括以下项中的至少一个:家具或大楼/建筑物的部分、电子板、电子签名接收装置、投影仪或各种测量仪器(例如,水表、电表、气表或波表等)。根据各种实施例,电子装置可以是柔性电子装置、或者两个或更多个上述装置的组合。此外,根据本公开的实施例的电子装置可不限于上述电子装置。在本公开中,术语“用户”可指使用电子装置的人或者可指使用电子装置的装置(例如,人工智能电子装置)。
图1是示出根据本公开的实施例的网络环境中的电子装置的示图。
参照图1,根据实施例,对网络环境100中的电子装置101进行描述。电子装置101可包括总线110、处理器120(例如,至少一个处理器)、存储器130、输入/输出接口150、显示器160和通信接口170。根据实施例,电子装置101可不包括上述元件中的至少一个或者还可包括其他元件。总线110可以将上述元件110至170互连,并且可包括用于在上述元件之间传送通信(例如,控制消息和/或数据)的电路。处理器120可以包括中央处理单元(CPU)、应用处理器(AP)或通信处理器(CP)中的一个或更多个。例如,处理器120可执行与电子装置101的至少一个其他元件的控制和/或通信相关联的算术运算或数据处理。
存储器130可包括易失性和/或非易失性存储器。例如,存储器130可存储与电子装置101的至少一个其他元件相关联的指令或数据。根据实施例,存储器130可存储软件和/或程序140。程序140可包括例如内核141、中间件143、应用程序编程接口(API)145和/或应用程序(或“应用”)147。内核141、中间件143或API 145中的至少一部分可被称作“操作***(OS)”。例如,内核141可控制或管理用于执行其他程序(例如,中间件143、API 145和应用程序147)的操作或功能的***资源(例如,总线110、处理器120、存储器130等)。此外,内核141可提供允许中间件143、API 145或应用程序147来访问电子装置101的分立元件以便控制或管理***资源的接口。
中间件143可执行例如中介作用,使得API 145或应用程序147与内核141进行通信以交换数据。此外,中间件143可根据优先级来处理从应用程序147接收到的一个或更多个任务请求。例如,中间件143可将能够使用电子装置101的***资源(例如,总线110、处理器120、存储器130等)的优先级分配给应用程序147中的至少一个,并且可处理一个或更多个任务请求。API 145可以是应用程序147控制由内核141或中间件143提供的功能的接口,并且可包括例如用于文件控制、窗口控制、图像处理、字符控制等的至少一个接口或函数(例如,指令)。输入/输出接口150可将从用户或另一外部装置输入的指令或数据传送到电子装置101的其他元件,或者可将从电子装置101的其他元件接收到的指令或数据输出到用户或另一外部装置。
显示器160可包括例如液晶显示器(LCD)、发光二极管(LED)显示器、有机LED(OLED)显示器、微机电***(MEMS)显示器或电子纸显示器。显示器160可向用户显示例如各种内容(例如,文本、图像、视频、图标、符号等)。显示器160可包括触摸屏,并且可接收例如使用电子笔或用户身体的一部分进行的触摸输入、手势输入、接近输入或悬停输入。例如,通信接口170可建立电子装置101和外部装置(例如,第一电子装置102、第二电子装置104或服务器106)之间的通信。例如,通信接口170可通过无线通信(例如,短距离通信164)或有线通信连接到网络162以与外部装置(例如,第二电子装置104或服务器106)进行通信。
例如,无线通信可包括使用长期演进(LTE)、LTE高级(LTE-A)、码分多址(CDMA)、宽带CDMA(WCDMA)、通用移动电信***(UMTS)、无线宽带(WiBro)、全球移动通信***(GSM)等中的至少一个的蜂窝通信。无线通信可包括Wi-Fi、蓝牙(BT)、BT低功耗(BLE)、Zigbee、近场通信(NFC)、磁条传输(MST)、射频(RF)、体域网等。根据实施例,无线通信可以包括GNSS。GNSS可以是例如全球定位***(GPS)、全球导航卫星***(Glonass)、北斗导航卫星***(以下简称“北斗”)或欧洲全球卫星导航***(以下简称“伽利略”)中的一个。以下,在本公开中,可互换使用“GPS”和“GNSS”。有线通信可包括例如通用串行总线(USB)、高分辨率多媒体接口(HDMI)、推荐标准232(RS-232)、电力线通信、普通老式电话服务(POTS)等中的至少一个。网络162可包括电信网络(例如,计算机网络(例如,局域网(LAN)或广域网(WAN))、互联网或电话网络)中的至少一个。
第一电子装置102和第二电子装置104中的每一个可以是类型与电子装置101的类型不同或相同的装置。根据各种实施例,电子装置101将执行的全部操作或一部分操作可由另一或多个电子装置(例如,第一电子装置102、第二电子装置104或服务器106)来执行。根据实施例,在电子装置101自动地或响应于请求而执行任意功能或服务的情况下,电子装置101可不内部地执行所述功能或服务,而是,可选地或另外地,它可以向其他电子装置(例如,电子装置102或电子装置104或者服务器106)请求与电子装置101相关联的功能的至少一部分。另一电子装置(例如,电子装置102或电子装置104或者服务器106)可执行请求的功能或附加功能,并且可将执行结果发送到电子装置101。电子装置101可使用接收到的结果来提供请求的功能或服务,或者可另外地处理接收到的结果来提供请求的功能或服务。为此,例如,可以使用云计算、分布式计算或客户端-服务器计算。
图2示出了根据本公开的实施例的电子装置的框图。
参照图2,电子装置201可包括例如图1所示的电子装置101的全部或一部分。电子装置201可包括一个或更多个处理器(例如,应用处理器(AP))210、通信模块220、用户识别模块224、存储器230、传感器模块240、输入装置250、显示器260、接口270、音频模块280、相机模块291、电源管理模块295、电池296、指示器297和电机298。例如,处理器210可用片上***(SOC)来实现。根据实施例,处理器210还可包括图形处理单元(GPU)和/或图像信号处理器(ISP)。处理器210可包括图2所示的元件中的至少一部分(例如,蜂窝模块221)。处理器210可将从其他元件(例如,非易失性存储器)中的至少一个接收到的指令或数据加载到易失性存储器中,并且处理加载的指令或数据。处理器210可将结果数据存储在非易失性存储器中。
通信模块220可被配置为与图1的通信接口170相同或相似。通信模块220可包括蜂窝模块221、Wi-Fi模块223、蓝牙(BT)模块225、GNSS模块227、近场通信(NFC)模块228和射频(RF)模块229。蜂窝模块221可通过通信网络提供例如语音通信、视频通信、个性化服务、互联网服务等。根据实施例,蜂窝模块221可通过使用用户识别模块(例如,用户识别模块(SIM))224来执行通信网络内的电子装置201的识别和认证。根据实施例,蜂窝模块221可执行处理器210提供的功能中的至少一部分。根据实施例,蜂窝模块221可包括通信处理器(CP)。根据实施例,蜂窝模块221、Wi-Fi模块223、BT模块225、GNSS模块227或NFC模块228中的至少一部分(例如,两个或更多个)可被包括在一个集成电路(IC)或IC封装中。例如,RF模块229可发送和接收通信信号(例如,RF信号)。例如,RF模块229可包括收发器、功率放大器模块(PAM)、频率滤波器、低噪声放大器(LNA)、天线等。根据另一实施例,蜂窝模块221、Wi-Fi模块223、BT模块225、GNSS模块227或NFC模块228中的至少一个可通过单独的RF模块来发送和接收RF信号。用户识别模块224可包括例如包括用户识别模块的卡和/或嵌入式SIM,并且可包括唯一标识信息(例如,集成电路卡识别码(ICCID))或用户信息(例如,国际移动用户识别码(IMSI))。
存储器230(例如,图1中的存储器130)可包括内部存储器232或外部存储器234。例如,内部存储器232可以包括易失性存储器(例如,动态随机存取存储器(DRAM)、静态RAM(SRAM)、同步DRAM(SDRAM)等)和非易失性存储器(例如,一次性可编程只读存储器(OTPROM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、掩模ROM、快闪ROM、闪存、硬盘驱动器或固态驱动器(SSD))中的至少一个。外部存储器234可包括诸如紧凑闪存(CF)、安全数字(SD)、微型SD、迷你-SD、极速数字(xD)、多媒体卡(MMC)、记忆棒等的闪存驱动器。外部存储器234可通过各种接口被可操作地和/或物理地连接到电子装置201。
传感器模块240可测量例如物理量或者可检测电子装置201的操作状态。传感器模块240可将测量或检测到的信息转换为电信号。例如,传感器模块240可以包括手势传感器240A、陀螺仪传感器240B、大气压力传感器240C、磁性传感器240D、加速度传感器240E、握持传感器240F、接近传感器240G、颜色传感器240H(例如,红、绿、蓝(RGB)传感器)、生物传感器240I、温度/湿度传感器240J、照度传感器240K或紫外(UV)传感器240M中的至少一个。尽管未示出,但是,另外地或通常,传感器模块240还可包括例如电子鼻传感器、肌电图(EMG)传感器、脑电图(EEG)传感器、心电图(ECG)传感器、红外(IR)传感器、虹膜传感器和/或指纹传感器。传感器模块240还可包括用于控制包括在其中的一个或更多个传感器的控制电路。根据实施例,电子装置201还可包括作为处理器210的一部分或独立于处理器210并被配置为控制传感器模块240的处理器。所述处理器可在处理器210保持睡眠状态的情况下控制传感器模块240。
输入装置250可包括例如触摸面板252、(数字)笔传感器254、键256或超声输入单元或装置258。例如,触摸面板252可使用电容、电阻、红外(IR)和超声检测方法中的至少一个。此外,触摸面板252还可以包括控制电路。触摸面板252还可以包括触觉层以向用户提供触觉反应。(数字)笔传感器254可以是例如触摸面板的一部分,或者可包括用于识别的附加片。键256可以包括例如物理按钮、光学键或键区。超声输入装置258可通过麦克风(例如,麦克风288)检测(或感测)从输入装置产生的超声信号,并且可检查与检测到的超声信号相应的数据。
显示器260(例如,图1所示的显示器160)可包括面板262、全息图装置264、投影仪266和/或用于控制面板262、全息图装置264或投影仪266的控制电路。面板262可被实现为例如柔性的、透明的或可穿戴的。面板262和触摸面板252可被集成为单个模块。根据实施例,面板262可包括测量用户的触摸压力的强度的压力传感器(或力传感器)。压力传感器可与触摸面板252被一体地实现,或者可被实现为与触摸面板252分离的至少一个传感器。全息图装置264可使用光干涉现象在空中显示立体图像。投影仪266可将光投射到屏幕上以显示图像。例如,屏幕可被布置在电子装置201的内部或外部。接口270可包括例如高清晰度多媒体接口(HDMI)272、通用串行总线(USB)274、光学接口276或D超小型(D-sub)278。接口270可被包括在例如图1所示的通信接口170中。另外地或通常,接口270可包括例如移动高清晰度链路(MHL)接口、SD卡/多媒体卡(MMC)接口或红外数据协会(IrDA)标准接口。
音频模块280可将声音和电信号进行双向转换。音频模块280中的至少一部分可被包括在例如图1所示的输入/输出接口150中。音频模块280可以处理例如通过扬声器282、接收机284、耳机286或麦克风288输入或输出的声音信息。例如,相机模块291可拍摄静止图像或视频。根据实施例,相机模块291可包括一个或更多个图像传感器(例如,前置传感器或后置传感器)、镜头、图像信号处理器(ISP)或闪光灯(例如,LED或氙气灯)。电源管理模块295可管理例如电子设备201的电源。根据实施例,电源管理集成电路(PMIC)、充电器IC或者电池或电量量表可被包括在电源管理模块295中。所述PMIC可具有有线充电方法和/或无线充电方法。无线充电方法可以包括例如磁共振方法、磁感应方法或电磁方法,并且还可包括附加电路,例如,线圈环路、共振电路、整流器等。例如,电池量表可测量电池296的剩余容量以及在电池充电时电池296的电压、电流或温度。电池296可包括例如可再充电电池和/或太阳能电池。
指示器297可显示电子装置201或其一部分(例如,处理器210)的特定状态,例如,启动状态、消息状态、充电状态等。电机298可将电信号转换为机械振动并且可产生以下效果:振动、触觉等。电子装置201可包括用于支持移动TV的处理装置(例如,GPU)。用于支持移动TV的处理装置可根据数字多媒体广播(DMB)、数字视频广播(DVB)、MediaFLOTM等的标准来处理媒体数据。根据本公开的各种实施例的电子装置的上述元件中的每一个可配置有一个或更多个组件,并且可根据电子装置的类型而改变元件的名称。在各种实施例中,可省略电子装置(例如,电子装置201)的一些元件,或者可以添加其他附加元件。此外,电子装置的元件中的一些可被彼此组合以形成一个实体,使得元件的功能可以以与组合之前相同的方式被执行。
根据实施例的电子装置可包括:存储器;通信模块,与至少一个外部装置进行通信;处理器,与存储器和通信模块电连接。处理器可进行控制以执行以下操作:通过使用通信模块来从一个或更多个其他电子装置接收说话位置候选组和用于控制与说话位置相关联的***装置的命令,并且将接收到的说话位置候选组和接收到的命令存储在存储器中;基于接收到的说话位置候选组来选择至少一个说话位置;向与选择的说话位置相关联的***装置发送用于控制***装置的命令。
在根据实施例的电子装置中,处理器可在接收到的说话位置候选组中选择被大多数其他电子装置确定为说话位置候选的说话位置,作为所述至少一个说话位置。
在根据实施例的电子装置中,如果被大多数其他电子装置确定为说话位置候选的说话位置是多个说话位置,则处理器可将所述多个说话位置的列表发送给用户装置,并且可选择从用户装置接收到的说话位置作为所述至少一个说话位置。
在根据实施例的电子装置中,基于从用户装置接收到包括以下项的第一数据:从用户接收到话语的时间、通过将话语转换为字符形式的数据而获得的数据、以及用户装置在接收话语的时间点的位置信息,处理器可创建包括以下项的查找表:说话位置、与说话位置相关联的***装置、从用户装置接收到话语的时刻到电子装置接收到第一数据的时刻的到达时间、以及包括第一数据的信号的基于说话位置的强度。
在根据实施例的电子装置中,基于从用户装置接收到包括以下项的第二数据:从用户接收到话语的时间、以及通过将话语转换为字符形式的数据而获得的数据的第二数据,处理器可获取从用户装置接收到话语的时刻到电子装置接收到第二数据的时刻的到达时间。
在根据实施例的电子装置中,第一数据和第二数据可通过以下操作产生:用户装置基于语音识别算法识别用户的话语,并将识别的话语转换为字符形式的数据。
在根据实施例的电子装置中,如果第二数据还包括用户装置在接收到话语的时间点的位置信息,则处理器可以将第二数据改变为第一数据并更新包括以下项的查找表:说话位置、与说话位置相关联的***装置、从用户装置接收到话语的时刻到电子装置接收到第一数据的时刻的到达时间、以及包括第一数据的信号的基于说话位置的强度。
在根据实施例的电子装置中,用户装置可识别用户的语音,将识别的语音转换为字符形式的数据,并基于包括在转换后的字符数据中的短语来获取用户装置在接收到话语的时间点的位置信息。
在根据实施例的电子装置中,电子装置可用作主集线器,并且其他电子装置可用作从集线器或用户装置中的至少一个。
在根据实施例的电子装置中,处理器可基于从用户装置接收到话语的时刻到电子装置接收到第二数据的时刻的到达时间以及查找表来选择产生第二数据的说话位置候选。
图3示出了根据本公开的实施例的程序模块的框图。
参照图3,程序模块310(例如,程序140)可包括操作***(OS)以控制与电子装置(例如,电子装置101)相关联的资源的和/或在OS上驱动的各种应用(例如,图1所示的应用程序147)。OS可以是例如AndroidTM、iOSTM、WindowsTM、SymbianTM、TizenTM或BadaTM。程序模块310可包括内核320(例如,内核141)、中间件330(例如,图1所示的中间件143)、应用编程接口(API)360(例如,图1所示的API 145)和/或应用370(例如,图1所示的应用程序147)。程序模块310的至少一部分可以被预先加载到电子装置上,或者可从外部电子装置(例如,第一电子装置102、第二电子装置104、服务器106等)下载。
内核320(例如,内核141)可包括例如***资源管理器321或装置驱动器323。***资源管理器321可以控制、分配或检索***资源。根据实施例,***资源管理器321可包括进程管理单元、存储器管理单元、文件***管理单元等。装置驱动器323可以包括例如显示器驱动器、相机驱动器、蓝牙驱动器、共享存储器驱动器、USB驱动器、键区驱动器、Wi-Fi驱动器、音频驱动器或者进程间通信(IPC)驱动器。中间件330可以提供例如应用370共同需要的功能,或者可以通过API 360向应用370提供不同的功能,以允许应用370有效地使用电子装置的有限的***资源。根据实施例,中间件330可包括运行时库335、应用管理器341、窗口管理器342、多媒体管理器343、资源管理器344、电源管理器345、数据库管理器346、包管理器347、连接管理器348、通知管理器349、位置管理器350、图形管理器351或安全管理器352中的至少一个。
运行时库335可包括例如在应用370正被执行时由编译器使用以通过编程语言将添加新功能的库模块。运行时库335可以执行输入/输出管理、存储器管理或关于算术功能的能力。应用管理器341可管理例如应用370中的至少一个应用的生命周期。窗口管理器342可管理在屏幕中使用的图形用户界面(GUI)资源。多媒体管理器343可识别播放各种媒体文件所需的格式,并且可通过使用适合于所述格式的编解码器来执行媒体文件的编码或解码。资源管理器344可以管理诸如应用370的存储器空间或源代码的资源。电源管理器345可以管理电池或电源,并且可提供用于电子装置的操作的电源信息。根据实施例,电源管理器345可用基本输入/输出***(BIOS)来操作。数据库管理器346可产生、搜索或修改将在应用370中使用的数据库。包管理器347可以安装或更新以包文件的形式分布的应用。
连接管理器348可管理例如无线连接。通知管理器349可向用户提供例如到达消息、约会或接近通知的事件。例如,位置管理器350可管理关于电子装置的位置信息。图形管理器351可以管理提供给用户的图形效果,或管理与其相关的用户界面。安全管理器352可提供例如***安全性或用户认证。根据实施例,中间件330可以包括用于管理电子装置的语音或视频呼叫功能的电话管理器或组合上述元件的各种功能的中间件模块。根据实施例,中间件330可以提供每个OS种类专用的模块以提供差异化的功能。另外地,中间件330可以动态地去除预先存在的元素中的一部分,或者可以向其中添加新的元素。API 360可以是例如编程函数集,并且可设置有根据OS可变的配置。例如,在OS是Android或iOS的情况下,它可以为每个平台提供一个API集。在OS是TizenTM的情况下,它可以为每个平台提供两个或更多个API集。
应用370可包括例如诸如主页371、拨号器372、短消息服务(SMS)/多媒体消息服务(MMS)373、即时消息(IM))374、浏览器375、相机376、闹钟377、联系人378、语音拨号379、电子邮件380、日历381、媒体播放器382、相册383、手表384、医疗保健(例如,测量运动量、血糖等)或环境信息(例如,气压、湿度、温度等的信息)的应用。根据实施例,应用370可包括用于支持电子装置和外部电子装置之间的信息交换的信息交换应用。信息交换应用可包括例如用于向外部电子装置发送特定信息的通知转发应用或用于管理外部电子装置的装置管理应用。例如,通知转发应用可以包括将从其他应用产生的通知信息发送到外部电子装置的功能,或者可从外部电子装置接收例如通知信息并向用户提供通知信息。装置管理应用可安装、删除或更新例如与电子装置进行通信的外部电子装置的功能(例如,外部电子装置自身(或组件中的一部分)的打开/关闭或显示器的亮度(或分辨率)的调整)以及在外部电子装置中运行的应用。根据实施例,应用370可以包括根据外部电子装置的属性分配的应用(例如,移动医疗装置的医疗保健应用)。根据实施例,应用370可包括从外部电子装置接收的应用。程序模块310中的至少一部分可由软件、固件、硬件(例如,图2所示的处理器210)或它们中的两个或更多个的组合(例如,执行)来实现,并且可包括用于执行一个或更多个功能的模块、程序、例程、指令集、进程等。
图4是用于描述根据本公开的实施例的通过使用电子装置来控制设置在房屋中的多个***装置的***的示图。
参照图4,***可包括用户装置420、电子装置410和***装置430。图4的用户装置420可包括图1的电子装置101和图2的电子装置201。用户装置420、电子装置410以及***装置430可被包括在一个空间10中。
用户装置420可与电子装置410进行通信,并且可以获得电子装置410通过***装置430收集的数据。此外,用户装置420可将用于控制***装置430的命令发送到电子装置410。根据实施例,用户装置420可通过使用语音识别功能来识别用户的语音,并且可基于识别的内容来产生并发送用于控制***装置430的命令。
作为另一实施例,用户装置420可以直接与***装置430进行通信。在这种情况下,用户装置420可直接从***装置430获取数据,或者可直接将用于控制***装置430的命令发送到***装置430。
根据各种实施例的用户装置420可以包括例如以下项中的至少一个:智能电话、平板个人计算机(PC)、移动电话、视频电话、电子书阅读器、台式PC、膝上型PC、上网本计算机、个人数字助理(PDA)、便携式多媒体播放器(PMP)、MPEG-1或MPEG-2音频层3(MP3)播放器、移动医疗装置、相机或可穿戴装置(例如,智能眼镜、头戴装置(HMD)、电子服装、电子手链、电子项链、电子配件、电子纹身、智能镜子或智能手表)。
此外,在本公开中,术语“用户”可表示使用***装置430、电子装置410或用户装置420中的至少一个的人,或者可表示使用装置410、420和430的装置(例如,人工智能电子装置)。
电子装置410可与外部装置(例如,***装置430、用户装置420、服务器(未示出)或任何其他电子装置(未示出))进行通信,并且可控制外部装置,或者可执行由外部装置控制的受控功能。此外,电子装置410可执行从***装置430收集数据并将收集的数据发送到外部另一装置的功能。
电子装置410可以是例如家庭网络控制器、机顶盒、媒体装置(例如,三星HomeSyncTM、谷歌TVTM或苹果TVTM)、游戏控制台(例如,微软XBOXTM或索尼PlayStationTM)、网络接入点、安全控制面板、家庭气候控制器或网关。
根据实施例,电子装置410可以是例如集线器装置。集线器装置可以包括两种集线器装置:IoT集线器装置和通用集线器装置。IoT集线器装置可被一直连接到本地互联网,并且可以通过与不具有IP的装置的连接来提供互联网协议(IP)服务。通用集线器装置可与属于本地互联网的IoT装置连接以获取数据或控制IoT装置。
***装置430可感测***环境,并且可将感测到的数据(例如,感测值或基于感测值的感测信息)发送到外部装置(例如,电子装置410、用户装置420、服务器(未示出)或任何其它***装置(未示出));可选地,***装置430可根据外部装置的控制命令进行操作。
根据实施例,***装置430可包括IoT装置和通用装置。IoT装置可通过使用它自己的IP与***装置进行通信,并且通用装置可与上述IoT集线器装置电连接以能够与外部装置进行通信。
***装置430可包括例如以下项中的至少一个:各种传感器(例如,运动检测传感器、窗口打开/关闭检测传感器、烟雾检测传感器、功率输出检测传感器等)、气表、喷淋装置、火灾报警器、恒温器、路灯、运动装备、热水箱、加热器、锅炉、家用电器(例如,电视(TV)、冰箱、烤箱、洗衣机、烘干机等)、路灯、电表、气表、太阳能发电***、喷淋***、恒温器、车辆、可穿戴装置、闭路电视(CCTV)、笔、键盘、鼠标、充电器、家具(例如,床和镜子)、门锁或安全***。可穿戴装置可包括配件类型的装置(例如,钟表、戒指、手镯、脚镯、项链、眼镜、隐形眼镜或头戴装置(HMD))或者单件式织物或服装类型的装置(例如电子服装)中的至少一个。
根据实施例,电子装置410和***装置430可建立无线通信。建立无线通信可意味着例如电子装置410和***装置430彼此连接或配对。此外,建立无线通信可意味着形成用于电子装置410和***装置430之间的数据交换的信道。用户装置420可通过使用短距离通信(例如,蓝牙)与电子装置410或***装置430进行通信。
根据各种实施例,***装置430和电子装置410可与未示出的任何其它***电子装置形成一个本地网络。
参照图4,用户装置420可识别用户的话语,并且可将识别的结果转换为字符形式的信号,从而基于用户话语执行命令。例如,如果用户说出“点亮”,则用户装置420可以接收用户的话语,并且可以将接收到的话语转换为字符形式,从而识别命令“点亮”。
用户装置420可将转换为字符形式的命令发送到电子装置410。根据实施例,用户装置420可同时将命令发送到多个电子装置410。多个电子装置410可基于接收到的命令“点亮”来激活与连接的每个电子装置电连接的电灯。
多个电子装置中的每一个可基于用户的话语被接收的时间和话语被产生的时间来估计用户的话语被产生的地点,并且可激活与用户的最后位置邻近的电灯。因此,用户可以激活期望位置的电灯,而不需要指定存在于特定位置的电灯并给出命令。
图5是示出根据本公开的实施例的电子装置410的结构的框图。
参照图5,电子装置410可由第一通信模块(或第一无线通信模块)510、第二通信模块(或第二无线通信模块)540、电源管理模块550、存储器520和处理器(或控制电路)530(例如,至少一个处理器)组成。
第一通信模块510可包括发射和接收RF信号的RF模块512和短距离通信模块511,并且第二通信模块540可包括发射和接收RF信号的RF模块542和短距离通信模块541。第一通信模块510和第二通信模块540中的每一个可包括长距离模块。
短距离通信模块511和541以及长距离通信模块的示例代替了图2中所述的电子装置201的通信模块220的示例,并且这里将不重复其详细描述。
根据实施例的电子装置410可通过第一通信模块510和第二通信模块540来与外部电子装置进行通信。例如,第一通信模块510可以执行与***装置(例如,***装置430)的通信,并且第二通信模块540可以执行与用户装置(例如,用户装置420)的通信。作为另一实施例,第一通信模块510和第二通信模块540中的一个可与***装置(例如,***装置430)和用户装置(例如,用户装置420)两者进行通信。
根据实施例的电子装置410可通过集成了第一通信模块510和第二通信模块540的一个通信模块与外部电子装置进行通信。例如,电子装置410的集成通信模块(未示出)可以通过时分复用(TDD)或频分复用(FDD)与一个或更多个外部电子装置(例如,***装置430、用户装置420等)进行通信。
电源管理模块550可控制用于驱动电子装置410的电力。电源管理模块550可连续地将从发电机供应的外部电力供应给电子装置410,或者可以将从电池供应的电力提供给电子装置410。
存储器520可包括内部存储器或外部存储器。存储器520的示例用图2中所述的电子装置的存储器230的示例替换,并且这里将不重复其详细描述。
处理器(或控制电路)530可执行电子装置410的整体操作。
例如,处理器530可分析从用户装置(例如,用户装置420)接收到的命令以选择命令产生的位置的候选组。为了创建用于对候选组进行选择的查找表,处理器530可与用户装置(例如,用户装置420)进行通信,可针对每个位置计算从用户装置(例如,用户装置420)产生的命令到达电子装置410所花费的到达时间,并且可将计算出的到达时间存储在存储器520中。
此外,处理器530可从收集的多个候选组中选择频率最高的候选组,以最终选择产生命令的位置。
图6是描述根据本公开的实施例的用于在用户装置中识别语音的方法的示图。
参照图6,一个或更多个电子装置(例如,电子装置410、用户装置420或***装置430)可使用语音识别技术。例如,在用户装置(例如,用户装置420)对输入的语音进行分析以提取特征之后,用户装置可测量与预先收集的语音模型的数据库的相似性,并且可以将最相似的事物转换为字符或指令。语音识别技术可以是一种模式识别处理;由于人的声音、发音、口音等不同,所以可通过从尽可能多的人收集语音数据并从收集的语音数据提取共同特征来产生参考模式。根据实施例,一个或更多个电子装置可以基于通过外部电子装置(例如,图1所示的服务器106)接收到的信息来执行语音识别。
参照图6,语音识别可被大致地分为预处理操作和识别操作。用户装置(例如,图4中的用户装置420)可通过麦克风等获取用户的语音。用户装置(例如,用户装置420)可对获取的语音进行分析以提取语音识别时段(610)。实际无意义的声音(诸如,***噪声)可能被包括在获取的语音中。因此,用户装置(例如,用户装置420)可对提取的语音识别时段执行噪声处理(620)。上述操作610和620可以被定义为预处理操作。
用户装置(例如,用户装置420)可对通过预处理操作去除了噪声的语音进行分析,并且可提取用于语音识别的特征(630)。用户装置(例如,用户装置420)可将输入的语音与语音数据库进行比较,以输出最合适的词语作为识别结果(640)。例如,一旦识别到不是简单的指令而是句子,用户装置(例如,用户装置420)可通过使用诸如连接词语识别、连续语音识别、对话识别等的方法来提高识别的性能。用户装置(例如,用户装置420)可以收集实际使用的语言模式的规律性以使用用于更准确的识别的语音识别模型。
用户装置(例如,用户装置420)可反映识别的结果以执行预定义的操作(650)。此外,用户装置(例如,用户装置420)可通过将识别的结果转换为声音或通过将识别的结果显示在显示器(未示出)中来将识别的结果通知给用户。此外,用户装置(例如,用户装置420)可将识别的结果发送到电子装置(例如,电子装置410),以允许电子装置410执行预定义的操作。
图7是用于描述根据本公开的实施例的电子装置创建用于获得(或确定)用户的说话位置的查找表的处理的流程图。
参照图7,电子装置410可与用户装置420进行通信以创建与用户的位置相关联的查找表。
参照操作710,用户装置420可从用户接收话语。参照操作720,用户装置420可将接收的话语转换为字符形式的数据。例如,用户装置420可以将接收到的语音转换为JavaScript对象符号(JSON,JavaScript object notation)形式。
参照操作730,用户装置420可以分析字符形式的数据来获得(或确定)用户的位置。然而,获得(或确定)用户的位置的方式不限于此。例如,用户装置420可通过使用与接收到话语的地点相应的用户装置420的GPS信息或通过使用任何其它位置传感器收集的位置信息来获得(或确定)用户的位置。
参照操作740,用户装置420可将转换为字符形式的数据、位置信息、从接收到来自用户的话语的时间等作为第一数据发送到电子装置410。用户装置420可通过使用诸如Wi-Fi、蓝牙(BT)、蓝牙低能耗(BLE)、Zigbee、近场通信(NFC)、磁安全传输或体域网的短距离通信方法来将例如第一数据发送到电子装置410。然而,发送方式可不限于此。例如,可使用各种无线通信方法。
参照操作750,电子装置410可基于接收到第一数据的接收时刻和用户装置420从用户接收到话语的时间来获取第一数据的到达时间。例如,电子装置410可将从用户装置420从用户接收到话语的时刻到第一数据的接收时刻的时间确定为第一数据的到达时间。参照操作760,电子装置410可将计算出的到达时间、信号强度以及位置信息与和相应位置邻近的***装置进行匹配以创建查找表。
图8是用于描述根据本公开的实施例的电子装置创建用于获得(或确定)用户位置的查找表的情况的示图。
参照图8,多个电子装置411、412以及413和多个***装置431、432、433、434以及435可被布置在一个空间10中。
多个电子装置411、412和413可以包括用作IoT集线器的第一电子装置411、用作通用集线器的第二电子装置412、和第三电子装置413。例如,第二电子装置412可以是TV,并且第三电子装置413可以是冰箱。根据实施例,多个电子装置411、412和413中的一个可以是主集线器,并且其余的电子装置可以是从集线器。
在图8中,第一电子装置411可用作主集线器,并且第二电子装置412和第三电子装置413可以用作从集线器。然而,集线器的角色可以不是固定的,如有必要,可被改变。以下,将在第一电子装置411被设置为主集线器并且第二电子装置412和第三电子装置413被设置为从集线器的假设下给出描述。
多个***装置431、432、433、434和435可包括例如第一电灯431、第二电灯432、第三电灯433、第四电灯434和第五电灯435。
根据实施例,多个电子装置411、412和413以及多个***装置431、432、433、434和435可被布置在属于一个空间10的不同区域中。例如第一电灯431、第一电子装置411和第二电子装置412可被布置在第一区域851中。第二电灯432和第三电子装置413可被布置在第二区域852中。第三电灯433可被布置在第三区域853中,第四电灯434可被布置在第四区域854中,第五电灯435可被布置在第五区域855中。
上述***装置431、432、433、434和435以及上述电子装置411、412和413可以通过一个本地网络彼此连接。
为了在电子装置411、412和413中的每一个中创建查找表,用户820可例如向用户装置(例如,用户装置420)说出“这里是第一区域”。用户装置(例如,用户装置420)可接收用户820的话语,并且可以将接收到的话语转换为字符形式的数据。例如,用户装置(例如,用户装置420)可将接收到的语音转换为JSON形式的数据。
用户装置(例如,用户装置420)可将转换后的字符形式的数据和位置信息作为第一数据发送到多个电子装置411、412和413。用户装置(例如,用户装置420)可通过使用包括在字符数据中的短语“第一区域”来获得(或确定)用户820当前在“第一区域”中。根据另一实施例,用户可通过使用单独的输入装置(诸如,用户装置的触摸屏、物理键等)将用户当前在“第一区域”中输入到用户装置(例如,用户装置420)。
用户装置(例如,用户装置420)可将转换后的字符形式的数据、位置信息和/或话语接收时刻作为第一数据发送到多个电子装置411、412和413。用户装置(例如,用户装置420)可例如通过使用诸如蓝牙的短距离通信方法来将第一数据发送到多个电子装置411、412和413。
电子装置411、412和413中的每一个可接收从用户装置(例如,用户装置420)发送的第一数据。电子装置411、412和413中的每一个可计算从用户装置(例如,用户装置420)接收到话语的时刻到在电子装置411、412和413中的每一个中接收到第一数据的时刻的到达时间。在这种情况下,接收到话语的时刻可例如用在用户装置(例如,用户装置420)中产生第一数据的时刻、第一数据被从用户装置(例如,用户装置420)完全发送的时刻等替换。
根据实施例,电子装置411、412和413分别计算出的到达时间可以不同。例如,第一电子装置411计算出的到达时间可以是0.6ms,第二电子装置412计算出的到达时间可以是0.7ms,并且第三电子装置413计算出的到达时间可以是0.9ms。用作主集线器的第一电子装置411稍后可通过使用计算出的时间来选择用户是否在某个位置说话。
根据实施例,电子装置411、412和413分别测量出的信号强度可以不同。例如,第一电子装置411测量出的信号强度可以是-60dBm,第二电子装置412测量出的信号强度可以是-70dBm,并且第三电子装置413测量出的信号强度可以是-90dBm。用作主集线器的第一电子装置411稍后可通过使用计算出的信号强度来选择用户是否在某一位置说话。
用户可移动到另一区域以执行与上述描述相同的行为。如上所述,电子装置411、412和413中的每一个可计算另一区域中的到达时间。例如,用户可在第二区域852中说出“这里是第二区域”。用户装置(例如,用户装置420)可将接收到的话语转换为字符形式的数据,并且可以将关于用户说话的位置的信息和/或话语接收时刻作为第一数据发送到电子装置411、412和413中的每一个。
电子装置411、412和413中的每一个可通过使用第一数据来计算到达时间。类似于上述情况,电子装置411、412和413分别计算出的到达时间可以不同。例如,第一电子装置411计算出的到达时间可以是0.9ms,第二电子装置412计算出的到达时间可以是0.8ms,并且第三电子装置413计算出的到达时间可以是0.5ms。
电子装置411、412和413可以通过上述处理分别创建诸如以下表1至表3的查找表。
表1第一电子装置的查找表
Figure GDA0003470627370000211
表2第二电子装置的查找表
Figure GDA0003470627370000212
表3第三电子装置的查找表
Figure GDA0003470627370000221
根据实施例,用户的位置可在电子装置411、412和413创建的查找表中被细分。此外,可通过整合多个区域来减少用户位置的数量。用户还可添加或删除***装置。
根据实施例,用户装置(例如,用户装置420)可将产生的第一数据重复地发送到电子装置411、412和413。电子装置411、412和413中的每一个可基于接收到的多个第一数据的平均到达时间来配置查找表。
根据实施例,针对电子装置411、412和413中的每一个的用户位置或***装置的列表可基于电子装置411、412和413的特性(例如,操作状态、控制能力等)而不同。
图9是用于描述根据本公开的实施例的电子装置为了获得(或确定)用户位置而通过使用用户界面来建立查找表的情况的示图。
参照图9,根据实施例的用户装置420可提供能够建立查找表的用户界面910。例如,用户装置420可在显示器425中显示与上述的一个空间10相应的用户界面910。在持有用户装置420的同时移动到上述空间10的第一区域851之后,用户可在用户界面910中选择用户所在的第一区域951。
例如,用户可通过在显示器425上触摸与第一区域951相应的位置来选择第一区域951。此外,用户可操作单独的物理键来选择第一区域951。
用户装置420可将用户的位置信息和/或选择时刻作为第一数据发送到电子装置411、412和413中的每一个。电子装置411、412和413中的每一个可以接收从用户装置420发送的第一数据。电子装置411、412和413中的每一个可计算从选择被输入到用户装置420的时刻到在电子装置411、412和413中的每一个中接收到第一数据的时刻的到达时间。
根据实施例,电子装置411、412和413分别计算出的到达时间可以不同。例如,第一电子装置411计算出的到达时间可以是0.6ms,第二电子装置412计算出的到达时间可以是0.7ms,并且第三电子装置413计算出的到达时间可以是0.9ms。
用户可以移动到上述空间10的第二区域852以执行与上述描述相同的行为,并且电子装置411、412和413中的每一个可通过使用用户的行为来计算新的到达时间。
电子装置411、412和413中的每一个可通过使用第一数据来计算到达时间。类似于上述情况,电子装置411、412和413分别计算的到达时间可以不同。例如,第一电子装置411计算出的到达时间可以是0.9ms,第二电子装置412计算出的到达时间可以是0.8ms,并且第三电子装置413计算出的到达时间可以是0.5ms。
电子装置411、412和413可以通过上述处理分别创建诸如上述表1至表3的查找表。
图10是用于描述根据本公开的实施例的电子装置基于用户的话语来控制与用户邻近的***装置的处理的流程图。
参照图10,在操作1010,用户装置420可从用户接收话语。例如,用户装置420可接收语音“点亮”。参照操作1020,用户装置420可通过使用语音识别算法将接收到的话语转换为字符形式的数据。例如,用户装置420可将接收到的语音转换为JSON形式的数据。
用户装置420可对通过使用语音识别算法转换出的字符形式的数据中包括的内容进行验证。例如,用户装置420可基于预先存储的语音识别算法来验证包括在字符数据中的短语“点亮”,并且可基于验证结果来验证用户想要激活电灯的意图。
参照操作1030,用户装置420可将转换为字符形式的数据作为第一数据发送到一个或更多个电子装置(例如,电子装置410)。
第一数据可包括例如从用户接收到话语的时刻、通过将话语转换为字符形式而获取的数据、和用户装置在接收到话语的时间点的位置信息,并且第二数据可包括例如从用户接收到话语的时刻和通过将话语转换为字符形式而获取的数据。电子装置可通过使用第一数据来创建表1至表3所写的查找表。电子装置可通过使用第二数据来选择说话位置候选组,并且可将选择的组发送到主电子装置。
用户装置420可例如通过使用诸如蓝牙的短距离通信方法来将第二数据发送到一个或更多个电子装置410。
参照操作1040,一个或更多个电子装置410可基于接收到第二数据的接收时刻和用户装置420接收到话语的时刻来获得第二数据的到达时间。参照操作1050,一个或更多个电子装置410可将获得的到达时间与查找表进行比较以选择说话位置候选组,其中,在查找表中,表1至表3中所述的到达时间和说话位置被匹配。
参照操作1060,一个或更多个电子装置410可将关于说话位置候选组的信息发送到主电子装置411。
参照操作1070,主电子装置411可选择接收到的候选组中的至少一个候选组中的地点作为产生话语的地点。例如,主电子装置411可在接收到的候选组中选择多个推荐的候选位置作为产生话语的地点。
参照操作1080,主电子装置411可基于用户装置420转换出的字符数据来产生和发送用于控制位于产生话语的第一区域中的***装置430的信号。在操作1090,***装置430执行它的功能。
如此,根据本公开的实施例,用户可仅使用不指定特定位置的简单命令来控制期望位置的***装置。
图11是用于描述根据本公开的实施例的电子装置基于用户的话语来控制与用户邻近的***装置的处理的示图。
参照图11,多个电子装置411、412和413以及多个***装置431、432、433、434和435可被布置在一个空间中。多个电子装置411、412、413和多个***装置431、432、433、434和435的配置与图1的配置相同,这里将不重复其详细描述。上述***装置431、432、433、434和435以及上述电子装置411、412和413可以通过一个本地网络彼此连接。
为了激活与用户1120邻近的智能电灯,用户1120可向用户装置(例如,用户装置420)说出语音“点亮”。用户装置(例如,用户装置420)可接收用户1120的说话,并且可将接收到的话语转换为字符形式的数据。
用户装置(例如,用户装置420)可将转换后的字符形式的数据改变为第二数据,并且可通过使用语音识别功能来验证语音的内容。第二数据可不包括例如关于产生语音的位置的信息作为通过将语音转换为字符形式而获得的数据。
用户装置420可基于预先存储的语音识别算法,通过包括在字符数据中的短语“点亮”来验证用户1120意图激活电灯的目的。然而,验证用户的目的或短语的含义的方式不限于此。例如,用户装置(例如,用户装置420)可与包括单独的语音识别算法的服务器装置进行通信,以验证字符形式的数据中包括的短语的含义。
用户装置(例如,用户装置420)可将转换后的字符形式的数据和/或话语接收时刻作为第二数据发送到电子装置411、412和413中的每一个。用户装置(例如,用户装置420)可通过使用诸如蓝牙的短距离通信方法来将例如第二数据发送到电子装置411、412和413中的每一个。
电子装置411、412和413中的每一个可接收从用户装置420发送的第二数据。电子装置411、412和413中的每一个可计算从话语被接收到用户装置(例如,用户装置420)的时刻到在电子装置411、412和413中的每一个中接收到第二数据的时刻的到达时间。
根据实施例,电子装置411、412和413分别计算出的到达时间可以不同。例如,第一电子装置411计算出的到达时间可以是0.6ms,第二电子装置412计算出的到达时间可以是0.7ms,并且第三电子装置413计算出的到达时间可以是0.9ms。
电子装置411、412和413中的每一个可将获得的到达时间和查找表进行比较来选择说话位置候选组,其中,在查找表中,表1至表3中所述的到达时间和说话位置被匹配。
例如,第一电子装置411获得的到达时间可以是0.6ms。在这种情况下,第一电子装置411可以从存储的查找表中选择与0.6ms的到达时间相应的位置。第一电子装置411可选择第一区域851作为候选组。
第二电子装置412获得的到达时间可以是0.7ms。第二电子装置412可选择第一区域851作为候选组。第三电子装置413获得的到达时间可以是0.9ms。因此,第三电子装置413可选择第一区域851作为候选组。
根据另一实施例,电子装置411、412和413中的每一个可在到达时间中设置常数值的裕度之后选择候选组。例如,电子装置411、412和413可选择具有0.1ms的裕度时间的候选组。在这种情况下,第一电子装置411可选择第一区域851和第三区域853作为候选组。
第二电子装置412可选择第一区域851和第二区域852作为候选组。第三电子装置413可以选择第一区域851作为候选组。
根据实施例,第一电子装置411、第二电子装置412和第三电子装置413可将选择的候选组发送到预定义的主电子装置411。例如,第二电子装置412和第三电子装置413可通过使用诸如蓝牙的短距离通信方法将第二数据发送到主电子装置411。
主电子装置411可选择接收到的候选组中的至少一个候选组中的地点作为产生话语的地点。例如,主电子装置411可从接收到的候选组中选择多个电子装置411、412和413中的大多数电子装置选择的候选作为产生话语的地点。例如,主电子装置411可选择第一区域851作为产生话语的地点。
主电子装置411可产生用于激活位于产生话语的第一区域中的***装置(例如,***装置430)的信号,并且可将产生的信号发送到***装置。例如,主电子装置411可产生用于激活第一电灯431的信号,并且可将所述信号发送到第一电灯431;第一电灯431可基于接收到的信号激活电灯。
图12是用于描述根据本公开的实施例的当电子装置基于用户的话语控制与用户邻近的***装置时另外地获得用户的确认的处理的流程图。
参照图12,对于操作1210至操作1270,这里将不重复与图10中给出的描述相同或相似的描述。
参照图12,在操作1210,用户装置420可从用户接收话语。参照操作1220,用户装置420可将接收到的话语转换为字符形式的数据。
参照操作1230,用户装置420可将字符形式的经过转换的数据作为第二数据发送到一个或更多个电子装置410。参照操作1240,一个或更多个电子装置410可基于接收到第二数据的时刻和用户装置420接收到话语的时刻来获得第二数据的到达时间。
参照操作1250,一个或更多个电子装置410可将获得的到达时间和查找表进行比较来选择话语位置候选组,其中,在查找表中,表1至表3中所述的到达时间和说话位置是相匹配的。
参照操作1260,一个或更多个电子装置410可将关于说话位置候选组的信息发送到主电子装置411。
参照操作1270,主电子装置411可选择接收到的候选组中的一个候选组中的地点作为产生话语的地点。例如,主电子装置411可从接收到的候选组中选择被最多地选择为候选组的位置,作为产生话语的地点。
根据实施例,在从候选组中选择了多个位置的情况下,主电子装置411可激活位于多个区域的所有***装置。然而,在另一实施例中,主电子装置411可再次验证用户是否想要在属于候选组的话语产生地点之中的任何地点。
参照操作1280,主电子装置411可将最终的说话位置候选组列表发送到用户装置420。参照操作1285,用户装置420可向用户提供接收到的最终的说话位置候选组列表。例如,用户装置420可在显示器中显示最终的说话位置候选组列表,或者可通过使用扬声器来将最终的说话位置候选组列表通知给用户。
参照操作1290,用户装置420可从用户接收用于决定说话位置的输入。例如,用户装置420可接收话语来在最终的候选组列表中确定用户想要激活***装置的区域。对于另一示例,用户装置420可获得用户输入以在显示器中显示的说话位置候选组中选择期望的位置。
参照操作1292,用户装置420可将用户的输入信息转换为字符形式的数据,并且可将转换后的数据发送到主电子装置411。
参照操作1294,主电子装置411可产生用于激活用户决定的区域的***装置430的信号,并且可将所述信号发送到***装置430。在操作1296,***装置430执行它的功能。
根据另一实施例,用户装置420可基于用户选择的位置的信息将用于控制***装置430的数据发送到电子装置410。电子装置410可产生用于激活用户决定的区域的***装置430的信号,并且可以将所述信号发送到***装置430。
图13是用于描述根据本公开的实施例的当电子装置基于用户的话语控制与用户邻近的***装置时另外地获得用户的确认的情况的示图。
参照图13,为了激活与用户1320邻近的电灯,用户1320可向用户装置(例如,用户装置420)说出语音“点亮”。用户装置(例如,用户装置420)可以接收用户1320的话语,并且可将接收到的话语转换为字符形式的数据。
用户装置(例如,用户装置420)可将转换后的字符形式的数据改变为第二数据,并且可以通过使用语音识别功能来验证语音的内容。例如,用户装置(例如,用户装置420)可基于预先存储的语音识别算法来验证字符数据中包括的短语“点亮”指示用户132期望激活电灯的目的。用户装置(例如,用户装置420)可将转换后的字符形式的数据和/或话语接收时刻作为第二数据发送到电子装置411、412和413中的每一个。
电子装置411、412和413中的每一个可接收从用户装置(例如,用户装置420)发送的第二数据。电子装置411、412和413中的每一个可基于话语被接收到用户装置(例如,用户装置420)的时刻以及在电子装置411、412和413中的每一个中接收到第二数据的时刻来计算到达时间。
根据实施例,电子装置411、412和413分别计算出的到达时间可以不同。例如,第一电子装置411获得的到达时间可以是0.9ms。在这种情况下,第一电子装置411可从存储的查找表中选择与0.9ms的到达时间相应的位置。第一电子装置411可选择第二区域852和第五区域855作为候选组。
第二电子装置412计算出的到达时间可以是0.9ms。第二电子装置412可选择第三区域853作为候选组。第三电子装置413计算出的到达时间可以是1.1ms。因此,第三电子装置413可选择第四区域854作为候选组。
根据另一实施例,电子装置411、412和413中的每一个可在到达时间中设置常数值的裕度之后选择候选组。例如,电子装置411、412和413可选择具有0.1ms的裕度时间的候选组。在这种情况下,第一电子装置411可以选择第二区域852、第四区域854和第五区域855作为候选组。
第二电子装置412可选择第一区域851、第二区域852和第三区域853作为候选组。第三电子装置413可选择第四区域854作为候选组。
第一电子装置411、第二电子装置412和第三电子装置413可以将选择的候选组发送到预定义的主电子装置411。
主电子装置411可选择接收到的候选组中的至少一个候选组中的地点作为产生话语的地点。例如,主电子装置411可从接收到的候选组中选择频率最高的候选组作为产生话语的地点。
根据实施例,主电子装置411可再次验证用户1320是否想要在属于候选组的话语产生地点之中的任何地点。详细地,主电子装置411可将最终的说话位置候选组列表发送到用户装置420。例如,主电子装置411可将第二区域852和第四区域854确定为候选组,并且可将确定的结果发送到用户装置420。
用户装置(例如,用户装置420)可将接收到的最终的说话位置候选组列表通知给用户1320。例如,用户装置(例如,用户装置420)可在显示器中显示最终的说话位置候选组。此外,用户装置(例如,用户装置420)可通过使用扬声器通知最终的说话位置候选组。
用户装置(例如,用户装置420)可从用户1320接收用于决定说话位置的话语。例如,用户1320可以说出话语以在最终的候选组列表中确定第二区域852,其中,在第二区域852,用户1320想要激活电灯。然而,用户1320决定区域的方式不限于此。例如,用户1320可在用户装置(例如,用户装置420)的显示器中显示的最终的说话位置候选组中选择期望的位置。
用户装置(例如,用户装置420)可将用户1320的话语转换为字符形式的数据,并且可以将转换后的数据发送到主电子装置411。
主电子装置411可产生用于激活用户决定的区域的***装置430的信号,并且可将所述信号发送到***装置430。例如,主电子装置411可基于命令“第二区域”产生用于激活与第二区域852邻近的第二电灯432的信号,并且可将所述信号发送到第二电灯432。第二电灯432可以基于接收到的信号来激活电灯。
根据实施例,在被转化为字符形式的数据的用户的话语中所包括的词语中存在指定特定位置的词语的情况下,电子装置411、412和413还可减少将被选择的说话位置候选组的数量。例如,在用户1320说出“TV打开”的情况下,用户装置(例如,用户装置420)可以将该话语转换为字符形式的数据,并且可将转换后的数据发送到第一电子装置411。
第一电子装置411可接收转换为字符形式的数据以计算数据的到达时间。例如,在数据的到达时间为0.6ms的情况下,考虑到裕度到达时间,第一电子装置411可以选择第一区域和第三区域作为说话位置候选组。在这种情况下,由于“TV”包括在字符形式的数据中,所以第一电子装置411可以选择TV所在的第一区域作为最终的说话位置候选。
根据另一实施例,在被转换为字符形式的数据的用户的话语中包括的词语中存在指定特定位置的词语的情况下,电子装置411、412和413还可减少将被选择的说话位置候选组的数量。例如,在用户1320说出“第二区域点亮”的情况下,用户装置(例如,用户装置420)可将该话语转换为字符形式的数据,并且可将转换后的数据发送到第一电子装置411。
第一电子装置411可接收转换为字符形式的数据以计算数据的到达时间。例如,在数据的到达时间为0.9ms的情况下,第一电子装置411可考虑到裕度到达时间来选择第二区域和第五区域作为说话位置候选组。在这种情况下,由于“第二区域”包括在字符形式的数据中,所以第一电子装置411可将第二区域选择为最终的说话位置候选。
图14是用于描述根据本公开的实施例的电子装置基于用户的话语来控制与用户邻近的***装置的处理的流程图。
参照图14,在操作1410中,电子装置(例如,电子装置410)可从多个其他电子装置接收说话位置候选组列表。电子装置(例如,电子装置410)可将说话位置候选组列表与查找表进行比较以验证可与说话位置有关地被控制的***装置,其中,所述查找表中包括预先存储的说话位置和***装置、到达时间、信号强度以及位置信息。
参照操作1420,电子装置(例如,电子装置410)可选择接收到的多个说话位置候选组中的至少一个候选组中的地点作为产生话语的地点。例如,电子装置(例如,电子装置410)可在接收到的候选组中选择频率最高的候选地点作为产生话语的地点。
根据另一实施例,在存在具有相同频率的多个候选的情况下,电子装置(例如,电子装置410)可将候选具有相同频率的说话位置组列表信息发送到用户装置。用户装置可向用户建议接收到的列表,并且可以引导用户决定最终期望的说话地点。用户装置可将关于决定的说话位置的信息发送到电子装置(例如,电子装置410)。
参照操作1430,电子装置(例如,电子装置410)可产生用于控制与选择的说话位置相关联的***装置的信号。例如,电子装置(例如,电子装置410)可产生这样的信号,其中,该信号使得能够将用户装置通过分析用户的话语获得的命令发送到***装置。电子装置(例如,电子装置410)可将产生的信号发送到相关的***装置,以允许相关的***装置根据用户的话语来执行预定义的功能。
根据实施例的电子装置的控制方法可以包括:从一个或更多个其他电子装置接收说话位置候选组和用于控制与说话位置相关联的***装置的命令;基于接收到的说话位置候选组选择至少一个说话位置;向与选择的说话位置相关联的***装置发送用于控制***装置的命令。
在根据实施例的控制方法中,基于接收到的说话位置候选组选择至少一个说话位置的步骤可包括:在接收到的说话位置候选组中选择被大多数其他电子装置确定为说话位置候选的说话位置,作为所述至少一个说话位置。
如果被大多数其他电子装置确定为说话位置候选的说话位置是多个说话位置,则所述控制方法可包括:将所述多个说话位置的列表发送到用户装置;选择从所述用户装置接收到的说话位置作为所述至少一个说话位置。
所述控制方法可包括:基于从用户装置接收到包括以下项的第一数据:从用户接收到话语的时间、通过将话语转换为字符形式的数据而获得的数据、以及用户装置在接收到话语的时间点的位置信息,产生包括以下项的查找表:说话位置、与说话位置相关联的***装置、从用户装置接收到话语的时刻到电子装置接收到第一数据的时刻的到达时间、以及包括第一数据的信号的基于说话位置的强度。
所述控制方法可包括:基于从用户装置接收到包括以下项的第二数据:从用户接收到话语的时间、以及通过将所话语转换为字符形式的数据而获得的数据,推导从用户装置接收到话语的时刻到电子装置接收到第二数据的时刻的到达时间。
在根据实施例的控制方法中,第一数据和第二数据中包括的通过将话语转换为字符形式的数据而获得的数据可通过以下操作产生:用户装置基于语音识别算法识别用户的话语,并将识别的话语转换为字符形式的数据。
如果第二数据还包括用户装置在接收到话语的时间点的位置信息,则根据实施例的控制方法可包括:将第二数据改变为第一数据;更新查找表,其中,所述查找表包括说话位置、与说话位置相关联的***装置、从用户装置接收到话语的时刻到电子装置接收到第一数据的时刻的到达时间、以及包括第一数据的信号的基于说话位置的强度。
在根据实施例的控制方法中,电子装置可用作主集线器,并且其他电子装置可用作从集线器或用户装置中的至少一个。
根据实施例的控制方法可包括:基于从用户装置接收到话语的时间到电子装置接收到第二数据的时间的到达时间来选择产生第二数据的说话位置候选。
在本公开中使用的术语“模块”可包括由硬件、软件和固件组成的单元,并且可与术语“单元”、“逻辑”、“逻辑块”、“组件”和“电路”互换使用。“模块”可以是集成组件,或者可以是用于执行一个或更多个功能或其一部分的最小单元。“模块”可被机械地或电子地实现,并且可包括已知或将被开发的用于执行一些操作的专用IC(ASIC)芯片、现场可编程门阵列(FPGA)和可编程逻辑器件中的至少一个。根据各种实施例的设备(例如,该设备的模块或功能)或方法(例如,操作)的至少一部分可以例如由以程序模块的形式存储在计算机可读存储介质(例如,存储器130)中的指令来实现。所述指令当由处理器(例如,处理器120)执行时可使处理器执行与所述指令相应的功能。计算机可读记录介质可包括硬盘、软盘、磁介质(例如,磁带)、光学介质(例如,紧凑盘只读存储器(CD-ROM)和数字通用盘DVD)、磁光介质(例如,光盘))和内部存储器。此外,程序指令不仅可包括机器代码(诸如,由编译器产生的事物),还可包括可在计算机上使用解释器执行的高级语言代码。根据各种实施例的模块或程序模块可包括上述元件中的至少一个,或者可省略上述元件中的一部分,或者还可包括其他元件。由根据各种实施例的模块、程序模块或其他元件执行的操作可顺序地、并行地、重复地或以启发式方法来执行,或者一些操作可以以不同的顺序来执行或者可被省略。可选地,可添加其他操作。
虽然已经参照本发明的各种实施例示出和描述了本公开,但是本领域技术人员将理解,在不脱离由所附权利要求和它们的等同物限定的本公开的精神和范围的情况下,可对其进行形式和细节上的各种改变。

Claims (13)

1.一种电子装置,包括:
存储器;
收发器,被配置为与至少一个外部装置进行通信;以及
至少一个处理器,与存储器和收发器电连接,
其中,所述至少一个处理器被配置为:
通过使用收发器从至少两个其他电子装置接收说话位置候选和用于控制与说话位置相关联的***装置的命令,其中,所述至少两个其他电子装置中的每一个通过将与相应于所述命令的第一话语相关联的第一数据的接收时刻与产生第一数据的时刻进行比较来确定到达时间并通过将所述到达时间与包括相应于多个到达时间的说话位置候选的查找表进行比较来确定说话位置候选,
在接收到的说话位置候选中选择被所述至少两个其他电子装置中的大多数其他电子装置确定为说话位置候选的说话位置,以及
向与选择的说话位置相关联的***装置发送用于控制***装置的所述命令。
2.如权利要求1所述的电子装置,其中,与第一话语相关联的第一数据被从用户装置接收到并且第一数据由所述用户装置产生。
3.如权利要求2所述的电子装置,其中,如果被大多数其他电子装置确定为说话位置候选的说话位置是多个说话位置,则所述至少一个处理器还被配置为:将所述多个说话位置的列表发送到所述用户装置,并且从所述用户装置接收说话位置。
4.如权利要求2所述的电子装置,其中,第一数据包括所述用户装置的第一话语的接收时刻、通过将第一话语转换为字符形式而获得的数据、以及所述用户装置在接收到第一话语的时间点的位置信息。
5.如权利要求4所述的电子装置,其中,基于从所述用户装置接收到包括第二话语的接收时刻、以及通过将第二话语转换为字符形式而获得的数据的第二数据,所述至少一个处理器还被配置为产生包括以下项的查找表:
说话位置,
与所述说话位置相关联的***装置,
从所述用户装置接收到第二话语的时刻和所述电子装置接收到第二数据的时刻获得的到达时间,以及
包括第二数据的信号的基于所述说话位置的强度。
6.如权利要求5所述的电子装置,其中,如果第一数据还包括所述用户装置在接收到第一话语的时间点的位置信息,则所述至少一个处理器还被配置为:
使用第一数据更新所述查找表。
7.如权利要求5所述的电子装置,其中,所述说话位置从通过将第二话语转换为字符形式而获得的数据被识别出。
8.如权利要求1所述的电子装置,
其中,所述电子装置用作主集线器,以及
其中,所述至少两个其它电子装置用作从集线器。
9.如权利要求5所述的电子装置,其中,所述至少一个处理器还被配置为:基于从所述用户装置接收到第一话语的时刻到所述电子装置接收到第一数据的时刻的到达时间以及所述查找表来选择第一话语的说话位置候选。
10.一种用于控制电子装置的方法,所述方法包括:
从至少两个其他电子装置接收说话位置候选和用于控制与说话位置相关联的***装置的命令,其中,所述至少两个其他电子装置中的每一个通过将与相应于所述命令的第一话语相关联的第一数据的接收时刻与产生第一数据的时刻进行比较来确定到达时间并通过将所述到达时间与包括相应于多个达到时间的说话位置候选的查找表进行比较来确定说话位置候选;
在接收到的说话位置候选中选择被所述至少两个其他电子装置中的大多数其他电子装置确定为说话位置候选的说话位置;以及
向与选择的说话位置相关联的***装置发送用于控制***装置的所述命令。
11.如权利要求10所述的方法,其中,与第一话语相关联的第一数据被从用户装置接收到并且第一数据由所述用户装置产生。
12.如权利要求11所述的方法,还包括:
当被大多数其他电子装置确定为说话位置候选的说话位置是多个说话位置时,将所述多个说话位置的列表发送到所述用户装置,并且从所述用户装置接收说话位置。
13.如权利要求11所述的方法,其中,
第一数据包括所述用户装置的第一话语的接收时刻、通过将第一话语转换为字符形式而获得的数据、以及所述用户装置在接收到第一话语的时间点的位置信息。
CN201711058027.6A 2016-11-01 2017-11-01 电子装置及其控制方法 Active CN108023934B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160144536A KR102573383B1 (ko) 2016-11-01 2016-11-01 전자 장치 및 전자 장치 제어 방법
KR10-2016-0144536 2016-11-01

Publications (2)

Publication Number Publication Date
CN108023934A CN108023934A (zh) 2018-05-11
CN108023934B true CN108023934B (zh) 2022-08-05

Family

ID=60421551

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711058027.6A Active CN108023934B (zh) 2016-11-01 2017-11-01 电子装置及其控制方法

Country Status (4)

Country Link
US (1) US10645168B2 (zh)
EP (1) EP3316123B1 (zh)
KR (1) KR102573383B1 (zh)
CN (1) CN108023934B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10514669B1 (en) 2014-04-25 2019-12-24 State Farm Mutual Automobile Insurance Company Systems and methods for managing the operation of devices within a property
US10282788B1 (en) 2014-10-07 2019-05-07 State Farm Mutual Automobile Insurance Company Systems and methods for managing service log information
US20180277123A1 (en) * 2017-03-22 2018-09-27 Bragi GmbH Gesture controlled multi-peripheral management
CN110795023A (zh) * 2018-08-03 2020-02-14 元太科技工业股份有限公司 键盘装置、输入***以及操作方法
KR20200052804A (ko) 2018-10-23 2020-05-15 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
WO2020085794A1 (en) 2018-10-23 2020-04-30 Samsung Electronics Co., Ltd. Electronic device and method for controlling the same
US10978064B2 (en) * 2018-11-30 2021-04-13 International Business Machines Corporation Contextually relevant spoken device-to-device communication between IoT devices
US11586158B1 (en) 2019-03-05 2023-02-21 Etellimetrix, LLC Wireless sensor system and related methods
KR102624327B1 (ko) * 2019-03-15 2024-01-15 삼성전자주식회사 IoT 기기의 위치 추론 방법, 이를 지원하는 서버 및 전자 장치
CN110176234B (zh) * 2019-05-30 2021-05-25 芋头科技(杭州)有限公司 移动智能终端的控制方法、装置、控制器、介质及终端
CN110466276A (zh) * 2019-08-16 2019-11-19 华东师范大学 一种全自动阵列型喷水烘干黑板擦
KR20210116897A (ko) 2020-03-18 2021-09-28 삼성전자주식회사 외부 장치의 음성 기반 제어를 위한 방법 및 그 전자 장치
TWI803782B (zh) * 2020-10-16 2023-06-01 明泰科技股份有限公司 無線電網路閘道器以及無線電系統
US11749284B2 (en) * 2020-11-13 2023-09-05 Google Llc Dynamically adapting on-device models, of grouped assistant devices, for cooperative processing of assistant requests

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7139716B1 (en) 2002-08-09 2006-11-21 Neil Gaziz Electronic automation system
US7363028B2 (en) * 2003-11-04 2008-04-22 Universal Electronics, Inc. System and method for controlling device location determination
US7649456B2 (en) * 2007-01-26 2010-01-19 Sony Ericsson Mobile Communications Ab User interface for an electronic device used as a home controller
US7843333B2 (en) * 2007-01-26 2010-11-30 Sony Ericsson Mobile Communication Ab System, methods, devices and computer program products for controlling electronic appliances within a local area
CN102063901A (zh) * 2010-12-02 2011-05-18 深圳市凯立德欣软件技术有限公司 位置服务设备的语音识别方法及位置服务设备
US8781496B2 (en) * 2011-01-19 2014-07-15 Qualcomm Incorporated Methods and apparatus for mobile device location determination
US8825020B2 (en) 2012-01-12 2014-09-02 Sensory, Incorporated Information access and device control using mobile phones and audio in the home environment
JP2016524724A (ja) 2013-05-28 2016-08-18 トムソン ライセンシングThomson Licensing 家庭環境内で音声コマンドに関連付けられた位置を特定して家庭用電気機器を制御する方法およびシステム
US9363644B2 (en) 2014-07-16 2016-06-07 Yahoo! Inc. System and method for detection of indoor tracking units
TWI559966B (en) 2014-11-04 2016-12-01 Mooredoll Inc Method and device of community interaction with toy as the center
CN105700389B (zh) * 2014-11-27 2020-08-11 青岛海尔智能技术研发有限公司 一种智能家庭自然语言控制方法
US9811312B2 (en) * 2014-12-22 2017-11-07 Intel Corporation Connected device voice command support
KR101780983B1 (ko) 2015-06-08 2017-10-24 최현수 건조장치
CN105242556A (zh) * 2015-10-28 2016-01-13 小米科技有限责任公司 智能设备的语音控制方法、装置、控制设备及智能设备
CN105788599B (zh) * 2016-04-14 2019-08-06 北京小米移动软件有限公司 语音处理方法、路由器及智能语音控制***

Also Published As

Publication number Publication date
US20180146042A1 (en) 2018-05-24
US10645168B2 (en) 2020-05-05
EP3316123B1 (en) 2021-10-27
CN108023934A (zh) 2018-05-11
KR102573383B1 (ko) 2023-09-01
EP3316123A1 (en) 2018-05-02
KR20180047801A (ko) 2018-05-10

Similar Documents

Publication Publication Date Title
CN108023934B (zh) 电子装置及其控制方法
US11561763B2 (en) Electronic device for processing multi-modal input, method for processing multi-modal input and server for processing multi-modal input
US11636861B2 (en) Electronic device and method of operation thereof
CN110199350B (zh) 用于感测语音结束的方法和实现该方法的电子设备
US11151961B2 (en) Electronic device and method of providing information in electronic device
CN110192248B (zh) 语音输入处理方法和用于支持该方法的电子设备
CN108369808B (zh) 电子设备和用于控制该电子设备的方法
US10706847B2 (en) Method for operating speech recognition service and electronic device supporting the same
US10825453B2 (en) Electronic device for providing speech recognition service and method thereof
EP2816554A2 (en) Method of executing voice recognition of electronic device and electronic device using the same
KR102356969B1 (ko) 통신 수행 방법 및 이를 지원하는 전자장치
US20180143802A1 (en) Method for processing various inputs, and electronic device and server for the same
US10345924B2 (en) Method for utilizing sensor and electronic device implementing same
US11074910B2 (en) Electronic device for recognizing speech
KR102653450B1 (ko) 전자 장치의 입력 음성에 대한 응답 방법 및 그 전자 장치
US20180314490A1 (en) Method for operating speech recognition service and electronic device supporting the same
KR102386309B1 (ko) 전자 장치 및 전자 장치에서의 입출력 제어 방법
US20170134694A1 (en) Electronic device for performing motion and control method thereof
US20170060231A1 (en) Function control method and electronic device processing therefor
US9460090B2 (en) Method of recognizing situation requiring translation and performing translation function, and electronic device implementing the same
US11004075B2 (en) Device and method for performing payment using utterance

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant