CN112585911A - 电子装置及其控制方法 - Google Patents

电子装置及其控制方法 Download PDF

Info

Publication number
CN112585911A
CN112585911A CN201980054715.6A CN201980054715A CN112585911A CN 112585911 A CN112585911 A CN 112585911A CN 201980054715 A CN201980054715 A CN 201980054715A CN 112585911 A CN112585911 A CN 112585911A
Authority
CN
China
Prior art keywords
electronic device
user
name
chat
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980054715.6A
Other languages
English (en)
Other versions
CN112585911B (zh
Inventor
金秀必
崔源宗
咸珍雅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority claimed from PCT/KR2019/010547 external-priority patent/WO2020040517A1/en
Publication of CN112585911A publication Critical patent/CN112585911A/zh
Application granted granted Critical
Publication of CN112585911B publication Critical patent/CN112585911B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供了一种控制电子装置的方法。该方法包括:在使用电子装置与另一电子装置的用户进行聊天的同时,使用经人工智能(AI)算法训练的AI模型在与另一电子装置的用户的聊天中获得指代另一电子装置的用户的名称;以及与另一电子装置的用户的联系信息相关联地存储所获得的名称。本公开的控制方法的至少一些可以使用根据机器学习、神经网络或深度学习算法训练的AI模型。

Description

电子装置及其控制方法
技术领域
本公开涉及电子装置及其控制方法,例如,涉及能在与对方的聊天中获得有意义的信息且在各种功能中利用该信息的电子装置及其控制方法。
本公开还涉及提供人类水平智能(诸如,利用机器学习算法进行识别和判断)的人工智能(AI)***以及AI***的应用。
背景技术
近来,实现人类水平智能的人工智能(AI)***已运用于各种领域。不同于现有的基于规则的智能***,AI***是自身进行自主训练、做出决定和变得越来越智能的***。AI***使用得越多,AI***的识别率就可以提高得越多且AI***可更精确地理解用户偏好,因此,现有的基于规则的智能***正逐渐被基于深度学习的AI***所取代。
AI技术指机器学习(深度学习)和利用机器学习的元素技术。
机器学习可以是自主对输入数据的特性进行分类/学习的算法技术。元素技术可以是通过利用诸如深度学习的机器学习算法模拟人脑的诸如识别和判断的功能的技术,并且涉及诸如语言理解、视觉理解、推理/预测、知识表达、运动控制等技术领域。
AI技术可被应用于如下的各种领域。语言理解可以指识别和应用/处理人类语言/字符的技术,并且包括自然语言处理、机器翻译、对话***、问答、语言识别/合成等。视觉理解可以指识别和处理如人类视觉的对象的技术,包括对象识别、对象追踪、图像搜索、人类识别、场景理解、空间理解、图像增强等。推断预测可以指获取和逻辑推断以及预测信息的技术,并且包括基于知识/概率的推理、优化预测、基于偏好的规划和推荐等。知识表达可以指将人类经验信息自动化成知识数据的技术,包括知识构建(数据生成/分类)和知识管理(数据利用)等。运动控制可以指控制车辆的自动驾驶和机器人的运动的技术,并且包括运动控制(导航、避碰和驾驶)、操作控制(行为控制)等。
近来,为了有效管理信息和各种用户体验,已经在电子装置上设置了基于语音的AI个人助理平台。电子装置可以通过个人助理平台支持与用户的自然和交互界面。
例如,当用户在请求进行呼叫时提及特定对方的名称时,电子装置的AI个人助理可以从先前存储的联系信息中找到与对方的名称对应的电话号码,并且将该用户与对方进行连接。然而,为了使用该功能,用户必须正确地记住所存储的对方的名称。当用户尝试联系与所存储的对方的名称不同的名称时,就会出现联系失败的问题。
发明内容
技术问题
本公开的实施例提供了能在与对方的聊天中获得有意义的信息且在各种功能中利用该信息的电子装置及其控制方法。
技术方案
根据本公开的示例性实施例,电子装置的控制方法包括:在使用电子装置与另一电子装置的用户进行聊天的同时,使用经人工智能(AI)算法训练的AI模型在与另一电子装置的聊天中获得指代另一电子装置的用户的名称;以及与另一电子装置的用户的联系信息相关联地存储所获得的名称。
控制方法还可以包括:基于输入了包括所获得的名称的用于进行呼叫的用户语音,基于另一电子装置的用户的联系信息执行呼叫连接。
获得所述名称可以包括:基于先前在另一电子装置的用户的联系信息中登记了指代另一电子装置的用户的第一名称,使用AI模型在与另一电子装置的用户的聊天中获得与第一名称不同的第二名称。
控制方法还可以包括:基于输入了包括第二名称的用于进行呼叫的用户语音,提供询问是否对第一名称的对方执行呼叫连接的消息用户界面(UI)。
控制方法还可以包括:基于接收到用于查看另一电子装置的用户的联系信息的用户输入,提供包括另一电子装置的用户的电话号码、第一名称和第二名称的联系信息UI。
控制方法还可以包括:提供用于与另一电子装置的用户进行聊天的聊天UI,其中,获得所述名称包括:使用AI模型在通过聊天UI输入的聊天中获得指代另一电子装置的用户的名称。
获得所述名称可以包括:在与另一电子装置的用户进行语音聊天的同时,使用AI模型在语音聊天中获得指代另一电子装置的用户的名称。
存储所获得的名称包括:基于在与另一装置的用户的聊天中比预定次数多地获得指代另一电子装置的用户的名称,与另一电子装置的用户的联系信息相关联地存储所述名称。
控制方法还可以包括:存储指代另一电子装置的用户的名称在与另一电子装置的用户的聊天中的使用频率;以及在除了另一电子装置的用户的联系信息以外与另一用户的联系信息相关联地存储与名称相同的名称的情况中,基于输入了包括名称的用于进行呼叫的用户语音,基于具有较高使用频率的名称的用户的联系信息进行呼叫连接。
控制方法还可以包括:基于输入了用于发送消息的包括名称的用户语音,基于另一电子装置的用户的联系信息发送在开头处包括名称的消息。
控制方法还可以包括:使用AI模型在与另一电子装置的用户的聊天中获得与另一电子装置的用户相关联的日程信息;以及与另一电子装置的用户的联系信息相关联地存储日程信息。
控制方法还可以包括:基于输入了请求与日程信息相关联的与聊天对方有关的信息的用户语音,提供包括指代另一电子装置的用户的名称的答复消息UI。
控制方法还可以包括:将与另一电子装置的用户的联系记录添加到最近联系记录;以及在添加到最近联系记录的与另一电子装置的用户的联系记录中标记名称。
根据本公开的另一示例性实施例,电子装置包括通信器、存储器和处理器,其中,该通信器包括通信电路,存储器配置为存储计算机可执行指令,处理器配置为通过执行计算机可执行指令以:控制电子装置在通过通信器与另一电子装置的用户进行聊天的同时,使用经人工智能(AI)算法训练的AI模型在与另一电子装置的用户的聊天中获得指代另一电子装置的用户的名称,以及将获得的名称与另一电子装置的用户的联系信息相关联地存储到存储器中。
电子装置还可以包括麦克风,其中处理器还可以配置为:控制电子装置基于通过麦克风输入了包括所获得的名称的用于进行呼叫的用户语音,基于另一电子装置的用户的联系信息执行呼叫连接。
处理器还可以配置为:控制电子装置基于先前在另一电子装置的用户的联系信息中登记了指代另一电子装置的用户的第一名称,使用AI模型在与另一电子装置的用户的聊天中获得与第一名称不同的第二名称。
电子装置还可以包括显示器,其中处理器还可以配置为:控制电子装置基于通过麦克风输入了包括第二名称的用于进行呼叫的用户语音,通过显示器提供询问是否对第一名称的对方执行呼叫连接的消息用户界面(UI)。
处理器还可以配置为:控制电子装置基于接收到用于查看另一电子装置的用户的联系信息的用户输入,提供包括另一电子装置的用户的电话号码、第一名称和第二名称的联系信息UI。
电子装置还可以包括显示器,处理器还可以配置为:控制电子装置通过显示器提供用于与另一电子装置的用户进行聊天的聊天UI,并使用AI模型在通过聊天UI输入的聊天中获得指代另一电子装置的用户的名称。
电子装置还可以包括麦克风,其中,处理器还可以配置为控制电子装置在通过麦克风与另一电子装置的用户进行语音聊天的同时,使用AI模型在语音聊天中获得指代另一电子装置的用户的名称。
附图说明
通过下面结合附图的详细描述,本公开的某些实施例的以上方面以及其他方面、特征和优点将更明显,在附图中:
图1是示出根据本公开的实施例的用于在与对方的聊天中获得有意义的信息的电子装置的示图;
图2是示出根据本公开的实施例的示例性电子装置的示例性配置的框图;
图3是示出根据本公开的另一实施例的示例性电子装置的示例性配置的框图;
图4是示出根据本公开的实施例的控制电子装置的示例性方法的流程图;
图5是示出根据本公开的实施例的在拨号功能中利用在聊天中获得的对方的名称的示例的示图;
图6是示出根据本公开的另一实施例的在拨号功能中利用在聊天中获得的对方的名称的示例的示图;
图7是示出根据本公开的实施例的与消息发送功能相关的示例的示图;
图8是示出根据本公开的实施例的当使用同一名称指代多个对方时进行呼叫连接的示例的示图;
图9是示出根据本公开的另一实施例的当使用同一名称指代多个对方时进行呼叫连接的示例的示图;
图10是示出根据本公开的实施例的在聊天中获得日程信息的示例的示图;
图11A是示出根据本公开的实施例的利用最近联系人记录的示例的示图;
图11B是示出根据本公开的实施例的将在聊天中获得的信息添加到联系人列表的示例的示图;
图12是示出根据本公开的实施例的利用在聊天中获得的日程信息的示例的示图;
图13是示出根据本公开的另一实施例的利用在聊天中获得的日程信息的示例的示图;
图14是示出根据本公开的另一实施例的利用在聊天中获得的日程信息的示例的示图;
图15是示出根据本公开的实施例的与消息应用相关联地登记联系人的示例的示图;以及
图16是示出根据本公开的各种实施例的使用AI模型的示例性网络***流程图。
具体实施方式
现在将参照在其中示出本公开的各种示例性实施例的附图来更详细地描述本公开。然而,应当理解的是,并不旨在将本公开的实施例限制于所公开的特定形式,而是,本公开的实施例覆盖落入本公开的精神和范围内的所有修改、等同和替代。在附图中相似的附图标记表示相似的元件。
在本公开中,本文中使用的表达“具有”、“可以具有”、“包括”、“包含”、或“可以包括”、“可以包含”表示相应特征(例如,诸如数值、功能、操作或组件的元素)的存在,而非排除附加特征的存在。
在公开中,表达“A或B”、“A或/和B中的至少一个”或“A或/和B中的一个或多个”等可以包括相关的所列的项的所有组合。例如,术语“A或B”、“A和B中的至少一个”或“A或B中的至少一个”可以指如下全部情况:(1)包括至少一个A的情况;(2)包括至少一个B的情况;或(3)包括至少一个A和至少一个B两者的情况。
本文中使用的诸如“第一”、“第二”等的术语可以指各种元件而不管元件的次序和/或优先级,并且可用于区分元件与另一个元件,而不限制元件。例如,“第一用户设备”和“第二用户设备”可以表示不同的用户设备而不管其次序或优先级。例如,在不偏离本公开的范围的情况下,第一元件可被称为第二元件,同样地,第二元件可被称为第一元件。
本文中的诸如“模块”、“单元”、“部件”等的术语应该被理解成这样的单元,其处理至少一个功能或操作且可用硬件方式、软件方式、或硬件方式和软件方式的组合来实现。而且,多个“模块”、“单元”、“部件”等可被集成到至少一个模块或芯片中且被实现为至少一个处理器,除非每个“模块”、“单元”、“部件”等需要在单独的特定硬件中实现。
将理解的是,当元件(例如,第一元件)被称为(操作地或通信地)与另一元件(例如,第二元件)联接/联接到另一元件(例如,第二元件)或连接至另一元件(例如,第二元件)时,它可直接与该另一元件联接/联接到该另一元件或连接至该另一元件,或者可存在中间元件(例如,第三元件)。另一方面,当元件(第一元件)被称为直接与另一元件(例如,第二元件)/联接到另一元件(例如,第二元件)或直接连接至另一元件(例如,第二元件)时,应该理解为不存在中间元件(例如,第三元件)。
根据情况,本文中使用的“配置为”可与例如表述“适用于”、“具有……的能力以”、“设计为”、“适配为”、“制为”或“能够”互换使用。术语“配置为”不一定仅指在硬件中“特别设计为”。而是,表述“设备配置为”可以指设备“能够”与另一设备或其他组件一起操作的情况。例如,“处理器配置为(或设置为)执行A、B和C”可以指例如但不限于:用于执行相应操作的专用处理器(例如,嵌入式处理器)、通过运行存储在存储设备中的一个或多个软件程序执行相应操作的通用处理器(例如,中央处理单元(CPU)或应用处理器)等。
本公开中使用的术语可用于描述具体实施例,并且可以不旨在限制其他实施例。除非另有规定,单数形式的术语可以包括复数形式的术语。除非本文中另有定义,否则本文中使用的全部术语(包括技术术语或科学术语)可以具有与本领域普通技术人员通常理解的含义相同的含义。还将理解的是,词典中定义的术语还应该被解释为相关领域中的惯用语,而不应该被解释为理想化或过于形式化的含义,除非本说明书中如此定义。在一些情况中,即使术语是本公开中定义的术语,它们可不解释为与本说明书的实施例相斥。
根据各种实施例的电子装置(包括控制设备和受控设备)可以包括例如但不限于智能电话、平板个人计算机(PC)、移动电话、视频电话、电子书阅读器、台式机、膝上型电脑、笔记本电脑、工作台、服务器、个人数字助理(PAD)、便携式多媒体播放器(PMP)、MP3播放器、移动医疗设备、相机、可穿戴设备等中的至少一个。根据各种实施例,可穿戴设备可以包括例如但不限于配饰类型(例如,手表、戒指、手镯、手链、项链、眼镜、隐形眼镜或头戴设备(HMD)、织物或衣物集成类型(例如,电子服饰)、身体附着类型(例如,护皮垫或纹身)或可植入类型(例如,可植入电路)中的至少一个。
在一些实施例中,电子装置可以是家用电器。家用电器可以包括例如但不限于电视机(TV)、数字视频光盘(DVD)播放器、音频、冰箱、空调、清洁器、烤箱、微波炉、洗衣机、空气净化器、机顶盒、家用自动控制面板、安全控制面板、TV盒(例如,Samsung HomeSyncTM、Apple TVTM或Google TVTM)、游戏控制台(例如,XboxTM和PlayStationTM)、电子词典、电子密钥、摄影机、电子相框等中的至少一个。
在另一实施例中,电子装置可以包括例如但不限于医疗设备(例如,各种便携式医疗测量设备(例如,血糖监测设备、心率测量设备、血压测量设备、或体温测量设备等))、磁共振血管造影(MRA)设备、磁共振成像(MRI)设备、计算机断层扫描装置(CT)、扫描仪和超声波设备等)、导航设备、全球导航卫星***(GNSS)、事件数据记录仪(EDR)、飞行数据记录仪(FDR)、车载信息娱乐设备、船用电子装备(例如,导航***和陀螺罗盘等)、航电设备、安全设备、车头单元、工业或家用机器人、金融机构的自动取款机(ATM)、商店销售点(POS)或物联网(例如,灯泡、各种传感器、电表或煤气表、洒水设备、火警警报器、恒温器、路灯、烤面包机、健身装备、热水箱、加热器、锅炉等)等中的至少一个。
根据实施例,电子装置可以包括例如但不限于家具或建筑物/构筑物的部分、电子板、电子签名接收设备、投影仪、各种测量仪器(例如,水表、电表、煤气表、或无线电波表等)等中的至少一个。在各种实施例中,电子装置可以是上述设备中的一个或者一个或多个上述设备的组合。根据实施例的电子装置可以是柔性电子装置。此外,根据实施例的电子装置可以不限于上述设备,并且可以包括根据技术发展生产的电子装置。
本公开提供了能够在与对方的聊天中获得有意义的信息且在各种功能中利用该信息的电子装置及其控制方法。下文将参照附图更详细地描述本公开。
图1是示出根据本公开的实施例的用于在与对方的聊天中获得有意义的信息的电子装置100的示图。
参照图1,用户可以使用电子装置100与另一电子装置的用户(对方)进行聊天。例如,用户可以使用聊天应用以进行聊天。电子装置100可以在与对方的聊天中获得指代对方的名称。在本示例中,可以使用由人工智能(AI)算法训练的AI模型识别指代聊天中的对方的名称。
参照图1,电子装置100可以在与对方的聊天中获得指代对方的名称的“bulldog(牛头犬)”。
当获得指代聊天对方的名称时,电子装置100可以与对方的联系信息相关联地存储所获得的名称。例如,如图1所示,电子装置100可将“bulldog”添加到先前存储的对方的联系人的昵称项。例如,除了先前在联系信息中登记的名称“Hong Gil-Dong(洪吉童)”以外,可以将可以指代对方的另一名称添加到联系信息。
除了指代对方的名称以外,还可从聊天中获得可能存储在对方的联系信息中的指示与对方的关系的关键字、对方的地址等。
根据本公开的各种实施例,可以利用如上所描述的那样在聊天中获得的有意义的信息。例如,可以使用在图1描述的示例中获得的名称“bulldog”通过语音呼叫Hong Gil-Dong。当电子装置100接收到用户语音“呼叫bulldog”时,电子装置100可以基于Hong Gil-Dong的联系信息进行呼叫连接。因此,即使用户不记得对方的名称在联系信息中存储为“Hong Gil-Dong”,用户还可以向用户经常称呼对方的“bulldog”进行呼叫。
图2是示出根据本公开的实施例的电子装置100的示例性配置的框图。
参照图2,电子装置100包括通信器110(例如,包括通信电路)、存储器120和处理器130(例如,包括处理电路)。根据实现方式可省略配置中的一些,且尽管未示出,电子装置100中还可以包括可能对本领域技术人员而言显而易见的合适的硬件/软件配置。
通信器110可以包括各种通信电路,并且可以通过例如无线或有线通信连接至网络以与外部装置进行通信。无线通信例如是蜂窝通信协议,并且可以使用例如但不限于长期演进(LTE)、先进LTE(LTE-A)、码分多址(CDMA)、宽带CDMA(WCDMA)、通用移动通信***(UMTS)、无线宽带(WiBro)、全球移动通信***(GSM)等中的至少一个。此外,无线通信可以包括例如但不限于短距离通信。短距离通信可以包括例如但不限于无线直连(WiFi直连)、蓝牙、近场通信(NFC)、Zigbee等中的至少一个。有线通信可以包括例如但不限于通用串行总线(USB)、高清晰度多媒体接口(HDMI)、推荐标准232(RS-232)、简易老式电话业务(POTS)等中的至少一个。网络可以包括电信网络,例如而不限于计算机网络(例如,LAN或WAN)、互联网、电话网络等中的至少一个。
通信器110可以包括包含诸如各种通信电路的各种模块(例如但不限于蜂窝模块、WiFi模块、蓝牙模块、GNSS模块(例如,GPS模块、Glonass模块、北斗模块或伽利略模块)、NFC模块、射频(RF)模块等)。
蜂窝模块可以通过电信网络提供例如语音呼叫、视频呼叫、文本服务、或互联网服务。根据实施例,蜂窝模块可以使用用户识别模块(例如,SIM卡)在电信网络中进行电子装置的识别和认证。根据实施例,蜂窝模块可以执行处理器能够提供的功能中的至少一些。根据实施例,蜂窝模块可以包括通信处理器(CP)。
WiFi模块、蓝牙模块、GNSS模块和NFC模块中的每个可以包括例如用于对通过相应模块发送和接收的数据进行处理的处理器。根据实施例,可在一个集成芯片(IC)或IC分组中包括蜂窝模块、WiFi模块、蓝牙模块、GNSS模块或NFC模块中的至少一些(例如,两个或更多个)。
RF模块可以发送和接收例如通信信号(例如,RF信号)。RF模块可以包括例如收发器、功率放大模块(PAM)、滤频器、低噪声放大器(LNA)、天线等。根据另一实施例,蜂窝模块、WiFi模块、蓝牙模块、GNSS模块或NFC模块中的至少一个可以通过单独的RF模块发送和接收RF信号。
存储器120可以包括例如内部存储器和/或外部存储器。内部存储器可以包括例如但不限于易失性存储器(例如,动态RAM(DRAM))、静态RAM(SRAM)、同步动态RAM(SDRAM)等)、非易失性存储器(例如,一次性可编程ROM(OTPROM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、掩膜ROM、快闪ROM、快闪存储器(例如,NAND闪存或NOR闪存等)、硬盘驱动器、固态驱动器(SSD)等中的至少一个。
外部存储器可以包括快闪驱动器,例如但不限于紧凑式闪存(CF)、安全数字(SD)、微型安全数字(微型SD)、迷你型安全数字(Micro-SD)、极速数字(xD)、多媒体卡(MMC)、记忆棒等。
存储器120可由处理器130存取,并且可由处理器130读/写/修改/删除/更新数据。
在本公开中,术语“存储器”可以包括由处理器130单独提供的存储器、处理器130中的ROM(未示出)或RAM(未示出)中的至少一个。
处理器130可以包括用于控制电子装置100的整体操作的各种处理电路。例如,处理器130可以驱动操作***和应用来控制与处理器130连接的多个硬件或软件组件,并且可以执行各种数据处理和操作。处理器130可以包括诸如各种处理器电路,例如但不限于中央处理单元(CPU)、图形处理单元(GPU)或两者。处理器130可以实现为诸如各种处理电路,例如但不限于至少一个通用处理器、数字信号处理器、特定应用集成电路(ASIC)、片上***(SoC)、微型计算机(MICOM)等。
处理器130可以使用由AI算法训练的AI模型执行各种操作。例如,处理器130可以使用由AI算法训练的AI模型在使用电子装置100与对方进行聊天中获得有意义的信息。
AI模块可以是基于AI算法训练的判定模型,并且例如可以是基于神经网络的模型。经训练的AI模块可以设计为在计算机上模拟人脑结构,并且可以包括模拟人类神经网络中的神经元的具有权重的多个网络节点。多个网络节点可以形成连接关系使得神经元模拟通过突触发送和接收信号的神经元的突触活动。此外,经训练的AI模型可以包括例如神经网络模型或从神经网络模型发展的深度学习模型。在深度学习模型中,多个网络节点可位于不同的深度(或层)并且可以根据卷积连接关系交换数据。经训练的AI模型的示例可以包括但不限于深度神经网络(DNN)、递归神经网络(RNN)、双向递归深度神经网络(BRDNN)等。
电子装置100可以使用个人助理程序(例如,BixbyTM),即AI专用程序(或AI代理)。个人助理程序可以指例如专用程序以提供基于AI的服务。可以使用现有的通用处理器(例如,sCPU)用以AI处理,或者可以使用单一用途的处理器(例如,GPU、FPGA、ASIC等)。电子装置100可以包括多个处理器,例如AI专用处理器和负责其他处理的处理器。
根据本公开的实施例,当输入预定的用户输入(例如,与个人助理聊天机器人对应的图标触摸、包括预定词的用户语音等)或按下设置在电子装置100上的按钮(用于运行AI代理的按钮)时,AI代理可以进行操作(或可以执行AI代理)。在检测到预定的用户输入之前或者在选择设置在电子装置100中的按钮之前,AI代理可以处于待命状态。待命状态可以是例如检测到接收到预定义的用户输入(例如,当输入包括预定关键字(例如,Bixby)的用户语音时)以控制AI代理的操作的启动的状态。当在AI代理处于待命状态时检测到预定的用户输入或选择设置在电子装置100中的按钮时,电子装置100可以操作AI代理。当接收到用户语音时,AI代理可以基于语音执行电子装置100的功能,并且可以在语音涉及询问时输出答复。
可以在电子装置100中执行基于AI的操作,或者可以通过外部服务器执行基于AI的操作。在前者的情况中,例如,电子装置100可以使用AI模型在与对方的聊天中获得有意义的信息。在后者的情况中,例如,电子装置100可将与对方的聊天发送给外部服务器,并且外部服务器可以使用AI模型从聊天中获得有意义的信息并将该信息提供给电子装置100。
例如,可以通过处理器和存储器执行与根据本公开的设计AI的功能。
处理器可以包括一个或多个处理器。一个或多个处理器可以是诸如通用目的处理(例如但不限于CPU、AP等)、诸如图形专用处理器(例如但不限于GPU、VPU等)和/或诸如AI专用处理器(诸如但不限于NPU)。
一个或多个处理器可以执行控制以根据存储在存储器或AI模型中的预定义的操作规则对输入数据进行处理。可以通过学习创建预定义的操作规则或AI模型。
在本示例中,通过学习进行创建可以指例如通过将学习算法应用于多个学习数据创建的预定义的操作规则或期望特性的AI模型。在根据本公开执行的AI中,可以在设备本身中进行这样的学习,或者可以通过单独的服务器/***进行这样的学习。
AI模型可以包括多个神经网络层。每个层可以具有多个权重值,并且可以通过前一层的操作结果和多个权重的操作执行一个层的操作。神经网络的示例包括例如但不限于卷积神经网络(CNN)、深度神经网络(DNN)、递归神经网络(RNN)、受限玻尔兹曼机(RBN)、深度信念网络(DBN)、双向递归深度神经网络(BRDNN)、深度Q网络等,并且本公开中的神经网络除了指定的,不限于以上示例。
学习算法可以指例如使用多个学习数据来训练预定的目标设备(例如,机器人)使得预定的目标设备可独自做出决定或做出预测的方法。学习算法的示例可以包括例如但不限于监督式学习、非监督式学习、半监督式学习、强化学习等,本公开中的学习算法除了指定的,不限于以上示例。
图3是示出根据本公开的另一实施例的电子装置100的示例性配置的框图。如图3所示,电子装置100可以包括通信器110(例如,包括通信电路)、存储器120、处理器130(例如,包括处理电路)、麦克风140、输入器150(例如,包括输入电路)、声音输出器160(例如,包括声音输出电路)和显示器170。根据实现方式可以省略配置中的一些,以及尽管未示出,但是电子装置100中还可以包括可能对本领域技术人员而言显而易见的合适的硬件/软件配置。参照图2对通信器110、存储器120和处理器130进行了描述,这里可不再重复其冗余描述。
麦克风140可以是接收用户语音或其他声音并将其转换成数字信号的配置。处理器130可以在通过麦克风140输入的语音聊天中获得有意义的信息,例如指代对方的名称、与对方的关系、对方的地址等。麦克风140可以设置在电子装置100的内部,但是这仅是示例,并且麦克风140可以设置在电子装置100的外部以电连接至电子装置100。
输入器150可以包括各种输入电路,并且接收用户输入并将其发送给处理器130。输入器150可以包括例如但不限于触摸传感器、(数字)笔传感器、压力传感器、键、麦克风等。触摸传感器例如可以使用电容方法、电阻方法、红外方法或超声方法中的至少一个。(数字)笔传感器可以是例如触摸面板的部分,或者可以包括单独的识别板。键可以包括例如物理按钮、光学键或键盘。
声音输出器160可以包括各种声音输出电路并且可以输出音频信号。例如,声音输出器160可以输出通过通信器110接收的对方的语音。此外,声音输出器160可以输出存储在存储器120内的音频数据。例如,声音输出器160可以输出各种通知声音以及可以输出A I助理的语音。声音输出器160可以包括例如但不限于接收器、扬声器、蜂鸣器等。
显示器170可以是输出图像的配置。显示器170可以实现为例如但不限于液晶显示器(LCD)、发光二极管(LED)显示器、有机发光二极管(OLED)显示器(例如,有源矩阵有机发光二极管(AMOLED)、无源矩阵OLED(PMOLED)或微电子机械***(MEMS)显示器)、电子纸显示器等。输入器150的触摸传感器和显示器170可以通过形成互层结构实现为触摸屏。
存储器120可以存储计算机可执行指令,以及当处理器130运行计算机可执行指令时,可以执行本公开中描述的电子装置100的控制方法。
例如,处理器130可以执行计算机可执行指令以控制电子装置,在通过通信器110与另一电子装置的用户执行聊天的同时,使用由AI算法训练的AI智能模型在与另一电子装置的用户的聊天中获得指代另一电子装置的用户的名称,以及将所获得的名称与另一电子装置的用户的联系信息相关联地存储到存储器120中。
此外,处理器130可以执行计算机可执行指令以控制电子装置,在通过麦克风140进行语音聊天的同时,使用AI模型在语音聊天中获得指代另一电子装置的用户的名称。
此外,当通过麦克风140输入包括所获得的名称的用于进行呼叫的用户语音时,处理器130可以控制电子装置基于另一电子装置的用户的联系信息进行呼叫连接。
此外,处理器140可以通过显示器170提供各种UI。例如,处理器140可以通过显示器170提供用于聊天的UI、用于询问是否进行呼叫连接的UI、联系信息UI等。
图4是示出根据本公开的实施例的控制电子装置100的示例性方法的流程图。
参照图4,在使用电子装置100与另一电子装置的用户进行聊天时,使用由AI算法训练的AI模型在与另一电子装置的用户的聊天中获得指代另一电子装置的用户的名称(S410)。
除了指代对方的名称以外,还可以可在聊天中获得各种类型的有意义的信息,诸如指示与对方的关系的关键字、聊天中的对方的地址、与聊天中的对方相关的日程信息等。
电子装置100可支持文本聊天功能和语音聊天功能,并且可以在文本聊天和语音聊天中使用AI模型获得有意义的信息。
电子装置100可以使用用于自然语言处理(NLP)的AI模型在文本中获得并理解有意义的信息。当输入语音时,电子装置100可以使用首先将语音转换成文本的声转文(STT)技术。用于分析与对方的聊天的AI模型可以独自设置在电子装置100中,或者AI模型可以设置在外部服务器中使得电子装置100将聊天发送给外部服务器并且由外部服务器提供聊天的分析结果。可以在电子装置100中执行聊天分析的一些过程,并且可以在外部服务器中执行另外的过程。例如,电子装置100可以将语音聊天发送给外部服务器,以及外部服务器可以将语音转换成文本并将文本提供给电子装置100,电子装置100可以在转换的文本上执行NLP。
可通过例如消息应用进行文本聊天。消息应用可以安装在电子装置100中,或者可以包括从应用商店(诸如Google PlayTM或Samsung AppsTM)下载的消息应用(例如,KakaoTalkTM、LineTM、WhatsAppTM等)。文本聊天可以诸如呈各种形式,例如但不限于SMS、MMS、邮件等。
电子装置100可以提供用于与另一电子装置的用户进行聊天的聊天UI。可以通过执行消息应用提供聊天UI,并且聊天UI可以包括输入聊天文本的区域以及显示自己输入的聊天和对方输入的聊天的区域。例如,电子装置100可以提供如图1所示的聊天UI 10。
电子装置100可以使用AI模型在通过聊天UI输入的聊天中获得有意义的信息(诸如指代另一电子装置的用户的名称、关系、地址等)。例如,电子装置100可以在输入到图1的聊天UI 10的聊天中获得指代对方“Hong Gil-Dong”的名称,即“bulldog”。
可以通过例如但不限于通用电话、基于互联网语音协议(VoIP)的互联网电话(例如,SkypeTM、FaceTimeTM等)等进行语音聊天。
电子装置100可以在与另一电子装置的用户进行语音聊天时使用AI模型在语音聊天中获得有意义的信息(诸如指代另一电子装置的用户的名称、关系、地址等)。例如,电子装置100可以使用AI模型通过将语音聊天转换成文本并将转换的文本输入到AI模型来获得指代另一电子装置的用户的名称。
当先前在另一电子装置的用户的联系信息中登记了第一名称时,电子装置100可以使用AI模型在与另一电子装置的用户的聊天中获得与第一名称不同的第二名称。也就是说,获得与先前存储的名称不同的名称。当先前没有登记名称时,可在聊天中获得新名称。
当获得名称时,电子装置100可以与另一电子装置的用户的联系信息相关联地存储所获得的名称(420)。例如,如参照图1所描述的,可与Hong Gil-Dong的联系信息相关联地存储在与Hong Gil-Dong的聊天中指示Hong Gil-Dong的bulldog。除了对方的名称以外,当在聊天中获得多种有意义的信息(诸如,指示与对方的关系的关键字、对方的地址等)时,可与联系信息相关联地存储各种有意义的信息。
当在与另一电子装置的聊天中比预定次数多的次数获得指代另一电子装置的名称时,电子装置100可以与另一电子装置的用户的联系信息相关联地存储该名称。例如,仅当该名称重复使用的次数多于预定的次数时,可以确定该名称指代对方。
当接收到用于查看对方的联系方式的用户输入时,电子装置100可以提供联系信息用户界面(UI),该联系信息UI包括对方的电话号码和指代对方的名称。例如,当接收到用于查看对方的联系方式的用户输入时,如图1所示的那样,电子装置100可以提供联系信息UI20,该联系信息UI20包括对方的名称“Hong Gil-Dong”、电话号码“010-0000-0000”、昵称“bulldog”等。
可以使用先前在联系信息中登记的名称“Hong Gil-Dong”来执行的功能可以以相同的方式使用通过聊天获得的另一名称“bulldog”来执行。根据实施例,在聊天中获得的名称可用于拨号功能。
图5是示出本公开的在拨号功能中利用在聊天中获得的对方的名称的示例性实施例的示图。
参照图5,当用户输入“呼叫bulldog”的语音时,电子装置100可以在所有联系人名称和昵称项中搜索bulldog并基于HongGil-Dong具有昵称为bulldog的联系信息来进行呼叫连接。
当输入“呼叫bulldog”的语音时,因为相关领域的AI助理仅基于存储的名称执行呼叫连接功能,所以呼叫连接失败,而根据本公开的实施例,呼叫连接可以成功。
代替立即做出呼叫,可在用户确认之后进行呼叫。例如,当输入包括通过聊天获得的名称的用于做出呼叫的用户语音时,电子装置100可以提供消息UI,该消息UI询问是否向先前用另一名称登记的对方进行呼叫连接。下面将参照图6更详细地描述与此示例相关的实施例。
图6是示出本公开的与拨号功能相关的另一示例性实施例的示图。
参照图6,当用户输入“呼叫bulldog”的语音时,电子装置100的AI助理可以提供消息UI 610,消息UI 610询问是否向与bulldog相关联的联系信息中登记的另一名称(即,“Hong Gil-Dong”)进行呼叫连接。当输入用户同意消息UI 610的语音(例如“是”)时,电子装置100可以基于与bulldog对应的Hong Gil-Dong的联系信息进行呼叫连接。当输入用户不同意消息UI 610的语音(例如“否”)时,电子装置100可以不进行呼叫连接。
除了拨号功能以外,在消息发送功能中也可以使用通过聊天获得的指代对方的名称。例如,当用户输入语音“发文字信息给bulldog告诉他今天在公园见”时,电子装置100可以找到与bulldog对应的联系人Hong Gil-Dong并将消息“今天在公园见”发送给该联系人。
图7是示出本公开的与消息发送功能相关的另一示例性实施例的示图。
电子装置100可以使用在与另一电子装置的用户的聊天中获得的名称发送消息。例如,当输入包括所获得的用于发送消息的名称的用户语音时,电子装置100可以基于另一电子装置的用户的联系信息发送在开头处包括该名称的消息。
例如,参照图7,当用户输入语音“给Hong Gil-Dong发送文本消息告诉他今天在公园见”时,因为电子装置100已经在与Hong Gil-Dong的平常聊天中获得了“bulldog”并将它存储在Hong Gil-Dong的联系信息中,所以电子装置100可以发送在消息的开头处包括“bulldog”的消息,“bulldog”为在Hong Gil-Dong的联系方式中获得的昵称。例如,如图7所示,电子装置100可以发送消息“bulldog,今天在公园见”。根据实施例,其优点在于,可以通过平常聊天中常用的名称在呼叫对方的同时,发送消息。
同一个名称可用于指代多个人。例如,与另一电子装置的第一用户的联系信息相关联地存储的名称和与另一电子装置的第二用户的联系信息相关联地存储的名称可以是相同的。
图8是示出本公开的当使用同一名称指代多个对方时进行呼叫连接的示例性实施例的框图。
参照图8,在与两条联系信息相关联地存储名称“甜心”的情况中,当从用户接收到语音“呼叫甜心”时,电子装置100可以提供UI 810,该UI 810指示存在多个具有“甜心”的联系人。当用户说出选择多个联系人中的一个的语音(例如“呼叫Jane”)时,电子装置100可基于Jane的联系方式进行呼叫连接。
根据本公开的另一实施例,当在多个联系信息中存储了同一个名称时,可基于该名称的使用频率对多个联系信息进行优先排序和使用。
例如,电子装置100可以存储指代另一电子装置的用户的名称在聊天中的使用频率。例如,可以存储指代第一用户的名称的使用频率和指代第二用户的名称的使用频率。当输入包括该名称的用于做出呼叫的用户语音时,电子装置100可以基于具有该名称的较高使用频率的用户的联系信息进行呼叫连接。下面将参照图9更详细地描述该方面的示例性实施例。
参照图9,当从用户接收到“呼叫甜心”的语音时,电子装置100搜索具有“甜心”的人的联系信息,并且当找到多个联系信息时,可以基于具有名称“甜心”的最高使用频率的人的联系信息进行呼叫连接。在此示例中,可以提供UI 910用以指引基于具有最高频率的人的联系信息进行呼叫连接。
另一方面,因为可以通过多种昵称呼叫一个人,所以可以在联系信息中存储两个或更多昵称。
在聊天中不仅可以获得指代对方的名称还可以获得其他有意义的信息。例如,可以获得与对方的约会或日程相关的信息。
根据本公开的实施例,电子装置100可以通过使用AI模型在与另一电子装置的用户的聊天中获得与另一电子装置的用户相关联的日程信息,并与另一电子装置的用户的联系信息相关联地存储所获得的日程信息。下面将参照图10更详细地描述本实施例。
图10是示出本公开的在聊天中获得日程信息的示例性实施例的示图。
参照图10,电子装置100的用户(例如,用户1)使用电子装置100与另一电子装置的用户(例如,用户2)进行语音聊天。电子装置100可以使用AI模型在聊天中获得指代用户2的名称(即“grill和chicken”),并获得日程信息(时间信息)。可与用户2的联系信息相关联地存储所获得的信息,并且随后可以在各种功能中利用所获得的信息。
根据本公开的实施例,可与聊天发生的时间相关联地存储在聊天中获得的信息。例如,在输入诸如“我在什么时间与bulldog说过话?”、“谁在3点的时候打过电话?”等的语音的情况中,可以在AI助理进行答复时使用与聊天发生的时间有关的信息。
提供聊天服务的消息应用或电话应用还记录与聊天发生时有关的时间信息,因而可以使用消息应用或电话应用。例如,可以使用与电话应用提供的最近联系记录有关的信息。
根据实施例,当使用电子装置100与另一电子装置的用户进行聊天(文本聊天或语音聊天)时,可以将与另一电子装置的用户的联系记录添加到最近联系记录。此外,可以利用从聊天获得的信息(指代对方的名称、日程信息等)对添加到最近联系记录的联系记录进行标记。下面将参照图11A更详细地描述本实施例。
图11A是示出本公开的利用最近联系记录的示例性实施例的示图。将结合图10的聊天描述图11A。
参照图11A,电子装置100可以将图10中描述的与用户2聊天的时间和用户2的联系方式添加到最近联系记录。当用户2的联系方式不是先前登记的联系方式时,联系记录可以表示为电话号码(02-1234-9876)。可以将在聊天中获得的信息(例如,与指代对方的名称有关的信息)和日程信息以标记的形式添加到所添加的联系记录中。例如,如图11A所示,可以在联系记录的附近显示标记信息1110。
根据另一实施例,可将在聊天中获得的信息提供给日程管理应用(例如,日历应用)。例如,在日程管理应用中,2018年4月20日的日程中可以包括诸如“grill和chicken”、“19:00”和“预约”的信息。
根据本公开的实施例,电子装置100可以区分聊天对方是具体的人还是店名,在具体人的情况中,将聊天中获得的信息存储到联系信息中,在店名的情况中,将店名以标记的形式存储到最近联系记录中。例如,参照图1,当聊天对方是人时,电子装置100可以将在聊天中获得的信息存储到联系人应用的联系信息中,以及参照图11A,当聊天对方是具体的店名时,电子装置100可以将在聊天中获得的信息以标记的形式存储到最近联系记录中。
可以在各种情形中使用在聊天中获得的日程信息。例如,当输入请求与在聊天中获得的日程信息相关联的与聊天对方有关的信息的用户语音时,电子装置100可以提供答复消息UI,该答复消息UI包括指代另一电子装置的用户的名称。下面将参照图12至图14更详细地对此进行描述。
图12是本公开的利用在聊天中获得的日程信息的示例性实施例的示图。将结合参照图11A描述的实施例对图12进行描述。
参照图12,当从用户接收到语音“Bixby,4月20日19:00预约的店名是什么?”时,电子装置100识别触发关键字“Bixby”来激活AI助理,从该语音获得时间信息并从联系记录中标记的信息搜索与获得的时间信息对应的店名。
电子装置100可以在最近联系记录中搜索具有标记信息的联系记录,该标记信息包括从用户语音获得的时间信息“4月20日19:00”。参照图11A,电子装置100可以基于联系记录中标记的信息使用指代对方的名称“grill和chicken”来提供响应消息UI 1210,该响应消息UI 1210包括“4月20日19:00预约的店名是‘grill和chicken’”。
图13是示出本公开的利用在聊天中获得的日程信息的另一示例性实施例的示图。将参照图11A中描述的实施例对图13进行描述。
参照图13,当从用户接收到语音“Bixby!呼叫下周五预约的grill和chicken”时,电子装置100识别触发关键字“Bixby”来激活AI助理,获得时间信息和店名并从最近联系记录搜索与获得的时间信息和店名对应的电话号码。
电子装置100可以从最近联系记录搜索具有与从用户语音获得的时间信息“下周五”对应的“2018年4月20日”和“grill和chicken”作为标记信息的联系记录。参照图11A,电子装置100可以找到具有“2018年4月20日”和“grill和chicken”作为标记信息的联系记录“02-1234-9876”。此外,电子装置100可以向联系记录“02-1234-9876”执行呼叫连接。
图14是示出本公开的利用在聊天中获得的日程信息的另一示例性实施例的示图。将结合图11A中描述的实施例对图14进行描述。
参照图14,当从用户接收到语音“Bixby!给下周五预约的grill和chicken发消息将预约时间只延迟30分钟”时,电子装置100识别触发关键字“Bixby”来激活AI助理,获得时间信息和店名并从最近联系记录搜索与获得的时间信息和店名对应的电话号码。
电子装置100可以从最近联系记录搜索具有与从用户语音获得的时间信息“下周五”对应的“2018年4月20日”和“grill和chicken”作为标记信息的联系记录。参照图11A,电子装置100可以找到具有“2018年4月20日”和“grill和chicken”作为标记信息的联系记录“02-1234-9876”。电子装置100可以从联系记录中标记的信息中确认预约时间是19:00,计算用户想要改变的时间并向“02-1234-9876”发送请求预约改变的文本消息。
当用户删除联系记录时可以一起删除最近联系记录中标记的信息,并且也可以在联系记录的保存期过期之后一起自动删除最近联系记录中标记的信息。
除了将在聊天中获得的信息标记到最近联系记录以外,电子装置100还可以将在聊天中获得的信息提供给日程管理应用,且个人助理可以根据用户请求使用日程管理应用中的信息以向用户进行答复。
根据本公开的另一实施例,电子装置100可以将在聊天中获得的信息添加到联系人列表中。将参照图11B对本实施例进行描述。
图11B是示出根据本公开的实施例的由电子装置100提供的示例性联系人列表UI1100的示图。
电子装置100可以提供存储在电子装置100中的联系信息的联系人列表UI 1100。联系人列表UI 1100可以包括代表所存储的联系人的UI项。当选择UI项时,电子装置100可以提供包括与所选择的UI项对应的联系人的详细信息(电话号码、邮件等)的U I。
电子装置100可以将从各种聊天类型(例如,电话、文本消息、消息应用、聊天应用、SNS应用等)获得的信息(例如,指代对方的名称、指示与对方的关系的关键字、对方的地址、与对方相关的日程信息等)添加到联系人列表。例如,电子装置100可以在与Jane的聊天中获得指代简的名称“甜心”,在与Hong Gil-Dong的聊天中获得指代Hong Gil-Dong的名称“bulldog”,并将获得的信息添加到联系人列表。在此情况中,如图11B所示,电子装置100可以提供联系人列表UI 1100,该联系人列表UI 1100包括UI项“简”中的“甜心”1110和UI项“Hong Gil-Dong”中的“bulldog”1120。
根据本公开的另一实施例,当在联系人列表中搜索联系人时,即使搜索通过聊天获得的名称,除了现有名称以外,也可搜索到该联系人。例如,参照图11B,可以通过将搜索术语输入到联系人列表UI 1100来搜索联系人。在此示例中,当使用“bulldog”作为搜索术语搜索联系人时,可以提供Hong Gil-Dong的联系方式作为搜索结果。
图15是示出本公开的与SNS应用相关联地登记联系人的示例性实施例的示图。
参照图15,电子装置100可以在SNS应用(例如,KakaoTalkTM、FacebookTM等)的地址本(或朋友列表)中搜索和登记联系人,而不在电子装置100的默认联系人应用中搜索和登记联系人。例如,如图15所示,可以将SNS应用的朋友列表中的人(即Lee Gi-Baek)的联系方式而不是电子装置100的默认联系人应用中的人的联系方式新登记到电子装置100的默认的联系人应用中。在此示例中,可以利用由SNS应用提供的信息填充联系人的项。例如,可以基于由SNS应用提供的信息填充电话号码项1510、邮件地址项1520、SNS ID项1530等。
同时,基于SNS应用提供的信息不仅可以新登记联系人,而且可以填充现有联系人的项之中的空项。例如,当已经在电子装置100的默认联系人应用中登记了Lee Gi-Baek的联系方式且构成Lee Gi-Baek的联系方式的项之中的邮件地址项为空时,电子装置100可以从SNS应用接收Lee Gi-Baek的邮件地址并将其填充到邮件地址项中。
此外,电子装置100可以如上面描述的那样在通过SNS应用进行的聊天中获得与对方相关的信息(指代对方的名称、与对方的关系、与对方的日程等),并且该信息包括在联系信息中的信息。例如,电子装置100可以在通过SNS应用进行的与Lee Gi-Baek的聊天中获得指代Lee Gi-Baek的名称“Husky(哈士奇)”,并将获得的名称填充到默认的联系人应用的Lee Gi-Baek联系方式的昵称项1540。
以这种方式,如上描述的,可针对诸如拨号功能、消息发送功能、答复用户语音询问的各种功能使用添加到联系信息中的信息。
如上所述,根据本公开的各种实施例,可以基于从各种聊天类型获得的信息新登记联系信息,或者可以将从各种聊天类型(例如,电话、文本消息、消息应用、聊天应用、SNS应用等)获得的信息与现有的联系信息相关联地进行存储并可将其用于各种功能。
图16是示出根据本公开的各种实施例的使用AI模型的示例性网络***的流程图。
在图16中,使用AI模型的网络***可以包括第一组件2010和第二组件2020。
第一组件2010可以是电子装置100。第二组件2020可以是存储有AI模型的服务器。第一组件2010可以是通用目的处理器,以及第二组件2020可以是AI专用处理器。第一组件2010可以是至少一个应用,以及第二组件2020可以是操作***(OS)。例如,第二组件2020可以是与第一组件2010相比更集成、更专用、更少延迟、具有更高性能或具有更多资源的组件,并且可以是与第一组件2010相比能够更快、更高效地对在生成、更新或应用模型时所需的许多操作进行处理的组件。
可以提供用于在第一组件2010与第二组件2020之间发送/接收数据的接口。
例如,可以提供具有作为因子值(或参数值或传递值)应用于模型的学习数据的应用程序接口(API)。API可以包括例如但不限于可被调用用于任一协议(例如,在电子装置100中定义的协议)中的另一处理(例如,在电子装置100的外部服务器中定义的协议)的任意处理的子例程集或函数集。例如,API可以提供可在任一协议中执行的另一协议的操作的环境。
参照图16,用户可以使用第一组件2010与对方进行通信(S2001)。例如,第一组件2010可以如上描述的通过聊天应用或电话进行聊天。
第一组件2010可以将用户与对方之间的聊天发送给第二组件2020(S2003)。在基于文本的聊天的情况中,可以将聊天文本发送给第二组件2020,以及在基于语音的聊天的情况中,可以将包括语音的音频数据发送给第二组件2020,或者第一组件2010可以将语音转换为文本并将转换后的文本发送给第二组件2020。
第二组件2020可以例如使用经训练的AI模型在聊天中获得与对方相关的信息(S2005)。与对方相关的信息可以包括例如但不限于指代对方的名称、与对方的关系、对方的地址、与对方的日程等的信息。在这方面,AI模型可以是经训练以通过使用聊天作为输入数据识别与聊天中的对方相关的信息的模型。
第二组件2020可以将在聊天中获得的与对方相关的信息发送给第一组件2010(S2007)。
第一组件2010可以与对方的联系信息相关联地存储在聊天中获得的与对方相关的信息(S2009)。
此外,第一组件2010可以在各种情况中利用与联系信息相关联地存储的与对方相关的信息。例如,如在上述的示例中那样,当用户输入用于请求呼叫的语音时,第一组件2010可以搜索语音中包括的与指代对方的名称对应的联系信息并基于该联系信息进行呼叫连接。
根据上述的实施例,可以从个人的私人聊天获得有意义的信息并可在各种功能中利用该有意义的信息,以及因此各种用户体验都是可能的且不限于现有的预定名称等并且个人的私人聊天具有更多的与对方相关的信息,以及因此可以利用此信息。
本文所描述的各种实施例可以在软件、硬件或其任意的组合中实现。本文中描述的实施例可以通过使用特定应用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑设备(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、或用于指令另一功能的电子单元中的至少一个在硬件中实现。具体地,本文中描述的各种实施例可以由电子装置100的处理器130实现。关于程序或功能的实施例可以在具有单独的软件模块的软件中实现。软件模块中的每个能够实现本文中描述的至少一个功能或操作。
本公开的各种实施例在包括可存储在机器可读存储介质中的指令的软件上实现。机器是能够从存储介质调用所存储的指令且根据所调用的指令进行操作的装置,并且可以包括实施例的控制设备200。
当处理器执行指令时,处理器可以直接或在处理器的控制下使用其他元件来执行与指令对应的功能。指令可以包括由编译器制作的代码或可由解释器执行的代码。例如,通过由处理器执行存储在存储介质中的指令,可执行上述电子装置100的控制方法。例如,通过由设备(或电子装置)的处理器执行存储在存储介质中的指令,可执行一种控制方法,该控制方法包括:在使用电子装置与另一电子装置的用户进行聊天时,使用由AI算法训练的AI模型在与另一电子装置的用户的聊天中获得指代另一电子装置的用户的名称,并将所获得的名称与另一电子装置的用户的联系信息相关联地进行存储。
可以以非暂时性存储介质的形式提供机器可读存储介质。“非暂时性”存储介质是有形的,但是不区分是将数据半永久地存储在存储介质中还是将数据暂时存储在存储介质中。
根据实施例,根据本文中的各种实施例的方法可以在计算机程序产品中提供。计算机程序产品可以在卖方与买方之间作为商品进行交易。计算机程序产品可以包括以机器可读存储介质(例如,光盘只读存储器(CD-ROM))的形式的产品或者可以通过应用商店(例如,Google Play StoreTM或AppStoreTM)在线分布。在电子分布的情况中,计算机程序产品的至少部分可被暂时存储在诸如制造商的服务器的存储器、应用商店的服务器的存储器或中继服务器的存储器等的存储介质上或在它们中被创建。
在各种实施例中,根据各种实施例的每个组件(例如,模块或程序)可以由单个实体或多个实体组成,可以省略上述子组件中的一些,或者还可以包括其他子组件。替代地或附加地,一些组件(例如,模块或程序)可以集成到一个实体中从而以相同或相似的方式执行由每个对应的组件在集成之前执行的功能。可以顺序、并行、反复或启发地执行根据各种实施例由模块、程序或其他组件执行的操作,或者可以以不同的顺序执行至少一些操作,省略至少一些操作,或者可以添加另一操作。
尽管在本公开中示出和描述了各种示例性实施例,但是本公开不限于上述示例性实施例,并且可以在不偏离例如权利要求限定的本公开的精神和范围的情况下由所属领域的技术人员进行各种修改。

Claims (15)

1.一种控制电子装置的方法,所述方法包括:
在使用所述电子装置与另一电子装置的用户进行聊天时,使用经AI算法训练的AI模型在与所述另一电子装置的用户的聊天中获得指代所述另一电子装置的用户的名称;以及
与所述另一电子装置的用户的联系信息相关联地存储所获得的名称。
2.如权利要求1所述的方法,还包括:基于输入了包括所获得的名称的用于进行呼叫的用户语音,基于所述另一电子装置的用户的联系信息执行呼叫连接。
3.如权利要求1所述的方法,其中,获得所述名称包括:
基于先前在所述另一电子装置的用户的联系信息中登记了指代所述另一电子装置的用户的第一名称,使用所述AI模型在与所述另一电子装置的用户的聊天中获得与所述第一名称不同的第二名称。
4.如权利要求3所述的方法,还包括:基于输入了包括所述第二名称的用于进行呼叫的用户语音,提供询问是否对所述第一名称的对方执行呼叫连接的消息UI。
5.如权利要求3所述的方法,还包括:基于接收到用于查看所述另一电子装置的用户的联系信息的用户输入,提供包括所述另一电子装置的用户的电话号码、所述第一名称和所述第二名称的联系信息UI。
6.如权利要求1所述的方法,还包括:
提供用于与所述另一电子装置的用户进行所述聊天的聊天UI,
其中,获得所述名称包括:使用所述AI模型在通过所述聊天UI输入的聊天中获得指代所述另一电子装置的用户的名称。
7.如权利要求1所述的方法,其中,获得所述名称包括:在与所述另一电子装置的用户进行语音聊天时,使用所述AI模型在所述语音聊天中获得指代所述另一电子装置的用户的所述名称。
8.如权利要求1所述的方法,其中,存储所获得的名称包括:基于在与所述另一电子装置的用户的聊天中比预定次数多地获得指代所述另一电子装置的用户的名称,与所述另一电子装置的用户的联系信息相关联地存储所述名称。
9.如权利要求1所述的方法,还包括:
存储指代所述另一电子装置的用户的名称在与所述另一电子装置的用户的聊天中的使用频率;以及
在除了所述另一电子装置的用户的联系信息以外与另一用户的联系信息相关联地存储与所述名称相同的名称的情况中,基于输入了包括所述名称的用于进行呼叫的用户语音,基于具有所述名称的较高使用频率的用户的联系信息执行呼叫连接。
10.如权利要求1所述的方法,还包括:基于输入了用于发送消息的包括名称的用户语音,基于所述另一电子装置的用户的联系信息发送在所述消息的开头处包括所述名称的所述消息。
11.如权利要求1所述的方法,还包括:
使用所述AI模型在与所述另一电子装置的用户的聊天中获得与所述另一电子装置的用户相关联的日程信息;以及
与所述另一电子装置的用户的联系信息相关联地存储所述日程信息。
12.如权利要求11所述的方法,还包括:基于输入了请求与所述日程信息相关联的与聊天对方有关的信息的用户语音,提供包括指代所述另一电子装置的用户的名称的答复消息UI。
13.如权利要求1所述的方法,还包括:
将与所述另一电子装置的用户的联系记录添加到最近联系记录;以及
在添加到所述最近联系记录的、与所述另一电子装置的用户的联系记录中标记所述名称。
14.一种电子装置,包括:
通信器,包括通信电路;
存储器,配置为存储计算机可执行指令;以及
处理器,配置为通过执行所述计算机可执行指令以:控制所述电子装置在通过所述通信器与另一电子装置的用户进行聊天时,使用经AI算法训练的AI模型在与所述另一电子装置的用户的聊天中获得指代所述另一电子装置的用户的名称,以及将所获得的名称与所述另一电子装置的用户的联系信息相关联地存储到所述存储器中。
15.如权利要求14所述的电子装置,还包括:麦克风,
其中,所述处理器还配置为控制所述电子装置以:基于通过所述麦克风输入了包括所获得的名称的用于进行呼叫的用户语音,基于所述另一电子装置的用户的联系信息执行呼叫连接。
CN201980054715.6A 2018-08-20 2019-08-20 电子装置及其控制方法 Active CN112585911B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR10-2018-0096867 2018-08-20
KR20180096867 2018-08-20
KR10-2019-0096871 2019-08-08
KR1020190096871A KR20200021402A (ko) 2018-08-20 2019-08-08 전자 장치 및 그의 제어방법
PCT/KR2019/010547 WO2020040517A1 (en) 2018-08-20 2019-08-20 Electronic apparatus and control method thereof

Publications (2)

Publication Number Publication Date
CN112585911A true CN112585911A (zh) 2021-03-30
CN112585911B CN112585911B (zh) 2022-11-22

Family

ID=69638528

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980054715.6A Active CN112585911B (zh) 2018-08-20 2019-08-20 电子装置及其控制方法

Country Status (2)

Country Link
KR (1) KR20200021402A (zh)
CN (1) CN112585911B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101356837A (zh) * 2006-02-06 2009-01-28 客得富移动通信股份有限公司 一种通过使用sms来聊天的移动终端及其方法
WO2010141802A1 (en) * 2009-06-05 2010-12-09 Apple Inc. Contextual voice commands
US20140155111A1 (en) * 2012-12-04 2014-06-05 Lg Electronics Inc. Mobile terminal and controlling method thereof
CN104079696A (zh) * 2013-03-29 2014-10-01 腾讯科技(深圳)有限公司 联系人名片的生成方法及装置
CN104380328A (zh) * 2012-06-11 2015-02-25 三星电子株式会社 用户终端装置、服务器装置和包括它们的***及其广告服务方法
US20150161519A1 (en) * 2013-04-19 2015-06-11 Google Inc. Name recognition
CN106570102A (zh) * 2016-10-31 2017-04-19 努比亚技术有限公司 智能聊天方法、装置及终端
CN106649253A (zh) * 2015-11-02 2017-05-10 涂悦 基于后验证的辅助控制方法及***
US20180131802A1 (en) * 2015-04-27 2018-05-10 Lg Electronics Inc. Mobile terminal and control method therefor

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101356837A (zh) * 2006-02-06 2009-01-28 客得富移动通信股份有限公司 一种通过使用sms来聊天的移动终端及其方法
WO2010141802A1 (en) * 2009-06-05 2010-12-09 Apple Inc. Contextual voice commands
CN104380328A (zh) * 2012-06-11 2015-02-25 三星电子株式会社 用户终端装置、服务器装置和包括它们的***及其广告服务方法
US20140155111A1 (en) * 2012-12-04 2014-06-05 Lg Electronics Inc. Mobile terminal and controlling method thereof
KR20140071815A (ko) * 2012-12-04 2014-06-12 엘지전자 주식회사 이동 단말기 및 이의 제어 방법
CN104079696A (zh) * 2013-03-29 2014-10-01 腾讯科技(深圳)有限公司 联系人名片的生成方法及装置
US20150161519A1 (en) * 2013-04-19 2015-06-11 Google Inc. Name recognition
US20180131802A1 (en) * 2015-04-27 2018-05-10 Lg Electronics Inc. Mobile terminal and control method therefor
CN106649253A (zh) * 2015-11-02 2017-05-10 涂悦 基于后验证的辅助控制方法及***
CN106570102A (zh) * 2016-10-31 2017-04-19 努比亚技术有限公司 智能聊天方法、装置及终端

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BOYANG HAN等: "Extending an Instant Messaging System with Data Services and Mashups Thereof", 《2014 IEEE INTERNATIONAL CONFERENCE ON SERVICES COMPUTING》 *
王茜: "移动社交网络***服务器的设计与实现", 《 中国优秀硕士论文电子期刊网》 *

Also Published As

Publication number Publication date
KR20200021402A (ko) 2020-02-28
CN112585911B (zh) 2022-11-22

Similar Documents

Publication Publication Date Title
US11575783B2 (en) Electronic apparatus and control method thereof
CN110546630B (zh) 用于提供信息的方法和支持该方法的电子装置
US11398223B2 (en) Electronic device for modulating user voice using artificial intelligence model and control method thereof
US10389873B2 (en) Electronic device for outputting message and method for controlling the same
KR102383791B1 (ko) 전자 장치에서의 개인 비서 서비스 제공
US11842735B2 (en) Electronic apparatus and control method thereof
US11367441B2 (en) Electronic apparatus and control method thereof
US11631400B2 (en) Electronic apparatus and controlling method thereof
US20200133211A1 (en) Electronic device and method for controlling electronic device thereof
US11475218B2 (en) Apparatus and method for providing sentence based on user input
US20230290343A1 (en) Electronic device and control method therefor
EP3588258A1 (en) Electronic device and screen control method for processing user input by using same
US11481811B2 (en) Electronic device and method for controlling same
US20230177398A1 (en) Electronic apparatus and control method thereof
US20190236417A1 (en) Electronic device and method for controlling the electronic device
KR20170035604A (ko) 이미지를 처리하는 전자 장치 및 그 제어 방법
US20220059088A1 (en) Electronic device and control method therefor
CN110169021B (zh) 用于过滤多条消息的方法和设备
US11817097B2 (en) Electronic apparatus and assistant service providing method thereof
KR20160046038A (ko) 위치 기반 소셜 검색 서비스를 제공하는 방법 및 장치
CN112585911B (zh) 电子装置及其控制方法
KR102449350B1 (ko) 재고 관리 서비스를 제공하는 시스템 및 그 동작 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant