CN108600496A - 电子设备及其控制方法 - Google Patents

电子设备及其控制方法 Download PDF

Info

Publication number
CN108600496A
CN108600496A CN201810153837.8A CN201810153837A CN108600496A CN 108600496 A CN108600496 A CN 108600496A CN 201810153837 A CN201810153837 A CN 201810153837A CN 108600496 A CN108600496 A CN 108600496A
Authority
CN
China
Prior art keywords
audio data
user
controller
information
content item
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810153837.8A
Other languages
English (en)
Other versions
CN108600496B (zh
Inventor
郑奎赫
金儒辰
赵泽
赵泽一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN108600496A publication Critical patent/CN108600496A/zh
Application granted granted Critical
Publication of CN108600496B publication Critical patent/CN108600496B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/686—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title or artist information, time, location or usage information, user ratings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72442—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for playing music files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/63—Querying
    • G06F16/638—Presentation of query results
    • G06F16/639—Presentation of query results using playlists
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44222—Analytics of user selections, e.g. selection of programs or purchase activity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4524—Management of client data or end-user data involving the geographical location of the client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4667—Processing of monitored end-user data, e.g. trend analysis based on the log file of viewer selections
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4668—Learning process for intelligent management, e.g. learning user preferences for recommending movies for recommending content, e.g. movies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8106—Monomedia components thereof involving special audio data, e.g. different tracks for different languages
    • H04N21/8113—Monomedia components thereof involving special audio data, e.g. different tracks for different languages comprising music, e.g. song in MP3 format
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/34—Microprocessors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/36—Memories
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42202—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4662—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Data Mining & Analysis (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Software Systems (AREA)
  • Business, Economics & Management (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Biophysics (AREA)
  • Strategic Management (AREA)
  • Primary Health Care (AREA)
  • Biomedical Technology (AREA)
  • Marketing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Molecular Biology (AREA)
  • Acoustics & Sound (AREA)
  • Library & Information Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Remote Sensing (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及一种电子设备及其控制方法，并且更具体地，涉及一种具有人工智能功能的电子设备，该电子设备包括：麦克风，该麦克风被配置成收集音频数据；以及控制器，该控制器被配置成通过控制处于背景状态中的麦克风来收集音频数据，通过使用预存储的用户日志信息来预测用户偏爱的音频数据，基于预测结果从收集的音频数据来决定推荐音频数据，以及输出用于提供所决定的推荐音频数据的用户界面。

Description

电子设备及其控制方法
技术领域
本说明书涉及一种具有人工智能(AI)功能的电子设备及其控制 方法。
背景技术
根据移动性，电子设备可以被划分成便携式设备和固定式设备。 此外，根据用户是否能够直接携带，便携式电子设备可以被分类成手 持式和车载式。
便携式电子设备已经变得越来越多功能。这些功能的示例包括数 据和语音通信、经由相机捕获图像和视频、记录音频、经由扬声器系 统播放音乐文件、以及在显示器上显示图像和视频。一些电子设备包 括支持玩游戏的附加功能，而其他终端被配置成多媒体播放器。最近， 电子设备已经被配置成接收允许观看诸如视频和电视节目的内容的广 播和多播信号。
当电子设备变得多功能时，其能够被允许捕获静止图像或运动图 像，播放音乐或视频文件，玩游戏，接收广播等，从而被实现为集成 多媒体播放器。
在现有技术中，用户必须选择或搜寻用户期望的多媒体内容。因 此，当用户不知道与多媒体内容有关的信息时，对于用户来说无法接 收多媒体内容。
同时，近年来，随着在常开(always-on)状态中工作的传感器的 发展，能够仅使用较少的功率实时检测用户的周围环境。即使用户不 直接操作，这些传感器也能够实时检测与用户周围环境有关的信息。
最近，基于机器学习技术，使思考能够类似于人类智能的人工智 能领域已经获得了快速的发展。这种人工智能能够允许机器取代通过 人的思想操纵机器的人类行为。因此，在各种工业领域中进行各种努 力来利用人工智能。
因此，本发明提出一种方法，在该方法中，即使用户不知道与多 媒体内容有关的信息，通过利用在常开状态操作的传感器和人工智能 也能够提供多媒体内容。
发明内容
详细描述的一个方面是为了提供一种电子设备及其控制方法，该 电子设备能够选择性地提供与用户已经无意中听到的音频数据之中的 值得向用户推荐的音频数据有关的信息。
本发明的又一个目的是为了提供一种能够向用户推荐适合于周围 情况的音频数据的电子设备及其控制方法。
为了实现这些和其他优点并且根据本说明书的用途，如在此具体 化和广泛描述的，提供一种电子设备，包括：麦克风，该麦克风被配 置成收集音频数据；以及处理器，该处理器被配置成通过控制处于背 景状态的麦克风来收集音频数据，通过使用预存储的用户日志信息 (user log information)来预测用户偏爱的音频数据(user-preferred audiodata)，基于预测结果从所收集的音频数据来确定推荐音频数据， 以及输出用于提供所决定的推荐音频数据的用户界面。
在此公开的一个实施例中，用户日志信息可以进一步包括与用户 对音频数据的收听频率、用户的收听时间以及用户收听的地点有关的 信息中的至少一个，并且控制器可以基于包括在用户日志信息中的频 率、时间和地点信息中的至少一个来预测用户偏爱的音频数据。
在此公开的一个实施例中，控制器可以基于用户输入从收集到的 音频数据来提取至少部分音频数据，以及基于预测结果从提取的至少 部分音频数据来决定推荐音频数据。
在此公开的一个实施例中，用户输入可以是与特定位置或特定时 间中的至少一个有关的信息。
在此公开的一个实施例中，控制器可以在用户界面上进一步输出 与已经收集到与推荐音频数据中的每个相对应的音频数据的地理位置 有关的信息。
在此公开的一个实施例中，控制器可以输出包括地理位置的地图 图像作为与已经收集到音频数据的地理位置有关的信息。当拖动输入 被施加在地图图像上时，控制器可以根据用户的拖动输入来决定推荐 音频数据的再现顺序。
在此公开的一个实施例中，控制器可以分别在与各个推荐音频数 据相对应的音频数据的收集位置附近进一步输出与音频数据的收集时 间有关的信息。
在此公开的一个实施例中，控制器可以基于用户日志信息和用户 输入来预测用户偏爱的音频数据，以及用户输入可以是位置信息或时 间信息中的至少一个。
在此公开的一个实施例中，位置信息可以是与特定区域或用户的 当前位置有关的信息，以及控制器可以从收集的音频数据提取与根据 特定区域或用户的当前位置的区域的名称或者根据特定区域或者用户 的当前位置离该区域预设距离内的显著区域(prominent area)的名称 相关联的音频数据。
在此公开的一个实施例中，时间信息可以是与特定时间或用户输 入的检测时间有关的信息，并且控制器从收集的音频数据提取与指示 特定时间或用户输入的检测时间的名称或在特定时间或用户输入的检 测时间可观察到的周围环境的名称相关联的音频数据。
在此公开的一个实施例中，控制器可以确定是否可以从在当前位 置处收集的音频数据来决定推荐音频数据，以及输出用于通知能够提 供推荐音频数据的通知信息。
在此公开的一个实施例中，当接收到对推荐音频数据中的一个的 再现请求时，控制器可以利用根据用户周围的噪声设置的音量来再现 收集到的音频数据之中的一个音频数据。
在此公开的一个实施例中，当施加用户输入时控制器可以检测用 户的状态，并且基于用户日志信息和用户状态的检测结果来预测用户 偏爱的音频数据。
在此公开的一个实施例中，控制器可以基于进一步检测到与用户 相邻的其他人的结果来检测用户的状态。进一步检测其他人的结果可 以进一步包括与用户相邻的其他人的数目、与用户相邻的其他人的性 别、用户和其他人的语音音量、以及检测用户和其他人的语音的次数 和每个语音的检测时间的检测结果。
根据本发明的另一实施例的控制电子设备的方法可以包括：收集 背景状态的音频数据；使用预存储的用户日志信息从收集到的音频数 据来预测用户偏爱的音频数据；基于预测结果从收集到的音频数据来 决定推荐音频数据，以及通过用户界面来提供所决定的推荐音频数据。
从下文中给出的详细描述中，本申请的应用的进一步范围将变得 更加显然。然而，应理解的是，仅通过说明给出指示本公开的优选实 施例的特定示例和详细描述，因为对本领域的技术人员来说，从详细 描述中本公开的精神和范围内的各种变化和修改将变得显而易见。
附图说明
在附图中：
图1是根据本发明的一个示例性实施例的电子设备的框图；
图2是图示根据本发明的实施例的在电子设备中通过预测用户偏 爱的音频数据来提供推荐音频数据的操作的流程图；
图3是图示根据本发明的实施例的在电子设备中基于用户输入和 预测用户的偏爱的音频数据的结果来确定推荐音频数据的操作的流程 图；
图4是图示根据本发明实施例的在电子设备中基于分析用户的周 围情况和用户日志信息的结果来预测用户偏爱的音频数据的操作的流 程图；
图5是图示根据本发明的实施例的在移动终端中根据周围情况向 用户推荐音频数据的示例的概念图；
图6是图示根据本发明的实施例的在移动终端中推荐在特定时间 和特定位置收集的音频数据之中的用户可能喜欢的音频数据的方法的 概念图；
图7是图示根据本发明的实施例的在移动终端中提供与提供给用 户的每个推荐音频数据有关的各种信息的方法的概念图；以及
图8是图示根据本发明的实施例的在移动终端中搜寻适合用户的 当前情况的音频数据并且将搜索到的音频数据作为推荐音频数据提供 的示例的概念图。
具体实施方式
参考附图，现在将根据在此公开的示例性实施例详细地给出描述。 为了参考附图简要描述，相同的或者等效的组件可以被设有相同或者 相似的附图标记，并且其描述将不会被重复。通常，诸如“模块”和 “单元”的后缀可以被用于指代元件或者组件。这样的后缀的使用在 此旨在仅有助于说明书的描述，并且后缀本身旨在没有给予任何特定 的意义或者功能。在本公开中，为了简要，通常已经省略了在相关领 域中对于普通技术人员来说公知的那些。附图被用于帮助容易地理解 各种技术特征并且应理解附图没有限制在此提出的实施例。正因如此， 本公开应被解释为延伸到除了在附图中特别陈述的之外的任何改变、 等同物以及替代。
将要理解的是，尽管在此可以使用术语第一、第二等等以描述各 种元件，但是这些元件不应被这些术语限制。这些术语通常仅被用于 区分一个元件与另一个元件。
将要理解的是，当元件被称为“连接”另一元件时，元件能够与 另一元件连接或者也可以存在中间元件。相反地，当元件被称为“直 接地连接”另一元件时，不存在中间元件。
单数表示可以包括复数表示，除非根据上下文其表示明确不同的 意义。在此使用诸如“包括”或者“具有”的术语并且应理解它们旨 在指示在本说明书中公开的数个组件、功能或者步骤的存在，并且也 理解可以同样地利用更多或者更少的组件、功能或者步骤。
可以使用各种不同类型的终端实现在此提出的移动终端。这样的 终端的示例包括蜂窝电话、智能电话、用户装置、膝上型计算机、数 字广播终端、个人数字助手(PDA)、便携式多媒体播放器(PMP)、 导航仪、便携式计算机(PC)、板式PC、平板PC、超级本、可佩戴 装置(例如，智能手表、智能眼镜、头戴式显示器(HMD))等等。
仅通过非限制性示例，将会参考特定类型的移动终端进行进一步 的描述。然而，这样的教导同等地应用于其他类型的终端，诸如在上 面注明的那些类型。另外，这样的教导也可以被应用于诸如数字TV、 桌上型计算机等等的固定终端。
参考图1，图1是根据本发明的移动终端100的框图。
示出移动终端100，其具有诸如无线通信单元110、输入单元120、 人工智能(AI)单元130、感测单元140、输出单元150、接口单元160、 存储器170、控制器180、以及电源单元190的各种组件。要理解的是， 不要求实现所有图示的组件，并且可以替换地实现更多或者更少的组 件。
现在参考图1，示出移动终端100，该移动终端100具有被配置有 数个被共同实现的组件的无线通信单元110。例如，无线通信单元100 通常包括允许在移动终端100与无线通信***或者移动终端位于的网 络之间的无线通信的一个或多个组件。
无线通信单元110通常包括一个或者多个模块，其允许诸如在移 动终端100和无线通信***之间的无线通信的通信、在移动终端100 和另一移动终端之间的通信、在移动终端100与外部服务器之间通信。 此外，无线通信单元110通常包括将移动终端100连接到一个或者多 个网络的一个或者多个模块。为了有助于这样的通信，无线通信单元 110包括一个或者多个广播接收模块111、移动通信模块112、无线互 联网模块113、短程通信模块114、以及位置信息模块115中的一个或 者多个。
输入单元120包括：用于获得图像或者视频的相机121；麦克风 122，该麦克风122是一种用于输入音频信号的音频输入装置；以及用 于允许用户输入信息的用户输入单元123(例如，触摸键、推动键、机 械键、软键等等)。数据(例如，音频、视频、图像等等)通过输入 单元120被获得并且可以根据装置参数、用户命令、以及其组合通过 控制器180分析和处理。
人工智能单元130起到基于人工智能技术处理信息的作用，并且 可以包括至少一个模块，用于执行信息的学习、信息的推理、信息的 感知以及自然语言的处理中的至少一个。
人工智能单元130可以使用机器学习技术来执行诸如存储在移动 终端中的信息、与移动终端有关的周围环境信息、存储在可通信的外 部存储器中的信息等的大量信息(大数据)的学习、推理和处理中的 至少一个。并且，人工智能单元130可以基于使用机器学习技术学习 的信息来预测(或推断)移动终端的至少一个可执行操作，并且控制 移动终端以执行至少一个预测操作之中最可行的操作。
机器学习技术是基于至少一种算法来收集和学习大量信息并且基 于所学习的信息来确定和预测信息的技术。信息的学习是掌握信息特 征、规则和判断标准、量化信息与信息之间的关系以及使用量化模式 预测新数据的一种操作。
机器学习技术所使用的算法可以是基于统计的算法，例如，使用 树结构类型作为预测模型的决策树、模仿活体生物的神经网络结构和 功能的人工神经网络、基于生物进化算法的遗传规划、将观察到的示 例分布到集群(clusters)的子集的聚类、使用随机提取的随机数将函 数值计算为概率的蒙特卡罗方法(Monte Carlo method)等。
作为机器学习技术的一个领域，深度学习是使用人工神经网络算 法执行学习、确定和处理信息中的至少一个的技术。人工神经网络可 以具有链接层和在层之间传输数据的结构。这种深度学习技术可以被 采用以使用针对并行计算优化的图形处理单元(GPU)通过人工神经 网络来学习大量的信息。
同时，人工智能单元130可以收集(感测、监视、提取、检测、 接收)在移动终端的组件之中输入或输出的信号、数据和信息，以便 收集用于应用机器学习技术的大量信息。此外，人工智能单元130可 以收集(感测、监视、提取、检测、接收)存储在通过通信连接的外部存储器(例如，云服务器)中的数据、信息等。更具体地，信息的 收集可以被理解为包括通过传感器感测信息，提取存储在存储器170 中的信息或通过通信从外部存储器接收信息的操作的术语。
人工智能单元130可以通过感测单元140感测移动终端内的信息、 与移动终端有关的周围环境信息以及用户信息。另外，人工智能单元 130可以通过无线通信单元110接收广播信号和/或广播有关的信息、 无线信号、无线数据等等。人工智能单元130也可以从用户输入接收 图像信息(或信号)、音频信息(或信号)、数据或用户输入信息。
人工智能单元130可以在背景中实时收集大量信息，学习收集的 信息，将学习的信息处理成适当形式的信息(例如，知识图、命令策 略、个性化数据库、对话引擎等)，并将处理后的信息存储在存储器 170中。
当基于使用机器学习技术学习的信息预测移动终端的操作时，人 工智能单元130可以控制移动终端的组件以执行预测操作或者向控制 器180传输用于执行预测的控制命令操作。然后，控制器180可以基 于控制命令通过控制移动终端来执行预测的操作。
同时，当执行特定操作时，人工智能单元130可以通过机器学习 技术来分析指示执行特定操作的历史信息，并且基于分析的信息执行 先前学习的信息的更新。因此，人工智能单元130能够提高这种信息 预测的准确性。
同时，在本说明书中，人工智能单元130和控制器180可以被理 解为相同的组件。在本实例中，在此描述的控制器180中执行的功能 可以被表示为在人工智能单元130中执行，并且控制器180可以被命 名为人工智能单元130，或者相反地，人工智能单元130可以被称为控 制器180。
另一方面，在本说明书中，人工智能单元130和控制器180可以 被理解为分离的组件。在本实例中，人工智能单元130和控制器180 可以通过彼此的数据交换而在移动终端上执行各种控制。控制器180 可以基于从人工智能单元130得到的结果来执行移动终端上的至少一 个功能或者控制移动终端的至少一个组件。此外，人工智能单元130 还可以在控制器180的控制下来操作。
通常使用被配置成感测移动终端的内部信息、移动终端的周围环 境、用户信息等等的一个或者多个传感器来实现感测单元140。感测单 元140可以包括接近传感器141、照度传感器142、触摸传感器、加速 度传感器、磁传感器、G传感器、陀螺仪传感器、运动传感器、RGB 传感器、红外(IR)传感器、手指扫描传感器、超声传感器、光学传 感器(例如，相机121)、麦克风122、电池量表、环境传感器(例如， 气压计、湿度计、温度计、辐射检测传感器、热传感器、以及气体传 感器等)、以及化学传感器(例如，电子鼻、医疗传感器、生物传感 器等等)中的至少一个。在此公开的移动终端100可以被配置成利用 从感测单元140的一个或者多个传感器及其组合获得的信息。
输出单元150通常被配置成输出诸如音频、视频、触觉输出等等 的各种类型的信息。示出具有显示单元151、音频输出模块152、触觉 模块153、以及光学输出模块154中的至少一个的输出单元150。显示 单元151可以具有带有触摸传感器的层间结构或者集成结构以便于促 成触摸屏幕。触摸屏可以在移动终端100和用户之间提供输出接口， 并且用作在移动终端100和用户之间提供输入接口的用户输入单元 123。
接口单元160用作与能够被耦合到移动终端100的各种类型的外 部设备的接口。例如，接口单元160可以包括任何有线或者无线端口、 外部电源端口、有线或者无线数据端口、存储卡端口、用于连接具有 标识模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、 耳机端口等等。在一些情况下，响应于外部设备被连接到接口单元160， 移动终端100可以执行与连接的外部设备相关联的各种控制功能。
存储器170通常被实现为存储数据以支持移动终端100的各种功 能。例如，存储器170可以被配置成存储在移动终端100中执行的应 用程序或者应用、用于移动终端100的操作的数据或者指令、以及用 于人工智能单元130的操作的数据(例如，用于机器学习的至少一个 算法信息等等)。经由无线通信可以从外部服务器下载这些应用程序 中的一些。在制造或者装运时其他应用程序可以被安装在移动终端100 内(例如，接听电话、拨打电话、接收消息、发送消息等等)。同时， 应用程序可以被存储在存储器170中并且安装在移动终端100中，并 且通过控制器180执行以执行移动终端100的操作(或者功能)。
除了与应用程序相关联的操作之外，控制器180通常用作控制移 动终端100的整体操作。控制器180能够通过处理通过前述的各种组 件输入或者输出的信号、数据、信息等等，或者激活存储在存储器170 中的应用程序来提供或者处理适合于用户的信息或者功能。
此外，控制器180控制在图1中图示的一些或者全部组件以便于 执行已经被存储在存储器170中的应用程序。另外，控制器180可以 控制被包括在移动终端中的这些组件中的至少两个以激活应用程序。 电源单元190被配置成接收外部电力或者提供内部电力以便于供应对 于操作被包括在移动终端100中的元件和组件所要求的适当的电力。 电源单元190可以包括电池，并且电池可以被配置成被嵌入在终端主 体中，或者被配置成从终端主体可拆卸。
根据在此公开的各种实施例，组件的至少部分可以协作地操作以 实现移动终端的操作、控制或控制方法。此外，可以通过激活存储在 存储器170中的至少一个应用程序而在移动终端上实现移动终端的操 作、控制或控制方法。
在下文中，在描述通过移动终端100实现的各种实施例之前，将 参考图1给出前述的组件的更加详细的描述。
首先，关于无线通信单元110，广播接收模块111通常被配置成 经由广播信道从外部广播管理实体接收广播信号和/或广播相关信息。 广播信道可以包括卫星信道、地面信道或这两者。在一些实施例中， 可以利用两个或更多个广播接收模块111以有助于同时接收两个或更 多个广播信道，或者支持广播信道之中的切换。
广播管理实体可以指示生成并发送广播信号和/或广播相关信息 的服务器，或者接收预生成的广播信号和/或广播相关信息并将其发送 到移动终端的服务器。广播信号可以被实现为TV广播信号、无线电广 播信号和数据广播信号等等。广播信号可以进一步包括与TV或无线电 广播信号组合的数据广播信号。
广播信号可以通过用于发送和接收数字广播信号的技术标准(或 广播方法，例如，ISO、IEC、DVB、ATSC等)中的至少一个来加密。 广播接收模块111可以使用适合于从这些技术标准中选择的技术标准 的方法来接收数字广播信号。
广播相关信息的示例可以包括与广播频道、广播节目、广播服务 提供商等相关联的信息。广播相关信息可以经由移动通信网络提供， 并由移动通信模块112接收。
广播相关信息可以以各种格式来实现。例如，广播相关信息可以 包括数字多媒体广播(DMB)的电子节目指南(EPG)、数字视频广 播-手持(DVB-H)的电子服务指南(ESG)等。通过广播接收模块111 接收的广播信号和/或广播相关信息可以被存储在存储器170中。
移动通信模块112能够将无线信号发送到一个或者多个网络实体 并且/或者从一个或者多个网络实体接收无线信号。网络实体的典型示 例包括基站、外部移动终端、服务器等等。这样的网络实体形成移动 通信网络的一部分，该移动通信网络根据用于移动通信(例如，全球 移动通信***(GSM)、码分多址(CDMA)、CDMA 2000(码分多 址2000)、EV-DO(增强的语音数据优化或者仅增强的语音数据)、 宽带CDMA(WCDMA)、高速下行链路分组接入(HSDPA)、高速 上行链路分组接入(HSUPA)、长期演进(LTE)、高级长期演进(LTE-A) 等等)的技术标准或者通信方法来构造。
经由移动通信模块112发送和/或接收的无线信号的示例包括音频 呼叫信号、视频(电话)呼叫信号、或者各种格式的数据以支持文本 和多媒体消息的通信。
无线互联网模块113被配置成有助于无线互联网接入。这个模块 可以被内部地或者外部地耦合到移动终端100。无线互联网模块113可 以根据无线互联网技术经由通信网络发送和/或接收无线信号。
这样的无线互联网接入的示例包括无线LAN(WLAN)、无线保 真(Wi-Fi)、Wi-Fi直连、数字生活网络联盟(DLNA)、无线宽带 (Wibro)、全球微波接入互操作(Wimax)、高速下行链路分组接入 (HSDPA)、高速上行链路分组接入(HSUPA)、长期演进(LTE)、 高级LTE(LTE-A)等等。无线互联网模块113可以根据一个或者多个 这样的无线互联网技术、或者其他互联网技术来发送/接收数据。
在一些实施例中，当根据作为移动通信网络的一部分的例如 WiBro、HSDPA、HSUPA、GSM、CDMA、WCDMA、LTE、LTE-A 等等实现无线互联网接入时，无线互联网模块113执行这样的无线互 联网接入。这样，无线互联网模块113可以与移动通信模块112协作， 或者用作移动通信模块112。
短程通信模块114被配置成有助于短程通信。适合于实现这样的 短程通信的技术包括：蓝牙(BLUETOOTHTM)、射频识别(RFID)、 红外数据协会(IrDA)、超宽带(UWB)、紫蜂(ZigBee)、近场通 信(NFC)、无线保真(Wi-Fi)、Wi-Fi直连、无线USB(无线通用 串行总线)等等。经由无线局域网，短程通信模块114通常支持在移 动终端100和无线通信***之间的无线通信，在移动终端100和另一 移动终端100之间的通信、或者在移动终端和另一移动终端100(或者 外部服务器)位于的网络之间的通信。无线局域网的一个示例是无线 个域网。
在此，另一移动终端(可以类似于移动终端100来配置)可以是 可佩戴设备，例如，智能手表、智能眼镜或者头戴式显示器(HMD)， 其能够与移动终端100交换数据(或者以其他方式与移动终端100协 作)。短程通信模块114可以感测或者识别可佩戴设备，并且允许在 可佩戴设备和移动终端100之间的通信。另外，当感测到的可佩戴设 备是被授权与移动终端100通信的设备时，例如，控制器180可以使 在移动终端100中处理的数据的至少一部分经由短程通信模块114传 输到可佩戴设备。因此，可佩戴设备的用户可以在可佩戴设备上使用 在移动终端100中处理的数据。例如，当在移动终端100中接收到呼 叫时，用户可以使用可佩戴设备应答呼叫。此外，当在移动终端100 中接收到消息时，用户能够使用可佩戴设备查看接收到的消息。
位置信息模块115通常被配置成检测、计算、导出或者以其他方 式识别移动终端的位置(或者当前位置)。作为示例，位置信息模块115包括全球定位***(GPS)模块、Wi-Fi模块、或者这两者。例如， 当移动终端使用GPS模块时，可以使用从GPS卫星发送的信号获取移 动终端的位置。作为另一示例，当移动终端使用Wi-Fi模块时，能够基 于将无线信号发送到Wi-Fi模块或者从Wi-Fi模块接收无线信号的无线 接入点(AP)有关的信息获取移动终端的位置。如果需要，位置信息 模块115可以可替选地或附加地与无线通信单元110的任何其他模块 一起工作，以获得与移动终端的位置有关的数据。位置信息模块115 是用于获取位置(或当前位置)的模块，并可以不限于直接计算或获 取移动终端的位置的模块。
输入单元120可以被配置成允许对移动终端100的各种类型的输 入(信息或者信号)。这样的输入的示例包括音频、图像、视频、数 据、以及用户输入。经常使用一个或者多个相机121获得图像和视频 输入。这样的相机121可以处理在视频或者图像捕获模式下通过图像 传感器获得的静止图片或者视频的图像帧。被处理的图像帧能够被显 示在显示单元151上或者被存储在存储器170中。同时，相机121可 以以矩阵结构排列以允许具有多个角度或者焦点的多个图像被输入到 移动终端100。此外，相机121可以立体布置以获取用于实现立体图像 的左图像和右图像。
麦克风122将外部音频信号处理为电音频(声音)数据。经处理 的音频数据能够根据在移动终端100中执行的功能(或应用程序)以 各种方式使用。
如有必要，麦克风122可以包括各种噪声去除算法以去除在接收 外部音频信号的过程中产生的不想要的噪声。用户输入单元123是允 许用户输入的组件。当通过用户输入单元123输入信息时，这样的用 户输入可以使控制器180能够控制移动终端100的操作。用户输入单 元123可以包括机械输入元件中的一个或者多个(例如，机械键、位 于移动终端100的前表面和/或后表面或者侧表面上的按钮、圆顶开关(dome switch)、转向轮(jogwheel)、转向开关(jog switch)等等)、 或者触摸灵敏的输入元件等等。作为一个示例，触摸灵敏的输入元件 可以是通过软件处理被显示在触摸屏上的虚拟键或者软键或者视觉键、或者位于在除了触摸屏之外的位置处的移动终端上的触摸键。另 一方面，虚拟键或者视觉键可以以例如，图形、文本、图标、视频、 或者其组合的各种形状显示在触摸屏上。
感测单元140通常被配置成感测移动终端的内部信息、移动终端 的周围环境信息、用户信息等等中的一个或者多个，并且生成相应的 感测信号。控制器180通常与感测单元140协作以基于感测信号控制 移动终端100的操作或执行数据处理、与被安装在移动终端中的应用 程序相关联的功能或者操作。使用任何种类的传感器可以实现感测单 元140，现在将会更加详细地描述其中的一些。
接近传感器141指的是在没有机械接触的情况下通过使用磁场、 红外线等等感测接近表面的对象、或者位于表面附近的对象的存在或 者不存在的传感器。接近传感器141可以被布置在通过触摸屏覆盖的 移动终端的内部区域处，或者触摸屏附近。
例如，接近传感器141可以包括任何透射型光电传感器、直接反 射型光电传感器、镜反射型光电传感器、高频振荡接近传感器、电容 型接近传感器、磁型接近传感器、红外线接近传感器等等。当触摸屏 被实现为电容型时，接近传感器141能够通过响应于具有导电性的对 象的接近的电磁场的变化来感测指示器相对于触摸屏的接近。在这样 的情况下，触摸屏(触摸传感器)也可以被归类成接近传感器。
术语“接触触摸”将会在此被经常引用以表示其中指示器物理接触 触摸屏的场景。对于与指示器相对于触摸屏的接近触摸相对应的位置， 这样的位置将会对应于其中指示器垂直于触摸屏的位置。接近传感器 141可以感测接近触摸和接近触摸模式(例如，距离、方向、速度、时 间、位置、移动状态等等)。通常，控制器180处理与由接近传感器 141感测到的接近触摸和接近触摸模式相对应的数据，并且使在触摸屏 上输出视觉信息。另外，控制器180能够控制移动终端100以根据对 触摸屏上的点的触摸是接近触摸还是接触触摸来执行不同的操作或者 处理不同的数据(或信息)。
使用各种触摸方法中的任一种，触摸传感器能够感测被施加到诸 如显示单元151的触摸屏的触摸(或者触摸输入)。这样的触摸方法 的示例包括电阻型、电容型、红外型、以及磁场型等等。
作为一个示例，触摸传感器可以被配置成将被施加到显示单元151 的特定部分的压力的变化转换成电输入信号，或者将在显示单元151 的特定部分处出现的电容转换成电输入信号。触摸传感器也可以被配 置成不仅感测被触摸的位置和被触摸的区域，而且感测触摸压力和/或 触摸电容。触摸对象通常被用于将触摸输入施加到触摸传感器。典型 的触摸对象的示例包括手指、触摸笔、触笔、指示器等等。
当通过触摸传感器感测触摸输入时，相应的信号可以被发送到触 摸控制器。触摸控制器可以处理接收到的信号，并且然后将相应的数 据传送到控制器180。因此，控制器180可以感测已经触摸了显示单元 151的哪一个区域。在此，触摸控制器可以是与控制器180分离的组件、 控制器180、或者其组合。
同时，控制器180可以根据触摸触摸屏或者除了触摸屏之外被设 置的触摸键的触摸对象的类型执行相同或者不同的控制。例如，基于 移动终端100的当前操作状态或者当前执行的应用程序，可以决定根 据提供触摸输入的对象是否执行相同或者不同的控制。
触摸传感器和接近传感器可以被单独地或者组合实现，以感测各 种类型的触摸。这样的触摸包括短(或者轻敲)触摸、长触摸、多点 触摸、拖动触摸、轻击触摸、捏缩触摸、捏放触摸、滑动触摸、悬停 触摸等等。
如有必要，超声传感器可以被实现以使用超声波识别与触摸对象 有关的位置信息。例如，控制器180可以基于通过照度传感器和多个 超声传感器感测到的信息计算波生成源的位置。因为光比超声波快得 多，所以光到达光学传感器的时间远远比超声波到达超声传感器的时 间短。使用此事实可以计算波生成源的位置。例如，可以基于光作为 参考信号使用与超声波到达传感器的时间的时间差计算波生成源的位 置。
相机121，已经被描述为输入单元120的组件，通常包括至少一 个相机传感器(CCD、CMOS等等)、光传感器(或者图像传感器)、 以及激光传感器。
实现具有激光传感器的相机121可以允许相对于3D立体图像的物 理对象的触摸的检测。光传感器可以被层压在显示设备上，或者与显 示设备重叠。光传感器可以被配置成扫描接近触摸屏的物理对象的移 动。更加详细地，光传感器可以包括在行和列处的光电二极管和晶体 管以使用根据被施加的光的量改变的电信号扫描在光传感器处接收到 的内容。即，光传感器可以根据光的变化计算物理对象的坐标以从而 获得物理对象的位置信息。
显示单元151通常被配置成输出在移动终端100中处理的信息。 例如，显示单元151可以显示在移动终端100处执行的应用程序的执 行屏幕信息或者响应于执行屏幕信息的用户界面(UI)和图形用户界 面(GUI)信息。
此外，显示单元151可以被实现为用于显示立体图像的立体显示 单元。
典型的立体显示单元可以采用诸如立体方案(眼镜方案)、自动 立体方案(无眼镜方案)、投影方案(全息方案)等等的立体显示方 案。
音频输出模块152通常被配置成输出音频数据。可以从多个不同 的源中的任一个获得这样的音频数据，使得可以从无线通信单元110 接收音频数据或者可能已经将其存储在存储器170中。可以在诸如信 号接收模式、呼叫模式、记录模式、语音识别模式、广播接收模式等 等的模式期间输出音频数据。音频输出模块152能够提供与由移动终 端100执行的特定功能(例如，呼叫信号接收声音、消息接收声音等 等)有关的音频输出。音频输出模块152也可以被实现为接收器、扬 声器、蜂鸣器等等。
触觉模块153能够被配置成产生用户能够感觉、感知、或者以其 他方式体验的各种触觉效果。通过触觉模块153产生的触觉效果的典 型示例是振动。能够通过用户选择或者通过控制器进行设置来控制通 过触觉模块155产生的振动的强度、模式等等。例如，触觉模块153 可以以组合的方式或者顺序的方式输出不同的振动。
除了振动之外，触觉模块153还能够生成各种其他触觉效果，包 括通过诸如垂直移动以接触皮肤的针排列的刺激的效果、通过喷孔或 者吸入口的空气的喷射力或者吸力、对皮肤的触摸、电极的接触、静 电力、通过使用能够吸收或者产生热的元件再现冷和暖的感觉的效果 等等。
触觉模块153也能够被实现为允许用户通过诸如用户的手指或者 手臂的肌肉感觉来感觉触觉效果，以及通过直接接触传递触觉效果。 根据移动终端100的特定配置也可以设置两个或者更多个触觉模块 153。
光学输出模块154能够使用光源的光输出用于指示事件产生的信 号。在移动终端100中产生的事件的示例可以包括消息接收、呼叫信 号接收、未接来电、报警、日程表通知、电子邮件接收、通过应用的 信息接收等等。
也可以以移动终端发射单色光或者具有多种颜色的光的方式实现 通过光学输出模块154输出的信号。例如，当移动终端感测用户已经 查看了产生的事件时，信号输出可以结束。
接口单元160用作要连接到移动终端100的外部设备的接口。例 如，接口单元160能够接收从外部设备发送的数据，接收电力以传送 到移动终端100内的元件和组件，或者将移动终端100的内部数据发 送到这样的外部设备。接口单元160可以包括有线或者无线头戴式受 话器端口、外部电源端口、有线或者无线数据端口、存储卡端口、用 于连接具有标识模块的设备的端口、音频输入/输出(I/O)端口、视频 I/O端口、耳机端口等等。
标识模块可以是存储用于认证使用移动终端100的权限的各种信 息的芯片，并且可以包括用户标识模块(UIM)、订户标识模块(SIM)、 通用订户标识模块(USIM)等等。另外，具有标识模块的设备(在此 也被称为“识别设备”)可以采用智能卡的形式。因此，识别设备经由接 口单元160能够与终端100连接。
当移动终端100与外部托架相连接时，接口单元160能够用作允 许电力从托架供应到移动终端100的通道或者可以用作允许用户从托 架输入的各种命令信号传递到移动终端的通道。从托架输入的各种命 令信号或者电力可以作为用于识别移动终端被正确地安装在托架上的 信号来操作。
存储器170能够存储程序以支持移动终端180的操作并且存储输 入/输出数据(例如，电话簿、消息、静止图像、视频等等)。存储器 170可以存储与响应于触摸屏上的触摸输入输出的各种模式的振动和 音频有关的数据。
存储器170可以包括一种或者多种类型的存储介质，包括闪存型、 硬盘型、固态盘(SSD)型、硅盘驱动器(SDD)型、多媒体卡微型、 卡型存储器(例如，SD或DX存储器等)、随机存取存储器(RAM)、 静态随机存取存储器(SRAM)、只读存储器(ROM)、电可擦除可 编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁存储 器、磁盘、光盘等等。也可以关于在诸如互联网的网络上执行存储器 170的存储功能的网络存储设备操作移动终端100。
控制器180可以典型地控制与移动终端100的应用程序和一般操 作有关的操作。例如，当移动终端的状态满足预设条件时，控制器180 可以设置或者释放用于限制用户输入与应用有关的控制命令的锁定状 态。
控制器180也能够执行与语音呼叫、数据通信、视频呼叫等等相 关联的控制和处理，或者执行模式识别处理以将在触摸屏上执行的手 写输入或者绘图输入分别识别为字符或者图像。另外，控制器180能 够控制这些组件中的一个或者组合以便于实现在此公开的各种示例性 实施例。
电源单元190接收外部电力或者提供内部电力并且供应对于操作 被包括在移动终端100中的各个元件和组件所需的适当的电力。电源 单元190可以包括电池，该电池通常是可充电的或者可拆卸地耦合到 终端主体，用于充电。
电源单元190可以包括连接端口。连接端口可以被配置成接口单 元160的一个示例，用于供应电力以对电池再充电的外部充电器被电 气地连接到该接口单元160。
作为另一示例，电源单元190可以被配置成在没有使用连接端口 的情况下以无线的方式对电池再充电。在本示例中，使用以磁感应为 基础的感应耦合方法或者以电磁谐振为基础的电磁谐振耦合方法，电 源单元190能够接收从外部无线电力发射器传送的电力。
可以使用例如软件、硬件、或者其任何组合，以计算机可读介质、 机器可读介质、或者类似介质实现在此描述的各种实施例。
在下文中，将参考附图描述与能够在如上配置的移动终端中实现 的控制方法有关的实施例。对于本领域的技术人员来说显而易见的是， 在不脱离本发明的精神或基本特征的情况下，本发明可以以其他特定 形式来实施。
同时，将使用控制器180的配置基于机器学习或深度学习来学习 信息并且使用所学习的信息提供音频数据的假设给出以下描述，但是 该控制可替代地可以在人工智能单元130中执行。在下文中，除非另 有说明，否则控制器180可以被替换为人工智能单元130，并且为了解 释的目的，通常将使用控制器180的术语。
图2是图示根据本发明的实施例的在移动终端100中通过预测用 户偏爱的音频数据来提供推荐音频数据的操作的流程图。
根据本发明的实施例的移动终端100的控制器180可以使用麦克 风122来收集移动终端100周围的音频数据(S200)。
所收集的音频数据可以被用作大数据，用于决定推荐给用户的音 频数据。为了收集这样的音频数据，控制器180可以控制麦克风122 以保持在常开状态，使得当移动终端100开启时麦克风122能够收集 音频数据。另外，控制器180可以使麦克风122在背景状态中被驱动， 使得用户不识别麦克风122的开启状态。
再次参考图2，控制器180可以预测用户偏爱的音频数据(S202)。 这里，控制器180可以使用用于预测用户偏爱的音频数据的预存储的 用户日志信息。
用户日志信息是基于时间记录与用户使用移动终端有关的信息的 信息，并且可以根据时间记录日志信息。例如，当用户使用移动终端 来再现音频数据时，用户日志信息可以包括与由用户基于时间再现的 音频数据有关的信息、与再现音频数据时的地点有关的信息等等。
控制器180可以基于机器学习或深度学习来学习用户日志信息。 例如，控制器180可以基于用户日志信息来分析每个音频数据的再现 频率、当每个音频数据被再现时移动终端100的位置以及每个音频数 据的收听时间，处理与分析结果相关的信息，并相应地生成概率图。
更具体地，控制器180可以通过机器学习或深度学习技术基于所 处理的音频数据来学习用户偏爱的音频数据的属性，即，音频数据的 种类、艺术家、主题(例如，分手、爱情等)等信息。在下文中，用 户偏爱的音频数据的属性将被称为“用户音频数据倾向”。
音频数据可以包括移动终端100能够以流方式再现的音频数据以 及预先存储在移动终端100中的音频数据。
控制器180可以通过机器学习或深度学习基于学习用户日志信息 的结果来预测用户偏爱的音频数据。
控制器180还可以基于学习结果、用户的当前位置以及当接收到 用于接收推荐音频数据的用户请求时的时间来预测用户偏爱的音频数 据。
控制器180可以基于预测结果将收集到的音频数据的至少一个音 频数据决定为推荐音频数据(S204)。
控制器180可以根据步骤S200中收集的音频数据的预测结果来提 取音频数据。更具体地，控制器180可以基于基于机器学习或深度学 习获得的预测结果来提取用户可能偏爱的音频数据。
例如，控制器180可以从所收集的音频数据之中提取与期望用户 偏爱的主题相对应的至少一个音频数据。当与“爱”相关联的主题具 有作为多个音频数据的主题之中的基于用户日志信息预测的用户偏爱 音频数据的主题的最高概率时，控制器180可以从收集的音频数据中 提取具有与“爱”相对应的主题的音频数据。
作为另一示例，控制器180可以在收集的音频数据之中提取具有 与期望用户偏爱的种类相对应的节拍或节奏的音频数据。当具有预定 等级或更高的快节拍或节奏的音频数据被预测为当前位置或时间的用 户偏爱的音频数据时，控制器180可以从收集的音频数据中提取具有 期望用户偏爱的快节拍或节奏的音频数据。类似地，当具有预定等级 或更低的慢节拍或节奏的音频数据被预测为用户偏爱的音频数据时， 控制器180可以从收集的音频中提取具有期望用户偏爱的慢节拍或节 奏的音频数据。
作为另一示例，控制器180可以从收集的音频数据提取具有期望 用户偏爱的特定音乐标题、艺术家(艺术家姓名)或歌词的至少一个 音频数据作为推荐音频数据。也就是说，控制器180可以决定具有与 特定音乐标题相同或相似的音乐标题的音频数据、与艺术家有关的音 频数据或包括作为音乐标题的歌词中包括的词或歌词的音频数据作为 推荐音频数据。
作为另一示例，控制器180可以将可再现的音频数据之中的预测 用户会偏爱的与特定地名相关的音频数据确定为推荐音频数据。特定 的地名可以包括附近的地名，该附近的地名包括对应于特定地名的地 理位置。例如，特定地名可以包括位于离与特定地名相对应的地理位 置预定距离内的另一显著地方的名称。
另一方面，当在步骤S204中确定至少一个推荐音频数据时，控制 器180可以输出用于提供所决定的推荐音频数据的用户界面(S206)。
用户界面可以是用于以播放列表的形式提供至少一个推荐音频数 据的界面。例如，用户界面可以包括诸如回放、停止、暂停和返回的 与声源的回放(再现)有关的图形对象，以及指示包括在播放列表中 的声源信息的画面信息。通过该界面，用户可以从播放列表选择至少 一个声源，并开始回放所选择的一个。
可替选地，用户界面可以是指示推荐音频数据存在的通知信息。 在本实例中，用户可以通过使用通知信息来识别推荐音频数据的存在， 并且还可以通过对通知信息的操纵来再现推荐音频数据。
另外，控制器180可以基于用户输入来预测用户偏爱的音频数据。 用户输入可以包括位置信息或时间信息中的至少一个。
例如，当从用户接收到包括指示当前位置的词的语音命令时，控 制器180可以基于语音分析算法来分析语音命令。然后，控制器180 可以基于分析的语音命令中包括的位置信息来决定推荐音频数据。
也就是说，当接收到语音命令“推荐音乐在这里收听”时，控制 器180可以基于命令“推荐音乐在这里收听”识别出语音命令是用于 接收至少一个推荐音频数据的请求。然后，控制器180可以基于语音 命令中的单词“这里”识别出语音命令是基于用户的当前位置提供推 荐音频数据的请求。
因此，控制器180可以基于学习的用户日志信息根据用户的当前 位置来预测用户偏爱的音频数据。然后，控制器180可以基于预测结 果来决定推荐音频数据。
类似地，当用户的语音命令包括指示当前时间的词时，控制器180 可以基于当前时间，即，当推荐音频数据被请求时的时间，决定推荐 音频数据。这里，指示当前时间的词可以是“现在”或“当前”。
然后，控制器180可以根据当前时间基于预测结果决定推荐音频 数据。也就是说，当当前时间是晚上7:00时，控制器180可以将诸如 “晚上”或“下午”的词决定为指示与当前时间相对应的特定时间区 间(time zone)的词，并且根据所决定的词基于预测结果来决定推荐 音频数据。
指示特定时间区间的至少一个词可以是与在特定时间区间能够观 察到的自然现象相关的词。例如，在“晚上”的情况下，控制器180 可以预测包括诸如“晚霞”或“黄昏”的词的音频数据作为与“晚上” 相关的用户偏爱的音频数据。然后，控制器180可以基于预测结果， 即，与特定时间区间相关的诸如“晚霞”、“黄昏”等等的词来提取 收集到的音频数据的至少一部分，并且从被提取的至少部分中决定至 少一个推荐音频数据。
前面的描述已经给出其中用户应用包括指示诸如“这里”、“现 在”等等的当前位置或当前时间的词的输入的示例，可替选地，用户 可以直接应用指示特定位置或特定时间的输入。类似于接收到与当前 位置或当前时间有关的命令的情况，控制器180可以根据特定位置或 特定时间进一步预测用户偏爱的音频数据，并且基于预测结果从可再 现音频数据中决定至少一个推荐音频数据。
同时，控制器180可以基于从用户输入的特定位置或特定时间中 的至少一个事先提取音频数据的至少一部分。在这种情况下，图2的 步骤S204可以是基于用户偏爱的音频数据的预测结果从根据用户输入 提取的音频数据的至少一部分中决定至少一个推荐音频数据的过程。
图3是更加详细地图示图2的步骤S204的流程图。
参照图3，根据本发明的实施例的移动终端100的控制器180可 以接收请求提供推荐音频数据的用户输入(S300)。这里，用户输入 可以包括与特定时间或特定位置中的至少一个有关的信息。
基于包括在用户输入中的特定时间或特定位置中的至少一个，控 制器180可以提取在图2的步骤S200中收集的音频数据中的至少一部 分。
为此，控制器180还可以存储与在图2的步骤S200中收集的每个 音频数据的收集时间有关的信息中的至少一个和在当收集每个收集的 音频数据时与移动终端100的位置有关的信息。
在步骤S302中，控制器180可以从预先收集的音频数据中提取针 对包括在用户输入中的特定时间收集的音频数据。或者，控制器180 可以提取在离用户输入中包括的特定位置预设距离内的区域中收集的 音频数据。可替选地，控制器180可以在特定位置周围的区域中提取 在特定时间收集的音频数据。
控制器180可以基于在图2的步骤S202中预测的结果，从在步骤 S302中提取的音频数据中决定至少一个推荐音频数据(S304)。控制 器180可以基于在由用户指定的特定时间点收集的音频数据或者在特 定位置收集的音频数据来决定要推荐给用户的音频数据。
也就是说，用户可以通过指定特定时间点或特定位置来请求推荐 音频数据，使得检查用户在特定时间点或特定位置附近无意中听到的 音乐，并且通过移动终端100收听检查的音乐。
稍后将参考图6更详细地描述用于当用户指定特定时间或特定位 置时根据用户请求提供推荐音频数据的这种用户界面。
同时，用户界面还可以显示与所决定的至少一个推荐音频数据有 关的各种信息。例如，控制器180还可以显示与每个推荐音频数据相 关联的音频数据的收集位置有关的信息，或者与音频数据的收集时间 有关的信息。
为此，控制器180还可以在用户界面上显示分别示出与推荐音频 数据相关联的音频数据的位置的地图图像。在下文中，将参照图7详 细描述显示关于与各个推荐音频数据相关联的音频数据的信息的各种 示例。
同时，当请求提供推荐音频数据时，根据本发明实施例的移动终 端100可以进一步检测用户周围的当前情况，并基于检测结果来决定 至少一个音频数据。
图4是更加详细地图示图2的步骤S202的流程图。
在图2的步骤S200中，在收集音频数据之后，控制器180可以检 测用于提供推荐音频数据的用户输入请求(S400)。控制器180可以 使用设置在感测单元140中设置的至少一个传感器进一步检测用户的 周围情况(S402)。
更具体地，控制器180可以基于用户的瞳孔、呼吸或脉搏确定用 户的周围气氛。也就是说，控制器180可以通过机器学习或深度学习 基于通过学习与用户的正常运动、呼吸或脉搏有关的信息而获得的信 息，根据用户的当前情绪状态来确定周围气氛。
例如，当用户瞳孔的位置频繁改变或者呼吸或脉搏比预设水平快 时，控制器180可以确定用户处于激动状态。在这种情况下，控制器 180可以确定当前用户周围的气氛是令人兴奋的。另一方面，当用户的 瞳孔位置的改变频率低或者呼吸或脉搏比预设水平慢时，控制器180 可以确定用户处于稳定状态。然后，控制器180可以确定当前用户周 围的气氛是安静的。
同时，当在步骤S402中确定用户的周围气氛时，控制器180可以 基于用户日志信息和确定的用户的周围气氛来预测用户偏爱的音频数 据(S404)。也就是说，控制器180可以基于用户日志信息来预测当 前周围气氛中的用户偏爱的音频数据。然后，控制器180可以进入图2 的步骤S204以基于步骤S404的预测结果从预收集音频数据中决定至 少一个推荐音频数据。
同时，可以根据检测到用户周围的其他人的结果来决定用户的周 围情况。
例如，控制器180可以进一步检测用户周围是否有其他人。当检 测到其他人时，控制器180可以从位于用户周围的其他人的数目、其 他人的性别、用户的年龄和其他人的年龄、用户的声音以及其他人的 声音来进一步检测语音音量、讲话次数、讲话时间等。
控制器180可以从位于用户周围的其他人的数目、其他人的性别、 用户的年龄和其他人的年龄、用户的声音和其他人的声音来学习语音 音量、讲话次数、讲话时间等，并且通过机器学习或深度学习基于学 习的信息来确定周围情况。
例如，当在用户周围检测到大量其他人并且检测到的语音的音量 很高或者用户和其他人的讲话次数或讲话时间大于预定基准时，控制 器180可以确定用户和其他人进行群体活动。控制器180可以基于所 确定的用户的周围情况，即，诸如随团旅行的群体活动状态来预测用 户偏爱的音频数据。
另一方面，当在用户周围检测到另一人并且所检测到的语音的音 量较低时，控制器180可以确定用户正以低语音与另一个人交谈。此 外，当用户的性别与另一个人的性别不同时，控制器180可以确定用 户正在与他或她的女朋友或男朋友交谈。因此，当从用户接收到提供 推荐音频数据的请求时，控制器180可以基于预存储的用户日志信息 和与浪漫气氛有关的至少一个预设词来预测用户偏爱的音频数据。
同时，控制器180可以基于用户的讲话或另一个人的讲话来确定 用户的当前周围情况。例如，在用户请求推荐音频数据的情况下，当 从与用户或另一个人讲话中检测到与特定地名有关的词或与“旅行” 有关的词时，控制器180可以确定用户和另一个人当前正在旅行。
正因如此，当确定用户当前正在“旅行”时，控制器180可以基 于预存储的用户日志信息、与“旅行”相关的至少一个预设词或者特 定地名来预测用户偏爱的音频数据。
同时，控制器180可以进一步使用附加信息。例如，控制器180 可以检查用户的预存储的日程信息以确定用户的当前状态，或者进一 步检查用户的位置是否正在改变。因此，控制器180可以基于检查的 日程信息或用户的运动信息等来确定用户的状态。
例如，当用户或者用户周围的其他人提到“旅行”或者特定地名 时，控制器180可以检查用户当前是否具有与“旅行”有关的日程。 当对应于当前时间的用户的日程是“旅行”时，如果用户的位置正在 改变，则控制器180可以确定用户当前正在去与特定地名相对应的区 域旅行。
在这种情况下，控制器180可以基于预存储的用户日志信息和当 前确定的用户状态(即，“旅行”或所提及的特定地名)来预测用户 偏爱的音频数据。然后，控制器180可以根据预测结果来输出包括推 荐音频数据的用户界面。
参考多个流程图，已经详细给出了以背景驱动方式收集周围音频 数据并且基于用户日志信息根据用户偏爱的音频的预测结果从收集的 音频数据中决定至少一个推荐音频数据的操作的前述的描述。
在下文中，将更详细地描述根据本发明的实施例的在移动终端100 中输出用于提供基于用户偏爱的音频数据的预测结果而决定的至少一 个推荐音频数据的用户界面的示例。
图5是图示根据本发明的实施例的在移动终端100中根据周围情 况向用户推荐音频数据的示例的示例性视图。
如图2的步骤S200中所图示，根据本发明的实施例的移动终端 100可以通过驱动处于常开状态的麦克风122来收集用户的周围音频数 据。因此，如在图5中的第一图中所图示，当用户正在移动时，可以 通过麦克风122收集用户周围产生的音频信号作为音频数据。
即使当收集音频数据时，如在图5的第二图中所图示，根据本发 明的实施例，也可以不在移动终端100中输出任何指示。这是因为控 制器180可以不通知通过驱动收集背景状态的音频数据的麦克风122 来收集音频数据的状态。
当收集音频数据时，控制器180还可以收集与相关于移动终端100 的当前位置有关的信息。所收集的与移动终端100有关的位置信息可 以被存储以对应于每个收集的音频数据。
控制器180可以通过机器学习或深度学习从预存储的用户日志信 息中预测用户偏爱的音频数据。控制器180可以根据预测结果从所收 集的音频数据中决定至少一个推荐音频数据。
当推荐音频数据被提取了预定数量或更多时，控制器180可以输 出通知信息500，该通知信息500通知可推荐音频数据的存在。例如， 如图5的第三图中所图示的，当决定至少一个推荐音频数据时，控制 器180可以输出通知这个的通知信息。
在通知信息500的输出状态中，控制器180可以从用户接收用于 再现推荐音频数据的再现请求。例如，在通知信息500的输出状态中， 当接收到推荐音频数据的再现请求时，响应于接收到的用户请求，控 制器180可以输出具有至少一个推荐音频数据510的用户界面。
如图5的第四图中所图示的，用户界面可以包括至少一个推荐音 频数据的播放列表510。
当用户选择一个音频数据时，控制器180可以立即再现包括在用 户界面中的至少一个推荐音频数据中的一个，或者以预设顺序或随机 地再现至少一个推荐音频数据。
在下文中，将会描述从在特定时间或特定地点收集的音频数据中 提供推荐音频数据的方法。
图6是图示根据本发明的实施例的推荐在移动终端100中在特定 时间和特定位置收集的音频数据之中用户可能感兴趣的音频数据的方 法的概念图。
首先，图6的第一图图示检测用于提取预收集的音频数据的一部 分的用户输入的示例。即，如图6的第一图中所图示，控制器180可 以接收语音命令“让我知道在AA站(特定位置)“在今天上班的路上” (特定时间)听到的音乐”。
在这种情况下，控制器180可以基于语音识别算法从语音命令中 提取时间信息“今天上班的路上”和地点信息“AA站”。
如图6中的第一图所图示，当输入特定时间和特定位置时，控制 器180可以提取预收集的音频数据之中的与特定时间(即，“今天上 班的路上”)相对应的时间(例如，从07:20至08:00)收集的音频数 据。并且控制器180可以提取在离特定位置(例如，AA站)预定距离内收集的音频数据。
控制器180可以从在特定时间和特定位置收集的音频数据中决定 用户可能偏爱的至少一个推荐音频数据。也就是说，控制器180可以 通过机器学习或深度学习来学习预存储的用户日志信息，并且基于预 测结果来预测用户偏爱的音频数据。此外，控制器180可以基于预测 结果来决定用户可能偏爱的至少一个推荐音频数据。因此，用户能够 准确地识别与用户已经隐约听到的音频数据有关的信息。
如图5的第四图中所图示，当决定推荐音频数据时，控制器180 可以显示包括至少一个推荐音频数据510的用户界面。可以根据预设 顺序来再现至少一个推荐音频数据510。
同时，当决定至少一个推荐音频数据时，控制器180可以将所决 定的推荐音频数据与所收集的与推荐音频数据相关的位置信息一起显 示。即，如图6的第二图中所图示，控制器180可以通过用户界面显 示与每个当前决定的推荐音频数据有关的音频数据的收集位置。
参照图6的第二图，控制器180可以基于用户输入从在特定时间 和特定位置收集的音频数据中决定三个推荐音频数据。控制器180可 以基于接收到的用户输入在用户界面600上显示与特定位置相对应的 地图图像610。
控制器180可以显示位置620、622和624，其中在地图图像610 上收集与推荐音频数据有关的音频数据。因此，可以在地图图像610 上分别显示收集与第一推荐音频数据有关的音频数据的第一位置620、 收集与第二推荐音频数据有关的音频数据的第二位置622和收集与第 三推荐音频数据有关的音频数据的第三位置624。
另外，控制器180可以在地图图像610上显示移动终端100的移 动轨迹。收集每个音频数据的位置620、622和624可以显示在移动终 端100的轨迹上，如图6的第二图中所图示。
同时，控制器180可以显示与该位置周围的每个位置相对应的推 荐音频数据，使得用户能够识别对应于该位置的推荐音频数据。因此， 与第一推荐音频数据、第二推荐音频数据和第三推荐音频数据有关的 信息可以分别与第一位置620、第二位置622和第三位置624相邻而显 示。
因此，用户能够从用户界面600上显示的位置中的每个来识别与 用户已经无意识地听到的音频数据有关的信息。用户能够通过识别与 用户已经听到的音频数据有关的附加信息(位置和时间)进一步更加 精确地检查与音频数据有关的信息。
如图6的第三图中所图示，当存在针对显示的位置信息中的任何 一个的用户的选择时，如图4的第四图中所图示的，控制器180可以 再现对应于所选择的位置信息的推荐音频数据中的一个。
在下文中，将描述提供与推荐音频数据有关的附加信息的方法。 图7是图示根据本发明实施例的在移动终端100中提供与提供给用户 的每个推荐音频数据有关的各种类型的信息的方法的概念图。
首先，参考图7的(a)，图7的第一图图示输出包括第一至第三 推荐音频数据710、720和730的列表510的用户界面作为用户可能偏 爱的音频数据的示例。
控制器180可以检测请求与推荐音频数据710、720和730有关的 附加信息的用户输入。这里，请求与推荐音频数据有关的附加信息的 用户输入可以是被施加到推荐音频数据列表510的触摸输入700。
如图7的(a)中所图示，当接收到与每个推荐音频数据有关的信 息的用户请求时，控制器180可以输出与推荐音频数据710、720和720 中的每个相关联的收集位置和收集时间作为附加信息730。
例如，如在图7的(b)中所图示，控制器180可以在用户界面上 显示一个区域的地图图像，并且在地图图像收集位置712、722和732 上显示与各个推荐音频数据710、720和730相关联的音频数据。并且， 与每个推荐音频数据有关的附加的信息可以与每个收集位置712、722 和732相邻而输出。为此，控制器180可以设置能够包括所有收集的 位置712、722和732的区域，并且输出设定区域的地图图像作为一个 区域的地图图像。
控制器180还可以显示与每个音频数据的收集位置和收集时间有 关的信息。
当在地图图像上输出与当前决定的多个推荐音频数据中的每个有 关的信息时，控制器180可以基于施加在地图图像上的用户输入决定 再现多个推荐音频数据的顺序。例如，如图7的(d)中所图示的，控 制器180可根据施加到地图图像的拖动输入750的方向来决定多个推 荐音频数据的再现顺序。也就是说，当如图7的(d)中所图示施加拖 动输入750时，控制器180可以根据拖动输入750的施加方向将位置 的顺序决定为第一位置712、第二位置722和第三位置732的顺序。控 制器180可以根据决定的位置712、722和732的顺序按照第一推荐音 频数据710、第二推荐音频数据720和第三推荐音频数据730的顺序再 现每个推荐音频数据。
[根据地点提供推荐音频数据的示例]
在下文中，将描述提供适合用户周围情况的音频数据的方法。图 8是图示根据本发明的实施例的在移动终端100中搜寻适合用户当前情 况的音频数据并将搜索到的音频数据作为推荐音频数据提供的示例的 示例性视图。
控制器180可以在当前位置处从用户接收请求推荐音频数据的用 户输入。例如，如图8的第一图中所图示，当用户输入语音命令“播 放(推荐)适合这里的任何音乐”时，控制器180可以基于语音分析 算法分析语音命令，并且根据分析结果确定语音命令是对适合于用户 的当前位置的音频数据的请求。
控制器180可以基于当前位置信息和用户日志信息预测用户偏爱 的音频数据。例如，如图8的第一图的左侧中所图示，当用户的当前 位置800靠近海滩时，控制器180可以基于用户当前所在的地点800 (即，“Sea(海)”或“Seashore(海滨)”)来预测用户的偏爱的 音频数据。
当前位置信息可以包括具有用户先前访问历史的位置和不具有用 户先前访问历史的位置。当存在用户的先前访问历史时，控制器180 可以提供用户在上次访问时已经听到的音频数据作为推荐音频数据。 另一方面，当不存在用户的先前访问历史时，控制器180可以基于通 过机器学习或深度学习学习的用户日志信息预测用户可能偏爱的音频 数据，并且提供预测的音频数据。也就是说，本发明能够预测和提供 即使在没有先前访问历史的地方也可以被用户偏爱的音频数据。
另外，控制器180可以根据特定位置相关信息或与用户当前位置 有关的信息基于相邻区域之中的特定地名或显著区域的名称来预测用 户偏爱的音频数据。即，如图8的第一图中所图示，当用户位于大韩 民国的东海岸(East Coast)800时，控制器180可以基于诸如“East Coast”、“Sea”、“Beach”等等的词来预测用户可能偏爱的音频数 据。
基于机器学习或深度学习，控制器180可以从存储在外部服务器 的大数据中提取用户可能偏爱的音频数据。这里，大数据是存储在可 通信的外部服务器中的音频数据。
更具体地，控制器180可以基于机器学习或深度学习从大数据中 提取用户可能偏爱的至少一个音频数据。例如，控制器180可以从存 储在外部服务器中的大数据中提取包括“East Coast”、“Sea”、“Beach” 和“Gangneung(江陵)”的至少一部分，并且决定用户可能偏爱的至 少一个音频数据。
如在图8的右下侧给出的第二附图中所示，控制器180可以输出 包括所决定的推荐音频数据的列表的用户界面800。并且，如在图8的 左下方给出的第四附图中所图示的，控制器180可以以预设顺序或随 机地再现通过用户界面提供的推荐音频数据。
同时，已经给出控制器180使用预收集的音频数据来决定推荐音 频数据的前面的描述。然而，可以基于在用户周围检测到的音频数据 改变当前再现的音频数据的音量。
例如，控制器180可以检测通过麦克风122检测到的噪声音量(分 贝：db)。控制器180可以设置音频数据的音量，使得以比检测到的 噪声音量高预定等级或更多的音量再现音频数据。控制器180可以设 置能够被自动调节的音频数据的音量的最大值。当由于在用户周围检 测到的噪声音量而需要超过最大值的音量控制时，控制器180可以将 通知该要求的通知信息输出给用户。
另外，控制器180可以检测用户周围的噪声并且输出用于消除检 测到的噪声的消除噪声。可以使用消除噪声去除具有预定音量的噪声， 诸如，白噪声。并且控制器180可以通过更多地反映消除噪声的音量 来进一步决定再现的音频数据的音量。
在前面的描述中提及的本发明可以使用其上存储有用于由执行在 此陈述的各种方法的处理器执行的指令的机器可读介质实现。可能的 机器可读介质的示例包括HDD(硬盘驱动)，SSD(固态盘)，SDD (硅盘驱动)，ROM，RAM，CD-ROM，磁带，软盘，光数据存储设 备等等。根据需要，计算机可读介质也可以被实现为载波的形式(例 如，经由互联网的传送)。处理器可以包括终端的控制器180。
前述实施例仅是示例性的并且不被视为对本公开的限制。此描述 旨在是说明性的，并且没有限制权利要求的范围。许多替代，修改以 及变形对于本领域的技术人员来说将会是显然的。可以以各种方式组 合在此描述的示例性实施例的特征，结构，方法以及其他特性以获得 附加的和/或替代的示例性实施例。
由于在没有脱离其特性的情况下可以以多种形式实现本特征，所 以也应理解的是，上述实施例不受前面描述的任何细节的限制，除非 另有规定，否则应在所附的权利要求中限定的范围内被广泛地解释， 并且因此旨在由所附的权利要求涵盖落入权利要求的范围和界限或者 该范围和界限的等同物内的所有变化和修改。

Claims (15)

1.一种电子设备，包括：
显示器(151)；
存储器(170)；
麦克风(122)；以及
控制器(180)，所述控制器被配置成：
控制所述麦克风(122)以接收所述电子设备的背景状态中的音频数据；
识别在接收到的音频数据中包括的至少一个第一音频内容项目，以及将识别的至少一个第一音频内容的信息存储在所述存储器中；
从与所述至少一个第一音频内容项目有关的存储器检索活动日志信息；
基于检索到的活动日志信息和所述至少一个第一音频内容项目来生成针对至少一个第二音频内容项目的推荐；以及
控制所述显示器(151)以显示包括所述生成的推荐的用户界面。
2.根据权利要求1所述的电子设备，其中，所述活动日志信息对应于在至少一个第二音频内容项目的电子设备处的音频输出活动。
3.根据权利要求1所述的电子设备，其中，所述活动日志信息对应于所述电子设备的位置信息。
4.根据权利要求1所述的电子设备，其中，基于与所述至少一个第一音频内容项目的相应属性相匹配的至少一个第二音频内容项目的属性来生成针对所述至少一个第二音频内容项目的推荐。
5.根据权利要求4所述的电子设备，其中，所述至少一个第二音频内容项目和所述至少一个第一音频内容项目的匹配属性是音频内容的相同种类、艺术家或主题。
6.根据权利要求1所述的电子设备，其中，与所述至少一个第一音频内容项目有关的检索到的活动日志信息至少包括：当在所述设备处再现所述至少一个第一音频内容项目时的信息、当在所述设备处再现所述至少一个第一音频内容项目时的设备的位置、在所述设备处的至少一个第一音频内容项目的再现的频率、或在所述设备处的至少一个第一音频内容项目的再现的持续时间。
7.根据权利要求1所述的电子设备，其中，所述控制器(180)进一步被配置成：控制所述显示器(151)以对其添加所述至少一个第二音频内容项目的播放列表的形式来显示所述生成的推荐。
8.根据权利要求1所述的电子设备，其中，所述控制器(180)进一步被配置成：基于所述活动日志信息来使用预测模型以从多个内容项目选择所述至少一个第二音频内容项目以生成所述推荐，其中所述至少一个第二音频内容项目由所述预测模型预测为所述多个内容项目之中的最高偏爱内容项目。
9.一种在电子设备处基于接收到的音频数据提供推荐的方法，所述方法包括：
在所述电子设备的背景状态中经由麦克风接收音频数据；
识别在所述音频数据中包括的至少一个第一音频内容项目以及存储识别的至少一个第一音频内容的信息；
检索与所述至少一个第一音频内容项目有关的存储的活动日志信息；
基于检索到的活动日志信息和所述至少一个第一音频内容项目来生成针对至少一个第二音频内容项目的推荐；以及
显示包括生成的推荐的用户界面。
10.一种电子设备，包括：
显示器(151)；
存储器(170)；
位置传感器，所述位置传感器被配置成感测所述电子设备的位置；
麦克风(122)；以及
控制器(180)，所述控制器被配置成：
控制所述麦克风(122)以接收所述电子设备的背景状态中的音频数据；
基于在所述存储器(170)中存储的音频内容标识信息来识别在接收到的音频数据中包括的至少一个第一音频内容项目；
经由所述位置传感器接收位置信息，所述位置信息与识别的至少一个第一音频内容项目相关联；
基于与所述识别的至少一个第一音频内容项目相关联的位置信息来生成推荐信息；以及
控制所述显示器(151)以显示包括生成的推荐的用户界面。
11.根据权利要求10所述的电子设备，其中，所述控制器(180)进一步被配置成：响应于对指定所述设备的特定位置信息的推荐的请求来生成所述推荐信息。
12.根据权利要求10所述的电子设备，其中，所述控制器(180)进一步被配置成：响应于对指定特定时间的推荐的请求来生成所述推荐信息，其中指定的特定时间与接收所述音频数据的时间相关联。
13.根据权利要求10所述的电子设备，其中，所述控制器(180)进一步被配置成：控制所述显示器(151)以显示包括与接收到的位置信息相关联的至少一个指示符的地图。
14.根据权利要求10所述的电子设备，其中，所述生成的推荐信息包括第二音频内容项目，以及所述控制器(180)进一步被配置成基于所述位置信息和所述至少一个第一音频内容项目来使用预测模型以从多个内容项目选择所述至少一个第二音频内容项目，其中所述至少一个第二音频内容项目由所述预测模型预测为所述多个内容项目之中的最高偏爱内容项目。
15.根据权利要求10所述的电子设备，其中，所述控制器(180)进一步被配置成：
相对于所述设备的特定旅行路径，确定所述接收到的音频数据的位置；以及
控制所述显示器(151)以相对于所述特定旅行路径显示包括所述接收到的音频数据的位置的地图。
CN201810153837.8A 2017-02-20 2018-02-22 电子设备 Active CN108600496B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2017-0022529 2017-02-20
KR1020170022529A KR20180096182A (ko) 2017-02-20 2017-02-20 전자 장치 및 그 전자 장치의 제어 방법

Publications (2)

Publication Number Publication Date
CN108600496A true CN108600496A (zh) 2018-09-28
CN108600496B CN108600496B (zh) 2020-12-15

Family

ID=61188685

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810153837.8A Active CN108600496B (zh) 2017-02-20 2018-02-22 电子设备

Country Status (4)

Country Link
US (1) US20180239820A1 (zh)
EP (1) EP3364661A3 (zh)
KR (1) KR20180096182A (zh)
CN (1) CN108600496B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109908578A (zh) * 2019-01-28 2019-06-21 努比亚技术有限公司 一种游戏震感控制方法、终端及计算机可读存储介质

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017146437A (ja) * 2016-02-17 2017-08-24 本田技研工業株式会社 音声入力処理装置
US10872115B2 (en) * 2018-03-19 2020-12-22 Motorola Mobility Llc Automatically associating an image with an audio track
US10976989B2 (en) * 2018-09-26 2021-04-13 Apple Inc. Spatial management of audio
US11100349B2 (en) 2018-09-28 2021-08-24 Apple Inc. Audio assisted enrollment
US10992331B2 (en) * 2019-05-15 2021-04-27 Huawei Technologies Co., Ltd. Systems and methods for signaling for AI use by mobile stations in wireless networks
KR102347065B1 (ko) * 2020-02-04 2022-01-04 주식회사 원더풀플랫폼 인공지능형 멀티미디어 컨텐츠 추천 및 도우미 방법과 시스템
CN114117115B (zh) * 2022-01-25 2022-09-09 深圳市云动创想科技有限公司 多端联动的智能播放方法、装置、存储介质以及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2378440A1 (en) * 2010-04-15 2011-10-19 Sony Ericsson Mobile Communications AB System and method for location tracking using audio input
US20120047156A1 (en) * 2010-08-18 2012-02-23 Nokia Corporation Method and Apparatus for Identifying and Mapping Content
US8745058B1 (en) * 2012-02-21 2014-06-03 Google Inc. Dynamic data item searching
US20140223467A1 (en) * 2013-02-05 2014-08-07 Microsoft Corporation Providing recommendations based upon environmental sensing

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7526718B2 (en) * 2003-04-30 2009-04-28 Hewlett-Packard Development Company, L.P. Apparatus and method for recording “path-enhanced” multimedia
WO2007024035A1 (en) * 2005-08-26 2007-03-01 Ktf Technologies, Inc. User terminal for performing a plurality of applications simultaneously
US20080201000A1 (en) * 2007-02-20 2008-08-21 Nokia Corporation Contextual grouping of media items
US8340796B2 (en) * 2007-09-10 2012-12-25 Palo Alto Research Center Incorporated Digital media player and method for facilitating social music discovery and commerce
US20100094707A1 (en) * 2008-10-10 2010-04-15 Carl Johan Freer Method and platform for voice and location-based services for mobile advertising
US20100205628A1 (en) * 2009-02-12 2010-08-12 Davis Bruce L Media processing methods and arrangements
US20120109345A1 (en) * 2010-11-02 2012-05-03 Gilliland Randall A Music Atlas Systems and Methods
US9934785B1 (en) * 2016-11-30 2018-04-03 Spotify Ab Identification of taste attributes from an audio signal

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2378440A1 (en) * 2010-04-15 2011-10-19 Sony Ericsson Mobile Communications AB System and method for location tracking using audio input
US20120047156A1 (en) * 2010-08-18 2012-02-23 Nokia Corporation Method and Apparatus for Identifying and Mapping Content
US8745058B1 (en) * 2012-02-21 2014-06-03 Google Inc. Dynamic data item searching
US20140223467A1 (en) * 2013-02-05 2014-08-07 Microsoft Corporation Providing recommendations based upon environmental sensing

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109908578A (zh) * 2019-01-28 2019-06-21 努比亚技术有限公司 一种游戏震感控制方法、终端及计算机可读存储介质
CN109908578B (zh) * 2019-01-28 2022-07-05 努比亚技术有限公司 一种游戏震感控制方法、终端及计算机可读存储介质

Also Published As

Publication number Publication date
CN108600496B (zh) 2020-12-15
EP3364661A3 (en) 2018-11-21
KR20180096182A (ko) 2018-08-29
EP3364661A2 (en) 2018-08-22
US20180239820A1 (en) 2018-08-23

Similar Documents

Publication Publication Date Title
CN108600496A (zh) 电子设备及其控制方法
CN106375546B (zh) 移动终端及其控制方法
US11222624B2 (en) Server for providing voice recognition service
KR101927706B1 (ko) 상황별 음악 추천 방법 및 이를 이용하는 장치
CN107003969B (zh) 用于使用电子附件连接的连接属性促进定位附件的主设备
CN104284014B (zh) 移动终端及其控制方法
CN106415721B (zh) 音频数据传输的协调切换
CN108461082A (zh) 控制执行多语音处理的人工智能***的方法
CN105721668A (zh) 移动终端及其控制方法
CN110134316A (zh) 模型训练方法、情绪识别方法及相关装置和设备
CN105791536A (zh) 移动终端及其控制方法
KR102391683B1 (ko) 오디오 장치 및 그 제어 방법
CN105511601A (zh) 移动终端及其控制方法
KR20180102870A (ko) 전자 장치 및 그 전자 장치의 제어 방법
US20170199570A1 (en) Mobile terminal and control method therefor
CN106471860A (zh) 移动终端和用于控制其的方法
US10685650B2 (en) Mobile terminal and method of controlling the same
CN106664334A (zh) 移动终端及其控制方法
CN109831549A (zh) 移动终端
US20180249056A1 (en) Mobile terminal and method for controlling same
CN107113205A (zh) 移动终端及其控制方法
CN106254624B (zh) 终端、网络***及其控制方法
CN110830368A (zh) 即时通讯消息发送方法及电子设备
CN106612370A (zh) 移动设备及其控制方法
US20190163436A1 (en) Electronic device and method for controlling the same

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant