CN111369841B - 有声书籍的播放控制方法、装置、存储介质及播放设备 - Google Patents

有声书籍的播放控制方法、装置、存储介质及播放设备 Download PDF

Info

Publication number
CN111369841B
CN111369841B CN202010203696.3A CN202010203696A CN111369841B CN 111369841 B CN111369841 B CN 111369841B CN 202010203696 A CN202010203696 A CN 202010203696A CN 111369841 B CN111369841 B CN 111369841B
Authority
CN
China
Prior art keywords
image
sentence
paragraph
attribute
description
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010203696.3A
Other languages
English (en)
Other versions
CN111369841A (zh
Inventor
陈宇基
高宏
毛跃辉
王子
廖湖锋
王慧君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gree Electric Appliances Inc of Zhuhai
Original Assignee
Gree Electric Appliances Inc of Zhuhai
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gree Electric Appliances Inc of Zhuhai filed Critical Gree Electric Appliances Inc of Zhuhai
Priority to CN202010203696.3A priority Critical patent/CN111369841B/zh
Publication of CN111369841A publication Critical patent/CN111369841A/zh
Application granted granted Critical
Publication of CN111369841B publication Critical patent/CN111369841B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/06Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G09B5/067Combinations of audio and projected visual presentation, e.g. film, slides
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供一种有声书籍的播放控制方法、装置、存储介质及播放设备,所述有声书籍的播放设备上设有投影装置,所述方法包括:从待播放的有声书籍对应的文字信息的每个句子或段落中提取描述特定属性的描述词语;根据提取的所述描述特定属性的描述词语获取与每个所述句子或段落对应的图像;在播放所述有声书籍的每个句子或段落时,通过所述投影装置对播放的句子或段落对应的图像进行投影。本发明提供的方案能够构成与正在播放的句子或段落对应的情景画面,有助于用户理解句子或段落的内容。

Description

有声书籍的播放控制方法、装置、存储介质及播放设备
技术领域
本发明涉及控制领域,尤其涉及一种有声书籍的播放控制方法、装置、存储介质及播放设备。
背景技术
现有的有声书籍播放,仅能够简单播放有声书籍的音频文件,未能实现书籍内容、场景的视觉呈现,阅读效果一般。
发明内容
本发明的主要目的在于克服上述现有技术的缺陷,提供一种有声书籍的播放控制方法、装置、存储介质及播放设备,以解决现有技术中现有的有声书籍播放,未能实现书籍内容、场景的视觉呈现的问题。
本发明一方面提供了一种有声书籍的播放控制方法,所述有声书籍的播放设备上设有投影装置,所述方法,包括:从待播放的有声书籍对应的文字信息的每个句子或段落中提取描述特定属性的描述词语;根据提取的所述描述特定属性的描述词语获取与每个所述句子或段落对应的图像;在播放所述有声书籍的每个句子或段落时,通过所述投影装置对播放的句子或段落对应的图像进行投影。
可选地,根据提取的所述描述特定属性的描述词语获取与每个所述句子或段落对应的图像,包括:根据提取的所述描述特定属性的描述词语在预先建立的图像数据库中进行匹配,以获取与提取的所述描述词语匹配的图像。
可选地,所述特定属性,包括:第一属性和第二属性;所述第一属性,包括:本质属性和状态属性,所述第二属性,包括:特征属性;根据提取的所述描述特定属性的描述词语获取与每个所述句子或段落对应的图像,还包括:对于任一句子或段落,若所述图像数据库中不存在与从所述句子或段落中提取的描述词语全部匹配的图像,则获取所述图像数据库中与从所述句子或段落中提取的描述第一属性的第一描述词语完全匹配的第一图像;根据从所述句子或段落中提取的描述第二属性的第二描述词语中与所述第一图像不匹配的第三描述词语,对所述第一图像进行预设的图像处理,以得到与所述第一描述词语和第二描述词语均匹配的第二图像。
可选地,根据从所述句子或段落中提取的描述第二属性的第二描述词语中与所述第一图像不匹配的第三描述词语,对所述第一图像进行预设的图像处理,包括:识别所述第一图像中与所述第三描述词语相关的图像区域,得到所述图像区域在所述第一图像中的位置;根据所述第三描述词语以及所述图像区域在所述第一图像中的位置对所述第一图像进行处理,得到得到与所述第一描述词语和第二描述词语均匹配的第二图像。
可选地,所述投影装置为磁悬浮式投影装置,能够通过磁悬浮方式悬浮于所述播放设备的上方。
本发明另一方面提供了一种有声书籍的播放控制装置,所述有声书籍的播放设备上设有投影装置,所述方法,包括:提取单元,用于从待播放的有声书籍对应的文字信息的每个句子或段落中提取描述特定属性的描述词语;获取单元,用于根据提取的所述描述特定属性的描述词语获取与每个所述句子或段落对应的图像;投影单元,用于在播放所述有声书籍的每个句子或段落时,通过所述投影装置对播放的句子或段落对应的图像进行投影。
可选地,所述提取单元,根据提取的所述描述特定属性的描述词语获取与每个所述句子或段落对应的图像,包括:根据提取的所述描述特定属性的描述词语在预先建立的图像数据库中进行匹配,以获取与提取的所述描述词语匹配的图像。
可选地,所述特定属性,包括:第一属性和第二属性;所述第一属性,包括:本质属性和状态属性;所述第二属性,包括:特征属性;所述提取单元,根据提取的所述描述特定属性的描述词语获取与每个所述句子或段落对应的图像,还包括:对于任一句子或段落,若所述图像数据库中不存在与从所述句子或段落中提取的描述词语全部匹配的图像,则获取所述图像数据库中与从所述句子或段落中提取的描述第一属性的第一描述词语完全匹配的第一图像;根据从所述句子或段落中提取的描述第二属性的第二描述词语中与所述第一图像不匹配的第三描述词语,对所述第一图像进行预设的图像处理,以得到与所述第一描述词语和第二描述词语均匹配的第二图像。
可选地,根据从所述句子或段落中提取的描述第二属性的第二描述词语中与所述第一图像不匹配的第三描述词语,对所述第一图像进行预设的图像处理,包括:识别所述第一图像中与所述第三描述词语相关的图像区域,得到所述图像区域在所述第一图像中的位置;根据所述第三描述词语以及所述图像区域在所述第一图像中的位置对所述第一图像进行处理,得到得到与所述第一描述词语和第二描述词语均匹配的第二图像。
可选地,所述投影装置为磁悬浮式投影装置,能够通过磁悬浮方式悬浮于所述播放设备的上方。
本发明又一方面提供了一种存储介质,其上存储有计算机程序,所述程序被处理器执行时实现前述任一所述方法的步骤。
本发明再一方面提供了一种播放设备,包括处理器、存储器以及存储在存储器上可在处理器上运行的计算机程序,所述处理器执行所述程序时实现前述任一所述方法的步骤。
本发明再一方面提供了一种播放设备,包括前述任一所述的有声书籍的播放控制装置。
根据本发明的技术方案,在播放所述有声书籍的每个句子或段落时,通过投影装置对播放的句子或段落对应的图像进行投影,构成与正在播放的句子或段落对应的情景画面,有助于用户理解句子或段落的内容。根据本发明的技术方案,根据每个所述句子或段落中描述特定属性的描述词语从预先建立的图像数据库中获取与每个所述句子或段落对应的图像,在任一句子或段落中描述特定属性的描述词语未完全匹配的情况下,能够从未完全匹配的图像中识别不匹配的描述词语的相关图像区域,从而能够将该未完全匹配的图像中修改为与该不匹配的描述词语匹配的图像,能够得到更加契合有声书籍当前播放句子或段落的情景画面,提升用户体验感。根据本发明的技术方案,投影装置能够通过磁悬浮方式悬浮于所述播放设备的上方,可根据当前用户的视线高度对投影装置的悬浮高度和投影方向进行调整,实现用户的最佳观看效果,提升用户体验。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本发明的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是本发明提供的有声书籍的播放控制方法的一实施例的方法示意图;
图2是本发明提供的有声书籍的播放控制装置的一实施例的结构框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明具体实施例及相应的附图对本发明技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明提供一种有声书籍的播放控制方法。所述有声书籍的播放设备上设有投影装置。可选地,所述有声书籍的播放设备可以为家用电器,例如包括空调、冰箱和/或洗衣机。可选地,所述投影装置可以为虚拟影像投影装置,即能够进行虚拟影像投射,例如,可以在预设范围内的任意位置进行虚拟影像投射。
图1是本发明提供的有声书籍的播放控制方法的一实施例的方法示意图。
如图1所示,根据本发明的一个实施例,所述有声书籍的播放控制方法至少包括步骤S110、步骤S120和步骤S130。
步骤S110,从待播放的有声书籍对应的文字信息的每个句子或段落中提取描述特定属性的描述词语。
有声书籍即将书籍中的文章朗读出来并进行录制后形成的能够进行播放的音频文件。具体地,可以预先获取待播放的有声书籍对应的文字信息。例如,对待播放的有声书籍的音频进行语音识别,得到所述有声书籍对应的文字信息。或者某些有声书籍在出版时已经配有文本文件,则可以直接获取该有声书籍对应的文字信息。
所述特定属性具体可以包括:第一属性和第二属性;所述第一属性具体可以包括:本质属性和/或状态属性,所述本质属性,例如包括人、动物、物品(例如桌子、椅子等)、场所(例如,闹市、医院、酒馆等),即,本质是某种人(例如,青年、少年、老人、小孩)、是某种动物(例如,猫、狗)、是某种物品、还是某个场所(例如,商场、酒馆、公园)。所述状态属性,例如穿着、动作、状态等。所述第二属性具体可以包括:特征属性。例如,物品特征,包括颜色、形状。
步骤S120,根据提取的所述描述特定属性的描述词语获取与每个所述句子或段落对应的图像。
在一种具体实施方式中,根据提取的所述描述特定属性的描述词语在预先建立的图像数据库中进行匹配,以获取与提取的所述描述词语匹配的图像。
预先构建图像数据库,例如可以预先获取具有普遍特征的卡通人物图像、动物图片、日常生活中事物图像(例如包括不同形状、材质和/或颜色的家具、生活用品、衣物等,例如,木质方形白色桌子、棕色篮球、印有卡通图形的衬衫等)、环境图像(例如,闹市、医院、小酒馆、公园等)、动作图片(例如,跑、散步、跳远、跳高、抬手等),并预先为这些图像设置与前述特定属性对应的属性标签。其中一个属性标签包括多个属性,例如,木质方形白色桌子的图像,则属性标签为木质方形白色桌子。将提取的所述描述特定属性的描述词语在所述图像数据库中进行属性标签匹配,即,查找与所述描述特定属性的描述词语相同的标签,从而获取与提取的所述描述词语匹配的图像。
例如,提取出某一句话为“穿紫色T恤的少年”,其中描述特定属性的词语包括本质属性:少年;状态属性:穿T恤;物品特征:紫色,从所述图像数据库中查找具有与上述特定属性的属性标签,进而找到对应的图像。
可选地,对于任一句子或段落,若所述图像数据库中不存在与从所述句子或段落中提取的描述词语全部匹配的图像,则获取所述图像数据库中与从所述句子或段落中提取的描述第一属性的第一描述词语完全匹配的第一图像;根据从所述句子或段落中提取的描述第二属性的第二描述词语中与所述第一图像不匹配的第三描述词语,对所述第一图像进行预设的图像处理,以得到与所述第一描述词语和第二描述词语均匹配的第二图像。
其中,在根据从所述句子或段落中提取的描述第二属性的第二描述词语中与所述第一图像不匹配的第三描述词语,对所述第一图像进行预设的图像处理时,识别所述第一图像中与所述第三描述词语相关的图像区域,得到所述图像区域在所述第一图像中的位置;根据所述第三描述词语以及所述图像区域在所述第一图像中的位置对所述第一图像进行处理,得到得到与所述第一描述词语和第二描述词语均匹配的第二图像。即,将所述图像区域内的图像修改为与所述第三描述词语匹配的图像。
例如,提取出某一句话为“穿紫色T恤的少年”,其中描述第一属性的描述词语包括本质属性:少年;状态属性:穿T恤;描述第二属性的描述词语包括物品特征:紫色,从图像数据库中未查找到“穿紫色T恤的少年”的图像,因此,查找与第一属性匹配的“穿T恤的少年”的图像A,再根据不匹配的描述第二属性的描述词语“紫色”对图像A进行处理。具体地,识别出图像A(第一图像)中与“紫色”相关的图像区域,“紫色”用于描述T恤颜色,因此识别出图像A中的T恤所在区域,再根据“紫色”和识别出的T恤所在图像区域对图像A进行处理,即,将T恤所在图像区域的颜色修改“紫色”,得到与“穿紫色T恤的少年”匹配的图像B。
具体地,通过卷积层将图像A分解成多个预设像素尺寸的图块,例如,分解成3*3像素的图块,把每个图块运行于一个简单的、单层的神经网络,保持权衡不变,得到每个图块的三维数值表达,然后把每个图块的三维数值表达排列在图组中,用数字表示图像中各个区域的内容,数轴分别代表高度、宽度和颜色。通过汇聚层将该三维数值图组的空间维度与采样函数结合起来,输出一个仅包含了图像中相对重要的部分的联合数组,也就得到了图片A中的T恤的位置,并通过改变该部分的在图组中的代表像素点的色彩数值为紫色对应的数值,得到“穿紫色T恤的少年”的图像B。
步骤S130,在播放所述有声书籍的每个句子或段落时,通过所述投影装置对播放的句子或段落对应的图像进行投影。
也就是说,在播放有声书籍的每个句子或段落时,将正在播放的句子或段落对应的图像,通过投影装置进行投影,从而构成情景画面,呈现给用户,有助于用户直观地理解该句子或段落的内容。
根据本发明上述实施例,在播放所述有声书籍的每个句子或段落时,通过投影装置对播放的句子或段落对应的图像进行投影,构成与正在播放的句子或段落对应的情景画面,有助于用户理解句子或段落的内容。
根据本发明上述实施例,根据每个所述句子或段落中描述特定属性的描述词语从预先建立的图像数据库中获取与每个所述句子或段落对应的图像,在任一句子或段落中描述特定属性的描述词语未完全匹配的情况下,能够从未完全匹配的图像中识别不匹配的描述词语的相关图像区域,从而能够将该未完全匹配的图像中修改为与该不匹配的描述词语匹配的图像,能够得到更加契合有声书籍当前播放句子或段落的情景画面,提升用户体验感。
可选地,所述投影装置为磁悬浮式投影装置,能够通过磁悬浮方式悬浮于所述播放设备的上方。例如,所述播放设备设备为空调,当所述投影装置进行投影时可以悬浮于空调上部,向各个方向进行投影。可选地,所述投影装置可以为虚拟影像投影装置,即能够进行虚拟影像投射,例如,可以在预设范围内的任意位置进行虚拟影像投射。
磁悬浮式投影装置的可通过水平转动来选择合适的投影点,即投影装置的悬浮位置不变,通过转动可变换不同的投影点实现距离的调节(投影点可能不在同一水平面,那么投影点到投影装置的的距离就会有变化),通过调节投影镜头的变焦杆调节投影画面的尺寸。
根据当前用户的视线高度可以对所述投影装置的悬浮高度和/或投影方向进行调整,例如,根据用户视线高度调节投影装置的高度以使得投影画面的中心与用户的视线保持水平,和/或根据用户视线方向调节投影装置的投影方向使投影投向用户注视的方向。可选地,用户可通过语音控制和/或遥控器控制所述投影装置的悬浮高度和投影方向。
根据本发明的上述实施例,投影装置能够通过磁悬浮方式悬浮于所述播放设备的上方,可根据当前用户的视线高度对投影装置的悬浮高度和/或投影方向进行调整,实现用户的最佳观看效果,提升用户体验。
本发明提供一种有声书籍的播放控制装置。所述有声书籍的播放设备上设有投影装置。可选地,所述有声书籍的播放设备可以为家用电器,例如包括空调、冰箱和/或洗衣机。可选地,所述投影装置可以为虚拟影像投影装置,即能够进行虚拟影像投射,例如,可以在预设范围内的任意位置进行虚拟影像投射。
图2是本发明提供的有声书籍的播放控制装置的一实施例的结构框图。如图2所示,所述有声书籍的播放控制装置100包括提取单元110、获取单元120和投影单元130。
提取单元110用于从待播放的有声书籍对应的文字信息的每个句子或段落中提取描述特定属性的描述词语。
有声书籍即将书籍中的文章朗读出来并进行录制后形成的能够进行播放的音频文件。具体地,可以预先获取待播放的有声书籍对应的文字信息。例如,对待播放的有声书籍的音频进行语音识别,得到所述有声书籍对应的文字信息。或者某些有声书籍在出版时已经配有文本文件,则可以直接获取该有声书籍对应的文字信息。
所述特定属性具体可以包括:第一属性和第二属性;所述第一属性具体可以包括:本质属性和/或状态属性,所述本质属性,例如包括人、动物、物品(例如桌子、椅子等)、场所(例如,闹市、医院、酒馆等),即,本质是某种人(例如,青年、少年、老人、小孩)、是某种动物(例如,猫、狗)、是某种物品、还是某个场所(例如,商场、酒馆、公园)。所述状态属性,例如穿着、动作、状态等。所述第二属性具体可以包括:特征属性。例如,物品特征,包括颜色、形状。
获取单元120用于根据提取的所述描述特定属性的描述词语获取与每个所述句子或段落对应的图像。
在一种具体实施方式中,获取单元120根据提取的所述描述特定属性的描述词语在预先建立的图像数据库中进行匹配,以获取与提取的所述描述词语匹配的图像。
预先构建图像数据库,例如可以预先获取具有普遍特征的卡通人物图像、动物图片、日常生活中事物图像(例如包括不同形状、材质和/或颜色的家具、生活用品、衣物等,例如,木质方形白色桌子、棕色篮球、印有卡通图形的衬衫等)、环境图像(例如,闹市、医院、小酒馆、公园等)、动作图片(例如,跑、散步、跳远、跳高、抬手等),并预先为这些图像设置与前述特定属性对应的属性标签。其中一个属性标签包括多个属性,例如,木质方形白色桌子的图像,则属性标签为木质方形白色桌子。将提取的所述描述特定属性的描述词语在所述图像数据库中进行属性标签匹配,即,查找与所述描述特定属性的描述词语相同的标签,从而获取与提取的所述描述词语匹配的图像。
例如,提取出某一句话为“穿紫色T恤的少年”,其中描述特定属性的词语包括本质属性:少年;状态属性:穿T恤;物品特征:紫色,从所述图像数据库中查找具有与上述特定属性对应的属性标签,进而找到对应的图像。
可选地,对于任一句子或段落,若所述图像数据库中不存在与从所述句子或段落中提取的描述词语全部匹配的图像,则获取所述图像数据库中与从所述句子或段落中提取的描述第一属性的第一描述词语完全匹配的第一图像;根据从所述句子或段落中提取的描述第二属性的第二描述词语中与所述第一图像不匹配的第三描述词语,对所述第一图像进行预设的图像处理,以得到与所述第一描述词语和第二描述词语均匹配的第二图像。
其中,在根据从所述句子或段落中提取的描述第二属性的第二描述词语中与所述第一图像不匹配的第三描述词语,对所述第一图像进行预设的图像处理时,识别所述第一图像中与所述第三描述词语相关的图像区域,得到所述图像区域在所述第一图像中的位置;根据所述第三描述词语以及所述图像区域在所述第一图像中的位置对所述第一图像进行处理,得到得到与所述第一描述词语和第二描述词语均匹配的第二图像。即,将所述图像区域内的图像修改为与所述第三描述词语匹配的图像。
例如,提取出某一句话为“穿紫色T恤的少年”,其中描述第一属性的描述词语包括本质属性:少年;状态属性:穿T恤;描述第二属性的描述词语包括物品特征:紫色,从图像数据库中未查找到“穿紫色T恤的少年”的图像,因此,查找与第一属性匹配的“穿T恤的少年”的图像A,再根据不匹配的描述第二属性的描述词语“紫色”对图像A进行处理。具体地,识别出图像A(第一图像)中与“紫色”相关的图像区域,“紫色”用于描述T恤颜色,因此识别出图像A中的T恤所在区域,再根据“紫色”和识别出的T恤所在图像区域对图像A进行处理,即,将T恤所在图像区域的颜色修改“紫色”,得到与“穿紫色T恤的少年”匹配的图像B。
具体地,通过卷积层将图像A分解成多个预设像素尺寸的图块,例如,分解成3*3像素的图块,把每个图块运行于一个简单的、单层的神经网络,保持权衡不变,得到每个图块的三维数值表达,然后把每个图块的三维数值表达排列在图组中,用数字表示图像中各个区域的内容,数轴分别代表高度、宽度和颜色。通过汇聚层将该三维数值图组的空间维度与采样函数结合起来,输出一个仅包含了图像中相对重要的部分的联合数组,也就得到了图片A中的T恤的位置,并通过改变该部分的在图组中的代表像素点的色彩数值为紫色对应的数值,得到“穿紫色T恤的少年”的图像B。
投影单元130用于在播放所述有声书籍的每个句子或段落时,通过所述投影装置对播放的句子或段落对应的图像进行投影。
也就是说,在播放有声书籍的每个句子或段落时,投影单元130将正在播放的句子或段落对应的图像,通过投影装置进行投影,从而构成情景画面,呈现给用户,有助于用户直观地理解该句子或段落的内容。
根据本发明上述实施例,在播放所述有声书籍的每个句子或段落时,通过投影装置对播放的句子或段落对应的图像进行投影,构成与正在播放的句子或段落对应的情景画面,有助于用户理解句子或段落的内容。
根据本发明上述实施例,根据每个所述句子或段落中描述特定属性的描述词语从预先建立的图像数据库中获取与每个所述句子或段落对应的图像,在任一句子或段落中描述特定属性的描述词语未完全匹配的情况下,能够从未完全匹配的图像中识别不匹配的描述词语的相关图像区域,从而能够将该未完全匹配的图像中修改为与该不匹配的描述词语匹配的图像,能够得到更加契合有声书籍当前播放句子或段落的情景画面,提升用户体验感。
可选地,所述投影装置为磁悬浮式投影装置,能够通过磁悬浮方式悬浮于所述播放设备的上方。例如,所述播放设备设备为空调,当所述投影装置进行投影时可以悬浮于空调上部,向各个方向进行投影。可选地,所述投影装置可以为虚拟影像投影装置,即能够进行虚拟影像投射,例如,可以在预设范围内的任意位置进行虚拟影像投射。
磁悬浮式投影装置的可通过水平转动来选择合适的投影点,即投影装置的悬浮位置不变,通过转动可变换不同的投影点实现距离的调节(投影点可能不在同一水平面,那么投影点到投影装置的的距离就会有变化),通过调节投影镜头的变焦杆调节投影画面的尺寸。
投影单元130可以根据当前用户的视线高度可以对所述投影装置的悬浮高度和/或投影方向进行调整,例如,根据用户视线高度调节投影装置的高度以使得投影画面的中心与用户的视线保持水平,和/或根据用户视线方向调节投影装置的投影方向使投影投向用户注视的方向。可选地,用户可通过语音控制和/或遥控器控制所述投影装置的悬浮高度和投影方向。
根据本发明的上述实施例,投影装置能够通过磁悬浮方式悬浮于所述播放设备的上方,可根据当前用户的视线高度对投影装置的悬浮高度和/或投影方向进行调整,实现用户的最佳观看效果,提升用户体验。
本发明还提供对应于所述有声书籍的播放控制方法的一种存储介质,其上存储有计算机程序,所述程序被处理器执行时实现前述任一所述方法的步骤。
本发明还提供对应于所述有声书籍的播放控制方法的一种播放设备,包括处理器、存储器以及存储在存储器上可在处理器上运行的计算机程序,所述处理器执行所述程序时实现前述任一所述方法的步骤。
本发明还提供对应于所述有声书籍的播放控制装置的一种播放设备,包括前述任一所述的有声书籍的播放控制装置。
前述所述播放设备上设有投影装置。可选地,前述有声书籍的播放设备可以为家用电器,例如包括空调、冰箱和/或洗衣机。可选地,所述投影装置可以为虚拟影像投影装置,即能够进行虚拟影像投射,例如,可以在预设范围内的任意位置进行虚拟影像投射。
据此,本发明提供的方案,在播放所述有声书籍的每个句子或段落时,通过投影装置对播放的句子或段落对应的图像进行投影,构成与正在播放的句子或段落对应的情景画面,有助于用户理解句子或段落的内容。根据本发明的技术方案,根据每个所述句子或段落中描述特定属性的描述词语从预先建立的图像数据库中获取与每个所述句子或段落对应的图像,在任一句子或段落中描述特定属性的描述词语未完全匹配的情况下,能够从未完全匹配的图像中识别不匹配的描述词语的相关图像区域,从而能够将该未完全匹配的图像中修改为与该不匹配的描述词语匹配的图像,能够得到更加契合有声书籍当前播放句子或段落的情景画面,提升用户体验感。根据本发明的技术方案,投影装置能够通过磁悬浮方式悬浮于所述播放设备的上方,可根据当前用户的视线高度对投影装置的悬浮高度和/或投影方向进行调整,实现用户的最佳观看效果,提升用户体验。
本文中所描述的功能可在硬件、由处理器执行的软件、固件或其任何组合中实施。如果在由处理器执行的软件中实施,那么可将功能作为一或多个指令或代码存储于计算机可读媒体上或经由计算机可读媒体予以传输。其它实例及实施方案在本发明及所附权利要求书的范围及精神内。举例来说,归因于软件的性质,上文所描述的功能可使用由处理器、硬件、固件、硬连线或这些中的任何者的组合执行的软件实施。此外,各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为控制装置的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的权利要求范围之内。

Claims (8)

1.一种有声书籍的播放控制方法,其特征在于,所述有声书籍的播放设备上设有投影装置,所述方法,包括:
从待播放的有声书籍对应的文字信息的每个句子或段落中提取描述特定属性的描述词语;
根据提取的所述描述特定属性的描述词语获取与每个所述句子或段落对应的图像;
在播放所述有声书籍的每个句子或段落时,通过所述投影装置对播放的句子或段落对应的图像进行投影;
根据提取的所述描述特定属性的描述词语获取与每个所述句子或段落对应的图像,包括:
根据提取的所述描述特定属性的描述词语在预先建立的图像数据库中进行匹配,以获取与提取的所述描述词语匹配的图像;
所述特定属性,包括:第一属性和第二属性;所述第一属性,包括:本质属性和状态属性,所述第二属性,包括:特征属性;
根据提取的所述描述特定属性的描述词语获取与每个所述句子或段落对应的图像,还包括:
对于任一句子或段落,若所述图像数据库中不存在与从所述句子或段落中提取的描述词语全部匹配的图像,则获取所述图像数据库中与从所述句子或段落中提取的描述第一属性的第一描述词语完全匹配的第一图像;
根据从所述句子或段落中提取的描述第二属性的第二描述词语中与所述第一图像不匹配的第三描述词语,对所述第一图像进行预设的图像处理,以得到与所述第一描述词语和第二描述词语均匹配的第二图像。
2.根据权利要求1所述的方法,其特征在于,根据从所述句子或段落中提取的描述第二属性的第二描述词语中与所述第一图像不匹配的第三描述词语,对所述第一图像进行预设的图像处理,包括:
识别所述第一图像中与所述第三描述词语相关的图像区域,得到所述图像区域在所述第一图像中的位置;
根据所述第三描述词语以及所述图像区域在所述第一图像中的位置对所述第一图像进行处理,得到与所述第一描述词语和第二描述词语均匹配的第二图像。
3.根据权利要求1或2所述的方法,其特征在于,所述投影装置为磁悬浮式投影装置,能够通过磁悬浮方式悬浮于所述播放设备的上方。
4.一种有声书籍的播放控制装置,其特征在于,所述有声书籍的播放设备上设有投影装置,包括:
提取单元,用于从待播放的有声书籍对应的文字信息的每个句子或段落中提取描述特定属性的描述词语;
获取单元,用于根据提取的所述描述特定属性的描述词语获取与每个所述句子或段落对应的图像;
投影单元,用于在播放所述有声书籍的每个句子或段落时,通过所述投影装置对播放的句子或段落对应的图像进行投影;
所述提取单元,根据提取的所述描述特定属性的描述词语获取与每个所述句子或段落对应的图像,包括:
根据提取的所述描述特定属性的描述词语在预先建立的图像数据库中进行匹配,以获取与提取的所述描述词语匹配的图像;
所述特定属性,包括:第一属性和第二属性;所述第一属性,包括:本质属性和状态属性;所述第二属性,包括:特征属性;
所述提取单元,根据提取的所述描述特定属性的描述词语获取与每个所述句子或段落对应的图像,还包括:
对于任一句子或段落,若所述图像数据库中不存在与从所述句子或段落中提取的描述词语全部匹配的图像,则获取所述图像数据库中与从所述句子或段落中提取的描述第一属性的第一描述词语完全匹配的第一图像;
根据从所述句子或段落中提取的描述第二属性的第二描述词语中与所述第一图像不匹配的第三描述词语,对所述第一图像进行预设的图像处理,以得到与所述第一描述词语和第二描述词语均匹配的第二图像。
5.根据权利要求4所述的装置,其特征在于,根据从所述句子或段落中提取的描述第二属性的第二描述词语中与所述第一图像不匹配的第三描述词语,对所述第一图像进行预设的图像处理,包括:
识别所述第一图像中与所述第三描述词语相关的图像区域,得到所述图像区域在所述第一图像中的位置;
根据所述第三描述词语以及所述图像区域在所述第一图像中的位置对所述第一图像进行处理,得到与所述第一描述词语和第二描述词语均匹配的第二图像。
6.根据权利要求4或5所述的装置,其特征在于,所述投影装置为磁悬浮式投影装置,能够通过磁悬浮方式悬浮于所述播放设备的上方。
7.一种存储介质,其特征在于,其上存储有计算机程序,所述程序被处理器执行时实现权利要求1-3任一所述方法的步骤。
8.一种播放设备,其特征在于,包括处理器、存储器以及存储在存储器上可在处理器上运行的计算机程序,所述处理器执行所述程序时实现权利要求1-3任一所述方法的步骤,或者包括如权利要求4-6任一所述的有声书籍的播放控制装置。
CN202010203696.3A 2020-03-20 2020-03-20 有声书籍的播放控制方法、装置、存储介质及播放设备 Active CN111369841B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010203696.3A CN111369841B (zh) 2020-03-20 2020-03-20 有声书籍的播放控制方法、装置、存储介质及播放设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010203696.3A CN111369841B (zh) 2020-03-20 2020-03-20 有声书籍的播放控制方法、装置、存储介质及播放设备

Publications (2)

Publication Number Publication Date
CN111369841A CN111369841A (zh) 2020-07-03
CN111369841B true CN111369841B (zh) 2020-12-29

Family

ID=71206853

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010203696.3A Active CN111369841B (zh) 2020-03-20 2020-03-20 有声书籍的播放控制方法、装置、存储介质及播放设备

Country Status (1)

Country Link
CN (1) CN111369841B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114328359A (zh) * 2020-09-27 2022-04-12 广州市久邦数码科技有限公司 一种有声电子书的播放方法和***

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105096932A (zh) * 2015-07-14 2015-11-25 百度在线网络技术(北京)有限公司 有声读物的语音合成方法和装置
CN105955452A (zh) * 2016-04-15 2016-09-21 北京小鸟看看科技有限公司 一种虚拟现实设备及利用其增强阅读体验的方法和装置
CN107330961A (zh) * 2017-07-10 2017-11-07 湖北燿影科技有限公司 一种文字影音转换方法和***
CN108898651A (zh) * 2018-06-04 2018-11-27 上海与德科技有限公司 一种趣味读书方法、装置、存储介质及读书器
CN110727629B (zh) * 2019-10-10 2024-01-23 掌阅科技股份有限公司 有声电子书的播放方法、电子设备及计算机存储介质

Also Published As

Publication number Publication date
CN111369841A (zh) 2020-07-03

Similar Documents

Publication Publication Date Title
US20210383115A1 (en) Systems and methods for 3d scene augmentation and reconstruction
US7362919B2 (en) Method for generating customized photo album pages and prints based on people and gender profiles
CN103559713B (zh) 一种提供增强现实的方法及终端
US9047710B2 (en) System and method for providing an avatar service in a mobile environment
US20130198210A1 (en) Avatar service system and method provided through a network
US10423978B2 (en) Method and device for playing advertisements based on relationship information between viewers
EP3201788A1 (en) Method and apparatus for recognition and matching of objects depicted in images
CN104581430A (zh) 视频播放中的广告插播方法和设备
CN103530594A (zh) 一种提供增强现实的方法、***及终端
CN103513890A (zh) 一种基于图片的交互方法、装置和服务器
US11463618B2 (en) Apparatus for providing information and method of providing information, and non-transitory storage medium
KR20180024200A (ko) 영상 검색 정보 제공 방법, 장치 및 컴퓨터 프로그램
CN110827099B (zh) 一种家居商品推荐方法、客户端及服务器
CN111369841B (zh) 有声书籍的播放控制方法、装置、存储介质及播放设备
WO2014100936A1 (zh) 视频的关联信息库制作和视频播放的方法、平台及***
JP2017169140A (ja) 生成装置、生成方法、及び生成プログラム
CN109685593A (zh) 数据对象信息提供方法、装置及电子设备
US20190188481A1 (en) Motion picture distribution system
US11508132B2 (en) Computer implemented method, a device and a computer program product for augmenting a first image with image data from a second image
CN108718424A (zh) 基于移动终端的二维码信息共享方法
CN108833964A (zh) 一种实时的连续帧信息植入识别***
CN108021599B (zh) 提供页面版头的方法及装置
CN112866748B (zh) 基于ai的视频广告植入方法和装置、设备及存储介质
CN113891079A (zh) 自动化教学视频生成方法、装置、计算机设备及存储介质
KR101871925B1 (ko) 영상 검색 정보 제공 방법, 장치 및 컴퓨터 프로그램

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant