CN105760141B - 一种实现多维控制的方法、智能终端及控制器 - Google Patents
一种实现多维控制的方法、智能终端及控制器 Download PDFInfo
- Publication number
- CN105760141B CN105760141B CN201610206745.2A CN201610206745A CN105760141B CN 105760141 B CN105760141 B CN 105760141B CN 201610206745 A CN201610206745 A CN 201610206745A CN 105760141 B CN105760141 B CN 105760141B
- Authority
- CN
- China
- Prior art keywords
- controller
- intelligent terminal
- motion estimation
- scene information
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 239000013598 vector Substances 0.000 claims description 66
- 238000005070 sampling Methods 0.000 claims description 40
- 238000004458 analytical method Methods 0.000 claims description 19
- 238000007635 classification algorithm Methods 0.000 claims description 11
- 230000000977 initiatory effect Effects 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 5
- 238000012544 monitoring process Methods 0.000 claims description 3
- 230000005923 long-lasting effect Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 15
- 238000001514 detection method Methods 0.000 abstract description 2
- 230000000875 corresponding effect Effects 0.000 description 70
- 235000019645 odor Nutrition 0.000 description 21
- 238000007664 blowing Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 238000013528 artificial neural network Methods 0.000 description 8
- 239000003205 fragrance Substances 0.000 description 6
- 230000035943 smell Effects 0.000 description 6
- 244000242564 Osmanthus fragrans Species 0.000 description 5
- 235000019083 Osmanthus fragrans Nutrition 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 5
- 239000000203 mixture Substances 0.000 description 4
- 230000006855 networking Effects 0.000 description 4
- 239000011435 rock Substances 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 230000001960 triggered effect Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000007621 cluster analysis Methods 0.000 description 2
- 230000002045 lasting effect Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 239000007921 spray Substances 0.000 description 2
- 244000025254 Cannabis sativa Species 0.000 description 1
- 241000209504 Poaceae Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000002002 slurry Substances 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Abstract
本文公开了一种实现多维体验的方法、智能终端及控制器，包括智能终端对获取到的当前播放的视频内容进行分析，以识别出所述视频内容对应的场景信息；智能终端发送所述场景信息给控制器，以便控制器根据场景信息启动多维控制。本发明提供的技术方案利用智能终端实现音视频检测，用以识别当前的视频播放的场景，并根据识别出的各种场景控制各种控制器来重建当前播放的场景，实现了实时对放映内容加入多维体验效果，并适用于普通家庭。
Description
技术领域
本发明涉及但不限于智能技术，尤指一种实现多维控制的方法、智能终端及控制器。
背景技术
如果在用户看电视或电影时，能将震动、吹风、烟雾、气泡、气味、布景和人物表演等效果模拟引入，形成一种独特的表演形式，这些现场特技效果和剧情紧密结合，将会营造出一种与影片内容相一致的环境，让观众通过视觉、嗅觉、听觉和触觉多重身体感官体验全新娱乐效果。
但是，目前这种多维的用户体验只能在专用的电影上才能体验到，多维体验的控制指令是预先就与电影进行了同步的，比如：在对应的放映时间点上向相应的控制器发出控制指令以使控制器控制产生震动、吹风、烟雾、气泡、气味、布景和人物表演等效果。也就是说，目前这种全新娱乐效果的实现导致在家庭的使用中是受到限制的。
发明内容
本发明提供一种实现多维控制的方法、智能终端及控制器，能够实时对放映内容加入多维体验效果，并适用于普通家庭。
为了达到本发明目的，本发明提供了一种实现多维控制的方法，包括：智能终端对获到的当前播放的视频内容进行分析，以识别出所述视频内容对应的场景信息；
智能终端发送所述场景信息给控制器，以便控制器根据所述场景信息启动多维控制。
可选地，所述对获得的视频内容进行分析，识别出场景信息包括：
当所述智能终端播放视频时，采样分析视频帧，搜索候选物体：对每一个采样帧，获取运动估计向量，并将运动估计向量大的宏块集中的若干区域划定为标记区域；
所述智能终端对当前播放的视频帧中的关键帧进行持续的探测，如果在预先设置的一段持续较长的视频帧序列中，一直存在标记区域，则所述智能终端开始采样分析该视频帧序列中的关键帧，对每个采样帧识别定位出视频帧内的候选物体以及所在位置，以识别出所述场景信息。
可选地，所述将运动估计向量大的宏块集中的若干区域划定为标记区域包括：
采用分类算法将获得的所述运动估计向量分为两类：运动估计向量大的宏块以及运动估计向量小的宏块；
将运动估计向量大的宏块集中的若干区域划定为标记区域；位于标记区域外的物体作为参照物。
本发明还提供了一种实现多维控制的方法，控制器根据获到的当前播放的视频内容对应的场景信息识别出需要启动多维体验控制的指令，进行相应控制。
可选地，所述控制器中预先设置有不同的物体类别与控制信息之间的对应关系；
所述根据获得的场景信息识别出自身需要启动多维体验控制的指令包括：所述得到的场景信息中的物体属于预先设置的触发控制的物体类别，并且满足预先设置的触发条件时，确定启动所述多维体验控制的指令。
可选地，所述控制器包括：震动控制器、和/或气味控制器、和/或喷雾控制器、和/或灯光控制器、和/或声音控制器。
可选地，各控制器之间采用分布式部署，或者集中式部署。
本发明又提供了一种实现多维体验的方法，包括：
智能终端对获到的当前播放的视频内容进行分析，以识别出与发起请求的控制器对应的场景信息；
智能终端根据识别出的场景信息确定是否需要启动多维体验控制；
当确定出需要启动多维体验控制时，将对应的控制信息下发给相应控制器。
可选地，所述智能终端对获得的视频内容进行分析之前还包括：
所述智能终端监听到来自一个或一个以上控制器的查询命令，将自身的设备描述信息返回给发起查询请求的控制器；
收到查询响应的控制器作为客户端向智能终端发起会话，并在所述智能终端与控制器之间建立会话。
可选地，所述对获得的视频内容进行分析，识别出与发起请求的控制器对应的场景信息包括：
当所述智能终端播放视频时，采样分析视频帧，搜索候选物体：对每一个采样帧，获取运动估计向量，并将运动估计向量大的宏块集中的若干区域划定为标记区域；
对所述获得的视频帧中的关键帧进行持续的探测，如果在预先设置的一段持续较长的视频帧序列中，一直存在标记区域，则开始采样分析该视频帧序列中的关键帧，对每个采样帧识别定位出视频帧内的与发起查询并建立会话的控制器相关的候选物体以及所在位置，以识别出所述与发起查询并建立会话的控制器对应的场景信息。
可选地，所述将运动估计向量大的宏块集中的若干区域划定为标记区域包括：
采用分类算法将获得的所述运动估计向量分为两类：运动估计向量大的宏块以及运动估计向量小的宏块；
将运动估计向量大的宏块集中的若干区域划定为标记区域；位于标记区域外的物体作为参照物。
可选地，所述智能终端中预先设置有不同的物体类别与控制信息之间的对应关系；
所述智能终端根据获得的场景信息确定是否需要启动多维体验控制包括：所述得到的场景信息中的物体属于预先设置的触发控制的物体类别，并且满足预先设置的触发条件时，启动相应多维体验控制，并将对应的控制信息下发给相应控制器。
还发明再提供了一种智能终端，包括第一分析模块，广播模块；其中，
第一分析模块，用于在启动多维体验功能后，对获到的当前播放的视频内容进行分析，以识别出所述视频内容对应的场景信息；
广播模块，用于发送识别出场景信息给控制器，以便控制器根据所述场景信息启动多维控制。
可选地，所述第一分析模块具体用于：当播放视频时，采样分析视频帧，对每一个采样帧，获取运动估计向量；采用分类算法将获得的运动估计向量分为两类：运动估计向量大的宏块以及运动估计向量小的宏块；将运动估计向量大的宏块集中的若干区域划定为标记区域；
对当前播放的视频帧中的关键帧进行持续的探测，如果在一段持续较长的视频帧序列中，一直存在标记区域，则开始采样分析该视频帧序列中的关键帧，对每个采样帧识别定位出视频帧内的候选物体以及所在位置，以识别出所述场景信息。
本发明还提供了一种智能终端，包括第二分析模块，确定模块；其中，
第二分析模块，用于在启动多维体验功能后，对获到的当前播放的视频内容进行分析，以识别出获取与发起请求的控制器对应的场景信息；
确定模块，用于根据识别出的场景信息确定是否需要启动多维体验控制，当确定出需要启动多维体验控制时，将对应的控制信息下发给相应控制器。
可选地，还包括建立模块，用于监听到来自一个或一个以上控制器的查询命令，将自身所属智能终端的设备描述信息返回给发起查询请求的控制器；与发起会话的控制器之间建立会话。
可选地，所述第二分析模块具体用于：
当播放视频时，采样分析视频帧，对每一个采样帧，获取运动估计向量；采用分类算法将获得的运动估计向量分为两类：运动估计向量大的宏块以及运动估计向量小的宏块；将运动估计向量大的宏块集中的若干区域划定为标记区域；位于标记区域外的物体称为参照物；
对当前播放的视频帧中的关键帧进行持续的探测，如果在一段持续较长的视频帧序列中，一直存在标记区域，则开始采样分析该视频帧序列中的帧，对每个采样帧识别定位出视频帧内的与发起查询并建立会话的控制器相关的主要物体以及所在位置，以识别出与所述发起查询并建立会话的控制器对应的场景信息。
可选地，所述确定模块具体用于：其中预先设置有不同的物体类别与控制信息之间的对应关系，当所述得到的场景信息中的物体属于预先设置的触发控制的物体类别，并且满足预先设置的触发条件时，启动相应多维体验控制，并将对应的控制信息下发给相应控制器。
本发明再提供了一种控制器，包括获取模块，控制模块；其中，
获取模块，用于获取当前播放的视频内容对应的场景信息；
控制模块，用于根据获得的场景信息确定出自身需要启动多维体验控制时，进行相应控制。
可选地，所述控制模块中预先设置有不同的物体类别与控制信息之间的对应关系；
所述控制模块具体用于：当所述得到的场景信息中的物体属于预先设置的触发控制的物体类别，并且满足预先设置的触发条件时，启动所述多维体验控制。
可选地，所述获取模块还用于：发送查询命令，以查询当前网络中的智能终端的设备信息，并监听智能终端广播的信息。
与现有技术相比，本申请技术方案包括智能终端对获到的当前播放的视频内容进行分析，以识别出视频内容对应的场景信息；智能终端发送所述场景信息给控制器，以便控制器根据场景信息启动多维控制。或者包括在启动多维体验功能后，智能终端对当前播放的视频内容进行分析以获取与发起请求的控制器对应的场景信息；智能终端根据获得的场景信息确定是否需要启动多维体验控制；当确定出需要启动多维体验控制时，将对应的控制信息下发给相应控制器。本发明提供的技术方案利用智能终端实现音视频检测，用以识别当前的视频播放的场景，并根据识别出的各种场景控制各种控制器来重建当前播放的场景，实现了实时对放映内容加入多维体验效果，并适用于普通家庭。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明一种实现多维体验的方法的流程图；
图2为本发明另一种实现多维体验的方法的流程图；
图3为本发明一种智能终端的组成结构示意图；
图4为本发明另一种智能终端的组成结构示意图；
图5为本发明控制器的组成结构示意图；
图6为本发明控制器采用集中式部署的组网架构示意图；
图7为本发明控制器采用分布式部署的组网架构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
图1为本发明一种实现多维控制的方法的流程图，如图1所示，包括：
步骤100：智能终端对获到的当前播放的视频内容进行分析，以识别出所述视频内容对应的场景信息。
在启动多维体验功能后，首先，当智能终端播放视频时，采样分析视频帧，尝试搜索候选物体如花(如对应风)、草、岩石熔浆(如对应震动)等，即对每一个采样帧，获取运动估计向量；采用分类算法如k-means聚类分析将获得的运动估计向量分为两类：运动估计向量大的宏块以及运动估计向量小的宏块。将运动估计向量大的宏块集中的若干区域划定为标记区域。如果某个标记区域面积太小，则放弃该标记区域。位于标记区域外的物体作为大背景的参照物。这样，就查找出了关键的候选物体存在的可能区域。其中，对于整个视频来说，在预设区域如长方形区域内，如果运动向量大的宏块占总宏块数的比例超过预设阈值如80％(可调整)，那么，认为这个区域就是标记区域。其中，要是划定出的标记区域的面积占总面积的大小不到预设面积的比例阈值如10％(可调整)，那么，放弃该标记区域。
然后，智能终端对获得的视频帧中的关键帧即I帧进行持续的探测，如果在预先设置的一段持续较长的视频帧序列中，一直存在标记区域，那么，智能终端开始采样分析该视频帧序列中的关键帧，对每个采样帧通过神经网络等算法识别定位出视频帧内的候选物体以及所在位置，从而识别出场景信息。这样，实现了对关键的候选物体的识别。
具体地：如果之前得到的参照物在当前采样的视频帧序列中均存在，那么，对视频帧序列的标记区域内识别出的候选物体，如果满足以下条件，就标记为候选物体的类别:1)该物体类别在连续的视频帧序列的标记区域内均存在2)该物体类别的各个物体，相对各视频序列的参照物，位置相对矢量持续发生变化。进一步地，如果该候选物体的类别多于一个，则场景信息还包括：记录额外的参数如物体持续时间、物***置移动相对速度、个数等。
比如：在具体实现中，上述使用到的神经网络可以采用AlexNet的结构：一共8层，前5层为卷积层，后3层全连接层。其中，最后一层使用softmax分类器。具体地：在前5层的卷积层中，第1层为卷积层，使用特定模版间隔进行卷积，然后采用ReLU作为激活函数，规则化后做Pooling，得到的结果作为第2层卷积层输入，后面4层卷积层和第1层类似，只是采用了维数更低的卷积模版；在后3层全连接层中，后3层ReLU后dropout再全连接；最后采用softmax lost作为lost function。
本步骤中，如果之前得到的参照物在当前采样的视频帧序列中不存在，则放弃本次搜索，结束本流程。
举个例子来看：如果采用神经网络检测出当前画面中有大面积的花海，可以将花的边缘轮廓找到，如果还检测到花往右有较大的晃动幅度，那么，根据花摆动的方向可以推断出有风从左往右吹，根据花摆动的幅度可以推算出风的等级；如果同时还探测到有人物在画面中出现，那么，标记出人物的位置和个数，以及通过多帧发现人物之间相对移动的速度等。这些获得的信息就是本步骤中需要的场景信息。
步骤101：智能终端发送识别出的场景信息给控制器，以便控制器根据所述场景信息启动多维控制。
智能终端发送识别出的场景信息给控制器，比如通过广播识别出的场景信息。以上面列举的例子为例，场景信息可以包括：花的种类、花大概数量；风吹的方向及风力等级；人物个数以及相对移动的速度。
其中，控制信息用于需要启动多维体验控制的控制器进行相应控制。
对于每个控制器，则还包括：控制器根据获到的当前播放的视频内容对应的场景信息识别出自身需要启动多维体验控制的指令，进行相应控制。
本发明中的控制器可以包括但不限于：震动控制器、和/或气味控制器、和/或喷雾控制器、和/或灯光控制器、和/或声音控制器等。
各控制器之间可以是分布式部署，也可以是集中式部署。当采用分布式部署时，每个控制器都与智能终端进行通信；当采用集中式部署时，可以将各控制器设置在一个装置如一个可穿戴装置中，这样，更加方便了用户的体验。其中，控制器和智能终端可以采用以太网(Ethernet)、WiFi、蓝牙(Bluetooth)等方式进行通信。
在本步骤的控制器中，预先设置有不同的物体类别与控制信息之间的对应关系，当得到的场景信息中的物体属于预先设置的触发控制的物体类别，并且满足预先设置的触发条件时，确定启动相应多维体验控制的指令。
比如：对于震动控制器，这个对应关系可以设置为：当获得的场景信息中的物体属于触发震动的物体类别如岩石，并且满足触发条件如物体个数大于1个且速度大于1/8屏幕每秒，持续超过3秒，则启动震动控制器触发震动效果；
再如，对于气味控制器，这个对应关系可以设置为：当获得的场景信息中的物体属于触发产生气味的物体类别如桂花，并且满足触发条件如持续出现时间>6秒钟，且数量>10个，则启动气味控制器触发发出带桂花香味的气味。
又如：对于声音控制器，这个对应关系可以为：当获得的场景信息中的物体属于触发产生声音的物体类别如有任务在画面中出现，并且满足触发条件如人物的位置、移动方向和移动速度等，则启动声音控制器触发产生脚步随人物移动方向的渐变过程。
图2为本发明另一种实现多维控制的方法的流程图，如图2所示，包括：
步骤200：智能终端对获到的当前播放的视频内容进行分析，以识别出与发起请求的控制器对应的场景信息。
本步骤之前还包括：某个或某些控制器启动后，向智能终端发送查询命令，以查询当前网络中的智能终端的设备信息，并监听智能终端广播的信息；
智能终端作为汇聚点会监听来自控制器的查询，当监听到有查询时，将自身的设备描述信息返回给发起查询请求的控制器；
收到查询响应的控制器作为客户端向智能终端发起会话，并在智能终端与控制器之间建立会话。
本步骤的具体实现与步骤100是一致的，不同在于：本步骤中智能终端是针对控制器的请求进行相应场景信息的采集。比如，发起查询请求的是震动控制器，那么，此时智能终端仅针对触发震动的物体类别如岩石进行识别，也就是说此时返回的场景信息中的物体只会有触发震动的物体类别。
步骤201：智能终端根据识别出的场景信息确定是否需要启动多维体验控制。
本步骤中，在智能终端中，预先设置有不同的物体类别与控制信息之间的对应关系，当得到的场景信息中的物体属于预先设置的触发控制的物体类别，并且满足预先设置的触发条件时，启动相应多维体验控制。
本步骤的具体实现与步骤102一致，这里不再赘述。
步骤202：当确定出需要启动多维体验控制时，将对应的控制信息下发给相应控制器。
本步骤中，智能终端将最终的控制信息直接下发给控制器，控制器只需要按照接收到的控制指令启动并触发相应动作即可。
图3为本发明一种智能终端的组成结构示意图，如图3所示，至少包括：第一分析模块，广播模块；其中，
第一分析模块，用于在启动多维体验功能后，对获到的当前播放的视频内容进行分析，以识别出所述视频内容对应的场景信息；
广播模块，用于发送识别出场景信息给控制器，以便控制器根据所述场景信息启动多维控制。
其中，第一分析模块具体用于：
当播放视频时，采样分析视频帧，尝试搜索候选物体，即对每一个采样帧，获取运动估计向量；采用分类算法如k-means聚类分析将获得的运动估计向量分为两类：运动估计向量大的宏块以及运动估计向量小的宏块。将运动估计向量大的宏块集中的若干区域划定为标记区域。如果某个标记区域面积太小，则放弃该标记区域。位于标记区域外的物体称为参照物。
对当前播放的视频帧中的关键帧进行持续的探测，如果在预先设置的一段持续较长的视频帧序列中，一直存在标记区域，那么，开始采样分析该视频帧序列中的关键帧，对每个采样帧通过神经网络等算法识别定位出视频帧内的候选物体以及所在位置，从而获得场景信息。
图4为本发明另一种智能终端的组成结构示意图，如图4所示，至少包括第二分析模块，确定模块；其中，
第二分析模块，用于在启动多维体验功能后，对获到的当前播放的视频内容进行分析，以识别出与发起请求的控制器对应的场景信息；
确定模块，用于根据识别出的场景信息确定是否需要启动多维体验控制，当确定出需要启动多维体验控制时，将对应的控制信息下发给相应控制器。
图4所示的智能终端还包括建立模块用于：监听到来自某个或某些控制器的查询命令，将自身所属智能终端的设备描述信息返回给发起查询请求的控制器；与发起会话的控制器之间建立会话。
其中，第二分析模块具体用于：
对当前播放的视频帧中的关键帧进行持续的探测，如果在预先设置的一段持续较长的视频帧序列中，一直存在标记区域，那么，开始采样分析该视频帧序列中的关键帧，对每个采样帧通过神经网络等算法识别定位出视频帧内的与发起查询并建立会话的控制器相关的候选物体以及所在位置，从而识别出与发起查询并建立会话的控制器对应的场景信息。
确定模块具体用于：其中预先设置有不同的物体类别与控制信息之间的对应关系，当得到的场景信息中的物体属于预先设置的触发控制的物体类别，并且满足预先设置的触发条件时，启动相应多维体验控制，并将对应的控制信息下发给相应控制器。
图5为本发明控制器的组成结构示意图，如图5所示，至少包括获取模块，控制模块；其中，
获取模块，用于获取当前播放的视频内容对应的场景信息；
控制模块，用于根据获得的场景信息确定出自身需要启动多维体验控制时，进行相应控制。
其中，在控制模块中预先设置有不同的物体类别与控制信息之间的对应关系；控制模块具体用于：当得到的场景信息中的物体属于预先设置的触发控制的物体类别，并且满足预先设置的触发条件时，启动多维体验控制。
其中，获取模块还用于：发送查询命令，以查询当前网络中的智能终端的设备信息，并监听智能终端广播的信息
下面结合具体实施例进行详细描述。
图6为本发明控制器采用集中式部署的组网架构示意图，如图6所示，在第一实施例中，假设各控制器之间采用集中式部署，如设置在一可穿戴设备中。第一实施例中，以震动控制器发起查询请求为例，且第一实施例中智能终端对是否需要启动震动控制器触发震动效果进行确定。具体包括：
首先，震动控制器启动后，向智能终端发送查询命令，查询当前网络中的智能终端的设备描述信息，并监听智能终端的广播信息；智能终端作为汇聚点，在监听有震动控制器发起查询时，读取自身的设备描述信息并通过查询响应返回给震动控制器；震动控制器作为客户端发起会话，智能终端接收会话并在自身与震动控制器之间建立起会话。
接着，当智能终端播放视频时，先采样分析视频帧，尝试搜索候选物体，即对每一个采样帧，获取出运动估计向量。采用分类算法将获得的该视频帧的运动估计向量分为两类运动估计向量大的宏块以及运动估计向量小的宏块。将运动估计向量大的宏块集中的若干区域划定为标记区域。如果某个标记区域面积太小，则放弃该标记区域。位于标记区域外的物体称为参照物。
如果在一段持续较长的视频帧序列中，一直存在标记区域。则采样分析该视频帧序列中的帧，对每个采样帧通过神经网络等算法识别定位出视频帧内的主要物体以及所在位置。比如：在具体实现中，此神经网络可以采用AlexNet的结构：一共8层，前5层为卷积层，后3层全连接层。其中，最后一层使用softmax分类器。具体地：在前5层的卷积层中，第1层为卷积层，使用特定模版间隔进行卷积，然后采用ReLU作为激活函数，规则化后做Pooling，得到的结果作为第2层卷积层输入，后面4层卷积层和第1层类似，只是采用了维数更低的卷积模版；在后3层全连接层中，后3层ReLU后dropout再全连接；最后采用softmax lost作为lost function。
然后，如果之前得到的参照物在当前采样的视频帧序列中均存在，那么，对视频帧序列的标记区域内识别出的候选物体，如果满足以下条件，就标记为候选物体的类别:1)该物体类别在连续的视频帧序列的标记区域内均存在2)该物体类别的各个物体，相对各视频序列的参照物，位置相对矢量持续发生变化。进一步地，如果该候选物体的类别多于一个，则场景信息还包括：记录额外的参数如物体持续时间、物***置移动相对速度、个数等。
第一实施例中，在智能终端中有不同的物体类别与控制信息之间的对应关系，当得到的场景信息中的物体属于预先设置的触发控制的物体类别，并且满足预先设置的触发条件时，启动相应多维体验控制。第一实施例中，假设针对震动控制器预先设定了若干个触发震动的对应关系：每个触发项中设置有触发的物体类别，以及触发条件，当满足触发项时触发震动效果。比如：对于震动控制器，这个对应关系可以设置为：当获得的场景信息中的物体属于触发震动的物体类别如岩石，并且满足触发条件如物体个数大于1个且速度大于1/8屏幕每秒，持续超过3秒，则启动震动控制器触发震动效果。
最后，在第一实施例中，智能终端只需将对应的控制信息即触发震动效果下发给震动控制器即可。
在第二实施例中，以气微控制器为例，假设智能终端对是否需要启动气味控制器发出气味效果进行确定，之后生成控制命令后发送给气味控制器。具体包括：
首先，气味控制器启动后，向智能终端发送查询命令，查询当前网络中的智能终端的设备描述信息，并监听智能终端的广播信息；智能终端作为汇聚点，在监听有气味控制器发起查询时，读取自身的设备描述信息并通过查询响应返回给气味控制器；气味控制器作为客户端发起会话，智能终端接收会话并在自身与气味控制器之间建立起会话。
接着，第二实施例中，智能终端根据场景中的物体进行分类，在一些场景下需要制造某些环境气味来丰富用户体验，相应地，预先设置可识别的物体，以及对应的气味。
当智能终端播放视频时，对视频帧中的每若干个关键帧中抽出一个做采样。对该采样使用卷积神经网络等算法识别出该帧中存在大量的花束，并持续了相当长的一段时间。具体实现与第一实施例一致，这里不再赘述。
第二实施例中，在智能终端中有不同的场景信息与控制信息之间的对应关系，当得到的场景信息中的物体属于预先设置的触发控制的物体类别，并且满足预先设置的触发条件时，启动相应多维体验控制。第二实施例中，假设针对气味控制器预先设定若干个触发香味的对应关系：每个触发项中指定了触发的物体类别，以及触发条件，当满足触发项时触发气味效果。比如：当获得的场景信息中的物体属于触发产生气味的物体类别如桂花，并且满足触发条件如持续出现时间>6秒钟，且数量>10个，则启动气味控制器触发发出带桂花香味的气味：
最后，在第二实施例中，智能终端只需将对应的控制信息即触发带桂花香味的气味下发给气味控制器即可。
图7为本发明控制器采用分布式部署的组网架构示意图，如图7所示，在第三实施例中，假设各控制器之间采用分布式部署。第三实施例中，智能终端只需对设置好的物体类别进行识别，并广播识别出的场景信息；而个控制器会将属于自身控制范围的场景信息进行是否需要启动控制器触发多维效果进行确定。具体包括：
首先，对当前播放的视频帧中的关键帧进行持续的探测，如神经网络检测出当前画面中有大面积的花海，将花的边缘轮廓找到后，，如果还检测到花往右有较大的晃动幅度，那么，根据花摆动的方向可以推断出有风从左往右吹，根据花摆动的幅度可以推算出风的等级；如果同时还探测到有人物在画面中出现，那么，标记出人物的位置和个数，以及通过多帧发现人物之间相对移动的速度等。这些获得的信息就是场景信息。
接着，智能终端广播获得的场景信息，即花的种类、花大概数量；风吹的方向及风力等级；人物个数以及相对移动的速度。
然后，对于各控制器的处理如下：
对于各吹风控制器，根据获得的场景信息、自己所在的位置，以及不同的场景信息与控制信息之间的对应关系，决定是否需要触发吹风，以及风的量级。比如：场景信息中风是从左往右吹的，吹风控制器方位如果在左边，那么，则吹场景信息中对应的风力；如果吹风控制器方位是在右边，则就不用需要触发吹风。
对于各花香控制器，根据获得的场景信息以及预先设置的不同的场景信息与控制信息之间的对应关系，触发气味控制器将对应场景信息中的花类的香味释放出来。
对于各声音控制器，根据获得的场景信息，选择对应的背景声如风吹草动的生硬。并且根据场景信息中人物移动速度和移动方向，以及预先设置的不同的场景信息与控制信息之间的对应关系，并根据声音控制器自身所对应的声道，触发声音控制器选择脚步声强弱或渐变，然后将背景声和脚步声做叠加后输出。完成本声道的声音输出。
这样，在各种控制器的综合作用下，给用户模拟出了风吹花海，人物走动的场景。
以上所述，仅为本发明的较佳实例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种实现多维控制的方法，其特征在于，包括：智能终端对获得到的当前播放的视频内容进行分析，以识别出所述视频内容对应的场景信息；
智能终端发送所述场景信息给控制器，以便控制器根据所述场景信息启动多维控制；
其中，所述对获得到的当前播放的视频内容进行分析，以识别出所述视频内容对应的场景信息包括：
当所述智能终端播放视频时，采样分析视频帧，搜索候选物体：对每一个采样帧，获取运动估计向量，并将运动估计向量大的宏块集中的若干区域划定为标记区域；
所述智能终端对当前播放的视频帧中的关键帧进行持续的探测，如果在预先设置的一段持续较长的视频帧序列中，一直存在标记区域，则所述智能终端开始采样分析该视频帧序列中的关键帧，对每一个采样帧识别定位出视频帧内的候选物体以及所在位置，以识别出所述场景信息。
2.根据权利要求1所述的方法，其特征在于，所述将运动估计向量大的宏块集中的若干区域划定为标记区域包括：
采用分类算法将获得的所述运动估计向量分为两类：运动估计向量大的宏块以及运动估计向量小的宏块；
将运动估计向量大的宏块集中的若干区域划定为标记区域；位于标记区域外的物体作为参照物。
3.一种实现多维体验的方法，其特征在于，包括：
智能终端监听到来自一个或一个以上控制器的查询命令，将自身的设备描述信息返回给发起查询请求的控制器；
收到查询响应的控制器作为客户端向智能终端发起会话，并在所述智能终端与控制器之间建立会话；
智能终端对获得到的当前播放的视频内容进行分析，以识别出与发起查询请求的控制器对应的场景信息；
智能终端根据识别出的场景信息确定是否需要启动多维体验控制；
当确定出需要启动多维体验控制时，将对应的控制信息下发给相应控制器；
其中，所述对获得到的当前播放的视频内容进行分析，以识别出与发起查询请求的控制器对应的场景信息包括：
当所述智能终端播放视频时，采样分析视频帧，搜索候选物体：对每一个采样帧，获取运动估计向量，并将运动估计向量大的宏块集中的若干区域划定为标记区域；
对所述获得的视频帧中的关键帧进行持续的探测，如果在预先设置的一段持续较长的视频帧序列中，一直存在标记区域，则开始采样分析该视频帧序列中的关键帧，对每一个采样帧识别定位出视频帧内的与发起查询请求并建立会话的控制器相关的候选物体以及所在位置，以识别出所述与发起查询请求并建立会话的控制器对应的场景信息。
4.根据权利要求3所述的方法，其特征在于，所述将运动估计向量大的宏块集中的若干区域划定为标记区域包括：
采用分类算法将获得的所述运动估计向量分为两类：运动估计向量大的宏块以及运动估计向量小的宏块；
将运动估计向量大的宏块集中的若干区域划定为标记区域；位于标记区域外的物体作为参照物。
5.根据权利要求3所述的方法，其特征在于，所述智能终端中预先设置有不同的物体类别与控制信息之间的对应关系；
所述智能终端根据获得的场景信息确定是否需要启动多维体验控制包括：所述获得到的场景信息中的物体属于预先设置的触发控制的物体类别，并且满足预先设置的触发条件时，启动相应多维体验控制，并将对应的控制信息下发给相应控制器。
6.一种智能终端，其特征在于，包括第一分析模块，广播模块；其中，
第一分析模块，用于在启动多维体验功能后，对获得到的当前播放的视频内容进行分析，以识别出所述视频内容对应的场景信息；
广播模块，用于发送识别出的场景信息给控制器，以便控制器根据所述场景信息启动多维控制；
其中，所述第一分析模块具体用于：当播放视频时，采样分析视频帧，对每一个采样帧，获取运动估计向量；采用分类算法将获得的运动估计向量分为两类：运动估计向量大的宏块以及运动估计向量小的宏块；将运动估计向量大的宏块集中的若干区域划定为标记区域；
对当前播放的视频帧中的关键帧进行持续的探测，如果在一段持续较长的视频帧序列中，一直存在标记区域，则开始采样分析该视频帧序列中的关键帧，对每一个采样帧识别定位出视频帧内的候选物体以及所在位置，以识别出所述场景信息。
7.一种智能终端，其特征在于，包括第二分析模块，确定模块；其中，
第二分析模块，用于在启动多维体验功能后，对获得到的当前播放的视频内容进行分析，以识别出获取与发起查询请求的控制器对应的场景信息；
确定模块，用于根据识别出的场景信息确定是否需要启动多维体验控制，当确定出需要启动多维体验控制时，将对应的控制信息下发给相应控制器；
其中，还包括，建立模块，用于监听到来自一个或一个以上控制器的查询命令，将自身所属智能终端的设备描述信息返回给发起查询请求的控制器；与发起会话的控制器之间建立会话；
其中，所述第二分析模块具体用于：
当播放视频时，采样分析视频帧，对每一个采样帧，获取运动估计向量；采用分类算法将获得的运动估计向量分为两类：运动估计向量大的宏块以及运动估计向量小的宏块；将运动估计向量大的宏块集中的若干区域划定为标记区域；位于标记区域外的物体称为参照物；
对当前播放的视频帧中的关键帧进行持续的探测，如果在一段持续较长的视频帧序列中，一直存在标记区域，则开始采样分析该视频帧序列中的帧，对每一个采样帧识别定位出视频帧内的与发起查询请求并建立会话的控制器相关的主要物体以及所在位置，以识别出与所述发起查询请求并建立会话的控制器对应的场景信息。
8.根据权利要求7所述的智能终端，其特征在于，所述确定模块具体用于：其中预先设置有不同的物体类别与控制信息之间的对应关系，当所述获得到的场景信息中的物体属于预先设置的触发控制的物体类别，并且满足预先设置的触发条件时，启动相应多维体验控制，并将对应的控制信息下发给相应控制器。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610206745.2A CN105760141B (zh) | 2016-04-05 | 2016-04-05 | 一种实现多维控制的方法、智能终端及控制器 |
| PCT/CN2017/079444 WO2017173976A1 (zh) | 2016-04-05 | 2017-04-05 | 一种实现多维控制的方法、智能终端及控制器 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610206745.2A CN105760141B (zh) | 2016-04-05 | 2016-04-05 | 一种实现多维控制的方法、智能终端及控制器 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105760141A CN105760141A (zh) | 2016-07-13 |
| CN105760141B true CN105760141B (zh) | 2023-05-09 |
Family
ID=56333468
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610206745.2A Active CN105760141B (zh) | 2016-04-05 | 2016-04-05 | 一种实现多维控制的方法、智能终端及控制器 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN105760141B (zh) |
| WO (1) | WO2017173976A1 (zh) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105760141B (zh) * | 2016-04-05 | 2023-05-09 | 中兴通讯股份有限公司 | 一种实现多维控制的方法、智能终端及控制器 |
| CN106657975A (zh) * | 2016-10-10 | 2017-05-10 | 乐视控股（北京）有限公司 | 视频播放方法及设备 |
| CN108063701B (zh) * | 2016-11-08 | 2020-12-08 | 华为技术有限公司 | 一种控制智能设备的方法及装置 |
| CN107743205A (zh) * | 2017-09-11 | 2018-02-27 | 广东欧珀移动通信有限公司 | 图像处理方法及装置、电子装置和计算机可读存储介质 |
| CN110475159A (zh) * | 2018-05-10 | 2019-11-19 | 中兴通讯股份有限公司 | 多媒体信息的传输方法及装置、终端 |
| CN109388719A (zh) * | 2018-09-30 | 2019-02-26 | 京东方科技集团股份有限公司 | 基于数字化作品的多维场景数据生成装置及方法 |
| US20200213662A1 (en) * | 2018-12-31 | 2020-07-02 | Comcast Cable Communications, Llc | Environmental Data for Media Content |
| CN110245628B (zh) * | 2019-06-19 | 2023-04-18 | 成都世纪光合作用科技有限公司 | 一种检测人员讨论场景的方法和装置 |
| CN110493090B (zh) * | 2019-08-22 | 2022-01-28 | 三星电子（中国）研发中心 | 一种实现智能家庭影院的方法和*** |
| CN111031392A (zh) * | 2019-12-23 | 2020-04-17 | 广州视源电子科技股份有限公司 | 媒体文件的播放方法、***、装置、存储介质和处理器 |
| CN112040289B (zh) * | 2020-09-10 | 2022-12-06 | 深圳创维－Rgb电子有限公司 | 视频播放控制方法、装置、视频播放设备和可读存储介质 |
| CN114885189A (zh) * | 2022-04-14 | 2022-08-09 | 深圳创维－Rgb电子有限公司 | 香氛开启的控制方法、装置、设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103559713A (zh) * | 2013-11-10 | 2014-02-05 | 深圳市幻实科技有限公司 | 一种提供增强现实的方法及终端 |
| CN103679727A (zh) * | 2013-12-16 | 2014-03-26 | 中国科学院地理科学与资源研究所 | 一种多维时空动态联动分析方法和装置 |
| CN103970892A (zh) * | 2014-05-23 | 2014-08-06 | 无锡清华信息科学与技术国家实验室物联网技术中心 | 基于智能家居设备的多维度观影***控制方法 |
| CN105306982A (zh) * | 2015-05-22 | 2016-02-03 | 维沃移动通信有限公司 | 移动终端界面图像的感官反馈方法及其移动终端 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8009923B2 (en) * | 2006-03-14 | 2011-08-30 | Celestial Semiconductor, Inc. | Method and system for motion estimation with multiple vector candidates |
| CN101035279B (zh) * | 2007-05-08 | 2010-12-15 | 孟智平 | 一种在视频资源中使用信息集的方法 |
| CN105072483A (zh) * | 2015-08-28 | 2015-11-18 | 深圳创维－Rgb电子有限公司 | 基于智能电视视频场景的智能家居设备互动方法及*** |
| CN105760141B (zh) * | 2016-04-05 | 2023-05-09 | 中兴通讯股份有限公司 | 一种实现多维控制的方法、智能终端及控制器 |
-
2016
- 2016-04-05 CN CN201610206745.2A patent/CN105760141B/zh active Active
-
2017
- 2017-04-05 WO PCT/CN2017/079444 patent/WO2017173976A1/zh active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103559713A (zh) * | 2013-11-10 | 2014-02-05 | 深圳市幻实科技有限公司 | 一种提供增强现实的方法及终端 |
| CN103679727A (zh) * | 2013-12-16 | 2014-03-26 | 中国科学院地理科学与资源研究所 | 一种多维时空动态联动分析方法和装置 |
| CN103970892A (zh) * | 2014-05-23 | 2014-08-06 | 无锡清华信息科学与技术国家实验室物联网技术中心 | 基于智能家居设备的多维度观影***控制方法 |
| CN105306982A (zh) * | 2015-05-22 | 2016-02-03 | 维沃移动通信有限公司 | 移动终端界面图像的感官反馈方法及其移动终端 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2017173976A1 (zh) | 2017-10-12 |
| CN105760141A (zh) | 2016-07-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105760141B (zh) | 一种实现多维控制的方法、智能终端及控制器 | |
| US20220286728A1 (en) | Information processing apparatus and information processing method, display equipped with artificial intelligence function, and rendition system equipped with artificial intelligence function | |
| CN109922373B (zh) | 视频处理方法、装置及存储介质 | |
| CN108230594B (zh) | 一种用于在视频监控***中生成警报的方法 | |
| CN109873951B (zh) | 一种视频拍摄及播放的方法、装置、设备及介质 | |
| CN117496643A (zh) | 检测和响应于智能家居环境的访客的***和方法 | |
| WO2016120634A2 (en) | Computer vision systems | |
| JP2015534202A (ja) | ビデオ監視システムのための画像安定化技法 | |
| CN105955221A (zh) | 一种电器设备控制方法及装置 | |
| KR20090119670A (ko) | 오락 시스템의 사용자의 얼굴 인식 학습 방법 및 시스템 | |
| US20190212719A1 (en) | Information processing device and information processing method | |
| US10560994B2 (en) | Lighting control apparatus, corresponding method and computer program product | |
| CN106547345A (zh) | 定制现场事件中的触觉反馈 | |
| US20220020053A1 (en) | Apparatus, systems and methods for acquiring commentary about a media content event | |
| CN106162105B (zh) | 一种视频监控***中的摄像机参数控制方法及装置 | |
| CN109791601A (zh) | 人群娱乐 | |
| CN112330371A (zh) | 基于ai的智能广告推送方法及装置、***及存储介质 | |
| TW201511544A (zh) | 自動換台系統及方法 | |
| CN110493090B (zh) | 一种实现智能家庭影院的方法和*** | |
| KR101924715B1 (ko) | 디바이스 제어를 위한 적외선 시그널링의 자동 설정을 가능하게 하는 기법 | |
| CN106564059B (zh) | 一种家庭机器人*** | |
| CN111442464A (zh) | 空调器及其控制方法 | |
| CN111158258A (zh) | 一种环境监测方法和*** | |
| CN104185068A (zh) | 根据电视节目自动切换情景模式的方法及电视机 | |
| CN115782908A (zh) | 车辆的人机交互方法、非易失性存储介质及车辆 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |