CN112000024B - 用于控制家电设备的方法及装置、设备 - Google Patents
用于控制家电设备的方法及装置、设备 Download PDFInfo
- Publication number
- CN112000024B CN112000024B CN202010904880.0A CN202010904880A CN112000024B CN 112000024 B CN112000024 B CN 112000024B CN 202010904880 A CN202010904880 A CN 202010904880A CN 112000024 B CN112000024 B CN 112000024B
- Authority
- CN
- China
- Prior art keywords
- acquiring
- action
- action set
- actions
- control instruction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 230000009471 action Effects 0.000 claims description 254
- 238000012216 screening Methods 0.000 claims description 11
- 238000004422 calculation algorithm Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 8
- 238000012015 optical character recognition Methods 0.000 description 7
- 230000011218 segmentation Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 229910000831 Steel Inorganic materials 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000010959 steel Substances 0.000 description 2
- 208000035126 Facies Diseases 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000001035 drying Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B15/00—Systems controlled by a computer
- G05B15/02—Systems controlled by a computer electric
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/20—Pc systems
- G05B2219/26—Pc applications
- G05B2219/2642—Domotique, domestic, home control, automation, smart house
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Manufacturing & Machinery (AREA)
- Quality & Reliability (AREA)
- Selective Calling Equipment (AREA)
Abstract
本申请涉及物联网技术领域，公开一种用于控制家电设备的方法。包括：获取播放的视频的类别并获取控制指令集；根据所述播放的视频的类别与所述控制指令集确定推荐场景规则；根据所述推荐场景规则对家电设备进行控制。通过获取播放的视频的类别并获取控制指令集，根据播放的视频的类别与控制指令集确定推荐场景规则，并根据根据所述推荐场景规则对家电设备进行控制，能够在用户播放的视频时进行家电设备之间的联动，提高用户观影时的体验。本申请还公开一种用于控制家电设备的装置及设备。
Description
技术领域
本申请涉及物联网技术领域，例如涉及一种用于控制家电设备的方法及装置、设备。
背景技术
随着物联网技术和智能家居技术的迅速发展，家电设备能够通过物联网技术根据场景规则对家中的各种家电设备如照明***、电动窗帘、数字影院***、网络家电等进行控制。
在实现本公开实施例的过程中，发现相关技术中至少存在如下问题：现有的家电设备控制技术无法在用户观看视频时进行家电设备的联动，用户体验较差。
发明内容
为了对披露的实施例的一些方面有基本的理解，下面给出了简单的概括。所述概括不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围，而是作为后面的详细说明的序言。
本公开实施例提供了一种用于控制家电设备的方法、装置和设备，以能够在播放的视频时进行家电设备之间的联动。
在一些实施例中，所述用于控制家电设备的方法，包括：
获取播放的视频的类别并获取控制指令集；
根据所述播放的视频的类别与所述控制指令集确定推荐场景规则；
根据所述推荐场景规则对家电设备进行控制；
所述控制指令集包括所述家电设备对应的控制指令；所述推荐场景规则包括所述播放的视频的类别与所述控制指令的对应关系。
在一些实施例中，所述获取播放的视频的类别，包括：
获取所述播放的视频的关键帧；
根据所述关键帧获取所述播放的视频的类别。
在一些实施例中，根据所述关键帧获取所述播放的视频的类别，包括：
获取所述关键帧中的文字信息；
根据所述文字信息判断所述播放的视频的类别。
在一些实施例中，所述获取控制指令集，包括：
获取第一时间段内所述家电设备的第一动作集合；
根据所述第一动作集合获取所述控制指令集；
所述第一动作集合包括有所述家电设备执行所述控制指令对应的动作。
在一些实施例中，根据所述第一动作集合获取所述控制指令集，包括：
根据所述第一动作集合获取备选动作集合，根据所述备选动作集合获取所述控制指令集。
在一些实施例中，根据所述第一动作集合获取备选动作集合，包括：
获取第一动作集合中各动作的支持度，在所述第一动作集合中筛选出小于预设的第一支持度阈值的动作并存入第三动作集合；将所述第三动作集合确定为所述备选动作集合；或，
根据所述第一动作集合中动作的频次获取第三动作集合；获取两个以上第二时间段内所述家电设备的第二动作集合，根据所述第二动作集合中动作的频次获取第四动作集合；获取在两个以上第二时间段内所述家电设备执行所述控制指令对应的动作并存入第二动作集合中；获取第一动作集合与第二动作集合中各动作的支持度；在所述第一动作集合中筛选出小于预设的第一支持度阈值的动作并存入第三动作集合；在所述第二动作集合中筛选出小于预设的第二支持度阈值的动作并存入第四动作集合；将第三动作集合和第四动作集合取交集，得到备选动作集合；
所述第二动作集合、所述第三动作集合、所述第四动作集合与所述备选动作集合中分别包括所述家电设备执行所述控制指令对应的动作；所述支持度为动作集合中各动作的频次占该集合所有动作频次的比例。
在一些实施例中，根据所述备选动作集合获取控制指令集，包括：
获取所述备选动作集合中各动作之间的第一置信度，根据所述第一置信度获取所述控制指令集。
在一些实施例中，根据所述播放的视频的类别与所述控制指令集确定推荐场景规则，包括：
获取所述播放的视频的类别与所述控制指令集中的控制指令之间的第二置信度；
根据所述第二置信度生成推荐场景规则。
在一些实施例中，所述用于控制家电设备的装置，包括处理器和存储有程序指令的存储器，所述处理器被配置为在执行所述程序指令时，执行上述的用于控制家电设备的方法。
在一些实施例中，所述设备，包括上述的用于控制家电设备的装置。
本公开实施例提供的用于控制家电设备的方法及装置、设备，可以实现以下技术效果：通过获取播放的视频的类别并获取控制指令集，根据播放的视频的类别与控制指令集确定推荐场景规则，并根据根据所述推荐场景规则对家电设备进行控制，能够在用户播放的视频时进行家电设备之间的联动，提高用户观影时的体验。
以上的总体描述和下文中的描述仅是示例性和解释性的，不用于限制本申请。
附图说明
一个或多个实施例通过与之对应的附图进行示例性说明，这些示例性说明和附图并不构成对实施例的限定，附图中具有相同参考数字标号的元件示为类似的元件，附图不构成比例限制，并且其中：
图1是本公开实施例提供的一个用于控制家电设备的方法的示意图；
图2是本公开实施例提供的一个用于获取投屏视频类别的方法的示意图；
图3是本公开实施例提供的一个用于获取推荐场景规则的方法的示意图；
图4是本公开实施例提供的一个用于控制家电设备的装置的示意图；
图5是本公开实施例提供的一个用于控制家电设备的***的示意图。
具体实施方式
为了能够更加详尽地了解本公开实施例的特点与技术内容，下面结合附图对本公开实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本公开实施例。在以下的技术描述中，为方便解释起见，通过多个细节以提供对所披露实施例的充分理解。然而，在没有这些细节的情况下，一个或多个实施例仍然可以实施。在其它情况下，为简化附图，熟知的结构和装置可以简化展示。
本公开实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开实施例的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。
除非另有说明，术语“多个”表示两个或两个以上。
本公开实施例中，字符“/”表示前后对象是一种“或”的关系。例如，A/B表示：A或B。
术语“和/或”是一种描述对象的关联关系，表示可以存在三种关系。例如，A和/或B，表示：A或B，或，A和B这三种关系。
结合图1所示，本公开实施例提供一种用于控制家电设备的方法，包括：
步骤S101，获取播放的视频的类别并获取控制指令集；
步骤S102，根据播放的视频的类别与控制指令集确定推荐场景规则；
步骤S103，根据推荐场景规则对家电设备进行控制。
控制指令集包括所述家电设备对应的控制指令；推荐场景规则包括播放的视频的类别与控制指令的对应关系。
通过获取播放的视频的类别并获取控制指令集，根据播放的视频的类别与控制指令集确定推荐场景规则，并根据推荐场景规则对家电设备进行控制，能够在用户播放的视频时进行家电设备之间的联动，提高用户观影时的体验。
可选地，获取播放的视频的类别，包括：获取播放的视频的关键帧；根据关键帧获取播放的视频的类别。
可选地，通过视频数据集VideoNet对播放的视频提取关键帧。在一些实施例中，VideoNet数据集对播放的视频进行镜头分割，并根据清晰度提取镜头分割单元中的5张关键帧。
可选地，根据关键帧获取播放的视频的类别，包括：获取关键帧中的文字信息；根据文字信息判断播放的视频的类别。
在一些实施例中，通过OCR(Optical Character Recognition，光学字符识别)算法对关键帧进行检测，获取关键帧中的文字信息；在检测到文字信息的情况下，提取文字信息中的关键词，并根据关键词在预设的视频数据库中匹配出与关键词对应的视频类别；预设的视频数据库中存储有关键词与视频类别之间的对应关系。
可选地，获取控制指令集，包括：获取第一时间段内家电设备的第一动作集合；根据第一动作集合获取控制指令集；第一动作集合包括有家电设备执行控制指令对应的动作。
可选地，通过智能场景推荐模块获取第一时间段内所有家电设备执行控制指令对应的动作，得到第一动作集合；根据第一动作集合获取所有家电设备执行控制指令对应的动作之间的关联性，根据关联性获取控制指令集。可选地，关联性为某个家电设备执行控制指令对应的动作是另一个家电设备执行控制指令对应的动作的前提条件。
可选地，根据第一动作集合获取控制指令集，包括：根据第一动作集合获取备选动作集合，根据备选动作集合获取控制指令集。
可选地，根据第一动作集合获取备选动作集合，包括：获取第一动作集合中各动作的支持度，在第一动作集合中筛选出小于预设的第一支持度阈值的动作并存入第三动作集合；将第三动作集合确定为备选动作集合；或，根据第一动作集合中动作的频次获取第三动作集合；获取两个以上第二时间段内家电设备的第二动作集合，根据第二动作集合中动作的频次获取第四动作集合；获取在两个以上第二时间段内家电设备执行控制指令对应的动作并存入第二动作集合中；获取第一动作集合与第二动作集合中各动作的支持度；在第一动作集合中筛选出小于预设的第一支持度阈值的动作并存入第三动作集合；在第二动作集合中筛选出小于预设的第二支持度阈值的动作并存入第四动作集合；将第三动作集合和第四动作集合取交集，得到备选动作集合；第二动作集合、第三动作集合、第四动作集合与备选动作集合中分别包括家电设备执行控制指令对应的动作；支持度为动作集合中各动作的频次占该集合所有动作频次的比例。
可选地，第一动作集合中各动作的支持度为各动作的频次占第一动作集合中所有动作频次的比例。
可选地，按动作的频次从高到低对第一动作集合中的动作进行排序，得到各动作的FP树；获取FP树中所有动作的支持度，并选取小于第一支持度阈值S1的动作，得到各动作的最小支持度FP(x)树，即第三动作集合。
可选地，支持度为各动作的频次占FP树中所有动作的频次的百分比。
可选地，选取两个以上第二时间段内的家电设备执行控制指令对应的动作集合，得到第二动作集合。可选地，第二动作集合中包括一个或多个控制指令对应的动作。在一些实施例中，连续选取三天的19:00至19:20作为第二时间段，第1天的19:00至19:20时间段内的第二动作集合包括开窗帘5次、开空调1次、开灯10次、开电视4次，第2天的19:00至19:20时间段内的第二动作集合包括开窗帘4次、开灯12次、关灯4次，第3天的19:00至19:20时间段内的第二动作集合包括开窗帘5次、开空调1次、开灯10次、开热水器4次；分别计算出每个第二时间段内的第二动作集合中各动作的支持度，选取小于第二支持度阈值S2的动作。例如：开窗帘的支持度分别为5/20、4/20、5/20，第二支持度阈值S2＝3/20，则将开窗帘这一动作存储至第四动作集合；开热水器的支持度分别为0/20、0/20、4/20，其中只有一天满足第二支持度阈值S2＝3/20，则认为开热水器这一动作不是规律性动作，删除开热水器这一动作。可选地，将第三动作集合与第四动作集合取交集，得到备选动作集合。这样，通过获取两个以上第二时间段内的家电设备的第二动作集合，并按照第二支持度阈值进行筛选，删除其他不满足第二支持度阈值的控制指令对应的动作，能够使得备选动作集合中的动作更加规律，从而使挑选出的动作更能代表用户在某一时间段的行为习惯。
可选地，通过计算
获得支持度S，其中Q为家电设备执行控制指令对应的动作的频次，P为所有家电设备执行控制指令执对应的动作的频次。
可选地，根据备选动作集合获取控制指令集，包括：获取备选动作集合中各动作之间的第一置信度，根据第一置信度获取控制指令集。
可选地，通过FP-growth算法，利用第一置信度，即条件概率置信度和时间差对备选动作集合进行筛选。在一些实施例中，家电设备执行控制指令对应的动作A与家电设备执行控制指令对应的动作B之间的条件概率置信度confidence为在第一动作集合中家电设备执行控制指令对应的动作A后直接或间接执行控制指令对应的动作B的动作项占总动作A项数的百分比。
可选地，通过计算
得到条件概率置信度；其中，P(AB)为动作A与动作B同时发生的概率，P(A)为动作A发生的概率，P(B∣A)为在动作A发生的情况下，发生动作B的概率。在一些实施例中，根据条件概率置信度阈值对备选动作集合中的动作进行筛选，选取大于条件概率置信度阈值的动作，再根据家电设备执行控制指令对应的动作之间发生的时间差进行筛选，得到控制指令集。在一些实施例中，设置一个时间差Δt分钟，若在动作C发生的Δt分钟之内发生动作D，则认为动作C与动作D之间有关联，并将“执行控制指令C，执行控制指令D”存储至控制指令集中。
可选地，根据播放的视频的类别与控制指令集确定推荐场景规则，包括：获取播放的视频的类别与控制指令集中的控制指令之间的第二置信度；根据第二置信度生成推荐场景规则。
可选地，第二置信度为家电设备执行控制指令对应的动作的支持度与第一时间段内播放的视频的类型的支持度之间的比值。在一些实施例中，家电设备执行控制指令对应的动作“打开绿灯，关闭窗帘”的支持度为27.5％，第一时间段内播放恐怖片的支持度为50％，则
可选地，在第二置信度大于50％的情况下，将播放的视频的类别与控制指令集的对应关系确定为推荐场景规则，即“恐怖片，打开绿灯，关闭窗帘”。在一些实施例中，第二置信度为55％表示家电设备执行控制指令对应的动作“打开绿灯，关闭窗帘”，有55％适合该场景规则。
在一些实施例中，在观看恐怖片的情况下，对于超过90％的恐怖片，家电设备都会执行“打开绿灯，关闭窗帘”对应的控制指令；在观看喜剧片的情况下，对于超过95％的喜剧片，家电设备都会执行“打开窗帘，白天时间段不开灯，夜晚时间段开偏黄色的白炽灯”。可选地，播放的视频的类别与控制指令都以规则的形式存储在场景规则库中。在一些实施例中，规则属性例如“光照”为视频类别例如“恐怖片”中依赖的属性；播放的视频的类别为1个或多个类型；一个视频类别只对应一个控制指令，例如“恐怖片，打开绿灯”，“恐怖片，关闭窗帘”。
根据推荐场景规则对家电设备进行控制，包括：对用于播放视频的家电设备进行控制和/或对除开播放视频的其他家电设备进行控制。
在一些实施例中，推荐场景规则为“恐怖片，调低电视亮度”，则场景推荐模块根据该推荐场景规则控制电视，调低电视亮度；在一些实施例中，推荐场景规则为“战争片，调高投影仪投屏亮度”，则场景推荐模块根据该推荐场景规则控制投影仪，调高投影投屏亮度。在一些实施例中，推荐场景规则为“战争片，调高电视音量”，则场景推荐模块根据该推荐场景规则控制电视音量变大。
结合图2所示，本公开实施例提供的一种获取投屏视频类别的方法，包括：
步骤S201，视频识别***获取投屏内容的统一资源定位符URL，即投屏内容来源。
步骤S202，视频识别***根据投屏内容来源检测视频类别；在检测到视频类别的情况下，执行步骤S203；在未检测到视频类别的情况下，执行步骤S204。
步骤S203，将检测到的视频的类别发送至IOT(the Internet Of Things，物联网平台)云平台，IOT云平台根据视频的类别发送与视频的类别对应的控制指令给家电设备，并触发家电设备执行该控制指令。
步骤S204，在判定投屏内容为视频的情况下，提取视频内容的关键帧。
步骤S205，通过OCR算法获取关键帧中的文字信息。
步骤S206，根据关键帧中的文字信获取视频分类；然后执行步骤S203。
在一些实施例，用户通过手机在电视上进行投屏操作，在视频识别***没有检测到视频分类的情况下，可选地，用户通过VideoNet数据集对投屏内容进行镜头分割，并根据清晰度对镜头分割单元进行提取关键帧，并根据关键帧判定投屏内容是否为视频；在投屏内容为视频的情况下，提取视频的5张关键帧，可选地，通过OCR算法获取5个关键帧中的文字信息，根据获取到的文字信息对视频进行分类；在获取到视频类别的情况下，将视频类别发送至IOT云平台并存储。可选地，通过多媒体处理工具ffmpeg提取关键帧。在一些实施例中，在判断投屏内容不是视频的情况下，不进行其他操作。VideoNet数据集从三个维度对视频进行标注，从事件维度上对整个视频标注类别标签，从物体维度上对镜头关键帧标注类别和位置框，场景维度上对镜头关键帧标注类别标签。这样，通过VideoNet数据集从三个维度对投屏内容进行标注，然后进行识别，充分利用各维度之间存在的丰富的语义关联建立模型，体现了多维度内容之间的语义联系，提高了视频识别准度，便于获取视频类别。
结合图3所示，本公开实施例提供的一种获取推荐场景规则的方法，包括：
步骤S301，获取第一时间段内家电设备执行控制指令对应的动作，即第一动作集合。
步骤S302，按场景模型中的属性、条件、动作对控制指令对应的动作进行数据清流，将数据映射为场景模型数据结构中的规则列表。
步骤S303，将家电设备执行控制指令对应的动作存储到FP树形结构中，并统计家电设备执行控制指令对应的动作的频次。
步骤S304，获取第三动作集合和第四动作集合；可选地，根据第一动作集合中动作的频次获取第三动作集合；获取两个以上第二时间段内家电设备的第二动作集合，根据第二动作集合中动作的频次获取第四动作集合。
步骤S305，将第三动作集合与第四动作集合取交集，得到备选动作集合；并通过FP-growth算法获取备选动作集合中各动作之间的第一置信度。
步骤S306，根据备选动作集合中各动作之间的第一置信度从备选动作集合中获取控制指令集。
步骤S307，根据播放的视频类别与控制指令集中控制指令之间的第二置信度确定推荐场景规则。
采用本公开实施例提供的用于获取推荐场景规则的方法，在用户决定观看什么影片，需要如何控制灯光和窗帘的灯联动操作的情况下，用户不仅能通过智能场景推荐模块自己定制场景，还能通过本公开实施例的智能场景推荐***进行推荐，根据用户习惯自动生成的场景模型，即用户不去设置场景，在开启场景智能推荐的情况下，通过一段时间的家电控制，根据用户控制家电的习惯自动生成联动操作的场景规则。
在一些实施例中，用户将恐怖片投屏到电视上进行播放，触发智能场景推荐模块获取一段时间内的家电设备的控制指令对应的动作，即第一动作集合。按场景模型中的属性、条件、动作对家电设备执行控制指令对应的动作进行数据清流，将数据映射为场景模型数据结构中的规则列表{规则属性，规则条件，规则动作}。可选地，规则属性包括“光照”、“温度”等，规则条件为播放的视频的类别，规则动作为家电设备的控制指令。
可选地，用户通过多屏互动技术Airplay将音频、照片、视频等从IOS(iPhoneOperation System，苹果移动设备操作***)设备或者苹果电脑Mac上投射到支持Airplay接受的设备上，将音频、照片、视频等从小屏映射大屏进行显示、无线音乐、分享图片等操作。可选地，用户通过DLNA(DigitalLiving Network Alliance，数字生活网络联盟)协议进行个人电脑、消费电器、移动设备在内的无线网络和有线网络的互通，使得数字媒体和内容服务的无限制的共享和增长得以实现。
OCR算法包括图像处理及文字识别。其中图像处理包括，对视频关键帧进行预处理，即对视频关键帧进行灰度化、二值化、降噪、倾斜校正、文字切分等。在一些实施例中，首先对视频关键帧进行灰度化处理，即将彩色图片转化为灰色图片，其中，对关键帧进行灰度化的方法包括分量法、最大值法、平均值法或加权平均法；接着对关键帧进行二值化处理，通过设置一个阈值，利用阈值将关键帧的数据分为两部分，即大于阈值的像素群和小于阈值的像素群。通过二值化处理后的关键帧只包括纯白和纯黑两种颜色，可选地，对关键帧进行二值化处理的方法包括双峰法、参数法、迭代法或大津算法OTSU；可选地，对通过二值化处理后的关键帧进行图像降噪，通过图像降噪减少数字图像在数字化和传输过程中常受到成像设备与外部环境噪声干燥等影响，便于提取关键帧中的文字信息；接着进行文字矫正和文字切分，其中文字切分包括对文字进行行切分及字符切分，得到关键帧中的文字信息。图像处理完成后对获取到的文字信息进行文字识别，通过不同文字的不同特征对关键帧中的文字信息进行识别，并提取关键词，接着对关键词中的文字进行后处理，即对文字进行优化。在一些实施例中，“钢”与“纲”形近，在提取到的关键词为“纲铁侠”的情况下，对该关键词进行纠正，得到关键词“钢铁侠”。在一些实施例中，通过OCR算法提取到视频关键帧中的关键词为“钢铁侠”、“美国队长”、“复仇者联盟”等，根据该关键词从预设的视频类别数据库中匹配出与该关键词对应的视频类别为“科幻片”、“动作片”等，预设的视频类别数据库中存储有关键词与视频类别之间的对应关系。通过OCR算法获取关键帧中的文字信息，支持多种语言的识别、识别率高，使获取到的视频的关键词更加精准，匹配出准确的视频的类别成功率更高，提高用户体验度。
可选地，通过“以图搜图”的方式获取播放的视频的类别，先通过SIFT(Scale-invariant feature transform，尺度不变特征变换)算法获取图片与图片之间的关键描述子，根据关键描述子的欧氏距离进行相似度的计算，并根据相似度获取图片对应的视频，再获取视频的类别。可选地，通过SIFT算法对视频关键帧进行特征检测，特征检测包括尺度空间极值检测、关键点定位、方向确定及关键点描述子。在一些实施例中，通过构建尺度空间，检测尺度空间极值点，获得尺度不变性；接着对关键点过滤并进行精确定位，然后为关键点分配方向值，生成关键描述子。然后采用关键点描述子的欧氏距离作为关键帧中关键点的相性度量。根据关键帧中的关键点描述子的欧氏距离计算关键帧的相似度，并根据相似度在预设视频数据库中匹配出与相似度对应的视频，并获取该视频的类别。预设视频数据库中存储有相似度与视频直接的对应关系，预设视频数据中的视频包括该视频的类别。通过SIFT算法实现“以图搜图”的方式获取视频的类别，能够在特征数据库中进行快速准确的匹配，使得用户获取视频的类别更方便、快捷，提高用户体验度。
结合图4所示，本公开实施例提供一种用于控制家电设备的装置，包括处理器(processor)100和存储有程序指令的存储器(memory)101。可选地，该装置还可以包括通信接口(Communication Interface)102和总线103。其中，处理器100、通信接口102、存储器101可以通过总线103完成相互间的通信。通信接口102可以用于信息传输。处理器100可以调用存储器101中的程序指令，以执行上述实施例的用于控制家电设备的方法。
此外，上述的存储器101中的程序指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
存储器101作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令/模块。处理器100通过运行存储在存储器101中的程序指令/模块，从而执行功能应用以及数据处理，即实现上述实施例中用于控制家电设备的方法。
存储器101可包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器101可以包括高速随机存取存储器，还可以包括非易失性存储器。
本公开实施例提供的一种用于控制家电设备的装置，通过获取播放的视频的类别并获取控制指令集，根据播放的视频的类别与控制指令集确定推荐场景规则，并根据根据所述推荐场景规则对家电设备进行控制，能够在用户播放的视频时进行家电设备之间的联动，提高用户观影时的体验。
本公开实施例提供的一种设备，包含上述的用于控制家电设备的装置。
可选地，设备为智能电视或带显示屏的智能冰箱等带显示屏的智能家电设备。
可选地，设备为智能手机或平板等移动终端。
可选地，设备为服务器或智能网关。
本公开实施例提供的设备通过获取播放的视频的类别并获取控制指令集，根据播放的视频的类别与控制指令集确定推荐场景规则，并根据根据所述推荐场景规则对家电设备进行控制，能够在用户播放的视频时进行家电设备之间的联动，提高用户观影时的体验。
结合图5所示，在一些实施例中，本公开实施例提供了一个用于控制家电设备的***，包括：IOT云平台1、路由器2、智能电视3、窗帘4、灯5。可选地，IOT云平台1通过路由器2获取智能电视3中的显示内容的类别；IOT云平台1将与显示内容的类别对应的家电设备控制指令通过路由器2发送给窗帘4、灯5，触发窗帘4、灯5执行对应的控制指令。
可选地，IOT云平台1将与显示内容的类别对应的家电设备控制指令通过路由器2发送给其他家电设备，例如：智能音响、智能空调等。
在一些实施例中，用户通过手机将家电设备例如电视，窗帘、灯光设备等连接上Wi-Fi，绑定到同一个IOT云平台，可选地，家电设备为带有Wi-Fi模块的智能设备；并通过手机将视频投屏到电视上。电视判断接收到的投屏是否为视频，在为视频的情况下，通过自动视频识别技术动态检测视频类型，例如为“恐怖片”，IOT云平台通过路由器获取视频类型为“恐怖片”，并根据获取到的视频类型“恐怖片”将与视频类型“恐怖片”对应的家电设备控制指令“关闭窗帘，打开绿灯”发送给对应的家电设备，例如：窗帘和灯，触发窗帘执行指令“关闭窗帘”，灯执行指令“打开绿灯”。
本公开实施例提供了一种计算机可读存储介质，存储有计算机可执行指令，计算机可执行指令设置为执行上述控制家电设备提供的方法。
本公开实施例提供了一种计算机程序产品，计算机程序产品包括存储在计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当程序指令被计算机执行时，使计算机执行上述用于控制家电设备的方法。
上述的计算机可读存储介质可以是暂态计算机可读存储介质，也可以是非暂态计算机可读存储介质。
本公开实施例的技术方案可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括一个或多个指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开实施例所述方法的全部或部分步骤。而前述的存储介质可以是非暂态存储介质，包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。
以上描述和附图充分地示出了本公开的实施例，以使本领域的技术人员能够实践它们。其他实施例可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独的部件和功能是可选的，并且操作的顺序可以变化。一些实施例的部分和特征可以被包括在或替换其他实施例的部分和特征。而且，本申请中使用的用词仅用于描述实施例并且不用于限制权利要求。如在实施例以及权利要求的描述中使用的，除非上下文清楚地表明，否则单数形式的“一个”(a)、“一个”(an)和“所述”(the)旨在同样包括复数形式。类似地，如在本申请中所使用的术语“和/或”是指包含一个或一个以上相关联的列出的任何以及所有可能的组合。另外，当用于本申请中时，术语“包括”(comprise)及其变型“包括”(comprises)和/或包括(comprising)等指陈述的特征、整体、步骤、操作、元素，和/或组件的存在，但不排除一个或一个以上其它特征、整体、步骤、操作、元素、组件和/或这些的分组的存在或添加。在没有更多限制的情况下，由语句“包括一个…”限定的要素，并不排除在包括所述要素的过程、方法或者设备中还存在另外的相同要素。本文中，每个实施例重点说明的可以是与其他实施例的不同之处，各个实施例之间相同相似部分可以互相参见。对于实施例公开的方法、产品等而言，如果其与实施例公开的方法部分相对应，那么相关之处可以参见方法部分的描述。
本领域技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，可以取决于技术方案的特定应用和设计约束条件。所述技术人员可以对每个特定的应用来使用不同方法以实现所描述的功能，但是这种实现不应认为超出本公开实施例的范围。所述技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本文所披露的实施例中，所揭露的方法、产品(包括但不限于装置、设备等)，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，可以仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例。另外，在本公开实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
附图中的流程图和框图显示了根据本公开实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。在附图中的流程图和框图所对应的描述中，不同的方框所对应的操作或步骤也可以以不同于描述中所披露的顺序发生，有时不同的操作或步骤之间不存在特定的顺序。例如，两个连续的操作或步骤实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
Claims (7)
1.一种用于控制家电设备的方法，其特征在于，包括：
获取播放的视频的类别并获取控制指令集；
根据所述播放的视频的类别与所述控制指令集确定推荐场景规则；
根据所述推荐场景规则对家电设备进行控制；
所述控制指令集包括所述家电设备对应的控制指令；所述推荐场景规则包括所述播放的视频的类别与所述控制指令的对应关系；
所述获取控制指令集，包括：获取第一时间段内所述家电设备的第一动作集合；根据所述第一动作集合获取所述控制指令集；所述第一动作集合包括所述家电设备执行所述控制指令对应的动作；
根据所述第一动作集合获取控制指令集，包括：根据所述第一动作集合获取备选动作集合，根据所述备选动作集合获取所述控制指令集；
根据所述第一动作集合获取备选动作集合，包括：获取第一动作集合中各动作的支持度，在所述第一动作集合中筛选出小于预设的第一支持度阈值的动作并存入第三动作集合；将所述第三动作集合确定为所述备选动作集合；或，
根据所述第一动作集合中动作的频次获取第三动作集合；获取两个以上第二时间段内所述家电设备的第二动作集合，根据所述第二动作集合中动作的频次获取第四动作集合；获取在两个以上第二时间段内所述家电设备执行所述控制指令对应的动作并存入第二动作集合中；获取第一动作集合与第二动作集合中各动作的支持度；在所述第一动作集合中筛选出小于预设的第一支持度阈值的动作并存入第三动作集合；在所述第二动作集合中筛选出小于预设的第二支持度阈值的动作并存入第四动作集合；将第三动作集合和第四动作集合取交集，得到备选动作集合；
所述第二动作集合、所述第三动作集合、所述第四动作集合与所述备选动作集合中分别包括所述家电设备执行所述控制指令对应的动作；所述支持度为动作集合中各动作的频次占该集合所有动作频次的比例。
2.根据权利要求1所述的方法，其特征在于，所述获取播放的视频的类别，包括：
获取所述播放的视频的关键帧；
根据所述关键帧获取所述播放的视频的类别。
3.根据权利要求2所述的方法，其特征在于，根据所述关键帧获取所述播放的视频的类别，包括：
获取所述关键帧中的文字信息；
根据所述文字信息判断所述播放的视频的类别。
4.根据权利要求1所述的方法，其特征在于，根据所述备选动作集合获取控制指令集，包括：
获取所述备选动作集合中各动作之间的第一置信度，根据所述第一置信度获取所述控制指令集。
5.根据权利要求1至4任一项所述的方法，其特征在于，根据所述播放的视频的类别与所述控制指令集确定推荐场景规则，包括：
获取所述播放的视频的类别与所述控制指令集中的控制指令之间的第二置信度；
根据所述第二置信度生成推荐场景规则。
6.一种用于控制家电设备的装置，包括处理器和存储有程序指令的存储器，其特征在于，所述处理器被配置为在执行所述程序指令时，执行如权利要求1至5任一项所述的用于控制家电设备的方法。
7.一种设备，其特征在于，包括如权利要求6所述的用于控制家电设备的装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010904880.0A CN112000024B (zh) | 2020-09-01 | 2020-09-01 | 用于控制家电设备的方法及装置、设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010904880.0A CN112000024B (zh) | 2020-09-01 | 2020-09-01 | 用于控制家电设备的方法及装置、设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112000024A CN112000024A (zh) | 2020-11-27 |
| CN112000024B true CN112000024B (zh) | 2022-08-05 |
Family
ID=73464970
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010904880.0A Active CN112000024B (zh) | 2020-09-01 | 2020-09-01 | 用于控制家电设备的方法及装置、设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112000024B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113009839B (zh) * | 2021-02-18 | 2023-07-21 | 青岛海尔科技有限公司 | 场景推荐方法和装置、存储介质及电子设备 |
| CN114675551A (zh) * | 2022-02-23 | 2022-06-28 | 青岛海尔科技有限公司 | 操作行为的确定方法和装置、存储介质及电子装置 |
| CN116033209B (zh) * | 2022-08-29 | 2023-10-20 | 荣耀终端有限公司 | 投屏方法和电子设备 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103747292A (zh) * | 2014-01-10 | 2014-04-23 | 北京酷云互动科技有限公司 | 与电视节目关联的应用程序推荐方法及推荐装置 |
| CN105072483A (zh) * | 2015-08-28 | 2015-11-18 | 深圳创维－Rgb电子有限公司 | 基于智能电视视频场景的智能家居设备互动方法及*** |
| CN105955045A (zh) * | 2016-05-31 | 2016-09-21 | 微鲸科技有限公司 | 智能观影场景实现***和实现方法 |
| CN108337362A (zh) * | 2017-12-26 | 2018-07-27 | 百度在线网络技术（北京）有限公司 | 语音交互方法、装置、设备和存储介质 |
| CN109669358A (zh) * | 2018-11-06 | 2019-04-23 | 闽江学院 | 一种窗帘控制方法及装置 |
| CN110289078A (zh) * | 2019-06-28 | 2019-09-27 | 青岛海尔科技有限公司 | 一种基于智慧家庭操作***的食谱推荐方法及装置 |
| CN111158886A (zh) * | 2019-12-31 | 2020-05-15 | 青岛海尔科技有限公司 | 用于优化操作***任务调度的方法、装置和智能设备 |
-
2020
- 2020-09-01 CN CN202010904880.0A patent/CN112000024B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN112000024A (zh) | 2020-11-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112000024B (zh) | 用于控制家电设备的方法及装置、设备 | |
| CN110119711B (zh) | 一种获取视频数据人物片段的方法、装置及电子设备 | |
| JP5934653B2 (ja) | 画像分類装置、画像分類方法、プログラム、記録媒体、集積回路、モデル作成装置 | |
| US9367756B2 (en) | Selection of representative images | |
| CN110633669B (zh) | 家居环境中基于深度学习的移动端人脸属性识别方法 | |
| US10163227B1 (en) | Image file compression using dummy data for non-salient portions of images | |
| WO2018028583A1 (zh) | 字幕提取方法及装置、存储介质 | |
| CN103069415B (zh) | 用于图像处理的计算机实施的方法、计算机程序产品和计算机*** | |
| US10853407B2 (en) | Correlating image annotations with foreground features | |
| US9002109B2 (en) | Color correction based on multiple images | |
| US9749710B2 (en) | Video analysis system | |
| CN111274442B (zh) | 确定视频标签的方法、服务器及存储介质 | |
| US20090060295A1 (en) | Face-image registration device, face-image registration method, face-image registration program, and recording medium | |
| CN108959462B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| US20220172476A1 (en) | Video similarity detection method, apparatus, and device | |
| CN108154086B (zh) | 一种图像提取方法、装置及电子设备 | |
| CN110941594A (zh) | 一种视频文件的拆分方法、装置、电子设备及存储介质 | |
| JP2005510775A (ja) | コンテンツをカテゴリ化するためのカメラメタデータ | |
| CN110856037A (zh) | 一种视频封面确定方法、装置、电子设备及可读存储介质 | |
| KR20220000758A (ko) | 영상 검출 장치 및 그 동작 방법 | |
| CN112581355A (zh) | 图像处理方法、装置、电子设备和计算机可读介质 | |
| US9866894B2 (en) | Method for annotating an object in a multimedia asset | |
| KR102426089B1 (ko) | 전자 장치 및 전자 장치의 요약 영상 생성 방법 | |
| CN113395584B (zh) | 一种视频数据处理方法、装置、设备以及介质 | |
| KR20150101846A (ko) | 스케치를 기반으로 하는 영상 분류 서비스 시스템, 사용자 장치, 서비스 제공 장치, 그 서비스 방법 및 컴퓨터 프로그램이 기록된 기록매체 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |