CN114302200A - 一种显示设备、及基于用户姿态触发的拍照方法 - Google Patents

Abstract

本申请涉及显示设备技术领域，特别地，涉及一种显示设备、及基于用户姿态触发的拍照方法，一定程度上可以解决电视拍照场景中用户使用遥控器、或语音指令、或手势触发拍照造成拍摄照片总是显示冗余物品、或异常肢体姿态，照片不能满足用户需求的问题。所述显示设备包括：摄像头；显示器；控制器，被配置为：对象处于所述摄像头的所述检测范围时，获取所述图像包含的目标人物；在所述目标人物的当前肢体姿态与所述目标肢体姿态的相似度达到预设阈值时，控制用户界面显示基于所述摆拍图、及目标人物生成的合影图，所述合影图包括所述目标人物与合影对象，所述目标人物在所述合影图中显示为所述目标人物的当前肢体姿态。

Description

一种显示设备、及基于用户姿态触发的拍照方法

技术领域

本申请涉及显示设备技术领域，特别地，涉及一种显示设备、及基于用户姿态触发的拍照方法。

背景技术

电视拍照是指智能电视通过其配置的图像采集器，如摄像头进行拍摄，并将拍摄照片显示于大尺寸、高分辨率、色彩丰富的电视屏幕，电视拍照可以更好的展示照片效果，具有家庭娱乐功能和社交价值。

在一些电视拍照的实现中，电视配置有支持拍照功能的前置摄像头，在拍照时，用户通常需要操作遥控器以控制、触发电视拍照；或需要通过发出语音指令以控制、触发电视拍照；或需要通过固定手势以控制、触发电视拍照。

然而，在使用遥控器触发拍照时，其拍摄照片中将显示遥控器；在使用语音指令触发拍照时，其拍摄照片中用户嘴形会显示异常；在使用手势触发拍照时，其拍摄照片中用户将显示多余肢体姿态。

发明内容

为了解决电视拍照场景中用户使用遥控器、或语音指令、或手势触发拍照造成拍摄照片总是显示冗余物品、或异常肢体姿态，照片不能满足用户需求的问题，本申请提供了一种显示设备、及基于用户姿态触发的拍照方法。

本申请的实施例是这样实现的：

本申请实施例的第一方面提供一种显示设备，包括：摄像头，用于获取其检测范围内的图像；显示器，可显示合影图，以及包括第一对象、合影对象的摆拍图，所述第一对象用于示出用户模仿的目标肢体姿态；控制器，被配置为：当用户处于所述摄像头的所述检测范围时，获取所述图像包含的目标人物；在所述目标人物的当前肢体姿态与所述目标肢体姿态的相似度达到预设阈值时，控制用户界面显示基于所述摆拍图、及目标人物生成的合影图，所述合影图包括所述目标人物与合影对象，所述目标人物在所述合影图中显示为所述目标人物的当前肢体姿态。

本申请实施例的第二方面提供一种基于用户姿态触发的拍照方法，所述方法包括：当用户处于检测范围时，获取摄像头拍摄用户图像中包含的目标人物；在所述目标人物的当前肢体姿态与摆拍图中第一对象的目标肢体姿态的相似度达到预设阈值时，显示基于所述摆拍图、目标人物生成的合影图，所述合影图包括所述目标人物与合影对象，所述目标人物在所述合影图中显示为所述目标人物的当前肢体姿态。

本申请的有益效果：通过构建包含第一对象的摆拍图，可以给用户提供用于模仿的目标肢体姿态；进一步通过获取目标人物，可以获取用户当前肢体姿态及触发自动拍照逻辑；进一步通过获取当前肢体姿态与目标肢体姿态的相似度，可以判定是否触发自动拍照；进一步基于摆拍图、目标人物生成合影图，可以实现自动合影的获取，减少合影图中出现非必要的遥控器、用户嘴形异常、及多余肢体姿态。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1示出了根据一些实施例的显示设备的使用场景；

图2示出了根据一些实施例的控制装置100的硬件配置框图；

图3示出了根据一些实施例的显示设备200的硬件配置框图；

图4示出了根据一些实施例的显示设备200中软件配置图；

图5示出了根据一些实施例的显示设备200中应用程序的图标控件界面显示图；

图6A示出了本申请一实施例显示设备用户界面的示意图；

图6B示出了本申请另一实施例显示设备用户界面的示意图；

图7示出了本申请一实施例摆拍图用户界面的示意图；

图8A示出了本申请一实施例电视实现自动合影用户界面的示意图；

图8B示出了本申请另一实施例电视实现自动合影用户界面的示意图；

图8C示出了本申请另一实施例电视实现自动合影用户界面的示意图；

图8D示出了本申请另一实施例电视实现自动合影用户界面的示意图；

图8E示出了本申请另一实施例电视实现自动合影用户界面的示意图；

图9A示出了本申请一实施例自动合影倒计时用户界面的示意图；

图9B示出了本申请另一实施例自动合影倒计时用户界面的示意图；

图10A示出了本申请另一实施例摆拍图配置用户界面的示意图；

图10B示出了本申请另一实施例摆拍图配置用户界面的示意图；

图11A示出了本申请另一实施例显示设备识别用户肢体的示意图；

图11B示出了本申请另一实施例显示设备识别用户肢体的示意图。

具体实施方式

为使本申请的目的和实施方式更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施方式进行清楚、完整地描述，显然，描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。

需要说明的是，本申请中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本申请的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。

本申请中说明书和权利要求书及上述附图中的术语“第一″、“第二″、“第三″等是用于区别类似或同类的对象或实体，而不必然意味着限定特定的顺序或先后次序，除非另外注明。应该理解这样使用的用语在适当情况下可以互换。

术语“包括″和“具有″以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的所有组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。

术语“模块″是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合，能够执行与该元件相关的功能。

图1为根据实施例中显示设备与控制装置之间操作场景的示意图。如图1所示，用户可通过智能设备300或控制装置100操作显示设备200。

在一些实施例中，控制装置100可以是遥控器，遥控器和显示设备的通信包括红外协议通信或蓝牙协议通信，及其他短距离通信方式，通过无线或有线方式来控制显示设备200。用户可以通过遥控器上按键、语音输入、控制面板输入等输入用户指令，来控制显示设备200。

在一些实施例中，也可以使用智能设备300(如移动终端、平板电脑、计算机、笔记本电脑等)以控制显示设备200。例如，使用在智能设备上运行的应用程序控制显示设备200。

在一些实施例中，显示设备200还可以采用除了控制装置100和智能设备300之外的方式进行控制，例如，可以通过显示设备200设备内部配置的获取语音指令的模块直接接收用户的语音指令控制，也可以通过显示设备200设备外部设置的语音控制设备来接收用户的语音指令控制。

在一些实施例中，显示设备200还与服务器400进行数据通信。可允许显示设备200通过局域网(LAN)、无线局域网(WLAN)和其他网络进行通信连接。服务器400可以向显示设备200提供各种内容和互动。服务器400可以是一个集群，也可以是多个集群，可以包括一类或多类服务器。

图2示例性示出了根据示例性实施例中控制装置100的配置框图。如图2所示，控制装置100包括控制器110、通信接口130、用户输入/输出接口140、存储器、供电电源。控制装置100可接收用户的输入操作指令，且将操作指令转换为显示设备200可识别和响应的指令，起用用户与显示设备200之间交互中介作用。

图3示出了根据示例性实施例中显示设备200的硬件配置框图。

在一些实施例中，显示设备200包括调谐解调器210、通信器220、检测器230、外部装置接口240、控制器250、显示器260、音频输出接口270、存储器、供电电源、用户接口中的至少一种。

在一些实施例中控制器包括处理器，视频处理器，音频处理器，图形处理器，RAM，ROM，用于输入/输出的第一接口至第n接口。

在一些实施例中，显示器260包括用于呈现画面的显示屏组件，以及驱动图像显示的驱动组件，用于接收源自控制器输出的图像信号，进行显示视频内容、图像内容以及菜单操控界面的组件以及用户操控UI界面。

在一些实施例中，显示器260可为液晶显示器、OLED显示器、以及投影显示器，还可以为一种投影装置和投影屏幕。

在一些实施例中，通信器220是用于根据各种通信协议类型与外部设备或服务器进行通信的组件。例如：通信器可以包括Wifi模块，蓝牙模块，有线以太网模块等其他网络通信协议芯片或近场通信协议芯片，以及红外接收器中的至少一种。显示设备200可以通过通信器220与外部控制设备100或服务器400建立控制信号和数据信号的发送和接收。

在一些实施例中，用户接口，可用于接收控制装置100(如：红外遥控器等)的控制信号。

在一些实施例中，检测器230用于采集外部环境或与外部交互的信号。例如，检测器230包括光接收器，用于采集环境光线强度的传感器；或者，检测器230包括图像采集器，如摄像头，可以用于采集外部环境场景、用户的属性或用户交互手势，再或者，检测器230包括声音采集器，如麦克风等，用于接收外部声音。

在一些实施例中，外部装置接口240可以包括但不限于如下：高清多媒体接口接口(HDMI)、模拟或数据高清分量输入接口(分量)、复合视频输入接口(CVBS)、USB输入接口(USB)、RGB端口等任一个或多个接口。也可以是上述多个接口形成的复合性的输入/输出接口。

在一些实施例中，调谐解调器210通过有线或无线接收方式接收广播电视信号，以及从多个无线或有线广播电视信号中解调出音视频信号，如以及EPG数据信号。

在一些实施例中，控制器250和调谐解调器210可以位于不同的分体设备中，即调谐解调器210也可在控制器250所在的主体设备的外置设备中，如外置机顶盒等。

在一些实施例中，控制器250，通过存储在存储器上中各种软件控制程序，来控制显示设备的工作和响应用户的操作。控制器250控制显示设备200的整体操作。例如：响应于接收到用于选择在显示器260上显示UI对象的用户命令，控制器250便可以执行与由用户命令选择的对象有关的操作。

在一些实施例中，所述对象可以是可选对象中的任何一个，例如超链接、图标或其他可操作的控件。与所选择的对象有关操作有：显示连接到超链接页面、文档、图像等操作，或者执行与所述图标相对应程序的操作。

在一些实施例中控制器包括中央处理器(Central Processing Unit，CPU)，视频处理器，音频处理器，图形处理器(Graphics Processing Unit，GPU)，RAM Random AccessMemory，RAM)，ROM(Read-Only Memory，ROM)，用于输入/输出的第一接口至第n接口，通信总线(Bus)等中的至少一种。

CPU处理器。用于执行存储在存储器中操作***和应用程序指令，以及根据接收外部输入的各种交互指令，来执行各种应用程序、数据和内容，以便最终显示和播放各种音视频内容。CPU处理器，可以包括多个处理器。如，包括一个主处理器以及一个或多个子处理器。

在一些实施例中，图形处理器，用于产生各种图形对象，如：图标、操作菜单、以及用户输入指令显示图形等。图形处理器包括运算器，通过接收用户输入各种交互指令进行运算，根据显示属性显示各种对象；还包括渲染器，对基于运算器得到的各种对象，进行渲染，上述渲染后的对象用于显示在显示器上。

在一些实施例中，视频处理器，用于将接收外部视频信号，根据输入信号的标准编解码协议，进行解压缩、解码、缩放、降噪、帧率转换、分辨率转换、图像合成等视频处理，可得到直接可显示设备200上显示或播放的信号。

在一些实施例中，视频处理器，包括解复用模块、视频解码模块、图像合成模块、帧率转换模块、显示格式化模块等。其中，解复用模块，用于对输入音视频数据流进行解复用处理。视频解码模块，用于对解复用后的视频信号进行处理，包括解码和缩放处理等。图像合成模块，如图像合成器，其用于将图形生成器根据用户输入或自身生成的GUI信号，与缩放处理后视频图像进行叠加混合处理，以生成可供显示的图像信号。帧率转换模块，用于对转换输入视频帧率。显示格式化模块，用于将接收帧率转换后视频输出信号，改变信号以符合显示格式的信号，如输出RGB数据信号。

在一些实施例中，音频处理器，用于接收外部的音频信号，根据输入信号的标准编解码协议，进行解压缩和解码，以及降噪、数模转换、和放大处理等处理，得到可以在扬声器中播放的声音信号。

在一些实施例中，用户可在显示器260上显示的图形用户界面(GUI)输入用户命令，则用户输入接口通过图形用户界面(GUI)接收用户输入命令。或者，用户可通过输入特定的声音或手势进行输入用户命令，则用户输入接口通过传感器识别出声音或手势，来接收用户输入命令。

在一些实施例中，“用户界面″，是应用程序或操作***与用户之间进行交互和信息交换的介质接口，它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现形式是图形用户界面(Graphic User Interface，GUI)，是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素，其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素。

在一些实施例中，显示设备的***可以包括内核(Kernel)、命令解析器(shell)、文件***和应用程序。内核、shell和文件***一起组成了基本的操作***结构，它们让用户可以管理文件、运行程序并使用***。上电后，内核启动，激活内核空间，抽象硬件、初始化硬件参数等，运行并维护虚拟内存、调度器、信号及进程间通信(IPC)。内核启动后，再加载Shell和用户应用程序。应用程序在启动后被编译成机器码，形成一个进程。

参见图4，在一些实施例中，将***分为四层，从上至下分别为应用程序(Applications)层(简称″应用层″)，应用程序框架(Application Framework)层(简称″框架层″)，安卓运行时(Android runtime)和***库层(简称″***运行库层″)，以及内核层。

在一些实施例中，应用程序层中运行有至少一个应用程序，这些应用程序可以是操作***自带的窗口(Window)程序、***设置程序或时钟程序等；也可以是第三方开发者所开发的应用程序。在具体实施时，应用程序层中的应用程序包不限于以上举例。

框架层为应用程序提供应用编程接口(application programming interface，API)和编程框架。应用程序框架层包括一些预先定义的函数。应用程序框架层相当于一个处理中心，这个中心决定让应用层中的应用程序做出动作。应用程序通过API接口，可在执行中访问***中的资源和取得***的服务。

如图4所示，本申请实施例中应用程序框架层包括管理器(Managers)，内容提供者(Content Provider)等，其中管理器包括以下模块中的至少一个：活动管理器(ActivityManager)用与和***中正在运行的所有活动进行交互；位置管理器(Location Manager)用于给***服务或应用提供了***位置服务的访问；文件包管理器(Package Manager)用于检索当前安装在设备上的应用程序包相关的各种信息；通知管理器(NotificationManager)用于控制通知消息的显示和清除；窗口管理器(Window Manager)用于管理用户界面上的括图标、窗口、工具栏、壁纸和桌面部件。

在一些实施例中，活动管理器用于管理各个应用程序的生命周期以及通常的导航回退功能，比如控制应用程序的退出、打开、后退等。窗口管理器用于管理所有的窗口程序，比如获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕，控制显示窗口变化(例如将显示窗口缩小显示、抖动显示、扭曲变形显示等)等。

在一些实施例中，***运行库层为上层即框架层提供支撑，当框架层被使用时，安卓操作***会运行***运行库层中包含的C/C++库以实现框架层要实现的功能。

在一些实施例中，内核层是硬件和软件之间的层。如图4所示，内核层至少包含以下驱动中的至少一种：音频驱动、显示驱动、蓝牙驱动、摄像头驱动、WIFI驱动、USB驱动、HDMI驱动、传感器驱动(如指纹传感器，温度传感器，压力传感器等)、以及电源驱动等。

在一些实施例中，显示设备启动后可以直接进入预置的视频点播程序的界面，视频点播程序的界面可以如图5中所示，至少包括导航栏510和位于导航栏510下方的内容显示区，内容显示区中显示的内容会随导航栏中被选中控件的变化而变化。应用程序层中的程序可以被集成在视频点播程序中通过导航栏的一个控件进行展示，也可以在导航栏中的应用控件被选中后进行进一步显示。

在一些实施例中，显示设备启动后可以直接进入上次选择的信号源的显示界面，或者信号源选择界面，其中信号源可以是预置的视频点播程序，还可以是HDMI接口，直播电视接口等中的至少一种，用户选择不同的信号源后，显示器可以显示从不同信号源获得的内容。

本申请实施例可以应用于各种类型的显示设备(包括但不限于：智能电视、液晶电视等设备)。下文将以智能电视实现基于用户姿态触发拍照的控制方案、及用户界面为例，对显示设备、及基于用户姿态触发的拍照方法进行阐述。

图6A示出了本申请一实施例显示设备用户界面的示意图。

本申请提供的显示设备包括用于显示用户界面的显示器，以及控制器。在一些实施例中，应用程序UI界面例如可包括4个已安装于电视的应用程序，分别是新闻头条、影院点播、自动合影、K歌等。通过使用遥控器等控制器在显示屏上移动焦点，可以选择不同的应用程序、或其他功能按钮。

在一些实施例中，用户界面还可以展示交互元素，所述交互元素可包括例如电视主页控件、搜索控件、消息按钮控件、邮箱控件、浏览器控件、收藏夹控件、信号栏控件等，通过使用遥控器等控制器在显示屏上移动焦点，可以选择不同的应用程序、功能按钮。

为提高电视UI的便利性、形象性，在一些实施例中，本申请实施例中显示设备的控制器响应于对所述交互元素的操作而对电视的UI进行控制。例如，用户通过遥控器等控制器对自动合影图标进行点击，可以激活自动合影应用的配置用户界面，并将其UI展示于全局UI的顶部，实现控制交互元素映射的应用组件UI变大、或全屏运行和显示。

在一些实施例中，所述交互元素还可通过传感器进行操作，所述传感器可以是但不限于是声学输入传感器，例如显示设备配置的麦克风，其可检测包括所需交互元素指示的语音命令。例如，用户可使用“启动自动合影″或任意其它合适的标识识别所需交互元素，并且还可描述将执行与所需交互元素相关的所需动作。控制器可识别语音命令并向UI或其处理部件或引擎提交表征交互的数据。

图6B示出了本申请另一实施例显示设备用户界面的示意图。

在一些实施例中，用户可通过遥控器控制显示屏的焦点，选择自动合影图标，使得其图标在电视显示屏的用户界面上高亮度显示；然后通过点击所述高亮度的图标，可实现打开图标映射的自动合影应用配置用户界面。

需要说明的是，本申请实施例中UI界面的图标、及文字仅作为示例对显示设备、及基于用户姿态触发的拍照方法进行阐述，附图中UI界面的图标、及文字还可以实施为其它内容，本申请附图不做具体的限制。

图7示出了本申请一实施例摆拍图用户界面的示意图。

在一些实施例中，智能电视的显示器可显示用户界面，所述用户界面可显示本申请涉及到的摆拍图以及合影图。

摆拍图包括第一对象以及合影对象。例如，其中合影对象可配置为用户喜爱的明星诗人泰戈尔，第一对象用于示出用户模仿的目标肢体姿态，也就是在用户模仿第一对象的肢体姿态达到智能电视的预设条件时，智能电视将合成照片，即本申请提到的合影图，以实现用户和合影对象的合影效果。

可以理解，本申请提供的智能电视可实现在用户模仿第一对象的目标肢体姿态时，拍摄包括用户、以及合影对象的合影图。

例如，摆拍图中合影对象诗人泰戈尔在摆拍图中表现一个爱心手势，与其合影的第一对象同样也摆出了爱心手势，所述第一对象的爱心手势即本申请提及的目标肢体姿态，在电视启动自动合影后，用户在电视前作出与第一对象相似的肢体姿态时，会自动触发电视的拍照功能并生成用户与诗人泰戈尔的合影，其中用户、以及诗人泰格尔在合影图中都保持摆拍图中的肢体姿态，通常所述肢体姿态也称为Pose。

在一些实施例中，图7摆拍图中包含的第一对象在电视用户界面中可显示轮廓图，用户通过模仿轮廓图展现的目标肢体姿态，可以实现与合影对象的合影、并获取合影图。在一些实施例中，用户在摆拍图中学习第一对象的目标肢体姿态时，用户界面轮廓图内部可实时显示电视前用户的即时图像，以更好的让用户模仿、训练第一对象的目标肢体姿态。需要说明的是，在一些实施例中图7摆拍图中包含的第一对象在电视用户界面中可显示为具体的示例人物照片。

需要说明的是，虽然本申请所述的摆拍图包括第一对象、及合影对象，但并不影响将合影对象替换为宠物、动物、植物、建筑物、或其他兴趣对象。

图8A示出了本申请一实施例电视实现自动合影用户界面的示意图。

在一些实施例中，电视配置的摄像头可用于获取其检测范围内的用户图像，即在自动合影功能开启状态下，只要用户进入述摄像头检测范围时，摄像头会自动获取电视前的用户图像。

在一些实施例中，本申请提供的显示设备包括控制器，在用户处于摄像头检测范围时，控制器可对摄像头获取的用户图像进行计算获取其包含的目标人物，所述目标人物即位于电视前、摄像头检测范围内的自动合影用户。

在一些实施例中，控制器获取目标人物的当前肢体姿态，所述即使肢体姿态即电视前用户当前的肢体姿态；当摆拍图中第一对象的目标肢体姿态与所述即使肢体姿态的相似度达到预设阈值时，可以判定用户在模仿摆拍图中的第一对象，即用户当前时刻正在进行自动合影的体验；控制器将控制用户界面显示基于摆拍图、用户图像生成的合影图，将摆拍图中第一对象替换为控制器获取的目标人物已生成合影图，在合影图中目标人物显示用户当前时刻的当前肢体姿态。

需要说明的是，基于摆拍图、目标人物生成合影图，既可以通过将摆拍图中的第一对象替换为目标人物以实现生成合影图，也可以通过将分别包含合影对象、目标人物的多个图层进行合成以生成合影图；前者是通过单独对摆拍图进行处理生成合影图，而后者则通过对多个图像进行处理以生成合影图。

如图8A所示，用户张三体验自动合影功能，用户界面当前时刻显示摆拍图；张三初始肢体姿态为左手举起右手下垂，之后张三变换姿势将右手举起左手下垂，此时可用户界面仍然显示摆拍图，电视并没有实现自动拍照及显示合影图。

可以理解，张三变换姿势后，其肢体姿态与摆拍图中第一对象目标肢体姿态并不相似，电视控制器通过摄像头获取的用户图像得到目标人物、及其当前肢体姿态，并对当前肢体姿态与目标肢体姿态进行比对得到相似度，然后将相似度与预设阈值进行比较以判定用户当前模仿第一对象目标肢体姿态是否达到自动拍照的条件。

在一些实施例中，如图8B所示，用户张三继续变换肢体动作；张三通过通过调整上肢展示爱心手势，此时可用户界面不再显示之前包含第一对象、合影对象的摆拍图，取而代之的是包含张三、合影对象的合影图。

可以理解，张三变换肢体姿态为图8B中的爱心手势后，张三的肢体姿态与摆拍图中第一对象目标肢体姿态相似，电视控制器通过摄像头获取的用户图像得到目标人物张三、及其当前肢体姿态，并对当前肢体姿态与目标肢体姿态进行比对得到相似度，然后将相似度与预设阈值进行比较，例如预设阈值为80％、相似度为85％，控制器将判定用户当前模仿第一对象目标肢体姿态达到电视自动拍照的条件，控制器将控制摄像头获取的用户图像、以及摆拍图进行合成，得到图8B电视用户界面所示的合影图。

可以理解，控制器控制用户界面显示基于摆拍图、用户图像生成的合影图前，用户界面可显示为包含第一对象、合影对象的摆拍图。即实现自动合影的过程中，电视屏幕一直显示摆拍图，用户张三可以更准确的模仿第一对象的目标肢体姿态。

需要说明的是，在一些实施例中，控制器控制用户界面显示基于摆拍图、用户图像生成的合影图前，用户界面可不显示摆拍图。即智能电视用户界面正常播放电视、或进行***配置操作，如主从信号源配置用户界面，如图8C所示；只要电视的自动合影功能已开启，用户张三进入摄像头检测区域且张三的当前肢体姿态与第一对象目标肢体姿态相似度达到预设阈值，电视控制器将在后台生成上述合影图，并将所述合影图显示于用户界面中。

在一些实施例中，在用户的当前肢体姿态与所述目标肢体姿态的相似度达到第二预设阈值时，控制器将控制用户界面显示辅助虚线直至获取合影图，所述辅助虚线用于提示用户摆出对应的目标肢体姿态。其中，所述辅助虚线不会显示于最终获取的合影图中。

用户人物对象进入摄像头检测范围进行拍摄图像，当用户的当前肢体姿态接近摆拍图中第一对象的肢体姿态时，电视屏幕中会显示姿态轮廓辅助虚线，用于协助用户人物摆出对应姿态，当满足合影触发条件倒计时拍照时，所述辅助虚线消失，此姿态虚线不会被拍入合影中。

例如，在当前肢体姿态与目标肢体姿态的相似度达到40％时，控制器将控制用户界面显示辅助虚线，所述辅助虚线具体实施为虚线的第一对象，控制器控制辅助虚线覆盖显示于用户界面的最上层。如在***配置界面时，控制器可控制辅助虚线覆盖显示于***配置界面的上层，如图8D所示。

用户通过上述辅助虚线的提示，调整其肢体姿态，在当前肢体姿态与目标肢体姿态的相似度达到80％时，控制器将控制用户界面显示提示信息，例如可显示为姿态识别成功，并控制用户界面获取此时用户图像以合成合影图，其用户界面如图8E所示。

需要说明的是，在相似度达到预设阈值时，控制器可自动获取用户图像生成合影图；在一些实施例中，在相似度达到预设阈值时，电视还可以被配置为通过检测语音指令、或肢体指令进行即时拍照获取用户图像以生成合影图。在一些实施例中，控制器还可以控制用户界面显示拍照、场景、道具、魔力秀等操作按键，以使得用户通过遥控器进行合影图获取的手动控制。

图9A示出了本申请一实施例自动合影倒计时用户界面的示意图。

在一些实施例中，用户张三进行摄像头检测区域后，电视控制器在判定获取的相似度达到预设阈值时，控制器将控制用户界面显示倒计时值，所述倒计时可以提示用户摄像头将在当即使结束时拍照、合成合影图。

例如，倒计时共计3秒，用户界面由最初显示2秒、变换为1秒、最终变换为0秒；并在达到0秒后，控制器控制智能电视的摄像头获取包含目标人物张三的用户图像；然后基于摆拍图、用户图像，通过图像算法生成包含用户张三、以及合影对象诗人泰戈尔的合影图，并将合影图显示于用户界面。

在一些实施例中，控制器基于摆拍图、用户图像生成合影图可通过以下方法实现。控制器可以将摆拍图中的合影对象单独复制、或绘制于一个独立的图层，将用于替换摆拍图第一对象的用户图像目标人物绘制于另外一个独立图层，通过配置所述两个独立图层的透明对，可以使用覆盖显示的方法实现合影图的生成。

例如，控制器在获取来自摄像头的用户图像后，在第一图层对应于第一对象的位置绘制用户图像包含的目标人物，此时绘制的目标任务其肢体姿态与目标肢体姿态的相似度已达到预设阈值；然后控制器在第二图层对应于合影对象的位置绘制合影对象，所述合影对象仍然显示为摆拍图中的合影对象肢体姿态；然后控制器控制第二图层在用户界面中以纹理混合的方式覆盖显示于第一图层上方，以生成合影图。

在一些实施例中，电视控制器在判定获取的相似度达到预设阈值后，控制器将控制用户界面显示高亮度的倒计时值，所述用户界面还可以提示显示开始倒计时3秒将自动拍照，以提示用户保持当前姿态，如图9B所示。

图10A示出了本申请另一实施例摆拍图配置用户界面的示意图。

在一些实施例中，仍然以张三操作智能电视配置摆拍图为例，张三启动自动合影应用的配置用户界面后，通过电视重新获取用户肢体姿态，控制器可以将图10A中的第一对象进行替换，以实现与合影对象合影的不同肢体姿态体现。

例如，用户张三最初肢体姿态为左手举起右手下垂，然后张三将肢体姿态改变为右手举起左手下垂，通过遥控器进行确定操作，控制器将获取摄像头拍摄用户图像以获取此时可用户张三的肢体姿态，即新摆拍图中第二对象的目标肢体姿态，如图10B所示。在控制器将已获取的第二对象形式于用户界面中时，用户张三可以通过使用遥控器移动第二对象的位置，通过确定与合影对象的合适相对位置；在第二对象的位置确定后，控制器将控制用户界面不再显示第一对象，从而获取到最终的不同效果的新摆拍图。、

比较图10B与图10A，可以发现图10B的新摆拍图中第二对象位于合影对象的右侧；而在图10A原有摆拍图中的第一对象位于合影对象的左侧。

图11A示出了本申请另一实施例显示设备识别用户肢体的示意图。

在一些实施例中，智能电视控制器可基于用户图像获取其包含目标人物的即时肢体定位点，即时肢体定位点对应于目标人物的当前肢体姿态，即电视前用户的当前肢体姿态。

例如，在电视开启自动合影、即有关的肢体检测功能后，控制器通过从摄像头预览的FrameBuffer中抓取预览图像，然后将所述预览图像发送至肢体检测应用中，通过图像处理可以获取返回肢体定位点关键信息，根据不同的精度、运算速率要求，控制器获取的用户即时肢体定位点可以为18个、或9个、或配置为其他需要的数量。

在一些实施例中，控制器通过切合度匹配方式获取即时肢体定位点与摆拍图中第一对象目标肢体定位点的相似度，然后判定所述相似度与预设阈值的关系，以确定是否达到拍照条件。

例如，控制器根据用户图像检测的肢体信息与摆拍图中已有第一对象示意图的姿态信息进行切合度匹配；切合度通过判断图像检测识别出的肢体关键点与预知肢体关键点的误差值，如果误差值小于一定范围，则认为切合；当预览中人物摆拍姿势与示意图片中人物动作相似度超过80％，则触发自动拍照。

在一些实施例中，控制器将摄像头采集图像中目标用户的左臂肘部标识为第一定位点、右臂肘部标识为第二定位点，其他关节标识为第三定位点，所述第三定位点位于左手、和/或左肩、和/或脖子、和/或右肩、和/或右手、和/或左腰、和/或右腰。

例如，将用户的左手标识为点1、左臂肘部标识为点2、左肩标识为点3、脖子标识为点4、右肩标识为点5、右臂肘部标识为点6、右手标识为点7、左腰标识为点8、右腰标识为点9，如图11B所示。

其中，第一定位点实施为点2、第二定位点实施为点6，第三定位点可实施为剩余点中的一个、或多个的组合。控制器在采集图像中识别上述多个点、跟踪所述多个点、根据所述多个点，例如根据9个点获取当前用户的即时肢体定位点。

在一些实施例中，控制器对从摄像头接收到的采集图像，每隔预设帧数(例如：每隔90帧)从采集视频中抽取一单帧图像。应用图像识别技术中的人体检测算法(例如：卷积姿态机器Convolutional Pose Machine，检测出人体的各个关节点，再将这些关节点组成的范围确定为该人体的人体框)，对该单帧图像进行人体检测，通过多个点的位置变化确定目标用户的运动方向，确定目标用户的上身躯干是否处完全于采集区域、且所述目标用户是否正在离开所述采集区域。

在一些实施例中，按照预定连线规则(例如：将左肩与右肩连线，再将右肩与右臂肘部连线，再将右臂肘部与右手连线......)，将采集视频中的用户的各个上身躯干特征点顺序连接起来，从而得到该用户的上身边缘图。同理，得到各家庭成员的上身边缘图。

对某个家庭成员的用户图像，通过连线的角度，来确定该用户的上身边缘图各连线与第一对象目标肢体定位点的相似度。例如：对家庭成员A，用户的上身边缘图中由左手、左壁肘部、左肩连成的线的角度为27度。目标用户的上身边缘图中由左手、左壁肘部、左肩连成的线的角度为30度。则目标用户的上身边缘图的该连线、与家庭成员A的上身边缘图的该连线的相似度为1-(|27-30|/30)＝0.9。

在一些实施例中，电视控制器还可以通过检测用户图像中目标人物的肢体轮廓，通过肢体轮廓位置与摆拍图中预置位置异或计算相差的像素点占比进行判定，如果占比小于一定值如20％，也可以触发倒计时拍照。

基于上文中显示设备实现用户姿态触发拍照的技术方案及相关附图的介绍，本申请还提供了一种基于用户姿态触发的拍照方法，所述方法包括：用户处于检测范围时，获取摄像头拍摄用户图像中包含的目标人物；在所述目标人物的当前肢体姿态与摆拍图中第一对象的目标肢体姿态的相似度达到预设阈值时，显示基于所述摆拍图、用户图像生成的合影图；其中，所述合影图为将所述第一对象替换为所述目标人物的所述摆拍图，所述摆拍图还包括合影对象，所述目标人物在所述合影图中显示为所述当前肢体姿态，所述第一对象用于示出用户模仿的目标肢体姿态。所述方法在显示设备实现用户姿态触发拍照的技术方案中已进行详细阐述，在此不再赘述。

在一些实施例中，在目标人物的当前肢体姿态与目标肢体姿态的相似度达到预设阈值时，显示基于所述摆拍图、用户图像生成的合影图，具体包括：在所述相似度达到预设阈值时，显示用于所述摄像头拍照的倒计时值；在所述倒计时值归零时，控制所述摄像头获取包含所述目标人物的用户图像；显示基于所述摆拍图、用户图像生成的合影图。所述方法在显示设备实现用户姿态触发拍照的技术方案中已进行详细阐述，在此不再赘述。

在一些实施例中，显示基于所述摆拍图、用户图像生成的合影图，具体包括：在第一图层对应于所述第一对象的位置绘制所述目标人物；在第二图层对应于所述合影对象的位置绘制所述合影对象；控制所述第二图层以纹理混合的方式覆盖显示于所述第一图层以生成合影图。所述方法在显示设备实现用户姿态触发拍照的技术方案中已进行详细阐述，在此不再赘述。

在一些实施例中，判定目标人物的当前肢体姿态与目标肢体姿态的相似度达到预设阈值，具体包括：基于所述用户图像中的目标人物获取其即时肢体定位点，所述即时肢体定位点对应于所述目标人物的当前肢体姿态；通过切合度匹配方式获取所述即时肢体定位点与所述摆拍图中第一对象目标肢体定位点的相似度，并比较所述相似度与预设阈值以判定是否达到。所述方法在显示设备实现用户姿态触发拍照的技术方案中已进行详细阐述，在此不再赘述。

在一些实施例中，所述摆拍图包含的所述第一对象显示为：示出目标肢体姿态的人物照片、或人物轮廓图。所述方法在显示设备实现用户姿态触发拍照的技术方案中已进行详细阐述，在此不再赘述。

在一些实施例中，显示基于所述摆拍图、用户图像生成的合影图前，所述方法还包括：显示包含所述第一对象、合影对象的摆拍图；或不显示包含所述第一对象、合影对象的摆拍图。所述方法在显示设备实现用户姿态触发拍照的技术方案中已进行详细阐述，在此不再赘述。

在一些实施例中，所述方法还包括：获取摄像头拍摄用户图像中用于用户模仿目标肢体姿态的第二对象；控制所述第二对象在摆拍图中移动，确定所述第二对象的位置以生成新摆拍图；不再显示所述第一对象。所述方法在显示设备实现用户姿态触发拍照的技术方案中已进行详细阐述，在此不再赘述。

本申请实施例的有益效果在于，通过构建包含第一对象的摆拍图，可以给用户提供用于模仿的目标肢体姿态；进一步通过获取目标人物，可以获取用户当前肢体姿态及触发自动拍照逻辑；进一步通过获取当前肢体姿态与目标肢体姿态的相似度，可以判定是否触发自动拍照；进一步基于摆拍图、目标人物生成合影图，可以实现自动合影的获取，减少合影图中出现非必要的遥控器、用户嘴形异常、及多余肢体姿态。

此外，本领域技术人员可以理解，本申请的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们的任何新的和有用的改进。相应地，本申请的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块″、“控制器″、″引擎″、“单元″、“组件″或″***″。此外，本申请的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。

计算机存储介质可能包含一个内合有计算机程序编码的传播数据信号，例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式，包括电磁形式、光形式等，或合适的组合形式。计算机存储介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行***、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机存储介质上的程序编码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、RF、或类似介质，或任何上述介质的组合。

本申请各部分操作所需的计算机程序编码可以用任意一种或多种程序语言编写，包括面向对象编程语言如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等，常规程序化编程语言如C语言、Visual Basic、Fortran 2003、Perl、COBOL 2002、PHP、ABAP，动态编程语言如Python、Ruby和Groovy，或其他编程语言等。该程序编码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或服务器上运行。在后种情况下，远程计算机可以通过任何网络形式与用户计算机连接，比如局域网(LAN)或广域网(WAN)、或连接至外部计算机(例如通过因特网)、或在云计算环境中、或作为服务使用如软件即服务(SaaS)。

此外，除非权利要求中明确说明，本申请所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本申请流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本申请实施例实质和范围的修正和等价组合。例如，虽然以上所描述的***组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的服务器或移动设备上安装所描述的***。

同理，应当注意的是，为了简化本申请披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本申请实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本申请对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。

针对本申请引用的每个专利、专利申请、专利申请公开物和其他材料，如文章、书籍、说明书、出版物、文档等，特此将其全部内容并入本申请作为参考。与本申请内容不一致或产生冲突的申请历史文件除外，对本申请权利要求最广范围有限制的文件(当前或之后附加于本申请中的)也除外。需要说明的是，如果本申请附属材料中的描述、定义、和/或术语的使用与本申请所述内容有不一致或冲突的地方，以本申请的描述、定义和/或术语的使用为准。

Claims (15)

1.一种显示设备，其特征在于，包括：

摄像头，用于获取其检测范围内的图像；

显示器，可显示合影图，以及包括第一对象、合影对象的摆拍图，所述第一对象用于示出用户模仿的目标肢体姿态；

控制器，被配置为：

当用户处于所述摄像头的所述检测范围时，获取所述图像包含的目标人物；

在所述目标人物的当前肢体姿态与所述目标肢体姿态的相似度达到预设阈值时，控制用户界面显示基于所述摆拍图、及目标人物生成的合影图，所述合影图包括所述目标人物与合影对象，所述目标人物在所述合影图中显示为所述目标人物的当前肢体姿态。

2.如权利要求1所述显示设备，其特征在于，所述控制器在目标人物的当前肢体姿态与目标肢体姿态的相似度达到预设阈值时，控制用户界面显示基于所述摆拍图、目标人物生成的合影图，具体包括所述控制器：

在所述相似度达到预设阈值时，控制用户界面显示用于摄像头拍照的倒计时值；

在所述倒计时值归零时，控制所述摄像头获取包含所述目标人物的图像；

控制用户界面显示基于所述摆拍图、目标人物生成的合影图。

3.如权利要求1所述显示设备，其特征在于，所述控制器控制用户界面显示基于所述摆拍图、目标人物生成的合影图，具体包括所述控制器：

在第一图层对应于所述第一对象的位置绘制所述目标人物；

在第二图层对应于所述合影对象的位置绘制所述合影对象；

控制所述第二图层在所述用户界面中以纹理混合的方式覆盖显示于所述第一图层以生成合影图。

4.如权利要求1所述显示设备，其特征在于，所述控制器判定目标人物的当前肢体姿态与目标肢体姿态的相似度达到预设阈值，具体包括所述控制器：

基于所述图像获取其包含目标人物的即时肢体定位点，所述即时肢体定位点对应于所述目标人物的当前肢体姿态；

通过切合度匹配方式获取所述即时肢体定位点与所述第一对象目标肢体定位点的相似度，并比较所述相似度与预设阈值以判定是否达到。

5.如权利要求1所述显示设备，其特征在于，所述摆拍图包含的所述第一对象在所述用户界面中显示为：

示出目标肢体姿态的人物照片、或人物轮廓图。

6.如权利要求5所述显示设备，其特征在于，所述控制器控制用户界面显示基于所述摆拍图、目标人物生成的合影图前，所述控制器还被配配置为：

控制所述用户界面显示包含所述第一对象、合影对象的摆拍图；或

控制所述用户界面不显示包含所述第一对象、合影对象的摆拍图。

7.如权利要求1所述显示设备，其特征在于，所述显示器可显示包括第一对象、合影对象的摆拍图，所述控制器还被配置为：

获取所述摄像头拍摄用户图像中用于用户模仿目标肢体姿态的第二对象；

控制所述第二对象在所述摆拍图中移动，确定所述第二对象的位置以生成新摆拍图；

不再显示所述第一对象。

8.如权利要求1所述显示设备，其特征在于，在控制器控制用户界面显示基于所述摆拍图、目标人物生成的合影图之前，所述控制器还被配置为：

控制用户界面在获取合影图之前一直显示用于提示用户摆出对应目标肢体姿态的辅助虚线；其中，所述辅助虚线不显示于合影图。

9.一种基于用户姿态触发的拍照方法，其特征在于，所述方法包括：

当用户处于检测范围时，获取摄像头拍摄用户图像中包含的目标人物；

在所述目标人物的当前肢体姿态与摆拍图中第一对象的目标肢体姿态的相似度达到预设阈值时，显示基于所述摆拍图、目标人物生成的合影图，所述合影图包括所述目标人物与合影对象，所述目标人物在所述合影图中显示为所述目标人物的当前肢体姿态。

10.如权利要求9所述基于用户姿态触发的拍照方法，其特征在于，在目标人物的当前肢体姿态与目标肢体姿态的相似度达到预设阈值时，显示基于所述摆拍图、目标人物生成的合影图，具体包括：

在所述相似度达到预设阈值时，显示用于所述摄像头拍照的倒计时值；

在所述倒计时值归零时，控制所述摄像头获取包含所述目标人物的图像；

显示基于所述摆拍图、目标人物生成的合影图。

11.如权利要求9所述基于用户姿态触发的拍照方法，其特征在于，显示基于所述摆拍图、目标人物生成的合影图，具体包括：

在第一图层对应于所述第一对象的位置绘制所述目标人物；

在第二图层对应于所述合影对象的位置绘制所述合影对象；

控制所述第二图层以纹理混合的方式覆盖显示于所述第一图层以生成合影图。

12.如权利要求9所基于用户姿态触发的拍照方法，其特征在于，判定目标人物的当前肢体姿态与目标肢体姿态的相似度达到预设阈值，具体包括：

基于所述图像中的目标人物获取其即时肢体定位点，所述即时肢体定位点对应于所述目标人物的当前肢体姿态；

通过切合度匹配方式获取所述即时肢体定位点与所述摆拍图中第一对象目标肢体定位点的相似度，并比较所述相似度与预设阈值以判定是否达到。

13.如权利要求9所述基于用户姿态触发的拍照方法，其特征在于，所述摆拍图包含的所述第一对象显示为：

示出目标肢体姿态的人物照片、或人物轮廓图。

14.如权利要求13所述基于用户姿态触发的拍照方法，其特征在于，显示基于所述摆拍图、目标人物生成的合影图前，所述方法还包括：

显示包含所述第一对象、合影对象的摆拍图；或

不显示包含所述第一对象、合影对象的摆拍图。

15.如权利要求9所述基于用户姿态触发的拍照方法，其特征在于，所述方法还包括：

获取摄像头拍摄图像中用于用户模仿目标肢体姿态的第二对象；

控制所述第二对象在摆拍图中移动，确定所述第二对象的位置以生成新摆拍图；

不再显示所述第一对象。

Images