CN117435058B - 一种智慧展厅的交互控制方法和*** - Google Patents
一种智慧展厅的交互控制方法和*** Download PDFInfo
- Publication number
- CN117435058B CN117435058B CN202311769611.8A CN202311769611A CN117435058B CN 117435058 B CN117435058 B CN 117435058B CN 202311769611 A CN202311769611 A CN 202311769611A CN 117435058 B CN117435058 B CN 117435058B
- Authority
- CN
- China
- Prior art keywords
- image
- users
- area
- user
- exhibition hall
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 34
- 230000003993 interaction Effects 0.000 claims abstract description 45
- 230000006399 behavior Effects 0.000 claims abstract description 27
- 238000013528 artificial neural network Methods 0.000 claims description 15
- 238000000354 decomposition reaction Methods 0.000 claims description 8
- 238000005286 illumination Methods 0.000 claims description 7
- 238000012937 correction Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 5
- 238000012549 training Methods 0.000 claims description 3
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 210000003128 head Anatomy 0.000 description 12
- 230000008901 benefit Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 210000000887 face Anatomy 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请涉及人工智能领域，公开了一种智慧展厅的交互控制方法和***，该方法包括：在多个用户位于展厅中的屏幕前方时，通过第一摄像头按照从上向下的方向拍摄第一图像；从第一图像中识别出多个用户，根据多个用户的眼睛注视的方向在第一图像中绘制多个用户的视线；将第一图像划分为多个区域；从多个区域中选择经过视线数量最多的区域作为目标区域，将位于目标区域内的用户作为目标用户；通过第二摄像头按照从屏幕的后方至前方的方向拍摄第二图像；从第二图像中识别出目标用户；采集目标用户的行为；分析目标用户的交互控制指令，控制屏幕显示对应的内容。本发明创新性地使用了两个摄像头来从多个用户中识别出需要与智慧展厅进行交互控制的用户。
Description
技术领域
本发明涉及人工智能领域，且更为具体地，涉及一种智慧展厅的交互控制方法和***。
背景技术
随着科技的飞速发展，在信息时代的背景下互联网技术的飞速发展，作为传统文化载体的实体展厅受到了冲击，智慧展厅的概念逐渐深入人心。智慧展厅的优势在于其展示屏幕可以实现与用户之间的交互控制，以生动、互动的形式展示展厅内容，带来不同的互动效果。
现有技术中的智慧展厅交互控制方案的缺陷在于，当同时有多个用户位于展厅屏幕前方时，难以识别出多个用户中的哪个用户为正确的交互控制对象，容易产生交互控制混乱、屏幕展示内容错误的情况。因此，需要一种新的应用于智慧展厅交互控制的技术方案，能够准确地识别出需要与智慧展厅进行交互控制的用户，从而通过屏幕展示正确的交互内容。
发明内容
为了解决上述技术问题，提出了本申请，以提供一种能够准确地识别出需要与智慧展厅进行交互控制的用户，从而通过屏幕展示正确的交互内容的智慧展厅的交互控制方法和***。
第一方面，本发明提供了一种智慧展厅的交互控制方法，包括：在多个用户位于展厅中的屏幕前方时，通过安装在所述展厅上方的第一摄像头，按照从上向下的方向拍摄第一图像，所述第一图像的拍摄内容中包含所述多个用户；从所述第一图像中识别出所述多个用户，检测所述多个用户的眼睛注视的方向，根据所述多个用户的眼睛注视的方向在所述第一图像中绘制所述多个用户的视线；将所述第一图像划分为多个区域；统计所述多个区域中的每个区域中经过的视线的数量，从所述多个区域中选择经过视线数量最多的区域作为目标区域，将位于所述目标区域内的用户作为目标用户；通过安装在所述展厅中的所述屏幕处的第二摄像头，按照从所述屏幕的后方至前方的方向拍摄第二图像，所述第二图像的拍摄内容中包含所述多个用户；从所述第二图像中识别出所述多个用户，以及从所述多个用户中识别出所述目标用户；通过所述第二摄像头采集所述目标用户的行为；基于所述目标用户的行为分析所述目标用户的交互控制指令，基于所述目标用户的交互控制指令，控制所述屏幕显示对应的内容。
可选地，前述的智慧展厅的交互控制方法，“通过安装在所述展厅上方的第一摄像
头，按从上向下的方向拍摄第一图像”还包括：获取所述第一摄像头拍摄的历史图像；识别
所述历史图像中的每个像素的亮度，并计算所述历史图像中的所有像素的亮度的第一平均
值；识别所述第一图像中的每个像素的亮度，并计算所述第一图像中的所有像素的亮度
的第二平均值；对所述第一图像中的每个像素的亮度进行修正，其中，所述第一图像中第
i个像素的亮度，为所述第一图像中第i个像素修正后的亮度，
为所述第一图像中第i个像素未修正的亮度。
可选地，前述的智慧展厅的交互控制方法，“获取所述第一摄像头拍摄的历史图像”包括：在所述第一摄像头拍摄的所述历史图像为多张时，为多张历史图像中的每张历史图像设置标签，用于表示所述多张历史图像中的拍摄内容；通过预设的图像识别模型对所述多张历史图像的拍摄内容进行识别；从所述多张历史图像中，删除所述图像识别模型识别的拍摄内容与携带标签表示的拍摄内容不一致的历史图像。
可选地，前述的智慧展厅的交互控制方法，“对所述第一图像中的每个像素的亮度进行修正”还包括：将所述第一图像输入经过训练的神经网络，通过所述神经网络对所述第一图像的像素的亮度值进行修正，其中，所述神经网络基于预设的样本图像进行训练，所述神经网络训练时的损失函数为：
，
其中，为预设的权重系数，表示修正前的所述样本图像分解后得到的反射图
的梯度，表示修正前的所述样本图像分解后得到的光照图的梯度，表示修正后的所
述样本图像分解后得到的反射图的梯度，表示修正后的所述样本图像分解后得到的光
照图的梯度。
可选地，前述的智慧展厅的交互控制方法，“将所述第一图像划分为多个区域”包括：检测所述第一图像中所述多个用户中每个用户占用的尺寸；根据所述多个用户占用尺寸中的最大尺寸，设置对所述第一图像进行划分的基准尺寸；按照所述基准尺寸将所述第一图像划分为多个区域。
可选地，前述的智慧展厅的交互控制方法，在“从所述多个区域中选择经过视线数量最多的区域作为目标区域”之前，还包括：判断所述经过视线数量最多的区域中的视线数量是否超过预设值；在所述经过视线数量最多的区域中的视线数量未超过所述预设值时，对所述基准尺寸进行增加，返回“将所述第一图像划分为多个区域”；在所述经过视线数量最多的区域中的视线数量超过所述预设值时，进入“从所述多个区域中选择经过视线数量最多的区域作为目标区域”。
可选地，前述的智慧展厅的交互控制方法，在“从所述多个区域中选择经过视线数量最多的区域作为目标区域”之前，还包括：在所述经过视线数量最多的区域为多个时，识别多个所述经过视线数量最多的区域中的用户的身份；判断识别出的用户的身份是否位于预设的身份记录中；将其身份是否位于预设的身份记录中的用户所在的区域，作为所述目标区域。
可选地，前述的智慧展厅的交互控制方法，“检测所述多个用户的眼睛注视的方向”包括：检测所述第一图像中所述多个用户的头部朝向的方向；根据所述多个用户的头部朝向的方向，确定所述多个用户的眼睛注视的方向。
第一方面，本发明提供了一种智慧展厅的交互控制***，包括：第一拍摄模块，在多个用户位于展厅中的屏幕前方时，通过安装在所述展厅上方的第一摄像头，按照从上向下的方向拍摄第一图像，所述第一图像的拍摄内容中包含所述多个用户；视线绘制模块，从所述第一图像中识别出所述多个用户，检测所述多个用户的眼睛注视的方向，根据所述多个用户的眼睛注视的方向在所述第一图像中绘制所述多个用户的视线；区域划分模块，将所述第一图像划分为多个区域；用户选择模块，统计所述多个区域中的每个区域中经过的视线的数量，从所述多个区域中选择经过视线数量最多的区域作为目标区域，将位于所述目标区域内的用户作为目标用户；第二拍摄模块，通过安装在所述展厅中的所述屏幕处的第二摄像头，按照从所述屏幕的后方至前方的方向拍摄第二图像，所述第二图像的拍摄内容中包含所述多个用户；用户识别模块，从所述第二图像中识别出所述多个用户，以及从所述多个用户中识别出所述目标用户；行为采集模块，通过所述第二摄像头采集所述目标用户的行为；交互控制模块，基于所述目标用户的行为分析所述目标用户的交互控制指令，基于所述目标用户的交互控制指令，控制所述屏幕显示对应的内容。
本发明上述一个或多个技术方案，至少具有如下一种或多种有益效果：
本发明的技术方案，相比于现有的技术方案，创新性地使用了两个摄像头来从多个用户中识别出需要与智慧展厅进行交互控制的用户，首先使用第一摄像头从上向下拍摄得到第一图像，从第一图像中识别出多个用户的视线，进而检测出视线经过最多的区域，本领域技术人员容易理解，当某一区域经过的视线最多时，说明多数用户的眼睛注视该区域，也即关注着该区域内的用户，而最受关注的用户往往是当前需要通过交互行为控制展厅屏幕向其他用户展示的目标用户，此时再通过第二摄像头按照从屏幕后方向前方的方向拍摄第二图像，从第二图像中的多个用户识别出目标用户，并基于目标用户的交互行为实施交互控制，从而通过屏幕展示正确的交互内容。
附图说明
通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1为根据本申请实施例的一种智慧展厅的交互控制方法的流程图；
图2为根据本申请实施例的一种智慧展厅的交互控制方法的局部流程图；
图3为根据本申请实施例的一种智慧展厅的交互控制方法的另一局部流程图；
图4为根据本申请实施例的一种智慧展厅的交互控制方法的又一局部流程图；
图5为根据本申请实施例的一种智慧展厅的交互控制方法的局部原理图；
图6为根据本申请实施例的一种智慧展厅的交互控制方法的另一局部原理图；
图7为根据本申请实施例的一种智慧展厅的交互控制***的框图。
具体实施方式
下面参照附图来描述本发明的一些实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
如图1所示，本发明的一个实施例中提供了一种智慧展厅的交互控制方法，包括：
步骤S110，在多个用户位于展厅中的屏幕前方时，通过安装在展厅上方的第一摄像头，按照从上向下的方向拍摄第一图像，第一图像的拍摄内容中包含多个用户。
本实施例中，屏幕用于展示与用户进行交互的内容，第一摄像头可安装在展厅的天花板上，以俯视的角度拍摄第一图像。
步骤S120，从第一图像中识别出多个用户，检测多个用户的眼睛注视的方向，根据多个用户的眼睛注视的方向在第一图像中绘制多个用户的视线。
本实施例中，由于第一图像实际上为俯视图，则通过俯视图可以识别用户的眼睛注视的方向，以用户的眼睛为起点开始绘制用户的视线。
具体地，可以首先检测第一图像中多个用户的头部朝向的方向，然后根据多个用户的头部朝向的方向，确定多个用户的眼睛注视的方向。
本实施例中，由于第一图像为俯视图，从俯视图上难以直接识别出用户的眼睛，但是容易识别出用户的头部，并明确用户头部朝向的方向，本领域技术人员容易理解，用户头部朝向的方向与用户眼睛注视的方向基本一致，因此根据本实施例容易确定用户眼睛注视的方向。
步骤S130，将第一图像划分为多个区域。
步骤S140，统计多个区域中的每个区域中经过的视线的数量，从多个区域中选择经过视线数量最多的区域作为目标区域，将位于目标区域内的用户作为目标用户。
本实施例中，本领域技术人员容易理解，当某一区域经过的视线最多时，说明多数用户的眼睛注视该区域，也即关注着该区域内的用户，最受关注的用户即为当前需要通过交互行为控制展厅屏幕、向其他用户展示交互内容的目标用户。
步骤S150，通过安装在展厅中的屏幕处的第二摄像头，按照从屏幕的后方至前方的方向拍摄第二图像，第二图像的拍摄内容中包含多个用户。
本实施例中，通过第二摄像头按照从屏幕后方向前方的方向拍摄第二图像，容易捕捉用户的动作行为。
步骤S160，从第二图像中识别出多个用户，以及从多个用户中识别出目标用户。
步骤S170，通过第二摄像头采集目标用户的行为。
本实施例中，由于已经确定了目标用户，所以只捕捉目标用户的行为，其他用户的行为无法对展厅交互控制过程产生干扰。
步骤S180，基于目标用户的行为分析目标用户的交互控制指令，基于目标用户的交互控制指令，控制屏幕显示对应的内容。
本实施例中，用户的特定行为表示特定的交互控制指令，根据交互控制指令相应地控制屏幕显示内容。
根据本实施例的技术方案，创新性地使用了两个摄像头来从多个用户中识别出需要与智慧展厅进行交互控制的用户，首先使用第一摄像头从上向下拍摄得到第一图像，从第一图像中识别出多个用户的视线，进而检测出视线经过最多的区域，本领域技术人员容易理解，当某一区域经过的视线最多时，说明多数用户的眼睛注视该区域，也即关注着该区域内的用户，而最受关注的用户往往是当前需要通过交互行为控制展厅屏幕向其他用户展示的目标用户，此时再通过第二摄像头按照从屏幕后方向前方的方向拍摄第二图像，从第二图像中的多个用户识别出目标用户，并基于目标用户的交互行为实施交互控制，从而通过屏幕展示正确的交互内容。
如图2所示，本发明的一个实施例中提供了一种智慧展厅的交互控制方法，相比于前述的实施例，本实施例的智慧展厅的交互控制方法，步骤S110还包括：
步骤S210，获取第一摄像头拍摄的历史图像。
步骤S220，识别历史图像中的每个像素的亮度，并计算历史图像中的所有像素的
亮度的第一平均值。
步骤S230，识别第一图像中的每个像素的亮度，并计算第一图像中的所有像素的
亮度的第二平均值。
步骤S240，对第一图像中的每个像素的亮度进行修正，其中，第一图像中第i个像
素的亮度，为第一图像中第i个像素修正后的亮度，为第一图像
中第i个像素未修正的亮度。
本实施例中，由于通过俯视方向拍摄的光照环境复杂，拍摄得到的第一图像受环境干扰较多，因此在第一图像进行分析识别之前，需要对其进行图像增强处理，首先需要获取第一摄像头拍摄的历史图像，尤其是拍摄效果较好的历史图像，根据历史图像的像素亮度值计算对第一图像的像素进行亮度值补正。
步骤S250，将第一图像输入经过训练的神经网络，通过神经网络对第一图像的像素的亮度值进行修正，其中，神经网络基于预设的样本图像进行训练，神经网络训练时的损失函数为：
，
其中，为预设的权重系数，表示修正前的样本图像分解后得到的反射图的梯
度，表示修正前的样本图像分解后得到的光照图的梯度，表示修正后的样本图像分
解后得到的反射图的梯度，表示修正后的样本图像分解后得到的光照图的梯度。
本实施例中，使用神经网络进行图像增强、修正像素亮度值的方式较为常见，与现有技术不同的是，本实施例中神经网络所使用的损失函数，能够使训练后的神经网络在进行图像增强时，能够更清晰地展示图像中事务的边缘。
如图3所示，本发明的一个实施例中提供了一种智慧展厅的交互控制方法，相比于前述的实施例，本实施例的智慧展厅的交互控制方法，步骤S210包括：
步骤S310，在第一摄像头拍摄的历史图像为多张时，为多张历史图像中的每张历史图像设置标签，用于表示多张历史图像中的拍摄内容。
步骤S320，通过预设的图像识别模型对多张历史图像的拍摄内容进行识别。
本实施例中，对所使用的图像识别模型不进行限制，例如可以是卷积神经网络等等。
步骤S330，从多张历史图像中，删除图像识别模型识别的拍摄内容与携带标签表示的拍摄内容不一致的历史图像。
本实施例中，当图像识别模型识别的拍摄内容与携带标签表示的拍摄内容不一致时，说明历史图像的拍摄质量存在缺陷，导致图像识别模型无法准确识别拍摄内容，此时不能基于该历史图像对第一图像进行图像增强处理，以免影响第一图像的图像增强处理质量。
如图4所示，本发明的一个实施例中提供了一种智慧展厅的交互控制方法，相比于前述的实施例，本实施例的智慧展厅的交互控制方法，步骤S130包括：
步骤S410，检测第一图像中多个用户中每个用户占用的尺寸。
步骤S420，根据多个用户占用尺寸中的最大尺寸，设置对第一图像进行划分的基准尺寸。
步骤S430，按照基准尺寸将第一图像划分为多个区域。
根据本实施例的技术方案，由于将第一图像划分为多个区域的最终目的为确定目标用户，所以按照多个用户占用的尺寸最大值设计对第一图像进行划分的基准尺寸，以使得划分的每个区域中足够包含一名用户。
如图5所示，本发明的一个实施例中提供了一种智慧展厅的交互控制方法，相比于前述的实施例，本实施例的智慧展厅的交互控制方法，在步骤S140之前，还包括：
步骤S510，判断经过视线数量最多的区域中的视线数量是否超过预设值。
步骤S520，在经过视线数量最多的区域中的视线数量未超过预设值时，对基准尺寸进行增加，返回步骤S130。
本实施例中，对预设值的大小不进行限制，例如可以是2或3。
步骤S530，在经过视线数量最多的区域中的视线数量超过预设值时，进入步骤S140。
本实施例中，本领域技术人员容易理解，当某一区域经过的视线数量过低时，表示该区域关注的用户数量较少，则多数用户未必关注该区域，此时对基准尺寸进行增加，重新划分区域，以合理选择目标区域。
如图6所示，本发明的一个实施例中提供了一种智慧展厅的交互控制方法，相比于前述的实施例，本实施例的智慧展厅的交互控制方法，在步骤S140之前，还包括：
步骤S610，在经过视线数量最多的区域为多个时，识别多个经过视线数量最多的区域中的用户的身份。
步骤S620，判断识别出的用户的身份是否位于预设的身份记录中。
本实施例中，本领域技术人员容易理解，能够与智慧展厅进行交互、实施控制的用户，往往是具有特定身份的用户，例如是展厅所属单位的工作人员。
步骤S630，将其身份是否位于预设的身份记录中的用户所在的区域，作为目标区域。
本实施例中，当经过视线数量最多的区域为多个，例如2个时，进一步对2个区域中的用户的身份进行认定，发现其中一个区域的用户身份记录在预设的身份记录中，即表示其具有能够与智慧展厅进行交互、实施控制的身份时，将该区域作为目标区域，将该区域中的用户作为目标用户。
如图7所示，本发明的一个实施例中提供了一种智慧展厅的交互控制***，包括：
第一拍摄模块710，在多个用户位于展厅中的屏幕前方时，通过安装在展厅上方的第一摄像头，按照从上向下的方向拍摄第一图像，第一图像的拍摄内容中包含多个用户。
本实施例中，屏幕用于展示与用户进行交互的内容，第一摄像头可安装在展厅的天花板上，以俯视的角度拍摄第一图像。
视线绘制模块720，从第一图像中识别出多个用户，检测多个用户的眼睛注视的方向，根据多个用户的眼睛注视的方向在第一图像中绘制多个用户的视线。
本实施例中，由于第一图像实际上为俯视图，则通过俯视图可以识别用户的眼睛注视的方向，以用户的眼睛为起点开始绘制用户的视线。
具体地，可以首先检测第一图像中多个用户的头部朝向的方向，然后根据多个用户的头部朝向的方向，确定多个用户的眼睛注视的方向。
本实施例中，由于第一图像为俯视图，从俯视图上难以直接识别出用户的眼睛，但是容易识别出用户的头部，并明确用户头部朝向的方向，本领域技术人员容易理解，用户头部朝向的方向与用户眼睛注视的方向基本一致，因此根据本实施例容易确定用户眼睛注视的方向。
区域划分模块730，将第一图像划分为多个区域。
用户选择模块740，统计多个区域中的每个区域中经过的视线的数量，从多个区域中选择经过视线数量最多的区域作为目标区域，将位于目标区域内的用户作为目标用户。
本实施例中，本领域技术人员容易理解，当某一区域经过的视线最多时，说明多数用户的眼睛注视该区域，也即关注着该区域内的用户，最受关注的用户即为当前需要通过交互行为控制展厅屏幕、向其他用户展示交互内容的目标用户。
第二拍摄模块750，通过安装在展厅中的屏幕处的第二摄像头，按照从屏幕的后方至前方的方向拍摄第二图像，第二图像的拍摄内容中包含多个用户。
本实施例中，通过第二摄像头按照从屏幕后方向前方的方向拍摄第二图像，容易捕捉用户的动作行为。
用户识别模块760，从第二图像中识别出多个用户，以及从多个用户中识别出目标用户。
行为采集模块770，通过第二摄像头采集目标用户的行为。
本实施例中，由于已经确定了目标用户，所以只捕捉目标用户的行为，其他用户的行为无法对展厅交互控制过程产生干扰。
交互控制模块780，基于目标用户的行为分析目标用户的交互控制指令，基于目标用户的交互控制指令，控制屏幕显示对应的内容。
本实施例中，用户的特定行为表示特定的交互控制指令，根据交互控制指令相应地控制屏幕显示内容。
根据本实施例的技术方案，创新性地使用了两个摄像头来从多个用户中识别出需要与智慧展厅进行交互控制的用户，首先使用第一摄像头从上向下拍摄得到第一图像，从第一图像中识别出多个用户的视线，进而检测出视线经过最多的区域，本领域技术人员容易理解，当某一区域经过的视线最多时，说明多数用户的眼睛注视该区域，也即关注着该区域内的用户，而最受关注的用户往往是当前需要通过交互行为控制展厅屏幕向其他用户展示的目标用户，此时再通过第二摄像头按照从屏幕后方向前方的方向拍摄第二图像，从第二图像中的多个用户识别出目标用户，并基于目标用户的交互行为实施交互控制，从而通过屏幕展示正确的交互内容。
以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、***的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、***。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
Claims (2)
1.一种智慧展厅的交互控制方法，其特征在于，包括：
在多个用户位于展厅中的屏幕前方时，通过安装在所述展厅上方的第一摄像头，按照从上向下的方向拍摄第一图像，所述第一图像的拍摄内容中包含所述多个用户；
从所述第一图像中识别出所述多个用户，检测所述多个用户的眼睛注视的方向，根据所述多个用户的眼睛注视的方向在所述第一图像中绘制所述多个用户的视线；
将所述第一图像划分为多个区域；
统计所述多个区域中的每个区域中经过的视线的数量，从所述多个区域中选择经过视线数量最多的区域作为目标区域，将位于所述目标区域内的用户作为目标用户；
通过安装在所述展厅中的所述屏幕处的第二摄像头，按照从所述屏幕的后方至前方的方向拍摄第二图像，所述第二图像的拍摄内容中包含所述多个用户；
从所述第二图像中识别出所述多个用户，以及从所述多个用户中识别出所述目标用户；
通过所述第二摄像头采集所述目标用户的行为；
基于所述目标用户的行为分析所述目标用户的交互控制指令，基于所述目标用户的交互控制指令，控制所述屏幕显示对应的内容；
“将所述第一图像划分为多个区域”包括：
检测所述第一图像中所述多个用户中每个用户占用的尺寸；
根据所述多个用户占用尺寸中的最大尺寸，设置对所述第一图像进行划分的基准尺寸；
按照所述基准尺寸将所述第一图像划分为多个区域；
在“从所述多个区域中选择经过视线数量最多的区域作为目标区域”之前，还包括：
判断所述经过视线数量最多的区域中的视线数量是否超过预设值；
在所述经过视线数量最多的区域中的视线数量未超过所述预设值时，对所述基准尺寸进行增加，返回“将所述第一图像划分为多个区域”；
在所述经过视线数量最多的区域中的视线数量超过所述预设值时，进入“从所述多个区域中选择经过视线数量最多的区域作为目标区域”；
在“从所述多个区域中选择经过视线数量最多的区域作为目标区域”之前，还包括：
在所述经过视线数量最多的区域为多个时，识别多个所述经过视线数量最多的区域中的用户的身份；
判断识别出的用户的身份是否位于预设的身份记录中；
将其身份是否位于预设的身份记录中的用户所在的区域，作为所述目标区域；
所述“检测所述多个用户的眼睛注视的方向”包括：
检测所述第一图像中所述多个用户的头部朝向的方向；
根据所述多个用户的头部朝向的方向，确定所述多个用户的眼睛注视的方向，
其中，“通过安装在所述展厅上方的第一摄像头，按从上向下的方向拍摄第一图像”还包括：
获取所述第一摄像头拍摄的历史图像；
识别所述历史图像中的每个像素的亮度，并计算所述历史图像中的所有像素的亮度的第一平均值；
识别所述第一图像中的每个像素的亮度，并计算所述第一图像中的所有像素的亮度的第二平均值；
对所述第一图像中的每个像素的亮度进行修正，其中，所述第一图像中第i个像素的亮度，/>为所述第一图像中第i个像素修正后的亮度，/>为所述第一图像中第i个像素未修正的亮度，
其中，“对所述第一图像中的每个像素的亮度进行修正”还包括：
将所述第一图像输入经过训练的神经网络，通过所述神经网络对所述第一图像的像素的亮度值进行修正，其中，所述神经网络基于预设的样本图像进行训练，所述神经网络训练时的损失函数为：
，
其中，为预设的权重系数，/>表示修正前的所述样本图像分解后得到的反射图的梯度，/>表示修正前的所述样本图像分解后得到的光照图的梯度，/>表示修正后的所述样本图像分解后得到的反射图的梯度，/>表示修正后的所述样本图像分解后得到的光照图的梯度。
2.根据权利要求1所述的智慧展厅的交互控制方法，其特征在于，“获取所述第一摄像头拍摄的历史图像”包括：
在所述第一摄像头拍摄的所述历史图像为多张时，为多张历史图像中的每张历史图像设置标签，用于表示所述多张历史图像中的拍摄内容；
通过预设的图像识别模型对所述多张历史图像的拍摄内容进行识别；
从所述多张历史图像中，删除所述图像识别模型识别的拍摄内容与携带标签表示的拍摄内容不一致的历史图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311769611.8A CN117435058B (zh) | 2023-12-21 | 2023-12-21 | 一种智慧展厅的交互控制方法和*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311769611.8A CN117435058B (zh) | 2023-12-21 | 2023-12-21 | 一种智慧展厅的交互控制方法和*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117435058A CN117435058A (zh) | 2024-01-23 |
| CN117435058B true CN117435058B (zh) | 2024-03-29 |
Family
ID=89555731
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311769611.8A Active CN117435058B (zh) | 2023-12-21 | 2023-12-21 | 一种智慧展厅的交互控制方法和*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117435058B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018028360A1 (zh) * | 2016-08-08 | 2018-02-15 | 深圳光启合众科技有限公司 | 用于智能机器人的控制方法和装置及机器人 |
| CN113627385A (zh) * | 2021-08-27 | 2021-11-09 | 京东方科技集团股份有限公司 | 视线方向的检测方法、装置及其检测***及可读存储介质 |
| CN113850627A (zh) * | 2021-09-28 | 2021-12-28 | 北京声智科技有限公司 | 电梯广告展示方法、装置和电子设备 |
| CN113949936A (zh) * | 2020-07-17 | 2022-01-18 | 华为技术有限公司 | 一种电子设备的屏幕交互方法及装置 |
| CN116563924A (zh) * | 2023-05-12 | 2023-08-08 | 成都赛力斯科技有限公司 | 基于车内人脸图像推荐多媒体数据的方法及装置 |
| CN116996702A (zh) * | 2023-08-22 | 2023-11-03 | 广州博冠信息科技有限公司 | 演唱会直播处理方法、装置、存储介质和电子设备 |
-
2023
- 2023-12-21 CN CN202311769611.8A patent/CN117435058B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018028360A1 (zh) * | 2016-08-08 | 2018-02-15 | 深圳光启合众科技有限公司 | 用于智能机器人的控制方法和装置及机器人 |
| CN113949936A (zh) * | 2020-07-17 | 2022-01-18 | 华为技术有限公司 | 一种电子设备的屏幕交互方法及装置 |
| CN113627385A (zh) * | 2021-08-27 | 2021-11-09 | 京东方科技集团股份有限公司 | 视线方向的检测方法、装置及其检测***及可读存储介质 |
| CN113850627A (zh) * | 2021-09-28 | 2021-12-28 | 北京声智科技有限公司 | 电梯广告展示方法、装置和电子设备 |
| CN116563924A (zh) * | 2023-05-12 | 2023-08-08 | 成都赛力斯科技有限公司 | 基于车内人脸图像推荐多媒体数据的方法及装置 |
| CN116996702A (zh) * | 2023-08-22 | 2023-11-03 | 广州博冠信息科技有限公司 | 演唱会直播处理方法、装置、存储介质和电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117435058A (zh) | 2024-01-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113038018B (zh) | 辅助用户拍摄车辆视频的方法及装置 | |
| CN103716594B (zh) | 基于运动目标检测的全景拼接联动方法及装置 | |
| US11579904B2 (en) | Learning data collection device, learning data collection system, and learning data collection method | |
| US20120133754A1 (en) | Gaze tracking system and method for controlling internet protocol tv at a distance | |
| CN110837750B (zh) | 一种人脸质量评价方法与装置 | |
| JP2016134803A (ja) | 画像処理装置及び画像処理方法 | |
| WO2013092248A1 (en) | Video processing apparatus and method for detecting a temporal synchronization mismatch | |
| WO2021204211A1 (zh) | 人脸和虹膜图像采集方法、装置、可读存储介质及设备 | |
| CN112183200A (zh) | 一种基于视频图像的眼动追踪方法和*** | |
| CN115171024A (zh) | 一种基于视频序列的面部多特征融合疲劳检测方法及*** | |
| CN101715070A (zh) | 特定监控视频中的背景自动更新方法 | |
| CN113255476B (zh) | 一种基于眼动追踪的目标跟踪方法、***及存储介质 | |
| CN112153269A (zh) | 应用于电子设备的图片显示方法、装置、介质与电子设备 | |
| CN117435058B (zh) | 一种智慧展厅的交互控制方法和*** | |
| CN113887329A (zh) | 一种头部姿态定位与检测方法及其应用和*** | |
| JPWO2022074833A5 (ja) | 生体検知装置、制御方法、及びプログラム | |
| US11361590B2 (en) | Method and apparatus for monitoring working state | |
| CN110536044B (zh) | 一种证件照自动拍摄方法及装置 | |
| CN115047624B (zh) | 智能眼镜操控*** | |
| CN110099207B (zh) | 一种用于克服摄像头不稳定的有效图像计算方法 | |
| CN105282612A (zh) | 一种电视画面区域定位并关联搜索的方法及电视机*** | |
| CN211744560U (zh) | 一种智能化图像处理装置 | |
| CN110673720A (zh) | 一种护眼显示方法和具有护眼模式的学习机 | |
| CN209514619U (zh) | 辅助填表设备及*** | |
| CN109060831A (zh) | 一种基于底板拟合的自动脏污检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |