CN213634639U - 基于视觉识别及定位的智能交互*** - Google Patents

Abstract

本实用新型属于智能场景识别技术领域，具体涉及一种基于视觉识别及定位的智能交互***，其包括：终端，所述终端适于拍摄场景的图像和视频、获取位置信息、获取场景的超高频识别信息，并将图像和视频、位置信息、超高频识别信息发送至服务器；数据库，和服务器，所述服务器适于根据终端发送的图像和视频、位置信息、超高频识别信息从数据库中获取所需的信息，并将信息发送至所述终端，以通过所述终端播报信息，实现了解放用户的双手，准确地、自动地基于用户所处的位置进行播放信息，并基于公共及私有数据库，带给用户高质量的信息以及个性化的交互体验。

Description

基于视觉识别及定位的智能交互***

技术领域

本实用新型属于智能场景识别技术领域，具体涉及一种基于视觉识别及定位的智能交互***。

背景技术

伴着现在国民生活水平提高，国民对精神生活需要有很大的需求，比如旅游、观光等等。目前在景区、展览等地游玩主要依靠用户自己解读解说词。或者导游带着旅游团群体游玩，或者场景内设置有自助的讲解器，通过这些可以提高或者丰富用户的知识水平。

无论是哪种解说，都无法体现出用户自己所想、所思、所需求的；不能对用户一对一个性化服务；不能对场景进行深入详细的了解。且现有设备为解决场景识别问题，在目前场景中识别并播放解说词，是通过RFID进行触发式的如果场景频繁更换，或者说临时搭建的场景，这些工作将会被重复，不利于场景的工作；当用户在随机路过的时候，用户也会听到解说词，会造成用户体验感不好；现有的设备是需要按键播放的，这个需要用户自行播放，并没有做到让设备懂用户。

因此，基于上述技术问题需要设计一种新的基于视觉识别及定位的智能交互***。

实用新型内容

本实用新型的目的是提供一种基于视觉识别及定位的智能交互***，以解决自动识别场景进行语音交互的技术问题。

为了解决上述技术问题，本实用新型提供了一种基于视觉识别及定位的智能交互***，包括：

终端，所述终端适于拍摄场景的图像和视频、获取位置信息、获取场景的超高频识别信息，并将图像和视频、位置信息、超高频识别信息发送至服务器；

数据库，和

服务器，所述服务器适于根据终端发送的图像和视频、位置信息、超高频识别信息从数据库中获取所需的信息，并将信息发送至所述终端，以通过所述终端播报信息。

进一步，所述终端包括：控制模块，以及与该控制模块电性连接的摄像模块；

所述摄像模块适于拍摄场景的图像和视频，并将图像和视频发送至所述控制模块。

进一步，所述终端还包括：与控制模块电性连接的第一定位模块和第二定位模块；

所述第一定位模块适于获取终端的室外位置信息，并将室外位置信息发送至所述控制模块；

所述第二定位模块适于获取终端的室内位置信息，并将室内位置信息发送至所述控制模块。

进一步，所述终端还包括：与控制模块电性连接的RFID识别模块；

所述RFID识别模块适于获取场景的超高频识别信息，即

所述RFID识别模块适于识别场景处设置的超高频标签，以获取场景的超高频识别信息，并将超高频识别信息发送至所述控制模块。

进一步，所述终端还包括：与控制模块电性连接的通讯模块；

所述控制模块适于通过所述通讯模块将图像和视频、室外位置信息、室内位置信息、超高频识别信息发送至服务器；以及

所述通讯模块适于接收所述服务器发送的信息。

进一步，所述终端还包括：与控制模块电性连接的语音模块；

所述控制模块适于控制所述语音模块播报信息。

进一步，所述终端还包括：与控制模块电性连接的超声波雷达模块；

所述超声波雷达模块适于检测终端距离障碍物的距离，并将距离信息发送至所述控制模块；

所述控制模块适于根据距离控制所述语音模块发出警报。

进一步，所述终端还包括：与控制模块电性连接的十轴传感器模块；

所述十轴传感器模块适于检测终端的运动信息；

所述控制模块适于根据运动信息控制所述语音模块播报信息。

进一步，所述终端还包括：与控制模块电性连接的按键模块；

所述按键模块适于触发所述控制模块通过所述通讯模块发送呼唤寻助信息至所述服务器。

进一步，所述智能交互***还包括：基站端；

所述终端适于发送室内位置信息至所述基站端，并由所述基站端将室内位置信息发送至所述服务器。

本实用新型的有益效果是，本实用新型通过终端，所述终端适于拍摄场景的图像和视频、获取位置信息、获取场景的超高频识别信息，并将图像和视频、位置信息、超高频识别信息发送至服务器；数据库，和服务器，所述服务器适于根据终端发送的图像和视频、位置信息、超高频识别信息从数据库中获取所需的信息，并将信息发送至所述终端，以通过所述终端播报信息，实现了解放用户的双手，准确地、自动地基于用户所处的位置进行讲解、播报，并基于公共及私有数据库，带给用户高质量的信息以及个性化的交互体验。

本实用新型的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本实用新型而了解。本实用新型的目的和其他优点在说明书以及附图中所特别指出的结构来实现和获得。

为使本实用新型的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本实用新型具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本实用新型的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本实用新型所涉及的基于视觉识别及定位的智能交互***的原理框图；

图2是本实用新型所涉及的终端的原理框图；

图3是本实用新型所涉及的基于视觉识别及定位的智能交互***的总成图；

图4是本实用新型所涉及的基于视觉识别及定位的智能交互***定位流程图A；

图5是本实用新型所涉及的基于视觉识别及定位的智能交互***定位流程图B；

图6是本实用新型所涉及的基于视觉识别及定位的智能交互***工作流程图。

具体实施方式

为使本实用新型实施例的目的、技术方案和优点更加清楚，下面将结合附图对本实用新型的技术方案进行清楚、完整地描述，显然，所描述的实施例是本实用新型一部分实施例，而不是全部的实施例。基于本实用新型中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本实用新型保护的范围。

图1是本实用新型所涉及的基于视觉识别及定位的智能交互***的原理框图。

如图1所示，本实施例提供了一种基于视觉识别及定位的智能交互***(该***的应用场景可以但不限于为景区、展厅、特殊人群使用等)，包括：终端(为可穿戴的设备、移动端，由游览的游客、用户持有)，所述终端适于拍摄场景(场景可以但不限于是景区的景点、展厅的展位)的图像和视频、获取位置信息、获取场景的超高频识别信息，并将图像和视频、位置信息、超高频识别信息发送至服务器；数据库和服务器，所述服务器适于根据终端发送的图像和视频、位置信息、超高频识别信息从数据库中获取所需的信息，并将信息发送至所述终端，以通过所述终端播报信息，实现了解放用户的双手，准确地、自动地基于用户所处的位置进行讲解，并基于公共及私有数据库，带给用户高质量的讲解以及个性化的交互体验；避免了在室内外场景游览时，由于场景识别问题而导致用户无法得到高质量的讲解服务所存在的问题，并且降低了场景的人工成本，同时也提高了场景的管理效率及用户的满意度。

图2是本实用新型所涉及的终端的原理框图。

如图2所示，在本实施例中，所述终端包括：控制模块，以及与该控制模块电性连接的摄像模块；所述控制模块可以但不限于采用STM32系列单片机；所述摄像模块可以但不限于采用摄像机，例如采用CCD或者CMOS摄像头，采用鱼眼、广角等不同角度的镜头，以进行视频录入、拍照等功能；所述摄像模块适于拍摄场景的图像和视频，并将图像和视频发送至所述控制模块。

在本实施例中，所述终端还包括：与控制模块电性连接的第一定位模块和第二定位模块；所述第一定位模块适于获取终端的室外位置信息，并将室外位置信息发送至所述控制模块；所述第一定位模块可以但不限于采用全球定位***GNSS进行定位，例如GPS L1+L5双频用于室外定位；所述第二定位模块适于获取终端的室内位置信息(可以高精度获取室内定位)，并将室内位置信息发送至所述控制模块；所述第二定位模块可以但不限于采用UWB或者BLE AOA技术进行室内定位；在室外信号良好的情况下可以通过GPS进行定位，当没有GPS信号或GPS信号弱时通过BLE、UWB进行定位。

在本实施例中，所述终端还包括：与控制模块电性连接的RFID识别模块；所述RFID识别模块适于获取场景的超高频识别信息，即所述RFID识别模块适于识别场景处设置的超高频标签(或超高频模块等)，以获取场景的超高频识别信息，并将超高频识别信息发送至所述控制模块；将超高频标签(或超高频模块等)设置在场景处(例如景区的景点、展厅的展位等)便于终端准确识别。

在本实施例中，所述终端还包括：与控制模块电性连接的通讯模块；所述通讯模块可以是蜂窝网络(4G、5G等)以传输数据，与服务器进行数据交互，数据传输方式可以但不限于采用UDP、http等；所述控制模块适于通过所述通讯模块将图像和视频、室外位置信息、室内位置信息、超高频识别信息发送至服务器；以及所述通讯模块适于接收所述服务器发送的信息。

图3是本实用新型所涉及的基于视觉识别及定位的智能交互***的总成图。

如图4所示，在本实施例中，所述智能交互***还包括：基站端(定位基站)；所述终端适于发送室内位置信息至所述基站端，并由所述基站端将室内位置信息发送至所述服务器；基站端摆放的位置可以水平、可以垂直，需要调教基站端的发射功率，以此保证终端只在一定范围内接受到基站端信息。

在本实施例中，所述终端还包括：与控制模块电性连接的语音模块；所述控制模块适于控制所述语音模块播报信息，并且用户可以通过所述语音模块进行语音交互。

在本实施例中，所述终端还包括：与控制模块电性连接的超声波雷达模块；所述超声波雷达模块适于检测终端距离障碍物的距离，并将距离信息发送至所述控制模块；所述控制模块适于根据距离控制所述语音模块发出警报。

在本实施例中，所述终端还包括：与控制模块电性连接的十轴传感器模块；由于用户参观的随机性比较大，在终端中同时具有十轴传感器模块，当用户的状态改变(走动、转向等等)的时候，所以需要设定一定的延时时限，只要当用户状态处于时限之外终端才会语音播报信息；所述十轴传感器模块适于检测终端的运动信息(即检测用户的运动信息，例如走动、转向等)；所述控制模块适于根据运动信息控制所述语音模块播报信息；通过十轴传感器可以用于三维导航定位、记步、里程等。

在本实施例中，所述终端还包括：与控制模块电性连接的按键模块；所述按键模块适于触发所述控制模块通过所述通讯模块发送呼唤寻助信息至所述服务器，便于用户求助、呼唤等。

在本实施例中，所述服务器还可以连接云服务器，以便于存储数据。

图4是本实用新型所涉及的基于视觉识别及定位的智能交互***定位流程图A；

图5是本实用新型所涉及的基于视觉识别及定位的智能交互***定位流程图B；

图6是本实用新型所涉及的基于视觉识别及定位的智能交互***工作流程图。

如图4、图5、图6所示，在本实施例中，基于视觉识别及定位的智能交互***运用摄像模块、超高频识别、定位三种技术组合识别，提高准确率，处理场景太近的问题(由于摄像模块是具备一定广角以及用户所在的位置不同，造成录制的视频或者照片会带有其他场景，需要通过一系列的识别，以此保证达到用户真正想要的信息)：条件1：场景周围定位的电子围栏；条件2：通过摄像模块拍摄的照片(图像)匹配；条件3：超高频识别；条件1、2、3同时满足后，终端播放信息(语音讲解)；终端搭载的摄像模块录入视频或者照片，通过蜂窝网络传输到服务器，根据不同的ID进行分类比较；定位基站通过BLE AOA\UWB收到移动端定位模块的位置信息后，通过有线/无线网络传输至服务器；超高频标签或者模块固定在场景边上，终端靠近后触发，即在服务器中对场景等进行地图建模，标识出各个场景的具***置；摄像模块取得的图像和视频后，在服务器需要对图像以及建模后场景的图像进行匹配；预先在各场景周围设置电子围栏，并预先设置各电子围栏地点位置，当终端进入场景电子围栏范围时，服务器可以获取到终端的具***置，以此来确定终端所在场所对应的场景；服务器先根据终端此时的具***置，缩小场景的搜索范围，再根据图像信息来确定具体的场景；最终结合超高频识别信息最终确定终端所在的场景，即用户当前所需要讲解的场景；确定场景后服务器根据公共及私有数据库获取对应场景的信息，将信息发送至相应的终端。

综上所述，本实用新型通过终端，所述终端适于拍摄场景的图像和视频、获取位置信息、获取场景的超高频识别信息，并将图像和视频、位置信息、超高频识别信息发送至服务器；数据库，和服务器，所述服务器适于根据终端发送的图像和视频、位置信息、超高频识别信息从数据库中获取所需的信息，并将信息发送至所述终端，以通过所述终端播报信息，实现了解放用户的双手，准确地、自动地基于用户所处的位置进行讲解，并基于公共及私有数据库，带给用户高质量的讲解以及个性化的交互体验。

本申请中选用的各个器件(未说明具体结构的部件)均为通用标准件或本领域技术人员知晓的部件，其结构和原理都为本技术人员均可通过技术手册得知或通过常规实验方法获知。

在本实用新型实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本实用新型中的具体含义。

在本实用新型的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本实用新型和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本实用新型的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本申请所提供的几个实施例中，应该理解到，所揭露的***、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本实用新型各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

以上述依据本实用新型的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项实用新型技术思想的范围内，进行多样的变更以及修改。本项实用新型的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。

Claims (10)

1.一种基于视觉识别及定位的智能交互***，其特征在于，包括：

终端，所述终端适于拍摄场景的图像和视频、获取位置信息、获取场景的超高频识别信息，并将图像和视频、位置信息、超高频识别信息发送至服务器；

数据库，和

服务器，所述服务器适于根据终端发送的图像和视频、位置信息、超高频识别信息从数据库中获取所需的信息，并将信息发送至所述终端，以通过所述终端播报信息。

2.如权利要求1所述的基于视觉识别及定位的智能交互***，其特征在于，

所述终端包括：控制模块，以及与该控制模块电性连接的摄像模块；

所述摄像模块适于拍摄场景的图像和视频，并将图像和视频发送至所述控制模块。

3.如权利要求2所述的基于视觉识别及定位的智能交互***，其特征在于，

所述终端还包括：与控制模块电性连接的第一定位模块和第二定位模块；

所述第一定位模块适于获取终端的室外位置信息，并将室外位置信息发送至所述控制模块；

所述第二定位模块适于获取终端的室内位置信息，并将室内位置信息发送至所述控制模块。

4.如权利要求3所述的基于视觉识别及定位的智能交互***，其特征在于，

所述终端还包括：与控制模块电性连接的RFID识别模块；

所述RFID识别模块适于获取场景的超高频识别信息，即

所述RFID识别模块适于识别场景处设置的超高频标签，以获取场景的超高频识别信息，并将超高频识别信息发送至所述控制模块。

5.如权利要求4所述的基于视觉识别及定位的智能交互***，其特征在于，

所述终端还包括：与控制模块电性连接的通讯模块；

所述控制模块适于通过所述通讯模块将图像和视频、室外位置信息、室内位置信息、超高频识别信息发送至服务器；以及

所述通讯模块适于接收所述服务器发送的信息。

6.如权利要求5所述的基于视觉识别及定位的智能交互***，其特征在于，

所述终端还包括：与控制模块电性连接的语音模块；

所述控制模块适于控制所述语音模块播报信息。

7.如权利要求6所述的基于视觉识别及定位的智能交互***，其特征在于，

所述终端还包括：与控制模块电性连接的超声波雷达模块；

所述超声波雷达模块适于检测终端距离障碍物的距离，并将距离信息发送至所述控制模块；

所述控制模块适于根据距离控制所述语音模块发出警报。

8.如权利要求7所述的基于视觉识别及定位的智能交互***，其特征在于，

所述终端还包括：与控制模块电性连接的十轴传感器模块；

所述十轴传感器模块适于检测终端的运动信息；

所述控制模块适于根据运动信息控制所述语音模块播报信息。

9.如权利要求8所述的基于视觉识别及定位的智能交互***，其特征在于，

所述终端还包括：与控制模块电性连接的按键模块；

所述按键模块适于触发所述控制模块通过所述通讯模块发送呼唤寻助信息至所述服务器。

10.如权利要求9所述的基于视觉识别及定位的智能交互***，其特征在于，

所述智能交互***还包括：基站端；

所述终端适于发送室内位置信息至所述基站端，并由所述基站端将室内位置信息发送至所述服务器。

Images