CN109815854A - 一种用于在用户设备上呈现图标的关联信息的方法与设备 - Google Patents
一种用于在用户设备上呈现图标的关联信息的方法与设备 Download PDFInfo
- Publication number
- CN109815854A CN109815854A CN201910012110.2A CN201910012110A CN109815854A CN 109815854 A CN109815854 A CN 109815854A CN 201910012110 A CN201910012110 A CN 201910012110A CN 109815854 A CN109815854 A CN 109815854A
- Authority
- CN
- China
- Prior art keywords
- identified
- region
- related information
- icon
- presented
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
本申请的目的是提供一种用于在用户设备上呈现图标的关联信息的方法与设备，检测关于目标装置的目标图像中的待识别区域，其中所述待识别区域包含至少一个待识别图标；对所述待识别区域进行图像识别操作，以确定所述待识别图标的关联信息；并呈现所述关联信息。本申请操作过程高效且直观，能够提高用户的学习效率，从而大大提升用户的使用体验。
Description
技术领域
本申请涉及计算机领域，尤其涉及一种用于在用户设备上呈现图标的关联信息的技术。
背景技术
在工业、家电、教育、商业等领域，很多产品提供了纸质的或者电子的使用说明书，以供用户阅读并了解相应产品的相关说明、使用或操作过程。但是，这些纸质的或者电子的说明书文本量大、内容枯燥，专业术语晦涩，尤其在涉及产品上用于指示产品功能或使用方法的图标时，用户需要仔细辨认，严重降低用户的操作体验；对用户而言，这些说明书很不直观，用户阅读说明书需要对照实物，注意力也需要在说明书和实物之间不断地切换。同时，纸质说明书也较容易损毁灭失。
发明内容
本申请的一个目的是提供一种用于在用户设备上呈现图标的关联信息的方法和设备。
根据本申请的一个方面，提供了一种用于在用户设备上呈现图标的关联信息的方法，该方法包括：
检测关于目标装置的目标图像中的待识别区域，其中所述待识别区域包含至少一个待识别图标；
对所述待识别区域进行图像识别操作，以确定所述待识别图标的关联信息；
呈现所述关联信息。
根据本申请的另一个方面，提供了一种用于在用户设备上呈现图标的关联信息的装置，该装置包括：
第一模块，用于检测关于目标装置的目标图像中的待识别区域，其中所述待识别区域包含至少一个待识别图标；
第二模块，用于对所述待识别区域进行图像识别操作，以确定所述待识别图标的关联信息；
第三模块，用于呈现所述关联信息。
根据本申请的一个方面，提供了一种用于在用户设备上呈现图标的关联信息的设备，该设备包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行以上所述方法的操作。
根据本申请的另一个方面，提供了一种存储指令的计算机可读介质，所述指令在被执行时使得***进行以上所述方法的操作。
与现有技术相比，本申请基于目标图像检测相应地待识别区域，并识别待识别区域中的待识别图标，进而呈现该待识别图标的关联信息(例如包括但不限于图标含义、相关说明等)，以帮助用户理解相应图标的含义，操作过程高效且直观，能够提高用户的学习效率，从而大大提升用户的使用体验。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是根据本申请一个实施例的一种用于在用户设备上呈现图标的关联信息的方法流程图；
图2示出根据本申请另一个实施例的一种检测关于目标装置的目标图像中的待识别区域的方法流程；
图3示出在本申请一个实施例中呈现待识别区域的用户界面；
图4示出在本申请另一个实施例中呈现待识别区域的用户界面；
图5是根据本申请另一个实施例的一种用于在用户设备上呈现图标的关联信息的方法流程图；
图6示出根据本申请一个实施例的用户设备的功能模块；
图7示出根据申请另一个实施例的用户设备中第一模块的功能模块；
图8示出根据本申请一个实施例的实例性***的功能模块。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
下面结合附图对本申请作进一步详细描述。
在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(例如，中央处理器(Central Processing Unit,CPU))、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RandomAccess Memory,RAM)和/或非易失性内存等形式，如只读存储器(Read Only Memory,ROM)或闪存(Flash Memory)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(Phase-Change Memory,PCM)、可编程随机存取存储器(Programmable Random Access Memory,PRAM)、静态随机存取存储器(Static Random-Access Memory,SRAM)、动态随机存取存储器(Dynamic Random AccessMemory,DRAM)、其他类型的随机存取存储器(Random Access Memory,RAM)、只读存储器(Read-Only Memory,ROM)、电可擦除可编程只读存储器(Electrically-ErasableProgrammable Read-Only Memory,EEPROM)、快闪记忆体(Flash Memory)或其他内存技术、只读光盘只读存储器(Compact Disc Read-Only Memory,CD-ROM)、数字多功能光盘(Digital Versatile Disc,DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
本申请所指设备包括但不限于用户设备、网络设备、或用户设备与网络设备通过网络相集成所构成的设备。所述用户设备包括但不限于任何一种可与用户进行人机交互(例如通过触摸板进行人机交互)的移动电子产品，例如智能手机、平板电脑、智能眼镜等，所述移动电子产品可以采用任意操作***，如Android操作***、iOS操作***等。其中，所述网络设备包括一种能够按照事先设定或存储的指令，自动进行数值计算和信息处理的电子设备，其硬件包括但不限于微处理器、专用集成电路(Application SpecificIntegrated Circuit,ASIC)、可编程逻辑器件(Programmable Logic Device,PLD)、现场可编程门阵列(Field Programmable Gate Array,FPGA)、数字信号处理器(Digital SignalProcessor,DSP)、嵌入式设备等。所述网络设备包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云；在此，云由基于云计算(CloudComputing)的大量计算机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个虚拟超级计算机。所述网络包括但不限于互联网、广域网、城域网、局域网、VPN网络、无线自组织网络(Ad Hoc Network)等。优选地，所述设备还可以是运行于所述用户设备、网络设备、或用户设备与网络设备、网络设备、触摸终端或网络设备与触摸终端通过网络相集成所构成的设备上的程序。
当然，本领域技术人员应能理解上述设备仅为举例，其他现有的或今后可能出现的设备如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
在本申请的描述中，“多个”的含义是两个或者更多，除非另有明确具体的限定。
本申请所指的用户设备包括但不限于智能手机、平板电脑、智能眼镜或头盔等计算设备。在一些实施例中，该用户设备还包括用于采集图像信息的摄像装置(可以是用户设备本身含有摄像装置，也可以是通过外接的方式达到摄像功能)，该摄像装置一般包括用于将光信号转换为电信号的感光元件，根据需要还可包含用于调整入射光线的传播路径的光线折/反射部件(例如镜头或镜头组件)。为便于用户进行操作，在一些实施例中，所述用户设备还包括显示装置，用于向用户呈现信息，例如相应待识别图标的关联信息(包括但不限于相应图标的图标含义、相关说明等)；其中，该显示装置在一些实施例中为触控屏幕，该触控屏幕不仅能用于输出图形画面，还可用作用户设备的输入装置以接收用户的操作指令(例如与前述增强交互内容互动的操作指令)。当然，本领域技术人员应能理解，用户设备的输入装置不仅限于触控屏幕，其他现有的输入技术如能适用于本申请，也包含在本申请的保护范围内，并以引用方式包含于此。例如，在一些实施例中，用于接收用户的操作指令的输入技术是基于语音控制、手势控制、眼球追踪、外接鼠标和/或键盘等实现的。
以下以一种具有摄像装置和触控屏幕的用户设备为基础，对本申请进行详细描述。但是，本申请并不限于该用户设备，其他现有的或今后可能出现的用户设备如能适用于本申请，也包含在本申请的保护范围内，并以引用方式包含于此。
根据本申请的一个方面，提供了一种用于在用户设备上呈现图标的关联信息的方法。参考图1，该方法包括步骤S100、步骤S200和步骤S300。
具体而言，在步骤S100中，用户设备检测关于目标装置的目标图像中的待识别区域，其中所述待识别区域包含至少一个待识别图标。其中，在一些实施例中，关于目标装置的目标图像由用户设备采集，例如通过上述摄像装置采集。该目标图像包含待识别图标，例如对于汽车驾驶舱而言该待识别图标为车内相应的指示灯、开关、按钮或操纵杆上的相应图标。
在步骤S200中，用户设备对所述待识别区域进行图像识别操作，以确定所述待识别图标的关联信息。其中，所述关联信息用于提供相应图标的图标含义、相关说明，该关联信息在一些实施例中为图形或文字说明，亦可包括动画、视频、声音、三维模型等。本领域技术人员应能理解，这些关联信息仅为举例而不对本申请进行任何限定，其他现有的或者今后可能出现的关联信息的形式如能适用于本申请，也包含在本申请的保护范围内，并以引用的方式包含于此。
在步骤S300中，用户设备呈现所述关联信息，例如通过所述触控屏幕呈现该关联信息。在一些实施例中，所述关联信息被叠加呈现于所述目标图像上相关图标的相应位置；在另一些实施例中，所述关联信息被呈现于所述触控屏幕上的预设区域，例如不同图标对应的关联信息均呈现于该预设区域。当然，本领域技术人员应能理解，这些呈现关联信息的方式仅为举例而不对本申请进行任何限定，其他现有的或者今后可能出现的呈现关联信息的方式如能适用于本申请，也包含在本申请的保护范围内，并以引用的方式包含于此。例如，用户设备在采集上述目标图像后在其屏幕上呈现该目标图像，并在完成对待识别区域的图像识别操作后取消呈现该目标图像并呈现上述关联信息。
在一些实施例中，关于目标装置的目标图像中可能存在多个图标可供识别，用户设备首先获取一个或者多个候选识别区域，再从该一个或者多个候选识别区域中选取待识别区域，以识别该待识别区域中的待识别图标。相应地，参考图2，步骤S100包括子步骤S110和子步骤S120。
具体而言，在子步骤S110中，用户设备检测关于目标装置的目标图像中的至少一个候选识别区域，其中每个候选识别区域分别包含至少一个待识别图标；在子步骤S120中，用户设备从所述至少一个候选识别区域中确定待识别区域。参考图3示出的用户设备及其用户界面，用户设备10采集目标装置20的目标图像，其中目标装置20包含多个待识别图标，这些待识别图标分别以a～f字母表示。当然，本领域技术人员应能理解，图3中示出的待识别图标的分布方式仅为举例，而非对本申请的任何限定。用户设备根据该目标图像检测分别包含上述待识别图标的若干候选识别区域，其中，候选识别区域只要包含待识别图标即可，其大小、形状、位置不作限定，可选地这些候选识别区域相对于所述目标图像中的其他区域被区分呈现；在图3中，这些候选识别区域以方框示出而被区分呈现，且每个方框中分别包含由a～f的其中一个字母代表的待识别图标；之后用户设备从这些候选识别区域中选取至少一个，作为待识别区域，用于进一步的图像识别操作。藉此，一方面能够节省计算资源以提高***的操作效率；另一方面，由于待识别区域相对于目标图像中的其他区域被区分呈现，因此用户能直观地确认***检测到的待识别区域是否包含所需区域，以便及时调整拍摄角度从而提高操作效率。
其中，可通过多种方式检测目标图像中的候选识别区域。在一些实施例中，该检测过程是基于目标图像的图像梯度信息实现的。在子步骤S110中，用户设备检测关于目标装置的目标图像的梯度信息以确定至少一个候选识别区域，其中每个候选识别区域分别包含至少一个待识别图标。其中，将图像看成二维离散函数，则图像的梯度信息是这个二维离散函数的导数。梯度算法是考虑图像的每个像素的某个邻域内的灰度变化，所以当图像中存在边缘时，一定有较大的梯度值；相反，当图像中有比较平滑的部分时，灰度值变化较小，则相应的梯度也较小。所以根据目标图像的梯度信息，可以找到目标图像中图标的位置。
为提高识别效率，可在开始识别前进行图像去噪操作。图像去噪的方式包括但不限于基于均值滤波器、自适应维纳滤波器、中值滤波器、形态学噪声滤除器、变换域滤波(小波变换)、马尔可夫随机场模型、偏微分方程、变分法等实现；亦可基于深度学习进行去噪，例如通过GANs训练输入图像的噪声分布，并利用生成的噪声样本生成训练数据以训练去噪深度神经网络，从而实现图像盲去噪；还可以根据当前场景的一些先验知识来进行排除噪音，例如根据适用场景中拍摄设备距离拍摄目标的距离，大致估算出目标图标的大小，进而排除一些过大或过小的图标。此外还可基于联通域合并，将相距很近并且大小面积相距悬殊的两个联通域合并为一个。
除了以上所述的基于目标图像的梯度信息的检测方式，目标图像中候选识别区域的检测还可通过其他检测方式实现。在另一些实施例中，基于目标检测算法对关于目标装置的目标图像进行检测，以确定至少一个候选识别区域，其中每个候选识别区域分别包含至少一个待识别图标。
例如，在一些实施例中，用户设备基于视觉显著性检测算法以检测所述候选识别区域，其中一种显著性模型如下：对于目标图像，提取其初级视觉特征(颜色(RGBY)、亮度、方位)，在多种尺度下使用中央周边(center-surround)操作产生体现显著性度量的特征图，将这些特征图合并得到最终的显著图(Saliency Map)后，利用赢者取全(winner-take-all)的竞争机制得到图像中最显著的空间位置，用来向导注意位置的选取，最后采用返回抑制(Inhibition of Return)的方法来完成注意焦点的转移。视觉显著性计算模型大致上可分为特征提取与特征融合两个阶段，在特征融合阶段，可能存在自底向上的底层特征驱动的融合方式，和自顶向下的基于先验信息与任务的融合方式。
又例如，在另一些实施例中，用户设备基于Adaboost算法确定候选识别区域的位置。其中，Adaboost是一种迭代方法，其针对不同的训练集训练同一个弱分类器，然后把在不同训练集上得到的弱分类器集合起来，构成一个最终的强分类器：对每个特征，计算所有训练样本的特征值并将特征值排序，对排好序的每个元素计算：全部正例的权重和、全部负例的权重和、该元素前正例的权重和、该元素前负例的权重和，再选取当前元素的特征值和它前面的一个特征值之间的数作为阈值，所得到的弱分类器就在当前元素处把样本分开。也就是说这个阈值对应的弱分类器将当前元素前的所有元素分为目标(或非目标)，而把当前元素后(含)的所有元素分为非目标(或目标)；将这些弱分类器组合成一个强分类器，得到最终的分类器。
当然，本领域技术人员应能理解，上述用于检测候选识别区域的目标检测的方式仅为举例而非对本申请的限制，其他现有的或者今后可能出现的用于检测候选识别区域的方式如能适用于本申请，也包含在本申请的保护范围内，并以引用的方式包含于此，例如其它的基于图像处理、计算机视觉、模式识别、机器学习、神经网络等进行目标检测的方法均包含在内。
例如，在一些实施例中，***基于深度学习检测候选识别区域，包括训练和测试两个步骤。一种具体方式如下：
1)训练检测模型：首先准备训练集和对应标签，即包含图标的图像，以及图标的类别，其中，对所有需要识别的图标，均需要准备训练集和标签来训练深度学习模型，否则无法检测出该图标。接着训练深度学习模型，根据训练集，不断迭代训练模型的参数，直到模型收敛，该过程要保证训练样本的数量。
2)测试：将设备拍摄的图像，利用滑动窗口(从左到右，从上到下)遍历整个图像，得到很多不同尺寸的图像块，将每个图像块输入训练好的深度学习模型，当深度学习模型识别出该图像块时，即得到图标在目标图像中的位置。
另一种具体方式如下：
1)训练检测模型：训练集是包含图例的图像，预先标注该图像中的图例的位置和类别，然后网络模型中通过预定义的一些候选框，和标记框进行匹配，匹配IoU>＝0.5的可以作为正样本，IoU<0.5的可以作为负样本，正负样本通过分类器进行分类，正样本通过回归器回归框的位置。其中，IoU(Intersection-over-Union,交并比)是目标检测中所用的一个概念，是产生的候选框(candidate/anchor bound)与原标记框(groundtruth bound)的交叠率，即它们的交集与并集的比值。最理想情况是完全重叠，即比值为1。
2)测试：输入一张图像，网格模型将预定义的标记框进行分类回归，对于回归后的目标通过非极大值抑制(Non-Maximum Suppression,NMS)方法去掉重叠框，最终得到图标在目标图像中的位置。
如上所述，所述待识别区域可从上述候选识别区域中选取。在一些实施例中，相应地，在子步骤S120中，用户设备基于所述预设选取条件从所述至少一个候选识别区域中确定待识别区域。其中，对待识别区域的选取既可由***自行完成，亦可由用户完成。
具体而言，所述预设选取条件包括以下至少任一项：
-在所述用户设备的屏幕上与预设目标点距离最近的候选识别区域为待识别区域。在一些实施例中，在用户设备的屏幕上的两个点之间的距离，基于该两个点在屏幕上的坐标计算。在另一些实施例中，候选识别区域与预设目标点之间的距离，基于该候选识别区域的中心点与预设目标点之间的距离确定。藉此，用户无需另行选取待识别区域，操作效率较高。
-在所述用户设备的屏幕上与预设目标区域距离最近的候选识别区域为待识别区域。在一些实施例中，候选识别区域与预设目标区域之间的距离，基于该两个区域的中心点之间的距离确定，该距离的计算方法与以上所述的距离的计算方法相同或基本相同。以图4示出的用户界面为例，该界面包含多个候选识别区域30以及预设目标区域40，中心点与预设目标区域40的中心点最近的候选识别区域对应的待识别图标为c，则该候选识别区域被确定为待识别区域。用户无需另行选取待识别区域，操作效率较高。
-在所述用户设备的屏幕上与预设目标区域交集非空的候选识别区域为待识别区域。仍以图4为例，与预设目标区域40交集非空的候选识别区域对应的待识别图标为a、b和c，则相应的三个候选识别区域被确定为待识别区域。用户无需另行选取待识别区域，操作效率较高。
-用户在所述用户设备的屏幕上所选取的候选识别区域为待识别区域。其中，用户选取待识别区域的方式，包括但不限于用户在所述用户设备的触控屏幕上触碰(例如用户的触碰点在某个候选识别区域内，则该候选识别区域被确定为待识别区域，或者与用户的触碰点距离最近的候选识别区域被确定为待识别区域)、用户通过语音指令(或手势、眼球追踪、鼠标/键盘输入等方式)选取屏幕上的候选识别区域为待识别区域、用户通过与用户设备以有线/无线方式通信的其他外部设备选取屏幕上的候选识别区域为待识别区域。对于包含较多候选识别区域的目标图像而言，通过该方式用户可精确选取所需区域，大大减少误操作的可能。
当然，本领域技术人员应能理解，上述预设选取条件仅为举例而非对本申请的限制，其他现有的或者今后可能出现的预设选取条件如能适用于本申请，也包含在本申请的保护范围内，并以引用的方式包含于此。
其中，在采用预设目标区域的情形下，可根据该预设目标区域40调整拍摄参数，例如调用摄像装置的对焦、曝光、白平衡等接口，以克服目标图像中图标模糊、光线太暗、颜色失真等问题以更好地识别图标。
另外，为了进一步减少误操作(例如，用于识别的待识别区域并不符合用户的期望)，候选识别区域被选取为待识别区域后，与其他候选识别区域区分呈现。以图4为例，假设对应图标c的区域被选为待识别区域，该区域相对于其他候选识别区域(a,b,d～f)被区分呈现，例如采用不同的外框颜色。
在以上所述的一个或多个实施例中，用户设备先检测若干候选识别区域，并从这些候选识别区域中选取待识别区域，再对选取的待识别区域进行图像识别从而确定并呈现相应的关联信息。而在另一些实施例中，则可直接确定多个待识别区域，例如将上述候选识别区域直接作为待识别区域，并分别进行图像识别操作；后续根据选取操作，将被选中的待识别区域对应的关联信息呈现给用户。参考图5，在步骤S100中，用户设备检测关于目标装置的目标图像中的至少一个待识别区域，其中每个待识别区域包含至少一个待识别图标；在步骤S200中，用户设备对所述至少一个待识别区域进行图像识别操作，以确定每个待识别图标的关联信息；而在步骤S300中，用户设备呈现用户所选取的待识别区域中的待识别图标的关联信息。由于在用户的选取操作之前各待识别区域的关联信息已被确定，则用户选取所需区域并由***呈现相应的关联信息的过程的时延较少，用户体验较佳，且在用户需要同时了解多个图标的含义或说明的情形下具有较高的效率。
在一些实施例中，为便于用户确定当前的待识别区域并准确选取需要呈现关联信息的待识别区域，上述步骤S300包括子步骤S310(未示出)和子步骤S320(未示出)。在子步骤S310中，相对于目标图像的其他区域，用户设备区分呈现所述至少一个待识别区域；在子步骤S320中，用户设备基于用户对被区分呈现的至少一个待识别区域的选取操作，呈现用户所选取的待识别区域中的待识别图标的关联信息。其中，区分呈现这些待识别区域的方式与以上所述的区分呈现候选识别区域的方式相同或基本相同。以图3和图4为例，这些待识别区域以方框示出而被区分呈现，且每个方框中分别包含由a～f的其中一个字母代表的待识别图标。
其中，本领域技术人员应能理解，以上所述的以方框示出而区分呈现相关区域(例如上述候选识别区域以及待识别区域)的方式仅为举例而非对本申请的限定，其他现有的或者今后可能出现的对区域进行区分呈现的方式如能适用于本申请，也包含在本申请的保护范围内，并以引用的方式包含于此。例如，相关区域被叠加圆形或其他形状的外框从而被区分呈现，或者相关区域被放大呈现从而被区分呈现。
在一些实施例中，在呈现某个或某些待识别区域的关联信息之后，为便于用户获取其他待识别区域的关联信息，在步骤S300中，用户设备基于用户对至少一个待识别区域的选取操作，呈现用户所选取的待识别区域中的待识别图标的关联信息，并在第一终止条件被满足时停止呈现所述关联信息，以做好呈现其他待识别图标的关联信息的准备。在一些实施例中，所述第一终止条件包括但不限于以下至少任一项：
-所述关联信息被呈现的时间超过预设的呈现时间阈值，例如当该呈现时间阈值为20秒，则当该关联信息被呈现的时间达到或者超过20秒，用户设备即不再呈现所述关联信息，直至用户对待识别区域重新进行选取操作时呈现相应的关联信息；
-检测到用户的终止呈现指令，例如用户在用户设备的触控屏幕上点击用户界面上的“返回”按钮，或通过其他方式，包括但不限于通过语音指令、手势指令、眼球追踪指令、操作外部设备(例如通过鼠标/键盘输入相应指令)等方式，向用户设备提供该终止呈现指令。
本领域技术人员应能理解，上述第一终止条件仅为举例而非对本申请的限制，其他现有的或者今后可能出现的第一终止条件如能适用于本申请，也包含在本申请的保护范围内，并以引用的方式包含于此。
事实上，除了以上所述的用户设备基于用户对至少一个待识别区域的选取操作呈现用户所选取的待识别区域中的待识别图标的关联信息的情形，用户设备在其他情形下亦可通过相似的方式停止呈现所述关联信息。在步骤S300中，用户设备呈现所述关联信息，并在第二终止条件被满足时停止呈现所述关联信息。其中，该第二终止条件与以上所述的第一终止条件相同或基本相同。以用户设备呈现候选识别区域、并对选自候选识别区域的待识别区域进行图像识别、进而呈现相应的待识别图标的关联信息的情形为例，所述第二终止条件包括但不限于以下至少任一项：
-所述关联信息被呈现的时间超过预设的呈现时间阈值，例如当该呈现时间阈值为20秒，则当该关联信息被呈现的时间达到或者超过20秒，用户设备即不再呈现所述关联信息，直至重新确定待识别区域时呈现相应的关联信息；
-检测到用户的终止呈现指令，例如用户在用户设备的触控屏幕上点击用户界面上的“返回”按钮，或通过其他方式，包括但不限于通过语音指令、手势指令、眼球追踪指令、操作外部设备(例如通过鼠标/键盘输入相应指令)等方式，向用户设备提供该终止呈现指令。
在一些实施例中，所述关联信息被叠加呈现于待识别区域的相应位置(例如叠加于该区域上或者附近)，以便用户参考目标装置上相应图标的实际位置而提高操作效率。为了向用户提供更佳的操作体验，在一些实施例中，所述关联信息以增强现实(AugmentedReality,AR)的方式叠加呈现在目标装置的实景画面中。在此，上述方法还包括步骤S400(未示出)。在步骤S400中，用户设备基于所述目标图像确定所述用户设备的位姿信息；相应地，随后在步骤S300中，用户设备基于所述位姿信息，叠加呈现所述关联信息。其中，该关联信息作为空间中的虚拟实体呈现于用户设备的显示装置上。用户设备的位姿信息可基于一指定的坐标系进行，例如指定所述目标装置所在的位置为世界坐标系的原点，并基于该世界坐标系确定用户设备的空间位置信息和姿态信息；在一些实施例中，所述关联信息的位置和姿态也基于该世界坐标系确定，为了正确呈现所述关联信息，须根据世界坐标系下所述关联信息的位置和姿态转换至用户设备坐标系(或相机坐标系)下的位置和姿态，再基于用户设备坐标系(其为三维坐标系)与用户设备的屏幕坐标系(其为二维坐标系)的映射关系确定关联信息的显示属性(例如位置、大小等)。
在此基础上，在一些实施例中，***对图标进行跟踪，以在用户设备(或其摄像装置)相对于目标装置的位姿发生改变后仍使关联信息正确叠加在屏幕中相应图标的正确位置。相应地，上述方法还包括步骤S500。在步骤S500中，用户设备基于所述用户设备的更新后的位姿信息，更新叠加呈现的所述关联信息，以使所述关联信息正确叠加在屏幕中相应图标的正确位置。
例如，在用户设备将识别算法得到的信息发送给跟踪算法，进行初始化操作并确定关联信息的初始的呈现位置和呈现方式后，用户设备根据更新的目标图像信息，仍然基于上述跟踪算法，跟踪目标图像的变化并实时更新用户设备的位姿信息。
其中，上述跟踪算法可以是三维跟踪算法、二维跟踪算法或其他跟踪算法。就三维跟踪算法而言，对目标图像信息的跟踪可基于SLAM(Simultaneous Localization AndMapping,即时定位与建图)算法实现。SLAM算法有多种，例如SIFT(Scale-InvariantFeature Transform,尺度不变特征变换)SLAM算法、SURF(Speeded Up Robust Features,加速鲁棒特征)SLAM算法、VINS(Visual-inertial System,视觉惯性***)SLAM算法、ORB(Oriented FAST and Rotated BRIEF)SLAM算法等。
现有SLAM算法的跟踪框架大致都可以分为如下几个部分：
1)获取摄像头或其它传感器信息；
2)通过摄像头或其它传感器信息估算观察者的位姿；
3)优化不同时刻观察者的位姿、地图点、和回环检测的信息；
4)回环检测判断观察者是否到达过先前的位置；
5)建立地图。
而二维跟踪算法则仅根据二维平面图像信息进行跟踪而不涉及三维信息，输入与输出与三维跟踪基本一致。例如，该二维跟踪算法是KCF核相关滤波跟踪算法。在完成对目标装置的识别之后，跟踪算法不断计算用户设备的新的位姿，以更新目标装置在用户设备的屏幕中的位置。在一个实施例中，基于二维跟踪算法更新用户设备的位姿大致包括以下几个步骤：
1)选择识别目标装置之后得到的用户设备的位姿信息，将其发送给跟踪算法，跟踪算法选取目标装置特征点及对应的匹配模板；
2)根据上一帧的位姿信息，计算1)中特征点和特征点匹配模板上的点在当前帧的位置，在这些位置周围寻找与1)中特征点最匹配的点，得到一个匹配点对；
3)根据2)中的匹配点对，计算当前帧对应的用户设备的位姿信息。
当然，本领域技术人员应能理解，以上所述的三维或二维跟踪算法仅为举例，并不对本申请的具体实施方式进行任何限定，其他现有的或今后可能出现的跟踪算法如能适用于本申请，也包含在本申请的保护范围内，并以引用方式包含于此。
在本申请的一些实施例中，对待识别区域的检测是基于静态图像(例如用户设备拍摄的静态照片)进行的。而在另一些实施例中，该过程亦可基于动态的视频进行，以便用户及时调整用户设备的拍摄角度从而提高操作效率。在步骤S100中，用户设备获取关于目标装置的目标视频，并基于所述目标视频中关于目标装置的目标图像，检测所述目标图像中的待识别区域，其中所述待识别区域包含至少一个待识别图标。例如，以上所述的检测和识别过程是根据目标视频的静态图像帧(例如目标视频中多个图像帧的其中一个图像帧)实现的。结合上述有关对图标进行跟踪的相关描述，进一步地，在一些实施例中，用户设备基于所述目标视频(例如，基于所述其中一个图像帧以外的其他图像帧)更新所述用户设备的位姿信息，其中所述用户设备的更新后的位姿信息用于更新呈现所述关联信息。
在一些实施例中，为使用户更清楚地了解当前所呈现的关联信息所对应的待识别区域以降低误操作的机率，在步骤S300中，用户设备相对于所述目标图像的其他部分，区分呈现所述待识别区域，并呈现所述关联信息。在此，区分呈现所述待识别区域，包括但不限于放大呈现所述待识别区域、高亮呈现所述待识别区域等，并且本领域技术人员应能理解这些区分呈现待识别区域的方式仅为举例而非对本申请的限制，其他现有的或者今后可能出现的区分呈现待识别区域的方式如能适用于本申请，也包含在本申请的保护范围内，并以引用的方式包含于此。
根据本申请的另一个方面，提供了一种用于呈现图标的关联信息的用户设备。参考图6，该用户设备包括第一模块100、第二模块200和第三模块300。
具体而言，第一模块100检测关于目标装置的目标图像中的待识别区域，其中所述待识别区域包含至少一个待识别图标。其中，在一些实施例中，关于目标装置的目标图像由用户设备采集，例如通过上述摄像装置采集。该目标图像包含待识别图标，例如对于汽车驾驶舱而言该待识别图标为车内相应的指示灯、开关、按钮或操纵杆上的相应图标。
第二模块200对所述待识别区域进行图像识别操作，以确定所述待识别图标的关联信息。其中，所述关联信息用于提供相应图标的图标含义、相关说明，该关联信息在一些实施例中为图形或文字说明，亦可包括动画、视频、声音、三维模型等。本领域技术人员应能理解，这些关联信息仅为举例而不对本申请进行任何限定，其他现有的或者今后可能出现的关联信息的形式如能适用于本申请，也包含在本申请的保护范围内，并以引用的方式包含于此。
第三模块300呈现所述关联信息，例如通过所述触控屏幕呈现该关联信息。在一些实施例中，所述关联信息被叠加呈现于所述目标图像上相关图标的相应位置；在另一些实施例中，所述关联信息被呈现于所述触控屏幕上的预设区域，例如不同图标对应的关联信息均呈现于该预设区域。当然，本领域技术人员应能理解，这些呈现关联信息的方式仅为举例而不对本申请进行任何限定，其他现有的或者今后可能出现的呈现关联信息的方式如能适用于本申请，也包含在本申请的保护范围内，并以引用的方式包含于此。例如，用户设备在采集上述目标图像后在其屏幕上呈现该目标图像，并在完成对待识别区域的图像识别操作后取消呈现该目标图像并呈现上述关联信息。
在一些实施例中，关于目标装置的目标图像中可能存在多个图标可供识别，用户设备首先获取一个或者多个候选识别区域，再从该一个或者多个候选识别区域中选取待识别区域，以识别该待识别区域中的待识别图标。相应地，参考图7，第一模块100包括第一一单元110和第一二单元120。
具体而言，第一一单元110检测关于目标装置的目标图像中的至少一个候选识别区域，其中每个候选识别区域分别包含至少一个待识别图标；第一二单元120从所述至少一个候选识别区域中确定待识别区域。参考图3示出的用户设备及其用户界面，用户设备10采集目标装置20的目标图像，其中目标装置20包含多个待识别图标，这些待识别图标分别以a～f字母表示。当然，本领域技术人员应能理解，图3中示出的待识别图标的分布方式仅为举例，而非对本申请的任何限定。用户设备根据该目标图像检测分别包含上述待识别图标的若干候选识别区域，其中，候选识别区域只要包含待识别图标即可，其大小、形状、位置不作限定，，可选地这些候选识别区域相对于所述目标图像中的其他区域被区分呈现；在图3中，这些候选识别区域以方框示出而被区分呈现，且每个方框中分别包含由a～f的其中一个字母代表的待识别图标；之后用户设备从这些候选识别区域中选取至少一个，作为待识别区域，用于进一步的图像识别操作。藉此，一方面能够节省计算资源以提高***的操作效率；另一方面，由于待识别区域相对于目标图像中的其他区域被区分呈现，因此用户能直观地确认***检测到的待识别区域是否包含所需区域，以便及时调整拍摄角度从而提高操作效率。
其中，可通过多种方式检测目标图像中的候选识别区域。在一些实施例中，该检测过程是基于目标图像的图像梯度信息实现的。第一一单元110检测关于目标装置的目标图像的梯度信息以确定至少一个候选识别区域，其中每个候选识别区域分别包含至少一个待识别图标。其中，将图像看成二维离散函数，则图像的梯度信息是这个二维离散函数的导数。梯度算法是考虑图像的每个像素的某个邻域内的灰度变化，所以当图像中存在边缘时，一定有较大的梯度值；相反，当图像中有比较平滑的部分时，灰度值变化较小，则相应的梯度也较小。所以根据目标图像的梯度信息，可以找到目标图像中图标的位置。
为提高识别效率，可在开始识别前进行图像去噪操作。图像去噪的方式包括但不限于基于均值滤波器、自适应维纳滤波器、中值滤波器、形态学噪声滤除器、变换域滤波(小波变换)、马尔可夫随机场模型、偏微分方程、变分法等实现；亦可基于深度学习进行去噪，例如通过GANs训练输入图像的噪声分布，并利用生成的噪声样本生成训练数据以训练去噪深度神经网络，从而实现图像盲去噪；还可以根据当前场景的一些先验知识来进行排除噪音，例如根据适用场景中拍摄设备距离拍摄目标的距离，大致估算出目标图标的大小，进而排除一些过大或过小的图标。此外还可基于联通域合并，将相距很近并且大小面积相距悬殊的两个联通域合并为一个。
除了以上所述的基于目标图像的梯度信息的检测方式，目标图像中候选识别区域的检测还可通过其他检测方式实现。在另一些实施例中，基于目标检测算法对关于目标装置的目标图像进行检测，以确定至少一个候选识别区域，其中每个候选识别区域分别包含至少一个待识别图标。
例如，在一些实施例中，用户设备基于视觉显著性检测算法以检测所述候选识别区域，其中一种显著性模型如下：对于目标图像，提取其初级视觉特征(颜色(RGBY)、亮度、方位)，在多种尺度下使用中央周边(center-surround)操作产生体现显著性度量的特征图，将这些特征图合并得到最终的显著图(Saliency Map)后，利用赢者取全(winner-take-all)的竞争机制得到图像中最显著的空间位置，用来向导注意位置的选取，最后采用返回抑制(Inhibition of Return)的方法来完成注意焦点的转移。视觉显著性计算模型大致上可分为特征提取与特征融合两个阶段，在特征融合阶段，可能存在自底向上的底层特征驱动的融合方式，和自顶向下的基于先验信息与任务的融合方式。
又例如，在另一些实施例中，用户设备基于Adaboost算法确定候选识别区域的位置。其中，Adaboost是一种迭代方法，其针对不同的训练集训练同一个弱分类器，然后把在不同训练集上得到的弱分类器集合起来，构成一个最终的强分类器：对每个特征，计算所有训练样本的特征值并将特征值排序，对排好序的每个元素计算：全部正例的权重和、全部负例的权重和、该元素前正例的权重和、该元素前负例的权重和，再选取当前元素的特征值和它前面的一个特征值之间的数作为阈值，所得到的弱分类器就在当前元素处把样本分开。也就是说这个阈值对应的弱分类器将当前元素前的所有元素分为目标(或非目标)，而把当前元素后(含)的所有元素分为非目标(或目标)；将这些弱分类器组合成一个强分类器，得到最终的分类器。
当然，本领域技术人员应能理解，上述用于检测候选识别区域的目标检测的方式仅为举例而非对本申请的限制，其他现有的或者今后可能出现的用于检测候选识别区域的方式如能适用于本申请，也包含在本申请的保护范围内，并以引用的方式包含于此，例如其它的基于图像处理、计算机视觉、模式识别、机器学习、神经网络等进行目标检测的方法均包含在内。
例如，在一些实施例中，***基于深度学习检测候选识别区域，包括训练和测试两个步骤。一种具体方式如下：
1)训练检测模型：首先准备训练集和对应标签，即包含图标的图像，以及图标的类别，其中，对所有需要识别的图标，均需要准备训练集和标签来训练深度学习模型，否则无法检测出该图标。接着训练深度学习模型，根据训练集，不断迭代训练模型的参数，直到模型收敛，该过程要保证训练样本的数量。
2)测试：将设备拍摄的图像，利用滑动窗口(从左到右，从上到下)遍历整个图像，得到很多不同尺寸的图像块，将每个图像块输入训练好的深度学习模型，当深度学习模型识别出该图像块时，即得到图标在目标图像中的位置。
另一种具体方式如下：
1)训练检测模型：训练集是包含图例的图像，预先标注该图像中的图例的位置和类别，然后网络模型中通过预定义的一些候选框，和标记框进行匹配，匹配IoU>＝0.5的可以作为正样本，IoU<0.5的可以作为负样本，正负样本通过分类器进行分类，正样本通过回归器回归框的位置。其中，IoU(Intersection-over-Union,交并比)是目标检测中所用的一个概念，是产生的候选框(candidate/anchor bound)与原标记框(ground truth bound)的交叠率，即它们的交集与并集的比值。最理想情况是完全重叠，即比值为1。
2)测试：输入一张图像，网格模型将预定义的标记框进行分类回归，对于回归后的目标通过非极大值抑制(Non-Maximum Suppression,NMS)方法去掉重叠框，最终得到图标在目标图像中的位置。
如上所述，所述待识别区域可从上述候选识别区域中选取。在一些实施例中，相应地，第一二单元120基于所述预设选取条件从所述至少一个候选识别区域中确定待识别区域。其中，对待识别区域的选取既可由***自行完成，亦可由用户完成。
具体而言，所述预设选取条件包括以下至少任一项：
-在所述用户设备的屏幕上与预设目标点距离最近的候选识别区域为待识别区域。在一些实施例中，在用户设备的屏幕上的两个点之间的距离，基于该两个点在屏幕上的坐标计算。在另一些实施例中，候选识别区域与预设目标点之间的距离，基于该候选识别区域的中心点与预设目标点之间的距离确定。藉此，用户无需另行选取待识别区域，操作效率较高。
-在所述用户设备的屏幕上与预设目标区域距离最近的候选识别区域为待识别区域。在一些实施例中，候选识别区域与预设目标区域之间的距离，基于该两个区域的中心点之间的距离确定，该距离的计算方法与以上所述的距离的计算方法相同或基本相同。以图4示出的用户界面为例，该界面包含多个候选识别区域30以及预设目标区域40，中心点与预设目标区域40的中心点最近的候选识别区域对应的待识别图标为c，则该候选识别区域被确定为待识别区域。用户无需另行选取待识别区域，操作效率较高。
-在所述用户设备的屏幕上与预设目标区域交集非空的候选识别区域为待识别区域。仍以图4为例，与预设目标区域40交集非空的候选识别区域对应的待识别图标为a、b和c，则相应的三个候选识别区域被确定为待识别区域。用户无需另行选取待识别区域，操作效率较高。
-用户在所述用户设备的屏幕上所选取的候选识别区域为待识别区域。其中，用户选取待识别区域的方式，包括但不限于用户在所述用户设备的触控屏幕上触碰(例如用户的触碰点在某个候选识别区域内，则该候选识别区域被确定为待识别区域，或者与用户的触碰点距离最近的候选识别区域被确定为待识别区域)、用户通过语音指令(或手势、眼球追踪、鼠标/键盘输入等方式)选取屏幕上的候选识别区域为待识别区域、用户通过与用户设备以有线/无线方式通信的其他外部设备选取屏幕上的候选识别区域为待识别区域。对于包含较多候选识别区域的目标图像而言，通过该方式用户可精确选取所需区域，大大减少误操作的可能。
当然，本领域技术人员应能理解，上述预设选取条件仅为举例而非对本申请的限制，其他现有的或者今后可能出现的预设选取条件如能适用于本申请，也包含在本申请的保护范围内，并以引用的方式包含于此。
其中，在采用预设目标区域的情形下，可根据该预设目标区域40调整拍摄参数，例如调用摄像装置的对焦、曝光、白平衡等接口，以克服目标图像中图标模糊、光线太暗、颜色失真等问题以更好地识别图标。
另外，为了进一步减少误操作(例如，用于识别的待识别区域并不符合用户的期望)，候选识别区域被选取为待识别区域后，与其他候选识别区域区分呈现。以图4为例，假设对应图标c的区域被选为待识别区域，该区域相对于其他候选识别区域(a,b,d～f)被区分呈现，例如采用不同的外框颜色。
在以上所述的一个或多个实施例中，用户设备先检测若干候选识别区域，并从这些候选识别区域中选取待识别区域，再对选取的待识别区域进行图像识别从而确定并呈现相应的关联信息。而在另一些实施例中，则可直接确定多个待识别区域，例如将上述候选识别区域直接作为待识别区域，并分别进行图像识别操作；后续根据选取操作，将被选中的待识别区域对应的关联信息呈现给用户。第一模块100检测关于目标装置的目标图像中的至少一个待识别区域，其中每个待识别区域包含至少一个待识别图标；第二模块200对所述至少一个待识别区域进行图像识别操作，以确定每个待识别图标的关联信息；而第三模块300呈现用户所选取的待识别区域中的待识别图标的关联信息。由于在用户的选取操作之前各待识别区域的关联信息已被确定，则用户选取所需区域并由***呈现相应的关联信息的过程的时延较少，用户体验较佳，且在用户需要同时了解多个图标的含义或说明的情形下具有较高的效率。
在一些实施例中，为便于用户确定当前的待识别区域并准确选取需要呈现关联信息的待识别区域，上述第三模块300包括第三一单元310(未示出)和第三二单元320(未示出)。相对于目标图像的其他区域，第三一单元310区分呈现所述至少一个待识别区域；第三二单元320基于用户对被区分呈现的至少一个待识别区域的选取操作，呈现用户所选取的待识别区域中的待识别图标的关联信息。其中，区分呈现这些待识别区域的方式与以上所述的区分呈现候选识别区域的方式相同或基本相同。以图3和图4为例，这些待识别区域以方框示出而被区分呈现，且每个方框中分别包含由a～f的其中一个字母代表的待识别图标。
其中，本领域技术人员应能理解，以上所述的以方框示出而区分呈现相关区域(例如上述候选识别区域以及待识别区域)的方式仅为举例而非对本申请的限定，其他现有的或者今后可能出现的对区域进行区分呈现的方式如能适用于本申请，也包含在本申请的保护范围内，并以引用的方式包含于此。例如，相关区域被叠加圆形或其他形状的外框从而被区分呈现，或者相关区域被放大呈现从而被区分呈现。
在一些实施例中，在呈现某个或某些待识别区域的关联信息之后，为便于用户获取其他待识别区域的关联信息，第三模块300基于用户对至少一个待识别区域的选取操作，呈现用户所选取的待识别区域中的待识别图标的关联信息，并在第一终止条件被满足时停止呈现所述关联信息，以做好呈现其他待识别图标的关联信息的准备。在一些实施例中，所述第一终止条件包括但不限于以下至少任一项：
-所述关联信息被呈现的时间超过预设的呈现时间阈值，例如当该呈现时间阈值为20秒，则当该关联信息被呈现的时间达到或者超过20秒，用户设备即不再呈现所述关联信息，直至用户对待识别区域重新进行选取操作时呈现相应的关联信息；
-检测到用户的终止呈现指令，例如用户在用户设备的触控屏幕上点击用户界面上的“返回”按钮，或通过其他方式，包括但不限于通过语音指令、手势指令、眼球追踪指令、操作外部设备(例如通过鼠标/键盘输入相应指令)等方式，向用户设备提供该终止呈现指令。
本领域技术人员应能理解，上述第一终止条件仅为举例而非对本申请的限制，其他现有的或者今后可能出现的第一终止条件如能适用于本申请，也包含在本申请的保护范围内，并以引用的方式包含于此。
事实上，除了以上所述的用户设备基于用户对至少一个待识别区域的选取操作呈现用户所选取的待识别区域中的待识别图标的关联信息的情形，用户设备在其他情形下亦可通过相似的方式停止呈现所述关联信息。第三模块300呈现所述关联信息，并在第二终止条件被满足时停止呈现所述关联信息。其中，该第二终止条件与以上所述的第一终止条件相同或基本相同。以用户设备呈现候选识别区域、并对选自候选识别区域的待识别区域进行图像识别、进而呈现相应的待识别图标的关联信息的情形为例，所述第二终止条件包括但不限于以下至少任一项：
-所述关联信息被呈现的时间超过预设的呈现时间阈值，例如当该呈现时间阈值为20秒，则当该关联信息被呈现的时间达到或者超过20秒，用户设备即不再呈现所述关联信息，直至重新确定待识别区域时呈现相应的关联信息；
-检测到用户的终止呈现指令，例如用户在用户设备的触控屏幕上点击用户界面上的“返回”按钮，或通过其他方式，包括但不限于通过语音指令、手势指令、眼球追踪指令、操作外部设备等方式，向用户设备提供该终止呈现指令。
在一些实施例中，所述关联信息被叠加呈现于待识别区域的相应位置(例如叠加于该区域上或者附近)，以便用户参考目标装置上相应图标的实际位置而提高操作效率。为了向用户提供更佳的操作体验，在一些实施例中，所述关联信息以增强现实(AugmentedReality,AR)的方式叠加呈现在目标装置的实景画面中。在此，上述用户设备还包括第四模块400(未示出)。第四模块400基于所述目标图像确定所述用户设备的位姿信息；相应地，随后第三模块300基于所述位姿信息，叠加呈现所述关联信息。其中，该关联信息作为空间中的虚拟实体呈现于用户设备的显示装置上。用户设备的位姿信息可基于一指定的坐标系进行，例如指定所述目标装置所在的位置为世界坐标系的原点，并基于该世界坐标系确定用户设备的空间位置信息和姿态信息；在一些实施例中，所述关联信息的位置和姿态也基于该世界坐标系确定，为了正确呈现所述关联信息，须根据世界坐标系下所述关联信息的位置和姿态转换至用户设备坐标系(或相机坐标系)下的位置和姿态，再基于用户设备坐标系(其为三维坐标系)与用户设备的屏幕坐标系(其为二维坐标系)的映射关系确定关联信息的显示属性(例如位置、大小等)。
在此基础上，在一些实施例中，***对图标进行跟踪，以在用户设备(或其摄像装置)相对于目标装置的位姿发生改变后仍使关联信息正确叠加在屏幕中相应图标的正确位置。相应地，上述用户设备还包括第五模块500。第五模块500基于所述用户设备的更新后的位姿信息，更新叠加呈现的所述关联信息，以使所述关联信息正确叠加在屏幕中相应图标的正确位置。
例如，在用户设备将识别算法得到的信息发送给跟踪算法，进行初始化操作并确定关联信息的初始的呈现位置和呈现方式后，用户设备根据更新的目标图像信息，仍然基于上述跟踪算法，跟踪目标图像的变化并实时更新用户设备的位姿信息。
其中，上述跟踪算法可以是三维跟踪算法、二维跟踪算法或其他跟踪算法。就三维跟踪算法而言，对目标图像信息的跟踪可基于SLAM(Simultaneous Localization AndMapping,即时定位与建图)算法实现。SLAM算法有多种，例如SIFT(Scale-InvariantFeature Transform,尺度不变特征变换)SLAM算法、SURF(Speeded Up Robust Features,加速鲁棒特征)SLAM算法、VINS(Visual-inertial System,视觉惯性***)SLAM算法、ORB(Oriented FAST and Rotated BRIEF)SLAM算法等。
现有SLAM算法的跟踪框架大致都可以分为如下几个部分：
1)获取摄像头或其它传感器信息；
2)通过摄像头或其它传感器信息估算观察者的位姿；
3)优化不同时刻观察者的位姿、地图点、和回环检测的信息；
4)回环检测判断观察者是否到达过先前的位置；
5)建立地图。
而二维跟踪算法则仅根据二维平面图像信息进行跟踪而不涉及三维信息，输入与输出与三维跟踪基本一致。例如，该二维跟踪算法是KCF核相关滤波跟踪算法。在完成对目标装置的识别之后，跟踪算法不断计算用户设备的新的位姿，以更新目标装置在用户设备的屏幕中的位置。在一个实施例中，基于二维跟踪算法更新用户设备的位姿大致包括以下几个步骤：
1)选择识别目标装置之后得到的用户设备的位姿信息，将其发送给跟踪算法，跟踪算法选取目标装置特征点及对应的匹配模板；
2)根据上一帧的位姿信息，计算1)中特征点和特征点匹配模板上的点在当前帧的位置，在这些位置周围寻找与1)中特征点最匹配的点，得到一个匹配点对；
3)根据2)中的匹配点对，计算当前帧对应的用户设备的位姿信息。
当然，本领域技术人员应能理解，以上所述的三维或二维跟踪算法仅为举例，并不对本申请的具体实施方式进行任何限定，其他现有的或今后可能出现的跟踪算法如能适用于本申请，也包含在本申请的保护范围内，并以引用方式包含于此。
在本申请的一些实施例中，对待识别区域的检测是基于静态图像(例如用户设备拍摄的静态照片)进行的。而在另一些实施例中，该过程亦可基于动态的视频进行，以便用户及时调整用户设备的拍摄角度从而提高操作效率。第一模块100获取关于目标装置的目标视频，并基于所述目标视频中关于目标装置的目标图像，检测所述目标图像中的待识别区域，其中所述待识别区域包含至少一个待识别图标。例如，以上所述的检测和识别过程是根据目标视频的静态图像帧(例如目标视频中多个图像帧的其中一个图像帧)实现的。结合上述有关对图标进行跟踪的相关描述，进一步地，在一些实施例中，用户设备基于所述目标视频(例如，基于所述其中一个图像帧以外的其他图像帧)更新所述用户设备的位姿信息，其中所述用户设备的更新后的位姿信息用于更新呈现所述关联信息。
在一些实施例中，为使用户更清楚地了解当前所呈现的关联信息所对应的待识别区域以降低误操作的机率，相对于所述目标图像的其他部分，第三模块300区分呈现所述待识别区域，并呈现所述关联信息。在此，区分呈现所述待识别区域，包括但不限于放大呈现所述待识别区域、高亮呈现所述待识别区域等，并且本领域技术人员应能理解这些区分呈现待识别区域的方式仅为举例而非对本申请的限制，其他现有的或者今后可能出现的区分呈现待识别区域的方式如能适用于本申请，也包含在本申请的保护范围内，并以引用的方式包含于此。
本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机代码，当所述计算机代码被执行时，如前任一项所述的方法被执行。
本申请还提供了一种计算机程序产品，当所述计算机程序产品被计算机设备执行时，如前任一项所述的方法被执行。
本申请还提供了一种计算机设备，所述计算机设备包括：
一个或多个处理器；
存储器，用于存储一个或多个计算机程序；
当所述一个或多个计算机程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如前任一项所述的方法。
图8示出了可被用于实施本申请中所述的各个实施例的示例性***。
如图8所示，在一些实施例中，***700能够作为各所述实施例中的任意一个用户设备。在一些实施例中，***700可包括具有指令的一个或多个计算机可读介质(例如，***存储器或NVM/存储设备720)以及与该一个或多个计算机可读介质耦合并被配置为执行指令以实现模块从而执行本申请中所述的动作的一个或多个处理器(例如，(一个或多个)处理器705)。
对于一个实施例，***控制模块710可包括任意适当的接口控制器，以向(一个或多个)处理器705中的至少一个和/或与***控制模块710通信的任意适当的设备或组件提供任意适当的接口。
***控制模块710可包括存储器控制器模块730，以向***存储器715提供接口。存储器控制器模块730可以是硬件模块、软件模块和/或固件模块。
***存储器715可被用于例如为***700加载和存储数据和/或指令。对于一个实施例，***存储器715可包括任意适当的易失性存储器，例如，适当的DRAM。在一些实施例中，***存储器715可包括双倍数据速率类型四同步动态随机存取存储器(DDR4SDRAM)。
对于一个实施例，***控制模块710可包括一个或多个输入/输出(I/O)控制器，以向NVM/存储设备720及(一个或多个)通信接口725提供接口。
例如，NVM/存储设备720可被用于存储数据和/或指令。NVM/存储设备720可包括任意适当的非易失性存储器(例如，闪存)和/或可包括任意适当的(一个或多个)非易失性存储设备(例如，一个或多个硬盘驱动器(Hard Disk,HDD)、一个或多个光盘(CD)驱动器和/或一个或多个数字通用光盘(DVD)驱动器)。
NVM/存储设备720可包括在物理上作为***700被安装在其上的设备的一部分的存储资源，或者其可被该设备访问而不必作为该设备的一部分。例如，NVM/存储设备720可通过网络经由(一个或多个)通信接口725进行访问。
(一个或多个)通信接口725可为***700提供接口以通过一个或多个网络和/或与任意其他适当的设备通信。***700可根据一个或多个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件进行无线通信。
对于一个实施例，(一个或多个)处理器705中的至少一个可与***控制模块710的一个或多个控制器(例如，存储器控制器模块730)的逻辑封装在一起。对于一个实施例，(一个或多个)处理器705中的至少一个可与***控制模块710的一个或多个控制器的逻辑封装在一起以形成***级封装(SiP)。对于一个实施例，(一个或多个)处理器705中的至少一个可与***控制模块710的一个或多个控制器的逻辑集成在同一模具上。对于一个实施例，(一个或多个)处理器705中的至少一个可与***控制模块710的一个或多个控制器的逻辑集成在同一模具上以形成片上***(SoC)。
在各个实施例中，***700可以但不限于是：服务器、工作站、台式计算设备或移动计算设备(例如，膝上型计算设备、手持计算设备、平板电脑、上网本等)。在各个实施例中，***700可具有更多或更少的组件和/或不同的架构。例如，在一些实施例中，***700包括一个或多个摄像机、键盘、液晶显示器(LCD)屏幕(包括触屏显示器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(ASIC)和扬声器。
需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。
另外，本申请的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。本领域技术人员应能理解，计算机程序指令在计算机可读介质中的存在形式包括但不限于源文件、可执行文件、安装包文件等，相应地，计算机程序指令被计算机执行的方式包括但不限于：该计算机直接执行该指令，或者该计算机编译该指令后再执行对应的编译后程序，或者该计算机读取并执行该指令，或者该计算机读取并安装该指令后再执行对应的安装后程序。在此，计算机可读介质可以是可供计算机访问的任意可用的计算机可读存储介质或通信介质。
通信介质包括藉此包含例如计算机可读指令、数据结构、程序模块或其他数据的通信信号被从一个***传送到另一***的介质。通信介质可包括有导的传输介质(诸如电缆和线(例如，光纤、同轴等))和能传播能量波的无线(未有导的传输)介质，诸如声音、电磁、RF、微波和红外。计算机可读指令、数据结构、程序模块或其他数据可被体现为例如无线介质(诸如载波或诸如被体现为扩展频谱技术的一部分的类似机制)中的已调制数据信号。术语“已调制数据信号”指的是其一个或多个特征以在信号中编码信息的方式被更改或设定的信号。调制可以是模拟的、数字的或混合调制技术。
作为示例而非限制，计算机可读存储介质可包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据的信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动的介质。例如，计算机可读存储介质包括，但不限于，易失性存储器，诸如随机存储器(RAM,DRAM,SRAM)；以及非易失性存储器，诸如闪存、各种只读存储器(ROM,PROM,EPROM,EEPROM)、磁性和铁磁/铁电存储器(MRAM,FeRAM)；以及磁性和光学存储设备(硬盘、磁带、CD、DVD)；或其它现在已知的介质或今后开发的能够存储供计算机***使用的计算机可读信息/数据。
在此，根据本申请的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
Claims (34)
1.一种用于在用户设备上呈现图标的关联信息的方法，其中，该方法包括：
检测关于目标装置的目标图像中的待识别区域，其中所述待识别区域包含至少一个待识别图标；
对所述待识别区域进行图像识别操作，以确定所述待识别图标的关联信息；
呈现所述关联信息。
2.根据权利要求1所述的方法，其中，所述检测关于目标装置的目标图像中的待识别区域，其中所述待识别区域包含至少一个待识别图标，包括：
检测关于目标装置的目标图像中的至少一个候选识别区域，其中每个候选识别区域分别包含至少一个待识别图标；
从所述至少一个候选识别区域中确定待识别区域。
3.根据权利要求2所述的方法，其中，所述检测关于目标装置的目标图像中的至少一个候选识别区域，其中每个候选识别区域分别包含至少一个待识别图标，包括：
检测关于目标装置的目标图像的梯度信息以确定至少一个候选识别区域，其中每个候选识别区域分别包含至少一个待识别图标。
4.根据权利要求2所述的方法，其中，所述检测关于目标装置的目标图像中的至少一个候选识别区域，其中每个候选识别区域分别包含至少一个待识别图标，包括：
基于目标检测算法对关于目标装置的目标图像进行检测，以确定至少一个候选识别区域，其中每个候选识别区域分别包含至少一个待识别图标。
5.根据权利要求2所述的方法，其中，所述从所述至少一个候选识别区域中确定待识别区域，包括：
基于所述预设选取条件从所述至少一个候选识别区域中确定待识别区域。
6.根据权利要求5所述的方法，其中，所述预设选取条件包括以下至少任一项：
在所述用户设备的屏幕上与预设目标点距离最近的候选识别区域为待识别区域；
在所述用户设备的屏幕上与预设目标区域距离最近的候选识别区域为待识别区域；
在所述用户设备的屏幕上与预设目标区域交集非空的候选识别区域为待识别区域；
用户在所述用户设备的屏幕上所选取的候选识别区域为待识别区域。
7.根据权利要求1所述的方法，其中，所述检测关于目标装置的目标图像中的待识别区域，其中所述待识别区域包含至少一个待识别图标，包括：
检测关于目标装置的目标图像中的至少一个待识别区域，其中每个待识别区域包含至少一个待识别图标；
所述对所述待识别区域进行图像识别操作，以确定所述待识别图标的关联信息，包括：
对所述至少一个待识别区域进行图像识别操作，以确定每个待识别图标的关联信息；
所述呈现所述关联信息，包括：
呈现用户所选取的待识别区域中的待识别图标的关联信息。
8.根据权利要求7所述的方法，其中，所述呈现用户所选取的待识别区域中的待识别图标的关联信息，包括：
区分呈现所述至少一个待识别区域；
基于用户对被区分呈现的至少一个待识别区域的选取操作，呈现用户所选取的待识别区域中的待识别图标的关联信息。
9.根据权利要求7所述的方法，其中，所述呈现用户所选取的待识别区域中的待识别图标的关联信息，包括：
基于用户对至少一个待识别区域的选取操作，呈现用户所选取的待识别区域中的待识别图标的关联信息，并在第一终止条件被满足时停止呈现所述关联信息。
10.根据权利要求9所述的方法，其中，所述第一终止条件包括以下至少任一项：
所述关联信息被呈现的时间超过预设的呈现时间阈值；
检测到用户的终止呈现指令。
11.根据权利要求1所述的方法，其中，所述呈现所述关联信息，包括：
呈现所述关联信息，并在第二终止条件被满足时停止呈现所述关联信息。
12.根据权利要求1所述的方法，其中，所述方法还包括：
基于所述目标图像确定所述用户设备的位姿信息；
所述呈现所述关联信息，包括：
基于所述位姿信息，叠加呈现所述关联信息。
13.根据权利要求12所述的方法，其中，所述方法还包括：
基于所述用户设备的更新后的位姿信息，更新叠加呈现的所述关联信息。
14.根据权利要求1或12所述的方法，其中，所述检测关于目标装置的目标图像中的待识别区域，其中所述待识别区域包含至少一个待识别图标，包括：
获取关于目标装置的目标视频，并基于所述目标视频中关于目标装置的目标图像，检测所述目标图像中的待识别区域，其中所述待识别区域包含至少一个待识别图标。
15.根据权利要求14所述的方法，其中，所述方法还包括：
基于所述目标视频更新所述用户设备的位姿信息，其中所述用户设备的更新后的位姿信息用于更新呈现所述关联信息。
16.根据权利要求1所述的方法，其中，所述呈现所述关联信息，包括：
区分呈现所述待识别区域，并呈现所述关联信息。
17.一种用于在用户设备上呈现图标的关联信息的装置，其中，该装置包括：
第一模块，用于检测关于目标装置的目标图像中的待识别区域，其中所述待识别区域包含至少一个待识别图标；
第二模块，用于对所述待识别区域进行图像识别操作，以确定所述待识别图标的关联信息；
第三模块，用于呈现所述关联信息。
18.根据权利要求17所述的装置，其中，所述第一模块包括：
第一一单元，用于检测关于目标装置的目标图像中的至少一个候选识别区域，其中每个候选识别区域分别包含至少一个待识别图标；
第一二单元，用于从所述至少一个候选识别区域中确定待识别区域。
19.根据权利要求18所述的装置，其中，所述第一一单元用于：
检测关于目标装置的目标图像的梯度信息以确定至少一个候选识别区域，其中每个候选识别区域分别包含至少一个待识别图标。
20.根据权利要求18所述的装置，其中，所述第一一单元用于：
基于目标检测算法对关于目标装置的目标图像进行检测，以确定至少一个候选识别区域，其中每个候选识别区域分别包含至少一个待识别图标。
21.根据权利要求18所述的装置，其中，所述第一二单元用于：
基于所述预设选取条件从所述至少一个候选识别区域中确定待识别区域。
22.根据权利要求21所述的装置，其中，所述预设选取条件包括以下至少任一项：
在所述用户设备的屏幕上与预设目标点距离最近的候选识别区域为待识别区域；
在所述用户设备的屏幕上与预设目标区域距离最近的候选识别区域为待识别区域；
在所述用户设备的屏幕上与预设目标区域交集非空的候选识别区域为待识别区域；
用户在所述用户设备的屏幕上所选取的候选识别区域为待识别区域。
23.根据权利要求17所述的装置，其中，所述第一模块用于：
检测关于目标装置的目标图像中的至少一个待识别区域，其中每个待识别区域包含至少一个待识别图标；
所述第二模块用于：
对所述至少一个待识别区域进行图像识别操作，以确定每个待识别图标的关联信息；
所述第三模块用于：
呈现用户所选取的待识别区域中的待识别图标的关联信息。
24.根据权利要求23所述的装置，其中，所述第三模块包括：
第三一单元，用于区分呈现所述至少一个待识别区域；
第三二单元，用于基于用户对被区分呈现的至少一个待识别区域的选取操作，呈现用户所选取的待识别区域中的待识别图标的关联信息。
25.根据权利要求23所述的装置，其中，所述第三模块用于：
基于用户对至少一个待识别区域的选取操作，呈现用户所选取的待识别区域中的待识别图标的关联信息，并在第一终止条件被满足时停止呈现所述关联信息。
26.根据权利要求25所述的装置，其中，所述第一终止条件包括以下至少任一项：
所述关联信息被呈现的时间超过预设的呈现时间阈值；
检测到用户的终止呈现指令。
27.根据权利要求17所述的装置，其中，所述第三模块用于：
呈现所述关联信息，并在第二终止条件被满足时停止呈现所述关联信息。
28.根据权利要求17所述的装置，其中，所述装置还包括：
第四模块，用于基于所述目标图像确定所述用户设备的位姿信息；
所述第三模块用于：
基于所述位姿信息，叠加呈现所述关联信息。
29.根据权利要求28所述的装置，其中，所述装置还包括：
第五模块，用于基于所述用户设备的更新后的位姿信息，更新叠加呈现的所述关联信息。
30.根据权利要求17或28所述的装置，其中，所述第一模块用于：
获取关于目标装置的目标视频，并基于所述目标视频中关于目标装置的目标图像，检测所述目标图像中的待识别区域，其中所述待识别区域包含至少一个待识别图标。
31.根据权利要求30所述的装置，其中，所述装置还包括：
第六模块，用于基于所述目标视频更新所述用户设备的位姿信息，其中所述用户设备的更新后的位姿信息用于更新呈现所述关联信息。
32.根据权利要求17所述的装置，其中，所述第三模块用于：
区分呈现所述待识别区域，并呈现所述关联信息。
33.一种用于在用户设备上呈现图标的关联信息的设备，其中，该设备包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行根据权利要求1至16中任一项所述方法的操作。
34.一种存储指令的计算机可读介质，所述指令在被执行时使得***进行根据权利要求1至16中任一项所述方法的操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910012110.2A CN109815854B (zh) | 2019-01-07 | 2019-01-07 | 一种用于在用户设备上呈现图标的关联信息的方法与设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910012110.2A CN109815854B (zh) | 2019-01-07 | 2019-01-07 | 一种用于在用户设备上呈现图标的关联信息的方法与设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109815854A true CN109815854A (zh) | 2019-05-28 |
| CN109815854B CN109815854B (zh) | 2021-08-10 |
Family
ID=66604039
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910012110.2A Active CN109815854B (zh) | 2019-01-07 | 2019-01-07 | 一种用于在用户设备上呈现图标的关联信息的方法与设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109815854B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110187774A (zh) * | 2019-06-06 | 2019-08-30 | 北京悉见科技有限公司 | 光学透视式的ar设备及其实体标注方法 |
| CN111753766A (zh) * | 2020-06-28 | 2020-10-09 | 平安科技（深圳）有限公司 | 一种图像处理方法、装置、设备及介质 |
| CN113469302A (zh) * | 2021-09-06 | 2021-10-01 | 南昌工学院 | 一种视频图像的多圆形目标识别方法和*** |
| CN114415839A (zh) * | 2022-01-27 | 2022-04-29 | 歌尔科技有限公司 | 一种信息显示方法、装置、设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107832397A (zh) * | 2017-10-30 | 2018-03-23 | 努比亚技术有限公司 | 一种图像处理方法、装置及计算机可读存储介质 |
| CN107918955A (zh) * | 2017-11-15 | 2018-04-17 | 百度在线网络技术（北京）有限公司 | 增强现实方法和装置 |
| CN107967482A (zh) * | 2017-10-24 | 2018-04-27 | 广东中科南海岸车联网技术有限公司 | 图标识别方法及装置 |
| CN108108671A (zh) * | 2017-12-05 | 2018-06-01 | 北京小米移动软件有限公司 | 产品说明信息获取方法及装置 |
| CN108318029A (zh) * | 2017-11-27 | 2018-07-24 | 中国电子科技集团公司电子科学研究院 | 姿态跟踪与图像叠加方法及显示设备 |
| CN108830967A (zh) * | 2018-09-27 | 2018-11-16 | 云南电网有限责任公司电力科学研究院 | 一种可视化的电力巡视方法及装置 |
-
2019
- 2019-01-07 CN CN201910012110.2A patent/CN109815854B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107967482A (zh) * | 2017-10-24 | 2018-04-27 | 广东中科南海岸车联网技术有限公司 | 图标识别方法及装置 |
| CN107832397A (zh) * | 2017-10-30 | 2018-03-23 | 努比亚技术有限公司 | 一种图像处理方法、装置及计算机可读存储介质 |
| CN107918955A (zh) * | 2017-11-15 | 2018-04-17 | 百度在线网络技术（北京）有限公司 | 增强现实方法和装置 |
| CN108318029A (zh) * | 2017-11-27 | 2018-07-24 | 中国电子科技集团公司电子科学研究院 | 姿态跟踪与图像叠加方法及显示设备 |
| CN108108671A (zh) * | 2017-12-05 | 2018-06-01 | 北京小米移动软件有限公司 | 产品说明信息获取方法及装置 |
| CN108830967A (zh) * | 2018-09-27 | 2018-11-16 | 云南电网有限责任公司电力科学研究院 | 一种可视化的电力巡视方法及装置 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110187774A (zh) * | 2019-06-06 | 2019-08-30 | 北京悉见科技有限公司 | 光学透视式的ar设备及其实体标注方法 |
| CN111753766A (zh) * | 2020-06-28 | 2020-10-09 | 平安科技（深圳）有限公司 | 一种图像处理方法、装置、设备及介质 |
| CN113469302A (zh) * | 2021-09-06 | 2021-10-01 | 南昌工学院 | 一种视频图像的多圆形目标识别方法和*** |
| CN114415839A (zh) * | 2022-01-27 | 2022-04-29 | 歌尔科技有限公司 | 一种信息显示方法、装置、设备及存储介质 |
| WO2023142265A1 (zh) * | 2022-01-27 | 2023-08-03 | 歌尔股份有限公司 | 一种信息显示方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109815854B (zh) | 2021-08-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3961485A1 (en) | Image processing method, apparatus and device, and storage medium | |
| CN110210571B (zh) | 图像识别方法、装置、计算机设备及计算机可读存储介质 | |
| WO2020010979A1 (zh) | 手部关键点的识别模型训练方法、识别方法及设备 | |
| JP6079832B2 (ja) | ヒューマンコンピュータインタラクションシステム、手と手指示点位置決め方法、及び手指のジェスチャ決定方法 | |
| CN109815854A (zh) | 一种用于在用户设备上呈现图标的关联信息的方法与设备 | |
| CN112052186B (zh) | 目标检测方法、装置、设备以及存储介质 | |
| CN110555839A (zh) | 缺陷检测识别方法、装置、计算机设备及存储介质 | |
| Dash et al. | Designing of marker-based augmented reality learning environment for kids using convolutional neural network architecture | |
| CN110310175A (zh) | 用于移动增强现实的***和方法 | |
| CN108229324A (zh) | 手势追踪方法和装置、电子设备、计算机存储介质 | |
| WO2021213067A1 (zh) | 物品显示方法、装置、设备及存储介质 | |
| US11308655B2 (en) | Image synthesis method and apparatus | |
| CN108416902A (zh) | 基于差异识别的实时物体识别方法和装置 | |
| CN107615310A (zh) | 信息处理设备 | |
| CN109064390A (zh) | 一种图像处理方法、图像处理装置及移动终端 | |
| US20220414910A1 (en) | Scene contour recognition method and apparatus, computer-readable medium, and electronic device | |
| CN113076814B (zh) | 文本区域的确定方法、装置、设备及可读存储介质 | |
| CN109271023B (zh) | 一种基于三维对象外形轮廓徒手手势动作表达的选择方法 | |
| CN109615655A (zh) | 一种确定物体姿态的方法及装置、电子设备及计算机介质 | |
| CN109584377A (zh) | 一种用于呈现增强现实内容的方法与设备 | |
| CN109656364A (zh) | 一种用于在用户设备上呈现增强现实内容的方法与设备 | |
| CN109656363A (zh) | 一种用于设置增强交互内容的方法与设备 | |
| CN110069125B (zh) | 虚拟对象的控制方法和装置 | |
| CN110264523A (zh) | 一种确定测试图像中的目标图像的位置信息的方法与设备 | |
| CN109447996A (zh) | 三维图像中的手部分割 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP02 | Change in the address of a patent holder | ||
| CP02 | Change in the address of a patent holder |
Address after: 201210 7th Floor, No. 1, Lane 5005, Shenjiang Road, China (Shanghai) Pilot Free Trade Zone, Pudong New Area, Shanghai Patentee after: HISCENE INFORMATION TECHNOLOGY Co.,Ltd. Address before: Room 501 / 503-505, 570 shengxia Road, China (Shanghai) pilot Free Trade Zone, Pudong New Area, Shanghai, 201203 Patentee before: HISCENE INFORMATION TECHNOLOGY Co.,Ltd. |