CN113283269A - 用于标识地图的方法、电子设备和计算机存储介质 - Google Patents

用于标识地图的方法、电子设备和计算机存储介质 Download PDF

Info

Publication number
CN113283269A
CN113283269A CN202010103741.8A CN202010103741A CN113283269A CN 113283269 A CN113283269 A CN 113283269A CN 202010103741 A CN202010103741 A CN 202010103741A CN 113283269 A CN113283269 A CN 113283269A
Authority
CN
China
Prior art keywords
vehicle
sequence
image
description
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010103741.8A
Other languages
English (en)
Inventor
时红仁
程帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Pateo Electronic Equipment Manufacturing Co Ltd
Original Assignee
Shanghai Pateo Electronic Equipment Manufacturing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Pateo Electronic Equipment Manufacturing Co Ltd filed Critical Shanghai Pateo Electronic Equipment Manufacturing Co Ltd
Priority to CN202010103741.8A priority Critical patent/CN113283269A/zh
Publication of CN113283269A publication Critical patent/CN113283269A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及一种用于标识地图的方法、电子设备和计算机存储介质。该方法包括：获取基于车辆外部环境的视频图像而生成的环境图像序列，车辆外部环境由车载摄像装置或者与车辆关联的移动设备所采集；经由识别模型，提取环境图像序列的图像特征，以便基于图像特征来预测关于环境图像序列的描述，识别模型经由多个被以预定描述标注的图像序列样本而训练；获取视频图像被采集时的车辆位置信息；以及基于车辆位置信息和描述，针对地图上与车辆位置信息关联的位置处进行标识。本公开能够安全、便捷地针对车辆行进途中的车辆外部环境进行准确的标识，利于所标识信息的分享。

Description

用于标识地图的方法、电子设备和计算机存储介质
技术领域
本公开总体上涉及图像处理，并且具体地，涉及用于标识地图的方法、电子设备和计算机存储介质。
背景技术
传统的标识地图的方案例如包括：打开官方标注地图的链接，进行登录，在地图上搜索兴趣点的位置，并选用偏好风格的图标标记兴趣点的位置，并可输入文字、数字等属性信息。
在上述传统的标识地图的方案中，由于仅能通过输入文字或者选择预先存储的图标来标注兴趣点位置，不适于在车辆行进途中进行标注，容易对驾驶安全带来干扰；而且由于预先存储的图标数量以及图标所反映信息有限，难以准确反映车辆外部环境的实际特点。
因此，在传统的标识地图的方案中，难以安全、便捷地针对车辆行进途中的车辆外部环境进行准确的标识，不利于所标识信息的分享。
发明内容
本公开提供一种用于标识地图的方法、电子设备和计算机存储介质，能够安全、便捷地针对车辆行进途中的车辆外部环境进行准确的标识，利于所标识信息的分享。
根据本公开的第一方面，提供了一种用于标识地图的方法。该方法包括：获取关于车辆外部环境的环境图像序列，环境图像序列是基于车载摄像装置或者与车辆关联的移动设备所采集关于车辆外部环境的视频图像而生成的；经由识别模型，提取环境图像序列的图像特征，以便基于图像特征来预测关于环境图像序列的描述，识别模型经由多个被以预定描述标注的图像序列样本而训练；获取视频图像被采集时的车辆位置信息；以及基于车辆位置信息和描述，针对地图上与车辆位置信息关联的位置处进行标识。
根据本公开的第二方面，提供了一种用于标识地图的方法。该方法包括：响应于确定预定条件满足，经由车载摄像装置或者与车辆关联的移动设备采集车辆外部环境的视频图像；基于视频图像生成环境图像序列；发送环境图像序列和采集视频图像时的车辆位置信息，以用于服务器或移动设备经由识别模型，基于提取自环境图像序列的图像特征来预测关于环境图像序列的描述，识别模型经由多个被以预定描述标注的图像序列样本而训练；以及获取经标识的地图，以便在车载显示器或者移动设备处显示地图，地图上与车辆位置信息关联的位置处呈现有关于描述的标识符。
根据本发明的第三方面，还提供了一种电子设备，设备包括：存储器，被配置为存储一个或多个计算机程序；以及处理器，耦合至存储器并且被配置为执行一个或多个程序使装置执行本公开的第一方面的方法。
根据本公开的第四方面，还提供了一种非瞬态计算机可读存储介质。该非瞬态计算机可读存储介质上存储有机器可执行指令，该机器可执行指令在被执行时使机器执行本公开的第一方面的方法。
提供发明内容部分是为了以简化的形式来介绍对概念的选择，它们在下文的具体实施方式中将被进一步描述。发明内容部分无意标识本公开的关键特征或主要特征，也无意限制本公开的范围。
附图说明
图1示出了根据本公开的实施例的用于标识地图的方法的*** 100的示意图；
图2示出了根据本公开的实施例的用于标识地图的方法200的流程图；
图3示出了根据本公开的实施例的用于发送环境图像序列的方法300的流程图；
图4示意性示出根据本公开实施例的用于标识地图的方法400 的流程图；
图5示意性示出根据本公开实施例的识别模型的结构500的示意图；
图6示意性示出根据本公开实施例的用于识别模型的bottleneck 结构600的示意图；
图7示意性示出根据本公开实施例的用于识别模型的GRU网络结构700的示意图；以及
图8示意性示出了适于用来实现本公开实施例的电子设备800 的框图。
在各个附图中，相同或对应的标号表示相同或对应的部分。
具体实施方式
下面将参照附图更详细地描述本公开的优选实施例。虽然附图中显示了本公开的优选实施例，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
在本文中使用的术语“包括”及其变形表示开放性包括，即“包括但不限于”。除非特别申明，术语“或”表示“和/或”。术语“基于”表示“至少部分地基于”。术语“一个示例实施例”和“一个实施例”表示“至少一个示例实施例”。术语“另一实施例”表示“至少一个另外的实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。
如上文所描述的，在上述传统的标识地图的方案中，由于仅能通过输入文字或者选择预先存储的图标来标注兴趣点位置，不适于在车辆行进途中进行自动标注，容易对驾驶安全带来干扰；而且由于预先存储的图标数量以及图标所反映信息有限，难以准确地匹配沿途车辆外部环境的实际特点。
为了至少部分地解决上述问题以及其他潜在问题中的一个或者多个，本公开的示例实施例提出了一种用于标识地图的方案。该方案包括：获取关于车辆外部环境的环境图像序列，环境图像序列是基于车载摄像装置或者与车辆关联的移动设备所采集关于车辆外部环境的视频图像而生成的；经由识别模型，提取环境图像序列的图像特征，以便基于图像特征来预测关于环境图像序列的描述，识别模型经由多个被以预定描述标注的图像序列样本而训练；获取视频图像被采集时的车辆位置信息；以及基于车辆位置信息和描述，针对地图上与车辆位置信息关联的位置处进行标识。
在上述方案中，通过获取基于车辆外部环境的视频图像而生成的环境图像序列；以及通过经训练的识别模型提取环境图像序列的图像特征以便预测环境图像序列的描述，以及基于车辆位置信息和所确定的环境图像序列的描述，针对地图上与对应位置处进行标识，本公开能够安全、便捷地针对车辆行进途中的车辆外部环境进行准确的自动标识，利于所标识信息的分享。
图1示出了根据本公开的实施例的用于标识地图的方法的*** 100的示意图。如图1所示，***100包括多个车辆110(例如车辆 110-1、车辆110-2和车辆110-3)、移动设备120、服务器160、多个基站150。在一些实施例中，车辆110-1、车辆110-2例如行驶在不同区域。车辆110-1例如行驶至林区170-1。车辆110-2例如行驶的山区170-2。车辆110、用户的移动设备120、服务器160例如可以经由基站150、网络140进行数据交互。
关于服务器160，其例如用于基于一个或多个环境图像序列， (例如，来自车辆110-1或者移动设备120的环境图像序列180-1和来自车辆110-2的环境图像序列180-2)，来确定关于一个或多个环境图像序列180-1和180-2的一个或多个描述，以及基于所确定的一个或多个描述和对应的车辆位置信息来标注地图190，并且向车辆 110(例如车辆110-1、110-2和110-3)或者移动设备120发送经标注的地图190。在经标注的地,190上，例如针对林区170-1的林景和山区170-2的山景进行了标注。在一些实施例中，服务器可以具有一个或多个处理单元，包括诸如GPU、FPGA和ASIC等的专用处理单元以及诸如CPU的通用处理单元。另外，在每个计算设备上也可以运行着一个或多个虚拟机。
关于车辆110，其例如至少包括：车载计算设备114(例如车机)、车载数据感知设备、车载T-BOX、车载显示器等。车载数据感知设备用于实时感知车辆自身数据和车辆所在外部环境数据。车载数据感知设备至少包括多个车载摄像装置。车辆110与移动设备120可以通过Wi-Fi、蓝牙、蜂窝、NFC等无线通信手段进行数据交互与共享。
车载摄像装置可以采集车辆外部环境(例如，林区170-1的林景和山区170-2的山景)的视频图像或者照片。车载摄像装置例如包括：车辆前置摄像头、车辆后置摄像头和车顶摄像装置(例如112-1或 112-2)等。
车载计算设备114(例如车机)可以将基于视频图像而生成的环境图像序列180(例如180-1或180-2)和车辆位置信息发送给服务器160，以用于服务器160预测关于环境图像序列180的描述。车载计算设备114(例如车机)还可以获取经来自服务器160所标识的地图190，以便在车载显示器处显示具有描述的标识符(例如192-1和 192-2)的地图190。本公开通过将环境图像序列(例如180-1和/或 180-2)发送给服务器160以及通过由服务器160确定环境图像序列 (例如180-1和/或180-2)的描述，以及标注地图190，有利于充分利用服务器160强大的计算优势快速地识别、描述环境图像序列以及标注地图，而不会过多占用车载计算设备114的算力，以免对驾驶带来干扰；而且通过利用服务器160来标识地图190，便于基于来自多个车辆(例如车辆110-1和车辆110-3)的多个环境图像序列180 (例如180-1和180-2)来标识地图190，利于共享具有丰富标识信息的地图。
车载T-BOX用于与车载计算设备114(例如车机)、移动设备 120、服务器160进行数据交互。在一些实施例中，车载T-BOX例如包括SIM卡、GPS天线，4G或5G天线等。车载T-BOX与车载计算设备114(例如车机)之间可以通过canbus通信，实现数据交互，例如传输车辆状态信息、按键状态信息、控制指令等。车载T-BOX 可以采集车辆110总线Dcan、Kcan、PTcan相关的总线数据。当用户通过移动设备120(例如手机)的应用程序(APP)发送控制命令 (例如，远程启动车辆、打开空调、调整座椅至合适位置等)，TSP 后台会发出监控请求指令到车载T-BOX，车辆在获取到控制命令后，通过CAN总线发送控制报文并实现对车辆的控制，最后反馈操作结果到用户的移动设备120的APP上。
关于移动设备120，其例如但不限于是手机。移动设备120可以直接与车载T-BOX进行数据交互，也可以经由基站150、网络140 与服务器160进行数据交互。在一些实施例中，移动设备120也可以采集车辆110的车辆外部环境170(例如，林区170-1和山区170-2) 的视频图像，并基于视频图像生成环境图像序列180，以便发送至服务器160，以及接收并且显示来自服务器160的经标注地图190。在一些实施例中，移动设备120也可以配置有识别模型以用以预测环境图像序列的描述，以及基于描述和位置信息来标识地图。移动设备120是平板电脑、手机、穿戴设备等。例如，移动设备120可以通过检测到移动设备120上的预定动作(例如摇一摇)而建立与车辆110之间的关联。
以下将结合图2描述根据本公开的实施例的用于标识地图的方法。图2示出了根据本公开的实施例的用于标识地图的方法200的流程图。应当理解，方法200例如可以在图8所描述的电子设备800 处执行。也可以在图1所描述的服务器160处执行。在一些实施例中，方法200也可以在移动设备120处执行。以下以服务器160为例加以说明。应当理解，方法200还可以包括未示出的附加动作和/ 或可以省略所示出的动作，本公开的范围在此方面不受限制。
在框202处，服务器160获取关于车辆外部环境的环境图像序列180，环境图像序列180是基于车载摄像装置或者与车辆关联的移动设备120所采集关于车辆外部环境的视频图像而生成的。
在框204处，服务器160经由识别模型，提取环境图像序列180 的图像特征，以便基于图像特征来预测关于环境图像序列180的描述，识别模型经由多个被以预定描述标注的图像序列样本而训练。例如，识别模型的输入为所获取的多帧(例如而不限于为16帧、32帧)环境图像序列180。识别模型的输出为关于环境图像序列180 的描述。在一些实施例中，上述关于环境图像序列180的描述例如是关于环境图像序列180所包括景物的属性的描述。识别模型的训练样本例如是多组被人为标注了描述的环境图像序列样本。在一些实施例中，多组被人为标注了描述的环境图像序列样本例如是人为确定的风景秀美的关于山景、海景、河景、水景、树景、花景、雪景、云景、雾景、石景、建筑景的图像序列，并且上述图像序列被以其所包括景物的属性的描述所标注。例如关于风景秀美山景的图像序列根据其所包括山的属性而被标注的描述例如是“连绵起伏”或者“悬崖峭壁”。通过采用上述手段，利于使得识别模型对具有风景秀美特点的图像序列被识别和描述。
关于识别模型，在一些实施例中，其例如包括：环境识别模型和描述模型。环境识别模型用于基于环境图像序列生成图像特征向量。描述模型用于基于图像特征向量预测关于环境图像序列的描述。
在一些实施例中，识别模型的识别算法例如采用卷积神经网络 CNN和时间递归神经网络(LSTM)来构建编码器-解码器 (Encode-Decode)结构的模型。例如，编码器(Encoder)可以采用轻量的CNN模型来提取多帧的环境图像序列180中的每一帧环境图像的帧图像特征，以及使用LSTM构建帧图像特征之间的时间相关性，以便形成帧图像特征向量。解码器(Decoder)可以利用LSTM模型来解码关于环境图像序列180的描述(例如为文本信息)。通过采用上述手段，能够实现特征提取的有效性与高效性的平衡。
在一些实施例中，环境识别模型例如是基于轻量mobileNet-v2 网络和GRU(GateRecurrent Unit)网络所构建，描述模型基于GRU 网络所构建。
关于环境识别模型，其基于环境图像序列180生成图像特征向量的方式例如包括：针对环境图像序列180中的每一帧环境图像提取帧图像特征；构建每一帧环境图像的帧图像特征在时间维度上的关联性，以便生成图像特征向量。例如，编码器(Encoder)可以采用轻量的机器学习(ML)设备***的mobileNetv2网络提取多帧环境图像序列中的每一帧环境图像的帧图像特征，以及采用两层GRU 构建帧图像特征之间在时间维度的相关性。采用mobileNetv2网络的优势在于其图像处理速度快，检测精度较高，实时性好，适于快速地提取环境图像序列的每一帧图像的图像特征。另外，与使用LSTM 网络的方式相比，使用GRU网络能够达到类似效果的同时，训练更为容易，因此，能够更为显著地提高训练效率，尤其是针对较深的网络进行训练时。
关于描述模型，例如，编码器(Encoder)可以采用两层GRU 网络结构，用于基于帧图像特征向量预测关于环境图像序列180的描述。
下文将结合图5描述识别模型的整体结构。图5示意性示出了根据本公开实施例的识别模型的结构500示意图。如图5所示，识别模型包括编码器(Encoder)520和解码器(Decoder)530。编码器(Encoder)520包括：轻量的CNN网络522和两层GRU网络526 和528。解码器(Decoder)530包括两层GRU网络532和534。每一层GRU网络例如包括128个节点。图5仅示意性示出部分节点。由多帧环境图像组成的环境图像序列510经由轻量的CNN网络522，生成多组的帧图像特征524(或简称为图像特征)。其中输入的每一帧环境图像被对应转换成一组帧图像特征。多组的帧图像特征524 经由两层GRU网络526和528，生成多维的已建立时间维度上的相关性的帧图像特征向量(或简称为图像特征向量)。多维的帧图像特征向量和词向量经由解码器(Decoder)530的两层GRU网络532 和534预测关于环境图像序列510的描述，其中，图5的解码器 (Decoder)530中的虚线536例如代表上一时刻(例如t-1时刻)的关于描述的预测输出(例如为“连”的词向量)被作为预测当前时刻(例如t时刻)的描述(例如“绵”)的输入。虚线538例如代表当前时刻(例如t时刻)的关于描述的预测输出(例如为“绵”的词向量)被作为预测下一时刻(例如t+1时刻)的描述(例如“起”) 的输入，依次类推，直至输出结束标示。其中词向量代表字或者词在词库中的向量表示，例如，“连”的词向量为[1,0,0,0]、“绵”的词向量为[0,1,0,0]。如图5所示，识别模型500针对所输入的环境图像序列510所预测的描述例如为“连绵起伏”。下文将进一步结合表一和图6来说明mobileNetv2网络结构，以及结合图7来说明GRU 网络结构，在此，不再赘述。
关于环境图像序列的描述，在一些实施例中，该描述例如是关于环境图像序列180所包括景物的属性的描述。上述景物的属性例如而不限于为关于山景、海景、河景、水景、树景、花景、雪景、云景、雾景、石景和建筑景中的至少一项。例如，针对山景的描述为“连绵起伏”、针对海景的描述为“波涛汹涌”、针对河景的描述为“清澈见低”、针对水景的描述为“水色一天”、针对树景的描述为“绿树成荫”、针对花景的描述为“花团锦簇”、针对雪景的描述为“白雪皑皑”、针对云景的描述为“云飞雾散”、针对雾景的描述为“云雾缭绕”等。例如，服务器160经由识别模型预测关于环境图像序列180-1的描述例如是“绿树成荫”，以及服务器160预测关于环境图像序列180-2的描述例如是“连绵起伏”。
在框206处，服务器160获取视频图像被采集时的车辆位置信息。例如，车辆110在发送环境图像序列180时，将拍摄对应视频图像时的车辆位置信息也发送至服务器160。
在框208处，服务器160基于车辆位置信息和描述，针对地图上与车辆位置信息关联的位置处进行标识。例如，服务器160基于车辆110-1的车辆位置信息和关于环境图像序列180-1的描述，针对地图190上与车辆位置信息关联的位置处(例如标识符192-1对应位置处)进行标识；以及服务器160基于车辆110-2的车辆位置信息和关于环境图像序列180-2的描述，针对地图190上与车辆110-2的车辆位置信息关联的位置处(例如标识符192-2对应位置处)进行标识，以便生成经标识的地图190。
在一些实施例中，针对地图190上与车辆位置信息关联的位置处进行标识的方式例如包括：如果服务器160确定预定发送条件满足，基于与车辆位置信息相关联的环境图像序列180中的一帧环境图像生成关于描述的标识符192(例如为192-1和/或192-2)；以及基于车辆位置信息和描述，针对地图上与车辆位置信息关联的位置标识标识符192。
在上述方案中，通过经训练的识别模型提取来自车辆110或关联的移动设备120所获取环境图像序列180的图像特征，以便预测关于环境图像序列180的描述，以及基于所获取的车辆位置信息和所预测的关于环境图像序列的描述，针对地图190上与对应位置处进行标识，本公开能够安全、便捷地针对车辆行进途中的车辆外部环境进行准确的标识，利于所标识信息的分享。
在一些实施例中，方法200还包括用于发送关于车辆外部环境的环境图像序列的方法300。图3示出了根据本公开的实施例的用于发送环境图像序列的方法300的流程图。应当理解，方法300例如可以在图8所描述的电子设备800处执行。也可以在图1所描述的服务器160处执行。应当理解，方法300还可以包括未示出的附加动作和/或可以省略所示出的动作，本公开的范围在此方面不受限制。
在框302处，服务器160发送经标识的地图190，以便在车载显示器或者移动设备120处所显示的地图190上与车辆位置信息关联的位置处呈现关于描述的标识符192。
在框304处，服务器160确定是否预定发送条件满足。预定发送条件例如包括以下至少一项：检测到针对标识符192的第一预定操作；以及车辆110在距离视频图像被采集时的车辆位置的预定范围之内。
如果服务器160确定预定发送条件满足，在框306处，发送与标识符相关联的环境图像序列或者环境图像序列的链接信息，以用于在车载显示器或者移动设备处进行呈现。例如，如果服务器160 确定来自车辆110-1的请求指示针对所显示的地图190上的标识符192-2进行点击，则服务器160向车辆110-1的车辆计算设备114发送环境图像序列180-2，以便在车辆110-1的车载显示器上显示关于山区170-2的山景的环境图像序列180-2。例如，如果服务器160确定车辆110-3的位置在地图190上的标识符192-2所标识位置的预定范围(例如1公里内)，则服务器160向车辆110-3发送环境图像序列180-2或者关于环境图像序列180-2的链接，以便在车辆110-3的车载显示器上显示关于山区170-2的山景的环境图像序列180-2。通过采用上述手段，便于通过经由标识的信息安全以及便捷地在多个车辆之间分享车辆沿途所采集的并被标识的秀美风景的视频图像。
在上述方案中，通过服务器160发送经标识的地图190，而在检测到针对标识符192的第一预定操作或者确认车辆110临近所标识位置时才发送与标识符192关联的环境图像序列180，本公开能够将已标注信息及时进行分享，而在确需打开标识内容时才发送环境图像序列，利于避免不必要的信息传输和对驾驶的干扰。
图4示出了根据本公开的实施例的用于标识地图的方法400的流程图。应当理解，方法400例如可以在图8所描述的电子设备800 处执行。也可以在图1所描述的移动设备120处或者车辆110(例如而不限于车机等车载计算设备114)处执行。应当理解，方法400 还可以包括未示出的附加动作和/或可以省略所示出的动作，本公开的范围在此方面不受限制。
在框402处，确定预定条件是否满足。该预定条件例如是以下至少一项：确定检测到在车载计算设备114或者与车辆110关联的移动设备120处的第三预定操作；或者确定所识别的用户语音指示针对车辆外部环境进行标识。
如果车载计算设备114或移动设备120确定预定条件满足，在框404处，经由车载摄像装置或者移动设备120采集车辆外部环境的视频图像。例如，如果拾音器所拾取的用户语音为“标识车外景色”，车载计算设备114或移动设备120基于对用户语音的识别确定其含义指示针对车辆外部环境的采集视频图像进行标识，则启动车顶摄像装置112对车辆外部环境(例如林区170-1的林景)采集视频图像。在一些实施例中，由移动设备120采集车辆外部环境(例如林区170-1的林景)的视频图像。
在框406处，车载计算设备114或移动设备120基于视频图像生成环境图像序列180。例如，车载计算设备114或移动设备120 例如在所获取的视频图像选取预定帧数(例如16或32帧)的环境图像序列。
在框408处，车载计算设备114或移动设备120发送环境图像序列180和采集视频图像时的车辆位置信息，以用于服务器160经由识别模型，基于提取自环境图像序列的图像特征来预测关于环境图像序列180的描述，识别模型经由针对多个被以预定描述标注的图像序列样本而训练。
在框410处，车载计算设备114或移动设备120获取经标识的地图190，以便在车载显示器或者移动设备120处显示地图190，地图190上的与车辆位置信息对应的位置处呈现有关于描述的标识符 192。
在上述方案中，通过将关于车辆外部环境的环境图像序列180 发送至服务器160以用于经训练的识别模型预测关于环境图像序列 180的描述，以及基获取来自服务器160的经标识的地图190以便显示具有关于该描述的标识符192的地图190，本公开能够安全、便捷地针对车辆行进途中的车辆外部环境进行准确的标识，利于所标识信息的分享。
在一些实施例中，方法400还包括：如果车载计算设备114或移动设备120确定预定发送条件满足，获取与标识符192相关联的环境图像序列180，以用于在车载显示器或者移动设备120处进行显示。预定发送条件包括以下至少一项：确定检测到针对标识符192 的第一预定操作；以及确定车辆110在距离标识符192所标识位置的预定范围之内。例如，如果车辆110-3的车载计算设备确定车辆 110-3的位置在地图190上的标识符192-2所标识位置的预定范围(例如1公里内)，则向服务器160发送关于与标识符192-2关联的环境图像序列180，服务器160向车辆110-3发送环境图像序列180-2，或者发送关于所存储的环境图像序列180-2的链接，以便在车辆 110-3的车载显示器上显示关于山区170-2的山景的环境图像序列 180-2。通过采用上述手段，便于将车辆沿途所采集的风景秀美路段的视频图像安全、便捷地标识在地图上，而且利于在多个车辆之间分享车辆沿途所采集的视频图像。另外，通过在满足预定条件时向服务器160发送关于与标识符192-2关联的环境图像序列180或其链接，有利于节省车辆本地的计算资源和存储空间。
在一些实施例中，方法400还包括：响应于确定接收到关于分享环境图像序列的用户指令，向与车辆110相关联的播放设备发送环境图像序列180，以用于在播放设备处呈现环境图像序列180。通过采用上述手段，车辆110能够将所采集并被标识的路段的风景及时直播给关联的播放设备，例如驾驶者的家人和朋友的车载显示器或者播放设备。服务器160处例如存储有关于与车辆110关联的播放设备列表。基于该播放设备列表，车辆110可以经由服务器160 将环境图像序列180或者其链接发送至关联播放设备，以便针对被标识的路段的风景进行直播。
在一些实施例中，方法400还包括：响应于确定检测到针对标识符的第二预定操作，获取标识符所关联的位置信息；以及基于位置信息确定用于导航车辆的目标位置。该第一预定操作例如是针对标识符的双击。例如，如果车辆110-3的车载计算设备检测到针对所显示地图190上标识符192-1的双击，则将标识符192-1所关联的林区170-1的树景的地理位置确定为导航的目标地址，以用于将车辆 110-3导航至林区170-1。
下文结合表一以及图6至7来说明用于实现用于识别模型的网络结构。以下结合表一来说明mobileNet-v2的网络结构。
表一
Figure BDA0002387769990000141
在上述表一中，input代表输入图像尺寸，operator代表网络层， conv2d代表CNN层，其卷积核为3x3。bottleneck代表基本模块单元(下文将结合图6加以说明)。此外，t代表卷积层扩展因子，c 代表输出通道数，n代表bottlenet模块重复执行次数，s为卷积移动的步长大小，k代表分类数。
例如表一的第一行的输入图像尺寸例如是224*224的3通道的图像。对应的网络层为CNN层，其卷积核为3x3。输出是32通道。执行一次，卷积移动的步长为2。由于表一的第一行的卷积操作的移动的步长为2，表一的第二行的输入图像尺寸变为是112*112的32 通道的图像。对应的网络层为bottleneck结构(下文将结合图8说明 bottleneck结构)，扩展因子为1，输出是16通道，执行一次。卷积移动的步长为1。由于表一的第二行的卷积移动的步长为1，因此表一的第三行的输入图像尺寸变为是112*112的16通道的图像。经由bottleneck处理，扩展因子为6，输出是24通道。执行2次。卷积移动的步长为2，然后依次类推……。avgpool为全局平均池化，池化核的大小为7x7，输出为1*1的1280通道的图像。之后，网络层为 CNN层，其卷积核为1x1，输出k代表分类数。
图6示意性示出根据本公开实施例的用于识别模型的bottleneck 结构600的示意图。在图6中，图6左侧为步长为1时的结构，如图6左侧所示，610指示输入，612指示卷积核为1x1卷积操作，以及卷积之后的激活层Relu 6。614指示卷积核为3x3的深度卷积 (Dwise_conv)操作，以及之后的激活层Relu 6。618指示卷积核为 1x1的卷积操作，以及之后的线性变换(linear)操作。620指示叠加 (Add)操作。
图6右侧为步长为2时的结构，如图6右侧所示，630指示输入。632指示卷积核为1x1卷积操作，以及卷积之后的激活层Relu 6。 634指示卷积核为3x3的深度卷积(Dwise_conv)操作，卷积移动的步长为2，以及之后的激活层Relu 6。636指示卷积核为1x1的卷积操作，以及之后的线性变换(linear)操作。
以下结合以下公式(1)-(4)和图7说明GRU网络的结构及其算法。
图6示意性示出根据本公开实施例的用于识别模型的GRU网络结构的示意图。以下公式(1)至(4)示出了GRU网络的前向传播处理
rt＝σ(Wr·[ht-1，xt]) (1)
zt＝σ(Wz·[ht-1，xt]) (2)
Figure BDA0002387769990000151
Figure BDA0002387769990000152
在上述公式(1)-(4)中，xt代表当前时刻t的输入，ht-1代表上一时刻，即t-1时刻隐藏状态值，ht代表当前时刻隐藏状态值，Wz、 Wr、W分别代表学习参数。例如，Wz代表权重矩阵。rt代表重置(reset) 结果，zt代表更新(update)结果，σ代表sigmoid函数，通过sigmoid函数可以将数据变换为0-1范围内的数值，从而来充当门控信号。[] 代表两个向量相连，*表示矩阵的乘积。GRU结构可以包括一个当前时刻的输入xt，和上一个节点传递下来的隐状态(hidden state)ht-1，这个隐状态包含了之前节点的相关信息。结合xt以及ht-1，GRU会得到当前隐藏节点的输出yt和传递给下一个节点的隐状态ht。
在图7中，710所指示的“zt”代表更新门(update gate)，更新门710用于控制前一时刻的状态信息被带入到当前状态中的程度，更新门710决定有多少过去的信息可以继续传递到未来，更新门的值越大说明前一时刻的状态信息带入越多。具体而言，更新门710 用于将前一时刻和当前时刻的信息分别进行线性变换，也就是分别右乘权重矩阵Wz，然后将相加后的数据送入更新门712，也就是与 sigmoid函数相乘，所得出的数值在[0,1]之间。GRU网络可以利用重置门重置记忆信息，其不再使用单独的记忆细胞存储记忆信息，而是直接利用隐藏单元记录历史状态。利用重置门控制当前信息和记忆信息的数据量，并生成新的记忆信息继续向前传递。因为重置门的输出在区间[0,1]内，所以利用重置门控制记忆信息能够继续向前传递的数据量，当重置门为0时表示记忆信息全部清除，反之当重置门为1时，表示记忆信息全部通过。712所指示的“rt”代表重置门(reset gate)。重置门712用于控制前一状态有多少信息被写入到当前的候选集
Figure BDA0002387769990000161
重置门712决定有多少历史信息不能继续传递到下一时刻。重置门的值越小，前一状态的信息被写入的越少。具体而言，重置门712同更新门710的数据处理一样，将前一时刻和当前时刻的信息分别进行线性变换，也就是分别右乘权重矩阵Wr，然后相加后的数据送入重置门712，也就是与sigmoid函数相乘，得出的数值在[0,1]之间。GRU网络可以利用更新门计算当前时刻隐藏状态的输出。隐藏状态的输出信息由前一时刻的隐藏状态信息 740(ht-1)和当前时刻的隐藏状态输出730(ht)，利用更新门控制这两个信息传递到未来的数据量。
编码器(Encoder)可以采用两层GRU针对mobileNetv2网络提取的帧图像特征之间在时间维度的相关性。在解码器(Decoder)，可以采用两层GRU结构用于针对帧图像向量预测关于图像序列的描述。每层GRU结构采用128个节点，用于预测针对环境图像序列的描述。解码器中输入(例如为xt)为环境图像序列的帧图像特征向量和词向量。
本公开利用GRU网络控制重置门和更新门函数来将重要特征保留下来，有利于保证了在环境图像序列的图像特征即便经历长时间传播，也不会丢失。另外，由于GRU网络与LSTM网络相比，减少了门函数和参数的数量，因此，整体上GRU的训练速度要快于LSTM 的。因此本公开通过基于轻量mobileNet-v2网络和GRU网络构建环境识别模型，以及基于GRU网络构建描述模型，能够显著地提高训练效率，特别是针对较深的网络进行训练时。
图8示意性示出了适于用来实现本公开实施例的电子设备800 的框图。设备800可以是用于实现执行图2-4所示的方法200、300、 400的设备。如图8所示，设备800包括中央处理单元(CPU)801，其可以根据存储在只读存储器(ROM)802中的计算机程序指令或者从存储单元808加载到随机访问存储器(RAM)803中的计算机程序指令，来执行各种适当的动作和处理。在RAM 803中，还可存储设备800操作所需的各种程序和数据。CPU 801、ROM 802以及RAM803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
设备800中的多个部件连接至I/O接口805，包括：输入单元806、输出单元807、存储单元808，处理单元801执行上文所描述的各个方法和处理，例如执行方法200、300、400。例如，在一些实施例中，方法200、300、400可被实现为计算机软件程序，其被存储于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由ROM 802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到RAM 803并由CPU801执行时，可以执行上文描述的方法200、300、400的一个或多个操作。备选地，在其他实施例中，CPU 801可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行方法200、300、400的一个或多个动作。
需要进一步说明的是，本公开可以是方法、装置、***和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM 或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，该编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、设备(***)、和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给语音交互装置中的处理器、通用计算机、专用计算机或其它可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的设备、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，该模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
以上仅为本公开的可选实施例，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等效替换、改进等，均应包含在本公开的保护范围之内。

Claims (14)

1.一种用于标识地图的方法，包括：
获取关于车辆外部环境的环境图像序列，所述环境图像序列是基于车载摄像装置或者与车辆关联的移动设备所采集关于所述车辆外部环境的视频图像而生成的；
经由识别模型，提取所述环境图像序列的图像特征，以便基于所述图像特征来预测关于所述环境图像序列的描述，所述识别模型经由多个被以预定描述标注的图像序列样本而训练；
获取所述视频图像被采集时的车辆位置信息；以及
基于所述车辆位置信息和所述描述，针对地图上与所述车辆位置信息关联的位置处进行标识。
2.根据权利要求1所述的方法，还包括：
发送经标识的所述地图，以便在车载显示器或者所述移动设备处所显示的地图上与所述车辆位置信息关联的位置处呈现关于所述描述的标识符；以及
响应于确定预定发送条件满足，发送与所述标识符相关联的所述环境图像序列或者所述环境图像序列的链接信息，以用于在所述车载显示器或者所述移动设备处进行呈现，预定发送条件包括以下至少一项：
检测到针对所述标识符的第一预定操作；以及
所述车辆在距离所述视频图像被采集时的车辆位置的预定范围之内。
3.根据权利要求2所述的方法，其中基于所述车辆位置信息和所述描述，针对地图上与所述车辆位置信息关联的位置处进行标识包括：
建立所述车辆位置信息和所述环境图像序列的关联；
基于与所述车辆位置信息相关联的环境图像序列中的至少一帧环境图像生成关于所述描述的所述标识符；以及
基于所述车辆位置信息和所述描述，针对地图上与所述车辆位置信息关联的位置标识所述标识符。
4.根据权利要求1所述的方法，其中所述识别模型包括：
环境识别模型，用于基于所述环境图像序列生成图像特征向量；以及
描述模型，用于基于图像特征向量预测关于所述环境图像序列的所述描述。
5.根据权利要求4所述的方法，其中基于所述环境图像序列生成图像特征向量包括：
针对所述环境图像序列中的每一帧环境图像提取帧图像特征；
构建每一帧环境图像的帧图像特征在时间维度上的关联性，以便生成所述图像特征向量。
6.根据权利要求4所述的方法，其中所述环境识别模型是基于轻量mobileNet-v2网络和GRU网络所构建，所述描述模型是基于GRU网络所构建。
7.根据权利要求1所述的方法，其中所述描述为关于所述环境图像序列所包括景物的属性的描述。
8.根据权利要求7所述的方法，其中所述属性包括山景、海景、河景、水景、树景、花景、雪景、云景、雾景、石景、建筑景中的至少一项。
9.一种用于标识地图的方法，包括：
响应于确定预定条件满足，经由车载摄像装置或者与所述车辆关联的移动设备采集车辆外部环境的视频图像；
基于所述视频图像生成环境图像序列；
发送所述环境图像序列和采集所述视频图像时的车辆位置信息，以用于服务器或所述移动设备经由识别模型，基于提取自所述环境图像序列的图像特征来预测关于所述环境图像序列的描述，所述识别模型经由多个被以预定描述标注的图像序列样本而训练；
获取经标识的地图，以便在车载显示器或者所述移动设备处显示所述地图，所述地图上与所述车辆位置信息关联的位置处呈现有关于所述描述的标识符。
10.根据权利要求9所述的方法，还包括：
响应于确定预定发送条件满足，发送用于获取与所述标识符相关联的环境图像序列的请求，以用于在所述车载显示器或者所述移动设备处进行显示，预定发送条件包括以下至少一项：
检测到针对所述标识符的第一预定操作；以及
所述车辆在距离所述标识符所标识位置的预定范围之内。
11.根据权利要求9所述的方法，还包括：
响应于确定检测到关于分享所述环境图像序列的指令，向与所述车辆相关联的播放设备发送所述环境图像序列，以用于在所述播放设备处呈现所述环境图像序列。
12.根据权利要求9所述的方法，还包括：
响应于确定检测到关于所述标识符的第二预定操作，获取所述标识符所关联的位置信息；以及
基于所关联的位置信息确定用于导航所述车辆的目标位置。
13.一种电子设备，包括：
存储器，被配置为存储一个或多个计算机程序；以及
处理器，耦合至所述存储器并且被配置为执行所述一个或多个程序使所述装置执行根据权利要求1-12中任一项所述的方法。
14.一种非瞬态计算机可读存储介质，其上存储有机器可执行指令，所述机器可执行指令在被执行时使机器执行根据权利要求1-12中任一项所述的方法的步骤。
CN202010103741.8A 2020-02-20 2020-02-20 用于标识地图的方法、电子设备和计算机存储介质 Pending CN113283269A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010103741.8A CN113283269A (zh) 2020-02-20 2020-02-20 用于标识地图的方法、电子设备和计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010103741.8A CN113283269A (zh) 2020-02-20 2020-02-20 用于标识地图的方法、电子设备和计算机存储介质

Publications (1)

Publication Number Publication Date
CN113283269A true CN113283269A (zh) 2021-08-20

Family

ID=77274969

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010103741.8A Pending CN113283269A (zh) 2020-02-20 2020-02-20 用于标识地图的方法、电子设备和计算机存储介质

Country Status (1)

Country Link
CN (1) CN113283269A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107571867A (zh) * 2017-09-05 2018-01-12 百度在线网络技术（北京）有限公司 用于控制无人驾驶车辆的方法和装置
CN108369775A (zh) * 2015-11-04 2018-08-03 祖克斯有限公司 响应于物理环境的改变自适应制图以对自主车辆进行导航
CN108694882A (zh) * 2017-04-11 2018-10-23 百度在线网络技术（北京）有限公司 用于标注地图的方法、装置和设备
CN110378348A (zh) * 2019-07-11 2019-10-25 北京悉见科技有限公司 视频实例分割方法、设备及计算机可读存储介质
CN110388928A (zh) * 2018-04-20 2019-10-29 比亚迪股份有限公司 导航***和导航地图的更新方法、装置
CN110569695A (zh) * 2018-08-31 2019-12-13 阿里巴巴集团控股有限公司 基于定损图像判定模型的图像处理方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108369775A (zh) * 2015-11-04 2018-08-03 祖克斯有限公司 响应于物理环境的改变自适应制图以对自主车辆进行导航
CN108694882A (zh) * 2017-04-11 2018-10-23 百度在线网络技术（北京）有限公司 用于标注地图的方法、装置和设备
CN107571867A (zh) * 2017-09-05 2018-01-12 百度在线网络技术（北京）有限公司 用于控制无人驾驶车辆的方法和装置
CN110388928A (zh) * 2018-04-20 2019-10-29 比亚迪股份有限公司 导航***和导航地图的更新方法、装置
CN110569695A (zh) * 2018-08-31 2019-12-13 阿里巴巴集团控股有限公司 基于定损图像判定模型的图像处理方法和装置
CN110378348A (zh) * 2019-07-11 2019-10-25 北京悉见科技有限公司 视频实例分割方法、设备及计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
潘尧 等: "智能车辆双目视觉与地图组合定位研究", 《湖北工业大学学报》 *

Similar Documents

Publication Publication Date Title
JP7262503B2 (ja) 小目標を検出するための方法及び装置、電子デバイス、コンピュータ可読記憶媒体及びコンピュータプログラム
KR102043588B1 (ko) 자율 주행 차량 내에서 미디어 콘텐츠를 표시하기 위한 시스템 및 방법
US11698268B2 (en) Street-level guidance via route path
KR101960140B1 (ko) 자율 주행 차량 내에서 증강 가상 현실 콘텐츠를 제공하는 시스템 및 방법
US10289940B2 (en) Method and apparatus for providing classification of quality characteristics of images
CN112560999A (zh) 一种目标检测模型训练方法、装置、电子设备及存储介质
KR20200023702A (ko) 차량으로 영상을 제공하는 방법 및 이를 위한 전자 장치
WO2022109000A1 (en) Systems and methods for video object segmentation
CN111323033B (zh) 路径引导装置及其控制方法、信息处理服务器、以及路径引导***
TW201944324A (zh) 導引系統
JP2015076077A (ja) 交通量推定システム、端末装置、交通量推定方法および交通量推定プログラム
CN107735648A (zh) 导航期间的交通通知
CN113378605B (zh) 多源信息融合方法及装置、电子设备和存储介质
CN113259601A (zh) 视频处理方法、装置、可读介质和电子设备
CN114385662A (zh) 路网更新方法、装置、存储介质及电子设备
CN112765302B (zh) 位置信息的处理方法、装置及计算机可读介质
CN112036517B (zh) 图像缺陷分类方法、装置及电子设备
US11615327B2 (en) Artificial intelligence device for providing search service and method thereof
CN115546769B (zh) 道路图像识别方法、装置、设备、计算机可读介质
US20210334307A1 (en) Methods and systems for generating picture set from video
CN114756700B (zh) 场景库建立方法、装置、车辆、存储介质及芯片
CN113283269A (zh) 用于标识地图的方法、电子设备和计算机存储介质
CN115017399B (zh) 一种网约车车型自动推荐方法和装置
WO2019117048A1 (ja) 車載装置、情報提供システム、情報提示方法
CN113031600B (zh) 一种轨迹生成方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 201821 room 208, building 4, No. 1411, Yecheng Road, Jiading Industrial Zone, Jiading District, Shanghai

Applicant after: Botai vehicle networking technology (Shanghai) Co.,Ltd.

Address before: Room 208, building 4, No. 1411, Yecheng Road, Jiading Industrial Zone, Jiading District, Shanghai 201821

Applicant before: SHANGHAI PATEO ELECTRONIC EQUIPMENT MANUFACTURING Co.,Ltd.

CB02 Change of applicant information