CN111417016A - 一种姿态估计方法、服务器和网络设备 - Google Patents
一种姿态估计方法、服务器和网络设备 Download PDFInfo
- Publication number
- CN111417016A CN111417016A CN201910010651.1A CN201910010651A CN111417016A CN 111417016 A CN111417016 A CN 111417016A CN 201910010651 A CN201910010651 A CN 201910010651A CN 111417016 A CN111417016 A CN 111417016A
- Authority
- CN
- China
- Prior art keywords
- vector
- video
- information
- camera
- attitude
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 239000013598 vector Substances 0.000 claims abstract description 161
- 238000012545 processing Methods 0.000 claims abstract description 61
- 238000013519 translation Methods 0.000 claims description 27
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 12
- 238000005259 measurement Methods 0.000 claims description 8
- 230000011218 segmentation Effects 0.000 claims description 7
- 230000001360 synchronised effect Effects 0.000 claims description 7
- 238000012360 testing method Methods 0.000 claims description 7
- 238000004891 communication Methods 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 239000011521 glass Substances 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 238000013439 planning Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000006798 recombination Effects 0.000 description 2
- 238000005215 recombination Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000013021 overheating Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000012384 transportation and delivery Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明提供了一种姿态估计方法、服务器和网络设备，涉及通信技术领域，该所述姿态估计方法包括：获取网络设备通过基站的移动边缘计算MEC服务器发送的至少一个视频信息；根据所述视频信息进行视频解码，获得解码后的视频内容；根据所述视频内容以及所述网络设备的设备信息，计算所述网络设备的姿态向量；向所述网络设备发送所述姿态向量。本发明实施例通过获取网络设备通过基站的MEC服务器发送的至少一个视频信息，根据所述视频信息进行视频解码，获得解码后的视频内容，并根据所述视频内容以及所述网络设备的设备信息，计算所述网络设备的姿态向量，并向所述网络设备发送所述姿态向量，能够保证低时延、高带宽和强处理能力。
Description
技术领域
本发明涉及通信技术领域，具体涉及一种姿态估计方法、服务器和网络设备。
背景技术
随着VR(虚拟现实，Virtual Reality)、AR(增强现实，Augmented Reality)、机器人、自动驾驶等行业的快速发展，对设备自身位置的判断需求非常广泛。如在AR和机器人领域，通过单一或多个摄像头拍摄画面，反向计算自身的实时位置，才能实现精确的及时定位与SLAM(地图构建，Simultaneous Localization and Mapping)，而这一功能是几乎所有AR设备、机器人设备所必须具备的通用能力。在VR图像采集时，需采用多个相机组成的阵列覆盖360°的画面，在这些画面最终生成时需要将单个相机的图像进行拼接，只有获取每个相机所处的精确位置、朝向等参数，才能实现这一过程。对相机(阵列)当前所处的位置和朝向进行计算和估计的过程，被称作相机姿态估计。传统的粗颗粒度姿态估计可以考虑使用GPS(全球定位***，Global Positioning System)等技术，而发展到当前阶段，姿态估计的精度要求通常为毫米或者厘米级别，且对相机本身的旋转参数也有计算需求，这样一来GPS就无法满足精度和能力要求了。目前的相机(阵列)姿态估计一般依靠计算机视觉技术，通过相机拍摄到的空间物体的位置及其变化，参考本身自带的陀螺仪、加速计等硬件数值，反向推算自身姿态。
在当前阶段的研究和应用中，根据对处理时延要求的不同，此类基于计算机视觉的相机姿态估计方法大概分为两类：一类是有实时性要求，且短时间内运动范围较小，导致连续两幅画面之间的变化差异很小的应用。如AR手机、AR眼镜、机器人、自动驾驶汽车等在空间内连续自由活动的设备。其对姿态估计的时延要求极其敏感，需要实时获取自身的精确位置；另外一类是对时延完全不敏感，允许将拍摄的图片或视频保存后，传输到高性能机器或云平台上进行运算以获取姿态的应用，如VR全景相机的初始姿态标定。这类应用提供的图片和视频内容往往差异较大，从而计算量很大，对计算能力要求高。
在第一类应用中的本地姿态估计问题非常明显，实际导致目前的设备无法提供长时间、高可靠性的服务。手机、AR眼镜、机器人等设备由于移动性限制，其处理器及各类其他芯片性能相对较低，在实时进行每帧的姿态计算时往往会出现帧级不同步等现象，导致处在当前位置时拿到的实际是之前某时刻的姿态参数，为上层应用带来误差。在机器人的路径规划和自动驾驶业务中，此类误差会带来物理位置上的偏差，有可能造成比较严重的影响。另外移动设备一般由电池供电，当前的手机AR、眼镜AR等应用由于负担此类计算任务，在几分钟内就会出现机身过热、耗电量突增等情况，实际无法支持应用的长时间正常使用。在第二类应用中，需要在VR全景摄像机的每个镜头处连接一个存储卡装置，将所拍摄的视频保存下来。待拍摄结束后将视频统一导入PC或服务器上的处理软件进行姿态估计。这种方法一方面造成了姿态估计效率大大降低，另外由于需要配合PC(个人计算机，PersonalComputer)或服务器使用，增加了前端处理成本，间接导致硬件利用率下降。此外，目前可能涉及相机姿态估计的相机种类包括：针孔相机、鱼眼相机、手机摄像头、其他移动设备摄像头、全景相机、3D相机等等，每类相机输出的视频格式、码率、分辨率存在较大差异，本地处理或集中化处理面临适配目标多导致的效率低下问题。
因此，亟需一种姿态估计方法、服务器和网络设备，能够在姿态计算时保证帧级同步，且时延低，增加姿态估计效率。
发明内容
本发明实施例提供了一种姿态估计方法、服务器和网络设备，用以解决在实时进行每帧的姿态计算时出现帧级不同步，以及本地处理或集中化处理面临适配目标多导致的效率低下的问题。
为解决上述技术问题，本发明实施例提供了一种姿态估计方法，应用于业务处理服务器，包括：
获取网络设备通过基站的移动边缘计算MEC服务器发送的至少一个视频信息；
根据所述视频信息进行视频解码，获得解码后的视频内容；
根据所述视频内容以及所述网络设备的设备信息，计算所述网络设备的姿态向量；
向所述网络设备发送所述姿态向量。
优选的，所述根据所述视频信息进行视频解码，包括：
当所述网络设备为包括单相机设备时，对所述单相机的视频信息进行解码；
当所述网络设备为包括至少两个相机设备时，分别对每一所述相机的所述视频信息进行解码。
优选的，当所述网络设备为包括单相机设备时，所述根据所述视频内容以及所述网络设备的设备信息，计算所述网络设备的姿态向量，包括：
获取对所述视频信息解码后的视频内容，以及所述视频内容的多个单帧图像；
获取所述单帧图像中的图像特征；
根据所述图像特征，估算所述网络设备的姿态估计向量；
根据所述姿态估计向量以及所述设备信息中的惯性测量单元IMU信息，获取所述网络设备的姿态向量；
其中，所述图像特征包括加速分段测试特征FAST和尺度不变特征SIFT。
优选的，当所述网络设备为包括至少两个相机设备时，所述根据所述视频内容以及所述网络设备的设备信息，计算所述网络设备的姿态向量，包括：
获取对每一相机的所述视频信息进行解码后的视频内容；
获取多个所述视频内容同步后同一时刻的视频帧；
根据同一时刻的视频帧，获取至少两个相机所拍摄同一物体的三维坐标以及所述物体在图像中的二维坐标；其中，至少两个相机为同一时刻拍摄的视频内容中具有部分视频帧重叠的相机；
根据所述三维坐标、所述二维坐标以及所述设备信息中的物理参数信息，计算每一所述相机对应的姿态向量。
优选的，所述根据所述视频内容以及所述网络设备的设备信息，计算所述网络设备的姿态向量之后，还包括：
根据至少两个所述相机之间的相对姿态关系，计算至少两个所述相机之间的相对姿态向量；
根据所述相对姿态向量，对多个所述视频内容进行处理，获取处理后的视频内容；
向云端服务器发送所述处理后的视频内容；
其中，所述相对姿态关系为：
其中，R为相对姿态向量中的平移向量；
T为相对姿态向量中的旋转向量；
RA为其中一相机的平移向量；
TA为其中一相机的旋转向量；
RB为另一相机的平移向量；
TB为另一相机的旋转向量。
本发明实施例还提供了一种姿态估计方法，应用于网络设备，包括：
获取所述网络设备所拍摄的至少一个视频信息；
通过基站的移动边缘计算MEC服务器向业务处理服务器发送所述视频信息；
接收所述业务处理服务器发送的姿态向量；其中所述姿态向量为所述业务处理服务器根据所述视频信息解码后的视频内容和所述网络设备的设备信息计算获得。
本发明实施例还提供了一种服务器，所述服务器为业务处理服务器，包括处理器和收发器，所述处理器用于：
获取网络设备通过基站的移动边缘计算MEC服务器发送的至少一个视频信息；
根据所述视频信息进行视频解码，获得解码后的视频内容；
根据所述视频内容以及所述网络设备的设备信息，计算所述网络设备的姿态向量；
向所述网络设备发送所述姿态向量。
优选的，所述处理器具体用于：
当所述网络设备为包括单相机设备时，对所述单相机的视频信息进行解码；
当所述网络设备为包括至少两个相机设备时，分别对每一所述相机的所述视频信息进行解码。
优选的，当所述网络设备为包括单相机设备时，所述处理器具体用于：
获取对所述视频信息解码后的视频内容，以及所述视频内容的多个单帧图像；
获取所述单帧图像中的图像特征；
根据所述图像特征，估算所述网络设备的姿态估计向量；
根据所述姿态估计向量以及所述设备信息中的惯性测量单元IMU信息，获取所述网络设备的姿态向量；
其中，所述图像特征包括加速分段测试特征FAST和尺度不变特征SIFT。
优选的，当所述网络设备为包括至少两个相机设备时，所述处理器具体用于：
获取对每一相机的所述视频信息进行解码后的视频内容；
获取多个所述视频内容同步后同一时刻的视频帧；
根据同一时刻的视频帧，获取至少两个相机所拍摄同一物体的三维坐标以及所述物体在图像中的二维坐标；其中，至少两个相机为同一时刻拍摄的视频内容中具有部分视频帧重叠的相机；
根据所述三维坐标、所述二维坐标以及所述设备信息中的物理参数信息，计算每一所述相机对应的姿态向量。
优选的，所述处理器还用于：
根据至少两个所述相机之间的相对姿态关系，计算至少两个所述相机之间的相对姿态向量；
根据所述相对姿态向量，对多个所述视频内容进行处理，获取处理后的视频内容；
向云端服务器发送所述处理后的视频内容；
其中，所述相对姿态关系为：
其中，R为相对姿态向量中的平移向量；
T为相对姿态向量中的旋转向量；
RA为其中一相机的平移向量；
TA为其中一相机的旋转向量；
RB为另一相机的平移向量；
TB为另一相机的旋转向量。
本发明实施例还提供了一种网络设备，包括处理器和收发器，所述收发器用于：
获取所述网络设备所拍摄的至少一个视频信息；
通过基站的移动边缘计算MEC服务器向业务处理服务器发送所述视频信息；
接收所述业务处理服务器发送的姿态向量；其中所述姿态向量为所述业务处理服务器根据所述视频信息解码后的视频内容和所述网络设备的设备信息计算获得。
本发明实施例还提供了一种服务器，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如上所述的姿态估计方法。
本发明实施例还提供了一种网络设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如上所述的姿态估计方法。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述的姿态估计方法中的步骤。
与现有技术相比，本发明实施例提供的一种姿态估计方法、服务器和网络设备，至少具有以下有益效果：
通过获取网络设备通过基站的移动边缘计算MEC服务器发送的至少一个视频信息，根据所述视频信息进行视频解码，获得解码后的视频内容，并根据所述视频内容以及所述网络设备的设备信息，计算所述网络设备的姿态向量，并向所述网络设备发送所述姿态向量，能够保证低时延、高带宽和强处理能力。
附图说明
图1为本发明实施例提供的姿态估计方法流程图；
图2为本发明实施例提供的姿态估计方法流程图；
图3为本发明实施例提供的相机成像方位图；
图4为本发明实施例提供的服务器的其中一实施结构的示意图；
图5为本发明实施例提供的网络设备的其中一实施结构的示意图；
图6为本发明实施例提供的服务器的另一实施结构的示意图；
图7为本发明实施例提供的网络设备的另一实施结构的示意图；
图8为本发明实施例提供的姿态估计方法的一具体流程图；
图9为本发明实施例提供的姿态估计方法的另一具体流程图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。在下面的描述中，提供诸如具体的配置和组件的特定细节仅仅是为了帮助全面理解本发明的实施例。因此，本领域技术人员应该清楚，可以对这里描述的实施例进行各种改变和修改而不脱离本发明的范围和精神。另外，为了清楚和简洁，省略了对已知功能和构造的描述。
应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。
在本发明的各种实施例中，应理解，下述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
另外，本文中术语“***”和“网络”在本文中常可互换使用。
在本申请所提供的实施例中，应理解，“与A相应的B”表示B与A相关联，根据A可以确定B。但还应理解，根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其它信息确定B。
如图1所示，本发明实施例提供了一种姿态估计方法，应用于业务处理服务器，具体包括以下步骤：
步骤S11，获取网络设备通过基站的移动边缘计算MEC服务器发送的至少一个视频信息。
其中，如图8所示，通过所述网络设备采集所述视频信息，并将所述视频信息可以通过5G网络上的上行通道发送至5G基站，所述5G基站将所述视频信息发送至与所述5G基站物理线缆连接的5G UPF(5G用户面功能，5G User Plane Function)，再由所述5G UPF将所述视频信息发送至与所述5G UPF物理线缆连接的MEC(移动边缘计算，Mobile EdgeComputing)服务器，再由所述MEC服务器将所述视频信息发送至所述业务处理服务器。其中，所述网络设备与所述5G基站之间的空口时延(可以约为1ms)加上所述5G基站到所述业务处理服务器的物理连接时延(一般为光纤)，可以约为5ms～10ms以下。并且，所述MEC服务器具有低时延、高带宽和强处理能力。
步骤S12，根据所述视频信息进行视频解码，获得解码后的视频内容。
其中，所述业务处理服务器在接收到至少一个视频信息后，对所述视频信息进行视频解码，可以得到压缩恢复后的视频内容，即获得解码后的视频内容。
步骤S13，根据所述视频内容以及所述网络设备的设备信息，计算所述网络设备的姿态向量。
其中，所述设备信息包括IMU(惯性测量单元，Inertial Measurement Unit)信息和物理参数信息。所述物理参数信息可以包括焦距、畸变参数、陀螺仪或加速计数值。
步骤S14，向所述网络设备发送所述姿态向量。
所述步骤S12具体包括：
当所述网络设备为包括单相机设备时，对所述单相机的视频信息进行解码；当所述网络设备为包括至少两个相机设备时，分别对每一所述相机的所述视频信息进行解码。
其中，在所述业务处理服务器的接收端管理模块接收到网络设备发送的视频信息以及所述设备信息后，对所述网络设备进行判断，判断为单相机设备还是多相机设备。
本发明的上述实施例中，当所述网络设备为包括单相机设备时，所述步骤S13具体包括：
获取对所述视频信息解码后的视频内容，以及所述视频内容的多个单帧图像；获取所述单帧图像中的图像特征；根据所述图像特征，估算所述网络设备的姿态估计向量；根据所述姿态估计向量以及所述设备信息中的惯性测量单元IMU信息，获取所述网络设备的姿态向量。
本发明的上述实施例中，所述图像特征包括FAST(加速分段测试特征，Featuresfrom Accelerated Segment Test)和SIFT(尺度不变特征，Scale Invariant FeatureTransform)。
其中，在提取到所述FAST和所述SIFT图像特征时，可以将两帧(可以为相邻帧)的图像特征传输至所述业务处理服务器中的姿态估计模块中。所述姿态估计模块利用两帧的同一图像特征的图像变化的情况，计算出大致的相机位置移动矩阵的平移参数r1～r9和旋转参数t1～t3，即所述姿态估计向量。根据所述姿态估计向量和所述设备信息中的所述IMU信息输入至所述业务处理服务器中的EKF(扩展卡尔曼滤波器，Extended Kalman Filter)中，所述EKF对所述姿态估计向量、加速计向量和陀螺仪向量做扩展卡尔曼预测和更新，可以获得单相机的姿态估计向量，即所述网络设备的姿态估计向量。其中，所述IMU信息包括加速计向量Acc(Accx，Accy，Accz)和陀螺仪向量Gyro(Gyrox，Gyroy，Gyroz)。
本发明的上述实施例中，当所述网络设备为包括至少两个相机设备时，所述步骤S13具体包括：
获取对每一相机的所述视频信息进行解码后的视频内容；获取多个所述视频内容同步后同一时刻的视频帧；根据同一时刻的视频帧，获取至少两个相机所拍摄同一物体的三维坐标以及所述物体在图像中的二维坐标；其中，至少两个相机为同一时刻拍摄的视频内容中具有部分视频帧重叠的相机；根据所述三维坐标、所述二维坐标以及所述设备信息中的物理参数信息，计算每一所述相机对应的姿态向量。
其中，在获得解码后的视频内容后，对所述视频内容进行同步，保证能够获取到同一时刻的各相机之间采集的视频帧，并读取同一时刻各相机的物理参数信息(包括相机的横向焦距fx、相机的纵向焦距fy、相机造成图像畸变的参数u0和v0)。然后可以采用立体标定算法，计算每一相机的相对姿态向量。
下面，通过一实施例对上述立体标定算法进行说明：
已知相机A的物理参数信息fAx、fAy、uA0和vA0，已知相机B的物理参数信息fBx、fBy、uB0和vB0，且两相机同一时刻拍摄的视频内容中有部分重叠。使两个相机拍摄同一标定板，标定板可以使用7*9棋盘格，也可以使用满足要求的其他数量的棋盘格。如图3所示，P为标定板上一点或者一物体，PA和PB分别为该点或者该物体在相机A、B的焦平面上的成像点，P可以为标定板上的任何一点。可以从标定板上获得多个角点P的三维坐标X、Y、Z，并且，可以根据P点在相机A和相机B中的图像，分别获得P点在相机A中图像的二维坐标xA和yA，以及P点在相机B中的图像的二维坐标xB和yB；根据成像公式可以计算出相机A在坐标系中相对于原点的平移参数RA＝rA1～rA9和旋转参数TA＝tA1～tA3，即相机A的姿态向量，以及相机B在坐标系中相对于原点的平移参数RB＝rB1～rB9和旋转参数TB＝tB1～tB3，即相机B的姿态向量。根据相机的姿态向量，可以得知任一时刻，相机相对于原始位置发生的三维空间的位移和旋转。
所述成像公式为：
其中，x和y为相机拍摄到的位于照片或视频中的物体的平面二维坐标；
X、Y和Z为对应物体在真实物理空间中的三维坐标；
fx为相机的横向焦距；
fy为相机的纵向焦距；
u0和v0为相机造成图像畸变的参数；
r1～r9为平移向量；
t1～t3为旋转向量。
当所述网络设备为包括至少两个相机设备时，所述步骤S13之后还包括：
根据至少两个所述相机之间的相对姿态关系，计算至少两个所述相机之间的相对姿态向量；根据所述相对姿态向量，对多个所述视频内容进行处理，获取处理后的视频内容；向云端服务器发送所述处理后的视频内容。
本发明的上述实施例中，所述相对姿态关系为：
其中，R为相对姿态向量中的平移向量；
T为相对姿态向量中的旋转向量；
RA为其中一相机的平移向量，即相机A的平移向量；
TA为其中一相机的旋转向量，即相机A的旋转向量；
RB为另一相机的平移向量，即相机B的平移向量；
TB为另一相机的旋转向量，即相机B的旋转向量。
其中，如图9所示，如果有多个相机，可以分别根据相机之间的重叠关系，依次计算出同一时刻拍摄的视频内容中具有部分视频帧重叠的相机之间的相对姿态向量；根据所述相对姿态向量，对多个所述视频内容进行处理(可以为全景拼接、3D图像生成、多视点图像生成等)，获取处理后的视频内容；所述处理后的视频内容通过所述MEC服务器发送至5GUPF，再由所述5G UPF转发至所述云端服务器，所述云端服务器可以包括云服务、CDN(内容分发网络，Content Delivery Network)或用户播放器。
如图2所示，本发明实施例还提供了一种姿态估计方法，应用于网络设备，具体包括以下步骤：
步骤S21，获取所述网络设备所拍摄的至少一个视频信息；
步骤S22，通过基站的移动边缘计算MEC服务器向业务处理服务器发送所述视频信息；
步骤S23，接收所述业务处理服务器发送的姿态向量；其中所述姿态向量为所述业务处理服务器根据所述视频信息解码后的视频内容和所述网络设备的设备信息计算获得。
其中，所述网络设备可以包括：手机、摄像机、机器人、汽车等，且均具有相机硬件和视频采集功能。在接收到所述业务处理服务器发送的姿态向量后，可以为所述网络设备提供实时的姿态向量，适用于手机AR、AR眼镜、机器人路径规划以及自动驾驶等场景。
如图4所示，本发明实施例还提供了一种服务器，所述服务器为业务处理服务器，包括处理器401和收发器402，所述处理器401用于：
获取网络设备通过基站的移动边缘计算MEC服务器发送的至少一个视频信息；
根据所述视频信息进行视频解码，获得解码后的视频内容；
根据所述视频内容以及所述网络设备的设备信息，计算所述网络设备的姿态向量；
向所述网络设备发送所述姿态向量。
本发明一具体实施例中，所述处理器401具体用于：
当所述网络设备为包括单相机设备时，对所述单相机的视频信息进行解码；
当所述网络设备为包括至少两个相机设备时，分别对每一所述相机的所述视频信息进行解码。
本发明一具体实施例中，当所述网络设备为包括单相机设备时，所述处理器401具体用于：
获取对所述视频信息解码后的视频内容，以及所述视频内容的多个单帧图像；
获取所述单帧图像中的图像特征；
根据所述图像特征，估算所述网络设备的姿态估计向量；
根据所述姿态估计向量以及所述设备信息中的惯性测量单元IMU信息，获取所述网络设备的姿态向量；
其中，所述图像特征包括加速分段测试特征FAST和尺度不变特征SIFT。
本发明一具体实施例中，当所述网络设备为包括至少两个相机设备时，所述处理器401具体用于：
获取对每一相机的所述视频信息进行解码后的视频内容；
获取多个所述视频内容同步后同一时刻的视频帧；
根据同一时刻的视频帧，获取至少两个相机所拍摄同一物体的三维坐标以及所述物体在图像中的二维坐标；其中，至少两个相机为同一时刻拍摄的视频内容中具有部分视频帧重叠的相机；
根据所述三维坐标、所述二维坐标以及所述设备信息中的物理参数信息，计算每一所述相机对应的姿态向量。
本发明一具体实施例中，所述处理器401还用于：
根据至少两个所述相机之间的相对姿态关系，计算至少两个所述相机之间的相对姿态向量；
根据所述相对姿态向量，对多个所述视频内容进行处理，获取处理后的视频内容；
向云端服务器发送所述处理后的视频内容；
其中，所述相对姿态关系为：
其中，R为相对姿态向量中的平移向量；
T为相对姿态向量中的旋转向量；
RA为其中一相机的平移向量；
TA为其中一相机的旋转向量；
RB为另一相机的平移向量；
TB为另一相机的旋转向量。
如图5所示，本发明实施例还提供了一种网络设备，包括处理器501和收发器502，所述收发器502用于：
获取所述网络设备所拍摄的至少一个视频信息；
通过基站的移动边缘计算MEC服务器向业务处理服务器发送所述视频信息；
接收所述业务处理服务器发送的姿态向量；其中所述姿态向量为所述业务处理服务器根据所述视频信息解码后的视频内容和所述网络设备的设备信息计算获得。
如图6所示，本发明实施例还提供了另一种服务器，包括收发器601、存储器602、处理器600及存储在所述存储器602上并可在所述处理器600上运行的计算机程序；处理器600调用并执行存储器602中所存储的程序和数据。
收发器601在处理器600的控制下接收和发送数据，具体地，处理器600用于读取存储器602中的程序，可以执行下列过程：
所述处理器600用于：
获取网络设备通过基站的移动边缘计算MEC服务器发送的至少一个视频信息；
根据所述视频信息进行视频解码，获得解码后的视频内容；
根据所述视频内容以及所述网络设备的设备信息，计算所述网络设备的姿态向量；
向所述网络设备发送所述姿态向量。
本发明一具体实施例中，所述处理器600具体用于：
当所述网络设备为包括单相机设备时，对所述单相机的视频信息进行解码；
当所述网络设备为包括至少两个相机设备时，分别对每一所述相机的所述视频信息进行解码。
本发明一具体实施例中，当所述网络设备为包括单相机设备时，所述处理器600具体用于：
获取对所述视频信息解码后的视频内容，以及所述视频内容的多个单帧图像；
获取所述单帧图像中的图像特征；
根据所述图像特征，估算所述网络设备的姿态估计向量；
根据所述姿态估计向量以及所述设备信息中的惯性测量单元IMU信息，获取所述网络设备的姿态向量；
其中，所述图像特征包括加速分段测试特征FAST和尺度不变特征SIFT。
本发明一具体实施例中，当所述网络设备为包括至少两个相机设备时，所述处理器600具体用于：
获取对每一相机的所述视频信息进行解码后的视频内容；
获取多个所述视频内容同步后同一时刻的视频帧；
根据同一时刻的视频帧，获取至少两个相机所拍摄同一物体的三维坐标以及所述物体在图像中的二维坐标；其中，至少两个相机为同一时刻拍摄的视频内容中具有部分视频帧重叠的相机；
根据所述三维坐标、所述二维坐标以及所述设备信息中的物理参数信息，计算每一所述相机对应的姿态向量。
本发明一具体实施例中，所述处理器600还用于：
根据至少两个所述相机之间的相对姿态关系，计算至少两个所述相机之间的相对姿态向量；
根据所述相对姿态向量，对多个所述视频内容进行处理，获取处理后的视频内容；
向云端服务器发送所述处理后的视频内容；
其中，所述相对姿态关系为：
其中，R为相对姿态向量中的平移向量；
T为相对姿态向量中的旋转向量；
RA为其中一相机的平移向量；
TA为其中一相机的旋转向量；
RB为另一相机的平移向量；
TB为另一相机的旋转向量。
其中，在图6中，总线架构可以包括任意数量的互联的总线和桥，具体由处理器600代表的一个或多个处理器和存储器602代表的存储器的各种电路链接在一起。总线架构还可以将诸如***设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口提供接口。收发器601可以是多个元件，即包括发送器和接收器，提供用于在传输介质上与各种其他装置通信的单元。处理器600负责管理总线架构和通常的处理，存储器602可以存储处理器600在执行操作时所使用的数据。
本领域技术人员可以理解，实现上述实施例的全部或者部分步骤可以通过硬件来完成，也可以通过程序来指示相关的硬件来完成，所述程序包括执行上述方法的部分或者全部步骤的指令；且该程序可以存储于一可读存储介质中，存储介质可以是任何形式的存储介质。
如图7所示，本发明实施例还提供了另一种网络设备，包括：处理器701；以及通过总线接口702与所述处理器701相连接的存储器703，所述存储器703用于存储所述处理器701在执行操作时所使用的程序和数据，处理器701调用并执行所述存储器703中所存储的程序和数据。
其中，收发器704与总线接口702连接，用于在处理器701的控制下接收和发送数据，具体地，处理器701用于读取存储器703中的程序，可以执行下列过程：
所述收发器704用于：
获取所述网络设备所拍摄的至少一个视频信息；
通过基站的移动边缘计算MEC服务器向业务处理服务器发送所述视频信息；
接收所述业务处理服务器发送的姿态向量；其中所述姿态向量为所述业务处理服务器根据所述视频信息解码后的视频内容和所述网络设备的设备信息计算获得。
需要说明的是，在图7中，总线架构可以包括任意数量的互联的总线和桥，具体由处理器701代表的一个或多个处理器和存储器703代表的存储器的各种电路链接在一起。总线架构还可以将诸如***设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口提供接口。收发器704可以是多个元件，即包括发送器和接收器，提供用于在传输介质上与各种其他装置通信的单元。针对不同的终端，用户接口705还可以是能够外接内接需要设备的接口，连接的设备包括但不限于小键盘、显示器、扬声器、麦克风、操纵杆等。处理器701负责管理总线架构和通常的处理，存储器703可以存储处理器701在执行操作时所使用的数据。
本领域技术人员可以理解，实现上述实施例的全部或者部分步骤可以通过硬件来完成，也可以通过程序来指示相关的硬件来完成，所述程序包括执行上述方法的部分或者全部步骤的指令；且该程序可以存储于一可读存储介质中，存储介质可以是任何形式的存储介质。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述的姿态估计方法实施例中的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如ROM(只读存储器，Read-Only Memory)、RAM(随机存取存储器，Random Access Memory)、磁碟或者光盘等。
本发明的上述实施例中，将原本在网络设备端执行的相机姿态估计过程引入5G网络中，加上所述MEC服务器的低时延、高带宽和高处理能力的特性，在所述业务处理服务器上实现相机姿态估计和视频处理，在多个相机的设备中，可以将原本分离的多个视频信息实时汇聚到所述业务处理服务器进行处理，避免了多张存储卡和存储硬盘等设备的出现和使用。并且，由于将计算量最高的相机(阵列)姿态估计放到了所述业务处理服务器进行，网络设备只需具备视频拍摄和流化传输能力，也不需要配套相应的终端侧处理服务器和PC，节约了网络设备的硬件成本，同时避免了对处理器的长时间、高百分比的占用，提高了网络设备的使用效率，降低网络设备耗电高的风险。并且，能够实现实时的VR全景视频流生成、3D视频流生成、AR底层定位能力、机器人路径规划能力、自动驾驶能力，保证网络与网络设备间时延极低的同时，与云端和CDN位置也更为接近，可增加视频内容处理的效率和流畅度。
此外，需要指出的是，在本发明的装置和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行，某些步骤可以并行或彼此独立地执行。对本领域的普通技术人员而言，能够理解本发明的方法和装置的全部或者任何步骤或者部件，可以在任何计算装置(包括处理器、存储介质等)或者计算装置的网络中，以硬件、固件、软件或者它们的组合加以实现，这是本领域普通技术人员在阅读了本发明的说明的情况下运用他们的基本编程技能就能实现的。
因此，本发明的目的还可以通过在任何计算装置上运行一个程序或者一组程序来实现。所述计算装置可以是公知的通用装置。因此，本发明的目的也可以仅仅通过提供包含实现所述方法或者装置的程序代码的程序产品来实现。也就是说，这样的程序产品也构成本发明，并且存储有这样的程序产品的存储介质也构成本发明。显然，所述存储介质可以是任何公知的存储介质或者将来所开发出来的任何存储介质。还需要指出的是，在本发明方法中，显然，各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (15)
1.一种姿态估计方法，应用于业务处理服务器，其特征在于，包括：
获取网络设备通过基站的移动边缘计算MEC服务器发送的至少一个视频信息；
根据所述视频信息进行视频解码，获得解码后的视频内容；
根据所述视频内容以及所述网络设备的设备信息，计算所述网络设备的姿态向量；
向所述网络设备发送所述姿态向量。
2.如权利要求1所述的姿态估计方法，其特征在于，所述根据所述视频信息进行视频解码，包括：
当所述网络设备为包括单相机设备时，对所述单相机的视频信息进行解码；
当所述网络设备为包括至少两个相机设备时，分别对每一所述相机的所述视频信息进行解码。
3.如权利要求1所述的姿态估计方法，其特征在于，当所述网络设备为包括单相机设备时，所述根据所述视频内容以及所述网络设备的设备信息，计算所述网络设备的姿态向量，包括：
获取对所述视频信息解码后的视频内容，以及所述视频内容的多个单帧图像；
获取所述单帧图像中的图像特征；
根据所述图像特征，估算所述网络设备的姿态估计向量；
根据所述姿态估计向量以及所述设备信息中的惯性测量单元IMU信息，获取所述网络设备的姿态向量；
其中，所述图像特征包括加速分段测试特征FAST和尺度不变特征SIFT。
4.如权利要求1所述的姿态估计方法，其特征在于，当所述网络设备为包括至少两个相机设备时，所述根据所述视频内容以及所述网络设备的设备信息，计算所述网络设备的姿态向量，包括：
获取对每一相机的所述视频信息进行解码后的视频内容；
获取多个所述视频内容同步后同一时刻的视频帧；
根据同一时刻的视频帧，获取至少两个相机所拍摄同一物体的三维坐标以及所述物体在图像中的二维坐标；其中，至少两个相机为同一时刻拍摄的视频内容中具有部分视频帧重叠的相机；
根据所述三维坐标、所述二维坐标以及所述设备信息中的物理参数信息，计算每一所述相机对应的姿态向量。
5.如权利要求4所述的姿态估计方法，其特征在于，所述根据所述视频内容以及所述网络设备的设备信息，计算所述网络设备的姿态向量之后，还包括：
根据至少两个所述相机之间的相对姿态关系，计算至少两个所述相机之间的相对姿态向量；
根据所述相对姿态向量，对多个所述视频内容进行处理，获取处理后的视频内容；
向云端服务器发送所述处理后的视频内容；
其中，所述相对姿态关系为：
其中，R为相对姿态向量中的平移向量；
T为相对姿态向量中的旋转向量；
RA为其中一相机的平移向量；
TA为其中一相机的旋转向量；
RB为另一相机的平移向量；
TB为另一相机的旋转向量。
6.一种姿态估计方法，应用于网络设备，其特征在于，包括：
获取所述网络设备所拍摄的至少一个视频信息；
通过基站的移动边缘计算MEC服务器向业务处理服务器发送所述视频信息；
接收所述业务处理服务器发送的姿态向量；其中所述姿态向量为所述业务处理服务器根据所述视频信息解码后的视频内容和所述网络设备的设备信息计算获得。
7.一种服务器，所述服务器为业务处理服务器，包括处理器和收发器，其特征在于，所述处理器用于：
获取网络设备通过基站的移动边缘计算MEC服务器发送的至少一个视频信息；
根据所述视频信息进行视频解码，获得解码后的视频内容；
根据所述视频内容以及所述网络设备的设备信息，计算所述网络设备的姿态向量；
向所述网络设备发送所述姿态向量。
8.如权利要求7所述的服务器，其特征在于，所述处理器具体用于：
当所述网络设备为包括单相机设备时，对所述单相机的视频信息进行解码；
当所述网络设备为包括至少两个相机设备时，分别对每一所述相机的所述视频信息进行解码。
9.如权利要求7所述的服务器，其特征在于，当所述网络设备为包括单相机设备时，所述处理器具体用于：
获取对所述视频信息解码后的视频内容，以及所述视频内容的多个单帧图像；
获取所述单帧图像中的图像特征；
根据所述图像特征，估算所述网络设备的姿态估计向量；
根据所述姿态估计向量以及所述设备信息中的惯性测量单元IMU信息，获取所述网络设备的姿态向量；
其中，所述图像特征包括加速分段测试特征FAST和尺度不变特征SIFT。
10.如权利要求7所述的服务器，其特征在于，当所述网络设备为包括至少两个相机设备时，所述处理器具体用于：
获取对每一相机的所述视频信息进行解码后的视频内容；
获取多个所述视频内容同步后同一时刻的视频帧；
根据同一时刻的视频帧，获取至少两个相机所拍摄同一物体的三维坐标以及所述物体在图像中的二维坐标；其中，至少两个相机为同一时刻拍摄的视频内容中具有部分视频帧重叠的相机；
根据所述三维坐标、所述二维坐标以及所述设备信息中的物理参数信息，计算每一所述相机对应的姿态向量。
11.如权利要求10所述的服务器，其特征在于，所述处理器还用于：
根据至少两个所述相机之间的相对姿态关系，计算至少两个所述相机之间的相对姿态向量；
根据所述相对姿态向量，对多个所述视频内容进行处理，获取处理后的视频内容；
向云端服务器发送所述处理后的视频内容；
其中，所述相对姿态关系为：
其中，R为相对姿态向量中的平移向量；
T为相对姿态向量中的旋转向量；
RA为其中一相机的平移向量；
TA为其中一相机的旋转向量；
RB为另一相机的平移向量；
TB为另一相机的旋转向量。
12.一种网络设备，包括处理器和收发器，其特征在于，所述收发器用于：
获取所述网络设备所拍摄的至少一个视频信息；
通过基站的移动边缘计算MEC服务器向业务处理服务器发送所述视频信息；
接收所述业务处理服务器发送的姿态向量；其中所述姿态向量为所述业务处理服务器根据所述视频信息解码后的视频内容和所述网络设备的设备信息计算获得。
13.一种服务器，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至5中任一项所述的姿态估计方法。
14.一种网络设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求6所述的姿态估计方法。
15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至5或者6中任一项所述的姿态估计方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910010651.1A CN111417016A (zh) | 2019-01-07 | 2019-01-07 | 一种姿态估计方法、服务器和网络设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910010651.1A CN111417016A (zh) | 2019-01-07 | 2019-01-07 | 一种姿态估计方法、服务器和网络设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111417016A true CN111417016A (zh) | 2020-07-14 |
Family
ID=71494081
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910010651.1A Pending CN111417016A (zh) | 2019-01-07 | 2019-01-07 | 一种姿态估计方法、服务器和网络设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111417016A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114220300A (zh) * | 2021-02-01 | 2022-03-22 | 黄华 | 利用增强现实佩戴设备可视化智能互动教考***和方法 |
| CN117294832A (zh) * | 2023-11-22 | 2023-12-26 | 湖北星纪魅族集团有限公司 | 数据处理方法、装置、电子设备和计算机可读存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101710932A (zh) * | 2009-12-21 | 2010-05-19 | 深圳华为通信技术有限公司 | 图像拼接方法及装置 |
| CN102175261A (zh) * | 2011-01-10 | 2011-09-07 | 深圳大学 | 一种基于自适应标靶的视觉测量***及其标定方法 |
| CN104501814A (zh) * | 2014-12-12 | 2015-04-08 | 浙江大学 | 一种基于视觉和惯性信息的姿态与位置估计方法 |
| CN106846415A (zh) * | 2017-01-24 | 2017-06-13 | 长沙全度影像科技有限公司 | 一种多路鱼眼相机双目标定装置及方法 |
| CN107728617A (zh) * | 2017-09-27 | 2018-02-23 | 速感科技（北京）有限公司 | 多目在线标定方法、可移动机器人及*** |
| US20180075614A1 (en) * | 2016-09-12 | 2018-03-15 | DunAn Precision, Inc. | Method of Depth Estimation Using a Camera and Inertial Sensor |
-
2019
- 2019-01-07 CN CN201910010651.1A patent/CN111417016A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101710932A (zh) * | 2009-12-21 | 2010-05-19 | 深圳华为通信技术有限公司 | 图像拼接方法及装置 |
| CN102175261A (zh) * | 2011-01-10 | 2011-09-07 | 深圳大学 | 一种基于自适应标靶的视觉测量***及其标定方法 |
| CN104501814A (zh) * | 2014-12-12 | 2015-04-08 | 浙江大学 | 一种基于视觉和惯性信息的姿态与位置估计方法 |
| US20180075614A1 (en) * | 2016-09-12 | 2018-03-15 | DunAn Precision, Inc. | Method of Depth Estimation Using a Camera and Inertial Sensor |
| CN106846415A (zh) * | 2017-01-24 | 2017-06-13 | 长沙全度影像科技有限公司 | 一种多路鱼眼相机双目标定装置及方法 |
| CN107728617A (zh) * | 2017-09-27 | 2018-02-23 | 速感科技（北京）有限公司 | 多目在线标定方法、可移动机器人及*** |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114220300A (zh) * | 2021-02-01 | 2022-03-22 | 黄华 | 利用增强现实佩戴设备可视化智能互动教考***和方法 |
| CN117294832A (zh) * | 2023-11-22 | 2023-12-26 | 湖北星纪魅族集团有限公司 | 数据处理方法、装置、电子设备和计算机可读存储介质 |
| CN117294832B (zh) * | 2023-11-22 | 2024-03-26 | 湖北星纪魅族集团有限公司 | 数据处理方法、装置、电子设备和计算机可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11270460B2 (en) | Method and apparatus for determining pose of image capturing device, and storage medium | |
| CN107990899B (zh) | 一种基于slam的定位方法和*** | |
| CN110310326B (zh) | 一种视觉定位数据处理方法、装置、终端及计算机可读存储介质 | |
| US10984583B2 (en) | Reconstructing views of real world 3D scenes | |
| CN109788189B (zh) | 将相机与陀螺仪融合在一起的五维视频稳定化装置及方法 | |
| CN112561978B (zh) | 深度估计网络的训练方法、图像的深度估计方法、设备 | |
| US20240029297A1 (en) | Visual positioning method, storage medium and electronic device | |
| CN111862150B (zh) | 图像跟踪的方法、装置、ar设备和计算机设备 | |
| CN112819860B (zh) | 视觉惯性***初始化方法及装置、介质和电子设备 | |
| CN112927271B (zh) | 图像处理方法、图像处理装置、存储介质与电子设备 | |
| CN113256718B (zh) | 定位方法和装置、设备及存储介质 | |
| CN113029128B (zh) | 视觉导航方法及相关装置、移动终端、存储介质 | |
| US20230298344A1 (en) | Method and device for determining an environment map by a server using motion and orientation data | |
| CN113542600B (zh) | 一种图像生成方法、装置、芯片、终端和存储介质 | |
| CN111652933B (zh) | 基于单目相机的重定位方法、装置、存储介质与电子设备 | |
| US20140333724A1 (en) | Imaging device, imaging method and program storage medium | |
| CN113361365A (zh) | 定位方法和装置、设备及存储介质 | |
| CN111417016A (zh) | 一种姿态估计方法、服务器和网络设备 | |
| CN114543797A (zh) | 位姿预测方法和装置、设备、介质 | |
| CN111833459B (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
| US11758101B2 (en) | Restoration of the FOV of images for stereoscopic rendering | |
| EP3429186B1 (en) | Image registration method and device for terminal | |
| CN116137025A (zh) | 视频图像矫正方法及装置、计算机可读介质和电子设备 | |
| US20220222834A1 (en) | Image processing system, image processing device, image processing method, and program | |
| CN113643343A (zh) | 深度估计模型的训练方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200714 |