CN113034606A - 一种运动恢复结构计算方法 - Google Patents

一种运动恢复结构计算方法 Download PDF

Info

Publication number
CN113034606A
CN113034606A CN202110219022.7A CN202110219022A CN113034606A CN 113034606 A CN113034606 A CN 113034606A CN 202110219022 A CN202110219022 A CN 202110219022A CN 113034606 A CN113034606 A CN 113034606A
Authority
CN
China
Prior art keywords
group
camera
key frames
frames
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110219022.7A
Other languages
English (en)
Inventor
涂子豪
沈方阳
储备
雷宇
贾梦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aoben Weilai Beijing Technology Co ltd
Original Assignee
Aoben Weilai Beijing Technology Co ltd
Jiaxing Fengniao Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aoben Weilai Beijing Technology Co ltd, Jiaxing Fengniao Technology Co ltd filed Critical Aoben Weilai Beijing Technology Co ltd
Priority to CN202110219022.7A priority Critical patent/CN113034606A/zh
Publication of CN113034606A publication Critical patent/CN113034606A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Studio Devices (AREA)

Abstract

一种运动恢复结构计算方法，包括以下步骤：从拍摄的视频中提取标准帧，标定相机内参；采用标定的相机内参拍摄场景视频，对所述场景视频进行采样，提取关键帧；将所述关键帧分组进行运动恢复结构计算；从每组关键帧中抽取代表帧，对代表帧进行运动恢复结构计算，根据计算结果标定每组关键帧；对每组关键帧进行优化，得到整个场景三维结构信息。本发明的运动恢复结构计算方法，使用分组合并的方式，大大提高了大规模运动恢复结构计算速度，节约计算资源。

Description

一种运动恢复结构计算方法
技术领域
本发明涉及视频处理技术领域，尤其涉及一种运动恢复结构计算方法。
背景技术
运动恢复结构是一种从二维图像序列帧自动恢复出相机参数和场景三维结构的技术，广泛用于增强现实、三维重建、自动驾驶、机器人等领域。
现有的运动恢复结构计算方法分为两类：一类是将整个场景所有视角同时加入计算过程的全局运动恢复结构算法；一类是在计算过程中逐渐加入新的视角，每次加入后通过光束法平差的方法逐步优化，最终得到场景信息的算法。上述运动恢复结构计算方法是从图像数据中自动恢复出采集时的相机姿态、相机内参以及场景三维点云，计算时间复杂度随场景规模的平方成正比，因此对于大规模的场景，高效地计算运动恢复结构的问题是一个重要的难题。例如，
将场景中总视角数记为N，现有计算方法的时间复杂度均和N的平方成正比关系，在大规模的运动恢复结构计算问题中，耗时常常长达几天。对于高质量的三维重建，场景视角总数常可能多大上万甚至十万的数量级，在这种规模的问题里，以上两种方法耗时长，需要大量计算资源。
发明内容
为了解决现有技术存在的不足，本发明的目的在于提供一种运动恢复结构计算方法，利用相机采集的视频数据为输入，采样视频，抽出序列帧，分组进行结构恢复，最后合并分组，得到整个场景的三维结构，提高计算的速度，节约计算资源。
为实现上述目的，本发明提供的一种运动恢复结构计算方法，包括以下步骤：
从拍摄的视频中提取标准帧，标定相机内参；
采用标定的相机内参拍摄场景视频，对所述场景视频进行采样，提取关键帧；
将所述关键帧分组进行运动恢复结构计算；
从每组关键帧中抽取代表帧，对代表帧进行运动恢复结构计算，根据计算结果标定每组关键帧；
对每组关键帧进行优化，得到整个场景三维结构信息。
进一步的，所述从拍摄的视频中提取标准帧，标定相机内参的步骤，还包括，
调整相机设置，拍摄棋盘格标定视频；
从视频中提取关键帧，选取标准和拍摄标准保持一致，通过棋盘格标定法标定相机参数。
进一步的，所述采用标定的相机内参拍摄场景视频，对所述场景视频进行采样，提取关键帧的步骤，还包括，控制电机带动所述相机运动，根据所述电机参数设置，按角度采样抽取视频关键帧并存储。
进一步的，所述将所述关键帧分组，还包括，
将所述关键帧按照序列顺序，将相邻帧划分到同一组；
按顺序选择每组关键帧中相同位置的关键帧划分为一组。
进一步的，所述将所述关键帧分组进行运动恢复结构计算的步骤，还包括，
检测组内每张图像的特征点，对组内所有图像进行特征点匹配，得到二维图像特征点结构信息；
根据标定的相机参数和图像特征点匹配三角化得到初始场景三维点结构化信息，初始化相机三维位置，通过多视角几何过滤异常三维数据点；
采用运动恢复结构优化过滤后的场景三维结构及相机内外参数。
进一步的，所述采用运动恢复结构优化过滤后的场景三维结构及相机内外参数的步骤，还包括，根据初始信息选取初始视角，分组加入和已加入的视角满足共同观察到的特征点的数量的视角，进行光束法平差，加入所有视角，得到优化结果。
进一步的，所述从每组关键帧中抽取代表帧，对代表帧进行运动恢复结构计算，根据计算结果标定每组关键帧的步骤，还包括，
从每组关键帧中按帧序列顺序等距挑选若干视角作为代表帧；
将所有代表帧进行运动恢复结构的计算，得到代表帧的相机三维位置和场景三维点云结构信息。
更进一步的，所述对每组关键帧进行优化，得到整个场景三维结构信息的步骤，还包括，
根据所述代表帧的相机三维位置，采用绝对定向法，将所述关键帧的各个分组统一到所述代表帧的坐标系中。
将每组关键帧的场景三维结构信息合并统一到代表帧坐标系下，进行光束法平差的优化，得到整个场景的相机三维位置和三维结构信息。
为实现上述目的，本发明还提供一种电子设备，包括存储器和处理器，所述存储器上储存有在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行如上文所述的运动恢复结构计算方法的步骤。
为实现上述目的，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序运行时执行如上文所述的运动恢复结构计算方法的步骤。
本发明的运动恢复结构计算方法、电子设备及计算机可读存储介质，具有以下有益效果：
1)使用固定装置和自动化拍摄流程完成三维重建的大规模数据采集过程。
2)使用分组合并的方式将计算过程速度大大提高，节约计算资源。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，并与本发明的实施例一起，用于解释本发明，并不构成对本发明的限制。在附图中：
图1为根据本发明的运动恢复结构计算方法流程图；
图2为根据本发明的实施例一自动采集视频的拍摄装置示意图；
图3为根据本发明的实施例一按角度均匀采样视频示意图；
图4为根据本发明的实施例一关键帧分组示意图；
图5为根据本发明的实施例一关键帧划分结果示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
图1为根据本发明的运动恢复结构计算方法流程图，下面将参考图1，对本发明的运动恢复结构计算方法进行详细描述。
首先，在步骤101，使用相机，拍摄棋盘格视频，抽出分布覆盖各个空间位置的标准帧，标定相机内参。
优选地，标定相机内参的步骤，可具体执行为：调整相机光圈和焦距等设置，拍摄棋盘格标定板视频，拍摄角度尽可能覆盖各个角度和景深范围；从视频中提取关键帧，选取标准和拍摄标准保持一致，通过棋盘格标定法标定相机内参。
本发明实施例中，相机内参具体包括，相机焦距，相机光心位置，相机畸变系数。
在步骤102，使用标定的相机参数拍摄场景视频，拍摄时控制电机带动相机运动；根据拍摄时设置的电机参数，从视频中按角度均匀采样抽取关键帧，将视频数据转成通用的图像格式存储在硬盘上。
本发明实施例中，拍摄方式如图2所示，用户在工控机(计算机)上通过控制程序选择拍摄时电机转动速度，同时将相机设置为标定的相机参数。设置好后在控制程序上启动拍摄。拍摄过程中转台绕重力方向匀速转动，另一个电机带动相机沿滑轨匀速滑动，通过两个电机的转动模拟相机从北极点位置螺旋向下绕场景转动的拍摄效果，整个拍摄过程启动后自动完成，无需人工参与全自动完成。
本发明实施例中，电机参数具体包括，加速度，转动速度，转动时间。
本发明实施例中，视频拍摄完成后，根据视频拍摄帧率和总时长估计总帧数，根据电机转动速度估计关键帧时间点，然后根据采样密度确定需要的关键帧在视频中的序列位置并记录在硬盘文件中。采样程序通过视频解码器从视频中提取关键帧。根据预计算好的关键帧序列，将所需的关键帧保存为通用图像格式(PNG、JPEG等)存储在硬盘上。
在步骤103，将关键帧进行分组，每组使用标定好的相机内参初始化，进行运动恢复结构的计算。
优选地，通过两次分组将所有关键帧进行划分。第一次分组将关键帧按照序列顺序，将相邻帧划分到同一组，第二次分组方法是，从第一次的每组中按顺序选第一个作为新的第一组，从每组中选第二个作为新的第二组，从每组选第三个作为新的第三组，以此类推，从第一次的分组将每组第N个分到新分组的第N组中得到新的划分。通过这种划分方式能得到利于三维结构重建的分组。
优选地，对每组各自进行运动恢复结构的计算，具体包括以下操作：检测组内每张图像特征点，可以使用自然特征点或者人为构造的同心圆等特征点；对组内所有图像进行特征点匹配，得到二维图像特征点结构信息；根据标定好的相机内参和图像特征点匹配三角化得到初始场景三维点结构化信息，并初始化相机三维位置，然后通过多视角几何的方法过滤掉异常三维数据点；使用渐进式运动恢复结构的方法优化上一步得到的过滤后的场景三维结构及相机内外参数。
优选地，根据初始信息选取观视角度大于十五度小于四十五度并且同时有超过一定数量的特征点匹配的视角为初始视角，之后分组加入和已经加入的视角有足够多共同观察到的特征点的视角，然后对当前已加入的所有视角做一次光束法平差。直到所有视角加入，得到优化结果。
本发明实施例中，分组加入(分批加入)按组内顺序进行，加入条件是和已加入的视角有足够多共同特征点。有足够多共同特征点的视角是指图像上匹配到的相同特征点数目大于一定阈值的视角。
在步骤104，从每个组中抽取一定数目帧作为代表，进行运动恢复结构计算，根据计算结果对各个组进行标定，统一到同一个坐标系下，优化得到整个场景三维结构信息。
优选地，提取代表帧标定所有分组，统一到同一个坐标系的步骤，可具体执行为：
从得到的划分结果中，每组按帧序列顺序等距挑选若干视角作为代表帧。将所有代表帧进行运动恢复结构的计算。得到代表帧的相机三维位置和场景三维点云结构信息。通过代表帧的相机三维位置，用绝对定向的方法，将关键帧的各个分组统一到代表帧的坐标系中。
在步骤105，将各分组的场景三维结构信息合并统一到代表帧坐标系下，做一次光束法平差的优化得到最终整个场景的相机三维位置和三维结构信息。
下面结合一具体实施例对本发明的运动恢复结构计算方法做进一步的说明。
(1)从相机视频抽帧标定得到视频模式下相机内参；
(2)用户通过工控机图形界面程序总体控制，电机带动物体和相机运动的方式实现拍摄过程的自动化，视频拍摄完成后，根据拍摄时参数设置自动采样关键帧；
(3)根据拍摄特点自动将采样帧分组并进行运动恢复结构计算；
(4)从分组选出代表帧做一次运动恢复结构计算，将结果应用到分组中，合并得到全局相机位置和三维结构信息，并再做一次光束法平差得到最终优化结果。
本实施例中，提供一种估计相机视频模式外参的方法，此处相机是广义上的相机，包括单反相机，微单相机，数码相机以及能拍摄视频的手机平板等智能设备。从视频中选取关键帧使用OpenCV提供的函数，计算得到视频模式相机外参。
图2为根据本发明的实施例一自动采集视频的拍摄装置示意图，如图2所示，使用Python语言实现的图形化界面程序，包括用户交互界面程序、电机控制程序、相机控制程序。用户在交互界面上设置好电机转速，拍摄时长，并放置好拍摄物体后，点击界面程序启动按钮开始拍摄，拍摄过程中，放置物体的转台按招设定的速度绕重力方向匀速转动，同时另一个电机带动相机在C型的弧形臂匀速滑动并启动相机拍摄视频，拍摄过程在预先设定的时长到达后自动停止。
图3为根据本发明的实施例一按角度均匀采样视频示意图，如图3所示，用户设定电机绕重力方向转动角速度为ω，沿弧形臂转动角速度为γ，在时间t相机相对于物体的位置分别为ωt和γt，由此可以计算出视频中每一帧相对于拍摄物体的相对位置，然后跟根据预设采样密度，抽出如图3所示相对等间隔角度的关键帧。
图4为根据本发明的实施例一关键帧分组示意图，如图4所示，将得到的关键帧为输入，通过两次划分将所有图像分为若干组。将所有关键帧记为{I0,I1,I2,…,In}。第一次划分将相邻帧分为同一组，每组数量为m，第k组中图像为{Ik*m,Ik*m+1,Ik*m+2,…,Ik*m+m-1}，分组结果如图4所示；第二次划分从第一次划分结果中将每组第j帧分到新组的第j组，即第j组的关键帧为{Ij,Im+j,I2*m+j,…,}，由此得到如图5所示划分。
本实施例中，得到分组后通过渐进式大规模运动恢复结构方法计算每个分组的相机位置和三维结构。
本实施例中，得到每个组的场景结构后，进行合并。从每个分组选出代表帧组成代表组，进行运动恢复结构计算，得到全局坐标系，选取方式为，第k组中选取{Ik,Ik+t,Ik+2*t,…}。将代表组中的得到的代表帧视角三维位置和原组的三维位置做绝对定位计算，得到分组场景坐标系到全局坐标系的变换，将变换应用到分组中的相机位置和三维点坐标信息，得到合并后的全局各个视角相机位置和三维场景信息，最后通过一次光束法平差优化得到最终结果。
本发明提出一种以视频数据作为输入，高效地计算大规模运动恢复结构的计算方法。该方法利用相机(单独的相机设备，如单反相机，微单相机或者手机均可)采集的视频数据为输入，采样视频，抽出序列帧，分组进行结构恢复，最后合并分组，得到整个场景的三维结构。
本发明的一个实施例中，还提供一种电子设备，包括存储器和处理器，所述存储器上储存有在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行如上文所述的运动恢复结构计算方法的步骤。
本发明的一个实施例中，还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序运行时执行如上文所述的运动恢复结构计算方法的步骤。
本领域普通技术人员可以理解：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种运动恢复结构计算方法，其特征在于，包括以下步骤：
从拍摄的视频中提取标准帧，标定相机内参；
采用标定的相机内参拍摄场景视频，对所述场景视频进行采样，提取关键帧；
将所述关键帧分组进行运动恢复结构计算；
从每组关键帧中抽取代表帧，对代表帧进行运动恢复结构计算，根据计算结果标定每组关键帧；
对每组关键帧进行优化，得到整个场景三维结构信息。
2.根据权利要求1所述的运动恢复结构计算方法，其特征在于，所述从拍摄的视频中提取标准帧，标定相机内参的步骤，还包括，
调整相机设置，拍摄棋盘格标定视频；
从视频中提取关键帧，选取标准和拍摄标准保持一致，通过棋盘格标定法标定相机参数。
3.根据权利要求1所述的运动恢复结构计算方法，其特征在于，所述采用标定的相机内参拍摄场景视频，对所述场景视频进行采样，提取关键帧的步骤，还包括，控制电机带动所述相机运动，根据所述电机参数设置，按角度采样抽取视频关键帧并存储。
4.根据权利要求1所述的运动恢复结构计算方法，其特征在于，所述将所述关键帧分组，还包括，
将所述关键帧按照序列顺序，将相邻帧划分到同一组；
按顺序选择每组关键帧中相同位置的关键帧划分为一组。
5.根据权利要求1所述的运动恢复结构计算方法，其特征在于，所述将所述关键帧分组进行运动恢复结构计算的步骤，还包括，
检测组内每张图像的特征点，对组内所有图像进行特征点匹配，得到二维图像特征点结构信息；
根据标定的相机参数和图像特征点匹配三角化得到初始场景三维点结构化信息，初始化相机三维位置，通过多视角几何过滤异常三维数据点；
采用运动恢复结构优化过滤后的场景三维结构及相机内外参数。
6.根据权利要求5所述的运动恢复结构计算方法，其特征在于，所述采用运动恢复结构优化过滤后的场景三维结构及相机内外参数的步骤，还包括，根据初始信息选取初始视角，分组加入和已加入的视角满足共同观察到的特征点的数量的视角，进行光束法平差，加入所有视角，得到优化结果。
7.根据权利要求1所述的运动恢复结构计算方法，其特征在于，所述从每组关键帧中抽取代表帧，对代表帧进行运动恢复结构计算，根据计算结果标定每组关键帧的步骤，还包括，
从每组关键帧中按帧序列顺序等距挑选若干视角作为代表帧；
将所有代表帧进行运动恢复结构的计算，得到代表帧的相机三维位置和场景三维点云结构信息。
8.根据权利要求7所述的运动恢复结构计算方法，其特征在于，所述对每组关键帧进行优化，得到整个场景三维结构信息的步骤，还包括，
根据所述代表帧的相机三维位置，采用绝对定向法，将所述关键帧的各个分组统一到所述代表帧的坐标系中；
将每组关键帧的场景三维结构信息合并统一到代表帧坐标系下，进行光束法平差的优化，得到整个场景的相机三维位置和三维结构信息。
9.一种电子设备，其特征在于，包括存储器和处理器，所述存储器上储存有在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行权利要求1至8任一项所述的运动恢复结构计算方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序运行时执行权利要求1至8任一项所述的运动恢复结构计算方法的步骤。
CN202110219022.7A 2021-02-26 2021-02-26 一种运动恢复结构计算方法 Pending CN113034606A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110219022.7A CN113034606A (zh) 2021-02-26 2021-02-26 一种运动恢复结构计算方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110219022.7A CN113034606A (zh) 2021-02-26 2021-02-26 一种运动恢复结构计算方法

Publications (1)

Publication Number Publication Date
CN113034606A true CN113034606A (zh) 2021-06-25

Family

ID=76461913

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110219022.7A Pending CN113034606A (zh) 2021-02-26 2021-02-26 一种运动恢复结构计算方法

Country Status (1)

Country Link
CN (1) CN113034606A (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7352386B1 (en) * 1999-06-22 2008-04-01 Microsoft Corporation Method and apparatus for recovering a three-dimensional scene from two-dimensional images
CN103247075A (zh) * 2013-05-13 2013-08-14 北京工业大学 基于变分机制的室内环境三维重建方法
US20130215239A1 (en) * 2012-02-21 2013-08-22 Sen Wang 3d scene model from video
US20130286012A1 (en) * 2012-04-25 2013-10-31 University Of Southern California 3d body modeling from one or more depth cameras in the presence of articulated motion
US20150172626A1 (en) * 2012-07-30 2015-06-18 Sony Computer Entertainment Europe Limited Localisation and mapping
CN105551086A (zh) * 2015-12-04 2016-05-04 华中科技大学 一种基于计算机视觉的个性化脚部建模与鞋垫定制方法
US20180234669A1 (en) * 2017-02-15 2018-08-16 Adobe Systems Incorporated Six-degree of freedom video playback of a single monoscopic 360-degree video
CN109727288A (zh) * 2017-12-28 2019-05-07 北京京东尚科信息技术有限公司 用于单目同时定位与地图构建的***和方法
US10682108B1 (en) * 2019-07-16 2020-06-16 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for three-dimensional (3D) reconstruction of colonoscopic surfaces for determining missing regions
US20200219272A1 (en) * 2019-01-07 2020-07-09 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for deriving a three-dimensional (3d) textured surface from endoscopic video

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7352386B1 (en) * 1999-06-22 2008-04-01 Microsoft Corporation Method and apparatus for recovering a three-dimensional scene from two-dimensional images
US20130215239A1 (en) * 2012-02-21 2013-08-22 Sen Wang 3d scene model from video
US20130286012A1 (en) * 2012-04-25 2013-10-31 University Of Southern California 3d body modeling from one or more depth cameras in the presence of articulated motion
US20150172626A1 (en) * 2012-07-30 2015-06-18 Sony Computer Entertainment Europe Limited Localisation and mapping
CN103247075A (zh) * 2013-05-13 2013-08-14 北京工业大学 基于变分机制的室内环境三维重建方法
CN105551086A (zh) * 2015-12-04 2016-05-04 华中科技大学 一种基于计算机视觉的个性化脚部建模与鞋垫定制方法
US20180234669A1 (en) * 2017-02-15 2018-08-16 Adobe Systems Incorporated Six-degree of freedom video playback of a single monoscopic 360-degree video
CN109727288A (zh) * 2017-12-28 2019-05-07 北京京东尚科信息技术有限公司 用于单目同时定位与地图构建的***和方法
US20200219272A1 (en) * 2019-01-07 2020-07-09 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for deriving a three-dimensional (3d) textured surface from endoscopic video
US10682108B1 (en) * 2019-07-16 2020-06-16 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for three-dimensional (3D) reconstruction of colonoscopic surfaces for determining missing regions

Similar Documents

Publication Publication Date Title
CN112311965B (zh) 虚拟拍摄方法、装置、***及存储介质
US6084979A (en) Method for creating virtual reality
CN110799921A (zh) 拍摄方法、装置和无人机
CN103873758B (zh) 全景图实时生成的方法、装置及设备
US9374561B1 (en) Step-stare oblique aerial camera system
CN109801234B (zh) 图像几何校正方法及装置
CN109903393B (zh) 基于深度学习的新视角场景合成方法和装置
CN109788270B (zh) 3d-360度全景图像生成方法及装置
US11328436B2 (en) Using camera effect in the generation of custom synthetic data for use in training an artificial intelligence model to produce an image depth map
JP2019045991A (ja) 生成装置、生成方法、及びプログラム
CN110009675A (zh) 生成视差图的方法、装置、介质及设备
CN111612878A (zh) 将静态照片制作成三维效果视频的方法及装置
KR20150091064A (ko) 단일의 카메라를 이용하여 3d 이미지를 캡쳐하는 방법 및 시스템
US20220232173A1 (en) Method and device of image processing, imaging system and storage medium
CN113841112A (zh) 图像处理方法、相机及移动终端
CN114882106A (zh) 位姿确定方法和装置、设备、介质
CN115769592A (zh) 图像采集方法、装置、电子设备及介质
EP3496042A1 (en) System and method for generating training images
CN112017242B (zh) 显示方法及装置、设备、存储介质
CN113034606A (zh) 一种运动恢复结构计算方法
CN111882590A (zh) 一种基于单张图片定位的ar场景应用方法
CN114095780A (zh) 一种全景视频剪辑方法、装置、存储介质及设备
CN101751654A (zh) 真实环境中采集的灯光信息在虚拟现实中的应用
CN115935011A (zh) 一种基于bim模型的镜现平台数据处理方法
US10061189B2 (en) Stereo-panoramic data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20230710

Address after: 1203, 1205, 12th floor, No. B6 Chaowai Street, Chaoyang District, Beijing, 100020

Applicant after: AOBEN WEILAI (BEIJING) TECHNOLOGY Co.,Ltd.

Address before: 314500 room 205, building 3, 1156 Gaoqiao Avenue, Gaoqiao street, Tongxiang City, Jiaxing City, Zhejiang Province

Applicant before: Jiaxing Fengniao Technology Co.,Ltd.

Applicant before: AOBEN WEILAI (BEIJING) TECHNOLOGY Co.,Ltd.