CN113596336A - 图像获取方法及装置、电子设备及存储介质 - Google Patents
图像获取方法及装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113596336A CN113596336A CN202110881248.3A CN202110881248A CN113596336A CN 113596336 A CN113596336 A CN 113596336A CN 202110881248 A CN202110881248 A CN 202110881248A CN 113596336 A CN113596336 A CN 113596336A
- Authority
- CN
- China
- Prior art keywords
- acquisition
- image
- image acquisition
- point
- coordinate system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
Abstract
一种图像获取方法及装置、电子设备及存储介质,该图像获取方法包括:基于采集对象,建立空间坐标系;基于采集对象的N个采集点,确定基准采集位置,并确定基准采集位置的基准坐标;确定图像采集装置的采集坐标,以及图像采集装置的采集方向的方向向量;确定图像采集装置当前采集的目标采集点的参考坐标;计算参考坐标相对于基准坐标的参考向量,并计算方向向量与参考向量之间的偏移角度,以及采集坐标相对于参考向量的第一偏移距离;响应于偏移角度小于或等于角度偏移阈值,且第一偏移距离小于或等于第一距离偏移阈值,通过图像采集装置,采集对应于当前采集的目标采集点的图像。该图像获取方法可提升采集的目标采集点的图像的准确性和可靠性。
Description
技术领域
本公开的实施例涉及一种图像获取方法、图像获取装置、电子设备及存储介质。
背景技术
目前,全景图像技术已广泛应用于例如房屋、车辆等商品的线上展示。通过全景拍摄对实体商品进行图像采集,并对所采集的图像进行处理以生成该商品对应的商品全景图,使得用户可以通过浏览商品全景图,对商品有更加直观且准确的了解,提升用户体验。
发明内容
本公开至少一个实施例提供一种图像获取方法,该图像获取方法包括:基于采集对象,建立空间坐标系,所述采集对象包括N个采集点,N为正整数;基于所述N个采集点,确定基准采集位置,并确定所述基准采集位置在所述空间坐标系中的基准坐标;确定图像采集装置在所述空间坐标系中的采集坐标,以及所述图像采集装置的采集方向在所述空间坐标系中的方向向量;确定所述图像采集装置当前采集的目标采集点在所述空间坐标系中的参考坐标;计算所述参考坐标相对于所述基准坐标的参考向量,并计算所述方向向量与所述参考向量之间的偏移角度,以及所述图像采集装置的采集坐标相对于所述参考向量的第一偏移距离;响应于所述偏移角度小于或等于角度偏移阈值,且所述第一偏移距离小于或等于第一距离偏移阈值,通过所述图像采集装置,采集对应于当前采集的所述目标采集点的图像。
例如,本公开一实施例提供的图像获取方法还包括:响应于所述第一偏移距离大于所述第一距离偏移阈值,调整所述图像采集装置相对于所述采集对象的采集位置,并重新确定所述图像采集装置在所述空间坐标系中的采集坐标。
例如,本公开一实施例提供的图像获取方法还包括:响应于所述偏移角度大于所述角度偏移阈值,调整所述图像采集装置的采集方向,并重新确定所述图像采集装置的采集方向在所述空间坐标系中的方向向量。
例如,在本公开一实施例提供的图像获取方法中,计算所述方向向量与所述参考向量之间的所述偏移角度,包括:计算所述参考坐标相对于所述采集坐标的辅助向量,并计算所述辅助向量与所述参考向量之间的第一夹角,以及所述辅助向量与所述方向向量之间的第二夹角,其中,所述偏移角度为所述第一夹角与所述第二夹角的差值;所述偏移角度小于或等于所述角度偏移阈值,包括:所述第一夹角小于或等于第一夹角阈值,所述第二夹角小于或等于第二夹角阈值,且所述第一夹角与所述第二夹角的差值小于或等于所述角度偏移阈值。
例如,本公开一实施例提供的图像获取方法还包括:计算所述图像采集装置的采集坐标与所述基准坐标之间的第二偏移距离;响应于所述第二偏移距离小于或等于第二距离偏移阈值,通过所述图像采集装置采集对应于当前采集的所述目标采集点的图像;响应于所述第二偏移距离大于所述第二距离偏移阈值,调整所述图像采集装置相对于所述采集对象的采集位置,直到满足所述第二偏移距离小于或等于所述第二距离偏移阈值,并重新确定所述图像采集装置在所述空间坐标系中的采集坐标。
例如,在本公开一实施例提供的图像获取方法中,计算所述图像采集装置的采集坐标与所述基准坐标之间的所述第二偏移距离,包括:基于所述图像采集装置的当前采集范围,确定所述图像采集装置相对于所述采集对象的采集位置,并计算所述图像采集装置的采集坐标与所述基准坐标之间的所述第二偏移距离。
例如,本公开一实施例提供的图像获取方法还包括:获取所述图像采集装置的采集姿态信息,所述采集姿态信息包括所述图像采集装置在与所述采集方向垂直的平面内的旋转角度;响应于所述旋转角度小于或等于角度旋转阈值,通过所述图像采集装置采集对应于当前采集的所述目标采集点的图像;响应于所述旋转角度大于所述角度旋转阈值,调整所述图像采集装置的采集姿态,直到满足所述旋转角度小于或等于所述角度旋转阈值。
例如,本公开一实施例提供的图像获取方法还包括:判断所述图像采集装置的当前采集范围内是否包括至少一个采集点;若所述图像采集装置的当前采集范围内包括所述至少一个采集点,则基于所述至少一个采集点,确定当前采集的所述目标采集点;若所述图像采集装置的当前采集范围内不包括所述至少一个采集点,则调整所述图像采集装置相对于所述采集对象的采集位置。
例如,在本公开一实施例提供的图像获取方法中,若所述图像采集装置的当前采集范围内包括所述至少一个采集点,则基于所述至少一个采集点,确定当前采集的所述目标采集点,包括:响应于所述至少一个采集点中包括未被采集的采集点,将所述未被采集的采集点作为当前采集的所述目标采集点;响应于所述至少一个采集点中的每个采集点均为已被采集的采集点,调整所述图像采集装置相对于所述采集对象的采集位置。
例如,在本公开一实施例提供的图像获取方法中,响应于所述至少一个采集点中包括所述未被采集的采集点,将所述未被采集的采集点作为当前采集的所述目标采集点,包括:响应于所述至少一个采集点中包括一个未被采集的采集点,将所述一个未被采集的采集点作为当前采集的所述目标采集点;响应于所述至少一个采集点中包括多个未被采集的采集点,计算对应于所述多个未被采集的采集点的多个第二夹角,并将所述多个第二夹角中的最小的第二夹角对应的采集点作为当前采集的所述目标采集点,每个所述多个未被采集的第二夹角为每个所述多个未被采集的参考坐标相对于所述采集坐标的辅助向量与所述方向向量之间的夹角。
例如,本公开一实施例提供的图像获取方法还包括:获取所述采集对象的初步图像,所述初步图像包括所述采集对象的空间特征;基于所述初步图像提取所述采集对象的空间特征;以及基于所述采集对象的空间特征,选取所述采集对象的所述N个采集点。
例如,在本公开一实施例提供的图像获取方法中,N为大于或等于2的正整数,所述N个采集点在所述采集对象上呈均匀分布。
例如,在本公开一实施例提供的图像获取方法中,N为大于或等于2的正整数,所述图像获取方法还包括:通过所述图像采集装置,依次采集对应于所述N个采集点的多个图像。
例如,本公开一实施例提供的图像获取方法还包括:对采集的对应于所述N个采集点的所述多个图像进行拼接处理,以获取所述采集对象的全景图像。
例如,在本公开一实施例提供的图像获取方法中,对采集的对应于所述N个采集点的所述多个图像进行拼接处理,以获取所述采集对象的全景图像,包括:基于所述采集对象的N个采集点的位姿信息以及所述图像采集装置采集所述多个图像时的位姿信息,确定所述多个图像的拼接位置;根据所述多个图像的拼接位置,将所述多个图像进行融合,得到三维拼接图像;以及将所述三维拼接图像映射到二维像素坐标系中,以获取所述采集对象的全景图像。
本公开至少一个实施例还提供一种图像获取方法,该图像获取方法包括:基于采集对象,建立空间坐标系,所述采集对象包括N个采集点,N为正整数;基于所述N个采集点,确定基准采集位置,并确定所述基准采集位置在所述空间坐标系中的基准坐标;确定图像采集装置在所述空间坐标系中的采集坐标,以及所述图像采集装置的采集方向在所述空间坐标系中的方向向量;确定所述图像采集装置当前采集的目标采集点在所述空间坐标系中的参考坐标;计算所述参考坐标相对于所述基准坐标的参考向量以及所述参考坐标相对于所述采集坐标的辅助向量,计算所述辅助向量与所述参考向量之间的第一夹角以及所述辅助向量与所述方向向量之间的第二夹角,并计算所述图像采集装置的采集坐标相对于所述参考向量的第一偏移距离;响应于所述第一夹角小于或等于第一夹角阈值,所述第二夹角小于或等于第二夹角阈值,且所述第一偏移距离小于或等于第一距离偏移阈值,通过所述图像采集装置,采集对应于当前采集的所述目标采集点的图像。
本公开至少一个实施例还提供一种图像获取装置,该图像获取装置包括坐标系建立单元、采集位置确定单元、坐标系计算单元、计算单元、控制单元以及图像采集单元;所述坐标系建立单元配置为基于采集对象,建立空间坐标系,所述采集对象包括N个采集点,N为正整数;所述采集位置确定单元配置为基于所述N个采集点,确定基准采集位置;所述坐标系计算单元配置为确定所述基准采集位置在所述空间坐标系中的基准坐标、图像采集装置在所述空间坐标系中的采集坐标、所述图像采集装置的采集方向在所述空间坐标系中的方向向量、以及所述图像采集装置当前采集的目标采集点在所述空间坐标系中的参考坐标;所述计算单元配置为计算所述参考坐标相对于所述基准坐标的参考向量、所述方向向量与所述参考向量之间的偏移角度、以及所述图像采集装置的采集坐标相对于所述参考向量的第一偏移距离;所述控制单元配置为确定所述偏移角度是否小于或等于角度偏移阈值,以及所述第一偏移距离是否小于或等于第一距离偏移阈值;所述图像采集单元配置为通过所述图像采集装置,采集对应于当前采集的所述目标采集点的图像。
本公开至少一个实施例还提供一种电子设备,该电子设备包括存储器和处理器;存储器非瞬时性地存储有计算机可执行指令;处理器配置为运行所述计算机可执行指令,所述计算机可执行指令被所述处理器运行时实现根据本公开任一实施例所述的图像获取方法。
本公开至少一个实施例还提供一种非瞬时性计算机可读存储介质,所述非瞬时性计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令被处理器执行时实现根据本公开任一实施例所述的图像获取方法。
附图说明
为了更清楚地说明本公开实施例的技术方案,下面将对实施例的附图作简单地介绍,显而易见地,下面描述中的附图仅仅涉及本公开的一些实施例,而非对本公开的限制。
图1为本公开一些实施例提供的一种图像获取方法的示意性流程图;
图2为本公开一些实施例提供的一种空间坐标系的示意图;
图3为本公开一些实施例提供的一种空间坐标系的二维平面投影的示例的示意图;
图4为本公开一些实施例提供的另一种图像获取方法的示意性流程图;
图5为本公开一些实施例提供的再一种图像获取方法的示意性流程图;
图6为本公开一些实施例提供的再一种图像获取方法的示意性流程图;
图7为本公开一些实施例提供的再一种图像获取方法的示意性流程图;
图8为本公开一些实施例提供的再一种图像获取方法的示意性流程图;
图9为本公开一些实施例提供的再一种图像获取方法的示意性流程图;
图10为本公开一些实施例提供的一种图像获取方法中的步骤S401的示意性流程图;
图11A为本公开一些实施例提供的一种三维拼接图像的示例的示意图;
图11B为本公开一些实施例提供的一种全景图像的示例的示意图;
图12为本公开一些实施例提供的再一种图像获取方法的示意性流程图;
图13为本公开一些实施例提供的一种图像获取装置的示意性框图;
图14为本公开一些实施例提供的一种电子设备的示意框图;
图15为本公开一些实施例提供的另一种电子设备的示意框图;以及
图16为本公开一些实施例提供的一种存储介质的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例的附图,对本公开实施例的技术方案进行清楚、完整地描述。显然,所描述的实施例是本公开的一部分实施例,而不是全部的实施例。基于所描述的本公开的实施例,本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
除非另外定义,本公开使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性,而只是用来区分不同的组成部分。同样,“一个”、“一”或者“该”等类似词语也不表示数量限制,而是表示存在至少一个。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同,而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接,而是可以包括电性的连接,不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系,当被描述对象的绝对位置改变后,则该相对位置关系也可能相应地改变。
随着全景图像技术的不断发展,用于对实体商品进行图像采集的拍摄设备也相应随之优化。例如,在对房屋、车辆等商品进行图像采集时,用户可以使用例如手机等拍摄设备的摄像头,对商品的不同区域或不同位置处的多张图像进行采集,进而在完成商品的全部图像信息的采集后,利用图像拼接技术将采集的多张图像进行拼接,以合成一张对应于该商品的全景图像。
但是,在用户使用例如手机等拍摄设备对商品进行图像采集的过程中,由于用户很难准确地把握拍摄设备的倾斜角度、拍摄方向、拍摄位置等因素,导致最终采集到的多张图像难以完整且准确地涵盖商品的全部区域或各个部分,例如采集到的图像中可能会遗漏商品的某个区域或某个部分,进而难以对采集到的图像进行准确地拼接,对图像的拼接以及合成效果造成严重的不良影响,导致得到的关于该商品的全景图像的准确性和可靠性严重降低,用户难以根据该全景图像准确地获取商品的相应信息。
本公开至少一个实施例提供一种图像获取方法,该图像获取方法包括:基于采集对象,建立空间坐标系,采集对象包括N个采集点,N为正整数;基于N个采集点,确定基准采集位置,并确定基准采集位置在空间坐标系中的基准坐标;确定图像采集装置在空间坐标系中的采集坐标,以及图像采集装置的采集方向在空间坐标系中的方向向量;确定图像采集装置当前采集的目标采集点在空间坐标系中的参考坐标;计算参考坐标相对于基准坐标的参考向量,并计算方向向量与参考向量之间的偏移角度,以及图像采集装置的采集坐标相对于参考向量的第一偏移距离;响应于偏移角度小于或等于角度偏移阈值,且第一偏移距离小于或等于第一距离偏移阈值,通过图像采集装置,采集对应于当前采集的目标采集点的图像。
本公开上述实施例提供的图像获取方法中,通过在图像采集过程中,在确定偏移角度小于或等于角度偏移阈值,且第一偏移距离小于或等于第一距离偏移阈值后,再通过图像采集装置采集对应于当前采集的目标采集点的图像,由此可以提高采集到的对应于该采集对象的各采集点的图像的准确性和可靠性,进而有利于基于采集到的图像进行准确地拼接及合成操作,提高对采集到的图像进行拼接及合成操作后获取的对应于该采集对象的完整图像(例如全景图像)的准确性和可靠性,有助于用户更加直观且准确地获取该采集对象的信息。
下面,将参考附图详细地说明本公开的实施例。应当注意的是,不同的附图中相同的附图标记将用于指代已描述的相同的元件。
图1为本公开一些实施例提供的一种图像获取方法的示意性流程图。
如图1所示,本公开实施例提供的图像获取方法包括步骤S11至S16。
步骤S11:基于采集对象,建立空间坐标系,采集对象包括N个采集点,N为正整数。
步骤S12:基于N个采集点,确定基准采集位置,并确定基准采集位置在空间坐标系中的基准坐标。
步骤S13:确定图像采集装置在空间坐标系中的采集坐标,以及图像采集装置的采集方向在空间坐标系中的方向向量。
步骤S14:确定图像采集装置当前采集的目标采集点在空间坐标系中的参考坐标。
步骤S15:计算参考坐标相对于基准坐标的参考向量,并计算方向向量与参考向量之间的偏移角度,以及图像采集装置的采集坐标相对于参考向量的第一偏移距离。
响应于偏移角度小于或等于角度偏移阈值,且第一偏移距离小于或等于第一距离偏移阈值:
步骤S16:通过图像采集装置,采集对应于当前采集的目标采集点的图像。
例如,上述采集对象可以为各种类型的实体对象,例如建筑物(例如,房屋等)、车辆等,本公开的实施例对采集对象的类型、结构、形态等均不作具体限制。
下面,本公开的一些实施例以采集对象为一个房间为例,对本公开实施例提供的图像获取方法进行具体说明。
图2为本公开一些实施例提供的一种空间坐标系的示意图,图3为本公开一些实施例提供的一种空间坐标系的二维平面投影的示例的示意图。例如,图3可以为图2中所示的空间坐标系在由X轴和Y轴构成的XOY平面内的投影。下面参考图2和图3中所示的空间坐标系,对图1中所示的图像获取方法中的各个步骤进行具体说明。
例如,对于上述步骤S11,可以利用增强现实(Augmented Reality,AR)技术,基于采集对象的整体结构信息或所占据的空间信息等构建一个空间坐标系,例如如图2所示的三维球体坐标系。由此,可以基于建立的该空间坐标系,判断图像采集装置在采集对应于目标采集点的图像时,是否满足图像采集条件,从而提升采集到的图像的准确性和可靠性,提高图像采集效率。
需要说明的是,本公开的实施例对空间坐标系的具体结构或形态等均不作限制,例如该空间坐标系可以为图2所示的三维球体坐标系,或者,在一些示例中,该空间坐标系也可以为立方体坐标系、圆柱体坐标系等。本公开的实施例以空间坐标系采用图2所示的三维球体坐标系为例,但是本公开的实施例包括但并不仅限于此。
例如,在图2所示的三维球体坐标系中,可以将该球体的球心作为该空间坐标系的原点O,并基于彼此相互垂直的X轴、Y轴及Z轴,确定该空间坐标系中的每个点的坐标。例如,该空间坐标系中的每个点的坐标可以由该点在X轴、Y轴及Z轴上的投影组成。
例如,该采集对象可以包括1个或多个采集点,即N个采集点为1个或多个采集点,每个采集点对应采集对象的至少部分区域,进而可以基于该1个或多个采集点进行图像采集,从而实现对该采集对象的各个相应部分或区域的图像进行采集。
例如,在本公开的一些实施例中,该采集对象可以包括多个采集点,多个采集点分别对应采集对象的不同区域,且多个采集点对应的所有区域可以完整覆盖该采集对象的全部区域,由此既可以降低对图像采集装置的例如采集视角等采集性能的要求,也可以进一步提高基于图像采集装置采集到的图像信息的完整性和准确性。
需要说明的是,“采集对象包括的N个采集点”并不是真实存在于采集对象中的,而是表示进行图像采集时的参考点。
例如,以图2所示的三维球体坐标系为例,结合建立的该三维球体坐标系的结构特征,该三维球体坐标系中的多个点P用于表示该采集对象的多个采集点。后文中为了便于说明,用P表示采集对象的采集点。
例如,参考图2所示,该多个采集点P可以被划分为两个采集点组,且两个采集点组中的采集点分别沿图2中所示的圆环方向LN1和LN2均匀分布。由此,可以使基于多个采集点P采集到的图像基本或完全覆盖采集对象的全部区域或各个部分,从而提高获取的采集图像的完整性和可靠性,改善采集图像的拼接效果,进而提升后续步骤中得到的例如全景图像的完整性和可靠性。
例如,当P为偶数,每个采集点组中的采集点的数量可以为P/2;当P为大于1的奇数,两个采集点组中的一个采集点组中的采集点的数量可以为(P-1)/2,两个采集点组中的另一个采集点组中的采集点的数量可以为(P+1)/2。在本公开的一些示例中,该采集对象可以包括24个采集点P,24个采集点P可以被划分为两个采集点组,两个采集点组中的一个采集点组中的12个采集点沿图2中所示的圆环方向LN1均匀分布,两个采集点组中的另一个采集点组中的12个采集点沿图2中所示的圆环方向LN2均匀分布。例如,圆环方向LN1和LN2对应的纬度角的范围可以为25°~30°,以有利于图像采集装置基于沿圆环方向LN1和LN2分布的多个采集点P进行图像采集。
需要说明的是,本公开的实施例对多个采集点P的具体数量、分布位置等均不作限制,例如可以结合该采集对象的结构特征、采集装置的图像采集性能等共同确定。
例如,对于上述步骤S12,在利用图像采集装置,基于采集对象的采集点对采集对象进行图像采集时,为了保证采集到完整且准确的图像信息,需要基于采集点P确定一个基准采集位置,进而使图像采集装置在图像采集的过程中尽可能位于该基准采集位置或者位于距离该基准采集位置一定距离阈值的范围内,从而提升采集到的图像的完整性和准确性,例如在采集点P为多个时,也可以有助于后续步骤中对采集到的图像的拼接操作。
例如,以采集对象为房间为例,该基准采集位置可以为房间的中心位置,例如该基准采集位置在图2所示的空间坐标系中的位置可以通过原点O表示,也即,该原点O的坐标作为该基准采集位置在图2所示的空间坐标系中的基准坐标。
例如,对于上述步骤S13,结合图2和图3所示,为了便于后续步骤中准确地判断图像采集装置当前是否满足图像采集条件,需要确定当前该图像采集装置在该空间坐标系中的采集坐标,以及该图像采集装置的采集方向在该空间坐标系中的方向向量,例如,图像采集装置的采集方向为该图像采集装置当前的拍摄方向。需要说明的是,为了清楚地解释对于图像采集装置是否满足图像采集条件的判断过程,基于该空间坐标系中的各点和向量在图3所示的由X轴和Y轴构成的XOY平面内的投影进行说明。
例如,图像采集装置在空间坐标系中的采集坐标可以用于体现该图像采集装置相对于采集对象的采集位置。
例如,该图像采集装置在该空间坐标系中的位置可以通过点C表示,也即,点C的坐标为该图像采集装置在该空间坐标系中的采集坐标。例如,该图像采集装置的采集方向在该空间坐标系中的方向向量可以通过向量CF表示。需要说明的是,图3中所示的点C可以用于表示点C在XOY平面内的投影位置,也即,该图像采集装置在该空间坐标系中的采集坐标在XOY平面内的投影位置,图3中所示的向量CF可以用于表示向量CF在XOY平面内的投影,也即,该图像采集装置的采集方向在XOY平面内的投影,后续步骤中涉及到的该空间坐标系中的其他坐标位置、向量等不再重复说明。
例如,对于上述步骤S14,目标采集点T为N个采集点中的图像采集装置当前进行图像采集的采集点,即目标采集点T为上述一个或多个采集点P中的一个,也即,图像采集装置当前采集图像所参考的采集点,例如,目标采集点T在该空间坐标系中的坐标即为参考坐标。
例如,对于上述步骤S15,计算参考坐标(例如目标采集点T在该空间坐标系中的坐标)相对于基准坐标(例如原点O在该空间坐标系中的坐标)的参考向量OT,并计算方向向量CF与参考向量OT之间的偏移角度。例如,该偏移角度可以为方向向量CF与参考向量OT在由X轴和Y轴构成的XOY平面内的投影之间的夹角,例如该夹角可以为图3中所示的夹角α1与α2之间的差值。例如,步骤S15中的图像采集装置的采集坐标(例如点C在该空间坐标系中的坐标)相对于参考向量OT的第一偏移距离为点C与该参考向量OT之间的最短距离。需要说明的是,该最短距离为该空间坐标系中的三维空间距离。
例如,上述步骤S16需要在满足方向向量CF与参考向量OT之间的偏移角度小于或等于角度偏移阈值,且点C相对于参考向量OT的第一偏移距离小于或等于第一距离偏移阈值的条件下执行,由此可以通过图像采集装置采集到对应于当前采集的目标采集点T的准确且可靠的图像。
例如,在利用图像采集装置分别采集对应于多个采集点的图像时,由于图像采集装置相对于采集对象的位置在采集对应于各个采集点的图像时可能会发生距离偏移,因此,在利用图像采集装置采集每个目标采集点的图像时,需要确定图像采集装置当前的位置、采集方向等满足相对于该目标采集点的图像采集条件,由此有利于通过图像采集装置基于多个采集点采集到能够覆盖采集对象的各个区域或各个部分的图像信息。
同时,上述图像采集条件中设定了角度偏移阈值和第一距离偏移阈值,也即,上述图像采集条件中对图像采集装置的偏移角度和偏移距离均分别限定在一定的范围内。由此,既可以减小采集图像时图像采集装置在角度和距离上可能产生的偏移误差,又可以简化或降低图像采集过程中对图像采集装置的摆放位置或摆放角度的要求,从而改善用户体验。
图4为本公开一些实施例提供的另一种图像获取方法的示意性流程图。需要说明的是,除步骤S171和步骤S172以外,图4中所示的图像获取方法中的其他步骤S11至S16均与图1中所示的图像获取方法中的步骤S11至S16基本相同或相似,重复之处不再赘述。
例如,如图4所示,在本公开的一些实施例中,响应于第一偏移距离大于第一距离偏移阈值,该图像获取方法还包括以下步骤S171。
步骤S171:调整图像采集装置相对于采集对象的采集位置。
例如,在确定第一偏移距离大于第一距离偏移阈值的情况下,则可以确定图像采集装置当前的采集位置不满足图像采集条件,例如图像采集装置可能偏移了较大距离,该图像采集装置的当前采集范围难以完整覆盖对应于目标采集点的图像,因此需要调整图像采集装置相对于采集对象的采集位置,以使图像采集装置的采集位置符合采集对应于该目标采集点的图像的条件。
例如,在步骤S171调整图像采集装置相对于采集对象的采集位置后,重新确定图像采集装置在空间坐标系中的采集坐标,如果调整后的图像采集装置相对于采集对象的采集位置依旧不满足图像采集条件,也即,如果基于调整后的图像采集装置相对于采集对象的采集位置确定的第一偏移距离仍旧大于第一距离偏移阈值,则继续调整图像采集装置相对于采集对象的采集位置,以使图像采集装置的采集位置符合采集对应于该目标采集点的图像的条件。由此,可以确定在通过图像采集装置采集对应于该目标采集点的图像时,图像采集装置的采集范围可以相对准确且完整地覆盖对应于该目标采集点的图像。
例如,如图4所示,在本公开的一些实施例中,响应于偏移角度大于角度偏移阈值,该图像获取方法还包括以下步骤S172。
步骤S172:调整图像采集装置的采集方向。
例如,在确定偏移角度大于角度偏移阈值的情况下,则可以确定图像采集装置当前的采集角度不满足图像采集条件,例如基于图像采集装置当前的采集方向,采集范围难以完整覆盖对应于目标采集点的图像,因此需要调整图像采集装置的采集方向,以使图像采集装置的采集范围可以相对准确且完整地覆盖对应于该目标采集点的图像。
例如,在步骤S172调整图像采集装置的采集方向后,重新确定图像采集装置的采集方向在空间坐标系中的方向向量,如果调整后的图像采集装置的采集方向依旧不满足图像采集条件,也即,如果基于调整后的图像采集装置的采集方向确定的偏移角度仍旧大于角度偏移阈值,则继续调整图像采集装置的采集方向,以使图像采集装置的采集方向符合采集对应于该目标采集点的图像的条件。由此,在利用图像采集装置采集图像时,可以使图像采集装置的采集方向基本或近似于参考向量的方向,进而提高采集的图像的准确性和可靠性。
例如,在本公开的一些实施例中,上述步骤S15中的计算方向向量与参考向量之间的偏移角度可以包括以下步骤:计算参考坐标相对于采集坐标的辅助向量,并计算辅助向量与参考向量之间的第一夹角,以及辅助向量与方向向量之间的第二夹角。例如,偏移角度为第一夹角与第二夹角的差值。
例如,参考图3所示,辅助向量表示为向量CT,参考向量表示为向量OT,方向向量表示为向量CF,第一夹角表示为α1,第二夹角表示为α2。
相应地,在执行图1中所示的步骤S16之前,需要响应的条件,偏移角度小于或等于角度偏移阈值,包括:第一夹角α1小于或等于第一夹角阈值,第二夹角α1小于或等于第二夹角阈值,且第一夹角α1与第二夹角α2的差值小于或等于角度偏移阈值。
例如,在满足上述第一夹角α1小于或等于第一夹角阈值,且第二夹角α1小于或等于第二夹角阈值的条件下,可以使图像采集装置的采集位置尽可能得靠近原点O,且使采集方向CF尽可能与参考向量OT平行,由此可以提升通过图像采集装置采集的图像的准确性和可靠性。例如,当第一夹角α1等于0且第二夹角α2等于0时,可以确定图像采集装置的采集位置和采集方向均达到理想采集条件。本公开的实施例通过使第一夹角α1趋近于0且第二夹角α2趋近于0,可以在减小通过图像采集装置采集的图像的误差,提升采集的图像的准确性和可靠性的同时,简化或降低图像采集过程中对图像采集装置的摆放位置或摆放角度的要求,从而改善用户体验。
图5为本公开一些实施例提供的再一种图像获取方法的示意性流程图。需要说明的是,除步骤S181和步骤S182以及执行步骤S16的响应条件以外,图5中所示的图像获取方法中的其他步骤S11至步骤S16均与图1中所示的图像获取方法中的步骤S11至步骤S16基本相同或相似,重复之处不再赘述。
例如,如图5所示,在本公开的一些实施例中,该图像获取方法还包括以下步骤S181和步骤S182。
步骤S181:计算图像采集装置的采集坐标与基准坐标之间的第二偏移距离。
响应于第二偏移距离大于第二距离偏移阈值:
步骤S182:调整图像采集装置相对于采集对象的采集位置,直到满足第二偏移距离小于或等于第二距离偏移阈值。
在图5所示的实施例中,该图像获取方法在执行步骤S16时,需要响应于偏移角度小于或等于角度偏移阈值,第一偏移距离小于或等于第一距离偏移阈值,且第二偏移距离小于或等于第二距离偏移阈值。
例如,上述步骤S181和步骤S182中的图像采集装置的采集坐标(例如点C在该空间坐标系中的坐标)与基准坐标(例如原点O在该空间坐标系中的坐标)之间的第二偏移距离为点C与原点O之间的最短距离,也即,点C与原点O之间的最短直线距离。在确定第二偏移距离OC大于第二距离偏移阈值的情况下,则可以确定图像采集装置当前的采集位置不满足图像采集条件,例如图像采集装置可能偏移了较大距离,该图像采集装置的当前采集范围难以完整覆盖对应于目标采集点的图像,因此需要调整图像采集装置相对于采集对象的采集位置,以使图像采集装置的采集位置符合采集对应于该目标采集点的图像的条件。
例如,在步骤S182调整图像采集装置相对于采集对象的采集位置后,重新确定图像采集装置在空间坐标系中的采集坐标,如果调整后的图像采集装置相对于采集对象的采集位置依旧不满足图像采集条件,也即,如果第二偏移距离仍旧大于第二距离偏移阈值,则继续调整图像采集装置相对于采集对象的采集位置,以使图像采集装置的采集位置符合采集对应于该目标采集点的图像的条件。由此,可以确定在通过图像采集装置采集对应于该目标采集点的图像时,图像采集装置的采集范围可以相对准确且完整地覆盖对应于该目标采集点的图像。
例如,在本公开的一些实施例中,上述步骤S181可以包括:基于图像采集装置的当前采集范围,确定图像采集装置相对于采集对象的采集位置,并计算图像采集装置的采集坐标与基准坐标之间的第二偏移距离。
例如,可以利用增强现实(Augmented Reality,AR)技术,根据图像采集装置的当前采集范围,确定图像采集装置当前的采集位置,进而对上述第二偏移距离进行判断,由此可以减小得到的第二偏移距离的误差。
图6为本公开一些实施例提供的再一种图像获取方法的示意性流程图。需要说明的是,除步骤S191和步骤S192以及执行步骤S16的响应条件以外,图6中所示的图像获取方法中的其他步骤S11至S16均与图1中所示的图像获取方法中的步骤S11至S16基本相同或相似,重复之处不再赘述。
例如,如图6所示,在本公开的一些实施例中,该图像获取方法还包括以下步骤S191和步骤S192。
步骤S191:获取图像采集装置的采集姿态信息。例如,采集姿态信息包括图像采集装置在与采集方向垂直的平面内的旋转角度。
响应于旋转角度大于角度旋转阈值:
步骤S192:调整图像采集装置的采集姿态,直到满足旋转角度小于或等于角度旋转阈值。
在图6所示的实施例中,该图像获取方法在执行步骤S16时,需要响应于偏移角度小于或等于角度偏移阈值,第一偏移距离小于或等于第一距离偏移阈值,且旋转角度小于或等于角度旋转阈值。
例如,对于上述步骤S191和步骤S192,可以利用惯性测量单元(InertialMeasurement Unit,IMU)获取该图像采集装置的采集姿态信息。例如,该惯性测量单元可以包括加速度计、陀螺仪和磁力仪等多种传感器,由此利用该惯性测量单元对图像采集装置的例如速度、方向、重力等数值进行测量,也即,利用动态捕捉技术对该图像采集装置的惯性信息进行动态捕捉,以实现对该图像采集装置的采集姿态信息的获取。
例如,在确定偏移角度大于角度偏移阈值的情况下,则可以确定图像采集装置当前的采集角度不满足图像采集条件,例如基于图像采集装置当前的采集方向,采集范围难以完整覆盖对应于目标采集点的图像,因此需要调整图像采集装置的采集方向,以使图像采集装置的采集范围可以相对准确且完整地覆盖对应于该目标采集点的图像。
例如,在步骤S192调整图像采集装置的采集姿态后,重新获取图像采集装置的采集姿态信息。如果图像采集装置在与采集方向垂直的平面内的旋转角度依旧不满足图像采集条件,也即,如果该旋转角度仍旧大于角度旋转阈值,则继续调整图像采集装置的采集姿态,以符合采集对应于该目标采集点的图像的条件,进而提高采集的图像的准确性和可靠性。
图7为本公开一些实施例提供的再一种图像获取方法的示意性流程图。需要说明的是,除步骤S201、步骤S202以及步骤S203以外,图7中所示的图像获取方法中的其他步骤S11、S12以及S13~S16均与图1中所示的图像获取方法中的步骤S11至步骤S16基本相同或相似,重复之处不再赘述。
例如,如图7所示,在本公开的一些实施例中,该图像获取方法还包括以下步骤S201、步骤S202和步骤S203。
步骤S201:判断图像采集装置的当前采集范围内是否包括至少一个采集点。
若图像采集装置的当前采集范围内包括至少一个采集点,则执行以下步骤S202。
步骤S202:基于至少一个采集点,确定当前采集的目标采集点。
若图像采集装置的当前采集范围内不包括至少一个采集点,则执行以下步骤S203。
步骤S203:调整图像采集装置相对于采集对象的采集位置。
由此,可以通过图像采集装置实现采集对应于采集对象的采集点的图像。例如,在图像采集装置的当前采集范围内不包括任意一个采集点的情况下,则需要继续调整图像采集装置的位置,直到图像采集装置的当前采集范围内包括采集点,由此在当前采集范围内出现的采集点中确定目标采集点。
例如,在本公开的一些实施例中,若图像采集装置的当前采集范围内包括至少一个采集点,上述步骤S202可以包括以下步骤S221和步骤S222。
步骤S221:响应于至少一个采集点中包括未被采集的采集点,将未被采集的采集点作为当前采集的目标采集点。
步骤S222:响应于至少一个采集点中的每个采集点均为已被采集的采集点,调整图像采集装置相对于采集对象的采集位置。
需要说明的是,在本公开的实施例中,未被采集的采集点表示一个采集点,而图像采集装置还没有采集对应于该采集点的图像;已被采集的采集点点表示一个采集点,而图像采集装置已经采集了对应于该采集点的图像。
由此,可以通过图像采集装置实现采集对应于采集对象的每一个采集点的图像。例如,在图像采集装置的当前采集范围内包括的各采集点均已被作为目标采集点的情况下,也即,已通过图像采集装置采集了对应于当前采集范围内包括的各采集点的图像的情况下,则需要继续调整图像采集装置的位置,直到图像采集装置的当前采集范围内出现未被作为目标采集点的采集点,也即,出现未基于该采集点进行图像采集的采集点,进而将该采集点作为目标采集点,以获取对应于该采集点的图像。
例如,在本公开的一些实施例中,上述步骤S221可以包括以下步骤S2211和步骤S2212。
步骤S2211:响应于至少一个采集点中包括一个未被采集的采集点,将一个未被采集的采集点作为当前采集的目标采集点。
步骤S2212:响应于至少一个采集点中包括多个未被采集的采集点,计算对应于多个未被采集的采集点的多个第二夹角,并将多个第二夹角中的最小的第二夹角对应的采集点作为当前采集的目标采集点。例如,每个未被采集的采集点的第二夹角为该未被采集的采集点对应的参考坐标相对于采集坐标的辅助向量与方向向量之间的夹角。
例如,在图像采集装置的当前采集范围内包括多个未被采集的采集点的情况下,根据该多个未被采集的采集点的多个第二夹角,可以在上述多个未被采集的采集点中,确定相对最邻近图像采集装置的采集点,并将该采集点作为目标采集点,由此优化采集对应于多个采集点的图像的图像采集过程。
例如,在步骤S222中,图像采集装置相对于采集对象的采集位置需要被调整直到图像采集装置的当前采集范围内包括至少一个未被采集的采集点。
图8为本公开一些实施例提供的再一种图像获取方法的示意性流程图。需要说明的是,除步骤S301至S303以外,图8中所示的图像获取方法中的其他步骤S11至S16均与图1中所示的图像获取方法中的步骤S11至S16基本相同或相似,重复之处不再赘述。
例如,如图8所示,在本公开的一些实施例中,该图像获取方法还包括以下步骤S301至S303。
步骤S301:获取采集对象的初步图像。例如,该初步图像包括采集对象的空间特征。
步骤S302:基于初步图像提取采集对象的空间特征。
步骤S303:基于采集对象的空间特征,选取采集对象的N个采集点。
例如,可以利用增强现实(Augmented Reality,AR)技术,通过AR-Kit、AR-Core等应用AR技术领域的开发平台,对采集对象的初步图像进行分析和处理,以获取该采集对象的结构信息或所占据的空间信息等空间特征,进而提升基于采集对象的空间特征确定的采集点的准确性和可靠性,有利于后续获取关于采集对象的完整且全面的图像信息。
在本公开的一些实施例中,N为大于或等于2的正整数,N个采集点在采集对象上呈均匀分布,也即,该采集对象包括多个采集点,且该多个采集点在采集对象上呈均匀分布。由此,可以使基于多个采集点P采集到的图像基本或完全覆盖采集对象的全部区域或各个部分,从而提高获取的采集图像的完整性和可靠性,改善采集图像的拼接效果,进而提升后续步骤中得到的例如全景图像的完整性和可靠性。
例如,在本公开的一些实施例中,N为大于或等于2的正整数,也即,在该采集对象包括多个采集点的情况下,该图像获取方法还包括:通过图像采集装置,依次采集对应于N个采集点的多个图像。由此,可以基于该多个采集点,依次采集对应于每个采集点的图像,进而获取对应于采集对象的完整且全面的图像信息。
图9为本公开一些实施例提供的再一种图像获取方法的示意性流程图。需要说明的是,除步骤S401以外,图9中所示的图像获取方法中的其他步骤S11至S16均与图1中所示的图像获取方法中的步骤S11至S16基本相同或相似,重复之处不再赘述。
例如,如图9所示,在本公开的一些实施例中,该图像获取方法还包括以下步骤S401。
步骤S401:对采集的对应于N个采集点的多个图像进行拼接处理,以获取采集对象的全景图像。
例如,如图10所示,在本公开的一些实施例中,上述步骤S401可以包括以下步骤S411至S413。
步骤S411:基于采集对象的N个采集点的位姿信息以及图像采集装置采集多个图像时的位姿信息,确定多个图像的拼接位置。
步骤S412:根据多个图像的拼接位置,将多个图像进行融合,得到三维拼接图像。
步骤S413:将三维拼接图像映射到二维像素坐标系中,以获取采集对象的全景图像。
图11A为本公开一些实施例提供的一种三维拼接图像的示例的示意图,图11B为本公开一些实施例提供的一种全景图像的示例的示意图,例如图11B中所示的全景图像可以基于图11A中所示的三维拼接图像得到。
例如,在上述步骤S411中,根据图像采集装置在采集对应于各采集点的图像时的位姿信息,可以确定对应于各采集点的图像在进行图像拼接时摆放的拼接位置,例如该位姿信息可以包括图像采集装置在采集对应于各采集点的图像时的采集方向、相对于采集对象的采集位置、倾斜或旋转角度等信息。进而,在上述步骤S412将多个采集图像进行融合后,可以得到图11A所示的三维拼接图像,例如该三维拼接图像可以是由多个采集图像根据拼接位置组合后构成的一个多边形。
例如,在本公开的一些示例中,为了便于用户借助图像信息直观且准确地了解采集对象的各个位置或各个区域的相应信息,可以执行上述步骤S413以得到图11B中所示的全景图像,例如该全景图像可以为二维的平面全景图。例如,全景图像可以体现该采集对象在水平360方向及垂直360度方向上的全部图像信息,从而有助于用户对该采集对象有更加直观且准确地了解。
需要说明的是,在本公开的实施例中,本公开上述各个实施例提供的图像获取方法的流程可以包括更多或更少的操作,这些操作可以顺序执行或并行执行。虽然上文描述的图像获取方法的流程包括特定顺序出现的多个操作,但是应该清楚地了解,多个操作的顺序并不受限制。上文描述的图像获取方法可以执行一次,也可以按照预定条件执行多次。
本公开至少一个实施例还提供一种图像获取方法,该图像获取方法包括:基于采集对象,建立空间坐标系,采集对象包括N个采集点,N为正整数;基于N个采集点,确定基准采集位置,并确定基准采集位置在空间坐标系中的基准坐标;确定图像采集装置在空间坐标系中的采集坐标,以及图像采集装置的采集方向在空间坐标系中的方向向量;确定图像采集装置当前采集的目标采集点在空间坐标系中的参考坐标;计算参考坐标相对于基准坐标的参考向量以及参考坐标相对于采集坐标的辅助向量,计算辅助向量与参考向量之间的第一夹角以及辅助向量与方向向量之间的第二夹角,并计算图像采集装置的采集坐标相对于参考向量的第一偏移距离;响应于第一夹角小于或等于第一夹角阈值,第二夹角小于或等于第二夹角阈值,且第一偏移距离小于或等于第一距离偏移阈值,通过图像采集装置,采集对应于当前采集的目标采集点的图像。
图12为本公开一些实施例提供的再一种图像获取方法的示意性流程图。
如图12所示,本公开实施例提供的图像获取方法包括步骤S601至S606。
步骤S601:基于采集对象,建立空间坐标系,采集对象包括N个采集点,N为正整数。
步骤S602:基于N个采集点,确定基准采集位置,并确定基准采集位置在空间坐标系中的基准坐标。
步骤S603:确定图像采集装置在空间坐标系中的采集坐标,以及图像采集装置的采集方向在空间坐标系中的方向向量。
步骤S604:确定图像采集装置当前采集的目标采集点在空间坐标系中的参考坐标。
步骤S605:计算参考坐标相对于基准坐标的参考向量以及参考坐标相对于采集坐标的辅助向量,计算辅助向量与参考向量之间的第一夹角以及辅助向量与方向向量之间的第二夹角,并计算图像采集装置的采集坐标相对于参考向量的第一偏移距离。
响应于第一夹角小于或等于第一夹角阈值,第二夹角小于或等于第二夹角阈值,且第一偏移距离小于或等于第一距离偏移阈值:
步骤S606:通过图像采集装置,采集对应于当前采集的目标采集点的图像。
本公开上述实施例提供的图像获取方法中,通过在图像采集过程中,在确定第一夹角小于或等于第一夹角阈值,第二夹角小于或等于第二夹角阈值,且第一偏移距离小于或等于第一距离偏移阈值后,再通过图像采集装置采集对应于当前采集的目标采集点的图像,由此可以提高采集到的对应于该采集对象的各采集点的图像的准确性和可靠性,进而有利于基于采集到的图像进行准确地拼接及合成操作,提高对采集图像进行拼接及合成操作后获取的对应于该采集对象的完整图像(例如全景图像)的准确性和可靠性,有助于用户更加直观且准确地获取该采集对象的相应信息。
关于上述步骤S601至S606的具体说明可以分别参考上述图像获取方法的实施例中对应于图1所示的步骤S11至步骤S16的相关描述。通过上述步骤S601至S606可以实现与前述图像获取方法相似的技术效果,在此不再赘述。
本公开至少一实施例还提供一种图像获取装置,该图像获取装置通过在图像采集过程中,在确定偏移角度小于或等于角度偏移阈值,且第一偏移距离小于或等于第一距离偏移阈值后,再通过图像采集装置采集对应于当前采集的目标采集点的图像,由此可以提高采集到的对应于该采集对象的各采集点的图像的准确性和可靠性,进而有利于基于采集到的图像进行准确地拼接及合成操作,提高对采集图像进行拼接及合成操作后获取的对应于该采集对象的完整图像(例如全景图像)的准确性和可靠性,有助于用户更加直观且准确地获取该采集对象的相应信息。
图13为本公开一些实施例提供的一种图像获取装置的示意性框图。
例如,如图13所示,该图像获取装置700包括:坐标系建立单元701、采集位置确定单元702、坐标系计算单元703、计算单元704、控制单元705以及图像采集单元706。
坐标系建立单元701配置为基于采集对象,建立空间坐标系。采集对象包括N个采集点,N为正整数。例如,坐标系建立单元701可以执行图1中所示的图像获取方法中的步骤S11。
采集位置确定单元702配置为基于N个采集点,确定基准采集位置。例如,采集位置确定单元702可以执行图1中所示的图像获取方法中的步骤S12。
坐标系计算单元703配置为确定基准采集位置在空间坐标系中的基准坐标、图像采集装置在空间坐标系中的采集坐标、图像采集装置的采集方向在空间坐标系中的方向向量、以及图像采集装置当前采集的目标采集点在空间坐标系中的参考坐标。例如,坐标系计算单元703可以执行图1中所示的图像获取方法中的步骤S13。
计算单元704配置为计算参考坐标相对于基准坐标的参考向量、方向向量与参考向量之间的偏移角度、以及图像采集装置的采集坐标相对于参考向量的第一偏移距离。例如,计算单元704可以执行图1中所示的图像获取方法中的步骤S14。
控制单元705配置为确定偏移角度是否小于或等于角度偏移阈值,以及第一偏移距离是否小于或等于第一距离偏移阈值。例如,控制单元705可以执行图1中所示的图像获取方法中的步骤S15。
图像采集单元706配置为通过图像采集装置,采集对应于当前采集的目标采集点的图像。例如,图像采集单元706可以执行图1中所示的图像获取方法中的步骤S16。
例如,坐标系建立单元701、采集位置确定单元702、坐标系计算单元703、计算单元704、控制单元705以及图像采集单元706包括存储在存储器中的代码和程序;处理器可以执行该代码和程序以实现如上所述的坐标系建立单元701、采集位置确定单元702、坐标系计算单元703、计算单元704、控制单元705以及图像采集单元706的一些功能或全部功能。例如,坐标系建立单元701、采集位置确定单元702、坐标系计算单元703、计算单元704、控制单元705以及图像采集单元706可以是专用硬件器件,用来实现如上所述的坐标系建立单元701、采集位置确定单元702、坐标系计算单元703、计算单元704、控制单元705以及图像采集单元706的一些或全部功能。例如,坐标系建立单元701、采集位置确定单元702、坐标系计算单元703、计算单元704、控制单元705以及图像采集单元706可以是一个电路板或多个电路板的组合,用于实现如上所述的功能。在本申请实施例中,该一个电路板或多个电路板的组合可以包括:(1)一个或多个处理器;(2)与处理器相连接的一个或多个非暂时的存储器;以及(3)处理器可执行的存储在存储器中的固件。
需要说明的是,坐标系建立单元701用于实现图1所示的步骤S11,采集位置确定单元702用于实现图1所示的步骤S12,坐标系计算单元703用于实现图1所示的步骤S13,计算单元704用于实现图1所示的步骤S14,控制单元705用于实现图1所示的步骤S15,图像采集单元706用于实现图1所示的步骤S16。从而关于坐标系建立单元701、采集位置确定单元702、坐标系计算单元703、计算单元704、控制单元705以及图像采集单元706的具体说明可以分别参考上述图像获取方法的实施例中对应于图1所示的步骤S11至步骤S16的相关描述。此外,图像获取装置可以实现与前述图像获取方法相似的技术效果,在此不再赘述。
本公开至少一个实施例还提供一种电子设备,该电子设备包括处理器、存储器和一个或多个计算机程序模块。一个或多个计算机程序模块被存储在存储器中并被配置为由处理器执行,一个或多个计算机程序模块包括用于执行本公开任一实施例提供的图像获取方法的指令。
图14为本公开一些实施例提供的一种电子设备的示意框图。如图14所示,该电子设备300包括处理器310和存储器320。存储器320用于非瞬时性地存储有计算机可执行指令(例如一个或多个计算机程序模块)。处理器310用于运行该计算机可执行指令,该计算机可执行指令被处理器310运行时可以执行上文所述的图像获取方法中的一个或多个步骤。存储器320和处理器310可以通过总线***和/或其它形式的连接机构(未示出)互连。
例如,处理器310可以是中央处理单元(CPU)、图形处理单元(GPU)或者具有数据处理能力和/或程序执行能力的其它形式的处理单元。例如,中央处理单元(CPU)可以为X86或ARM架构等。处理器310可以为通用处理器或专用处理器,可以控制电子设备300中的其它组件以执行期望的功能。
例如,存储器320可以包括一个或多个计算机程序产品的任意组合,计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序模块,处理器310可以运行一个或多个计算机程序模块,以实现电子设备300的各种功能。在计算机可读存储介质中还可以存储各种应用程序和各种数据以及应用程序使用和/或产生的各种数据等。
需要说明的是,本公开的实施例中,电子设备300的具体功能和技术效果可以参考上文中关于图像获取方法以及图像获取装置的描述,此处不再赘述。
图15为本公开一些实施例提供的另一种电子设备的示意框图。该电子设备400例如适于用来实施本公开实施例提供的图像获取方法。电子设备400可以是终端设备等。需要注意的是,图15示出的电子设备400仅仅是一个示例,其不会对本公开实施例的功能和使用范围带来任何限制。
如图15所示,电子设备400可以包括处理装置(例如中央处理器、图形处理器等)410,其可以根据存储在只读存储器(ROM)420中的程序或者从存储装置480加载到随机访问存储器(RAM)430中的程序而执行各种适当的动作和处理。在RAM 430中,还存储有电子设备400操作所需的各种程序和数据。处理装置410、ROM 420以及RAM 430通过总线440彼此相连。输入/输出(I/O)接口450也连接至总线440。
通常,以下装置可以连接至I/O接口450:包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置460;包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置470;包括例如磁带、硬盘等的存储装置480;以及通信装置490。通信装置490可以允许电子设备400与其他电子设备进行无线或有线通信以交换数据。虽然图15示出了具有各种装置的电子设备400,但应理解的是,并不要求实施或具备所有示出的装置,电子设备400可以替代地实施或具备更多或更少的装置。
例如,根据本公开的实施例,上述图像获取方法可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在非暂态计算机可读介质上的计算机程序,该计算机程序包括用于执行上述图像获取方法的程序代码。在这样的实施例中,该计算机程序可以通过通信装置490从网络上被下载和安装,或者从存储装置480安装,或者从ROM 420安装。在该计算机程序被处理装置410执行时,可以实现本公开实施例提供的图像获取方法中限定的功能。
图16为本公开一些实施例提供的一种存储介质的示意图。例如,如图16所示,存储介质500可以为非瞬时性计算机可读存储介质,在存储介质500上可以非暂时性地存储一个或多个计算机可读指令501。例如,当计算机可读指令501由处理器执行时可以执行根据上文所述的图像获取方法中的一个或多个步骤。
例如,该存储介质500可以应用于上述电子设备中,例如,该存储介质500可以包括电子设备中的存储器。
例如,存储介质可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、闪存、或者上述存储介质的任意组合,也可以为其他适用的存储介质。
例如,关于存储介质500的说明可以参考电子设备的实施例中对于存储器的描述,重复之处不再赘述。存储介质500的具体功能和技术效果可以参考上文中关于图像获取方法以及图像获取装置的描述,此处不再赘述。
对于本公开,还有以下几点需要说明:
(1)本公开实施例附图只涉及到本公开实施例涉及到的结构,其他结构可参考通常设计。
(2)在不冲突的情况下,本公开的实施例及实施例中的特征可以相互组合以得到新的实施例。
以上所述,仅为本公开的具体实施方式,但本公开的保护范围并不局限于此,本公开的保护范围应以所述权利要求的保护范围为准。
Claims (19)
1.一种图像获取方法,包括:
基于采集对象,建立空间坐标系,其中,所述采集对象包括N个采集点,N为正整数;
基于所述N个采集点,确定基准采集位置,并确定所述基准采集位置在所述空间坐标系中的基准坐标;
确定图像采集装置在所述空间坐标系中的采集坐标,以及所述图像采集装置的采集方向在所述空间坐标系中的方向向量;
确定所述图像采集装置当前采集的目标采集点在所述空间坐标系中的参考坐标;
计算所述参考坐标相对于所述基准坐标的参考向量,并计算所述方向向量与所述参考向量之间的偏移角度,以及所述图像采集装置的采集坐标相对于所述参考向量的第一偏移距离;
响应于所述偏移角度小于或等于角度偏移阈值,且所述第一偏移距离小于或等于第一距离偏移阈值,通过所述图像采集装置,采集对应于当前采集的所述目标采集点的图像。
2.根据权利要求1所述的图像获取方法,还包括:
响应于所述第一偏移距离大于所述第一距离偏移阈值,调整所述图像采集装置相对于所述采集对象的采集位置,并重新确定所述图像采集装置在所述空间坐标系中的采集坐标。
3.根据权利要求1或2所述的图像获取方法,还包括:
响应于所述偏移角度大于所述角度偏移阈值,调整所述图像采集装置的采集方向,并重新确定所述图像采集装置的采集方向在所述空间坐标系中的方向向量。
4.根据权利要求1或2所述的图像获取方法,其中,计算所述方向向量与所述参考向量之间的所述偏移角度,包括:
计算所述参考坐标相对于所述采集坐标的辅助向量,并计算所述辅助向量与所述参考向量之间的第一夹角,以及所述辅助向量与所述方向向量之间的第二夹角,其中,所述偏移角度为所述第一夹角与所述第二夹角的差值;
所述偏移角度小于或等于所述角度偏移阈值,包括:
所述第一夹角小于或等于第一夹角阈值,所述第二夹角小于或等于第二夹角阈值,且所述第一夹角与所述第二夹角的差值小于或等于所述角度偏移阈值。
5.根据权利要求1或2所述的图像获取方法,还包括:
计算所述图像采集装置的采集坐标与所述基准坐标之间的第二偏移距离;
响应于所述第二偏移距离小于或等于第二距离偏移阈值,通过所述图像采集装置采集对应于当前采集的所述目标采集点的图像;
响应于所述第二偏移距离大于所述第二距离偏移阈值,调整所述图像采集装置相对于所述采集对象的采集位置,直到满足所述第二偏移距离小于或等于所述第二距离偏移阈值,并重新确定所述图像采集装置在所述空间坐标系中的采集坐标。
6.根据权利要求5所述的图像获取方法,其中,计算所述图像采集装置的采集坐标与所述基准坐标之间的所述第二偏移距离,包括:
基于所述图像采集装置的当前采集范围,确定所述图像采集装置相对于所述采集对象的采集位置,并计算所述图像采集装置的采集坐标与所述基准坐标之间的所述第二偏移距离。
7.根据权利要求1或2所述的图像获取方法,还包括:
获取所述图像采集装置的采集姿态信息,其中,所述采集姿态信息包括所述图像采集装置在与所述采集方向垂直的平面内的旋转角度;
响应于所述旋转角度小于或等于角度旋转阈值,通过所述图像采集装置采集对应于当前采集的所述目标采集点的图像;
响应于所述旋转角度大于所述角度旋转阈值,调整所述图像采集装置的采集姿态,直到满足所述旋转角度小于或等于所述角度旋转阈值。
8.根据权利要求1或2所述的图像获取方法,还包括:
判断所述图像采集装置的当前采集范围内是否包括至少一个采集点;
若所述图像采集装置的当前采集范围内包括所述至少一个采集点,则基于所述至少一个采集点,确定当前采集的所述目标采集点;
若所述图像采集装置的当前采集范围内不包括所述至少一个采集点,则调整所述图像采集装置相对于所述采集对象的采集位置。
9.根据权利要求8所述的图像获取方法,其中,若所述图像采集装置的当前采集范围内包括所述至少一个采集点,则基于所述至少一个采集点,确定当前采集的所述目标采集点,包括:
响应于所述至少一个采集点中包括未被采集的采集点,将所述未被采集的采集点作为当前采集的所述目标采集点;
响应于所述至少一个采集点中的每个采集点均为已被采集的采集点,调整所述图像采集装置相对于所述采集对象的采集位置。
10.根据权利要求9所述的图像获取方法,其中,响应于所述至少一个采集点中包括所述未被采集的采集点,将所述未被采集的采集点作为当前采集的所述目标采集点,包括:
响应于所述至少一个采集点中包括一个未被采集的采集点,将所述一个未被采集的采集点作为当前采集的所述目标采集点;
响应于所述至少一个采集点中包括多个未被采集的采集点,计算对应于所述多个未被采集的采集点的多个第二夹角,并将所述多个第二夹角中的最小的第二夹角对应的采集点作为当前采集的所述目标采集点,其中,每个所述多个未被采集的第二夹角为每个所述多个未被采集的参考坐标相对于所述采集坐标的辅助向量与所述方向向量之间的夹角。
11.根据权利要求1或2所述的图像获取方法,还包括:
获取所述采集对象的初步图像,其中,所述初步图像包括所述采集对象的空间特征;
基于所述初步图像提取所述采集对象的空间特征;以及
基于所述采集对象的空间特征,选取所述采集对象的所述N个采集点。
12.根据权利要求1或2所述的图像获取方法,其中,N为大于或等于2的正整数,所述N个采集点在所述采集对象上呈均匀分布。
13.根据权利要求1或2所述的图像获取方法,其中,N为大于或等于2的正整数,所述图像获取方法还包括:
通过所述图像采集装置,依次采集对应于所述N个采集点的多个图像。
14.根据权利要求13所述的图像获取方法,还包括:
对采集的对应于所述N个采集点的所述多个图像进行拼接处理,以获取所述采集对象的全景图像。
15.根据权利要求14所述的图像获取方法,其中,对采集的对应于所述N个采集点的所述多个图像进行拼接处理,以获取所述采集对象的全景图像,包括:
基于所述采集对象的N个采集点的位姿信息以及所述图像采集装置采集所述多个图像时的位姿信息,确定所述多个图像的拼接位置;
根据所述多个图像的拼接位置,将所述多个图像进行融合,得到三维拼接图像;以及
将所述三维拼接图像映射到二维像素坐标系中,以获取所述采集对象的全景图像。
16.一种图像获取方法,包括:
基于采集对象,建立空间坐标系,其中,所述采集对象包括N个采集点,N为正整数;
基于所述N个采集点,确定基准采集位置,并确定所述基准采集位置在所述空间坐标系中的基准坐标;
确定图像采集装置在所述空间坐标系中的采集坐标,以及所述图像采集装置的采集方向在所述空间坐标系中的方向向量;
确定所述图像采集装置当前采集的目标采集点在所述空间坐标系中的参考坐标;
计算所述参考坐标相对于所述基准坐标的参考向量以及所述参考坐标相对于所述采集坐标的辅助向量,计算所述辅助向量与所述参考向量之间的第一夹角以及所述辅助向量与所述方向向量之间的第二夹角,并计算所述图像采集装置的采集坐标相对于所述参考向量的第一偏移距离;
响应于所述第一夹角小于或等于第一夹角阈值,所述第二夹角小于或等于第二夹角阈值,且所述第一偏移距离小于或等于第一距离偏移阈值,通过所述图像采集装置,采集对应于当前采集的所述目标采集点的图像。
17.一种图像获取装置,包括:坐标系建立单元、采集位置确定单元、坐标系计算单元、计算单元、控制单元以及图像采集单元,
其中,所述坐标系建立单元配置为基于采集对象,建立空间坐标系,其中,所述采集对象包括N个采集点,N为正整数;
所述采集位置确定单元配置为基于所述N个采集点,确定基准采集位置;
所述坐标系计算单元配置为确定所述基准采集位置在所述空间坐标系中的基准坐标、图像采集装置在所述空间坐标系中的采集坐标、所述图像采集装置的采集方向在所述空间坐标系中的方向向量、以及所述图像采集装置当前采集的目标采集点在所述空间坐标系中的参考坐标;
所述计算单元配置为计算所述参考坐标相对于所述基准坐标的参考向量、所述方向向量与所述参考向量之间的偏移角度、以及所述图像采集装置的采集坐标相对于所述参考向量的第一偏移距离;
所述控制单元配置为确定所述偏移角度是否小于或等于角度偏移阈值,以及所述第一偏移距离是否小于或等于第一距离偏移阈值;
所述图像采集单元配置为通过所述图像采集装置,采集对应于当前采集的所述目标采集点的图像。
18.一种电子设备,包括:
存储器,非瞬时性地存储有计算机可执行指令;
处理器,配置为运行所述计算机可执行指令,
其中,所述计算机可执行指令被所述处理器运行时实现根据权利要求1-16任一项所述的图像获取方法。
19.一种非瞬时性计算机可读存储介质,其中,所述非瞬时性计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令被处理器执行时实现根据权利要求1-16任一项所述的图像获取方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110881248.3A CN113596336B (zh) | 2021-08-02 | 2021-08-02 | 图像获取方法及装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110881248.3A CN113596336B (zh) | 2021-08-02 | 2021-08-02 | 图像获取方法及装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113596336A true CN113596336A (zh) | 2021-11-02 |
CN113596336B CN113596336B (zh) | 2022-06-07 |
Family
ID=78254001
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110881248.3A Active CN113596336B (zh) | 2021-08-02 | 2021-08-02 | 图像获取方法及装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113596336B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103118230A (zh) * | 2013-02-28 | 2013-05-22 | 腾讯科技(深圳)有限公司 | 一种全景图像采集方法、装置以及*** |
US20180061126A1 (en) * | 2016-08-26 | 2018-03-01 | Osense Technology Co., Ltd. | Method and system for indoor positioning and device for creating indoor maps thereof |
CN109754432A (zh) * | 2018-12-27 | 2019-05-14 | 深圳市瑞立视多媒体科技有限公司 | 一种相机自动标定方法及光学动作捕捉*** |
CN111629144A (zh) * | 2020-04-28 | 2020-09-04 | 深圳供电局有限公司 | 图像采集设备控制方法、装置、计算机设备和存储介质 |
-
2021
- 2021-08-02 CN CN202110881248.3A patent/CN113596336B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103118230A (zh) * | 2013-02-28 | 2013-05-22 | 腾讯科技(深圳)有限公司 | 一种全景图像采集方法、装置以及*** |
US20180061126A1 (en) * | 2016-08-26 | 2018-03-01 | Osense Technology Co., Ltd. | Method and system for indoor positioning and device for creating indoor maps thereof |
CN109754432A (zh) * | 2018-12-27 | 2019-05-14 | 深圳市瑞立视多媒体科技有限公司 | 一种相机自动标定方法及光学动作捕捉*** |
CN111629144A (zh) * | 2020-04-28 | 2020-09-04 | 深圳供电局有限公司 | 图像采集设备控制方法、装置、计算机设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113596336B (zh) | 2022-06-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111639626B (zh) | 三维点云数据处理方法、装置、计算机设备和存储介质 | |
US9704244B2 (en) | Localisation and mapping | |
JP7026819B2 (ja) | カメラの位置決め方法および装置、端末並びにコンピュータプログラム | |
CN108876854B (zh) | 相机姿态追踪过程的重定位方法、装置、设备及存储介质 | |
CN108573530B (zh) | 增强现实ar交互方法及*** | |
EP2490182A1 (en) | authoring of augmented reality | |
WO2018233623A1 (zh) | 图像显示的方法和装置 | |
CN111145294B (zh) | 二维户型图构建方法及装置、存储介质 | |
JP2016507793A (ja) | 基準座標系の決定 | |
JP6609640B2 (ja) | 電子デバイス上における環境マッピング用のフィーチャ・データの管理 | |
EP4105766A1 (en) | Image display method and apparatus, and computer device and storage medium | |
US20220398767A1 (en) | Pose determining method and apparatus, electronic device, and storage medium | |
CN111833403B (zh) | 用于空间定位的方法和装置 | |
CN108028904B (zh) | 移动设备上光场增强现实/虚拟现实的方法和*** | |
CN108090212B (zh) | 兴趣点的展示方法、装置、设备及存储介质 | |
CN114419226A (zh) | 全景渲染方法、装置、计算机设备和存储介质 | |
US20180114339A1 (en) | Information processing device and method, and program | |
WO2023179341A1 (zh) | 在视频中放置虚拟对象的方法及相关设备 | |
CN113596336B (zh) | 图像获取方法及装置、电子设备及存储介质 | |
CN116128744A (zh) | 消除图像畸变的方法、电子设备、存储介质及车辆 | |
CN115578432A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
JP2016139199A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
CN114596407A (zh) | 资源对象三维模型生成交互方法和装置,显示方法和装置 | |
WO2022017778A1 (en) | Helper data for anchors in augmented reality | |
CN111489376A (zh) | 跟踪交互设备的方法、装置、终端设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |